# RNN とロジスティック回帰を用いた 平仮名文の逐次的な形態素解析

森山 柊平 $\dagger \cdot$ 大野 誠寛 $\dagger \dagger$
}

本論文では，平仮名のみで書かれた日本語文 (以下，平仮名文）に対する形態素解析 について述べる。平仮名文は, 漢字仮名まじり文と比べて, 考えられる単語候補が増大するなど，はるかに曖昧性が多いことが知られている。これまでに，平仮名文を主 な対象とした形態素解析手法がいくつか開発されているが, その多くが十分な解析精度を得られていない. 一部, 著名な日本語形態素解析器の漢字仮名まじり文に対 する解析精度に匹敵する高い精度を平仮名文に対して達成している従来手法が存在 するが，その手法には膨大な解析時間を要するという問題がある。そこで本論文で は, 平仮名文に対する高精度かつ実用的な速度での解析を目指し, RNN (Recurrent Neural Network) とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する，提案手法では，解析の高速化を図るため, 単語境界の推定は文字境界ごとに, 形態素情報の推定は単語ごとに, 文頭から逐次的に実行する。また, 解析の高精度化を図るため, 各時点において, ロジスティック回帰により局所的な情報に基づいて推定した結果と，RNNにより大域的な情報を考慮して推定した結果と を統合し, 単語境界や形態素情報を推定する。評価実験の結果, 提案手法は, 単語分割と形態素情報のすべての一致を正解とする最も厳しい基準において，前述の従来手法を上回る解析精度を達成しつつ, 従来手法と比べて 100 倍以上の高速化を実現していることを確認した。

キーワード : 形態素解析, 単語分割, 品詞夕グ付け, リカレントニューラルネットワーク, ひ らがな
## Sequential Morphological Analysis of Hiragana Strings using Recurrent Neural Network and Logistic Regression

\author{
Shuhei Moriyama ${ }^{\dagger}$ and Tomohiro Ohno ${ }^{\dagger \dagger}$
}

This paper describes the morphological analysis of unsegmented Hiragana strings. It is known that Hiragana strings have more ambiguities than Kanji-Kana mixed strings. Certain morphological analysis methods have been developed mainly for Hiragana strings, but most have not obtained sufficient analysis accuracy. The accuracy of a prior method is higher than that of the famous conventional morphological analysis tool for Kanji-Kana mixed strings, but the prior method has the problem in

that it requires considerable amount of analysis time. Aiming for high-accuracy and practical-speed analysis of unsegmented Hiragana strings, we propose a sequential morphological analysis method using RNN (Recurrent Neural Network) and logistic regression. To speed up the analysis, the proposed method sequentially estimates word boundaries for each character boundary and estimates morpheme information for each word. To improve the accuracy of the analysis, the proposed method estimates word boundaries and morpheme information by integrating the estimation based on local information by logistic regression and the estimation based on global information by RNN. The experimental results confirmed that the proposed method achieved a speed-up of more than 100 times and a higher analysis accuracy than that of the prior method.

Key Words: Morphological Analysis, Word Segmentation, POS Tagging, Recurrent Neural Network, Hiragana

## 1 はじめに

日本語文は, 通常, 漢字や平仮名, 片仮名, 算用数字などの文字種により構成されるが, 幼児向け書籍や外国人日本語初学者による作文などにおいて, 平仮名のみで書かれる文も多々存在する，本論文では，平仮名のみで書かれた日本語文（以下，平仮名文）に対する形態素解析について述べる。

これまでに, 日本語形態素解析器として, JUMAN (黒橋・河原研究室 2012), ChaSen (松本他 2008), $\mathrm{MeCab}^{1}$ (Kudo et al. 2004), $\mathrm{KyTea}^{2}$ (Neubig et al. 2011)などが開発されており, 新聞記事文など，様々な文字種で書かれた漢字仮名まじり文に対して高い解析精度が達成されている.しかし, 平仮名文は, 漢字仮名まじり文と比べて, 考えられる単語候補が増大するなど，はるかに曖昧性が多いため (長尾 1996), 例え, これら従来の解析器を平仮名文だけからなるコー パスで学習し直したとしても，これらによる平仮名文の解析精度は大きく低下することが報告されている (森山他 2018).

一方，平仮名を主な対象とした形態素解析に関する研究もいくつか存在する (工藤他 2012;藤田他 2014; 森山他 2018; 井筒, 古宮 2021). その一つとして, 我々の先行研究 (森山他 2018) では, Kudo らの日本語形態素解析 (Kudo et al. 2004)を拡張し, RNNLM (Reccurent Neural Network Language Model) との統合を行うことにより，平仮名文に対して高い解析精度を実現しており，その精度は従来の形態素解析器が漢字仮名まじり文に対して達成している精度に匹敵している. しかし, この手法の解析時間は一般的な計算機において平均 7 秒/文を超えており, 前述した従来の著名な形態素解析器と比べて桁違いに遅い。応用システムに依存して必要


な解析速度は決まるため一概には言えないが，外国人日本語初学者の独習支援システムなどにおいて, 1 文ごとに処理結果を出力することが想定される場合, 我々の先行研究の手法には解析速度に関して実用上の問題が存在しているといえる。この手法では, Kudo らの手法 (Kudo et al. 2004)の枠組みを採用しており，ラティス上の最適経路を推定する必要があるが，各ノー ドに対して RNNLM が与えるスコアは，どの経路を通ったかによって異なるため，ビタビアルゴリズムを単純に適用することはできない。すなわち, 経路ごとにRNNLM によるスコアを繰り返し計算する必要があり，漢字仮名まじり文よりも一般に長くなる平仮名文では特に，多くの解析時間がかかると考えられる。

また, その多くが平仮名で構成されている絵本のテキストを対象とした研究 (藤田他 2014) では，対象ドメインのデータで Neubig らの点予測による形態素解析手法 (KyTea) (Neubig et al. 2011)を学習し直すことの有効性が報告されている. Neubig らの手法 (Neubig et al. 2011) は,形態素解析を単語分割と品詞推定に分けて段階的に処理し，各処理において，文字境界あるいは単語ごとに点予測を文頭から順に繰り返すため，1文の文字数や単語数に対する線形時間で処理できると考えられる。実際，我々の先行研究 (森山他 2018) において, Neubig らの手法の平仮名文に対する解析時間は一般的な計算機上で平均 4.30 ミリ秒/文であることを確認しており，従来の形態素解析器の漢字仮名まじり文に対する解析時間と同程度である。また，我々の先行研究において, Neubig らの手法の平仮名文に対する解析精度は, 我々の先行研究における提案手法に次いで高いことを確認しており (森山他 2018), 平仮名文に対する形態素解析手法として Neubigらの手法は有力視できる.

しかし, Neubig らの手法による平仮名文の形態素解析精度は, 単語境界のみの判定基準で $95.62 \%$, すべての形態素情報が一致するという判定基準で $93.28 \%$ あったのに対して，我々の先行研究の手法はそれぞれ順に $98.68 \%, 95.52 \%$ であり，大きな差がある (森山他 2018). Neubig らの手法 (KyTea) は，推定箇所の前後の情報を用いて線形SVM あるいはロジスティック回帰により推定するが，ある一定の窓幅内に存在する局所的な情報しか利用できていない. Neubig らの手法は，漢字仮名まじり文に対しては高精度で解析できるのに対して，平仮名文に対してはその解析精度が大きく減少していた (森山他 2018). それに対し, 我々の先行研究の手法 (森山他 2018) では, RNNLM から得られるスコアを取り入れることにより，大域的な情報を活用することができており，平仮名文に対する解析精度の向上に寄与したものと考えられる。このことは，平仮名文の曖昧性解消には大域的な情報が効果的であることを示唆している.

そこで本論文では, 平仮名文に対する高精度かつ実用的な速度での解析を目指し, RNN (Reccurent Neural Network) とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する，提案手法では，平仮名文に対する形態素解析の高速化を図るため, Neubig らの手法 (Neubig et al. 2011)の枠組みを採用し，単語境界の推定は文字境界ごとに，形態素情報の推定は単語ごとに, 文頭から逐次的に実行する。 また, 平仮名文に対する逐次的な形態素解析の高
精度化を図るため, Neubig らの手法 (Neubig et al. 2011)の枠組みにおいて, 局所的な情報だけでなく，大域的な情報を加味し，平仮名文独特の高い曖昧性の解消を試みる。具体例には，各時点において，Neubig らの手法においてロジスティック回帰が局所的な情報のみを用いて推定した結果と，RNNが大域的な情報を考慮して推定した結果とを組み合わせることが，平仮名文の逐次的な形態素解析の高精度化において有効であることを示す。さらに，漢字仮名まじり文の形態素解析と比べて，平仮名文の形態素解析では特に，大域的な情報を考慮することが効果的であることを示す.

RNN を日本語形態素解析に用いた関連研究として, Kitagawa と Komachi の日本語単語分割 (Kitagawa and Komachi 2018) がある. Kitagawa と Komachi の手法は，RNNを用いて逐次的に単語境界か否かを判定するものであり，Neubig らの手法に比肩する解析精度を達成している。しかし, 解析対象は漢字仮名まじり文であり，平仮名文ではない。また，単語分割のみを行っており，品詞などの形態素情報の推定には取り組んでいない。それに対し, Tolmachev らは，単語分割と形態素情報推定を RNNを用いて逐次的に行う手法を提案している (Tolmachev et al. 2019). しかし, この手法の解析対象も漢字仮名まじり文であり, 平仮名文ではない. その他，Morita らは，RNNLM を用いたラティスに基づく日本語形態素解析手法を提案している (Morita et al. 2015). この手法 (JUMAN++ ver. 1) は, 我々の先行研究の手法と同様に, 多くの解析時間がかかるという問題があったが，Tolmachev らによって新たなビームサーチ法が施され，JUMAN++ ver. 2 では解析時間の短縮化が図られている (Tolmachev et al. 2018). しかしながら, この研究の解析対象も漢字仮名まじり文であり平仮名文ではない. また, 公開中の JUMAN++では，ユーザが形態素定義を変更し平仮名文で学習し直すことは容易ではないと考えられる。一方, 平仮名文の形態素解析に RNNを用いた研究として, 井筒らは Bi-LSTM CRF に基づく手法を提案しているが，その解析精度は，MeCab と比べて低く, 改善の余地が残されている (井筒, 古宮 2021)。なお, 日本語以外の言語として中国語に対しても, RNN な゙の深層学習を用いた形態素解析手法が様々提案されており，その有効性が報告されているが (Chen et al. 2015; Ma and Hovy 2016; Ma et al. 2018), 日本語に対する有効性は明らかではない.

以下， 2 章では提案手法の詳細を紹介する， 3 章では，平仮名文を対象とした形態素解析実験を実施し, 提案手法の有効性を示す. 4 章では, 3 章の実験結果の分析や, 漢字仮名まじり文に対する形態素解析実験に基づいて，提案手法の特徴を考察する.

## $2 \mathrm{RNN$ とロジスティック回帰を用いた平仮名文の逐次的な形態素解析}

本研究では, 平仮名文に対する高精度かつ実用的な速度での解析を実現するために, RNN とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する。具体的には, Neubig

図 1 提案手法の処理手順

らの点予測による手法 (Neubig et al. 2011)においてロジスティック回帰3が与える確率と, 新たに構築した RNNが与える確率とを線形結合したスコアを用いて，文頭から逐次的に解析する.

また，提案手法は，Neubig らの手法 (Neubig et al. 2011) と同様に，形態素解析を単語境界の推定と形態素情報の推定とに分けて段階的に処理する（図 1 参照)。なお，形態素情報の推定では, 品詞 (大分類), 品詞 (細分類), 活用型, 活用形, 見出し語の漢字仮名表記, 読み, の 6 種類の情報を独立に推定する ${ }^{4}$. ここで，本研究では，平仮名文を対象とするため，見出し語の漢字仮名表記を原形の代わりに推定している。これは, 我々の先行研究 (森山他 2018) と同様に,平仮名文の同音異義語の識別を考慮するためである.

以下では，提案手法における単語境界の推定と形態素情報の推定をそれぞれ順に説明する。

## 2.1 単語境界の推定

単語境界の推定では, Neubig らの手法 (Neubig et al. 2011) と同様に，1 文を構成する文字列 $\boldsymbol{x}=c_{1} c_{2} \cdots c_{n}$ を入力とし，各文字間に単語境界の有無を示す単語境界タグ $\boldsymbol{t}=t_{1} t_{2} \cdots t_{n-1}$ を出力する．ここで，単語境界タグ $t_{i}$ は, 文字 $c_{i}$ と $c_{i+1}$ の間に単語境界が存在するとき 1 , 存在しないとき 0 をとる。また，提案手法では，各文字間に単語境界が存在するか否かを文頭から順に判定し，その判定をすべての文字境界について繰り返す.

提案手法ではまず，ロジスティック回帰と RNN とをそれぞれ用いて，各文字間に単語境界
^{3}$ Neubig らの点予測による手法 (Neubig et al. 2011) を実装した KyTea では，分類器として線形SVM とロジスティック回帰を選択可能だが，ロジスティック回帰が与える確率を提案手法では用いる.

4 本研究の実装では, これら 6 種類の形態素情報の推定を逐次的に行っているが，並列処理することも考えられる.
}

が存在する確率と存在しない確率を推定する。その後, 両者が推定した 2 つの確率を線形結合し, その値に基づいて, 単語境界の有無を判定する。 すなわち, 文字 $c_{i}$ と $c_{i+1}$ の単語境界の有無 $t_{i}$ を式 (1)により推定する.

$
t_{i}=\underset{v \in\{0,1\}}{\arg \max }\left((1-\alpha) P_{l r}\left(t_{i}=v\right)+\alpha P_{r n n}\left(t_{i}=v\right)\right)
$

ここで, $P_{l r}\left(t_{i}=v\right)$ は夕グ $t_{i}$ が $v$ である確率をロジスティック回帰により推定した値, 同様に, $P_{r n n}\left(t_{i}=v\right)$ は RNNにより推定した值を表す.また， $\alpha(0 \leq \alpha \leq 1)$ は補完係数であり，パラメータ調整用の開発データを用いて実験的に決定する.

以下では，ロジスティック回帰と RNNの各々による単語境界の推定について述べる。

## 2.1.1 ロジスティック回帰による単語境界の推定

確率 $P_{l r}\left(t_{i}\right)$ を算出する際にロジスティック回帰で用いる素性は, 夕グ位置 $i$ の前後 $m$ 文字からなる長さ $2 m$ の文字列中から得られる, 文字 n-gram と文字種 n-gram である. これらの素性は Neubig らの手法 (Neubig et al. 2011)の単語分割にて用いられている素性と同様であるが,本研究では平仮名文を扱っているため, 文字種は, 平仮名 $(\mathrm{H})$, 数字 $(\mathrm{N})$, その他 $(\mathrm{O})$ の 3 種とする．例えば，図1の入力文「しかし、はってんとじょうこくからのひはんがつよい。」において, $i=3, m=3$ とし, 1-gram から 3-gram まで使用するとすると, $P_{l r}\left(t_{3}\right)$ を算出する際の素性は以下となる.
- 文字 1-gram：し|か|し|、|は|っ
- 文字 2-gram：しか|かし|し、|、は|はっ
- 文字 3-gram：しかし|かし、|し、は|、はっ
- 文字種 1-gram : $\mathrm{H}|\mathrm{H}| \mathrm{H}|\mathrm{O}| \mathrm{H} \mid \mathrm{H}$
- 文字種 2-gram : $\mathrm{HH}|\mathrm{HH}| \mathrm{HO}|\mathrm{OH}| \mathrm{HH}$
- 文字種 3-gram : $\mathrm{HHH}|\mathrm{HHO}| \mathrm{HOH} \mid \mathrm{OHH}$

なお, Neubig らの手法では辞書素性を用いることも可能であり, 提案手法においても原理的には使用可能であるが, 簡単化のため本研究では使用していない.

## 2.1.2RNNによる単語境界の推定

確率 $P_{r n n}\left(t_{i}\right)$ を算出する際に用いる RNN の概要を図 2 に示す. まず，2.1.1 節で述べた文字 n-gram や文字種 n-gramのすべての素性の各々を Embedding を通し分散表現とする。次に，各素性の Embedding を連結したべクトルを RNNの入力とし, 順方向の LSTM (Long Short-Term Memory) (Hochreiter and Schmidhuber 1997)により変換する. 最後に，線形変換とSoftmax 関数を適用し，2 次元の出力を得る。この出力は単語境界の有無の確率分布を表す.

なお, Embeddingの事前学習は実施しておらず, 学習開始時点では Embedding は乱数により

図 2 単語境界推定のための RNN の概要

無作為に初期化し, Embedding を含むモデル全体を end-to-end で学習させている.

提案手法と同様に, RNNを用いた日本語分割手法として Kitagawa と Komachi の手法 (Kitagawa and Komachi 2018) があるが, 提案手法とは, タグを付与する対象とタグの種類数（出力層の次元数）に違いがある. Kitagawa と Komachi の研究では，各文字に対して, 'B', 'I', 'E', 'S' (順に,「単語の先頭」,「単語の内部」,「単語の末尾」,「一文字からなる単語」) の 4 種類の夕グを付与すべく, RNNが設計されている。それに対し，提案手法では，ロジスティック回帰が与える確率 $P_{l r}\left(t_{i}\right)$ との線形結合を行うため, 各文字境界に対して, 単語境界の有無の 2 種類の夕グを付与するべく，RNNを設計している。

また, 両手法とも, Neubig らの手法 (Neubig et al. 2011) を参考として, 文字 n-gram や文字種 n-gram を RNN の入力に利用するが，夕グを付与する対象が異なっているため，その取り方は完全に一致しているわけではない，提案手法では，ロジスティック回帰が与える確率 $P_{l r}\left(t_{i}\right)$ との線形結合を行うため, Neubig らの手法 (Neubig et al. 2011) と同一の素性としている.

なお, 2.1.1 節と同様に, 提案手法においても辞書素性を使用可能であるが, 本研究では簡単化のため使用していない.

## 2.2 形態素情報の推定

形態素情報の推定では，2.1 節の単語境界の推定によって単語に分割された 1 文を入力とし,各単語の 6 種類の形態素情報 (品詞 (大分類), 品詞 (細分類), 活用型, 活用形, 見出し語の漢字仮名表記，読み）をそれぞれ推定する（図 1 参照）６種類の各形態素情報を推定する枠組みは同一であり，それぞれ独立に実行される。そのため以下では，品詞（大分類）の推定方法のみを取り上げ説明する。また，本節では品詞（大分類）を品詞と略称する。

品詞の推定では, 1 文を構成する単語列 $\boldsymbol{w}=w_{1} w_{2} \cdots w_{k}$ を入力とし, 各単語の品詞ラベル
$\boldsymbol{l}=l_{1} l_{2} \cdots l_{k}$ を出力する. ここで, $l_{j}$ は, 単語 $w_{j}$ の品詞ラベルである. また, 本手法では, 各単語の品詞ラベルを文頭から順に判定し，その判定を文末まで繰り返す.

品詞の推定においても，単語境界推定と同様に，まず，ロジスティック回帰と RNN とをそれぞれ用いて, 各単語が各品詞ラベルを持つ確率を推定する。その後, 両者が推定した 2 つの確率を線形結合し，その値に基づいて，各単語の品詞ラベルを判定する.

品詞の推定は多值分類問題となるが，各単語に対して品詞を推定する際，各単語が取り得る品詞ラベルの種類数をどのように考えるかによって, 多値分類器の構成方法には 2 つの方法が考えられる (森他 2011)，一つは，品詞ラベルをすべて集めた集合を $L$ とするとき，すべての語彙に対して, $|L|$ 值分類問題を解く 1 つのモデルを作る方法であり, 全体モデルと呼ばれる. もう一つは，ある単語 $w_{j}$ が実際に取り得るラベルは $L$ の部分集合 $L_{j}$ であることを考慮し, 各語彙に対してその語彙だけのためのモデルを作る方法であり，個別モデルと呼ばれる ${ }^{5}$.

本研究では，ロジスティック回帰による推定と RNN による推定とで異なるモデルを採用する. すなわち，ロジスティック回帰による推定では Neubig らの手法 (Neubig et al. 2011; 森他 2011) と同様に個別モデルを採用し，RNNによる推定では訓練データ量がスパースとなることを考慮し全体モデルを採用する，個別モデルが語彙ごとにモデルを使い分けるのに対し，全体モデルはすべての単語で共通のモデルを使用することから, 多くの場合, 個別モデルにより分類するクラス数は，全体モデルにより分類するクラス数より小さくなる．そのため，両者が推定した確率値を線形結合する際には，ロジスティック回帰（個別モデル）により分類するクラス数に基づき，RNN（全体モデル）が推定した確率値を補正する.

具体的には, 単語 $w_{j}$ の品詞ラベル $l_{j}$ を式 (2) により推定する.

$
l_{j}=\underset{v \in L_{j}}{\arg \max }\left((1-\beta) P_{l r}^{\text {個 }}\left(l_{j}=v\right)+\beta \frac{P_{r n n}^{\text {全 }}\left(l_{j}=v\right)}{\Sigma_{v \in L_{j}} P_{r n n}^{\text {羔 }}\left(l_{j}=v\right)}\right)
$

ここで, $P_{l r}$ 個 $\left(l_{j}=v\right)$ は単語 $w_{j}$ の品詞ラベルが $v$ である確率をロジスティック回帰（個別モデル）により推定した値を，同様に， $P_{r n n}^{\text {全 }}\left(l_{j}=v\right)$ は RNN（全体モデル）により推定した值をそれぞれ表す. $L_{j}$ は，単語 $w_{j}$ が取り得る品詞ラベルを集めた集合を表し ${ }^{6}, \quad \Sigma_{v \in L_{j}} P_{l r}^{\text {個 }}\left(l_{j}=v\right)=1$ となる。なお，品詞ラべルをすべて集めた集合 $L$ に関しては， $\Sigma_{v \in L} P_{r n n}$ 全 $\left(l_{j}=v\right)=1$ が成り立つ. ここで, $\left|L_{j}\right| \leq|L|$ であるため, 式 $(2)$ では, $P_{r n n}^{\text {全 }}\left(l_{j}=v\right)$ を補正した上で, $P_{l r}^{\text {個 }}\left(l_{j}=v\right)$ との線形結合を行っている。なお， $\beta(0 \leq \beta \leq 1)$ は補完係数であり，パラメータ調整用の開発デー 夕を用いて実験的に決定する。 $\beta$ は, 図 1 に示す 6 種類の各形態素情報で個別に設定できるが,本研究では予備実験により同一の値を設定している (3.2 節参照).

以下では，ロジスティック回帰と RNNの各々による品詞の推定を説明する.
^{5} \mathrm{http}: / /$ www.phontron.com/kytea/train-ja.html

6 実際には訓練データにおいて各単語に付与されているラべルを集めている.
}

## 2.2.1 ロジスティック回帰による品詞の推定

確率 $P_{l r}$ 個 $\left(l_{j}\right)$ を算出する際にロジスティック回帰で用いる素性は, Neubig らの手法 (Neubig et al. 2011) の品詞推定にて用いられている素性と同様である。具体的には, 推定する単語 $w_{j}$ の直前の $m$ 文字からなる文字列 $\boldsymbol{c}_{-}$と直後の $m$ 文字からなる文字列 $\boldsymbol{c}_{+}$の連結 $\boldsymbol{c}_{-} \boldsymbol{c}_{+}$に含まれる，文字 n-gram と文字種 n-gram である。ただし，本研究では平仮名文を扱っているため，文字種は, 平仮名 $(\mathrm{H})$, 数字 $(\mathrm{N})$, その他 $(\mathrm{O})$ の 3 種である. 例えば, 図 1 における単語境界推定の出力文「しかし／、／はってん／とじょう／こく／から／の／ひはん／が／つよい／。」 において, $j=3, m=3$ とし, 1-gram から 3 -gram まで使用するとすると, $P_{l r}^{\text {個 }}\left(l_{3}\right)$ を算出する際の素性は，文字列「かし、とじょ」から得られ，以下となる。
- 文字 1-gram：か|し|、|と|じ|ょ
- 文字 2-gram：かし|し、|、と|とじ|じょ
- 文字 3-gram：かし、|し、と|、とじ|とじょ
- 文字種 1-gram : $\mathrm{H}|\mathrm{H}| \mathrm{O}|\mathrm{H}| \mathrm{H} \mid \mathrm{H}$
- 文字種 2-gram : $\mathrm{HH}|\mathrm{HO}| \mathrm{OH}|\mathrm{HH}| \mathrm{HH}$
- 文字種 3-gram : $\mathrm{HHO}|\mathrm{HOH}| \mathrm{OHH} \mid \mathrm{HHH}$

ロジスティック回帰による品詞推定モデルは, 個別モデルに基づくため語彙ごとに作る.

なお, Neubig らの手法では, 推定対象の単語が訓練デー夕に出現せず，辞書に出現する場合は，その単語の辞書情報をそのまま出力するという形で辞書を利用しているが，簡単化のため本研究では使用していない.

## 2.2.2 RNN による品詞の推定

確率 $P_{r n n}^{\text {全 }}\left(l_{j}\right)$ を算出する際に用いる RNN の概要を図 3 に示す。まず，2.2.1 節で述べた文

図 3 形態素情報推定のための RNN の概要
字 n-gram と文字種 n-gram のすべての素性に加えて, 推定対象の単語を抽出し，その各々を Embedding を通し分散表現とする。本研究では, Neubig らの手法 (Neubig et al. 2011)の全体モデルの場合と同様に，推定対象の単語そのものを分類器の素性として利用する。次に，2.2.1 節で述べた文字 n-gram と文字種 n-gram のすべてと推定対象の単語の各 Embedding を連結したベクトルを RNNの入力とし，順方向の LSTMにより変換する，最後に，線形変換と Softmax 関数を適用し， $|L|$ 次元の出力を得る。この出力は品詞ラベルの確率分布を表す.

なお, 2.1.2節と同様に, Embeddingの事前学習は実施しておらず, 学習開始時点では Embedding は乱数により無作為に初期化し, 訓練データの正解の単語境界情報を用いて, Embedding を含むモデル全体を end-to-end で学習させている。また，前述したように，RNNによる品詞推定は全体モデルに基づくため，各単語に対して適用されるモデルは共通である。また，2.2.1節と同様に，簡単化のため本研究では辞書を使用していない.

## 3 評価実験

平仮名文の形態素解析における提案手法の有効性を確認するため, 従来手法との比較実験を実施した。

## 3.1 実験データ

実験では，京都大学テキストコーパス Version 4.0 の各見出し語を平仮名に置換したものを利用する7.コーパスは 38,400 文, 972,894 単語， $2,320,340$ 文字からなり,これを訓練デー夕, 開発データ及びテストデータに分割して使用する。詳細を表 1 に示す. 1 月 17 日の一般記事（社説以外の記事）を開発データとし，1月 12 日から 1 月 16 日の 5 日分の一般記事のうち， 1 日分をテストデータとする実験を 5 回実施する，各回における訓練データは，当該テストデータと開発データを除くすべてを使用することとした。例えば， 1 月 16 日の一般記事をテストデータとする場合，訓練デー夕は 1 月 1 日から 1 月 15 日の一般記事と 1 月から 12 月の社説記事となる.

表 1 実験データ


## 3.2 比較手法

提案手法 (以下, $[\mathrm{LR}+\mathrm{RNN}]$ と記す) との比較のため, 以下 7 つの比較手法を設けた.
- $[\mathrm{MeCab}]$ : 形態素解析器 MeCab (ver. 0.996) を用いる手法. MeCabのモデルの学習には seed 辞書, 設定ファイル及びコーパスを用意する必要がある 8 . seed 辞書は 3.1 節で述べた訓練データの語彙から作成した。素性抽出テンプレート等の設定ファイルは, $\mathrm{MeCab}$ の配布辞書のひとつであり, 京都大学テキストコーパスの品詞体系に従う JUMAN 辞書のものと同一とした，たたし，JUMAN 辞書の設定では学習時に正解を判定する条件を形態素情報のうち活用形までの一致としているため, ひらがな文の解析に則すよう形態素情報すべての一致を正解とするよう設定を変更している。コーパスは 3.1 節で述べた訓練データを $\mathrm{MeCab}$ のフォーマットに修正して作成した. ハイパーパラメータ C $1.0 を$指定し，コーパス中に出現する素性は，頻度によるフィルタをかけず，すべて使用した.
- [KyTea] : 形態素解析器 KyTea (ver. 0.4.6) を用いる手法. 本実験の訓練データを使い, 一から学習したモデルを用いる。訓練時のオプションは “-full”と“-model”のみを指定し,辞書を使用せず，分類器はデフォルトの線形SVM としている。また, 解析時のオプションは “-model”のみを指定している.
- $[\mathrm{CRFs}+\mathrm{RNNLM}]$ : 我々の先行研究手法 (森山他 2018). なお, 使用されている訓練デー 夕は本実験の訓練データと同一である.
- $[\mathrm{CRFs}]:[\mathrm{CRFs}+\mathrm{RNNLM}]$ において, 補間係数 $\alpha$ を 0 とし, $\mathrm{CRFs}$ が与える確率のみを用いて推定する手法.
- $[$ RNNLM $]:[\mathrm{CRFs}+\mathrm{RNNLM}]$ において, 補間係数 $\alpha$ を 1 とし, RNNLM が与える確率のみを用いて推定する手法.
- $[\mathrm{LR}]$ : 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ において, 補間係数 $\alpha, \beta$ をともに 0 とする手法.
- $[\mathrm{RNN}]$ : 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ において, 補間係数 $\alpha, \beta$ をともに 1 とする手法.

これら 7 つの比較手法と提案手法の違いを表 2 に整理して示す.これらの手法は, 判定アルゴリズムが逐次的であるか，ラティスベースであるかの違い，また， スコア算出器や分類器として，局所情報を素性とする機械学習のみを用いるのか，大域情報を考慮できる RNNのみを用いるのか，両者を用いるのかという違いの 2 つの観点で整理できる.

$[\mathrm{LR}+\mathrm{RNN}]$ における単語分割推定と形態素情報推定の際に使用したRNN のハイパーパラメー 夕を表 3 に示す。このうち, 対象単語の Embedding 次元数は形態素情報推定のための RNN のみに関わるハイパーパラメータであり, その他は, 単語分割推定と形態素情報推定の両方でともに同じ値を用いた。なお, Adamの各パラメータは推奨値とした。また, エポック数は, 開発データ上での $\mathrm{F}$ 値が収束するまでとした。，提案手法及び上記 7 つの比較手法のモデルの学習


表 2 提案手法と比較手法の特徵

表 3 RNN のハイパーパラメータ

は， 3.1 節で述べた訓練データのみを用いて行った。

提案手法における補完係数 $\alpha$ と $\beta$ は，表 1 のテストデータごとに訓練データが変わるため, それぞれの訓練データごとに，開発データにおいて $\mathrm{F}$ 値を最も高くする $\alpha$ と $\beta$ から 1 まで 0.1 刻みで探索し，それらを採用した。ただし， $\beta$ の探索は正解の単語分割を与えた上で実施し, また， $\beta$ は 6 種類の形態素情報共通とした。表 4 の上 2 行に，本実験において採用した補完係数 $\alpha$ と $\beta$ を示す.また，単語境界推定と形態素情報推定のいずれにおいても，提案手法で用いる素性を決定する際の空幅は $m=3$ とし, n-gram は 1-gram から 3-gram まで使用した.

提案手法は scikit-learn (Pedregosa et al. 2011), 及び, PyTorch (Paszke et al. 2019), PyTorchlgnite (Fomin et al. 2020) を使い Python で実装した。なお, 我々の先行研究手法 [CRFs+RNNLM] も Python で実装している。

表 43 章と 4.4 節の各実験における $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha$ と $\beta$

## 3.3 評価指標

解析時間の評価では，プログラムの実行時間を bashの timeにより計測し, 1 文あたりの平均解析時間を算出した。なお，推論時のプログラムはすべて， CPU:Intel Core i5-6500, RAM:8.0GB を搭載したマシン上で実行し，GPUは使用していない。

また，解析精度の評価には適合率，再現率及び $\mathrm{F}$ 值を使用する。それぞれの計算式は以下の通りである.

$
\begin{gathered}
\text { Precision }=\frac{\text { Number of correct morphemes }}{\text { Number of predicted morphemes }} \\
\text { Recall }=\frac{\text { Number of correct morphemes }}{\text { Number of groundtruth morphemes }} \\
F=\frac{2 * \text { Precision } * \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{gathered}
$

我々の先行研究 (森山他 2018) と同じく, 評価基準は次の 5 つを設けた.
- level0：単語分割が正解.
- level1：level0 に加え品詞（大分類）が正解.
- level2：level1 に加え品詞（細分類）が正解.
- level3 : level2 に加え活用型と活用形が正解.
- level4 : level3 に加え見出し語の漢字仮名表記と読みが正解.

level4 の正解は同音異義語の識別の成功に相当する.

なお，上述の各評価指標の値は 5 回の実験結果の平均をとったものとする.

## 3.4 実験結果

実験結果を表 5 に示す 9 . 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と比較して, 100 倍以上高速になっている。表 2 に両者の違いを示した通り, [CRFs+RNNLM $]$ は


} & \multicolumn{5}{|c|}{$\mathrm{F}$ 值（適合率 [\%]/再現率 [\%]） } \\

表 5 実験結果

ラティス上の経路ごとに RNNLM によるスコア計算を繰り返し計算する必要があるのに対し, $[\mathrm{LR}+\mathrm{RNN}]$ は，文字列長あるいは単語長だけ RNN を適用すればよく，計算量を大きく抑えることができる。この点が提案手法の高速化を実現できた主要因と考えられる。その他の要因として, [CRFs+RNNLM] は LSTM の各層の隠れ状態の次元数が 1500 であるの対して, [LR+RNN $]$ は約 1/8の 200 であり，RNNのモデルサイズを小さくすることができた点も考えられる.

一方, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の解析時間は, $[\mathrm{MeCab}]$ や [KyTea] には及ばなかった. ただし,提案手法が Python で実装されているのに対し, [MeCab] や [KyTea] は C++で実装されており，同一言語で各手法を実装すれば，各手法の解析時間の差は表 5 の結果より縮まると考えられる. また，本実験では図 1 の 6 種類の形態素情報の推定を逐次的に行っているが，これらを並列処理することにより，更なる高速化が期待できる。いずれにしろ，提案手法の更なる高速化は今後の課題である.

次に, 解析精度に目を向けると, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 単語分割性能を示す level0 と, 最も厳しい評価基準である level4 の F 値において, 最高値を達成しており, level4 の F 值において 2 番目に高い値を示した $[\mathrm{CRFs}+\mathrm{RNNLM}]$ を有意に上回った $(p<0.05)^{10}$. 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と比較し, 同程度以上の高い解析精度を達成しつつ,
$ 検定を実施し確認した. なお，本実験結果の検定はすべて同じ方法で実施した.
}
解析時間を大幅に削減できていることを確認した。

また， [KyTea] や $[\mathrm{MeCab}]$ とそれぞれ比較した場合，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は全 level において有意に上回った（いずれも $p<0.01 ）$ ，提案手法は，平仮名文を対象とする場合において，代表的な日本語形態素解析器を上回る高い解析精度を達成していることを確認した。

## 4 考察

本章では，前章の実験結果に基づき，平仮名文の形態素解析における提案手法の特徴を考察する。具体的には， [CRFs+RNNLM] や [KyTea], [LR], [RNN]による各解析精度との比較を通じて，提案手法の利点や誤り傾向について述べる。また，漢字仮名まじり文に対して提案手法を適用し，平仮名文に対する解析との違いについて考察する。

## 4.1 提案手法と $[\mathrm{CRFs+\mathrm{RNNLM}]$ の比較}

本節では, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ の解析結果に基づき，表 2 に示す両者の違いが解析精度に及ぼす影響を考察する。

まず，単語分割を意味する level 0 や，最も厳しい評価基準である level 4 の $\mathrm{F}$ 値において，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ が [CRFs+RNNLM $]$ を有意に上回った原因を考察する。表 5 の適合率に着目すると, level0 や level4 において, [CRFs+RNNLM] が提案手法を著しく下回っていることがわかる. 図 4 に， $[\mathrm{CRFs}+\mathrm{RNNLM}]$ の適合率を著しく低下させている例を示す. 平仮名文の解析を便宜上，漢字仮名表記で記載していることに注意されたい.いずれの例も訓練データに出現しない未知語が入力文に含まれており，提案手法と $[\mathrm{CRFs}+\mathrm{RNNLM}]$ がいずれも形態素解析に失敗した例となっているが, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ は未知語を構成する文字列を細かく刻み単語分割していることがわかる。そのため，適合率の分母が増加し，適合率を押し下げたものと考えられる。

$[\mathrm{CRFs}+\mathrm{RNNLM}]$ は, 言語モデルによって算出される次の単語の生起確率を用いているため, ラティス上において, 未知語が含まれるパスはスコアが著しく低くなり選択されにくくなる. そのため，未知語を構成する文字列を細かく刻み，訓練データに存在した単語に分割したパスが選択されることになると考えられる。なお，ラティスベースの形態素解析を行う $[\mathrm{MeCab}]$ や $[\mathrm{CRFs}],[\mathrm{RNNLM}]$ も同様に, level0の適合率が低く, その中でも言語モデルを利用する [RNNLM] の低下は著しいことが確認できるが, これらも同様の理由が考えられる.

一方, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 逐次的に判定するため, 未知語を構成する文字列を未知語 1 語として判定する傾向が強いと考えられる。また, 提案手法は, 表層形を元に RNNにより推定を行うため, 入力文の一部に未知語があった場合でも他の箇所へ影響は少なく, 未知語に対してある程度頑健と考えられる， 3 章の実験では， 3.1 節で述べた通り，新聞記事を日付ごとに分

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

※ UNK は未知語を意味する。

図 4 未知語が含まれる文に対する提案手法と [CRFs+RNNLM $]$ の解析例

割して実験データを作成しており，テストデータには訓練データに出現しない未知語が比較的多く含まれる形となっている。そのことも提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ に有利に働いたものと考えられる。なお，本研究では，新聞記事全体から文単位でランダムにサンプリングして別の実験デー 夕を作成し，未知語が含まれる割合が低下したテストデータに対しても評価実験を実施してお

り, 3 章の実験結果との比較からも, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の未知語に対する頑健性を確認している（詳細は付録 Aを参照されたい）.

次に, level0 や level4 の解析において，[CRFs+RNNLM] は成功しているものの，提案手法が失敗した例を考察する。そのような例を図 5 に示す。平仮名文の解析を便宜上，漢字仮名表記で記載していることに注意されたい。最初の例では，「三/党（さん/とう）」が正解であるのに対し, 提案手法は「山刀（さんとう）」と解析誤りを犯しているが， [CRFs+RNNLM $]$ は正解と同一の単語分割及び漢字仮名表記の推定に成功している。 [CRFs+RNNLM] はビームサーチを用いているものの，RNNLM をラティス上の経路ごとに適用するため，一部の後方文脈を考慮できる．そのため，後方の「政局」を考慮して，「三/党（さん/とう）」の解析に成功したものと考えられる。それに対して，提案手法は逐次的に単語境界を判定しているため, 順方向 LSTM により前方の大域的な情報を考慮しているといえども，後方の「政局」を考慮できず，この解析に失敗している。上から 2 例目も同様に考察できる。また，上から 3 例目と 4 例目では，提案手法は単語分割に成功しているものの, 漢字仮名表記の推定, すなわち, 同音異義語の識別に失敗している。これらの例でも，後方文脈を考慮できないことにより，提案手法が失敗しているものと考えられる。

提案手法は，高速化を図るために逐次的な単語分割手法を採用しており，高速性を犠牲にしないためには，逐次的に判定を行う枠組みにおいて単語分割精度を向上させる方策を考える必要がある，例えば，大域的な情報をより強く考慮するため，双方向 LSTM (Schuster and Paliwal

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

図 5 提案手法が失敗し, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ が成功した例

1997) や Attention (Vaswani et al. 2017) などの活用が考えられるが，その改善策については今後の課題である.

## 4.2 提案手法と [KyTea] の比較

本節では, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と， [KyTea] の解析結果に基づき, 表 2 に示す両者の違いが解析精度に及ぼす影響を考察する。

表 5 における提案手法 [LR+RNN] と [KyTea] の各 levelの F 値を詳細に見ると， level0において 2.44 ポイントの差が生じ，その差が level1～4においてそのまま引き継がれ 2.09～2.35 ポイント差となっている。このことから，提案手法が全 level の F 値において [KyTea] より有意に上回ったのは，単語分割によって生じた精度差が主な原因であり，その差が形態素情報の推定まで引きずられたためと考えられ，形態素情報の推定では両手法に精度差はほとんどないという仮説が考えられる。

そこで，この仮説を検証するため, 正解の単語分割に基づいて, 提案手法と [KyTea] で形態素情報を推定するという追加実験を実施した，実験設定は， 3 章と同様であり，提案手法と [KyTea] の形態素情報推定機構の入力に，正解の単語分割を与えている点のみが異なる.

表 6 に追加実験の結果を示す。なお，正解の単語分割結果を与えているため, 正解率で評価している（適合率・再現率・F 値はいずれも正解率と同値となる），両者を比較すると，各 level でその差はほとんどなく, この結果は上記の仮説を支持するものと考えられる.

一方, 単語分割 level0の F 値において, 提案手法と [KyTea] との間に有意差が生じた原因は,大域的な情報を考慮しているか否かにあると考えられる。図 6 に，単語分割において，提案手法は成功し, [KyTea] は失敗した例を示す。平仮名文の解析を便宜上，漢字仮名表記で記載していることに注意されたい. 1 つ目の例では,「しょうちく(松竹)」が正解であるのに対し, [KyTea] は「しょう/ちく(小/地区)」と解析誤りを犯しているが, 提案手法は正解と同一の解析に成功している。提案手法と [KyTea] はいずれも逐次的に単語境界の判定を行うが，提案手法は，「えんげき(演劇)」や「げきじょう（劇場)」といった前方に位置する大域的な情報を RNNにより考慮することができ, 「しょうちく（松竹)」の解析に成功したものと考えられる．その他の例についても，同様の考察ができる。

提案手法は, 逐次的な手法を採用しているため, 1 文全体の最適経路を求める [CRFs+RNNLM $]$

表 6 正解の単語分割に基づく提案手法と [KyTea] の形態素情報推定結果

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

※ UNK は未知語を意味する。

図 6 単語分割において, [KyTea] が失敗し, 提案手法が成功した例

と比べると大域的な判断を一部犠牲にしていることになるものの，RNNを組み合わせることにより，大域的な情報を考慮することに成功していると考えられる。

## 4.3 提案手法と $[\mathrm{LR]$ 及び $[\mathrm{RNN}]$ の比較}

本節では，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と，提案手法を構成する $[\mathrm{LR}]$ 及び $[\mathrm{RNN}]$ の 3 つの手法による推定結果を比較し, 提案手法の誤り傾向と，その誤りの削減可能性について考察する.

表 7 に，推定対象箇所のうち，各手法が各 level の評価基準に照らして誤った箇所の数と，その誤り箇所の重なり数を示す.ここで，単語境界推定の評価は， 3 章の実験結果に基づいたも

表 7 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{LR}],[\mathrm{RNN}]$ の各手法が誤った箇所の数と, その誤り箇所の重複

のであるが，形態素情報推定の評価は，各手法の間で推定対象箇所をそろえるため，正解の単語境界を各手法の入力として再実験11した結果に基づいたものである。そのため, 単語境界推定時と形態素情報推定時の推定対象箇所の総数は，各手法で同数であり，それぞれ，表 1 に示す 5 つのテストデータの合計文字数 421,760 と合計単語数 175,981 である.

どの level においても, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ の共通の誤り数と, $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ の共通の誤り数に差はほとんどなく, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ がいずれも誤った箇所は, $[\mathrm{LR}+\mathrm{RNN}]$ でも誤っていることが分かる. $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のどちらもが誤っていたとしても，どちらかの手法において下位候補が第 1 位候補と大差なく高い確率値を持ってる場合などにおいて, 式 (1)の $\alpha$ や式 (2)の $\beta$ の選び方によっては原理的に正解できる可能性はある. しかし, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のいずれもが誤るような箇所は, 4.1 節で述べた通り, 後方文脈などの大域的な情報を考慮する必要のある場合が多いと考えられ，線形結合の補完係数を変更するだけで正解に導くことは難しいと考えられる。

一方, $[\mathrm{LR}+\mathrm{RNN}]$ の誤りのうち, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のどちらか一方が正解しているものについては，推定対象箇所ごとに $\alpha$ や $\beta$ を適切に選ぶことができれば正解できる可能性があると言える。例えば，単語境界推定において，[LR] と $[\mathrm{RNN}]$ のどちらか一方が正解していたものを [LR+RNN] で正解できたとすると, level0 の F 值は 94.37 から 96.37 まで改善することができる. より適切な $\alpha や \beta$ の設定方法の検討は今後の課題である.

## 4.4 漢字仮名まじり文に対する解析精度との比較

1 章で述べたように，平仮名文の形態素解析は，漢字仮名まじり文と比べて，一般に難しい夕スクであり，その解析精度が大きく低下することが知られている。本節では，その解析精度の低下を提案手法がどの程度, 抑制できているかを確認するため, 我々の先行研究 (森山他 2018) と同様に，漢字仮名まじり文に対する形態素解析実験を実施し，平仮名文に対する実験結果と

比較する。

漢字仮名まじり文に対する実験の設定を述べる，実験データには，平仮名文コーパスに変換する前のオリジナルの京都大学テキストコーパスを，表 1 と同様に，訓練データ，開発デー夕， テストデータに分割したものを用い， 3 章と同様の実験を 5 回実施した． 3 章の実験との違いは，実験データが平仮名文コーパスに変換されているか否かのみである。また，我々の先行研究 (森山他 2018) と同様に, [KyTea] や [MeCab], [CRFs+RNNLM] のほか, JUMAN++ (ver. 1.02)を用いる手法 (以下, $[$ JUMAN++]) 12でも形態素解析を実行し, 提案手法と比較した。なお，提案手法 $[\mathrm{LR}+\mathrm{RNN}],[\mathrm{KyTea}],[\mathrm{MeCab}],[\mathrm{CRFs}+\mathrm{RNNLM}]$ は，表 1 の訓練データ（ただし，当該箇所のオリジナルの京都大学テキストコーパス）により学習し直したものを利用し， [JUMAN++] は JUMAN++ (ver. 1.02) をデフォルトのまま利用した。また，提案手法の補完係数については, 3.2 節と同様の方法で, 開発デー夕を用いて新たに決定した。表 4 の下 2 行に,本実験において採用した補完係数 $\alpha$ と $\beta$ を示す. その他の実験設定は, 3 章と同一とした.

表 8 に漢字仮名まじり文と平仮名文の形態素解析結果（ $\mathrm{F}$ 値）を示す.下 4 行の平仮名文の形態素解析精度は，比較の簡単化のために，表 5 の値を再掲載したものである。

解析対象が漢字仮名まじり文から平仮名文に変わった時の各手法の解析精度の低下に着目すると, 提案手法の落ち込みは, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と比べると大きいものの, 提案手法と同様に逐次的な解析を行う [KyTea] と比べると小さいことがわかる。提案手法は, RNNにより大域的な情報を考慮することによって，平仮名文における曖昧性の一部を解消することに成功し，解析精度の低下を抑制できているものと考えられる.

ここで，提案手法における，式 (1) の補完係数 $\alpha$ に着目する，表 4 を見ると，平仮名文を対象とした場合の最適な補完係数の値は，特に $\alpha$ において，漢字仮名まじり文を対象とした場合

表 8 漢字仮名まじり文と平仮名文の形態素解析結果（F 値）の比較

平仮名文

漢字仮名まじり文

図 73 章（左図：平仮名文対象）と本節（右図：漢字仮名まじり文対象）の実験における $\alpha$ の探索

より，大きくなる傾向が読み取れる。図 7 に， 3 章や本節の実験において， $\alpha$ を 0 から 1 まで 0.1 刻みで変化させたときの, 開発データにおける level0の F 值をプロットしたグラフを示す.「 $\left.\alpha_{-} 112\right.\rfloor は 1$ 月 12 日をテストデータとするときの訓練データで学習したモデルにおいて $\alpha$ を探索した結果を示す。平仮名文を対象とした場合のグラフのピークが漢字仮名まじり文を対象とした場合と比べて右に寄っていることが分かる。このことは, 漢字仮名まじり文と比べて,平仮名文の曖昧性解消には, RNNによる大域的な情報をより強く考慮することが重要であることを示唆している。提案手法は，RNNによる大域的な情報を考慮する度合いを強めることにより，平仮名文に対する解析精度の低下を抑制しているものと考えられる。

一方，漢字仮名まじり文に対する解析精度は，参考までに実施した [JUMAN++] を除き 13 ，すべての level において, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{KyTea}]$ が拮抗し, どちらかが最も高い $\mathrm{F}$ 值を達成している. どの level においても，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{KyTea}]$ との有意差は認められなかった (いずれの level も $p>0.05$ ). 上述したように，漢字仮名まじり文を解析する際の補完係数の値は 0 に近づいており，その分だけ，[LR+RNN] が手法として，[LR]に近づいているといえる。[LR] と [KyTea] は，用いた機械学習手法に違いがあるだけであり，提案手法と [KyTea] の間の差も小さくなっているものと思われる。漢字仮名まじり文に対する提案手法の有効性に関する検証は今後の課題としたい.


## 5 おわりに

本論文では，RNNとロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案した．平仮名文に対する形態素解析実験の結果，単語分割と形態素情報のすべての一致を正解として測定した $\mathrm{F}$ 値において，提案手法は 88.22 となり, 従来手法 [CRFs+RNNLM] の 87.70 を上回る解析精度を達成した。また提案手法は, 従来手法 [CRFs+RNNLM] と比べて 100 倍以上の高速化を実現していることを確認した。さらに，漢字仮名まじり文に対する解析実験との比較の結果，漢字仮名まじり文と比べて，平仮名文の解析では，大域的な情報がより効果を発揮することを確認した。

今後は, 双方向 LSTM (Schuster and Paliwal 1997) や Attention (Vaswani et al. 2017) などの導入を検討し, 平仮名文に対する形態素解析精度の向上を図る予定である. また, 更なる高速化についても検討したい。 さらに，漢字仮名まじり文に対する提案手法の効果について検証を進め，漢字仮名まじり文に対する形態素解析精度の向上にも取り組みたい.

## 謝 辞

本研究の提案手法の実装には， scikit-learn 及び PyTorch，PyTorch-lgniteを利用した。評価には京都大学テキストコーパス, KyTea, MeCab, JUMAN++を利用した。これらの開発に携わった方々に感謝する。本研究は, 一部, 科学研究費補助金基盤研究 (C) No. $19 K 12127$ により実施した。

## 参考文献

Chen, X., Qiu, X., Zhu, C., Liu, P., and Huang, X. (2015). "Long Short-Term Memory Neural Networks for Chinese Word Segmentation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1197-1206, Lisbon, Portugal. Association for Computational Linguistics.

Fomin, V., Anmol, J., Desroziers, S., Kriss, J., and Tejani, A. (2020). "High-Level Library to Help with Training Neural Networks in PyTorch." https://github.com/pytorch/ignite.藤田早苗, 平博順, 小林哲生, 田中貴秋 (2014). 絵本のテキストを対象とした形態素解析. 自

然言語処理, 21 (3), pp. 515-539. [Fujita, S., Taira, H., Kobayashi, T. and Tanaka, T. (2014). "Japanese Morphological Analysis of Picture Books." Journal of Natural Language Processing, 21 (3), pp. 515-539.].

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation,

9, pp. 1735-1780.

井筒順, 古宮嘉那子 (2021). Bi-LSTM CRF モデルを用いた平仮名文の形態素解析. 言語処理学会第 27 回年次大会発表論文集, pp. 942-946. [Izutsu, J. and Komiya, K. (2021). “BiLSTM CRF Moderu-wo Mochita Hiragana-bun-no Keitaiso-kaiseki." Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 942-946.].

Kitagawa, Y. and Komachi, M. (2018). "Long Short-Term Memory for Japanese Word Segmentation." In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, pp. 279-288, Hong Kong. Association for Computational Linguistics.

工藤拓, 市川宙, DavidTalbot, 賀沢秀人 (2012). Web 上のひらがな交じり文に頑健な形態素解析.言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275. [Kudo, T., Ichikawa, H., Talbot, D. and Kazawa, S. (2012). "Web-jo-no Hiragana-majiri-bun-ni Ganken-na Keitaiso-kaiseki." Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 1272-1275.].

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

黒橋禎夫, 居蔵由衣子, 坂口昌子 (2000). 形態素・構文タグ付きコーパス作成の作業基準 version 1.8. http://nlp.ist.i.kyoto-u.ac.jp/index.php?京都大学テキストコーパス [Kurohashi, S., Igura, Y. and Sakaguchi, M. (2000). "Keitaiso $\cdot$ kobun-tagu-tsuki Kopasu-sakusei-no Sagyokijyun version 1.8."].

黒橋・河原研究室 (2012). 日本語形態素解析システム JUMAN version 7.0. http://nlp.ist.i. kyoto-u.ac.jp/index.php? JUMAN [Kurohashi $\cdot$ Kawahara Kenkyu-sitsu. (2012). "Nihongo Keitaiso-kaiseki-sisutemu JUMAN version 7.0."].

Ma, J., Ganchev, K., and Weiss, D. (2018). "State-of-the-art Chinese Word Segmentation with BiLSTMs." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4902-4908, Brussels, Belgium. Association for Computational Linguistics.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany. Association for Computational Linguistics.

松本裕治, 高岡一馬, 浅原正幸 (2008). 形態素解析システム『茶鉒』 version 2.4.3 使用説明書. http://chasen-legacy.osdn.jp/ [Matsumoto, Y., Takaoka, K. and Asahara M. (2008). "Keitaiso-kaiseki-sisutemu ChaSen version 2.4.3 Siyo-setsumei-sho."].
森信介, 中田陽介, NeubigGraham, 河原達也 (2011). 点予測による形態素解析. 自然言語処理, 18

(4), pp. 367-381. [Mori, S., Nkata, Y., Neubig, G. and Kawahara, T. (2011). "Morphological Analysis with Pointwise Predictors." Journal of Natural Language Processing, 18 (4), pp. 367-381.].

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

森山柊平, 大野誠宽, 増田英孝, 絹川博之 (2018). Recurrent Neural Network Language Model を用いたべた書きかな文の形態素解析. 情報処理学会論文誌, 59 (10), pp. 1911-1921. [Moriyama, S., Ohno, T. Masuda, H. and Kinukawa, H. (2018). "Morphological Analysis of Unsegmented Kana Strings Using Reccurent Neural Network Language Model." IPSJ Journal, 59 (10) pp. 1911-1921.].

長尾真 (編) (1996). 岩波講座ソフトウェア科学〈〔知識〕15〉自然言語処理. 岩波書店. [Nagao, M. (Ed.) (1996). "Iwanami-koza Sofutouea-kagaku 〈[Chishiki] 15〉 Sizen-gengo-shori." Iwanami Shoten].

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). "Scikit-learn: Machine Learning in Python." Journal of Machine Learning Research, 12, pp. 2825-2830.

Schuster, M. and Paliwal, K. (1997). "Bidirectional Recurrent Neural Networks." IEEE Transactions on Signal Processing, 45 (11), pp. 2673-2681.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium.

Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2019). "Shrinking Japanese Morphological Analyzers With Neural Networks and Semi-supervised Learning." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2744-2755, Minneapolis, Minnesota. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc.

## 付録

## A ランダムサンプリングデータを用いた評価実験

本付録では，新聞記事全体から文単位でランダムにサンプリングすることにより，3.1節とは別の実験データを作成し，その実験データを用いて，3 章と同様の評価実験を実施した結果を示す. ランダムサンプリングして実験データを作成した場合は，日付ごとに分割して作成した場合と比べて，テストデータに未知語が含まれる割合は低下することになる． 3 章の実験結果との比較を行うことにより，未知語割合が提案手法や比較手法に与える影響を考察する.

## A. 1 実験概要

実験データは, 3.1 節と同じく, 京都大学テキストコーパス Version 4.0 の各見出し語を平仮名に置換したものを利用し作成した。コーパス全体に含まれる 38,400 文 $(972,894$ 単語, $2,320,340$文字）から，文単位でランダムに各 1,000 文をサンプリングしてテストデータおよび開発デー 夕を作成し, 残りの 36,400 文を訓練データとする実験を 5 回実施する．各回の訓練データ，開発データおよびテストデータの詳細を表 9 に示す。また，表 10 に，本付録，及び， 3 章の実験における各テストデータに含まれる未知語（各訓練データに出現しない単語）の割合を示す.

その他の実験環境や比較手法，評価指標については 3 章の実験と同じである．ただ，本実験における提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha, \beta$ は表 11 の通りである.

## A. 2 実験結果

実験結果を表 12 に示す． 3 章の実験結果の適合率，再現率， $\mathrm{F}$ 値（表 5）は，本付録の実験結果（表 12）と比べると, 全ての手法で全ての levelにおいて低い値となっている。 上述した通

表 9 ランダムサンプリングにより作成した実験データ

表 10 ランダムサンプリングデータ及び日付に基づく分割データの各テストデータにおける未知語の割合

表 11 ランダムサンプリングデータを用いた実験における $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha$ と $\beta$

り，3 章の実験デー夕は，本付録の実験データと比べて，テストデータに未知語が含まれる割合が増加しており（表 10 参照），全体的に精度が低下したものと考えられる。

特に，ラティスベースの $[\mathrm{MeCab}]$ や $[\mathrm{CRFs}], \quad[\mathrm{RNNLM}], \quad[\mathrm{CRFs}+\mathrm{RNNLM}]$ の level0 の適合率に着目すると, 表 12 と比べて表 5 の値は著しく低下しており，テストデータに未知語が含まれる割合が増えると，ラティスベースの形態素解析手法の適合率が低下するという， 4.1 節で述べた考察を確認できる.

同様に, [CRFs+RNNLM] と提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の level0 の F 値に着目すると, [CRFs+RNNLM] では 95.89 から 93.37 と大きく低下するのに対して, [LR+RNN] は 95.98 から 94.37 と低下するものの，その下げ幅が小さくなっており，提案手法の未知語への頑健性を確認できる.

表 12 ランダムサンプリングデータに対する実験結果

## 略歴

森山柊平：2016 年東京電機大学工学部第二部情報通信工学科卒業. 2018 年同大学大学院未来科学研究科情報メディア学専攻修士課程修了. ヴイエムウェア株式会社を経て, 現在, Idein 株式会社に在職. 自然言語処理に関する研究, エッジデバイス向けの画像認識システムの開発に従事.

大野誠寛：2003 年名古屋大学工学部電気電子・情報工学科卒業. 2007 年名古屋大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). 同年同大大学院国際開発研究科助教. 2011 年同大情報基盤センター助教. 2017 年より東京電機大学未来科学部情報メディア学科准教授. この間, 日本学術振興会特別研究員. 自然言語処理, 音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 各会員.

