# 論文
## ニューラルネットワークを利用した中国語の統合的な構文解析

## 栗田 修平 $\dagger$ ・河原 大輔 + 黒橋 禎夫 $^{\dagger$}

ニューラルネットワークに基づく係り受け解析モデルは, 近年の深層学習を利用した言語処理研究の中でも大きな潮流となっている. しかしながら, こうした係り受け解析モ デルを中国語などの言語に適用した際には，パイプラインモデルとして同時に用いられ る単語分割や品詞夕グ付けモデルの無視できない誤りによって性能が伸び悩む問題が 存在する. これに対しては, 単語分割・品詞タグ付けと係り受け解析の統合モデルを利用し，単語分割と構文木作成とを同時に行うことでその双方の改善が期待される。加え て，中国語においては個々の文字が固有の意味を持ち，構文解析では，文字やその組み 合わせである文字列もしくは部分単語の情報が単語単位の情報と並んで本質的な役割を 果たすことが期待される。本研究では, ニューラルネットワークに基づいて, 単語分割 と品詞タグ付け, もしくは単語分割と品詞夕グ付け, 係り受け解析の統合構文解析を行 うモデルを提案する，また，同時に，文字列や部分単語の情報を捉えるために，文字や 単語の分散表現に加えて，文字列の分散表現を利用する。

キーワード：構文解析，係り受け解析，遷移に基づく解析，深層学習，単語の分散表現

## Neural Network-based Chinese Joint Syntactic Analysis

\author{
Shuhei Kurita $^{\dagger}$, Daisuke Kawahara ${ }^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Recently, dependency parsers with neural networks have outperformed existing parsers. When these parsing models are applied to Chinese sentences, they are used in a pipeline model with word segmentation and POS tagging models. In such cases, parsing models do not work well because of word segmentation and POS tagging errors. This can be solved by joint models of word segmentation, POS tagging and dependency parsing. In addition to this, Chinese characters have their own meanings, so the meanings of characters, character strings and sub-words are as important as the meanings of words in dependency parsing. In this study, we propose a neural network-based joint word-segmentation, POS tagging and dependency parsing model in addition to a joint word-segmentation and POS tagging model. We exploit not only word and character embeddings but also character string embeddings in all our models.

Key Words: Syntactic Analysis, Dependency Parsing, Transition-based Parsing, Deep Learning, Word Embeddings

## 1 はじめに

近年, ニューラルネットワーク及び分散表現の使用により, 係り受け解析は大きく発展している. (Chen and Manning 2014; Weiss, Alberti, Collins, and Petrov 2015; Zhou, Zhang, Huang, and Chen 2015; Alberti, Weiss, Coppola, and Petrov 2015; Andor, Alberti, Weiss, Severyn, Presta, Ganchev, Petrov, and Collins 2016; Dyer, Ballesteros, Ling, Matthews, and Smith 2015). こう した構文解析器が，単語ごとの分かち書きを行う英語や多くのヨーロッパ諸語に適用された場合は 非常に正確に動作する。しかし，日本語や中国語のように，特に単語毎の分かち書きを行わない言語に対し適用する場合は, 事前に形態素解析器や単語分割器を利用して単語分割を行う必要がある. また, 単語分割が比較的に容易な言語の場合でも，構文解析器は品詞夕グ付け結果を利用すること が多い. したがって, 前段の単語分割器や品詞タグ付け器と後段の構文解析器をパイプラインによ り結合されて用いられる。しかし, どのような単語分割器や品詞タグ付け器にも出力の誤りが存在 し, 結果的にそれが後方の係り受け解析器にも伝播することで, 全体の解析結果が悪くなってしま う問題が存在した。これを誤差伝播問題と呼ぶ。日本語においても中国語においても，単語の定義 には曖昧性が存在するが，特に中国語では，このような単語の定義の曖昧性から，単語分割が悪名高く難しいことが知られている (Shen, Kawahara, and Kurohashi 2016a)。それゆえ, 従来法であ る単語分割, 品詞夕グ付け, 構文解析のパイプラインモデルは, 単語分割の誤りに常に悩まされる ことになった. 単語分割器が単語の境界を誤って分割してしまうと, 伝統的な one-hot な単語素性 や通常の単語の分散表現 (word embedding) では，もとの単語の意味を正しく捉えなおすことは 難しい。結果的に，中国語の文を生文から解析する際は，パイプラインモデルの精度は $70 \%$ 前半程度となっていた (Hatori, Matsuzaki, Miyao, and Tsujii 2012).

このような誤差伝播問題に対しては, 統合モデルを使用することが有効な解決方法として提案さ れている (Zhang and Clark 2008, 2010; Hatori, Matsuzaki, Miyao, and Tsujii 2011; Hatori et al. 2012; Zhang, Zhang, Che, and Liu 2014). 中国語の単語は，単一の表層系で複数の構文的な役割 を演じる。ゆえに, そうした単語の境界を定めることと, 後続の品詞夕グ付け, 構文解析は非常に 関連のあるタスクとなり，それらを別個に行うよりも，同時に処理することで性能の向上が見込ま れる。中国語の統合構文解析器については, すでに Hatori et al. (2012) や Zhang et al. (2014) な どの統合モデルが存在する。しかし, これらのモデルは, 近年の word embeddingのような表現学習や, 深層学習手法を利用しておらず, 専ら, 複雑な素性選択や, それら素性同士の組み合わせに 依存している。本研究では, ニューラルネットワークを用いた手法による中国語の統合構文解析モ デルを提案し，パイプラインを用いたモデルとも比較する.

ニューラルネットワークに基づく係り受け解析では, 単語の分散表現と同様に文字の分散表現が有効であることが英語などの言語における実験で示されている (Ballesteros, Dyer, and Smith 2015). しかし, 中国語や日本語のように個々の文字が固有の意味を持つ言語において, 単語以下の構造で

ある部分単語の分散表現がどのように有効であるかについては，いまだ十分な研究が行われていな い. 中国語では単語そのものの定義がやや曖昧である他に，単語内にも意味を持つ部分単語が存在 する場合がある。加えて，中国語の統合構文解析を行う場合には，単語分割の誤りに対処したり，文中で単語分割をまだ行っていない箇所の先読みを行う必要があり，必然的に，単語だけではなく 部分単語や単語とはならない文字列の意味を捉えることが必要になる。このような部分単語や単語 とはならない文字列は，大抵の場合はモデルの学習に用いる訓練コーパスや事前学習された単語の 分散表現中には存在せず，文字や文字列の分散表現を扱わない先行研究では未知語として処理され る.しかし，こうした文字列を未知語として置換し処理するよりも，その構成文字から可能な限り その意味を汲み取った方が，より高精度な構文解析が行えると考えられる。このため，本研究では 文字列の分散表現を利用した統合構文解析モデルを提案する。提案手法では, 既知の文字または単語についてはそれらの分散表現を使用し, 未知の文字列については文字列の分散表現を使用する.

本研究では中国語の統合構文解析モデルとして，単語分割・品詞夕グ付けおよび係り受け解析の 統合モデルと, 単語分割と品詞夕グ付けの統合モデルおよび係り受け解析のパイプラインモデルの 2 つを提案する。これらのモデルを使用することで, 実験では新規に世界最高性能の中国語単語分割および品詞夕グ付け精度を達成した。また, 係り受け解析とのパイプラインモデルが，従前の統合解析モデルと比較して, より優れた性能を達成した。以上の全てのモデルにおいて, 単語と文字 の分散表現に加えて文字列の分散表現を利用した。著者の知る限りにおいて, これは分散表現と ニューラルネットワークを利用し, 中国語の単語分割・品詞夕グ付け・係り受け解析の統合解析を 行った, はじめてのモデルである.

この論文における貢献は以下のようにまとめられる。(1) 分散表現に基づく, 初めての統合構文解析モデルを提案した。（2）文字列の分散表現を未知語や不完全な文字列に対してその意味を可能 な限り汲み取るために使用した。(3) 加えて, 既存手法で見られた複雑な素性選択を避けるために,双方向LSTM を使用するモデルを提案した。(4) 中国語のコーパスにおける実験で単語分割・品詞 タグ付けおよび係り受け解析にて新規に世界最高性能を達成した。

この他に，本論文では中国語係り受け解析のラベル付けモデルを提案し，原文からラベル付き係 り受け解析までを行った際のスコアを評価する。このモデルに関しても, 同様に文字列の分散表現 を利用する。

## 2 関連研究

遷移型係り受け解析アルゴリズムは，係り受け解析を行う際にその精度の高さと処理速度の速さ から広く使われているモデルである。特に中国語の統合遷移型係り受け解析に対するアルゴリズム は Hatori et al. (2012) および Zhang et al. (2014)において提案された. Hatori et al. (2012)は,係り受け解析に関する情報が，単語分割と品詞夕グ付けを行う際にも有効であることを示し，遷移
型係り受け解析アルゴリズムに基づく最初の単語分割, 品詞夕グ付けおよび係り受け解析のモデル を提案した. Zhang et al. (2014) はこれを拡張し，通常の単語間の係り受けに加えて，単語内部の 係り受けに対して独自にアノテーションを施し, これを考慮することによって, 精度の向上を達成 できることを示した.

こうした Hatori et al. (2012) およびZhang et al. (2014)による提案手法により，パイプライン モデルより優れた性能を出すなど，大きな成果が得られた。一方で，このような従来法におけるモ デルでは，文字および単語の one-hot な表現を専ら利用しており, 使用する文字や単語の類似性は 考慮されていなかった. 加えて, 中国語の統合構文解析により処理を行う最中には, 素性として,既知の単語や文字だけではなく単語をなさない不完全な文字列や部分単語も出現する。そのような 不完全な文字列もしくは未知の単語は, モデルになんらかの形で認識させることで構文解析を行う 際の重要な情報となりうる。しかし, そのような不完全な文字列は, 従来法における外部知識源で ある辞書情報や，学習済みの通常の単語の分散表現では捉えることが難しかった.

Hatori et al. (2012) およびZhang et al. (2014) の提案手法における他の問題点として, これら の先行研究が詳細な素性選択を用いていることがあげられる。一方で, 近年, 双方向 LSTM を利用し詳細な素性選択を回避したニューラルネットワークモデルが提案されている (Kiperwasser and Goldberg 2016; Cross and Huang 2016). これらのモデルでは, 双方向 LSTM は語句の分散表現を その内容も含めてモデル化するために用いられている。実際に, Kiperwasser and Goldberg (2016) による構文解析モデルにおいては，双方向 LSTM により文全体の情報を利用することができるの に対し，素性に基づくモデルでは文全体を素性として用いることはできない。また，このように双方向 LSTM を利用して文全体を符号化する手法は，機械翻訳でも多く用いられている (Bahdanau， Cho, and Bengio 2014). 結果として, Kiperwasser and Goldberg (2016)によるモデルでは世界最高の性能と比較可能な性能を達成している。本研究では, $n$ グラムの文字分散表現に対応した双方向 LSTM を利用した構文解析モデルも提案する.

なお, Hatori et al. (2012)による手法ではあくまでも単一の分類器を使用して単語分割・品詞夕 グ付けおよび係り受け解析を同時に行うのに対し, Zhang et al. (2014)の提案手法では, 単語分割・品詞夕グ付けに対応する分類器と係り受け解析に対応する分類器を同時に用意し, 単語分割・品詞夕グ付けに対応する分類器を数単語分だけ先に処理させる. このような 2 の手法は, 本研究 における単語分割・品詞夕グ付けおよび係り受け解析の統合モデルと, 単語分割・品詞夕グ付けの 統合モデルおよび係り受け解析のパイプラインモデルの関係に近い. 4.2 .3 節にて, この関係を詳細に議論する。

## 3 モデル

この論文で提案する統合構文解析モデルは, 3.1 節で解説する遷移型アルゴリズムを使用する. また，不完全な文字列に対する分散表現を得るための文字列の分散表現手法については 3.2 節で解説する。素性選択を利用するニューラルネットワークモデルを 3.3 節で解説し, 双方向 LSTM を利用するニューラルネットワークモデルを 3.4 節で解説する.

## 3.1 単語分割・品詞タグ付け，係り受け解析のための遷移型アルゴリズム

単語分割・品詞夕グ付け，係り受け解析のための統合アルゴリズムには Hatori et al. (2012)に 基づく，遷移型の統合アルゴリズムを使用する．統合解析モデルは入力文字列からなる buffer と stackからなり, buffer は文字が格納され，stackには単語と品詞夕グ，およびそれらの単語の構文木上の子孫に当たる単語が格納される（図 1). 初期状態では buffer に全ての入力文字列が格納さ れる. stack は空である。 また，アルゴリズムの便宜上， bufferの末尾には文末を意味するシンボ ル “EOS”を置く。下記の遷移操作に従って, buffer から stack に文字が移され, 単語や構文木か形成される。終状態においては, buffer が空になり，stackには EOS シンボルを係り受け解析におけ る ROOTノードとして, 品詞夕グが付与された単語群による構文木が生成されている.

本研究で用いる遷移操作は以下の通りである。
- $\mathrm{SH}(\mathrm{t}$ ) (shift): buffer の最初の文字を stack の先頭へ移動させ，新しい単語とする
- AP (append): buffer の最初の文字を stackの先頭の単語の末尾に加える
- RR (reduce-right): stackの先頭 2 単語のうち, 右側の単語を stack から消去し, 左側の単語 の右側の子供の単語とする
- RL (reduce-left): stack の先頭 2 単語のうち, 左側の単語を stack から消去し, 右側の単語 の左側の子供の単語とする

$\mathrm{SH}$ 操作および $\mathrm{AP}$ 操作によって単語の境界と品詞夕グが決定され, RR 操作および RL 操作により

図 1 単語分割・品詞夕グ付け, 素性選択のための遷移に基づく統合アルゴリズム
構文木が作成される.これらの遷移操作のうち, RR 操作および RL 操作は Arc-standard アルゴリ ズムのものと同一である (Nivre 2004). SH 操作およびAP 操作はいずれも buffer の最初の文字を stackへと移動させるが，SH 操作は移動した文字を新しい単語の先頭とするのに対し，AP 操作は すでに stack 先頭にある部分単語の末尾に文字を加える。ゆえに，SH 操作はモデルが予測する単語数を 1 単語たけ増加させるのに対し, AP 操作は, stackの先頭に存在する部分単語を 1 文字分た け延長させる．品詞タグは $\mathrm{SH}(\mathrm{t})$ 操作と同時に付与される。由えに, $\mathrm{SH}(\mathrm{t})$ 操作は品詞夕グの数 と同じだけ存在する.

なお, buffer 上に文字が存在しない時は, SH 操作および AP 操作を行うことはできない. 同様に stack 上に 2 個以上の単語または生成途中の単語が存在しない時は RR 操作および RL 操作を行う ことはできない。また, AP 操作が適用可能となるのは, 直前の操作が SH 操作, もしくは AP 操作 である時のみである。

この論文においては, 貪欲法による訓練及び探索とビーム法による訓練および探索の両方を実験 する.この解析アルゴリズムはその両方に対して動作する。また, 本研究においては, 単語分割と 品詞タグ付けの統合モデルと係り受け解析の単独モデルも同様に作成した. 単語分割と品詞タグ付 けの統合モデルにおいては, RR 操作および RL 操作は用いない. 同様に, 単独の係り受け解析モ デルにおいては，通常の Arc-standard 構文解析モデルを使用する.

## 3.2 単語および文字, 文字列の分散表現

本節ではニューラルネットワークモデルにおいて用いられる分散表現について解説する.

統合構文解析を行う際は, 必然的に, 意味のある単語と不完全な文字列が解析中に多く出現する. このような不完全な文字列の表現は, Hatori et al. (2012) などの既存手法においては用いられな かったが，もし，分散表現を用いて他の単語や文字列との類似性を表現できれば，統合構文解析を 行う際に非常によい情報となりうるはずである.

例えば，固有表現である“南京东路”（上海にある有名な商店街）は Penn Chinese Treebank (CTB)コーパスではひとつの単語として扱われている。このような固有表現は, “北京西路” “湘西路”などとして CTB コーパス中に多く出現する。これらは，“南京”や“北京”などの都市を表 す部分単語と“东路”や“西路” などといった場所を表す部分単語の組み合わせとして理解される. こうした表現を学習することで，テストデータ中に未知の“（固有地名）东路”や“（固有地名）西路”といった表現が出現しても，これを地名として処理することが期待できる。

また, 部分単語や, 逆に複数の単語にまたがる文字列を利用することが, 単語分割の誤りを補う ために役立つ場合もある。例えば, “南京东路”に対し, 単語分割器が過剰に単語分割を行い, “南京”と “东路” の 2 単語に区切ってしまった場合を仮定しよう ${ }^{1}$. この時, 事前学習された単語の分

散表現や CTB の訓練コーパス中に “东路” という単語が存在しなければ, これは未知語として処理 されうる。このような場合でも，その文字の構成から“东路”は場所を表す単語であると推測でき る.このように，部分単語や文字の表現を使用することで，単語分割の誤りに対して頑健さを持た せることができる.

しかしながら，こうした部分単語や文字列等は，多くの従来研究では未知語もしくは “UNK”シ ンボル等として置換され，処理されていた，本研究では，こうした文字列についても，それを構成す る文字から可能な限り意味を捉える分散表現を提案する。 $n$ 個の文字 $c_{i}$ からなる文字列 $c_{1} c_{2} \cdots c_{n}$ を考える。提案手法ではこの文字列に対する分散表現 $\mathbf{v}(\cdot)$ を以下のように計算する.

$
\mathbf{v}\left(c_{1} c_{2} \cdots c_{n}\right)=\sum_{i=1}^{n} \mathbf{v}_{c}\left(c_{i}\right)
$

ここで $\mathbf{v}_{c}(\cdot)$ は文字の分散表現ベクトルを表す.

このように文字列の分散表現を, その構成文字の文字表現から構成する手法は, どのような文字列に対しても計算できるほか RNN や CNN 等の複雑なニューラルネットワークを用いないことに よる速度上の利点が存在する。

なお, このような文字, 単語および文字列の分散表現はすべて同じべクトルの次元を持ち, ニュー ラルネットワークの計算グラフ中で，入力に対しどのような分散表現を利用するかが決定される. したがって，いずれの分散表現を利用する場合でも，その基となる文字または単語の分散表現が， ニューラルネットワークの誤差逆伝播法により学習される.

本研究では，任意の中国語の単語列に対し，以下の規則にて，その分散表現を割り当てる.

（1）文字列が既存の単語分散表現中に存在するか調べ，存在する場合には，その分散表現を使用 する.

（2）分散表現が存在しない場合には，上記の式のように，文字に対する分散表現を用いて，文字列の分散表現として使用する.

(3) 分散表現中に存在しない文字については UNK シンボルを使用する.

本研究では, UNK シンボルのような未知語の表現べクトルを利用することは可能な限り回避し た. なぜならば，そのようなべクトルを使用することはニューラルネットワークに与える入力を縮退させることになるからである。しかしながら，事前学習された分散表現中に存在しない文字につ いては，入力を UNK シンボルに置換して使用する.

品詞タグについても同様に対応する分散表現を用意し, 学習に使用する. UNK シンボルに対応 する分散表現や品詞タグに対応する分散表現は，正規分布を用いて初期化される。この他, 本研究 では，部分単語の長さに対応する，数字の分散表現を一部に用いた。これは，一定の長さを持つ文字列は，同じ分散表現を共有するものである。もっぱら， buffer から stackへと一文字毎に移され ている最中の部分単語の長さを表現するために用いられる。数字の分散表現も正規分布を用いて初
期化される.

提案手法では，単語と文字の分散表現を事前学習にて準備する。文字と単語の分散表現は，同一 のベクトル空間に埋め込まれる。まず，事前学習に用いるコーパスについて，単語分割されたファ イルと一文ごとに文字分割されたファイルを用意する．各ファイルには一行に一文ずつ事前学習に 用いる文を配置する，次に，それらのファイルを結合し，行単位でランダムに並び替え，単語及び 文字の分散表現を学習するための事前学習コーパスとする。これにより, 類似した意味を持つ単語 と中国語の文字は，ベクトル空間内の近い位置に埋め込まれることが期待される。中国語の文中に は, 一文字で一単語となる単語も存在し, そのような単語を介して, 周辺の文字や単語が類似した 位置に配置されうるからである。

具体的な分散表現学習に用いたツールおよびコーパスについては, 4.1 節に記載した.

## 3.3 素性選択を利用するニューラルネットワークモデル

## 3.3.1 ニューラルネットワークモデル

素性選択に基づくニューラルネットワークモデルを図 2 に示す. 素性とその分散表現を入力に取 るニューラルネットワークを使用した構文解析は, 近年, 活発な研究が行われており，その中には貪欲法に基づいてニューラルネットワークを学習させるもの (Chen and Manning 2014; Weiss et al. 2015), ビーム探索を用いるもの (Andor et al. 2016; Weiss et al. 2015) がある. 本研究では, この ように素性を入力として用いることに加えて, 不完全な文字列が素性として入力されても処理が可能であるように， 3.2 節にて導入した文字列の分散表現の動的生成を加えた.

遷移操作を決定する分類器には， 8,000 次元の 2 つの隠れ層を持つ, 3 層フィードフォワードニュー ラルネットワークを使用した。これは 200 次元の隠れ層を利用した (Chen and Manning 2014) や 1,024 次元もしくは 2,048 次元の隠れ層を利用した Weiss et al. (2015) よりも更に大きい. 隠れ層 の活性化関数には ReLU を使用した (Nair and Hinton 2010)。なお, (Chen and Manning 2014) にて用いられている $x^{3}$ の活性化関数は， 2 層のフィードフォワードニューラルネットワークでは 比較可能な性能を達成したが， 3 層以上のフィードフォワードニューラルネットワークでは，うま く動作しなかった. フィードフォワードニューラルネットワークの最終層が出力層となる. 貪欲法 による出力層は softmax 関数を使用した。ニューラルネットワークの隠れ層は乱数を用いて初期化 した。貪欲法における損失関数 $L(\theta)$ は

$
\begin{gathered}
L(\theta)=-\sum_{s, t} \log p_{s, t}^{\text {greedy }}+\frac{\lambda}{2}\|\theta\|^{2} \\
p_{s, t}^{\text {greedy }}(\boldsymbol{\beta}) \propto \exp \left(\sum_{j} w_{t j} \beta_{j}+b_{t}\right)
\end{gathered}
$

となる.ここで, $t$ は可能な遷移操作の集合 $\mathcal{T}(t \in \mathcal{T})$ の中のある 1 つの遷移操作を表す. $s$ は

図 2 素性に基づくニューラルネットワーク，貪欲法による出力は 2 番目の隠れ層から入力を受けるのに対 し, ビーム探索には全ての隠れ層および貪欲法による出力層から入力を受けるパーセプトロン層を使用 する。入力の文字列は，分散表現に含まれている場合はその分散表現が使用され，含まれていない場合 は，文字列の分散表現がその文字構成から計算されて使用される。

ニューラルネットワークの学習におけるミニバッチ中の 1 つの要素を示す.

$\boldsymbol{\beta}$ はフィードフォワードニューラルネットワーク最終層における出力を表す. $w_{t j}$ 及び $b_{t}$ は ニューラルネットワークの重み行列とバイアス項を示す. $\theta$ はモデルの全ての変数を示す. 本研究 ではニューラルネットワークの変数に対し， $L 2$ 罰則項と Dropoutを使用した. ニューラルネット ワークの誤差逆伝播法は, これらのニューラルネットワークの変数を含めて, 単語及び文字の分散表現まで行われる。誤差逆伝播法の学習率の調整には Adagrad を使用する (Duchi, Hazan, and Singer 2010). Adam (Kingma and Ba 2015) と SGDを使用することも考慮したが，このモデルに ついては Adagradがよりよく振る舞った. 他のモデル変数については表 1 にまとめる.

表 1 のモデル変数のうち， $\mathbf{h}_{1}$ と $\mathbf{h}_{\mathbf{2}}$ のサイズは予備実験により決められた．学習率の初期値につ いては，ニューラルネットワークの学習において広く使われているものを用いたが，ビームを使用 する場合は，モデルの安定性のため，小さな初期値から学習を始めた。単語・文字の埋め込みにお けるボキャブラリー数については，分散表現に含まれる語彙数を多くするため, サイズの大きいも のを用いた. 埋め込みの次元は Chen and Manning (2014) などの先行研究で広く使われている值
表 1 ニューラルネットワークの構造と学習に関する諸変数

単語と文字は同じ次元の分散表現を持つ。「文字列長さの埋め込み」とは, buffer から stackへと一文字毎に 移されている最中の部分単語の長さに対応する数字の分散表現である.

の一つである 200 次元を用いた.

ニューラルネットワークの隠れ層が 8,000 次元となり，これは先行研究よりも大きい. この理由 として，1つ目に，3.3.2節にて紹介する，素性を表現するべクトル表現が大きいことが挙げられる.例えば，単語分割，品詞タグ付けおよび係り受け解析の統合モデルについては，合計で 9,820 次元 にもなる。この中には文字列に関する素性も含まれる。これを表現するために大きな隠れ層が必要 となる．2つ目に，ニューラルネットワークが，単語分割，品詞夕グ付けおよび係り受け解析とい う多岐にわたる判断をしなければならないことが挙げられる。出力側が複雑になるために，必要と なる隠れ層のサイズも大きくなると考えられる.

貪欲法によるモデルの学習では, 学習前に, 訓練データセット中の全ての文に対して, 遷移型構文解析アルゴリズムを正解ラベルに従って順次適用させたときに出現する，入力素性および遷移操作の教師ラベルの組み合わせを予め計算し抽出した。このようにして抽出された文内での遷移操作 と入力素性の組み合わせを，文をまたいでシャッフルしてからニューラルネットワークの学習に用 いるミニバッチを作成した。これにより，あるミニバッチに特定の文が偏ることがないようにした.

モデルのテスト時や実際の入力文の解析時には，処理を行う文を複数個並べてミニバッチを作成 し，同時に解析が行えるようにした。これにより，ある一連のニューラルネットワークの呼び出し に対し，複数文を同時に処理することが可能となり，速度の大幅な向上が可能となった。この際に，同時に処理が可能な文数は専ら GPU のメモリサイズのみに制約される。また，この方法はビーム を用いた解析にも適用できる。

## 3.3.2 素性

このニューラルネットワークの素性を表 2 に列挙する. 本研究では，以下の 3 種類の素性を使用 した.

(1) Hatori et al. (2012)にて用いられた素性から，素性同士の共起を取り除いたもの
表 2 統合モデルに対する素性

この表において，"b”は buffer の文字，“s”は stackの単語を示し，"b”と “s”の次の数字は，先頭からの文字および単語の番号である。 “l”と “ $\mathrm{r} ”$ は，その単語の左側と右側の子どもの単語のことを指し， “l”と “ $\mathrm{r} "$ の 次の数字は, 子どもの単語の番号である。サフィックスの $\mathrm{w}, \mathrm{p}, \mathrm{c}, \mathrm{e}$ は, それぞれ, 文字列または単語, 品詞タグ，文字，そして文字列の最後の一文字を表す。“ $\mathrm{q} 0 "$ は直前に buffer から stackへ移動された単語を， “q1”は “q0”より先に移動された単語を示す. “part of q0 word”では, q0f1, q0f2, q0f3 は，それぞれ $\mathrm{f} 1$, f2，f3 の位置の文字から始まる q0 の部分単語を表す.ここで $\mathrm{f} 1$ は q0 の最後の文字の位置を表すため, q0f1 は q0 の最後の一文字を表す. f2 は最後から 2 番目の文字の位置を表すため, q0f2 は f2 の位置から始まる 2 文字の文字列を示す. “strings across q0 and buf." では, q0f1bX は, 単語 q0の f1 の位置から始まる $X$ 個 の文字からなる文字列を表す。この素性による文字列は buffer と stack にまたがりうるが，連続的な文字列 に限定する。 "strings of buffer characters" では, bX-Y が, buffer 内部の $X$ 番目から $Y$ 番目までの文字列 を表す. lenq0 は q0の長さを示し，この分散表現のみ小さな埋め込みのサイズを用いる.

(2) Chen and Manning (2014) にて用いられた素性

(3) 文字列に関する独自の素性

このなかで独自の素性として, 部分単語に関するものと buffer と stackにまたがる文字列の素性, buffer の中の文字列の素性が存在する. buffer と stack にまたがる文字列の素性は, 現在, 単語分割が行われている単語に対する貴重な情報を提供する。また，長すぎる文字列に対する素性を用い ることがないように，本研究では文字列素性の長さを 4 文字以下に制限した．CTB データセット においては，5 文字以上の長さの単語は稀であるからである。ただし，これは素性に関するもので あり, 出力単語としてはそれ以上の長さのものもありうる。 ただし, 本研究では, 文中に連続に出
現する文字列のみを素性に用い，共起に関する素性は使用しなかった。ここでいう共起に関する素性とは，例えば stackの先頭以外の位置にある文字列と， buffer にある文字列の組み合わせに関す る素性等である. Hatori et al. (2012) では多数の手作業で調整された one-hot な素性の共起を利用 していた，本研究では，そのような素性同士の共起はニューラルネットワークの隠れ層上で自然に 考慮されると考えた (Hinton, McClelland, and Rumelhart 1986).

本研究では，単語分割済みの単語については，単語や文字列のほかに，すでにモデルによって付与された品詞も素性として利用させた。また, buffer から stackへと一文字ずつ文字を移動させて いる最中の単語の長さを表現するために, 小さな次元の埋め込みを用いた.

また, 単語分割, 品詞夕グ付けおよび係り受け解析の統合解析モデルとは別に, 単語分割と品詞 タグ付けのみの統合モデルも実験に用いた。このモデルについては，構文解析に関する素性，すな わち stackに存在する単語や文字列の子供や孫にあたる単語に関する素性を省略している。

## 3.3.3 ビーム探索

ビーム探索は中国語の統合解析において重要な役割を果たす。本研究では, 近年提案された, ビー ムを用いたニューラルネットワークの最適化手法を採用した (Weiss et al. 2015; Andor et al. 2016).図 2 では，最上部に位置するパーセプトロン層がビームを利用した解析に使用する。具体的には, ビーム探索のために独立したパーセプトロン層を用意し，フィードフォワードニューラルネット ワークの 2 層の隠れ層および貪欲法による出力層を, その入力とする: $\left[\mathbf{h}_{1}, \mathbf{h}_{2}, \mathbf{p}^{\text {greedy }}(\mathbf{y})\right]$. 次に, このパーセプトロン層を以下のコスト関数にしたがって学習させる (Andor et al. 2016):

$
\begin{aligned}
L\left(d_{1: j}^{*} ; \theta\right) & =-\sum_{i=1}^{j} \rho\left(d_{1: i-1}^{*}, d_{i}^{*} ; \theta\right) \\
& +\ln \sum_{d_{1: j}^{\prime} \in \mathcal{B}_{1: j}} \exp \sum_{i=1}^{j} \rho\left(d_{1: i-1}^{\prime}, d_{i}^{\prime} ; \theta\right)
\end{aligned}
$

ここにおいて， $d_{1: j}$ は統合構文解析の遷移経路を示し， $d_{1: j}^{*}$ は正解の遷移経路を示す. $\mathcal{B}_{1: j}$ はビー ム内部での 1 番目から $j$ 番目までの遷移経路を示す. $\rho$ は図 2 におけるパーセプトロン層の出力を 表す。

本研究では, Andor et al. (2016) と同様にして, 貪欲法を用いてフォードフォワードニューラル ネットワーク部分を学習し, 次にビームを用いて, パーセプトロン層のみを学習させる。最後に, フィードフォワードニューラルネットワークを含めて誤差逆伝播法による学習を行う。この学習は ネットワーク全体に対して行うことも可能であるが, 予備実験の結果, この段階で文字および単語 の埋め达み層を最適化すると, 学習結果が悪くなることが判明した. そこで, 本研究では, 文字及 び単語埋め迄み層をこの段階の学習からは除外した. このニューラルネットワーク全体を通した誤差逆伝播法は，かなりの GPUメモリを消費する。それゆえ，訓練コーパスのうちとりわけ長い文

は，GPUメモリに載せられないために訓練から取り除いた。また，ビームを用いた訓練において は, 最初のエポックでは小さなビームサイズで学習を行い, 徐々に学習に用いるビームサイズを増 やしていった。学習には順に $4,8,16$ のサイズのビームを使用した。最終的な単語分割・品詞夕グ 付けおよび係り受け解析の統合モデルの学習及びテストにはサイズ 16 のビームを用いた.

本研究では, 単語分割・品詞夕グ付けおよび係り受け解析の統合モデルでのビーム探索について, Hatori et al. (2012) と同様に特別な配置ステップを使用した. 単語分割・品詞タグ付けおよび係り 受け解析の統合モデルでのビーム探索では，AP 遷移のみに 2 ステップの配置をもたせている。こ の配置を使用することで， $N$ 文字の文に対する総遷移回数は， どのような遷移経路を経由しても，文終端記号に対応する遷移を除いて $2 N-1$ となる。これは, AP 遷移操作が，文字の追加と単語内 の係り受け解決の 2 つのことを行っているとして解釈できる。つまり，中国語の単語は，単語内に も文字同士の係り受け関係が存在すると解釈し，AP 遷移操作はこの単語内の係り受けを解決する ものとして捉える。

本研究では, Hatori et al. (2012)にて用いられた, Huang と Sagae による動的計画法を用いた ビーム探索の手法は使用していない (Huang and Sagae 2010; Hatori et al. 2012). それは, Andor et al. (2016) によるニューラルネットワークのビームサーチを利用した広域最適化手法式が, 遷移型解析の途中状態でのニューラルネットワーク関数の出力結果を入力とすることによる．遷移型解析にて経由するすべての途中状態でのニューラルネットワークの出力結果は, 先の式を通じて, 全体の計算グラフの中に取り込まれる。このように，ニューラルネットワークの計算グラフの中で，遷移の途中状態も含めた最適化が行われるために, 少なくとも学習時は, この手法における動的計画法の採用は難しいと考えられる。また，ニューラルネットワーク固有の問題として Dropout を使用している場合は，そもそも，同一の入力に対して確率的に異なる振る舞いをする。この性質は,動的計画法には向かない.

## 3.4 双方向 LSTM を使用したモデル

3.3 節では，素性選択を利用したニューラルネットワークを提案した。このモデルは非常に高い 性能を誇るが，以下の 2 つの問題が存在した。

（1）ニューラルネットワークが限られた素性に基づいて動作するため, 文全体の情報を入力にと ることはできない

(2) 素性選択に頼っている

この問題を解決するため, Kiperwasser and Goldberg (2016) は双方向 LSTM による構文解析モデ ルを提案した，彼らのモデルでは非常に少数の素性のみを使用しながら，双方向 LSTM を使用す ることで文全体の情報をニューラルネットワークに与えることに成功した．結果的に，彼らのモデ ルは, Penn Treebank データセットにて素性に基づくWeiss et al. (2015) によるモデルと比較可能な性能を達成した. 彼らのモデルは, 3 つの部分から成り立っている. 入力文を処理する双方向

LSTM と, 双方向 LSTM の隠れ層から素性を抽出する関数と, 多層パーセプトロンである。語句 を直接に素性として用いるのではなく，文全体を双方向 LSTM を利用して処理した各語句の分散表現を素性として用いることに特徴がある.

本論文では, Kiperwasser and Goldberg (2016) の手法を発展させ, 双方向 LSTM による文全体の 情報抽出を利用して, 単純かつ大域的な素性を利用した統合構文解析モデルを提案する. Kiperwasser and Goldberg (2016)の手法は, 入力が単語分割されていることを前提としている. したがって,中国語の統合構文解析に応用するに際し，単語分割が施されていない入力に，どのように双方向 LSTM を利用するかが問題となる。文字に対する単純な双方向 LSTM のみを使用した場合，文字列としての意味を捉えられるとは限らない.

そこで本研究では, 単純な文字入力の他に, 文中に存在するできる限り多くの文字列に対して,分散表現を付与し，その利用を可能にする方法を提案する。図 3 のように，入力文中に出現する複数の長さの文字列を捉えるために， $n$ 文字入力に対応する複数の双方向 LSTM を組み合わせる． $n$文字入力に対応する双方向 LSTM は文字列 $c_{i} \cdots c_{i+n-1}$ の配列である

$
\left.\{c_{1} \cdots c_{n}, \cdots, c_{i} \cdots c_{i+n-1}, \cdots, c_{N-n+1} \cdots c_{N}\right.\}
$

を入力とする. ここで， $c_{i}$ は $N$ 文字からなる文中の $i$ 番目の文字を表す. また, 文終端記号やニュー ラルネットワークのパディングのための表現は別に与える．具体的には， $n=1$ のときは，文字入力の双方向 LSTM に対応し, $n=2$ のときは連続的な 2 文字 $c_{i} c_{i+1}$ を双方向 LSTM の入力とする. こうした $n$ 文字入力に対応する双方向 LSTM は， 入力となる文字列の表現を，単語または文字の 分散表現もしくは動的に生成される文字列の分散表現として利用する。このように文中に存在する 文字列をできる限り利用する手法では，当然ながら，多くの不完全な単語が入力中に生成されてし まう。しかしながら，不完全な単語や文字列であっても，文字列の分散表現を利用することで，双方向 LSTM にその構成文字の情報を伝えることが可能となる.

このようにして生成された文中の文字列の双方向 LSTM による表現を, buffer 及び stack 内部 の単語や文字列の表現として利用する。ただし, ここでは, 文字 $c_{i}$ から開始する複数の文字列 $c_{i}, c_{i} c_{i+1}, \cdots, c_{i+n-1}$ について, その双方向 LSTM による表現を連結したべクトル

$
\left[v\left(c_{i}\right), v\left(c_{i} c_{i+1}\right), \cdots, v\left(c_{i+n-1}\right)\right]
$

を, 文字 $c_{i}$ から開始される文字列の素性の表現ベクトルとして利用する. 双方向 LSTM を利用す るモデルの素性は表 3 にまとめられる。最後に多層パーセプトロンおよび softmax 関数により，統合構文解析に用いられる遷移確率が予測される。

双方向 LSTM を使用するモデルについては, 多層パーセプトロンには 3 層の重み行列を持つも のを用いた。このニューラルネットワークについては, 貪欲法による学習を適用した.

図 3 双方向 LSTM によるモデル。 $n$-gram に対応する 4 個の独立した双方向 LSTM によって, 文全体が $n$文字ずつ処理され，文字の開始位置に応じた 4 個の隠れ状態が作られる。次に stack や buffer の状態 に合わせて，隠れ状態から素性抽出が行われる，なお，素性抽出の際は，単語の開始位置に対応する 4 個の隠れ状態を結合して用いる，なお，本図においては， 4 素性モデルに対応する 4 個の素性を図示し た. 8 素性モデルにおいて使用される, stackの子供の単語に関する 4 個の素性については, 図示して いない.

表 3 双方向 LSTM を用いたモデルに使用される素性

構文解析を行う際の stack と buffer のみの非常に基本的な素性が 4 素性モデルであり, stack の子供の単語に 関する 4 個の素性を加えたのが 8 素性モデルである，素性に使用されている記号については，表 2 と同一で ある。

## 3.5 係り受けラベルの推定モデル

本論文では係り受け解析のラベルの推定モデルを提案する。このモデルは, 先程までのモデルと は独立に, 入力文の単語列, 品詞夕グおよびラベルなしの係り受け解析結果を入力にとる。 モデル 本体は, 入力単語列と品詞タグを処理する一層の双方向 LSTM と, 係り受けのある各単語ぺアご

図 4 双方向LSTM による係り受け解析結果へのラベル付けモデル。係り受けのある単語対について, 係り 受けラベルを推測する。

とにラベルを推定するフィードフォワードニューラルネットワークからなる（図 4).

前節までのモデルと同様に UNK に起因する問題を回避するため，このモデルは，入力単語を，単語，文字および文字列の分散表現を利用して，入力単語列の分散表現を得る。また，品詞夕グも 分散表現に変換し，入力単語列の分散表現と連結した上で，双方向LSTMへの入力とする．双方向 LSTM の出力から係り受け元と係り受け先の単語の分散表現を抽出し, 2 層フィードフォワード ニューラルネットワークの入力とする． 2 層フィードフォワードニューラルネットワークの最終層 にある softmax 関数が係り受けのラベルの予測分布を出力する。

## 4 実験

## 4.1 実験設定

実験には，中国語の構文解析データセットである，Penn Chinese Treebank 5.1 (CTB-5) およ び Penn Chinese Treebank 7 (CTB-7) を利用した。データセットの分割には，標準的に用いられ ている CTB-5 の分割 (Jiang, Huang, Liu, and Lü 2008) および CTB-7 の分割 (Wang, Kazama, Tsuruoka, Chen, Zhang, and Torisawa 2011)を使用した. オリジナルの CTB データセットには,係り受け解析の結果は含まれていない。そこで，Penn2Malt ${ }^{2}$ を使用して係り受け解析の形式に変換した。データセットの統計を表 4 に示す.

分散表現の事前学習には Chinese Gigaword Corpus を使用した。分散表現の事前学習の具体的な 手法は， 3.2 節の後半に記載した。本研究では，単語および文字の分散表現事前学習には word2vec を使用した (Mikolov, Chen, Corrado, and Dean 2013)，事前学習に用いたコーパスの単語分割に
^{2}$ https://stp.lingfil.uu.se/ nivre/research/Penn2Malt.html
}
表 4 Penn Chinese Treebank データセットの統計

は, (Shen, Li, Choe, Chu, Kawahara, and Kurohashi 2016b)の KKNにより行われた.これら単語と文字の同時埋め込み事前学習は，3.2 節にて紹介した方法により行われた。学習済み分散表現 のうち, その頻度順の上位 100 万語を使用した. さらに, CTB データセットのうち訓練データセッ トに含まれる未知語については，正規乱数を用いて初期化されたべクトルを使用する。開発データ セットおよびテストデータセットについては，このような事前に初期化された分散表現を持たない 未知語を持つ.

本研究ではラベルなしの係り受け解析をまず実験し，評価した．次に，4.2.7 節にてラベル付きの 解析を行った，単語分割や品詞タグ付け，係り受けの評価には, Hatori et al. (2012) および Zhang et al. (2014) にしたがって, F1 測定による標準的な単語単位での評価を行った. この設定では, 正 しく分割されていない単語に対しては, 品詞夕グと係り受け解析の結果も正しいとはみなされない. Hatori et al. (2012) と同様に, 句読点への係り受けは評価の対象とはしない.

本研究では SegTag，SegTagDep およびDepの３種類のモデルを用いて実験を行った．SegTag は単語分割と品詞タグ付けの統合モデルである. SegTag モデルにて使用される遷移操作は 3.1 節 にて, 使用される素性は, 3.3.2 節の末尾にて解説している. SegTagDep は単語分割・品詞タグ付 けおよび係り受け解析の統合モデルであり，Dep は係り受け解析のモデルである．Dep モデルは Weiss et al. (2015) および Andor et al. (2016) に類似し，また使用される素性の種類は Chen and Manning (2014) と同様であるが, 素性の入力方法には， 3.2 節にて解説した文字列の分散表現を 利用している。これにより, 単語分割の誤りや未知語などがDep モデルの入力に含まれていても, Dep モデルは，文字表現からある程度はその入力を捉えることが期待される。この効果は後ほど検証する。

この論文における実験の多くは GPU を用いて行われたが，ビームを用いた学習の一部は，大 きなミニバッチを使用していたために，GPUメモリに乗せることができず，CPU上で行われた. ニューラルネットワークの実装には Theano を用いた.

## 4.2 結果

## 4.2.1単語分割と品詞タグ付けの統合モデル

最初に，単語分割と品詞タグ付けの統合モデル (SegTag) について実験し，評価した. このモデル にて使用される遷移操作は 3.1 節にて，使用される素性は，3.3.2 節の末尾にて解説している。表 5 では，CTB-5 データセットを用いて，単語分割と品詞タグ付けの性能を比較した。本研究では提案手法を Hatori et al. (2012) および Zhang et al. (2014), Zhang, Li, Barzilay, and Darwish (2015) の 3 つの異なる関連研究と比較した. Zhang Y. らのモデルは Zhang M. らのモデルの k-best 出力 を，再並び替えするモデルである (Zhang et al. 2015)。なお，この表における Hatori et al. (2012) の手法のスコアは Hatori et al. (2012) の論文から取得した. 本研究での単語分割と品詞夕グ付けの 統合モデルは, これらの既存手法に対し, その両方で優れた性能を示した。この中には優れた辞書情報を利用する Hatori et al. (2012)のモデルも含まれる。ただし，本研究では，Chinese Gigaword Corpus を用いて，単語および文字の分散表現を事前学習しており，CTB データセットのみを使用 している既存手法との比較においては注意を要する.

## 4.2.2 単語分割・品詞タグ付けおよび係り受け解析の統合モデル

表 6 は単語分割・品詞夕グ付けおよび係り受け解析までをすべて統合して行った場合の結果を示 している。特に貪欲法を用いて学習を行った統合モデルである $\operatorname{SegTagDep}(\mathrm{g})$ モデルとビームを用 いて学習を行った SegTagDep モデルの結果を示す. 提案手法は単語分割と品詞夕グ付けにおいて 既存手法を超える性能を発揮した. Andor et al. (2016) によるビームサーチを用いることで係り 受け解析のスコアは更に改善されたが，Zhang M. らの手法およびそれを用いるZhang Y. らの手法にはわずかに劣る性能を示した。なお，この表における Hatori et al. (2012)の手法のスコアは

表 5 単語分割と品詞夕グ付けの統合モデル

CTB-5 における実験結果. SegTag モデルを, Hatori et al. (2012) および Zhang et al. (2014), Zhang et al. (2015) のモデルと比較した. Hatori et al. (2012)のモデルにおける (d) は, 辞書を使用したモデルであるこ とを示す. Zhang et al. (2014) のモデルにおける EAG は Arc-Eager モデルであることを示す. SegTag(g) は貪欲法を用いて学習されたモデルを，SegTag はビームサーチを用いて学習されたモデルを示す。
表 6 単語分割・品詞タグ付けおよび係り受け解析の統合モデル (SegTagDep) と単語分割と品詞夕グ付けの 統合モデルと係り受け解析のパイプラインモデル (SegTag+Dep).

CTB-5 における実験結果. (g) は貪欲法を用いて学習されたことを示す. SegTag+Dep モデルにおいては， SegTag と Dep の双方でビームを用いて訓練とテストを行っている. なお, Zhang et al. (2015) は他の構文解析器の結果を再配置し, 精度の向上を目指すモデルである。 ‡は $\operatorname{SegTagDep}(\mathrm{g})$ モデルに対して対応のある $\mathrm{t}$ 検定を行い, $p<0.01$ で統計的に有意な改善が見られたことを示す.

Zhang et al. (2014) から取得した.

なお，貪欲法によるモデルである $\operatorname{SegTagDep}(\mathrm{g})$ はビームサーチを用いるモデルよりわずかに劣 る結果となったが，ビームを用いないことによる解析の速さは一考に値する.

## 4.2.3単語分割と品詞タグ付けの統合モデルと係り受け解析のパイプラインモデル

次に SegTag モデルと依存構造解析のみのモデル (Dep) とのパイプラインモデル (SegTag+Dep) を実験した．簡単のため，SegTag モデルは貪欲法で学習されたのに対し，Dep モデルはサイズ 4 のビームを用いて学習及びテストが行われた。結果を表 6 の SegTag+Dep に示す. 同じくビーム サーチを使用するモデルである SegTagDep と SegTag+Dep を比較した場合, SegTag+Dep は係り 受け解析を含めた統合モデルである SegTagDep よりも係り受け解析および単語分割において優れ ていた.

SegTagDep モデルや SegTag+Dep モデルにおける単語分割の誤りは, 主に固有表現にて生じて いる。本論文では，これを詳細に考察する．SegTagDep モデルにて用いられるビームを用いた学習 では, Hatori et al. (2012) の AP 操作に 2 倍の配置長を持たせる手法が使われている。これは, 単語内部の文字同士の係り受けを考慮していると解釈できる．例えば“记者”（記者），“实验室”（実験室）のような単語においては，前の文字が，順番に後ろの文字に係り受け構造を持つとして，直感的にも理解できる。この解釈では, AP 操作は, 文字を連結し，かつ単語内の係り受けを解決し ているために，2 倍の配置長を持つ操作となる.

しかし, 固有表現においては, 先程のような単語内係り受けが存在するとは考えにくい場合があ る。例えば，人名である“卢仁法”は文字同士の係り受けを持たない単語と見なしたほうが自然で ある。そのような単語に対しては, SegTagDep モデルでは SH 遷移を行うことが多くなる。これは

Hatori et al. (2012) の AP 遷移が文字の結合と単語内係り受けの解決という 2 つのことをしてい るとみなした場合に，固有表現には必ずしもそのような内部の係り受けが存在するとは限らないた め, やや過剰な配置をもたせていると考えられるためである。そのため, 結果的に, SegTag+Dep の方が SegTagDep より優れてた単語分割結果となったと考えられる.

固有表現について, SegTagDep モデルと SegTag+Dep モデルを比較した場合, 以下のような差が 見られた. “总统 龚保雷 餐叙, ” (ゴンバオリ大統領が会食をして, ) という句中の “龚保雷 餐叙”に対 し, SegTagDep モデルは “龚保雷餐叙”という一単語として固有表現としたのに対し, SegTag+Dep モデルは固有表現の“龚保雷”（ゴンバオリ・人名）と動詞の“餐叙”（会食をして）として, 正しく 単語分割を行った．地名についても，一語の固有表現である“新喀里多尼亚”(ニューカレドニア） や“所罗门群岛” (ソロモン諸島）に対して，SegTagDep モデルは過分割を行ったが，SegTag+Dep モデルは一語の固有表現として, 正しく分割を行った. やや特殊な例としては, “以多明尼加为例,就在陈水扁总统造访前夕, 多国新总统阵营主动向媒体透露，中国大陆将为多国兴建大型火力发电厂的讯息. ”（ドミニカ共和国では，陳水扁総統が訪れる直前に，新大統領陣営は自ら中国大陸によ り大型の火力発電所が建設されることをメディアに告げた.）という文では, “多国”がドミニカを 指し示す固有表現となる。一方で，“多国”は“多”および“国”と二単語にも分割され，この場合 は「多くの国」という意味にもなる。このような場合に，SegTagDepでは “多国”を“多”と“国” に分割して出力されたが，SegTag+Depでは「多国」として一語の固有表現として出力された.

また, 関連研究にて, Zhang et al. (2014) の提案したSTD (Arc-standard) モデルは, Hatori et al. (2012) の単語分割・品詞夕グ付けおよび係り受け解析の統合モデルよりも高性能に動作した. Zhang et al. (2014) の提案したSTD (Arc-standard) モデルは, まず単語分割を先に行い, その結果を “deque”に格納してから係り受け解析を行うモデルであり，本論文における SegTag+Dep モ デルと類似する.

本研究における提案手法においては，加えて，単語と文字の分散表現を利用することで従来法よ り高性能に単語分割と品詞夕グ付けが動作するために, 単語分割と品詞夕グ付けの結果を先読みす ることで Dep モデルが最終的に良い結果を出しているものと推測される。

## 4.2.4 CTB-7 における実験

SegTagDep および SegTag+Dep モデルをより大きな CTB-7 データセットにおいても評価した. CTB-7 データセットにおける実験においては， 4 層の隠れ層を持つ多層パーセプトロンが 3 層のも のよりも優れた結果を残した，ただし，CTB-5における実験においては，明確な差異を見出すこ とができなかった。この違いについては，訓練データセットのサイズの違いによるものと推測され る． 4 層の隠れ層を持つ多層パーセプトロンモデルによる実験結果を表 7 に示す.

## 4.2.5文字列の分散表現の影響

本研究にて提案する文字列の分散表現がどの程度有効なのかを調べるため, SegTag+Dep モデル について，文字列の分散表現を使用した場合とUNKに対応する分散表現を使用した場合の，性能 の変化を調べた．実際の使用条件に近い状況で試験を行うために，SegTag モデルによる単語分割及び品詞夕グ付けの解析結果に対し, 係り受け解析を行う. 係り受け解析には, 貪欲法により学習 された以下の 2 つのモデルを試験した，最初のモデル $\operatorname{Dep}(\mathrm{g})$ は，文字列の分散表現を使用した係 り受けモデルである。次のモデル Dep(g)-cs は，文字列の分散表現を使用せず，文字と単語の分散表現に出現しない未知語に対しては, UNK の分散表現を使用したモデルである。 入力素性に対応 する分散表現が存在しなかった場合には, 従来法である Dep (g)-cs モデルは UNK の分散表現を使用するが，Dep $(\mathrm{g})$ は文字列の分散表現を使用する。結果を表 8 に示す. なお，簡単のために，ビー ムを使用しない条件での比較を示す.

この結果から，モデルが未知語に遭遇した場合，単純な UNK の分散表現を利用するよりも，文字列の分散表現を利用したほうが性能が良くなることがわかる.

表 7 SegTagDep と SegTag+Dep の実験結果

CTB-7における実験結果. なお, 貪欲法を用いて訓練されたモデル SegTagDep(g) による結果も同様に示す. SegTag+Dep モデルにおいては, SegTag とDep の双方でビームを用いて訓練とテストを行っている.

表 $8 \mathrm{SegTag}$ の解析結果に対し, 文字列の分散表現を利用した場合とUNK の分散表現を利用した場合の $\operatorname{Dep}(\mathrm{g})$ モデルの性能

CTB-5 における実験結果. “Dep(g)-cs”は，文字列の分散表現を使用せず，文字と単語の分散表現に出現し ない未知語に対しては，UNK の分散表現を使用したモデルである。*は対応のある $\mathrm{t}$ 検定を行ったところ， $p<0.05$ で統計的に有意な改善が見られたことを示す.

## 4.2.6双方向 LSTM を使用したモデル

双方向 LSTM を使用したモデルについても，同様に実験を行った。なお，本実験では貪欲法に 基づく学習のみを行った3 ．双方向 LSTM を利用したモデルは，表 3 のように基本的な素性にしか 依存しないという利点がある。結果を表 9 に示す。双方向 LSTM を用いたモデルは, 従来法と比較してやや悪い性能となったが，非常に基本的な素性のみを使用してこの性能を達成したことは注目に値する。

## 4.2.7係り受けのラベル推定

最後に，係り受けのラベル解析モデルを利用することで，ラベルも含めた係り受け解析を行う. CTB-5 および CTB-7 に対して，係り受けのラベルの推定を行った。この実験では，ラベルなしの 評価では最も優れていた SegTag+Dep の解析結果に対し，更にラベル推定を行うことで，各コー パスにおける原文からラベル付係り受け解析を行った際のスコアを測定することを目的とする。係 り受け解析のラベルの推定結果を表 10 に示す.この係り受けラベルの推定モデルについては，パ イプラインもしくは統合モデルによる評価が， Hatori et al. (2012) や Zhang et al. (2014)などの 先行研究では行われておらず，比較の対象とはしなかった。

また，上の CTB-5 と CTB-7 の解析結果について， ラベル付き係り受けのうち，もととなるラ ベルなしの係り受けが正しい係り受けについてのラべル毎の正解率を集計した。その結果を表 11

表 9 双方向 LSTM を使用するモデル

CTB-5 における実験結果. 4 素性モデルと 8 素性モデルは, 表 3 における使用素性数と対応する.

表 10 ラベルなし係り受け解析スコア (UAS) とラベル付き係り受け解析スコア (LAS)

CTB-5 と CTB-7 における実験結果. LAS は, UAS と同様に単語分割が正しい単語同士の係り受けの場合の み正解となる。また，引用符や句読点は評価から取り除かれている。

表 11 ラベルごとの正解率

CTB-5 と CTB-7 における実験結果. なお，句読点の係り受けである “P” ラべルと ROOTへの係り受けで ある“ROOT” ラベルは除いた。

に示す. 総じて, 修飾語 (modifier) はスコアが高めとなるが, 文内のより大域的な構造である主格 (SUB) や目的格 (OBJ) については低めとなる傾向が見られた.

## 5 将来研究

本研究中では, 結果として, 単語分割, 品詞夕グ付けおよび係り受け解析の統合モデルよりも,単語分割と品詞夕グ付けの統合モデルおよび係り受け解析のパイプラインモデルの方が，優れた性能を発揮した。これは，係り受け解析の情報を単語分割に活用する際に，どこまで内部的に単語分割を行ってから，係り受けを解析を行うか，という問題と関連する。例えば， Hatori et al. (2012) のモデルでは，単語分割と係り受け解析は同時であると言えるが，Zhang et al. (2014) の STD モ デルでは，単語分割を 3 単語分だけ先に行うことにより，係り受け解析の際に，単語の先読みを可能にしている。このような問題に対し, 解析文やモデルの状態に応じて, 単語の先読みを行うか,係り受け解析を優先して行うかを判断するモデルを作成することができれば，非常に有用な統合構文解析器となるだろう.

この他, 本論文では, 最後に係り受けのラベル推定を行ったが, この係り受けラベル推定モデル も含めて係り受け解析を行うモデルも考えられる。このようにすることで，係り受けのラべルの種類に関する情報が係り受け解析や，品詞夕グ付けなどの精度に良い影響を及ぼしうるため，これは 有望な研究となりえるだろう.

最後に，双方向 LSTMによる文中の単語表現は，例えば，近年提案されたELMoのように，非常に柔軟かつ強力な手法である (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018). しかしながら, 今回の研究で速度およびGPU メモリの制約により, 双方向 LSTM を用い るモデルとビーム探索を併用することが出来なかったように, 中国語の統合解析への双方向 LSTM の使用は，あまり容易なことではない。これは，主に，中国語の統合構文解析では，解析が進むに 連れて，文字ばかりでなく解析済みの単語の情報を利用することが重要となるからである。解析の ステップごとに，解析済みの単語を用いて双方向 LSTM を再計算する手法は，計算コストがかな り大きいと言える。この問題点が解決されれば，この手法を用いて世界最高性能を達成するモデル を作成しうると考えられる。

## 6 結論

本論文では，中国語の統合構文解析を行う２つのモデルを提案した．1つ目は素性とフィードフォ ワードニューラルネットワークに基づくモデルであり，2つ目は双方向 LSTM を使用したニューラ ルネットワークに基づくモデルである。そのいずれにおいても，文字列の分散表現を使用すること で，UNKに相当する分散表現を用いることを避け，不完全な語句であっても，その構成する文字 の分散表現から文字列同士の分散表現を得ることが可能となる。結果として, 単語分割, 品詞タグ 付けおよび係り受け解析の統合モデルは, 中国の単語分割と品詞夕グ付けにおいて既存の統合解析手法よりも優れた性能を発揮した。しかし, 係り受け解析については, 既存手法と比較可能, もし くはやや劣る性能にとどまった。そこで, さらに，単語分割と品詞夕グ付けの統合モデルおよび係 り受け解析のパイプラインモデルを実証することで, 係り受け解析にても世界最高の性能を達成し た. 双方向 LSTM モデルを使用することで，基本的な素性のみを使用しながら文全体の構造も考慮するモデルも提案した。

## 謝 辞

この論文は ACL2017にて発表を行った “Neural Joint Model for Transition-based Chinese Syntactic Analysis”を和訳し，拡張したものです。

## 参考文献

Alberti, C., Weiss, D., Coppola, G., and Petrov, S. (2015). "Improved Transition-Based Parsing and Tagging with Neural Networks." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1354-1359. Association for Computational Linguistics.

Andor, D., Alberti, C., Weiss, D., Severyn, A., Presta, A., Ganchev, K., Petrov, S., and Collins, M. (2016). "Globally Normalized Transition-Based Neural Networks." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2442-2452. Association for Computational Linguistics.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." CoRR, abs/1409.0473.

Ballesteros, M., Dyer, C., and Smith, N. A. (2015). "Improved Transition-based Parsing by Modeling Characters instead of Words with LSTMs." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 349-359. Association for

Computational Linguistics.

Chen, D. and Manning, C. (2014). "A Fast and Accurate Dependency Parser using Neural Networks." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 740-750. Association for Computational Linguistics.

Cross, J. and Huang, L. (2016). "Incremental Parsing with Minimal Features Using Bi-Directional LSTM." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 32-37, Berlin, Germany. Association for Computational Linguistics.

Duchi, J., Hazan, E., and Singer, Y. (2010). "Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.". No. UCB/EECS-2010-24.

Dyer, C., Ballesteros, M., Ling, W., Matthews, A., and Smith, N. A. (2015). "Transition-Based Dependency Parsing with Stack Long Short-Term Memory." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343. Association for Computational Linguistics.

Hatori, J., Matsuzaki, T., Miyao, Y., and Tsujii, J. (2011). "Incremental Joint POS Tagging and Dependency Parsing in Chinese." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 1216-1224. Asian Federation of Natural Language Processing.

Hatori, J., Matsuzaki, T., Miyao, Y., and Tsujii, J. (2012). "Incremental Joint Approach to Word Segmentation, POS Tagging, and Dependency Parsing in Chinese." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1045-1053. Association for Computational Linguistics.

Hinton, G. E., McClelland, J. L., and Rumelhart, D. E. (1986). "Learning Distributed Representations of Concepts." In Proceedings of the 8th Annual Conference of the Cognitive Science Society. Vol. 1, p. 12.

Huang, L. and Sagae, K. (2010). "Dynamic Programming for Linear-Time Incremental Parsing." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1077-1086, Uppsala, Sweden. Association for Computational Linguistics.

Jiang, W., Huang, L., Liu, Q., and Lü, Y. (2008). "A Cascaded Linear Model for Joint Chinese Word Segmentation and Part-of-Speech Tagging." In Proceedings of ACL-08: HLT, pp. 897-904. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th

International Joint Conference on Natural Language Processing (Volume 1: Long Papers).

Kiperwasser, E. and Goldberg, Y. (2016). "Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations." Transactions of the Association for Computational Linguistics, 4, pp. 313-327.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space.".

Nair, V. and Hinton, G. E. (2010). "Rectified Linear Units Improve Restricted Boltzmann Machines." In Proceedings of the 27th International Conference on Machine Learning (ICML10), June 21-24, 2010, Haifa, Israel, pp. 807-814.

Nivre, J. (2004). "Incrementality in Deterministic Dependency Parsing." In Keller, F., Clark, S., Crocker, M., and Steedman, M. (Eds.), Proceedings of the ACL Workshop Incremental Parsing: Bringing Engineering and Cognition Together, pp. 50-57. Association for Computational Linguistics.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of NAACL.

Shen, M., Kawahara, D., and Kurohashi, S. (2016a). "Chinese Word Segmentation and Unknown Word Extraction by Mining Maximized Substring.” 自然言語処理, 23 (3), pp. 235-266.

Shen, M., Li, W., Choe, H., Chu, C., Kawahara, D., and Kurohashi, S. (2016b). "Consistent Word Segmentation, Part-of-Speech Tagging and Dependency Labelling Annotation for Chinese Language." In Proceedings of the 26th International Conference on Computational Linguistics (COLING2016), pp. 298-308, Osaka, Japan.

Wang, Y., Kazama, J., Tsuruoka, Y., Chen, W., Zhang, Y., and Torisawa, K. (2011). "Improving Chinese Word Segmentation and POS Tagging with Semi-supervised Methods Using Large Auto-Analyzed Data." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 309-317, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Weiss, D., Alberti, C., Collins, M., and Petrov, S. (2015). "Structured Training for Neural Network Transition-Based Parsing." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 323-333. Association for Computational Linguistics.

Zhang, M., Zhang, Y., Che, W., and Liu, T. (2014). "Character-Level Chinese Dependency Parsing." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1326-1336. Association for Computational Lin-
guistics.

Zhang, Y., Li, C., Barzilay, R., and Darwish, K. (2015). "Randomized Greedy Inference for Joint Segmentation, POS Tagging and Dependency Parsing." In Proceedings of the TwentyFourth International Joint Conference on Artificial Intelligence, pp. 42-52. Association for Computational Linguistics.

Zhang, Y. and Clark, S. (2008). "A Tale of Two Parsers: Investigating and Combining Graphbased and Transition-based Dependency Parsing." In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 562-571. Association for Computational Linguistics.

Zhang, Y. and Clark, S. (2010). "A Fast Decoder for Joint Word Segmentation and POS-Tagging Using a Single Discriminative Model." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 843-852. Association for Computational Linguistics.

Zhou, H., Zhang, Y., Huang, S., and Chen, J. (2015). "A Neural Probabilistic StructuredPrediction Model for Transition-Based Dependency Parsing." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1213-1222. Association for Computational Linguistics.

## 略歴

栗田 修平：2013 年京都大学理学部物理系卒業. 2015 年同大学院物理学教室修士

課程修了. 2015 年より京都大学大学院情報学研究科知能情報学専攻博士課程在籍中． 2019 年同大学院博士取得見込み，深層学習，深層学習を用いた自然言語処理の研究に従事. 修士 (理学). 言語処理学会, ACL, 各会員.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士

課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構研究員, 同主任研究員を経て, 2010 年より京都大学大学院情報学研究科准教授. 自然言語処理,知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了. 博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理,知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を受賞. 2014
年より日本学術会議連携会員.

(2018 年 8 月 1 日 受付)

(2018 年 11 月 1 日 再受付)

(2018 年 12 月 13 日 採録)


# 論文
## 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect の検証一

\author{
浅原 正幸†
}

本論文では, リーダビリティ評価を目的として, 日本語テキストの読み時間と節境界分類の対照分析を行う. 日本語母語話者の読み時間データ BCCWJ-EyeTrack と 節境界情報アノテーションを『現代日本語書き言葉均衡コーパス』上で重ね合わせ， ベイジアン線形混合モデルを用いて節末で，どのように読み時間が変わるかについ て検討した. 結果, 英語などの先行研究で言われている節末で読み時間が長くなる という wrap-up effect とは反対の結果が得られた. 他の結果として, 節間の述語項関係が読み時間の短縮に寄与することがわかった.

キーワード：リーダビリティ評価・読み時間・節境界情報

## Between Reading Time and Clause Boundaries in Japanese -Wrap-up Effect in a Head-Final Language-

\author{
MASAYUKI ASAHARA ${ }^{\dagger}$
}

This paper presents a contrastive analysis between reading time and clause boundary categories in the Japanese language in order to estimate text readability. We overlaid reading time data of BCCWJ EyeTrack, and clause boundary categories annotation on the Balanced Corpus of Contemporary Written Japanese. Statistical analysis based on the Bayesian linear mixed model shows that the reading time behaviours differ among the clause boundary categories. The result does not support the wrapup effects of clause-final words. Another result we arrived at is that the predicateargument relations facilitate the reading speed of native Japanese speakers.

Key Words: Readability, Reading Time, Clause Boundary

## 1 はじめに

テキストのリーダビリティ評価は，人間の作文の評価だけでなく，機械による文生成の評価 においても重要な問題である。日本語のリーダビリティ研究は表記や語彙の難易度など表層的 な情報に基づいて, テキストの難易度の評価モデルとして研究が進められてきた (渡邊, 村上,宮澤, 五島, 柳瀬, 高村, 宮尾 2017; 李 2011; 柴崎, 玉岡 2010; 佐藤 2011). しかしながら, 既

存のモデルのほとんどは読み手を陽に仮定していない.

リーダビリティは, 眼球運動に基づく読み時間により, 直接的に評価できる．筆者らは視線走査装置に基づいた読み時間データを整備するだけでなく, 統語・意味分類や情報構造との関連について調査してきた。単語や文節の統語・意味分類が読み時間にどのように影響を及ぼす かだけでなく, 情報伝達に必要な情報の新旧と読み時間の関連について分析を進めてきた.

情報の伝達においては，複数の述語を含む複文や重文を用いることが考えられる，複文や重文は節境界を有し，節境界においては読み時間が変化するという先行研究がある。英語におい ては (Just and Carpenter 1980; Rayner, Kambe, and Duffy 2000) が，句末や節末において読み 時間が長くなる wrap-up effect と呼ばれる傾向について議論している.しかしながら, 主辞が 後置される日本語においては, 補部が主辞より先に提示されることにより, 主辞を予測するこ とができ読み時間が短くなることが考えられる.

本稿では, 日本語の節境界が読み時間に対してどのような影響を与えるのかについて, 探索的 データ分析により調査する。具体的には，『現代日本語書き言葉均衡コーパス』(以下 BCCWJ) (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)の読み時間データ BCCWJ-EyeTrack (浅原, 小野, 宮本 2019) に対して, 節境界アノテー ション BCCWJ-ToriClause (Matsumoto, Asahara, and Arita 2018)を重ね合わせたものを，節境界情報を固定要因としたべイジアン線形混合モデル (Sorensen, Hohenstein, and Vasishth 2016) を用いて検討を行う。分析においては詳細な節分類について読み時間がどう異なるかについて 検討した. 例えば, 名詞修飾節においては, 補足語修飾節（関係節ウチの関係）が，内容節（関係節ソトの関係）よりも節末において読み時間が短くなる傾向が見られた. 補足節においては,名詞節の節末が，引用節の節末よりも読み時間が短くなる傾向が見られた. また, 副詞節にお いては，因果関係節と付帯状況節とで読み時間のふるまいの違いが確認できた. これらの分析結果は, 従前の言語処理において研究されてきたリーダビリティ評価において, 眼球運動に基 づく読み時間の評価の観点から節レベルの統語構造に対して実証的な根拠を与えるものになる.

以下， 2 節では関連研究について示す. 3 節では利用したデータの概要について示す. 各デー 夕の詳細については元論文を参照されたい．4節では統計処理手法について述べ，5節で結果と 考察を示す. 最後にまとめと今後の研究の方向性について示す.

## 2 関連研究

まず，前に述べた wrap-up effect の評価以外に次のような先行研究がある. (Hill and Murray 2000)は, 前置詞句を含む句読点近辺の読み時間を評価した. (Hirotani, Frazier, and Rayner 2006) は節末や文末の句読点近辺の読み時間を評価した. (Warren, White, and Reichle 2009) は 節内と節間の読み時間の関係を視線走査法に基づいて評価した。しかしながら,これらの評価

はいずれも英語の分析であった。これらの分析は, ANOVA（分散分析）など単純な統計処理 に基づく分析であったために，多くの固定要因を検討できないほか，ランダム要因を考慮でき ないために，例文や被験者の統制が求められていた.

この統制に基づく分析において，不自然な例文を不自然な分布で呈示し，都度，文の構造を 正しく把握しているのか質問するという問題点があり，自然な眼球運動が得られていないとい う批判もある (Futrell, Gibson, Tily, Blank, Vishnevetsky, Piantadosi, and Fedorenko 2018).こ のような批判のもと，コーパスからのサンプリングに基づくテキストや，文脈を変えずに語順 や語彙を入れ替えるなどしたテキストに対して，読み時間デー夕を構築し，研究する流れが生 まれた. Dundee Eyetracking Corpus (Kennedy and Pynte 2005)は英語とフランス語の新聞記事社説について，母語話者 10 人分の視線走査情報を収集したものである. 同デー夕に対して,品詞情報, 係り受け情報, 句構造木, 共参照情報が付与され, 分析が進められている。他に英語のデータとして, (Frank, Monsalve, Thompson, and Vigliocco 2013), Natural Stories Corpus (Futrell et al. 2018) などがある．他言語のデータとして，ドイツ語の Potsdam Sentence Corpus (Kliegl, Nuthmann, and Engbert 2006), ヒンディー語の Potsdam-Allahabad Hindi Eyetracking corpus (Husain, Vasishth, and Srinivasan 2015), 中国語の Beijing Sentence Corpus of Mandarin Chinese (Yan, Kliegl, Richter, and Shu 2010) がある.このような自然なテキストの分析には, レイアウト情報や呈示順などの要因を考慮するために複雑な統計処理手法が求められる。頻度主義的な一般化線形混合モデルなどでは収束判定やモデル選択など煩雑な処理が伴う。そこで， ベイジアン線形混合モデル (Sorensen et al. 2016) を導入することで, 帰無仮説の多重比較の問題を回避し，サンプリングにより推定された事後平均と事後標準偏差に基づく分析により推定 する手法が用いられている.

最後に，日本語のテキストの難易度・リーダビリティ評価研究について示す. (渡邊 他 2017) は文長・語彙の難易度・語種・品詞・語彙の具体度・仮定節や係り受け木の深さなどを特徴に 入れているが，評価自体は株価のポラティリティに対して行っており，読みやすさ自体の実証的な評価を行っていない. (李 2011) は BCCWJ を日本語能力試験の読解テキストに対応させ て難易度を評価しているが, 文字・漢字・語彙などに基づき L2 学習者向けに頻度主義的な手法 でテキストの難易度をモデル化したものであり, 日本語母語話者の読解過程をモデル化したも のではない（柴崎, 玉岡 2010) は小学 1 年から中学 3 年に収められた国語科教科書に収録した ものの文字数・文節数・述語数・漢語の割合・ひらがなの割合などで頻度主義的な手法でテキ ストの難易度をモデル化した．L1 学習者向けには適切かもしれないが, 成人日本語母語話者の リーダビリティ評価に対して適切なモデルとは言えない. (佐藤 2011) は文字 n-gram を特徴量 とした難易度モデルを提案した，統語情報を考慮していないほか，読み手の存在を陽に仮定し ていないという問題がある。(藤田 2015) は未就学坚を対象としたテキストの対象年齢を推定し ている。これらの研究は，いずれも読み時間などを用いた実証的な分析ではなく，利用してい

る特徴も表記・語彙などが中心で，複文や重文の節間の関係を適切にモデル化し，リーダビリ ティを評価しているものは管見の限り存在しない.

## 3 データ

本節では，読み時間データ BCCWJ-EyeTrack と 節境界アノテーション BCCWJ-ToriClause について概説する。これらの 2 つのデータを重ね合わせたデータを表 1 に示す.

## 3.1 BCCWJ-EyeTrack

ここでは読み時間データ BCCWJ-EyeTrack について概説する。詳細については (浅原 他 2019）を参照されたい．新聞記事に対する読み時間の収集方法として 2 種類の手法を用いた． 1 つは移動空方式の自己ペース読文法 (SELF) で， Linger ${ }^{1}$ と呼ばれるソフトウェアで収集した。 もう 1 つは眼球運動を計測する視線走査法で，タワーマウント型の EyeLink 1000 を用いた。な お, EyeLink 1000 が fixation とみなしたものを「停留」とみなす。自己ぺース読文法では一度 に 1 文節のみ呈示されるが, 視線走査法では一度に 1 画面分（最大 53 文字 $\times 5$ 行）が呈示され る.しかしながら，いずれの実験でも前の画面に戻ることはできない設定にした．各被験者は 視線走査法 $\rightarrow$ 自己ペース読文法の順で実施し，文節境界に空白を入れるか否かを含めてラテン 方格による実験配置により，それぞれのテキストを一度だけ見るような設定にした。

視線走査データについては, 視線走查順の読み時間データをテキスト順に変換した first fixation time (FFT), first-pass time (FPT), regression path time (RPT), second-pass time (SPT), total time (TOTAL)の 5 種類のデータ（読み時間のタイプ）を用いる. FFT は対象領域に最初に入っ たときの視線停留時間である。 FPT は対象領域に最初に入ってから, 左右どちらかの領域境界 を出るまでの視線停留時間の総計である，RPT は対象領域に最初に入ってから，右の領域境界 を出るまでの視線停留時間の総計である。SPT は対象領域に 2 回目以降に入った視線停留時間 の総計で，次の TOTAL から FPT を引いたものである。TOTAL は対象領域に入った視線停留時間の総計である。図 1 に読み時間のタイプの集計例を示す.

表 1 の上部に読み時間デー夕の詳細について示す. surface は単語の表層形である。読み時間 (i.e., time) は対数に変換したデータ (i.e., logtime) も保持し, 一般化線形混合モデル用に用いら れる。 measure は読み時間のタイプ \{SELF, FFT, FPT, RPT, SPT, TOTAL\}を表す. sample， article, metadata_orig, metadata は記事に関連する情報である. space は文節境界に半角空白を入れたか否かを示す. length は表層形の文字数である. is_first,is_last,is_second_last はレイアウトに関する特徴量である. sessionN, articleN, screenN, lineN, segmentN は要
^{1}$ http://tedlab.mit.edu/ dr/Linger/
}
表 1 利用するデータの概要

対象領域を「初年度決算も」の文節とする：

FFT は視線停留 5

FPT は視線停留 5 と 6 の総計.

RPT は視線停留 $5,6,7,8,9$ の総計

SPT は視線停留 9,11 の総計

TOTAL は視線停留 $5,6,9,11$ の総計

図 1 視線走査データの読み時間のタイプの集計例
素の呈示順に関する特徴量である。subj は被験者の ID で統計処理においてランダム要因とし て用いる. dependent は当該文節に係る文節の数を人手で付与したもの (浅原，松本 2018) で ある.

被験者は日本語母語話者 24 人（女性 19 人，未回答 1 人，男性 4 人）である。詳細な情報は (浅原他 2019) を参照されたい。また, 被験者属性の読み時間の影響については (浅原, 小野,宮本 2017) を参照されたい.

また, 被験者が記事をきちんと読んでいるか確認するために, 各記事を読んだ後に, Yes/Noで解答できる簡単な内容理解課題を課した。視線走査法の内容理解課題の正解率は $99.2 \%(238 / 240)$ で, 自己ぺース読文法の内容理解課題の正解率 $77.9 \%(187 / 240)$ より有意に高かった $(\mathrm{p}<0.001)$.視線走査法は一画面の間は自由に再読することができる一方，自己ぺース読文法は，読み戻し が許されず，複数の画面に記事が続く場合など，内容を記憶している負荷が高かったことがう かがえる。

## 3.2 節境界情報アノテーション

節境界情報のアノテーションは「鳥バンク」(Ikehara 2007)の複文アノテーション基準に基づ く。鳥バンクは 2007 年に鳥取大学において複文や重文の日本語の意味類型パターン辞書を編纂 するために開発されたデータベースである。節境界情報は 4 層からなる階層構造によりラベル が設計され，最上位の階層では補足節 (HS), 名詞修飾節 (MS), 副詞節 (FU), 並列節 (HR) の 4 種類からなる。第 2 階層では 26 のラベルにより構成される。詳細については鳥バンクのウェ ブサイト2を参照されたい.

BCCWJ-ToriClause (Matsumoto et al. 2018) は BCCWJ の新聞記事コアデータの一部に対し て鳥バンク互換の節境界ラベル（第 3 階層まで）を付与したものである．節境界は節の最右要素に対して国語研短単位 ${ }^{3}$ に基づいて付与するが, 節の最左要素に関しては文節係り受けアノ テーション (浅原, 松本 2018) と重ね合わせることにより得ることができる.

本研究では BCCWJ-ToriClause のアノテーションを文節単位に変換したうえで，BCCWJ EyeTrack データを重ね合わせて分析する。表 1 の下部に示す通り，最上位階層と第 2 階層につ いての情報を付与する。最上位階層が異なる節境界に関しては, 文節内に複数の節境界がある 場合もありマルチラベルの設定となる.

表 2 に節境界分類と BCCWJ-EyeTrack 上での頻度を示す. 第 2 階層では 26 の全てのラベル が出現するわけではない.

表 2 節末のタイプと頻度

## 4 統計モデル

統計モデルとしてベイジアン線形混合モデル (Sorensen et al. 2016)を用いる． R の rstan パッ ケージを用いて分析を行う，従前の読み時間分析は, ANOVA（分散分析）や一般化線形混合モ デルであった．ANOVA では被験者の統制を実験実施者が行う必要があったが，混合モデルでは 被験者をランダム要因として入れることにより被験者ごとの差異をモデル化する．また，一般化線形混合モデルは以下に示すレイアウト情報・呈示順・係り受け構造・節境界情報すべてを固定要因として入れると，収束のコントロールやモデル選択が困難であった。しかしながらべイ ジアン線形混合モデルは，これらの処理を適切に行うことが可能である。データ中 6 種類の読 み時間のタイプ (SELF, FFT, FPT, SPT, RPT, TOTAL)の time を対数正規分布 (lognormal) により，レイアウト情報・呈示順・係り受け構造・節境界情報を固定要因とし，記事情報と被験者をランダム要因としたモデルで回帰分析する，前処理として metadata が \{authorsData， caption, listItem, profile, titleBlock\}のものを除いた。これらは新聞記事において, 本文 （地の文）と異なる読み方をする可能性があるためである．視線走査データにおいては $0 \mathrm{~ms}$ の データを全て欠損値として扱った。これにより欠損値を読み飛ばしとみなすバイアスを排除す るほか，対数正規分布を用いることでサンプリング時に正定値のみを定義域とすることが自然 に行える。

分析においては節境界分類の最上位階層と第 2 階層の 2 種類の分析を行う。最上位階層は,補足節 (HS), 名詞修飾節 (MS), 副詞節 (FU), 並列節 (HR)の 4 種類の固定要因からなる。図 2

に最上位階層の分析のための線形式を示す。第 2 階層においては補足節の 3 ラベル, 名詞修飾節の 5 ラベル，副詞節の 14 ラベル，並列節の 2 ラベルを固定要因とする。図 3 に第 2 階層の分析のための線形式を示す.

ここで time は分析対象の読み時間である. lognormal は rstan の対数正規分布関数である. $\sigma$ は lognormal の標準偏差である。 $\mu$ は lognormal の期待值（平均）で線形式によって与え られる。 $\alpha$ は線形式の切片である。 $\beta^{\text {length }}$ は固定要因 length $(x)$ に対する傾きで, 視線が停留した文節の長さに対するものである。 $\beta^{\text {space }}$ は 固定要因 $\chi_{\text {space }}(x)$ に対する傾きで，文節境界に半角空白を入れて呈示したか否かを表す $4 . \beta^{\text {sessionN }}, \beta^{\text {articleN }}, \beta^{\text {screenN }}, \beta^{\text {lineN }}, \beta^{\text {segmentN }}$

$
\begin{aligned}
\text { time } \sim & \text { lognormal }(\mu, \sigma) \\
\mu= & \alpha+\beta^{\text {length }} \cdot \text { length }(x)+\beta^{\text {space }} \cdot \chi_{\text {space }}(x)+\beta^{\text {dependent }} \cdot \text { dependent }(x) \\
& +\beta^{\text {sessionN }} \cdot \text { sessionN }(x)+\beta^{\text {articleN }} \cdot \operatorname{articleN}(x)+\beta^{\text {screenN }} \cdot \text { screenN }(x) \\
& +\beta^{\text {lineN }} \cdot \text { lineN }(x)+\beta^{\text {segmentN }} \cdot \operatorname{segmentN}(x) \\
& +\beta^{\text {is_first }} \cdot \chi_{\text {is_first }}(x)+\beta^{\text {is_last }} \cdot \chi_{\text {is_last }}(x)+\beta^{\text {is_second_last }} \cdot \chi_{\text {is_second_last }}(x) \\
& +\beta^{\mathrm{HS}=\text { TRUE }} \cdot \chi_{\mathrm{HS}}(x)+\beta^{\mathrm{HS}=\text { FALSE }} \cdot\left(1-\chi_{\mathrm{HS}}(x)\right) \\
& +\beta^{\mathrm{MS}=\text { TRUE }} \cdot \chi_{\mathrm{MS}}(x)+\beta^{\mathrm{MS}=\text { FALSE }} \cdot\left(1-\chi_{\mathrm{MS}}(x)\right) \\
& +\beta^{\mathrm{FU}=\text { TRUE }} \cdot \chi_{\mathrm{FU}}(x)+\beta^{\mathrm{FU}=\mathrm{FALSE}} \cdot\left(1-\chi_{F U}(x)\right) \\
& +\beta^{\mathrm{HR}=\mathrm{TRUE}} \cdot \chi_{\mathrm{HR}}(x)+\beta^{\mathrm{HR}=\mathrm{FALSE}} \cdot\left(1-\chi_{\mathrm{HR}}(x)\right) \\
& +\sum_{a(x) \in A} \gamma^{\text {article=a }(\mathrm{x})}+\sum_{s(x) \in S} \gamma^{\text {subj=s }(\mathrm{x})} \cdot
\end{aligned}
$

図 2 最上位階層の線形式

$
\begin{aligned}
\mu= & \alpha+\beta^{\text {length }} \cdot \text { length }(x)+\beta^{\text {space }} \cdot \chi_{\text {space }}(x)+\beta^{\text {dependent }} \cdot \text { dependent }(x) \\
& +\beta^{\text {sessionN }} \cdot \operatorname{sessionN}(x)+\beta^{\text {articleN }} \cdot \operatorname{articleN}(x)+\beta^{\text {screenN }} \cdot \operatorname{screenN}(x) \\
& +\beta^{\text {lineN }} \cdot \operatorname{lineN}(x)+\beta^{\text {segmentN }} \cdot \operatorname{segmentN}(x) \\
& +\beta^{\text {is_first }} \cdot \chi_{\text {is_first }}(x)+\beta^{\text {is_last }} \cdot \chi_{\text {is_last }}(x)+\beta^{\text {is_second_last }} \cdot \chi_{\text {is_second_last }}(x) \\
& +\sum_{\text {HS? }} \beta^{\mathrm{HS} ?} \cdot \chi_{\mathrm{HS} ?}(x)+\sum_{\mathrm{MS} ?} \beta^{\mathrm{MS} ?} \cdot \chi_{\mathrm{MS} ?}(x)+\sum_{\mathrm{FU} ?} \beta^{\mathrm{FU} ?} \cdot \chi_{\mathrm{FU} ?}(x)+\sum_{\mathrm{HR} ?} \beta^{\mathrm{HR} ?} \cdot \chi_{\mathrm{HR} ?}(x) \\
& +\sum_{a(x) \in A} \gamma^{\text {article=a(x) }}+\sum_{s(x) \in S} \gamma^{\text {subj=s }(\mathrm{x})} \cdot
\end{aligned}
$

図 3 第 2 階層の線形式
$ は次の指示関数とする：

$
\chi_{A}(x)=\left.\{\begin{array}{lll}
1 & \text { if } & x \in A \\
0 & \text { if } & x \notin A
\end{array}\right.
$
}

は呈示順に対する固定要因 $\operatorname{sessionN}(x), \operatorname{articleN}(x), \operatorname{screenN}(x), \operatorname{lineN}(x), \operatorname{segmentN}(x)$ の 傾きである。 $\beta^{\text {is_first }}, \beta^{\text {is_last }}, \beta^{\text {is_second_last }}$ はレイアウト情報に関する固定要因 $\chi_{\text {is_first }}(x)$, $\chi_{\text {is_last }}(x), \chi_{\text {is_second_last }}(x)$ の傾きである. $\beta^{\text {HS=TRUE }}, \beta^{\text {HS=FALSE }}, \beta^{\text {MS=TRUE }}, \beta^{\text {MS=FALSE }}, \beta^{\text {FU=TRUE }}$, $\beta^{\mathrm{FU}=\mathrm{FALSE}}, \beta^{\mathrm{HR}=\mathrm{TRUE}}, \beta^{\mathrm{HR}=\mathrm{FALSE}}$ は節境界の最上位階層に対する固定要因に対する傾きである。節境界は国語研短単位に対して付与しているものを文節単位に変換しており，最上位階層におい ては文節単位でマルチラベルになるため，節境界情報に対して負のクラスについてもモデル化 する.

層の名詞修飾節に関する固定要因を表す. $\sum_{F U ?} \beta^{F U ?} \cdot \chi_{F U ?}$ は第 2 階層の副詞節に関する固定要因を表す. $\sum_{H R ?} \beta^{H R ?} \cdot \chi_{H R}$ ? は第 2 階層の並列節に関する固定要因を表す.

$\sum_{a(x) \in A} \gamma^{\operatorname{article}=\mathrm{a}(\mathrm{x})}$ は記事情報に対するランダム要因で， $a(x)$ は $x$ の記事情報を表す.

ベイズ推定においては warm up 後に 5000 回のイテレーションを 4 chains 実施し, 全てのモ デルは収束した.

## 5 結果

## 5.1 節境界以外に関する結果

まず，節境界以外の固定要因が読み時間に与える影響について確認する。図 4 と図 5 に, 自己ペース読文法 (SELF) と視線走査法 (TOTAL) の節境界以外の固定要因に対する事後確率分

図 4 節境界以外の固定要因 (SELF)

図 5 節境界以外の固定要因 (TOTAL)
布を示す．紙面の都合上，第 2 階層のものを示す．詳細については A 節を参照されたい．

係数が負の值の場合，その要因が読み時間を短くするために，読みを促進することを表す。一方, 係数が正の値の場合，その要因が読み時間を長くするために，読みを阻害することを表す.

半角空白 (space) を文節境界に入れた場合, 視線走査法の TOTAL において読み時間を短くす る効果が見られた。このことから，単純に文節境界に空白を入れることによってレジビリティ が上がることがわかる。レイアウト情報 (is_first, is_last, is_second_last) はテキストの 折り返しに対する要因である。読み時間は最左要素 (is_first) で長くなる傾向にある。これは 視線が右から左に戻ってきたときの負荷だと考える。視線走査法の FPT, RPT, TOTAL に関 しては，最右もしくは右から 2 番目の要素 (is_last, is_second_last) で長くなる傾向が見ら れた。呈示順 (sessionN, articleN, screenN, lineN, segmentN) に関して, 実験が進捗する につれて読み時間が短くなる傾向が見られた。これは被験者が実験に慣れていく効果である.

文節の長さ (length) に対しては, FFT 以外において読み時間が長くなる。これは単純に文節の長さが視線停留箇所の面積に比例し, 視線停留の確率が相関していることによる.

係り受けの数 dependency は，多ければ多いほど読み時間が短くなる傾向がある。この事実 は Anti-locality (Konieczny 2000) を支持する.

この結果は, 線形混合モデルに基づく結果 (浅原 他 2019) と同じ傾向である.

## 5.2 節境界（最上位階層）に関する結果

次に節境界の最上位階層に関して検討する。図 6 と図 7 に自己ペース読文法 (SELF) と視線走查法 (TOTAL)の結果を示す。詳細については A 節を参照されたい.

図 6 節境界（最上位階層）の固定要因 (SELF)

図 7 節境界（最上位階層）の固定要因 (TOTAL)
自己ペース読文法 (SELF) では，並列節以外の節末で読み時間で短くなる傾向が見られた。し かしながら，並列節に関しては強い傾向が見られなかった。視線走査法 (TOTAL) では, 全て の節末で読み時間が短くなる傾向が見られた. 特に副詞節 (FU) において強い傾向が見られた.

これは英語で言われている wrap-up effect と正反対の結果である.

## 5.3 節境界（第 2 階層）に関する結果

以下，第 2 階層の節境界について，特徴的な部分について検討する。

まず，最初に名詞修飾節について検討する。図 8 と図 9 に，視線走査法 TOTAL と SPT の 名詞修飾節末の傾向について示す.

視線走査法 (TOTAL, SPT) において，補足語修飾節 (MSa) は内容節 (MSb)に比べて読み時間が短い。例 (1) は補足語修飾節の例で，節内の述語と係り先の語とに述語項関係がある（関係節ウチの関係)。例 (2) は内容節の例で，節内の述語と係り先の語とに述語項関係がない（関係節ソトの関係)。この述語項関係が読み時間を促進していることが推察される。

(1) 幼稚園から 大学まで通った 青山学院では,

（読売新聞 2001 [BCCWJ: 00001_A_PN1c_00001_A_1]）

MSa200: 名詞修飾節：補足語修飾節：非制限用法

（2）支払利息や 減価償却費の計上額が 少ない 傾向が ある.

(北海道新聞 2002 [BCCWJ: 00005_A_PN2e_00001_A_2])

MSb: 名詞修飾節：内容節

図 8 名詞修飾節境界の固定要因 (TOTAL)

図 9 名詞修飾節境界の固定要因 (SPT)
次に補足節 (HS) について示す. 頻度の高い名詞節 (HSa) と引用節 (HSc) について検討する.例文 (3) は「こと」を含む名詞句であり，例文 (4) は引用の「と」を含む引用節である．名詞句 は引用節よりも読み時間が短くなることが, 自己ペース読文法（図 10）と視線走査法（TOTAL:図 11）で確認された。

(3) タイミングよくまぶたを閉じてくれたことで, 独特な雾囲気の写真になりました.

（産経新聞 2001 [BCCWJ: 00002_A_PN1d_00001_B_1]）

HSa: 補足節: 名詞節

（4）シャープの 携帯情報端末「ザウルス」のコンテンツを 5 月中旬から 販売すると 発表 した.

(産経新聞 2001 [BCCWJ: 00015_A_PN1d_00002_B_5])

$\mathrm{HSc}$ : 補足節: 引用節

最後に副詞節の傾向について確認する。頻度の高い因果関係 (FUb) と付帯状況 (FUd) につい て検討する. 図 12 と図 13 に 2 種類の副詞節について自己ぺース読文法と視線走査法 (FPT) の結果を示す.

例文 (5) は因果関係の例で，例文 (6) は付帯状況の例である． 2 種類の副詞節において，実験方法によって読み時間に異なる傾向が見られた。自己ペース読文法において，因果関係のほう が付帯状況よりも読み時間が短くなる傾向が見られた. しかしながら, 視線走査法 (FPT) にお いては反対の傾向が見られた。これは「て」形が付帯状況だけでなく, 引用・手段・並列など

図 10 補足節の固定要因 (SELF)

図 11 補足節の固定要因 (TOTAL)

図 12 因果関係と付帯状況節境界の固定要因 (SELF)

図 13 因果関係と付帯状況節境界の固定要因 (FPT)

のさまざまな節に分類されるが，自己ぺース読文法においては隣接文節が見られないために周辺視野による予測が効かないことに起因すると考える.

(5)「しゃべるのが 得意なんだから，能力を 生かしてみたら」と,

（読売新聞 2001 [BCCWJ: 00001_A_PN1c_00001_A_1])

FUb: 副詞節: 因果関係

(6) もみじの木にとまって仲良く寄り添う二羽のキジバト.

（産経新聞 2001 [BCCWJ: 00002_A_PN1d_00001_B_1]）

FUd: 副詞節: 付帯状況

## 5.4 考察

より詳細な結果を A 節に示す.

まず，英語で言及されている wrap-up effect (Just and Carpenter 1980; Rayner et al. 2000) （節末で読み時間が長くなる傾向）は確認されなかった. 日本語においては基本的に節末に主辞 がくるために, 先行する従属句が予測のために働くことが考えられる。係り受けの数 dependent が読み時間を短くする効果からも, 先行する従属句が読みやすさに寄与することが支持される.

名詞修飾節においては，補足語修飾節（関係節ウチの関係）のほうが内容節（関係節ソトの 関係）より読み時間が短くなることが観察された. 従属節内の述語と節の修飾先の名詞とに述
語項関係がある場合に読み時間が短くなることから，先行する文脈が読み時間を短くする傾向 が見られる。同様のことが補足節でもみられ，名詞節のように後置する格要素になりうるもの が，引用節よりも読み時間が短くなる傾向が見られる.

副詞節においては，より自然な環境である視線走査法においては，付帯状況よりも因果関係 のほうが読み時間が短くなる傾向が見られた。副詞節については今後より大規模なデータで調査する必要がある。頻度 5 の条件節（仮定節）は (渡邊他 2017) で用いられているが，日本語 において条件節（仮定節）を読み時間を短くする傾向が確認された.

## 6 おわりに

本稿では，日本語の節境界がテキストの読み時間に対してどのように影響を与えるかについ て, 経験的に検証した。その結果, 英語などで言われている wrap-up effect が, 主辞後置言語 である日本語においては認められず，反対に節末で読み時間が短くなる傾向を確認した．名詞修飾節においては, 補足語修飾節末のほうが内容節末よりも読み時間が短くなる傾向が見られ た. 補足節の分析においては，名詞節のほうが引用節よりも読み時間が短くなる傾向が見られ た.これらは従属節と係り先の要素との間に述語項関係などの強い統語関係があるか否かによ り説明ができる.

BCCWJ-EyeTrack (浅原 他 2019) と言語情報アノテーションの比較として, 分類語彙表番号 アノテーション (加藤, 浅原, 山崎 2019) との比較 (浅原, 加藤 2019), 情報構造アノテーショ ン (Miyauchi, Asahara, Nakagawa, and Kato 2017) との比較 (浅原 2018b), 述語項構造アノテー ションとの比較 (浅原 2019) が進められている。また, 単語埋め込みに基づく読み時間のモデ ル化 (浅原 2018a) も進められている. 単語埋め込みや各種言語情報を用いることで, テキスト の読み時間が線形式により推定できる環境が整いつつある.

今回利用したモデルは，ベイズ手法に基づく線形式である。二次の項を用いていないために， どの要因が読み時間に対してどのような影響を与えるかが直接的に説明できる。これらにより，語彙的な情報・統語的な情報・意味的な情報・談話的な情報を複合的に用いた,リーダビリティ 推定モデルが読み時間の観点から単純な線形式で構築できると考える。

## 謝 辞

本研究は, 国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテー ションの拡張・統合・自動化に関する基礎研究」によるものです. 本研究の一部は JSPS 科研費 挑戦的萌芽研究 JP15K12888, 基盤研究 (A) 17H00917, 新学術領域研究 18 H05521 の助成を 受けたものです.

## 参考文献

浅原正幸 (2017). 読み時間と節境界について. 日本言語学会第 154 回発表予稿集, pp. 46-51.浅原正幸 (2018a). 単語埋め込みに基づくサプライザルのモデル化. 日本言語学会第 157 回発表予稿集, pp. 82-87.

浅原正幸 (2018b). 名詞句の情報の状態と読み時間について. 自然言語処理, 25 (5), pp. 527-554.浅原正幸 (2019). 読み時間と述語項構造・共参照について. 言語処理学会第 25 回年次大会発表論文集, pp. 249-252.

浅原正幸, 加藤祥 (2019). 読み時間と統語・意味分類. 認知科学, 26 (2), p. To Appear.

浅原正幸，松本裕治 (2018)。『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並

列構造アノテーション. 自然言語処理, 25 (4), pp. 331-357.

浅原正幸, 小野創, 宮本エジソン正 (2017). 『現代日本語書き言葉均衡コーパス』の読み時間

とその被験者属性. 言語処理学会第 23 回年次大会発表論文集, pp. 473-477.

浅原正幸，小野創，宮本エジソン正 (2019). BCCWJ-EyeTrack 『現代日本語書き言葉均衡コー パス』に対する読み時間付与とその分析. 言語研究, $\mathbf{1 5 6}$, p. To Appear.

Frank, S. L., Monsalve, I. F., Thompson, R. L., and Vigliocco, G. (2013). "Reading Time Data for Evaluating Broad-coverage Models of English Sentence Processing." Behavior Research Methods, 45 (4), pp. 1182-1190.

藤田早苗 (2015). 幼坚を対象としたテキストの対象年齢推定手法. 認知科学, 22 (4), pp. 604-620.

Futrell, R., Gibson, E., Tily, H. J., Blank, I., Vishnevetsky, A., Piantadosi, S. T., and Fedorenko, E. (2018). "The Natural Stories Corpus." In Proceedings of LREC-2018, pp. 76-82.

Hill, R. and Murray, W. (2000). Reading as a Perceptual Process, Chap. Commas and Spaces: Effects of Punctuation on Eye Movements and Sentence Processing, pp. 565-589. Elsevier, Amsterdam.

Hirotani, M., Frazier, L., and Rayner, K. (2006). "Punctuation and Intonation Effects on Clause and Sentence Wrap-up: Evidence from Eye Movements." Journal of Memory and Language, 54, pp. 425-443.

Husain, S., Vasishth, S., and Srinivasan, N. (2015). "Integration and Prediction Difficulty in Hindi Sentence Comprehension: Evidence from an Eye-tracking Corpus." Journal of Eye Movement Research, 8 (2), pp. 1-12.

Ikehara, S. (2007). "Japanese Semantic Pattern Dictionary—Compound and Complex Sentence Eds.-." http://unicorn.ike.tottori-u.ac.jp/toribank/.

Just, M. A. and Carpenter, P. A. (1980). "A Theory of Reading: From Eye Fixations to Comprehension." Psychological Review, 87 (4), pp. 329-354.
加藤祥, 浅原正幸, 山崎誠 (2019). 分類語彙表番号を付与した『現代日本語書き言葉均衡コー パス』の書籍・新聞・雑誌データ. 日本語の研究, $\mathbf{1 5}(2)$, p. To Appear.

Kennedy, A. and Pynte, J. (2005). "Parafoveal-on-foveal Effects in Normal Reading." Vision Research, 45, pp. 153-168.

Kliegl, R., Nuthmann, A., and Engbert, R. (2006). "Tracking the Mind During Reading: Theinfluence of Past, Present, and Future Words on Fixation Durations." Journal of Experimental Psychology, 135 (1), pp. 12-35.

Konieczny, L. (2000). "Locality and Parsing Complexity." Journal of Psycholinguistic Research, 29 (6), pp. 627-645.

李在鎬 $(2011)$. 大規模テストの読解問題作成過程へのコーパス利用の可能性. 日本語教育, 148, pp. 84-98.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48, pp. 345-371.

Matsumoto, S., Asahara, M., and Arita, S. (2018). "Japanese Clause Classification Annotation on the 'Balanced Corpus of Contemporary Written Japanese'." In Proceedings of the 13th Workshop on Asian Language Resources (ALR13), pp. 1-8.

Miyauchi, T., Asahara, M., Nakagawa, N., and Kato, S. (2017). "Annotation of Information Structure on "The Balanced Corpus of Contemporary Written Japanese"." In Proceedings of PACLING 2017, the 15th International Conference of the Pacific Association for Computational Linguistics, pp. 166-175.

小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕 (2010). 『現代日本語書き言葉均衡コーパス』形態論情報規程集第 4 版（下）.テクニカル・レポート，国立国語研究所.

Rayner, K., Kambe, G., and Duffy, S. A. (2000). "The Effect of Clause Wrap-up on Eye Movements During Reading." The Quarterly Journal of Experimental Psychology, 53A (4), pp. 1061-1080.

佐藤理史 (2011). 均衡コーパスを規範とするテキスト難易度測定. 情報処理学会論文誌, 52 (4), pp. 1777-1789.

柴崎秀子, 玉岡賀津雄 (2010). 国語科教科書を基にした小・中学校の文章難易学年判定式の構築. 日本教育工学会論文誌, 33 (4), pp. 449-458.

Sorensen, T., Hohenstein, S., and Vasishth, S. (2016). "Bayesian Linear Mixed Models using Stan: A Tutorial for Psychologists, Linguists, and Cognitive Scientists." Quantitative Methods for Psychology, 12, pp. 175-200.

Warren, T., White, S. J., and Reichle, E. D. (2009). "Investigating the Causes of Wrap-up Effects:

Evidence from Eye Movements and E-Z Reader." Cognition, 111 (1), pp. 132-137.

渡邊亮彦, 村上聡一朗, 宮澤彬, 五島圭一, 柳瀬利彦, 高村大也, 宮尾祐介 (2017). TRF: テキ

ストの読みやすさ解析ツール. 言語処理学会第 23 回年次大会発表論文集, pp. 477-480.

Yan, M., Kliegl, R., Richter, E. M., and Shu, H. (2010). "Flexible Saccade-target Selection in

Chinese Reading." The Quarterly Journal of Experimental Psychology, 63 (4), pp. 705-725.

## 付録

## A 詳細な結果

以下に詳細な結果を示す. 表 $3,4,5,6,7,8$ に節の最上位階層モデルの結果を，表 $9,10,11$, 12, 13, 14 に節の第 2 階層モデルの結果を示す. Rhat が収束判定指標で chain 数 4 以上ですべ ての値が 1.2 以下を収束とみなす. n_eff が有効サンプル数, mean がサンプルの期待值（事後平均), sd が MCMC 標準偏差 (事後標準偏差), se_mean が標準誤差で, MCMC のサンプルの 分散を n_eff で割った値の平方根を表す. $2.5 \%, 50 \%, 97.5 \%$ はそれぞれの位の值である。分析 においては頻度 5 以上のラベルについて検討する。 mean が $2 \mathrm{sd}$ 以上の差がある場合に強い証拠, mean が $1 \mathrm{sd}$ 以上の差がある場合に弱い証拠があるとする ${ }^{5}$. なお, 一般化線形混合モデル の結果は (浅原 2017) を参照されたい.

表 3 自己ペース読文法 (SELF) の事後確率分布（最上位階層モデル）

表 4 視線走査法 (FFT) の事後確率分布（最上位階層モデル）

表 5 視線走査法 (FPT) の事後確率分布（最上位階層モデル）

表 6 視線走査法 (SPT) の事後確率分布（最上位階層モデル）

表 7 視線走査法 (RPT) の事後確率分布（最上位階層モデル）

表 8 視線走査法 (TOTAL) の事後確率分布（最上位階層モデル）

表 9 自己ペース読文法 (SELF) の事後確率分布（第 2 階層モデル）

- 補足節において, beta_clrhsl [2] (HSa: 名詞節) と beta_clrhsl [4] (HSc: 引用節) と間に 2sd 以上の差があ る。名詞節のほうが引用節より読み時間が短い.
- 名詞修飾節において, beta_clrmsl [2](MSa: 補足語修飾節) と beta_clrms1 [3](MSb: 内容節) と間に 1sd 以上の差がある。補足語修飾節のほうが内容節より読み時間が短い.
- 副詞節において, beta_clrful [6] (FUe: 逆接) が最も読み時間が短い. 副詞節でない箇所より 3sd 以上短い.
- 副詞節において, beta_clrful [2](FUa: 時) と beta_clrful[4](FUc: 条件・譲歩) と間に 2sd 以上の差があ る. 条件・譲歩のほうが時より読み時間が短い。
- 副詞節において, beta_clrful [3] (FUb: 因果関係) と beta_clrful[5] (FUd: 付帯状況・様態)と間に 1sd 以上の差がある。 因果関係のほうが付帯状況・様態より読み時間が短い.
表 10 視線走查法 (FFT) の事後確率分布（第 2 階層モデル）

- 補足節において, 1sd を超える傾向はみられない.
- 名詞修飾節において, 1 sd を超える傾向はみられない.
- 副詞節において, beta_clrful [2] (FUa: 時) が最も読み時間が短い. 副詞節でない箇所より2sd 以上短い.
- 副詞節において, beta_clrful [5] (FUd: 付帯状況・様態) は副詞節でない箇所より 2sd 以上短い.

$\cdot$ 副詞節において, beta_clrful [12](FUl: 判断・主観) は副詞節でない箇所より 1sd 以上短い.
表 11 視線走査法 (FPT) の事後確率分布（第 2 階層モデル）

- 補足節において, beta_clrhsl [2] (HSa: 名詞節) は補足節でない箇所より 2sd 以上短い.
- 名詞修飾節に㧈いて, beta_clrms1 [2] (MSa: 補足語修飾節) は名詞修飾節でない箇所より 2sd 以上短い.
- 名詞修飾節に打いて, beta_clrms1 [2] (MSa: 補足語修飾節) と beta_clrms1 [3] (MSb: 内容節) の差は小さい.
- 副詞節に打いて, 副詞節でない部分が beta_clrful [0](FALSE) が最も読み時間が長い.
- 副詞節において, beta_clrful [3] (FUb: 因果関係) と beta_clrful [5] (FUd: 付帯状況・椂態) と間に 1sd 以上の差がある。付帯状況・様態のほうが因果関係より読み時間が短い。
表 12 視線走査法 (SPT) の事後確率分布（第 2 階層モデル）

- 補足節において, beta_clrhsl [2] (HSa: 名詞節) は beta_clrhsl [4] (HSc: 引用節)より 1sd 以上短い.
- 名詞修飾節において, 1 sd を超える傾向はみられない.
- 副詞節において，副詞節でない部分が beta_clrful [0](FALSE) が最も読み時間が長い.
- 副詞節において, beta_clrful [2](FUa: 時) と beta_clrful [4](FUc: 条件・譲歩) と間に 1sd 以上の差があ る。条件・譲歩のほうが時より読み時間が短い.
表 13 視線走査法 (RPT) の事後確率分布（第 2 階層モデル）

- 補足節において, beta_clrhsl [2](HSa: 名詞節) は補足節でない箇所より 1sd 以上短い.
- 補足節において, beta_clrhsl [2] (HSa: 名詞節) は beta_clrhsl [4] (HSc: 引用節) より1sd 以上短い.
- 名詞修飾節において, beta_clrmsl [2] (MSa: 補足語修飾節) は名詞修飾節でない箇所より 2sd 以上短い.
- 名詞修飾節において, beta_clrmsl [3] (MSb: 内容節) は名詞修飾節でない箇所より2sd 以上短い.
- 副詞節において, 副詞節でない部分が beta_clrful [0] (FALSE) が最も読み時間が長い.
- 副詞節において, beta_clrful [5] (FUd: 付帯状況・様態) は副詞節でない箇所より2sd 以上短い.
表 14 視線走査法 (TOTAL) の事後確率分布（第 2 階層モデル）

- 補足節において, beta_clrhs1 [2](HSa: 名詞節) は補足節でない箇所より 2sd 以上短い.
- 補足節において, beta_clrhsl [2](HSa: 名詞節) は beta_clrhsl [4] (HSc: 引用節)より 1sd 以上短い.
- 名詞修飾節において, beta_clrms1 [2](MSa: 補足語修飾節) は名詞修飾節でない箇所より 2sd 以上短い.

$\cdot$ 副詞節において, 副詞節でない部分が beta_clrful [0](FALSE) が最も読み時間が長い.
- 副詞節において, beta_clrful [4] (FUc: 条件・譲歩) は副詞節でない箇所より2sd 以上短い.

## 略歴

浅原 正幸：2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修了. 2004 年より同大学助教. 2012 年より人間文化研究機構国立国語研究所 コーパス開発センター特任准教授. 2019 年より同教授. 博士 (工学)。言語処理学会, 日本言語学会, 日本語学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 論文
## 概念辞書の類義語と分散表現を利用した教師なし all-words WSD

鈴木 類 $^{\dagger}$ - 古宮嘉那子 $\dagger \dagger$ - 浅原 正幸 $\dagger \dagger \dagger$ - 佐々木 稔 $\dagger \dagger$ - 新納 浩幸 $\dagger \dagger$

all-words 語義曖昧性解消（以下 all-words WSD (word sense disambiguation)）とは 文書中のすべての単語の語義ラベルを付与するタスクである。単語の語義は文脈, すなわち周辺の単語によって推定でき，周辺の単語同士が類似している場合中心の 単語同士の語義も類似していると考える。そこで本研究では, 対象単語とその類義語群から周辺単語の分散表現を作成し，ユークリッド距離を計算することで対象単語の語義を予測した．また，語義の予測結果をもとにコーパスを語義ラベル列に変換し，語義の分散表現を作成した，語義の分散表現を用いて周辺単語ベクトルを作成し直し，再び語義の予測を行った。コーパスには分類語彙表番号がアノテーショ ンされた『現代日本語書き言葉均衡コーパス』(BCCWJ)を利用した. 本研究では 分類語彙表における分類番号を語義とし, 類義語も分類語彙表から取得した. 本研究では, 提案手法とランダムベースライン, Pseudo Most Frequent Sense (PMFS), Yarowsky の手法, LDAWN を比較し，提案手法が勝ることを示した。

キーワード：all-words，語義曖昧性解消，分類語彙表，分散表現

## Unsupervised All-words WSD Using Synonyms and Embeddings

\author{
Rui Suzuki ${ }^{\dagger}$, Kanako Komiya ${ }^{\dagger \dagger}$, Masayuki Asahara $^{\dagger \dagger \dagger}$, Minoru SasakI ${ }^{\dagger \dagger}$ \\ and Hiroyuki ShinNou ${ }^{\dagger \dagger}$
}

\begin{abstract}
All-words word-sense disambiguation (all-words WSD) involves identifying the senses of all words in a document. Since a word's sense depends on the context, such as surrounding words, similar words are believed to have similar sets of surrounding words. Therefore, we predict target word senses by calculating Euclidean distances between the target words' surrounding word vectors and their synonyms using word embeddings. In addition, we replace word tokens in the corpus with their concept tags, that is, article numbers of the Word List by Semantic Principles using prediction results. After that, we create concept embeddings with the concept tag sequence and predict the senses of the target words using the distances between surrounding word
\end{abstract}

vectors, which consist the word and concept embeddings. This paper shows that concept embedding improved the performance of Japanese All-words WSD.

Key Words: All-words, Word Sense Disambiguation, Word List by Semantic Principles

## 1 はじめに

語義曖昧性解消（以下，WSD）とは多義語の語義ラベルを付与する夕スクである．長年，英語のみならず日本語を対象としたWSD の研究が盛んに行われてきた。しかし，その多くは教師あり学習による対象単語を頻出単語に限定した WSD (lexical sample WSD) であるため，実用性が高いとは言えない。これに対し，文書中のすべての単語を対象とする WSD を all-words WSD という． all-words WSDのツールがあれば，より下流の処理の入力として，例えば品詞情報のように語義を利用することが可能になり，より実用的になると期待される． all-words WSD は, lexical sample WSD と異なり, 教師ありの機械学習に利用する十分な量の訓練事例を得る ことが難しいため，辞書などの外部の知識を利用して，教師なしの手法で行われることが一般的である.

all-words WSD の研究は日本語においては研究例が少ない. その理由のひとつに, all-words WSD を実行・評価するのに足りるサイズの語義つきコーパスがないことがあげられる。日本語 の教師あり手法による WSDでは，岩波国語辞典の語義が付与されている『現代日本語書き言葉均衡コーパス』(以下，BCCWJ）(Okumura, Shirai, Komiya, and Yokono 2011)がよく用いられ てきた。しかし，知識べースの手法で all-words WSD を行う場合に多用される類義語の情報は 岩波国語辞典のような語義列記型の辞書からは得ることができない．英語の all-words WSD に おいては, WordNet ${ }^{1}$ というシソーラスが辞書として主に利用されている. WordNetには日本語版も存在するが，基本的には英語版を和訳したものであり，日本語にしかない品詞の単語はど うするのかなどの問題点が残る。そのため, 現在 BCCWJに分類語彙表の意味情報がアノテー ションされ，語義付きコーパスが整備されつつある．本研究では，整備されつつあるこのコーパ ス (Kato, Asahara, and Yamazaki 2018)を用いて，日本語を対象とした教師なし all-words WSD を行う。

分類語彙表とは単語を意味によって分類したシソーラスである. レコード総数は約 10 万件 で，各レコードは類・部門・中項目・分類項目を表す“分類番号”によって分類されている. その他にも分類語彙表では “段落番号”，“小段落番号”，“語番号”が各レコードに割り振られ ており，それらすべての番号によってレコードが一意に決まるようになっている。また，分類語彙表には「意味的区切り」が 240 箇所に存在し，分類番号による分類をさらに細かく分けて
^{1}$ https://wordnet.princeton.edu/
}

いる。本稿では分類語彙表から得られる類義語の情報を利用し，分類番号を語義とした日本語 all-words WSD の手法を提案する.

## 2 関連研究

WSD の手法は，大きく教師あり学習と知識ベース（教師なしの手法）の二つに分けることが できる。一般的に, WSD を教師あり学習を用いた手法で行った場合, 教師なしの手法に比べて 高い精度を得ることができる。しかしその反面，十分な量の教師データ，すなわち夕グ付きの 用例文が必要なためその作成にコストがかかるという問題点がある。一方, 教師なしの場合は 教師データを必要としないためコストはかからないが, 教師ありの手法と同等の精度を得るこ とは難しい.

WSD においては, 一般に対象単語の文脈を素性とする。例えば, Yarowsky (1995) は, 同一の連語や文書内では出現する単語に対する語義割り当てが一意であるという仮説 (Gale, Church, and Yarowsky 1992)のもと, 教師なしによるWSDで高い精度を達成している. また, 近年, 文脈と して, WSDの対象単語の周辺単語を分散表現で表す研究が行われている. Sugawara, Takamura, Sasano, and Okumura (2015) では, 教師あり学習において対象単語の前後 N 単語ずつの単語の 分散表現を基本的な素性として用い，その有効性を明らかにした. さらに，Yamaki, Shinnou， Komiya, and Sasaki (2016) は, 単語の位置を規定しない・自立語以外の語を考慮しない, など してSugawaraらの手法を改善し成果を上げている。このように, 対象単語を決めるうえで周辺の単語が大きな手掛かりとなることが知られている。 そのため, 本研究では, 教師なしの手法を利用する際にも，周辺の単語の分散表現を手掛かりとして利用する.

一方で, 本研究には階層的な概念辞書である, シソーラスも同時に利用する．WSDに分類語彙表などのシソーラスを用いる手法は数多く提案されている. 特に, 教師あり手法ではシソー ラスから得られる単語の情報や上位概念を素性として利用することが多い. 新納, 佐々木, 古宮 (2015)では，教師あり手法による WSD において分類語彙表などのシソーラスを素性に利用 することの有効性や，上位概念のレベル（シソーラスの粒度）による精度の差があまりないこ となどが報告されている。また，シソーラスを用いた辞書べースの手法は, 教師なしの手法の うち最も一般的な手法の一つである. Yarowsky (1992) はロジェのシソーラスを用いた教師な し手法による WSD の手法を提案した。また, 小林, 白井 (2018) はシソーラスを分類語彙表に 置き換え，Yarowskyの手法に改良を加えた手法を提案している。これらの手法では, シソー ラスにおいて対象単語の語義と同じ分類に属する単語の用例を集め, 用例に出現しやすい自立語すなわち語義の特徵の重みを計算することで語義を予測している。また, Boyd-Graber, Blei, and Zhu (2007) は WordNet の語義を用いることでトピックモデルを教師なし WSD に応用した. Guo and Diab (2011) も同様にトピックモデルと WordNet の組み合わせの手法を提案している

が，概念構造は利用せず，辞書の定義文から事前学習を行う手法で， all-words WSD に関して Boyd-Graber らと同程度の精度を上げている。また，谷垣，撫中，匂坂 (2016) は階層ベイズと ギブスサンプリングを用いた英語の all-words の WSD を提案している.

日本語の all-words WSD の研究には Baldwin, Kim, Bond, Fujita, Martinez, and Tanaka (2008), Komiya, Sasaki, Morita, Sasaki, Shinnou, and Kotani (2015) や Shinnou, Komiya, Sasaki, and Mori (2017) がある．日本語は表意文字（漢字）を利用しているため，すでに書かれた時点で意味 が分かることが多い，そのため，日本語の WSD は英語の WSD に比べて，語義の差が小さいと 考えられる，小さな語義の差を，あまり用例がない状態でも解かなければならない点が，日本語 の all-words WSDの難しさであろう． Baldwin et al. (2008)では, machine readable dictionary (MRD) ベースの手法を提案している. Komiya et al. (2015) では, 多義語の周辺に現れる語義 の分布を利用する教師なし学習による周辺語義モデルを提案している. この論文の手法はギブ スサンプリングを用いたシソーラスベースの all-words の WSD である。ただしこのシステムに は EDR 電子化辞書による概念体系辞書が組み达まれており，再現するのが困難である。また， Shinnou et al. (2017) は単語分割をするテキスト分析のツールキットを応用し，教師ありの手法で all-words WSD を簡易に行えるシステムを作成している.

## 3 比較対象となるベースライン手法

本研究では, 四つの比較対象となるベースライン手法を用いた。一つは語義をランダムに選択した場合の正解率 (random) である。コーパス中の全多義語の出現ごとの平均語義数の逆数 により求めた。

二つ目は最頻出の語義をテキストコーパスから疑似的に推定する手法 (Pseudo Most Frequent Sense. 以下 PMFS）である。この手法では，テストコーパスと同分野についての学習用テキス トコーパスをテストコーパスとは別に用意し, 語義の頻度を計算する。例えば，学習用コーパ スに語義 $\mathrm{a}$ を持つ単語が出現した場合は語義 $\mathrm{a}$ の頻度に 1 を割り振る。また, 語義 $\mathrm{a}$ と語義 $\mathrm{b}$ を持つ単語（多義語）が出現した場合は語義 $\mathrm{a} に 1 / 2$, 語義 $\mathrm{b} に 1 / 2$ の頻度を割り振る。この ようにして学習用コーパスでのすべての単語の語義の頻度を加算して, 語義ごとに頻度を求め ておく，テストの際には，WSDの対象単語のそれぞれの語義候補のうち，求めておいた頻度が 最も高い語義を選択する。

三つ目は分類語彙表の分類番号を語義とした Yarowskyの手法(Yarowsky 1992)である. Yarowsky の手法では，学習用コーパスから分類番号ごとに用例を集め，その中に出現する特徴の重みを 計算しておく．ここでの特徴とは用例に出現する自立語である，語義 $c$ における特徵 $f$ の重み

は以下の式で定義される.

$
w(c, f)=\frac{\log \operatorname{Pr}(f \mid c)}{\operatorname{Pr}(f)}
$

対象単語の周辺の自立語の重みの合計を語義候補ごとに計算し, 最も大きい値になった語義を 選んでいく.

四つ目は, Boyd-Graber et al. (2007) で提案された, latent Dirichlet allocation with WordNet （以下 LDAWN）と呼ばれる手法である。LDAWN は, トピックモデル LDA (Latent Dirichlet Allocation) において，各トピックが持つ単語の確率分布を，概念辞書上の単語生成過程である WORDNET-WALK に置き換え，WSD に応用したモデルである。ルート概念からの経路の違 いにより，語義の違いを表現している，WORDNET-WALKとは, WordNet や分類語彙表のよ うな木構造の概念辞書において，ルート概念から下位概念への遷移を確率的に繰り返し，リー フ概念が表す単語を出力する単語生成過程である．LDAWN では，各文書が持つトピックの確率分布と，各トピックにおける各概念から下位概念への遷移確率分布をギブスサンプリングか ら求めている．WSD は対象単語のトピックを推定し，対応する遷移確率分布を用いてルート 概念から対象単語までの経路を推定することで行える.

## 4 概念辞書の類義語と分散表現を利用した all-words WSD

単語の語義は周辺の文脈によって推定できることから, 周辺の単語同士が類似している場合,中心の単語同士も類似していると考えられる．我々はこの考えをもとにした教師なしの all-words WSDの手法を提案する.

我々の提案する手法では, 類義語を用いて語義を決定する。ここで, 「犬」という単語の例を 考える.「犬」という単語には「動物の犬」と「スパイ」という意味の二つの意味がある．どち らの意味なのか決定するために，我々は類義語の文脈と，対象単語の文脈を比較する。文脈を 比較するためには, 後述する「周辺単語ベクトル」を用いる。ある用例の周辺単語ベクトルが,「動物の犬」という意味を持つ類義語の周辺単語ベクトルよりも,「スパイ」という意味の周辺単語ベクトルに近ければ，その用例の語義は「スパイ」の方であると判定する。周辺単語べク トルの作成方法として，我々は単語の分散表現を用いる方法, 分類番号の分散表現を用いる方法，その両方を用いる方法の三種類の手法を提案する.

我々の手法は, WSDを繰り返して行う. はじめに, 単語の分散表現を用いる方法で周辺単語 ベクトルを求め，類義語の情報から文書内のすべての多義語の語義を推定する．単語の分散表現は語義夕グのないテキストコーパスから求められるため, こうして教師なしの all-words WSD が実現できる．本研究の語義は分類語彙表の分類番号であるから，語義を推定した時点ですべ ての単語の分類番号を推定できる。その推定した分類番号をもとに，今度は分類番号の分散表
現を作成し，単語の分散表現を用いる方法と同様に，周辺単語べクトルを求め, 類義語の情報 から文書内のすべての多義語の語義を推定することで，より正確な語義を推定することができ る.この時点で推定された語義（分類番号）もまた，新たな分類番号の分散表現を作成するの に利用できる。我々はこれらの処理を繰り返すことで，最終的な語義を推定した。

## 4.1 概念辞書の類義語

本研究では，概念辞書として分類語彙表を使用した，分類語彙表とは単語を意味によって分類したシソーラスである。レコード総数は約 10 万件で，各レコードには「レコード ID 番号／見出し番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号 ／語番号／見出し／見出し本体／読み／逆読み」という項目がある。分類番号は類・部門・中項目・分類項目を表す番号で，分類語彙表では主にこの番号によって単語が分類されている。 その他にも“段落番号”，“小段落番号”，“語番号”が各レコードには割り振られており，それ らすべての番号によってレコードが一意に決まるようになっている。 さらに，分類語彙表には 「意味的区切り」が 240 箇所に存在し，分類番号による分類をさらに細かく分けている。した がって分類の細かさは，分類番号による分類 < 分類番号+意味的区切りによる分類 < 分類番号 +段落番号による分類<分類番号+段落番号十小段落番号による分類（右に行くほど細かい）とい える。本研究ではこの分類語彙表から対象単語の類義語を求め, 語義の予測に用いる。具体的 には，“分類番号十意味的区切り”によって同じグループに分類された単語を類義語とする場合 と “分類番号+段落番号”によって同じグループに分類された単語を類義語とする場合の 2 パ ターンで実験を行った．例えば「犬」という単語は分類語彙表中で二か所に存在する．すなわ ち，「犬」は二つの分類番号 $(1.2420,1.5501)$ を持つ多義語である。分類語彙表における「犬」 の一部を表 1 に示す.

上記の条件で「犬」の類義語を求めると, 分類番号：1.2410+意味的区切りで得られる類義語 は[スパイ, 回し者, “, 教師, 魔法使い, “] の 429 単語, 1.5501+意味的区切りで得られる

$1.2410+27$ で得られる類義語は[Xパイ, 回し者, ㄱ] の 11 単語, $1.5501+04$ で得られる類義

表 1 分類語彙表における「犬」

## 4.2 単語の分散表現を用いる手法

周辺の単語同士が類似している場合, 中心の単語同士の語義も類似している, と考え, 本稿 では以下の手法を提案する。まず，対象単語の周辺の単語（前後 2 単語ずつ）のそれぞれの分散表現（以下, w2v）を求める。そして, これらの $\mathrm{w} 2 \mathrm{v}$ を連結し一つの分散表現にしたものを 対象単語の「周辺単語べクトル」とする。このとき,「.」や「（」などの記号は周辺単語に含め なかった。また, 前後の単語数が 2 に満たないときは nullとし, すべてゼロべクトルで補った. なお，本手法では，自立語以外についても上記の条件を満たせば，分散表現を作成した．

次に，分類語彙表から対象単語の語義候補ごとに類義語を求め，コーパス中に出現する類義語からも対象単語と同様に周辺単語ベクトルを作成していく. この際, 類義語の周辺単語べク トルには語義候補の語義をラベル付けしておく．また，4.1節のようにして分類語彙表から類義語を求めた際に語義候補間で重複する類義語があればその単語はどちらからも除外した ${ }^{2}$. 最後 に, 対象単語の周辺単語ベクトルとラベル付けした類義語の周辺単語ベクトル群との距離を計算し, $\mathrm{K}$ 近傍法によってラベルを一つ求めこれを対象単語の語義とした。なお, $\mathrm{K}$ 近傍法を利用したのはデータスパースネスに対して頑健であり, all-words WSD では処理対象となる,コー パス中に用例の少ない単語に対しても WSD を行うことが可能だからである.

例えば以下の文における「犬」の語義を提案手法を用いて予測してみる。

彼は警察の犬だ.

この文における「犬」の周辺単語は「警察」「の」「だ」「null」となり，単語 $\mathrm{w}$ の分散表現を $\mathrm{w}^{2} 2 \mathrm{v}_{\mathrm{w}}$ とすると周辺単語べクトルは

$
\left[\begin{array}{llll}
\mathrm{w} 2 \mathrm{v}^{\text {警察 }} & \mathrm{w} 2 \mathrm{v}_{\text {の }} & \mathrm{w} 2 \mathrm{v}_{\text {だ }} & \mathrm{w} 2 \mathrm{v}_{\text {null }}
\end{array}\right]
$

となる．ここでnull は文脈が文の外側に出る場合に素性が未定義であることを表す．次に「犬」 の類義語を求め, 用例を集める。「犬」の語義候補は分類番号 1.2410 と 1.5501 であり， 4.1 節で 述べたようにして類義語を求めると 1.2410 の類義語は [Xパイ，回し者， ]. 1.5501 の類義語は $[$ きね，〈ま，ㄱ] となるが，この中から多義語はすべて除外し（「くま」は多義語なの で除外する）単義語のみ使用する。さらに， 1.2410 の類義語と 1.5501 の類義語に重複する単語 がある場合はどちらからも除外する。コーパス中に出現するこれらの類義語から，「犬」と同じ ようにして周辺単語べクトルを作っていき（図 1, 図 2), 1.2410 または 1.5501 のラベルを付与 する. 最後に,「犬」の周辺単語ベクトルとラベルが付与された類義語の周辺単語ベクトルの距離を計算し, $\mathrm{K}$ 近傍法で「犬」の周辺単語と距離が近いラべルを求め語義を決定する.

図 11.2410 の類義語の用例とその周辺単語ベクトル

図 21.5501 の類義語の用例とその周辺単語ベクトル

## 4.3 分類番号の分散表現を用いる手法

手法によって子予測した結果をもとに，コーパス全体を分類番号の系列（語義列）に変換する。例 えばコーパスが図 3 のような場合, “ビデオ” (1.4620) などは語義を 1 つしか持たない単義語で

あるためその語義に置き換え，“ジョッキー” (1.2410 or 1.2450) や“年” (1.1630 or 1.1962) な どの多義語は 4.2 節の手法で予測した語義に置き換える。なお，“根本”や“が”や“「”のよう な分類番号を持たない単語は置き換えずにそのままとする。したがって, 分類番号の系列は図 4 のようになる。こうして作成した分類番号の系列を分散表現作成ツール (gensim の Word2Vec ${ }^{3}$ ) に入力することで，テキストコーパスの単語列から $\mathrm{w} 2 \mathrm{v} を$ 作成したように，分類番号の系列か ら $\mathrm{c} 2 \mathrm{v}$ を作成する。

次に， 4.2 節の手法と同じようにして語義を予測していく. このとき，周辺単語ベクトルは $\mathrm{w} 2 \mathrm{v}$ と $\mathrm{c} 2 \mathrm{v}$ を組み合わせた場合と, $\mathrm{c} 2 \mathrm{v}$ みの場合の 2 通りとした。また, 4.2 節の手法では類義語の中から多義語をすべて排除したが，そうすることで用例が少なくなるという問題点があ る. そこで本手法では周辺単語ベクトルを作る際に， 4.2 節の手法で語義候補の語義と予測さ れた多義語の用例も追加した。前述の例文の「犬」の語義を予測するまでの流れを以下に示す. まずは「犬」の周辺単語ベクトルを作成する。周辺単語が「警察」,「の」,「だ」,「null」のとき， $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ で作成した周辺単語べクトルは

となり, $\mathrm{c} 2 \mathrm{v}$ で作成した周辺単語ベクトルは

根本要がビデオジョッキーを務め、 1960 年代後半から 80 年代前半のロックを届ける。

自由党の「政策新人類」渡辺喜美衆院議員は提案する「経済非常事態」を宣言し産業再生委の創設を!

図 3 コーパスの例

根本 要 が 1.46201 .2410 を $2.3320 、 1.19601 .19601 .19601 .19601 .16301 .16231 .1650$ から 1.19601 .19601 .16301 .163231 .1650 の ロックを 2.1521 .

1.2760 党の「1.3084 $3.16601 .5501 」$ 渡辺喜美 1.27301 .2400 は 1.12102 .1211 「 1.3710

1.13311 .1000 」を1.3100 2.1211 1.38011 .1211 委の 1.1220 を!

図 4 分類番号の系列
^{3}$ https://radimrehurek.com/gensim/models/word2vec.html
}

$
\left[\begin{array}{cccc}
\mathrm{c} 2 \mathrm{v}_{\text {警察 }} & \mathrm{c} 2 \mathrm{v}_{\text {の }} & \mathrm{c} 2 \mathrm{v}_{\text {だ }} & \mathrm{c} 2 \mathrm{v}_{\text {null }}
\end{array}\right]
$

となる. 次にコーパス中に出現する類義語から周辺単語ベクトルを「犬」と同じようにして作成する.このとき，「犬」の 1.5501 における類義語には「くま」が含まれるが，「くま」は 2 つ の分類番号 $(1.1700,1.5501)$ を持つ多義語である. この場合， 4.2 節の手法によって 1.5501 と予測された「くま」の用例からも周辺単語べクトルを作成する。最後に, 4.2 節と同様に $\mathrm{K}$ 近傍法によって語義を求める.

## 5 評価実験

実験には BCCWJに分類語彙表の分類番号がアノテーションされたコーパスを使用する. コー パス中のすべての多義語の語義を予測する問題設定とする。また, ここでいう多義語とは，複数の分類番号を持つ単語である。表 2 , 表 3 に使用したコーパスの文書数と統計を示す. なお,表 3 および以降における「トークン」の数とは出現したのべ数であり，「タイプ」とは種類の数 を指す. 特に，単語のタイプ数は語彙数に相当する．多義語（トークン）の平均語義数は, コー パス中の多義語の用例を無作為にひとつ選んだ際, その多義語が平均どのくらいの用例をコー パス中に持っているかを示している．表 3 において平均語義数は 2.98 なので，当て推量してみ ると $1 / 2.98(=0.336)$ の確率で正解になることを示している.

また, 比較手法の PMFS と Yarowsky の手法で用いる学習用コーパスには BCCWJ の分類番号が付与されていない部分も含めて使用した。表 4 , 表 5 に使用した学習用コーパスの文書数 と統計を示す.

提案手法と LDAWNでは，テストコーパスのみを用いて実験を行った。

Yarowsky の手法において，学習用コーパスから用例を集める際は前後 10 単語ずつとした.

表 2 コーパスに含まれるジャンルとその文書数

表 3 コーパスの統計

表 4 学習用コーパスに含まれるジャンルとその文書数

表 5 学習用コーパスの統計

さらに, 対象単語の周辺単語の重みの和を求めるときも, 前後 10 単語ずつから求めた.

LDAWN では, Komiya et al. (2015)を参考にパラメータを設定した. 具体的には 1 文を 1 文書とし，メタパラメータである $\mathrm{K}$ （トピック数）は $32, \mathrm{~S}$ （遷移確率の調整定数）は 10 そし て $\tau$ （ディリクレ分布の prior）は 0.01 とした.

提案手法では類義語を分類語彙表から “分類番号十意味的区切り” を用いて求める場合と “分類番号十段落番号”を用いて求める場合の 2 通りで実験を行った. w2vの作成には nwjc2vec (新納,浅原, 古宮, 佐々木 2017)を使用した. nwjc2vec とは, 国語研日本語ウェブコーパス (NWJC) に 対して word2vec (Mikolov, tau Yih, and Zweig 2013c; Mikolov, Chen, Corrado, and Dean 2013a; Mikolov, Sutskever, Chen, Corrado, and Dean 2013b) で学習を行った分散表現データである. word2vec のパラメータは，アルゴリズムに Continuous Bag-of-Words (C-BoW)を利用し，次元数を 200 , ウィンドウ幅を 8 ，ネガティブサンプリングに使用する単語数を 25 , 反復回数を 15

作成した。その際，アルゴリズムは C-BoWを利用し，次元数を 50 ， ウィンドウ幅を 5 ，ネガ ティブサンプリングに使用する単語数を 5 , 反復回数を 3 , min-count を 1 , として学習を行っ た。また，周辺単語ベクトルを作成する際，周辺に単語が四つない場合（対象単語が文頭や文末にある場合など null に相当する）や，word2vec で学習されていない単語の分散表現などは,同じ次元の零行列を用いた。周辺単語べクトルの作成に用いる周辺単語の数は前後 2 単語ずつ の 4 単語とした.したがって, w2vのみで作成した周辺単語べクトルは 800 次元, $w 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ で 作成した周辺単語べクトルは 1000 次元となる。周辺単語ベクトルの距離を測り $\mathrm{K}$ 近傍法で分類する過程には scikit-learn ${ }^{4} の$ KNeighborsClassifier を使用した。ここではユークリッド距離を 使用し， $\mathrm{k}=1 ， 3 ， 5$ ， weight=uniform, distance（uniform=重みなし， distance=重みあり）で
^{4}$ https://scikit-learn.org/stable/
}
実験を行った。

実験では，最も良いパラメータを選ぶため， w2vを利用した場合， $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を利用した場合， $\mathrm{c} 2 \mathrm{v}$ を利用した場合のそれぞれに対し，パラメータ三種類（“分類番号十意味的区切り”／“分類番号十段落番号”， $\mathrm{k}=1 / 3 / 5$, uniform/distance）のバリエーションを試した. この際， $\mathrm{w} 2 \mathrm{v}$ を利用した場合では一度目（繰り返しなし）， $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を利用した場合と $\mathrm{c} 2 \mathrm{v}$ を利用した場合では二度目（一度目は $\mathrm{w} 2 \mathrm{v}$ を利用し，二度目で $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ または $\mathrm{c} 2 \mathrm{v}$ を利用して繰り返した）の結果で 比較する。また，この際に最も良かった設定について五度繰り返して正解率を見た.

## 6 結果

四つの比較手法および三つの提案手法の結果を表 6 に示す. 提案手法の結果は, $\mathrm{w} 2 \mathrm{v}$ を利用 した手法， $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を利用した手法， $\mathrm{c} 2 \mathrm{v}$ を利用した手法における，それぞれ最も結果が良かっ た場合のパラメータを利用した際の結果である. パラメータについては考察で述べる.

また，表 7 に最良の場合の手法とパラメータを利用した場合の繰り返しによる正解率の変化 を示す。最も良い数値を太字で示した。

表 6 から, 提案手法 $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ と提案手法 $\mathrm{c} 2 \mathrm{v}$ が, 比較手法である random, PMFS, Yarowsky の手法, LDAWN のすべてを上回る結果となったことが分かる. なお, 比較手法の中では PMFS の正解率が最も高い結果となった。 $\mathrm{w} 2 \mathrm{v}$ を利用した手法, $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を利用した手法, $\mathrm{c} 2 \mathrm{v}$ を利用した手法の三手法を比較すると， $\quad \mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を利用した手法が最もよく，続いて $\mathrm{c} 2 \mathrm{v}$ を利用し た手法となり，このことから $\mathrm{c} 2 \mathrm{v}$ の利用が all-words WSDにおいて有効であることが示された.繰り返しの効果について表 7 を見てみると, w $2 \mathrm{v}$ だけを用いた一度目の結果よりも, $\mathrm{c} 2 \mathrm{v}$ も併

表 6 比較手法と提案手法の正解率 (\%)

表 7 繰り返しによる正解率の変化 $(\%)$

せて用いた二度目の結果（一度繰り返したとき）の方が正解率が上昇している ${ }^{5}$. これに対して 三度目の結果は僅かに上昇し, その後は変化がない。このため, $\mathrm{c} 2 \mathrm{v}$ を導入した繰り返しに効果 はあるが，何度も繰り返しても正解率はあまり変わらないことが分かった.

## 7 考察

## 7.1 提案手法のパラメータ

提案手法のパラメータ別の結果を表 8 に示す。一つの実験の中で最も良い数值を太字とした. また，提案手法の中で最も良い数値には下線を引いた。さらに，比較手法すべてよりも良い結果となったものを斜体で示した.

表 8 から，提案手法で最も良い結果となったのは “分類番号十意味的区切り”， w $2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ を用 いた場合であることが分かる。また，提案手法では $\mathrm{K}$ の値や重みの有無によって精度に大きな 差がないことが分かった，類義語の決め方に注目すると，“分類番号十意味的区切り”を使用す るほうが “分類番号＋段落番号”を利用した場合に比べて，常に良い結果となっていることが わかる．類義語の区分に “分類番号＋段落番号”を利用した場合には， $\mathrm{c} 2 \mathrm{v}$ の導入によって正解率が下がっている。このことから，類義語の区分には適切なものを利用する必要があることが 分かる。

比較手法の結果と提案手法の正解率を比べると，“分類番号十意味的区切り”, $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ または “分類番号十意味的区切り”, $\mathrm{c} 2 \mathrm{v}$ を用いた場合（表の $4 \sim 7$ 行目）では random, PMFS, Yarowsky

表 8 パラメータごとの正解率 $(\%)$

の手法, LDAWN のすべてを上回る結果となった.

## 7.2 他手法との比較

Yarowsky の手法と本研究の提案手法は, 類義語の周辺の単語を用いるという点では同じであ る. Yarowsky の手法は計算量が提案手法よりも少ないことから，大きな学習用コーパスから用例を集めることや, 周辺単語として前後 20 単語を利用することができる。一方, 提案手法は計算量が多いため, 学習用コーパスは用意せずに WSD の対象となるコーパスから用例を集め, 周辺単語も前後 4 単語しか利用していない. それでも Yarowsky の手法を上回る結果となったこ とから，分散表現がWSDにおいて有効であることがわかる.

また, 提案手法は LDAWN も上回った. しかも LDAWN は Yarowsky の手法よりも劣った. これには二つの原因が考えられる。一つは本研究のタスクがall-words WSDであることである.教師なしWSD の研究は多いが，それらの手法がそのまま教師なしall-words WSDにおいて高精度の結果を出せるわけではない. トピックモデルを利用した手法がそのような手法の一つた と考えられる、トピックモデルを利用した教師なし WSD は, 本質的に, 対象単語の文脈を卜 ピック分布で表現し，その分布が語義ごとに異なることを利用する。しかし語義の違いを区別 するためのトピックの分割が全ての単語で同一である保証はない。またLDAWNでは妥当な分割を求める手がかりとして語義の階層構造を利用するが, その階層構造として, 分類語彙表の 語義の階層構造が適切であるかどうかも疑問である。一方, 提案手法は単語や語義の分散表現 を利用しており，WSDの対象単語に依存しない。このため，より all-words WSDに適した手法 となっている。二つ目は WSD で利用する対象単語の文脈情報として，トピック分布だけでは 不十分であることである。トピックは大域的な文脈情報である。しかし実際に WSD で有効な 情報は, 直前直後の出現単語といった局所的な文脈情報である, LDAWN はそのような局所的 な情報を直接的には利用していない。一方, 本手法や Yarowsky の手法は直接的に局所的な文脈情報を利用しているために，LDAWN を上回ったと考えられる．特に日本語は表意文字を利用 しているため, 英語に比べて語義同士の意味が近い。そのため, トピックのような大域的な文脈よりも，周辺の単語のような局所的な文脈が効いたものと考えられる。また，提案手法では 分類語彙表に多く含まれる，類義語の情報を利用しているため，上位下位概念よりも多くの情報が利用できる。 さらに提案手法は分散表現を利用しているため, 同一の単語でなくても類似度が計算でき, $\mathrm{K}$ 近傍法を利用したことによってデータスパースネスに強い手法となっている。

## 7.3 類義語についての考察

提案手法では分類語彙表から類義語を求めて WSD に利用する．類義語は, 対象単語と意味 が近いほど類義語として好ましい. しかし，意味が近い単語に限定しすぎると類義語の数，す なわち類義語の用例の数が少なくなってしまい語義の予測に影響が出てしまう。例えば,「犬」

の分類番号 1.2410 の類義語になりうる単語を列挙すると表 9 のようになる. 分類番号が等しく 多義語でない単語を類義語とした場合（分類番号 1.2410 には意味的区切りは存在しない. ）「犬」 の類義語は 429 単語となり，その中には「教育家」や「教師」，「神官」などの単語も含まれる. しかしこれらの単語は「犬」の語義とそれほど近い語義を持っているわけではなく,「犬」の語義を予測する場合に役立っているとは考えにくい。一方，“分類番号＋段落番号” が等しい単語

表 9 「犬」の分類番号 1.2410 の類義語になりうる単語（一部省略）

表 10 一つの語義から獲得した類義語の用例数の平均

を類義語とした場合は「犬」とかなり意味的に近い単語に限定され，これらの単語は「犬」と 言い換えても文脈が変化しないため類義語としてふさわしい単語だといえる。しかしその数は わずか 11 単語となり類義語の用例の数が大きく減少してしまう.

そこで, 本研究で用いたコーパスにおいて多義語が一つの語義から類義語の用例をいくつ獲得できるか平均を求めると, 表 10 のようになった. 正解・不正解は $\mathrm{w} 2 \mathrm{v}$ を利用した場合（表 8 の $2 ， 3 ， 8 ， 9$ 行目）の結果である.

多義語全体の平均を見ると，“分類番号＋意味的区切り”に比べて分類番号+段落番号を類義語の定義として用いた場合は獲得できる用例の数が大幅に少なくなっていることがわかる。本研究では，“分類番号十段落番号” で類義語を集めた場合，“分類番号十意味的区切り”で類義語を集めた場合と比べて精度が下がっているが，これは獲得できる類義語の用例数が著しく減少したことが原因だと考えられる。また，正解した多義語が獲得した用例数の平均が不正解し た場合を大きく上回っていることからも，語義を正しく予測するには類義語の用例数をある程度多く獲得する必要があることが分かった．ただし，最も多く用例を獲得できた語義は “分類番号十意味的区切り”だと 2.1200 で用例の数は 5,535 個，“分類番号+段落番号”だと $1.1960-01$ で用例の数は 3,974 個であり, 用例の数が最も少なかったのは 2.1340 や 3.1522-05 で用例の数は 1 個だった. このことから, 分類語彙表を用いて類義語の用例を獲得する場合用例の数は語義 ごとにかなりばらつきが生まれることも確認できた。したがって本研究の提案手法は, 用例が 極端に少ない場合には学習用コーパスを用意して用例を獲得したり，広い意味で類義語を定義 して用例の数を増やしたりすることで精度が向上する可能性が考えられる。また，用例が極端 に多い場合は，段落番号や小段落番号を用いるなど，類義語を狭い意味で定義し，対象単語に より意味が近い単語に限定することで精度が向上し，さらに計算量を減少させることができる と考えられる。

## 8 おわりに

本稿では，教師なしによる日本語の all-words WSD の手法を提案した。具体的には，対象単語の周辺単語ベクトルと対象単語の類義語の周辺単語ベクトルを作成し，それらの距離を計算 して $\mathrm{K}$ 近傍法によって語義を求める。周辺単語べクトルは, 前後 2 単語ずつの $\mathrm{w} 2 \mathrm{v}$ を連結した

ベクトル， $\mathrm{w} 2 \mathrm{v} ， \mathrm{c} 2 \mathrm{v}$ を連結したべクトル， $\mathrm{c} 2 \mathrm{v}$ を連結したべクトルの 3 通りで実験を行った $\mathrm{c} 2 \mathrm{v}$ は予測結果をもとにコーパスを分類番号の分かち書きに変換して作成した。類義語は分類語彙表から “分類番号十意味的区切り”，“分類番号+段落番号” の 2 通りの方法で定義し，そ れぞれで実験を行った．実験の結果， $\mathrm{w} 2 \mathrm{v}+\mathrm{c} 2 \mathrm{v}$ ，“分類番号+意味的区切り”を用いた場合が最 も高い精度となった. また, 提案手法ではランダムべースライン, PMFS, Yarowsky の手法, LDAWN を超える精度を出すことができ，語義曖昧性解消において有効な手法であることが確認できた。 さらに結果を分析すると，不正解たっった対象単語の 1 語義当たりの類義語の用例数 が正解だった場合と比べて少ない傾向にあることや，獲得できる類義語の用例数は語義によっ てばらつきがあることが確認できた。これらのことから，本手法で精度をさらに向上させる方法として, 類義語の用例を獲得しづらい語義では学習用コーパスから用例を獲得する, 類義語 の意味の幅を広くするなどの方法で用例数を確保することが考えられる.

## 謝 辞

本研究は, 国立国語共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に 関する基礎研究」および「all-words WSD システムの構築および分類語彙表と岩波国語辞典の対応表作成への利用」の研究成果を含んでいます。また, 本研究は JSPS 科研費 $15 \mathrm{~K} 16046$ および 18K11421 の助成と, 茨城大学女性エンパワーメントプロジェクトの助成を受けたものです。ま た, 本論文の内容の一部は, 11th edition of the Language Resources and Evaluation Conference で発表したものです (Suzuki, Komiya, Asahara, Sasaki, and Shinnou 2018).

## 参考文献

Baldwin, T., Kim, S. N., Bond, F., Fujita, S., Martinez, D., and Tanaka, T. (2008). "MRD-based Word Sense Disambiguation: Further Extending Lesk." In Proceedings of the 3rd International Joint Conference on Natural Language Processing (IJCNLP 2008), pp. 775-780.

Boyd-Graber, J., Blei, D., and Zhu, X. (2007). "A Topic Model for Word Sense Disambiguation." In EMNLP-CoNLL-2007, pp. 1024-1033.

Gale, W. A., Church, K. W., and Yarowsky, D. (1992). "One Sense Per Discourse." In Proceedings of the Workshop on Speech and Natural Language, HLT '91, pp. 233-237, Stroudsburg, PA, USA. Association for Computational Linguistics.

Guo, W. and Diab, M. (2011). "Semantic Topic Models: Combining Word Distributional Statistics and Dictionary Definitions." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 552-561.

Kato, S., Asahara, M., and Yamazaki, M. (2018). "Annotation of "Word List by Semantic Principles' Labels for Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation (PACLIC 32).

小林健人, 白井清昭 (2018). 分類語彙表の分類項目を識別する語義曖昧性解消一Yarowsky モデ ルの適応と拡張一. 言語処理学会第 24 回年次大会発表論文集, pp. 244-247.

Komiya, K., Sasaki, Y., Morita, H., Sasaki, M., Shinnou, H., and Kotani, Y. (2015). "Surrounding Word Sense Model for Japanese All-words Word Sense Disambiguation.” In PACLIC 2015, pp. 35-43.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of ICLRWorkshop 2013, pp. 1-12.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS 2013, pp. 1-9.

Mikolov, T., tau Yih, W., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of NAACL 2013, pp. 746-751.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2011). "On SemEval-2010 Japanese WSD Task.”自然言語処理, 18 (3), pp. 293-307.

新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔 (2017). nwjc2vec: 国語研日本語ウェブコーパスか ら構築した単語の分散表現データ. 自然言語処理, 24 (5), pp. 705-720.

Shinnou, H., Komiya, K., Sasaki, M., and Mori, S. (2017). "Japanese all-words WSD system using the Kyoto Text Analysis ToolKit." In Proceedings of PACLIC 2017, no. 11, pp. 392-399.

新納浩幸, 佐々木稔, 古宮嘉那子 (2015). 語義曖昧性解消におけるシソーラスの利用問題. 言語処理学会第 21 回年次大会発表論文集, pp. 59-62.

Sugawara, H., Takamura, H., Sasano, R., and Okumura, M. (2015). "Context Representation with Word Embeddings for WSD." In Proceedings of PACLING 2015, pp. 108-119.

Suzuki, R., Komiya, K., Asahara, M., Sasaki, M., and Shinnou, H. (2018). "All-words Word Sense Disambiguation Using Concept Embeddings." In Proceedings of the 11th edition of the Language Resources and Evaluation Conference (LREC 2018), pp. 1006-1011.

谷垣宏一, 撫中達司, 匂坂芳典 (2016). 語の出現と意味の対応の階層ベイズモデルによる教師 なし語義曖昧性解消. 情報処理学会論文誌, $\mathbf{5 7}$ (8), pp. 1850-1860.

Yamaki, S., Shinnou, H., Komiya, K., and Sasaki, M. (2016). "Supervised Word Sense Disambiguation with Sentences Similarities from Context Word Embeddings." In Proceedings of PACLIC 2016, pp. 115-121.

Yarowsky, D. (1992). "Word-sense Disambiguation using Statistical Models of Roget's Categories Trained on Large Corpora." In Proceedings of COLING, pp. 454-460.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In $A C L 1995$, pp. 189-196.

## 略歴

鈴木類：2017 年茨城大学工学部情報工学科卒． 2019 年茨城大学大学院理工学研究科情報工学専攻修了.

古宮嘉那子：2005 年東京農工大学工学部コミュニケーション工学科卒. 2009 年同大学大学院博士後期課程電子情報工学専攻修了．博士（工学）．同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 2014 年茨城大学工学部情報工学科講師. 現在に至る. 自然言語処理の研究に 従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

浅原 正幸：2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修

了. 2004 年より同大学助教. 2012 年より人間文化研究機構国立国語研究所 コーパス開発センター特任准教授. 2019 年より同教授. 博士（工学）。言語処理学会, 日本言語学会, 日本語学会各会員.

佐々木 稔：1996 年徳島大学工学部知能情報工学科卒業. 2001 年同大学大学院

博士後期課程修了. 博士 (工学)。2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索, 自然言語処理等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

新納 浩幸：1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年より茨城大学工学部. 現在, 茨城大学工学部情報工学科教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.