# 文法誤り訂正における複数の逆翻訳モデルを 利用した訂正傾向の比較

小山碧海甫立健悟 金子正弘 小町守
東京都立大学
\{koyama-aomi, hotate-kengo, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

文法誤り訂正（GEC）とは，言語学習者の書いた 文にある誤りを自動で訂正するタスクである.Yuan ら [1] がエンコーダ・デコーダ（EncDec）モデルを GEC 適用して以来，様々な EncDec べースの GEC モデルが提案されている $[2,3,4]$.また，GEC モデ ルは構造ごとに異なる訂正傾向を持つことが知られ ている. 例えば, CNN [5] ベースのモデルは, 局所的な誤りの訂正性能が高いことが示されている [3]. さらに，複数の GEC モデルを組み合わせることに より，性能を向上させることも行われている $[6,7]$.一方で, EncDec モデルの訓練には大量の訓練デー タが必要であり [8], GECでは訓練に使用可能な学習者データが不足しているという問題がある。その ため, 様々な擬似データ生成手法が研究されており $[4,9,10]$, 大量の擬似データを利用した EncDec モデ ルが顕著な性能を達成している $[11,12,13]$.

代表的な擬似データ生成手法の一つ民逆翻訳 [14] がある。逆翻訳では，GEC モデルの場合とは反対 に，訂正文から学習者文を出力させるように逆翻訳 モデルを訓練する. その後，逆翻訳モデルに対して 文法的に正しい文を入力し，擬似的な誤りを含む文 を生成する。このようにして得た擬似誤り文とその 入力文のペアを擬似データとして GEC モデルの訓練に使用する. Kiyono ら [12] は, いくつかの擬似 データ生成手法を比較した結果，逆翻訳による擬似 データで事前学習された GEC モデルの性能が最も 高かったと報告しており, 逆翻訳は最も効果的な擬似データ生成手法の一つであると考えられる。

我々は，GECモデルの場合と同様に，逆翻訳モデ ルの構造によって GEC モデルの訂正傾向が異なる 可能性があると考えた.しかしながら，これまでの 研究では逆翻訳モデルに GEC モデルと同じモデル
を使用することが多く $[9,12,15]$ ，異なる逆翻訳も デルを使用した場合にどのような訂正傾向の違いが あるかを比較していない。また，Wan ら [16] は潜在表現にノイズを加えることによる擬似データ生成手法とルールベースの擬似データ生成手法を比較し，擬似データごと記正傾向が異なることを報告し ている。さらに，それらの擬似データを組み合わせ ることにより GEC モデルの性能を向上させている. したがって，訂正傾向の違いを捉えることは，より 高性能な GEC モデルを構築することに繋がる。

[17], CNN，LSTM [18]）を逆翻訳モデルとして使用 し, それらが生成した擬似データで事前学習された GEC モデルの訂正傾向を調査した.その結果，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なるこ とが明らかになった．さらに，異なる逆翻訳モデル から生成した擬似データを組み合わせた場合の訂正傾向を調査した。その結果，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合，シード のみが異なる単一の逆翻訳モデルを使用した場合に 対して，性能が向上するあるいは補間する性能とな ることを確認した。

## 2 関連研究

Htut ら [19] は複数の GEC モデル（Transformer， CNN，PRPN [20]，ON-LSTM [21]）に対して，異な る逆翻訳モデル（Transformer, CNN）から生成され た擬似データを使用した場合の訂正性能を調査し た.その結果，GEC モデルに Transformerを使用し，逆翻訳モデルに CNNを使用した場合に最も高い 性能を達成したと報告した．ただし，GECでは擬似データを事前学習に使用することが一般的であ るが [4, 10, 12], Htut ら [19] は擬似データを学習者 データで訓練した後の再訓練に使用するというあま

り一般的ではない方法を用いている。さらに， Htut ら [19] は擬似データごとにどのような訂正傾向が あるかについて報告していない. 我々は，GEC モ デルに Transformer を使用し，異なる逆翻訳モデル （Transformer，CNN，LSTM）を使用した場合の訂正傾向を調査する．また，Kiyono ら [12] に従い，擬似 データを GEC モデルの事前学習に使用する.

White ら [22] は，直接的な編集操作による擬似 データ生成手法 $[11,23]$ の比較を行なった. 1 つ目 の手法 [11] では，スペルチェッカーに基づいて構築 された confusion set を利用して擬似データを生成す る. 2 つ目の手法 [23] では, 学習者データから抽出 された誤りパターン，および動詞・名詞・前置詞の 置換を利用して擬似データを生成する．2つの手法 $[11,23]$ を比較した結果，1つ目の手法 [11] ではスペ リングの誤りの訂正性能が高いこと，および 2 つ目 の手法 [23] では名詞の単数・複数形と時制の誤りの 訂正性能が高いことを報告している. 我々は，異な る逆翻訳モデルから生成された擬似データを用いた 場合の GEC モデルの訂正傾向を報告する.

いくつかの研究 $[10,16,24]$ では，異なる手法によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している。例えば，Zhou ら [24] は，統計的機械翻訳からの翻訳文を擬似誤り文とし， ニューラル機械翻訳からの翻訳文を擬似訂正文とす る擬似データ生成手法を提案し，さらに逆翻訳によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している. しかしながら, Zhou ら [24] は，擬似データを組み合わせた場合の GEC モ デルの訂正傾向について報告していない. 我々は，異なる逆翻訳モデルから生成した擬似データを組み 合わせた場合の GEC モデルの訂正傾向を報告する。

## 3 実験設定

## 3.1 データセット

訓練データおよび検証データには BEA-2019 [25] で使用されたものを用いた. BEA-2019 で使用されたデータセットは FCE [26], Lang-8コー パス [27, 28], NUCLE [29], および W\&I+LOCNESS [30, 31] から構成されている. Chollampatt ら [3] に従 い，訓練データから編集のない文対を削除した。そ の後, 訓練データの訂正文側のみからサブワードを 獲得し，BPE [32]を適用した.ここで，語彙サイズ は 8,000 とした. 以降では，訓練データおよび検証
データをそれぞれ BEA-train，BEA-valid と呼ぶ.

また，擬似誤り文を生成するための生成元コーパ スとして，Wikipediaからランダムに抽出した 900 万文を使用した1)。

## 3.2 性能評価

GEC モデルの評価データには，CoNLL-2014 [33]， JFLEG [34], および BEA-2019 のテストデータ (BEAtest）を使用した. CoNLL-2014 では M ${ }^{2}$ [35]，JFLEG では GLEU [36]を評価指標に用いた. また, BEA-test およびBEA-valid は, ERRANT $[37,38]$ を用いて評価 を行なった．アンサンブルモデルを除く報告する全 ての値は 3 つの異なるシードを用いて訓練された GEC モデルのスコアの平均である ${ }^{21}$. アンサンブル モデルでは，平均值を得るために訓練した 3 つの GEC モデルをアンサンブルした結果を報告する。

## 3.3 文法誤り訂正モデル

GEC モデルには，代表的な EncDec ベースのモデ ルである Transformerを使用した. モデルのアーキ テクチャは Vaswani ら [17] の "Transformer (base)" と し，fairseq [39]にある実装を用いた. Kiyono ら [12] に従い，擬似データを事前学習に使用し，その後 BEA-train でファインチューニングを行なった. 事前学習では Adam [40], ファインチューニングでは Adafactor [41] を最適化に用いた。 さらに，ベースラ インとして，事前学習を行わずに BEA-train のみを 用いて訓練したモデルを用意した.

また，異なる逆翻訳モデルから生成した擬似デー タを組み合わせた場合の訂正傾向を調査するため, 3.4 節で説明する逆翻訳モデルのうち Transformer お よび CNN から生成した 900 万文の擬似データを組 み合わせた 1,800 万文の擬似データで事前学習され た GEC モデルを用意した. さらに，異なる逆翻訳 モデルを使用した場合と比較するため，シードのみ が異なる単一の逆翻訳モデルから擬似データを生成し, 同様に組み合わせた擬似データで事前学習さ れた GEC モデルを用意した。ここで，全ての逆翻訳モデルに与えた文は同じである。そのため，擬似 データを組み合わせた際，擬似誤り文側の種類数は 増えているが，訂正文側の種類数は増えていない。

1） 2020 年 7 月 6 日のダンプデータを用いた.

2）逆翻訳モデルのシードの違いによる影響を軽減するため,各シードの GEC モデルごとに対応するシードで訓練した逆翻訳モデルを用意した. そして，その対応する逆翻訳モデルか ら生成した擬似データを GEC モデルの事前学習に使用した.
表 1: それぞれの GEC モデルの訂正性能（シングルモデルアンサンブルモデル）上段は逆翻訳モデルごとの性能を表 し，下段は擬似データを組み合わせて使用した場合の性能を表す。

} & \multicolumn{3}{|c|}{ BEA-test } \\

## 3.4 逆翻訳モデル

GEC において逆翻訳を使用している研究が用い ているモデルを参考にして，Transformer，CNN，お よび LSTM を選択した。また，全てのモデルの実装 は fairseqにあるものを使用した. さらに，多様な 誤りを生成するために，デコード時に Xie ら [9] に よって提案されたノイズ付きビームサーチを使用し た. 本手法では，ビームサーチ時に，毎ステップご との各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加え る. ここで， $r$ は区間 $[0,1]$ の一様分布からランダ ムに選択される値であり， $\beta_{\text {random }}$ はノイズの大きさ を調節するためのハイパーパラメータである．本実験においては, Transformer では $\beta_{\text {random }}=8, \mathrm{CNN}$ で は $\beta_{\text {random }}=10$, LSTM では $\beta_{\text {random }}=12$ とした ${ }^{3}$ ).

## 4 実験結果

## 4.1 全体の訂正性能

逆翻訳モデルごとの訂正性能表 1 の上段に，逆翻訳モデルごとの訂正性能を示す. 表 1 より，評価データによって，優れている逆翻訳モデル が異なることが分かる. 例えば，CoNLL-2014で は Transformerを使用した場合に最も性能が高く， JFLEG および BEA-test では CNN を使用した場合に 最も性能が高いことが分かる. また, BEA-test で は，Transformer よりもLSTM を使用した場合の方 が， $\mathrm{F}_{0.5}$ 值が高いことが分かる. したがって，GEC モデルとして高い性能を持つ Transformer [12] が，必 ずしも逆翻訳モデルとしても優れているとは限らな いことが示唆される。

擬似データを組み合わせた場合の訂正性能 表 1 の下段に，擬似データを組み合わせた場合の訂正性

3） 事前実験において，BEA-valid 上で最大の $F_{0.5}$ 值となった時 の値を使用した。能を示す. 表 1 より, 異なる逆翻訳モデルから生成 した擬似データを組み合わせて使用した場合，擬似 データを組み合わせない場合よりも一貫して性能が 向上していることが分かる。一方で，シードのみが 異なる単一の逆翻訳モデルから生成した擬似デー タを組み合わせた場合，一部の項目において組み合 わせない場合よりも性能が低下していることが分 かる．例えば，Transformer では，アンサンブルモデ ルにおける CoNLL-2014 上の $\mathrm{F}_{0.5}$ 值で，組み合わせ ない場合のスコアは 59.0 であるが，組み合わせた 場合のスコアは 58.9 である。また， CNN の場合で も同様に，アンサンブルモデルにおける BEA-test 上 の $\mathrm{F}_{0.5}$ 值で，組み合わせない場合のスコアは 63.4 で あるが，組み合わせた場合のスコアは 63.3 である. したがって，異なる逆翻訳モデルから生成した擬似 データを組み合わせて使用する方が，シードのみが 異なる単一の逆翻訳モデルを使用するよりも，より 頑健な GEC モデルが構築されると考えられる.

## 4.2 誤りタイプ別の訂正性能

逆翻訳モデルごとの訂正性能 表 2 の左側に，シ ングルモデルにおける BEA-test 上での誤りタイプ別 の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より，Transformer では PRON （代名詞）の誤りの性能が高いことが分かる.また， CNN では PREP (前置詞), VERB:TENSE (時制) お よび VERB:SVA（主語と動詞の一致）の誤り，LSTM では VERB（動詞）の誤りの性能が高いことが分か る.したがって，逆翻訳モデルごとに誤りタイプ別 の訂正傾向が異なると考えられる.

また，Transformerを逆翻訳モデルに使用した場合，PUNCT（句読点）の誤りの性能がベースライン よりも低下している。さらに，CNNと LSTM の場合でも，他の誤りタイプと比較して，PUNCT の誤 りはベースラインからの性能の向上幅が小さいこと
表 2: シングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值. 頻度が 100 以上である誤りタイプを抜き出した. また，全ての誤りタイプの頻度の合計は 4,882 である。なお，誤りタイプの詳細は文献 [37]を参照せよ.

 &  &  \\

が分かる。したがって，逆翻訳による擬似データを 使用した場合，PUNCT の誤りは性能を改善させる ことが難しい誤りタイプであると考えられる.

擬似データを組み合わせた場合の訂正性能 表 2 の右側に，擬似データを組み合わせた場合のシング ルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より, PUNCT, VERB:TENSE お よび VERB:FORM（不定詞・動名詞・分詞の用法） を除く誤りタイプにおいて，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合の方が， シードのみが異なる単一の逆翻訳モデルを使用した 場合の少なくとも一方よりも性能が高いことが分か る.そのため，異なる逆翻訳モデルから生成した擬似データを使用した場合，シードのみが異なる単一 の逆翻訳モデルを使用した場合に対して，性能が向上するあるいは補間する性能を持つと考えられる.

また, OTHER（その他）の誤りについて，シード のみが異なる単一の逆翻訳モデルから生成した擬似 データを組み合わせた場合，組み合わせない場合と 比較して, 性能が向上していないことが分かる。一方で，異なる逆翻訳モデルから生成した擬似データ を組み合わせた場合は，組み合わせない場合よりも 性能が向上している. したがって，異なる逆翻訳モ デルを使用することにより，より多様な誤りタイプ を訂正することが可能になると考えられる。

シードの違いによる影響 ここでは，逆翻訳モデ ルのシードの違いによる影響について検討する. 表 2 より, 異なる逆翻訳モデルから生成した擬似デー
タを組み合わせた場合よりも，シードのみが異なる 単一の逆翻訳モデルを使用した場合の方が，高い 性能になる誤りタイプがあることが分かる. 我々 は, この理由の一つとして, 逆翻訳モデルのシー ドのみを変えた場合でもある程度性能にばらつき があるためであると考える．例えば，逆翻訳モデ ルに Transformerを使用した場合，DET（限定詞）の 誤りの標準偏差は 1.62 と比較的高い. またこの時, Transformer \& CNN よりも, Transformer \& Transformer の方が高い性能になっている。このように，ある程度性能にばらつきがある誤りタイプでは，シードの みが異なる単一の逆翻訳モデルを使用した場合で も，異なる逆翻訳モデルを使用した場合と比べて，性能が向上する可能性があると考えられる.

## 5 おわりに

本研究では，逆翻訳モデルごとの GEC モデルの 訂正傾向を調査した. その結果，逆翻訳モデルごと に誤りタイプ別の訂正傾向が異なることが分かっ た.また，異なる逆翻訳モデルから生成した擬似 データを組み合わせた場合，シードのみが異なる単一の逆翻訳モデルから生成した擬似データを組み合 わせた場合に対して，性能が向上するあるいは補間 する性能を持つことを確認した。

## 謝辞

Lang-8 のデータを使用したことについて, 株式会社 Lang-8 の喜洋洋氏に感謝申し上げます.

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In NAACL, pp. 380-386, 2016.

[2] Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A Nested Attention Neural Hybrid Model for Grammatical Error Correction. In $A C L$, pp. 753-762, 2017.

[3] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[4] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In NAACL, pp. 156-165, 2019

[5] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[6] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[7] Yoav Kantor, Yoav Katz, Leshem Choshen, Edo Cohen-Karlik, Naftali Liberman, Assaf Toledo, Amir Menczel, and Noam Slonim. Learning to combine Grammatical Error Corrections. In $B E A, \mathrm{pp}$. 139-148, 2019.

[8] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In WNMT, pp. 28-39, 2017.

[9] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction. In NAACL, pp. 619-628, 2018.

[10] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data. In BEA, pp. 252-263, 2019.

[12] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[13] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In $A C L$, pp. 4248-4254, 2020

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving Neural Machine Translation Models with Monolingual Data. In $A C L$, pp. 86-96, 2016.

[15] Tao Ge, Furu Wei, and Ming Zhou. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. In $A C L$, pp. 1055-1065, 2018.

[16] Zhaohong Wan, Xiaojun Wan, and Wenguang Wang. Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation. In COLING, pp. 2202-2212, 2020.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In NeurIPS, pp. 5998-6008, 2017.

[18] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[19] Phu Mon Htut and Joel Tetreault. The Unbearable Weight of Generating Artificial Errors for Grammatical Error Correction. In BEA, pp. 478-483, 2019.

[20] Yikang Shen, Zhouhan Lin, Chin wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In ICLR, 2018.
[21] Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks. In ICLR, 2019.

[22] Max White and Alla Rozovskaya. A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction. In BEA, pp. 198-208, 2020.

[23] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A Neural Grammatical Error Correction System Built On Better Pretraining and Sequential Transfer Learning. In BEA, pp. 213-227, 2019.

[24] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving Grammatical Error Correction with Machine Translation Pairs. In EMNLP Findings, pp. 318-328, 2020.

[25] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In BEA, pp. 52-75, 2019.

[26] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A New Dataset and Method for Automatically Grading ESOL Texts. In $A C L$, pp. 180-189, 2011.

[27] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In IJCNLP, pp. 147-155, 2011.

[28] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and Aspect Error Correction for ESL Learners Using Global Context. In $A C L$, pp. 198-202, 2012.

[29] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[30] Sylviane Granger. The computerized learner corpus: a versatile new source of data for SLA research. In Learner English on Computer, pp. 3-18. 1998.

[31] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an Automated Writing Placement System for ESL Learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[32] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In $A C L$, pp. 1715-1725, 2016.

[33] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[34] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[35] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[36] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[37] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In $A C L$, pp. 793-805, 2017

[38] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In COLING, pp. 825-835, 2016.

[39] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[40] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015

[41] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. In ICML, pp. 4596-4604, 2018 .


# 依存構造から句構造への変換による多言語モデリングに向けて

神藤駿介†態地宏ま宮尾祐介†
$\dagger$ 東京大学大学院 情報理工学系研究科
産業技術総合研究所人工知能研究センター
\{kando.s, yusuke\}@is.s.u-tokyo.ac.jp
\{s-kandou, hiroshi.noji\}@aist.go.jp

## 1 はじめに

伝統的に自然言語は階層構造を有していると言 われており、自然言語理解においてはその構造の把握が重要であるとされている。近年は言語モデルの 発達が著しいが、それらが自然言語の階層構造を十分に捉えているとは限らず、正確な自然言語理解が 出来ているかは議論の余地がある。Linzen ら [1] は、統語構造の把握を要するタスクを定義することでモ デルの統語構造把握能力の検証を試みている。Hu ら [2] はそのようなテストを多数含むベンチマーク を提案し、LSTM 言語モデルはパープレキシティの 面では高い性能を有しつつも、統語構造の把握能力 は低いことを示している。この問題を解決する手段として、Recurrent Neural Network Grammar (RNNG, [3]) のように学習の際に句構造の情報を活用するこ とが考えられる。RNNG は [2]においても高い統語構造把握能力を有していることが示されている。

現状 RNNG は英語のテキストを元に学習された モデルによる研究がほとんどであり、あらゆる言語 で同じような性能を発揮するかは分かっていない。 そのため、RNNG を多言語でモデリングし調査する ことには意義がある。その実現にあたり、代表的 な多言語ツリーバンクである Universal Dependencies (UD, [4])を活用することが考えられるが、UD は依存構造注釈付きのツリーバンクであるため、RNNG の学習に活用するためには言語非依存ななんらかの 方法で句構造へ変換する必要がある。

そこで本研究では、依存構造から句構造への変換手法を複数試し、RNNG の学習においてどのような 構造が適するかを比較・検討する。今回はそれらの 変換手法をUD のアノーテーション形式に基づいた 英語と日本語のツリーバンクに適用してモデルの学習を行った。これに加え、代表的な句構造ツリーバ ンクである Penn Treebank (PTB, [5]) での学習も行っ
た。これらのモデルのパープレキシティを評価する ことで、各変換手法の質の比較・検討を行った。さ らに、英語を元にしたモデルに関しては統語構造把握能力の評価を行った。実験を通して、依存構造を ある種の句構造へ変換することで、PTB で学習した モデルに匹敵する性能を持つモデルが構築できる ことを示した。この変換は言語非依存であるため、 UD のあらゆる言語のツリーバンクに対して適応可能であり、本研究の拡張性を見込むことができる。

## 2 関連研究

## 2.1 Recurrent Neural Network Grammar

RNNG [3] は句構造生成モデルであり、単語列 $\boldsymbol{x}$ と句構造 $\boldsymbol{y}$ の同時確率分布 $p(\boldsymbol{x}, \boldsymbol{y})$ を推定すること で、言語モデルと句構造解析器を同時に学習するこ とを目指す。 $p(\boldsymbol{x}, \boldsymbol{y})$ は、 $\boldsymbol{y}$ を得る句構造解析のアク ション列 $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)$ を用いて次のように推定 する：

$
p(\boldsymbol{x}, \boldsymbol{y})=\prod_{t=1}^{n} p\left(a_{t} \mid a_{1}, \cdots, a_{t-1}\right)
$

RNNG は、 $\arg \max _{\boldsymbol{y}} p(\boldsymbol{y} \mid \boldsymbol{x})$ を計算することで句構造解析器として、 $p(\boldsymbol{x})=\sum_{\boldsymbol{y}} p(\boldsymbol{x}, \boldsymbol{y})$ を計算すること で言語モデルとして活用することができる。これら の確率を解析的に求めることは難しく、様々な推定法が提案されている $[3,6,7]$ 。

RNNG は句構造解析器や言語モデルとして高い性能を持つだけでなく、統語構造の把握能力が高いこ と [8]、人間の認知モデルとしての妥当性が高い [9] など、様々な利点が報告されている。

## 2.2 依存構造から句構造への変換

自然言語の構文構造を表現する主要な枠組みとし て、依存構造と句構造がある。両者は異なる構造で

(a) flat
(b) left-first
(c) right-first

図 1 依存構造から句構造への変換アルゴリズム

図 2 非終端記号ラベルの付け方

ありながら互いに関連し合っており、一方から他方 へ変換する手法に関する研究も幅広く行われてい る。依存構造から句構造への変換手法は大きく分け て以下の二つである：

1. 句構造ツリーバンクを外部知識として活用し、 data-driven に変換器を構築する手法 $[10,11]$

2. 外部知識を用いず、依存構造から一定のアルゴ リズムによって変換する手法 $[12,13]$

1. はより頑健で精度の高い変換を可能とするが、依存構造単体から変換することが出来ない。一方 2. は依存構造単体から変換できるが、得られた構造が 妥当なものであるかについては疑問の余地が残る。

本研究はUDを活用した多言語のモデリングを目標としているため、1. のように対応する句構造ツ リーバンクを要する手法は相性が悪い。そのため、 2.の手法をべースにした変換を行う。

## 3 変換手法

依存構造を句構造へ変換するにあたり、[13] で紹介されている 3 つのアルゴリズムを利用した。これ に加え、句構造の非終端記号ラベルの付け方につい ても 3 通り試した。すなわち、合計で $3 \times 3=9$ 通り の変換手法を試した。

図 1 に 3 つの変換アルゴリズムの概略を示す。こ れらのアルゴリズムは全てトップダウンに句構造を 形成するものであり、以下のような共通の取り決め
を設ける：

・はじめに、主辞に対応する非終端記号 $\mathrm{NT}_{\text {like }}$ を 導入する。
- 依存構造上の子を句構造に導入する際は、 $\mathrm{NT}_{\mathrm{I}}$ や $\mathrm{NT}_{\text {music }}$ のように、対応する非終端記号を導入する。

・現在注目している語について、依存構造上に子 が存在しないときは、その語を終端記号として 導入する。

以下、ある単語（ここでは主辞 like）の左右に子 が存在しているケースを元にして各アルゴリズムの 動作を説明する。(a) flat では、現在注目している単語 like とその子を全て一度に句構造における子とす る。この変換においては、各非終端記号は任意の個数の子を持つことができ、全体として平らな構造に なりやすい。(b) left-first では、単語の左右に子が存在する場合に、左の子から順に句を形成する。すな わち、まず $\mathrm{NT}_{\mathrm{I}}$ を左の子として導入し、終端記号 I の導入が完了した後に、右の子 $\mathrm{NT}_{\text {music }}$ を導入する。 (c) right-first は (b) と逆に、右の子から順に句を形成 する。(b) (c) においては、完成する句構造は完全二分木となる。

非終端記号ラベルの付け方は図 2 の通りで、それ ぞれラベルとして X、POS タグ、依存ラベルを使用 する。

## 4 実験設定

本研究の目標は、3 で紹介した手法で依存構造を 句構造に変換して得られたツリーバンクを用いて RNNG を学習し、その性能を比較し、変換の妥当性 を検証することである。そのために以下のような実験設定を施した。

## 4.1 データセット

依存構造ツリーバンクとして、UD の English-EWT 及び Japanese-GSD を使用した。これに加え、伝統的な句構造ツリーバンクである Penn Treebank (PTB) と、それをUD 形式の依存構造ツリーバンクに変換 したもの (PTB-to-UD) も使用した。PTB-to-UDを得 るにあたっては [14]の手法を活用した。PTB-to-UD に対して句構造への変換を施したツリーバンクと純粋な PTB との結果を比較することで、変換アルゴリ ズムの妥当性を検証する。

データセットの統計情報（訓練・検証・テスト セットの文章数、及び語彙数）を表 1 に示す。語彙 については、訓練データ中で 2 回以上出現した語を 使用した。なお、本研究においては依存構造が交差 を含むようなデータは除外している。これは、交差 を含む依存構造においては我々の変換アルゴリズム が正常に動作しないためである。今回用いたツリー バンクに関しては、交差を含むデータは $1 \%$ も満 たなかったため、大きな影響は無いと判断した。

## 4.2 学習の詳細

RNNG の学習においては、基本的には元論文 [3] と同様のハイパーパラメータを使用した。最適化 で用いるアルゴリズムを変えており、元論文では 学習率 0.1 の確率的勾配降下法を用いているが、本研究では学習率 0.001 の Adam を用いた。学習の エポック数は、English-EWT 及び Japanese-GSD では 18、PTB 及び PTB-to-UD では 40 とした。

## 4.3 評価

本研究では、モデルの言語モデルとしての性能、及び統語構造把握能力の両面で評価を行った。言語 モデルとしての性能は、各データセットの検証デー タにおけるパープレキシティ (ppl)を評価指標と した。ppl の算出においては word-synchronous beam search [6] を採用し、ビーム幅 $k=100$ 、単語ビーム 幅 $k_{w}=10$ 、fast-track 数 $k_{s}=1$ とした。

図 3 SyntaxGym のテスト例（一致）

統語構造把握能力は、[2] で提案されているべンチ マーク (SyntaxGym)を用いて評価した。SyntaxGym は、英語テキストの統語構造の把握を必要とする 34 のテストをまとめたものであり、取り扱って いる言語現象に応じて Agreement (一致) や Center Embedding（中央埋め込み）などと言った 6 つのカ テゴリに分類される。図3 に一致のテストの一例を 示す。この例では、下線部の動詞の予測確率を比較 し、 $P($ knows $)>P($ know $)$ となれば正解とみなす。本研究では 6 つの各カテゴリについての精度を報告す る。ランダムベースラインは各テストによって異な るが、総じて $25 \%$ 以下となっている。

## 5 結果と議論

## 5.1 言語モデルとしての性能 (ppl) の比較

図 4 に各ツリーバンクで学習したモデルのパー プレキシティを示した。変換アルゴリズムに依る差 を見ると、どのツリーバンクにおいても ppl の值は flat、left-first、right-first の順で大きくなる。すなわ ち、言語モデルの性能としては flat が最善であるこ とが分かる。これは、left-first や right-first の変換を 施すと句構造は完全二分木となるため、句構造が深 くなりやすく、構文解析のアクションが煩雑かつ大量になることに起因すると思われる。

以下、flatな変換に注目してラベルの付け方に依 る差を考察する。英語テキストに関してはどのラベ ルを用いても pplには差がないが、日本語テキスト の場合は X、POS、DEP の順で大きくなる。日本語 テキストは図6 のような左枝分かれ構造になりやす いため、トップダウンな句構造解析においてははじ めに非終端記号を複数導入する必要があり、解析が 難しくなる。そのため、非終端記号の導入時のラべ ルの選択肢が少ない順（X、POS、DEP の順）が ppl に反映されていると考えられる。

注目すべきは、PTB-to-UDをflatなアルゴリズム を用いて変換して学習に用いた場合、その $\mathrm{ppl}$ は純粋な PTB で学習したモデルの ppl とほぼ同程度であ る点である。RNNGの言語モデルとしての性能は、

図 4 パープレキシティ (ppl) の比較。PTB-to-UD における点線は、PTB で学習したモデルの ppl (105)を示す。

図 5 SyntaxGym を用いた統語構造把握能力の測定結果

図 6 Japanese-GSD を句構造に変換した出力例

元々句構造ツリーバンクとして作成された PTBを 使っても、依存構造から flat な句構造に変換して得 られたツリーバンクを使ってもほぼ変わらないこと を示している。

## 5.2 統語構造把握能力の比較

5.1 では、PTB と PTB-to-UD を flat な構造に変換 したツリーバンクとで得られるモデルの言語モデル としての性能差はほぼ無いことを示した。では、こ れらのモデルの統語構造把握能力にはどのような 差があるだろうか。図 5 に、両モデルの SyntaxGym における評価の結果を示した。図から分かる通り、全体として PTB-to-UDを元に得たモデルは PTBを 元に得たモデルに匹敵する精度を記録している。特 に、ラベルの付け方として POS を選択した場合、全 ての評価カテゴリにおいて PTB をベースにしたも のと同じかそれ以上の性能を示している。各ラベル付け手法についても性能を比較すると、 Garden-Path Effects を除く全てのカテゴリにおいて POS と DEP がXより高い性能を示している。この ことから、三者は $\mathrm{ppl}$ の側面ではほとんど差がな かったが、統語構造把握能力に関してはラベルを明確に導入した方が性能が高まると言える。

## 6 終わりに

本研究では、依存構造を句構造に変換する複数の 手法を試して RNNG を学習し、その性能を比較・検討した。特に、flat な句構造に変換して学習に用い ることで、PTB 形式の句構造を元に学習したモデル と同等かそれ以上の性能を誇るモデルが構築でき ることを示した。変換アルゴリズムは言語非依存に 適用可能であるため、今後 UD のあらゆる言語のツ リーバンクに対して同様の実験を行い、本研究の手法の適用範囲を調査していきたい。多言語での実験 においては、統語構造把握能力の評価がネックとな る。例えば [15]に紹介されている手法を用いること が考えられる。また、今回施した変換は言語非依存 ではあるもののかなりナイーブである。多言語に適用可能で、なおかつ得られるモデルの性能がより向上するような変換手法に関しても調査を続けていき たい。句構造解析ではなく依存構造解析を用いたモ デリングも提案されており [16]、この手法との比較 も今後行っていきたい。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of 1stms to learn syntax-sensitive dependencies. TACL, Vol. 4, pp. 521-535, 2016.

[2] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In $A C L, 2020$.

[3] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In NAACL HLT, 2016.

[4] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajic, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis M. Tyers, and Daniel Zeman. Universal dependencies v2: An evergrowing multilingual treebank collection. CoRR, Vol. abs/2004.10643, , 2020.

[5] Mitchell P. Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The penn treebank: Annotating predicate argument structure. In Human Language Technology, Proceedings of a Workshop, 1994.

[6] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In $E M N L P, 2017$.

[7] Benoît Crabbé, Murielle Fabre, and Christophe Pallier. Variable beam search for generative neural parsing and its relevance for the analysis of neuro-imaging signal. In EMNLP-IJCNLP, 2019.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. Lstms can learn syntax-sensitive dependencies well, but modeling structure makes them better. In $A C L$.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Iryna Gurevych and Yusuke Miyao, editors, $A C L, 2018$.

[10] Lingpeng Kong, Alexander M. Rush, and Noah A. Smith. Transforming dependencies into phrase structures. In NAACL HLT, 2015.

[11] Young-Suk Lee and Zhiguo Wang. Language independent dependency to constituent tree conversion. In COLING, 2016.

[12] Fei Xia and Martha Palmer. Converting dependency structures to phrase structures. In $H L T, 2001$

[13] Michael Collins, Jan Hajic, Lance A. Ramshaw, and Christoph Tillmann. A statistical parser for czech. In ACL, 1999.

[14] Sebastian Schuster and Christopher D. Manning. Enhanced english universal dependencies: An improved representation for natural language understanding tasks. In LREC, 2016.

[15] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In ACL, 2020.

[16] Austin Matthews, Graham Neubig, and Chris Dyer. Comparing top-down and bottom-up neural generative dependency models. In CoNLL, 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語学習者コーパス I-JAS を用いた母語識別

西島光洋 1,2 劉穎 1 中田和秀 2
1 清華大学人文学院中国語言文学系 2 東京工業大学工学院経営工学系
nishijima.m.ae@m.titech.ac.jp, yingliu@tsinghua.edu.cn,
nakata.k.ac@m.titech.ac.jp

## 1 はじめに

母語識別 (Native Language Identification, NLI)とは, ある文書が母語話者以外によって書かれたことが分 かっている前提のもとで，その文書の書き手の母語を 識別するタスクである. NLI は第 2 言語習得 (Second Language Acquisition, SLA) や法言語学の分野で応用 がされ得る.たとえば，第 2 言語 (L2) 学習者が書い た文書に対する自動誤り訂正研究において，書き手の 母語を考慮することで訂正の質が向上することが指摘 されており [1], NLIにより書き手の母語を自動的に 認識することができれば，より質の高いフィードバッ クを学習者に与えられるようになる. また [2] では， NLIにおける機械学習モデルを解釈することで, 既存 の SLA 研究で得られた知見に新たな証拠を与えたり，新たな仮説を提唱したりできるとしている. そして NLI は，文書の書き手の属性を推定するタスクである 著者プロファイリングの一種としても捉えることが でき，犯罪捜査における活用も期待される [3]. 日本語学習者の数は年々増加傾向にあり [4], さらに 2019 年度から特定技能制度が開始されたことで, 日本語 をL2とする人は今後も増加していくと考えられる。 したがって，これまで L2 英語を中心にして行われて きた NLI 研究を L2 日本語に拡張することは重要で ある.

本稿は, L2 としての日本語で書かれた文書（以下 L2 日本語文書）に対して初めて NLIを行ったもので ある. また, 既存の NLI 研究で有効とされていた特徴 に加えて, 日本語特有の特徴として文字種を新たに提案する。これらの特徴を用いて L2 日本語文書の NLI を行った結果を報告する。 さらに，[2]の手法を参考 に, 線形サポートベクトルマシン (SVM) の重みベク トルを用いて, 中国語母語話者の過剩使用表現につい て分析する。

## 2 関連研究

NLI 研究の先駆けは, Koppel らによる研究 [5] であ る. 彼らは, 機能語, スペルミスなどの誤用, 文字 Ngram と品詞 (POS) Ngram を特徴として, 5 つの言語 をそれぞれ母語とする人によって書かれた文書に対し て線形SVM で分類を行なった結果, 最高で $80.2 \%$ の 正解率 (accuracy) が得られたとしている.これを契機 として，どのような特徴や分類器を用いることで NLI の識別性能を高められるかという研究が進むことにな る. 2013 年には， 11 の言語をそれぞれ母語とする人 によって書かれた文書に対する分類正解率を競う競技会が行われた。その競技会の報告論文 [6] では, 単語, POS や文字の Ngram が特徵として多く採用され, SVM が分類器として多く採用されたことが報告され ている.

以上の研究はすべて L2 英語を対象にした NLI で あった。そこで，英語に対して有効性が確認された NLI の手法が他の言語でも有効なのかという観点か ら，英語以外の言語を対象とした NLI 研究が 2011 年以降盛んに行われてきた $[7,8,9,10,11,12,13]$.

一方で，日本語に目を向けてみると，与えられた日本語文書が母語話者によって書かれたものかどうかを 機械学習手法を用いて識別する研究 [14] はあったと しても，日本語を対象にした NLI 研究は管見の限り存在しない.

## 3 手法

本節では, 本稿で用いたコーパスとその処理方法, そして特徴べクトルを作成する際に着目した文体特徴 と文書を分類するときに用いた分類器を述べる.

## 3.1 コーパスとその処理

本稿では, 日本語学習者コーパスとして『多言語母語の日本語学習者横断コーパス (I-JAS)』[15]を使用

した。I-JAS には, 中国語（中）, 英語（英）, フラン ス語 (仏), ドイツ語 (独), ハンガリー語 (洪), イン ドネシア語（尼）, 韓国語 (韓), ロシア語（露)，ス ペイン語 (西), タイ語 (泰), トルコ語 (土), ベト ナム語（越）の計 12 言語をそれぞれ母語とする日本語学習者によって産出されたデータが収録されてい る.今回は I-JAS に含まれるデータのうち，2 種類の コマ割り漫画を見てそのストーリーをそれぞれ描写す るストーリーライティング課題で産出された文書を用 い，2 種類の漫画からそれぞれ産出された 2 つの文書 を各学習者ごとに結合させたものを 1 文書として扱っ た. 中国語, 英語, 韓国語以外の 9 言語の学習者デー タは母語ごとにそれぞれ 50 件あるので，それらをす べて用いた。一方で, 中国語, 英語, 韓国語母語話者 のデータは収録数がそれぞれ 50 件を超えていたため， なるべく前述の 9 言語の学習者全体の日本語習熟度分布と一致するようにそれぞれ 50 件選択した1). つま り, 各母語話者ごとに 50 文書, 計 600 文書を用意し た。これらの文書に対して, 日本語自然言語処理ライ ブラリ GiNZA[16] を用いて形態素解析と依存構造解析を行なった。

## 3.2 文体特徵

各文書の特徴ベクトルを作成する際に着目した文体特徴とその説明ないし例を示す. 括弧内の英文字 は, 以下で用いる略称である. なお, 以下で用いる 「1-Ngram」とは，ある言語要素の 1 gram から Ngram までのすべてを指す.

(1) 形態素の基本形 (Lemma) 1-Ngram : 句読点や記号 なども含める。 [例]、二人 (2gram)

(2) 文字 (CHAR) 1-Ngram : 句読点や記号なども含め る. [例] !」と (3gram)

(3) 助詞と助動詞の基本形 (FW) 1-Ngram: 英語の機能語に対応する特徴. 品詞情報の第 1 階層が「助詞」または「助動詞」である形態素の基本形. [例]にられる (2gram)

(4) 品詞 (POS) 1-Ngram: 最深階層までの品詞情報. [例] 名詞-固有名詞-人名-名 (1gram)

(5) 依存関係のラベル (DEP) : Universal Dependencies のラベル. [例] nmod

(6) 依存関係のラベルと 2 つの Lemma の 3 つ組 (DEPL) : 直接の依存関係がある 2 つの Lemma と 両者間の依存関係のラベル。［例] case(犬, は)

(7) 依存関係のラベルと 2 つの POS の3つ組 (DEPP) :特徴 (6) での Lemma をその POS で置き換えたも の. [例] nsubj(動詞-一般, 代名詞)

(8) 文字種 (CType) : 漢字，ひらがな，カタカナそれ ぞれの頻度. アルフアベットやアラビア数字, 記号などはカウントしない.

特徴 (1) から特徴 (7) までは NLI 研究ですでに広く使用されている特徴である [17]. 本稿では, 特徴 (1) か ら特徴 (4) までの $\mathrm{N}$ として 2 から 6 までの 5 通りを考慮する。それらに加えて本稿では，日本語文書におい て特有な, NLI の特徴として (8) の文字種を新たに提案する. 文字種を特徴として用いる理論的根拠は, 漢字圏の日本語学習者は漢語を多く使用する傾向にある ことがSLA 研究においてしばしば指摘されているこ とによる [18]. 今回は集計のしやすさから，漢語，和語, 外来語の代わりとして, 漢字, ひらがな, カタカ ナの頻度をそれぞれ集計した．以上の特徵らの出現頻度ベクトルを $l 2$ ノルムで正規化したものを, 各文書 の特徴ベクトルとした。

## 3.3 分類器

これまでの NLI 研究では分類器として SVM がょく 選択される傾向にある [6]. しかし，SVM よりもロジ スティック回帰 (LR) の方が正解率が高いという報告 [19] や，NLI と類似のタスクである著者推定や著者プ ロファイリングの研究のうち日本語文書を対象にした ものでは，SVM よりもランダムフォレスト (RF) の方 が有効であるといった報告 $[20,21]$ もある。そのため 本稿では, 解釈のしやすさも考慮して, 線形 SVM, LR, RF 計 3 種類の分類器の性能を比較することにし た.SVMとLRは $10 \times 10$ の入れ子式交差検証を行 い，内部の交差検証ではグリッドサーチによりハイ パーパラメータ $C$ を決定した。また $\mathrm{RF}$ は，決定木の 本数を 1000 本に固定して, 10 交差検証を行った. そ して， 10 交差検証で得られる 10 個の正解率の平均値 を最終的な正解率とした。

## 4 実験

## 4.1 各特徵および 3 種類の分類器の比較

本項では, 3.2 項で挙げた特徴にそれぞれ着目して 特徴ベクトルを作成し，線形 SVM，LR，RFをそれぞ
表 1

れ用いて分類した場合の分類正解率を調査する．表 1 にその結果を記し, 各特徴ごとに 1 番正解率が良かっ た部分を太文字で表示している。

表 1 より, 各特徴の有効性については, CHAR 1-Ngram が最も有効で, Lemma 1-Ngram, DEPL, POS 1-Ngram, DEPP, FW 1-Ngram, DEP, CType の特徴 が順に続いていることが分かる. 今回新しく提案した 文字種は, 単独ではほとんど識別能力が無かった. ま た, 分類器間で分類正解率を比較してみると, 線形 SVM の分類正解率が最も高く, 次いで LR, 最後に RF というおおむねの傾向を読み取ることができる. そこで, 次項以降の実験では, 1 番正解率の高かった 線形SVM のみを分類器として用いることにする.

## 4.2 特徵を組み合わせたときの分類正解率

本項では, 3.2 項の特徴を組み合わせて特徴べクト ルを作成したときに, 分類正解率がどう変化するのか表 2 特徴を組み合わせたときの分類正解率 (\%)

表 3 文字種がある場合と無い場合での正解率 (\%) の比較

を検証する．本項の実験では， 4.1 項の実験結果を鑑 みて, Lemma 1-5gram, CHAR 1-4gram, FW 1-5gram, POS 1-5gram, DEP, DEPL, DEPP, CType の計 8 種類の特徴を組み合わせることを考える。すべての特徴 を使わない場合を除いて,これら 8 種類の特徴をそれ ぞれ使うか使わないかのすべての場合 $\left(2^{8}-1=255\right.$通り）で特徴ベクトルを作成し, 分類正解率を測定し た. 表 2 がその結果であるが，紙幅の関係上, 4.1 項 の実験で正解率が最も高かった CHAR 1-4gram をべー スラインとして, CHAR 1-4gram を特徴として用いた ときの正解率 $71.5 \%$ よりも高かった 7 つの組み合わせ のみを掲載している。

表 2 から, 最高で $72.0 \%$ の正解率を達成できたこ とが分かる。また, CHAR 1-4gram と CType がベース ラインよりも正解率が高かった 7 つの組み合わせす べてに出現しており, 次いで DEPL と DEPPが 5 回, Lemma 1-5gram と DEP が 3 回出現し, FW 1-5gram と POS 1-4gram は 1 回も組み合わせの中に出現しなかっ たことも分かる．注目すべきなのは，単独ではほとん ど識別能力が無かった文字種 (CType) が表 2 ではすべ ての組み合わせに出現しており，したがって文字種は 他の特徴と組み合わせたときに分類正解率を高める力 があると示唆される点である. 実際に，文字種以外の 特徴を表 2 の通りに固定して文字種がある場合と無い 場合とで正解率を比較したところ, 表 3 に示すよう に, 最大で $1.3 \%$ 正解率が上昇していることが分かる.文字種特徴を他の特徴と組み合わせたときに正解率

$
\begin{aligned}
& \text { 中 英 仏 独 洪 尼 韓 露 西泰 } \quad \text { 土 越 } \\
& \text { 漢字 ■ひらがな ■カタカナ }
\end{aligned}
$

図 1 各母語話者ごとの各文字種の相対頻度

が上昇した現象に対して, 特徴の多様性の観点から の説明が 1 つ考えられよう. Malmasi と Cahill は [22] で, 異なる性質の特徴を組み合わせることで正解率が 上昇することを指摘している. 今回用いた特徴の性質 を考えてみると, 文字種以外の特徴は言語要素らの 高々 1 文内でのミクロな関係を捉える特徴であるのに 対して, 文字種特徴は文書全体にわたるマクロな情報 を捉える特徴であり, 両者は相補的な関係を成してい ると言える。また, 図 1 は今回用いた全 600 文書にお ける各母語話者ごとの各文字種の相対頻度を示したも のであるが，各文字種の相対頻度は各母語話者ごとに 若干偏りがあることが分かる. そのため, 文字種の情報だけでは母語を識別するための十分な情報とは言え ないため単独ではほとんど識別能力が無かったが，文字種特徴で捉えたマクロな情報が文字 1-4gram などの 特徴で捉えたミクロな情報を補い，結果として正解率 が上昇したと推察される。

## 4.3 中国語母語話者の過剰使用表現

Malmasi と Dras は [2] で, 線形 SVM の重みべクト ルに着目することで各母語話者の過剩使用ないし過少使用の現象を捉えられ，そこから既存のSLA 研究で 得られた知見に新たな証拠を与えたり，新たな仮説を 提唱したりできるとしている。紙幅の関係上, 本稿で は中国語母語話者の過剩使用のみに焦点を絞ってその 様子を捉えることにする。

表 4 は，Lemma 1-5gram を特徴としたとき， 10 交差検証で生じた 10 個の SVM から中国語母語話者に 対応する 10 本の重みベクトルを取りその平均ベクト ルを計算し, 平均ベクトルの要素值が大きい上位 12 個の部分に対応する具体的な特徴を記したものであ る.まず表 4 のうちのおよそ半分が， 3 人称代名詞「彼」の過剩使用に関連するものである。石川は [23] で日本語母語話者と比較したときの中国語母語話者に よる 3 人称代名詞の過剩使用を指摘しているが，他の 母語話者と比較したときにも中国語母語話者による 3 人称代名詞の過剩使用が示唆される結果となった。ま た, 時間表現「とき」「その時、も他の母語話者と比較したときに中国語母語話者が過剩使用している表現 として挙げられる. その要因として, 望月ら [24] で 挙げられている“当 (dang) + [文] +时 (shi)” (〜と き)の他に, “这时 (zheshi)”“此时 (cishi)” (この時/ その時)2)という中国語における表現も影響している のではないかと推測される.ただし，「時」という表現自体は中国語を母語とする学習者に限らず，学習者全体で過剩使用される表現であるという見解もあるし $[26,27]$, 加えて韓国語母語話者やタイ語母語話者に 対しても表 4 と同様の表を描いたところ，20 位付近 に「その時」という特徴が存在していたため, この点 については更なる調査が必要であると考えられる。

## 5 おわりに

本稿では, 日本語学習者コーパス I-JAS を用いて初 めて L2 日本語文書に対する NLIを行い，また日本語特有の特徴として新たに文字種を提案した。その結果, 文字種を他の特徴と組み合わせて用いることで分類正解率の向上が確認され, 最高で $72.0 \%$ の正解率で 12 の言語をそれぞれ母語とする人によって書かれた 文書を分類することができた。また，SVM の重みべ クトルを用いて中国語母語話者の過剩使用表現につい て分析を行った. 今回は解釈のしやすさを考慮して分類器を選択したが，今後の課題の 1 つとして, アンサ ンブル学習 [28] などの手法を用いて分類正解率をよ り高めることが挙げられる.

## 参考文献

[1]Alla Rozovskaya and Dan Roth. Algorithm selection and model adaptation for ESL correction tasks. In Proceedings of the 49th Annual Meeting of the Association for Computa-

2）この表現からの影響について [24] では明示的に議論されては いないものの, 中国語母語話者による中国語での産出でこの表現が使用されているのが，[24]における例文 (17)b で観察され る.また,「とき」「その時」という表現が中国語母語話者に過剰使用される要因については, [25] も参照のこと.
tional Linguistics: Human Language Technologies, pp. 924933, 2011.

[2]Shervin Malmasi and Mark Dras. Language transfer hypotheses with linear SVM weights. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1385-1390, 2014.

[3]財津亘. 犯罪捜査のためのテキストマイニングー文章の 指紋を探り，サイバー犯罪に挑む計量的文体分析の手法一. 共立出版, 2019. 金明哲（監修）

[4]文化庁国語課. 令和元年度国内の日本語教育の概要, 2019. https://www.bunka.go.jp/tokei_hakusho_ shuppan/tokeichosa/nihongokyoiku_jittai/r01/pdf/ 92394101_01.pdf（2020 年 12 月 25 日閲覧）.

[5]Moshe Koppel, Jonathan Schler, and Kfir Zigdon. Determining an author's native language by mining a text for errors. In Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining, pp. 624-628, 2005.

[6]Joel Tetreault, Daniel Blanchard, and Aoife Cahill. A report on the first native language identification shared task. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 48-57, 2013.

[7]Felix Golcher and Marc Reznicek. Stylometry and the interplay of topic and L1 in the different annotation layers in the FALKO corpus. In Proceedings of Quantitative Investigations in Theoretical Linguistics 4, pp. 29-34, 2011.

[8]Shervin Malmasi and Mark Dras. Chinese native language identification. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 95-99, 2014.

[9]Shervin Malmasi and Mark Dras. Arabic native language identification. In Proceedings of the EMNLP 2014 Workshop on Arabic Natural Language Processing, pp. 180-186, 2014.

[10]Shervin Malmasi and Mark Dras. Finnish native language identification. In Proceedings of the Australasian Language Technology Association Workshop 2014, pp. 139-144, 2014.

[11]Shervin Malmasi, Mark Dras, and Irina Temnikova. Norwegian native language identification. In Proceedings of the International Conference Recent Advances in Natural Language Processing, pp. 404-412, 2015.

[12]Iria del Río Gayo, Marcos Zampieri, and Shervin Malmasi. A Portuguese native language identification dataset. In Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 291-296, 2018.

[13]Nikita Remnev. Native language identification for Russian. In 2019 International Conference on Data Mining Workshops, pp. 1138-1144, 2019.

[14]吉見毅彦, 小谷克則, 九津見毅, 佐田いち子. 単語対応付 けに基づく日本語学習者による作文の自動識別. 情報処理学会論文誌, Vol. 49, No. 12, pp. 4039-4043, 2008.

[15]迫田久美子, 石川慎一郎, 李在鎬（編）.日本語学習者 コーパス I-JAS 入門一研究・教育にどう使うか一. くろ しお出版, 2020.

[16]松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[17]Shervin Malmasi. Native language identification: explorations and applications. PhD thesis, Macquarie University,
2016.

[18]迫田久美子. 改訂版 日本語教育に生かす第二言語習得研究. アルク, 2020.

[19]Sze-Meng Jojo Wong and Mark Dras. Exploiting parse structures for native language identification. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1600-1610, 2011.

[20]金明哲, 村上征勝. ランダムフォレスト法による文章の書 き手の同定. 統計数理, Vol. 55, No. 2, pp. 255-268, 2007.

[21]財津亘, 金明哲. ランダムフォレストによる著者の性別推定一犯罪者プロファイリング実現に向けた検討一. 情報知識学会誌, Vol. 27, No. 3, pp. 261-274, 2017.

[22]Shervin Malmasi and Aoife Cahill. Measuring feature diversity in native language identification. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 49-55, 2015.

[23]石川慎一郎. 多様な外国語学習者の言語使用特性一中国人英語/日本語学習者の過剩・過小使用語彙一. 第 2 回学習者コーパスワークショップ予稿集, pp. 57-68, 2017.

[24]望月圭子, 申亜敏, 小柳昇. 日本語 - 英語 - 中国語双方向学習者コーパスにみられるテンス・アスペクトの習得.日本語・日本学研究, No. 10, pp. 137-152, 2020.

[25]王芯芯. 日本語上級レベル学習者の接続表現の使用状況に 関する調査一中国語母語話者のストーリーテリングテス トを中心に一. ポリグロシア, Vol. 17, pp. 117-128, 2009.

[26] 小西円. 日本語学習者と母語話者の産出語彙の相違一 I-JAS の異なるタスクを用いた比較一. 国立国語研究所論集, Vol. 13, pp. 79-106, 2017.

[27]小口悠紀子. 談話における出来事の生起と意外性をいか に表すか一中級学習者と日本語母語話者の語りの比較.日本語/日本語教育研究, Vol. 8, pp. 215-230, 2017.

[28]Shervin Malmasi and Mark Dras. Native language identification with classifier stacking and ensembles. Computational Linguistics, Vol. 44, No. 3, pp. 403-446, 2018.


# Recurrent neural network grammar の並列化

能地宏
産業技術総合研究所
人工知能研究センター
hiroshi.noji@aist.go.jp

## 1 はじめに

自然言語処理のモデルは言語の統語構造を明示的に扱うべきだろうか。その必要はないだろうか。近年の大規模コーパス上での事前学習モデルの成功を見ると (Devlin et al., 2019)、特定タスクで高い 精度を得るためには明示的な統語構造は不要に思 える。一方、これらのモデルの脆弱性 (McCoy et al., 2019; Yanaka et al., 2020) や人間の汎化能力との解離 (Linzen, 2020) も指摘されており、人の持つ頑健な言語能力を計算機上で実現するためには、シンボリッ クな統語構造の操作など強力な帰納バイアスがやは り必要であるという可能性も捨てきれない。

現在 Transformer (Vaswani et al., 2017) を始めとする 単純で弱い帰納バイアスのモデルがもてはやされて いる大きな理由は、それらの GPU 上での並列計算 との親和性による高いスケーラビリティである。明示的に構造を扱う深層学習モデルも提案されている ものの、計算グラフが文毎に変化するという特性か ら並列化が難しく、大規模なデータ上で効率的な学習が行えないことが実用上の大きな妨げとなってい る。例えば Kuncoro et al. (2020) は、 Recurrent neural network grammar (RNNG; Dyer et al. (2016)) に対して BERT の訓練データの約 $3 \%$ (340万文)を使った訓練 に 3 週間を要したと報告している。

本研究では、構造を扱うモデルとしてこの RNNG に着目し、このモデルのミニバッチ化がモデル構造 を注意深く観察し、データ構造を工夫することで実現可能となることを示す。RNNG はこれまで DyNet (Neubig et al., 2017) による実装しか存在しなかった。 DyNet は計算グラフからミニバッチ単位を自動で見 つける Autobatch と呼ばれる機能を備えるが、この 機能自体のオーバーヘッドが大きいために、大きい バッチサイズによる並列化の恩恵が得られにくいと いう問題があった。我々は提案アルゴリズムを新し く PyTorch で実装したところ、C++ DyNet の実装と

\author{
大関洋平 \\ 東京大学 \\ 大学院総合文化研究科 \\ oseki@g.ecc.u-tokyo.ac.jp
}

比較して大幅な速度向上を達成した。本研究で提案 するアイデアは他のモデルにも適用可能なものであ り、様々な構造を考慮に入れたモデルを設計する際 の新しい方法論となり得る。

## 2 Recurrent neural network grammar

RNNG (Dyer et al., 2016) は文及び対応する句構造 を同時に生成する生成モデルであり、言語モデルと して LSTM 言語モデルなど他のモデルよりも統語能力、例えば英語での離れた主語と動詞の数を一致さ せる能力 (Linzen et al., 2016) などに優れることが示 されている他 (Hu et al., 2020)、人の文処理のモデル としての妥当性も主張されている (Hale et al., 2018)。本研究では元論文のモデルではなく、Kuncoro et al. (2017) で提案された Stack-only RNNG を取り扱う。 このモデルは各時点で LSTM の先頭の状態が次の動作の確率を定めるという点で、LSTM 言語モデルと の類似性が認められる。

RNNG は各時点で (S (NP A dog ) (VP barks ))のよ うな句構造を左から右に生成するモデルと理解され る。 ${ }^{1)}$ こ際、データ構造として各要素がべクトルで あるスタックを用い、その上での LSTM (スタック LSTM; Dyer et al. (2015)) によって状態を更新してい く点に特徴がある。次の三つの動作からなる。

・OPEN(X): スタック上に非終端記号 X に対応す るべクトル $\mathbf{e}_{X}$ を置く。新しく開いた $(\mathrm{X}$ の生成 を意味する。

・ $\mathrm{GEN}(\mathrm{w})$ : スタック上に単語ベクトル $\mathbf{e}_{w}$ を置く。単語 $\mathrm{w}$ の生成を意味する。

・REDUCE: スタックが左から $\left[\cdots \mathbf{e}_{X} \mathbf{e}_{w_{1}} \cdots \mathbf{e}_{w_{n}}\right]$ であるとき、 $\mathbf{e}_{X} \mathbf{e}_{w_{1}} \cdots \mathbf{e}_{w_{n}}$ を取り除き、句 Xに 対応する新しいべクトル $\mathbf{e}_{X^{\prime}}$ で置き換える。

$
\mathbf{e}_{X^{\prime}}=\operatorname{Composition}\left(\mathbf{e}_{X}, \mathbf{e}_{w_{1}}, \cdots, \mathbf{e}_{w_{n}}\right)
$

1）生成過程に品詞を含めると (NP (DT A ) (NN dog )) などとな るが、元論文のモデルに従い、本研究では品詞の生成はモデ ル化せず、単語を直接生成するモデルを扱う。

この関数がトップダウンの木構造生成過程に おいて句構造の階層性を捉えるための中心的役割を果たす。本研究では元論文に従い、 $\mathbf{e}_{X}, \mathbf{e}_{w_{1}}, \cdots, \mathbf{e}_{w_{n}}$ を大力とする双方向 LSTM の両端の出力を結合することで $\mathbf{e}_{X^{\prime}}$ を得る。本動作が REDUCE であるのは、OPEN(X) で開いた 句を閉じる操作に対応するためである。例え ば上の簡単な文で GEN $(\operatorname{dog})$ の後のスタックは $\left[\mathbf{e}_{\mathrm{S}} \mathbf{e}_{\mathrm{NP}} \mathbf{e}_{\mathrm{A}} \mathbf{e}_{\mathrm{dog}}\right]$ となり、ここから REDUCE によ り (NP A dog) に相当する句べクトル $\mathbf{e}_{\mathrm{NP}}$ を計算 した後、スタックは $\left[\mathbf{e}_{\mathrm{S}} \mathbf{e}_{\mathrm{NP}^{\prime}}\right]$ となる。

これらスタック要素 $\mathbf{e}_{X}, \mathbf{e}_{w}$ をもとに、各時点で次 の動作 $a_{i}$ に対する確率が、単方向 LSTM によって 計算される。スタック要素が $\mathbf{e}_{1}, \cdots, \mathbf{e}_{t}$ であるとき、 $\mathbf{u}_{i}=\operatorname{MLP}\left(\operatorname{LSTM}\left(\mathbf{e}_{1}, \cdots, \mathbf{e}_{t}\right)\right)$ として、

$
p\left(a_{i} \mid a_{1}, \cdots, a_{i-1}\right) \propto \exp \left(\mathbf{W} \cdot \mathbf{u}_{i}\right)
$

が次の動作の分布となる。LSTM は逐次先頭から実行する必要はなく、各ステップの隠れ層をスタック の形で保持しておけば、REDUCE 時には適宜 pop 乙 つつ 1 ステップの実行を行うのみで良い。本機構が スタック LSTM と呼ばれる所以である。学習は、正解の木構造が与えられたときにそれを復元する動作確率を最大化する教師あり学習により行われる。

並列化の難しさ 単純な LSTM の学習が本モデル より効率的なのは、複数文をまとめたミニバッチの 中で $i$ 番目の単語をまとめて処理できるためである。 Transformer は更に再帰性を取り除くことで、全単語 を同時に処理することを可能としている。RNNG は 一方、各時点 $i$ で選択される動作が文 (木構造) 毎に 異なるため、単語単位の並列化を行うことが困難と なる。DyNet (Neubig et al., 2017)の Autobatch はこれ を軽減するための仕組みだが、仕組み自体のオー バーヘッドが無視できず、特に大きいバッチサイズ では効果が限定的となる (第 5 節)。

## 3 並列化

本研究では複数文からなるミニバッチに対して、 バッチ内の全文の $i$ 番目の動作を並列に行うアルゴ リズムを提案する。鍵となるのは、上で導入した OPEN、GEN、REDUCE の内部動作が、次の二つの 基本動作の組み合わせで表現可能という点である。

・ $\operatorname{PUSH}\left(\mathbf{e}_{x}\right): \mathbf{e}_{x}$ をスタック先頭に追加する。

・ $\operatorname{CLOSE}()$ : スタック上で開いている句 (Xを閉じ た後 Composition() で得られる $\mathbf{e}_{X^{\prime}}$ を返す。
これらを用いると、元の RNNG の動作は
- $\operatorname{OPEN}(\mathrm{X}) \Rightarrow \operatorname{PUSH}\left(\mathbf{e}_{X}\right)$
- $\mathrm{GEN}(\mathrm{w}) \Rightarrow \mathrm{PUSH}\left(\mathrm{e}_{w}\right)$
- REDUCE $\Rightarrow$ PUSH(CLOSE())

と表現できる。いずれも $\operatorname{PUSH}\left(\mathbf{e}_{x}\right)$ を含んでいる点 に注目されたい。これらをバッチ内の文に渡って並列化するには、まず各文について PUSH すべき要素 $\mathbf{e}_{x}$ を得た後、まとめてスタックに追加すれば良い。

スタックのテンソル化 これを実現するには、ス タックを表すデータ構造を工夫する必要がある。我々は $B$ をバッチサイズとして $\mathbf{E}_{i}=\left[\mathbf{e}^{1} \cdots \mathbf{e}^{B}\right]$ の要素をまとめてスタックに追加したい。これを一つの テンソル計算で実現するためには、挿入先のスタッ ク自体がテンソルである必要がある。式で表すと、

$
\mathbf{j}=\mathbf{j}+1 ; \quad \mathbf{S}[(1, \mathbf{j}[1]), \cdots,(B, \mathbf{j}[B])]=\mathbf{E}_{i}
$

と書ける。ここで $\mathbf{j}$ は $B$ 次元のベクトルであり、各文に対するスタックの深さのポインタを保持す る。 $\mathbf{S}$ がスタックを保持するテンソルであり、 $D$ をあらかじめ定まる最大のスタックの深さとして $\left(B, D,\left|\mathbf{e}_{x}\right|\right)$ の次元を持つ。このようにスタックを固定長のテンソルで表現することで PUSH 操作のバッ チ内に渡る並列化が可能となる。2)

CLOSE のためのデータ構造上記操作で PUSH を実現する場合、 $\mathbf{E}_{i}$ を具体的にどう得るかが問題と なる。次の動作を表すべクトル $\mathbf{a}_{i}=\left[a_{i}^{1} \cdots a_{i}^{B}\right]$ が与 えられたとき、OPEN、GENに関しては、 $\mathbf{a}_{i}$ から それぞれの動作のみ選択するためのマスク行列を 得て、単語及び非終端記号の埋め込み行列から値を 取り出せば良い。REDUCE に伴う CLOSE 処理は若干複雑である。CLOSEを for や if を伴わず効率的 に実現するには、更にいくつかのデータ構造を用意 し、それらを操作する必要がある。

-nt_positions: nt_positions $[\mathrm{b}, \mathrm{d}]=\mathrm{k}$ で文 $b$ の スタック中で $d$ 番目の非終端記号が深さ $k$ にあ ることを表す、 $(B, D)$ 次元の行列。

-nt_ids: nt_positions $[\mathrm{b}, \mathrm{d}]=\mathrm{x}$ で文 $b$ のスタッ ク中で $d$ 番目の非終端記号が $x$ であることを表 す、 $(B, D)$ 次元の行列。

2） $D$ はバッチ毎にあらかじめ定めておく必要があるが、これ を大きくすると GPUメモリを多量に消費するという問題も生 じる。訓練時であれば、各文に対して正解の動作列をあらか じめシミュレートすることで最小値を得ておき、バッチ内の 文で最大の值を用いれば良い。推論の際は深さが理論上無限 に増えるが、英語の標準的な文であれば、150 単語を超える長 い文であっても、深さ 70 程度で抑えられることが分かった。 そのため、推論時には $D=100$ に設定した。

(a) 訓練時の文処理速度の比較

(b) PTB 開発セットでの構文解析精度

(c) PTB 開発セットでの perplexity

図 1: Penn Treebank (PTB) での実験結果。いずれのポイントも seed の異なる 3 モデルの平均である。

・num_nts: 文 $b$ のスタック中の非終端記号の数を 保持する $B$ 次元ベクトル。

例えばnt_positions[(1,num_nts[1]), , (B,num_n $\mathrm{ts}[\mathrm{B}])]$ でバッチに渡り先頭の非終端記号のスタッ ク深さを得ることができ、 $\mathbf{a}_{i}$ からのマスク行列と組 み合わせることで CLOSE の対象となるスタック要素をテンソル計算で取り出すことが可能となる。

既存研究との関連スタック KSTMを固定長テン ソルによって並列化する研究は本研究が初ではな く、Ding and Koehn (2019) がより単純なラベルなし 依存構造解析に対してアイデアを提示している。た だし彼らのアルゴリズムは COMPOSITION が扱えず、更に二分木の場合にしか適用できない。本研究の貢献は、より複雑なスタック上の操作を要する RNNG に対しても、効率的なバッチ処理が実現可能である ことを示した点にある。

## 4 その他の改善

Beam search の並列化 RNNG を言語モデル、も しくは逐次的な構文解析器として用いる場合、各単語毎にビーム内の足切りを行う word-synchronous beam search (Stern et al., 2017) の有効性が示されてい る。ただし既存の DyNet の実装は非常に遅く、小規模な実験のためであってもかなりの計算リソースを 要する。我々はこの beam search も、ビーム幅の次元をスタックのテンソルに組み込むことで並列化す ることに成功し、大幅な速度の向上を実現した。

サブワード 未知語を含まない言語モデルとして サブワード単位の言語モデルが標準的となってい る。本研究はRNNG の予測をサブワード単位に拡張した。具体的には、予測する木構造の終端記号を 分割し、(S (NP The do\#\# g ) (VP bar\#\# ks )) のような 木構造をモデル化する。なお Kuncoro et al. (2020) で はより複雑なサブワードへの対応法が議論されてい るが、我々の実装ではこの単純な方法でも高い性能
が維持できることが分かった。

## 5 DyNet 実装との比較

まず、Penn Treebank (PTB) を用いて C++ DyNet の 実装との訓練時の処理時間の比較を行う。モデルサ イズ、ハイパーパラメータ及びデータ前処理は Dyer et al. (2016) に従い、モデルの全ての次元を 256 に設定した。3）訓練データのうち 1 回しか出現しない単語は未知語に置き換え、語彙サイズは 23,794 となっ た。バッチサイズを $2^{0}, \cdots, 2^{9}=512$ まで変化させ た。実験環境は 16GB の Nvidia V100 GPU $\times 1$ であ る。各設定 3 回の試行を行い、平均値を報告する。

訓練を 1 エポック行った際の一秒あたりの処理文数の比較を図 1a に示す。DyNet 実装はメモリ不足 のためバッチサイズ 128 までしか実行できなかった が、 32 程度で速度の上限に達してしまった。一方我々の PyTorch 実装は GPU メモリの許すバッチサイ ズ 512 まで処理速度の向上を達成し、両者の最大の 速度を比較すると約 6 倍と大幅な改善を達成した。

更に重要な点として、大きいバッチサイズのモデ ルは実時間でより早く収束し、また推論時により 高い性能を示すことが分かった。図 $1 \mathrm{~b}, 1 \mathrm{c}$ に、これ らモデルでビーム幅を変えてビームサーチを行っ た際の EVALBでのF1 スコア (構文解析精度)と perplexity の値をまとめた。4) F1 スコアの差は小さい が、 perplexity はバッチサイズ 512 の場合が一貫し て最も低い。これより、以下の大規模実験ではバッ チサイズは 512 に固定した。

3）DyNet 実装では最適化に SGDが使われているが、我々の実装では Adam (Kingma and Ba, 2015) の方が安定して高い性能を 示した。学習率は 0.001 に設定した。

4）言語モデルとしての perplexity の計算方法などは Hale et al. (2018)に譲る。これらはアクションビーム幅 (Stern et al., 2017) であり、word-synchronous search の単語ビーム幅はその 1/10、 fast track の大きさを $1 / 00$ とした。これは Hale et al. (2018) と同 じ設定であるが、彼らの数値より一貫して 0.8 ポイント程度高いF1 値を得ており、我々の実装がより高品質なモデルの学習を可能にすることを示している。

## 6 大規模データでの検証と議論

本研究によって大規模データ上で RNNG の学習 を行う道が開けたといえる。過去の研究で RNNG と LSTM は対比されてきたが (Wilcox et al., 2019; Hu et al., 2020) 、RNNG のスケーラビリティが低いため に PTB など小規模のデータ上での実験に限定され ていた。より大量のデータで同じ条件で訓練した 際、RNNG は LSTM に対する優位性を保持するだろ うか。大量のデータを与えられた LSTM は統語能力 をある程度獲得し、明示的に構造を追跡する利点が 相対的に薄れるという可能性も考えられる。

本節ではこの点を検証するために、英語 Wikipedia から新たにサンプルした約一億語 (PTB の約 100 倍) の訓練データで学習したLSTM とRNNGを、言語モ デルとしての統語能力の観点で評価する。様々な評価方法が提案されているが、本研究では、その中で 現時点で最も広い言語現象をカバーする SyntaxGym (Gauthier et al., 2020)を用いる。5) これは様々な文法項目について、言語モデルがそれらを把握する能力 がどれほどあるかを調べるためのテストセットであ る。例えば Agreement のテストでは “The farmer near the clerks knows/*know many people.” のように動詞の 数が違う二文が与えられ、下線部の単語に対してモ デルが付与する尤度を比較したとき、適格な単語 (knows) に高い尤度を付与していれば正解となる。

本実験はサブワードを用いる。Sentencepiece (Kudo and Richardson, 2018) 実装の byte-pair encoding (Sennrich et al., 2016) を利用し、語彙サイズ 30,720 と した。LSTM 言語モデルは Noji and Takamura (2020) でチューニングした文単位のモデルを用いる。 LSTM、RNNG 共に、パラメータ数がこの語彙数で 約 35M となるように調整した。6) RNNG の学習デー タはアノテートされた句構造からなる。Wikipedia 文書に対するなるべく高精度の句構造を得る目的 で、BERT に基づく Berkeley neural parser (Kitaev and Klein, 2018)を利用し、正解の構造とみなした。

全体の結果を図 2 にまとめた。特にLSTM 言語モデルで性能が $70 \%$ 程度までに留まる項目 (Agreement、Center Embedding、Licensing) で 10 ポイ ント以上の性能向上を果たしていることから、一億語ほどの学習データを用いても、RNNG で明示的に

図 2: SyntaxGym での各項目 (circuit) 毎の評価結果。エ ラーバーは seed の異なる 3 モデルでの標準偏差を表す。

構造を捉える利点は確実に存在することが分かる。

一方、Long-Distance Dependencies では精度が低下 している。この項目は分裂文 (cleft) 及びフィラー・ ギャップ構造の扱いをテストするものである。中身 を分析したところ、特に単純な擬似分裂文に対し て、LSTM は精度がほぼ 100\%であるのに RNNG は 60\%程度しか解けていないことが判明した。例えば 次の二文で、下線部の尤度が (1a) > (1b) であること を判定する問題である。

(1) a. What he did was prepare the meal.

b. * What he ate was prepare the meal.

RNNG は構造を追跡するが故に、この現象を扱う能力が低下した可能性が考えられる。(1b) が不適であ るのは、was に続く句が動詞句であることが許され るのは主節に現れる動詞が do の場合のみだからで ある。一方、PTBアノテーションでは両者の主節は (SBAR (WHNP What) (S (NP he) (VP did/ate))) と同じ 構造で、実際モデルはこの構造を正しく認識してい る。これは RNNG は構造を追跡するが故に、その構造により依拠した予測をしがちであり、そのために LSTM が表層的に獲得できるヒューリスティクスの 獲得に失敗する可能性があることを示唆している。

図 2 よりRNNG が LSTM より統語処理能力全般 に優れるのは明らかであり、このような現在苦手で ある現象に対処するためのモデル面での改善は今後 の課題である。本研究で提案したバッチ化により、 RNNG は研究のためだけの道具ではなくLSTM と比較できるモデル候補となった。今後のモデルの更な る精緻化や付与すべきアノテーションの検討をはじ め、様々な研究に繋がる礎を築いたといえる。

## 謝辞

本研究は JSPS 科研費 JP20K19877 及び JP19H04990 の助成を受けたものです。

## 参考文献

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova (2019) "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/N19-1423.

S. Ding and P. Koehn (2019) "Parallelizable Stack Long Short-Term Memory," in Proceedings of the Third Workshop on Structured Prediction for NLP, pp. 1-6, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/W19-1501.

C. Dyer, M. Ballesteros, W. Ling, A. Matthews, and N. A. Smith (2015) "Transition-Based Dependency Parsing with Stack Long Short-Term Memory," in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China: Association for Computational Linguistics, July, DOI: 10.3115/v1/P15-1033.

C. Dyer, A. Kuncoro, M. Ballesteros, and N. A. Smith (2016) "Recurrent Neural Network Grammars," in Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California: Association for Computational Linguistics, June, DOI: 10.18653/v1/N16-1024.

J. Gauthier, J. Hu, E. Wilcox, P. Qian, and R. Levy (2020) "SyntaxGym: An Online Platform for Targeted Evaluation of Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 7076, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-demos. 10 .

J. Hale, C. Dyer, A. Kuncoro, and J. Brennan (2018) "Finding syntax in human encephalography with beam search," in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia: Association for Computational Linguistics, July, DOI: 10.18653/v1/P181254.

J. Hu, J. Gauthier, P. Qian, E. Wilcox, and R. Levy (2020) "A Systematic Assessment of Syntactic Generalization in Neural Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1725-1744, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020 acl-main. 158.

D. P. Kingma and J. Ba (2015) "Adam: A Method for Stochastic Optimization," in Y. Bengio and Y. LeCun eds. 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, URL: http://arxiv.org/abs/1412.6980.

N. Kitaev and D. Klein (2018) "Constituency Parsing with a Self-Attentive Encoder," in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia: Association for Computational Linguistics, July, URL: http://www. aclweb .org/anthology/ P18-1249.

T. Kudo and J. Richardson (2018) "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing," in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium: Association for Computational Linguistics, November, DOI: 10.18653/v1/D18-2012

A. Kuncoro, M. Ballesteros, L. Kong, C. Dyer, G. Neubig, and N. A. Smith (2017) "What Do Recurrent Neural Network Grammars Learn About Syntax?" in Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain: Association for Computational Linguistics, April, URL: https://www. aclweb.org/
anthology/E17-1117.

A. Kuncoro, L. Kong, D. Fried, D. Yogatama, L. Rimell, C. Dyer, and P. Blunsom (2020) "Syntactic Structure Distillation Pretraining for Bidirectional Encoders," Transactions of the Association for Computational Linguistics, Vol. 8, pp. 776-794, DOI: 10.1162/tacl_a_00345.

T. Linzen (2020) "How Can We Accelerate Progress Towards Humanlike Linguistic Generalization?" in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 52105217, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-main. 465.

T. Linzen, E. Dupoux, and Y. Goldberg (2016) "Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies," Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, DOI: 10.1162/tacl_a_00115.

T. McCoy, E. Pavlick, and T. Linzen (2019) "Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference," in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy: Association for Computational Linguistics, July, DOI: 10.18653/v1/P19-1334.

G. Neubig, Y. Goldberg, and C. Dyer (2017) "On-the-fly Operation Batching in Dynamic Computation Graphs," in I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett eds. Advances in Neural Information Processing Systems, Vol. 30, pp. 3971-3981: Curran Associates, Inc. URL: https://proceedings. neurips.cc/paper/2017/file/ c902b497eb972281fb5b4e206db38ee6-Paper. pdf.

H. Noji and H. Takamura (2020) "An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 33753385, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-main. 309 .

R. Sennrich, B. Haddow, and A. Birch (2016) "Neural Machine Translation of Rare Words with Subword Units," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany: Association for Computational Linguistics, August, DOI: 10.18653/v1/P16-1162.

M. Stern, D. Fried, and D. Klein (2017) "Effective Inference for Generative Neural Parsing," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark: Association for Computational Linguistics, September, DOI: 10.18653/v1/D17-1178.

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polosukhin (2017) "Attention is All you Need," in I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett eds. Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008: Curran Associates, Inc. URL: https://proceedings . neurips.cc/paper/2017/file/ 3f5ee243547dee91fbd053c1c4a845aa-Paper. pdf.

E. Wilcox, P. Qian, R. Futrell, M. Ballesteros, and R. Levy (2019) "Structural Supervision Improves Learning of Non-Local Grammatical Dependencies," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/N19-1334.

H. Yanaka, K. Mineshima, D. Bekki, and K. Inui (2020) "Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?" in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6105-6117, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.aclmain.543.


# Bi-LSTM CRF モデルを用いた平仮名文の形態素解析

井筒順
茨城大学工学部情報工学科
17t4013g@.vc.ibaraki.ac.jp
}

古宮 嘉那子
茨城大学 理工学研究科
kanako.komiya.nlp@.vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理の中で，形態素解析は根幹技術と なっている。現代においては $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$等の形態素解析システムが存在し, 形態素解析の中核を担っている。しかし，上記システムは漢字仮名交じり文を対象にしているため，平仮名で構成され た文章を形態素解析することは難しい。

本稿では Bi-LSTM CRF モデルを用いて平仮名文 の形態素解析モデルを作成した。実験では, 訓練事例のジャンルの影響を見るために, Wikipedia と Yahoo!知恵袋のデータの二種類の訓練事例を利用し た。また，両データを利用してファインチューニン グを行い，様々なジャンルのテキストにおける影響 を調べた。

また，形態素解析は，文章を単語ごとに分割する ことに加え, 分割した単語に対して品詞等の情報を 付与する必要があるが，全て平仮名文であることか ら，漢字仮名交じり文と比べ単語ごとに分割する際 の情報が少なくなり，単語分割の精度が低下してし まうことが予想される。そこで本稿では，漢字仮名交じり文によるモデルを用いたファインチューニン グを行った。

本論文の貢献は以下の 4 つである。

・Bi-LSTM CRF モデルを用いて平仮名文の単語分割モデルを生成したこと

・様々なジャンルのテキストを対象に，形態素解析の訓練事例の影響を検証したこと

・Wikipedia と Yahoo!知恵袋のデータを利用した ファインチューニングの有効性を示したこと

・漢字仮名交じり文によるモデルを用いたファイ ンチューニングの有効性を示したこと

本論文ではこれらの実験の結果を報告する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程 を生成モデルでモデル化した。そして，そのパラ メータを大規模 Webコーパス及び EM アルゴリズ ムで推定することにより, 平仮名交じり文の解析精度を向上させる手法を提案している。

大崎ら [2] は, 文章中の特徵的な表現を新たな名称として扱うことによって，コーパスの構築を行っ ている。また, 藤田ら [3] は既存の辞書やラベルあ りデータを対象分野の特徵に合わせて自動変換し, それを使用することで形態素解析モデルを構築する 教師なし分野適応手法を提案している。林ら [4] は,平仮名語の単語を辞書に追加することにより, 形態素解析の精度が向上することを報告している。

また，井筒ら [5] は MeCab の ipadic 辞書を平仮名 に変換し, 平仮名のみで構成されたコーパスをを用 いることで平仮名のみの文章での形態素解析を行っ ている。

Ma ら [6] は Bi-LSTM モデルを使用した中国語の 単語分割モデルの作成を行なっている。そして単語分割の精度が，Bi-LSTM モデルよりも複雑なニュー ラルネットワークアーキテクチャに基づくモデルと 比較して, 一般的なデータセットでより良い精度を 達成することを報告している。

また, Thattinaphanich ら [7] は Bi-LSMT CRF モデ ルを構築しタイ語において固有表現抽出を行ってい る。タイ語では，言語リソースが少ないことや，単語・フレーズ・文の境界指標がないなどの言語的な 問題が存在するが，単語表現とBi-LSTM を用意し CRF と組み合わせ，テキストのシーケンスを学習 しその知識を利用することでこの問題を克服して いる。

## 3 提案手法

本稿では，Bi-LSTM CRF モデルを用いて平仮名文の単語分割モデルを生成する。実験では,

2) https://chasen-legacy.osdn.jp

Wikipedia モデル，BCCWJ モデル，平仮名 FT モデ ル，BCCWJFT モデルの 4 つのモデルを学習し，比較する。本研究における各モデルの作成過程を表し た図を図 1 として以下に示す。

図 1 モデル生成過程

## 3.1 Wikipedia モデル

Wikipedia モデルは図 1 の学習 C において生成さ れたモデルである。Wikipedia の漢字仮名交じり文 を平仮名に変換したデータを訓練事例として使用す る。Wikipediaには平仮名のみのデータがないため,変換には, MeCabの解析結果の読みデータを疑似的 な正解として利用した。その際， MeCab の辞書には Unidicを用いた。

## 3.2 BCCWJ モデル

BCCWJ モデルは図 1 の学習 Eにおいて生成さ れたモデルである。訓練事例としてと Yahoo!知恵袋のデータを使用した。このモデルを使用して Wikipedia のデータと Yahoo!知恵袋のデータの両方 を用いて生成されるモデル（図1 の学習D）と精度 を比較を比較する。

## 3.3 平仮名 FT モデル

平仮名 FT モデルは, Wikipedia の漢字仮名交じり 文を訓練事例として使用したもの（図 1 の学習 A) に対して, Wikipedia の漢字仮名交じり文を平仮名 に変換したデータを訓練事例としてファインチュー ニングを行ったモデル（図19学習B）である。漢字仮名交じり文には，漢字と平仮名の境目や，漢字 の情報があるため，形態素解析の手がかり情報が多 い。このことから精度向上が期待できる。

## 3.4 BCCWJFT モデル

BCCWJFT モデルは図 1 の学習 D において生成 されたモデルである。訓練事例として Wikipedia の データと Yahoo!知恵袋のデータを両方用いること で，精度向上を目的としている。学習をする際の重 みの初期値には平仮名 FT モデルを使用し, Yahoo!知恵袋のデータを使ってファインチューニングを 行った。

## 4 実験

## 4.1 訓練事例

本実験で使用した，訓練事例である Wikipedia の データは，次の Web サイト

https://dumps.wikimedia.org/jawiki/latest/

において公開されているデータである

jawiki-latest-pages-articles.xml.bz2

を展開し使用した。

訓練事例は学習前にデータを整形した。整形し た内容を以下に示す。まず，Wikipedia のデータを MeCabを用いて形態素解析した。MeCabによって 出力される結果には素性 (単語分割, 品詞, 品詞細分類 1 , 品詞細分類 2 , 品詞細分類 3 , 活用型, 活用形, 基本形, 読み, 発音)が存在している。表層系の 部分を読みに置き換えることにより平仮名のデータ を得ることができる。次に，平仮名のデータを 1 文字ずつに分割し, それに対して, 品詞をタグとして 付与する。ただし, 先頭の文字には B-\{品詞 $\}$ が付与 し，以降の文字には $\mathrm{I}-\{$ 品詞 $\} を$ 付与した。

例えば，「きみにあう」（君に会う）という平仮名 データであれば，以下の表 1 の様な 1 対 1 に対応し た文字データとタグを得ることができる。

上記の様にして 1 行ずつのデータを作成し平仮名 データとタグのデータをそれぞれファイルに格納す ることにより，訓練事例を得た。訓練事例の文字数 は 1,183,624 個である。

ただし，漢字仮名交じり文を訓練事例として使用 したモデルについては，入力は漢字である必要があ るので，表層系の部分を読みに置き換える処理は行 わなかった。ゆえに，例えば「君に会う」という単
語は平仮名に置き換えないので表 2 の様な 1 対 1 に 対応したデータを得ることになる。

ただし，BCCWJFT モデルを作成する際に用い る訓練事例は後述する訓練事例である BCCWJ の 「Yahoo!知恵袋」のデータセットを使用している。 BCCWJ とデータ作成については 4.2 節を参照され たい。

## 4.2 テストデータ

テストデータとして，国立国語研究所の『現代日本語書き言葉均衡コーパス』3) (以下 BCCWJ と記す) を使用した。

BCCWJでは行形式データが提供されており，本実験では 12 種類のデータセットを使用した。 12 種類のデータセットはそれぞれアルファベット 2 文字 で提供されている。各アルファベットがどのコーパ スであるかと，それぞれのデータセットにおいて本実験で使用した文字数を示す表を表 3 として以下に 示す。

表 3 BCCWJ のコーパス対応と文字数

本実験では表 3 における 12 種類のコーパスそれ ぞれ整形し， 12 種類の訓練事例を得た。テストデー タは訓練事例の作成と同様にして, 読みの情報と品詞の情報から平仮名のデータとタグのデータを 1 対 1 に対応する様に作成した。 ただし，「Yahoo!知恵袋」のデータはBCCWJFT モ

3） https://pj.ninjal.ac.jp/corpus_center/bccwj/
デルを作成する際の訓練事例としても利用して いる。

## 4.3 評価手法

本実験では学習時に，訓練事例の文字データとタ グの情報を使用している。学習したモデルは文字 データを入力として与えると，モデルが推定する入力に対するタグの情報を出力する。

Wikipedia モデル, 平仮名 FT モデル, BCCWJFT モデル，BCCWJ モデルに対して，テストデータを 入力として与え, 出力されるタグの一致率を正答率 として評価する。

また，テストデータの各データセットの評価に対 してマクロ平均とマイクロ平均を求めた。

## 5 実験結果

表 4 に Wikipedia モデル, 平仮名 FT モデル, BCCWJFT モデル, BCCWJ モデルの評価結果を示 す。表 4 において，Macro はマクロ平均を表し， Micro はマイクロ平均を表している。また, 平仮名 FT モデルと BCCWJFT モデルの精度について，アス タリスクが付与されている値は, Wikipedia モデルの 精度に対するカイ二乗検定において有意水準 $5 \%$ で 優位であったことを表している。BCCWJ モデルの 精度についてアスタリスクが付与されている値は, BCCWJFT モデルの精度に対するカイ二乗検定にお いて有意水準 5\%で優位であったことを表している。 また BCCWJFT モデルと BCCWJ モデルにおいて， Yahoo!知恵袋の精度である OC の精度はクローズド データを用いて評価を行っており，括弧を付与して 表示している。また，この2つのモデルのマクロ平均とマイクロ平均からは OC の評価データは取り除 いている。

表 4 から Wikipedia モデルよりも平仮名 FT モデル の方が精度が高いことが分かる。また，BCCWJFT モデルの精度は平仮名 $\mathrm{FT}$ モデルを更にファイン チューニングしていることから, Wikipedia モデル よりも精度が向上していることが分かる。

さらに，MeCabを用いてトレーニングデータを 評価した。MeCabの辞書は ipadic 辞書の表層系を平仮名に変換したものを使用した。[5] 評価結果はマ クロ平均では $79.71 \%$ ，マイクロ平均では $80.10 \%$ と なった。ipadic 辞書を使用しており，表 4 の結果と この結果を単純に比較することができないことに留意する必要がある。
表 4 各モデルに対する評価精度

## 6 考察

表 4 から，Yahoo!知恵袋を訓練事例に用いた BCCWJFT モデルと BCCWJ モデルの精度は, Wikipedia のみを訓練事例に用いた Wikipedia モデルと平仮名 FT モデルよりも高いことが確認できる。このこと から，各テストデータに対するモデルの精度はモデ ルの訓練事例のジャンルによること,つまり Yahoo!知恵袋を訓練事例に用いた方が性能が良いことが分 かる。

また，Wikipedia モデルと平仮名 FT モデルを比較 すると，平仮名 $\mathrm{FT}$ モデルの方がマクロ平均で 0.32 point，マイクロ平均で 0.21 point 精度が向上した。 これにより漢字仮名交じりモデルをファインチュー ニングに利用した平仮名 FT モデルが有効であると 言える。

さらに平仮名 $\mathrm{FT}$ モデルと BCCWJFT モデルの精度を比較すると，BCCWJFT モデルの方がマクロ平均で 5.50 point，マイクロ平均で 4.04 point 精度が向上した。ゆえに, Wikipedia のデータと BCCWJ の データを使用したファインチューニングが有効であ ると言える。

平仮名と BCCWJ 両方のファインチューニングに おいて, Wikipedia モデルの精度が高いテストデータ のデータセットに関しては，複数回ファインチュー ニングを行っても他のデータセットと比べ大幅な精度の向上が見られなかった。これは精度が高いテス トデータの文体が Wikipedia の文体に近いからであ ると推測される。

また，BCCWJFT モデルの精度を BCCWJ モデル と比べると，テストデータのデータセットによって向上しているものと低下しているものがあるもの の，マクロ平均とマイクロ平均では BCCWJ モデル の方が精度が高いことが分かる。ジャンルによる差 としては，BCCWJFT モデルの方が精度が高いデー タセットは，「ベストセラー」「法律」「国会議事録」「教科書」「韻文」の 5 つであり，ジャンルの特徵に より精度に差が出ていることが分かる。

最後に，Bi-LSTM CRF モデルの精度は，MeCabの マクロ平均である 79.71 \%と比べるとまだまだ改善 の余地がある。

## 7 おわりに

本研究では，Bi-LSTM CRF モデルを用いて平仮名文を単語分割するモデルを作成した。モデルの作成 にあたって Wikipedia と Yahoo!知恵袋のデータを平仮名に変換したデータを使ってファインチューニン グを行ったところ，Wikipedia だけを訓練事例にし たときよりも，平仮名文の形態素解析の精度が向上 すること示した。また，漢字仮名交じり文を訓練事例にして、その後平仮名文を使ってファインチュー ニングすると，平仮名の形態素解析の精度が向上す ること示した。また, Wikipedia と Yahoo!知恵袋の データを平仮名に変換したデータを使ってファイン チューニングを行ったモデルと知恵袋のデータを平仮名に変換したデータだけを使って訓練したモデル の形態素解析の精度の良しあしはジャンルにより異 なることを示した。

今後は，平仮名文を分割するモデルの精度をさら に向上させるために，訓練事例数を増やすことを 行いたい。加えて，単語の読みや発音，品詞分類と いった情報も学習させることでこれらの情報を出力できる様なシステムにしたい。また，本実験で は BCCWJFT モデルと BCCWJ モデルの訓練事例に Yahoo!知恵袋のデータセットを使用し精度を測った が，今後は他のジャンルを使用してモデルを学習 し，ジャンルによる精度を差を分析したい。さら に，ドメイン適応の技術を用いて複数のジャンルを 組み合わせ全体的な精度を向上させたい。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティ ブ個人研究支援型「自然言語処理、データマイニン グに関する研究」に対する研究支援 および JSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1]工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上のひらが な交じり文に頑健な形態素解析. 言語処理学会 第 18 回年次大会 発表論文集, pp. 1272-1275, 2012.

[2]大崎彩葉, 唐口翔平, 大迫拓矢, 佐々木俊哉, 北川善彬, 堺澤勇也, 小町守. Twitter 日本語形態素解析のためのコー パス構築. 言語処理学会 第 22 回年次大会 発表論文集, pp. 16-19, 2016

[3] 藤田早苗, 平博順, 小林哲生, 田中貴秋. 絵本のテキスト を対象とした形態素解析. 自然言語処理, Vol. 21, No. 3, pp. 515-539, 2014.

[4]林聖人, 山村毅. ひらがな語の追加と形態素解析の精度 についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, pp. 1-1, 2017.

[5]井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎, 金野佑太, 古宮嘉那子. Mecab による平仮名のみの形態素解析. 言語処理学会 第 26 回年次大会 発表論文集, pp. $65-68,2020$.

[6]Ji Ma, Kuzman Ganchev, and David Weiss. State-of-the-art chinese word segmentation with bi-lstms. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4902-4908. Association for Computational Linguistics, 2018.

[7]Suphanut Thattinaphanich and Santitham Prom-on. Thai named entity recognition using bi-lstm-crf with word and character representation. In 2019 4th International Conference on Information Technology (InCIT), pp. 149-154, 2019.


# 数学・確率問題を対象とした条件記述の自動解釈

岩間 純輝†佐藤理史 $\$ \quad$ 小川浩平 $\$$ 宮田玲
†名古屋大学工学部 $\$$ 名古屋大学大学院工学研究科
iwama. junki@h.mbox.nagoya-u.ac.jp

## 1 はじめに

大学入試問題では、言語運用能力をはじめ、多岐 に渡る知識やスキルが問われる。このうち、国語・英語以外の教科の問題では、問題文を分野知識 (科目固有の知識) に基づいて解釈し、何が求められて いるかを理解した上で、その答を分野知識を駆使し て導くことが必要となる。

2011 年から 6 年間に渡って実施された「ロボッ トは東大に入れるか」プロジェクトでは、主要 5 教科 (国語、英語、数学、社会、理科) の大学入試問題 の自動解法が研究された $[1]$ 。このうち、数学では、問題文を実閉体の一階論理式に変換し、得られた論理式に含まれる限量子を RCF-QE アルゴリズムで消去することによって解を求める方法が、中心的な解法として採用された。その一方で、この枠組みに適合しない「確率・期待値」問題の自動解法 $[2,3]$ は、十分には研究されなかった。

「確率・期待値」問題は、次のような特徴を持つ。

1. 問題を解くために必要な数学的概念 (試行、結果、標本空間、事象、確率、期待値) は、それほ ど複雑ではない。

2. サイコロ・玉・カードなどの一般的な素材を用 いて仮想世界が記述され、その世界の中で問題 が記述される。

3. 事象を規定する条件の記述は、かなり複雑にな りうる。

4. 問題の解答に必要な属性 (典型的には、期待値問題における「得点」)の計算方法が、問題文中 で定義される。

これらの特徴のうち、本研究では 3 番目の特徴に 焦点を当て、事象を規定する条件記述を正しく解釈 する問題に取り組む。本研究の特徴は、試行によっ て得られる結果の構造に着目し、この構造に基づい て条件記述を再帰的に解釈する点にある。

(1) 出た目の和が偶数となる確率を求めよ。

(2) 出た目が 2 つとも偶数である確率を求めよ。

例題 2 サイコロを 2 回振る。

1 回目に 2 以下または 5 以上の目が出て、かつ 2 回目に奇数の目が出る確率を求めよ。

図 1 数学・確率問題の具体例

## 2 数学・確率問題の構造

対象とする数学・確率問題の具体例を図 1 に示 す。一般に、問題文は次の 4 種類の記述から構成さ れる。

## 1. 仮想世界の記述

どんなオブジェクトがいくつあるか

## 2. 試行の記述

標本空間はどのように規定されるか

## 3. 確率の計算要求

ある事象が起きる確率を求めることを要求する

## 4. 定義

特定の事象や、結果に対する属性を定義する

大学入試のセンター試験で出題される確率問題 は、おおよそ、次の式で解ける。ここで、|・は、集合の要素の数を表す。

$
\text { 確率 }=\frac{\mid \text { 事象 } \mid}{\mid \text { 標本空間 } \mid}
$

標本空間が有限集合の場合は、要素を列挙すれ ば、この式の分母の値が求まる。さらに、事象を規定する条件を計算可能な形式に翻訳して標本空間の 全要素に適用すれば、事象が求まり、分子の値が求 まる。つまり、解くべき問題は、「出た目の和が偶数 となる」のような日本語の条件記述を、この条件の 成否を判定するプログラムに翻訳することになる。

## 34 種類の結果型

本研究では、条件記述を解釈するために、結果 (標本空間の要素) の内部構造 (階層構造) に着目す る。この内部構造の型として、次に示す 4 種類を設

2. 2個のサイコロを同時に振る。4.2個のサイコロを同時に3回振る。

図 2 結果の内部構造の 4 種類の型

定する (図 2)。以下では、これを結果型と呼ぶ。

1. O 型 (オブジェクト)

オブジェクト 1 個

2. LO 型 (リスト>オブジェクト) $n$ 個のオブジェクトで構成されるリスト

3.SO 型 (シーケンス>オブジェクト)

$k$ 個のオブジェクトで構成されるシーケンス

4. SLO 型 (シーケンス>リスト>オブジェクト) $n$ 個のオブジェクトで構成されるリストの、長 さ $k$ のシーケンス

上記の 4 種類の型は、試行の回数と 1 回の試行に 関与するオブジェクトの個数によって定まる。

## 4 条件記述を構成する要素

条件記述を構成する要素を、すべて関数としてモ デル化する。関数は、以下の 6 種類に分類する。

1. 定数 (属性值)

2. (オブジェクトの) 属性値の取得

3. (数值) 演算

4. (真偽值を返す) 述語

5. 述語の成立 (真值) に対する個数・回数・順序の 制約

6. 論理演算

オブジェクト、リスト、シーケンスのそれぞれの 階層に対して用意した基本関数とその主要な日本語表現 (キーワード)を、表 1、表 2、表 3 に示す。条件記述は、これらの基本関数の合成関数として表現 する。

上記に示した 6 種類のうち、定数 (属性値) と属性值の取得は、オブジェクトに対してのみに適用可能 な関数である ${ }^{1)}$ 。一方、数値演算は、リストとシー

1） オブジェクトとしては、サイコロ、玉、カードの 3 種類を 想定し、それらのオブジェクトの属性として、番号・数字と表 1 オブジェクトに対する基本関数

 \\

表 2 リストに対する基本関数

表 3 シーケンスに対する基本関数

ケンスに対して適用可能であり、述語、論理演算は、 すべての階層において適用可能である。制約は、個数制約がリストに対して、回数制約と順序制約が シーケンスに対して適用可能である。個数制約と回数制約は、抽象的な関数としては同一であるが、日本語表現では異なる接尾辞が用いられるので、区別 する。

## 5 条件記述の解釈手順

本節では、日本語で書かれた条件記述を正しく解釈し、実行可能な条件判定プログラムに変換するア ルゴリズムを示す。入力は、条件記述 (文字列) と結果型であり、出力は、それぞれのレベルに対して定義する合成関数である。

色を想定した。

図 3 例題 1 の解釈

## 5.1 要素への分解

まず、条件記述を文節に分解し、キーワードを手掛かりに結合・分解・並び替えを行って、表 1-3に 示した要素 (日本語表現) の並びに変換する。たとえ ば、図 1 の例題 1 に対しては、以下のような要素の 並びを得る。

(1) a. [出た目の, 和が, 偶数となる]

b. [出た目が, 2 つとも, 偶数である]

これらの要素のうち、「出た目(の・が)」は属性値 の取得 (オブジェクト階層)、「2つとも」は個数制約 (リスト階層) であることが一意に定まる。「和 (が)」 は、リストとシーケンスの両方の階層に対して可能 であるが、例題 1 の結果型は LO 型なので、リスト 階層と定まる。残りの「偶数 (となる・である)」が どの階層に属するかは、この段階では定まらない。

## 5.2 構成要素の並びの解釈と関数の合成

次に、要素の並びを、結果型の階層構造にした がって再帰的に解釈する。それぞれの階層では、与 えられた要素の並びから、その階層の要素を抜き出 し、残りを下位の階層に渡す (再帰呼び出し)。下位階層の処理結果として関数名が得られると、その関数名と抜き出した要素を組み合わせて合成関数を定義し、その関数名を上位の階層に返す。例題 1 に対 して定義される合成関数を図 3 に示す。

要素への分解の過程で階層が一意に定まらなかっ た要素の階層は、以下のルールで決定する。

1. 数値演算の階層決定

SLO 型の場合は、リスト階層と判定する。

2. 述語の階層決定 (a) 要素の並びに数値演算が含まれる場合、そ の数值演算と同じ階層と判定する。

(b) 要素の並びに制約表現が含まれる場合、そ の制約表現よりも下位の階層と判定する。

要素の並び (1a)をリスト階層で解釈する場合、「和 (が)」が数値演算 (リスト階層) なので、「偶数 (となる)」もリスト階層と判定する (ルール 2a)。残 りの「出た目 (の)」は、下位のオブジェクト階層に 渡される。一方、要素の並び (1b) をリスト階層で解釈する場合、個数制約「2つとも」がリスト階層な ので、残りの「出た目 (が)」と「偶数 (である)」を 下位のオブジェクト階層に渡す (ルール 2b)。

## 5.3 論理演算を含む場合

条件記述に論理演算子 (AND と OR) に相当する記述が含まれる場合は、5.2 節の処理を行う前に、その 論理演算が結びつける引数の範囲を決定する。AND と OR の引数は、必ず同じ階層の要素である。この 制約に基づき、以下のように引数の範囲を定める。

1. 直前と直後の要素が同一種類の関数であれば、 その両者を論理演算の引数とみなす。

2. そうでなければ、先頭から直前までと、直後か ら末尾までを、論理演算の引数とみなす。

たとえば、図 1 の例題 2 は、要素への分解によっ て、次のような並びが得られる。

(2) [1 回目に, 2 以下, または, 5 以上の, 目が, 出て, かつ, 2 回目に, 奇数の, 目が, 出る]

この並びに含まれる「または」の直前は「2 以下 (述語)」で、直後は「5 以上の (述語)」なので、この OR の引数は、これらの要素と解釈する。一方、「か つ」の直前は「出て (述語)」で、直後は「2 回目に (回数制約)」なので、トップレベルの AND と解釈す る。以上により、

(3) [[1 回目に, [2 以下, OR, 5 以上の], 目が, 出て], AND, [2 回目に, 奇数の, 目が, 出る]]

が得られる。その後、括弧をはずし、以下のような 論理演算を含まない形式に展開する。

(4) a. [1 回目に, 2 以下の, 目が, 出る]

b. [1 回目に, 5 以上の, 目が, 出る]

c. [2 回目に, 奇数の, 目が, 出る]

この際、分割後の条件記述が自然になるように、整形する。たとえば、「5 以上の」より、「の」を補完 して「2以下の」とする。

図 4 例題 2 の解釈 (一部)

表 4 実験結果

これらの条件記述のそれぞれに、5.2 節の処理を 適用し、最後に論理演算で結合すれば、図 4 に示す 合成関数が得られる。

## 6 実験と検討

アルゴリズムの開発に使用しなかった評価用デー タを用いて、作成したアルゴリズムの評価を行っ た。評価用データの出典を以下に示す。

実験 1 市販の問題集 2 冊 [4,5]

実験 2 センター試験 (2000 年から 2020 年のうち、偶数年の本試験と追試験 22 回分)

対象とする問題は、問題の記述に使われるオブ ジェクトがサイコロ、玉、カードのいずれかで、か つ、結果型が 3 節に示した 4 種類のいずれかに該当 する問題である。それぞれの問題からは、

1. 試行におけるオブジェクトの個数と回数

2. 確率を求める事象の条件記述

を抜き出し、これを入力とした。アルゴリズムが出力する解釈—どの階層にどのような合成関数を定義したか—を目視にて確認し、解釈の成否を判定 した。

まず、実験 1 を行い、アルゴリズムの不備を修正 した後、実験 2 を行った。実験結果を表 4 に示す。 この表の分数の分母は条件記述の数、分子は正しく 解釈できた数を表す。

表 4 に示すように、両方の実験で 8 割以上の正解率が得られた。この結果より、本アルゴリズムは、確率問題に現れる条件記述の大半を正しく解釈でき
ると考えられる。結果型は、LO 型、SO 型の順に多 く、SLO 型は 1 例も存在しなかった2)。

解釈に失敗した原因として最も多い (13 件中 9 件) のは、基本関数の不足である。たとえば「 $u$ が整数 になる (確率)」という条件記述は、「整数 (になる)」 という関数 (述語) を用意していなかったため、解釈 できなかった。

本アルゴリズムにおいて、基本関数を追加するこ と自身は容易である。しかしながら、必要となる基本関数を、前もってすべて予想することは、かなり 難しい。

特に問題となるのは、 6 種類の基本関数の中の述語である。今回は、オブジェクトの属性値として 色と番号を扱うので、非数値 (色)を対象とする述語と整数 (数字) を対象とする述語を用意した。し かし、先にあげた述語「整数 (になる)」は、試行に よって得られた 2 つの数字 $a, b$ から、(結果に対す る) 新たな属性として分数 $u=a / b$ を定義し、「 $u$ が 整数となる」確率を求める問題として出現した。試行によって得られる結果の構造をそのまま使うので はなく、結果にある写像を施し、その出力の確率を 問う場合、あらかじめ用意すべき述語が十分に限定 できない。

評価用データの条件記述のうち、軽微な修正では 対処できないのは、次の 2 件である。

(5) a. 8 回目が終わった時点で赤玉がすべて取り 出されている

b. 赤玉がちょうど 8 回目ですべて取り出さ れる

前者は「 $n$ 回目までに個数制約が満たされた状態に なっている」ことを、後者は「ちょうど $n$ 回目で個数制約が満たされた状態となる」ことを意味する が、これらの解釈を現在の枠組みに組み込むのは、 それほど単純ではない。

## 参考文献

[1]新井紀子, 東中竜一郎（編）. 人工知能プロジェクト「ロ ボットは東大に入れるか」. 東京大学出版会, 2018.

[2]神谷翼, 松崎拓也, 佐藤理史. 数学確率文章題の自動解答 システムの開発. 言語処理学会第 21 回年次大会発表論文集, pp. 365-368, 2015.

[3]神谷翼, 松崎拓也, 佐藤理史. 題材となるオブジェクトの 抽象化による確率文章題の自動解答. 人工知能学会第 30 回全国大会論文集, 4B1-2, 2016.

[4]森谷慎司. 数学場合の和・確率 分野別 標準問題精講.旺文社, 2016 .

2）開発用データには、 1 例存在した。

[5]松田聡平. 単元攻略 場合の数・確率 解法のパターン 30 .技術評論社, 2015.


# BERT を使用した日本語の単語の通時的な意味変化の分析

小林千真 ${ }^{1}$ 相田太一 ${ }^{2}$ 小町守 ${ }^{2}$
法政大学 1 東京都立大学 ${ }^{2}$
kazuma.kobayashi.3t@stu.hosei.ac.jp \{aida-taichi@ed.,komachi@\}tmu.ac.jp

## 1 はじめに

時間の経過で単語の使われ方や意味は変化するこ とがある。例えば、「こだわる」という単語は最近 では広告でもポジティブな意味で使われているが、元々の意味は必要以上に気にするというネガティブ な意味であった1)。このような現象は日本語に固有 のものではなく、その他の言語でも確認されている [1]。単語の意味変化を定量的に分析する技術は言語学や辞書学における単語の意味変化の分析の助けと なることが期待される。

単語の意味変化を捉える研究として、単語分散表現を用いる手法が提案されている $[2,3,4]$ 。しかし、 これらはどれも各期間で 1 単語につき 1 つのべクト ルを対応させ、それらを比較することで単語の意味変化を検出している。また、時武ら [5] は単語の意味の広がりを捉えるために、ガウス埋め込みを用い て通時的な単語の意味変化を分析する手法を提案 した。しかし、これらの手法は意味の検出はできる が、単語が持つ複数の意味がどのように変化してい るのかを捉えることは難しい。これは 1 単語タイプ に1つの表現を与えるためである。

これに対して、BERT [6] に代表される事前学習済 み言語モデルを使えば各単語トークンが出現する 文脈に応じた単語べクトルを獲得することができ るため、単語がどの意味で使用されているのかを単語トークンレベルで捉えることができる。近年の 研究では、 $\mathrm{Hu}$ ら [7] の BERT から得た単語べクト ルを辞書に載っている語義に対応づけをする研究、 Giulianelli ら [8] の BERT から得た単語ベクトルの集合にクラスタリングを行う研究などが行われてい る。しかし、どちらの研究も英語でのみ行われて いる。

日本語における単語の意味の通時的変化を捉える 研究としては相田らの研究 [9] がある。しかし、彼 らの研究でも先程述べたように 1 単語タイプにつき

を使用する。

## 3 実験設定

## 3.1 データセット

幅広い年代にわたる日本語コーパスとして、国立国語研究所の『日本語歴史コーパス』2) の一部とし て公開されている近代雑誌コーパスに、「昭和・平成書き言葉コーパス」3)として構築中の雑誌 (『中央公論』『文藝春秋』）データを追加したものを用い た。コーパス全体は 1874 年から 1997 年までに刊行 された雑誌から成るが、これを 1898 年から 1997 年 の 100 年間を 25 年区切りで 4 分割したものを使用 した。

## 3.2 対象とする単語

一般的に意味の変化が起きていると知られてい る日本語の単語として、「こだわり」、「敷居4)」、「適当 ${ }^{5}$ 」、「全然6) 」などがある。本研究ではこれらの 単語を対象とした。ただし、動詞の「こだわる」の 活用形としての「こだわり」は対象とせず、名詞の 「こだわり」のみを対象とした。また、前処理とし て対象の単語における表層形の正規化を行った。

## 3.3 辞書

goo 辞書7) の国語辞典（デジタル大辞泉。2020 年 12 月時点。）と日本国語大辞典（第二版）を使用し た。基本的に、3.2 節で示した単語の goo辞書に載っ ている意味と例文（全て）を使用したが、「敷居」は 例文が記載されていなかったため、日本国語大辞典を使用した。ただし、日本国語大辞典の例文は、 もっとも新しい年代の例文を 1 つ使用した。

## 3.4 実験方法

1898 年から 1997 年のコーパスの全文を BERT に 入力し、対象の単語の単語ベクトルを獲得する。 ただし、本研究では、事前学習済みモデルとして、

2) https://pj.ninjal.ac.jp/corpus_center/chj/

3) https://pj.ninjal.ac.jp/corpus_center/cmj/woman-mag/

4）「敷居」という単語には「敷居が高い」という熟語があり、「不義理をして行きにくい」という意味から「気軽にはいけな い」という意味に変化している。

5）「適当」は「ふさわしい」と「程よい」という意味に加え、近年では「いいかげん」という意味でも使われている。

6）「全然」は明治時代から戦前までは「すっかり」という意味 で使用されることが多かったが、戦後は「(否定の表現を伴っ て）少しも」という使い方が一般的になった。

7) https://dictionary.goo.ne.jp/ huggingface ${ }^{8)}$ で公開されている東北大の日本語版 BERT $^{9}$ を使用した。このようにして得た単語べク トルの集合に対し、各対象単語で辞書とクラスタリ ングの手法をそれぞれ適用し、単語ベクトルの集合 をグルーピングした。期間ごとにその結果を語義の 使用比率を示した積み上げ棒グラフで表した。ここ で、辞書の手法の凡例には辞書の語義をそのまま示 し、クラスタリングの手法の凡例には各クラスタ内 で主に確認された用例を示した。また、単語べクト ルとそれに対応する実際の用例を比較することで分析をした。

## 4 結果と考察

図 1 に辞書の手法とクラスタリングの手法それぞ れの実験で得られた各単語の通時的な語義の使用比率の変化を示す。また、図 2 に「全然」における各手法の単語ベクトルの分類の結果と期間ごとの単語 ベクトルの分布を主成分分析で可視化した散布図を 示す。

## 4.1 事例分析

「適当」図 1aの『辞書』では sense_3の「いいか げん」の割合が徐々に大きくなっており、3.2節で想定していた結果を得た。図 1eの『クラスタリング』 の手法では、通時的な変化は捉えられなかった。

実際に単語ベクトルに対応する文を確認すると、 どちらの手法においても、「ふさわしい」の用例が 全てのクラスタに出現していた。具体的には、『辞書』において、sense_1では「ふさわしい」の用例が ほとんどであり、sense_2には「ふさわしい」と「程 よい」の用例が多く属していた。sense_3には「ふさ わしい」と「いいかげん」の用例が多く見受けられ た。『クラスタリング』において、cluster_1には「ふ さわしい」、「程よい」、「いいかげん」の 3つの用例 があり、cluster_2では「ふさわしい」と「程よい」の 用例があった。

「全然」 図 $1 \mathrm{~b}$ の辞書』では、ほとんどの単語 ベクトルが sense_2の「少しも（否定）」に属してし まい、通時的な変化を捉えられなかった。図 1f の 『クラスタリング』では「すっかり」と「少しも（否定)」の用例を含んでいる cluster_1 の割合が徐々に 小さくなっている。「すっかり」の用例は cluster_1 でのみ出現しており、3.2 節で想定した結果が得ら

(a)「適当」辞書

(e)「適当」クラスタリング

(b) 「全然」辞書

(f)「全然」クラスタリング

(c)「こだわり」辞書

(g)「こだわり」クラスタリング

(d)「敷居」辞書

(h)「敷居」クラスタリング

図 1: 通時的な語義の使用比率を表した棒グラフ。

れた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において sense_1 には形容動詞の「余すと ころのないさま」の意味ではなく、「すっかり」の 用例が属していた。sense_2 には「少しも（否定）」 と「すっかり」の用例が多く属していた。sense_3は 「すっかり」の用例が属していた。sense_4には「と ても」ではなく、「少しも（否定）」と「すっかり」の 用例が見受けられた。コーパスには「すっかり」の 用例は sense_3 に属する単語以外にも多く存在して いたが、sense_3 にはわずかしか属さなかった。ま た、コーパスには「とても」と「余す所のない（形動)」の用例はほとんどなかった。『クラスタリン グ』において、cluster_1には「すっかり」と「少しも (否定)」の2つの用例が多く見られ、cluster_2では、 ほとんどが「少しも（否定）」の意味の用例だった。主成分分析で「全然」の単語ベクトルを可視化 した図 $2 \mathrm{a}, 2 \mathrm{~b}$ に注目すると、それぞれの手法の分類結果は様子が異なることが分かった。これは辞書 を使った手法では例文から構築した語義べクトル （図 2a の星）とのコサイン類似度に注目しているの に対して、クラスタリングでは k-means 法を使用し、
セントロイドからの距離に注目していることによる 違いである。ここで、図 $2 \mathrm{~b}$ の赤線で囲った部分に 「すっかり」の用法がまとまっていた。また、図 2c に示した期間ごとの分布から年代が新しくなるにつ れて徐々に、単語ベクトルの分布が右上から左下に シフトしていくことを確認した。

「こだわり」 図 1cの『辞書』ではほとんどが sense_1 に属しており、意味変化を捉えていなかっ た。図 $1 \mathrm{~g}$ の『クラスタリング』では、「滞る」10)の 用例が属してた cluster_1 の割合が徐々に減少してお り、 3.2 節で想定していた結果とは異なるが、意味 の通時的変化を捉えた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において、sense_1 は「執着する」と「滞る」 の用例、sense_2 は「執着する」の用例が 1 件のみ属 していた。コーパスには「難癖をつける」の用例は 存在していなかったためこのような結果になった と考える。『クラスタリング』において、cluster_1 は 「滞る」の用例、cluster_2は「執着する」の用例をそ れぞれ多く含んだ。

10）コーパスの例文：「疾患のほかに避妊手術の後遺症で精神障害が起きたことを、二人はこだわりなく話した。」

(a) 「全然」辞書

(b)「全然」クラスタリング

(c)「全然」期間ごとの分布

図 2: 主成分分析を使用し、「全然」の単語ベクトルを可視化した散布図。

「敷居」図1dの『辞書』では、ほとんどがsense_2 に属しており、意味変化を捉えていなかった。図 $1 \mathrm{~h}$ の『クラスタリング』では、比喻的な用法が属する cluster_2 の割合が徐々に大きくなり、3.2 節で想定 していた意味変化とは異なるが、意味の通時的変化 を捉えた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において、sense_1 は「仕切りとして敷く横木」の用例が属していたが 2 件のみであり、sense_2 は「仕切りとして敷く横木」の用例が属していた。辞書に載っている「敷居」の意味は「しきもの」と 「仕切りとして敷く横木」であるが、コーパスでは 前者はほとんど出現しないため、sense_1 に分類さ れたものがほとんどなかったと考える。『クラスタ リング』において、cluster_1では物理的な「仕切り として敷く横木」の用例、cluster_2では「... 敷居が 高い..」や「... 血の敷居は越え...」のように物理的な 意味から拡張し抽象化された用例が多く出現して いた。

## 4.2 考察

辞書を使用した手法では、辞書に載っている語義 に対応した用例を捉えることが多かったが、「全然」 では語義の違いを捉えられなかった。一方で、クラ スタリングを使用した手法では、辞書には載ってい ない抽象的な意味を捉えることや辞書に載っている よりも詳細な違いを捉えることがあるとわかった。 このため、クラスタリングを使用した手法は人間が 意識していない意味の変化を捉えることを期待でき るといえる。

「適当」における辞書の手法と「全然」におけるク ラスタリングの手法ではそれぞれ、結果としては意味の通時的な変化を捉えたが、各クラスタが単一の 用例で構成されていないため、適切な分類ができて
いない可能性があると考えた。

図 $2 \mathrm{c}$ における年代による分布のシフトは「全然」 の意味が徐々に変化する様子を捉えており、分類が 難しかったと予想される。また、辞書の手法で、全 てのクラスタに「すっかり」が含まれていたのは、語義ベクトルが古い時代の分布に近い位置にあった ことや BERT が通時的なコーパスに適応できなかっ たことが原因と考える。

その他にも辞書の手法では、例文の数が十分でな かったことや辞書の語義が網羅されていない場合が あることが通時的な意味変化を捉えられなかった原因と考える。クラスタリングの手法では、k-means 法がそれぞれのクラスタがだいたい同じ大きさであ ることを仮定するため、語義の頻度に大きな偏りが ある場合は適切でないことがあると考える。

## 5 おわりに

本研究では BERT を使用して単語の通時的な意味変化を追う 2 つの手法を日本語に適応し、比較する ことでそれぞれの手法の特徴を確認した。辞書の手法では、辞書に載っている意味しか扱えないため、目的の意味を扱えないことや辞書の例文をそのまま 使うのでは不十分である可能性があることを確認し た。クラスタリングの手法では、辞書に載っていな い変化を捉えることが期待できることや k-means 法 が各クラスタが大体同じ大きさであることを仮定す るので単語の意味を分類しきれない事例があること を確認した。

また、そもそも BERT から得た単語ベクトルが意味の違いを捉えきれない可能性があるため、今後の 研究として、BERT から得られる単語べクトルの特徵について調査を行いたい。

謝辞本研究は JSPS 科研費 19H00531 の助成を受 けたものである。

## 参考文献

[1] 岩本蘭, 湯川正裕. Auto-antonym の多カーネルオンラ イン意味変化分析. 言語処理学会第 25 回年次大会発表論文集, pp. 171-174, 2019.

[2] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA, June 2014. Association for Computational Linguistics.

[3] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, WSDM '18, p. 673-681, New York, NY, USA, 2018. Association for Computing Machinery.

［5] 時武孝介, 村脇有吾, 黒橋禎夫. ガウス埋め込みに基 づく単語の意味の史的変化分析. 言語処理学会第 24 回年次大会 発表論文集, pp. 61-64, 2018.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, pp. 485-488, 2020.

[10] Peter J.Rousseeuw. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. In Journal of Computational and Applied Mathematics, Volume 20, pp. 53-65, 1987.


# 訓練事例と辞書用例を異なるモデルで表現した語義㖟昧性解消

谷田部梨恵 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
2 茨城大学工学部情報工学科
\{19nm732r, minoru.sasaki.01\}@vc.ibaraki.ac.jp

## 1 はじめに

語義曖昧性解消(WSD)は文中の多義語が辞書中の どの語義で使われるのかを識別するタスクである.現在，この WSD はディープラーニングを用いて行 うことが主流で，そのシステムにおいて辞書やシソ ーラスといった外部知識を組み合わせることの有効性が示されている，現在までに，語義定義文と教師 あり学習を組み合わせた GlossBERT [1]や BEM [2], シソーラスの上位下位関係などの単語間関係 を組み合わせた EWISE [3]や EWISER [4]などが存在する [5].

しかし，辞書によっては同じ辞書の定義文を使用 しても精度が低下することがある。上記の研究では すべて WordNet の辞書から抽出されたラベルの意味区分や語義の定義文と用例文を使用している. WordNet を使うことで WSDへの有効性は示されて いるが，他の辞書を使った場合でも有効かどうかは 明らかになっていない。そこで，外部知識として日本語を対象とした SemEval2010 日本語 WSD タスク データで使われる岩波国語辞典の語義定義文を EWISE と同じ手法で予備実験を行ったところ，低 い分類精度となってしまい，有効性を確認すること ができなかった。

岩波国語辞典の語義定義文を使用しても有効性を 確認できなかった要因のひとつとして, 各語義に含 まれる用例文は文の一部しか掲載されていないとい う点が考えられる. 用例文の一部だけしか記述がな いことから，他の語義と区別することが難しい用例文がいくつか存在する，例えば，動詞「上げる」に 含まれる「よい状態に高める」という語義におい て，「腕を上げる(上達する)」や「上げたり下げた り(ほめたりくさしたり)」といった用例文が紹介さ れている。これらの用例文は前後の文脈によって 「物を低い所から高い所にもってゆく」という別の 語義として使用することも可能である.このため，有効な語義の分散表現を求めることができなかった のではないかと考えられる。

そこで我々は，語義ラベルとして使用した辞書と は異なる辞書の情報を効果的に利用した WSD シス テムの構築を目指している。従来手法では辞書情報 をモデル化する際に訓練データと同じ辞書が用いら れるが，異なる辞書から得られるモデルを組み合わ せることで有効な WSD を行うことが可能かどうか 検討する，本稿では，完全な文として用例文が記述 されている辞書として国立国語研究所の「基本動詞 ハンドブック」に含まれる用例文を使用する [6].こ の用例文集合を使用したニューラルネットワークの モデルを辞書のモデルとする。このモデルと SemEval2010 日本語 WSD タスクデータから学習し たモデルを組み合わせて WSD を行い，異なる辞書 から構築されたモデルが有効かどうか検証する。

## 2 使用データと対象単語

本稿で使用するデータとして, 日本語 WSD の評価データである SemEval2010 日本語 WSD タスクデ 一夕 [7]と利用可能な日本語辞書である「基本動詞 ハンドブック」を使用する.

## 2.1 SemEval2010 日本語 WSD データ

SemEval2010 日本語 WSD タスクデータ(SE)は 50 個の対象単語に対して WSD の精度を評価するため のデータである[7]. 各対象単語について, 訓練デ 一夕とテストデータとしてそれぞれ 50 個の用例文 が用意されており，岩波国語辞典の意味区分に従っ てラベル付けされている.

## 2.2 基本動詞ハンドブック

「基本動詞ハンドブック」(HB)は日常生活でよく 使われる基本的な動詞単語の語義を日本語学習者や 日本語教師に向けて解説したオンラインツールであ る. 動詞単語に対して, 語義の定義と 5 件程度の用例文，文法情報などが記載されている。用例文には

図 1 並列 WSD モデル

手作業で岩波国語辞典の語義をラベル付けした。八 ンドブックの語義定義文に対応する語義が岩波国語辞典に存在するとき, その語義のラベルを付与する. ハンドブックの語義が岩波国語辞典に存在しない場合やひとつの語義が複数の語義に対応する場合は, それらの用例文にはラベルを付与せず，使用しない こととした.

## 2.2 対象単語

対象単語は SemEval2010 日本語 WSD タスクデー タと基本動詞ハンドブックの両方に登録された 10 個の動詞単語とする. 具体的な対象単語は「'あげる ','上げる','揚げる','挙げる', 「いきる','生きる','活きる '」, 「'出す'」, 「'立つ','建つ','発つ'」, 「'出る'」,「'のる','乗る','載る'」,「'見える'」,「'見る'」,「'持つ'」,「'やる '」の 10 単語である.

## 3 WSD モデル

WSD モデルは訓練データである用例文を入力し て, 対象単語の語義推定を行う，異なる訓練データ を用いて WSD モデルを構築し, その分類精度の比較を行う。

## 3.1 用例文の文脈ベクトル化

入力する用例文は対象単語前後の文脈を考慮した ベクトルに変換される. 文脈ベクトルへ変換するた めに，事前学習された ELMo モデルを用いて，用例文の分散表現を得る.このモデルは文脈情報を考慮した 2 層双方向 LSTM 構造で，本稿では ELMo モデルの最後の層の出力のみを使用する.

入力された用例文に対して対象単語及び前後 2 単語を抽出し, ELMo モデルに入力して 5 単語の分散表現を得る.これを連結した 5120 次元ベクトルを WSD モデルに入力する文脈ベクトルとして使用す る.

## 3.2 SE-WSD モデル

SemEval2010 日本語 WSD タスクデータを用いた WSD モデルを構築する. モデルには多層パーセプト ロン(MLP)を使用する．今回の実験では中間層のノー ド数を 50 , 最適化手法として確率的勾配降下法を使用,学習の繰り返し数であるエポック数を 50 と設定して分類 モデルの学習を行う.

## 3.3 HB-WSD モデル

「基本動詞ハンドブック」の用例文を用いた WSD モデルを構築する．モデルは SE-WSD と同じ 多層パーセプトロン(MLP)を使用する．実験でも SE-WSD と同じパラメータ設定で分類モデルの学習を 行う.

## 3.4 TR-WSD モデル

SemEval2010 日本語 WSD タスクデータの訓練デ 一タと「基本動詞ハンドブック」の用例文をひとつ の訓練データにまとめて WSD モデルを構築する. SE-WSD と同じ MLP とパラメータ設定を使用して 学習を行う。

## 3.5 並列 WSD モデル

並列 WSD モデルは学習済みの SE-WSD モデルと HB-WSD モデルを並列化したモデルで, 訓練データ のモデルと外部知識のモデルを異なるモデルとして 分離したモデルである. 図 1 に並列 WSD モデルの 概要を示す. SemEval の訓練データとハンドブック
表 1 実験結果（4 モデルのうち最も高い精度を太字で示す）

の用例文に対して，用例文の文脈ベクトルを学習済 みの SE-WSD モデルと HB-WSD モデルに入力し, その中間層の 50 次元ベクトルを生成する. 2 つの中間層のベクトルを連結した 100 次元ベクトルを MLP に入力して, 再度この MLP の訓練を行う。この MLP についても, 中間層のサイズや学習パラメータ設定 は SE-WSD と HB-WSD と同じものを使用する.

## 4 実験

本節では, 3 節に示した 5 種類の WSD システム の分類精度を分析するために, 10 個の動詞単語につ いて評価データによる精度比較を行う，精度評価は Semeval2010 日本語 WSD タスクデータのテストデ ータを使用する。

## 4.1 実験結果

表 1 に 4 つの WSD モデルを用いた場合の語義識別精度を示す. 平均精度は SE-WSD が $71.3 \%$, HBWSD が $66.6 \%$, TR-WSD が $73.5 \%$ ，並列 WSD は 71.1\%であった.これらのモデルの中では TR-WSD の精度が最も高いことから, 辞書中の用例文も訓練 データに追加して学習をする方が効果的であると考 えられる。

SE-WSD と HB-WSD を比較すると, HB-WSD は 多くの動詞単語で精度がSE-WSDを上回ることがで きなかった. HB-WSD は「いきる」と「だす」の 2 単語で精度が高かった. どちらも少数語義の用例文 を正しく識別できたことが要因だと考えられる．し かし, 他の多くの単語で SE-WSD の方が高い精度で
あった. 辞書の意味区分が異なるため語義の出現分布が偏ったことが要因として考えられる.また，「の る」のように辞書から語義の用例文を均等に抽出し たことが要因で識別誤りが増えた単語も存在する。

一般的に, TR-WSD のように訓練データに辞書の 用例文を追加すれば多くの単語で精度の上昇が期待 できる.このとき, 追加する用例文は岩波国語辞典 のように用例文の一部分を追加するのではなく，文 として追加することで精度が上がると考えられる。

今回の実験では訓練データと辞書用例文のモデルを 並列化しても有効とは言えず，外部知識を使う場合 でも用例文はひとつのモデルに集約する方が効果的 であると考えられる。

## 5 おわりに

本稿では, 語義ラベルで使った辞書とは異なる辞書の情報を異なるモデルで表現する WSD の効果に ついて分析を行った．今回の実験では異なる辞書の 用例文を訓練データに追加した方が高い精度であつ た. 異なる辞書の効果的な活用方法と外部知識の効果的なモデル化を行うことが今後の課題である.

## 参考文献

1. HuangLuyao, ほか. GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge. : the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on

Natural Language Processing (EMNLP-IJCNLP), 2019. ページ: pp. 3509-3514.

2. BlevinsTerra, ZettlemoyerLuke. Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders. : the 58th Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 1006-1017. .

3. KumarSawan, ほか. Zero-shot Word Sense Disambiguation using Sense Definition Embeddings. : the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), 2019. ページ: pp. 5670-5681.

4. BevilacquaMichele, NavigliRoberto. Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information. : the 58th Annual
Meeting of the Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 2854-2864. 5. LoureiroDaniel, JorgeAlípio. Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation. : the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), 2019. ページ: pp. 5682-5691.

6. 国立国語研究所. 『基本動詞ハンドブック』.(オ ンライン) https://verbhandbook.ninjal.ac.jp.

7. OkumuraManabu，ほか. Semeval-2010 task:

Japanese WSD. : the fifth International Workshop on Semantic Evaluation (SemEval-2010), 2010. ページ: pp. 69-74. .


# 学習済み単語分散表現を用いた連続空間トピックモデル

井上 誠一 ${ }^{1}$ 相田 太一 ${ }^{2}$ 浅井 学 ${ }^{1}$ 小町 守 ${ }^{2}$
創価大学 ${ }^{1}$ 東京都立大学 ${ }^{2}$
e1706456@soka-u.jp, m-asai@soka.ac.jp, \{aida-taichi@ed., komachi@\}tmu.ac.jp

## 1 はじめに

トピックモデルは，テキストコーパスから文書中 に潜在的に存在する話題を自動的に抽出する統計モ デルであり，情報検索 [1]，協調フィルタリング [2],著者識別 [3]，意見抽出 [4] など，自然言語処理の内外で様々なアプリケーションに応用されている.

トピックモデルの代表的な手法である, Latent Dirichlet Allocation (LDA) [5] は, 各文書に潜在トピッ クがあると仮定し, 統計的に共起しやすい単語の 集合が生成される要因を潜在トピックという観測 できない確率変数で定式化している。一方，持橋 らによって提案された Continuous Space Topic Model (CSTM) [6] は, LDA とは異なり, 潜在トピックと いった中間変数を用いることなく文書をモデル化 する。具体的には，単語に潜在座標を明示的に導入 し，その上に文書の意味を表すガウス過程に従う関数を考えることで定式化される. LDAでは，単語を 生成する確率分布は固定となっており, トピック分布の制御によって単語の生起確率を操作するため,各文書に応じて単語を生成する確率分布を変更する ことができなかった. それに対しCSTMでは, 単語 の確率を潜在トピックを通じてではなく, 単語の潜在座標と文書の意味を表す関数によって文書ごとに 直接操作するため, 文書に応じて動的に単語分布を 変更することが可能となり， パープレキシティにお いて LDA など従来のトピックモデルを上回る性能 を発揮したと報告されている。

CSTM は，単語の分散表現を用いて文書のモデル 化を行っているが，分散表現は推定パラメータとし てモデル内で学習される構造となっており，そのパ ラメータの多さからモデルの推定に時間がかかる. また，その学習に使われる情報は単語の出現頻度の みとなっており, 単語の意味的な関係性を捉えるこ とが難しい. そのため, Gaussian LDA [7] と同様に,単語の意味的な関係性を捉えた単語分散表現を用 い，事前情報として与えれば，収束の高速化と精度
の向上が期待できる.

そこで, 本研究では, CSTM の推定パラメータの 一つである単語の潜在座標をWord2Vec [8] で事前 に学習し, CSTM の生成モデルに学習済みの単語分散表現を導入する手法を提案する，日本語と英語の コーパスを用いて実験を行った結果，収束速度が改善し，パープレキシティにおいて提案手法が CSTM を超える性能を持つことを示した. また，学習した モデルを用いて文書における単語の重要度を観察 し，定性的な評価を行った。

## 2 関連研究

## 2.1 連続空間トピックモデル

CSTM では，言語のバースト性 [9]を考慮するた め，ディリクレ分布と多項分布の合成分布である Polya 分布を用いて単語の生起確率をモデル化する. $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{V}\right)$ を文書 $\boldsymbol{w}$ に出現する各単語の出現頻度とすると, Polya 分布は次のように定義される

$
p(\boldsymbol{y} \mid \boldsymbol{\alpha})=\frac{\Gamma\left(\sum_{v} \alpha_{v}\right)}{\Gamma\left(\sum_{v}\left(\alpha_{v}+y_{v}\right)\right)} \prod_{v} \frac{\Gamma\left(\alpha_{v}+y_{v}\right)}{\Gamma\left(\alpha_{v}\right)}
$

( $\alpha$ は Polya 分布の集中度パラメータ).ここで，各単語 $w_{v}$ が $d$ 次元の潜在座標 $\phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$ を 持っていると仮定し，それぞれの文書で，意味的に 関連のある単語の生起確率を大きくするため，同じ 潜在空間上に平均 0 のガウス過程に従う関数

$
f \sim \mathrm{GP}(0, \mathrm{~K})
$

$\left(\mathrm{K}\right.$ はカーネル行列で, $\mathrm{K}_{i j}=k\left(w_{i}, w_{j}\right)=\phi\left(w_{i}\right)^{T} \phi\left(w_{j}\right)$ の内積カーネル）を生成する. ガウス過程 [10] と は，ランダムな回帰関数を生成する確率過程であ $\eta, k\left(w_{i}, w_{j}\right)$ が近いほど対応する出力 $f\left(x_{i}\right), f\left(x_{j}\right)$ も近くなる. $f$ は直感的には「この文書で言いたい こと」を表している. そして，その関数値に従って Polya 分布の集中度パラメータ $\alpha_{v}$ が大きくなるよ うに

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(f\left(w_{v}\right)\right)
$

とモデル化する. ここで， $\alpha_{0} \sim \mathrm{Ga}\left(a_{0}, b_{0}\right)$ は推定パ ラメータであり, $\mathrm{Ga}\left(a_{0}, b_{0}\right)$ はガンマ分布である. また, $G_{0}\left(w_{v}\right)$ は単語 $w_{v}$ の「デフォルト」確率であ り，最尤推定値 \# $\left(w_{v}\right) / \sum_{i} \#\left(w_{i}\right)$ を用いる（\# $\left(w_{v}\right)$ は 全文書中における単語 $w_{v}$ の出現頻度）。これらを踏 まえると，CSTM の生成過程は次のようになる。

1. Draw $\alpha_{0} \sim \operatorname{Ga}\left(a_{0}, b_{0}\right)$.

2. Draw $G_{0} \sim \mathrm{PY}(\beta, \gamma)$. (実際は最尤推定値)

3. For $v=1 \ldots V, \phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$.

4. For $n=1 \ldots N$,
- Draw $f_{n} \sim \mathrm{GP}(0, \mathrm{~K})$.
- For $v=1 \ldots V, \alpha_{v}=\alpha_{0} G_{0}\left(w_{v}\right) e^{f_{n}\left(w_{v}\right)}$.
- Draw $\boldsymbol{w} \sim \operatorname{Polya}(\boldsymbol{\alpha})$.

## 2.2 単語の分散表現

Milokov らによって提案された Word2Vec [8] は，分布仮説 [11] に基づいた，単語の意味的な関係性を 捉えた分散表現を学習する確率モデルである．学習手法の一つである Continuous Bag-of-Words (CBOW) モデルは， $\delta$ を文脈空幅として，近傍の文脈単語集合 $C_{w_{t}}=\left.\{w_{t \pm i} \mid 1 \leq i \leq \delta\right.\}$ を入力とした時のターゲッ 卜単語 $w_{t}$ の予測確率

$
p\left(w_{t} \mid C_{w_{t}}\right) \propto \exp \left(\eta\left(w_{t}\right)^{T} \tilde{\eta}\left(C_{w_{t}}\right)\right)
$

を最大化することにより単語ベクトル $\eta\left(w_{t}\right)$ を学習 する. ここで， $\tilde{\eta}\left(C_{w_{t}}\right):=\left|C_{w_{t}}\right|^{-1} \sum_{w \in C_{w_{t}}} \eta(w)$ は全文脈単語ベクトルの平均ベクトルを表す.

## 3 提案手法

## 3.1 学習済み分散表現を用いた文書モデル

我々は，2.1 節で紹介した CSTM に，2.2 節で紹介 した手法によって獲得される単語分散表現を導入す ることでモデルを構築する。まず，CBOW モデルに よって意味的な関係性を捉えた単語分散表現を学習 する。本研究では，特にトピック的な関係性 [12]を 学習するため, 文脈窓幅を比較的大きい $\delta=10$ とし 学習を行った. また， $V$ を語彙サイズとして，獲得 した単語分散表現 $\eta\left(w_{1}\right), \eta\left(w_{2}\right), \ldots, \eta\left(w_{V}\right)$ に対し,次のように中心化・正規化を施す.

$
\psi\left(w_{v}\right)=\tau S^{-\frac{1}{2}}\left.\{\eta\left(w_{v}\right)-V^{-1} \sum_{i} \eta\left(w_{i}\right)\right.\}
$

ここで， $S$ は正規化定数であり，

$
S=V^{-1} \sum_{i} \eta\left(w_{i}\right)^{T} \eta\left(w_{i}\right)
$

である.また， $\tau$ はハイパーパラメータであり，本研究では $\tau=d^{-1 / 2}$ とした. 次に，持橋らと同様に，式 (5) から得られる単語分散表現からなる潜在空間上に，平均 0 , カーネル関数 $k\left(w_{i}, w_{j}\right)=\psi\left(w_{i}\right)^{T} \psi\left(w_{j}\right)$ のガウス過程に従う関数

$
f \sim \operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

を考える. しかし $f$ は原理的には無限次元であり，直接推定することは難しいため, Paisley ら [13] と同様に，単語の潜在空間上に文書の潜在座標を表す補助変数

$
u \sim \mathcal{N}\left(0, I_{d}\right)
$

を導入する。このとき，単語の潜在座標をまとめて $\Psi=\left(\psi\left(w_{1}\right), \psi\left(w_{2}\right), \cdots \psi\left(w_{V}\right)\right)^{T}$ とおけば, $f=\Psi u$ の 分布は $u$ を積分消去して

$
f \mid \Psi \sim \operatorname{GP}\left(0, \Psi^{T} \Psi\right)=\operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

となり, $f$ が式 (7) と同じガウス過程に従うことに なる。

よって，提案手法では，事前学習済みの単語分散表現を潜在空間上の単語座標とし，文書の意味を表現するガウス過程を，単語ベクトルと同じ潜在空間上にある文書ベクトル $u$ を用いて，

$
f\left(w_{v}\right) \propto \psi\left(w_{v}\right)^{T} u
$

と表現し，式 (3) と同様に $\alpha_{v}$ を

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(\psi\left(w_{v}\right)^{T} u\right)
$

として，単語の確率を式 (1) の Polya 分布でモデル化 する.

## 3.2 MCMC 法による学習

$N$ 個の文書をまとめて $\boldsymbol{D}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とする と， $\alpha_{0}$ と $\alpha$ の同時分布は

$
p\left(\alpha_{0}, \boldsymbol{\alpha} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, f_{n}\right) p\left(\alpha_{0}\right) p\left(f_{n} \mid \psi\right)
$

であるが， $\alpha$ は式 (10) の文書ベクトル $u$ を通じての み変化するので，提案モデルにおける推定パラメー タの $\alpha_{0}$ と $\boldsymbol{u}=\left(u_{1}, u_{2}, \ldots, u_{n}\right)$ の同時分布は，

$
p\left(\alpha_{0}, \boldsymbol{u} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, \psi, u_{n}\right) p\left(\alpha_{0}\right) p\left(u_{n}\right)
$

と表される。モデルの学習には，持橋らと同様に局所解の問題のないランダムウォーク MH 法を用い
表 1 実験に用いた各コーパスの統計量.

た. ${ }^{1)}$ 推定パラメータは，式 (11)の $\alpha_{0}$ と文書べクト ル $u$ であり，それぞれ提案分布

$
\begin{aligned}
\alpha_{0}^{\prime} & =\alpha_{0} \cdot \exp (z) \\
z & \sim \mathcal{N}\left(0, \sigma_{\alpha_{0}}^{2}\right) \\
u^{\prime} & \sim \mathcal{N}\left(u, \sigma_{u}^{2} I\right)
\end{aligned}
$

から候補を生成し，尤度比に従う採択確率

$
\begin{aligned}
& \mathscr{A}\left(\alpha_{0}^{\prime}\right)=\min \left.\{1, \frac{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) \mathrm{Ga}\left(\alpha_{0}^{\prime} \mid a_{0}, b_{0}\right)}{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha\right) \mathrm{Ga}\left(\alpha_{0} \mid a_{0}, b_{0}\right)}\right.\}, \\
& \mathscr{A}\left(u^{\prime}\right)=\min \left.\{1, \frac{p\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) p\left(u^{\prime} \mid 0, I_{d}\right)}{p\left(\boldsymbol{y}_{n} \mid \alpha\right) p\left(u \mid 0, I_{d}\right)}\right.\}
\end{aligned}
$

を用いて受理の判定を行った。本研究では，ラン ダムウォーク幅を, 予備実験の結果からそれぞれ $\sigma_{\alpha_{0}}=0.2, \sigma_{u}=0.01$ と置いて実験を行った.

## 4 実験

## 4.1 コーパス

本研究では，英語コーパスの NIPS $^{2}$ ，日本語コー パスの CSJ コーパスと毎日新聞（2013 年度から 10,000 記事をランダムに選択）を用いて実験を行っ た. 日本語コーパスである CSJコーパスと毎日新聞 に対しては, 前処理として $\mathrm{MeCab}^{3}$ )による分かち書 き4)を行い，全てのコーパスにおいて，出現頻度が 5 以下の単語を学習データから除外した. 各コーパ スの統計量を表 1 に示す.

## 4.2 予測パープレキシティ

性能の評価のため, 提案モデルと CSTM のパー プレキシティを計算した. Wallach ら [15] に従い, データの各文書のランダムな $80 \%$ の単語を用いて モデルを学習し, 残りの $20 \%$ の単語のパープレキシ ティを計算した。

提案手法と CSTM における各コーパスの予測パー プレキシティを表 2 に示す. 両モデルにおいて，潜

1）事後分布の勾配を使用する Hamiltonian MCMC 法 [14] も試 みたが数值微分が必要であり，計算コストの高さから本研究 ではランダムウォーク MH 法を用いて実験を行った.

2) https://cs.nyu.edu/ roweis/data.html

3) https://taku910.github.io/mecab/

4）分かち書きの辞書には ipadic を用いた.表 2 各コーパスでのテストセットパープレキシティ.

図 1 提案モデルと CSTM における予測パープレキシ ティの推移.

在次元数を $10,20,50,100$ と変化させたうち最も良 いスコアを示した。提案手法は，3つ全てのコーパ スにおける予測パープレキシティで CSTM を下回 り，より高い性能であることがわかる.

また, 図 1 に提案モデルと CSTM におけるパープ レキシティの推移を示す. 提案モデルは，学習済み の分散表現よりトピック的な関係性を事前情報とし て持つため, 全てのデータセットに対する学習にお いて収束速度が CSTM を上回った。

## 4.3 文書における上位単語・下位単語

提案モデルと CSTM は単語ベクトルと同じ空間上 に文書ベクトルを考え，それらの内積を用いて単語 の確率を操作する．そのため，単語ベクトルと文書 ベクトルの内積から，文書で現れやすい単語とそう でない単語といった, 文書における単語の重要度を 定量的に測ることができる.

例として，提案モデルと CSTM に対して，CSJ コーパスを用いて，「あなたの住んでいる町や地域 について」というトピックの文書における内積スコ アの上位単語・下位単語を計算し，表 3,4 に示し た. 計算には, 文書ベクトルと, 学習に使用した語彙に含まれる全ての単語の単語ベクトルを用いた。 CSTM から計算される上位単語には，「ゲーム」や 「テープ」，「生地」といった文書のトピックとは関係のない語が含まれているが，提案モデルから計算
表 3 提案モデルを用いて，CSJコーパス中の「あなたの 住んでいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

された上位単語のほとんどが，文書のトピックと関連を持った語であり，「駅」や「町」といったトピッ クに関連する単語に対して大きな値を示しているこ とが確認できる。また，提案モデルから計算された 下位単語についても, 「研究者」や「実験」, また,「音声」や「モーラ」など，文書のトピックに関連の ない語に対して小さな値を示していることが確認で きる。これは，CSTM と異なり，提案モデルが単語 のトピック的関係性を事前知識として持つため，卜 ピック的に類似した単語の集合を捉えた文書べクト ルの推定が容易になったためと考える。

このように，提案モデルは，文書のトピックと関連する単語に対して適切に大きな確率を与え, 関連 の低い単語に対しては小さな確率を与えることか ら，文書における単語の確率を柔軟に操作できてい ることがわかる.表 4 CSTMを用いて，CSJコーパス中の「あなたの住ん でいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

## 5 まとめと今後の展望

本研究では，学習済み単語分散表現を Continuous Space Topic Model に導入することで，単語の意味的 な関係性を事前知識として与え，パープレキシティ において従来手法を上回り, 収束時間が短縮された ことを示した。また，文書における単語の重要度を 観察し，従来手法よりも優れた結果であることを定性的に示した. 今後は, 本研究では使用しなかった Hamiltonian MCMC による最適化等を含めたモデル のより良い推定方法を検討していきたい。

## 参考文献

[1] X. Wei, and W. Croft. LDA-Based Document Models for Ad-Hoc Retrieval. In Proceedings of the 29th Annual International ACM SIGIR Conference
on Research and Development in Information Retrieval, 178-85, 2006.

[2] M. Marlin. Modeling User Rating Profiles for Collaborative Filtering. In Advances in Neural Information Processing Systems, 16:627-34, 2003.

[3] T. Griffiths, M. Steyvers, and P. Smyth. The AuthorTopic Model for Authors and Documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, 487-94, 2004.

[4] C. Lin, Y. He, R. Everson, and S. Ruger. Weakly Supervised Joint Sentiment-Topic Detection from Text. In IEEE Transactions on Knowledge and Data Engineering, 24 (6): 1134-45. 2012.

[5] D. Blei, A. Ng, and M. Jordan. Latent Dirichlet Allocation. In Journal of Machine Learning Research, 3:993-1022, 2003.

[6] 持橋大地, 吉井和佳, 後藤真孝. ガウス過程に基 づく連続空間トピックモデル. 情報処理学会研究報告 2013-NL-213(11), 1-8, 2013.

[7] R. Das, M. Zaheer, and C. Dyer. Gaussian LDA for Topic Models with Word Embeddings. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics, 1:795-804, 2015.

[8] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the International Conference on Learning Representations, 2013.

[9] G. Doyle and C. Elkan Accounting for Burstiness in Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 281288, 2009.

[10] C. Rasmussen and C. Williams. Gaussian Processes for Machine Learning, Cambridge, MA, USA:MIT Press, 2006.

[11] S. Harris. Distributional Structure. Word \& World 10 (2-3): 146-62, 1954.

[12] B. Mohit, K. Gimpel, and K. Livescu. Tailoring Continuous Word Representations for Dependency Parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2:809-15, 2014.

[13] J. Paisley, C. Wang, and D. Blei. The Discrete Infinite Logistic Normal Distribution. In Bayesian Analysis, 7(2):235-272, 2012.

[14] M. Neal. MCMC using Hamiltonian Dynamics.
Handbook of Markov Chain Monte Carlo, 2(11), 2, 2011 .

[15] H. Wallach, I. Murray, R. Salakhutdinov, and D. Mimno. Evaluation Methods for Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 1105-1112, 2009.