# ニューラル文法誤り訂正システムにおける リランキングの改善に向けたオラクル分析

小林 正宗 ${ }^{1}$ 高橋悠進 ${ }^{2}$ 三田雅人 2,3 小町守 ${ }^{2}$
1 芝浦工業大学 2 東京都立大学 3 理化学研究所
dz18636@shibaura-it.ac.jp, takahashi-yujin@ed.tmu.ac.jp,
masato.mita@riken.jp, komachi@tmu.ac.jp

## 概要

ニューラル文法誤り訂正システムは通常，上位 $\mathrm{N}$文 (N-best) の中からビームサーチを行い，スコアの 最も良い文 (1-best)を最終的な出力文として選択す る.しかし, 1-best はシステム性能の観点から必ず しも最良な文とは限らず，システム性能を最大にす る文（オラクル文）を選択することは難しい。この 問題の解決策として，特定の情報を利用して N-best の各文のスコアを再計算し並び替えるリランキング があるが，ニューラル文法誤り訂正においてどのよ うなリランキングが適切かは明らかになっていな い.そこで本研究では，リランキングの改善に向け たオラクル分析を行う．具体的には，オラクル文を 上位にリランキングするためにどのような情報が必要か，といった観点でアノテーションを行い，リラ キングを改善させる可能性のある要素を分析する.

## 1 はじめに

文法誤り訂正は，文法的な誤りを含む文を入力と し，誤りを含まない文へと変換し出力するタスクで ある。近年は，その構造的類似性から，文法誤り訂正タスクを誤りを含む文から誤りを含まない文への 翻訳とみなすニューラル機械翻訳に基づくアプロー チが主流である. ニューラル文法誤り訂正システム は通常，出力のうち上位 $\mathrm{N}$ 文 ( $\mathrm{N}$-best) のビームサー チを行い，スコアの最も良い文 (1-best)を最終的な 出力文として選択する. しかし, 対数尤度の観点か らの 1-best は必ずしも文法誤り訂正の観点からの最良な文とは限らず，N-best の中から文法誤り訂正の 精度を最大にする文を選択することは難しい。

上記のような問題の解決策として，リランキング が注目されている. リランキングは， N-best の各文 のスコアを再計算し並び替える手法であり，元々の

図 1 本研究の概要

オラクル文 : It is useful to the government and people in the law sector. 1-best : It is useful to the government and the people in the law sector

図 2 アノテーションの概要

システムに組み込むことが難しい情報や言語資源を 利用することができる. リランキングは様々な手法 がこれまでに提案されており，Mizumoto ら [1]の統語情報を利用した手法や Chollampatt ら [2] の編集操作と言語モデルの特徴量を利用した手法などがあ る.リランキングにより，N-best の中から文法誤り 訂正精度の高い文を選択することで，文法誤り訂正 システムの性能改善が期待できる。

しかし，ニューラル文法誤り訂正においてどのよ うなリランキングが適切かは明らかになっていな い.ここで， N-best の中からオラクル文を上位に リランキングするにはどのような情報が必要か，と いった問いが自然に提起される。ここでのオラクル 文とは，N-best の中から任意の評価手法において精度が最も高くなるような文を指し，そのときの精度 はそのシステムの理論上の上限値を意味する。ま た，この問いについて調査することは，単にリラン
表 1 アノテーションの分類ラベルと例.太字は誤り箇所，青色のハイライトはアノテーション時の判断根拠となる箇所 をそれぞれ示している。

 \\

キング手法を改善する可能性のある要素を明らかに するだけでなく，最先端システムを対象に調査する ことで，現状のシステムにおける訂正が困難な文法誤りを明らかにすることに繋がると考えられる。

そこで本研究では，上記の問いの答えを調査すべ く, リランキングの改善に向けたオラクル分析を行 う. 本研究のイメージを図 1 に示す. 具体的には, まずはじめに最先端文法誤り訂正システムを対象 として，オラクルを算出し，システムの 1-best とオ ラクル文には大きな差があることを定量的に示す.次に，オラクル文を上位にリランキングするにはど のような情報が必要か，といった観点で人手でアノ テーションを行い，リランキングを改善させる可能性のある要素を明らかにする。

本研究の主要な貢献は以下である。

・分析対象データのうち，8 割がリランキングで 改善する余地があることがわかった. 5 割は文内で解けるものであり，文内の文脈の重要性が 示された. 残りの 3 割は文外の文脈が必要なも のであり，特に前の数文を考慮することは有効 であると示された.

・分析対象データのうち，2 割がリランキングで
の改善が難しいことがわかった. リランキング 手法のみならず，評価手法についても改善の余地がある可能性が示された.

## 2 分析手法

本研究では，オラクル文を上位にリランキングす るために必要となりうる情報を得るために，オラク 几文を正解文とみなしニューラル文法誤り訂正シス テムの 1-best 出力に対してアノテーションを行う.具体的なアノテーションの概要を図 2 に示す.

まず，オラクル文を正解文，1-bestを原文とみな し，文法誤り訂正システムの評価・分析ツールキッ ト ERRANT [3] を用いて 1-best 文の誤り箇所，エ ラータイプ，編集操作を解析する。 次に, ERRANT の解析結果をもとに，1-bestに対してアノテーショ ンを行う．アノテーションは基本的に文を見て行 う．また，アノテーションをする際は文内の文脈で 決まらない時のみ文外の文脈を使用する。

アノテーションの分類ラベルは大分類と小分類 の 2 つに分ける. 大分類と小分類の概要およびそれ ぞれのアノテーションの具体例を表 1 に示す. 大分類の種類は，文内で解ける，文外の文脈が必要，一
般的な知識が必要, 誤りではないの計 4 つである.大分類は，1-best をオラクル文にするための訂正内容を明示するラベルであり，オラクル文に近づける ために最尤なラベルを 1 つアノテーションする。 小分類は，大分類を細分化したラベルであり，文内で 解けるものは ERRANT によるエラータイプ，文外 の文脈が必要なものは文脈幅で細分化を行った. ま た，一般的な知識が必要なものと誤りではないもの は細分化は行わなかった. 小分類は文内の誤り箇所 ごとにアノテーションする.

## 3 実験設定

ベースシステム 実験に使用する文法誤り訂正 システムとして, Kiyono ら [4] のシステムを使用 する. Kiyono らのシステムは文法誤り訂正の代表的なベンチマークである CoNLL2014 [5]，および BEA-2019 [6] において世界最高水準の性能を達成 しており，文法誤り訂正の現状を分析をするうえ で適していると考えられる。具体的には，本研究 では Kiyono らのシステムにおける PRETLARGE+SEE (finetuned) モデルを使用した ${ }^{1)}$. なお，ハイパーパ ラメータは，バッチサイズを $16, \mathrm{~N}$-best の $\mathrm{N}$ に相当 するビーム幅を 10 とし，それ以外を全て Kiyono ら と同じ値に設定した。

データ 本実験では，CoNLL-2013 [7] を分析対象 のデータとして使用する. CoNLL-2013テストセッ トは，CoNLL-2013共通タスクで提供されたデータ セットであり，文法誤り訂正分野では，開発データ として一般的に使用されている. 本実験では，アノ テーションの前に, CoNLL2013テストセットの全 1,381 文の中から 1-best とオラクルが異なるように サンプリングした 70 文に対し，それぞれ ERRANT を用いて 1-best の誤り箇所, エラータイプ, 編集操作の解析を行った.ここでの N-best は, CoNLL2013 テストセットを Kiyono らのシステムに入力した出力のうち, 出力確率の高い上位 10 文である. オラク ル文は, N-best の各文に対して M2Scorer [8] で $\mathrm{F}_{0.5}$ を計算した中で最も $\mathrm{F}_{0.5}$ スコアが高い文である. そ して, サンプリングした 70 文に対し, 大分類, 小分類の順でアノテーションを行った. アノテーション は2名で行った。


表 2 ERRANTによるエラータイプ（上位 5 項目）

表 3 大分類のアノテーション結果

## 4 実験結果

表 2 に ERRANT による 1-best の解析結果を示す. エラータイプのうち，限定詞の誤りが最も多く，次点で動詞の時制，前置詞の誤りが多かった.

表 3 に大分類のアノテーション結果を示す. アノ テーションの妥当性を測るために，2 名のアノテー ターの agreement を測ったところ，62.9\%であった. Cohen's kappa の值は 0.39 で, Landis and Koch [9] の 基準では fair agreement に該当した.

表 4 に小分類のアノテーション結果を示す。文内 で解けるもののうち，動詞の時制の誤りが最も多 く，次点で前置詞，限定詞の誤りが多かった. 文外 の文脈が必要なもののうち，39\%（33 箇所中の 13 箇所）は実際に使用しても解けないものであった.ま た，文外の文脈を使用して解けるもののうち， $85 \%$ （20 箇所中の 17 箇所）は前の文外の文脈を使用する ことで解けることがわかった.

## 5 分析・考察

本節では，リランキングを改善させる可能性のあ る要素を明らかにするために，大分類の 4 つの分類 ラベルごとに 1-best の分析を行う.

文内で解けるもの 文内で解ける 37 文（表 3）と サンプリングした 70 文を，ERRANT によるエラー タイプ上位 5 項目で比較をした. その結果，文内に おける 37 文における限定詞の割合が $15 \%$ 減少して
表 4 小分類のアノテーション結果

いた。そのため，文内の情報では，限定詞の誤りの 訂正が難しいことが考えられる。

文外の文脈が必要なもの 文外の文脈が必要と考 えられる誤り箇所の 61\%（33 箇所中の 20 箇所）が 実際に前後の数文を参照することで解くことができ た.また，後ろの数文よりも前 1 文または前 2 文以前を参照すると解けるものが多いことがわかった。従って，リランキングの際に前後の出力文を考慮す ることは有効であり，特に前の数文を考慮すること はリランキング性能を大きく向上させる可能性が考 えられる。

一般的な知識が必要なもの一般的な知識が必要 なものはサンプリングした 70 文のうち 1 文であっ たことから，常識やイディオムなどの一般的な知識はリランキング性能を向上させる上で必要な要素ではあるが，比較的その重要性は低いことがわ かった.

誤りではないもの 誤りではないものは $20 \%$ 存在 していた. これは，オラクル文に対して 1-best が正当に評価されていないことを示している．つまり， 1-best とオラクル文の文意の差が大きくないにも関 わらず，1-bestを過小評価してしまっている可能性 がある. 従って，リランキング手法のみならず，文法誤り訂正システムの評価手法についても改善の余地があると考えられる。

## 6 関連研究

文法誤り訂正システムの性能向上のために，様々 な N-best のリランキング手法の研究が行われてい る. Mizumoto らはフレーズベース統計的機械翻訳 を使い，品詞や依存関係などの統語情報を活用する ことでリランキング性能を向上した. Chollampatt ら は対数線形モデルを使い，システムの候補文のスコ アに編集操作と言語モデルによる特徴量を追加し, スコアの再計算をする手法を提案した. Hoang ら [10] は統計的機械翻訳システムによる文の修正を有効または無効に分類する分類器を構築し， N-best に 分類器を使うことで各候補文を分類し，スコアを再計算することでリランキングを行った. Liu ら [11] は複数の候補文を用いて文法誤り訂正の品質推定を 行う VERNet を提案し，トークンレベルの品質推定 スコアを用いて高性能のリランキングを実現した。

## 7 おわりに

本研究では，リランキング性能を改善させる可能性のある要素を分析するために，オラクル文を上位 にリランキングするためにはどのような情報が必要かという観点で 1-best に対してアノテーションを 行った. アノテーションの結果より, リランキング において文内の情報を利用することは，動詞の時制 や限定詞，代名詞などの長距離の文脈を必要とする 際に有効であると考えられる。また，文外の文脈を 考慮することが性能を向上させる有効な要素となり うると判明した. さらに，リランキング手法のみな らず，評価手法についても改善の余地がある可能性 が示された。

今後は，本研究で得られた知見を利用することに よる，文内および文外の文脈を利用したリランキン グ性能に関する研究を行いたい。

## 参考文献

[1] Tomoya Mizumoto and Yuji Matsumoto. Discriminative reranking for grammatical error correction with statistical machine translation. In NAACL, 2016.

[2] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network for grammatical error correction. In AAAI, 2018.

[3] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, 2017.

[4] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In

EMNLP, 2019.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In CoNLL, 2014.

[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In BEA, 2019.

[7] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In CoNLL, 2013.

[8] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In ACL, 2012.

[9] J. Richard Landis and Gray G. Koch. The measurement of observer agreement for categorical data. In Biometrics, 1977.

[10] Duc Tam Hoang, Shamil Chollampatt, and Hwee Tou Ng. Exploiting n-best hypotheses to improve an SMT approach to grammatical error correction. In IJCAI, 2016.

[11] Zhenghao Liu, Xiaoyuan Yi, Maosong Sun, Liner Yang, and Tat-Seng Chua. Neural quality estimation with multiple hypotheses for grammatical error correction. In NAACL, 2021.
 小林 正宗 ${ }^{1}$ 高橋悠進 ${ }^{2}$ 三田雅人 2,3 小町守 ${ }^{2}$ 1 芝浦工業大学 2 東京都立大学 3 理化学研究所 dz18636@shibaura-it.ac.jp, takahashi-yujin@ed.tmu.ac.jp, masato.mita@riken.jp, komachi@tmu.ac.jp  