# IMPARA: パラレルデータにおける修正の影響度に基づいた 文法誤り訂正の自動評価法

前田航希金子正弘 岡崎 直観
東京工業大学
\{koki.maeda@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech. ac.jp

## 概要

文法誤り訂正 (Grammatical Error Correction; GEC) の自動評価は，低コストかつ定量的な評価に不可欠 である。しかし，既存の GEC 自動評価手法は評価時に複数の参照文を必要としたり, 評価モデルの学習に特化した訓練データが必要になるなど，自動評価の実現のためのデータ作成コストが高いという難点がある．本稿では，誤文と正文の組からなるパラ レルデータのみを用い，修正の影響度を考慮しなが ら GEC の評価尺度を学習する手法である IMPARA を提案する。提案手法は GEC の自動評価における データ作成コストを大幅に軽減しつつ，人手評価と の相関において既存手法と同等以上の性能を示し た．また，評価尺度を学習するパラレルデータを変更することで，異なるドメインや訂正スタイルに適合した評価を実現できることを実験的に示した.

## 1 はじめに

GEC は，文法的な誤りを含んだ文（誤文）が入力 されたとき，文法的に正しい文（正文）となるよう に訂正して出力するタスクである. GEC はウェブ テキスト [1] や言語学習者が書いたエッセイ [2] な ど，様々なドメインで活用される．GEC の精度は， システムが出力した文が文法的に正しいと人間に受 け入れられる度合いで測定できる。ただ，人手評価 はコストが高いため，人手評価と相関の高い自動評価手法の確立が望まれている。

GEC の自動評価手法は二つに大別される。一つ は，誤文を含むコーパスに対して人間が正文を付与 し， GEC システムの出力との近さを評価する参照文有りの手法 $[3,4,5]$ である。一般に，誤文の訂正の 仕方は複数あり得るため，参照文有りの手法で正し い評価を行うには，複数の参照文を用意する必要が ある．ところが，考えうるすべての訂正を網羅する
のは困難である．とはいえ，参照文の数を絞ってし まうと，GEC システムの訂正が正しいとしても，参照文と訂正結果に差異があれば過小評価される。

もう一つは，入力文とシステム出力のみを用いる 参照文なしの評価手法である．参照文なしの評価手法として，言語モデルに基づく手法 $[6,7,1]$ がある が，GEC に関するデータを全く用いないため，人間 による評価との相関が低いことが知られている [8]. これに対し，GEC システムの出力文を人手で評価し た結果を活用し，評価尺度を最適化する手法 SOME が提案されている [8]. しかし，SOME の訓練デー タを作成するには，GEC システムの出力文に対して 人手評価を付与する必要がある．そのため，異なる ドメインや訂正スタイルに対応するには，新たに人手評価データを作成しなければならない。

本研究では，評価時に参照文を用いず，誤文と正文から構成されるパラレルデータのみから GEC の 自動評価尺度を学習できる IMPARA (IMpact-based metric for GEC using PARAllel data）を提案する. 評価尺度の学習では，GEC システムの訓練データと同 じ形式のパラレルデータを利用できるため，データ 作成コストを大幅に削減できる。また，自動評価尺度の学習に用いるパラレルデータを変えることで，様々なドメインや訂正スタイルの特徴を考慮した自動評価モデルを構築できる。

メタ評価実験では，(i) IMPARA が人手評価データ を用いた既存の評価手法と比較して同等または上回 る評価性能を持つこと，(ii) 異なるドメインや訂正 スタイルのデータで評価尺度を学習することで，ド メインやスタイルの特性を考慮した自動評価手法を 構築できることを実証する。

## 2 提案手法 (IMPARA)

IMPARA は，図 1 のように出力文を評価する訂正評価モデルと，入力文と出力文の類似性を評価する
教師データ生成

ERRANT

学習

事前学習済モデル

評価

図 1 IMPARAによる評価スコアの自動算出（右側）と評価尺度の学習方法（中央）および訓練データの自動作成（左側）

類似性評価モデルから構成される.

訂正評価モデルは訂正後の文に対する相対的な評価を付与する．誤文に対する編集操作の適用数によ り文対を順位付けし，GEC 評価指標をメタ評価する 既存研究 [9] に着想を得て，誤文に対して編集操作 をランダムに適用した文対を比較し，優劣の順序関係を学習する．誤文から正文への書き換えでは，編集操作ごとに異なる深刻さの誤りを訂正していると 考え，編集操作の影響度を定義し，編集操作を適用 した文対に関する順序関係を決定する。

類似性評価モデルは入力文と出力文の内容が乘離することを防止する．既存の参照文なし評価手法 [10] では，入力文と出力文の表層的な一致率を計算していたが，IMPARA では文べクトルの類似度を 計算する。これにより，文意を変更しない表層的な 訂正に対しても，類似性を頑健に判定できる.

## 2.1 編集の影響度

編集操作に対して影響度を形式的に定義する。誤文 $S$ と正文 $T$ の組を $(S, T)$ とする. ををを $S$ から $T$ へ の順序によらない編集操作の集合とする．編集を適用する関数 $f$ とし， $S$ に対して $\mathscr{R}$ に含まれる全て の編集を適用して $T$ を得ることを， $T=f(S, \mathscr{E})$ と 書く. ある編集操作 $e \in \mathscr{E}$ が文の意味を大きく変化 させるならば，その編集操作の影響度は高いと考え る. そこで，編集 $e$ を除外した文 $T_{-e}=f(S, \mathscr{E} \backslash\{e\})$ と正文 $T$ との距離を考え, $e$ の影響度 $I_{e}$ を定義する。

$
I_{e}=1-\frac{\operatorname{BERT}(T) \cdot \operatorname{BERT}\left(T_{-e}\right)}{\|\operatorname{BERT}(T)\|\left.\|\operatorname{BERT}\left(T_{-e}\right)\right.\|}
$

ここで， $\operatorname{BERT}(T)$ は文 $T$ に対して事前学習済み BERT が計算する文べクトルであり，文 $T$ の全トー クンの最終層のベクトルの平均である。また編集の部分集合 $E \subseteq \mathscr{E}$ を適用した文 $f(S, E)$ の影響度を $E$ に含まれる各編集の影響度の総和 $\sum_{e \in E} I_{e}$ とする。

## 2.2 自動評価手法の構築

IMPARA は入力文 $S$ と出力文 $O$ に対して訂正評価モデルと類似性評価モデルの両方のスコアを考慮 し，評価スコア $\operatorname{score}(S, O) \in[0,1]$ を計算する.

$
\operatorname{score}(S, O)=\left.\{\begin{array}{l}
\operatorname{corr}(O)(\text { if } \operatorname{sim}(S, O)>\theta) \\
0 \text { (otherwise) }
\end{array}\right.
$

ただし， $\operatorname{sim}(S, O)$ は類似性スコア, $\operatorname{corr}(O)$ は訂正 スコア， $\theta$ は類似性スコアの閾值である．類似性ス コアが閾値 $\theta$ 以下である場合は，出力文が入力文に 対する適切な訂正ではないと判断し，評価スコアを 0 とする。一方，類似性スコアが閾値よりも大きけ れば，訂正スコアの值をそのまま採用する。

訂正スコア 訂正スコアは, 出力文 $O$ を訂正評価モデル $R$ に与え，シグモイド関数 $\sigma$ を用いて $\operatorname{corr}(O)=\sigma(R(O))$ で求める. 訂正評価モデル $R$ は BERT の先頭トークンに線形変換を適用し，実数値 を計算するもので，ファインチューニングにより構築する．ファインチューニングのための訓練データ は，誤文と正文のパラレルデータから自動的に作成 する． $n$ 個の誤文と正文の対からなるパラレルデー タを $\mathscr{C}=\left.\{\left(S_{i}, T_{i}\right)\right.\}_{i=1}^{n}$ と表現する. 誤文と正文の組 $(S, T) \in \mathscr{C}$ に対し，ERRANT [5] を用いてアライメン 卜を計算し，編集集合 $E$ を抽出する． $E$ から異なる 編集の部分集合 $E^{\prime}, E^{\prime \prime}$ を作成する。 $E^{\prime}, E^{\prime \prime}$ を $S$ に適用することで新たな文対を生成し，式 1 の影響度で その順序関係を決定し，Rの訓練データとする。

訓練データの作成手順を説明する．誤文と正文の組 $(S, T)$ に対して抽出された編集集合を
$E=\left.\{e_{1}, \ldots, e_{|E|}\right.\}$ とし, $k \in\{1,2, \ldots,|E|\}$ を離散一様分布から選ぶ. 編集操作 $e \in E$ を $k$ 回非復元抽出し, 抽出された編集操作の集合を $E^{\prime}$ とする. 続 いて， $E^{\prime}$ を微修正することで $E^{\prime \prime}$ を作成する。まず $E^{\prime \prime}=E^{\prime}$ と初期化する. その後, $E$ の各要素 $e \in E$ に ついて, 確率 $\frac{1}{|E|}$ で以下の操作を適用する.

$
E^{\prime \prime} \leftarrow\left.\{\begin{array}{l}
E^{\prime \prime} \cup\{e\} \text { if } e \notin E^{\prime} \\
E^{\prime \prime} \backslash\{e\} \text { if } e \in E^{\prime}
\end{array}\right.
$

$E^{\prime}, E^{\prime \prime}$ を誤文に適用して得た文 $f\left(S, E^{\prime}\right), f\left(S, E^{\prime \prime}\right)$ に 対して影響度を計算し，影響度の低い文を $S_{-}$，高い 文を $S_{+}$とする. このように $(S, T)$ から文対 $\left(S_{-}, S_{+}\right)$ を作成し, 訂正評価モデル $R$ の訓練データ $\mathscr{J}$ を得 る. ただし，一つの文対から作成する訓練事例は最大で $c$ 件とする. また, $E^{\prime}$ と $E^{\prime \prime}$ が等しくなった場合は訓練事例として採用しない。

得られた訓練データすを用いて訂正評価モデル $R$ を学習する. 訂正文の順序関係を学習するため, モデル $R$ の損失関数 $L$ を次式で定義する.

$
L=\frac{1}{|\mathscr{T}|} \sum_{\left(S_{-}, S_{+}\right) \in \mathscr{T}} \sigma\left(R\left(S_{-}\right)-R\left(S_{+}\right)\right)
$

損失関数にシグモイド関数 $\sigma$ を用いるのは一部の事例を極端に重要視することを防ぐためで，実験的に 評価性能の向上に寄与することを確認している.

類似性スコア 入力文 $S$ と出力文 $O$ をそれぞれ事前学習された BERT に与え，類似性スコア $\operatorname{sim}(S, O)$ を計算する。影響度と同様に，文中の全てのトーク ンの最終層のベクトルの平均として文べクトルを算出し, 両文ベクトルのコサイン類似度を $\operatorname{sim}(S, O)$ とする. これにより, 入力文 $S$ と出力文 $O$ の情報が どの程度類似しているかを計測できる。

## 3 実験

IMPARA の評価スコアと人間の評価結果との相関を調べるため，二つのメタ評価実験を行った。 まず，GEC システムに対する人手評価と，自動評価手法の評価スコアとのピアソンの積率相関係数 （Pea）およびスピアマンの順位相関係数（Spe）を計測する。また，文の優劣比較の正解率 (Acc) とケ ンドールの順位相関係数（Ken）を計測する. 人手評価として，CoNLL2014 [11] データセットに対し複数の GEC システムの訂正文を人間に順位付けさせ たデータセット1)を用いる.

1） 本実験では, Grundkiewicz ら [12] の論文の Table 3(b) に示さ れる Expected Wins を人手評価とした.次に，ドメインや訂正スタイルを考慮した評価 スコアを構築できたか検証する。この検証では， IMPARA の訂正評価モデルの学習に用いるコーパス と，評価尺度のメ夕評価に用いるコーパスの組合せ を変え，それぞれについて MAEGE [9]によるメタ評価を実施する．MAEGE は，評価データの誤文に加 えた編集数に基づく順序関係を構築する。この順序関係を用いて作成した評価スコアと自動評価手法の 評価スコアの相関係数を測定してメタ評価を行う。 この実験には公開されている実装2)利用した.

## 3.1 実験設定

人手評価との相関を測定する実験では，IMPARA の訂正評価モデルの学習に CoNLL2013 [13] を用 いた. ドメインや訂正スタイルを変更する実験で は，CoNLL2014 [11] に加え，ウェブテキストの文法誤りを訂正する CWEB [1]，流暢な訂正を含む JFLEG [14]，エッセイに訂正を加えた FCE [2]を用

に利用し，10\%をメタ評価のためのデータとした。

実験では，Hugging Face が公開する事前学習済モ デル3）（BERT-BASE-CASED）を BERT モデルとし て採用した。類似性評価モデルは事前学習済モデル をそのまま用い，訂正評価モデルは自動生成した訓練データでファインチューニングした.

ベースライン手法として参照文を用いない自動評価手法である SOME と Scribendi Score [10] を用い た. また，IMPARA の訂正評価モデルの訓練データ 構築法の有効性を検証するため，パラレルコーパ スの誤文と正文の文対のみを用いて BERTをファ インチューニングした評価モデル（パラレルのみ） と比較した. SOME の評価モデルとして用いられ る BERT のファインチューニングでは，公開された データセット4)を本研究と同じ学習・評価の分割で 利用し，吉村ら [8] のハイパーパラメータ設定を利用した。

## 3.2 実験結果

各自動評価と人手評価との相関を測定した結果を 表 1 に示す5).IIMPARA はコーパス単位の評価では

表 1 Grundkiewiczの人手評価との相関

人手評価データを用いるSOME より高い相関を示 した. さらに，パラレルコーパスに含まれる文対の みを訂正評価モデルの訓練データとした場合との比較から，提案手法で訓練データを自動構築すること の効果を確認できた。また， MAEGE によるメタ評価によると, IMPARA はコーパス単位の評価で既存手法と同等程度, 文単位の評価で既存手法に対して 0.1 ポイント以上高い性能を示した（Appendix の表 4). これらの実験結果は, IMPARA はパラレルデー タのみから自動構築した訓練データのみを用いる が，人手評価を付与した訓練データを用いる既存の 評価手法と同等程度の評価性能を達成することを示唆している.

4 種類の評価コーパスに対して，学習コーパスを 変化させたときの MAEGE によるメタ評価を行った 結果を表 2 に示す. 実験の結果, 評価に用いたコー パスと同じコーパスを用いて訂正評価モデルを学習させることで評価性能が向上した. 特に文単位の 相関が大きく向上していることが確認された. さら に，MAEGEを用いて既存手法と評価性能を比較し た (Appendix の表 5). SOME は CWEB, FCE におい て, Scribendi Score は CWEB, JFLEG において評価性能が極端に低下した．一方で，IMPARA はいずれの 評価コーパスにおいても高い評価性能を示した.こ のことから, IMPARAを用いることでコーパスの特性により適合した評価を行えることが確認できた。

## 3.3 誤りタイプごとの影響度

2.1 節で定義した影響度を用いたとき，BERT モデ ルがどのような誤りに対して高い影響度を算出する のか分析した. CoNLL2014に含まれる訂正文対に ついて，ERRANTを用いて編集と誤りタイプを抽出 し，編集ごとに影響度を求め，平均値を算出した。

平均影響度を算出した誤りタイプについて, OTHER を除き事例が 400 以上の誤りタイプを抜粋 して表 3 に示す（全ての結果は Appendix の表 6). DET (冠詞), PREP (前置詞) などの機能語と比較し $\tau$, NOUN (名詞), VERB (動詞) など内容語の訂表 2 学習・評価コーパスの組合せによる性能変化

表 3 CoNLL2014において, OTHER を除く事例数が 400 以上の誤りタイプ

正に高い影響度を付した。また同じ名詞に関する訂正でも，数量に関する訂正には低い影響度が算出さ れることが確認された. 以上から, 本研究で定義し た影響度は文法的な役割に関する訂正よりも内容語 による意味の変化を重要視していると考えられる。

## 4 おわりに

本稿では，パラレルコーパスを用いた GEC の自動評価手法の構築法である IMPARA を提案した。提案手法は, 編集に対して影響度を算出し, 訂正文 の良し悪しに関する順序関係を自動的にラベル付け した訓練データを生成し、BERTをファインチュー ニングすることで，訂正文に対する相対的な評価尺度を獲得する。提案手法は，人手評価との相関にお いて既存手法と同等以上の性能を示すこと，評価対象となるコーパスが持つ訂正の特性を考慮した自動評価を行えることを確認した。

今後の発展として, 文法誤り生成を用いた訓練 データ生成を取り入れることがある. データ生成コ ストの緩和が見込まれるほか, 自動評価尺度の品質向上に寄与すると考えられる.

## 参考文献

[1] Simon Flachs, Ophélie Lacroix, Helen Yannakoudakis, Marek Rei, and Anders Søgaard. Grammatical error correction in low error density domains: A new benchmark and analyses. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8467-8478, Online, November 2020. Association for Computational Linguistics.

[2] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[4] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. There's no comparison: Reference-less evaluation metrics in grammatical error correction. In Proceedings of the $\mathbf{2 0 1 6}$ Conference on Empirical Methods in Natural Language Processing, pp. 2109 2115, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Referencebased metrics can be replaced with reference-less metrics in evaluating grammatical error correction systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 343-348, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[8] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Leshem Choshen and Omri Abend. Automatic metric validation for grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1372-1382, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Md Asadul Islam and Enrico Magnani. Is this the end of the gold standard? a straightforward reference-less grammatical error correction metric. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 30093015, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-
2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[12] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[13] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[14] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. Jfleg: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, Valencia, Spain, April 2017. Association for Computational Linguistics.
表 4 MAEGEによるメタ評価 コーパス 文 束 Pea Spe Pea Spe Ken

$\begin{array}{llllll}\text { Scribendi } & 0.884 & 0.981 & 0.374 & 0.421 & \mathbf{0 . 8 2 4}\end{array}$

表 5 評価データと同じドメインの訓練データで学習した IMPARA と既存手法の性能比較

表 6 誤りタイプ毎の影響度と事例数（CoNLL2014）

## A ハイパーパラメータの設定

訂正評価モデルの再学習では, 比較時にコーパス の量による影響を回避するために，コーパスによら ず $|\mathscr{T}|=4096$ となるように調整した. コーパスに含 まれる訂正文対 1 つから生成する文対の最大数 $c$ を
30，学習率を $10^{-5}$ とし，バッチサイズは 32 とした. エポック数は $1, \ldots, 10$ と変化させ，モデルを学習し た. 類似性スコアの閾値 $\theta$ は 0.9 とした.
 前田航希金子正弘 岡崎 直観 東京工業大学 \{koki.maeda@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech. ac.jp  