# 文法誤り訂正への訂正重要度の導入

永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$
1 甲南大学 2 産業技術総合研究所
nagata-nlp2022 @ hyogo-u.ac.jp., takamura.hiroya@aist.go.jp

## 概要

本稿では，文法誤り訂正における訂正の重要度を 定量化することを試みる．具体的には，書き手の意図が正しく伝わるかどうかという観点で訂正の重要度を定量化する手法を提案する。提案手法を作例と 学習者コーパスに適用し，有効性と改善すべき点を 議論する。

## 1 はじめに

文法誤りには様々なものが存在するため，訂正の 目的に応じて，文法誤り訂正の重要度を定量化でき ることは有益である．本稿では，書き手の意図が正確に伝わるということを重視して，訂正の重要度を 定量化することを試みる．具体的には，訂正前後で 伝わる意味の差異が大きいほど重要な訂正とみなす ような重要度を定量化する方法を提案する。このよ うに定義された訂正の重要度は, 語学学習に応用で きる可能性がある．例えば，書き手の意図の伝達を 大きく阻害する誤りを率先して訂正し, 学習者に提示するような応用が考えられる. また，訂正の重要度で各誤りを重みづけて誤り訂正システムの性能を 評価するという応用にもつながる.

本稿では，次のような非常にシンプルなアイデア に基いて訂正の重要度を定量化する。深層学習べー スの言語モデルを用いると文中の単語をべクトル （分散表現）に変換できる．分散表現は，単語の文中での意味を表すとみなせる1)．したがって，訂正前後の単語それぞれから分散表現を得て，その差異 を測ることで意味のズレを定量化する。このズレ が，上述の「意味の差異」に対応するとする.

このようなアイデアに基づいた提案手法の有効性を作例と学習者コーパスを用いて吟味する。例え


ば，この手法は，"He read $a \rightarrow \phi$ books."という訂正2) は “He read $a n \rightarrow a$ book.” よりも重要と判定する. た だし，3節で述べるように，このシンプルなアイデ アそのままでは，いくつかの問題が生じるため，本稿では，その解決方法も議論する。

## 2 関連研究

誤り訂正の重要度に関連した知見に「自然な習得順序」という仮説がある.この仮説は，第二言語習得では，学習者に共通する習得順序があると主張す る。逆に言えば，順序を入れ替えて新たな項目を習得できないと解釈できる。この仮説が正しいとする と，次に習得される項目に関する誤りを訂正するこ とが重要となる。しかしながら，この仮説を支持／否定する両方の研究成果があり，どちらが正しいの かということは未解決問題である (これらの研究に ついては，文献 [1]が詳しい).

文法誤り検出／訂正システムの評価を目的とし た，訂正難易度の定量化 [2] や誤り情報の信頼性推定 [3] に関する研究もある. 訂正難易度や誤り情報 の信頼性はある種の重要度と解釈することもできる が，本研究で目指す書き手の意図が正確に伝わると いうことを考慮する訂正の重要度とは異なる。

## 3 訂正重要度の定量化手法

訂正前後の意味を分散表現として表すことが提案手法の基礎となる．以降では，訂正前後に対応する 分散表現をべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ でそれぞれ表記する. こ の $\boldsymbol{e}$ と が，訂正前後の文の意味を精度よく表現し ていれば， $\boldsymbol{e}$ と $\boldsymbol{c}$ の差異に基いて， 1 節で述べた訂正の重要度を定量化できる. 二つのベクトルの差異 は，ベクトル間の余弦類似度で定量化することが多 く，本稿でも採択する。ただし，值が高いほど重要 であるという尺度にするために，1 から余弦類似度 を引いた値を訂正の重要度とする。

2）矢印前後で訂正前後の単語列を表している. また， $\phi$ は空単語で，単語の削除（と追加）を表すのに使用する.

ここで問題となるのは, $\boldsymbol{e}$ とをどのように得る かということである. 様々な方法が考えられるが，本稿では，次の二つの方法を検討する。基本的に，言語モデル（具体的には BERT）から得られる分散表現を用いる.

一つ目の方法では, 単語の分散表現を $e, c$ とす る. 具体的には，（1）訂正前後の文をそれぞれ独立 に BERT に入力し，最終層の出力を得る，（2）出力 として得られる分散表現のうち訂正前後の単語列 に対応するものを，それぞれ $\boldsymbol{e}, \boldsymbol{c}$ とする. ただし，複数の単語からなる単語列の場合は平均をとる. こ のようにして得られた分散表現間の余弦類似度は訂正前後の単語列が表す意味の差に対応すると解釈で きる.

この方法は直感的ではあるが，余剩誤りと抜 け誤りの場合に問題が生じる。例えば，“We know about $\rightarrow \phi$ the issue.”では単語 about が余剰であり，訂正文では削除されている.このように削除された単語列については, どのように分散表現を求めたらよ いかは自明ではない，同様のことが，抜けの誤りの 場合に訂正前の文で起こる。本稿では，余剩／抜け 単語の左右の単語に対する分散表現の平均をとるこ ととする.

二つ目の方法は，この問題をより直接的に解決す る. BERTでは, 一文全体に対応する分散表現が得 られる。すなわち，特殊トークン [CLS] に対応する 分散表現を $\boldsymbol{e}$ と $\boldsymbol{c}$ とす. ただし, 個々の訂正の重要度を定量化するために，一文内に複数の誤りがあ る場合でも，一度に訂正する誤りは一つとする。こ の方法では, 訂正前後の単語列に直接着目するので はなく, 訂正前後で文全体の意味がどのように変化 したかに基いて訂正の重要度を定量化する。

以上の通り，提案手法では，訂正前後の情報から 得られるべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ に基いて訂正の重要度を定量化しようとする. 仮に, $\boldsymbol{e}$ や $\boldsymbol{c}$ で単語や文の意味 を表すことができるとして，訂正前の文が表す意味 とは何かという問題が生じる. 例えば, “He read an book." というのは非標準であり，意味をなさないと 主張することもできる. 逆に，訂正できるというこ とは, 訂正前の文でも訂正後の文と同じ意味が伝わ ると主張することもできる. 提案手法では，次のよ うな仮定と近似を暗に行っている。まず，誤りを含 む文が表す仮想的な意味が存在し，空間内のある一点に対応づけられると仮定している. 同様に，訂正 された文の意味も同一空間内の点に対応付けられ
ると仮定している。（この二点間が十分に近い場合，人間は前者から後者を特定できるが)，提案手法で は，この二点間の差異を近似的に訂正の重要度とし ていると解釈できる。

## 4 使用データ

提案手法の有効性を定性的に分析するために内省に基いて訂正の重要度が異なる例文を作成した。表 1 に結果を示す. 表 1 では, 訂正のカテゴリごと に作例を区分けし，訂正の重要度が高いと思われる 順に並べている．カテゴリと重要度の並べ替えの詳細は付録 $\mathrm{A}$ に示す通りである。

作例に加えて，二種類の学習者コーパスも用い た. 一つ目は, CoNLL-2013 Shared Task [4] のテスト データとした. 分析の容易さを考えて，限定詞，名詞の数, 主語動詞の一致, 前置詞, 動詞の形態に関 する 5 種類の誤りのみがアノテーションされたもの を用いた。二つ目は，ICNALE [5] に，独自に誤り情報を付与した 1,894 文を用いた。誤り体系 [6]（20 種 の誤り）を用いた。

## 5 訂正重要度の定性分析

## 5.1 作例を対象にした場合

表 1 の作例に対して，提案手法を適用して訂正の 重要度を求めた. 表の第 $3 ， 4$ カラムが文ベースの 手法と単語べースの手法の結果にそれぞれ対応す る. 括弧内の数は，内省の順位との差を表す。

文ベースの手法の結果は内省の結果に非常に類似 する．異なるのは動詞に関する誤りのみである。内省では, listened to と heard とで表す意味が異なるた め重要度が一番高いとしたが，提案手法ではカテゴ リ内でもっとも重要度が低くなっている. 訂正前後 とも文法的には正しく，また，「聞く」という基本の 意味は共通するため重要度が低くなった可能性があ る. 他のカテゴリについては, 内省による重要度順 と同一である. 例えば，直感的には， $a \rightarrow \phi$ books と a books $\rightarrow$ book は同程度重要と感じられるが，推定 された重要度も類似した値になっている（ただし，重要度の差異をどのように解釈すべきかは別の問題であり注意が必要である).また, “We discussed about $\rightarrow \phi$ the issue.” は, 重要度はカテゴリ内で最も 低い. 確かに，この誤りは意味が伝わるという観点 からは致命的な誤りでないともいえる。もちろん，母語話者らしい英語という観点からは重要な訂正で
表 1 内省に基いて作成した例文と訂正重要度の推定結果.

} & He read $\mathrm{a} \rightarrow \phi$ books. & $0.030(0)$ & $0.586(0)$ \\

あるが，ここで強調したいのは，このように訂正の 重要度を定量化することで文法誤り訂正を新しい観点から議論できる可能性があるということである.

一方，単語ベースの手法では順位の入れ替わりが 散見される. 特に余剩の誤りの訂正が重要とみなさ れる傾向にある. 例えば，“He read $a \rightarrow \phi$ books." が 全訂正中で最も重要度が高い。これは, 3 節で述べ たように余剩／抜け誤りでは, 比較する単語に問題 があることに起因する。この例では， a と read books に対する分散表現を比較している。この比較は直感 に合わず，改善の余地がある．この点において，文 の分散表現に基いた手法のほうがより自然に訂正の 重要度を定量化しているといえる。このことを考慮 して，以降では文べースの手法の結果を報告する。

## 5.2 学習者コーパスを対象にした場合

表 2 に，CoNLL-2013 における重要度の上位/下位 5 件を示す3).なお，学習者コーパスを対象に した場合は，一文中に複数の誤りが含まれる場合があり，表 2 も含めて，以降の結果では，一見適切でないように思える訂正もあることに注意 されたい. 例えば，表 2 の最終行は，全体として， a problem of the health of the $\rightarrow$ an unhealthy society と訂正されている.

表 2 では，大きな傾向としては，冠詞と名詞の数 に関する誤りが最も重要と認識されている。特に,定冠詞の有無は，一般への言及（2，4 行目）と特定物への言及（1，5 行目）という違いがあり，伝わる 意味を大きく左右することが多い. このことを（少 なくとも表 2 の範囲で）定量化結果は反映してい る. 逆に, 主語動詞の一致, 前置詞の誤りは重要度

3）表 2 では，重要度が 0 と表記されているものもあるが，厳密には 0 ではなくごく小さい值を丸めた結果である. が低い。例えば，available for $\rightarrow$ to の重要度は最も低 い部類であるが，for でも書き手の意図は十分に伝 わる. また，冠詞の誤りであっても，a/an の使い分 けについては重要度は低い，ただし，上の議論で重要度が高いと分析した訂正（例: 名詞の単複）でも 重要度が低いと認識されている例もある。これは後述するように，文長が影響している可能性がある.

表 3 に，ICNALEを対象にした場合の上位 10 件を 示す (紙面の関係から, 下位 10 件は付録 B に示す). この結果も，表 2 と同じような傾向を見て取ること ができる. 加えて，文意において重要な役割を果た す要素 (主語, 目的語, 接続詞) が上位に来ている. また，could の有無から生じる差異を捉えていると ころも興味深い。

以上の結果を要約すると，提案手法は，誤りの ために書き手の意図とは異なる意味が伝わる，ま たは，複数の解釈が生じる（例： a books； a book か books で曖昧）ケースを重要であるとみなす傾向に ある。一方，a/an の使い分けや主語動詞の不一致な ど形式的な誤りは重要度を低く見積もる. どちらの ケースがより重要かは目的によるが，意味が伝わる ということを重視した場合は，提案手法には所望の 重要度を定量化できる可能性がある. しかしなが ら，提案手法は非常にシンプルなアイデアに基づい ているため，いくつかの改善すべき点がある. 6 節 でこの点について考察する。

## 6 提案手法の改善すべき点

前節までに示した定量化の結果をみると，重要度 が上位の文は文長が短くなる傾向にあることがわか る.これは，文が長くなるにつれて，一つの誤りが 文全体の意味に及ぼす影響が小さくなるためと予想 できる. すなわち，訂正前後の文長が重要度に影響
表 2 CoNLL-2013（5 種類の誤りタイプ）における訂正重要度（上位／下位 5 件).

表 3 ICNALE における訂正重要度（上位 10 件).

する可能性がある．同様に，(今回の結果には顕著 には見られないが)，訂正前後の単語列の長さも影響を及ぼす可能性がある。

また別の問題として，一文中にいくつの誤りが存在するかということもある. 提案手法では，一度に 一つの誤りのみを訂正して重要度を算出している が，このことは理論上，次の問題を引き起こす可能性がある。例えば，表 2 の 7 行目や最終行のよう に，一度に一つの誤りのみを訂正すると，不自然な 文となる場合がある。このような不自然な文と原文 を比較して得られる余弦類似度の差異は，伝わる意味の差異に適切に対応しない可能性が高い。また,一文中の誤りの数が増えると文全体としての意味の 差異は大きくなると予想されるが，全体としての差異をどのように個々の誤りに還元するかということ も問題になる. 更に，このことは，誤りの単位をど のように設定するかという別の問題にもつながる.例えば， the books a book に訂正した場合，誤り数 2 （冠詞と名詞の数の誤り）とすることも，全体と
して1つとすることもできる．この例では，直感的 には全体として一つの誤りとして重要度を定量化す ればよいように思われるが，別の例ではその限りで はない (例：the book has を the books have に訂正し た場合)。

以上をまとめると，提案手法には，少なくとも次 の 3 つの改善すべき点があるといえる：

1. 訂正前後の文長から受ける影響の低減

2. 訂正前後の単語列の長さから受ける影響の低減

3. 複数の誤りの取り扱い

より実用的な訂正重要度の実現のためには，これら の要因について調整が必要である. 例えば，文長や 訂正前後の単語列の長さで正規化することなどが考 えられる ${ }^{4)}$.また，複数の誤りの取り扱いについて は，連続した誤りを一つにまとめ，訂正前後とも訂正箇所の左右の単語に対応する分散表現を使用する ことなどが考えられる．更に，推定された訂正の重要度をどのように定量評価するかというのも今後の 課題となる.

## 7 おわりに

本稿では，文法誤り訂正に，訂正の重要度という 新たな観点を導入した. 訂正前後の文から得られる 分散表現に基いて訂正の重要度を定量化する手法を 提案した。作例および実際の学習者コーパスに適用 し，有効性と改善すべき点を議論した．定性分析の 結果，定量化された訂正の重要度は直感に合う部分 も見られたが，実用のためには，改善すべき点があ ることも確認された。

4）試しに，訂正後の文長を対数にしたもので正規化したとこ ろ，正規化の影響が強すぎる傾向がみられた。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたも

のである.

## 参考文献

[1] 白畑知彦. 英語指導における効果的な誤り訂正. 大修館書店, 東京, 2015.

[2] Takumi Gotou, Ryo Nagata, Masato Mita, and Kazuaki Hanawa. Taking the correction difficulty into account in grammatical error correction evaluation. In Proc. of 28th International Conference on Computational Linguistics, pp. 2085-2095, 2020.

[3] Nitin Madnani, Martin Chodorow, Joel Tetreault, and Alla Rozovskaya. They can help: Using crowdsourcing to improve the evaluation of grammatical error detection systems. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 508-513, 2011.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[5] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[6] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

## A 作例の詳細

内省に基いて作成した作例の詳細を示す. 表 1 で は，作例を誤りのカテゴリ（動詞，限定詞／数，前置詞）に区分けし，直感に基いて訂正の重要度順に 並べている。

「動詞」では, listened to と heard とで表す意味が 異なるため重要度が一番高いとした. また, 二行目 は動詞の意味は同じであるが，現在／過去の違いを 考慮し二番目に高いとした. 最後の例は，表す意味 はほぼ同じと予想し，一番重要度が低いとした。

「限定詞／数」における最初の二例は，訂正前後で 伝わる意味の差異は同じ程度と考えられるが，表の 上では同順位が表せないため，便宜上この順で表し ている。一方，最後の例は $\mathrm{a}$ と an の使い分けに関す る誤りであり，伝わる意味にほとんど差異がない. したがって，先の二例より重要度は低いとした。

「前置詞」における最初の例は，about $\rightarrow \phi$ では 「知っている」という基本の意味は共通するが訂正前後でニュアンスが異なるため最も重要度が高いと した. 残り二例は最初の例と異なり文脈や意図とは 関係なく常に誤りである。二つ目の例 agrees $\phi \rightarrow$ to は， to 以外にも訂正候補が考えられる。一方，三つ 目の例 “We discussed about $\rightarrow \phi$ the issue.” については （前置詞の訂正としては）aboutを削除する方法以外 は訂正候補がない，言い換えれば，前後の単語から about が必要がないことがほぼ確定することから， このような重要度順とした。

## B ICNALE における結果の詳細

表 4 に，ICNALE を対象にして訂正の重要度を定量化した下位 10 件を示す. ただし，独自に訂正情

表 4 ICNALE を対象にした訂正重要度（下位 10 件)。


 永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$ 1 甲南大学 2 産業技術総合研究所 nagata-nlp2022 @ hyogo-u.ac.jp., takamura.hiroya@aist.go.jp  