# 文法誤り訂正における訂正度を考慮した多様な訂正文の生成

甫立 健悟 $^{\dagger} \cdot$ 金子 正弘 $\dagger$ ・勝又 智柿 - 小町 守 $\dagger$

本稿では，文法誤り訂正における多様な訂正文の生成手法を提案する。文法的に誤 りを含んだ文に対して訂正を行う際，訂正方法は複数存在することがある。しかし，既存の文法誤り訂正モデルは多様な訂正文の生成を考慮していない。また，機械翻訳 タスクなどにおいて用いられている既存の多様な出力を得る手法は, 文中の全トー クンに対して多様性を持たせる手法となっている，そのため，既存の手法を文法誤 り訂正に適応した場合，訂正が必要な箇所を考慮せず文全体を強制的に書き換える ため，文法的に誤りを含んだ文の生成を行うか，もしくは，文法的誤りの発生を防 ぐために制約を弱め，結果的に多様でない文を生成する恐れがある。そこで我々は，文全体を多様化するのではなく, 訂正が必要な箇所を考慮して多様化する手法とし て，モデルの訓練データに訂正度の情報を付与することで出力の訂正度を制御する 手法と, さらに出力を多様化するための誤り箇所を考慮したビームサーチ手法を提案する。実験の結果, 既存手法では文法誤り訂正において適切に多様化できないこ とを明らかにし，一方で，提案手法によりモデルの訂正度が制御可能となり，既存手法よりも文法誤り訂正に適した多様な出力を得ることが可能となった.

キーワード：文法誤り訂正, 出力の多様化
## Generation of Diverse Corrected Sentences Considering the Degree of Correction

Kengo Hotate $^{\dagger}$, Masahiro Kaneko $^{\dagger}$, Satoru Katsumata $^{\dagger \dagger}$ and Mamoru Komachi ${ }^{\dagger}$

In this study, methods are proposed for generating diverse corrected sentences in grammatical error correction (GEC). There may be more than one way to correct a sentence that contains a grammatical error. However, existing GEC models do not consider the generation of diverse correction sentences. In a GEC task, all of the tokens are not rewritten in the text, but only those parts that need to be corrected. In this study, two methods are proposed for diversifying the output data in the GEC. First is a method to control the degree of correction by adding the information on it to the training data of the model, and second is a beam search method to diversify the output data considering the error points. The experimental results show that the existing methods are not suitable for diversification.

Key Words: Grammatical Error Correction, Diversification of Outputs

原文 To put it in the nutshell, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obliged to tell their relatives about their genetic test results for the good of their health.

In a nutshell, I believe that people should have an obligation to tell their relatives about the genetic testing result for the good of their health.

参照文 In summary, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

In a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing results for the good of their health.

表 1 Bryant and $\mathrm{Ng}(2015)$ により作成された 1 文に対する複数の訂正文の例

## 1 はじめに

文法誤り訂正は言語学習者の書いた文法的に誤りを含んだ文を文法的に正しい文へと訂正を行うタスクであり，第二言語学習者の作文支援システムとして有用である。文法的に誤りを含んだ文に対して訂正を行う際，訂正結果は複数存在することがある。例えば，Bryant and $\mathrm{Ng}$ (2015) は，文法的に誤りを含んだ文に対して 10 人のアノテータがそれぞれ異なる有効な訂正手法を提案する場合があることを示した。この 10 人のアノテータに対して，明示的に異なる訂正文の作成を行わせていないが，実際に，訂正した文におけるアノテータ間の一致率は約 $16 \%$ であった．表 1 に Bryant and $\mathrm{Ng}(2015)$ により作成された複数訂正文の例の一部を示す.太字は原文から訂正が行われた箇所を示している，1文から複数の訂正文が提案されているが，いずれも原文において誤りのある箇所のみにおいて多様な訂正が行われている。この様に，様々な訂正結果が存在するため，文法誤り訂正モデルが複数の訂正結果を提示することで，言語学習者は訂正結果を反映するかどうかの判断や，複数の訂正結果の中から好みの表現を選択することが可能になる.

一般に，文法誤り訂正は文法的に誤りを含んだ文から文法的に正しい文への機械翻訳タスクとして捉えられ，近年，ニューラルネットワークを用いた機械翻訳モデルが文法誤り訂正モデルとして用いられることが多い．実際に，機械翻訳モデルを文法誤り訂正モデルに適応することにより，文法誤り訂正タスクにおいても有効な結果を示している (Chollampatt and Ng 2018; Junczys-Dowmunt et al. 2018; Zhao et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020). しかしながら，既存の文法誤り訂正モデルは 1 つの入力文に対して 1 つの有効な出力文の生成を目指

図 11 文中の単語編集率のヒストグラム

しており，複数の訂正結果の生成を考慮していない，そこで我々は，文法誤り訂正において多様な出力を生成するという新たな夕スクに取り組み, 訂正度を制御可能な文法誤り訂正モデルを用いた手法を提案する。

訂正を行う際，必要最低限の書き換えのみ行うか，もしくは，より多くの書き換えを行うかという違いにより，訂正文に多様さが生じる。文法誤り訂正タスクにおいて訓練データとして一般的に使用される Lang-8 (水本他 2013), 評価データとして使用される CoNLL-2014 (Ng et al. 2014) や JFLEG (Napoles et al. 2017) では, 1 文中における訂正の量という意味での訂正度が異なることが知られている。また， Sakaguchi et al. (2016) は，専門性の異なるアノテータにおいて，必要最小限の書き換えと流暢性を求めた書き換えの 2 種類の訂正をそれぞれ行うことで，多様な訂正文を作成し，それらの一致率は流暢な訂正において約 $15 \%$ 以下，最小限な訂正においても約 $38 \%$ 以下であったと報告している。つまり，1つの誤り文に対しても複数の訂正度を用いて訂正が行われるということである。しかし, 既存の文法誤り訂正モデルは学習した単一の訂正度でのみ訂正を行っており, それらの異なる訂正度で訂正を行う手法の研究は行われていない，そこで本研究では，訂正度を制御可能な文法誤り訂正モデルを提案し，1つの入力文に対して複数の訂正度での訂正文を生成することで, 多様な訂正文の生成を行う。手法としては，まず，文法誤りが訂正されているデータ内において，1文ごとの訂正度の情報を特殊トー クンとして文に付与し, 新たな訓練データを作成する。ここで, 訂正度を表す指標として単語編集率を用いる，単語編集率とは文中の単語がどれだけ書き換えられたのかを表す指標であるため，文法的誤りを含んだ文と，その誤りを訂正した文の単語編集率は，文の訂正度を表していると言える. CoNLL-2014 と JFLEG では, JFLEG の方が訂正度が大きいことが知られており，実際に，図 1 に示すグラフからも，CoNLL-2014 よりも JFLEG の方が単語編集率が大きいため, 単語編集率が訂正度を示していることが確認できる。そして，新たに作成した訓練

図 2 既存のビームサーチ手法と提案手法を比較した概要図. 赤字の単語は誤りであることを，太字の単語は訂正が行われたことを示している.

データを用いて文法誤り訂正モデルの学習を行い，推論時には，入力文に複数の訂正度の特殊トークンを付与することで，付与した単語編集率に基づきモデルの訂正度を制御する。結果として，1つの入力文に対して 1 つの訂正度ではなく，複数の訂正度を用いて訂正を行うことが可能となり，多様な訂正文を得ることができる.

我々は，さらに出力を多様化する手法として，誤り箇所を考慮したビームサーチ手法を提案する。文法誤り訂正において, 複数の訂正結果を生成する手法としてはビームサーチを用いて $n$-best を生成する方法が存在する (Grundkiewicz et al. 2019; Kaneko et al. 2020). しかし, これらの研究では，1つの適切な訂正文の出力の探索のためにビームサーチを利用しており, 多様な訂正結果の出力を目的としていない. さらに, 通常のビームサーチを用いた $n$-best 出力は多様性に欠けることが示されている(Vijayakumar et al. 2018). そのため, 機械翻訳の分野などにおいて, 多様な候補を生成するために, 出力を多様にする制約を加えたいくつかの多様なビー ムサーチ手法が提案されている (Li et al. 2016b; Vijayakumar et al. 2018). これらの多様なビー ムサーチ手法は, 文中の全てのトークンに対して様々な書き換えを行うことで, 複数の出力文に多様性をもたらしている。一方で，入力文と出力文の大部分が共通しているようなタスクにおいては，これらの手法は適していないと考えられる。特に，文法誤り訂正においては，入力文の文法的に正しい部分に対しても書き換えが行われてしまうため, この様な入力文の全体に対して書き換えを行う手法は好ましくない，そのため，文法誤り訂正モデルは，入力文中の文法的に正しい部分は書き換えずに，誤りを含む部分に対してのみ様々な方法で訂正を行うことが望まれる。そこで本研究では，誤り箇所を考慮したビームサーチ手法を提案する。図 2 は既存手法と提案手法との比較を図示したものである.

(a) 通常のビームサーチ (Plain beam search) では，訂正が特定のパスに集中しているため多
様性がなく，類似した単語の組み合わせで文を生成している.

(b) 既存手法の多様なビームサーチ (Diverse global beam search) は，様々なパスを探索している。したがって, 通常のビームサーチとは異なり, この方法では様々な単語の組み合わせで文が生成されるため，多様な出力を得ることができる．ただ，訂正する必要のない単語においても書き換えを行った出力も生成されてしまう.

(c) 提案手法である誤り箇所を考慮したビームサーチ (Diverse local beam search) では，訂正が必要な単語に対してのみ様々なパスの探索を行う. それゆえ, 我々の提案手法では,訂正が必要な箇所でのみ，通常のビームサーチよりも多様な単語を組み合わせた文の生成を行う。

ここで，上記の手法は全て同じビーム幅であるが，パスが異なることに注意されたい.

実験の結果，訂正度を制御可能な文法誤り訂正モデルを用いることで既存手法よりも多様な訂正結果を生成することが可能となり，誤り箇所を考慮したビームサーチと組み合わせることで，更に多様化可能であることを示した。

本研究の主な貢献は以下の 4 つである.

・ 単語編集率により文法誤り訂正モデルの訂正度が制御可能なことを示した。
- 既存の多様な文を生成する手法が文法誤り訂正においては適切な多様性をもたらさないことを示した。
- 訂正度を制御した文法誤り訂正モデルの出力を用いることで多様な出力が得られることを示した。
- 誤り箇所を考慮したビームサーチを提案し，訂正度を制御した文法誤り訂正モデルと組み合わせることで既存手法よりも適切に出力文に多様性をもたらすことを示した.

本稿の構成を示す. 2 章では, 既存の出力文の制御や多様化の先行研究について紹介する． 3 章では，訂正度を制御した文法誤り訂正モデルを提案する．4 章では，誤り箇所を考慮したビー ムサーチを提案する． 5 章では，BERT を用いた文分類を提案する． 6 章では, 複数の人手による訂正文が付与されている評価データを用いて提案手法を評価する。 7 章では，提案モデルについて分析する. 最後に 8 章で, 本研究のまとめを述べる.

## 2 先行研究

出力文に対して制御を行う研究は，文法誤り訂正の分野ではあまり行われておらず，主に機械翻訳の分野において行われている. Sennrich et al. (2016) は，機械翻訳において訓練データに文の丁寧さの情報を特殊トークンとして入力文に付与し， モデルの訓練を行うことで出力文の敬意表現の制御を行った．敬語の存在しない言語から敬語の存在する言語への翻訳時, 訓練データの入力文に対して，1 文対毎に敬語への翻訳であるかどうかの情報を特殊トークンを付
誤り文 : We have a lot of paper to write .訂正文: We have a lot of papers to write.

編集距離 $=1$, 誤り文の文長 $=9$単語編集率 $=1 / 9=0.11$

誤り文 : <wer_1> We have a lot of paper to write 訂正文 : We have a lot of papers to write.誤り文 : Dont afraid to do some new !

訂正文 : Do n't be afraid to do something new !

編集距離 $=4$, 誤り文の文長 $=7$单語編集率 $=4 / 7=0.57$

誤り文 : < wer_2> Dont afraid to do some new!訂正文 : Do n't be afraid to do something new!

入力文 : People try to drinking it .

BERTによる特殊トークン推定

入力文 : <wer_1> People try to drinking it. $\longrightarrow$ 出力文 : People try to drink it .

図 3 訂正度を制御した文法誤り訂正モデルにおける訓練方法（上部）と推論方法（下部）の概要図。太字は訂正箇所を示している.

与することで，推論時に任意の敬意表現での翻訳を可能にした，本研究では，訂正度の情報を Sennrich et al. (2016) と同様に訓練データに特殊トークンとして付与することで，入力文に対する訂正度の制御を行う。

また, 出力の多様化を行う研究についても文法誤り訂正の分野では行われていないが, 他分野においては幾つか行われている. Shen et al. (2019)は, mixture of experts (MoE) モデルを機械翻訳に用いることで多様な出力の生成を行った。このモデルは，1つの入力文に対して異なる expert を用いることで多様な出力の生成を可能にしている. 本研究では，モデルの構造は変えず，訓練データのみを変更することにより多様化を目指した．Li et al. (2016a)は，ニュー ラルネットワークを用いた対話モデルにおいて，応答文の多様化を行った。一般に，対話モデルの出力として汎用的な応答が生成されることが多いが，推論時にのみ文脈と応答の相互情報量を最大化するような応答を生成させることにより多様化を行った. Vijayakumar et al. (2018) は，推論時にビームを複数のグループに分け，グループ毎に順にビームサーチを行い，同じ夕イムステップ内の他のグループにて選択されたトークンに対して選択されにくくする制約を加えることで出力に多様性をもたらす手法を提案した. 本研究では, 同様に推論時にのみ訂正が必要な箇所に対して多様にする制約を加える手法を提案する.

## 3 訂正度を制御した文法誤り訂正モデル

我々は，訓練データより求められた単語編集率に基づいて特殊トークンの付与を行い，新たな訓練データに基づき文法誤り訂正モデルを訓練することで，推論時に特殊トークンによって訂正度の制御可能な文法誤り訂正モデルを提案する。図 3 に概要図を示す.

図 4 CoNLL-2014の複数参照文における単語編集率の散布図

## 3.1 訓練方法

初めに，訓練データ内の誤りを含む誤り文と，それに対応する訂正が行われた訂正文から挿入の回数, 削除の回数, 置換の回数の和が最小となるように動的計画法を用いて編集距離を計算する。そして，求めた編集距離を誤り文の文長で割り，単語編集率を計算する。算出した単語編集率を基に訓練データをソートし，文数が均等になるように $L$ 個の文集合に分割する。その分割した文集合ごとに異なる特殊トークンを定め，誤り文の文頭に付与する.

この様にして, 文頭に単語編集率によって定められた特殊トークンが付与された誤り文とそれに対応する訂正文の訓練データを作成した。この新たに作成した訓練データを用いて文法誤り訂正モデルを学習する.

## 3.2 推論方法

推論時, 入力文の文頭に $L$ 個の特殊トークンを付与するにより $L$ 個の異なる訂正度にて訂正が行われた文が生成される。ここで，評価デー夕の参照文から単語編集率を求めることはできないため, 入力文に応じた適切な特殊トークンを選択する必要がある。しかし, 1つの入力文に対して訂正度はある程度定まるが，一意には定まらず，多様な訂正文を考慮した際に訂正度の幅が存在すると考えられる。図 4 は，CoNLL-2014において，1つの誤り文を訂正する際の訂正度にある程度の幅が存在することを示した図である。図中の点はある誤り文とそれに対応する人手で訂正を行った 1 つの参照文のぺアを指しており，横軸は対象の誤り文に対する複数参照文の平均単語編集率, 縦軸は対象のぺアの単語編集率を表している。また, 赤線は平均単語編集率を示した補助線である。この図より，全体的に複数参照文における平均単語編集率が高くな

れば，参照文ごとの単語編集率も全体的に高くなるが，参照文ごとに単語編集率の幅が存在することがわかる。そこで，本研究では，Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)を用いて入力文に対して訂正度の幅を考慮しながら適切な特殊トー クンの選択を行った。詳細は 5.1 節にて説明する。

## 4 誤り箇所を考慮したビームサーチ

我々は，訂正が必要な箇所のみに対して多様な訂正を行い，既に文法的に正しい箇所に対しては多様な訂正を行わない, 誤り箇所を考慮したビームサーチを提案する。具体的には, 誤り箇所を考慮したぺナルティ penalty を各タイムステップ $t$ の各ビーム $b$ 毎にモデルの対数出力確率に対して与えることで多様な出力の生成を目指した. ペナルティは以下の式で与えられる.

$
\text { penalty }_{b, t}=\lambda s_{b, t}+\beta
$

$s_{b, t}$ は, ビーム $b$, タイムステップ $t$ における最も生成確率の高いトークンが, 訂正が行われているトークンであるかどうかを $[0,1]$ の範囲で表す指標である。具体的には，訂正が行われている場合は $s_{b, t}$ の値が 0 に近く, 訂正が行われていない場合は $s_{b, t}$ の値が 1 に近くなることが望ましい. $\lambda$ と $\beta$ はハイパーパラメータであり， $\lambda$ はペナルティの強さを調整し， $\beta$ はペナルティがゼロになることを防ぐためのパラメータである。本研究では, BERT を用いて入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行い，訂正が行われていないと分類された確率を $s_{b, t}$ に用いた．詳細は，5.2 節にて説明する．以下の式のように，このペナルティを文法誤り訂正モデルの対数出力確率 $\log p$ に与えることで, ビームサーチのスコア $k$ に対して制約を加えた。

$
k_{b, t}=\text { penalty }_{b, t} \log p_{b, t}
$

この制約により，訂正が行われていないビームに対しては選択されにくくなり，反対に，訂正が行われているビームに対しては選択されやすくなる.

図 5 は，入力文として“This essay will illustrate on two aspect.”が与えられた場合のビーム幅 2 , タイムステップ $t$ における概要図である。図の上部は, 直前のタイムステップ $t-1$ において “illustrate”を選択した第 1 ビームを，下部は，“this”を選択した第 2 ビームを表しており, 色の薄さは生成確率の高さに比例している。このとき， タイムステップ $t$ の第 1 ビームにおいて最も生成確率の高いトークンは，入力文と同じ “on”であり，第 2 ビームにおいては，入力文から書き換えを行った “in”である。通常のビームサーチでは，それぞれ生成確率の高い， “illustrate on” と“this in” が選択される。しかし, 我々の提案手法では, 第 1 ビームは書き換えを行っておらず，対して，第 2 ビームは書き換えを行っているため，第 1 ビームにのみぺナ
入力文 : This essay will illustrate on two aspect.

図 5 ビーム幅 2 における誤り箇所を考慮したビームサーチの概要図。薄い色は生成確率が高いことを示している.

ルティが与えられ, 最終的に訂正を行っている第 2 ビームから "this in”と “this with" が選択されることになる.

## 5 BERT を用いた文分類

BERT は大規模データにより事前学習された言語表現モデルであり, 様々な自然言語処理のタスクにおいて高い性能を発揮している。実際に，文法誤り訂正と類似タスクである文法的に誤っている箇所の検出を行う文法誤り検出というタスクにおいても BERT が用いられている (Kaneko and Komachi 2019). BERT は入力として文または文対を受け取り，それらを符号化するモデルである。学習時, 入力文対が連続した文であるか否かの分類や, 入力トークンの一部を $[\mathrm{MASK}]$ トークンに置き換えた上で，元のトークンの推定を行うことで高性能な言語表現を獲得している。また，BERT の入力には先頭に [CLS] というトークンが挿入されており，このトークンに対応する隠れ層が入力文もしくは入力文対の分散表現を表している．我々は，訂正度を制御した文法誤り訂正における適切な特殊トークンの選択や，誤り箇所を考慮したビー ムサーチにおける $s_{b, t}$ として BERT の [CLS]トークンの分散表現を分類する手法を用いた。いずれの手法も事前学習済みの BERT ${ }^{1}$ に対して再訓練を行った.


## 5.1 BERT を用いた訂正度の推定

3 章にて述べた通り, 訂正度を制御した文法誤り訂正モデルだけでは, 参照文が与えられない限り, 推論時に入力文に対して適切な訂正度の判別はできない. 本章では, この BERT を用いた入力文に対して適切な訂正度の選択手法について述べる。

具体的な手法としては, BERT に対して誤り文のみを入力し, それに対応する訂正度を $L$ 值分類として出力させるというものである。ここで，1つの誤り文に対して複数の訂正度が考えられるが，誤り文に含まれる誤り箇所の個数は限られており，それに対応して単語編集率も限られているため，ある程度の分類は可能であると考えられる。

実際に訂正度を制御した文法誤り訂正モデルにおいて $n$-best 出力を得る際, BERT の予測確率を用いて複数の特殊トークンの出力から $m_{i}$-best を選択し, それらを合わせて最終的な $n$-best を得る．1つの特殊トークンによる出力を用いるのではなく, 複数の訂正度による出力を選択することで，より多様な出力を得ることができる，具体的な選択手法としては，まず，式 3 に示す通り, BERT の特殊トークンに対する出力スコア $o=\left(o_{1}, \ldots, o_{i}, \ldots, o_{L}\right)$ に対して Softmax 関数を用いて，特殊トークンごとの出力確率 $p=\left(p_{1}, \ldots, p_{i}, \ldots, p_{L}\right)$ を得る. 得られた出力確率に対して式 4 に示す通り， $n$ を掛け，小数点以下を四捨五入することで特殊トークン毎に採用する $m_{i}$-best の数を決定した。

$
\begin{aligned}
p_{i} & =\frac{\exp \left(o_{i}\right)}{\sum_{l=1}^{L} \exp \left(o_{l}\right)} \\
m_{i} & =\operatorname{round}\left(n \times p_{i}\right)
\end{aligned}
$

## 5.2 BERT による訂正箇所の分類

4 章で述べた通り, 入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行う必要がある．動的計画法などを用いて入力文と出力文の対応を取ることで，訂正が行われているか否かの判定が可能になると考えられるが，デー夕内の文数 $\times$ ビーム幅 $\times 夕$ イムステップ数の処理が必要となる. 本研究では, より高速にバッチ処理が可能な BERT を用いて入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行った.本節では, 誤り箇所を考慮したビームサーチの $s_{b, t}$ に対する BERT の利用法について説明する.

$s_{b, t}$ は， 4 章にて述べた通り，夕イムステップ $t$, ビーム $b$ の最も生成確率の高いトークンにおいて，訂正が行われているかどうかを表す指標である。そこで，BERT に対して誤り文と， その誤り文に対する，あるタイムステップまでのモデルの出力文の 2 文を入力し， モデルの出力文の最後のトークン，つまり，あるタイムステップ $t$, ビーム $b$ において生成確率が最大であるトークンが訂正されたトークンであるかどうかの分類を行わさせる。そして, BERT が訂正していないと分類した確率を $s_{b, t}$ として用いる.

表 2 データセットの概要

## 6 実験

## 6.1 データセット

表 2 に本実験において使用したデータセットの概要を示す。訓練データとしては, 学習者支援に関する国際会議である Workshop on Innovative Use of NLP for Building Educational Applications (BEA) において 2019 年に開催された Shared Task on Grammatical Error Correction (Bryant et al. 2019) の Restricted track にて使用された訓練データ (BEA-train)を用いた.この訓練データには, The First Certificate in English (FCE) を受験した学習者の回答から集められた FCE コーパス (Yannakoudakis et al. 2011)，言語学習者のための SNS である Lang-8 の添削データより集められた Lang-8コーパス (水本他 2013), シンガポール国立大学の英語学習者である学生が作成した作文から集められた NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) , 英語学習者の学生のライティングを支援する Write \& Improve と英語を母語とする学生の作文より集められた W \& I+LOCNESS コーパス (Bryant et al. 2019; Granger 1998) の4つのコーパスが含まれている。ただし，前処理として訂正が行われていない文と訂正結果が空白である文対は取り除いた。また，訓練時，最適なモデルのエポック数を決定するために， BEA-2019において使用された開発データ (BEA-valid) を用い, この開発データに対する loss が最小となるエポック数を最適なモデルのエポック数とし，その時点でのモデルを実験に用いた. 既存手法の多様なビームサーチ (Vijayakumar et al. 2018) や提案手法である誤り箇所を考慮したビームサーチに使用するハイパーパラメータに関しては, JFLEGを用いて最適化を行った. JFLEG は 4 つの参照文が存在しており，CoNLL-2014には 18 の参照文が存在する。ここで，CoNLL-2014 Shared Task: Grammatical Error Correction にて付与された参照文数は 2 つであるが，Bryant and Ng (2015)により8つ，Sakaguchi et al. (2016)により8つの参照文が新たに作成されているため，それらを全て組み合わせ，18の参照文数となる。

訂正度の推定に用いる BERT の再訓練には，訂正度を制御した文法誤り訂正モデルの訓練に用いた特殊トークンを付与したデータセットと同じ訓練データを用い，特殊トークンを付与する前の誤り文を入力し，そこから特殊トークンを予測させるという訓練を行った。たたし， ラ

ンダムに 5,000 文選択し, 開発データとして用いた.

訂正箇所の分類に用いる BERT の再訓練に用いたデータセットとしては, NUCLE を用いた.

ERRANT (grammatical ERRor ANnotation Toolkit) (Bryant et al. 2017)を用いて, 訂正文において誤り文から挿入・置換・削除の訂正が行われている箇所を抽出することで，誤り文と訂正が行われている単語までの訂正文のペアを作成した。訂正箇所の分類に用いる BERT においては訂正が行われていない場合，高いスコアであることが望まれるため，これを負例としてラベル付けした，ただし，削除の訂正に関しては，削除した単語の直後の単語までの訂正文を負例とした. 正例としては，誤り文と訂正が行われていない単語までの訂正文のぺアを作成し，負例と同数になるようにランダムに選択することで作成した。また，開発データとしては，CoNLL-2013 Shared Task on Grammatical Error Correction (Ng et al. 2013) にて用いられたデータセットである CoNLL-2013 に対して訓練データと同様の処理を行ったデー夕を用いた. 以上の処理により, NUCLE は元々 57,151 文対存在するが，168,524 文対の学習デー夕となり, 元々 1,381 文対存在する CoNLL-2013 は，11,009 文対の開発データとなった。また，再訓練の結果，開発デー 夕における $\mathrm{F}$ 値は約 0.97 であった。

## 6.2 評価方法

我々は, 手法毎の性能を比較するために以下の 3 つの評価指標を設定した.

訂正の多様性の評価 (C-score) 訂正結果の多様性を評価するために, モデル出力の $n$-best と複数参照間の一致率を評価する。一致率の算出方法としては, 機械翻訳における多様な翻訳文生成を目的とした 2020 Duolingo Shared Task (Mayhew et al. 2020)の評価指標として使用された重み付き再現率を使用する，具体的には，モデル出力の $n$-best と複数参照文間において完全一致した文数を求め，一致した参照文に応じて重み付けを行う。そして。重み付けされた値を評価デー夕内の全参照文数で割ることで一致率を算出する。ただし，本研究においては，ある 1 つの入力文に対する参照文間で重複した回数を参照文の総数で割った値を重みとして使用した.訂正箇所の正しさの評価 (DF-score) 入力文全体を書き換えて多様化するのではなく, 実際に訂正が必要な箇所のみに書き換えが行われているかどうかの評価を行う．評価方法としては, まず式 5 に示す通り，誤り文 errの $n$-gram から参照文に対しての document frequency (df) を求める.ここで, $n g^{e r r}=\left(n g_{1}^{e r r}, \ldots, n g_{i}^{e r r}, \ldots, n g_{n}^{e r r}\right)$ は誤り文の $n$-gram 集合, $\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|$ は $n g_{i}^{e r r}$ を含む参照文 $r$ の総数, $|R|$ は総参照文数である。次に，式 6 に示すとおり，誤り文の $n$-gram 集合とモデルの出力文 hyp の $n$-gram 集合 $n g^{\text {hyp }}$ の積集合 $n g^{\text {err } \cap \text { hyp }}$ を求める. そして, 式 7 に示す通り，モデルの出力文における $n g_{i}^{\text {err } \cap h y p}$ の出現回数 $\operatorname{COUNT}\left(h y p, n g_{i}^{\text {err } \cap h y p}\right)$ を求め, その $n$-gram に対応する $\mathrm{df}$ を出現回数に掛け, さらに誤り文における $n g_{i}^{\text {err }}$ の出現回数 $\operatorname{COUNT}\left(\mathrm{err}, n g_{i}^{\text {err }}\right)$ に df を掛けた值の合計値で割ることで，そのモデル出力に対するスコアを算出する.

$
\begin{aligned}
d f_{i} & =\frac{\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|}{|R|} \\
n g^{\text {err } \cap h y p} & =n g^{\text {err }} \cap n g^{\text {hyp }} \\
d f_{\text {score }} & =\frac{\sum_{i=1}^{n} \operatorname{COUNT}\left(h y p, n g_{i}{ }^{\text {err } \cap h y p}\right) d f_{i}}{\sum_{i=1}^{n} \operatorname{COUNT}\left(e r r, n g_{i}^{e r r}\right) d f_{i}}
\end{aligned}
$

このスコアは, df が高い $n$-gram, つまり書き換える必要のない $n$-gram がモデルにより書き換えられ，出力文に出現しない場合，大きく低下する.

文法誤り訂正の精度評価 (G-score) 手法毎における文法誤り訂正タスクとしての性能を評価するため, 一般的に文法誤り訂正タスクにおいて用いられる評価指標を用いて評価を行った。具体的には表 2 に示す通り，JFLEG に対しては GLEU score (Napoles et al. 2015)を, CoNLL-2014 に対しては MaxMatch $\left(\mathrm{M}^{2}\right.$ ) score (Dahlmeier and Ng 2012)を用いて評価した.

## 6.3 文法誤り訂正モデル

我々は，文法誤り訂正モデルとして Transformer base (Vaswani et al. 2017)を用い，パラメー 夕も同様のものを用いた22、ベースラインモデルとしては，BEA-trainをそのまま訓練データとして用いて訓練したモデルを用いた。ビームサーチ時のビーム幅は生成したい $n$-best 出力の $n$ と同様の値を用いた。既存手法の多様なビームサーチ (Vijayakumar et al. 2018) におけるハイパーパラメータである Diversity Strength は 0.6 を, Number of Groups はビーム幅と同様の値を用いた。提案手法である誤り箇所を考慮したビームサーチのハイパーパラメータとして, ベー スラインモデルに対しては $\lambda=0.5, \beta=1.0 を$, 訂正度を制御した文法誤り訂正モデルに対しては $\lambda=0.1, \beta=1.0$ を用いた.

訂正度を制御した文法誤り訂正においては，BEA-train 内の全誤り文の文頭に対応する特殊トークンの付与を行った新たな訓練データを作成し，この新たに作成した訓練データを用いてモデルの訓練を行った．JFLEGにおいて，異なる特殊トークンの種類数を用いて学習を行った結果を表 3 に示す.ここで，特殊トークンの種類数が 1 の場合は特殊トークンを付与していない通常の訓練データを用いた場合の結果を示している。BERT accuracy は BERT を用いた訂正度の推定精度を示しており，特殊トークンの種類数が多くなるにつれて推定精度が低下しており，その他の評価スコアも同様に低下している。したがって，BERT による推定精度が低いと適切でない訂正度の出力が選択されることになり，適切に多様性を向上できなかったと考えられる。特殊トークンの種類数としては 2 のときが最も高いスコアとなったため, 本研究においては 2 を選択した。訂正度を制御した文法誤り訂正モデルの訓練に使用した特殊トークン毎の単語編集率の閾値を表 4 に示す. BEA-train 内の全文対における単語編集率に基づいて 2 つ


表 3 JFLEGにおける特殊トークンの種類数別の結果

表 4 訓練データ内の特殊トークンに対応する単語編集率の閾値と文数

表 5 CoNLL-2014 における 10, 15, 20-best の実験結果

2 つの特殊トークンを定義した。特殊トークン毎の単語編集率の最大值と最小值に重複が見られるのは，それぞれの特殊トークンの集合において文数が等しくなるように分割したためである。また，原文の単語数を超える単語数の挿入，削除，置換が行われる場合，単語編集率は 1 を超える。

## 6.4 実験結果

表 5 は, ベースラインモデルに通常のビームサーチを適応したモデル (PBS), 多様なビームサーチを適応したモデル (DGBS) (Vijayakumar et al. 2018), mixture of experts (MoE) (Shen et al. 2019) と，提案手法である訂正度を制御した文法誤り訂正モデル (WER), WER に誤り箇所を考慮したビームサーチを適応したモデル (+DLBS) の評価データにおける実験結果である.

表 6 特殊トークン毎の誤り訂正結果

また，10，15，20-best において実験を行った。*は提案手法が PBS に対して，†は + DLBS が WER に対して，ブートストラップ法により有意水準 0.05 で有意差があることを示す.

既存手法である DGBS と MoE は, PBS と比較すると出力の多様性を示す C-score が低下しており，機械翻訳などにおいては有効なこれらの手法が，文法誤り訂正においては有効でないことがわかる. さらに，15, 20-best において DGBS の DF-score が大きく低下していることから, 訂正が不要な部分においても書き換えを行っていると考えられる。一方で, 提案手法であるWER は， G-score は低下しているが，C-score においていずれの既存手法よりも上回っており, DF-score も高いことから, WER は不要な訂正を行うことなく, 多様な出力を生成できていることが確認できる。ここで, G-score の低下の主な原因として, “It is hereditary ."という入力文に対して, “It is a hereditary."への訂正という不必要な冠詞の插入どが多く見られ,多様化に伴い，細かい訂正が増加したことが挙げられる．DLBS $8 \mathrm{PBS}$ に適用した場合は，10, 15-best において C-score が向上し，DF-score も向上した。同様に，WERに適用した場合は 10 , 20-best において C-score が向上し, DF-score も向上していることから訂正が必要な箇所のみを多様化していることが確認できる。

## 7 分析

## 7.1 訂正度の制御に関する分析

訂正度を制御した文法誤り訂正モデルにおいて, 実際に特殊トークンによりモデルの訂正度が制御できているかどうかの実験を行った。異なる特殊トークンでの訂正度の違いを分析するため, この実験では特殊トークンの種類数を 4 として学習したモデルを利用した. そのため, この分析においては BEA-train 内の全文対における単語編集率に基づいて4つの集合に分け,

文集合）の４つの特殊トークンを定義した，表 6 は，全て同一のモデルであるが，それぞれ推
論時の入力文の全文に対して異なる特殊トークンを付与した場合の結果を示している．例えば， $\left.\langle w e r \_1\right.\rangle$ の行は JFLEG と CoNLL-2014の全入力文の文頭に $\left.\langle w e r \_1\right.\rangle$ を付与して推論させた場合の結果である.

単語編集率の列は，それぞれの評価データの入力文とそれに対応するモデルの出力文から単語編集率の平均値を求めた結果であり，Gold の行は参照文との単語編集率の平均値である。これらの値を特殊トークンごとに比較すると，特殊トークンにより定義された単語編集率の大きさに比例して実際の単語編集率も変化していることがわかる。 つまり，特殊トークンによってモデルの訂正度を制御することが可能であることを示している。しかし，同一特殊トークン内でも JFLEG と CoNLL-2014 における単語編集率が異なることがわかる。一方で, 同一特殊トー クン内における単語編集率の差は Gold における単語編集率の差とほぼ同様であることから, このモデルは特殊トークンにより定義された単語編集率だけに従って訂正をするのではなく，入力文も考慮して訂正度を制御していると考えられる。

た場合であり，次は特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合である。一方で，CoNLL-2014において最も高い $\mathrm{F}_{0.5}$ となったのは, 特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合であり, 次は特殊トークン $\left.\langle w e r \_1\right.\rangle$ を付与した場合である。この差は, JFLEG と CoNLL-2014において訂正度が異なるため, JFLEG においては CoNLL-2014よりもより大きな訂正度で訂正を行った場合の方がスコアが向上したと考えられる。それぞれの特殊トークンでの適合率 $(\mathrm{P})$ と再現率 $(\mathrm{R})$ を見ると，特殊トークン $\left.\langle w e r \_1\right.\rangle$ での適合率が最も高く, 再現率が低い。一方で, 特殊トークン $\left.\langle w e r \_4\right.\rangle$ での適合率が最も低く, 再現率が高くなっている.このことから, 単語編集率と比例して再現率が変化し, 反対に単語編集率と反比例して適合率が変化していることがわかる.

## 7.2 BERT による特殊トークン推定に関する分析

図 6 は，CoNLL-2014において，BERT による特殊トークン毎の予測結果と実際の参照文の単語編集率に基づいた特殊トークンとの混同行列を示している。縦軸は, CoNLL-2014 の複数参照文から算出した平均単語編集率に基づいた正解ラベルであり，横軸は，BERTにより特殊トークン毎の $m$-best を選択する際の予測結果を示している。また, 図中の値は実際に BERT により選択された $m$-best の総数を示しており, 色の濃さは文数の多さと比例している。まず,表 6 に示した通り, CoNLL-2014の平均単語編集率は低いため, 正解ラベルも $\left.\langle w e r \_1\right.\rangle$ が多く,偏りが見られる。同様に，BERTによる予測結果も〈wer_1 と予測した結果が多くなっている. ただし，正解ラベルが $\langle w e r-2\rangle$ の場合においても $\left.\langle w e r \_1\right.\rangle$ と予測した結果が多くなっているため，訂正度が低い方に予測を行う傾向があるということがわかる.

図 7 は, 正解ラベルと BERT による予測結果の組み合わせ毎の C-score を示した混同行列である。ただし，C-score を求める際，参照文を全文用いると BERTにより出力文が選択されていな

図 6 CoNLL-2014 における BERT による特殊トークンの推定結果

図 7 CoNLL-2014 における BERT により選択された特殊トークンごとの出力の C-score

い, つまり, 出力文が存在しない場合, 不当にスコアが低くなるため, 出力文が選択されている

あり，予測結果も $\left.\langle w e r \_1\right.\rangle$ の場合が最もスコアが高くなっている。 また, 正解ラベルが $\left.\langle w e r \_1\right.\rangle$ であり，予測結果が $\left.\langle w e r \_2\right.\rangle$ である文数は少ないが，スコアとしては高くなっている，これは，参照文に訂正が少ないデータが多いため，複数参照文内にも重複が多く，全体的にスコアが上がりやすいためであると考えられる。一方で, 正解ラベルが $\left.\langle w e r \_2\right.\rangle$ の場合は, 全体的にスコア

測結果が $\left.\langle w e r \_1\right.\rangle$ の場合のスコアの方が僅かに高くなっている。この結果の原因としては，まず，訂正度が高い方が訂正箇所が多く，文の完全一致で評価しているため正解ラベルが $\left.\langle w e r \_1\right.\rangle$ の場合よりも難しい問題となっているためであると考えられる。加えて，BERTにより選択された文数が少なく，〈wer_2 と予測された文数は $\left.\langle w e r \_1\right.\rangle$ と予測された文の半数であるため，スコアが低くなったと考えられる。

## 7.3 多様化に関する分析

表 7 の上部は，訂正度を制御した文法誤り訂正モデルにおける特殊トークン毎の C-score において，誤り箇所を考慮したビームサーチの影響を比較した表である。この表より，ほぼ全ての出力において，誤り箇所を考慮したビームサーチを用いることで多様性が向上することがわかる. $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ を比較すると, 訂正度が高い $\left.\langle w e r \_2\right.\rangle$ の方がスコアが低くなっているが, これは CoNLL-2014 の訂正度が元々低いため, 訂正度を高くしてもスコアの向上が見られなかったと考えられる。

表中の Single WER は BERT によって入力文から予測された特殊トークンの中で最も予測確率の高い単一の特殊トークンの出力文を選択した場合の結果である。一方で, Multi WER は

表 7 特殊トークン毎の出力文の多様性

BERT の予測確率から複数の特殊トークンの出力文を選択した場合の結果であり, 表 5 の WER や + DLBS と同様の結果である。これらを比較すると， Single WER では，スコアが低下しているため，1つの入力文に対して単一の訂正度ではなく, 複数の訂正度を用いることで多様な訂正文が得られることがわかる。また, Gold WER は複数参照文から求めた平均の単語編集率から入力文に付与する特殊トークンを設定した場合で, Oracle WER は特殊トークン $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ の $2 \times n$-best の中からスコアが最も高くなるように $n$-best を選択した場合のスコアを表している。この結果より, 参照文より求めた特殊トークンを付与することでは, 最良の結果が得られないことがわかる． 7.1 節で述べた通り，入力文も考慮して訂正度の制御が行われており，特殊トークンにより定義された単語編集率に基づいてモデルの訂正度が変化するわけではないため，高いスコアが得られなかったと考えられる。一方で，最良な $n$-best を選択することで，スコアが大幅に向上していることから，異なる特殊トークン間の出力に大きく多様性が存在していると考えられる。

## 8 おわりに

本研究では，文法誤り訂正において多様な訂正文を生成するための手法を提案した。我々は，訓練データに対して単語編集率に基づいた特殊トークンの付与を行い，新たに作成した訓練デー タで文法誤り訂正モデルを訓練することで出力文の訂正度の制御を可能にした。また，このモデルにより生成された訂正文が既存手法よりも多様な訂正文を生成可能であることも示した. さらに，誤り箇所を考慮したビームサーチを組み合わせることで，訂正が必要な箇所のみをより多様にした出力が得られる事を示した。

## 謝 辞

Lang-8 のデータ使用にあたり, データを共有して頂きました株式会社 Lang-8 の喜洋洋様に感謝申し上げます。

本論文の内容の一部は, The 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop $と$ The 28th International Conference on Computational Linguistics で発表したものである (Hotate et al. 2019, 2020).

## 参考文献

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of BEA, pp. 52-75.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of ACL, pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of ACL, pp. 697-707.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of AAAI, pp. 5755-5762.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of NAACL, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of BEA, pp. 22-31.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Granger, S. (Ed.) (1998). The Computer Learner Corpus: A Versatile New Source of Data for SLA Research, pp. 3-18. Learner English on Computer.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of $B E A$, pp. 252-263.

Hotate, K., Kaneko, M., Katsumata, S., and Komachi, M. (2019). "Controlling Grammatical Error Correction Using Word Edit Rate." In Proceedings of ACL SRW, pp. 149-154.

Hotate, K., Kaneko, M., and Komachi, M. (2020). "Generating Diverse Corrections with Local Beam Search for Grammatical Error Correction." In Proceedings of COLING, pp. 2132-2137.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of NAACL, pp. 595-606.

Kaneko, M. and Komachi, M. (2019). "Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection." Computación y Sistemas, 23 (3), pp. 883-891.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of $A C L$, pp. 4248-4254.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of EMNLP, pp. 1236-1242.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL, pp. 110-119.

Li, J., Monroe, W., and Jurafsky, D. (2016b). "A Simple, Fast Diverse Decoding Algorithm for Neural Generation." CoRR, abs/1611.08562.

Mayhew, S., Bicknell, K., Brust, C., McDowell, B., Monroe, W., and Settles, B. (2020). "Simultaneous Translation and Paraphrase for Language Education." In Proceedings of WNGT, pp. 232-243.

水本智也，小町守，永田昌明，松本裕治 (2013)，日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432. [T. Mizumoto et al. (2013). Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 28 (5), pp. 420-432.].

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of ACL, pp. 588-593.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of EACL, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-12.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Gram-
matical Error Correction: Fluency Instead of Grammaticality." TACL, 4, pp. 169-182.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Controlling Politeness in Neural Machine Translation via Side Constraints." In Proceedings of NAACL, pp. 35-40.

Shen, T., Ott, M., Auli, M., and Ranzato, M. (2019). "Mixture Models for Diverse Machine Translation: Tricks of the Trade." In Proceedings of ICML, pp. 5719-5728.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of NIPS, pp. 5998-6008. Vijayakumar, A. K., Cogswell, M., Selvaraju, R. R., Sun, Q., Lee, S., Crandall, D. J., and Batra, D. (2018). "Diverse Beam Search for Improved Description of Complex Scenes." In Proceedings of AAAI, pp. 7371-7379.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of ACL, pp. 180-189.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of NAACL, pp. 156-165.

## 略歴

甫立健悟：2019 年首都大学東京（現東京都立大学）システムデザイン学部シ

ステムデザイン学科情報通信システムコース卒業. 2021 年東京都立大学システムデザイン研究科システムデザイン専攻情報科学域博士前期課程修了. 同年株式会社リクルート入社. 現在に至る.

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了.博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.

勝又智：2018 年首都大学東京システムデザイン学部情報通信システムコース卒業. 2020 年同大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年株式会社レトリバ入社. 現在に至る. 自然言語処理の研究に従事.小町守：2005 年東京大学教養学部基礎科学科科学史 - 科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)．同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授。大規模なコーパスを用いた意味解析および統計的
自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2020 年 9 月 1 日受付)
(2020 年 11 月 30 日再受付 $)$
$(2021$ 年 1 月 19 日採録)