# 文法誤り訂正の参照文を用いない自動評価の人手評価への最適化

吉村 綾馬 $\dagger \cdot$ 金子 正弘 $\dagger$ ・梶原 智之 $\dagger,+\dagger$ ・ 小町守 $\dagger$
}

信頼できる文法誤り訂正の自動評価手法の構築は，文法誤り訂正の研究および開発 の発展に有用である。可能な参照文を網羅することが難しいため，先行研究では参照文を用いない自動評価手法が提案されてきた。そのうちの一つは, 文法性・流暢性・意味保存性を評価する 3 つの評価モデルを用いることで，参照文を用いる手法 よりも人手評価との高い相関を達成した。しかし，各項目の評価モデルは人手評価 には最適化されておらず，改善の余地が残されていた。本研究では，より適切な評価を行える自動評価手法の構築を目的として，各項目の評価モデルを事前学習され た文符号化器を用いて人手評価に対して最適化する手法を提案する。 また, 最適化 に理想的である，訂正システムの出力文に対して人手評価が付与されたデータセッ トの作成を行う。実験の結果, 項目ごとの評価モデルおよびそれらを組み合わせた 手法の両方で，従来手法と比べて人手評価との相関が向上し, 事前学習された文符号化器を用いることおよび訂正文の人手評価に最適化することの両方が貢献してい ることがわかった。分析の結果, 提案手法は従来手法に比べて多くのエラータイプ の訂正を正しく評価できていることがわかった.

キーワード：文法誤り訂正，自動評価
## Optimization of Reference-less Evaluation Metric of Grammatical Error Correction for Manual Evaluations

Ryoma Yoshimura ${ }^{\dagger}$, Masahiro Kaneko $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger, \dagger \dagger}$ and Mamoru KомACHI $^{\dagger}$

The development of a reliable automatic evaluation metric of grammatical error correction (GEC) is useful for the research and development of GEC. Since it is difficult to cover all possible reference sentences, previous studies have proposed referenceless metrics. One of them achieved a higher correlation with manual evaluation than reference-based metrics by integrating metrics from the three perspectives of grammaticality, fluency, and meaning preservation. However, the correlation with the manual evaluation can be further improved because they are not considered for optimizing each metric for each manual evaluation. Therefore, in this study, we propose a method of optimizing each metric. Furthermore, we create a dataset with manual evaluation of system output that is ideal for optimization. Experimental results show

that the proposed method improves correlation with the manual evaluation in both the metric of each perspective and combining the metrics. We also demonstrate that both using pre-trained language models for optimization and optimizing to manual evaluation on system output of GEC contribute to improvement. As a result of the analysis, it was found that our proposed metric appropriately rewarded more edits of error types than the conventional methods.

Key Words: Grammatical Error Correction, Automatic Evaluation Metric

## 1 はじめに

文法誤り訂正は，主に言語学習者の書いた文法的に誤っている文（入力文）を文法的に正し い文（訂正文）に編集するタスクである。自動評価はコストをかけずにシステムを定量評価で きるため，信頼できる自動評価手法の構築は研究および開発の発展に有用である. 自動評価は 訂正システムの出力文を入力文や人手で訂正した文（参照文）などを用いて評価する．訂正の 仕方は一つではなく複数の訂正が考えられるため, 自動評価は難しいタスクである。文法誤り 訂正の自動評価は，参照文を用いる手法 (Dahlmeier and Ng 2012; Napoles et al. 2015) と用い ない手法 (Napoles et al. 2016; 浅野他 2018) に大別できる。前者は，可能な参照文を網羅する ことが難しい (Bryant and Ng 2015) ため，参照文に含まれない表現に対してはそれが適切な訂正であっても不当に低い評価を与えるという問題がある。後者にはこの問題がなく, 特に浅野他 (2018) は文法性・流暢性・意味保存性の各自動評価モデルの評価を統合することで参照文を 用いる自動評価手法よりも人手評価との高い相関を達成した。文法性は訂正文が文法的に正し いかという観点である。流暢性は訂正文が母語話者にとってどの程度自然な文かという観点で あり，文法性と区別されて重要性が示されている (Sakaguchi et al. 2016). 意味保存性は入力文 と訂正文がどの程度意味が同じであるかという観点であり，文法的な文でも入力文と意味が異 なる訂正は不適切なため重要な観点である。このように 3 項目で評価を行うことは，自動評価 の解釈性を高めることができるため重要である。しかし，これらの各自動評価モデルは訂正文 に対する各項目の人手評価に対してそれぞれ最適化されておらず，改善の余地がある.

本研究では，人手評価との相関が高く，多様な訂正を正しく評価できる自動評価手法を構築 するために, 浅野 他 (2018)の拡張として, 文法性・流暢性・意味保存性の各自動評価モデル を各項目の人手評価に対して直接最適化する手法を提案する。具体的には，各項目の評価モデ ルとして, 少量のデータで目的タスクに最適化できる事前学習された文符号化器 Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)を用い，各項目の人手評価値付きデータセットで再学習することで各評価モデルを最適化する。また，学習者が書い た文や機械翻訳の逆翻訳による擬似誤り文に対して，文法性や流暢性の評価値が付与された既存のデータは存在するが，文法誤り訂正の自動評価のために理想的な設定である，訂正文に対

する各項目の人手評価值付きデータセットは存在しない，そのため，我々はクラウドソーシン グを用いて，代表的な 5 種類の文法誤り訂正システムの訂正文に対して文法性・流暢性・意味保存性の人手評価を付与し，データセットを作成する。

実験では，人手評価との相関および MAEGE (Choshen and Abend 2018) によって自動評価手法をメ夕評価する．実験の結果，両方のメ夕評価において我々の自動評価手法が従来の自動評価手法よりも適切な評価ができることを示した．また，各項目に対応する既存のデータセッ 卜を用いて訓練した自動評価モデルとの比較から，システムの訂正文に対する人手評価を用い て BERTを再学習することの有効性が明らかになった. 分析の結果, 参照文を用いない手法が 多くのエラータイプの訂正を正しく評価できていないのに対して，提案手法は全てのエラータ イプの訂正を正しく評価できていることがわかった.

本研究の主な貢献は以下の 4 つである.
- 文法誤り訂正の自動評価において, 事前学習された文符号化器を用いて人手評価に直接最適化する手法を提案した。
- 文法誤り訂正における自動評価手法の学習のための, 訂正システムの訂正文に対して文法性・流暢性・意味保存性の 3 項目の評価値を付与したデータセットを作成した 1 .
- 人手評価との相関に基づくメ夕評価および MAEGEによるメ夕評価の結果，提案手法は 既存手法よりも適切な評価が行えていることを示した。
- 分析の結果, 従来手法に比べて, 提案手法は調査可能な全てのエラータイプの訂正を正 しく評価できていることを示した.

## 2 関連研究

## 2.1 文法誤り訂正の自動評価手法

## 2.1.1参照文を用いる手法

初期の研究 (Dale and Kilgarriff 2011) では, 訂正した単語単位の編集に対して適合率・再現率・F 値を評価していた. Dahlmeier and Ng (2012) はフレーズ単位で，適合率，再現率执よび 適合率を重視する $\mathrm{F}$ 値 $\left(\mathrm{F}_{0.5}\right)$ の 3 つの値を評価する Max Match $\left(\mathrm{M}^{2}\right)$ を提案し，より正確な自動評価が可能となった. Felice and Briscoe (2015) は悪い訂正と訂正を行わない場合の評価値が どちらも0になるなどの $\mathrm{M}^{2}$ の問題点に対処する I-measure を提案した. I-measure は単語しべ ルのアライメントに基づく重み付き精度によって計算され, 入力文が悪化すると負の値, 改善 すると正の値となる. Napoles et al. (2015) は機械翻訳の自動評価で使われる BLEU (Papineni et al. 2002)を文法誤り訂正のために改善した GLEUを提案した. BLEU は訂正文と参照文を用

いるが，GLEU は訂正文と参照文に加えて入力文も考慮する．Napoles et al. (2016)の調査によ ると，参照文を用いる手法の中では，GLEUが人手評価との最高の相関を持つ．これらの評価指標は参照文を必要とするため，参照文が全ての正しい文を網羅できない問題に対処できない. しかし，可能な参照文を網羅することは現実的ではない (Bryant and Ng 2015) ため，近年は参照文を用いない自動評価手法が注目されている.

## 2.1.2 参照文を用いない手法

Napoles et al. (2016) は参照文を用いない文法誤り訂正の自動評価手法を初めて提案した。文法誤り検出ツールに基づく手法と言語モデルなどの言語学的素性に基づく手法が提案され，前者が GLEU と同等の性能を持つことが示された。既存の文法誤り検出ツールである e-rater $® や$ language-tool を用いた手法と, Heilman et al. (2014)のミススペリング数や言語モデルの評価値 や未知語の数などの言語学的素性を用いた手法で実験を行い, e-rater®を用いた手法が GLEU とほぼ同等の性能であることを示した。浅野他 (2018) は文法性・流暢性・意味保存性の 3 つの 自動評価モデルに基づく, 参照文を用いない自動評価手法を提案し, 人手評価との最高の相関 を達成した。文法性は GUG データセット (Heilman et al. 2014) で訓練したロジスティック回帰, 流暢性は RNN 言語モデル, 意味保存性は METEOR (Denkowski and Lavie 2014)を用いて 評価し，各評価値の重み付き和を最終的な評価とした。各評価値の重みは JFLEG データセッ ト (Napoles et al. 2017) を用いてチューニングし， システムレベル・文レベルで Grundkiewicz et al. (2015)の評価データを用いてメ夕評価している。浅野他 (2018)の流暢性と意味保存性の 自動評価モデルは人手評価に対して最適化されておらず，特に意味保存性は人手評価との相関 が低い. 本研究では 浅野他 (2018) の拡張として, 文法性・流暢性・意味保存性の各自動評価 モデルを各項目の人手評価に対して最適化する。各項目の評価モデルを人手評価に最適化した 効果を検証するために, 最終的な評価値の計算方法や設定は 浅野 他 (2018) と同様に実験する.

## 2.2 各項目の評価モデルの学習に使用できる既存のデータセット

文法性に関しては，浅野他 (2018) が文法性に関する自動評価モデルを訓練するために使用 している， GUGデータセット2 (Heilman et al. 2014) がある. GUG データセットは, 学習者 の書いた文に対して文法性の人手評価が付与されている。流暢性に関しては, British National Corpus および Wikipedia の英文を Google 翻訳で折り返し翻訳した疑似誤り文に対して流暢性 (Acceptability)の人手評価が付与されたデータセット ${ }^{3}$ (Lau et al. 2015) が公開されている. 文法性，流暢性に関しては上述のデータセットが存在するが，意味保存性に関しては，誤り文を 含む文対に対して人手評価が付与されたデータセットは存在しない.
^{3}$ https://clasp.gu.se/about/people/shalom-lappin/smog/experiments-and-datasets
}

これらのデータセットは，学習者が書いた文や機械翻訳が生成した文に対して人手評価を付与している。本研究では, これらのテキストは文法誤り訂正システムの訂正文とは異なる性質 を持つと考え, 実際の訂正文に対して文法性・流暢性・意味保存性の自動評価を新たに収集し,自動評価モデルを訓練する.

## 2.3 自動評価手法の評価

自動評価手法の評価（メ夕評価）は，人手評価と高い相関を持つ自動評価ができることを検証するのが最も直観的であり (Banerjee and Lavie 2005), 一般的には人手評価との相関係数を 用いて評価される。実際, 機械翻訳の自動評価手法の Shared task である WMT 2019 Metrics Shared Task (Ma et al. 2019)では，複数の翻訳システムの出力文に対する人手評価と自動評価 の相関を用いて，システムレベルと文レベルでのメ夕評価を行っている.

文法誤り訂正における自動評価手法のメ夕評価では，複数の訂正システムに対する人手のラ ンキングとの相関を測るメタ評価が行われている (Grundkiewicz et al. 2015; Sakaguchi et al. 2016; Napoles et al. 2016; 浅野他 2018). 浅野他 (2018) はシステムレベルのメ夕評価たけで なく文レベルでのメ夕評価も行っている. 本研究でも同様に, システムレベルと文レベルの両方のメ夕評価を行う. Choshen and Abend (2018)は人手のランキングを用いるメ夕評価とは別 に, 人手の訂正から構築した束に基づく文法誤り訂正のメ夕評価手法 (MAEGE) を提案した.人手の訂正を用いることで，人手のランキングを用いるメ夕評価の評価者間および評価者内の 一致が低い問題に対処している。 さらに，人手のランキングに依存することによる一部の有効 なエラータイプの訂正を適切に評価できない問題に対して, 人手による訂正から構築した束全体を評価に用いることで対処している。本研究ではより適切なメ夕評価のため, 人手評価との 相関だけでなく，人手の訂正に基づくMAEGEによるメ夕評価も行う。人手評価との相関によ るメ夕評価の詳細を 5.2.1 節に，MAEGEによるメ夕評価の詳細を 5.2 .2 節に示す.

## 3 提案手法: 事前学習された文符号器を用いた自動評価モデル

文法性・流暢性・意味保存性の人手評価値付きデータセットを用いて, 各項目の評価モデルを 最適化する。各項目の評価モデルに，訂正文あるいは入力文と訂正文の対から人手評価値を推定する回帰モデルとして, 事前学習された文符号化器である BERT (Devlin et al. 2019)を用い ることを提案する. BERT はそれまでの単方向でしか学習していなかった事前学習モデルとは 異なり, 入力文の一部をマスクしマスクされた単語を当てるように学習を行うことで, 双方向で の学習が可能となり, 文全体を考慮した表現を獲得することができる。事前学習済みの BERT は，対象タスクに適した出力層に変更し，モデル全体を少量のデータセットで再学習させるこ とで様々な自然言語処理タスクで高精度の予測を行うことができる。

図 1 評価手法の全体像 $(\alpha, \beta, \gamma$ は各評価値の重み)

文法性・流暢性・意味保存性の項目ごとに BERT の再学習を行い, 各項目の人手評価に最適化した自動評価モデルを構築する。再学習には各項目の人手評価値が付与されたデータセット を用いる。ただし，図 1 に示すように，文法性および流暢性については訂正文のみから人手評価を推定し，意味保存性については入力文と訂正文の対から人手評価を推定する．再学習時に は回帰モデルの学習と同時に文符号化器の学習も行う.

訂正文の最終的な評価は, 浅野他 (2018) と同様に各項目の評価値の線形和で求める.

$
\text { Score }=\alpha \cdot \text { Score }_{\mathrm{G}}+\beta \cdot \text { Score }_{\mathrm{F}}+\gamma \cdot \text { Score }_{\mathrm{M}} \text {. }
$

ここで， Score ${ }_{G}$, Score $_{F}$, Score $_{M}$ はそれぞれ文法性，流暢性，意味保存性の評価值であり，各評価値は 0 から 1 になるように正規化を行う。重み $\alpha, \beta, \gamma$ は $\alpha+\beta+\gamma=1$ であり，いずれも 負の値を取らない。各重みの決め方については 5.2 節で説明する。

## 4 訂正文に対する人手評価値付きデータセットの構築

文法誤り訂正の自動評価に理想的なデータで自動評価モデルの学習を行うために，訂正シス テムの訂正文に対して各項目の人手評価が付与されたデータセットを構築する。文法誤り訂正 の検証用に一般的に利用されている CoNLL 20134のテストデータである 1,381 文を複数の訂正システムで訂正した訂正文に対して，文法性・流暢性・意味保存性の人手評価を収集する ${ }^{5}$. CoNLL 2013 のテストデータは, 英語を母語としないシンガポール国立大学の学生 25 名によっ て書かれたエッセイをもとに作られている。監視技術と高齢化についての 2 つのト゚ックにつ いて書かれており, 学生の習熟度は比較的高い。

## 4.1 訂正文生成のための文法誤り訂正システム

多様な訂正文に対して人手評価を収集するために，各入力文を代表的な以下の 4 種類の文法誤り訂正システムおよびシステムの学習時6に公開されている中で最高性能のシステム (Zhao et al. 2019) によって訂正し，アノテーションを実施する。

SMT: 統計的機械翻訳 (Statistical Machine Translation) に基づくモデル. Grundkiewicz and Junczys-Dowmunt (2018)の実装7を用いた。言語モデルおよび単語クラス言語モデルの訓練に は，公開されているデータ8のうち part00から part02 までの 30 億文を用いた. KenLM $^{9}$ (Heafield 2011)を用いて言語モデルの学習を行った. 単語クラスの学習には Word2Vec (Mikolov et al. 2013)を用いた。

RNN: Recurrent Neural Network に基づく系列変換モデル，実装には fairseq ${ }^{10}$ (Ott et al. 2019) を用いた． 4 層の Bi-directional LSTM を用い，単語埋め达みの次元数は 512, バッチサイズは 32 とし，その他の設定は Luong et al. (2015) に従った.

CNN: Convolutional Neural Network に基づく系列変換モデル. 実装には fairseq ${ }^{10}$ (Ott et al. 2019) を用いた. 符号化器および復号器の次元数は 512 とし, その他の設定は Chollampatt and $\mathrm{Ng}(2018)$ に従った.

SAN: Self-Attention Network に基づく系列変換モデル．実装には fairseq ${ }^{10}$ (Ott et al. 2019）を 用いた。設定は Vaswani et al. (2017) に従った.

SAN+Copy: 文法誤り訂正の入力文の単語が訂正されない割合が高いという性質を考慮して,訂正する必要がない部分は入力文から単語を直接コピーして出力できるようなコピー機構を

SAN に追加したモデル、データセットの作成時に公開されているモデルの中で最高性能のモデ ルであった. Zhao et al. (2019)の実装11を用いた.

各モデルの訓練のために, SAN+Copy は著者らが公開している訓練用データ ${ }^{11}$ (Lang-8, NUCLE, FCE) を，その他のモデルは Bryant et al. (2019)の訓練用データ12 (Lang-8, NUCLE, FCE，W\&I）を用いた。ただし， 100 トークン以上の文を削除した後に，Byte Pair Encoding ${ }^{13}$ (Sennrich et al. 2016)を用い, 結合回数を 30,000 として単語のサブワード化を行った. 各モデ ルを CoNLL 2013 のデータで 2 分割交差検証によって評価した結果および類似の設定で実験を 行っている先行研究の結果の比較を表 1 に示す. ただし, 先行研究は 2 分割交差検証ではなく, NUCLE データの一部を検証データとして CoNLL 2013 の評価を行っている. 先行研究の報告

表 1 CoNLL 2013 における各システムの $\mathrm{F}_{0.5}$ 値

と同等の性能を確認できたので， 2 分割交差検証のテストデータに対する訂正文に人手評価を 付与する。

## 4.2 訂正文に対する文法性・流暢性・意味保存性のアノテーショ

CoNLL2013 の 1,381 文を前節の各システムで訂正し, 重複する訂正文を除いた合計 4,223 文 に対して文法性・流暢性・意味保存性の人手評価值を付与する。文法性および流暢性は訂正文 のみで評価を行い，意味保存性は入力文と訂正文から評価を行うようにした。

文法性：訂正文の文法的な正しさを評価する． Heilman et al. (2014)の 5 段階評価 (4. 完璧, 3.分かりやすい, 2. 理解できる, 1. 理解できない, 0. その他) に従って評価した.

流暢性：訂正文の自然さを評価する. Lau et al. (2015)の 4 段階評価（4. 非常に自然, 3. やや 自然, 2. やや不自然, 1. 非常に不自然）に従って評価した.

意味保存性：入力文と訂正文の間の意味内容の等価性を評価する. Xu et al. (2016)の 5 段階評価（4. 同一，3. わずかに異なる，2. 異なる，1. 大幅に異なる，0. その他）に従って評価した. Amazon Mechanical Turk ${ }^{14}$ 用いて， 1 文あたり 5 人の評価者を募集した. データセットの 質を担保するために，US 在住者のうち，質の高い回答を行う Master 資格を保有し，過去の夕 スク承認率 $99 \%$ 以上かつ承認数 50 以上の評価者を採用した。また，入力文や訂正文を読まず に回答する評価者を拒否するために，全ての項目に 4 を回答させるダミー設問を設置した。さ らに，全ての項目に同じ回答をする評価者や，極端に回答時間が速い評価者も拒否した．最終的に， 3 人以上の評価者が「0. その他 15 を回答した文を除き，合計 4,221 文の人手評価値付き データセットを作成した. 時給 7.25 ドルと見積もって作業を複数人に分割して依頼し, データ 作成時点（2019 年）のレート換算で合計約 10 万円を使用してデータセットを作成した.

人手評価値のヒストグラムおよび各項目間のピアソンの積率相関係数を図 2 に示す. 2 以下 の評価は全体に少なく, 特に意味保存性の項目は多くが 3 以上の評価を得た。また，文法性と 流暢性との相関は高く，意味保存性は他の 2 項目間との相関が低い。流暢性の観点は文法性の

図 2 各項目のヒストグラム（左図）と各項目間の相関行列（右図）

図 3 実際の評価例

観点も含まれているため高い相関になったと考えられる，図 3 に実際のアノテーション例を示 す. 上の評価例では, 文法性および流暢性の評価は高いが, 副詞の “inversely” が “definitely"に なっているため意味保存性は低い評価となっている。下の例では文法性および流暢性の評価は 低いが，形の変化や冠詞の有無の違いであり，全体としては意味はほとんど変わらないため意味保存性は高い評価となっている.

## 5 実験設定

提案手法の有効性を検証するために，人手評価との相関によるメ夕評価および MAEGE によ るメ夕評価を行い，既存手法と比較を行う。さらに，本研究で作成した，訂正システムに対し て人手評価値を付与したデータセットで BERT を再学習することの有効性を検証するために， 2.2 節で説明した既存のデータセットで BERT を再学習した場合との比較も行う. 各項目の自動評価モデル単体のメ夕評価を行った後， 3 章で説明した各自動評価モデルを組み合わせた手法のメ夕評価を行う。

## 5.1 BERT の再学習

4 章で構築したデータセットを訓練/検証/評価に $3,376 / 422 / 423$ で分割し, BERT の再学習 に使用する。比較手法における BERT の再学習のために, 文法性 ${ }^{1}$ および流暢性 2 については 2.2 節で説明したデータセットを使用する。意味保存性については, 2 文間の意味的類似度を $[0.0,5.0]$ の連続值で評価した Semantic Textual Similarity タスク (Cer et al. 2017) のデータセッ ト16を使用する。文法性と流暢性に用いるデータセットは誤った文に対して評価がついている のに対し，このデータセットは誤りを含まない文対に対して評価がついている．事前学習済み の BERT (bert-base-cased)17を，それぞれのデータセットを用いて再学習する。ハイパーパラ メータは検証データを用いて, 最大文長は 128,256 , バッチサイズは 8,16 , 学習率は $2 \mathrm{e}-5$, 3e-5, 5e-5, エポック数は 1 から 10 の組み合わせからグリッドサーチで決定した. その他の学習設定は使用した事前学習済みモデルの事前学習時のものと同じである. 検証データでスピア マンの順位相関係数が最大となるモデルを選択した.

## 5.2 メタ評価実験

## 5.2.1 人手評価との相関によるメタ評価

システムレベルのメタ評価 システムレベルの評価では, 図 4 のように, システムレベルの自動評価値と人手評価値の相関を測ることでメ夕評価を行う。システムレベルの自動評価値は，各訂正文の自動評価値をシステムごとに平均して用いた。浅野他 (2018) と同様に, Grundkiewicz et al. (2015) が公開しているデー夕を用いる。このデータは 12 システムによる CoNLL2014 の テストデータの訂正文に人手で 1 から 5 のランク付けを行ったものである. CoNLL2014 のテ ストデータは CoNLL2013 のテストデータと同様に, シンガポール国立大学の学生 25 名の書 いたエッセイをもとに作られているが，トピックが異なり，遺伝子検査とソーシャルメディア の 2 つのトピックについて書かれている. さらに Grundkiewicz et al. (2015)はそのランクか

図 4 システムレベルでのメ夕評価

らレーティングアルゴリズムである True Skill (Herbrich et al. 2007) を用いてシステムレベル での人手評価を計算した。浅野他 (2018) と比較を行うために, Grundkiewicz et al. (2015) の Table $3 \mathrm{c}^{18}$ の人手評価を用いて計算した。相関係数にはピアソンの積率相関係数とスピアマン の順位相関係数を用いた。式 (1) の重み $\alpha, \beta, \gamma$ は 浅野 他 (2018) と同様に JFLEG データセッ ト (Napoles et al. 2017)の人手評価を用いて調整した. JFLEGデータセットを用いたのは, 単純には浅野他 (2018)の結果と比較するためであるが, 評価データや学習に使った CoNLLデー 夕と, システムの数・学習者の習熟度・編集率などの性質が大きく異なる JFLEGデー夕を使っ て重みを決めることでデー夕依存性の問題を議論できるからである。各重み $\alpha, \beta, \gamma$ は 0.01 刻み で， $\alpha+\beta+\gamma=1$ を満たす組み合わせからグリッドサーチを行い，ピアソンの積率相関係数を 最大化するように決定した.

文レベルのメタ評価 文レベルのメ夕評価では，各訂正文の自動評価値を人手評価値と直接比較する。浅野他 (2018) と同様に，Grundkiewicz et al. (2015)のデータセットにおける正解率 およびケンドールの順位相関係数によって，任意の 2 つの訂正文の優劣判定調査を行う。同一文に対するシステム出力の評価が異なるぺアの評価を行い，その正解率 (Accuracy) (式 (2)) と WMT2017 (Bojar et al. 2017) で使われているケンドールの順位相関係数 $\tau$ (Kendall's $\tau$ ) （式 (3)）を用いてメ夕評価を行う。一部の文に対しては複数人が評価を行っているが，それら は別事例とみなし， 14,822ペアに対して評価を行った。

$
\begin{gathered}
\text { Accuracy }=\frac{\text { 適切に評価したぺア数 }}{\text { 人手評価の大小が異なるぺア数 }} \cdot \\
\text { Kendall's } \tau=\frac{\text { 適切に評価したぺア数 }- \text { 逆に評価したぺア数 }}{\text { 人手評価の大小が異なるぺア数 }} .
\end{gathered}
$

式 (1)の重み $\alpha, \beta, \gamma$ は Grundkiewicz et al. (2015)のデータセットを 1:9 の割合で検証用と評価用に分割し, 検証用データにおけるケンドールの順位相関係数を最大化するように調整した. グリッドサーチの探索範囲はシステムレベルの評価と揃えた.

## 5.2.2 MAEGEによるメタ評価

Choshen and Abend (2018) らは, 人手評価との相関を用いるメ夕評価に存在する, 評価者間 および評価者内の一致が低い問題や，一部のエラータイプに対する訂正を適切に評価できない 問題に対処するために，人手による訂正を用いた自動評価手法のメ夕評価手法 (MAEGE) を提案した. 人手による訂正アノテーションが付与されたコーパスを用い, 各文に対して図 5 に示す ような人手の訂正を元とする束を構築する。全ての訂正が全体的な品質に等しく作用すると仮定して，訂正の適用数で順序づけが行われる。束を適用した誤り文セットを自動評価手法で評

訂正文

図 5 各誤り文に対する人手の訂正を元とした束（左図）と実際の例（右図). 各有向エッジは人手の訂正の適用を表し，訂正文 $k$ は誤り文に対して $k$ 人目の訂正者の全ての訂正を適用した文である.

価し, 定義された順序関係を正解順位として比較を行いメ夕評価を行う．MAEGEでは，コーパ スレベルと文レベルのメ夕評価を行うことができる。詳細な説明は Choshen and Abend (2018) を参照されたい.

本研究の実験では, CoNLL 2014 (Ng et al. 2014)のテストデー夕を使用する. 実験は公開さ れている実装19を使用したが，束を構築する際に入力文または訂正を適用した結果が空文にな らないように訂正を加えた。コーパスレベルのメ夕評価では Choshen and Abend (2018) と同様の設定で，ピアソンの積率相関係数およびスピアマンの順位相関係数を用いて評価した。文 レベルのメ夕評価では Choshen and Abend (2018) と同様の設定で, ケンドールの順位相関係数 $\tau^{20}$ およ゙ピアソンの積率相関係数で評価した. 各メ夕評価における各項目の重みは 5.2 .1 節 の文レベルのメ夕評価で決めた値を用いた. Choshen and Abend (2018)では, 2 人のアノテー ションのうち 1 人が訂正を行っていない文は削除している。それに加えて，上述した実装に加 えた条件によって, 元の 1,312 文から 808 文が選択される. その 808 文に対する合計 1,704 のア ノテーションから合計 6,634 文が生成され，評価に使用された。それぞれ 3 つのランダムシー ドで実験を行い，平均値を報告する.

## 5.3 ベースライン手法

本実験では，3つの自動評価手法と提案手法を比較する．参照文を用いる自動評価手法として は, 2.1.1 節で説明したうち, 文法誤り訂正の自動評価で一般的に使用されている $\mathrm{M}^{2}$ (Dahlmeier and Ng 2012) および GLEU (Napoles et al. 2015)を用いる. 参照文を用いる手法では，性能を 最大にして比較を行うために，公式の 2 つの参照文に加えて Bryant and Ng (2015) の追加の 8 つの参照文と Sakaguchi et al. (2016) の追加の 8 つの参照文を加えた 18 文を用いる。参照文を 用いない自動評価手法としては, 先行研究である 浅野 他 (2018)を用いる.

## 6 実験結果

各実験結果の表における，BERT w/ existing data は既存のデータでBERT を再学習した場合，BERT w/ our data は作成したデータでBERT の再学習を行った場合の結果を表す.

## 6.1 人手評価との相関によるメタ評価

表 2 に文法性・流暢性・意味保存性の各項目の自動評価モデルの, 作成した評価デー夕を用い たメ夕評価の結果を示す. 浅野他 (2018)のシステムレベルにおける結果は再実装したものを 用いた。 浅野他 (2018) の手法と比較して, 既存のデータでBERT を再学習する意味保存性の 評価モデルを除いて, 提案手法が高い相関を達成している. 既存のデータで BERT を再学習す る意味保存性の評価モデルの相関が高くないのは，再学習に用いたデータが文法的な誤りを含 まない文対に対して人手評価が付与されていたからであると考えられる．再学習に用いるデー タセットの違いでは, 我々が作成したデータで再学習した各評価モデルが最高の人手評価との 相関となっており, 訂正システムの出力に対する人手評価に最適化をすることの有効性が確認 できる.

表 3 に文法性・流暢性・意味保存性の各項目の自動評価モデルの, Grundkiewicz et al. (2015) の評価データを用いたメ夕評価の結果を示す. 浅野他 (2018)のシステムレベルにおける結果 は浅野他 (2018) からの引用，文レベルにおける結果は再実装したものを用いている。表 2 で は, 各自動評価モデルは対応する項目の人手評価との相関を計算しているが, 表 3 では, 各自動評価モデルは総合的な人手評価との相関を計算している。意味保存性はシステムレべルでは 負の相関, 文レベルでは無相関となったが，文法性と流暢性に関しては全ての項目で，我々の 作成したデータで BERT を再学習した手法がベースラインより高い相関となっている．意味保存性のシステムレベルで負の相関になっている理由は，訂正を行わないシステムに対する意味

表 2 作成したデータセットにおける各項目の自動評価手法のメ夕評価.
保存性単体の評価は高くなるのに対して，総合的な評価では訂正しないシステムに対しては低 い評価となるため負の相関になっていると考えられる。実際に，評価データ中の各システムの 訂正を行わない文数と提案手法の意味保存評価モデルの予測値のスピアマンの順位相関係数は 0.923 となり, 各システムの訂正を行わない文数とシステムの人手の順位とのスピアマンの順位相関係数は -0.549 となった。

表 4 に， 3 章で説明した各評価項目のモデルを組み合わせた手法の，システムレベルおよび文 レベルの人手評価との相関によるメ夕評価の結果を示す。浅野他 (2018)の結果は, システム レベルにおいては浅野 他 (2018) における 3 項目を組み合わせた手法の中で最大の相関値を引用，文レベルにおいては再実装したものを使用している。システムレベルと文レベルの両方で， BERT の再学習に基づく自動評価手法が他の自動評価手法よりも大幅に高い性能を示したこと から，文法誤り訂正の自動評価において事前学習された文符号化器 BERT を用いることの有効性が確認できる．BERT の再学習に使用するデータセットの違いからは, システムレベルと文 レベルの両方で我々のデータセットを用いる再学習が人手評価とのより高い相関を達成するこ とがわかる。このことから，実際のシステムの訂正文に対する各項目の人手評価に自動評価モ

表 3 Grundkiewicz et al. (2015) のデータセットにおける各項目の自動評価手法のメタ評価.

表 4 システムレベル（左）と文レベル（右）のメ夕評価

デルをそれぞれ最適化することの有効性が確認できる. 文法性・流暢性・意味保存性の 3 項目 を組み合わせる手法では，全体的に意味保存性の重み $\gamma$ が小くなっている。これは，文法誤 り訂正では入力文と訂正文の多くの単語が共通するため，訂正の良し悪しによらず多くの場合 に意味が変わらないことが原因だと考える。システムレベルでは1つの重みに偏っている。こ れは，重みのチューニングに，4つのシステムに対する人手のランキングがついた JFLEG デー タセットを用いており，4つのシステムの評価は各項目を組み合わせずとも，文法性・流暢性 の単体の評価器で高い精度で予測ができてしまうからであると考えられる。実際に，作成した データにおける文法性単体の評価器は, JFLEG データセットに対して 0.976 のピアソンの積率相関係数, 1.0 のスピアマンの相関係数であり, 流暢性単体の評価器ではそれぞれ $0.978,1.0$ で あった. JFLEG データセットは流暢性を重要視して作られているため, BERT w/ our data で は流暢性の重みが高くなっている。 BERT w/ existing dataでは, 流暢性単体よりも文法性単体 の評価器の方が JFLEG データセットに対する相関が高いため文法性の重みが高くなっている と考えられる。実際に, 文法性単体の評価器は JFLEG データセットに対して 0.963 のピアソン の積率相関係数, 流暢性単体の評価器は 0.957 のピアソンの積率相関係数であった.

## 6.2 MAEGEによるメタ評価

表 5 に MAEGE によるコーパスレベルと文レベルのメ夕評価の結果を示す. 上段の参照文を 用いる手法と下段の参照文を用いない手法を比較すると，コーパスレベルおよび文レベルの両方，特に文レべルにおいて参照文を用いない手法が高い相関となっている．参照文を用いる手法の $\mathrm{M}^{2}$ は文レベルにおいてピアソンの積率相関係数は無相関，ケンドールの順位相関ではあ る程度の相関となっており，GLEU は $\mathrm{M}^{2}$ と逆の振る舞いを示している。 $\mathrm{M}^{2}$ は同じ文の異な る訂正に対する順序付けはある程度予測できるが，全体的に一貫した評価をすることはできず， GLEU はその逆の性質を持つことを意味している．参照文を用いない手法を比較すると，BERT を用いた手法が 浅野 他 (2018)の手法より高い相関となっている. 特に BERT を用いる手法は ベースライン手法に比べて文レベルの両方の評価尺度で高い相関を持つことがわかる. このこ

表 5 MAEGEによるメ夕評価

とから，BERT を用いた手法は同じ文の訂正ぺアの順序付けと，全体的に一貫した評価の両方 を行うことができることがわかる，再学習に用いるデータセットの違いでは，総合的に見ると，我々のデータセットを用いる方が相関が高くなった.

6.1 節の人手評価との相関を用いる実験および 6.2 節の MAEGEによる実験の結果, 作成し たデータで BERT を再学習する手法が最もよい結果となった。各項目の評価モデルを作成した データセットに最適化することで，各項目の評価モデルの性能が向上し（表 2 , 表 3 ），その結果，各評価モデルを組み合わせた手法で性能が向上した（表 4，表 5 ），各評価モデルを組み合わ せた場合の，再学習に用いるデータセットの違いによる性能の改善は大きくないが，表 2 ，表 3 のように各項目の評価を見ると大きく改善しているため，データ作成にかかるコスト約 10 万円 を考慮しても，各項目をより適切に評価するためにシステム出力にラベル付けして新たにデー 夕を作る意味は十分あると考えられる。

## 7 分析

## 7.1 評価例

$\mathrm{M}^{2}$, GLEU, 浅野 他 (2018), 作成したデータで BERT の再学習を行った場合の提案手法に よる評価例を分析する. Grundkiewicz et al. (2015)の評価データに対する各評価手法を比較す る。表 6 に，提案手法のみが正しく評価できた例を示す. $\mathrm{M}^{2}$ は訂正文 1 と訂正文 2 に対して 同じ評価値を与えており正しく評価できていない，表層的な語句の一致率に基づくGLEU は，参照文に "problems” が含まれないために訂正文 1 を低く評価し，表層的には似ているが余計な "the"が入っている訂正文 2 を高く評価してしまっている。一方で提案手法は, “disadvantages" が "problems”になっていても余計な “the”が入っている訂正文 2 よりも訂正文 1 のほうを高く 評価できており, 表層的な語句の一致率に依存せず評価できている. 浅野他 (2018) が正しく 評価できていないのは, 浅野他 (2018) が主に流暢性, 次に意味保存性を見ている（表 4）が,

表 6 提案手法のみが正しく評価できた例

表 7 参照文を用いる手法のみが正しく評価できている例

流暢性の評価モデルは人手評価との相関が低い（表 2）ことおよび意味保存性の評価モデルは METEOR であり入力文との表層一致で評価値を計算するため入力文に表層の近い訂正文 2 を 高く評価するからであると考えられる.

表 7 に，参照文を用いる手法では正しく評価できたが，参照文を用いない手法では正しく 評価できなかった例を示す，参照文を用いる手法では，参照文には “child”が含まれているた め, “child” が含まれている訂正文 2 を高く評価している。一方で，参照文を用いない手法では， “child”の部分が “children”となっている訂正文 2 を高く評価している. これは, 参照文を用い ないため, 参照文の情報を考慮した評価ができないためである.

## 7.2 エラータイプ別の評価分析

MAEGE では，特定のエラータイプの訂正に対する評価の分析を行うことができる．特定の エラータイプの訂正のみが異なる文のぺア $\left(c, c^{\prime}\right)$ の集合を用意し, 各ペア $\left(c, c^{\prime}\right)$ の各文を評価し て, その差分 $m(c)-m\left(c^{\prime}\right)$ の平均を計算する. $c$ は特定のエラータイプの訂正を適用した後の 文, $c^{\prime}$ はそのエラータイプの訂正を適用する前の文, $m$ は評価手法を示す. 負の値の平均差は評価手法がエラータイプの訂正に対して減点し, 正の値の平均差は加点することを意味している.例えば, エラータイプがVt (Verb tense) で, $c$ が “The medical treatment technology during that time is not advanced enough to completely cure him.", $c^{\prime}$ が "The medical treatment technology during that time was not advanced enough to completely cure him .”のペアに対して各文の評価を行い $m(c)-m\left(c^{\prime}\right)$ が正ならば訂正した文の方が高く評価できているため, 適切に評価でき ており, 負ならば, 訂正した文の方を低く評価しているため, 適切に評価できていない. エラー タイプには CoNLL2014 (Ng et al. 2014) で指定されている 27 のエラータイプを使用する.
表 8 に結果を示す. $\mathrm{M}^{2}$ では全てのエラータイプで平均差がほぼ $0 （ 0.0001$ など）になって おり ${ }^{21}$, 特定のエラータイプに対して一貫した評価を行えていないことがわかる．GLEUでは 多くのエラータイプの訂正に対して減点している。一方，参照文を用いない評価手法ではほと んど全てのエラータイプで正の値となっており，多くのエラータイプの訂正に対して加点でき ていることがわかる．特に，我々が作成したデータでBERT の再学習を行った手法においては 全てのエラータイプの訂正に対して加点できている。 また，既存のデータで BERT の再学習を 行った場合に比べて，各エラータイプに対する平均差の値が大きくなっており，各エラータイ プの訂正に対してより大きく加点できていることがわかる．特に，連続文やコンマ区切りの誤

り (Srun) や並列性の誤り (Spar) は他の手法に比べて平均差が大きく, 他の手法と比較してこ

表 8 エラータイプ分析

${ }^{21}$ Choshen and Abend (2018)の結果でも同様に $\mathrm{M}^{2}$ は全てのエラータイプが 0 または 0 に近い値となっている.

れらの誤りに対する感度が高いことがわかる。逆に，明確にしないと修正ができないような誤

り $(\mathrm{Um})$ は他の手法と同様に平均差が小さく, 他手法と同様に感度が低いことがわかる.

## 8 おわりに

本研究では, 文法誤り訂正の自動評価で重要である, 文法性・意味保存性・流暢性の 3 項目 の評価モデルを人手評価に最適化する手法を提案した。最適化するための理想的なデータセッ トが存在しないため, 5 の訂正システムの出力に対して, 文法性, 流暢性, 意味保存性の観点 で人手評価を行いデータセットの作成を行った。作成した各項目のデータセットを用いて，事前学習された文符号化器の再学習を行い, 各項目の評価モデルを作成してそれらを組み合わせ て文法誤り訂正の自動評価を行った。

実験では，まず各項目の評価モデルの個別のメ夕評価を行い，各項目をどれだけ適切に予測 できるか実験した。そして，人手評価との相関によるメ夕評価および人手の訂正を用いたメ夕評価で，各項目の評価モデルを組み合わせた手法を評価した。実験の結果，提案手法は従来手法に比べて，各項目をより適切に評価できること，各項目の評価モデルを組み合わせた評価で もより適切に評価できることを示した。 そして，事前学習された文の符号化器である BERT を 回帰モデルとして用いることおよび我々が作成した訂正文に対する人手評価に最適化すること が相関の改善に有効であることがわかった。 分析の結果, 従来手法ではいくつかのエラータイ プの訂正に対して減点しているのに対して，提案手法は全てのエラータイプの訂正に対して適切に加点できていることがわかった.

今後の発展としては, 文法誤り訂正の精度改善に提案した自動評価手法を活用することであ る. 例えば，提案した自動評価手法の評価値を報酬として強化学習による学習を行うことや, 複数モデルのアンサンブルを行う時に使用して, 最も良い訂正を選択することなどが考えられる.

## 謝 辞

本論文の実験をするにあたり，実装コードの提供をして頂いた浅野広樹氏，JFLEG の評価 データで使用されているシステム出力を提供して頂いた坂口慶祐氏, Amazon Mechanical Turk で公開するタスクの確認を行って頂いた Siti Oryza Khairunnisa 氏に感謝します。本研究の一部は JSPS 科研費（若手研究, 課題番号 : JP20K19861）の助成を受けたものです. 本研究の内容の一部は, The 28th International Conference on Computational Linguistics (Yoshimura et al. 2020) で発表したものです.

## 参考文献

浅野広樹, 水本智也, 乾健太郎 (2018). 文法性$\cdot$流暢性$\cdot$意味保存性に基づく文法誤り訂正の参照無し 評価. 自然言語処理, 25 (5), pp. 555-576. [H. Asano et al. (2018). A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error Correction. Journal of Natural Language Processing, 25 (5), pp. 555-576.].

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Bojar, O., Graham, Y., and Kamran, A. (2017). "Results of the WMT17 Metrics Shared Task." In Proceedings of the Second Conference on Machine Translation, pp. 489-513.

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 697-707.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. $1-14$.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5755-5762.

Choshen, L. and Abend, O. (2018). "Automatic Metric Validation for Grammatical Error Correction." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1372-1382.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572.

Dale, R. and Kilgarriff, A. (2011). "Helping Our Own: The HOO 2011 Pilot Shared Task." In Proceedings of the 13th European Workshop on Natural Language Generation, pp. 242-249.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2018). "Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 284-290.

Grundkiewicz, R., Junczys-Dowmunt, M., and Gillian, E. (2015). "Human Evaluation of Grammatical Error Correction Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Heilman, M., Cahill, A., Madnani, N., Lopez, M., Mulholland, M., and Tetreault, J. (2014). "Predicting Grammaticality on an Ordinal Scale." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 174-180.

Herbrich, R., Minka, T., and Graepel, T. (2007). "TrueSkill ${ }^{T M}$ : A Bayesian Skill Rating System." In Schölkopf, B., Platt, J. C., and Hoffman, T. (Eds.), Advances in Neural Information Processing Systems 19, pp. 569-576. MIT Press.

Lau, J. H., Clark, A., and Lappin, S. (2015). "Unsupervised Prediction of Acceptability Judgements." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1618-1628.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Ma, Q., Wei, J., Bojar, O., and Graham, Y. (2019). "Results of the WMT19 Metrics Shared

Task: Segment-Level and Strong MT Systems Pose Big Challenges." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings.

Mita, M., Mizumoto, T., Kaneko, M., Nagata, R., and Inui, K. (2019). "Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models-Is Single-Corpus Evaluation Enough?" In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1309-1314.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2016). "There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2109-2115.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality." Transactions of the Association for Computational Linguistics, 4, pp. 169-182.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Yoshimura, R., Kaneko, M., Kajiwara, T., and Komachi, M. (2020). "SOME: Reference-less SubMetrics Optimized for Manual Evaluations of Grammatical Error Correction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 156-165.

## 略歴

吉村綾馬：2019 年首都大学東京（現東京都立大学）システムデザイン学部シ

ステムデザイン学科情報通信システムコース卒業. 同年, 首都大学東京シス テムデザイン研究科情報科学域博士前期課程に進学. 2021 年博士前期課程修

了. 同年, 株式会社ユーザーローカルに入社. 現在に至る.

金子 正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了.博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)．大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業.

2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)．同年より同研究科助教を経て，2013 年より首都大学東京システ ムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2020 年 9 月 1 日 受付)

(2020 年 12 月 1 日 再受付)

(2021 年 1 月 19 日 採録)


# 文法誤り訂正における訂正度を考慮した多様な訂正文の生成

甫立 健悟 $^{\dagger} \cdot$ 金子 正弘 $\dagger$ ・勝又 智柿 - 小町 守 $\dagger$

本稿では，文法誤り訂正における多様な訂正文の生成手法を提案する。文法的に誤 りを含んだ文に対して訂正を行う際，訂正方法は複数存在することがある。しかし，既存の文法誤り訂正モデルは多様な訂正文の生成を考慮していない。また，機械翻訳 タスクなどにおいて用いられている既存の多様な出力を得る手法は, 文中の全トー クンに対して多様性を持たせる手法となっている，そのため，既存の手法を文法誤 り訂正に適応した場合，訂正が必要な箇所を考慮せず文全体を強制的に書き換える ため，文法的に誤りを含んだ文の生成を行うか，もしくは，文法的誤りの発生を防 ぐために制約を弱め，結果的に多様でない文を生成する恐れがある。そこで我々は，文全体を多様化するのではなく, 訂正が必要な箇所を考慮して多様化する手法とし て，モデルの訓練データに訂正度の情報を付与することで出力の訂正度を制御する 手法と, さらに出力を多様化するための誤り箇所を考慮したビームサーチ手法を提案する。実験の結果, 既存手法では文法誤り訂正において適切に多様化できないこ とを明らかにし，一方で，提案手法によりモデルの訂正度が制御可能となり，既存手法よりも文法誤り訂正に適した多様な出力を得ることが可能となった.

キーワード：文法誤り訂正, 出力の多様化
## Generation of Diverse Corrected Sentences Considering the Degree of Correction

Kengo Hotate $^{\dagger}$, Masahiro Kaneko $^{\dagger}$, Satoru Katsumata $^{\dagger \dagger}$ and Mamoru Komachi ${ }^{\dagger}$

In this study, methods are proposed for generating diverse corrected sentences in grammatical error correction (GEC). There may be more than one way to correct a sentence that contains a grammatical error. However, existing GEC models do not consider the generation of diverse correction sentences. In a GEC task, all of the tokens are not rewritten in the text, but only those parts that need to be corrected. In this study, two methods are proposed for diversifying the output data in the GEC. First is a method to control the degree of correction by adding the information on it to the training data of the model, and second is a beam search method to diversify the output data considering the error points. The experimental results show that the existing methods are not suitable for diversification.

Key Words: Grammatical Error Correction, Diversification of Outputs

原文 To put it in the nutshell, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obliged to tell their relatives about their genetic test results for the good of their health.

In a nutshell, I believe that people should have an obligation to tell their relatives about the genetic testing result for the good of their health.

参照文 In summary, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

In a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing results for the good of their health.

表 1 Bryant and $\mathrm{Ng}(2015)$ により作成された 1 文に対する複数の訂正文の例

## 1 はじめに

文法誤り訂正は言語学習者の書いた文法的に誤りを含んだ文を文法的に正しい文へと訂正を 行うタスクであり，第二言語学習者の作文支援システムとして有用である。文法的に誤りを含 んだ文に対して訂正を行う際，訂正結果は複数存在することがある。例えば，Bryant and $\mathrm{Ng}$ (2015) は，文法的に誤りを含んだ文に対して 10 人のアノテータがそれぞれ異なる有効な訂正手法を提案する場合があることを示した。この 10 人のアノテータに対して，明示的に異なる訂正文の作成を行わせていないが，実際に，訂正した文におけるアノテータ間の一致率は約 $16 \%$ で あった．表 1 に Bryant and $\mathrm{Ng}(2015)$ により作成された複数訂正文の例の一部を示す.太字は 原文から訂正が行われた箇所を示している，1文から複数の訂正文が提案されているが，いず れも原文において誤りのある箇所のみにおいて多様な訂正が行われている。この様に，様々な 訂正結果が存在するため，文法誤り訂正モデルが複数の訂正結果を提示することで，言語学習者は訂正結果を反映するかどうかの判断や，複数の訂正結果の中から好みの表現を選択するこ とが可能になる.

一般に，文法誤り訂正は文法的に誤りを含んだ文から文法的に正しい文への機械翻訳タスク として捉えられ，近年，ニューラルネットワークを用いた機械翻訳モデルが文法誤り訂正モデ ルとして用いられることが多い．実際に，機械翻訳モデルを文法誤り訂正モデルに適応するこ とにより，文法誤り訂正タスクにおいても有効な結果を示している (Chollampatt and Ng 2018; Junczys-Dowmunt et al. 2018; Zhao et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020). しかし ながら，既存の文法誤り訂正モデルは 1 つの入力文に対して 1 つの有効な出力文の生成を目指

図 11 文中の単語編集率のヒストグラム

しており，複数の訂正結果の生成を考慮していない，そこで我々は，文法誤り訂正において多様な出力を生成するという新たな夕スクに取り組み, 訂正度を制御可能な文法誤り訂正モデル を用いた手法を提案する。

訂正を行う際，必要最低限の書き換えのみ行うか，もしくは，より多くの書き換えを行うかと いう違いにより，訂正文に多様さが生じる。文法誤り訂正タスクにおいて訓練データとして一般的に使用される Lang-8 (水本 他 2013), 評価データとして使用される CoNLL-2014 (Ng et al. 2014) や JFLEG (Napoles et al. 2017) では, 1 文中における訂正の量という意味での訂正度が 異なることが知られている。また， Sakaguchi et al. (2016) は，専門性の異なるアノテータにお いて，必要最小限の書き換えと流暢性を求めた書き換えの 2 種類の訂正をそれぞれ行うことで，多様な訂正文を作成し，それらの一致率は流暢な訂正において約 $15 \%$ 以下，最小限な訂正にお いても約 $38 \%$ 以下であったと報告している。つまり，1つの誤り文に対しても複数の訂正度を 用いて訂正が行われるということである。しかし, 既存の文法誤り訂正モデルは学習した単一 の訂正度でのみ訂正を行っており, それらの異なる訂正度で訂正を行う手法の研究は行われて いない，そこで本研究では，訂正度を制御可能な文法誤り訂正モデルを提案し，1つの入力文 に対して複数の訂正度での訂正文を生成することで, 多様な訂正文の生成を行う。手法として は，まず，文法誤りが訂正されているデータ内において，1文ごとの訂正度の情報を特殊トー クンとして文に付与し, 新たな訓練データを作成する。ここで, 訂正度を表す指標として単語編集率を用いる，単語編集率とは文中の単語がどれだけ書き換えられたのかを表す指標である ため，文法的誤りを含んだ文と，その誤りを訂正した文の単語編集率は，文の訂正度を表して いると言える. CoNLL-2014 と JFLEG では, JFLEG の方が訂正度が大きいことが知られて おり，実際に，図 1 に示すグラフからも，CoNLL-2014 よりも JFLEG の方が単語編集率が大 きいため, 単語編集率が訂正度を示していることが確認できる。そして，新たに作成した訓練

図 2 既存のビームサーチ手法と提案手法を比較した概要図. 赤字の単語は誤りであることを，太字の単語は訂正が行われたことを示している.

データを用いて文法誤り訂正モデルの学習を行い，推論時には，入力文に複数の訂正度の特殊 トークンを付与することで，付与した単語編集率に基づきモデルの訂正度を制御する。結果と して，1つの入力文に対して 1 つの訂正度ではなく，複数の訂正度を用いて訂正を行うことが 可能となり，多様な訂正文を得ることができる.

我々は，さらに出力を多様化する手法として，誤り箇所を考慮したビームサーチ手法を提案 する。文法誤り訂正において, 複数の訂正結果を生成する手法としてはビームサーチを用いて $n$-best を生成する方法が存在する (Grundkiewicz et al. 2019; Kaneko et al. 2020). しかし, こ れらの研究では，1つの適切な訂正文の出力の探索のためにビームサーチを利用しており, 多様 な訂正結果の出力を目的としていない. さらに, 通常のビームサーチを用いた $n$-best 出力は多様性に欠けることが示されている(Vijayakumar et al. 2018). そのため, 機械翻訳の分野などに おいて, 多様な候補を生成するために, 出力を多様にする制約を加えたいくつかの多様なビー ムサーチ手法が提案されている (Li et al. 2016b; Vijayakumar et al. 2018). これらの多様なビー ムサーチ手法は, 文中の全てのトークンに対して様々な書き換えを行うことで, 複数の出力文 に多様性をもたらしている。一方で，入力文と出力文の大部分が共通しているようなタスクに おいては，これらの手法は適していないと考えられる。特に，文法誤り訂正においては，入力文の文法的に正しい部分に対しても書き換えが行われてしまうため, この様な入力文の全体に 対して書き換えを行う手法は好ましくない，そのため，文法誤り訂正モデルは，入力文中の文法的に正しい部分は書き換えずに，誤りを含む部分に対してのみ様々な方法で訂正を行うこと が望まれる。そこで本研究では，誤り箇所を考慮したビームサーチ手法を提案する。図 2 は既存手法と提案手法との比較を図示したものである.

(a) 通常のビームサーチ (Plain beam search) では，訂正が特定のパスに集中しているため多
様性がなく，類似した単語の組み合わせで文を生成している.

(b) 既存手法の多様なビームサーチ (Diverse global beam search) は，様々なパスを探索して いる。したがって, 通常のビームサーチとは異なり, この方法では様々な単語の組み合 わせで文が生成されるため，多様な出力を得ることができる．ただ，訂正する必要の ない単語においても書き換えを行った出力も生成されてしまう.

(c) 提案手法である誤り箇所を考慮したビームサーチ (Diverse local beam search) では，訂正が必要な単語に対してのみ様々なパスの探索を行う. それゆえ, 我々の提案手法では,訂正が必要な箇所でのみ，通常のビームサーチよりも多様な単語を組み合わせた文の生成を行う。

ここで，上記の手法は全て同じビーム幅であるが，パスが異なることに注意されたい.

実験の結果，訂正度を制御可能な文法誤り訂正モデルを用いることで既存手法よりも多様な 訂正結果を生成することが可能となり，誤り箇所を考慮したビームサーチと組み合わせること で，更に多様化可能であることを示した。

本研究の主な貢献は以下の 4 つである.

・ 単語編集率により文法誤り訂正モデルの訂正度が制御可能なことを示した。
- 既存の多様な文を生成する手法が文法誤り訂正においては適切な多様性をもたらさない ことを示した。
- 訂正度を制御した文法誤り訂正モデルの出力を用いることで多様な出力が得られること を示した。
- 誤り箇所を考慮したビームサーチを提案し，訂正度を制御した文法誤り訂正モデルと組 み合わせることで既存手法よりも適切に出力文に多様性をもたらすことを示した.

本稿の構成を示す. 2 章では, 既存の出力文の制御や多様化の先行研究について紹介する． 3 章では，訂正度を制御した文法誤り訂正モデルを提案する．4 章では，誤り箇所を考慮したビー ムサーチを提案する． 5 章では，BERT を用いた文分類を提案する． 6 章では, 複数の人手によ る訂正文が付与されている評価データを用いて提案手法を評価する。 7 章では，提案モデルに ついて分析する. 最後に 8 章で, 本研究のまとめを述べる.

## 2 先行研究

出力文に対して制御を行う研究は，文法誤り訂正の分野ではあまり行われておらず，主に機械翻訳の分野において行われている. Sennrich et al. (2016) は，機械翻訳において訓練データ に文の丁寧さの情報を特殊トークンとして入力文に付与し， モデルの訓練を行うことで出力文 の敬意表現の制御を行った．敬語の存在しない言語から敬語の存在する言語への翻訳時, 訓練 データの入力文に対して，1 文対毎に敬語への翻訳であるかどうかの情報を特殊トークンを付
誤り文 : We have a lot of paper to write .訂正文: We have a lot of papers to write.

編集距離 $=1$, 誤り文の文長 $=9$単語編集率 $=1 / 9=0.11$

誤り文 : <wer_1> We have a lot of paper to write 訂正文 : We have a lot of papers to write.誤り文 : Dont afraid to do some new !

訂正文 : Do n't be afraid to do something new !

編集距離 $=4$, 誤り文の文長 $=7$单語編集率 $=4 / 7=0.57$

誤り文 : < wer_2> Dont afraid to do some new!訂正文 : Do n't be afraid to do something new!

入力文 : People try to drinking it .

BERTによる特殊トークン推定

入力文 : <wer_1> People try to drinking it. $\longrightarrow$ 出力文 : People try to drink it .

図 3 訂正度を制御した文法誤り訂正モデルにおける訓練方法（上部）と推論方法（下部）の概要図。太字は訂正箇所を示している.

与することで，推論時に任意の敬意表現での翻訳を可能にした，本研究では，訂正度の情報を Sennrich et al. (2016) と同様に訓練データに特殊トークンとして付与することで，入力文に対 する訂正度の制御を行う。

また, 出力の多様化を行う研究についても文法誤り訂正の分野では行われていないが, 他分野においては幾つか行われている. Shen et al. (2019)は, mixture of experts (MoE) モデルを 機械翻訳に用いることで多様な出力の生成を行った。このモデルは，1つの入力文に対して異 なる expert を用いることで多様な出力の生成を可能にしている. 本研究では，モデルの構造は 変えず，訓練データのみを変更することにより多様化を目指した．Li et al. (2016a)は，ニュー ラルネットワークを用いた対話モデルにおいて，応答文の多様化を行った。一般に，対話モデ ルの出力として汎用的な応答が生成されることが多いが，推論時にのみ文脈と応答の相互情報量を最大化するような応答を生成させることにより多様化を行った. Vijayakumar et al. (2018) は，推論時にビームを複数のグループに分け，グループ毎に順にビームサーチを行い，同じ夕 イムステップ内の他のグループにて選択されたトークンに対して選択されにくくする制約を加 えることで出力に多様性をもたらす手法を提案した. 本研究では, 同様に推論時にのみ訂正が 必要な箇所に対して多様にする制約を加える手法を提案する.

## 3 訂正度を制御した文法誤り訂正モデル

我々は，訓練データより求められた単語編集率に基づいて特殊トークンの付与を行い，新た な訓練データに基づき文法誤り訂正モデルを訓練することで，推論時に特殊トークンによって 訂正度の制御可能な文法誤り訂正モデルを提案する。図 3 に概要図を示す.

図 4 CoNLL-2014の複数参照文における単語編集率の散布図

## 3.1 訓練方法

初めに，訓練データ内の誤りを含む誤り文と，それに対応する訂正が行われた訂正文から挿入の回数, 削除の回数, 置換の回数の和が最小となるように動的計画法を用いて編集距離を計算する。そして，求めた編集距離を誤り文の文長で割り，単語編集率を計算する。算出した単語編集率を基に訓練データをソートし，文数が均等になるように $L$ 個の文集合に分割する。そ の分割した文集合ごとに異なる特殊トークンを定め，誤り文の文頭に付与する.

この様にして, 文頭に単語編集率によって定められた特殊トークンが付与された誤り文とそ れに対応する訂正文の訓練データを作成した。この新たに作成した訓練データを用いて文法誤 り訂正モデルを学習する.

## 3.2 推論方法

推論時, 入力文の文頭に $L$ 個の特殊トークンを付与するにより $L$ 個の異なる訂正度にて訂正 が行われた文が生成される。ここで，評価デー夕の参照文から単語編集率を求めることはでき ないため, 入力文に応じた適切な特殊トークンを選択する必要がある。しかし, 1つの入力文に 対して訂正度はある程度定まるが，一意には定まらず，多様な訂正文を考慮した際に訂正度の幅 が存在すると考えられる。図 4 は，CoNLL-2014において，1つの誤り文を訂正する際の訂正度 にある程度の幅が存在することを示した図である。図中の点はある誤り文とそれに対応する人手で訂正を行った 1 つの参照文のぺアを指しており，横軸は対象の誤り文に対する複数参照文 の平均単語編集率, 縦軸は対象のぺアの単語編集率を表している。また, 赤線は平均単語編集率を示した補助線である。この図より，全体的に複数参照文における平均単語編集率が高くな

れば，参照文ごとの単語編集率も全体的に高くなるが，参照文ごとに単語編集率の幅が存在する ことがわかる。そこで，本研究では，Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)を用いて入力文に対して訂正度の幅を考慮しながら適切な特殊トー クンの選択を行った。詳細は 5.1 節にて説明する。

## 4 誤り箇所を考慮したビームサーチ

我々は，訂正が必要な箇所のみに対して多様な訂正を行い，既に文法的に正しい箇所に対し ては多様な訂正を行わない, 誤り箇所を考慮したビームサーチを提案する。具体的には, 誤り 箇所を考慮したぺナルティ penalty を各タイムステップ $t$ の各ビーム $b$ 毎にモデルの対数出力確率に対して与えることで多様な出力の生成を目指した. ペナルティは以下の式で与えられる.

$
\text { penalty }_{b, t}=\lambda s_{b, t}+\beta
$

$s_{b, t}$ は, ビーム $b$, タイムステップ $t$ における最も生成確率の高いトークンが, 訂正が行われて いるトークンであるかどうかを $[0,1]$ の範囲で表す指標である。具体的には，訂正が行われてい る場合は $s_{b, t}$ の値が 0 に近く, 訂正が行われていない場合は $s_{b, t}$ の値が 1 に近くなることが望ま しい. $\lambda$ と $\beta$ はハイパーパラメータであり， $\lambda$ はペナルティの強さを調整し， $\beta$ はペナルティ がゼロになることを防ぐためのパラメータである。本研究では, BERT を用いて入力文とタイ ムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行い，訂正が行われてい ないと分類された確率を $s_{b, t}$ に用いた．詳細は，5.2 節にて説明する．以下の式のように，この ペナルティを文法誤り訂正モデルの対数出力確率 $\log p$ に与えることで, ビームサーチのスコア $k$ に対して制約を加えた。

$
k_{b, t}=\text { penalty }_{b, t} \log p_{b, t}
$

この制約により，訂正が行われていないビームに対しては選択されにくくなり，反対に，訂正 が行われているビームに対しては選択されやすくなる.

図 5 は，入力文として“This essay will illustrate on two aspect.”が与えられた場合のビーム 幅 2 , タイムステップ $t$ における概要図である。図の上部は, 直前のタイムステップ $t-1$ にお いて “illustrate”を選択した第 1 ビームを，下部は，“this”を選択した第 2 ビームを表してお り, 色の薄さは生成確率の高さに比例している。このとき， タイムステップ $t$ の第 1 ビームに おいて最も生成確率の高いトークンは，入力文と同じ “on”であり，第 2 ビームにおいては，入力文から書き換えを行った “in”である。通常のビームサーチでは，それぞれ生成確率の高い， “illustrate on” と“this in” が選択される。しかし, 我々の提案手法では, 第 1 ビームは書き換 えを行っておらず，対して，第 2 ビームは書き換えを行っているため，第 1 ビームにのみぺナ
入力文 : This essay will illustrate on two aspect.

図 5 ビーム幅 2 における誤り箇所を考慮したビームサーチの概要図。薄い色は生成確率が高いことを示 している.

ルティが与えられ, 最終的に訂正を行っている第 2 ビームから "this in”と “this with" が選択 されることになる.

## 5 BERT を用いた文分類

BERT は大規模データにより事前学習された言語表現モデルであり, 様々な自然言語処理の タスクにおいて高い性能を発揮している。実際に，文法誤り訂正と類似タスクである文法的に 誤っている箇所の検出を行う文法誤り検出というタスクにおいても BERT が用いられている (Kaneko and Komachi 2019). BERT は入力として文または文対を受け取り，それらを符号化 するモデルである。学習時, 入力文対が連続した文であるか否かの分類や, 入力トークンの一部を $[\mathrm{MASK}]$ トークンに置き換えた上で，元のトークンの推定を行うことで高性能な言語表現 を獲得している。また，BERT の入力には先頭に [CLS] というトークンが挿入されており，こ のトークンに対応する隠れ層が入力文もしくは入力文対の分散表現を表している．我々は，訂正度を制御した文法誤り訂正における適切な特殊トークンの選択や，誤り箇所を考慮したビー ムサーチにおける $s_{b, t}$ として BERT の [CLS]トークンの分散表現を分類する手法を用いた。い ずれの手法も事前学習済みの BERT ${ }^{1}$ に対して再訓練を行った.

## 5.1 BERT を用いた訂正度の推定

3 章にて述べた通り, 訂正度を制御した文法誤り訂正モデルだけでは, 参照文が与えられな い限り, 推論時に入力文に対して適切な訂正度の判別はできない. 本章では, この BERT を用 いた入力文に対して適切な訂正度の選択手法について述べる。

具体的な手法としては, BERT に対して誤り文のみを入力し, それに対応する訂正度を $L$ 值分類として出力させるというものである。ここで，1つの誤り文に対して複数の訂正度が考え られるが，誤り文に含まれる誤り箇所の個数は限られており，それに対応して単語編集率も限 られているため，ある程度の分類は可能であると考えられる。

実際に訂正度を制御した文法誤り訂正モデルにおいて $n$-best 出力を得る際, BERT の予測確率を用いて複数の特殊トークンの出力から $m_{i}$-best を選択し, それらを合わせて最終的な $n$-best を得る．1つの特殊トークンによる出力を用いるのではなく, 複数の訂正度による出力を選択 することで，より多様な出力を得ることができる，具体的な選択手法としては，まず，式 3 に 示す通り, BERT の特殊トークンに対する出力スコア $o=\left(o_{1}, \ldots, o_{i}, \ldots, o_{L}\right)$ に対して Softmax 関数を用いて，特殊トークンごとの出力確率 $p=\left(p_{1}, \ldots, p_{i}, \ldots, p_{L}\right)$ を得る. 得られた出力確率に 対して式 4 に示す通り， $n$ を掛け，小数点以下を四捨五入することで特殊トークン毎に採用す る $m_{i}$-best の数を決定した。

$
\begin{aligned}
p_{i} & =\frac{\exp \left(o_{i}\right)}{\sum_{l=1}^{L} \exp \left(o_{l}\right)} \\
m_{i} & =\operatorname{round}\left(n \times p_{i}\right)
\end{aligned}
$

## 5.2 BERT による訂正箇所の分類

4 章で述べた通り, 入力文とタイムステップ $t$ までの出力文から訂正が行われているかどう かの分類を行う必要がある．動的計画法などを用いて入力文と出力文の対応を取ることで，訂正が行われているか否かの判定が可能になると考えられるが，デー夕内の文数 $\times$ ビーム幅 $\times 夕$ イムステップ数の処理が必要となる. 本研究では, より高速にバッチ処理が可能な BERT を用 いて入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行った.本節では, 誤り箇所を考慮したビームサーチの $s_{b, t}$ に対する BERT の利用法について説明する.

$s_{b, t}$ は， 4 章にて述べた通り，夕イムステップ $t$, ビーム $b$ の最も生成確率の高いトークンに おいて，訂正が行われているかどうかを表す指標である。そこで，BERT に対して誤り文と， その誤り文に対する，あるタイムステップまでのモデルの出力文の 2 文を入力し， モデルの出力文の最後のトークン，つまり，あるタイムステップ $t$, ビーム $b$ において生成確率が最大で あるトークンが訂正されたトークンであるかどうかの分類を行わさせる。そして, BERT が訂正していないと分類した確率を $s_{b, t}$ として用いる.

表 2 データセットの概要

## 6 実験

## 6.1 データセット

表 2 に本実験において使用したデータセットの概要を示す。訓練データとしては, 学習者支援に 関する国際会議である Workshop on Innovative Use of NLP for Building Educational Applications (BEA) において 2019 年に開催された Shared Task on Grammatical Error Correction (Bryant et al. 2019) の Restricted track にて使用された訓練データ (BEA-train)を用いた.この訓練 データには, The First Certificate in English (FCE) を受験した学習者の回答から集められた FCE コーパス (Yannakoudakis et al. 2011)，言語学習者のための SNS である Lang-8 の添削 データより集められた Lang-8コーパス (水本他 2013), シンガポール国立大学の英語学習者で ある学生が作成した作文から集められた NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) , 英語学習者の学生のライティングを支援する Write \& Improve と英語を母語とす る学生の作文より集められた W \& I+LOCNESS コーパス (Bryant et al. 2019; Granger 1998) の4つのコーパスが含まれている。ただし，前処理として訂正が行われていない文と訂正結果 が空白である文対は取り除いた。また，訓練時，最適なモデルのエポック数を決定するために， BEA-2019において使用された開発データ (BEA-valid) を用い, この開発データに対する loss が最小となるエポック数を最適なモデルのエポック数とし，その時点でのモデルを実験に用い た. 既存手法の多様なビームサーチ (Vijayakumar et al. 2018) や提案手法である誤り箇所を考慮したビームサーチに使用するハイパーパラメータに関しては, JFLEGを用いて最適化を行っ た. JFLEG は 4 つの参照文が存在しており，CoNLL-2014には 18 の参照文が存在する。ここ で，CoNLL-2014 Shared Task: Grammatical Error Correction にて付与された参照文数は 2 つ であるが，Bryant and Ng (2015)により8つ，Sakaguchi et al. (2016)により8つの参照文が新 たに作成されているため，それらを全て組み合わせ，18の参照文数となる。

訂正度の推定に用いる BERT の再訓練には，訂正度を制御した文法誤り訂正モデルの訓練に 用いた特殊トークンを付与したデータセットと同じ訓練データを用い，特殊トークンを付与す る前の誤り文を入力し，そこから特殊トークンを予測させるという訓練を行った。たたし， ラ

ンダムに 5,000 文選択し, 開発データとして用いた.

訂正箇所の分類に用いる BERT の再訓練に用いたデータセットとしては, NUCLE を用いた.

ERRANT (grammatical ERRor ANnotation Toolkit) (Bryant et al. 2017)を用いて, 訂正文にお いて誤り文から挿入・置換・削除の訂正が行われている箇所を抽出することで，誤り文と訂正が 行われている単語までの訂正文のペアを作成した。訂正箇所の分類に用いる BERT においては 訂正が行われていない場合，高いスコアであることが望まれるため，これを負例としてラベル付 けした，ただし，削除の訂正に関しては，削除した単語の直後の単語までの訂正文を負例とし た. 正例としては，誤り文と訂正が行われていない単語までの訂正文のぺアを作成し，負例と同数になるようにランダムに選択することで作成した。また，開発データとしては，CoNLL-2013 Shared Task on Grammatical Error Correction (Ng et al. 2013) にて用いられたデータセットで ある CoNLL-2013 に対して訓練データと同様の処理を行ったデー夕を用いた. 以上の処理によ り, NUCLE は元々 57,151 文対存在するが，168,524 文対の学習デー夕となり, 元々 1,381 文対存在する CoNLL-2013 は，11,009 文対の開発データとなった。また，再訓練の結果，開発デー 夕における $\mathrm{F}$ 値は約 0.97 であった。

## 6.2 評価方法

我々は, 手法毎の性能を比較するために以下の 3 つの評価指標を設定した.

訂正の多様性の評価 (C-score) 訂正結果の多様性を評価するために, モデル出力の $n$-best と 複数参照間の一致率を評価する。一致率の算出方法としては, 機械翻訳における多様な翻訳文生成を目的とした 2020 Duolingo Shared Task (Mayhew et al. 2020)の評価指標として使用され た重み付き再現率を使用する，具体的には，モデル出力の $n$-best と複数参照文間において完全一致した文数を求め，一致した参照文に応じて重み付けを行う。そして。重み付けされた値を 評価デー夕内の全参照文数で割ることで一致率を算出する。ただし，本研究においては，ある 1 つの入力文に対する参照文間で重複した回数を参照文の総数で割った値を重みとして使用した.訂正箇所の正しさの評価 (DF-score) 入力文全体を書き換えて多様化するのではなく, 実際 に訂正が必要な箇所のみに書き換えが行われているかどうかの評価を行う．評価方法としては, まず式 5 に示す通り，誤り文 errの $n$-gram から参照文に対しての document frequency (df) を 求める.ここで, $n g^{e r r}=\left(n g_{1}^{e r r}, \ldots, n g_{i}^{e r r}, \ldots, n g_{n}^{e r r}\right)$ は誤り文の $n$-gram 集合, $\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|$ は $n g_{i}^{e r r}$ を含む参照文 $r$ の総数, $|R|$ は総参照文数である。次に，式 6 に示すとおり，誤り文 の $n$-gram 集合とモデルの出力文 hyp の $n$-gram 集合 $n g^{\text {hyp }}$ の積集合 $n g^{\text {err } \cap \text { hyp }}$ を求める. そし て, 式 7 に示す通り，モデルの出力文における $n g_{i}^{\text {err } \cap h y p}$ の出現回数 $\operatorname{COUNT}\left(h y p, n g_{i}^{\text {err } \cap h y p}\right)$ を求め, その $n$-gram に対応する $\mathrm{df}$ を出現回数に掛け, さらに誤り文における $n g_{i}^{\text {err }}$ の出現回数 $\operatorname{COUNT}\left(\mathrm{err}, n g_{i}^{\text {err }}\right)$ に df を掛けた值の合計値で割ることで，そのモデル出力に対するスコ アを算出する.

$
\begin{aligned}
d f_{i} & =\frac{\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|}{|R|} \\
n g^{\text {err } \cap h y p} & =n g^{\text {err }} \cap n g^{\text {hyp }} \\
d f_{\text {score }} & =\frac{\sum_{i=1}^{n} \operatorname{COUNT}\left(h y p, n g_{i}{ }^{\text {err } \cap h y p}\right) d f_{i}}{\sum_{i=1}^{n} \operatorname{COUNT}\left(e r r, n g_{i}^{e r r}\right) d f_{i}}
\end{aligned}
$

このスコアは, df が高い $n$-gram, つまり書き換える必要のない $n$-gram がモデルにより書き 換えられ，出力文に出現しない場合，大きく低下する.

文法誤り訂正の精度評価 (G-score) 手法毎における文法誤り訂正タスクとしての性能を評価 するため, 一般的に文法誤り訂正タスクにおいて用いられる評価指標を用いて評価を行った。具体的には表 2 に示す通り，JFLEG に対しては GLEU score (Napoles et al. 2015)を, CoNLL-2014 に対しては MaxMatch $\left(\mathrm{M}^{2}\right.$ ) score (Dahlmeier and Ng 2012)を用いて評価した.

## 6.3 文法誤り訂正モデル

我々は，文法誤り訂正モデルとして Transformer base (Vaswani et al. 2017)を用い，パラメー 夕も同様のものを用いた22、ベースラインモデルとしては，BEA-trainをそのまま訓練データと して用いて訓練したモデルを用いた。ビームサーチ時のビーム幅は生成したい $n$-best 出力の $n$ と同様の値を用いた。既存手法の多様なビームサーチ (Vijayakumar et al. 2018) におけるハイ パーパラメータである Diversity Strength は 0.6 を, Number of Groups はビーム幅と同様の値 を用いた。提案手法である誤り箇所を考慮したビームサーチのハイパーパラメータとして, ベー スラインモデルに対しては $\lambda=0.5, \beta=1.0 を$, 訂正度を制御した文法誤り訂正モデルに対し ては $\lambda=0.1, \beta=1.0$ を用いた.

訂正度を制御した文法誤り訂正においては，BEA-train 内の全誤り文の文頭に対応する特殊 トークンの付与を行った新たな訓練データを作成し，この新たに作成した訓練データを用いて モデルの訓練を行った．JFLEGにおいて，異なる特殊トークンの種類数を用いて学習を行った 結果を表 3 に示す.ここで，特殊トークンの種類数が 1 の場合は特殊トークンを付与していな い通常の訓練データを用いた場合の結果を示している。BERT accuracy は BERT を用いた訂正度の推定精度を示しており，特殊トークンの種類数が多くなるにつれて推定精度が低下して おり，その他の評価スコアも同様に低下している。したがって，BERT による推定精度が低い と適切でない訂正度の出力が選択されることになり，適切に多様性を向上できなかったと考え られる。特殊トークンの種類数としては 2 のときが最も高いスコアとなったため, 本研究にお いては 2 を選択した。訂正度を制御した文法誤り訂正モデルの訓練に使用した特殊トークン毎 の単語編集率の閾値を表 4 に示す. BEA-train 内の全文対における単語編集率に基づいて 2 つ

表 3 JFLEGにおける特殊トークンの種類数別の結果

表 4 訓練データ内の特殊トークンに対応する単語編集率の閾値と文数

表 5 CoNLL-2014 における 10, 15, 20-best の実験結果

2 つの特殊トークンを定義した。特殊トークン毎の単語編集率の最大值と最小值に重複が見ら れるのは，それぞれの特殊トークンの集合において文数が等しくなるように分割したためであ る。また，原文の単語数を超える単語数の挿入，削除，置換が行われる場合，単語編集率は 1 を超える。

## 6.4 実験結果

表 5 は, ベースラインモデルに通常のビームサーチを適応したモデル (PBS), 多様なビーム サーチを適応したモデル (DGBS) (Vijayakumar et al. 2018), mixture of experts (MoE) (Shen et al. 2019) と，提案手法である訂正度を制御した文法誤り訂正モデル (WER), WER に誤り箇所を考慮したビームサーチを適応したモデル (+DLBS) の評価データにおける実験結果である.

表 6 特殊トークン毎の誤り訂正結果

また，10，15，20-best において実験を行った。*は提案手法が PBS に対して，†は + DLBS が WER に対して，ブートストラップ法により有意水準 0.05 で有意差があることを示す.

既存手法である DGBS と MoE は, PBS と比較すると出力の多様性を示す C-score が低下し ており，機械翻訳などにおいては有効なこれらの手法が，文法誤り訂正においては有効でない ことがわかる. さらに，15, 20-best において DGBS の DF-score が大きく低下していることか ら, 訂正が不要な部分においても書き換えを行っていると考えられる。一方で, 提案手法であ るWER は， G-score は低下しているが，C-score においていずれの既存手法よりも上回ってお り, DF-score も高いことから, WER は不要な訂正を行うことなく, 多様な出力を生成できて いることが確認できる。ここで, G-score の低下の主な原因として, “It is hereditary ."という 入力文に対して, “It is a hereditary."への訂正という不必要な冠詞の插入どが多く見られ,多様化に伴い，細かい訂正が増加したことが挙げられる．DLBS $8 \mathrm{PBS}$ に適用した場合は，10, 15-best において C-score が向上し，DF-score も向上した。同様に，WERに適用した場合は 10 , 20-best において C-score が向上し, DF-score も向上していることから訂正が必要な箇所のみを 多様化していることが確認できる。

## 7 分析

## 7.1 訂正度の制御に関する分析

訂正度を制御した文法誤り訂正モデルにおいて, 実際に特殊トークンによりモデルの訂正度 が制御できているかどうかの実験を行った。異なる特殊トークンでの訂正度の違いを分析する ため, この実験では特殊トークンの種類数を 4 として学習したモデルを利用した. そのため, この分析においては BEA-train 内の全文対における単語編集率に基づいて4つの集合に分け,

文集合）の４つの特殊トークンを定義した，表 6 は，全て同一のモデルであるが，それぞれ推
論時の入力文の全文に対して異なる特殊トークンを付与した場合の結果を示している．例えば， $\left.\langle w e r \_1\right.\rangle$ の行は JFLEG と CoNLL-2014の全入力文の文頭に $\left.\langle w e r \_1\right.\rangle$ を付与して推論させた場合 の結果である.

単語編集率の列は，それぞれの評価データの入力文とそれに対応するモデルの出力文から単語編集率の平均値を求めた結果であり，Gold の行は参照文との単語編集率の平均値である。こ れらの値を特殊トークンごとに比較すると，特殊トークンにより定義された単語編集率の大き さに比例して実際の単語編集率も変化していることがわかる。 つまり，特殊トークンによって モデルの訂正度を制御することが可能であることを示している。しかし，同一特殊トークン内 でも JFLEG と CoNLL-2014 における単語編集率が異なることがわかる。一方で, 同一特殊トー クン内における単語編集率の差は Gold における単語編集率の差とほぼ同様であることから, こ のモデルは特殊トークンにより定義された単語編集率だけに従って訂正をするのではなく，入力文も考慮して訂正度を制御していると考えられる。

た場合であり，次は特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合である。一方で，CoNLL-2014におい て最も高い $\mathrm{F}_{0.5}$ となったのは, 特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合であり, 次は特殊トーク ン $\left.\langle w e r \_1\right.\rangle$ を付与した場合である。この差は, JFLEG と CoNLL-2014において訂正度が異なる ため, JFLEG においては CoNLL-2014よりもより大きな訂正度で訂正を行った場合の方がスコ アが向上したと考えられる。それぞれの特殊トークンでの適合率 $(\mathrm{P})$ と再現率 $(\mathrm{R})$ を見ると，特殊トークン $\left.\langle w e r \_1\right.\rangle$ での適合率が最も高く, 再現率が低い。一方で, 特殊トークン $\left.\langle w e r \_4\right.\rangle$ で の適合率が最も低く, 再現率が高くなっている.このことから, 単語編集率と比例して再現率 が変化し, 反対に単語編集率と反比例して適合率が変化していることがわかる.

## 7.2 BERT による特殊トークン推定に関する分析

図 6 は，CoNLL-2014において，BERT による特殊トークン毎の予測結果と実際の参照文の 単語編集率に基づいた特殊トークンとの混同行列を示している。縦軸は, CoNLL-2014 の複数参照文から算出した平均単語編集率に基づいた正解ラベルであり，横軸は，BERTにより特殊 トークン毎の $m$-best を選択する際の予測結果を示している。また, 図中の値は実際に BERT により選択された $m$-best の総数を示しており, 色の濃さは文数の多さと比例している。まず,表 6 に示した通り, CoNLL-2014の平均単語編集率は低いため, 正解ラベルも $\left.\langle w e r \_1\right.\rangle$ が多く,偏りが見られる。同様に，BERTによる予測結果も〈wer_1 と予測した結果が多くなっている. ただし，正解ラベルが $\langle w e r-2\rangle$ の場合においても $\left.\langle w e r \_1\right.\rangle$ と予測した結果が多くなっているた め，訂正度が低い方に予測を行う傾向があるということがわかる.

図 7 は, 正解ラベルと BERT による予測結果の組み合わせ毎の C-score を示した混同行列であ る。ただし，C-score を求める際，参照文を全文用いると BERTにより出力文が選択されていな

図 6 CoNLL-2014 における BERT による特殊 トークンの推定結果

図 7 CoNLL-2014 における BERT により選択さ れた特殊トークンごとの出力の C-score

い, つまり, 出力文が存在しない場合, 不当にスコアが低くなるため, 出力文が選択されている

あり，予測結果も $\left.\langle w e r \_1\right.\rangle$ の場合が最もスコアが高くなっている。 また, 正解ラベルが $\left.\langle w e r \_1\right.\rangle$ であり，予測結果が $\left.\langle w e r \_2\right.\rangle$ である文数は少ないが，スコアとしては高くなっている，これは，参照文に訂正が少ないデータが多いため，複数参照文内にも重複が多く，全体的にスコアが上 がりやすいためであると考えられる。一方で, 正解ラベルが $\left.\langle w e r \_2\right.\rangle$ の場合は, 全体的にスコア

測結果が $\left.\langle w e r \_1\right.\rangle$ の場合のスコアの方が僅かに高くなっている。この結果の原因としては，ま ず，訂正度が高い方が訂正箇所が多く，文の完全一致で評価しているため正解ラベルが $\left.\langle w e r \_1\right.\rangle$ の場合よりも難しい問題となっているためであると考えられる。加えて，BERTにより選択さ れた文数が少なく，〈wer_2 と予測された文数は $\left.\langle w e r \_1\right.\rangle$ と予測された文の半数であるため，ス コアが低くなったと考えられる。

## 7.3 多様化に関する分析

表 7 の上部は，訂正度を制御した文法誤り訂正モデルにおける特殊トークン毎の C-score に おいて，誤り箇所を考慮したビームサーチの影響を比較した表である。この表より，ほぼ全て の出力において，誤り箇所を考慮したビームサーチを用いることで多様性が向上することがわ かる. $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ を比較すると, 訂正度が高い $\left.\langle w e r \_2\right.\rangle$ の方がスコアが低くなっている が, これは CoNLL-2014 の訂正度が元々低いため, 訂正度を高くしてもスコアの向上が見られ なかったと考えられる。

表中の Single WER は BERT によって入力文から予測された特殊トークンの中で最も予測確率の高い単一の特殊トークンの出力文を選択した場合の結果である。一方で, Multi WER は

表 7 特殊トークン毎の出力文の多様性

BERT の予測確率から複数の特殊トークンの出力文を選択した場合の結果であり, 表 5 の WER や + DLBS と同様の結果である。これらを比較すると， Single WER では，スコアが低下して いるため，1つの入力文に対して単一の訂正度ではなく, 複数の訂正度を用いることで多様な訂正文が得られることがわかる。また, Gold WER は複数参照文から求めた平均の単語編集率か ら入力文に付与する特殊トークンを設定した場合で, Oracle WER は特殊トークン $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ の $2 \times n$-best の中からスコアが最も高くなるように $n$-best を選択した場合のスコアを 表している。この結果より, 参照文より求めた特殊トークンを付与することでは, 最良の結果 が得られないことがわかる． 7.1 節で述べた通り，入力文も考慮して訂正度の制御が行われてお り，特殊トークンにより定義された単語編集率に基づいてモデルの訂正度が変化するわけでは ないため，高いスコアが得られなかったと考えられる。一方で，最良な $n$-best を選択すること で，スコアが大幅に向上していることから，異なる特殊トークン間の出力に大きく多様性が存在していると考えられる。

## 8 おわりに

本研究では，文法誤り訂正において多様な訂正文を生成するための手法を提案した。我々は，訓練データに対して単語編集率に基づいた特殊トークンの付与を行い，新たに作成した訓練デー タで文法誤り訂正モデルを訓練することで出力文の訂正度の制御を可能にした。また，このモ デルにより生成された訂正文が既存手法よりも多様な訂正文を生成可能であることも示した. さらに，誤り箇所を考慮したビームサーチを組み合わせることで，訂正が必要な箇所のみをよ り多様にした出力が得られる事を示した。

## 謝 辞

Lang-8 のデータ使用にあたり, データを共有して頂きました株式会社 Lang-8 の喜洋洋様に 感謝申し上げます。

本論文の内容の一部は, The 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop $と$ The 28th International Conference on Computational Linguistics で発表したものである (Hotate et al. 2019, 2020).

## 参考文献

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of BEA, pp. 52-75.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of ACL, pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of ACL, pp. 697-707.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of AAAI, pp. 5755-5762.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of NAACL, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of BEA, pp. 22-31.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Granger, S. (Ed.) (1998). The Computer Learner Corpus: A Versatile New Source of Data for SLA Research, pp. 3-18. Learner English on Computer.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of $B E A$, pp. 252-263.

Hotate, K., Kaneko, M., Katsumata, S., and Komachi, M. (2019). "Controlling Grammatical Error Correction Using Word Edit Rate." In Proceedings of ACL SRW, pp. 149-154.

Hotate, K., Kaneko, M., and Komachi, M. (2020). "Generating Diverse Corrections with Local Beam Search for Grammatical Error Correction." In Proceedings of COLING, pp. 2132-2137.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of NAACL, pp. 595-606.

Kaneko, M. and Komachi, M. (2019). "Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection." Computación y Sistemas, 23 (3), pp. 883-891.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of $A C L$, pp. 4248-4254.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of EMNLP, pp. 1236-1242.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL, pp. 110-119.

Li, J., Monroe, W., and Jurafsky, D. (2016b). "A Simple, Fast Diverse Decoding Algorithm for Neural Generation." CoRR, abs/1611.08562.

Mayhew, S., Bicknell, K., Brust, C., McDowell, B., Monroe, W., and Settles, B. (2020). "Simultaneous Translation and Paraphrase for Language Education." In Proceedings of WNGT, pp. 232-243.

水本智也，小町守，永田昌明，松本裕治 (2013)，日本語学習者の作文自動誤り訂正のための 語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432. [T. Mizumoto et al. (2013). Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 28 (5), pp. 420-432.].

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of ACL, pp. 588-593.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of EACL, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-12.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Gram-
matical Error Correction: Fluency Instead of Grammaticality." TACL, 4, pp. 169-182.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Controlling Politeness in Neural Machine Translation via Side Constraints." In Proceedings of NAACL, pp. 35-40.

Shen, T., Ott, M., Auli, M., and Ranzato, M. (2019). "Mixture Models for Diverse Machine Translation: Tricks of the Trade." In Proceedings of ICML, pp. 5719-5728.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of NIPS, pp. 5998-6008. Vijayakumar, A. K., Cogswell, M., Selvaraju, R. R., Sun, Q., Lee, S., Crandall, D. J., and Batra, D. (2018). "Diverse Beam Search for Improved Description of Complex Scenes." In Proceedings of AAAI, pp. 7371-7379.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of ACL, pp. 180-189.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of NAACL, pp. 156-165.

## 略歴

甫立健悟：2019 年首都大学東京（現東京都立大学）システムデザイン学部シ

ステムデザイン学科情報通信システムコース卒業. 2021 年東京都立大学シス テムデザイン研究科システムデザイン専攻情報科学域博士前期課程修了. 同年株式会社リクルート入社. 現在に至る.

金子 正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了.博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.

勝又智：2018 年首都大学東京システムデザイン学部情報通信システムコース 卒業. 2020 年同大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年株式会社レトリバ入社. 現在に至る. 自然言語処理の研究に従事.小町 守：2005 年東京大学教養学部基礎科学科科学史 - 科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)．同年より同研究科助教を経て, 2013 年より首都大学東京シス テムデザイン学部准教授。大規模なコーパスを用いた意味解析および統計的
自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2020 年 9 月 1 日 受付)
(2020 年 11 月 30 日 再受付 $)$
$(2021$ 年 1 月 19 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの 構築と分析

藤井 諒 $\dagger \cdot$ 三田 雅人 ${ }^{\dagger, \dagger}$ - 阿部香央莉 $\dagger \cdot$ 塙 一晃 ${ }^{\dagger \dagger, \dagger} \cdot$

ニューラル機械翻訳 (NMT) の登場により, ニュース記事など文体の整った入力に
対する翻訳の品質は著しく向上してきた. しかし, ソーシャル・ネットワーキング.
サービス (SNS) に代表されるユーザ生成コンテンツ (UGC) を対象とした NMT の
翻訳には依然として多くの課題が残されている。異文化・多言語交流の促進に向け
た機械翻訳システムの活用には，そうした特異な入力を正確に扱うことのできる翻
訳モデルの構築が不可欠である。近年では, UGC における翻訳品質の向上に向け
たコンペティションが開催されるなどその重要性は広く認知されている。一方で,
UGC に起因するどのような要因が機械翻訳システムの出力に悪影響を及ぼすのか
は明らかでなく, 偏在するユーザコンテンツの翻訳に向けた確かな方向性は依然と
して定まっていない。そこで本研究では，言語現象に着目した日英機械翻訳システ
ムの頑健性測定データセット PheMT を提案する．特定の言語現象を含む文に特化
したデータセットにより，当該表現の翻訳正解率，および正規化に基づく翻訳品質
の差分を用いた精緻なエラー分析を可能にする。構築したデータセットを用いた評
価により，広く商用に利用される機械翻訳システムを含む，最先端のNMT モデル
においても十分に扱えない，対処すべき言語現象の存在を明らかにする。
キーワード：機械翻訳, ソーシャルメディア, 頑健性, データセット

## Phenomenon-wise Evaluation Dataset Towards Analyzing Robustness of Machine Translation Models

\author{
Ryo Fujil ${ }^{\dagger}$, Masato Mita $^{\dagger \dagger, \dagger}$, Kaori Abe ${ }^{\dagger}$, Kazuaki Hanawa ${ }^{\dagger \dagger, \dagger}$, \\ Makoto Morishita ${ }^{\dagger \dagger, \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger}$ and Kentaro Inui ${ }^{\dagger, \dagger \dagger}$
}

\begin{abstract}
Neural Machine Translation (NMT) has shown drastic improvement in its quality when translating clean input such as text from the news domain. However, existing studies suggest that NMT still struggles with certain kinds of input with considerable noise, such as User-Generated Contents (UGC) on the Internet. To make better use of NMT for cross-cultural communication, one of the most promising directions is to develop a translation model that correctly handles these informal expressions.
\end{abstract}

Though its importance has been recognized, it is still not clear as to what creates the large performance gap between the translation of clean input and that of UGC. To answer the question, we present a new dataset, PheMT, for evaluating robustness of MT systems against specific linguistic phenomena in Japanese-English translation. We provide more fine-grained error analysis about the behavior of the models with the accuracy and relative drop in translation quality on the contrastive dataset specifically designed for each phenomenon. Our experiments with the dataset revealed that not only our in-house models but even widely used off-the-shelf systems are greatly disturbed by the presence of certain phenomena.

Key Words: Machine Translation, Social Media, Robustness, Dataset

## 1 はじめに

ニューラル機械翻訳 (Neural Machine Translation, NMT) の発展 (Luong et al. 2015; Vaswani et al. 2017)により，ニュース記事のような文体の整った入力に対する翻訳品質は著しく向上 し，一部の言語対においては既に人間の翻訳に匹敵するレベルにまで到達したと言われている (Hassan et al. 2018; Barrault et al. 2019). しかし，そのめざましい発展をもってしても，ソー シャルメディアに見られるようなユーザ生成コンテンツ (User-Generated Contents, UGC) に対 する NMT の適用可能性は依然として極めて限られている (Michel and Neubig 2018).

一方で，ソーシャルメディアなどの普及に伴い，UGC が我々の日常生活に与える影響は非常 に大きなものとなっている。例えば，それらのサービスへの投稿はユーザの購買行動の決定に も重大な影響を及ぼすことが報告されている1、そのような背景において, Berard et al. (2019a) は Foursquare 2 に寄稿されたレストランのレビューに着目し, 異文化交流の促進に向けて実応用 を見据えた翻訳タスクを設計した。

近年では UGC に対して頑健な翻訳システム構築への関心の高まりと共に, ソーシャルメディ ア上のテキストの翻訳精度を競うコンペティションも開催されている (Li et al. 2019). 当該コ ンペティションにおいて，翻訳の評価は従来の機械翻訳出力に対する評価と同様に，あるひとつ の包括的なデータセットに対してひとつの全体スコアを付与する手法で行われている（図 1a）. しかし，我々はこの評価における改善は必ずしもモデルの頑健性を説明していないと考える.例えば，訓練データ規模の異なる 2 つのモデル出力に対して BLEU スコアの比較を行い，スコ アの改善をもってあらゆる事象に対する頑健性を結論付けることは危険である。UGCにおける 機械翻訳システムの性能向上への端緒を見出すためには，翻訳品質の低下を招く要因を明らか にし，実際にそれらが改善されていることを示すことのできる確かな基盤が必要である.

(a) 一般的な評価

(b) 現象毎データセットによる評価

図 1 一般的な機械翻訳評価の手法と我々のデータセットによる現象毎評価の比較.

そこで本研究では，機械翻訳システムの精緻な評価に向けた第一歩として日英機械翻訳に焦点を当て, 日本語ユーザコンテンツに含まれる特定の言語現象が出力に及ぼす影響を調査する.具体的には，既存の評価データセットに対して，新たに固有名詞，名詞の省略，口語表現，異表記の 4 つの言語現象に着目したアノテーションを付与することで，言語現象毎評価データセッ

ト PheMT (Phenomenon-wise Dataset for Machine Translation Robustness) を構築した（図 1b）。文中の特定の表現に注目することにより，ある言語現象を正しく扱えるかどうかを翻訳正解率を用いてより直接的に測定することを可能にした。 また，ある現象がモデルに及ぼす影響 は，その現象の存在を取り除いた場合との差分により評価できるというアイデアのもと，人手 による当該表現の正規化を行った。原文と正規化後の文を入力した際の評価指標の差異の測定 により，個々のモデルが元来有する表現能力の違いに起因する影響を取り除き，当該表現が翻訳文全体の品質に与える影響を測定する。構築したデータセットを用いた評価と分析を通して， UGC という限定されたドメインにおいても依然として十分に翻訳することのできない対処すべ き現象が存在することを明らかにする。

本論文の貢献は以下の 2 点である.

（1）日英機械翻訳における詳細なエラー分析のための第一歩として，日本語ユーザコンテン ツに頻繁に現れる言語現象に着目した評価データセットを構築した.

（2）構築したデータセットを用いた評価と分析により，広く商用に利用される機械翻訳シス テムを含む最先端の NMT モデルにおいても，依然として多くの課題が残されているこ とを明らかにし，今後の機械翻訳評価における一つの方向性として言語現象毎評価の可能性を示した。

## 2 関連研究

機械翻訳分野において，入力文中のノイズに頑健なシステムの構築に対する関心が高まって いる.これに対して, Michel and Neubig (2018) は UGC の代表例となるオンラインディスカッ

ことで英日翻訳を対象とした MTNT (Machine Translation of Noisy Text) データセットを構築した。彼らは，MTNT データセットの原言語文が既存の他の機械翻訳ベンチマークと比較し て誤植（タイポ）や文法誤りなどのノイズを多く含むことを明らかにすると共に， ベースライ ンモデルによる翻訳実験の結果から UGCに対する翻訳の難しさを示した。また，このデータ セットは近年開催された機械翻訳システムの頑健性に関するコンペティションにおいても，訓練および評価のために用いられた4.

しかし, MTNTデータセットには，ニュースの見出しのように文語調なものから，隠語を含 む特定コミュニティ内の崩れた会話まで多種多様な文体やドメインが含まれている。また，付加された翻訳文においても，その解釈の難しさから未訳や誤訳を含むものが一定数存在し, 品質は玉石混淆であると言える。このようなデータセットを評価基盤として，機械翻訳における 代表的な評価指標である BLEU スコア (Papineni et al. 2002)を用いた比較を行った場合，スコ アの改善が実際にどれほどノイズに対する頑健性に起因するのかを推定することは難しい．事実，コンペティションにおいて最も良いスコアを獲得したチームである Berard et al. (2019b) は，UGCに頻出する大文字・小文字の混同に対処するため各単語の先頭にタグを付与するなど の工夫を行い，人手評価をもって入力に対する頑健性が向上することを示したが，BLEU スコ アを用いた評価では，単に訓練データ中からぺアとして不十分なものを取り除くコーパスフィ ルタリングが最も改善に寄与したと報告している。コーパスフィルタリングは, データ駆動の 機械翻訳システムにおいては不可欠な技術であるものの (Koehn et al. 2018; Junczys-Dowmunt 2018), これはパラレルコーパスの構築にあたって生じたノイズへの対処を目的としており, 本質的に入力に対する頑健性を対象としてはいない. したがって，現状のデータセットおよび評価をもって UGC という特異な入力に対するシステムの優位性を帰結することは早計であり，真 に頑健な機械翻訳システムの構築に向けては，低コストで再現性が高く継続的な改善を実現可能な評価基盤を築くことの重要性は高いと考える. これらの問題意識のもと, 本研究では入力 に見られる特殊な言語現象に対する改善を重点的に測定できるような評価用データセットを構築することを目的とする。

言語現象という観点から誤訳の原因究明を目指すアプローチは，誤植 (Heigold et al. 2018; Belinkov and Bisk 2018; Karpukhin et al. 2019; Niu et al. 2020)，文法誤り (Nagase et al. 2011;

Sennrich 2017; Anastasopoulos et al. 2019) からジェンダーバイアスの存在 (Stanovsky et al. 2019)に至るまで広く受け入れられている。例えば, Isabelle et al. (2017) は英語からフランス 語への翻訳において, 主述の一致など構造の差異から生じる 20 種類以上の細分類を言語現象的観点から設定し，当該箇所の翻訳精度によりモデルを評価した。モデルの汎化性能の測定にお いては様々な性質のデータを用いて評価することが一般的であり，それぞれが単一の言語現象 を対象とした少数データセットによる分析, という彼らの提案は機械翻訳システムに対する理解を促進する上で新たな側面を提供したと言える。一方で，彼らの手法は人手による絶対評価 を要するため, 言語学に関する高度な知識を持った公平な評価者の選定や評価データの拡張に おいて課題がある.

この問題に対し, Sennrich (2017) は対照データセットによる相対比較を用いた自動評価のア プローチを提案した. この研究では, それぞれの入力文に対し, 正解の参照訳とその一部を改変した対照的な参照訳を作成し，モデルが正解に対して高い生成確率を与えることができた文 の割合をもって評価が行われた。 後に, Bawden et al. (2018)は同様の手法を用いて，先行文脈 を利用した機械翻訳における照応代名詞の影響を検証した。しかし, 彼らが指摘するように, この手法はモデルが 2 つの参照訳を正しく順位付けできた場合にも，最も尤度の高い生成文が 誤りを含まないことは保証しない. さらに, これらの手法は入力に曖昧性のない整った文を想定しているため, そのような特徴を有しないUGC の分析に適用することは難しいという問題 がある.

一方で，対照的なのは必ずしも参照訳である必要はない. Heigold et al. (2018)は，誤植を 模した人工的な誤りをルールにより作成し入力文に加えることで, 入力文中の誤りの存在がモ デルの翻訳品質の低下にどれだけ寄与するかを調査した。さらに, Belinkov and Bisk (2018), Karpukhin et al. (2019) はウェブサイトの編集履歴を用いることで，人間が生成しやすい誤りの 分布を再現し, 検証の範囲を自然な誤りに拡張した. しかし, これらの研究では誤りは疑似的な ものであり，実際に人間が記述したテキストに対するモデルの頑健性は検証されていない.こ れに対して, Anastasopoulos et al. (2019) は文法誤りに対するべンチマークである JFLEGコー パス (Napoles et al. 2017) に翻訳文を付与することで，人間が生成した誤りを直接入力文とし て用いた，彼らは，テスト時に含まれる誤りと同種の誤りを含む訓練事例を用いてモデルを学習することで，他種の誤りを加えて学習したモデルに比べ高い精度を達成することを示した.

このように，機械翻訳システムの頑健性に関して特定の観点に着目した研究は多く行われて いる.しかし，これらの工夫をもってしてもなお, 我々が取り組む UGC の翻訳においては, ニュース記事などを翻訳する場合に比べて著しい品質の低下が見られる。この背景には, UGC に特有の難しさが体系的に分類されていないことや，UGC を模したデータへの変換が極めて 難しいことがあげられる。これに対して，我々はUGCに頻繁に見られる言語現象の定義を行 い, UGC 上の文からそれらの現象を取り除く正規化を行う事で対照データセットを作成する.

また，先行研究の多くは文字体系を共有する比較的近い言語対を対象としており，我々の知る 限りでは日本語-英語のような類似しない言語対における詳細なエラー分析のための基盤は未た 構築されていない。しかし, 固有名詞の翻字に示されるように, 文字体系を共有しない言語対 に特有の問題も生じるため，取り扱う言語対に応じた柔軟な拡張が必要であると考えられる.我々のデータセットが，この極めて難しい言語対の翻訳に対する新たなアプローチの一助とな ることを期待する。

## 3 現象毎データセットの構築

本節では現象毎データセット構築の手順について説明する。我々は，UGCにおける機械翻訳 システム評価のための既存のベンチマークである MTNTデータセットに新たに言語現象のア ノテーションを行うことでデータセットを構築した。図 2 に一連の手順の概要を示す。データ セットの構築は主に, 品質担保のための事前デー夕選定と現象該当箇所の抽出および正規化の 2 つの段階から成る。まず 3.1 節では，翻訳品質の基準となる十分性スコアの定義と，MTNT データセットに対する人手のアノテーションを行った結果として得られたスコアの分布につい て考察する．後述する 3.2 節では，評価の対象とする言語現象の定義および，表現の抽出と正規化の手順について実例を交えて展開する.

## 3.1 品質担保のための事前データ選定

現象毎データセットを構築するにあたっては，現象を含む文を収集しそこに新たに翻訳を付与する方法と, 既存のパラレルデータに現象のアノテーションを行う方法の 2 つが考えられる.

図 2 現象毎データセット構築の流れ。
前者の方法には，原言語に含まれるニュアンスや文体を目的言語にも保持するかという観点か ら参照訳をコントロール可能であるという利点がある．例えば，「かわいいいい」のような表現 では cute, cuuuute のいずれもが正解となり得るため, それぞれの形式にどの程度対応可能で あるかを個別に把握することの重要性は高い。しかし，UGCに対して高品質な翻訳を大規模に 付与する方法は自明ではなく，このようにボトムアップにデータセットを構築することは高い コストを伴う，そのため，我々は既存のベンチマークである MTNT データセットにラベルを 付与し, 分類・正規化を行うことでデータセットの構築を試みた。ここで，MTNTデータセッ トでは各言語対に対して翻訳方向毎にデータセットが用意されている。このことから，我々は 対訳にはニュアンスの保持を期待しないものとしてデータセットの構築・分析を行った。また， MTNT データセットを複数の現象に細分類する場合, 評価用データの文数は限られているため,個々の現象データセットが極めて少ない文数に分割されてしまう恐れがある。そこで，我々は MTNT データセットの訓練および開発用データを含めた全データを，評価用データ (PheMT) として用いることにした. しかし, 通常, 訓練データは規模が大きいため人手による品質の評価を経ていない場合が多く，実際に人手で数件確認した限りでも，MTNTデータセットの訓練 データには多くの未訳や誤訳が含まれていた。そこで，我々は翻訳品質の基準として十分性ス コアを定義し，MTNT データセット中の全文に対し，クラウドソーシングを用いて評価を行う ことで現象毎データセットの品質を担保することにした.

十分性スコアの付与に先立って，まず簡単なルールベースのフィルタリングを行った. 具体的には，最低限の品質を満たさない文対として，(i) 対話コーパスのフィルタリングのために定義された不適切語リスト ${ }^{5}$ 中の単語を含む (ii) 原言語文と目的言語文が一致する（未翻訳） (iii)他の文対と完全に一致するのいずれかを満たすものを除外した. さらに，アノテーションタス クの平易化のため (iv) 一方もしくは両方の言語が 1 語のみ，もしくは 80 語以上からなるもの を除外した。フィルタリングの適用後, 残った文対について 1 (不適切) -5 (適切かつ流暢) の 5 段階のリッカート尺度で分類するタスクを行った。

各スコアへの分類基準の策定にあたっては，機械翻訳システムの出力を人手評価する際に一般的に用いられる，適切性 (adequacy) と流暢性 (fluency) の 2 つの観点 (White et al. 1994; Li et al. 2019)を用いた. しかし，我々が今回評価対象とする翻訳文は人手で生成されたものであ るため，流暢性に関してはある程度担保されていると考えるのが自然である。そこで，流暢性 の観点として翻訳語（機械翻訳らしさ）を参照し（Graham et al. 2019; Freitag et al. 2020), 表 1 に示す 5 段階の基準を設定した。

タスクの実行に際し，翻訳文の人手評価は本来目的言語の母語話者を評価者として行われる べきであるが，UGCの文意を正確に把握するためには当該言語に対する高度な理解を必要とす

るため, 英語が堪能な 10 名の日本語母語話者に評価を依頼した ${ }^{6}$. 評価者によるスコアのぶれを 低減するため, 1 文あたり 3 名の評価者を割り当て, 平均をもって各文の十分性スコアとした.

図 3 に本タスクによって付与された MTNT データセットの各分割に対する十分性スコアの分布を示す。この結果から，青色および黄色で示される学習，開発用セットにおけるスコアの分布が，評価用に作成された他の分割（テスト，ブラインドセット7）に比べ，低スコア側で高く なったことがわかる．このことは，評価デー夕を単純に拡張する事が招く品質の低下と，フィ ルタリングの必要性を示唆していると言える。現象毎データセットの構築にあたっては，両言語により伝わる情報を等価と見なすことのできる，平均スコアが 4.0 以上の文対のみを用いる こととした. 表 2 には十分性スコアの各スコア帯における原文と翻訳文の一例を示す.

また，我々はこれらのアノテーションが妥当かつ信頼性の高いものであるかを検証するため， アノテーションの一致率を調查するとともに，一部の文対に対して英語母語話者により同様の品質評価を実施した。まず，アノテータ間一致率について，順序尺度に最適化されていることや，欠損値を含むデータにも適用可能なことから Krippendorff の alpha 係数 (Krippendorff 2011)を

表 1 翻訳十分性スコアの評価基準.

図 3 MTNT データセットの各分割に対する十分性スコアの分布.
^{6} 1$ 名あたりの担当文約 2,200 文に対し，標準報酬を 2 万円に設定した， 10 名の募集に対し， 80 名以上の応募者の 中から，職業としての翻訳経験，海外在留経験，もしくは同等のスキルを有するワーカを選出した.

7 コンペティションにおいてシステムの順位を決定するために用いられたデータセット．評価期間の終了まで参加者 には公開とされた。
}

表 2 十分性スコアの各スコア帯における翻訳文例.

測定した結果, 一致率の值は 0.32 となった。これは, Landis and Koch (1977)の基準において fair agreement（まずまずの一致）とされる値であり，一致率としては少し低いと考えられる.原因としては，評価対象文である MTNT データセットの翻訳が人手で生成されていることから 意味の等価性に重点を置いた評価基準を設定したものの，実際には機械翻訳にかけたような流暢でない翻訳文も散見され，文法性の許容範囲に主観の入る余地が生まれてしまったことが想定される。さらに，各ワーカの付与したスコアの分布に着目すると，10名のワーカの平均点の 範囲は 3.32-4.44 点と広いものの, 四分位範囲は 0.46 点に収まっていた。これは, 図 4 に示す ように評価対象文の大多数に高い点数を付与するようなワーカの存在に起因すると考えられる. そこで, スコアの平均が最も高い・低い各 2 名の結果を外れ値として除外し, 再度 alpha 係数 を測定したところ，值は moderate agreement（中等度の一致）となる 0.48 まで向上した. ワー カの質には依然として議論の余地が残るものの, 利用可能な文数とのトレードオフにより信頼性の高い部分集合を用いるなど品質の調整は可能である.

次に，妥当性に関して，具体的にはクラウドワーカによる平均点が 4.0 以上・未満の文からそ れぞれ 50 文対を無作為に取り出した合計 100 文対に対して，翻訳業を生業とする英語母語話者 にクラウドソーシング実施時と同様の指針を提示して評価を依頼した。評価の結果を図 5 に示 す. 図から，平均点が 4.0 以上であった 50 文対に対して新たに 3 点以下が付与されたものは 7 文対であり， 4.0 未満の 28 文対に対して 4 分の 1 と少ないことから評価の妥当性は保たれてい ると考えられる。また，表 3 にはとりわけ点数の低かった 3 文対とその判断の根拠（原文）を 示す。この結果から，スコアに乘離が生じた例の中には文脈情報の不足により評価が困難なも のも多いように思われる。文章単位の情報が利用可能な状況では改善の余地はあるものの，そ のような例を完全に取り除くことは難しいと考えられる。

以上の結果を踏まえ，言語現象の評価に用いる文を可能な限り多く確保するため，今回の実験ではアノテーションの信頼性によるフィルタリングは行わなかった。その結果，条件を満た した文数は評価対象とした 7273 文の約 $57.1 \%$ にたる 4152 文であった．また，訓練デー夕を 評価のために用いる際のもう一つの問題点として，複数の翻訳文を持つ原言語文の存在があげ られる。特に，MTNTデータセットはその構築過程において，一連の発言であるコメント単位 で翻訳を行い，文単位に自動で分割する処理を経るため，アラインメントの誤りに起因する重

図 4 各ワーカの付与した十分性スコアの分布.

複部分を多く含む特徴がある。そこで，我々は原言語文を空白で区切った際の最初の分割が同一のものを集計し, 最も高いスコアが付与された一文のみを参照訳として保持することで対処 した. これにより, 現象ラベルの付与対象は 3896 文となった.

図 5 平均点 4.0 以上・未満の各 50 文対に対する英語母語話者による品質評価.

 \\

表 3 低スコアが付与された文対とその判断の根拠.

## 3.2 評価データセットの構築手法

(i) 言語現象ラベルの定義評価の対象とする言語現象のラベルを定義するにあたって，我々は UGC に特有のどのような要因が他の言語処理タスクにおいて問題となっているかを調査した. Sasano et al. (2013)は日本語形態素解析の文脈において，インターネット上のテキストに含まれ る標準的でない綴りの影響に着目している，彼らは，母音の長音化や小文字化などのルールを 人手で設計し，ルールに基づいた正規化適用後の表現が事前定義済みの語彙に含まれる場合に，形態素ラティスに追加することで解析誤りを抑制できることを報告した。さらに，同様のルー ルに基づいて作成した正規-崩れ文字列パターンのシードデータからアラインメントを学習する ことで，より複雑な崩れ表記にも対応できることが示されている (斉藤 他 2014). また, ニュー ラルネットワークを利用したテキスト正規化モデルにおいても，疑似データの作成時に類似の ルールを適用することで精度の向上が確認されている (Ikeda et al. 2016). しかし, これらの崩 れ表記が機械翻訳などの言語横断的タスクに及ぼす影響は未だ十分に検討されていない. そこ で，我々はこれらの先行研究に倣い，口語表現および異表記の 2 種類の現象ラベルを定義した.

さらに，我々はUGC を含む様々なテキストにおいて頻繁に見られる固有名詞および名詞の 省略の 2 種類の現象に着目した。固有表現が機械翻訳システムに及ぼす影響については翻字や 転写の文脈で注目を浴びつつある (Shao and Nivre 2016; Rosca and Breuel 2016; Ugawa et al.

2018). 我々は，これらの現象が実際に UGCにおいてどれだけ現れるかを検証するため，予備実験として MTNT データセットの訓練データから無作為に取り出した 500 文に対するアノテー ションを行った，実験の結果から，名詞の省略について全体の $10 \%$ 以上，固有名詞については $40 \%$ 以上の文に含まれる極めて頻出の現象であることが分かった.

我々は，以上の 4 種類の現象について最新の機械翻訳システムに及ぼす影響を調査する。各 ラベルの具体的な定義とその分類例を表 4 に示す.

(ii) 該当表現の抽出と正規化 言語現象毎データセットの構築にはクラウドソーシングを用い た。問題の難易度およびワーカ間の一致率を考慮し，アノテーション手順を各文への現象ラベ ルの付与, 該当表現およびアラインメントの抽出, 正規化の 3 つの段階に分けてデータセット を構築した，また，回答の品質を担保するため，すべてのタスクにはチェック設問を設け，各設問に対しチェック設問を通過した 5 名のワーカの回答を集約した。

初めに，3.1 節の十分性スコアにより選定したMTNT データセット中の文対に対して，原言語（日本語）文を表 4 に定義する 4 種類の現象ラベルに分類するタスクを行った（図 2 Step1）.各設問は，ある文に対して各現象の有無をチェックする 4 つの小設問からなる. ワーカの過半数にあたる 3 名以上が同一の現象に対して「含む」と回答した場合のみ，その現象を含むと見 なした。

続いて，現象ラベルとその該当表現の対応づけを行った（図 2 Step2）。具体的には，日本語文と現象ラベルのぺア 1 つに対し, 最大 5 箇所を本文中の形式で抜き出すタスクとして設計し た.つまり，前述の分類タスクにおいてある文が複数の現象を含むと分類された場合, 注目す る現象毎に別の設問として取り扱われる。また，抽出された各表現について目的言語中から対応する表現（アラインメント）の抜き出しを行った。これらのタスクに対する回答は過半数の 完全一致が得られたもののみを使用した。

 \\

表 4 言語現象ラベルの定義と分類例.

さらに，各現象の影響を取り除き対になる評価文を作成するため，抽出された表現の正規化 を行った（図 2 Step3）。ここで「正規化」とは，表 4 の定義に従い辞書中の表記から逸脱した 表現を，対応する標準形の表現に書き直すことを意味する。つまり，ある現象に分類される表現に対し，その現象に分類される理由を取り除くような逆向きの変形を適用する。例えば，名詞の省略に分類される「アプデ」という表現は，この表現を名詞の省略ではなくするような変形，つまり省略元の表現への書き換えにより「アップデート」に正規化される．同様に，長音記号の挿入により口語表現となる「ねむーーい」という表現は，長音記号を除去することで「ね むい」に正規化される。ここで，口語表現と異表記は標準形と同音であるか否かにより定義上排他的であるものの，一部の口語表現では正規化適用後により一般的な漢字表記（上記例「眠 い」）を持つ異表記に転化する場合も見られた。このような例では， 口語表現の範囲外となる漢字化は行わないよう指示し, 当該現象の切り分けを行った. また, 同一の表現が複数の現象に 分類される場合には, 注目する現象毎に当該現象のみを取り除くような正規化を行う。例えば,「すまほ」という表現は，名詞の省略と異表記に分類されるべき表現であるが，これはそれぞれ 「すまーとふおん」「スマホ」に正規化されると期待される。なお，実際にはこのような複合は あまり見られなかった。

我々は, これらのタスクの結果を集約し, 該当表現を正規化後の表現に置き換えることで, （原文, 正規化後文, アラインメント，参照訳）の４つ組としてデータセットを構築した。この 際, 同一の現象ラベルに属する表現が一文中に複数含まれる場合には, 当該文が複数回評価さ れることによる過剰評価の影響を防ぐため，評価データから削除した。なお，「標準形」という 概念が存在しない固有名詞に関しては，正規化タスクは行わず，原文とアラインメントを用い て評価を行うこととした。一連の手順により構築したデータセットの一例を表 5 に示す。また，各現象データセットの構成文数，ユニークな表現数，および正規化前後の文字単位による編集距離は表 6 のとおりであった. この結果から， 口語表現や異表記は構成文数に対するユニーク な表現の割合が高く，変化のパターンには多様性があることが窥える。また，口語表現は異表記に比べて正規化による編集距離が小さく, 推論時の表層的な手がかりの利用可能性が品質の 改善に寄与することが期待される.

## 4 翻訳モデル

本節では，構築したデータセットによる評価および分析の対象とした翻訳モデルについて説明する．我々は訓練データの規模や前処理の方法が異なる 5 種類のモデルを用意し，それぞれ 5 つの乱数シードで実験を行った，表 7 に各モデルの主な特徴, 表 8 には学習に用いたデー夕 セットの内訳を示す.また, 実験は我々が独自に訓練したモデルに加え, Google 翻訳などの商用翻訳システムに対しても行った。実際にユーザからの入力を受け付けることで改善が行われ

表 5 構築したデータセット中の文例. Orig., Norm., Ref. はそれぞれ, MTNT データセット中の原文,正規化タスク適用後の文，参照訳を表す。

表 6 各現象データセットの構成文数.

表 7 各内製モデルの主な特徴. LARGE, CAT の両モデルには同一の BPE モデルを適用した.

表 8 訓練データセットの内訳.

る商用のシステムでは，UGCに対する頑健性がより高いことが期待される．そのようなシステ ムに対して実験を行うことで，より重要性の高い現象の存在を明らかにすると共に，質の高い 翻訳を得るためにユーザが行うことのできる工夫としての正規化の有用性を確認する.

まず，訓練デー夕の規模のみが異なる 2 つモデルの比較を通して，ある現象が大規模なデー 夕の収集により解決されうるかどうかを調査する。評価指標の差分による頑健性の評価に改善 が見られない場合, 前処理やモデリングにおいて特別な工夫を要する現象であり，より重要性が 高いと考えることができる. SMALL モデルは WMT 2019 にて開催されたコンペティションに おいて訓練データとして公式に提供された TED talks, KFTT (Kyoto Free Translation Task), JESC (Japanese-English Subtitle Corpus)の 3 つのデータセットを用いて学習したモデルであ る. 一方で, LARGE モデルにはこれらのデータに加え, 現在一般に利用可能な日英パラレルコー パスとして最大規模である JParacrawl v2.0 (Morishita et al. 2020)を用いた. また，データセッ トの前処理として, JESC にあたる部分の英語文がすべて小文字で記述されていたため, TED talks, KFTT, MTNT データセットを用いて学習したmosesツールキット (Koehn et al. 2007)の recaser を適用することで，文字種情報の復元を行った。さらに，文中の unicode 絵文字および 顔文字を特殊トークンに置換し，後処理において復元を行った (Murakami et al. 2019). また,翻訳時にコピーされることが望ましいユーザ名についても同様の処理を適用した 8 . トークンの 単位にはサブワードを用い, sentencepiece (Kudo and Richardson 2018)により，両言語共有 で語彙数が 32,000となるように Byte-Pair-Encoding (BPE)を適用した (Sennrich et al. 2016).

続いて, トークンの分割単位がモデルの頑健性に及ぼす影響を調べるため, LARGE モデルの 訓練データに異なる分割を適用してモデルの学習を行った. CHAR モデルは，入出力を文字の 系列と見なすことで，原言語側の一連の文字の並びから目的言語側の異なる文字の並びへの翻訳を行う (Wang et al. 2015). 数值やコードスイッチングを適切に扱うため, ここでも両言語の 語彙は共有とした. 先行研究において, 文字べースの翻訳モデルは BPEを用いたモデルに比べ

誤植などの誤りに対する頑健性が高いことが示されている (Durrani et al. 2019). 我々は, UGC を取り扱う上でも分割手法の差異が翻訳品質に影響を及ぼすかについて改めて確認する.

さらに，我々のデータセットによる評価が，特定の現象に対する工夫を反映できることを検証するため, 残る PROn, CATの 2 モデルについては, 原言語（日本語）側に特殊な前処理を 施した。具体的には, 日本語形態素解析ツールキット MeCab (Kudo et al. 2004)を用いて取得し た各形態素の読みを結合することで発音べースのコーパスを作成し，これを用いて学習を行っ た。日本語ではすべての単語の読みは表音文字であるひらがなまたはカタカナを用いて表すこ とができるが，PRON モデルの訓練には MeCabの標準出力であるカタカナに変換されたデータ を用いた。この前処理は，特に異表記に対する頑健性の向上を目的としている．中でも，異表記の定義に含まれるひらがな・カタカナの混同に適切に対処することを期待した．例えば，表 4 中の「アリガトウ」という表現は通常ひらがなで記述されるが，発音への変換を経ることで 同一の表現（アリガトウ）に集約することが出来る.これにより，推論時に未知の表現が減少 し，翻訳品質が改善すると考えられる。さらに，このような音声的情報は同音異義語の翻訳曖昧性解決にも有効であることが示されている (Liu et al. 2019).

一方で, CAT モデルでは通常のコーパスと発音ベースのコーパスの結合コーパスを用いて学習を行った。コーパスの結合の方法には，それぞれのコーパス中の文を別々の文として縦方向 に結合する方法と，〈sep>などの特殊トークンを用いて同一文内で横方向に結合する方法が考え られるが，このモデルでは前者の方法を採用した ${ }^{9}$. また，発音べースのコーパスに相当する部分をさらにひらがなに転写し，LARGE モデルと同一の BPE モデルを用いてサブワードに分割 した. 元文と発音に転写された文の 2 文から同一の目的言語文を出力するように学習を行う事 で，一般的でない表記から生じる予期しない分割に対しても頑健な表現を得ることを期待した.

すべてのモデルには fairseqツールキット (Ott et al. 2019) に実装された Transformer-base アーキテクチャを用い，ハイパーパラメータは Murakami et al. (2019)の設定に準じた。また,広く商用に利用されている機械翻訳システムとして, Google 翻訳 ${ }^{10}$, および DeepL 翻訳 ${ }^{11} の 2$ つのシステムの出力結果についても分析を行った12.

## 5 現象毎評価

本節では，構築した現象毎データセットを用いた評価によりニューラル機械翻訳システムの 現状を概観する。具体的には，MTNTデータセット中の原文と正規化後の文のそれぞれをモデ

ルに入力し, 単一参照訳 BLEU (Papineni et al. 2002; Post 2018), およびアラインメントを用い た翻訳正解率の差分をもって評価を行う。それぞれの文は評価対象とする現象の有無の一点に おいてのみ異なるため, 任意の評価指標によるスコアの差分の大きさは, 当該現象がモデルに与 える影響の大きさと考えることができる。この際, 同一の差分であればスコアの絶対值が小さ い場合により影響が大きいという直感のもと，差分を正規化後のスコアで除算した (Niu et al. 2020)．つまり，原文に対する翻訳を $x_{\text {orig }}$, 正規化後の文に対する翻訳を $x_{\text {norm }}$, 参照訳または アラインメントを $y$ ，翻訳文と参照訳（アラインメント）を受け取りスコアを返す任意の評価指標を $\operatorname{score}(x, y)$ としたとき，頑健性スコア RoBUST は以下のように定義される.

$
\operatorname{RoBUST}=\frac{\operatorname{score}\left(x_{\text {orig }}, y\right)-\operatorname{score}\left(x_{\text {norm }}, y\right)}{\operatorname{score}\left(x_{\text {norm }}, y\right)} \times 100
$

頑健性スコア ROBUST は, 正規化後の入力に対して到達可能な翻訳品質に対する相対的な品質 の低下（上昇）と捉えることが出来る．我々は BLEU スコアのような文レベルの評価指標に加 え，局所的な翻訳可能性を測定する正解率を相補的に用いることで，現状のモデルにおける改善点を明らかにするためのより詳細な分析を提供する。続く 5.1 節では定量評価, 5.2 節では定性評価の結果を示す.

## 5.1 定量評価

内製モデル 表 9 および 10 にはそれぞれ，現象毎データセットに対する我々のモデルの BLEU スコア，当該箇所の翻訳正解率を示す。この結果から，訓練デー夕規模が小さい場合（SMALL モデル）は, 正規形の存在する名詞の省略, 口語表現, 異表記のすべての現象において, 原文

表 9 我々のデータセットにおける BLEU スコアの測定結果（内製モデル）＊５ シードの平均値 $\pm$ 標準偏差．Orig. は原文, Norm. は正規化後の文に対するスコアを表す．RoBusT は式 (1)による。

表 10 我々のデータセットに打ける正解率 (\%) の測定結果（内製モデル）＊５ シードの平均値 $\pm$ 標準偏差. Orig. は原文, Norm. は正規化後の文に対するスコアを表す. RoBusT は式 (1)による.

入力時に品質の低下が見られることがわかった. さらに, 特に評価指標に正解率を用いた場合, SMALL モデルの名詞の省略に対する頑健性スコアが他のモデルに比べ著しく低いことが確認さ れた。固有名詞や名詞の省略では, LARGE モデルにおいて原文入力時の正解率も大幅に向上し たことから，訓練データを拡充しカバー率を向上することである程度対処可能な現象であると 考えられる。しかし，一般に正規化により翻訳文の品質が低下することは考えにくく，正のス コアを示す頑健性スコアの解釈には疑問も残る。これに対して，我々は正規化後に翻訳文の品質が低下する例にはどのようなものがあるかを確かめるため，名詞の省略データセットの細分類を行った，その結果，省略形がアルファベットの頭字語である場合に，特に LARGE モデルで 正規化前の入力に対する正解率が高く，それ以外の入力のパターンでは正解率の低下が確認さ れた。これは，主に参照訳中にそのまま現れることの多い頭字語が，正規化により過剰に説明 されてしまい表層の一致が取れなくなってしまったことに起因すると考えられる。しかし，実際には PCの翻訳が personal computerでも問題ないように，頭字語の翻訳には複数の正解が許容される場合がある。従って，正規化後の上界はより高いと考えられ LARGE モデルにおいても 依然として課題は残されていると言える.

口語表現と異表記の 2 現象に注目すると，LARGE モデルは，BLEU スコアにおいて SMALL モ デルよりも 2-3 ポイント程度優位であるものの, この改善は頑健性の向上に起因するものでは ないと考えられる。 中でも， 口語表現の正解率について，正規化後の入力にさえ SMALL モデル がより高い値を示したことは注目に値する。このことは, これらの現象が最先端の翻訳モデル においても十分に扱うことが難しく，データセットの拡充に加えて特別な対処を必要とするこ とを示唆している。
続いて，トークンの分割単位が各現象への頑健性に及ぼす影響を確認する。LARGE モデルと CHAR モデルに対する結果の比較から，文字べースの分割は特に口語表現に対する頑健性を向上させることが確認できる。これは， 3.2 節で述べたとおり，口語表現データセットの正規化前後の編集距離が他のデータセットに比べ小さいことに起因すると考えられる. 先行研究におけ る誤植と同様，周囲の文字が大きな手がかりとなるような現象に対しては，文字単位に分割す ることの有用性が確認できる。しかし, 同時に BLEU スコアの絶対値や正規化後の表現に対す る正解率において減少も見られることから, 現象の存在が明らかである場合を除いては BPEに 基づく分割が優位であるように思われる。一方で, 異表記については一種の綴りの誤りと見な すことができるため，文字単位で扱うことによる頑健性の向上を期待したがその改善は限定的 であった. これは, 一般にある単語内の数文字の変化からなる誤植や口語表現に対して, 単語単位で生じる異表記の問題としての難しさを示唆していると言える。

また，我々のデータセットによる評価が，特定の現象に対する頑健性に感受性を有するかに ついて, PRON モデルの結果から確認する。表 9 から, 原文入力時の BLEU スコアに注目する と，一般に PRON モデルは流暢性において他のモデルよりも劣ることがわかる。一方で，この モデルにおいて頑健性の向上が期待される異表記のスコアに注目すると, 同量のデータで学習 した 3 モデル中では最小の $-3.90,-26.47$ ポイント（BLEU, 正解率）となった. スコアが大 きく改善した一因には，表音文字への統一により表現力が低下したことに起因する正規化後の 正解率低下も考えられるものの, 原文入力時の $10 \%$ に迫る改善は従来の自動評価では見いだせ ない解決策を切り拓く可能性の一例であると言える.

これに対して CAT モデルは, 原文入力時の異表記の正解率について大幅な向上を達成しなが ら，同時に BLEU スコアの低下も抑えている点で PRON モデルの流暢性の問題を克服したモデ ルであると言える。正解率は全モデル中最大の $28.34 \%$ 示し, LARGE モデルからは $15 \%$ 以上 の飛躍が見られた（表 10）また，口語表現に注目すると，BLEU スコアではLARGE モデルか ら大幅な向上は見られないものの, 正規化の適用により翻訳できる表現の割合に違いが生じて いることがわかる。これは， 3.2 節で述べたように口語表現と異表記における階層性に起因する と考えられ, 同様に CAT モデルの異表記に対する頑健性を支持していると言える. このような 改善が見られた理由としては，ひらがな化から生じる予期しない分割に対する適応可能性の向上があげられる。日本語では多くの高頻度の機能語は数文字のひらがなから構成される。その ため, ひらがな化された表現は単一の語としてではなく, より高頻度の機能語を生成するよう に分割されてしまう場合がある (Sasano et al. 2013). 発音に転写したコーパスの混合により，意図しない機能語を含む難しい系列からも正しい出力を行うように強いることで，共起関係が よりうまく捉えられたと考えられる。この結果から，UGCを取り扱う際には起こりうる言語の 変化に対してその特性などからの考察を行う事が重要であることが窺える.

表 11 我々のデータセットにおける BLEU スコアおよび正解率の測定結果（商用システム）。＊Orig. は 原文, Norm. は正規化後の文に対するスコアを表す．ROBUST は式 (1)による.

商用システム 驚くべきことに，広く商用に利用される機械翻訳システムをもってしても，我々 の異表記データセットに対する評価の結果からは改善の余地が見られることがわかった（表 11）.結果から，双方のシステムで原文入力時に比べ正解率で約 $15 \%$, BLEU スコアについても最大 2.3 ポイントの大きな低下が確認された. つまり, 我々がユーザとしてこれらのシステムを用 いる上では，複数の表記を許容できる表現についても，より一般的な表記に置き換える一工夫 で，得られる翻訳の質を大きく高めることができると言える。また，BLEU スコアにおいて優れ ているシステムは必ずしも正解率で勝ってはいなかった．例えば，名詞の省略に対する DeepL 翻訳の正解率は Google 翻訳に比べ 2.0 ポイント低かったものの, 同一のデータセットにおいて BLEU スコアでは 1.7 ポイント高い値を示した. これは， 2 つのシステムが未知の表現に面した 際の異なる挙動に由来すると考えられる，我々の実験では，DeepL 翻訳が一般的でない表現を 省略することで全体の翻訳を流暢に保つのに対し，Google 翻訳はモデルの以後の出力に悪影響 を及ぼすようなフレーズであっても何らかの出力を行う傾向が見られた．実用上は，あるシス テムの適合率と再現率のどちらが重視されるべきかは応用先に依存する. 現象毎の観点の提供 に加え, 適合率に基づく BLEU と再現率に基づく正解率の二面からの評価を行うことは, モデ ルの選択に大いに役立つと考える.

## 5.2 定性評価

本節では，モデルによって生成された出力が正規化の有無によりどのように変化したかを分析する．表 12 は我々のモデルによる実際の出力の一例である.

表中の例 (a)にはひらがなで記述された一般的でない表現「ぎゃくたい」が漢字（虐待）に 置換された場合の出力の変化を示す。この例において，LARGE モデルでは原文を入力した際，誤って want to というフレーズを出力してしまった。このような出力となった理由として, 当該表現が BPE モデルによって4つのトークンに過度に分割されていたことがあげられる。特 に, しばしば願望を表す助動詞として用いられる「たい」という分割の存在によりこのような
(a) 異表記

(b) 名詞の省略

(c) 固有名詞

表 12 内製モデルによる実際の出力例。*\{正規化前 / 正規化後 $\}$

誤訳が生じたと推測される。一方で， CAT モデルでは入力文は同一の BPE モデルで分割され ているにも関わらず，ひらがなの入力に対しても正しい訳である abuse を出力することができ た. 多くの場合，助動詞「たい」に先行する文字は「したい」や「食べたい」のように「い」ま たは「え」の子音で構成される，発音ベースのコーパスを加えることにより，願望の意味で用 いられない熟語中の「たい」などの負例が十分数出現したため, 出力が改善したと考えられる.異表記は日本語のように多様な文字を用いる言語に特有な現象であるものの, 類似の問題はア ルファベットを用いる言語にも存在する。例えば (a)の例は, 単語の一部が既存の他の単語に 連想されることで生じた誤りであるが, 誤植の一部では同様の問題が生じる。そのような場合 に，その表現が誤りであることを文脈から正しく判断し，正確な翻訳を行う事は現在の翻訳シ ステムにとって大きな課題である.

次の例 (b) は名詞の省略データセット中の例である。この例では, LARGE モデルは原文中の 表現「サバゲー」を，誤って「サバ」と「ゲー」の二語の組みあわせとして翻訳している。一方 で CAT モデルでは, 同様に正しく翻訳することはできなかったものの, 対象の表現をアルフア ベットへ転写することで対処した。この結果から， CAT モデルはサバとゲームが共起しにくい といった情報をよりうまく捉えているように思われる。また，データセット中には「生保」の

ようにある表現が文脈に応じて複数の表現の省略となりうる例 13 も存在した. こういった曖昧性に対してモデルをさらに頑健にするためには，単語や文内に限らずより広い文脈を考慮する ことが求められていると言える.

最後に (c) の例では, 文中の「平昌」という固有名詞をSMALL モデルは扱うことができなかっ たのに対し， LARGE モデルは正しく翻訳することができた。これは，訓練データを新たに加え たことでテストデータ中に既知の固有名詞が増加したことに由来すると考えられるが，我々は 訓練データの規模の増大が固有名詞に対するモデルの頑健性を説明する理由として必ずしも十分ではないと考えている。その理由として，固有名詞にはある時期を境とした出現頻度の変化 が生じやすいことがあげられる。例えば，「平昌」という表現を例にあげると，これは同所で オリンピックが開催された 2018 年前後の記事を含むコーパスでは出現数が大幅に増加するこ とが見込まれる。SMALL モデルの訓練に使用されたコーパスは 2018 年以前に作成されたもの であることから，当該表現の相対的な出現数の少なさが翻訳を困難にしたと考えられる．我々 は，日々新たに生まれる未知の固有名詞に対して真に頑健なシステムを評価するためには，評価データが訓練データよりも常に時系列的に新しくなるように分割を行うべきだと考える。し かし，現実的には入手可能ないかなる訓練データよりも新たなデータを作成することは不可能 である。そのため，このような要因の存在を認識し留意した上で，我々のデータセットを用い た評価を固有名詞に対する一定の指針として用いることは有意だと考える.

## 6 考察

## 6.1 WMT コンペティション参加システムの現象毎分析

現象毎データセットの潜在的な活用事例を探るため，我々は WMT 2019 にて行われた機械翻訳システムの頑健性に関するコンペティションに投稿されたシステム出力の現象毎分析を行っ た. コンペティションの公式サイトト ${ }^{14} よ り$ ，MTNT データセットのブラインドセットにあたる 部分について 5 つのシステムの出力をダウンロードした。 その後, 構築したデータセットより ブラインドセットに由来する部分を抽出し，評価の対象となる固有名詞 136 文，名詞の省略 48 文，口語表現 21 文と異表記 11 文を得た。システム出力には，それぞれの文に対し 3 名の翻訳者による人手評価で 1 （非常に悪い）-100（非常に良い）のスコアが付与されている (Li et al. 2019). 我々は，3名のスコアの平均を翻訳文のスコアとし，各現象データセットに対して平均 を取ることで，モデルのある現象に対する人手評価スコアを算出した.

図 6 には，各現象に対する人手評価スコアと翻訳正解率の相関を示す。図より，特に固有名

(a) 固有名詞

(b) 名詞の省略

(c) 口語表現

(d) 異表記

図 6 WMTコンペティション投稿システム出力に対する人手評価スコアと翻訳正解率の相関。 $r$ はピア ソンの積率相関係数を表す。

詞と名詞の省略について人手評価と正解率の間にはピアソンの積率相関係数 $r>0.9$ の非常に 強い正の相関があることがわかった，正解率という，文中の局所的な翻訳可能性に注目した指標が文全体の翻訳品質と高い相関を示したことは注目に値する。これは，人間が翻訳の良さを 判断する上で特定の表現をより重点的に考慮する可能性を示唆している. ひとつの理由として は，人間にとって翻訳文中に固有名詞が含まれるかどうかの判断は容易であることがあげられ る.こうした表現の訳抜けは，他の表現の訳抜けに比べて評価への影響が大きいと考えられる.一方で，今回比較したシステムは個々の性能差も大きいことから，相関が現象に関連する部分 のみに起因すると帰結することは難しい，今後の方向性としては，類似の性能を示すモデルを 用いて同様の検証を行うとともに，他の評価指標との相補的な利用を模索し，よりよい人手評価の近似について検討することが考えられる。

## 7 おわりに

本研究では, 日英機械翻訳システムの精緻な評価に向けた第一歩として，ユーザ生成コンテ ンツに着目した言語現象毎評価データセットを提案した。具体的には, 固有名詞, 名詞の省略,口語表現, 異表記の 4 つの現象に対するモデルの頑健性について評価・分析を行った.

分析の結果，広く商用に利用される翻訳システムを含む多くのモデルが，異表記を含む入力 に対して不安定であることがわかった。これは, 現在の主流であるモデルや訓練デー夕の大規模化が異表記のような特異な入力に対する頑健性の十分条件ではなく, 異文化・多言語交流を 促進する翻訳システムの構築に向けては特別な工夫を要することを示唆している.

また，過去に開催されたコンペティションにおけるシステムの人手評価スコアを用いて，現象毎に人手評価と翻訳正解率の相関関係を調査した。実験の結果, 特に固有名詞と名詞の省略 について両者の間に非常に強い正の相関が見られたことから，従来の適合率に基づく評価に加 えて，我々の評価を用いることで人手評価をよりよく近似する可能性を確認した.
我々は，機械翻訳システムのさらなる発展のため構築したデータセットを公開している 15 .我々のデータセットが，より実用的な機械翻訳システムの構築に向けて，機械翻訳コミュニティ を一歩前進させるための先駆けとなることを期待する.

## 謝 辞

本論文の内容の一部は, The 28th International Conference on Computational Linguistics (COLING 2020) で発表されたものです (Fujii et al. 2020). また, 本研究の一部は JSPS 科研費 JP19H04162，JP20J21694 の支援を受けて行いました，本論文の執筆にあたり，有益なコメン トを頂きました査読者，担当編集委員の皆様に感謝申し上げます.

## 参考文献

Anastasopoulos, A., Lui, A., Nguyen, T. Q., and Chiang, D. (2019). "Neural Machine Translation of Text from Non-Native Speakers." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3070-3080.

Barrault, L., Bojar, O., Costa-jussà, M. R., Federmann, C., Fishel, M., Graham, Y., Haddow, B., Huck, M., Koehn, P., Malmasi, S., Monz, C., Müller, M., Pal, S., Post, M., and Zampieri, M. (2019). "Findings of the 2019 Conference on Machine Translation (WMT19)." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61.

Bawden, R., Sennrich, R., Birch, A., and Haddow, B. (2018). "Evaluating Discourse Phenomena in Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1304-1313.

Belinkov, Y. and Bisk, Y. (2018). "Synthetic and Natural Noise Both Break Neural Machine Translation." In 6th International Conference on Learning Representations, ICLR 2018.

Berard, A., Calapodescu, I., Dymetman, M., Roux, C., Meunier, J.-L., and Nikoulina, V. (2019a). "Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 168-176.

Berard, A., Calapodescu, I., and Roux, C. (2019b). "Naver Labs Europe's Systems for the WMT19 Machine Translation Robustness Task." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 526-532.

Durrani, N., Dalvi, F., Sajjad, H., Belinkov, Y., and Nakov, P. (2019). "One Size Does Not Fit All: Comparing NMT Representations of Different Granularities." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1504-1516.

Freitag, M., Grangier, D., and Caswell, I. (2020). "BLEU Might Be Guilty but References Are Not Innocent." arXiv, abs/2004.06063.

Fujii, R., Mita, M., Abe, K., Hanawa, K., Morishita, M., Suzuki, J., and Inui, K. (2020). "PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5929-5943.

Graham, Y., Haddow, B., and Koehn, P. (2019). "Translationese in Machine Translation Evaluation." arXiv, abs/1906.09833.

Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., Huang, X., JunczysDowmunt, M., Lewis, W., Li, M., Liu, S., Liu, T.-Y., Luo, R., Menezes, A., Qin, T., Seide, F., Tan, X., Tian, F., Wu, L., and Zhou, M. (2018). "Achieving Human Parity on Automatic Chinese to English News Translation." arXiv, abs/1803.05567.

Heigold, G., Varanasi, S., Neumann, G., and van Genabith, J. (2018). "How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?" In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 68-80.

Ikeda, T., Shindo, H., and Matsumoto, Y. (2016). "Japanese Text Normalization with EncoderDecoder Model." In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 129-137.

Isabelle, P., Cherry, C., and Foster, G. (2017). "A Challenge Set Approach to Evaluating Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2486-2496.

Junczys-Dowmunt, M. (2018). "Dual Conditional Cross-Entropy Filtering of Noisy Parallel Corpora." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 888-895.

Karpukhin, V., Levy, O., Eisenstein, J., and Ghazvininejad, M. (2019). "Training on Synthetic Noise Improves Robustness to Natural Noise in Machine Translation." In Proceedings of the
5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 42-47.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Koehn, P., Khayrallah, H., Heafield, K., and Forcada, M. L. (2018). "Findings of the WMT 2018 Shared Task on Parallel Corpus Filtering." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 726-739.

Krippendorff, K. (2011). "Computing Krippendorff's Alpha-Reliability.".

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer And Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Li, X., Michel, P., Anastasopoulos, A., Belinkov, Y., Durrani, N., Firat, O., Koehn, P., Neubig, G., Pino, J., and Sajjad, H. (2019). "Findings of the First Shared Task on Machine Translation Robustness." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 91-102.

Liu, H., Ma, M., Huang, L., Xiong, H., and He, Z. (2019). "Robust Neural Machine Translation with Joint Textual and Phonetic Embedding." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3044-3049.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Michel, P. and Neubig, G. (2018). "MTNT: A Testbed for Machine Translation of Noisy Text." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 543-553.

Morishita, M., Suzuki, J., and Nagata, M. (2020). "JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus." In Proceedings of The 12th Language Resources and

Evaluation Conference, pp. 3603-3609.

Murakami, S., Morishita, M., Hirao, T., and Nagata, M. (2019). "NTT's Machine Translation Systems for WMT19 Robustness Task." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 544-551.

Nagase, T., Tsukada, H., Kotani, K., Hatanaka, N., and Sakamoto, Y. (2011). "Automatic Error Analysis Based on Grammatical Questions." In Proceedings of the 25th Pacific Asia Conference on Language, Information and Computation, pp. 206-215.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234.

Niu, X., Mathur, P., Dinu, G., and Al-Onaizan, Y. (2020). "Evaluating Robustness to Input Perturbations for Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8538-8544.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191.

Rosca, M. and Breuel, T. (2016). "Sequence-to-sequence Neural Network Models for Transliteration." arXiv, abs/1610.09565.

斉藤いつみ, 貞光九月, 浅野久子, 松尾義博 (2014). 正規-崩れ文字列アライメントと文字種変換を 用いた崩れ表記正規化に基づく日本語形態素解析. 言語処理学会第 20 回年次大会 発表論文集, pp. 777-780. [I. Saito et al. (2014). Seiki-Kuzure Mojiretsu Araimento to Mojishu Henkan wo Mochiita Kuzurehyoki Seikika ni Motozuku Nihongo Keitaiso Kaiseki. Proceedings of the 20th Annual Meeting of the Association for Natural Language Processing].

Sasano, R., Kurohashi, S., and Okumura, M. (2013). "A Simple Approach to Unknown Word Processing in Japanese Morphological Analysis." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 162-170.

Sennrich, R. (2017). "How Grammatical is Character-level Neural Machine Translation? Assess-
ing MT Quality with Contrastive Translation Pairs." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 376-382.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725.

Shao, Y. and Nivre, J. (2016). "Applying Neural Networks to English-Chinese Named Entity Transliteration." In Proceedings of the 6th Named Entity Workshop, pp. 73-77.

Stanovsky, G., Smith, N. A., and Zettlemoyer, L. (2019). "Evaluating Gender Bias in Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1679-1684.

Ugawa, A., Tamura, A., Ninomiya, T., Takamura, H., and Okumura, M. (2018). "Neural Machine Translation Incorporating Named Entity." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3240-3250.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wang, L., Isabel, T., Chris, D., and Alan W., B. (2015). "Character-based Neural Machine Translation." arXiv, abs/1511.04586.

White, J. S., O'Connell, T. A., and O'Mara, F. E. (1994). "The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches." In Proceedings of the 1st Conference of the Association for Machine Translation in the Americas, pp. 193-205.

## 略歴

藤井諒：2019 年東北大学工学部電気情報物理工学科を卒業, 同年より東北大学情報科学研究科博士前期課程に在籍中（2021 年 3 月修了予定）。多言語処理に関心があり主に機械翻訳に関する研究に従事している。

三田 雅人：理化学研究所革新知能統合研究センター自然言語理解チームテク ニカルスタッフ. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。日本マイクロソフト株式会社のエンジニアを経て, 2018 年より 現職. 同年, 東北大学情報科学研究科博士後期課程に進学. 文法誤り訂正を 中心とした自然言語処理による言語学習／教育支援に関心がある。言語処理学会, ACL 各会員.

阿部香央莉：2020 年東北大学大学院情報科学研究科博士前期課程修了. 現在,
東北大学情報科学研究科博士課程取得に向け研究を進めている. 2020 年度日本学術振興会 DC1 採択. 多言語処理を伴う機械翻訳や言語類型学的観点から の言語処理分析に関心がある。言語処理学会, ACL 各会員.

塙 一晃 : 理化学研究所革新知能統合研究センター自然言語理解チームテク ニカルスタッフ. 2019 年東北大学大学院情報科学研究科博士前期課程修了.同年より現職. 2020 年東北大学大学院情報科学研究科博士後期課程に進学.主に自然言語処理に関する研究に従事. 言語処理学会, ACL 各会員.

森下 睦：NTT コミュニケーション科学基礎研究所研究員. 2017 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年より現職. 主 に機械翻訳, 言語資源構築に関する研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーショ ン科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾 健太郎: 東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任. 情報処理学会論文誌編集委員長, 同会自然言語処理研究会主査, 言語処理学会論文誌編集委員長等 を歴任, 2020 年より言語処理学会副会長.

$(2020$ 年 10 月 27 日 $\quad$ 受付 $)$
$(2020$ 年 12 月 28 日 再受付 $)$
$(2021$ 年 2 月 4 日 採録)