# データ指向型アプローチによるクローズドブック質問応答

鈴木 正敏 ${ }^{\dagger, \dagger \dagger} \cdot$ 松田 耕史 ${ }^{\dagger, \dagger} \cdot$ ・大内 $\quad$ 啓樹 ${ }^{\dagger, \dagger} \cdot$ ・鈴木 潤 $\dagger,+\dagger \cdot$

乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

近年の言語モデリング技術の進展に伴い，クローズドブック質問応答と呼ばれる，読解を伴わない質問応答タスクの研究が進められている. 既存研究では, モデルの訓練可能なパラメータ数を増大させることや, モデルの構造をより洗練されることに 重点が置かれてきた。本研究では，モデルに多様な事実知識を効率的に持たせるた めに，データ指向のアプローチを選択し，その有効性を検証する。具体的には，事実知識の知識源として Wikipediaを利用した拡張データセットを作成し，モデルの訓練に利用する，実験により，データ拡張を用いて訓練したモデルが，訓練データで は見られなかった質問に正しく答えることができ, モデルが拡張データから新しい 知識を学習していることを示唆する結果が得られた。正解率の評価では, Quizbowl の従来の最高性能を更新し, TriviaQA の強力な系列生成モデルに匹敵する性能をお よそ 20 分の 1 のパラメータ数で実現した*.

キーワード：質問応答，言語モデル，事実知識
## A Data-Oriented Approach for Closed-Book Question Answering

\author{
Masatoshi Suzuki $^{\dagger, \dagger \dagger}$, Koji Matsuda ${ }^{\dagger \dagger, \dagger}$, Hiroki Ouchi ${ }^{\dagger \dagger, \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger}$ \\ and Kentaro InUi ${ }^{\dagger, \dagger \dagger}$
}

Recent progress in language modeling is promoting research on a question answering (QA) task without reading comprehension, which is called closed-book QA. While previous studies are focused on enlarging and sophisticating a model to address this task, we take a data-oriented approach to teach a model about diverse factual knowledge efficiently. We utilize Wikipedia as an additional source of knowledge to create an augmented dataset. We empirically show that our model trained with data augmentation correctly answers questions unseen in the training data, suggesting that the model learns new knowledge from the augmented data. Accordingly, our model outperforms the previously reported best performance on Quizbowl, and performs on par with a strong baseline on TriviaQA although our model has about 20 times fewer parameters.

Key Words: Question Answering, Language Modeling, Factual Knowledge

## 1 はじめに

質問応答は, 自然言語処理における重要な問題の一つであり, 古くから研究が続けられている.特に近年では, SQuAD (Rajpurkar et al. 2016, 2018), MS MARCO (Bajaj et al. 2016), RACE (Lai et al. 2017) といった読解型質問応答の大規模なデータセットが多数提案され, それと同時に，深層ニューラルネットワークを用いた質問応答の手法が数多く提案されている。また，これらのデータセットは，質問応答の研究だけではなく，近年盛んに研究がなされている BERT (Devlin et al. 2019) をはじめとする大規模言語モデルの言語理解能力を測るベンチマークとしても利用されている.

これらのデータセットが対象とする読解型質問応答のタスクでは，質問文と関連文書の両方が与えられ，システムは関連文書から正解の可能性が高い文字列を抜き出すことによって質問に解答する。すなわち，システムは解答時に知識源となる関連文書をその場で参照することが許されるので，質問に答えるためには文書の「読み方」を学習できれば良く，質問で問われる事実知識そのものをモデリングする必要はない。そのため, 読解型質問応答の問題設定は, 人間にとっての「持ち込み可能 (open-book) 試験」に喻えられる。一方, システムが文書を「どう読むか」を問う読解型質問応答とは対照的に，与えられる質問について「何を知っているか」を直接問う「クローズドブック質問応答 (closed-book QA)」と呼ばれるタスクが近年注目されている (Roberts et al. 2020)、クローズドブック質問応答では，現実の「持ち込み不可 (closed-book)試験」と同様，解答時に質問文以外の情報を参照することは認められない。したがって，システム（解答者）は事前に出題範囲を十分に学習し, 記憶しておくことが要求される. すなわち, クローズドブック質問応答は，あらかじめ重要な情報を知識として記憶し，与えられる質問に対して自らが保持する知識を用いて答えるという，人間の知識を用いた知的活動により近い問題設定となっている.

最近では，大規模な言語モデルが事実知識をどれだけ保持しているかをクローズドブック質問応答によって評価する研究がいくつか行われている。既存の研究では，モデルの訓練可能なパラメータの数を多くしたり (Raffel et al. 2019), モデルの構造や訓練の目的関数を工夫する (Ling et al. 2020; Févry et al. 2020) というモデル指向の方法によって, クローズドブック質問応答の性能が向上することが報告されている。特に最先端の研究では, 数十億〜数百億の訓練可能なパラメータを持つ超巨大なモデルによる性能が報告されている (Roberts et al. 2020).これらの研究は，言語モデルが持つことのできる表現力や汎化能力を追究するという面で意義深い反面，モデルの訓練には大規模な計算機資源と多大なエネルギーを必要とするため, 誰でも既存研究を再現でき改善を加えられるという状況からは逸脱しつつあることが懸念される (Strubell et al. 2019). 一方, モデル指向の方法とは対照的に, 訓練データを工夫してモデルが持つ知識のカバー率を上げることでクローズドブック質問応答を実現するというデータ指向のアプローチ

も考えられる。クローズドブック質問応答の実例としてクイズを考えてみると，例えば「ジョー ジ・ルーカス」が答えとなるクイズ問題は, 監督した作品, 本人の生い立ち, 家族についてなど，複数の異なる角度からの知識が問われることが予想される。しかし， モデルが予習に用いる訓練データには, 考えられる多様なクイズ問題の一部しか含まれていない。そのため, 訓練データに登場しない問題がテスト時に出題された際には, 訓練デー夕のみで訓練されたモデルにとっては多くの場合, 解答不可能であると考えられる。このことは, 正解が訓練データ中に 1 回もしくは数回しか出現しない, いわゆる few-shot の事例では特に問題となる。このような問題に対して，データ指向のアプローチは，より多様な事実知識をより効率的にモデルに教えるために役立てられると考えられる。さらに，モデルの大型化に頼らずにクローズドブック質問応答を実現できれば，関連文書の検索・走查を伴う読解型質問応答システムよりも高速に利用者の質問に解答できるシステムが低コストで実現できる可能性がある. しかしながら, 深層ニューラルネットワークを活用したクローズドブック質問応答の研究は歷史が浅く, データ指向のアプローチの有効性については十分に研究がされていない.

本稿では, クローズドブック質問応答におけるデータ指向アプローチの有効性を実験的に調査する，具体的には，Wikipediaを知識源とした拡張データを作成し，遠距離教師あり学習によって，元の訓練データには記述されていない事実知識をモデルに教えるために利用する．モデルには事前訓練済み言語モデルの BERT (Devlin et al. 2019)を用い，元の訓練データおよび拡張データに対してモデルをファインチューンさせる．実験では，クイズを題材にした質問応答のデータセットである Quizbowl (Rodriguez et al. 2019)と TriviaQA (Joshi et al. 2017)を用いて, モデルのクローズドブック質問応答の性能を調査した. モデルが出力した解答の分析から，拡張データを用いて訓練されたモデルが，元の訓練データには記述されていない事実知識を問う問題に対しても正しく解答できたことがわかり，モデルが拡張データから新たな知識を学習し解答に活用できていることを示唆する結果が得られた. テストデータを用いた評価実験では， Quizbowl では従来の最高性能を更新し, TriviaQA では既存の強力な系列生成モデル (Roberts et al. 2020) に匹敵する性能をおよそ 20 分の 1 のパラメータ数で実現した.

以下では，2節でクローズドブック質問応答の関連研究について概観し，3節でタスクの定義およびデータセットについて説明する， 4 節で本研究の提案手法について述べ， 5 節で実験設定および実験結果を示す. 6 節でまとめと今後の展望について述べる.

## 2 関連研究

質問応答システムの研究は, 古くはコンピュータの黎明期である 1960 年代に遡る. 初期の研究は主に自然言語理解を目的としたものであったが (Green et al. 1961; Winograd 1971), 1990 年代からは，情報アクセス技術としての質問応答の研究が行われるようになった．特に，分野が
限定されない文書集合に対する質問応答，いわゆるオープンドメイン質問応答の研究は, 1999 年に開かれた情報検索技術の評価型ワークショプ TREC-8 での QA トラックをきっかけに広く取り組まれるようになった (Voorhees 1999)，オープンドメイン質問応答は，質問文の解析，情報検索，解答候補の抽出，解答候補の統合という複数のモジュールによるパイプライン処理で行われることが一般的である。初期のシステムでは，各モジュールの処理に人手による規則や素性の設計を伴う手法が主流であった (Simmons 1965)，2011 年にアメリカのクイズ番組 Jeopardy! で人間のクイズ王と対戦し勝利を収めたIBM Watson (Ferrucci 2012)は，大量のコーパスと大規模な計算資源を活用したパイプライン処理に基づく質問応答システムであり，そのプロジェクトの成功は人工知能研究の進展を社会に大きく印象付けた。一方, 2010 年代から，与えられる文書を読解して質問に答える読解型質問応答の研究が，深層ニューラルネットワーク技術の進展およびSQuAD (Rajpurkar et al. 2016) に代表される数多くのデータセットの登場により後押しされ，多くの研究者に取り組まれるようになった。 それ以降，オープンドメイン質問応答の研究においても，解答候補の抽出・統合のモジュールを読解型質問応答のモデルに置き換えることでより高い解答性能の実現を目指す研究が進められている (Chen et al. 2017; Clark and Gardner 2018; Wang et al. 2018; Seo et al. 2019).

さらに近年, 深層ニューラルネットワークを用いた自然言語処理技術のさらなる発展に伴い,文書の検索や読解を必要とせずモデルに知識そのものを保持させることで質問応答を実現する， クローズドブック質問応答と呼ばれるタスクの研究がいくつか行われている。その一つに，大規模なコーパスで訓練された言語モデルがどれだけ事実知識を保持し想起できるかを評価する一連の研究がある. Radford et al. (2019) は，大量のウェブ文書を用いて訓練された GPT-2 と呼ばれる汎用言語モデルを提案し，言語モデルのテキスト生成による質問応答の能力を Natural Questions データセット (Kwiatkowski et al. 2019) の上で評価した. その結果，質問に対して

Raffel et al. (2019)は，GPT-2よりもさらに多くの訓練可能なパラメータを持つ汎用系列変換モデル T5 を提案し, Roberts et al. (2020) は T5の質問応答能力を，本来は読解型質問応答のデー タセットである TriviaQA (Joshi et al. 2017)の質問をテキスト生成により解かせることで評価した. その結果，数十億〜数百億個の訓練可能なパラメータを持つモデルが，複数の強力な読解型質問応答のモデルを上回る解答性能を示した. 別の系統の研究では, エンティティの分散表現の学習に焦点を当て, 学習された分散表現の評価にクローズドブック質問応答を利用している. Ling et al. (2020)と Févry et al. (2020)は, Wikipedia 記事のハイパーリンクを活用し, エンティティの分散表現を学習する方法をそれぞれ提案した．彼らの研究では，TriviaQAをエンティティをクラスとした分類問題として解くことにより，学習されたエンティティの分散表現の有用性を評価している．以上の既存研究に対して本研究は，モデルの構造の工夫や大型化に頼ることなく，訓練に用いるデータを工夫することよって， より効率的にクローズドブック
質問応答のモデルを訓練することを追究するものである.

言語モデルが保持する知識の評価を目的とした既存研究としては, 入力文のマスクされた部分を予測させることでモデルが持つ知識の評価を行う研究がある. Petroni et al. (2019) と Davison et al. (2019) による研究では, 知識ベースを利用して, 関係知識に対応する部分がマスクされた穴埋め問題の文を作成し，穴埋め言語モデルである BERT にマスク部分を予測させることによって，モデルが保持する知識を評価した。これに対して本研究では, 関係知識ではなく, 工ンティティについて任意のテキストで記述される知識を質問応答の形式で評価するという点で異なっている.

質問応答のタスクにデータ拡張を適用させた既存研究として, Rodriguez et al. (2019) は, Quizbowl (Boyd-Graber et al. 2012) というクローズドブック質問応答タスクにおいて, Wikipedia から作成した拡張データをモデルの訓練に利用することを提案した. 彼らは GRU (Cho et al. 2014）をモデルに用いた実験により，データ拡張がモデルの解答性能の向上に寄与することを示した。他方, Yang et al. (2019a) は，読解型質問応答におけるデータ拡張の有効性について調査している．BERT を読解モデルに利用した彼らの実験では，拡張データと元の訓練データを用いた段階的なモデルのファインチューニングが，モデルの読解性能の向上に有効であることを報告している. 本研究ではこれらの既存研究を踏まえ, (Rodriguez et al. 2019) と同様のクロー ズドブック質問応答における，訓練済み言語モデルおよびデータ拡張の有効性を調査し，データ拡張によってどのような問題を解答できるようになったかについて, より詳しい分析を与える.

## 3 クローズドブック質問応答

## 3.1 タスク定義

本研究では，データ指向のアプローチをとる既存研究 (Rodriguez et al. 2019) に倣い，クロー ズドブック質問応答をエンティティをクラスとした分類問題として解く。すなわち, システムは，与えられる質問文 $q$ に対して，予決定されたエンティティの集合 $V_{a}=\left.\{a_{1}, \cdots, a_{\left|V_{a}\right|}\right.\}$ の要素であるようなエンティティ $a$ を正解として予測する。したがって, 本解法はクラス数が $\left|V_{a}\right|$ のマルチクラス分類問題となる.

## 3.2 データセット

本研究では, ドメインを限定しない多様な事実知識についてモデルの解答性能を評価するために，クイズの問題を活用した質問応答のデータセットである Quizbowl と TriviaQAを実験に用いる．各データセットの統計量を表 1 に示す。それぞれのデータセットについて，訓練デー 夕に 1 回以上正解として出現するエンティティの集合を正解エンティティの集合 $V_{a}$ として定める. すなわち, Quizbowl では 25,969クラス, TriviaQA では 28,689 クラスの多クラス分類問題

となる¹. 以下の節では， 2 種類のデータセットの特徴について述べる.

## 3.2.1 Quizbowl

Quizbowl は，主に英語圏で実際に行われているクイズの大会であり，自然言語処理における質問応答のタスクとしても研究されている (Boyd-Graber et al. 2012; Iyyer et al. 2014; Rodriguez et al. 2019). 表 2 に, Quizbowl で出題されるクイズ問題の例を示す. Quizbowl で出題される問題は「早押しクイズ」であり，解答者は正解が分かった時点でブザーを押して解答する。そのため, 質問の文章は, 正解のエンティティについてより詳しく知っている解答者が有利となるよう，より難しい（知名度の低い，抽象的な）ヒントが先に，より易しい（よく知られてい

表 1 データセットの統計量

表 2 Quizbowl の問題例

る，具体的な）ヒントが後に現れるように，複数の文を配列させることで作られている．

本研究では, Rodriguez et al. (2019) によって提案された QANTA 2018 データセットを用いる². QANTA 2018 は，過去の Quizbowlの大会で使用されたおよそ 12 万問のクイズ問題からなるデータセットである。すべてのクイズ問題には, 正解のエンテイテイが Wikipedia の記事夕イトルとして付与されている。そのため, QANTA 2018 のクイズ問題は, Wikipediaの記事タイトルをクラスとした分類問題として解くことができるようになっている.

## 3.2.2 TriviaQA

TriviaQA (Joshi et al. 2017) は，ウェブ上のクイズ問題を収集して作られた質問応答のデータセットである．表 3 に，TriviaQA の質問と正解の例を示す．TriviaQA は元々読解タスク向けに作られたデータセットであり, データセットに含まれる各事例は, 質問文, 正解, そして読解対象の文書からなる。同様の読解タスクのデータセットとして SQuAD (Rajpurkar et al. 2016, 2018) があるが，SQuAD は Wikipediaの文章に対して質問を人手で作成・付与することで作られているため，例えば “What individual is the school named after?” のような，それ単独では意味が定まらないような質問が一部含まれている。これに対してTriviaQA は, 既存のクイズ問題に対してウェブ文書や Wikipedia 記事を付与するという方法で作られており，質問の内容が読解対象の文書の内容に依存してしない. したがって, TriviaQAは, 読解対象の文書を無視することでクローズドブック質問応答のデータセットとしても用いることができ，実際にクロー ズドブック質問応答の既存研究でもそのように用いられている (Roberts et al. 2020; Ling et al. 2020; Févry et al. 2020).

本研究では, TriviaQAの公式ウェブサイト3で公開されているデータのうち, unfiltered-train のデータをモデルの訓練に, wikipedia-dev と wikipedia-test のそれぞれをモデルの開発およびテスト用のデータとして用いる。 TriviaQAの訓練および開発データには, 質問文, 正解の文字列,読解文書の他に, Wikipedia の記事タイトルで表された正解エンティティの情報もメタデータ

質問 $q$

正解エンティティ $a$

Who composed the opera "The Marriage of Figaro"?

Who died in 1791 in Vienna, while working on a Requiem?

Which Austrian composer's works are given K numbers according to Wolfgang_Amadeus_Mozart the 19th century Kochel catalogue?

表 3 TriviaQA の問題例

(a) Quizbowl

(b) TriviaQA

図 1 訓練データにおけるエンティティの出現頻度

として付与されている. 本研究では，分類問題として解くクローズドブック質問応答の設定に適合させるため，訓練データのうち正解エンティティの情報が付与されている事例のみをモデルの訓練に用い，読解向けの正解の文字列ではなく正解エンティティの情報をモデルへの教師信号として用いる。

## 3.2.32つのデータセットに共通する特徴

Quizbowl と TriviaQA のデータセットに共通する特徴の一つに，訓練データの量に対して正解エンティティの異なり数 $\left|V_{a}\right|$ が大きく, その出現頻度の分布が大きく偏っていることが挙げられる。図 1 に，それぞれの訓練データセットにおける正解エンティティの出現頻度を示す. どちらのデータセットでも，一部の正解エンティティは訓練データに多く出現する一方で，ほとんどの正解エンティティは訓練データに 1 回もしくは数回しか出現しない, いわゆる few-shot の事例となっている。本研究では，このような few-shot の正解エンティティに対してもモデルが多様な知識を持てるように，デー夕拡張を行う（4.2節）。

## 4 提案手法

## 4.1 モデル

本研究では，クローズドブック質問応答のモデルとして，大規模コーパスで事前訓練された汎用言語モデルである BERT (Devlin et al. 2019) を多クラス分類問題向けに拡張したものを用いる ${ }^{4}$. 具体的には，質問文 $q$ の入力に対して BERT が出力する，文頭の特殊トークン [CLS] に対応するべクトル $\mathbf{q} \in \mathbb{R}^{d}$ を多クラス分類層に入力し $\operatorname{softmax}$ 関数を適用することで，エンティ
^{4}$ https://github.com/google-research/bert で配布されている BERT-base (cased) のモデルを用いた.
}

ティ $a \in V_{a}$ が質問 $q$ の正解である確率分布 $P(a \mid q)$ を計算する.

$
P(a \mid q)=\frac{\exp \left(\mathbf{q}^{\top} \mathbf{w}_{a}\right)}{\sum_{a^{\prime} \in V_{a}} \exp \left(\mathbf{q}^{\top} \mathbf{w}_{a^{\prime}}\right)}
$

ここで, $\mathbf{w}_{a} \in \mathbb{R}^{d}$ は, エンティティ $a \in V_{a}$ に関連付けられた, 訓練可能な重みべクトルである.

なお, 本研究では BERT の他にも, RoBERTa (Liu et al. 2019) と XLNet (Yang et al. 2019b) をモデルに用いた実験も行っている。これらの実験結果については付録 $\mathrm{A}$ に示す.

## 4.2 データ拡張

エンティティについてのより多様な事実知識をモデルに保持させるために, Wikipediaを知識源としたデー夕拡張を行う。本研究では, Rodriguez et al. (2019) が提案したデー夕拡張手法を基本に，拡張データを作成する。

Quizbowlと TriviaQAのそれぞれについて，拡張デー夕を以下の手順により作成した：

(1) 正解エンティティの集合 $V_{a}$ の要素である各エンティティ $a$ について， $a$ を記事名（主題）とする Wikipedia 記事 $D^{(a)}$ を取得する.

(2) 各エンティティの記事 $D^{(a)}$ について，記事本文全文を文分割して $\left.\{s_{i}^{(a)}\right.\}_{i=1}^{N_{a}}$ を得る.ここで， $N_{a}$ は記事 $D^{(a)}$ の本文の文数である.

(3) 各エンティティの記事 $D^{(a)}$ について得られた文-エンティティペア $\left.\{\left(s_{i}^{(a)}, a\right)\right.\}_{i=1}^{N_{a}}$ を拡張データの事例とする。

なお, Wikipedia 記事からの拡張デー夕作成にあたっては, (Rodriguez et al. 2019) では各記事の最初の段落だけから文を取り出していたのに対し, 本研究では記事全文から文を取り出している.これにより, 訓練したモデルの解答性能が向上することを事前実験により確認している.

拡張データの作成には，英語版 Wikipediaの 2018 年 4 月 18 日付けのダンプファイルを使用した．Wikipediaダンプファイルからの記事本文の抽出には WikiExtractor 6 を，本文の文分割には BlingFire Tokenizer ${ }^{7}$ を使用した，記事から得られた文のうち，文長が 20 文字よりも短い記事は, ノイズとなる可能性が高いため拡張データから除外した。また, 文中における正解エンティティの直接的な言及は, 解答のあからさまなヒントとなりうるため, マスクする処理を行った. 具体的には, 各文-エンティティペア $(s, a)$ について, 文 $s$ に含まれる, 正解エンティティ $a$ と単語単位で部分一致する全ての文字列を，その文字列をサブワード分割した際と同じ長さの [MASK] トークン列に置換した。ここで完全一致ではなく部分一致としたのは，文中の言及が正解エンティティの略称（人名であれば姓名のいずれかなど）であっても置換できるように

文 $s$

エンティティ $a$

(a) He composed more than 600 works, many acknowledged as pinnacles of symphonic, concertante, chamber, operatic, and choral music.

(b) Ludwig van Beethoven composed his own early works in the shadow Wolfgang_Amadeus_Mozart of Mozart, and Joseph Haydn wrote: "posterity will not see such a talent again in 100 years"

(c) The circumstances of his early death have been much mythologized.

表 4 Wikipedia から作成した拡張データの例

するためである8．なお，部分一致の検索は大文字と小文字を区別せずに行った.

作成した拡張デー夕の統計量を表 1 に，事例を表 4 にそれぞれ示す。一般に，Wikipediaの記事には, エンティティについての多様な側面からの情報が記述されているが, 表 4 の (c)の例のように，それ単独では主題のエンティティを特定することが難しい文も一定の割合で存在する. このような文は，1文だけからなる訓練事例としてはノイズになると考えられるため，フィルタリングにより取り除くことでデータセットの品質を向上させられる可能性がある ${ }^{9}$.あるいは,正解エンティティが同じである複数の文を組み合わせることで，より正解エンティティを特定しやすい訓練事例を作ることも考えられる。このように，本研究のデータセットの作成方法には, 品質向上のための改良の余地が残されているが, 本稿では今後の研究課題とする.

## 5 実験

クローズドブック質問応答におけるデータ拡張の有効性，ならびにデータ拡張によりモデルが未知の質問に答えられるかどうかを検証するために，実験を行った.

## 5.1 実験設定

Rodriguez et al. (2019) の研究では, Wikipedia から作成した拡張データを元の訓練データと混ぜ合わせることによって，データ拡張を行っていた。一方，BERT をはじめとする言語モデルの訓練には，タスク非依存のコーパスを用いた事前訓練とタスク固有の訓練データを用いたファインチューニングからなる 2 段階の訓練方法が広く用いられている. 本研究では, (Rodriguez

et al. 2019) と同様のデータ拡張方法に加えて, 拡張データと元の訓練データを用いた 2 段階のデータ拡張についても実験を行う。

3.2 節で述べた Quizbowl と TriviaQAのそれぞれのデータセットについて, 4.1 節で述べたモデルと 4.2 節で述べた手法で作成した拡張デー夕を用い，以下の 5 つの設定で実験を行った.

・ Quiz: モデルをクイズの訓練データのみで訓練する.

・Wiki: モデルをWikipediaから作成した拡張データのみで訓練する.

・Quiz+Wiki: モデルを，クイズの訓練データと Wikipedia から作成した拡張データを混合したデータを用いて訓練する。これは, 既存研究 (Rodriguez et al. 2019) と同様のデー 夕拡張手法である。
- Quiz $\rightarrow$ Wiki: モデルをクイズの訓練データで訓練した後に, Wikipedia から作成した拡張データで追加訓練する.
- Wiki $\rightarrow$ Quiz: モデルをWikipedia から作成した拡張データで訓練した後に，クイズの訓練データで追加訓練する。

各実験設定で，訓練時のエポック数は 10 , ミニバッチサイズは 128 とした ${ }^{10}$. ただし, TriviaQA の Quizの設定のみ, 訓練データの量が少ないことによるモデルの過小適合を避けるため, 訓練時のエポック数を 30 とした. モデルの訓練には, モデルが予測する正解の確率分布 $P(a \mid q)$ と正解ラベルの間の交差エントロピー損失の最小化を目的関数とした。最適化のアルゴリズムには AdamW (Loshchilov and Hutter 2019) を用い, 訓練の冒頭 20\%における学習率の warm up および以降の学習率の linear decayを適用した。その他のハイパーパラメータの一覧を表 5 に示す.実験には, PyTorch (Paszke et al. 2019) ${ }^{11}$, AllenNLP (Gardner et al. 2018) ${ }^{12}$, Transformers (Wolf

表 5 モデルのハイパーパラメータの一覧

et al. 2020) ${ }^{13}$ を使用した. モデルの訓練および評価には，メモリ容量 16GB の NVIDIA V100 GPU 1 枚を使用した. 1 つのモデルの訓練には, データセットと実験設定によって異なるが,最大で 36 時間の時間を要した。

## 5.2 実験結果

## 5.2.1 データ拡張による解答性能の向上

表 6 に, Quizbowl と TriviaQAの訓練データおよび開発データに対するモデルの解答性能を示す。まず，Quizの実験設定の結果について見ると，訓練データ上での正解率がほぼ $100 \%$ に到達した。このことから，モデルは各データセットの訓練データを丸暗記し，全く同じ内容の質問が入力された時には正しく解答できることがわかる．次に，デー夕拡張を行う実験設定同士で比較すると, Wiki $\rightarrow$ Quiz の実験設定が, Quiz+Wiki および Quiz $\rightarrow$ Wiki と比較して最も高い正解率を示した。これら 3 つの実験設定では，モデルは同じ訓練データの事例を同じ回数たけ与えられるにも関わらず，解答性能に差が生じているということから， モデルの事前訓練の後にタスク特有のデータセットでファインチューニングを行うという，BERT をはじめとする言語モデルの訓練に広く用いられている万法が，クローズドブック質問応答のタスクにおいても有効であることが示唆される。これとは対照的に，Quiz $\rightarrow$ Wiki の実験設定では正解率が著しく低下し，データ拡張を行わない Quizの実験設定よりも悪い結果となった. Quiz $\rightarrow$ Wiki では訓練データ上での正解率も大きく低下していることから，モデルの破滅的忘却 (catastrophic forgetting) (McCloskey and Cohen 1989; French 1999) が発生していると考えられる.

図 2 に, Quizbowl および TriviaQA の開発データにおける，Quiz および Wiki $\rightarrow$ Quiz 設定で訓練されたモデルの few-shot の正解エンティティに対する解答性能を示す. どちらのデータセットにおいても, Wiki $\rightarrow$ Quizのデータ拡張の設定によって few-shot の正解エンティティに対して

表 6 Quizbowl と TriviaQA の訓練・開発デー夕に対する正解率（†は訓練時のエポック数を 30 とした場合の結果であることを示す)

特に大きな性能向上が見られた。 few-shot の正解エンティティは, 元のクイズの訓練データに含まれる限られた情報のみでは解答することが難しいと考えられるため，これらエンティティでの解答性能が向上したという結果は，デー夕拡張によりモデルが新しい知識を学習したことで，初見の質問に対しても正しく答えられるようになったことを支持している.

## 5.2.2 データ拡張がモデルの解答に及ぼす影響の分析

表 7 に，Quiz の設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは正答できた，TriviaQAの開発デー夕の質問の例を示す。表 7 の質問に正しく解答するためには，モデルは「George Lucasが Star Wars を監督した」という事実知識を保持していなければならない，しかし，TriviaQAの訓練データには，George Lucas が監督した別の映画に関する質問は含まれているが，Star Warsに関する質問は含まれていない。そのため，Quizの設定で訓練されたモデルにとっては，開発データの問題は未知の知識を問う問題となり，正答でき

(a) Quizbowl

(b) TriviaQA

図 2 開発データに含まれる few-shot の正解エンティティに対する正解率

質問 : Who created the Star Wars series of films?

正解エンティティ：George_Lucas

訓練データに含まれる，正解エンティティが同じである質問：
- Who directed the 1973 film American Graffiti?
- "THX1138" and "American Graffiti" were the first two feature films directed by whom?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- Lucas is best known as the creator of the "Star Wars" and "Indiana Jones" franchises, as well as ...
- Lucasńext film, an epic space opera titled "Star Wars" (1977), went through a troubled production process; ...

表 7 データ拡張によって正答するようになった TriviaQA 開発データの問題例

なかったと考えられる。他方, Wikipedia から作成した拡張データには, George Lucas が Star Wars を監督した事実について述べられた文が複数存在する。Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは，これらの拡張データの事例から新たな知識を学習し，質問に答えることができるようになったと考えられる14.

それとは逆に, Quizの設定で訓練されたモデルは正答できていたにもかかわらず, Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは誤答した質問も存在する。表 8 に例を示す.この質問は, 解答に必要な知識が拡張デー夕にのみ存在していたにもかかわらず, デー夕拡張なしのモデルは正答し,逆にデータ拡張ありのモデルは誤答するようになってしまった。詳しく調べると, TriviaQA の訓練デー夕には “In which sea”で始まる質問が 9 問あり，そのうちの 4 問は正解が Caribbean の質問で，残りの 5 問はそれぞれ異なるエンティティが正解の質問であった。すなわち，Quiz の設定で訓練されたモデルは，訓練デー夕に見られる出題内容の偏りを学習してしまい，表層的な手がかりだけで正答できていたと考えられる。その一方で，Caribbeanの拡張デー夕には，真に解答の手掛かりとなる知識を含む文が 1 つしか含まれておらず，Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは, 正解エンティティを弁別するのに十分な知識を学習できなかったと推測される.

データ拡張がモデルの解答に与える影響についてより詳しく調査するため, TriviaQA の開発データの事例を (a) Quiz と Wiki $\rightarrow$ Quizのどちらの設定でも正答できた事例， (b) Quiz では誤

た事例，(d) Quiz と Wiki $\rightarrow$ Quiz のどちらの設定でも誤答した事例の 4 つのグループに分割し,

質問：In which sea are the Cayman Islands?

正解エンティティ：Caribbean

訓練データに含まれる，正解エンティティが同じである質問：
- The dance Meringue originated where?
- In which sea is the British overseas territory of Montserrat?
- In which sea is the island of Barbados?
- The island Commonwealth of Dominica sits in which sea or ocean?
- In which sea is the country of Grenada?
- Which sea surrounds the island of Martinique?
- In which sea is the island of Martinique?

拡張データに含まれる，解答に必要な知識が記述された文：
- These islands include Aruba (possessing only minor volcanic features), Curacao, Barbados, Bonaire, the Cayman Islands, Saint Croix, the Bahamas, and Antigua.

表 8 デー夕拡張によって誤答するようになった TriviaQA 開発デー夕の問題例

分析を行った. それぞれのグループに対してランダムサンプルした 20 例について, 質問の解答に必要な知識がクイズの訓練データまたは Wikipedia の拡張データのどちらに記述されていたかで事例を分類し，その割合を求めた。ここで「質問の解答に必要な知識」とは，解答を一つに特定するために必要な事実知識とし, その形式は定めないものとした ${ }^{15}$. 分析は, 著者自身がクイズの訓練データおよび Wikipediaの拡張データを比較することにより行った.

図 3 に分析の結果を示す. 図 3 (a) より，デー夕拡張の有無にかかわらず正解できた事例の $90 \%$ は，クイズの訓練データに解答に必要な知識が記述されていたことがわかる。一方, 図 3 (b)より，データ拡張により正解できるようになった事例の $55 \%$ は, Wikipedia の拡張データにのみ必要な知識が記述されていた。すなわち，モデルが拡張データから新しい知識を獲得して質問に正答できるようになった事例が，デー夕拡張で新たに解けるようになった質問のおよそ半数を占めていたことがわかる。また，図 3 (c) および (d) は，提案手法では正答できなかった質問の多くは必要な知識が拡張デー夕に記述されていなかったものであることを示している. このような事例には，解答に必要な情報が複数の文にまたがって記述されていたり別の記事に記述されているような例 ${ }^{16}$, あるいは Wikipedia の記事内容を正しく取得できなかった例 17 も含まれる。このような例は, 本研究のデータ拡張手法, すなわち Wikipedia の文-記事タイトルペアを擬似的にクイズの質問-正解ペアとみなす方法の限界を示すものであり，より洗練されたデータ拡張手法によって解決できる可能性がある.

(a) Quiz: correct Wiki $\rightarrow$ Quiz: correct

(b) Quiz: wrong Wiki $\rightarrow$ Quiz: correct

(c) Quiz: correct Wiki $\rightarrow$ Quiz: wrong

(d) Quiz: wrong Wiki $\rightarrow$ Quiz: wrong

図 3 TriviaQA の開発データにおける, 質問の解答に必要な知識の所在の割合. Quiz は TriviaQA の訓練データ内に知識が存在する事例, Wiki は Wikipedia の拡張データ内に知識が存在する事例, Both は両方のデータに知識が存在する事例, None はどちらのデータにも知識が存在しなかった事例をそれぞれ示す。

## 5.2.3 既存手法の解答性能との比較

最後に, Quizbowlと TriviaQA のテストデータ上での提案手法の解答性能を示し, 既存手法と比較する。ここでは, 既存手法との比較を容易にするために, 解答性能の評価指標として夕スクおよびデータセット固有のもの, すなわち, Quizbowl では正解率 (Accuracy), TriviaQA では解答文字列の完全一致率 (Exact Match, EM) を評価指標として用いる. TriviaQA については，テストデータは非公開であるため, 公式サイトのリーダーボード18上で解答性能を評価した. また，本来は読解タスクである TriviaQA の正解文字列と，モデルが予測する Wikipedia 記事タイトルのミスマッチを抑制するため, 提案手法のモデルの出力に対して文字列整形の後処理を適用した ${ }^{19}$.

表 9 と表 10 に, Quizbowl と TriviaQA のテストデータに対するモデルの解答性能をそれぞれ示す.データ拡張を利用した本研究の提案手法により, Quizbowl では, GloVe (Pennington et al. 2014) と GRU (Cho et al. 2014) を用いた既存手法の解答性能を 5.5 ポイント上回る性能を達成した。また, TriviaQA では，汎用テキスト生成モデルの T5-3B (Roberts et al. 2020) に匹敵する解答性能を，T5-3B の 20 分の 1 以下のモデルパラメータ数で実現した.

表 9 Quizbowl のテストデー夕に対する解答性能

表 10 TriviaQA のテストデータに対する解答性能

## 6 おわりに

本稿では, クローズドブック質問応答のタスクにおける, データ指向のアプローチの有効性について検証した。 エンティティについてのより多様な知識をモデルに与えるために, Wikipedia を知識源とした拡張データを作成し，モデルの訓練に利用した。実験により，デー夕拡張を行い訓練したモデルは，元の訓練データに現れない知識を要する質問に対しても正しく答えられるようになり，データ拡張の有効性を確認した。

本研究で提案したデータ指向のアプローチは, 既存のモデル指向のアプローチと直交するものであり，最近提案された Entities as Experts (Févry et al. 2020)のような，より洗練されたモデルの利用と組み合わせることも可能である.

本研究の今後の課題として, より洗練されたデー夕拡張手法の提案, および, モデルが扱うことのできるエンティティをより多くすることが挙げられる。前者については, 4.2 節で述べたように，拡張データからノイズとなる文をフィルタリングすることや，複数の文を組み合わせることでノイズを低減すること，後者については，正解エンティティの集合 $\left|V_{a}\right|$ を，例えば Wikipedia に記事があるエンティティ全件に拡張することなどが考えられる．特に後者は，本研究では初めから解けない事例として扱っていた zero-shot の事例を解答可能とするためには必須であるが，元の訓練データに出現しないエンティティに対する解答の汎化性能をどのように実現するか，拡張データの利用方法と合わせて検討する必要がある.

## 謝 辞

本研究はの一部は, JSPS 科研費 JP19J13238, JP19H04162 の助成を受けたものです.

## 参考文献

Bajaj, P., Campos, D., Craswell, N., Deng, L., Gao, J., Liu, X., Majumder, R., McNamara, A., Mitra, B., Nguyen, T., Rosenberg, M., Song, X., Stoica, A., Tiwary, S., and Wang, T. (2016). "MS MARCO: A Human Generated MAchine Reading COmprehension Dataset." In CoCo@NIPS.

Boyd-Graber, J., Satinoff, B., He, H., and Daumé III, H. (2012). "Besting the Quiz Master: Crowdsourcing Incremental Classification Games." In EMNLP, pp. 1290-1301.

Chen, D., Fisch, A., Weston, J., and Bordes, A. (2017). "Reading Wikipedia to Answer OpenDomain Questions." In $A C L$, Vol. 1, pp. 1870-1879.

Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and

Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In EMNLP, pp. 1724-1734.

Clark, C. and Gardner, M. (2018). "Simple and Effective Multi-Paragraph Reading Comprehension." In $A C L$, Vol. 1, pp. 845-855.

Davison, J., Feldman, J., and Rush, A. (2019). "Commonsense Knowledge Mining from Pretrained Models." In EMNLP, pp. 1173-1178.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In NAACL, Vol. 1, pp. 4171-4186.

Ferrucci, D. A. (2012). "Introduction to "This is Watson"." IBM Journal of Research and Development, 56 (3.4), pp. 1:1-1:15.

Févry, T., Baldini Soares, L., FitzGerald, N., Choi, E., and Kwiatkowski, T. (2020). "Entities as Experts: Sparse Memory Access with Entity Supervision." In EMNLP, pp. 4937-4951.

French, R. M. (1999). "Catastrophic Forgetting in Connectionist Networks." Trends in Cognitive Sciences, 3 (4), pp. 128-135.

Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N. F., Peters, M., Schmitz, M., and Zettlemoyer, L. (2018). "AllenNLP: A Deep Semantic Natural Language Processing Platform." In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6.

Green, B. F., Wolf, A. K., Chomsky, C., and Laughery, K. (1961). "Baseball: An Automatic Question-Answerer." In Proceedings of the Western Joint Computer Conference 19, pp. 219-224.

Iyyer, M., Boyd-Graber, J., Claudino, L., Socher, R., and Daumé III, H. (2014). "A Neural Network for Factoid Question Answering over Paragraphs." In EMNLP, pp. 633-644.

Joshi, M., Choi, E., Weld, D., and Zettlemoyer, L. (2017). "TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension." In $A C L$, Vol. 1, pp. 1601-1611.

Kwiatkowski, T., Palomaki, J., Redfield, O., Collins, M., Parikh, A., Alberti, C., Epstein, D., Polosukhin, I., Devlin, J., Lee, K., Toutanova, K., Jones, L., Kelcey, M., Chang, M.-W., Dai, A. M., Uszkoreit, J., Le, Q., and Petrov, S. (2019). "Natural Questions: A Benchmark for Question Answering Research." TACL, 7, pp. 453-466.

Lai, G., Xie, Q., Liu, H., Yang, Y., and Hovy, E. (2017). "RACE: Large-scale ReAding Comprehension Dataset From Examinations." In EMNLP, pp. 785-794.

Ling, J., FitzGerald, N., Shan, Z., Soares, L. B., Févry, T., Weiss, D., and Kwiatkowski, T. (2020). "Learning Cross-Context Entity Representations from Text." CoRR, arXiv:2001.03765.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach."

## CoRR, arXiv:1907.11692.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In ICLR.

McCloskey, M. and Cohen, N. J. (1989). "Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem." In Bower, G. H. (Ed.), Psychology of Learning and Motivation, Vol. 24, pp. 109-165. Academic Press.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In NeurIPS, pp. 8024-8035.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In $E M N L P$, pp. 1532-1543.

Petroni, F., Rocktäschel, T., Riedel, S., Lewis, P., Bakhtin, A., Wu, Y., and Miller, A. (2019). "Language Models as Knowledge Bases?" In EMNLP, pp. 2463-2473.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. (2019). "Language Models are Unsupervised Multitask Learners." Tech. rep..

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." CoRR, arXiv:1910.10683.

Rajpurkar, P., Jia, R., and Liang, P. (2018). "Know What You Don't Know: Unanswerable Questions for SQuAD." In $A C L$, Vol. 2, pp. 784-789.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000 Questions for Machine Comprehension of Text." In EMNLP, pp. 2383-2392.

Roberts, A., Raffel, C., and Shazeer, N. (2020). "How Much Knowledge Can You Pack Into the Parameters of a Language Model?" In EMNLP, pp. 5418-5426. Association for Computational Linguistics.

Rodriguez, P., Feng, S., Iyyer, M., He, H., and Boyd-Graber, J. (2019). "Quizbowl: The Case for Incremental Question Answering." CoRR, arXiv:1904.04792.

Seo, M., Lee, J., Kwiatkowski, T., Parikh, A., Farhadi, A., and Hajishirzi, H. (2019). "RealTime Open-Domain Question Answering with Dense-Sparse Phrase Index." In $A C L$, pp. 4430-4441.

Simmons, R. F. (1965). "Answering English Questions by Computer: A Survey." Communications of the ACM, 8 (1), pp. 53-70.

Strubell, E., Ganesh, A., and McCallum, A. (2019). "Energy and Policy Considerations for Deep Learning in NLP." In $A C L$, pp. 3645-3650.

Voorhees, E. M. (1999). "The TREC-8 Question Answering Track Report." In TREC-8, pp. $77-82$.

Wang, S., Yu, M., Guo, X., Wang, Z., Klinger, T., Zhang, W., Chang, S., Tesauro, G., Zhou, B., and Jiang, J. (2018). "R3: Reinforced Reader-Ranker for Open-Domain Question Answering." In $A A A I$, pp. 5981-5988.

Winograd, T. (1971). "Procedures as a Representation for Data in a Computer Program for Understanding Natural Language." MIT AI Technical Report, 235, pp. 1-461.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In EMNLP, Vol. System Demonstrations, pp. $38-45$.

Yang, W., Xie, Y., Tan, L., Xiong, K., Li, M., and Lin, J. (2019a). "Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering." CoRR, arXiv:1904.06652.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019b). "XLNet: Generalized Autoregressive Pretraining for Language Understanding." In NeurIPS, pp. $5754-5764$.

## 付録

## A異なる言語モデルを用いた場合の性能

本研究では，BERT 以外の言語モデルを用いた場合についても，5.1 と同様の設定で実験を行った. 表 11 に，モデルに RoBERTa-base (Liu et al. 2019)20および XLNet-base cased (Yang et al. 2019b)21を用いた場合の, Quizbowl と TriviaQAの訓練・開発データ上の正解率を示す. モデルを変更した場合でも，Quizの質問は丸暗記できること，Wiki $\rightarrow$ Quizの段階的なデー夕拡張が有効であること，別のデー夕拡張の設定では性能低下を引き起こすことといった, 5.2.1 節で述べた現象が同様にみられることを確認できた.

表 12 に，Quizの設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは正答できた, TriviaQAの開発データの質問の追加の例を示す. 表 12 の最後の例は, 開発データの質問と同じ正解を持つ質問が訓練データ中に 17 件存在していたが, そのどれもが開発データの質問と内容が共通していない質問であった例である.

表 11 RoBERTa およびXLNet をモデルに用いた場合の正解率

質問 : In what middle east harbor was the destroyer USS Cole attacked by suicide bombers in 2000, resulting in 56 casualties?

正解エンティティ：Aden

訓練データに含まれる，正解エンティティが同じである質問：
- What was the capital city of the People's Democratic Republic of Yemen until 1990?
- What's capital of The Peoples Democratic Republic of Yemen?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- The bombing attack on destroyer USS "Cole" took place in Aden on 12 October 2000.

質問 : Who is the only Spanish winner of the Ladies' Singles at Wimbledon?

正解エンティティ：Conchita_Martinez

訓練データに含まれる，正解エンティティが同じである質問：
- Who defeated Martina Navratilova in her last Wimbledon Singles Final?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- She was the first Spanish player to win the women's singles title at Wimbledon, where she beat Martina Navratilova to win the 1994 title.
- Martínez, however, won the match in three sets and became the first Spanish woman to win Wimbledon.

質問：Which literary character is the best known creation of the writer Earl Derr Biggers?正解エンティティ：Charlie_Chan

訓練データに含まれる，正解エンティティが同じである質問：
- Which retro film character frequently referred to his 'Number One son' in his films?
- Warner Oland, Sydney Toler and Roland Winters have all played which fictional detective?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- Charlie Chan is a fictional character created by Earl Derr Biggers.

質問： The Sign Of Four was a detective story written by which author?

正解エンティティ：Arthur_Conan_Doyle

訓練データに含まれる，正解エンティティが同じである質問：
- What is the name of the author of the Sherlock Holmes books? Who wrote the novel 'The Hound of the Baskervilles?
- Which author was responsible for the series of short comic books Brigadier Gerard? ... (計 17 問)

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- A sequel to "A Study in Scarlet" was commissioned, and "The Sign of the Four" appeared in "Lippincottś Magazine" in February 1890, under agreement with the Ward Lock company.

表 12 データ拡張によって正答するようになった TriviaQA 開発データの問題の別例

## 略歴

鈴木正敏：2018 年東北大学大学院情報科学研究科博士前期課程修了. 同年より東北大学大学院情報科学研究科博士後期課程に在籍中. 2019 年より日本学術振興会特別研究員 (DC2). 同年より理化学研究所革新知能統合研究センター 言語情報アクセス技術チーム研修生.

松田耕史：2012 年東京工業大学大学院総合理工学研究科修了. 修士 (工学). 2018 年より理化学研究所革新知能統合研究センターテクニカルスタッフ. 東北大学大学院情報科学研究科博士後期課程に在籍中.

大内啓樹：奈良先端科学技術大学院情報科学研究科にて, 2015 年博士前期課程修了. 2018 年博士後期課程修了. 2018 年より理化学研究所革新知能統合研究センター特別研究員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.


# 文法誤り訂正の参照文を用いない自動評価の人手評価への最適化

吉村 綾馬 $\dagger \cdot$ 金子 正弘 $\dagger$ ・梶原 智之 $\dagger,+\dagger$ ・ 小町守 $\dagger$
}

信頼できる文法誤り訂正の自動評価手法の構築は，文法誤り訂正の研究および開発 の発展に有用である。可能な参照文を網羅することが難しいため，先行研究では参照文を用いない自動評価手法が提案されてきた。そのうちの一つは, 文法性・流暢性・意味保存性を評価する 3 つの評価モデルを用いることで，参照文を用いる手法 よりも人手評価との高い相関を達成した。しかし，各項目の評価モデルは人手評価 には最適化されておらず，改善の余地が残されていた。本研究では，より適切な評価を行える自動評価手法の構築を目的として，各項目の評価モデルを事前学習され た文符号化器を用いて人手評価に対して最適化する手法を提案する。 また, 最適化 に理想的である，訂正システムの出力文に対して人手評価が付与されたデータセッ トの作成を行う。実験の結果, 項目ごとの評価モデルおよびそれらを組み合わせた 手法の両方で，従来手法と比べて人手評価との相関が向上し, 事前学習された文符号化器を用いることおよび訂正文の人手評価に最適化することの両方が貢献してい ることがわかった。分析の結果, 提案手法は従来手法に比べて多くのエラータイプ の訂正を正しく評価できていることがわかった.

キーワード：文法誤り訂正，自動評価
## Optimization of Reference-less Evaluation Metric of Grammatical Error Correction for Manual Evaluations

Ryoma Yoshimura ${ }^{\dagger}$, Masahiro Kaneko $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger, \dagger \dagger}$ and Mamoru KомACHI $^{\dagger}$

The development of a reliable automatic evaluation metric of grammatical error correction (GEC) is useful for the research and development of GEC. Since it is difficult to cover all possible reference sentences, previous studies have proposed referenceless metrics. One of them achieved a higher correlation with manual evaluation than reference-based metrics by integrating metrics from the three perspectives of grammaticality, fluency, and meaning preservation. However, the correlation with the manual evaluation can be further improved because they are not considered for optimizing each metric for each manual evaluation. Therefore, in this study, we propose a method of optimizing each metric. Furthermore, we create a dataset with manual evaluation of system output that is ideal for optimization. Experimental results show

that the proposed method improves correlation with the manual evaluation in both the metric of each perspective and combining the metrics. We also demonstrate that both using pre-trained language models for optimization and optimizing to manual evaluation on system output of GEC contribute to improvement. As a result of the analysis, it was found that our proposed metric appropriately rewarded more edits of error types than the conventional methods.

Key Words: Grammatical Error Correction, Automatic Evaluation Metric

## 1 はじめに

文法誤り訂正は，主に言語学習者の書いた文法的に誤っている文（入力文）を文法的に正しい文（訂正文）に編集するタスクである。自動評価はコストをかけずにシステムを定量評価できるため，信頼できる自動評価手法の構築は研究および開発の発展に有用である. 自動評価は訂正システムの出力文を入力文や人手で訂正した文（参照文）などを用いて評価する．訂正の仕方は一つではなく複数の訂正が考えられるため, 自動評価は難しいタスクである。文法誤り訂正の自動評価は，参照文を用いる手法 (Dahlmeier and Ng 2012; Napoles et al. 2015) と用いない手法 (Napoles et al. 2016; 浅野他 2018) に大別できる。前者は，可能な参照文を網羅することが難しい (Bryant and Ng 2015) ため，参照文に含まれない表現に対してはそれが適切な訂正であっても不当に低い評価を与えるという問題がある。後者にはこの問題がなく, 特に浅野他 (2018) は文法性・流暢性・意味保存性の各自動評価モデルの評価を統合することで参照文を用いる自動評価手法よりも人手評価との高い相関を達成した。文法性は訂正文が文法的に正しいかという観点である。流暢性は訂正文が母語話者にとってどの程度自然な文かという観点であり，文法性と区別されて重要性が示されている (Sakaguchi et al. 2016). 意味保存性は入力文と訂正文がどの程度意味が同じであるかという観点であり，文法的な文でも入力文と意味が異なる訂正は不適切なため重要な観点である。このように 3 項目で評価を行うことは，自動評価の解釈性を高めることができるため重要である。しかし，これらの各自動評価モデルは訂正文に対する各項目の人手評価に対してそれぞれ最適化されておらず，改善の余地がある.

本研究では，人手評価との相関が高く，多様な訂正を正しく評価できる自動評価手法を構築するために, 浅野他 (2018)の拡張として, 文法性・流暢性・意味保存性の各自動評価モデルを各項目の人手評価に対して直接最適化する手法を提案する。具体的には，各項目の評価モデルとして, 少量のデータで目的タスクに最適化できる事前学習された文符号化器 Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)を用い，各項目の人手評価値付きデータセットで再学習することで各評価モデルを最適化する。また，学習者が書いた文や機械翻訳の逆翻訳による擬似誤り文に対して，文法性や流暢性の評価値が付与された既存のデータは存在するが，文法誤り訂正の自動評価のために理想的な設定である，訂正文に対

する各項目の人手評価值付きデータセットは存在しない，そのため，我々はクラウドソーシングを用いて，代表的な 5 種類の文法誤り訂正システムの訂正文に対して文法性・流暢性・意味保存性の人手評価を付与し，データセットを作成する。

実験では，人手評価との相関および MAEGE (Choshen and Abend 2018) によって自動評価手法をメ夕評価する．実験の結果，両方のメ夕評価において我々の自動評価手法が従来の自動評価手法よりも適切な評価ができることを示した．また，各項目に対応する既存のデータセッ卜を用いて訓練した自動評価モデルとの比較から，システムの訂正文に対する人手評価を用いて BERTを再学習することの有効性が明らかになった. 分析の結果, 参照文を用いない手法が多くのエラータイプの訂正を正しく評価できていないのに対して，提案手法は全てのエラータイプの訂正を正しく評価できていることがわかった.

本研究の主な貢献は以下の 4 つである.
- 文法誤り訂正の自動評価において, 事前学習された文符号化器を用いて人手評価に直接最適化する手法を提案した。
- 文法誤り訂正における自動評価手法の学習のための, 訂正システムの訂正文に対して文法性・流暢性・意味保存性の 3 項目の評価値を付与したデータセットを作成した 1 .
- 人手評価との相関に基づくメ夕評価および MAEGEによるメ夕評価の結果，提案手法は既存手法よりも適切な評価が行えていることを示した。
- 分析の結果, 従来手法に比べて, 提案手法は調査可能な全てのエラータイプの訂正を正しく評価できていることを示した.

## 2 関連研究

## 2.1 文法誤り訂正の自動評価手法

## 2.1.1参照文を用いる手法

初期の研究 (Dale and Kilgarriff 2011) では, 訂正した単語単位の編集に対して適合率・再現率・F 値を評価していた. Dahlmeier and Ng (2012) はフレーズ単位で，適合率，再現率执よび適合率を重視する $\mathrm{F}$ 値 $\left(\mathrm{F}_{0.5}\right)$ の 3 つの値を評価する Max Match $\left(\mathrm{M}^{2}\right)$ を提案し，より正確な自動評価が可能となった. Felice and Briscoe (2015) は悪い訂正と訂正を行わない場合の評価値がどちらも0になるなどの $\mathrm{M}^{2}$ の問題点に対処する I-measure を提案した. I-measure は単語しべルのアライメントに基づく重み付き精度によって計算され, 入力文が悪化すると負の値, 改善すると正の値となる. Napoles et al. (2015) は機械翻訳の自動評価で使われる BLEU (Papineni et al. 2002)を文法誤り訂正のために改善した GLEUを提案した. BLEU は訂正文と参照文を用

いるが，GLEU は訂正文と参照文に加えて入力文も考慮する．Napoles et al. (2016)の調査によると，参照文を用いる手法の中では，GLEUが人手評価との最高の相関を持つ．これらの評価指標は参照文を必要とするため，参照文が全ての正しい文を網羅できない問題に対処できない. しかし，可能な参照文を網羅することは現実的ではない (Bryant and Ng 2015) ため，近年は参照文を用いない自動評価手法が注目されている.

## 2.1.2 参照文を用いない手法

Napoles et al. (2016) は参照文を用いない文法誤り訂正の自動評価手法を初めて提案した。文法誤り検出ツールに基づく手法と言語モデルなどの言語学的素性に基づく手法が提案され，前者が GLEU と同等の性能を持つことが示された。既存の文法誤り検出ツールである e-rater $® や$ language-tool を用いた手法と, Heilman et al. (2014)のミススペリング数や言語モデルの評価値や未知語の数などの言語学的素性を用いた手法で実験を行い, e-rater®を用いた手法が GLEU とほぼ同等の性能であることを示した。浅野他 (2018) は文法性・流暢性・意味保存性の 3 つの自動評価モデルに基づく, 参照文を用いない自動評価手法を提案し, 人手評価との最高の相関を達成した。文法性は GUG データセット (Heilman et al. 2014) で訓練したロジスティック回帰, 流暢性は RNN 言語モデル, 意味保存性は METEOR (Denkowski and Lavie 2014)を用いて評価し，各評価値の重み付き和を最終的な評価とした。各評価値の重みは JFLEG データセット (Napoles et al. 2017) を用いてチューニングし， システムレベル・文レベルで Grundkiewicz et al. (2015)の評価データを用いてメ夕評価している。浅野他 (2018)の流暢性と意味保存性の自動評価モデルは人手評価に対して最適化されておらず，特に意味保存性は人手評価との相関が低い. 本研究では浅野他 (2018) の拡張として, 文法性・流暢性・意味保存性の各自動評価モデルを各項目の人手評価に対して最適化する。各項目の評価モデルを人手評価に最適化した効果を検証するために, 最終的な評価値の計算方法や設定は浅野他 (2018) と同様に実験する.

## 2.2 各項目の評価モデルの学習に使用できる既存のデータセット

文法性に関しては，浅野他 (2018) が文法性に関する自動評価モデルを訓練するために使用している， GUGデータセット2 (Heilman et al. 2014) がある. GUG データセットは, 学習者の書いた文に対して文法性の人手評価が付与されている。流暢性に関しては, British National Corpus および Wikipedia の英文を Google 翻訳で折り返し翻訳した疑似誤り文に対して流暢性 (Acceptability)の人手評価が付与されたデータセット ${ }^{3}$ (Lau et al. 2015) が公開されている. 文法性，流暢性に関しては上述のデータセットが存在するが，意味保存性に関しては，誤り文を含む文対に対して人手評価が付与されたデータセットは存在しない.
^{3}$ https://clasp.gu.se/about/people/shalom-lappin/smog/experiments-and-datasets
}

これらのデータセットは，学習者が書いた文や機械翻訳が生成した文に対して人手評価を付与している。本研究では, これらのテキストは文法誤り訂正システムの訂正文とは異なる性質を持つと考え, 実際の訂正文に対して文法性・流暢性・意味保存性の自動評価を新たに収集し,自動評価モデルを訓練する.

## 2.3 自動評価手法の評価

自動評価手法の評価（メ夕評価）は，人手評価と高い相関を持つ自動評価ができることを検証するのが最も直観的であり (Banerjee and Lavie 2005), 一般的には人手評価との相関係数を用いて評価される。実際, 機械翻訳の自動評価手法の Shared task である WMT 2019 Metrics Shared Task (Ma et al. 2019)では，複数の翻訳システムの出力文に対する人手評価と自動評価の相関を用いて，システムレベルと文レベルでのメ夕評価を行っている.

文法誤り訂正における自動評価手法のメ夕評価では，複数の訂正システムに対する人手のランキングとの相関を測るメタ評価が行われている (Grundkiewicz et al. 2015; Sakaguchi et al. 2016; Napoles et al. 2016; 浅野他 2018). 浅野他 (2018) はシステムレベルのメ夕評価たけでなく文レベルでのメ夕評価も行っている. 本研究でも同様に, システムレベルと文レベルの両方のメ夕評価を行う. Choshen and Abend (2018)は人手のランキングを用いるメ夕評価とは別に, 人手の訂正から構築した束に基づく文法誤り訂正のメ夕評価手法 (MAEGE) を提案した.人手の訂正を用いることで，人手のランキングを用いるメ夕評価の評価者間および評価者内の一致が低い問題に対処している。 さらに，人手のランキングに依存することによる一部の有効なエラータイプの訂正を適切に評価できない問題に対して, 人手による訂正から構築した束全体を評価に用いることで対処している。本研究ではより適切なメ夕評価のため, 人手評価との相関だけでなく，人手の訂正に基づくMAEGEによるメ夕評価も行う。人手評価との相関によるメ夕評価の詳細を 5.2.1 節に，MAEGEによるメ夕評価の詳細を 5.2 .2 節に示す.

## 3 提案手法: 事前学習された文符号器を用いた自動評価モデル

文法性・流暢性・意味保存性の人手評価値付きデータセットを用いて, 各項目の評価モデルを最適化する。各項目の評価モデルに，訂正文あるいは入力文と訂正文の対から人手評価値を推定する回帰モデルとして, 事前学習された文符号化器である BERT (Devlin et al. 2019)を用いることを提案する. BERT はそれまでの単方向でしか学習していなかった事前学習モデルとは異なり, 入力文の一部をマスクしマスクされた単語を当てるように学習を行うことで, 双方向での学習が可能となり, 文全体を考慮した表現を獲得することができる。事前学習済みの BERT は，対象タスクに適した出力層に変更し，モデル全体を少量のデータセットで再学習させることで様々な自然言語処理タスクで高精度の予測を行うことができる。

図 1 評価手法の全体像 $(\alpha, \beta, \gamma$ は各評価値の重み)

文法性・流暢性・意味保存性の項目ごとに BERT の再学習を行い, 各項目の人手評価に最適化した自動評価モデルを構築する。再学習には各項目の人手評価値が付与されたデータセットを用いる。ただし，図 1 に示すように，文法性および流暢性については訂正文のみから人手評価を推定し，意味保存性については入力文と訂正文の対から人手評価を推定する．再学習時には回帰モデルの学習と同時に文符号化器の学習も行う.

訂正文の最終的な評価は, 浅野他 (2018) と同様に各項目の評価値の線形和で求める.

$
\text { Score }=\alpha \cdot \text { Score }_{\mathrm{G}}+\beta \cdot \text { Score }_{\mathrm{F}}+\gamma \cdot \text { Score }_{\mathrm{M}} \text {. }
$

ここで， Score ${ }_{G}$, Score $_{F}$, Score $_{M}$ はそれぞれ文法性，流暢性，意味保存性の評価值であり，各評価値は 0 から 1 になるように正規化を行う。重み $\alpha, \beta, \gamma$ は $\alpha+\beta+\gamma=1$ であり，いずれも負の値を取らない。各重みの決め方については 5.2 節で説明する。

## 4 訂正文に対する人手評価値付きデータセットの構築

文法誤り訂正の自動評価に理想的なデータで自動評価モデルの学習を行うために，訂正システムの訂正文に対して各項目の人手評価が付与されたデータセットを構築する。文法誤り訂正の検証用に一般的に利用されている CoNLL 20134のテストデータである 1,381 文を複数の訂正システムで訂正した訂正文に対して，文法性・流暢性・意味保存性の人手評価を収集する ${ }^{5}$. CoNLL 2013 のテストデータは, 英語を母語としないシンガポール国立大学の学生 25 名によって書かれたエッセイをもとに作られている。監視技術と高齢化についての 2 つのト゚ックについて書かれており, 学生の習熟度は比較的高い。

## 4.1 訂正文生成のための文法誤り訂正システム

多様な訂正文に対して人手評価を収集するために，各入力文を代表的な以下の 4 種類の文法誤り訂正システムおよびシステムの学習時6に公開されている中で最高性能のシステム (Zhao et al. 2019) によって訂正し，アノテーションを実施する。

SMT: 統計的機械翻訳 (Statistical Machine Translation) に基づくモデル. Grundkiewicz and Junczys-Dowmunt (2018)の実装7を用いた。言語モデルおよび単語クラス言語モデルの訓練には，公開されているデータ8のうち part00から part02 までの 30 億文を用いた. KenLM $^{9}$ (Heafield 2011)を用いて言語モデルの学習を行った. 単語クラスの学習には Word2Vec (Mikolov et al. 2013)を用いた。

RNN: Recurrent Neural Network に基づく系列変換モデル，実装には fairseq ${ }^{10}$ (Ott et al. 2019) を用いた． 4 層の Bi-directional LSTM を用い，単語埋め达みの次元数は 512, バッチサイズは 32 とし，その他の設定は Luong et al. (2015) に従った.

CNN: Convolutional Neural Network に基づく系列変換モデル. 実装には fairseq ${ }^{10}$ (Ott et al. 2019) を用いた. 符号化器および復号器の次元数は 512 とし, その他の設定は Chollampatt and $\mathrm{Ng}(2018)$ に従った.

SAN: Self-Attention Network に基づく系列変換モデル．実装には fairseq ${ }^{10}$ (Ott et al. 2019）を用いた。設定は Vaswani et al. (2017) に従った.

SAN+Copy: 文法誤り訂正の入力文の単語が訂正されない割合が高いという性質を考慮して,訂正する必要がない部分は入力文から単語を直接コピーして出力できるようなコピー機構を

SAN に追加したモデル、データセットの作成時に公開されているモデルの中で最高性能のモデルであった. Zhao et al. (2019)の実装11を用いた.

各モデルの訓練のために, SAN+Copy は著者らが公開している訓練用データ ${ }^{11}$ (Lang-8, NUCLE, FCE) を，その他のモデルは Bryant et al. (2019)の訓練用データ12 (Lang-8, NUCLE, FCE，W\&I）を用いた。ただし， 100 トークン以上の文を削除した後に，Byte Pair Encoding ${ }^{13}$ (Sennrich et al. 2016)を用い, 結合回数を 30,000 として単語のサブワード化を行った. 各モデルを CoNLL 2013 のデータで 2 分割交差検証によって評価した結果および類似の設定で実験を行っている先行研究の結果の比較を表 1 に示す. ただし, 先行研究は 2 分割交差検証ではなく, NUCLE データの一部を検証データとして CoNLL 2013 の評価を行っている. 先行研究の報告

表 1 CoNLL 2013 における各システムの $\mathrm{F}_{0.5}$ 値

と同等の性能を確認できたので， 2 分割交差検証のテストデータに対する訂正文に人手評価を付与する。

## 4.2 訂正文に対する文法性・流暢性・意味保存性のアノテーショ

CoNLL2013 の 1,381 文を前節の各システムで訂正し, 重複する訂正文を除いた合計 4,223 文に対して文法性・流暢性・意味保存性の人手評価值を付与する。文法性および流暢性は訂正文のみで評価を行い，意味保存性は入力文と訂正文から評価を行うようにした。

文法性：訂正文の文法的な正しさを評価する． Heilman et al. (2014)の 5 段階評価 (4. 完璧, 3.分かりやすい, 2. 理解できる, 1. 理解できない, 0. その他) に従って評価した.

流暢性：訂正文の自然さを評価する. Lau et al. (2015)の 4 段階評価（4. 非常に自然, 3. やや自然, 2. やや不自然, 1. 非常に不自然）に従って評価した.

意味保存性：入力文と訂正文の間の意味内容の等価性を評価する. Xu et al. (2016)の 5 段階評価（4. 同一，3. わずかに異なる，2. 異なる，1. 大幅に異なる，0. その他）に従って評価した. Amazon Mechanical Turk ${ }^{14}$ 用いて， 1 文あたり 5 人の評価者を募集した. データセットの質を担保するために，US 在住者のうち，質の高い回答を行う Master 資格を保有し，過去の夕スク承認率 $99 \%$ 以上かつ承認数 50 以上の評価者を採用した。また，入力文や訂正文を読まずに回答する評価者を拒否するために，全ての項目に 4 を回答させるダミー設問を設置した。さらに，全ての項目に同じ回答をする評価者や，極端に回答時間が速い評価者も拒否した．最終的に， 3 人以上の評価者が「0. その他 15 を回答した文を除き，合計 4,221 文の人手評価値付きデータセットを作成した. 時給 7.25 ドルと見積もって作業を複数人に分割して依頼し, データ作成時点（2019 年）のレート換算で合計約 10 万円を使用してデータセットを作成した.

人手評価値のヒストグラムおよび各項目間のピアソンの積率相関係数を図 2 に示す. 2 以下の評価は全体に少なく, 特に意味保存性の項目は多くが 3 以上の評価を得た。また，文法性と流暢性との相関は高く，意味保存性は他の 2 項目間との相関が低い。流暢性の観点は文法性の

図 2 各項目のヒストグラム（左図）と各項目間の相関行列（右図）

図 3 実際の評価例

観点も含まれているため高い相関になったと考えられる，図 3 に実際のアノテーション例を示す. 上の評価例では, 文法性および流暢性の評価は高いが, 副詞の “inversely” が “definitely"になっているため意味保存性は低い評価となっている。下の例では文法性および流暢性の評価は低いが，形の変化や冠詞の有無の違いであり，全体としては意味はほとんど変わらないため意味保存性は高い評価となっている.

## 5 実験設定

提案手法の有効性を検証するために，人手評価との相関によるメ夕評価および MAEGE によるメ夕評価を行い，既存手法と比較を行う。さらに，本研究で作成した，訂正システムに対して人手評価値を付与したデータセットで BERT を再学習することの有効性を検証するために， 2.2 節で説明した既存のデータセットで BERT を再学習した場合との比較も行う. 各項目の自動評価モデル単体のメ夕評価を行った後， 3 章で説明した各自動評価モデルを組み合わせた手法のメ夕評価を行う。

## 5.1 BERT の再学習

4 章で構築したデータセットを訓練/検証/評価に $3,376 / 422 / 423$ で分割し, BERT の再学習に使用する。比較手法における BERT の再学習のために, 文法性 ${ }^{1}$ および流暢性 2 については 2.2 節で説明したデータセットを使用する。意味保存性については, 2 文間の意味的類似度を $[0.0,5.0]$ の連続值で評価した Semantic Textual Similarity タスク (Cer et al. 2017) のデータセット16を使用する。文法性と流暢性に用いるデータセットは誤った文に対して評価がついているのに対し，このデータセットは誤りを含まない文対に対して評価がついている．事前学習済みの BERT (bert-base-cased)17を，それぞれのデータセットを用いて再学習する。ハイパーパラメータは検証データを用いて, 最大文長は 128,256 , バッチサイズは 8,16 , 学習率は $2 \mathrm{e}-5$, 3e-5, 5e-5, エポック数は 1 から 10 の組み合わせからグリッドサーチで決定した. その他の学習設定は使用した事前学習済みモデルの事前学習時のものと同じである. 検証データでスピアマンの順位相関係数が最大となるモデルを選択した.

## 5.2 メタ評価実験

## 5.2.1 人手評価との相関によるメタ評価

システムレベルのメタ評価システムレベルの評価では, 図 4 のように, システムレベルの自動評価値と人手評価値の相関を測ることでメ夕評価を行う。システムレベルの自動評価値は，各訂正文の自動評価値をシステムごとに平均して用いた。浅野他 (2018) と同様に, Grundkiewicz et al. (2015) が公開しているデー夕を用いる。このデータは 12 システムによる CoNLL2014 のテストデータの訂正文に人手で 1 から 5 のランク付けを行ったものである. CoNLL2014 のテストデータは CoNLL2013 のテストデータと同様に, シンガポール国立大学の学生 25 名の書いたエッセイをもとに作られているが，トピックが異なり，遺伝子検査とソーシャルメディアの 2 つのトピックについて書かれている. さらに Grundkiewicz et al. (2015)はそのランクか

図 4 システムレベルでのメ夕評価

らレーティングアルゴリズムである True Skill (Herbrich et al. 2007) を用いてシステムレベルでの人手評価を計算した。浅野他 (2018) と比較を行うために, Grundkiewicz et al. (2015) の Table $3 \mathrm{c}^{18}$ の人手評価を用いて計算した。相関係数にはピアソンの積率相関係数とスピアマンの順位相関係数を用いた。式 (1) の重み $\alpha, \beta, \gamma$ は浅野他 (2018) と同様に JFLEG データセット (Napoles et al. 2017)の人手評価を用いて調整した. JFLEGデータセットを用いたのは, 単純には浅野他 (2018)の結果と比較するためであるが, 評価データや学習に使った CoNLLデー 夕と, システムの数・学習者の習熟度・編集率などの性質が大きく異なる JFLEGデー夕を使って重みを決めることでデー夕依存性の問題を議論できるからである。各重み $\alpha, \beta, \gamma$ は 0.01 刻みで， $\alpha+\beta+\gamma=1$ を満たす組み合わせからグリッドサーチを行い，ピアソンの積率相関係数を最大化するように決定した.

文レベルのメタ評価文レベルのメ夕評価では，各訂正文の自動評価値を人手評価値と直接比較する。浅野他 (2018) と同様に，Grundkiewicz et al. (2015)のデータセットにおける正解率およびケンドールの順位相関係数によって，任意の 2 つの訂正文の優劣判定調査を行う。同一文に対するシステム出力の評価が異なるぺアの評価を行い，その正解率 (Accuracy) (式 (2)) と WMT2017 (Bojar et al. 2017) で使われているケンドールの順位相関係数 $\tau$ (Kendall's $\tau$ ) （式 (3)）を用いてメ夕評価を行う。一部の文に対しては複数人が評価を行っているが，それらは別事例とみなし， 14,822ペアに対して評価を行った。

$
\begin{gathered}
\text { Accuracy }=\frac{\text { 適切に評価したぺア数 }}{\text { 人手評価の大小が異なるぺア数 }} \cdot \\
\text { Kendall's } \tau=\frac{\text { 適切に評価したぺア数 }- \text { 逆に評価したぺア数 }}{\text { 人手評価の大小が異なるぺア数 }} .
\end{gathered}
$

式 (1)の重み $\alpha, \beta, \gamma$ は Grundkiewicz et al. (2015)のデータセットを 1:9 の割合で検証用と評価用に分割し, 検証用データにおけるケンドールの順位相関係数を最大化するように調整した. グリッドサーチの探索範囲はシステムレベルの評価と揃えた.

## 5.2.2 MAEGEによるメタ評価

Choshen and Abend (2018) らは, 人手評価との相関を用いるメ夕評価に存在する, 評価者間および評価者内の一致が低い問題や，一部のエラータイプに対する訂正を適切に評価できない問題に対処するために，人手による訂正を用いた自動評価手法のメ夕評価手法 (MAEGE) を提案した. 人手による訂正アノテーションが付与されたコーパスを用い, 各文に対して図 5 に示すような人手の訂正を元とする束を構築する。全ての訂正が全体的な品質に等しく作用すると仮定して，訂正の適用数で順序づけが行われる。束を適用した誤り文セットを自動評価手法で評

訂正文

図 5 各誤り文に対する人手の訂正を元とした束（左図）と実際の例（右図). 各有向エッジは人手の訂正の適用を表し，訂正文 $k$ は誤り文に対して $k$ 人目の訂正者の全ての訂正を適用した文である.

価し, 定義された順序関係を正解順位として比較を行いメ夕評価を行う．MAEGEでは，コーパスレベルと文レベルのメ夕評価を行うことができる。詳細な説明は Choshen and Abend (2018) を参照されたい.

本研究の実験では, CoNLL 2014 (Ng et al. 2014)のテストデー夕を使用する. 実験は公開されている実装19を使用したが，束を構築する際に入力文または訂正を適用した結果が空文にならないように訂正を加えた。コーパスレベルのメ夕評価では Choshen and Abend (2018) と同様の設定で，ピアソンの積率相関係数およびスピアマンの順位相関係数を用いて評価した。文レベルのメ夕評価では Choshen and Abend (2018) と同様の設定で, ケンドールの順位相関係数 $\tau^{20}$ およ゙ピアソンの積率相関係数で評価した. 各メ夕評価における各項目の重みは 5.2 .1 節の文レベルのメ夕評価で決めた値を用いた. Choshen and Abend (2018)では, 2 人のアノテー ションのうち 1 人が訂正を行っていない文は削除している。それに加えて，上述した実装に加えた条件によって, 元の 1,312 文から 808 文が選択される. その 808 文に対する合計 1,704 のアノテーションから合計 6,634 文が生成され，評価に使用された。それぞれ 3 つのランダムシー ドで実験を行い，平均値を報告する.

## 5.3 ベースライン手法

本実験では，3つの自動評価手法と提案手法を比較する．参照文を用いる自動評価手法としては, 2.1.1 節で説明したうち, 文法誤り訂正の自動評価で一般的に使用されている $\mathrm{M}^{2}$ (Dahlmeier and Ng 2012) および GLEU (Napoles et al. 2015)を用いる. 参照文を用いる手法では，性能を最大にして比較を行うために，公式の 2 つの参照文に加えて Bryant and Ng (2015) の追加の 8 つの参照文と Sakaguchi et al. (2016) の追加の 8 つの参照文を加えた 18 文を用いる。参照文を用いない自動評価手法としては, 先行研究である浅野他 (2018)を用いる.

## 6 実験結果

各実験結果の表における，BERT w/ existing data は既存のデータでBERT を再学習した場合，BERT w/ our data は作成したデータでBERT の再学習を行った場合の結果を表す.

## 6.1 人手評価との相関によるメタ評価

表 2 に文法性・流暢性・意味保存性の各項目の自動評価モデルの, 作成した評価デー夕を用いたメ夕評価の結果を示す. 浅野他 (2018)のシステムレベルにおける結果は再実装したものを用いた。 浅野他 (2018) の手法と比較して, 既存のデータでBERT を再学習する意味保存性の評価モデルを除いて, 提案手法が高い相関を達成している. 既存のデータで BERT を再学習する意味保存性の評価モデルの相関が高くないのは，再学習に用いたデータが文法的な誤りを含まない文対に対して人手評価が付与されていたからであると考えられる．再学習に用いるデー タセットの違いでは, 我々が作成したデータで再学習した各評価モデルが最高の人手評価との相関となっており, 訂正システムの出力に対する人手評価に最適化をすることの有効性が確認できる.

表 3 に文法性・流暢性・意味保存性の各項目の自動評価モデルの, Grundkiewicz et al. (2015) の評価データを用いたメ夕評価の結果を示す. 浅野他 (2018)のシステムレベルにおける結果は浅野他 (2018) からの引用，文レベルにおける結果は再実装したものを用いている。表 2 では, 各自動評価モデルは対応する項目の人手評価との相関を計算しているが, 表 3 では, 各自動評価モデルは総合的な人手評価との相関を計算している。意味保存性はシステムレべルでは負の相関, 文レベルでは無相関となったが，文法性と流暢性に関しては全ての項目で，我々の作成したデータで BERT を再学習した手法がベースラインより高い相関となっている．意味保存性のシステムレベルで負の相関になっている理由は，訂正を行わないシステムに対する意味

表 2 作成したデータセットにおける各項目の自動評価手法のメ夕評価.
保存性単体の評価は高くなるのに対して，総合的な評価では訂正しないシステムに対しては低い評価となるため負の相関になっていると考えられる。実際に，評価データ中の各システムの訂正を行わない文数と提案手法の意味保存評価モデルの予測値のスピアマンの順位相関係数は 0.923 となり, 各システムの訂正を行わない文数とシステムの人手の順位とのスピアマンの順位相関係数は -0.549 となった。

表 4 に， 3 章で説明した各評価項目のモデルを組み合わせた手法の，システムレベルおよび文レベルの人手評価との相関によるメ夕評価の結果を示す。浅野他 (2018)の結果は, システムレベルにおいては浅野他 (2018) における 3 項目を組み合わせた手法の中で最大の相関値を引用，文レベルにおいては再実装したものを使用している。システムレベルと文レベルの両方で， BERT の再学習に基づく自動評価手法が他の自動評価手法よりも大幅に高い性能を示したことから，文法誤り訂正の自動評価において事前学習された文符号化器 BERT を用いることの有効性が確認できる．BERT の再学習に使用するデータセットの違いからは, システムレベルと文レベルの両方で我々のデータセットを用いる再学習が人手評価とのより高い相関を達成することがわかる。このことから，実際のシステムの訂正文に対する各項目の人手評価に自動評価モ

表 3 Grundkiewicz et al. (2015) のデータセットにおける各項目の自動評価手法のメタ評価.

表 4 システムレベル（左）と文レベル（右）のメ夕評価

デルをそれぞれ最適化することの有効性が確認できる. 文法性・流暢性・意味保存性の 3 項目を組み合わせる手法では，全体的に意味保存性の重み $\gamma$ が小くなっている。これは，文法誤り訂正では入力文と訂正文の多くの単語が共通するため，訂正の良し悪しによらず多くの場合に意味が変わらないことが原因だと考える。システムレベルでは1つの重みに偏っている。これは，重みのチューニングに，4つのシステムに対する人手のランキングがついた JFLEG デー タセットを用いており，4つのシステムの評価は各項目を組み合わせずとも，文法性・流暢性の単体の評価器で高い精度で予測ができてしまうからであると考えられる。実際に，作成したデータにおける文法性単体の評価器は, JFLEG データセットに対して 0.976 のピアソンの積率相関係数, 1.0 のスピアマンの相関係数であり, 流暢性単体の評価器ではそれぞれ $0.978,1.0$ であった. JFLEG データセットは流暢性を重要視して作られているため, BERT w/ our data では流暢性の重みが高くなっている。 BERT w/ existing dataでは, 流暢性単体よりも文法性単体の評価器の方が JFLEG データセットに対する相関が高いため文法性の重みが高くなっていると考えられる。実際に, 文法性単体の評価器は JFLEG データセットに対して 0.963 のピアソンの積率相関係数, 流暢性単体の評価器は 0.957 のピアソンの積率相関係数であった.

## 6.2 MAEGEによるメタ評価

表 5 に MAEGE によるコーパスレベルと文レベルのメ夕評価の結果を示す. 上段の参照文を用いる手法と下段の参照文を用いない手法を比較すると，コーパスレベルおよび文レベルの両方，特に文レべルにおいて参照文を用いない手法が高い相関となっている．参照文を用いる手法の $\mathrm{M}^{2}$ は文レベルにおいてピアソンの積率相関係数は無相関，ケンドールの順位相関ではある程度の相関となっており，GLEU は $\mathrm{M}^{2}$ と逆の振る舞いを示している。 $\mathrm{M}^{2}$ は同じ文の異なる訂正に対する順序付けはある程度予測できるが，全体的に一貫した評価をすることはできず， GLEU はその逆の性質を持つことを意味している．参照文を用いない手法を比較すると，BERT を用いた手法が浅野他 (2018)の手法より高い相関となっている. 特に BERT を用いる手法はベースライン手法に比べて文レベルの両方の評価尺度で高い相関を持つことがわかる. このこ

表 5 MAEGEによるメ夕評価

とから，BERT を用いた手法は同じ文の訂正ぺアの順序付けと，全体的に一貫した評価の両方を行うことができることがわかる，再学習に用いるデータセットの違いでは，総合的に見ると，我々のデータセットを用いる方が相関が高くなった.

6.1 節の人手評価との相関を用いる実験および 6.2 節の MAEGEによる実験の結果, 作成したデータで BERT を再学習する手法が最もよい結果となった。各項目の評価モデルを作成したデータセットに最適化することで，各項目の評価モデルの性能が向上し（表 2 , 表 3 ），その結果，各評価モデルを組み合わせた手法で性能が向上した（表 4，表 5 ），各評価モデルを組み合わせた場合の，再学習に用いるデータセットの違いによる性能の改善は大きくないが，表 2 ，表 3 のように各項目の評価を見ると大きく改善しているため，データ作成にかかるコスト約 10 万円を考慮しても，各項目をより適切に評価するためにシステム出力にラベル付けして新たにデー 夕を作る意味は十分あると考えられる。

## 7 分析

## 7.1 評価例

$\mathrm{M}^{2}$, GLEU, 浅野他 (2018), 作成したデータで BERT の再学習を行った場合の提案手法による評価例を分析する. Grundkiewicz et al. (2015)の評価データに対する各評価手法を比較する。表 6 に，提案手法のみが正しく評価できた例を示す. $\mathrm{M}^{2}$ は訂正文 1 と訂正文 2 に対して同じ評価値を与えており正しく評価できていない，表層的な語句の一致率に基づくGLEU は，参照文に "problems” が含まれないために訂正文 1 を低く評価し，表層的には似ているが余計な "the"が入っている訂正文 2 を高く評価してしまっている。一方で提案手法は, “disadvantages" が "problems”になっていても余計な “the”が入っている訂正文 2 よりも訂正文 1 のほうを高く評価できており, 表層的な語句の一致率に依存せず評価できている. 浅野他 (2018) が正しく評価できていないのは, 浅野他 (2018) が主に流暢性, 次に意味保存性を見ている（表 4）が,

表 6 提案手法のみが正しく評価できた例

表 7 参照文を用いる手法のみが正しく評価できている例

流暢性の評価モデルは人手評価との相関が低い（表 2）ことおよび意味保存性の評価モデルは METEOR であり入力文との表層一致で評価値を計算するため入力文に表層の近い訂正文 2 を高く評価するからであると考えられる.

表 7 に，参照文を用いる手法では正しく評価できたが，参照文を用いない手法では正しく評価できなかった例を示す，参照文を用いる手法では，参照文には “child”が含まれているため, “child” が含まれている訂正文 2 を高く評価している。一方で，参照文を用いない手法では， “child”の部分が “children”となっている訂正文 2 を高く評価している. これは, 参照文を用いないため, 参照文の情報を考慮した評価ができないためである.

## 7.2 エラータイプ別の評価分析

MAEGE では，特定のエラータイプの訂正に対する評価の分析を行うことができる．特定のエラータイプの訂正のみが異なる文のぺア $\left(c, c^{\prime}\right)$ の集合を用意し, 各ペア $\left(c, c^{\prime}\right)$ の各文を評価して, その差分 $m(c)-m\left(c^{\prime}\right)$ の平均を計算する. $c$ は特定のエラータイプの訂正を適用した後の文, $c^{\prime}$ はそのエラータイプの訂正を適用する前の文, $m$ は評価手法を示す. 負の値の平均差は評価手法がエラータイプの訂正に対して減点し, 正の値の平均差は加点することを意味している.例えば, エラータイプがVt (Verb tense) で, $c$ が “The medical treatment technology during that time is not advanced enough to completely cure him.", $c^{\prime}$ が "The medical treatment technology during that time was not advanced enough to completely cure him .”のペアに対して各文の評価を行い $m(c)-m\left(c^{\prime}\right)$ が正ならば訂正した文の方が高く評価できているため, 適切に評価できており, 負ならば, 訂正した文の方を低く評価しているため, 適切に評価できていない. エラー タイプには CoNLL2014 (Ng et al. 2014) で指定されている 27 のエラータイプを使用する.
表 8 に結果を示す. $\mathrm{M}^{2}$ では全てのエラータイプで平均差がほぼ $0 （ 0.0001$ など）になっており ${ }^{21}$, 特定のエラータイプに対して一貫した評価を行えていないことがわかる．GLEUでは多くのエラータイプの訂正に対して減点している。一方，参照文を用いない評価手法ではほとんど全てのエラータイプで正の値となっており，多くのエラータイプの訂正に対して加点できていることがわかる．特に，我々が作成したデータでBERT の再学習を行った手法においては全てのエラータイプの訂正に対して加点できている。 また，既存のデータで BERT の再学習を行った場合に比べて，各エラータイプに対する平均差の値が大きくなっており，各エラータイプの訂正に対してより大きく加点できていることがわかる．特に，連続文やコンマ区切りの誤

り (Srun) や並列性の誤り (Spar) は他の手法に比べて平均差が大きく, 他の手法と比較してこ

表 8 エラータイプ分析

${ }^{21}$ Choshen and Abend (2018)の結果でも同様に $\mathrm{M}^{2}$ は全てのエラータイプが 0 または 0 に近い値となっている.

れらの誤りに対する感度が高いことがわかる。逆に，明確にしないと修正ができないような誤

り $(\mathrm{Um})$ は他の手法と同様に平均差が小さく, 他手法と同様に感度が低いことがわかる.

## 8 おわりに

本研究では, 文法誤り訂正の自動評価で重要である, 文法性・意味保存性・流暢性の 3 項目の評価モデルを人手評価に最適化する手法を提案した。最適化するための理想的なデータセットが存在しないため, 5 の訂正システムの出力に対して, 文法性, 流暢性, 意味保存性の観点で人手評価を行いデータセットの作成を行った。作成した各項目のデータセットを用いて，事前学習された文符号化器の再学習を行い, 各項目の評価モデルを作成してそれらを組み合わせて文法誤り訂正の自動評価を行った。

実験では，まず各項目の評価モデルの個別のメ夕評価を行い，各項目をどれだけ適切に予測できるか実験した。そして，人手評価との相関によるメ夕評価および人手の訂正を用いたメ夕評価で，各項目の評価モデルを組み合わせた手法を評価した。実験の結果，提案手法は従来手法に比べて，各項目をより適切に評価できること，各項目の評価モデルを組み合わせた評価でもより適切に評価できることを示した。 そして，事前学習された文の符号化器である BERT を回帰モデルとして用いることおよび我々が作成した訂正文に対する人手評価に最適化することが相関の改善に有効であることがわかった。 分析の結果, 従来手法ではいくつかのエラータイプの訂正に対して減点しているのに対して，提案手法は全てのエラータイプの訂正に対して適切に加点できていることがわかった.

今後の発展としては, 文法誤り訂正の精度改善に提案した自動評価手法を活用することである. 例えば，提案した自動評価手法の評価値を報酬として強化学習による学習を行うことや, 複数モデルのアンサンブルを行う時に使用して, 最も良い訂正を選択することなどが考えられる.

## 謝 辞

本論文の実験をするにあたり，実装コードの提供をして頂いた浅野広樹氏，JFLEG の評価データで使用されているシステム出力を提供して頂いた坂口慶祐氏, Amazon Mechanical Turk で公開するタスクの確認を行って頂いた Siti Oryza Khairunnisa 氏に感謝します。本研究の一部は JSPS 科研費（若手研究, 課題番号 : JP20K19861）の助成を受けたものです. 本研究の内容の一部は, The 28th International Conference on Computational Linguistics (Yoshimura et al. 2020) で発表したものです.

## 参考文献

浅野広樹, 水本智也, 乾健太郎 (2018). 文法性$\cdot$流暢性$\cdot$意味保存性に基づく文法誤り訂正の参照無し評価. 自然言語処理, 25 (5), pp. 555-576. [H. Asano et al. (2018). A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error Correction. Journal of Natural Language Processing, 25 (5), pp. 555-576.].

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Bojar, O., Graham, Y., and Kamran, A. (2017). "Results of the WMT17 Metrics Shared Task." In Proceedings of the Second Conference on Machine Translation, pp. 489-513.

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 697-707.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. $1-14$.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5755-5762.

Choshen, L. and Abend, O. (2018). "Automatic Metric Validation for Grammatical Error Correction." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1372-1382.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572.

Dale, R. and Kilgarriff, A. (2011). "Helping Our Own: The HOO 2011 Pilot Shared Task." In Proceedings of the 13th European Workshop on Natural Language Generation, pp. 242-249.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2018). "Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 284-290.

Grundkiewicz, R., Junczys-Dowmunt, M., and Gillian, E. (2015). "Human Evaluation of Grammatical Error Correction Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Heilman, M., Cahill, A., Madnani, N., Lopez, M., Mulholland, M., and Tetreault, J. (2014). "Predicting Grammaticality on an Ordinal Scale." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 174-180.

Herbrich, R., Minka, T., and Graepel, T. (2007). "TrueSkill ${ }^{T M}$ : A Bayesian Skill Rating System." In Schölkopf, B., Platt, J. C., and Hoffman, T. (Eds.), Advances in Neural Information Processing Systems 19, pp. 569-576. MIT Press.

Lau, J. H., Clark, A., and Lappin, S. (2015). "Unsupervised Prediction of Acceptability Judgements." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1618-1628.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Ma, Q., Wei, J., Bojar, O., and Graham, Y. (2019). "Results of the WMT19 Metrics Shared

Task: Segment-Level and Strong MT Systems Pose Big Challenges." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings.

Mita, M., Mizumoto, T., Kaneko, M., Nagata, R., and Inui, K. (2019). "Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models-Is Single-Corpus Evaluation Enough?" In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1309-1314.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2016). "There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2109-2115.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality." Transactions of the Association for Computational Linguistics, 4, pp. 169-182.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Yoshimura, R., Kaneko, M., Kajiwara, T., and Komachi, M. (2020). "SOME: Reference-less SubMetrics Optimized for Manual Evaluations of Grammatical Error Correction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 156-165.

## 略歴

吉村綾馬：2019 年首都大学東京（現東京都立大学）システムデザイン学部シ

ステムデザイン学科情報通信システムコース卒業. 同年, 首都大学東京システムデザイン研究科情報科学域博士前期課程に進学. 2021 年博士前期課程修

了. 同年, 株式会社ユーザーローカルに入社. 現在に至る.

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了.博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)．大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業.

2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)．同年より同研究科助教を経て，2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2020 年 9 月 1 日受付)

(2020 年 12 月 1 日再受付)

(2021 年 1 月 19 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 文法誤り訂正における訂正度を考慮した多様な訂正文の生成

甫立 健悟 $^{\dagger} \cdot$ 金子 正弘 $\dagger$ ・勝又 智柿 - 小町 守 $\dagger$

本稿では，文法誤り訂正における多様な訂正文の生成手法を提案する。文法的に誤 りを含んだ文に対して訂正を行う際，訂正方法は複数存在することがある。しかし，既存の文法誤り訂正モデルは多様な訂正文の生成を考慮していない。また，機械翻訳 タスクなどにおいて用いられている既存の多様な出力を得る手法は, 文中の全トー クンに対して多様性を持たせる手法となっている，そのため，既存の手法を文法誤 り訂正に適応した場合，訂正が必要な箇所を考慮せず文全体を強制的に書き換える ため，文法的に誤りを含んだ文の生成を行うか，もしくは，文法的誤りの発生を防 ぐために制約を弱め，結果的に多様でない文を生成する恐れがある。そこで我々は，文全体を多様化するのではなく, 訂正が必要な箇所を考慮して多様化する手法とし て，モデルの訓練データに訂正度の情報を付与することで出力の訂正度を制御する 手法と, さらに出力を多様化するための誤り箇所を考慮したビームサーチ手法を提案する。実験の結果, 既存手法では文法誤り訂正において適切に多様化できないこ とを明らかにし，一方で，提案手法によりモデルの訂正度が制御可能となり，既存手法よりも文法誤り訂正に適した多様な出力を得ることが可能となった.

キーワード：文法誤り訂正, 出力の多様化
## Generation of Diverse Corrected Sentences Considering the Degree of Correction

Kengo Hotate $^{\dagger}$, Masahiro Kaneko $^{\dagger}$, Satoru Katsumata $^{\dagger \dagger}$ and Mamoru Komachi ${ }^{\dagger}$

In this study, methods are proposed for generating diverse corrected sentences in grammatical error correction (GEC). There may be more than one way to correct a sentence that contains a grammatical error. However, existing GEC models do not consider the generation of diverse correction sentences. In a GEC task, all of the tokens are not rewritten in the text, but only those parts that need to be corrected. In this study, two methods are proposed for diversifying the output data in the GEC. First is a method to control the degree of correction by adding the information on it to the training data of the model, and second is a beam search method to diversify the output data considering the error points. The experimental results show that the existing methods are not suitable for diversification.

Key Words: Grammatical Error Correction, Diversification of Outputs

原文 To put it in the nutshell, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obliged to tell their relatives about their genetic test results for the good of their health.

In a nutshell, I believe that people should have an obligation to tell their relatives about the genetic testing result for the good of their health.

参照文 In summary, I believe that people should have the obligation to tell their relatives about the genetic testing result for the good of their health.

In a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing result for the good of their health.

To put it in a nutshell, I believe that people should be obligated to tell their relatives about the genetic testing results for the good of their health.

表 1 Bryant and $\mathrm{Ng}(2015)$ により作成された 1 文に対する複数の訂正文の例

## 1 はじめに

文法誤り訂正は言語学習者の書いた文法的に誤りを含んだ文を文法的に正しい文へと訂正を行うタスクであり，第二言語学習者の作文支援システムとして有用である。文法的に誤りを含んだ文に対して訂正を行う際，訂正結果は複数存在することがある。例えば，Bryant and $\mathrm{Ng}$ (2015) は，文法的に誤りを含んだ文に対して 10 人のアノテータがそれぞれ異なる有効な訂正手法を提案する場合があることを示した。この 10 人のアノテータに対して，明示的に異なる訂正文の作成を行わせていないが，実際に，訂正した文におけるアノテータ間の一致率は約 $16 \%$ であった．表 1 に Bryant and $\mathrm{Ng}(2015)$ により作成された複数訂正文の例の一部を示す.太字は原文から訂正が行われた箇所を示している，1文から複数の訂正文が提案されているが，いずれも原文において誤りのある箇所のみにおいて多様な訂正が行われている。この様に，様々な訂正結果が存在するため，文法誤り訂正モデルが複数の訂正結果を提示することで，言語学習者は訂正結果を反映するかどうかの判断や，複数の訂正結果の中から好みの表現を選択することが可能になる.

一般に，文法誤り訂正は文法的に誤りを含んだ文から文法的に正しい文への機械翻訳タスクとして捉えられ，近年，ニューラルネットワークを用いた機械翻訳モデルが文法誤り訂正モデルとして用いられることが多い．実際に，機械翻訳モデルを文法誤り訂正モデルに適応することにより，文法誤り訂正タスクにおいても有効な結果を示している (Chollampatt and Ng 2018; Junczys-Dowmunt et al. 2018; Zhao et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020). しかしながら，既存の文法誤り訂正モデルは 1 つの入力文に対して 1 つの有効な出力文の生成を目指

図 11 文中の単語編集率のヒストグラム

しており，複数の訂正結果の生成を考慮していない，そこで我々は，文法誤り訂正において多様な出力を生成するという新たな夕スクに取り組み, 訂正度を制御可能な文法誤り訂正モデルを用いた手法を提案する。

訂正を行う際，必要最低限の書き換えのみ行うか，もしくは，より多くの書き換えを行うかという違いにより，訂正文に多様さが生じる。文法誤り訂正タスクにおいて訓練データとして一般的に使用される Lang-8 (水本他 2013), 評価データとして使用される CoNLL-2014 (Ng et al. 2014) や JFLEG (Napoles et al. 2017) では, 1 文中における訂正の量という意味での訂正度が異なることが知られている。また， Sakaguchi et al. (2016) は，専門性の異なるアノテータにおいて，必要最小限の書き換えと流暢性を求めた書き換えの 2 種類の訂正をそれぞれ行うことで，多様な訂正文を作成し，それらの一致率は流暢な訂正において約 $15 \%$ 以下，最小限な訂正においても約 $38 \%$ 以下であったと報告している。つまり，1つの誤り文に対しても複数の訂正度を用いて訂正が行われるということである。しかし, 既存の文法誤り訂正モデルは学習した単一の訂正度でのみ訂正を行っており, それらの異なる訂正度で訂正を行う手法の研究は行われていない，そこで本研究では，訂正度を制御可能な文法誤り訂正モデルを提案し，1つの入力文に対して複数の訂正度での訂正文を生成することで, 多様な訂正文の生成を行う。手法としては，まず，文法誤りが訂正されているデータ内において，1文ごとの訂正度の情報を特殊トー クンとして文に付与し, 新たな訓練データを作成する。ここで, 訂正度を表す指標として単語編集率を用いる，単語編集率とは文中の単語がどれだけ書き換えられたのかを表す指標であるため，文法的誤りを含んだ文と，その誤りを訂正した文の単語編集率は，文の訂正度を表していると言える. CoNLL-2014 と JFLEG では, JFLEG の方が訂正度が大きいことが知られており，実際に，図 1 に示すグラフからも，CoNLL-2014 よりも JFLEG の方が単語編集率が大きいため, 単語編集率が訂正度を示していることが確認できる。そして，新たに作成した訓練

図 2 既存のビームサーチ手法と提案手法を比較した概要図. 赤字の単語は誤りであることを，太字の単語は訂正が行われたことを示している.

データを用いて文法誤り訂正モデルの学習を行い，推論時には，入力文に複数の訂正度の特殊トークンを付与することで，付与した単語編集率に基づきモデルの訂正度を制御する。結果として，1つの入力文に対して 1 つの訂正度ではなく，複数の訂正度を用いて訂正を行うことが可能となり，多様な訂正文を得ることができる.

我々は，さらに出力を多様化する手法として，誤り箇所を考慮したビームサーチ手法を提案する。文法誤り訂正において, 複数の訂正結果を生成する手法としてはビームサーチを用いて $n$-best を生成する方法が存在する (Grundkiewicz et al. 2019; Kaneko et al. 2020). しかし, これらの研究では，1つの適切な訂正文の出力の探索のためにビームサーチを利用しており, 多様な訂正結果の出力を目的としていない. さらに, 通常のビームサーチを用いた $n$-best 出力は多様性に欠けることが示されている(Vijayakumar et al. 2018). そのため, 機械翻訳の分野などにおいて, 多様な候補を生成するために, 出力を多様にする制約を加えたいくつかの多様なビー ムサーチ手法が提案されている (Li et al. 2016b; Vijayakumar et al. 2018). これらの多様なビー ムサーチ手法は, 文中の全てのトークンに対して様々な書き換えを行うことで, 複数の出力文に多様性をもたらしている。一方で，入力文と出力文の大部分が共通しているようなタスクにおいては，これらの手法は適していないと考えられる。特に，文法誤り訂正においては，入力文の文法的に正しい部分に対しても書き換えが行われてしまうため, この様な入力文の全体に対して書き換えを行う手法は好ましくない，そのため，文法誤り訂正モデルは，入力文中の文法的に正しい部分は書き換えずに，誤りを含む部分に対してのみ様々な方法で訂正を行うことが望まれる。そこで本研究では，誤り箇所を考慮したビームサーチ手法を提案する。図 2 は既存手法と提案手法との比較を図示したものである.

(a) 通常のビームサーチ (Plain beam search) では，訂正が特定のパスに集中しているため多
様性がなく，類似した単語の組み合わせで文を生成している.

(b) 既存手法の多様なビームサーチ (Diverse global beam search) は，様々なパスを探索している。したがって, 通常のビームサーチとは異なり, この方法では様々な単語の組み合わせで文が生成されるため，多様な出力を得ることができる．ただ，訂正する必要のない単語においても書き換えを行った出力も生成されてしまう.

(c) 提案手法である誤り箇所を考慮したビームサーチ (Diverse local beam search) では，訂正が必要な単語に対してのみ様々なパスの探索を行う. それゆえ, 我々の提案手法では,訂正が必要な箇所でのみ，通常のビームサーチよりも多様な単語を組み合わせた文の生成を行う。

ここで，上記の手法は全て同じビーム幅であるが，パスが異なることに注意されたい.

実験の結果，訂正度を制御可能な文法誤り訂正モデルを用いることで既存手法よりも多様な訂正結果を生成することが可能となり，誤り箇所を考慮したビームサーチと組み合わせることで，更に多様化可能であることを示した。

本研究の主な貢献は以下の 4 つである.

・ 単語編集率により文法誤り訂正モデルの訂正度が制御可能なことを示した。
- 既存の多様な文を生成する手法が文法誤り訂正においては適切な多様性をもたらさないことを示した。
- 訂正度を制御した文法誤り訂正モデルの出力を用いることで多様な出力が得られることを示した。
- 誤り箇所を考慮したビームサーチを提案し，訂正度を制御した文法誤り訂正モデルと組み合わせることで既存手法よりも適切に出力文に多様性をもたらすことを示した.

本稿の構成を示す. 2 章では, 既存の出力文の制御や多様化の先行研究について紹介する． 3 章では，訂正度を制御した文法誤り訂正モデルを提案する．4 章では，誤り箇所を考慮したビー ムサーチを提案する． 5 章では，BERT を用いた文分類を提案する． 6 章では, 複数の人手による訂正文が付与されている評価データを用いて提案手法を評価する。 7 章では，提案モデルについて分析する. 最後に 8 章で, 本研究のまとめを述べる.

## 2 先行研究

出力文に対して制御を行う研究は，文法誤り訂正の分野ではあまり行われておらず，主に機械翻訳の分野において行われている. Sennrich et al. (2016) は，機械翻訳において訓練データに文の丁寧さの情報を特殊トークンとして入力文に付与し， モデルの訓練を行うことで出力文の敬意表現の制御を行った．敬語の存在しない言語から敬語の存在する言語への翻訳時, 訓練データの入力文に対して，1 文対毎に敬語への翻訳であるかどうかの情報を特殊トークンを付
誤り文 : We have a lot of paper to write .訂正文: We have a lot of papers to write.

編集距離 $=1$, 誤り文の文長 $=9$単語編集率 $=1 / 9=0.11$

誤り文 : <wer_1> We have a lot of paper to write 訂正文 : We have a lot of papers to write.誤り文 : Dont afraid to do some new !

訂正文 : Do n't be afraid to do something new !

編集距離 $=4$, 誤り文の文長 $=7$单語編集率 $=4 / 7=0.57$

誤り文 : < wer_2> Dont afraid to do some new!訂正文 : Do n't be afraid to do something new!

入力文 : People try to drinking it .

BERTによる特殊トークン推定

入力文 : <wer_1> People try to drinking it. $\longrightarrow$ 出力文 : People try to drink it .

図 3 訂正度を制御した文法誤り訂正モデルにおける訓練方法（上部）と推論方法（下部）の概要図。太字は訂正箇所を示している.

与することで，推論時に任意の敬意表現での翻訳を可能にした，本研究では，訂正度の情報を Sennrich et al. (2016) と同様に訓練データに特殊トークンとして付与することで，入力文に対する訂正度の制御を行う。

また, 出力の多様化を行う研究についても文法誤り訂正の分野では行われていないが, 他分野においては幾つか行われている. Shen et al. (2019)は, mixture of experts (MoE) モデルを機械翻訳に用いることで多様な出力の生成を行った。このモデルは，1つの入力文に対して異なる expert を用いることで多様な出力の生成を可能にしている. 本研究では，モデルの構造は変えず，訓練データのみを変更することにより多様化を目指した．Li et al. (2016a)は，ニュー ラルネットワークを用いた対話モデルにおいて，応答文の多様化を行った。一般に，対話モデルの出力として汎用的な応答が生成されることが多いが，推論時にのみ文脈と応答の相互情報量を最大化するような応答を生成させることにより多様化を行った. Vijayakumar et al. (2018) は，推論時にビームを複数のグループに分け，グループ毎に順にビームサーチを行い，同じ夕イムステップ内の他のグループにて選択されたトークンに対して選択されにくくする制約を加えることで出力に多様性をもたらす手法を提案した. 本研究では, 同様に推論時にのみ訂正が必要な箇所に対して多様にする制約を加える手法を提案する.

## 3 訂正度を制御した文法誤り訂正モデル

我々は，訓練データより求められた単語編集率に基づいて特殊トークンの付与を行い，新たな訓練データに基づき文法誤り訂正モデルを訓練することで，推論時に特殊トークンによって訂正度の制御可能な文法誤り訂正モデルを提案する。図 3 に概要図を示す.

図 4 CoNLL-2014の複数参照文における単語編集率の散布図

## 3.1 訓練方法

初めに，訓練データ内の誤りを含む誤り文と，それに対応する訂正が行われた訂正文から挿入の回数, 削除の回数, 置換の回数の和が最小となるように動的計画法を用いて編集距離を計算する。そして，求めた編集距離を誤り文の文長で割り，単語編集率を計算する。算出した単語編集率を基に訓練データをソートし，文数が均等になるように $L$ 個の文集合に分割する。その分割した文集合ごとに異なる特殊トークンを定め，誤り文の文頭に付与する.

この様にして, 文頭に単語編集率によって定められた特殊トークンが付与された誤り文とそれに対応する訂正文の訓練データを作成した。この新たに作成した訓練データを用いて文法誤り訂正モデルを学習する.

## 3.2 推論方法

推論時, 入力文の文頭に $L$ 個の特殊トークンを付与するにより $L$ 個の異なる訂正度にて訂正が行われた文が生成される。ここで，評価デー夕の参照文から単語編集率を求めることはできないため, 入力文に応じた適切な特殊トークンを選択する必要がある。しかし, 1つの入力文に対して訂正度はある程度定まるが，一意には定まらず，多様な訂正文を考慮した際に訂正度の幅が存在すると考えられる。図 4 は，CoNLL-2014において，1つの誤り文を訂正する際の訂正度にある程度の幅が存在することを示した図である。図中の点はある誤り文とそれに対応する人手で訂正を行った 1 つの参照文のぺアを指しており，横軸は対象の誤り文に対する複数参照文の平均単語編集率, 縦軸は対象のぺアの単語編集率を表している。また, 赤線は平均単語編集率を示した補助線である。この図より，全体的に複数参照文における平均単語編集率が高くな

れば，参照文ごとの単語編集率も全体的に高くなるが，参照文ごとに単語編集率の幅が存在することがわかる。そこで，本研究では，Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)を用いて入力文に対して訂正度の幅を考慮しながら適切な特殊トー クンの選択を行った。詳細は 5.1 節にて説明する。

## 4 誤り箇所を考慮したビームサーチ

我々は，訂正が必要な箇所のみに対して多様な訂正を行い，既に文法的に正しい箇所に対しては多様な訂正を行わない, 誤り箇所を考慮したビームサーチを提案する。具体的には, 誤り箇所を考慮したぺナルティ penalty を各タイムステップ $t$ の各ビーム $b$ 毎にモデルの対数出力確率に対して与えることで多様な出力の生成を目指した. ペナルティは以下の式で与えられる.

$
\text { penalty }_{b, t}=\lambda s_{b, t}+\beta
$

$s_{b, t}$ は, ビーム $b$, タイムステップ $t$ における最も生成確率の高いトークンが, 訂正が行われているトークンであるかどうかを $[0,1]$ の範囲で表す指標である。具体的には，訂正が行われている場合は $s_{b, t}$ の値が 0 に近く, 訂正が行われていない場合は $s_{b, t}$ の値が 1 に近くなることが望ましい. $\lambda$ と $\beta$ はハイパーパラメータであり， $\lambda$ はペナルティの強さを調整し， $\beta$ はペナルティがゼロになることを防ぐためのパラメータである。本研究では, BERT を用いて入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行い，訂正が行われていないと分類された確率を $s_{b, t}$ に用いた．詳細は，5.2 節にて説明する．以下の式のように，このペナルティを文法誤り訂正モデルの対数出力確率 $\log p$ に与えることで, ビームサーチのスコア $k$ に対して制約を加えた。

$
k_{b, t}=\text { penalty }_{b, t} \log p_{b, t}
$

この制約により，訂正が行われていないビームに対しては選択されにくくなり，反対に，訂正が行われているビームに対しては選択されやすくなる.

図 5 は，入力文として“This essay will illustrate on two aspect.”が与えられた場合のビーム幅 2 , タイムステップ $t$ における概要図である。図の上部は, 直前のタイムステップ $t-1$ において “illustrate”を選択した第 1 ビームを，下部は，“this”を選択した第 2 ビームを表しており, 色の薄さは生成確率の高さに比例している。このとき， タイムステップ $t$ の第 1 ビームにおいて最も生成確率の高いトークンは，入力文と同じ “on”であり，第 2 ビームにおいては，入力文から書き換えを行った “in”である。通常のビームサーチでは，それぞれ生成確率の高い， “illustrate on” と“this in” が選択される。しかし, 我々の提案手法では, 第 1 ビームは書き換えを行っておらず，対して，第 2 ビームは書き換えを行っているため，第 1 ビームにのみぺナ
入力文 : This essay will illustrate on two aspect.

図 5 ビーム幅 2 における誤り箇所を考慮したビームサーチの概要図。薄い色は生成確率が高いことを示している.

ルティが与えられ, 最終的に訂正を行っている第 2 ビームから "this in”と “this with" が選択されることになる.

## 5 BERT を用いた文分類

BERT は大規模データにより事前学習された言語表現モデルであり, 様々な自然言語処理のタスクにおいて高い性能を発揮している。実際に，文法誤り訂正と類似タスクである文法的に誤っている箇所の検出を行う文法誤り検出というタスクにおいても BERT が用いられている (Kaneko and Komachi 2019). BERT は入力として文または文対を受け取り，それらを符号化するモデルである。学習時, 入力文対が連続した文であるか否かの分類や, 入力トークンの一部を $[\mathrm{MASK}]$ トークンに置き換えた上で，元のトークンの推定を行うことで高性能な言語表現を獲得している。また，BERT の入力には先頭に [CLS] というトークンが挿入されており，このトークンに対応する隠れ層が入力文もしくは入力文対の分散表現を表している．我々は，訂正度を制御した文法誤り訂正における適切な特殊トークンの選択や，誤り箇所を考慮したビー ムサーチにおける $s_{b, t}$ として BERT の [CLS]トークンの分散表現を分類する手法を用いた。いずれの手法も事前学習済みの BERT ${ }^{1}$ に対して再訓練を行った.

## 5.1 BERT を用いた訂正度の推定

3 章にて述べた通り, 訂正度を制御した文法誤り訂正モデルだけでは, 参照文が与えられない限り, 推論時に入力文に対して適切な訂正度の判別はできない. 本章では, この BERT を用いた入力文に対して適切な訂正度の選択手法について述べる。

具体的な手法としては, BERT に対して誤り文のみを入力し, それに対応する訂正度を $L$ 值分類として出力させるというものである。ここで，1つの誤り文に対して複数の訂正度が考えられるが，誤り文に含まれる誤り箇所の個数は限られており，それに対応して単語編集率も限られているため，ある程度の分類は可能であると考えられる。

実際に訂正度を制御した文法誤り訂正モデルにおいて $n$-best 出力を得る際, BERT の予測確率を用いて複数の特殊トークンの出力から $m_{i}$-best を選択し, それらを合わせて最終的な $n$-best を得る．1つの特殊トークンによる出力を用いるのではなく, 複数の訂正度による出力を選択することで，より多様な出力を得ることができる，具体的な選択手法としては，まず，式 3 に示す通り, BERT の特殊トークンに対する出力スコア $o=\left(o_{1}, \ldots, o_{i}, \ldots, o_{L}\right)$ に対して Softmax 関数を用いて，特殊トークンごとの出力確率 $p=\left(p_{1}, \ldots, p_{i}, \ldots, p_{L}\right)$ を得る. 得られた出力確率に対して式 4 に示す通り， $n$ を掛け，小数点以下を四捨五入することで特殊トークン毎に採用する $m_{i}$-best の数を決定した。

$
\begin{aligned}
p_{i} & =\frac{\exp \left(o_{i}\right)}{\sum_{l=1}^{L} \exp \left(o_{l}\right)} \\
m_{i} & =\operatorname{round}\left(n \times p_{i}\right)
\end{aligned}
$

## 5.2 BERT による訂正箇所の分類

4 章で述べた通り, 入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行う必要がある．動的計画法などを用いて入力文と出力文の対応を取ることで，訂正が行われているか否かの判定が可能になると考えられるが，デー夕内の文数 $\times$ ビーム幅 $\times 夕$ イムステップ数の処理が必要となる. 本研究では, より高速にバッチ処理が可能な BERT を用いて入力文とタイムステップ $t$ までの出力文から訂正が行われているかどうかの分類を行った.本節では, 誤り箇所を考慮したビームサーチの $s_{b, t}$ に対する BERT の利用法について説明する.

$s_{b, t}$ は， 4 章にて述べた通り，夕イムステップ $t$, ビーム $b$ の最も生成確率の高いトークンにおいて，訂正が行われているかどうかを表す指標である。そこで，BERT に対して誤り文と， その誤り文に対する，あるタイムステップまでのモデルの出力文の 2 文を入力し， モデルの出力文の最後のトークン，つまり，あるタイムステップ $t$, ビーム $b$ において生成確率が最大であるトークンが訂正されたトークンであるかどうかの分類を行わさせる。そして, BERT が訂正していないと分類した確率を $s_{b, t}$ として用いる.

表 2 データセットの概要

## 6 実験

## 6.1 データセット

表 2 に本実験において使用したデータセットの概要を示す。訓練データとしては, 学習者支援に関する国際会議である Workshop on Innovative Use of NLP for Building Educational Applications (BEA) において 2019 年に開催された Shared Task on Grammatical Error Correction (Bryant et al. 2019) の Restricted track にて使用された訓練データ (BEA-train)を用いた.この訓練データには, The First Certificate in English (FCE) を受験した学習者の回答から集められた FCE コーパス (Yannakoudakis et al. 2011)，言語学習者のための SNS である Lang-8 の添削データより集められた Lang-8コーパス (水本他 2013), シンガポール国立大学の英語学習者である学生が作成した作文から集められた NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) , 英語学習者の学生のライティングを支援する Write \& Improve と英語を母語とする学生の作文より集められた W \& I+LOCNESS コーパス (Bryant et al. 2019; Granger 1998) の4つのコーパスが含まれている。ただし，前処理として訂正が行われていない文と訂正結果が空白である文対は取り除いた。また，訓練時，最適なモデルのエポック数を決定するために， BEA-2019において使用された開発データ (BEA-valid) を用い, この開発データに対する loss が最小となるエポック数を最適なモデルのエポック数とし，その時点でのモデルを実験に用いた. 既存手法の多様なビームサーチ (Vijayakumar et al. 2018) や提案手法である誤り箇所を考慮したビームサーチに使用するハイパーパラメータに関しては, JFLEGを用いて最適化を行った. JFLEG は 4 つの参照文が存在しており，CoNLL-2014には 18 の参照文が存在する。ここで，CoNLL-2014 Shared Task: Grammatical Error Correction にて付与された参照文数は 2 つであるが，Bryant and Ng (2015)により8つ，Sakaguchi et al. (2016)により8つの参照文が新たに作成されているため，それらを全て組み合わせ，18の参照文数となる。

訂正度の推定に用いる BERT の再訓練には，訂正度を制御した文法誤り訂正モデルの訓練に用いた特殊トークンを付与したデータセットと同じ訓練データを用い，特殊トークンを付与する前の誤り文を入力し，そこから特殊トークンを予測させるという訓練を行った。たたし， ラ

ンダムに 5,000 文選択し, 開発データとして用いた.

訂正箇所の分類に用いる BERT の再訓練に用いたデータセットとしては, NUCLE を用いた.

ERRANT (grammatical ERRor ANnotation Toolkit) (Bryant et al. 2017)を用いて, 訂正文において誤り文から挿入・置換・削除の訂正が行われている箇所を抽出することで，誤り文と訂正が行われている単語までの訂正文のペアを作成した。訂正箇所の分類に用いる BERT においては訂正が行われていない場合，高いスコアであることが望まれるため，これを負例としてラベル付けした，ただし，削除の訂正に関しては，削除した単語の直後の単語までの訂正文を負例とした. 正例としては，誤り文と訂正が行われていない単語までの訂正文のぺアを作成し，負例と同数になるようにランダムに選択することで作成した。また，開発データとしては，CoNLL-2013 Shared Task on Grammatical Error Correction (Ng et al. 2013) にて用いられたデータセットである CoNLL-2013 に対して訓練データと同様の処理を行ったデー夕を用いた. 以上の処理により, NUCLE は元々 57,151 文対存在するが，168,524 文対の学習デー夕となり, 元々 1,381 文対存在する CoNLL-2013 は，11,009 文対の開発データとなった。また，再訓練の結果，開発デー 夕における $\mathrm{F}$ 値は約 0.97 であった。

## 6.2 評価方法

我々は, 手法毎の性能を比較するために以下の 3 つの評価指標を設定した.

訂正の多様性の評価 (C-score) 訂正結果の多様性を評価するために, モデル出力の $n$-best と複数参照間の一致率を評価する。一致率の算出方法としては, 機械翻訳における多様な翻訳文生成を目的とした 2020 Duolingo Shared Task (Mayhew et al. 2020)の評価指標として使用された重み付き再現率を使用する，具体的には，モデル出力の $n$-best と複数参照文間において完全一致した文数を求め，一致した参照文に応じて重み付けを行う。そして。重み付けされた値を評価デー夕内の全参照文数で割ることで一致率を算出する。ただし，本研究においては，ある 1 つの入力文に対する参照文間で重複した回数を参照文の総数で割った値を重みとして使用した.訂正箇所の正しさの評価 (DF-score) 入力文全体を書き換えて多様化するのではなく, 実際に訂正が必要な箇所のみに書き換えが行われているかどうかの評価を行う．評価方法としては, まず式 5 に示す通り，誤り文 errの $n$-gram から参照文に対しての document frequency (df) を求める.ここで, $n g^{e r r}=\left(n g_{1}^{e r r}, \ldots, n g_{i}^{e r r}, \ldots, n g_{n}^{e r r}\right)$ は誤り文の $n$-gram 集合, $\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|$ は $n g_{i}^{e r r}$ を含む参照文 $r$ の総数, $|R|$ は総参照文数である。次に，式 6 に示すとおり，誤り文の $n$-gram 集合とモデルの出力文 hyp の $n$-gram 集合 $n g^{\text {hyp }}$ の積集合 $n g^{\text {err } \cap \text { hyp }}$ を求める. そして, 式 7 に示す通り，モデルの出力文における $n g_{i}^{\text {err } \cap h y p}$ の出現回数 $\operatorname{COUNT}\left(h y p, n g_{i}^{\text {err } \cap h y p}\right)$ を求め, その $n$-gram に対応する $\mathrm{df}$ を出現回数に掛け, さらに誤り文における $n g_{i}^{\text {err }}$ の出現回数 $\operatorname{COUNT}\left(\mathrm{err}, n g_{i}^{\text {err }}\right)$ に df を掛けた值の合計値で割ることで，そのモデル出力に対するスコアを算出する.

$
\begin{aligned}
d f_{i} & =\frac{\left|\left.\{r: r \ni n g_{i}^{e r r}\right.\}\right|}{|R|} \\
n g^{\text {err } \cap h y p} & =n g^{\text {err }} \cap n g^{\text {hyp }} \\
d f_{\text {score }} & =\frac{\sum_{i=1}^{n} \operatorname{COUNT}\left(h y p, n g_{i}{ }^{\text {err } \cap h y p}\right) d f_{i}}{\sum_{i=1}^{n} \operatorname{COUNT}\left(e r r, n g_{i}^{e r r}\right) d f_{i}}
\end{aligned}
$

このスコアは, df が高い $n$-gram, つまり書き換える必要のない $n$-gram がモデルにより書き換えられ，出力文に出現しない場合，大きく低下する.

文法誤り訂正の精度評価 (G-score) 手法毎における文法誤り訂正タスクとしての性能を評価するため, 一般的に文法誤り訂正タスクにおいて用いられる評価指標を用いて評価を行った。具体的には表 2 に示す通り，JFLEG に対しては GLEU score (Napoles et al. 2015)を, CoNLL-2014 に対しては MaxMatch $\left(\mathrm{M}^{2}\right.$ ) score (Dahlmeier and Ng 2012)を用いて評価した.

## 6.3 文法誤り訂正モデル

我々は，文法誤り訂正モデルとして Transformer base (Vaswani et al. 2017)を用い，パラメー 夕も同様のものを用いた22、ベースラインモデルとしては，BEA-trainをそのまま訓練データとして用いて訓練したモデルを用いた。ビームサーチ時のビーム幅は生成したい $n$-best 出力の $n$ と同様の値を用いた。既存手法の多様なビームサーチ (Vijayakumar et al. 2018) におけるハイパーパラメータである Diversity Strength は 0.6 を, Number of Groups はビーム幅と同様の値を用いた。提案手法である誤り箇所を考慮したビームサーチのハイパーパラメータとして, ベー スラインモデルに対しては $\lambda=0.5, \beta=1.0 を$, 訂正度を制御した文法誤り訂正モデルに対しては $\lambda=0.1, \beta=1.0$ を用いた.

訂正度を制御した文法誤り訂正においては，BEA-train 内の全誤り文の文頭に対応する特殊トークンの付与を行った新たな訓練データを作成し，この新たに作成した訓練データを用いてモデルの訓練を行った．JFLEGにおいて，異なる特殊トークンの種類数を用いて学習を行った結果を表 3 に示す.ここで，特殊トークンの種類数が 1 の場合は特殊トークンを付与していない通常の訓練データを用いた場合の結果を示している。BERT accuracy は BERT を用いた訂正度の推定精度を示しており，特殊トークンの種類数が多くなるにつれて推定精度が低下しており，その他の評価スコアも同様に低下している。したがって，BERT による推定精度が低いと適切でない訂正度の出力が選択されることになり，適切に多様性を向上できなかったと考えられる。特殊トークンの種類数としては 2 のときが最も高いスコアとなったため, 本研究においては 2 を選択した。訂正度を制御した文法誤り訂正モデルの訓練に使用した特殊トークン毎の単語編集率の閾値を表 4 に示す. BEA-train 内の全文対における単語編集率に基づいて 2 つ

表 3 JFLEGにおける特殊トークンの種類数別の結果

表 4 訓練データ内の特殊トークンに対応する単語編集率の閾値と文数

表 5 CoNLL-2014 における 10, 15, 20-best の実験結果

2 つの特殊トークンを定義した。特殊トークン毎の単語編集率の最大值と最小值に重複が見られるのは，それぞれの特殊トークンの集合において文数が等しくなるように分割したためである。また，原文の単語数を超える単語数の挿入，削除，置換が行われる場合，単語編集率は 1 を超える。

## 6.4 実験結果

表 5 は, ベースラインモデルに通常のビームサーチを適応したモデル (PBS), 多様なビームサーチを適応したモデル (DGBS) (Vijayakumar et al. 2018), mixture of experts (MoE) (Shen et al. 2019) と，提案手法である訂正度を制御した文法誤り訂正モデル (WER), WER に誤り箇所を考慮したビームサーチを適応したモデル (+DLBS) の評価データにおける実験結果である.

表 6 特殊トークン毎の誤り訂正結果

また，10，15，20-best において実験を行った。*は提案手法が PBS に対して，†は + DLBS が WER に対して，ブートストラップ法により有意水準 0.05 で有意差があることを示す.

既存手法である DGBS と MoE は, PBS と比較すると出力の多様性を示す C-score が低下しており，機械翻訳などにおいては有効なこれらの手法が，文法誤り訂正においては有効でないことがわかる. さらに，15, 20-best において DGBS の DF-score が大きく低下していることから, 訂正が不要な部分においても書き換えを行っていると考えられる。一方で, 提案手法であるWER は， G-score は低下しているが，C-score においていずれの既存手法よりも上回っており, DF-score も高いことから, WER は不要な訂正を行うことなく, 多様な出力を生成できていることが確認できる。ここで, G-score の低下の主な原因として, “It is hereditary ."という入力文に対して, “It is a hereditary."への訂正という不必要な冠詞の插入どが多く見られ,多様化に伴い，細かい訂正が増加したことが挙げられる．DLBS $8 \mathrm{PBS}$ に適用した場合は，10, 15-best において C-score が向上し，DF-score も向上した。同様に，WERに適用した場合は 10 , 20-best において C-score が向上し, DF-score も向上していることから訂正が必要な箇所のみを多様化していることが確認できる。

## 7 分析

## 7.1 訂正度の制御に関する分析

訂正度を制御した文法誤り訂正モデルにおいて, 実際に特殊トークンによりモデルの訂正度が制御できているかどうかの実験を行った。異なる特殊トークンでの訂正度の違いを分析するため, この実験では特殊トークンの種類数を 4 として学習したモデルを利用した. そのため, この分析においては BEA-train 内の全文対における単語編集率に基づいて4つの集合に分け,

文集合）の４つの特殊トークンを定義した，表 6 は，全て同一のモデルであるが，それぞれ推
論時の入力文の全文に対して異なる特殊トークンを付与した場合の結果を示している．例えば， $\left.\langle w e r \_1\right.\rangle$ の行は JFLEG と CoNLL-2014の全入力文の文頭に $\left.\langle w e r \_1\right.\rangle$ を付与して推論させた場合の結果である.

単語編集率の列は，それぞれの評価データの入力文とそれに対応するモデルの出力文から単語編集率の平均値を求めた結果であり，Gold の行は参照文との単語編集率の平均値である。これらの値を特殊トークンごとに比較すると，特殊トークンにより定義された単語編集率の大きさに比例して実際の単語編集率も変化していることがわかる。 つまり，特殊トークンによってモデルの訂正度を制御することが可能であることを示している。しかし，同一特殊トークン内でも JFLEG と CoNLL-2014 における単語編集率が異なることがわかる。一方で, 同一特殊トー クン内における単語編集率の差は Gold における単語編集率の差とほぼ同様であることから, このモデルは特殊トークンにより定義された単語編集率だけに従って訂正をするのではなく，入力文も考慮して訂正度を制御していると考えられる。

た場合であり，次は特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合である。一方で，CoNLL-2014において最も高い $\mathrm{F}_{0.5}$ となったのは, 特殊トークン $\left.\langle w e r \_2\right.\rangle$ を付与した場合であり, 次は特殊トークン $\left.\langle w e r \_1\right.\rangle$ を付与した場合である。この差は, JFLEG と CoNLL-2014において訂正度が異なるため, JFLEG においては CoNLL-2014よりもより大きな訂正度で訂正を行った場合の方がスコアが向上したと考えられる。それぞれの特殊トークンでの適合率 $(\mathrm{P})$ と再現率 $(\mathrm{R})$ を見ると，特殊トークン $\left.\langle w e r \_1\right.\rangle$ での適合率が最も高く, 再現率が低い。一方で, 特殊トークン $\left.\langle w e r \_4\right.\rangle$ での適合率が最も低く, 再現率が高くなっている.このことから, 単語編集率と比例して再現率が変化し, 反対に単語編集率と反比例して適合率が変化していることがわかる.

## 7.2 BERT による特殊トークン推定に関する分析

図 6 は，CoNLL-2014において，BERT による特殊トークン毎の予測結果と実際の参照文の単語編集率に基づいた特殊トークンとの混同行列を示している。縦軸は, CoNLL-2014 の複数参照文から算出した平均単語編集率に基づいた正解ラベルであり，横軸は，BERTにより特殊トークン毎の $m$-best を選択する際の予測結果を示している。また, 図中の値は実際に BERT により選択された $m$-best の総数を示しており, 色の濃さは文数の多さと比例している。まず,表 6 に示した通り, CoNLL-2014の平均単語編集率は低いため, 正解ラベルも $\left.\langle w e r \_1\right.\rangle$ が多く,偏りが見られる。同様に，BERTによる予測結果も〈wer_1 と予測した結果が多くなっている. ただし，正解ラベルが $\langle w e r-2\rangle$ の場合においても $\left.\langle w e r \_1\right.\rangle$ と予測した結果が多くなっているため，訂正度が低い方に予測を行う傾向があるということがわかる.

図 7 は, 正解ラベルと BERT による予測結果の組み合わせ毎の C-score を示した混同行列である。ただし，C-score を求める際，参照文を全文用いると BERTにより出力文が選択されていな

図 6 CoNLL-2014 における BERT による特殊トークンの推定結果

図 7 CoNLL-2014 における BERT により選択された特殊トークンごとの出力の C-score

い, つまり, 出力文が存在しない場合, 不当にスコアが低くなるため, 出力文が選択されている

あり，予測結果も $\left.\langle w e r \_1\right.\rangle$ の場合が最もスコアが高くなっている。 また, 正解ラベルが $\left.\langle w e r \_1\right.\rangle$ であり，予測結果が $\left.\langle w e r \_2\right.\rangle$ である文数は少ないが，スコアとしては高くなっている，これは，参照文に訂正が少ないデータが多いため，複数参照文内にも重複が多く，全体的にスコアが上がりやすいためであると考えられる。一方で, 正解ラベルが $\left.\langle w e r \_2\right.\rangle$ の場合は, 全体的にスコア

測結果が $\left.\langle w e r \_1\right.\rangle$ の場合のスコアの方が僅かに高くなっている。この結果の原因としては，まず，訂正度が高い方が訂正箇所が多く，文の完全一致で評価しているため正解ラベルが $\left.\langle w e r \_1\right.\rangle$ の場合よりも難しい問題となっているためであると考えられる。加えて，BERTにより選択された文数が少なく，〈wer_2 と予測された文数は $\left.\langle w e r \_1\right.\rangle$ と予測された文の半数であるため，スコアが低くなったと考えられる。

## 7.3 多様化に関する分析

表 7 の上部は，訂正度を制御した文法誤り訂正モデルにおける特殊トークン毎の C-score において，誤り箇所を考慮したビームサーチの影響を比較した表である。この表より，ほぼ全ての出力において，誤り箇所を考慮したビームサーチを用いることで多様性が向上することがわかる. $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ を比較すると, 訂正度が高い $\left.\langle w e r \_2\right.\rangle$ の方がスコアが低くなっているが, これは CoNLL-2014 の訂正度が元々低いため, 訂正度を高くしてもスコアの向上が見られなかったと考えられる。

表中の Single WER は BERT によって入力文から予測された特殊トークンの中で最も予測確率の高い単一の特殊トークンの出力文を選択した場合の結果である。一方で, Multi WER は

表 7 特殊トークン毎の出力文の多様性

BERT の予測確率から複数の特殊トークンの出力文を選択した場合の結果であり, 表 5 の WER や + DLBS と同様の結果である。これらを比較すると， Single WER では，スコアが低下しているため，1つの入力文に対して単一の訂正度ではなく, 複数の訂正度を用いることで多様な訂正文が得られることがわかる。また, Gold WER は複数参照文から求めた平均の単語編集率から入力文に付与する特殊トークンを設定した場合で, Oracle WER は特殊トークン $\left.\langle w e r \_1\right.\rangle$ と $\left.\langle w e r \_2\right.\rangle$ の $2 \times n$-best の中からスコアが最も高くなるように $n$-best を選択した場合のスコアを表している。この結果より, 参照文より求めた特殊トークンを付与することでは, 最良の結果が得られないことがわかる． 7.1 節で述べた通り，入力文も考慮して訂正度の制御が行われており，特殊トークンにより定義された単語編集率に基づいてモデルの訂正度が変化するわけではないため，高いスコアが得られなかったと考えられる。一方で，最良な $n$-best を選択することで，スコアが大幅に向上していることから，異なる特殊トークン間の出力に大きく多様性が存在していると考えられる。

## 8 おわりに

本研究では，文法誤り訂正において多様な訂正文を生成するための手法を提案した。我々は，訓練データに対して単語編集率に基づいた特殊トークンの付与を行い，新たに作成した訓練デー タで文法誤り訂正モデルを訓練することで出力文の訂正度の制御を可能にした。また，このモデルにより生成された訂正文が既存手法よりも多様な訂正文を生成可能であることも示した. さらに，誤り箇所を考慮したビームサーチを組み合わせることで，訂正が必要な箇所のみをより多様にした出力が得られる事を示した。

## 謝 辞

Lang-8 のデータ使用にあたり, データを共有して頂きました株式会社 Lang-8 の喜洋洋様に感謝申し上げます。

本論文の内容の一部は, The 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop $と$ The 28th International Conference on Computational Linguistics で発表したものである (Hotate et al. 2019, 2020).

## 参考文献

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of BEA, pp. 52-75.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of ACL, pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of ACL, pp. 697-707.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of AAAI, pp. 5755-5762.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of NAACL, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of BEA, pp. 22-31.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Granger, S. (Ed.) (1998). The Computer Learner Corpus: A Versatile New Source of Data for SLA Research, pp. 3-18. Learner English on Computer.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of $B E A$, pp. 252-263.

Hotate, K., Kaneko, M., Katsumata, S., and Komachi, M. (2019). "Controlling Grammatical Error Correction Using Word Edit Rate." In Proceedings of ACL SRW, pp. 149-154.

Hotate, K., Kaneko, M., and Komachi, M. (2020). "Generating Diverse Corrections with Local Beam Search for Grammatical Error Correction." In Proceedings of COLING, pp. 2132-2137.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of NAACL, pp. 595-606.

Kaneko, M. and Komachi, M. (2019). "Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection." Computación y Sistemas, 23 (3), pp. 883-891.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of $A C L$, pp. 4248-4254.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of EMNLP, pp. 1236-1242.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL, pp. 110-119.

Li, J., Monroe, W., and Jurafsky, D. (2016b). "A Simple, Fast Diverse Decoding Algorithm for Neural Generation." CoRR, abs/1611.08562.

Mayhew, S., Bicknell, K., Brust, C., McDowell, B., Monroe, W., and Settles, B. (2020). "Simultaneous Translation and Paraphrase for Language Education." In Proceedings of WNGT, pp. 232-243.

水本智也，小町守，永田昌明，松本裕治 (2013)，日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432. [T. Mizumoto et al. (2013). Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 28 (5), pp. 420-432.].

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of ACL, pp. 588-593.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of EACL, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-12.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Gram-
matical Error Correction: Fluency Instead of Grammaticality." TACL, 4, pp. 169-182.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Controlling Politeness in Neural Machine Translation via Side Constraints." In Proceedings of NAACL, pp. 35-40.

Shen, T., Ott, M., Auli, M., and Ranzato, M. (2019). "Mixture Models for Diverse Machine Translation: Tricks of the Trade." In Proceedings of ICML, pp. 5719-5728.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of NIPS, pp. 5998-6008. Vijayakumar, A. K., Cogswell, M., Selvaraju, R. R., Sun, Q., Lee, S., Crandall, D. J., and Batra, D. (2018). "Diverse Beam Search for Improved Description of Complex Scenes." In Proceedings of AAAI, pp. 7371-7379.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of ACL, pp. 180-189.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of NAACL, pp. 156-165.

## 略歴

甫立健悟：2019 年首都大学東京（現東京都立大学）システムデザイン学部シ

ステムデザイン学科情報通信システムコース卒業. 2021 年東京都立大学システムデザイン研究科システムデザイン専攻情報科学域博士前期課程修了. 同年株式会社リクルート入社. 現在に至る.

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了.博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.

勝又智：2018 年首都大学東京システムデザイン学部情報通信システムコース卒業. 2020 年同大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年株式会社レトリバ入社. 現在に至る. 自然言語処理の研究に従事.小町守：2005 年東京大学教養学部基礎科学科科学史 - 科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)．同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授。大規模なコーパスを用いた意味解析および統計的
自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2020 年 9 月 1 日受付)
(2020 年 11 月 30 日再受付 $)$
$(2021$ 年 1 月 19 日採録)