# 日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築

小山 碧海 $\dagger \cdot$ 喜友名朝視顕 $\dagger$ - 小林 賢治 $\dagger$ ・新井 美桜 $\dagger$ ・

三田雅人 ${ }^{\dagger+, \dagger}$ ・岡 照晃 $\dagger$ ・ 小町 守 $\dagger$

本稿では，日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築する。評価 コーパスはモデルの性能評価に欠かすことができない．英語文法誤り訂正では様々 な評価コーパスの公開により，モデル間の精緻な比較が可能になりコミュニティが 発展していった。しかし日本語文法誤り訂正では利用可能な評価コーパスが不足し ており，コミュニティの発展を阻害している。本研究ではこの不足を解消するため，日本語文法誤り訂正のための評価コーパスを構築し, 一般利用可能な形で公開する.我々は文法誤り訂正において代表的な学習者コーパス Lang-8 コーパスの日本語学習者文から評価コーパスを作成する。また文法誤り訂正分野の研究者や開発者が使 いやすい評価コーパスとするため, 評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる。最後に作成した評価コーパスで代表的な文法誤り 訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコ アを報告する。

キーワード：文法誤り訂正，評価コーパス，誤用タグ，日本語
## Construction of an Error-Tagged Evaluation Corpus for Japanese Grammatical Error Correction

\author{
Aomi Koyama ${ }^{\dagger}$, Tomoshige Kiyuna ${ }^{\dagger}$, Kenji Kobayashi ${ }^{\dagger}$, Mio Arai ${ }^{\dagger}$, \\ Masato Mita $^{\dagger \dagger, \dagger}$, Teruaki OKa ${ }^{\dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

This study constructed an error-tagged evaluation corpus for Japanese grammatical error correction (GEC). Evaluation corpora are essential for assessing the performance of models. The availability of various evaluation corpora for English GEC has facilitated a comprehensive comparison between models and the development of the English GEC community. However, the development of the Japanese GEC community has been hindered due to the lack of available evaluation corpora in the Japanese GEC. As a result, we constructed a new evaluation corpus for the Japanese GEC and made it available to the public. We used texts written by the Japanese language learners in the Lang-8 corpus, a representative learner corpus in GEC, to create the

evaluation corpus. The specification of the evaluation corpus was modified to align with the representative corpora and tools in the English GEC, making it easy for GEC researchers and developers to use the evaluation corpus. Finally, we evaluated representative GEC models on the created evaluation corpus and reported baseline scores for future Japanese GEC.

Key Words: Grammatical Error Correction, Evaluation Corpus, Error Tag, Japanese

## 1 はじめに

文法誤り訂正とは，与えられた文章中の文法誤りを文法的に正しい表現に訂正するタスクである。主に語学学習者が書いた文章を対象とし, 自然言語処理の教育応用における主要夕スクのひとつとなっている。これまでルールに基づく手法 (Schneider and McCoy 1998) や言語モデルに基づく手法 (Gamon et al. 2008), 分類器に基づく手法 (Dahlmeier and Ng 2011) などが開発されてきた。近年では機械翻訳に基づく手法 (Brockett et al. 2006) が盛んに研究されている (Chollampatt and Ng 2018; Junczys-Dowmunt et al. 2018; Zhao et al. 2019; Lichtarge et al. 2019; Kiyono et al. 2020; Kaneko et al. 2020; Rothe et al. 2021; Yuan et al. 2021; Stahlberg et al. 2022; Sun and Wang 2022). 分類器に基づく手法などが対象とする誤りを限定していたのに対し, 機械翻訳に基づく手法は様々な誤りを訂正できるためモデルの性能は飛躍的に向上した.

文法誤り訂正が発展する要因のひとつに一般利用可能な評価コーパスの存在がある。例えば英語文法誤り訂正では 2012 年頃まで各研究が独自の評価コーパスでモデルを評価していたため，異なる研究間でモデルの性能が比較しづらいという問題があった。しかし CoNLL-2013 及び CoNLL-2014 shared task (Ng et al. 2013, 2014) で評価コーパスが一般公開されたことにより，各研究が同じ評価コーパスでモデルを評価するようになった．その結果，英語文法誤り訂正ではモデル間の性能差を比較しやすくなり迅速に研究を進めることが可能になった．現在では CoNLL-2014 shared task 評価コーパスでモデルを評価することが一般的である。また英語文法誤り訂正では, 単一の評価コーパスに過度に依存することの危険性が指摘されており (Mita et al. 2019), 様々な評価コーパスを用いた多面的な評価が進んでいる (Grundkiewicz et al. 2019; Kiyono et al. 2020; Kaneko et al. 2020; Yasunaga et al. 2021; Lai et al. 2022). 具体的には CoNLL-2014 shared task 評価コーパスに加え, FCE (Yannakoudakis et al. 2011) や JFLEG (Napoles et al. 2017), W\&I+LOCNESS (Granger 1998; Yannakoudakis et al. 2018), GMEG (Napoles et al. 2019) といった評価コーパスが利用されている。一方日本語文法誤り訂正では利用可能な評価コーパスが限られており (大山他 2016; 木山他 2022), 研究間でのモデルの比較・多面的評価のためには評価コーパスをいま以上に増やす必要がある.

そこで本研究では，日本語文法誤り訂正のための評価コーパスを構築し，一般利用可能な形

で公開する。我々は文法誤り訂正において代表的な多言語学習者コーパス Lang-8 コーパス (水本他 2013) の日本語学習者文を本評価コーパスの学習者文に利用する。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため，本評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる．具体的には (1) 対象とする誤りの範囲を学習者コーパス NUCLE (Dahlmeier et al. 2013)に合わせ，(2) 誤用タグを自動誤用タグ付けツール ERRANT (Felice et al. 2016; Bryant et al. 2017)の誤用タグを一部改変し設計する。 (1)について, 現在の文法誤り訂正では綴り誤りや語彙選択誤りといった狭義の文法誤り以外も訂正対象に含めることが一般的である。したがって本評価コーパスでも綴り誤りや語彙選択誤りも訂正対象に含める。(2)について, 英語文法誤り訂正ではモデルの誤りタイプ別評価を $\mathrm{F}_{0.5}$ で行うため, ERRANT が盛んに使用されている。本研究では日本語用の自動誤用タグ付けツール（日本語版 ERRANT）を今後開発しやすくするため, ERRANT の誤用タグを一部改変し誤用タグを設計する. 最後に作成した評価コーパス及び既存評価コーパスで 6 種類の代表的な文法誤り訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコアを報告する.本研究の主な貢献は以下の通りである.
- 日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築し公開した¹.また誤用夕グを利用し，日本語文法誤り訂正モデルの誤りタイプ別の性能を調査した.
- 作成した評価コーパス及び既存評価コーパスで 6 種類の代表的な文法誤り訂正モデルを評価し，今後の日本語文法誤り訂正においてべースラインとなるスコアを示した.

## 2 関連研究

## 2.1 文法誤り訂正の評価コーパス

文法誤り訂正の代表的な自動評価手法は誤り文と比較し訂正文に施されている編集をモデルがどの程度再現できたかをスコアリングする (Dahlmeier and Ng 2012; Felice and Briscoe 2015; Napoles et al. 2015; Bryant et al. 2017; Gotou et al. 2020). そのため評価には誤り文とその訂正文を収録したコーパスが必要である．表 1 に誤り文とその訂正文を収録した主な日本語学習者コーパスを示す。日本語文法誤り訂正では作文対訳データベース (井上他 2006) や NAIST 誤用コーパス (大山他 2016) が評価コーパスに利用されている. 作文対訳データベースは元々日本語教育での活用を目的に作成された学習者コーパスであり，NAIST 誤用コーパスは作文対訳データベースに誤用タグを付与したコーパスである。我々の評価コーパスが文法誤り訂正モデルの評価を目的に一貫した訂正基準に基づき訂正を行っているのに対し, 作文対訳データベー スでは日本語教師が学習者の習熟度に応じて日本語教師個人の感覚と経験に基づき訂正を施し
^{1}$ TMU Evaluation Corpus for Japanese Learners (TEC-JL). https://github.com/koyama-aomi/TEC-JL
}

表 1 主な日本語学習者コーパス.

ている。また作文対訳データベースの手書き作文は仮名漢字変換システムを利用しておらず， Lang-8 コーパスのキーボード入力とは学習者の犯す誤り傾向が異なる. さらに Lang-8 コーパスが多様なトピックの文章を含むのに対し (水本他 2013), 作文対訳データベースでは与えられた課題2にピックが限られる。加えて NAIST 誤用コーパスの誤用タグが学習者の誤用分析や学習者へのフィードバックを目的に設計されている一方, 本研究の誤用タグは今後日本語版 ERRANT を開発しやすいように設計している。その他の日本語学習者コーパスには，なたね ${ }^{3}$

かしなたねは言語資源協会の会員以外は有償であり ${ }^{6}$, 日本語学習者作文コーパスと国際日本語学習者作文コーパス及び誤用辞典はテキストデータ全体が一般公開されていないためモデルの評価に利用しにくい.また水本他 (2013) や Liu et al. (2018) は独自に作成した評価コーパスを用いており，それら評価コーパスは非公開のため使用できない。我々は作成した評価コーパスを他の研究も利用可能な形で公開する.

近年日本語文法誤り訂正では FLUTEC (木山他 2022) という評価コーパスが公開された. FLUTEC は日本語文法誤り訂正モデルの流暢性評価 (Sakaguchi et al. 2016)を目的としており, Lang-8 コーパスの日本語学習者文へ文法的に正しいだけでなく流暢になる訂正（流暢な訂正： Fluency edits）を行っている。一方我々は流暢性よりも文法性評価を目的に文法的に正しくなる最小限の訂正（最小限の訂正：Minimal edits）を施した評価コーパスを作成する。表 2 に最小限の訂正と流暢な訂正の例を示す。最小限の訂正は本論文の訂正基準（3.1.2 節参照）に基づき作成した訂正文であり，流暢な訂正は FLUTEC に実際に収録されている訂正文である．表 2 より，最小限の訂正では “以外”を“意外”にのみ訂正しているのに対し，流暢な訂正では“たっ
^{5}$ https://corpus.icjs.jp/corpus_ja

6 https://www.gsk.or.jp/catalog/gsk2021-c
}

表 2 最小限の訂正と流暢な訂正の例.

ぷりになってしまいました”を“予定がぎっしり詰まってしまいました”のように表現を大幅に変えて訂正していることが分かる。このように最小限の訂正では原文の表現を可能な限り尊重し誤りがある箇所のみを訂正するのに対し，流暢な訂正では流暢な文になるように原文の表現を大幅に変えて訂正する。文法誤り訂正モデルをどのような評価コーパスで評価すべきかは目的次第であり，流暢に訂正する必要がなく文法誤りへの訂正性能のみを測りたい場合などは最小限の訂正を施した評価コーパスが有用である，実際英語文法誤り訂正では，最小限の訂正を施した CoNLL-2014 shared task 評価コーパスと流暢な訂正を施した JFLEG が評価の目的に合わせ使用されている (Sakaguchi et al. 2017; Mita et al. 2020).

またロシア語や中国語などでも文法誤り訂正のための評価コーパスが開発されている。Trinh and Rozovskaya (2021) は Lang-8 コーパス中の文章を再添削しロシア語文法誤り訂正の評価コーパス RU-Lang8 を作成した。 中国語文法誤り訂正でも Lang-8 コーパスを使用し MuCGEC (Zhang et al. 2022) というコーパスが作成された. 我々も Lang-8コーパス中の文章を再添削し日本語文法誤り訂正の評価コーパスを作成する。近年文法誤り訂正では, 英語だけでなくロシア語, ドイツ語, チェコ語など多言語にわたって実験を行う研究が増加している (Náplava and Straka 2019; Grundkiewicz and Junczys-Dowmunt 2019; Katsumata and Komachi 2020; Flachs et al. 2021; Rothe et al. 2021; Straka et al. 2021; 山下他 2022). この背景にはロシア語 (Rozovskaya and Roth 2019) やドイツ語 (Boyd 2018), チェコ語 (Náplava and Straka 2019) でコーパスが整備されたことがある。したがって我々の評価コーパスの公開でも日本語文法誤り訂正の研究促進が期待される。

## 2.2 文法誤り訂正モデル

機械翻訳に基づくモデルが台頭する以前は，訂正対象を限定した取り組みが主流であった。例えば英語では，訂正対象を前置詞誤りや冠詞誤りなどに限定した研究がある (De Felice and Pulman 2008; Gamon 2010; Rozovskaya and Roth 2010a, 2010b, 2011; Dahlmeier and Ng 2011; Cahill et al. 2013). 日本語では主に助詞誤りに訂正対象を限定していた (今枝他 2003; Suzuki
and Toutanova 2006; 南保他 2007; 今村他 2012; 笠原他 2012).

その後, 大規模な学習者コーパス Lang-8 コーパスが公開されたことにより機械翻訳に基づくモデルが隆盛し，訂正対象を限定しない取り組みが主流になった．機械翻訳に基づくモデルには様々なアーキテクチャが使用され，英語文法誤り訂正では SMT (Mizumoto et al. 2012; Junczys-Dowmunt and Grundkiewicz 2016), RNN (Yuan and Briscoe 2016; Ji et al. 2017), CNN (Chollampatt and Ng 2018; Ge et al. 2018b) を経て，現在 Transformer (Vaswani et al. 2017) が主に使用されている (Lichtarge et al. 2019; Kaneko et al. 2020; Mita and Yanaka 2021; Stahlberg et al. 2022)。近年では BART (Lewis et al. 2020) や T5 (Raffel et al. 2020) といった大規模事前学習済みモデルも利用されるようになった (Katsumata and Komachi 2020; Rothe et al. 2021).日本語文法誤り訂正では水本他 (2013) が Lang-8 コーパスを用いて SMT を訓練し訂正を行った. Liu et al. (2018) は訂正対象を機能表現に限定しているものの RNN を用いて訂正を行っている。本間, 小町 (2022) は非自己回帰モデルである Levenshtein Transformer (Gu et al. 2019) を使用し，高速な訂正機能を持ったライティング支援システムを構築した. Suzuki et al. (2022) は日本語文法誤り訂正の品質推定データセットを作成する際, SMT, RNN, CNN, Transformer を利用した。我々は機械翻訳に基づくモデルを幅広く用意し, 本研究で作成した評価コーパスでの性能を報告する.

英語文法誤り訂正ではモデルごとに誤りタイプ別の性能が異なることが知られている。例えば Chollampatt and Ng (2018) は CNN に基づくモデルは局所的な誤りの訂正性能が高いと述べている。 三田他 (2021) は CoNLL-2014 shared task 評価コーパス上で Transformer の時制誤りの訂正性能が SMT，RNN，CNN よりも高いことを報告している。 White and Rozovskaya (2020)は 2 つの擬似データ生成手法を比較し，擬似データごとのモデルの誤りタイプ別の性能を調査した. 1 つ目の手法ではスペルチェッカーを用いて構築した混同セットを利用し擬似デー夕を生成する (Grundkiewicz et al. 2019). 2 つ目の手法では学習者コーパスから抽出した誤りパター ン及び，動詞・名詞・前置詞の置換を利用し擬似データを生成する (Choe et al. 2019). 実験の結果，前者では綴り誤りの訂正性能が高く，後者では名詞の単数・複数形の誤りと時制誤りの訂正性能が高いことが明らかになった。一方日本語文法誤り訂正では, モデルの誤りタイプ別の訂正性能が未だ明らかでない。そのため我々は作成した評価コーパスを用いて日本語文法誤り訂正モデルの誤りタイプ別の性能を調査する．英語文法誤り訂正では異なる訂正傾向を持つモデルを組み合わせ性能を向上させる研究もあり (Grundkiewicz and Junczys-Dowmunt 2018; Kantor et al. 2019; Qorib et al. 2022), 日本語文法誤り訂正でもモデルごとの訂正傾向を把握することがより高性能なモデルの構築に繋がると考えられる.

## 3 評価コーパスの構築

本研究では Lang-8 コーパスの一部から評価コーパスを構築する．Lang-8コーパスは文法誤り訂正モデルの訓練に使用されることが多い. しかし語学学習 SNS Lang-87から自動収集して作成されたコーパスのためノイズを多く含み，評価にはほとんど使用されていない。そこで本評価コーパスを作成し，Lang-8コーパスを評価にも使用可能にする。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため, 本評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる．具体的には対象とする誤りの範囲を学習者コーパス NUCLE に合わせ，誤用タグを自動誤用タグ付けツール ERRANT の誤用タグを一部改変し設計する.

## 3.1 訂正文の作成

我々は Lang-8 コーパスの訂正文にノイズが多く含まれることや Lang-8 ではユーザごとに訂正基準が異なることを理由に，学習者文を再添削し新たな訂正文を作成する．Lang-8コーパスの訂正文には訂正者（Lang-8 ユーザ）のコメントが付与されている場合や訂正者が学習者文中の誤りを全て訂正していない場合がある (水本他 2013). Mita et al. (2020) の実験では Lang-8 コーパスの訂正文に含まれるノイズの定量化を試みている。具体的には Lang-8 コーパスの訂正文からノイズを除去した訂正文を新たに作成し，元の訂正文とノイズ除去した訂正文の間の単語編集率でノイズ量を推定している。なお単語編集率は以下の式で定義される.

$
\text { 単語編集率 }:=\frac{\sum_{i=1}^{N} d\left(X_{i}, Y_{i}\right)}{\sum_{i=1}^{N}\left|X_{i}\right|} \times 100(\%)
$

ここで $N$ はデータセット内の文対数であり， $X_{i}$ と $Y_{i}$ はそれぞれ編集前と編集後の文である。また $d(\cdot)$ は編集距離 (Levenshtein 1966)を表し， $\left|X_{i}\right|$ は $X_{i}$ の単語数を表す. Mita et al. (2020)の実験では, $X_{i}$ が元の訂正文に相当し, $Y_{i}$ がノイズ除去後の訂正文に相当する. 実験の結果, 単語編集率は $34.6 \%$ となり，Lang-8コーパスの訂正文には無視できない量のノイズが含まれることが明らかになった. また Rothe et al. (2021)は英語・ドイツ語・ロシア語で Lang-8コーパスの訂正文を大規模多言語事前学習済みモデル mT5 (Xue et al. 2021)の出力文に置き換え, ノイズの少ない訂正文を持った Cleaned Lang-8 Corpus (cLang-8) を作成し公開した 8 . さらに Lang-8 ではユーザが自由に学習者文を訂正しているため訂正基準が統一されておらず，モデルの文法性に絞った評価がしにくい. したがって本研究では一貫した訂正基準のもと訂正文を作成し, 文法誤り訂正モデルの評価に使いやすくする．加えて本研究ではマルチリファレンス評価のため,
^{8}$ https://github.com/google-research-datasets/clang8
}

1 つの学習者文につき 2 つの訂正文を付与する．文法誤り訂正は 1 つの入力文に対し正解となる訂正文が必ずしも 1 つに定まらないタスクである (Bryant and Ng 2015)。そのため文法誤り訂正では, 複数の訂正文（参照文）を用いたマルチリファレンス評価を行い，モデルが参照文とは異なる正しい訂正を行った場合に過小評価される問題を軽減している．例えば CoNLL-2014 shared task 評価コーパスでは 1 つの学習者文につき 2 の訂正文が付与されており, 英語文法誤り訂正ではそれら 2 つ訂正文を用いてモデルを評価している。そこで本研究でも 1 つの学習者文につき 2 つの訂正文を付与しマルチリファレンス評価を可能にする.

## 3.1.1 作成手順

我々が訂正文を作成した際の具体的な手順は以下の通りである.

手順 1. Lang-8 コーパスから 2,000 文程度になるように日本語を学習言語とする文章を抽出す $る^{9}$.

手順 2. 抽出した文章の内，約 1 割を 3 人の日本語母語話者が訂正し，訂正基準を決定する.

手順 3. 1 つの文章につき 2 人の訂正者が訂正を行うように， 3 人の日本語母語話者に文章を割

り振り，作成した訂正基準に従って訂正文を作成する。

手順 4. 作成した訂正文を本論文の最終著者が確認し，不適切な箇所があれば各訂正者が再度訂正を行う.

ここで手順 2 と手順 3 における訂正者は本論文の第 1 著者, 第 2 著者, 第 3 著者である．各訂正者は情報通信工学を専攻する 20 代の大学生であり日本語教育歴はない. 手順 4 の終了後,文分割に失敗している箇所を人手で修正した ${ }^{10}$ 。また文法誤り訂正に無関係な記号のみの文や日本語以外の文などを取り除き，URL や顔文字は特殊トークンに置き換えた．結果，日本語学習者文が 1,702 文となり，1つの学習者文につき 2 つの訂正文が付与された評価コーパスを作成した。

## 3.1.2 訂正基準

我々は基本的な訂正方針を NUCLE に合わせた，具体的には (1) 文法的に正しくなる最小限の訂正を行うこと，(2) 文章単位で訂正を行うことの 2 つを定めた. NUCLE の一部を使用した CoNLL-2014 shared task 評価コーパスは英語文法誤り訂正で最も代表的な評価コーパスである. NUCLE に仕様を合わせることで英語と同じような評価環境を整備することを狙った. (1)について, 最小限の訂正には NUCLE 同様, 狭義の文法誤りだけでなく綴り誤りや語彙選択誤りも含める. 訂正対象の範囲を NUCLE に合わせることで英語文法誤り訂正の知見を日本語文法誤り
^{10}$ Lang-8 では文章を自動で文分割しており，Lang-8 コーパスはその分割をそのまま使用しているため文分割に失敗している箇所が存在する。
}
訂正に援用しやすくなる. またドイツ語 (Boyd 2018) やロシア語 (Rozovskaya and Roth 2019), チェコ語 (Náplava et al. 2022)の文法誤り訂正評価コーパスでも狭義の文法誤り以外（綴り誤りや語彙選択誤りなど）を訂正対象に含めている。したがって文法誤り訂正分野全体として狭義の文法誤り以外も訂正対象とすることが一般的であるため, 本研究でも綴り誤りや語彙選択誤りを訂正対象に含める。(2)について, 学習者が書いた文章には時制誤りや接続詞誤りなど文間文脈に依存する誤りが存在する (Tajiri et al. 2012; Chollampatt et al. 2019; Yuan and Bryant 2021). 文単位で訂正を行った場合，そのような文間文脈を必要とする誤りを捉えることが難しい，文章単位であれば前後の文を考慮し訂正できるため，文間文脈を必要とする誤りを捉えることができる.

本研究では日本語の文章であることや Lang-8 コーパスを元データにしていることを考慮し,基本的な訂正方針に加え以下の訂正基準を定めた。

## 文単位の訂正基準

L1. 翻字を行う際, 単語が本来の発音のまま表記してあり,一般的な表記と異なる場合には一般的な表記に訂正する ${ }^{11}$.

L2. 補助用言が漢字で書かれている場合には平仮名に訂正する.

## 文章単位の訂正基準

G1. 1つの文章内では，常体と敬体を揃えるように訂正する.

G2. 助詞が脱落している場合, 助詞がないと不自然である場合のみ訂正する.

各訂正基準に基づく訂正例を表 3 に示す. L1 について，翻字とはある言語の単語を別言語の表記に移すことである．翻字では表 3 の例のように原言語の発音が目的言語の表記に必ずしも反映されず，目的言語での表記に合わせて書く必要があるため L1 を設定した。また翻字に関する訂正は作文対訳データベースやなたねでも行われており日本語教育にとって有用である．L2 について, 補助用言は単語本来の意味が失われており平仮名で書くことが一般的であるため L2 を設定した，G1について，1つの文章内では常体と敬体を揃えることが一般的であるため G1

 \\

表 3 設定した訂正基準に基づく訂正例.

を設定した ${ }^{12}$. G2 について，Lang-8 コーパスでは学習者の日記がくだけた表現で書かれていることが多い．くだけた表現の場合，助詞が脱落しても不自然でない場合があることから G2 を設定した。

## 3.2 誤用タグの付与

我々は日本語文法誤り訂正モデルをより詳細に分析するための誤用タグを設計し, 本評価コー パスの各誤りに人手で付与する。我々は英語文法誤り訂正で代表的な自動誤用タグ付けツール ERRANT の誤用タグを日本語用に一部改変し誤用タグを設計する。この理由は ERRANT の誤用タグに基づき誤用タグを設計することで今後日本語版 ERRANT を開発しやすくするためである。実際ドイツ語 (Boyd 2018) やチェコ語 (Náplava et al. 2022)では, ERRANT の誤用夕グを各言語用に一部改変し ERRANT のコードを流用する形でドイツ語版 ERRANT ${ }^{13}$ やェコ語版 ERRANT ${ }^{14}$ 開発している ${ }^{15}$ 。また ERRANT の誤用タグに基づくことで，日本語にあまり馴染みのない研究者が本評価コーパスを利用する場合でも誤用タグの意味を理解しやすくなると考えられる。さらに多言語にわたって文法誤り訂正の研究を行う場合, 言語間で誤用夕グの粒度がある程度揃っていた方がモデルの誤りタイプ別の分析をしやすくなる.

## 3.2.1誤用タグの設計

我々は ERRANT の誤用タグを一部改変し誤用タグを設計した ${ }^{16}$. ERRANT では Universal Dependencies (UD) (de Marneffe et al. 2021)17の品詞を基に誤用タグを設計している。そのため本研究では UD 日本語コーパス (浅原他 2019)の品詞も参考にした. 表 4 に本研究で設計した誤用タグの一覧を示す. 1 行目から 10 行目は語彙選択に関する誤用タグである。語彙選択の誤用タグはある品詞の単語が同じ品詞の別の単語に訂正された場合に付与される ${ }^{18}$. 例えば 1 行目では，“大切な”という形容詞が “重大な”という別の形容詞に訂正されているため ADJ の誤用タグが付与される。ここで形容詞や動詞の選択誤りにはコロケーション誤りも含める. 11 行目から 13 行目は活用に関する誤用タグである。活用の誤用タグはある単語が別の活用形に訂正された場合に付与される。例えば 11 行目では, “寂しい”という形容詞が“寂しく”という連用

 \\

表 4 本研究で設計した誤用タグの一覧.

形に訂正されているため ADJ:INFL の誤用タグが付与される。14 行目の SPELL の誤用タグは誤字・脱字・衍字などの誤りが訂正された場合に付与される。また SPELL には翻字の誤りも含める. 15 行目の VERB:TENSE の誤用タグはテンスやアスペクトといった時間表現について訂正された場合に付与される. 16 行目の WO の誤用タグは隣り合う単語を入れ替えるような訂正がされた場合に付与される。 17 行目の OTHER の誤用タグは 1 行目から 16 行目の誤用タグの中に該当する誤用タグがなかった場合に付与される.

## 3.2.2 付与手順

我々が誤用タグを付与した際の具体的な手順は以下の通りである.
手順 1. 原文（学習者文）と訂正文に自然言語処理ライブラリ spaCy (Honnibal and Montani 2017) ${ }^{19}$ を適用し，各文中の単語に基本形及び品詞の情報を付与する.

手順 2. 各文の基本形及び品詞の情報を基に表 4 の誤用タグを人手で付与する.

手順 1 では ERRANT に合わせ spaCy を使用した。なお spaCy を使用する際のモデルには ja_core_news_trf モデルを用いた。手順 2 では誤り箇所及び訂正箇所の基本形や品詞の情報を確認しながら本論文の第一著者が人手で誤用タグを付与した。表 5 に誤用タグの付与例を示す.表 5 の左側は動詞の選択誤りの例であり，“飲み”を“食べ”に訂正している。各単語の基本形を見ると“飲む”と “食べる”という異なる基本形をしており，品詞を見るとVERB となっているため動詞の選択誤りの誤用タグを付与する。表 5 の右側の例は動詞の活用誤りの例であり，“見つかれ”を“見つから”に訂正している。各単語の基本形を見ると“見つかる”という同じ基本形をしており，品詞を見ると VERB となっているため，動詞の活用誤りの誤用タグを付与する.

## 3.3 コーパス分析

表 6 に本研究の評価コーパス, FLUTEC, NAIST 誤用コーパスの統計量を示す.ここで学習者文の平均文長や単語編集率 (式 (1) 参照) を計算する際は各コーパスを MeCab (Kudo et al. 2004) で単語分割した。 MeCab の辞書には現代話し言葉 UniDic (岡 2019)を用いた. 表 6 より，学習者文の平均文長を比較すると, コーパス間の差は最大で 3.9 語であり文長に大きな差はない.一方単語編集率と無編集の文対の割合では，本研究の評価コーパスとそれ以外のコーパスで大

表 5 誤用タグの付与例.

表 6 各コーパスの統計量.

きな差が見られる。本研究の評価コーパスは他のコーパスよりも単語編集率は低く，無編集の文対の割合は高くなっている。これは文法的に正しくなる最小限の訂正を行ったことに起因する。一方 FLUTEC の単語編集率が最も大きい理由は文法的に正しいだけでなく流暢になる訂正を行っているためである。また NAIST 誤用コーパスでは日本語教師が学習者の習熟度に応じた訂正を行っており，例えば日本語上級者の文には流暢になるような訂正も施していることから単語編集率が高くなったと考えられる。

図 1 に本研究で作成した評価コーパスと NAIST 誤用コーパス中の各誤りタイプの割合を示す 20 . 本研究の評価コーパスと NAIST 誤用コーパスでは誤りタイプの粒度が異なるため厳密な比較は困難であることに注意する必要がある。比較の結果, どちらも助詞誤りの割合が最も大きいことから，日本語学習者にとって助詞を使いこなすことは難しいと分かる．また本評価コーパス中の綴り誤り（NAIST 誤用コーパスでの表記誤りに相当）の割合が NAIST 誤用コー パスと同様に比較的高い。経り誤りには翻字の誤りや仮名漢字変換システムに起因する誤りが見られた。表 7 に翻字の誤りと仮名漢字変換システムに起因する誤りの例を示す. 翻字の誤り

(a) 本研究の評価コーパス

(b) NAIST 誤用コーパス

図 1 各コーパス中の誤りタイプの割合.

表 7 綴り誤りの例.

では，学習者が “シェルロク・ホールムス”と書いたのを“シャーロック・ホームズ”に訂正している。翻字は目的言語での表記をあらかじめ知っておかないと正しく表記することが難しく，学習者にとって間違いやすい誤りである．仮名漢字変換システムに起因する誤りでは，学習者が “張る”と誤入力したのを“春”に訂正している。 NAIST 誤用コーパスは手書き作文をもとにしているため誤入力は起きず，このような誤入力は Lang-8コーパスを基にしている本評価コー パス特有の誤りである.

## 3.4 一致率

我々は訂正者間の一致率を調べるため, $\kappa$ 係数 (Cohen 1960) を計算した。一致率は誤り検出の一致率と誤り訂正の一致率の 2 つを求めた。誤り検出の一致率は両方の訂正者が何らかの訂正を行った箇所の一致率である。誤り訂正の一致率は両方の訂正者が同じ訂正を行った箇所の一致率である。 $\kappa$ 係数の計算は Dahlmeier et al. (2013) に従った。表 8 の左側にそれぞれの訂正者間の一致率を示す. 表 8 より, 誤り検出の一致率は Landis and Koch (1977)の基準における substantial agreement（かなりの一致）に該当し, 誤り訂正の一致率は moderate agreement（適度な一致） に該当する。したがって訂正者間で誤りの検出や訂正は概ね一致していると考えられる.

別の観点からも訂正者間の一致率を測る。具体的には片方の訂正文を文法誤り訂正モデルの出力とみなし, もう片方の訂正文のみを正解として評価した時のスコアを求める. 表 8 の右側にそれぞれの訂正文のスコアを示す。スコアは $\mathrm{M}^{2}$ scorer (Dahlmeier and Ng 2012)で測定した Precision, Recall, $\mathrm{F}_{0.5}$ を用いた。表 8 より,どちらの場合も Recall は約 $62 \%$ である。言い換えると, 例えば訂正文 2 を正解とした場合, 訂正文 2 が訂正した箇所のうち訂正文 1 も同じ訂

る.また $\mathrm{F}_{0.5}$ はどちらも約 $64 \%$ であり，このスコアが文法誤り訂正モデルのある種の性能限界であると考えられる。

## 3.5 本評価コーパスのリミテーション

我々は文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスを作成するため ERRANT の誤用タグを一部改変し本誤用タグを設計した。したがって第二言語習得分野での誤用タグと大きく異なる部分が生じており，第二言語習得分野の研究者にとっては使いにくい誤用夕グであ

表 8 訂正者間の一致率.

る可能性がある，例えば本誤用タグは ERRANT と同様フラットな構造をしているが，第二言語習得分野での誤用タグは階層的な構造をとる (Dagneaux et al. 1998)。また NAIST 誤用コー パスやなたねが細かく誤用タグを設計しているのに対し ${ }^{21}$, 本誤用タグは ERRANT の誤用タグを基に設計したため 17 種類と比較的粗い 22 . この理由は今後日本語版 ERRANT を開発しやすくするためであるが，第二言語習得分野での利用（学習者の誤用分析や学習者へのフィードバックなど）まで考慮すると誤用タグは細かく設計される方が望ましい。本誤用タグをより細かくする場合，語彙選択誤りとコロケーション誤りを区別することなどが挙げられる．実際 NAIST 誤用コーパスやなたねでは，語彙選択誤りとコロケーション誤りを区別しており，第二言語習得分野で利用する場合それらは区別された方が有用である。一方日本語版 ERRANT の作成では，語彙選択誤りとコロケーション誤りをどのように自動で区別するかが問題となる。語彙選択誤りとコロケーション誤りを区別するには，コロケーションに関する外部知識の利用 (Pereira et al. 2016) や機械学習による誤用タグの付与 (Swanson and Yamangil 2012; 大山他 2016) などを行う必要があると考えられる。

## 4 実験

本節では作成した評価コーパスで代表的な文法誤り訂正モデルを評価し，今後の日本語文法誤り訂正においてべースラインとなるスコアを示す.また我々の評価コーパスに加え, FLUTEC や NAIST 誤用コーパスも利用しモデルを多面的に評価した結果を報告する。さらに本評価コー パスの誤用タグを利用しモデルごとの誤りタイプ別の性能も調査する.

## 4.1 実験設定

## 4.1.1 データセット

表 9 に本実験で使用したデータセットを示す。訓練データには Lang-8コーパス (水本他 2013) を用いた。ただし TEC-JL (本研究の評価コーパス) と FLUTEC に使用されている文章は取り除いた。また水本他 (2013) と同様に, 訓練データには文長制限などを施し, 訓練時にノイズとなる文対を除去した23，開発データには FLUTEC の開発データを用いた.

## 4.1.2 性能評価

評価データには TEC-JL に加え, FLUTEC (木山他 2022) と NAIST 誤用コーパス (大山他

表 9 実験で使用したデータセットの詳細.

2016)を使用した. TEC-JL と NAIST 誤用コーパスは Max Match $\left(\mathrm{M}^{2}\right)$ (Dahlmeier and Ng 2012) で評価し, FLUTEC は GLEU+ (Napoles et al. 2015, 2016) で評価した ${ }^{24}$.また単語分割誤りが評価結果に影響を与えないようにするため文字単位で評価した。報告する全ての値は 4 つの異なるシードで訓練されたモデルのスコアの平均である。各評価尺度の詳細は以下の通りである。

$\mathrm{M}^{2}$ (Dahlmeier and $\mathrm{Ng}$ 2012) $\quad \mathrm{M}^{2}$ は文法誤り訂正において最も一般的な評価尺度である. $\mathrm{M}^{2}$ ではモデルの出力文が行った編集を参照文の編集となるべく多く一致するように計算し, Precision, Recall, $F_{0.5}$ を求める。文法誤り訂正では CoNLL-2014 shared task 以降， $\mathrm{F}_{1}$ ではなくPrecision を重視した $\mathrm{F}_{0.5}$ を使用することが一般的である ${ }^{25}$. 本研究では $\mathrm{M}^{2}$ の計算に $\mathrm{M}^{2}$ scorer を使用した ${ }^{26}$.

$\mathrm{GLEU}^{+}$(Napoles et al. 2015, 2016) GLEU+ は機械翻訳モデルの評価尺度 BLEU (Papineni et al. 2002) を文法誤り訂正用に改良した評価尺度である．BLEU がモデルの出力文と参照文の N-gram のみを使用するのに対し， GLEU+ では原文の N-gram も使用しスコアリングする. 本研究では GLEU+ の計算に Napoles et al. (2016) が公開しているスクリプトを使用した27.

## 4.1.3文法誤り訂正モデル

幅広いモデルの性能を調査するため, 文法誤り訂正モデルには SMT (Koehn et al. 2003) 及び
^{2}$ で評価し，流暢な訂正を施した JFLEG は GLEU+ で評価していることを考慮した。

$25 \mathrm{Ng}$ et al. (2014) は $\mathrm{F}_{0.5}$ を採用した理由に，文法誤り訂正モデルの訂正をユーザに受け入れてもらいやすくするには誤った訂正が少ないことが重要であるためと述べている。また英語 (Grundkiewicz et al. 2015) やチェコ語 (Náplava et al. 2022) 文法誤り訂正では, $\mathrm{F}_{1}$ よりも $\mathrm{F}_{0.5}$ の方が人手評価との相関が高いことが示されている. さらに文法誤り検出では Recall よりも Precision 重視のモデルの方が学習効果を高めることが知られている (Nagata and Nakatani 2010).

26 https://github.com/nusnlp/m2scorer

27 https://github.com/cnap/gec-ranking
}

RNN (Luong et al. 2015), CNN (Gehring et al. 2017), Transformer (Vaswani et al. 2017)を用いる.また上記のモデルに加え, 事前学習済みモデル BART (Lewis et al. 2020) と T5 (Raffel et al. 2020）も使用する。実装には SMT では Moses (Koehn et al. 2007)28を用いた.また RNN, CNN, Transformer, BART では fairseq (Ott et al. 2019)29を使用し, T5 では Transformers (Wolf et al. 2020）３を使用した。なお水本 (2020)の実験結果に基づき，SMT，RNN，CNN, Transformer の訓練には，学習者文は文字に分割し訂正文は語彙サイズ 16,000で 1-gram 言語モデルに基づくトークン化 (Kudo 2018)を施したデータを使用した。また BART と T5 では事前学習時の分割に従った．具体的には BART では Juman++ (Morita et al. 2015) で単語分割したのち語彙サイズ 32,000で 1-gram 言語モデルに基づくトークン化を施し， T5 では語彙サイズ 32,000 で 1-gram 言語モデルに基づくトークン化を施した. 1-gram 言語モデルに基づくトークン化を行う際の実装には SentencePiece (Kudo and Richardson 2018)31を使用した. 各モデルの設定は以下の通りである。

SMT (Koehn et al. 2003) GIZA++ (Och and Ney 2003) をアライメントツールに使用し, KenLM (Heafield 2011) を用いて 3-gram 言語モデルを構築した. 言語モデルの訓練には訓練データ中の訂正文を使用した。また開発データを用いて BLEU を最大化するように MERT (Och 2003)を行った.

RNN (Luong et al. 2015) アーキテクチャはLuong et al. (2015)のモデルをベースにした 6 層のエンコーダ・デコーダモデルである。 エンコーダとデコーダの単語埋め込みは 512 次元である。訓練時の最適化方法や推論時の設定は Kiyono et al. (2020)に従った.

CNN (Gehring et al. 2017) アーキテクチャは Gehring et al. (2017)のモデルをべースにした 6 層のエンコーダ・デコーダモデルである. エンコーダとデコーダの単語埋め込みは 512 次元である.またカーネルサイズは 3 である. 訓練時の最適化方法や推論時の設定は Kiyono et al. (2020)に従った.

Transformer (Vaswani et al. 2017) アーキテクチャは Vaswani et al. (2017) の "Transformer (base)" と同様である。具体的には 6 層のエンコーダ・デコーダモデルであり， エンコーダとデコーダの単語埋め込みは 512 次元である. 訓練時の最適化方法や推論時の設定は Kiyono et al. (2020) に従った.

BART (Lewis et al. 2020) BART は Transformer に基づくエンコーダ・デコーダ型の事前学習済みモデルである。本研究では田中他 (2021) が公開している日本語 BART を使用した32. 田中他 (2021)のモデルでは, テキスト内の 0 個以上のトークンを 1 個の [MASK]
$ //github.com/google/sentencepiece

32 https://github.com/utanaka2000/fairseq/tree/japanese_bart_pretrained_model
}

 &  \\

表 10 BART 及び T5 での事前学習の例. [MASK] 及び 〈X>, 〈Y>, 〈Z> は特殊トークンである.

トークンに置き換え，元のテキストを予測する text infilling タスクを事前学習に行っている (表 10 参照)．事前学習用のデータには日本語 Wikipedia から抽出した 1,800 万文を使用している。エンコーダとデコーダはそれぞれ 6 層であり，単語埋め込みは 768 次元である。訓練時の最適化方法や推論時の設定は付録 A に記載する。

T5 (Raffel et al. 2020) T5 は Transformer に基づくエンコーダ・デコーダ型の事前学習済みモデルである。本研究では Megagon Labs ${ }^{33}$ が公開している日本語 T5 を使用した ${ }^{34}$. T5 ではテキスト内の一部トークンをそれぞれ別の特殊トークンに置き換え，置き換え元のトークンのみを予測するように事前学習を行っている（表 10 参照）。事前学習用のデータには $\mathrm{mC4}$ (Raffel et al. 2020) と Wiki-40B (Guo et al. 2020) の日本語部分からそれぞれ $782 \mathrm{~GB}$ と $2 \mathrm{~GB}$ のテキストを使用している。エンコーダとデコーダはそれぞれ 12 層であり, 単語埋め込みは 768 次元である. 訓練時の最適化方法や推論時の設定は付録 $\mathrm{A}$ に記載する。

## 4.2 実験結果

表 11 に各文法誤り訂正モデルの性能を示す。訂正なしは入力文をモデル出力とみなし評価した時のスコアである。表 11 より, CNN は Precision が高く, 不必要な訂正が他のモデルよりも少ないことが分かる。その結果，最小限の訂正を施した TEC-JL では，事前学習済みモデルである T5を除いて CNN の $\mathrm{F}_{0.5}$ が最も高くなっている. 一方 Transformer に加え, Transformer に基づくモデルである BART や T5 は Recall が高いことが分かる。また流暢な訂正を施した FLUTEC では Transformer や BART，T5 の方が他のモデルよりも GLEU+ スコアが高い. したがって Transformer を含め Transformer に基づくモデルは流暢な訂正を行っていると考えられる．我々は Transformer が流暢な訂正を行っていることを検証するため，各モデルの流暢性を調査した．流暢性は入力文と出力文のパープレキシティ比 (PPLR) で測定した．具体的には PPLR は以下の式で定義される.
^{34}$ https://github.com/megagonlabs/t5-japanese
}

表 11 各文法誤り訂正モデルの性能.

$
P P L R:=\frac{P P L_{\text {output }}}{P P L_{\text {input }}}
$

ここで $P P L_{\text {input }}$ 及び $P P L_{\text {output }}$ はそれぞれ入力文と出力文のパープレキシティである. PPLR は 0 以上の値をとり，值が低いほど流暢性が高い，つまり流暢な訂正を行ったと考えられる。本実験ではパープレキシティの測定に GPT (Radford et al. 2018)を使用した35.また文法誤り訂正では入力文の意味を保存しつつ訂正する必要がある (浅野他 2018). そのため入力文と出力文の間で意味が保存されているか（意味保存性）を，入力文と出力文の文べクトルの $\cos$類似度を用いて測定する。 $\cos$ 類似度は -1 以上 1 以下の値を取り， 1 に近いほど入力文と出力文の間で意味が保存されていると考えられる．本実験では入力文と出力文の文べクトルの取得に Sentence-BERT (Reimers and Gurevych 2019)を利用した36. 図 2 に TEC-JL における各モデルの PPLR 及び $\cos$ 類似度を示す 37 。図 2 より，流暢性は CNN よりも Transformer の方が高いことが分かる。一方意味保存性は Transformer よりも CNN の方が高い. したがって Transformer は意味保存性を犠牲にし， CNN よりも流暢性の高い訂正を行っている ${ }^{38}$.

次に各モデルの誤りタイプ別の性能を表 12 に示す。誤りタイプは TEC-JL 中の割合が $5 \%$以上の誤りタイプのみを記載した。また誤りタイプ別の性能には Recall を用いた ${ }^{39}$. 表 12 より，各モデルは綴り誤りの性能が高いことが分かる。また助詞誤りの性能も高く，BART では $60 \%$ 近くの助詞誤りを訂正できている。したがって綴り誤りや助詞誤りは日本語文法誤り訂正
_{0.5}$ で評価するにはモデル出力に誤用タグを付与し, 誤りタイプ別の Precision を求める必要がある．英語文法誤り訂正では ERRANT で誤用タグを自動推定し，誤りタイプ別の Precision を求めることが可能である。しかし日本語では公開された自動誤用タグ付けツールがないため Recall で評価した.
}

図 2 TEC-JL における各モデルの PPLR 及び $\cos$ 類似度.

表 12 TEC-JL における各モデルの誤りタイプ別の Recall (\%).

モデルにとって比較的訂正しやすい誤りタイプである。綴り誤りや助詞誤りが訂正しやすい理由には様々な要素があると思われるが，例えば学習者が犯しやすい誤りのため訓練デー夕に同様の誤りが多く存在することなどが考えられる。一方名詞誤りは各モデルの訂正性能が比較的低く, SMT や RNN, CNN では $10 \%$ 以下であり, Transformer や BART, T5 でも $20 \%$ から $30 \%$ 程度である．名詞誤りは文脈を考慮して訂正する必要がある場合が多いため, 誤りタイプの中でも訂正性能が低くなったと考えられる。英語文法誤り訂正でも名詞誤りの訂正性能は低く (Bryant et al. 2019), 名詞誤りの訂正性能向上は日本語と英語で共通の課題である.

## 5 擬似データによる性能向上

本節では日本語文法誤り訂正モデルの訓練に擬似データを使用した場合の性能変化を調査す

る. 現在文法誤り訂正で主流のエンコーダ・デコーダモデル (Sutskever et al. 2014; Bahdanau et al. 2015) は大量の訓練データを必要とする (Koehn and Knowles 2017). しかし文法誤り訂正に利用可能な学習者データは限られており, 英語文法誤り訂正では擬似データを利用したエンコーダ・デコーダモデルの性能向上が一般化している (Xie et al. 2018; Ge et al. 2018a; Zhao et al. 2019; Grundkiewicz et al. 2019; Lichtarge et al. 2019, 2020; Kiyono et al. 2020; Wang and Zheng 2020; Zhou et al. 2020; Wan et al. 2020; Stahlberg and Kumar 2021; Yasunaga et al. 2021; $\mathrm{Li}$ and He 2021; 古山他 2022). 一方日本語文法誤り訂正では，擬似データがエンコーダ・デコーダモデルの性能に与える影響があまり明らかになっていない. そこで本節では, 既存の擬似データ生成手法を適用し，日本語文法誤り訂正に擬似データを用いた場合のモデルの性能変化を観察する。

## 5.1 実験設定

エンコーダ・デコーダモデルには RNN, CNN, Transformer を使用する. 各モデルのアーキテクチャや評価方法は 4.1 節と同様である。擬似データ生成時の生成元コーパスには Wiki-40B の日本語 Wikipedia 部分から抽出した 1,000万文を用いた. Kiyono et al. (2020)に従い, 擬似データは事前学習で使用し, 学習者データはファインチューニングにのみ用いた. また事前学習及びファインチューニング時の設定は Kiyono et al. (2020) に従った. 使用する擬似データ生成手法は以下の通りである.

Direct noise (Zhao et al. 2019) 原文に 4 つの編集操作（削除，插入，置換，シャッフル） を行う，具体的には原文をトークンに区切り，次の操作を確率的に適用する。(i) 削除: 10\%の確率でトークンを削除する。 (ii) 挿入: $10 \%$ の確率でトークンの後ろに生成元コー パス中のトークンを挿入する。(iii) 置換: $10 \%$ の確率でトークンを生成元コーパス中のトークンに置き換える。(iv) シャッフル: 各トークンの位置番号に対し正規分布から抽出した値を加え，昇順に整列する．本実験では Zhao et al. (2019) が公開しているスクリプトを使用した 40 .

Direct noise (ja) (小川, 山本 2020) Direct noise が非現実的な誤りを多く生成する点を改良し, Direct noise に日本語学習者特有の誤り傾向を反映させる。具体的には原文をトー クンに区切り，次の操作を確率的に適用する。(i) 削除: 助詞を $10 \%$, 助詞以外を $5 \%$ の確率で削除する。また送り仮名がある単語では $50 \%$ の確率で送り仮名の 1 文字目を削除する. (ii) 挿入: $5 \%$ の確率で後ろにトークンを插すす。挿入するトークンは $70 \%$ の確率で助詞セットから， $30 \%$ の確率で生成元コーパスから選択する。(iii) 置換: 助詞を $10 \%$, 助詞以外を $5 \%$ の確率で置換する，置換するトークンは $70 \%$ の確率で助詞セットから，30\%

の確率で生成元コーパスから選択する。 (iv) シャッフル：Direct noise のシャッフル操作を文節単位で行う。本実験では小川，山本 $(2020)$ が公開しているスクリプトを使用した ${ }^{41}$.

Back-translation (Xie et al. 2018) 逆翻訳モデル (Sennrich et al. 2016) を用いて原文に誤りを生成させる。逆翻訳モデルとは入力と出力を入れ替えて訓練したモデルである。文法誤り訂正の場合，訂正文を入力とし学習者文を出力として訓練したモデルになる．Xie et al. (2018) はビームサーチ時, 毎ステップの各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加え，より多様な誤りを含むように改良した。ここで， $r$ は区間 $[0,1]$ の一様分布からランダムに選択される值であり， $\beta_{\text {random }}$ はノイズの大きさを調節するためのハイパーパラメータである。本実験では Transformer を逆翻訳モデルに用い，事前実験において開発データ上で最大の $\mathrm{GLEU}^{+}$スコアとなった時の值である $\beta_{\text {random }}=8$ を使用した.

Round-trip translation (Lichtarge et al. 2019) 原文を他言語へ翻訳し，その翻訳文を原言語に翻訳し直す。本実験では日本語の原文を英語に翻訳し，生成された英語を日本語へ再度翻訳した。日英翻訳モデル及び英日翻訳モデルには, Morishita et al. (2022) の JParaCrawl (Morishita et al. 2020, 2022) で訓練された “Transformer (big)” (Vaswani et al. 2017)を使用した 42 .

## 5.2 実験結果

表 13 に擬似データを使用した場合の各文法誤り訂正モデルの性能を示す。表 13 より，擬似データを使用することで各モデルの性能が向上したことが分かる．TEC-JL では CNN に Back-translation で生成した擬似データを用いた場合に $\mathrm{F}_{0.5}$ が最も高くなった. FLUTEC と NAIST 誤用コーパスでは Transformer に Back-translation を使用した場合にそれぞれ GLEU+ スコアと $\mathrm{F}_{0.5}$ が最も高くなった. 全体的な傾向としては Direct noise と Direct noise (ja)よりも Back-translation や Round-trip translation を用いた方がモデルの性能が向上している。この理由には Back-translation や Round-trip translation の方がより多様な誤りを生成できることが考えられる. Direct noise と Direct noise (ja)を比較すると, Direct noise よりも Direct noise (ja) を使用した場合の方が Recall が向上することが分かる. Direct noise (ja) は学習者の犯しやすい現実的な誤りを発生できるため, Direct noise よりも学習者文中の誤りを捉えやすくなったと考えられる。

図 3 に擬似データで事前学習した場合の各文法誤り訂正モデルの誤りタイプ別の性能を示す.ここで事前学習なしは擬似データを用いず学習者データのみで訓練したモデルの性能を表す. 図 3 より, 全ての擬似データ生成手法で助詞誤りの訂正性能が事前学習なしの場合のより

表 13 擬似データを用いた場合の各文法誤り訂正モデルの性能.太字は各モデルでの最高性能を表す.

も向上していることが分かる，助詞誤りは学習者が犯しやすい誤りタイプであるため(大山他 2016), 全ての擬似デー夕生成手法で性能が向上したことは好ましい結果である。また RNN では Direct noise (ja) を使用した場合に, 句読点誤りの訂正性能が他の手法よりも向上している. Transformer では Back-translation を使用した場合に, 綴り誤りの訂正性能が他の手法よりも向上した。一方 CNN では, 綴り誤りの訂正性能が Back-translation を使用しても向上しておらず，Round-trip translation の場合のみ向上している。また動詞の活用誤りの訂正性能に関して, CNN では全ての擬似データ生成手法で性能が向上しているが，RNN や Transformer では性能を低下させる擬似データ生成手法がある。したがってどのような擬似データ生成手法が有効かはモデルのアーキテクチャに依存することが示唆され，今後より詳細な分析が必要である.

## 5.3 擬似データ量が性能に与える影響

擬似データ量が訂正性能に与える影響をより詳細に調べるため，擬似デー夕量を変化させた時のモデルの性能を調査した，具体的には擬似デー夕量を $1 \mathrm{M}, 3 \mathrm{M}, 5 \mathrm{M}, 7 \mathrm{M}, 10 \mathrm{M}$ と変化させた時の性能を調査した．図 4 に TEC-JL における擬似デー夕量を変化させた時の $\mathrm{F}_{0.5}$ を示す。本実験では，表 13 で TEC-JL において最高性能である CNN を文法誤り訂正モデルに使用し，Back-translation による擬似デー夕を用いた，図 4 より，擬似デー夕量の増加とともにモデルの性能は向上することが分かる. これは英語文法誤り訂正での Kiyono et al. (2020) や

" 事前学習なし - Direct noise = Direct noise (ja) " Back-translation "Round-trip translation

60

(a) RNN
- 事前学習なし = Direct noise = Direct noise (ja) "Back-translation = Round-trip translation

60

(b) CNN
- 事前学習なし - Direct noise = Direct noise (ja) "Back-translation = Round-trip translation

(c) Transformer

図 3 擬似データを利用した場合の各文法誤り訂正モデルの Recall (\%).

図 4 TEC-JL における擬似データ量を変化させた時の $\mathrm{F}_{0.5}$.

表 14 TEC-JL における擬似データ量（文対数）を変化させた時の誤りタイプ別の Recall $(\%) . \Delta$ は擬似データなしの性能からの各擬似データ量での差分を表す.

Wan et al. (2020)の報告と整合性のある結果である，次に誤りタイプ別の性能はどのように変化するかを調べる．表 14 に擬似データ量を変化させた時の誤りタイプ別の Recall を示す。表 14 より，ほとんどの場合，擬似データなしの時に比べ擬似データを使用した時の方が誤りタイプ別の性能も向上することが分かる。また助詞誤りや助動詞の選択誤りなどは擬似データ量が $1 \mathrm{M}$

の時と比べ $10 \mathrm{M}$ では Recall が $2 \%$ 程度上昇している。一方綴り誤りでは擬似デー夕なしの時よりも $10 \mathrm{M}$ の時の方が性能が下がっている。また句読点誤りの性能は擬似デー夕量が $1 \mathrm{M}$ と 10M の時でほとんど変わっていない。この理由には Back-translation では綴り誤りや句読点誤りを上手く生成できていないことが考えられ，擬似データにより性能が向上しやすい誤りタイプとそうでない誤りタイプが存在することが分かった.

## 6 おわりに

本研究では日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築した. 学習者文には Lang-8 コーパスの日本語学習者文を利用し，一貫した訂正基準に基づき訂正を施した。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため，評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せた。本評価コーパスが日本語文法誤り訂正の研究促進に寄与することを期待する。実験では 6 種類の代表的な文法誤り訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコアを示した. 今後の課題としては日本語版 ERRANT の開発が挙げられる。本実験では誤りタイプ別の性能評価に Recall を用いたが，モデルをより精緻に評価するには Precision も考慮した $\mathrm{F}_{0.5}$ で評価することが望ましい，誤りタイプ別の $\mathrm{F}_{0.5}$ を求めるには， モデル出力に誤用タグを付与し，誤りタイプ別の Precision を求める必要がある。しかし日本語では ERRANT のような自動誤用タグ付けツールが存在せず，人手での誤用タグ付けはコストが高い。したがって日本語版 ERRANT を開発し，モデルの誤りタイプ別の性能を $\mathrm{F}_{0.5}$ で評価可能にする必要がある.

## 謝 辞

Lang-8 のデータを提供してくださった株式会社 Lang-8 の喜洋洋氏に感謝申しあげます.

## 参考文献

浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治 (2019). Universal Dependencies 日本語コーパス. 自然言語処理, 26 (1), pp. 3-36. [M. Asahara et al. (2019). Japanese Universal Dependencies Corpora. Journal of Natural Language Processing, 26 (1), pp. 336.].

浅野広樹, 水本智也, 乾健太郎 (2018). 文法性$\cdot$流暢性$\cdot$意味保存性に基づく文法誤り訂正の参照無し評価. 自然言語処理, 25 (5), pp. 555-576. [H. Asano et al. (2018). A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error

Correction. Journal of Natural Language Processing, 25 (5), pp. 555-576.].

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Boyd, A. (2018). "Using Wikipedia Edits in Low Resource Grammatical Error Correction." In Proceedings of the 4th Workshop on Noisy User-generated Text, pp. 79-84.

Brockett, C., Dolan, W. B., and Gamon, M. (2006). "Correcting ESL Errors Using Phrasal SMT Techniques." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 249-256.

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 697-707.

Cahill, A., Madnani, N., Tetreault, J., and Napolitano, D. (2013). "Robust Systems for Preposition Error Correction Using Wikipedia Revisions." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 507-517.

Choe, Y. J., Ham, J., Park, K., and Yoon, Y. (2019). "A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5755-5762.

Chollampatt, S., Wang, W., and Ng, H. T. (2019). "Cross-Sentence Grammatical Error Correction." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 435-445.

Cohen, J. (1960). "A Coefficient of Agreement for Nominal Scales." Educational and Psychological

Measurement, 20 (1), pp. 37-46.

Dagneaux, E., Denness, S., and Granger, S. (1998). "Computer-aided Error Analysis." System, 26 (2), pp. 163-174.

Dahlmeier, D. and Ng, H. T. (2011). "Grammatical Error Correction with Alternating Structure Optimization." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 915-923.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of the 8th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31.

De Felice, R. and Pulman, S. G. (2008). "A Classifier-Based Approach to Preposition and Determiner Error Correction in L2 English." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 169-176.

de Marneffe, M.-C., Manning, C. D., Nivre, J., and Zeman, D. (2021). "Universal Dependencies." Computational Linguistics, 47 (2), pp. 255-308.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587.

Felice, M., Bryant, C., and Briscoe, T. (2016). "Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 825-835.

Flachs, S., Stahlberg, F., and Kumar, S. (2021). "Data Strategies for Low-Resource Grammatical Error Correction." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 117-122.

藤野拓也, 水本智也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の作文の誤り訂正に向けた単語分割. 言語処理学会第 18 回年次大会発表論文集, pp. 26-29. [T. Fujino et al. (2012). Nihongo Gakushu-Sha no Sakubun no Ayamari Teisei ni Muketa Tango Bunkatsu. In Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 26-29.].

Gamon, M. (2010). "Using Mostly Native Data to Correct Errors in Learners' Writing." In Proceedings of Human Language Technologies: The 2010 Annual Conference of the North

American Chapter of the Association for Computational Linguistics, pp. 163-171.

Gamon, M., Gao, J., Brockett, C., Klementiev, A., Dolan, W. B., Belenko, D., and Vanderwende,

L. (2008). "Using Contextual Speller Techniques and Language Modeling for ESL Error Correction." In Proceedings of the 3rd International Joint Conference on Natural Language Processing, pp. 449-456.

Ge, T., Wei, F., and Zhou, M. (2018a). "Fluency Boost Learning and Inference for Neural Grammatical Error Correction." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1055-1065.

Ge, T., Wei, F., and Zhou, M. (2018b). "Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study." arXiv preprint arXiv:1807.01270 [cs. $C L]$.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional Sequence to Sequence Learning." In Proceedings of the 34th International Conference on Machine Learning, pp. 1243-1252.

Gotou, T., Nagata, R., Mita, M., and Hanawa, K. (2020). "Taking the Correction Difficulty into Account in Grammatical Error Correction Evaluation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2085-2095.

Granger, S. (1998). "The Computerized Learner Corpus: A Versatile New Source of Data for SLA Research." In Learner English on Computer, pp. 3-18.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2018). "Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 284-290.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2019). "Minimally-Augmented Grammatical Error Correction." In Proceedings of the 5th Workshop on Noisy User-generated Text, pp. 357-363.

Grundkiewicz, R., Junczys-Dowmunt, M., and Gillian, E. (2015). "Human Evaluation of Grammatical Error Correction Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263.

Gu, J., Wang, C., and Zhao, J. (2019). "Levenshtein Transformer." In Advances in Neural Information Processing Systems 32, pp. 11181-11191.

Guo, M., Dai, Z., Vrandečić, D., and Al-Rfou, R. (2020). "Wiki-40B: Multilingual Language Model Dataset." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

本間広樹，小町守 (2022). 高速な文法誤り訂正機能を持つ日本語ライティング支援システムの構築. 人工知能学会論文誌, 37 (1), pp. 1-14. [H. Homma, and M. Komachi (2022). Japanese Writing Support System with Fast Grammatical Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 37 (1), pp. 1-14.].

Honnibal, M. and Montani, I. (2017). "spaCy 2: Natural Language Understanding with Bloom Embeddings, Convolutional Neural Networks and Incremental Parsing.".

今枝恒治, 河合敦夫, 石川裕司, 永田亮, 栘井文人 (2003). 日本語学習者の作文における格助詞の誤り検出と訂正. 情報処理学会研究報告, コンピュータと教育研究会, 2003 (13), pp. 39-46. [K. Imaeda et al. (2003). Error Detection and Correction of Case Particles in Japanese Learner's Composition. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Computers in Education, 2003 (13), pp. 39-46.].

今村賢治, 齋藤邦子, 貞光九月, 西川仁 (2012). 小規模誤りデータからの日本語学習者作文の助詞誤り訂正. 自然言語処理, 19 (5), pp. 381-400. [K. Imamura et al. (2012). Particle

Error Correction of Japanese Learners from Small Error Data. Journal of Natural Language Processing, 19 (5), pp. 381-400.].

井上優, 宇佐美洋, 成田高宏, 鏈水兼高 (2006). 作文対訳データベースの多様な利用のために：

「日本語教育のための言語資源及び学習内容に関する調査研究」成果報告書. [M. Inoue et al. (2006). Sakubun Taiyaku Detabesu no Tayo na Riyo no Tame ni: 'Nihongo Kyoiku no Tame no Gengo Shigen Oyobi Gakushu Naiyo ni Kansuru Chosa Kenkyu' Seika Hokoku-Sho. National Institute for Japanese Language and Linguistics.].

Ji, J., Wang, Q., Toutanova, K., Gong, Y., Truong, S., and Gao, J. (2017). "A Nested Attention Neural Hybrid Model for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 753-762.

Junczys-Dowmunt, M. and Grundkiewicz, R. (2016). "Phrase-based Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1546-1556.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of the 2018 Conference of the North American Chapter of the Association for

Computational Linguistics: Human Language Technologies, pp. 595-606.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254.

Kantor, Y., Katz, Y., Choshen, L., Cohen-Karlik, E., Liberman, N., Toledo, A., Menczel, A., and Slonim, N. (2019). "Learning to Combine Grammatical Error Corrections." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 139-148.

笠原誠司, 藤野拓也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の誤り傾向を反映した格助詞訂正. 言語処理学会第 18 回年次大会発表論文集, pp. 14-17. [S. Kasahara et al. (2012). Nihongo Gakushu-Sha no Ayamari Keiko o Hanei Shita Kakujoshi Teisei. In Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 14-17.].

Katsumata, S. and Komachi, M. (2020). "Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model." In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 827-832.

木山朔, 上坂奏人, 佐藤郁子, 佐藤京也, 米田悠人, 小山碧海, 三田雅人, 岡照晃, 小町守 (2022).日本語文法誤り訂正の流暢性評価に向けたデー夕作成. 言語処理学会第 28 回年次大会発表論文集, pp. 1704-1709. [H. Kiyama et al. (2022). Nihongo Bumpo Ayamari Teisei no Ryucho-Sei Hyoka ni Muketa Deta Sakusei. In Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1704-1709.].

Kiyono, S., Suzuki, J., Mizumoto, T., and Inui, K. (2020). "Massive Exploration of Pseudo Data for Grammatical Error Correction." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, pp. 2134-2145.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 177-180.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of
the Association for Computational Linguistics, pp. 127-133.

小山碧海, 喜友名朝視顕, 小林賢治, 新井美桜, 小町守 (2020). 日本語学習者の文法誤り訂正のための評価コーパス構築. 言語処理学会第 26 回年次大会発表論文集, pp. 145-148. [A. Koyama et al. (2020). Nihongo Gakushu-Sha no Bumpo Ayamari Teisei no Tame no Hyoka Kopasu Kochiku. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 145-148.].

Koyama, A., Kiyuna, T., Kobayashi, K., Arai, M., and Komachi, M. (2020). "Construction of an Evaluation Corpus for Grammatical Error Correction for Learners of Japanese as a Second Language." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 204-211.

小山碧海, 喜友名朝視顕, 三田雅人, 岡照晃, 小町守 (2022). 日本語文法誤り訂正評価コーパスへの誤用タグ付け. 情報処理学会研究報告, 自然言語処理研究会, 2022-NL-253 (17), pp. 1-9. [A. Koyama et al. (2022). Nihongo Bumpo Ayamari Teisei Hyoka Kopasu he no Goyo Tagu Zuke. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2022-NL-253 (17), pp. 1-9.].

古山翔太, 高村大也, 岡崎直観 (2022). 多様な規則を活用した文法誤り訂正のデー夕拡張に関する分析. 自然言語処理, 29 (2), pp. 542-586. [S. Koyama et al. (2022). Analysis of Data Augmentation for Grammatical Error Correction Based on Various Rules. Journal of Natural Language Processing, 29 (2), pp. 542-586.].

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 66-75.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Lai, S., Zhou, Q., Zeng, J., Li, Z., Li, C., Cao, Y., and Su, J. (2022). "Type-Driven MultiTurn Corrections for Grammatical Error Correction." In Findings of the Association for Computational Linguistics: ACL 2022, pp. 3225-3236.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Levenshtein, V. I. (1966). "Binary Codes Capable of Correcting Deletions, Insertions and Reversals." Soviet Physics Doklady, 10 (8), pp. 707-710.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Li, X. and He, J. (2021). "Data Augmentation of Incorporating Real Error Patterns and Linguistic Knowledge for Grammatical Error Correction." In Proceedings of the 25th Conference on Computational Natural Language Learning, pp. 223-233.

Lichtarge, J., Alberti, C., and Kumar, S. (2020). "Data Weighted Training Strategies for Grammatical Error Correction." Transactions of the Association for Computational Linguistics, 8, pp. 634-646.

Lichtarge, J., Alberti, C., Kumar, S., Shazeer, N., Parmar, N., and Tong, S. (2019). "Corpora Generation for Grammatical Error Correction." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3291-3301.

Liu, J., Cheng, F., Wang, Y., Shindo, H., and Matsumoto, Y. (2018). "Automatic Error Correction on Japanese Functional Expressions Using Character-based Neural Machine Translation." In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, pp. 394-403.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

三田雅人, 水本智也, 金子正弘, 永田亮, 乾健太郎 (2021). 文法誤り訂正モデルの横断評価.自然言語処理, 28 (1), pp. 160-182. [M. Mita et al. (2021). Cross-Sectional Evaluation of Grammatical Error Correction Models. Journal of Natural Language Processing, 28 (1), pp. 160-182.].

Mita, M., Kiyono, S., Kaneko, M., Suzuki, J., and Inui, K. (2020). "A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 267-280.

Mita, M., Mizumoto, T., Kaneko, M., Nagata, R., and Inui, K. (2019). "Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models - Is Single-Corpus Evaluation Enough?" In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1309-1314.

Mita, M. and Yanaka, H. (2021). "Do Grammatical Error Correction Models Realize Grammatical Generalization?" In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4554-4561.

水本智也 (2020). 日本語文法誤り訂正における最適な分割単位の調査. 言語処理学会第 26 回年次大会発表論文集, pp. 1336-1339. [T. Mizumoto (2020). Nihongo Bumpo Ayamari Teisei ni Okeru Saiteki na Bunkatsu Tani no Chosa. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 1336-1339.].

Mizumoto, T., Hayashibe, Y., Komachi, M., Nagata, M., and Matsumoto, Y. (2012). "The Effect of Learner Corpus Size in Grammatical Error Correction of ESL Writings." In Proceedings of the 24th International Conference on Computational Linguistics: Posters, pp. 863-872.水本智也, 小町守, 永田昌明, 松本裕治 (2013). 日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432. [T. Mizumoto et al. (2013). Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 28 (5), pp. 420-432.].

Morishita, M., Chousa, K., Suzuki, J., and Nagata, M. (2022). "JParaCrawl v3.0: A Largescale English-Japanese Parallel Corpus." In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 6704-6710.

Morishita, M., Suzuki, J., and Nagata, M. (2020). "JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297.

Nagata, R. and Nakatani, K. (2010). "Evaluating Performance of Grammatical Error Detection to Maximize Learning Effect." In Proceedings of the 23rd International Conference on Computational Linguistics: Posters, pp. 894-900.

南保亮太, 乙武北斗, 荒木健治 (2007). 文節内の特徵を用いた日本語助詞誤りの自動検出・校正. 情報処理学会研究報告, 自然言語処理研究会, 2007 (94), pp. 107-112. [R. Nampo et al. (2007). Automatic Error Detection and Correction of Japanese Particles Using Features within Bunsetsu. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2007 (94), pp. 107-112.].

Náplava, J. and Straka, M. (2019). "Grammatical Error Correction in Low-Resource Scenarios." In Proceedings of the 5th Workshop on Noisy User-generated Text, pp. 346-356.

Náplava, J., Straka, M., Straková, J., and Rosen, A. (2022). "Czech Grammar Error Correction with a Large and Diverse Corpus." Transactions of the Association for Computational Linguistics, 10, pp. 452-467.

Napoles, C., Nădejde, M., and Tetreault, J. (2019). "Enabling Robust Grammatical Error Correction in New Domains: Data Sets, Metrics, and Analyses." Transactions of the Association for Computational Linguistics, 7, pp. 551-566.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 588-593.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2016). "GLEU Without Tuning." arXiv preprint arXiv:1605.02592 [cs.CL].

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of the 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12.

Nivre, J., de Marneffe, M.-C., Ginter, F., Goldberg, Y., Hajič, J., Manning, C. D., McDonald, R., Petrov, S., Pyysalo, S., Silveira, N., Tsarfaty, R., and Zeman, D. (2016). "Universal Dependencies v1: A Multilingual Treebank Collection." In Proceedings of the 10th Language Resources and Evaluation Conference, pp. 1659-1666.

Nivre, J., de Marneffe, M.-C., Ginter, F., Hajič, J., Manning, C. D., Pyysalo, S., Schuster, S., Tyers, F., and Zeman, D. (2020). "Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4034-4043.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.
小川耀一朗, 山本和英 (2020). 日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成. 言語処理学会第 26 回年次大会発表論文集, pp. 505-508. [Y. Ogawa and K. Yamamoto (2020). Nihongo Bumpo Ayamari Teisei ni Okeru Ayamari Keiko o Koryo Shita Giji Ayamari Seisei. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 505-508.].

岡照晃 (2019). 言語研究のための電子化辞書. コーパスと辞書, 講座日本語コーパス 7, pp. 1-28.朝倉書店. [T. Oka (2019). Gengo Kenkyu no Tame no Denshi-Ka Jisho. Kopasu to Jisho, Koza Nihongo Kopasu 7, pp. 1-28. Asakura Shoten.].

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 48-53.

大山浩美, 小町守, 松本裕治 (2016). 日本語学習者の作文における誤用タイプの階層的アノテー ションに基づく機械学習による自動分類. 自然言語処理, 23 (2), pp. 195-225. [H. Oyama et al. (2016). Hierarchical Annotation and Automatic Error-Type Classification of Japanese Language Learners' Writing. Journal of Natural Language Processing, 23 (2), pp. 195-225.].

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pereira, L., Manguilimotan, E., and Matsumoto, Y. (2016). "Leveraging a Large Learner Corpus for Automatic Suggestion of Collocations for Learners of Japanese as a Second Language." CALICO Journal, 33 (3), pp. 311-333.

Qorib, M., Na, S.-H., and Ng, H. T. (2022). "Frustratingly Easy System Combination for Grammatical Error Correction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1964-1974.

Radford, A., Narasimhan, K., Salimans, T., and Sutskever, I. (2018). "Improving Language Understanding by Generative Pre-Training.".

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Reimers, N. and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language

Processing, pp. 3982-3992.

Rothe, S., Mallinson, J., Malmi, E., Krause, S., and Severyn, A. (2021). "A Simple Recipe for Multilingual Grammatical Error Correction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 702-707.

Rozovskaya, A. and Roth, D. (2010a). "Generating Confusion Sets for Context-Sensitive Error Correction." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 961-970.

Rozovskaya, A. and Roth, D. (2010b). "Training Paradigms for Correcting Errors in Grammar and Usage." In Proceedings of Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 154-162.

Rozovskaya, A. and Roth, D. (2011). "Algorithm Selection and Model Adaptation for ESL Correction Tasks." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 924-933.

Rozovskaya, A. and Roth, D. (2019). "Grammar Error Correction in Morphologically Rich Languages: The Case of Russian." Transactions of the Association for Computational Linguistics, 7, pp. 1-17.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality." Transactions of the Association for Computational Linguistics, 4, pp. 169-182.

Sakaguchi, K., Post, M., and Van Durme, B. (2017). "Grammatical Error Correction with Neural Reinforcement Learning." In Proceedings of the 8th International Joint Conference on Natural Language Processing, pp. 366-372.

Schneider, D. and McCoy, K. F. (1998). "Recognizing Syntactic Errors in the Writing of Second Language Learners." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, pp. 1198-1204.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96.

Shazeer, N. and Stern, M. (2018). "Adafactor: Adaptive Learning Rates with Sublinear Memory Cost." In Proceedings of the 35th International Conference on Machine Learning, pp. 4596-4604.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15 (56), pp. 1929-1958.

Stahlberg, F., Kulikov, I., and Kumar, S. (2022). "Uncertainty Determines the Adequacy of the Mode and the Tractability of Decoding in Sequence-to-Sequence Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8634-8645.

Stahlberg, F. and Kumar, S. (2021). "Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 37-47.

Straka, M., Náplava, J., and Straková, J. (2021). "Character Transformations for NonAutoregressive GEC Tagging." In Proceedings of the 7th Workshop on Noisy User-generated Text, pp. 417-422.

Sun, X. and Wang, H. (2022). "Adjusting the Precision-Recall Trade-Off with Align-and-Predict Decoding for Grammatical Error Correction." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 686-693.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems 27, pp. 3104-3112.

Suzuki, D., Takahashi, Y., Yamashita, I., Aida, T., Hirasawa, T., Nakatsuji, M., Mita, M., and Komachi, M. (2022). "Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction." In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 5565-5572.

Suzuki, H. and Toutanova, K. (2006). "Learning to Predict Case Markers in Japanese." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 1049-1056.

Swanson, B. and Yamangil, E. (2012). "Correction Detection and Error Type Selection as an ESL Educational Aid." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 357-361.

Tajiri, T., Komachi, M., and Matsumoto, Y. (2012). "Tense and Aspect Error Correction for ESL Learners Using Global Context." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 198-202.

田中佑，村脇有吾，河原大輔，黒橋禎夫 (2021). 日本語 Wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの構築. 自然言語処理, 28 (4), pp. 995-1033. [Y. Tanaka et al. (2021). Building a Japanese Typo Dataset and Typo Correction System Based on Wikipedia's Revision History. Journal of Natural Language Processing, 28 (4), pp. 995-

1033.].

塘優旗, 小町守 (2015). 部分的アノテーションを利用した CRF による日本語学習者文の単語分割. 情報処理学会研究報告, 自然言語処理研究会, 2015-NL-223 (2), pp. 1-9. [Y. Tomo, and M. Komachi (2015). Bubun-Teki Anoteshon o Riyo Shita CRF niyoru Nihongo Gakushu-Sha Bun no Tango Bunkatsu. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2015-NL-223 (2), pp. 1-9.].

Trinh, V. A. and Rozovskaya, A. (2021). "New Dataset and Strong Baselines for the Grammatical Error Correction of Russian." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4103-4111.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wan, Z., Wan, X., and Wang, W. (2020). "Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2202-2212.

Wang, L. and Zheng, X. (2020). "Improving Grammatical Error Correction Models with PurposeBuilt Adversarial Examples." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 2858-2869.

White, M. and Rozovskaya, A. (2020). "A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction." In Proceedings of the 15th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 198-208.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Xie, Z., Genthial, G., Xie, S., Ng, A., and Jurafsky, D. (2018). "Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 619-628.

Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., and Raffel, C. (2021). "mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498.
山下郁海, 金子正弘, 三田雅人, 勝又智, Aizhan Imankulova, 小町守 (2022). 言語間での転移学習のための事前学習モデルと多言語の学習者データを用いた文法誤り訂正. 自然言語処理, 29 (2), pp. 314-343. [I. Yamashita et al. (2022). Grammatical Error Correction with Pretrained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning. Journal of Natural Language Processing, 29 (2), pp. 314-343.].

Yannakoudakis, H., Andersen, Ø. E., Geranpayeh, A., Briscoe, T., and Nicholls, D. (2018). "Developing an Automated Writing Placement System for ESL Learners." Applied Measurement in Education, 31 (3), pp. 251-267.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189.

Yasunaga, M., Leskovec, J., and Liang, P. (2021). "LM-Critic: Language Models for Unsupervised Grammatical Error Correction." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7752-7763.

Yuan, Z. and Briscoe, T. (2016). "Grammatical Error Correction using Neural Machine Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 380-386.

Yuan, Z. and Bryant, C. (2021). "Document-level Grammatical Error Correction." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 75-84.

Yuan, Z., Taslimipoor, S., Davis, C., and Bryant, C. (2021). "Multi-Class Grammatical Error Detection for Correction: A Tale of Two Systems." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8722-8736.

Zhang, Y., Li, Z., Bao, Z., Li, J., Zhang, B., Li, C., Huang, F., and Zhang, M. (2022). "MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3118-3130.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 156-165.

Zhou, W., Ge, T., Mu, C., Xu, K., Wei, F., and Zhou, M. (2020). "Improving Grammatical Error Correction with Machine Translation Pairs." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 318-328.

## 付録

## A BART 及び T5 の設定

表 15 に BART 及び T5 のハイパーパラメータと推論時の設定を示す.

表 15 BART 及び T5 のハイパーパラメータと推論時の設定.

## 略歴

小山碧海：2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年 KDDI 株式会社入社及び東京都立大学大学院システムデザイン研究科情報科学域博士後期課程進学. 現在に至る.

喜友名朝視顕 : 2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年ヤフー株式会社入社. 現在に至る.小林賢治：2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年 NECソリユーションイノベータ株式会社入社. 現在に至る.

新井美桜：2017 年帝京大学外国語学部外国語学科卒業. 2020 年首都大学東京 (現東京都立大学) 大学院システムデザイン研究科情報科学域博士前期課程修了. 同年フューチャー株式会社入社. 現在に至る.

三田雅人：2014 年県立広島大学経営情報学部経営学科卒業. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程終了. 同年日本マイクロ

ソフト株式会社入社. 2018 年理化学研究所革新知能統合研究センター入所. 2021 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学).同年東京都立大学システムデザイン学部特任助教. 2022 年株式会社サイバー エージェント AI Lab リサーチサイエンティスト. 現在に至る. 言語処理学会, ACL 各会員.

岡照晃：2010 年豊橋技術科学大学情報工学課程卒業. 2012 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年より日本学術振興会特別研究員 (DC2) を経て, 2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年京都大学大学院情報学研究科特定研究員. 2016 年国立国語研究所言語変化研究領域プロジェクト非常勤研究員. 同年同研究所コーパス開発センター特任助教. 2021 年東京都立大学システムデザイン学部特任助教. 2023 年一橋大学ソーシャル・データサイエンス研究科特任助教. 現在に至る.

小町守：2005 年東京大学教養学部基礎科学科科学史 $\cdot$ 科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学) システムデザイン学部准教授. 2022 年同大学同学部教授. 2023 年一橋大学ソーシャル・データサイエンス研究科教授. 現在に至る. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 日本語数量表現コーパスと推論データセットの構築

小谷野華那 $\dagger$ - 谷中 曈 ${ }^{\dagger \dagger}$. 峯島 宏次 ${ }^{\dagger \dagger \dagger}$. 戸次 大介 $\dagger$
}

自然言語推論は, 前提文が真であるとき, 仮説文が真ならば含意, 偽ならば矛盾, ど ちらともいえないならば中立であると判定するタスクであり，言語理解の基礎をな すタスクの一つである。数量表現が現れる文間の推論では, 論理的含意と推意の間 で判定が異なることがある。また否定文や条件文などの文脈に数量表現が現れる推論では, 推論の向きが通常の文脈とは反転することが知られている. さらに日本語 の数量表現は出現形式が柔軟であり，様々な助数辞の種類や数量表現の用法がある. しかし, これらの意味論的・語用論的特徴に着目したコーパス, 及び, 数量表現の 理解を問うような推論データセットの構築は十分に進められていない. そこで本研究では, 既存の日本語ツリーバンクに含まれる文を用いて, 助数辞の種類, 数量表現の出現形式, 用法といった情報を付与したコーパスを構築する. その上で, この コーパスに基づき，日本語数量表現の推論データセットを構築する。また, 構築し た推論データセットを用いて, 事前学習済み言語モデルである日本語 BERT モデル が数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行った.実験の結果, 日本語 BERT モデルは, 様々な数量表現を含む推論の扱いについて課題があることを確認した。

キーワード : 数量表現, 日本語, 自然言語推論, 含意, 推意
## Constructing an Annotated Corpus and Inference Dataset for Japanese Numeral Expressions

\author{
Kana Koyano $^{\dagger}$, Hitomi Yanaka $^{\dagger \dagger}$, Koji Mineshima ${ }^{\dagger \dagger \dagger}$ and Daisuke Bekki ${ }^{\dagger}$
}

Natural language inference is a core natural language understanding task for determining whether a hypothesis is true (entailment), false (contradiction), or neither (neutral) when a set of premises is true. Logical entailment and implicature can differ when an inference contains numeral expressions. Embedding numeral expressions in contexts such as negation and conditionals can enable reversing the entailment relation between a premise and a hypothesis to that embedded in general contexts. Furthermore, numeral expressions in Japanese are characterized by the flexibility of quantifier positions, the variety of numeral suffixes, and their usages. However,

studies on developing annotated corpora focusing on these features and benchmark datasets for understanding Japanese numeral expressions have been limited. In this study, we developed a corpus that annotates each numeral expression in an existing phrase-structure-based Japanese treebank with its numeral suffix, position, and usage types. Furthermore, we constructed an inference dataset for numerical expressions based on our annotated corpus. Our inference dataset focused on inferences in which their entailment labels differ between logical entailment and implicature and contexts such as negations and conditionals where entailment labels can be reversed. Experiments were conducted using the constructed inference dataset to investigate the extent to which current standard pre-trained language models can handle inferences that require an understanding of numeral expressions. The results confirmed that the Japanese bidirectional encoder representation model cannot satisfactorily handle inferences involving various numeral expressions.

Key Words: Numeral Expressions, Japanese, Natural Language Inference, Entailment, Implicature

## 1 はじめに

日本語では数量表現が多様な形で現れる。例えば，以下の 3 つ文は, 形式は異なるが，いずれも同じ真理条件を持つ.

(1) 学生が 3 人いる.

(2) 3 人の学生がいる.

(3) 3 名の学生がいる.

(1) と (2)では, 文中において数量表現が現れる位置が異なっており, (2) と (3) では助数辞が異なっている。こうした数量表現の出現形式や助数辞の多様性は, 日本語の重要な特徴の一つであり，後述するように言語学での記述的・理論的研究が近年進んでいる. しかし, これまでのところ, これらの特徴に着目したコーパスの構築や, 言語学的な知見をふまえて日本語の数量表現の理解を問うようなデータセットの構築は，管見の限り行われていない.

自然言語理解の基礎をなすタスクの一つとして, 自然言語推論 (Natural Language Inference, NLI) がある (Cooper et al. 1994; Bowman et al. 2015). 自然言語推論は, 含意関係認識 (Recognizing Textual Entailment, RTE) とも呼ばれ，前提文が真であるとき，仮説文が必ず真なら含意 (ENTAILMENT)，必ず偽なら矛盾 (CONTRADICTION)，どちらでもないなら中立 (NEUTRAL) であることを判定するタスクである。自然言語推論では一般に意味論的推論の判定が想定されているが, 自然言語処理分野では近年, 意味論的推論だけでなく, 語用論的推論も研究の対象となっている (Jeretic et al. 2020).この 2 種類の推論は, 言語学の文献で議論されてきた含意
(entailment) と推意 (implicature) に対応する (Levinson 1983; Horn 1989; Levinson 2000). 例として，以下のような数量表現を含む前提文 $P$ と仮説文 $H$ のぺアについて考えよう.

(4) $P$ : 男性が道端に 4 人座っていた.

$H$ : 男性が道端に 5 人座っていた.

この $P$ に現れる数量表現 $\lceil 4$ 人」の解釈には, 「少なくとも 4 人座っていた」という解釈と, 「ちょうど 4 人座っていた」という 2 種類の解釈が存在する． $H$ に現れる数量表現 $\Gamma 5$ 人」についても同様である， 2 種類の解釈のうち, 前者は文の真理条件, 後者は協調の原理に基づく解釈であり, ここではそれぞれ意味論的解釈, 語用論的解釈 ${ }^{1}$ と呼ぶ， $P$ から $H$ のの推論は, 意味論的解釈のもとでは中立 (NEUTRAL) であるのに対し, 語用論的解釈のもとでは矛盾 (CONTRADICTION) となる。このように数量表現を含む前提文と仮説文のペアが与えられたとき，数量表現の解釈の仕方によって判定が異なることがあるため, 意味論的解釈と語用論的解釈を区別して考える必要がある。意味論的解釈に基づく推論を意味論的推論といい, 語用論的解釈に基づく推論を語用論的推論という.「含意ラベル」は意味論的推論の判定,「推意ラベル」は語用論的推論の判定を表し，それぞれ含意 (ENTAILMENT), 矛盾 (CONTRADICTION), 中立 (NEUTRAL)の 3 値をとる.

また，数量表現が否定文や条件節に現れる場合，通常の文脈に数量表現が現れる場合とは異なり，含意ラベルが変化することがある．表 1 の例では， $P$ から $H_{-}$の推論の含意ラべルは ENTAILMENT, $P$ から $H_{+}$への推論の含意ラベルは NEUTRAL である。つまり，「学生が 4 人以上いる（＝少なくとも 4 人いる)」は，「学生が 3 人以上いる」を含意するが，「学生が 5 人以上いる」を含意しない，一方，数量表現が否定文脈に現れる場合， $P$ から $H_{-} へ$ の推論の含意ラべルは NEUTRAL であるのに対し， $P$ から $H_{+}$の推論の含意ラベルは ENTAILMENT である。つまり,「学生が 4 人以上はいない」は「学生が 5 人以上はいない」を含意するが, 「学生が 3 人

表 1 否定文における含意ラベルの反転の例

以上はいない」を含意しない。このように，数量表現が否定文や条件節といった文脈に現れる場合（このような文脈は下方含意と呼ばれており， 4.2 節で詳細を述べる），推論の判定に影響を与えることがある.

本研究では, 助数辞の種類, 数量表現の出現形式, 用法をアノテーションした日本語の数量表現アノテーションコーパスを構築する．数量表現を含む文は， NPCMJ (NINJAL 2016) から抽出する。NPCMJ は，現代日本語の書き言葉と話し言葉に対して文の統語・意味解析情報が付与されているデータセットである。 さらに，作成した日本語数量表現アノテーションコーパスをもとに，含意ラベルと推意ラベルを付与した数量表現の推論データセットを構築する。本稿では, 数量表現コーパスおよび推論データセットの構築と, それを用いて現在の標準的な事前学習済み言語モデルの一つである日本語 BERT モデル (Devlin et al. 2019) が数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行う．構築した数量表現コーパスおよび推論データセットは研究利用可能な形式で公開している².

## 2 関連研究

英語の自然言語推論の研究として, 数量表現を含む NLI テストセット (Naik et al. 2018) がある.この NLI テストセットには，含意関係を表すための 3 種類のラベル（含意，矛盾，中立） を付与した文ぺアが 2,532 件ずつ, 計 7,596 件の文ぺアが含まれている. 最近の研究 (Liu et al. 2019)において, この数量表現を含む NLI テストセットは，文ぺアが簡単なテンプレートに基づいて構築されているため, 大半の問題（全体の約 $82 \%$ ）はいくつかのヒューリスティクスで解くことができると指摘されている.

Jeretic et al. (2020)は, 含意, 前提, 推意という推論現象の違いに着目した英語の NLIデータセットを構築した。この NLI データセットには, Jo ate some of the cake から Jo didn't eat all of the cake が推意されるといった, 数量表現を含むいわゆるスカラー推意 (scalar implicature) による推論を含んでいる。しかし，この NLI データセットは前提文と仮説文のテンプレートから自動で構築されているため, 単純な文が多いという問題がある.

Cui et al. (2022) は，多言語で事前学習された言語モデルが，英語における様々な数量表現を含む一般化量化子のふるまいをどの程度捉えることができるかについて, 一般化量化子の理解に特化したベンチマークGQNLIを構築し, 調査を行った. GQNLIで言語モデルを評価した結果, 言語モデルの最高精度は $48 \%$ であり, 一般化量化子を捉えられていないことが NLI モデルや質問応答モデルの性能改善の課題の一つとなっていることを示した.

日本語の推論データセットとして, 形式意味論テストセットの JSeM (Kawazoe et al. 2017),
^{2}$ https://github.com/KanaKoyano/numeral-expressions-corpus
}
画像キャプションに基づく英語の推論データセットである SNLI (Bowman et al. 2015)の日本語版である JSNLI (吉越他 2020), 画像キャプションに基づく推論データセットであり, 仮説文に否定表現や受身などの多様な言語現象を含めた英語の推論データセットである SICK (Marelli et al. 2014)の日本語版である JSICK (Yanaka and Mineshima 2022), 旅行情報サイトの評判という実テキストからクラウドソーシングで構築された JRTEC (Hayashibe 2020) などがある. これらの日本語の推論データセットでは, 日本語の数量表現の統語的, 意味的な多様性に焦点を当てていない.

Narisawa et al. (2013)は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て分析を行い，数量表現の規格化のための実装と評価を行った. Narisawa らは，数量表現が出現する文ぺアを 7 つのカデリに分類し，正しく含意関係を判定するために必要な処理について述べている。

上記のように, これまでの日本語の推論データセット, 日本語数量表現のための実装では, 数量表現の分類や数詞の違い, 含意ラベルと推意ラベルの違いについて十分に考慮されているとはいえない，しかし次節でみるように，数量表現と数詞の分類は，それらが参与する推論の結果を左右する要因である。そこで本研究では, 日本語の数量表現の出現形式と用法, 助数辞の分類を整理し，整理した分類体系に基づいて実テキストに対して意味アノテーションを付与した数量表現コーパスを構築する。また，構築したコーパスを用いて含意ラベルと推意ラベルを付与した数量表現を含む推論データセットを構築する.

## 3 日本語数量表現の分類

## 3.1 アノテーションの手順

本研究では, NPCMJ 内の 126 文に含まれる 287 件の数量表現について, 言語学の素養のある大学院生 1 名がアノテーションを行った. NPCMJには，青空文庫，辞書，ニュースなどの様々なジャンルのデータが含まれている。複雑な文を扱った挑戦的な推論データセットを構築することを最終目的として，数量表現を 2 つ以上含む文をアノテーションの対象として抽出した。また，否定表現と条件節を含む文については数量表現を 1 つ以上含む文を抽出した。アノテーションしたデータの一部は, 専門家と議論を行いアノテーション結果が妥当であることを確認している.

タグ付け文中に現れる数量表現にくnum>タグを付与し, 助数辞の分類, 出現形式, 用法についてアノテーションを行った. 文中に複数の数量表現が現れる場合は，1つ目の数量表現に<num>夕グを付与したもの，2つ目の数量表現に<num>タグを付与したもののように，1つの数量表現に<num>タグを付与した文を複数作成し，各文の<num>タグが付与されている数量表現に対してアノテーションを行った. コーパスに含まれる助数辞, 出現形式, 用法の分類の例とアノテー

ション件数は, 表 2 に示す. 次の文は, 本研究で構築した数量表現コーパスに含まれる一文である。

(5) ちなみに金板の百人一首は<num>1 セット</num>で 80 万円である.

(5) で<num>タグが付与されている数量表現「1 セット」の助数辞タイプは「単位形成辞」, 出現形式タイプは $\lceil\mathrm{QCQ}$ 型」, 用法タイプは「Q を修飾する $\mathrm{Q}\rfloor$ となる. 次節以降で助数辞, 出現形式，用法の分類の詳細を述べる.

表 2 (a) 助数辞, (b) 出現形式, (c) 用法の分類の例とアノテーション件数

## 3.2 助数辞の分類

飯田 (2019), Iida (2021) は, 助数辞を分類辞, 単位形成辞, 計量辞の 3つのタイプに分類した. これに加えて, 時間や系列の中での順序を表す順序数辞 (奥津 1996) というクラスの数量表現も存在する. そこで本研究では, 飯田の 3 つのタイプの助数辞に順序数辞を加えた計 4 夕イプによる分類を提案し, 助数辞タイプのアノテーションを行う.

助数辞の分類の例を表 2 の (a) に示す. 分類辞には, 助数辞単体では使用されないもの, 複数の人やものに対して使用されるもの, 汎用的な助数辞が含まれる. 次の 2 文は分類辞の例である.

(6) ライオンが 2 頭いる.

(7) 靴を 1 足買った.

(6) の助数辞「頭」は「アタマ」という読み方で名詞として使用されるが, 「トウ」という読み方で単体で使用されることはないため，これは分類辞に該当する。(7)の「足」は左右合わせた 1 つの靴の組に対して使われる助数辞であり, これも分類辞である。また, 汎用的な助数辞は 「つ」や「個」があり，これも分類辞に含まれる.

単位形成辞は, 何らかの容器を表す普通名詞であり, 助数辞としてではなく単独で用いることが可能である。これらの名詞は，分類辞を持つ数量表現によって量化されることもある．次の文では，数量表現である「2 個」が普通名詞「箱」を量化している.

(8) 箱が 2 個ある.

単位形成辞は, 新しい形の容器が社会に普及すると, それが新たに単位形成辞に追加されるという特徴を持つ. 外来語である「パック」はまさにその例である.

計量辞は,「キロ」は重さや距離を表す単位,「メートル」は長さを表す単位など, 測定のための単位を表す助数辞である．計量辞は単位形成辞と同様に，いわゆる開いたクラスであり，新しい計量の単位が社会に普及するたびに, それが新たに計量辞に追加されるという特徴を持つ.順序数辞は，時間や順序を表す助数辞である。順序数辞を含む数量表現は，修飾する名詞が文中に現れないことが多く，むしろ数量表現自体が名詞としての役割を果たすといった特徴がある。日時を表す「年」「月」や，順序を表す「番」「位」が順序数辞の例である.

飯田は, 分類辞, 単位形成辞, 計量辞を分類するテストとして, 助数辞の後ろに「分」を付与するテストを挙げている. 次の文は分類辞「人」と，その後ろに「分」を付与した例である.

(9) 3 人の子供がいる.

(10) 3 人分の子供がいる.

分類辞に「分」を付与すると, そのままでは何を意味しているのかがわからないという特徴が

ある. (10) は子供が何に対して 3 人分いるのか, 十分な文脈が与えられない限り解釈が難しい.

単位形成辞は，元の文が真であれば「分」をつけたテスト文も真であるといえるが，その逆はいえないという特徴がある。次の文は単位形成辞「箱」の例である.

(11) 本が 3 箱ある.

(12) 本が 3 箱分ある.

(11) が真であれば，(12)も真であるといえる，しかし，（12)が真であったとしても，本が箱に入っているかどうかは分からないため, (11)が真であるということはできない.

計量辞は，元の文が真であれば「分」のついたテスト文も真であり，「分」がついたテスト文が真であれば元の文も真である，という特徴がある。次の文は計量辞「リットル」の例である.

（13）水が２リットルある.

(14) 水が 2 リットル分ある.

助数辞の分類は, 飯田の定義と言語的テストを踏まえれば，ほとんどのケースに対しては摇れがなく，一意的にアノテーションが可能であるが，表層形から一意に定まらず，文脈や用法によって分類が変わるものも存在する。例えば，「会議室は建物の 3 階にある」に現れる「階」 は順序数辞であるのに対し，「ここから 3 階のぼったところに会議室がある」に現れる「階」は計量辞である．前者は特定の位置を指しているのに対し，後者は 3 フロア分上の階に上がるという意味であり，会議室が 3 階に位置しているという意味ではない.

また, 助数辞のアノテーションの判断が摇れる例として，「升」がある。「升」は「マス」と 「ショウ」の 2 つ読みでそれぞれ助数辞となる. 次の例は, 数量表現コーパスに含まれる例である。

(15) 勿論, 私ひとりで【四升】吞みほしたわけでは無い.

(15)の「升」が呑んだ量を表しており，「ショウ」という読みであるとすると計量辞である。しかし, (15)は,「マス」という読みも可能であり,「升」が容器として用いられていると解釈すれば，単位形成辞と考えることもできる．本コーパスでは上記の例については前者の解釈でアノテーションし, 計量辞としている.

## 3.3 数量表現の出現形式

日本語百科事典 (矢澤 1988) では, 文中に現れる数量表現の形式を $\mathrm{Q} ノ \mathrm{NC}$ 型, $\mathrm{N} ノ \mathrm{QC}$ 型, NCQ 型, NQC 型の 4 つのタイプに分類している。岩田 (2013) は，この４タイプに加えて述部型, デ格型の 2 タイプを追加した. 本研究では，実テキスト上に現れる日本語の多様な数量表現を考慮して, これらの6 タイプに加えて, $\mathrm{QV}$ 型, $\mathrm{NvCQ}$ 型, $\mathrm{N}$ の脱落, $\mathrm{QCQ}$ 型, $(\mathrm{Q})$, イ

ディオム的という 6 タイプを追加した計 12 タイプによる分類を提案し, 出現形式タイプのアノテーションを行う． $\mathrm{N}, \mathrm{C}, \mathrm{Q}, \mathrm{V}, \mathrm{Nv}$ は，それぞれ普通名詞，格助詞，数量表現，動詞，サ変語幹を含むイベント名詞句を表す。数量表現の出現形式の例を表 $2(b)$ に示す.

次の文は, 日本語百科事典の 4 分類と岩田 (2013) が追加した 2 分類の例である.

(16) 【第 1 位 $\mathrm{Q}$ の雷神山古墳 $\mathrm{N}_{\mathrm{C}}$ 】名取川の南, 現在の名取市内にあり,【三つ ${ }_{\mathrm{Q}}$ の巨大古墳 $\mathrm{N}$ の至】間に多数の中小古墳が散らばっている.

(16) は本研究で構築した数量表現コーパスに含まれる $\mathrm{Q} ノ \mathrm{NC}$ 型の例であり,「3人の学生が」のように，数量表現 $\mathrm{Q}, 「 の 」$, 名詞 $\mathrm{N}$, 格助詞 $\mathrm{C}$ の順で並ぶタイプである. 「第 1 位の雷神山古墳は」と「二つの巨大古墳の」の 2 つが $\mathrm{Q} ノ \mathrm{NC}$ 型に該当する.

（17）現在の仙台市の推計人口は, 東北地方の中で最も多い約 107 万人で, 【宮城県民 ${ }_{\mathrm{N}}$ の $\underline{45.9 \%} \mathrm{Q}$ がC】居住する。

$\mathrm{N}$ ノ $\mathrm{QC}$ 型は, 「学生の 3 人が」のように, 名詞 $\mathrm{N}$, の, 数量表現 $\mathrm{Q}$, 格助詞 $\mathrm{C}$ の順で並ぶ夕イプであり，例として (17)が挙げられる.

（18）そこには，ユダヤ人のきよめのならわしに従って, それぞれ四, 五斗もはいる石の【水がめ $\mathrm{N}$ が $_{\mathrm{C}}$, 六つ $\mathrm{Q}$ 】置いてあった.

(18)は, $\mathrm{NCQ}$ 型の例であり,「学生が 3 人」のように, 名詞 $\mathrm{N}$, 格助詞 $\mathrm{C}$, 数量表現 $\mathrm{Q}$ の順で並ぶタイプである.

（19）科学者側の動きに合わせ, 文部科学省は 14 年度予算案に I L C の【調査検討費 $N 5000$ 万円 $\underline{Q}$ を्工力初めて計上した。

(19) は NQC 型の例であり,「学生 3 人が」のように, 名詞 $\mathrm{N}$, 数量表現 $\mathrm{Q}$, 格助詞 $\mathrm{C}$ の順で並ぶタイプである。

(20) 第一に，重すぎて，【二人 $\mathrm{Q}$ で】父親の帰ってくるまでに片づけことはできないだろう.

(20) はデ格型の例であり,「学生が 3 人で」のように, 数量表現 $\mathrm{Q}$, での順で並ぶタイプである。岩田 (2013)は, デ格型は, 数量の全体性・集合性を表すとしている。他の出現形式のタイプ, 例えば， $\mathrm{Q} ノ \mathrm{NC}$ 型も「3 人の学生が来た」のように，「来る」という行為を行った学生全体の数を表し（全体性）, 3 人の学生を要素とする集団として捉えられる（集合性）という特徴を持つ。デ格型は， $\mathrm{Q}$ ノ $\mathrm{NC}$ 型と異なり，「3人で来た」のように名詞 $\mathrm{N}$ を伴わずに全体性・集合性を表すことができるという特徴がある.

(21) ちなみに金板の百人一首は 1 セットで【80万円 $\mathrm{Q}$ である】.

(21) は述部型の例であり,「学生は 3 人だ」のように, 数量表現が述部に現れるタイプである.述部型もデ格型と同様に名詞を伴わずに使用できる。この 2 つ出現形式は, 話し言葉で頻出するタイプである。

岩田 (2013) は，頻度，時間，期間といった（動詞を修飾する）数量表現は研究対象としていない. 岩田 (2013) は，頻度を表す数量表現を含む文の例として，(22)や (23)を挙げ，このような数量表現の出現形式は $\mathrm{NCQ}$ 型しか存在しないと指摘している.

(22) 今年は東京へ 3 回行った

(23) 彼には 3 度会ったことがある

しかし，これらの数量表現は名詞を修飾しているのではなく，動詞（行った，会った）を修飾している。そのため, 本研究では，動詞を修飾する数量表現の出現形式として，QV 型を新たに追加した。さらに，名詞 $\mathrm{N}$ とイベント名詞句 $\mathrm{Nv}$ を区別するために， NvCQ 型を追加した

風になっておれば，決して四種類はやってみない

（24）は QV 型の例であり，数量表現 Q（十回）が動詞 V（測る）を修飾している。この例では数量表現と動詞の間に修飾表現が含まれているが, 間に修飾表現が入る場合も数量表現の後に動詞がくるという順番は変わらないため, QV 型に分類した. ${ }^{3}$

(25) は $\mathrm{NvCQ}$ 型の例である． Nv はサ変語幹を含むイベント名詞句であり， $\mathrm{NvCQ}$ 型は， Nvを修飾する数量表現 $\mathrm{Q}$ の出現形式である。(25)の「仕事」はサ変語幹であり，Qが Nvを行うのに要する期間を表している。実テキストに現れる日本語の数量表現には，数量表現が修飾する名詞が明記されていないものや，数量表現を修飾する数量表現がある. これらに対応する出現形式タイプとして，新たに $\mathrm{N}$ の脱落, $\mathrm{QCQ}$ 型を追加した.

(26) 見たところ，【100人吅】はいないようだ.

$\mathrm{N}$ の脱落という出現形式タイプは, 数量表現が修飾する名詞が文中に現れない場合を表す. (26) は何が 100 人なのかが文中に記載されていないため, このような場合は $\mathrm{N}$ の脱落という出現形式タイプを付与する.
$ も含まれる，時間副詞 $\mathrm{Q}$ と $\mathrm{Q}$ デの違いは，イベントの完了と未完了に関する推論の判定に影響を与え, 文法研究でも議論されている (Nakatani and Aoki 2015). 例えば，「3 時間書いた」は「2 時間書いた」を含意し，「4 時間は書いていない」を推意するが，「3 時間で書いた」は「2 時間では書き終わっていない」ことを含意する。本研究では $\mathrm{Q}$ とデは, 出現形式の違いという観点で分類しており, 前述のようなイベントの完了と未完了の推論の判定に影響を与える時間副詞の違いを分類体系に反映させることは今後の課題とする。
}

(27) は QCQ 型の例である，QCQ 型は数量表現を修飾する数量表現であり，この文では，「500 円」を修飾している「3枚」が QCQ 型に該当する，QCQ 型には「1時間 1000 円」のように格助詞 $\mathrm{C}$ が省略されているものも含まれる.

（28）始期は織田信長が足利義昭を奉じて京都に上洛した永禄 11 年【 1568 年 $)_{\mathrm{Q}} 】$ が有力であるが, 義昭が京都から放逐された元亀 4 年【(1573 年 ${ }_{\mathrm{Q}} \mathrm{Q}$, 安土城の築城が始まった天正 4 年【(1576 年 ${ }_{\mathrm{Q}}$ 】とする考えもある.

(28)は $(\mathrm{Q})$ の例である。(Q)という出現形式タイプは文中で ()の中に記載されている補足や注記の数量表現に対して付与する.

（29）その【一つ $\mathrm{Q}_{\mathrm{Q}} 】$ が， 2012 年 7 月, 欧州合同原子核研究所（スイス）で発見され, 世界的ニュースとなった「ヒッグス粒子」.

イデイオム的という出現形式タイプは, 数量表現の数詞を変える, もしくは数量詞接頭辞・接尾辞を付与すると容認不能になる数量表現に対して付与する。(29)の「一つ」は, 数詞を変更した場合も数量詞接頭辞・接尾辞を付与した場合も容認不能となるため, イデイオム的という出現形式タイプが付与されている.

## 3.4 数量表現の用法

数量表現の用法タイプは, 岩田 (2013) が扱っていた数量表現 Q の用法に加えて, 名詞 $\mathrm{N}$ を修飾する数量表現 $\mathrm{Q}$ に関する用法を 3 タイプ, 動詞 $\mathrm{V}$ を修飾する数量表現 $\mathrm{Q}$ に関する用法を 4 タイプ追加する。また，イベント名詞句 $\mathrm{Nv}$ を修飾する数量表現 $\mathrm{Q}$ ，数量表現 $\mathrm{Q}$ を修飾する $\mathrm{Q}$, イディオム的用法も追加し, 計 11 タイプの分類を提案する. 用法の例を表 $2(\mathrm{c})$ に示す.次の文は数量表現 $\mathrm{Q}$ が名詞 $\mathrm{N}$ を修飾する例である.

(30) 3 人の学生が来た.

（30）は Q が N のカテゴリー情報を表すものの例であり，数量表現 $\mathrm{Q} （ 3$ 人）の助数辞「人」が名詞 $N$ (学生) のカテゴリー情報を表している例である.

(31) 家族 3 人で旅行に行った.

(31) は Q が $\mathrm{N}$ 構成する要素の全体数を表すものの例である。この文に含まれる助数辞「人」 は (30)に含まれるものと同じであるが, 「人」は「家族」自体を数える助数辞ではなく, 家族という集合の構成する要素を数えているため，(30)には「Q が $\mathrm{N}$ のカテゴリー情報を表すもの」 を，(31)には「Qが $\mathrm{N}$ を構成する要素の全体数を表すもの」を付与している.

(32) その集団の 1 人が話している.

集合の要素に関する用法タイプとして， $\mathrm{Q}$ が $\mathrm{N}$ を構成する要素の一部を表すものもある。この用法の例は (32)であり, (31) とは異なり, 集合全体の要素数ではなく一部について表しているため，(31)には「Qが $\mathrm{N}$ を構成する要素の全体数を表すもの」を，(32)には「 $\mathrm{Q}$ が $\mathrm{N}$ を構成する要素の一部を表すもの」を付与している.

(33） 50 歳の男性がいる.

(33) は $\mathrm{Q}$ が $\mathrm{N}$ の属性や特徴を表すものの例である。（33) は他の 3 つの用法と異なり, 名詞 $\mathrm{N}$ の数についてではなく, $\mathrm{N}$ の特徴について述べる数量表現である.

数量表現 $\mathrm{Q}$ と動詞 $\mathrm{V}$ に関して, 出現形式の種類としては $\mathrm{QV}$ 型の 1 種類であるが，文中に現れる動詞とそれを修飾する数量表現の出現形式が同じであっても, 用法が異なる場合がある.数量表現 $\mathrm{Q}$ が動詞 $\mathrm{V}$ を修飾する用法としては，4夕イプある。次の文は数量表現 $\mathrm{Q}$ が動詞 $\mathrm{V}$ を修飾する例である。

(34) 東京に 2 回行く.

(34) はV が行われた回数を表す $\mathrm{Q}$ の例であり，「2 回」が「行く」が行われた回数を表している.

(35) 東京に 3 日滞在する.

(35) は V が行われた期間を表す $\mathrm{Q}$ の例である。（34) と出現形式は同じであるが，(35) では, 滞在した期間についての情報を $\mathrm{Q} （ 3$ 日）が担う.

(36) 東京に 9 時に到着する。

(36) は V が行われた時間を表す $\mathrm{Q}$ の例である。（36)では，到着する時点についての情報を $\mathrm{Q}$ (9時) が担う.

(37) 物価が $2 \%$ 増加する.

(37) は V の特徴を表す $\mathrm{Q}$ の例であり, $\mathrm{Q}(2 \%)$ は「増加する」という動詞 $\mathrm{V}$ がどの程度であったかという情報を担う。

## 4 数量表現の推論データセット

## 4.1 推論データセットの作り方

数量表現コーパスを用いて，数量に関する推論データセットを構築した. 前提文 $P$ は, 数量表現コーパスに含まれる文とした。仮説文 $H$ は，以下の手順 (a)～(c) に従い，すべて人手で作成した。
(a)（38）のように<num>タグが付与されている前提文の数量表現について，(39)のように意味を変えない最小の節を取り出す

(b) <num>タグが付与されている数詞の変更を行った文を作成する
- 前提文の数詞よりも大きい数を表す数詞に変更した文 $H_{+}$と小さい数を表す数詞に変更した文 $H_{-}$の 2 文を作成する
- 単純な文にならないように, 容認不能にならない範囲で構成素の変更（構成素の削除・置換・追加）を行う
- (38)のように「約」などの数量詞接頭辞・接尾辞がついている場合は, その数量詞接頭辞・接尾辞を削除する

(c) (b)で作成した 2 つの文 $H_{+}, H_{-}$の数量表現に対して, 原則として「以上」「以下」「ちょうど」をそれぞれ付与し，6つの仮説文を作成する
- 数量表現に合わせて, 必要に応じて付与する数量詞接頭辞・接尾辞を変更する

－ 順序数辞を持つ数量表現には，「以上」「以下」ではなく,「以降」「以前」を付与する

－＼cjkstart多様な数量詞接頭辞・接尾辞を含むデータセットを構築するため,「以上」 を「より大きい」に，「以下」を「より小さい」や「未満」に置き換えた仮説文も作成する

（38）仙台都市圏（広域行政圏）の推計人口は約<num>151万人</num>で...

(39) 仙台都市圈の推計人口は 160 万人以上である.

数詞の変更は, 数量表現に応じて増やす数, 減らす数を変更している．数詞の変更の範囲は,前提文に現れる数詞が 20 未満の場合は 5 以下とし，前提文に現れる数詞が 20 以上の場合は 5 以上としている．数詞の変更は，データセット内で同じ数詞ばかりが現れないように注意して行った. また, 助数辞タイプが計量辞の数量表現は, 小数部が許容されるため, 数詞が小数部をもつ仮説文も作成した。

数詞の変更や数量詞接頭辞・接尾辞の付与を行うと仮説文が容認不能となるもの, 出現形式がイデイオム的であるものは，推論データセットに含めていない.

推論データセットの各ペアに対して，言語学に素養のある 1 名の大学院生が含意ラベルと推意ラベルを付与した，推論データセットに含まれる含意ラベル，推意ラベルの一部は，専門家と議論を行いラベルが妥当であることを確認した。

## 4.2 下方含意文脈

本研究の推論データセットでは, 数量表現の単調性 (monotonicity) に関する推論を扱っている. $M$ が $N$ の下位概念である場合，通常は下位概念を含む文 $\varphi(M)$ は上位概念を含む文 $\varphi(N)$

 &  &  \\

表 3 推論データセットに含まれる文ぺアの例

を含意する。このような推論は上方含意 (upward entailing) な推論と呼ぶ．数量表現の場合, 例えば「200人」は「100人」の下位概念であるため，「会場に 200 人いる」という文が真であれば,「会場に 100 人いる」という文も真である。しかし, 否定文や条件文の前件といった下方含意文脈に数量表現が含まれると, 推論の向きが通常の文脈とは反転する場合があることが知られている，例えば，「会場には 100 人いなかった」という文は，「会場には 200 人いなかった」という文を含意する。

表 3 の最初の例は, upward entailing な前提文と仮説文のペアである. 2 番目と 3 番目の例は，それぞれ否定と条件文を含む下方含意 (downward entailing) な前提文と仮説文のぺアである. 本研究の推論データセットには, upward entailing な推論が 1,270 件, downward entailing な推論が 246 件含まれる。文中に否定表現や条件節が含まれていても，それらの下方含意文脈のスコープの外に数量表現が現れている場合は, upward entailing な推論が成立する。そのため, downward entailing な推論の件数は，否定表現，条件節を含む前提文と仮説文のぺアのうち, 下方含意文脈のスコープの内側に数量表現が含まれ，推論の向きが通常の文脈とは反転しているものの件数である. 現時点で, downward entailing な推論は 246 件と件数は少なく, このような推論を引き起こす表現が NPCMJコーパス内では稀であることを示している.

## 4.3 推論データセットの概要

本研究で作成した推論データセットは，1,516 件の前提文と仮説文のぺアを含む. 前提文と仮説文の例を表 3 に，推論データセットの統計情報を表 4 に示す。含意ラベルが NEUTRAL になるものについて, 推意ラべルは CONTRADICTIONになる場合があるため, 各ラベルの CONTRADICTION と NEUTRAL の件数は異なっている.

## 4.4 日本語 BERT の評価実験

## 4.4.1 実験設定

現在の標準的な事前学習済み言語モデルが数量表現の理解を必要とする推論をどの程度扱えるかを評価するため, 日本語 BERT (Devlin et al. 2019) (cl-tohoku/bert-base-japanese-wholeword-masking $)^{4}$ の評価実験を実施した。実験に用いた事前学習済み言語モデルの詳細を表 5 に示す.

実験では, JSICK (Yanaka and Mineshima 2022), JSNLI (吉越他 2020) という2つの標準的な日本語 NLI データセットを用いて，NLI タスクに関する BERT モデルのファインチューニングを行った，2節で紹介したように，JSICK は構成的推論に特化した英語の NLI データセットである SICK (Marelli et al. 2014)を人手で日本語に翻訳したデータセットであり, JSNLI はクラウドソーシングで構築された大規模な英語の NLI データセットである SNLI (Bowman et al. 2015) を機械翻訳で日本語に翻訳したデータセットである. JSICK と JSNLI の統計情報を表 6 に示す。また，ファインチューニングに用いたハイパーパラメータは, learning rate が 0.01 , batch size が 10 , epochs が 50, max length が 250 である. ハイパーパラメータは, ハイパーパラメータサーチをして最適なものを選んた。

## 4.4.2 実験結果と考察

日本語 BERT モデルを用いた評価実験の結果を表 7 に示す。全体的に, JSICK でファインチューニングした日本語 BERT モデルよりも JSNLI でファインチューニングした日本語 BERT

表 4 推論データセットの統計情報

表 5 事前学習済み言語モデルの詳細

表 6 学習データの統計情報
^{4}$ https://huggingface.co/cl-tohoku/bert-base-japanese
}

表 7 日本語 BERT モデルを用いた評価実験の結果（正答率）

モデルの方が正答率が高い傾向にあるが, いずれも $50 \%$ 未満だった. 特に, ENTAILMENT の正答率は 60\%以上であるのに対し, CONTRADICTION, NEUTRALの正答率はいずれも $40 \%$ 未満であり,既存の推論データセットでファインチューニングした場合, 日本語 BERT モデルは ENTAILMENT と予測する傾向がある。本研究で構築した推論データセットに含まれる ENTAILMENT の例は全体の $34 \%$ であのに対し, 日本語 BERT モデルは JSICK でファインチューニングした場合は 66\%, JSNLI でファインチューニングした場合は $60 \%$ の例で ENTAILMENT と予測している.

学習データによる違いについては, JSICKを使用した場合, CONTRADICTIONよりも NEUTRAL の方が正答率が高くなり, 反対に JSNLIを使用した場合は, CONTRADICTIONの方が NEUTRAL よりも正答率が高くなっている. 助数辞タイプ, 出現形式タイプ, 用法タイプによる正答率の違いは，表 8 に示す. 助数辞による正答率の違いとして，単位形成辞について，JSICKを学習データとしたときの日本語 BERT モデルの正答率が低い. 単位形成辞は, 表 2(a)にあるように他の助数辞よりも件数が少なく, JSICK においても, 単位形成辞に該当するデータが少ないため, 正答率が低くなった可能性がある，数量表現の出現形式による正答率の違いとして，デ格型について, JSICK を学習データとしたときの日本語 BERT モデルの正答率が低い. デ格型は，表 2(b) にあるように件数が少ない. JSICK と JSNLIにおいてもデ格型に該当するデータの件数が少なく, 加えて, JSICK は学習データ全体のサイズが小さいため, 正答率が低くなったと考えられる．数量表現の用法ごとの正答率の違いとして，JSNLIを学習データとしたときの日本語 BERT モデルの正答率は， $\mathrm{Q}$ が $\mathrm{N}$ の属性や特徴を表すものや，V が行われた時間を表す Q といった, 表 2(c) で件数が多いものが高い.

また, 学習データに本研究で構築した数量表現の推論データセットの一部を加えてファインチューニングを行い実験した．数量表現の推論データセットは $1: 1$ に分割し，半分を学習デー 夕に加え，半分をテストデータとして実験を行った。データセットを半分にしたときの統計情報を表 9 に示す。

表 10 は JSICK に数量表現の推論データセット (含意ラベル, 推意ラベル) をそれぞれ加えてファインチューニングを行った場合の実験結果である。含意ラベルを学習データに加えた場合は，テストデータは含意ラベル，推意ラベルを学習デー夕に加えた場合はテストデー夕は推意ラベルを付与したデータを使用した実験結果である。学習データに数量表現の推論データセットの一部を加えた場合, 含意ラベル，推意ラベルともに ENTAILMENT の正答率は下がったが，

表 8 (a) 助数辞, (b) 出現形式, (c) 用法ごとの正答率

CONTRADICTION の正答率は大きく上昇している. JSICKには表 6 に示すように CONTRADICTION の件数が少ないが, 本研究で構築した推論データセットは, 表 4 に示すように CONTRADICTION の件数が多いため, 日本語 BERT モデルが CONTRADICTION と予測することが多くなった可能性がある。

文ぺアに含まれる数量表現の助数辞タイプ, 出現形式タイプ, 用法タイプによる正答率の違いは，表 11 に示す. 全体として，含意ラベルを加えてファインチユーニングを行った場合の精度よりも推意ラベルを加えてファインチューニングを行った場合の精度のほうが高く, 表 8 の精度と比較して, どのタイプの精度も向上している. 特に, $\mathrm{NCQ}$ 型の精度が他のタイプよりも大きく向上しているが，これは表 9 にあるように $\mathrm{NQC}$ 型の件数が多いためと考えられる.

表 9 数量表現の推論データセットを学習データとテストデータに分けたときの統計情報

表 10 JSICK に数量表現の推論データセットの一部を追加しファインチューニングした場合の実験結果 (正答率)

表 11 JSICK に数量表現の推論データセットを追加しファインチューニングした場合の (a) 助数辞, (b)出現形式, (c) 用法の正答率

JSICK に含意ラベルのデータを追加してファインチューニングを行った場合に, 日本語 BERT が解けなかった文ぺアを表 12 に示す. 1 つ目の文ぺアの前提文に含まれる数量表現には数量詞接頭辞（約）が付与されている．前提文の数量表現「約 5 倍」が真であるとき仮説文の数量表現「ちょうど 5.5 倍」であるとは必ずしも限らない（5.2 倍などの可能性も考えられる）ため,正解ラベルは NEUTRAL となるが, 日本語 BERT は CONTRADICTION と予測している。このように，前提文の数量表現の数字よりも仮説文の数量表現の数字が大きく，前提文に数量詞接頭辞「約」, 仮説文に数量詞接頭辞「ちょうど」が含まれる場合, モデルは CONTRADICTION と予測する傾向が見られた，日本語 BERT モデルが間違ったラベルを予測した原因としては，前提文に数量詞接頭辞を含む文ぺアの件数が少ないことも考えられる.

2 目の文ぺアについて，前提文の $\lceil 90,231$ 人」は「ちょうど 90,231 人」であることを表すため, この文ぺアの正解ラベルは ENTAILMENT であるが，日本語 BERT モデルは CONTRADICTION と予測した。この文ぺアに出現する数量表現は「100,000人」と桁数が大きいため，学習データの中に同じような桁数が大きい数量表現を含む文ぺアが少ないことから，モデルは間違ったラベルを予測したと考えられる.

JSICK に推意ラベルのデータを追加してファインチューニングを行った場合に, 日本語 BERT モデルが解けなかった文ぺアを表 13 に示す。表 13 の1つ目の文ぺアは仮説文を作成する際に構成素の変更を行った例である。本研究では, 文ぺアのパターンが単純にならないように，構成素の変更を行うことでより難しい文ぺアを作成している。この文ぺアは, 前提文で括弧内に記述されている数量表現に関する推論であるが, 前提文には同じ助数辞 (本) を含む数量表現が複数出現するため, 日本語 BERT モデルが間違った予測をしたと考えられる。表 13 の 2 つ目の文ペアは否定表現を含む文ぺアである． 4.2 節にあるように，否定表現や条件節を含む downward entailing な推論は件数が少ないため, 学習データの不足から日本語 BERT モデルは推論結果を正しく予測できなかったと可能性がある.

 & NEUTRAL & CONTRADICTION \\

表 12 JSICK に含意ラベルのデータを追加してファインチューニングした日本語 BERT モデルが解けなかった文ぺアの例

表 13 JSICK に推意ラベルのデータを追加してファインチューニングした日本語 BERT モデルが解けなかった文ぺアの例

## 5 おわりに

本研究では, 日本語の数量表現コーパスを構築し, 助数辞の分類と数量表現の出現形式, その用法についてアノテーションを行った。また，構築した数量表現コーパスを用いて意味論的推論と語用論的推論のデータセットを作成した. 数量表現コーパスと推論データセットは, 数量表現の出現形式の柔軟性や助数辞の多様性といった日本語の特徴に着目して構築した. 数量表現の推論データセットの評価実験として, まず, 日本語 SNLI や日本語 SICK といった標準的な日本語の推論データセットでファインチューニングした日本語 BERT モデルを用いた評価実験を行った. 実験の結果, 構築した数量表現の推論データセットは, 現在の標準的な NLI モ゙ルルにとって十分に挑戦的な課題を提示していることを確認した. さらに, 学習デー夕に本研究で構築した推論データセットの一部を追加してファインチューニングした日本語 BERT モデルを評価した，その結果，精度向上が一定程度見られたものの, 依然として $50 \%$ 前後の正答率であり, 日本語 BERT モデルは, 数量表現を含む推論の扱いについて課題があることが示唆された.

今後の展望として, これまで英語における数量表現の分析で研究されてきた, より意味的に複雑な現象（確定性, 分配読み・集合読みの区別など）（Bunt 2020）と日本語の数量表現との関連を整理し，日本語の数量表現の分類体系を拡張することが考えられる．また，数量表現コーパスと推論データセットの効率的なアノテーション手法を検討するとともに, 拡張を続けていく.

## 謝 辞

本研究の一部は, JST さきがけ JPMJPR21C8, JSPS 科研費 JP20K19868, JST CREST JPMJCR20D2 の支援を受けたものである.

## 参考文献

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Bunt, H. (2020). "Annotation of Quantification: The Current State of ISO 24617-12." In Proceedings of the 16th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, pp. 1-12.

Cooper, R., Crouch, R., van Eijck, J., Fox, C., van Genabith, J., Jaspers, J., Kamp, H., Pinkal, M., Poesio, M., Pulman, S., et al. (1994). "FraCaS-A Framework for Computational Semantics." Deliverable, D6.

Cui, R., Hershcovich, D., and Søgaard, A. (2022). "Generalized Quantifiers as a Source of Error in Multilingual NLU Benchmarks." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4875-4893.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186.

Grice, P. (1989). Studies in the Way of Words. Harvard University Press. 清塚邦彦訳『論理と会話』勁草書房, 1998 年, [K. Kiyozuka (Trans.) (1998). Ronri to Kaiwa. Keiso Shobo.].

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6827-6834.

Horn, L. R. (1989). A Natural History of Negation. University of Chicago Press.

飯田隆 (2019). 日本語と論理. NHK 出版. [T. Iida (2019). Nihongo to Ronri. NHK Publishing.].

Iida, T. (2021). "Japanese Semantics and the Mass/Count Distinction." In Lee, C., Kim, Y.-W., and Yi, B.-U. (Eds.), Numeral Classifiers and Classifier Languages, pp. 72-97. Routledge.

岩田一成 (2013). 日本語数量詞の諸相. くろしお出版. [K. Iwata (2013). Nihongo Suryosi no Syoso. Kuroshio Publishers.].

Jeretic, P., Warstadt, A., Bhooshan, S., and Williams, A. (2020). "Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8690-8705.

Kawazoe, A., Tanaka, R., Mineshima, K., and Bekki, D. (2017). "An Inference Problem Set for Evaluating Semantic Theories and Semantic Processing Systems for Japanese." In Otake, M., Kurahashi, S., Ota, Y., Satoh, K., and Bekki, D. (Eds.), New Frontiers in Artificial Intelligence. JSAI-isAI 2015. Lecture Notes in Computer Science, Vol. 10091, pp. 58-65. Springer.

小谷野華那, 谷中瞳, 峯島宏次, 福田浩司, 橋爪宏典, 戸次大介 (2022). 供述調書に現れる数量表現の推論テストセットの構築. 言語処理学会第 28 回年次大会, pp. 1386-1390. [K. Koyano et al. (2022). Construction of an Inference Test Set for Numeral Expressions appearing in Incident Depositions. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1386-1390.].

Koyano, K., Yanaka, H., Mineshima, K., and Bekki, D. (2022). "Annotating Japanese Numeral Expressions for a Logical and Pragmatic Inference Dataset." In Proceedings of the 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation within LREC2022, pp. 127-132.

Levinson, S. C. (1983). Pragmatics. Cambridge University Press. 安井稔 ・奥田夏子訳『英語語用論』研究社出版, 1990 年, [M. Yasui and N. Okuda (Trans.) (1990). Eigo Goyoron. Kenkyusha Shuppan.].

Levinson, S. C. (2000). Presumptive Meanings: The Theory of Generalized Conversational Implicature. MIT Press.

Liu, N. F., Schwartz, R., and Smith, N. A. (2019). "Inoculation by Fine-Tuning: A Method for Analyzing Challenge Datasets." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 2171-2179.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Naik, A., Ravichander, A., Sadeh, N., Rose, C., and Neubig, G. (2018). "Stress Test Evaluation for Natural Language Inference." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2340-2353.

Nakatani, K. and Aoki, N. (2015). "A Judgment Study on Aspectual Diagnostics in Japanese." In Nagaya, N., Takemura, A., and Vance, T. (Eds.), Japanese/Korean Linsuitics, Vol. 22, pp. 55-70. Stanford, CA: CSLI Publications.

Narisawa, K., Watanabe, Y., Mizuno, J., Okazaki, N., and Inui, K. (2013). "Is a 204 cm Man Tall or Small? Acquisition of Numerical Common Sense from the Web." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 382-391.

NINJAL (2016). "NINJAL Parsed Corpus of Modern Japanese. (Version 1.0).". https://npcmj . ninjal.ac.jp/.

奥津敬一郎 (1996). 拾遺日本文法論. ひつじ書房. [K. Okutsu (1996). Syui Nihongo Bunporon. Hituzi Syobo.].

Yanaka, H. and Mineshima, K. (2022). "Compositional Evaluation on Japanese Textual Entailment and Similarity." Transactions of the Association for Computational Linguistics, 10, pp. 1266-1284.

矢澤真人 (1988). 数量の表現. 金田一春彦, 林大, 柴田武 (編), 日本語百科事典. 大修館書店. [M. Yazawa (1988). Suryo no Hyogen. H. Kindaichi et al. (Eds.) Nihongo Hyakka Ziten. Taishukan Publishing.].

吉越卓見, 河原大輔, 黒橋禎夫 (2020). 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会. [T. Yoshikoshi et al. (2020). Multilingualization of a

Natural Language Inference Dataset Using Machine Translation. IPSJ SIG Technical Report, 2020-NL-244.].

## 略歴

小谷野華那 : 2021 年お茶の水女子大学理学部情報科学科卒業. 2023 年お茶の水女子大学人間文化創成科学研究科理学専攻情報科学コース博士前期課程修了.現在，日本アイ・ビー・エム株式会社に所属.

谷中瞳：2018 年東京大学大学院工学系研究科博士課程修了. 工学博士. 同年，理化学研究所特別研究員を経て，2021 年より東京大学卓越研究員に採択され, 東京大学大学院情報理工学系研究科講師, 理化学研究所客員研究員. 主に自然言語推論に関する研究に従事.

羍島宏次：2013 年慶應義塾大学文学研究科博士課程修了. 博士 (哲学). 2014 年お茶の水女子大学シミュレーション科学教育研究センター特任講師, 2017 年同特任准教授を経て，2020 年より慶應義塾大学文学部准教授.

戸次大介：2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了.理学博士. 2008 年お茶の水女子大学大学院人間文化創成科学研究科准教授, 2023 年より同大学基幹研究院自然科学系教授.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/