# 名詞句の処理に頑健な構文解析器

金山博* 岩本蘭 $\dagger$ 村岡 雅康* 大湖卓也* 宮本 晃太郎*
* 日本アイ・ビー・エム株式会社 東京基礎研究所†慶應義塾大学 理工学研究科
* \{hkana, mmuraoka, ohkot, kmiya\}@jp.ibm.com †r.iwamoto@keio.jp

## 1 はじめに

レビューの分析や契約文書の処理など応用の局面において、意味解析や情報抽出を目的とした実文書の正確な構文解析が求められている。近年は多言語の Universal Dependencies (UD)[4, 5] のコーパスが 利用しやすくなっており、構文解析器 (品詞タグ付 け・依存構造解析）の訓練に用いられている。

しかし、実世界の文書に対する UD で訓練された 解析器の出力を見ると、英語 (1) ・ドイツ語 (2) ${ }^{1)}$ の 例のような誤解析が目立つ ${ }^{2)}$ 。

(1)

(2) ADV ADJ *PUNCT

いずれも入力したテキストは短い名詞句である が、(1)では命令法の文であるかのように 1 語目が 動詞としてタグ付けされ、 4 語目との間の関係ラべ ルも誤っている。(2) は名詞が大文字で書かれてい ないせいか、 3 語目の品詞が句読点であると認識さ れてしまっている。これらは、UD の shared task[12] で高い精度を示している Stanza [8] の出力における 例であるが、UDPipe[11] や Spacy[2] など、他の構文解析器においても同様の事象が見られた。

訓練データの多くが定動詞を含む文であって、名詞句となっているものが少ないとしたら、(1)(2)の ような名詞句に対する品詞タグ付けや構文解析の誤 りは多くなるであろう。また、(2) の異常にも見え る誤解析は、訓練データのほとんどがピリオドで終 わる文であるためにその傾向が強く学習されてい るためだと推測される。すなわち、これらの誤解析

は、訓練データと解析対象のテキストの傾向の違い の問題と捉えることができる。

本稿では、これらの点、すなわち名詞句と文末の ピリオドに注目し、UDのコーパスと実世界の入力 における傾向の違いや解析時の影響を調べるととも に、新たに人手でアノテーションを加えることなく 既存のコーパスを拡充して解析器を頑健化する方法 を提案し、構文解析器やその後段のアプリケーショ ンにおける変化を観察する。

## 2 定義

本稿で扱うデータや言語現象に関する用語につい て定義しておく。

処理単位コーパス中で一文とみなされるテキス ト3)、または品詞タグ付けや依存構造解析の際に （しばしば文区切りの処理を施した後の）入力の 単位となるもの。後述の「文」と区別するために このように呼ぶ。

文 定動詞を含むなど、句構造文法において非終端記号 S (Sentence) を構成するような処理単位また はその部分。本稿ではその厳密な議論はしない が、後述の「名詞句」は「文」ではない典型例で ある。

名詞句 処理単位の全体または部分において、その 主辞の品詞タグが名詞（NOUN）または固有名詞 （PROPN）であり、かつその主辞に be 動詞などの コピュラ（依存関係ラベルが cop であるもの）が 係っていないもの4)。

句点 処理単位の最後のピリオドを、簡単のため句点と呼ぶ5)。

句点無 処理単位の最後の語が ‘? $\cdot$ ‘!’ $\cdot$ ‘?’などの 約物でない場合。すなわち、最後の語の品詞タグ が PUNCT 以外である場合。

3）UD で用いられる CoNLL-U フォーマットで“\# text =”の メタデータとなる、通常は sentence と呼ばれる単位。

4）内容語主導のUD の構文構造では、この考慮が必要となる。

5） 日本語等の「。」を含む。'Mr.'などのピリオドは含まない。
表 1 観察したデータと、名詞句・句点無の割合 (\%)

## 3 予備実験

表 1 は、UD とレビュー文のコーパスについて、処理単位が名詞句および句点無であるものの割合 を 4 言語で調べたものである。UD は version 2.6 の 訓練用セットのアノテーションから自動判定し、レ ビュー文はアスペクトベースの評判分析の shared task のデータ $[7,9]$ から各言語 100 例ずつを抽出し て人手で検証した。

特にドイツ語 (de)・フランス語 (fr)・スペイン語 (es)の UDコーパスにおいて、名詞句や句点無の割合が非常に低く、コーパス作成時に処理単位とし て標準的な文が好んで選択されていることがわか る。英語 (en) の EWT コーパスは web 上のテキスト が基となっているため、名詞句や句点無の割合が比較的高くなっている。レビューのデータでは名詞句 や句点無の入力が多くなる傾向があるが、SemEval のデータセット（特に英語）はアスペクトの取得を する目的からも、ほとんどの文が句点で終わるな ど、現実の入力よりは統制が取れたセットになって いた。

以上の結果より、言語やデータセットに依存する ものの、UD とレビューのコーパスの間でも現象の 分布が大きく異なることが確認できた。実世界の データではさらに異なる傾向があると考えられる。

## 4 コーパスの拡張

本節では、3 節で確認したコーパスの分布の違い の問題を解決すべく、構文解析器の訓練コーパスを 拡張する方法を示す。すなわち、訓練時における UD コーパスへのバイアスを減らして、実応用の際 にも有用なモデルを作ることを目指す。

## 4.1 句点の除去

最も簡単な方法は、コーパス中の処理単位の末尾 の句点を一定の割合で除去することである。これに より、句点の有無によって構文の構造が変わった

図 1 文から名詞句の部分木（枠内）を抽出する例

り、通常の語に PUNCT の品詞タグが付与されたり する現象を防ぐことができると考えられる。

ほとんどの句点はそれに係る修飾語を持たないの で、単純に句点を除去するだけで正しい構文構造を 保てるが、UD_English-EWT のデータの中には例外的な事象6) があるので、修飾語を持つ場合には除去 の対象としないようにする。

## 4.2 名詞句の追加

定動詞を主辞とするような典型的な文に加えて、名詞句で完結する処理単位の割合を増やすために、元のコーパスから名詞句である部分木を抽出して コーパスに加える処理を行う。その手順は以下の通 りである。

・処理単位の中から、主辞でない部分にある名詞句を検出する。名詞句の同定の方法は 2 節の定義に従う。

・そのうち、 4 語未満からなるものは構文構造の 学習に適さないため除外する。
- UD の内容語重視の依存構造では、名詞句の部分木の中に前置詞などの機能語が含まれうる ため、名詞句の主辞に case, punct のラベルで 係る語がある場合には、その部分を除外する。図 1 の例のように、'city’ の部分木から 'in'を除 いた部分を名詞句とする。

・こうして抽出した名詞句をプールして、元の文数に対して一定の割合でランダムに選択して訓練コーパスに追加する（元からのデータはその まま保つ)。

## 5 実験

## 5.1 実験設定

拡張コーパスを使った訓練に基づく品詞タグ付け と依存構造解析の変化を観察するために、4つの言語の名詞句を集めたデータを以下の手法により作成 した。

6）UD_English-EWT の訓練データ中に、接続詞 'and' が文末の ピリオドに係る場合などがあった。
表 2 Wikipedia セクション名のデータの例

 \\

- Wikipedia の各言語版のセクション名7）の文字列 のうち、3 語以上からなるものを列挙

・句点などの記号が含まれるものを除外

・言語判定で他の言語と推定されたものを除外

・ドイツ語以外は先頭の文字を小文字化
- 先頭の 1 語が重複するものが 3 個以上は無いよ うにして、各言語 1500 個をランダムに取得

こうして得られる文字列のほとんどは名詞句であ ると推定できる。表 2 に 4 言語における例を示す。 これらを解析して、その主辞（root）となる語が名詞となる割合（NP 検出率）と、最後の語の品詞が PUNCT、または依存関係ラベルが punct となるよう な誤解析の数（誤句点数）を調べる。

さらに、構文解析の intrinsic な評価として、UDの テストコーパスでの依存構造解析の精度 (LAS) を測定する。訓練データとテストデータの分布に差が出 ることにより、その值は理論的には低下するため、 その減少幅が最小限であれば成功といって良い。

また、extrinsic な評価として、構文解析の結果を 使った評価表現抽出 $[3,14]$ を行う。解析対象のデー タは 3 節で観察した、SemEval 等の shared task の データ $[7,9]$ の約 500 文である。評価表現の指標で ある適合率・再現率のうち、適合率は辞書の性質や 否定等の扱い方の正しさに依存する傾向があり、再現率は辞書の充実の度合いのほか、主辞の同定の正確さに左右される。今回の実験では適合率を変化さ せる要因は少ないので、名詞句関連の構文構造の影響を受ける再現率を、評価指標として用いる。

## 5.2 結果と考察

ドイツ語・フランス語・スペイン語・英語の UD コーパスの訓練データに対して、4 節に示した 2 つの改変を施した拡張コーパスを用いて、Stanza

7）記事のタイトルは固有名詞がほとんどなのでテストに不適 であった。
[8] の再学習を行った。いずれの場合も、tokenize, mwe, lemmatize のモデルは標準のまま固定し、pos と depparse のモデルを max step=5000 の設定で学習 させている。

コーパスを拡張する際に、 $m \%$ の割合で文末の句点を除去、 $n \%$ の名詞句を追加する。 $m=0, n=0$ は 元のUDコーパスをそのまま使って訓練する場合 であり、各言語のベースラインとなる。 $m, n$ の值を 変えて訓練したモデルで、Wikipedia のセクション 名のデータにおける NP 検出率と誤句点数、UD の データでの LAS と、評価表現抽出（SA）の再現率 を測定する。Stanza の学習ではランダムの要素があ り、試行ごとに精度が異なるため、 $m=0, n=0$ の場合のみ 10 回の訓練を行って、それぞれのモデルで 測定した際の平均値と標準偏差を示す。これらの結果が表 3 である。

4 言語すべてにおいて、 $m=0, n>0$ のすべての場合で NP 検出率に改良が見られ、また $n$ の値を増や すと NP 検出率がほぼ漸増する。このことから、名詞句の性質は異なっていても8)、名詞句である処理単位の追加によって名詞句の解析結果を改善できる ことがわかる。 $n=100$ としても名詞句として解析 されないものの中には、そもそも動詞句であるもの も含まれていた。

誤句点数の減少を見ると、どの言語でも、少量の 改変によって PUNCT に関連する誤りをほぼ防げる ようになった。文末の句点を除去した場合 $(m>0)$ だけでなく、名詞句の追加 $(n>0)$ によっても誤句点数を減らせているのは、追加した名詞句に句点が 基本的に含まれていないことによる効果である。

以上は Wikipediaのセクション名における観察の 結果である。処理単位が名詞句である場合の解析結果を改善したことにより、一般的な文の解析の性能 が低下することが懸念されるが、UD のテストデー タの LAS の值を見ると、ベースラインより標準偏差を超えて下がっているケースは、 $m$ や $n$ が大きす ぎる場合に限られており、LAS がほぼ不変であっ たり、むしろ向上している場合も見られる。なお、 $m=100$ とした場合には、すべての文末の句点を除去して訓練をすることになるが、テストデータには 文末の句点が存在するため、LAS が大きく下がるの は想定通りである。

評価の方法が難しいものの、最も重視したいの

8）UD コーパスの部分木と Wikipedia セクション名のデータは 完全に独立である。
表 34 言語で、UD の訓練コーパスに対して文末の句点を $m \%$ 除去、名詞句を $n \%$ 追加して構文解析器を再訓練をした 際の、各データ上での構文解析および評価表現抽出の結果（指標は誤句点数を除いて％表記。）。 $m=0, n=0$ (ベースラ イン）のみ 10 試行の平均值と標準偏差を示す。太字はベースラインに対して標準偏差を超える改善が見られた場合。

} & \multirow{2}{*}{} \\

が、応用時における解析器の頑健性を測るための、評価表現抽出の再現率である。言語により最適とな る $m, n$ の值は異なっており、表 1 に示した各言語の コーパスにおける分布からその值を自動的に推定す るには至っていないが、フランス語・ドイツ語・ス ペイン語においては $m, n$ を 10～20\% 程度にするこ とにより、SA の再現率を上げられることがわかっ た。英語においては有意な差で再現率が向上した ケースは無いが、これは 3 節の予備実験で見た通 り、UD_English-EWT データ自体に適量のノイズが 含まれていることと、SemEval のテストデータが逆 に統制が取れた文が多いことから、名詞句の追加や 句点の除去の効果が得づらいためだと考えられる。

} & \multirow{2}{*}{} \\

## 6 まとめ

本研究では、名詞句と文末の句点に着目し、品詞 タグ付けや依存構造解析における訓練コーパスの 偏りを補正して、解析器を実応用に対して頑健化す る実験を行った。句点の除去は非常に簡単な処理で あり、句読点が構文解析に及ぼす影響は他の研究に よっても指摘されている $[10,6,13]$ が、名詞句を処理単位とした解析については、今後も追求する余地 がある。今回は欧米言語のみを扱ったが、日本語な どの言語においては、UDの構文を用いた名詞句の 定義や抽出はより複雑であるため、さらなる調査や 工夫が必要となろう。そして、UDコーパスに加え て生の文から訓練データを拡張する手法 [1] も合わ せて、実用的な解析器の実現を進めていきたい。

## 参考文献

[1] Yousef El-Kurdi, Hiroshi Kanayama, Efsun Sarioglu Kayi, Vittorio Castelli, Todd Ward, and Radu Florian. Scalable cross-lingual treebank synthesis for improved production dependency parsers. In Proceedings of the 28th International Conference on Computational Linguistics: Industry Track, pp. 172-178, Online, December 2020. International Committee on Computational Linguistics.

[2] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrialstrength Natural Language Processing in Python, 2020.

[3] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[4] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016.

[5] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[6] Joakim Nivre and Chiao-Ting Fang. Universal Dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies (UDW 2017), pp. 86-95, Gothenburg, Sweden, May 2017. Association for Computational Linguistics.

[7] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, ALSmadi Mohammad, Mahmoud Al-Ayyoub, Yanyan
Zhao, Bing Qin, Orphée De Clercq, et al. Semeval2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th international workshop on semantic evaluation (SemEval-2016), pp. 19-30, 2016.

[8] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[9] Josef Ruppenhofer, Roman Klinger, Julia Maria Struß, Jonathan Sonntag, and Michael Wiegand. IGGSA shared tasks on German sentiment analysis (GESTALT). In Gertrud Faaßand Josef Ruppenhofer, editors, Workshop Proceedings of the 12th Edition of the KONVENS Conference, pp. 164-173, Hildesheim, Germany, October 2014. Universität Heidelberg.

[10] Anders Søgaard, Miryam de Lhoneux, and Isabelle Augenstein. Nightmare at test time: How punctuation prevents parsers from generalizing. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 25-29, 2018.

[11] Milan Straka. UDPipe 2.0 prototype at CoNLL 2018 UD shared task. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 197-207, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Daniel Zeman, Filip Ginter, Jan Hajič, Joakim Nivre, Martin Popel, and Milan Straka. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Brussels, Belgium, 2018.

[13] 金山博. 読点に頼らない統計的構文解析. 情報処理学会 170 回自然言語処理研究会, 2005.

[14] 岩本蘭, 金山博. 多言語極性辞書の構築とその 包括的評価. 言語処理学会第 26 回年次大会予稿集, March 2020.


# 事例ベース依存構造解析のための依存関係表現学習

大内 啓樹 1 鈴木潤 2,1 小林颯介 ${ }^{2,3}$ 横井祥 ${ }^{2,1}$ 栗林 樹生 ${ }^{2,4}$ 吉川将司 ${ }^{2,1}$ 乾健太郎 2,1

1 理化学研究所 2 東北大学 3 株式会社 Preferred Networks ${ }^{4}$ Langsmith 株式会社

hiroki.ouchi@riken.jp, yoshikawa@tohoku.ac.jp,

\{jun.suzuki, sosk, yokoi, kuribayashi, inui\}@ecei.tohoku.ac.jp
## 1 はじめに

過去に観測した類似事例にもとづき，新たな事例 に関する推論を行うことを事例ベース推論と呼ぶ。近年の深層学習の隆盛にともなって, 「モデルの予測過程の説明性」の観点から注目を集めている. ニューラルネットワークを用いた一般的なモデルで は，予測根拠の解釈が困難であることが指摘されて いる [1]. 一方で, $\mathrm{k}$ 近傍法などの事例ベース推論手法では，学習事例を直接的に予測に使用し，それら を予測根拠として予測への貢献度とともに取り出す ことが容易である．予測に大きく貢献した学習事例 をユーザに提示することは，「なぜモデルはそのよ うな予測をしたのか？」という疑問への一種の説明 の役割を果たす.この種の説明は事例ベース説明と 呼ばれる。機械学習の専門知識を持たないユーザに とっても直感的である場合が多く, モデルの予測に 対するユーザの理解を促進し，より自信を持った意思決定につながるとの報告がある $[2,3,4,5]$.

このような利点がある一方, 予測性能の高い事例 ベースモデルの構築は容易ではない $[6,7]$. 高い予測性能を保つ鍵は特徵空間の効果的な学習にある. いかにして「同じクラスの事例同士を特徴空間上で 近づけ，異なるクラスの事例同士は遠ざけるか」を 考えなければならない。この指針のもと, Wiseman ら [6] や Ouchi ら [7] は言語の系列データのための特徵表現学習手法を提案し，一般的なモデルと同等の 予測性能を保ちつつ, 説明性の優れる事例ベースモ デルが構築可能となったことを報告している.

本稿では, 系列データからの自然な展開として,言語的な関係に着目する. 具体的には, 依存構造解析で定義される依存関係（エッジ）に焦点を絞り，事例ベース依存構造解析のための表現学習手法を提案する。実験を通して，一般的な解析システムと同等の性能を保ちつつ, 説明性に優れるシステムが構築可能であることを示す。さらに，説明性を大きく 損なう可能性のある, ハブと呼ばれる事例の出現に 関する分析結果も報告する.

## 2 手法

一般的な解析手法は推論時に学習データを参照し ない。本稿の事例べース解析手法は, 推論時にも学習データを参照しながら解析を行う点が特徴で, 予測根拠を学習事例に求められるという利点がある.

## 2.1 問題設定

本稿ではラベルなし依存構造解析 ${ }^{1)}$ に取り組む.具体的には主辞選択 (head selection) 問題 $[8,9,10]$ と して解く。これは簡潔な問題形式であり，GPUを用 いた計算にもやさしいという理由から採用する。

トークナイズした入力文を $X=\left(x_{0}, x_{1}, \ldots, x_{T}\right)$ と表す。 $x_{0}$ は特殊トークンである ROOTを表し， $x_{1}, \ldots, x_{T}$ は原文の $T$ トークンを表す．各トークン $x_{i}$ の主辞が $x_{j}$ である確率を以下のように定義する.

$
P\left(x_{j} \mid x_{i}\right)=\frac{\exp \left(\operatorname{score}\left(x_{j}, x_{i}\right)\right)}{\sum_{k=0}^{T} \exp \left(\operatorname{score}\left(x_{k}, x_{i}\right)\right)} .
$

スコア関数 $\operatorname{score}\left(x_{j}, x_{i}\right)$ は実数を返す任意の関数と して定義可能である (2.2 節参照).

推論時は, 入力文の各トークン $x_{i}$ に対して最大確率のトークンを主辞として選択する。

$
\hat{y}_{i}=\underset{x_{k}: 0 \leq k \leq T}{\arg \max } P\left(x_{k} \mid x_{i}\right) .
$

学習時は負の対数尤度を最小化することによっ て，正解主辞の確率が高くなるように学習する.

$
L=-\sum_{n=1}^{|D|} \sum_{i=1}^{T^{(n)}} \log P\left(y_{i}^{(n)} \mid x_{i}^{(n)}\right)
$

$D=\left.\{X^{(n)}, Y^{(n)}\right.\}_{n=1}^{|D|}$ は学習データ, $y_{i}^{(n)} \in Y^{(n)}$ は入力文の各トークン $x_{i}^{(n)} \in X^{(n)}$ の正解主辞である.

1）ラベルあり依存構造解析も行ったが，紙面（分量）の都合上，本稿ではラベルなし依存構造解析に絞って議論する。

## 2.2 事例間の類似度に基づくスコア

式 1 中のスコア関数として, 学習事例との類似度 に基づくスコア（事例ベーススコア）を提案する.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \operatorname{sim}\left(\boldsymbol{h}_{\langle\ell, k\rangle}, \boldsymbol{h}_{\langle j, i\rangle}\right)
$

ここで, $\boldsymbol{h}_{\langle j, i\rangle} \in \mathbb{R}^{d}$ はエッジ〈主辞 $x_{j}$, 従属部 $\left.x_{i}\right.\rangle$ の $d$ 次元特徴ベクトル, $\operatorname{sim}$ は類似度関数を表す. 本研究ではベクトル間の内積 $\operatorname{sim}_{\mathrm{dot}}(\boldsymbol{a}, \boldsymbol{b})=\boldsymbol{a}^{\top} \boldsymbol{b}$ とコサ イン類似度 $\operatorname{sim}_{\cos }(\boldsymbol{a}, \boldsymbol{b})=\frac{\boldsymbol{a}^{\top} \boldsymbol{b}}{\|\boldsymbol{a}\|\|\boldsymbol{b}\|}$ を用いる. $A_{D}$ は学習データ $D$ 中の正解エッジからなる集合である.

$
A_{D}=\left.\{\left.\langle y_{i}, x_{i}\right.\rangle \mid x_{i} \in X, y_{i} \in Y,(X, Y) \in D\right.\} .
$

$y_{i} \in Y$ はトークン $x_{i} \in X$ に対する正解主辞トーク ンを表す。つまり, 式 2 では学習データ中のエッジ との類似度の総和をスコアとしている. 各類似度を 予測スコアに対する貢献（寄与）度と見ることがで き,「各学習事例が予測にどの程度貢献しているか」 を人間が理解しやすい形式で示すことができる。

【効率的な計算方法. Tトークンからなる入力文の 各トークン $x_{i}(i=1, \ldots, T)$ に対して,$T+1$ 個のトー クン $x_{j}(j=0, \ldots, T)$ から主辞を選ぶ場合, $d$ 次元 の特徴ベクトルを用いるスコア計算には $O\left(T^{2} d\right)$ の 計算量2) がかかる。一般的な事例べース手法では, スコア計算が学習データ $D$ の特徴ベクトルにも依存するため, $O\left(T^{2} d|D| d\right)=O\left(T^{2} d^{2}|D|\right)$ の計算量が かかる。一方, 我々の事例ベース手法では学習時の 計算量を小さく抑えられる。類似度関数 $\operatorname{sim}$ として 内積を使う場合 ${ }^{3}$ ，式 2 は以下のように書ける.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \boldsymbol{h}_{\langle\ell, k\rangle}^{\top} \boldsymbol{h}_{\langle j, i\rangle}=\boldsymbol{h}_{\langle j, i\rangle}^{\top} \sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \boldsymbol{h}_{\langle\ell, k\rangle} .
$

つまり，学習データ中のすべてのベクトルを足し込 んでから, 当該エッジベクトル $\boldsymbol{h}_{\langle j, i\rangle}$ との内積を計算すればよい。学習データ中のベクトルの足し算は $O(|D| d)$ であり，一度計算してしまえば当該エッジ ベクトル $\boldsymbol{h}_{\langle j, i\rangle}$ の本数に乗法的に依存しない. よっ て, 通常の手法なら計算量 $O\left(T^{2} d^{2}|D|\right)$ であるとこ 万を, $O\left(T^{2} d+|D| d\right)$ に抑えられる. さらに, 先行研究 [7] に倣い，学習データからランダムに $M$ 文をサ ンプリングしたサブセット $D^{\prime}=\left.\{\left(X_{m}^{\prime}, Y_{m}^{\prime}\right)\right.\}_{m=1}^{M}$ を用 いることにより, 学習はシングル $\left.\mathrm{GPU}^{4}\right)$ で 24 時間以内に完了できるようになった。

2） $d$ 次元ベクトル間の内積計算・加減算は $O(d)$ とする.

3）コサイン類似度を使用する際も同様に書き換えられる。

4) NVIDIA DGX-1 with Tesla V100.
■最も関連する既存手法. Neighbourhood Components Analysis (NCA) [11,6,7] では, 事例 $a$ の近傍に学習事例 $b \in D$ がくる確率を $P(b \mid a)=\frac{\exp (\operatorname{sim}(b, a))}{\sum_{b^{\prime} \in D} \exp \left(\operatorname{sim}\left(b^{\prime}, a\right)\right)}$ と定義し, 同一クラスの事例同士の確率が高くなる

め, 類似度が高い一部の事例に確率值が大きく左右 される。我々の手法は類似度を単純に足し合わせる ため, そのような敏感さを伴わない. 両手法の性能比較は今後の課題だが5), 学習時の計算量の面では, NCA が $O\left(T^{2} d^{2}|D|\right)$ であるのに対し，我々の手法は $O\left(T^{2} d+|D| d\right)$ であるため有利であると言える.

【一般的な手法との関連. 重みパラメータベクトル $w \in \mathbb{R}^{d}$ を用いた以下のスコア関数は, 通常のニュー ラルモデルの出力層のスコア関数に該当する.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\operatorname{sim}\left(\boldsymbol{w}, \boldsymbol{h}_{\langle j, i\rangle}\right) .
$

この重みベーススコアに基づいて特徴空間を学習 し，推論時はその学習済み特徴空間を事例ベースス コア計算のために使用するといったように併用する こともできる．近年の画像認識分野においても，重 みパラメータに基づく特徵表現学習と事例に基づく 推論 ( $\mathrm{k}$ 近傍法) を組み合わせた手法が提案され，そ の有用性が報告されている $[12,13,14,15]$. 依存構造解析においてそのような試みは未だないが，有望 な手法のひとつであると考えられるため, 本研究で もこれらの組み合わせに関する検証を行う（3 節）.

ロエッジ特徴ベクトル. 各エッジ $\left.\langle x_{j}, x_{i}\right.\rangle$ の特徴ベ クトルを以下のように定義する。

$
\boldsymbol{h}_{\langle j, i\rangle}=g\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right) .
$

$\boldsymbol{h}^{\text {dep }}, \boldsymbol{h}^{\text {head }} \in \mathbb{R}^{d}$ はそれぞれ従属部（dependent）と主辞 (head) の $d$ 次元ベクトルであり, ニューラルエ ンコーダ6)を通して得られる. 関数 $g$ として, 2 本 のベクトルの相互作用を効果的にとらえられる演算 が望ましい，本稿では知識ベースにおける関係の表現学習の知見 $[16,17,18]$ から, 主要な手法のひとつ である乗法的（multiplicative）合成を採用する. ${ }^{7)}$

$
\boldsymbol{g}_{\text {mul }}\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right)=\boldsymbol{W}\left(\boldsymbol{h}_{i}^{\text {dep }} \odot \boldsymbol{h}_{j}^{\text {head }}\right)
$

ここで, ベクトルの要素積（๑）によって相互作用 を考慮し，パラメータ行列 $\boldsymbol{W} \in \mathbb{R}^{d \times d}$ を用いた線形変換によってべクトルを合成する.

5）シングル GPU を用いた事前実験では，NCA で長い文を学習する際にメモリオーバーになり，実験が完了できなかった。

6）付録 A. 2 を参照.

7）もうひとつの主要な手法である加法的（additive）合成も試 したが，事前実験において予測性能が乗法的合成と比べて大幅に劣る結果となった。

表 1: 各テストデータにおけるラベルなし正解率.

## 3 実験と考察

■データセット．標準的なベンチマークデータ である英語の PennTreebank (PTB) [19] と Universal Dependencies (UD) [20] に含まれる多言語データセッ 卜を使用する. 特に UD では, 先行研究 [21] に従 い，語族やデータ量などの多様性を考慮した 13 言語のデータセットを使用する.8)

ロエンコーダ. BERT [22] を用いて計算した各トー クンの特徴表現を双方向 LSTM [23] に入力し, その 隠れ層から式 4 中の $\boldsymbol{h}^{\text {dep }}$ と $\boldsymbol{h}^{\text {head }}$ を計算する。これ は，実験に用いる全システムに共通である. ${ }^{9)}$

【正解率の比較. 表 1 は 6 つのシステムの正解率 (unlabeled attachment score) ${ }^{10)}$ を表している. システ ム $(\alpha)$ と $(\beta)$ は学習・推論時ともに重みベーススコ 了（式 3）を用いた一般的な解析システムである. これらのシステム間で類似度関数の違いによる正解率の差は見られなかった. システム (a) と (b) は, 学習時は重みベーススコア（式 3）を用い，推論時は 事例ベーススコア（式2）を用いている．内積（dot） を類似度関数として用いた (a) は，通常のシステム $(\alpha)$ と $(\beta)$ と同等の正解率を保つことに成功してい る. 対照的に，コサイン類似度（cos）を用いた (b) では正解率が大きく劣化している. システム (c) と (d) は，学習・推論時ともに事例べーススコア（式 2) を用いている。これらのシステムも，一般的な解析 システム $(\alpha)$ と $(\beta)$ と同等の正解率を保っている. また，事例ベーススコアを学習・推論時に一貫して 使用する場合は，類似度関数の違いが大きな正解率 の差を生むわけではないこともわかった。これらの 予測性能を見ると，事例ベース推論を採用したシス テムとして (a)と (c) と (d) が良いように思われる.以降で，各システムの挙動をより詳細に分析する。

8）各言語のデータセットの詳細は付録 A. 1 の表 5 を参照.

9）モデルやハイパーパラメータ，実験設定の詳細については 付録 A. 2 を参照

10）UD (avg.) は，全テストデータの正解率のマクロ平均であ る. 各テストデータの正解率は付録 A. 3 の表 7 を参照.

 &  \\

表 2: 各システムにおける $N_{10}$ 上位 3 件の実例.

図 1: $N_{10}$ の上位 100 事例のプロット.

近傍に出現する学習事例の偏り。事例ベース推論 を取り入れたシステム (a)〜 (d) において，実際に予測に使われた近傍事例を分析する。具体的には，各学習事例 $\left.\langle x_{b}, x_{a}\right.\rangle$ が開発データの各事例 $\left.\langle w_{j}, w_{i}\right.\rangle$ の 類似度上位 $k$ 位以内に選出された回数（近傍選出回数） $N_{k}\left(\left.\langle x_{b}, x_{a}\right.\rangle\right)[24,25]$ を分析する.この近傍選出回数が極端に高い学習事例をハブと呼ぶ [24]. 本稿では，どのような学習事例がハブとなり，それら の事例は説明性（特に人間の納得度 plausibility [26]） の観点から見た時に有用であるかを調べる.

分析には UD-English データを用いた. 表 2 は $N_{10}$上位 3 件の学習事例を示している. システム (a)で は，ROOT を主辞とする学習事例ばかりが開発デー タの近傍事例として選出され, システム (c)では, instead of や due to, because of のような定型表現が頻繁に選出される傾向が見られた。このような一部の 学習事例が，開発データ内の大多数の事例の説明と して人間にとって納得のいくように機能するとは言 い難い。これは，事例ベース推論がいつでも有益な 説明を与えるというわけではないことを示唆する.

表 3: Zero-shot ラベルあり依存構造解析の正解率.

対照的に，コサイン類似度を採用したシステム (b) と (d) では，一定の事例に極端な偏りは見られない.図 1 は， $N_{10}$ の高い学習事例上位 100 事例を $\log _{10}$ ス ケールで降順にプロットしたものである．類似度関数として内積を用いたシステム (a)と (c)の場合, 近傍選出回数に大きな偏りがあり, ハブが出現してい ることがわかる.

偏りの原因のひとつとして, 学習事例の特徵べク トルの長さ（L2ノルム）が挙げられる. たとえば,表 2 中の $\langle$ ROOT, find $\rangle$ のノルムは 180.4 であるのに 対し， $N_{10}$ 順位 100 位の〈horse, a〉は 75.5 であった. このように, $N_{k}$ 順位上位の一部の事例は, その他 の事例よりもノルムが大きくなるという傾向が見ら れた。コサイン類似度を用いる場合，ノルムを正規化しているため, $N_{k}$ の偏りは観測されなかった.

ロクエリ事例と近傍事例の類似性. 類似性を議論す る上で重要なのは, 「どのような観点で類似してい るか」である. 多様な観点があり得るが, 本研究で は，依存構造の関係ラベルの観点でクエリ事例と近傍事例が類似しているかを調査する。データセット 中の各エッジ $\left.\langle w_{j}, w_{i}\right.\rangle$ には, 人間が定義した関係ラ ベルセットのうちのひとつ $r \in R$ が付与されてい る.したがって，同一の関係ラベルを付与されてい るエッジ同士は，異なるラベルを付与されている エッジ同士よりも，各関係ラベルの定義やラベル セットの設計思想の観点から人間が見れば類似して いる（より多くの特徵を共有している）と言える. そこで，クエリ事例と近傍事例の持つ関係ラベルの 一致率を測定し，それらの事例が人間にとっても類似していると言えるかを近似的に評価する.11)

まず，構築した各システムを用いて開発データ内 の文を解析する．次に，得られたエッジ（クエリ事例）と最も類似度の高い学習事例（最近傍事例）を 選出する. 最後に, クエリ事例と最近傍事例に付与 されている関係ラベルが同じなら正解12) とみなす.

11）実際に人間の感じる類似性とどの程度相関するかを調査す ることは今後の課題とする。

12）そもそも同定したエッジが不正解であった場合は，そのま ま不正解とみなす。

表 4: システム (d) によるエッジ検索の実例.

この設定は，関係ラベルを学習に用いないため,「Zero-shot ラベルあり依存構造解析」とみなせる.

表 3 に関係ラベルの正解率 (labeled attachment score）を記す。関係ラベルを学習に用いていないに も関わらず，コサイン類似度を採用したシステム (b) と (d) は，多くのクエリ事例に対して同一の関係 ラベルを持つ学習事例を最近傍事例として選出して いる. 特にシステム (d) は PTB において $70 \%$ を超え る正解率を達成している。これらの結果から，コサ イン類似度に基づいて選出した事例は, 関係ラベル セットの観点から見た時，クエリ事例と類似してい ることが示唆された。

最後に，これまでの分析を踏まえると最良である システム (d) の最近傍事例を表 4 に示す。一行目の 例のように，クエリ事例の主辞または従属部が機能語（この例では If）である場合に，同一の関係ラべ ルを持つ事例を正しく検索できている傾向が見られ た。また，二行目の例のように，クエリ事例の主辞 が名詞（この例では appeal）である場合, 関係ラべ ルに関わらず，名詞を主辞（この例では staff）とす るような事例が近傍にくる傾向が見られた.

評価 ・分析のまとめ. 次の知見を得た: (i) 提案し た事例ベースシステムは一般的なシステムと同等の 性能を保つことができる, (ii) 類似度関数に内積を 使うと, 説明性（人間の納得度）の観点で望ましく ないハブが出現する, (iii) コサイン類似度に基づい て学習・検索した場合, 関係ラベルの観点で類似し ている事例が近傍に出現する傾向がある.

今後の展開. 本研究のエッジ特徴ベクトルを用い ることによって，単語レベルの類似度に基づく検索 を超えた，依存関係レベルの類似度に基づく検索が 可能になる. 同様に, 2 文間の依存構造のソフトな マッチングが可能であるため，同義文判定や文書検索などの下流タスクへの応用も考えられる.

謝辞. 本研究は JSPS 科研費 19K20351, 19H04162 の 助成を受けたものです.

## 参考文献

[1] Tao Lei, Regina Barzilay, and Tommi Jaakkola. Rationalizing neural predictions. In Proceedings of EMNLP, pp. 107-117, 2016.

[2] Janet L Kolodneer. Improving human decision making through case-based decision aiding. AI magazine, Vol. 12, No. 2, pp. 52-52, 1991

[3] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of KDD, pp. 1135-1144, 2016.

[4] Scott M Lundberg and Su-In Lee. A unified approach to interpreting model predictions. In Proceedings of NIPS, pp. 4765-4774, 2017.

[5] Christoph Molnar. Interpretable Machine Learning. 2019. https://christophm.github.io/ interpretable-ml-book/.

[6] Sam Wiseman and Karl Stratos. Label-agnostic sequence labeling by copying nearest neighbors. In Proceedings of $A C L$, pp. 5363-5369, July 2019.

[7] Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, and Kentaro Inui. Instance-based learning of span representations: A case study through named entity recognition. In Proceedings of $A C L$, pp. 6452-6459, Online, July 2020. Association for Computational Linguistics.

[8] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In Proceedings of EACL, pp. 665-676, April 2017.

[9] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. In Proceedings of ICLR, 2017.

[10] Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, and Richard Socher. A joint many-task model: Growing a neural network for multiple NLP tasks. In Proceedings of EMNLP, pp. 1923-1933. Association for Computational Linguistics, September 2017.

[11] Jacob Goldberger, Geoffrey E Hinton, Sam T Roweis, and Ruslan R Salakhutdinov. Neighbourhood components analysis. In Proceedings of NIPS, pp. 513-520, 2005.

[12] Rajeev Ranjan, Carlos D Castillo, and Rama Chellappa. L2-constrained softmax loss for discriminative face verification. arXiv preprint arXiv:1703.09507, 2017.

[13] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song. Sphereface: Deep hypersphere embedding for face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 212-220, 2017.

[14] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. Cosface: Large margin cosine loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5265-5274, 2018.

[15] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 46904699, 2019.
[16] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, pp. 27872795, 2013.

[17] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. 2015.

[18] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[19] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[20] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of ACL, pp. 92-97, 2013.

[21] Artur Kulmizev, Miryam de Lhoneux, Johannes Gontrum, Elena Fano, and Joakim Nivre. Deep contextualized word embeddings in transition-based and graph-based dependency parsing - a tale of two parsers revisited. In Proceedings of EMNLP-IJCNLP, pp. 2755-2768, November 2019.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[23] Alan Graves, Navdeep Jaitly, and Abdel-rahman Mohamed. Hybrid speech recognition with deep bidirectional LSTM. In Proceedings of Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop, 2013.

[24] Milos Radovanovic, Alexandros Nanopoulos, and Mirjana Ivanovic. Hubs in space: Popular nearest neighbors in high-dimensional data. Journal of Machine Learning Research, Vol. 11, No. sept, pp. 2487-2531, 2010.

[25] Yutaro Shigeto, Ikumi Suzuki, Kazuo Hara, Masashi Shimbo, and Yuji Matsumoto. Ridge regression, hubness, and zero-shot learning. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. 135-151. Springer, 2015.

[26] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of ACL, pp. 4198-4205, July 2020.

[27] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[28] D.P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

## A 付録

## A. 1 データセットの詳細

表 5: 実験に使用した各言語のUD データセット。「語族」の列の IE は Indo-European を表す。「語順」 の列は各言語における一般的な語順を示す.「学習 データ」は文数を千単位（k）で表す.

Universal Dependencies (UD) の最新バージョン $2.7^{13)}$ を用いた. 表 5 に各データの統計情報を記す。

## A. 2 モデルと実験設定の詳細

表 6: 実験に使用したハイパーパラメータ。

式 4 を再喝する: $\boldsymbol{h}_{\langle j, i\rangle}=g\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right)$. 文を入力したところから，この式中の $\boldsymbol{h}^{\mathrm{dep}}$ と $\boldsymbol{h}^{\text {head }}$ を作 るまでの流れを記述する。まず，入力文の系列 $X=\left(x_{0}, x_{1}, \ldots, x_{T}\right)^{14)}$ を, 単語埋め込み, 文字畳み 込みニューラルネットワーク (CNN), BERT [22] を用いてベクトル表現の系列に変換する。各トー クンに単語埋め込み表現15)を割り当てた系列を

$\boldsymbol{w}_{0: T}=\left(\boldsymbol{w}_{0}, \boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{T}\right)$ と表す. 各トークンを文字 $\mathrm{CNN}$ で変換した系列を $\boldsymbol{c}_{0: T}=\left(\boldsymbol{c}_{0}, \boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{T}\right)$ と表 す。各トークンに BERT の表現を割り当てた系列 を $\boldsymbol{b}_{0: T}=\left(\boldsymbol{b}_{0}, \boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{T}\right)$ と表す16). これらの表現 を各トークン $x_{t}$ ごとに結合して，トークン表現 $\boldsymbol{x}_{t}=\left[\boldsymbol{w}_{t} ; \boldsymbol{c}_{t} ; \boldsymbol{b}_{t}\right]$ を得る.

次に, トークン表現系列 $\boldsymbol{x}_{0: T}=\left(\boldsymbol{x}_{0}, \boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{T}\right)$ を双方向 LSTM に入力し, その隠れ層のベクト ル表現の系列 $\overrightarrow{\boldsymbol{h}}_{0: T}=\left(\overrightarrow{\boldsymbol{h}}_{0}, \overrightarrow{\boldsymbol{h}}_{1}, \ldots, \overrightarrow{\boldsymbol{h}}_{T}\right)$ と $\overleftarrow{\boldsymbol{h}}_{0: T}=$

$\mathbb{R}^{d}$ はそれぞれ $d$ 次元の前向きと後向きの LSTM の 隠れ層を表す。これらの表現を結合して，各トーク ンの表現 $\boldsymbol{h}_{t}^{\text {lstm }}=\left[\overrightarrow{\boldsymbol{h}}_{t} ; \overleftarrow{\boldsymbol{h}}_{t}\right] \in \mathbb{R}^{2 d}$ を得る.

最後に, ベクトル系列 $\boldsymbol{h}_{0: T}^{\text {lstm }}=\left(\boldsymbol{h}_{0}^{\text {lstm }}, \boldsymbol{h}_{1}^{\text {lstm }}, \ldots, \boldsymbol{h}_{T}^{\text {lstm }}\right)$ の各ベクトルを変換し, 式 4 中の表現 $\boldsymbol{h}_{t}^{\mathrm{dep}}=$ $\boldsymbol{W}^{\text {dep }} \boldsymbol{h}_{t}^{\text {lstm }}$ と $\boldsymbol{h}_{t}^{\text {head }}=\boldsymbol{W}^{\text {head }} \boldsymbol{h}_{t}^{\text {lstm }}$ を得る. ここで， $\boldsymbol{W}^{\mathrm{dep}} \in \mathbb{R}^{d \times 2 d}$ と $\boldsymbol{W}^{\text {head }} \in \mathbb{R}^{d \times 2 d}$ はそれぞれ, $\boldsymbol{h}_{t}^{\mathrm{dep}} \in \mathbb{R}^{d}$ と $\boldsymbol{h}_{t}^{\text {head }} \in \mathbb{R}^{d}$ に変換するための重み行列である. 実験に使用したハイパーパラメータは表 6 に記す.

## A. 3 結果の詳細

} & \multicolumn{2}{|c|}{ 重み } & \multicolumn{2}{|c}{ 事例 } & \multicolumn{2}{|c}{ 事例 } \\
類似度 & dot & $\cos$ & dot & cos & dot & cos \\

UD-Basque & 85.1 & 85.4 & 85.1 & 80.2 & 85.3 & 85.0 \\
UD-Chinese & 85.9 & 85.5 & 85.9 & 79.3 & 86.1 & 85.7 \\
UD-English & 90.8 & 90.9 & 90.8 & 85.8 & 91.1 & 90.8 \\
UD-Finnish & 89.4 & 89.3 & 89.4 & 84.2 & 89.5 & 89.5 \\
UD-Hebrew & 89.7 & 89.4 & 89.7 & 82.6 & 89.9 & 89.5 \\
UD-Hindi & 94.8 & 94.9 & 94.8 & 90.0 & 94.9 & 94.8 \\
UD-Italian & 94.3 & 94.0 & 94.3 & 86.5 & 94.3 & 94.2 \\
UD-Japanese & 94.3 & 94.4 & 94.3 & 91.0 & 94.6 & 94.5 \\
UD-Korean & 87.9 & 88.0 & 88.0 & 85.1 & 88.2 & 88.2 \\
UD-Russian & 94.2 & 94.2 & 94.2 & 54.6 & 94.3 & 94.1 \\
UD-Swedish & 90.3 & 90.3 & 90.3 & 87.8 & 90.6 & 90.2 \\
UD-Turkish & 73.1 & 73.5 & 73.1 & 70.7 & 73.7 & 73.6 \\
UD (avg.) & 89.1 & 89.0 & 89.1 & 81.2 & 89.3 & 89.1 \\

表 7: 各テストデータにおける正解率.

表 7 に全テストデータの正解率を記す。各正解率 は，異なるランダムシードを用いて独立に学習した 3 つのモデルの平均正解率である.
 \in X$ をサブワード分割してから BERT でエ ンコードする. ここで，各トークン $x_{t}$ の先頭のサブワードに 対するべクトル表現（BERTの最終層の表現）を $\boldsymbol{b}_{t}$ とする. この表現は学習時に更新せず，固定のものを使用する.
}


# 仮想的な誤りタイプの割り当てによる解説文生成の性能向上

永田 亮
甲南大学/JST さきがけ
nagata-nlp2021 @ ml.hyogo-u.ac.jp.
}

塙 一晃
理研 AIP/東北大学
kazuaki.hanawa@riken.jp

## 1 はじめに

本稿では，解説箇所を精緻に認識することで解説文生成の性能を改善する汎用的な手法について述 べる. 解説文生成とは，与えられた文章に対して解説する箇所を決定し，ライティングに関する解説 を生成するタスクである [8]. 例えば，図 1 であれ ば，解説対象文 $(\mathrm{S} 1) \sim(\mathrm{S} 3)$ の赤い下線部が解説箇所， (C1) (C5) が対応する解説文である. 解説文生成の 性能は，解説箇所の推定精度に大きく左右される。 5 で示すように，推定した解説箇所とオラクルの解説箇所とでは, 生成性能に大きな差が生まれる.こ のことは，解説箇所推定に成功すると，解説文の生成にも成功する傾向にあることを示唆する。また，解説すべきでない箇所に対しては，どのような解説文を生成しても誤生成となることは明らかである.

解説箇所推定の改善法として，文法誤り情報付き コーパス $[11,13,12]$ や疑似誤り生成 [17] を流用す ることが考えられるが，訓練データの不一致という 問題が生じる. 訓練データの不一致とは，解説箇所 の訓練事例は存在するが対応する解説文が訓練デー タとして存在しないことをいう。例えば，疑似誤り 生成で，『make+人 $+t o$ 不定詞』のような使役動詞に 関する誤り箇所が大量に得られたとしても，(C1) や (C2) のような関連した解説文が訓練データになけれ ば，適切な解説文を生成することは困難である. そ のような場合に無理に生成を行うと，無関係な解説文が生成されることは容易に想像できる. 解説文生成においては，類似解説文が訓練データに存在する （言い換えれば，解説が可能な）ときのみ，解説箇所 として同定することが重要となる.

そこで，本稿では，与えられた訓練データのみを 用いて解説箇所推定の性能を向上させる手法を提案する（図 1 に基本アイデアを示す)。提案手法は,「同じ誤りタイプに分類される解説箇所は表層上類似した解説がなされる.」という仮説に基づく. 例 えば，図 1 では，(C1) と (C2) および (C3) と (C4) は同じタイプの誤り箇所に対する解説文であり, 表層上類似している。この仮説が正しければ，解説文間 の類似度を手掛かりにして，解説箇所を誤りタイプ ごとにまとめ上げることができるはずである．複数 の解説箇所を同一の誤りタイプとすることにより,「『使役動詞 + 人 $+t o$ 不定詞』は解説箇所である」のよ うな規則の獲得が促進されると期待できる。具体的 な処理として，表層類似度に基づいて解説文をクラ スタリングし，その結果得られたクラスタに仮想的 な誤りタイプを割り当てる。得られた仮想誤りタイ プを，訓練時に，解説箇所のラベルとして利用する.

ここで強調しておきたいのは，あくまでも用いる のは仮想的な誤りタイプであるという点である．誤 りの分類を人手で行う必要はないし，そもそも，な んらかの誤りの分類体系を仮定する必要もない，必要なのは，解説文が付与された英文データのみであ る.そのため，提案手法は幅広い機械学習アルゴリ ズムに汎用的に適用可能である.

本研究の貢献は次の三点である. 第一に，仮想的 な誤りタイプを自動的に決定し，解説箇所推定の性能を向上させる手法を提案する．基本的には解説文 のクラスタリングというシンプルなアイデアに基づ くが，解説文の言語的特徴を考慮した手法としてい る. 第二に，提案手法が解説箇所推定と解説文の生成の両方に有意に効果があることを示す. 第三に，実験結果の分析を通じて，仮想誤りタイプにより性能が向上する理由を明らかにする。

## 2 関連研究

解説文付きコーパスが利用可能になりつつある.文献 $[8,9]$ では，既存の学習者コーパスに対して，解説箇所と解説文の付与が行われている. 文献 [14] では， linking word の用法に着目した解説文を含む学習者コーパスを構築している。

コーパスの公開と共に，解説文生成手法も増えつ つある.ルールに基づいた手法 $[5,10]$ ，テンプレー 卜に基づいた手法 [7]，検索に基づいた手法 [8] など

解説対象文 (S1) It makes students to study. (S2) They let their child to go college. (S3) They came the place by foot.

図 1 提案手法の基本アイデア：同じ色の解説文は表層類似度が高く，同じクラスタに分類されることを意味する.

が知られている。より一般的には，解説文生成は，解説対象文と解説箇所を入力とした言語生成問題と 捉えることができる. したがって，各種のニューラ ル言語生成モデルが本タスクに適用可能である。そ のような研究に文献 [19] がある.

## 3 解説箇所推定手法

提案手法は，次の 5 ステップからなる：

Step (1) 解説文間距離の算出

Step (2) 仮想誤りタイプの同定

Step (3) 仮想誤りタイプの訓練データへの反映

Step (4) 解説箇所推定モデルの訓練

Step (5) 解説箇所の推定

なお，5 の実験で用いるデータセットを踏まえ，以降は, 解説対象文と解説文はそれぞれ英語と日本語 であるとする．ただし，提案手法は解説対象文，解説文とも言語を選ばない汎用的な手法である.

Step (1) では，訓練データとして与えられた解説文の全ての組み合わせに対して距離を計算する。1 で述べたように，表層上類似した解説文をまとめ上 げたいので，編集距離1)を距離の基礎とする．ただ し, 解説文の言語的特徵を考慮するため, 次の二つ の工夫を行う.

まず，解説文中の英単語列を特殊トークン（例： E1）に置換する2). 表層が同じ英単語列は同じ特殊 トークンに置換する。例えば，図 1 の (C2)は，「使役動詞 $E 1$ を使った使役構文は $E 1+E 2+$ 動詞原形の 形になります。」のようになる．この処理には，参照している英単語は異なるが内容は類似する解説文間の編集距離を小さくする効果がある.

二つ目の工夫として，文間のアライメントをとり 距離を求める.この処理は，文数が異なる解説文間 の編集距離が必要以上に大きくなるのを避けるため

に行う. 例えば，図 $1(\mathrm{C} 1)$ と (C2) は同種の誤りに対 する解説文であるが，前者は二文からなるため，そ の分，編集距離は大きくなる．しかしながら，一文目のみに注目すると編集距離はずっと小さい。この 問題を解決するために，編集距離が小さい文の組か ら順にアライメントする。ただし，一つの文は最大 でも一つの文にしかアライメントできないとする. (C1)，(C2)では，一文目同士がアライメントされ， (C1) の二文目はアライメントされない. 最終的な距離は，アライメントされた文間の編集距離の平均と する.したがって，(C1)，(C2)では，一文目のみで 距離が決定されることになる.

Step (2) では，算出した距離を用いて解説文をク ラスタリングする。クラスタリングの結果得られる 各クラスタに，仮想的な誤りタイプ（例えば連番） を割り当てる。ただし，メンバ数が一定数以下のク ラスタについては，解説箇所の推定が困難になるこ とが予想されるため，まとめて一つの誤りタイプと する（以降，デフォルト誤りタイプと表記）クラ スタリングには，階層型クラスタリングの一種であ る single linkage clustering [3] を用いる。クラスタ間 の距離に single linkage を用いるのは，同一内容の解説文でも様々な表層になりえることを考慮してのこ とである。すなわち，クラスタ内に一つでも類似し た解説文が存在すれば，同じタイプの誤りとして認 めるという方針である．クラスタリングの終了条件 は，全てのクラスタ間の距離が閾値以上となったと きとする.

Step (3) では, Step (2) で得られた仮想誤りタイプ の情報を訓練データの解説箇所に反映する．単純 に，仮想誤りタイプを訓練データ中の対応する解説箇所にラベルとして付与する.

Step (4) では，上述の訓練データを用いて解説箇所推定モデルの訓練を行う．解説箇所推定モデルと して，任意の分類（もしくは系列ラベリング）のた めの機械学習アルゴリズムを用いることができる.
本稿では，BiLSTM を用いた誤り検出手法 [6] を採用する. ネットワークの構成とハイパパラメータは 付録 B に示すとおりである.

最終的に Step (5) で，解説箇所の推定を行う. 特別な処理はなく，通常の推論を行うだけである.

## 4 解説文生成手法

3 で提案した手法を用いると，解説すべきかどう かの情報だけでなく，（仮想的な）誤りタイプの情報も得られる。この情報は，解説文生成にも有益で あると予想される．幸いなことに，ニューラル言語生成モデルであれば，仮想誤りタイプの利用は容易 である。本稿では，仮想誤りタイプの情報を分散表現としてデコーダへ入力する方法を採る.

ニューラル言語生成モデルとして，解説文生成の従来手法 [19] を参考にして, pointer-generator network [15] を利用する. ただし, 解説文生成用に 次の二つの変更を加える（ネットワークの構成は付録 B の図 2 に示す). 解説箇所を考慮して解説文を 生成するように, 解説箇所に対応するエンコーダの 隠れ状態3)をデコーダの初期状態とする。 また，仮想誤りタイプもデコーダの初期状態とする.

## 5 評価実験

二つの観点（解説箇所推定と解説文の生成）で提案手法を評価した. 両評価とも, 前置詞解説文デー タセット [9]を用いた. 同データは，トピック「ア ルバイト」（英文数 14,334 ; 解説箇所 2,906 ）と「喫煙」（英文数 14,495; 解説箇所 2,785）について書か れたエッセイを収録する.このデータをエッセイ単位で，85\%，7.5\%，7.5\%の割合で分割し，それぞれ 訓練，開発，評価データとした（詳細は付録 $\mathrm{A}$ に示 す). 前置詞解説文では, 1 単語からなる解説箇所が 大部分を占める. 解説箇所が複数単語にわたる場合 は，中央の単語4)を解説箇所とし，常に解説箇所が 1 単語となるようにした。

各モデルの訓練はトピックごとに行った. 仮想誤 りタイプを得るためのクラスタリングでは，クラス タ間距離の閾値 0.10 と 0.15 , 最小クラスタメンバ数 3 と 5 を用いて, 開発データで解説箇所推定の $F_{1.0}$值が最大となる組み合わせを選択した. ネットワー クのハイパパラメータの値も同様に決定した（詳細 を付録 B に示す)。

3）解説箇所が複数単語からなる場合は平均ベクトルとする.

4）解説箇所の単語数が偶数となる場合は中央左側の単語を解説箇所とした.比較のため，仮想誤りタイプを用いない手法の性能も評価した. 仮想誤りタイプ以外は提案手法と同一とした. 以降では，表記を簡潔にするため，この 手法を便宜的に従来手法と呼ぶことにする。

評価尺度として recall, precision, $F_{1.0}$ を用いた。解説箇所推定については，仮想誤りタイプの一致ま では見ず，解説箇所かどうかの 2 值分類として評価 した. 解説文の生成については, 第一著者と第二著者が，正解の解説文を参照しながら適切な解説文か どうかを独立に判定した. 不一致箇所は相談の上,最終的な評価を決定した。

表 1 に「アルバイト」と「喫煙」に対する出力を まとめてから性能值を求めた結果を示す（個別の評価結果は付録 C に示す)。この表から，仮想誤りタ イプにより, recall, precisionともに改善することが わかる. 実際， $F_{1.0}$ の差は，どちらのタスクにおい ても有意であった (permutation test ; $p=0.002$ (解説箇所推定), $p=0.041$ (解説文生成)).

参考として，オラクルの解説箇所に対する従来手法の生成性能を評価したところ， $F_{1.0}=0.43$ となり,推定した場合とでは大きな差があることが明らと なった.この值は，ある意味での性能限界と捉える ことができる. 提案手法は, 従来手法と同一の訓練 データを使用しているにもかかわらず，従来手法の 性能と性能限界の中間地点付近まで性能を改善して いると解釈することもできる.

## 6 考察

実駼結果を分析したところ，提案手法で解説箇所推定に成功し, かつ, 仮想誤りタイプが出力できた のは 72 箇所であった. その内 62 箇所については従来手法でも推定に成功した. したがって，仮想誤り タイプが出力できる箇所は, 従来手法でも解説箇所推定に成功する傾向にあるといえる。デフォルト誤 りタイプでなく仮想誤りタイプが出力されるという ことは，同種の誤り事例がそれなりの数，訓練デー タに存在することを意味する。なぜなら，メンバ数 が一定以のクラスタのみを仮想誤りタイプとして採択するからである. 訓練事例が一定数ある誤りを解

表 1 性能評価結 ( $R$ : Recall, $P$ : Precision).

説箇所として認識するのは比較的容易であろう。

では，なぜ提案手法の性能は良いのであろう．実 は，上述の理由が従来手法における precision の低下 も説明する。一定数事例がある場合，規則の過剩一般化を引き起こすこともある．最悪の場合，解説箇所周辺の数単語を誤って規則としてしまう. 実験結果からは，そのような傾向が確認された. 例えば， “concentrating our attention on studying" のような誤検出が確認できた．訓練データに“attention on” という 誤りが多数5)あるため，この単語列を規則とした可能性が高い6).一方，仮想誤りタイプを利用すると，複数の事例を一つの誤りタイプとして認識できるた め, 解説箇所とそうでない箇所の相違がより明確に なる. 例えば, "pay attention on" や "pay attention for" などが同じ誤りタイプと認識されたため，この種 の誤りが成立する必要条件に on は含まないと学習 される可能性が高い（相対的に, payが含まれる可能性が高くなる). 同様な例として, 従来手法では, “We can just set a smoking place." を誤検出した (『助動詞 $+t$ 不定詞』を過剩に一般化した結果であると 分析できる)。一方，提案手法では，“can/must/will to 不定詞” など，必ず $t o$ を含んだ解説箇所が仮想誤り タイプのメンバとなったため, 事例間の共通点を学習するのがより容易である.

仮想誤りタイプにより recall が向上する例も確認 できた (例: “smoking is banned at anywhere", “must to $s e t "$ ”).こちらも上と同様に説明できる. 例え ば，前者の場合は，訓練データに，"banned at all the restaurants”を含む文が 463 もあるため ${ }^{7)}$, 従来手法 では，単語列 “banned at”は正しいと判定する規則が 獲得された可能性が高い。一方，提案手法では仮想誤りタイプにより，“at/in anywhere/somewhere”など が同じ誤りタイプにまとめられたため，適切な規則『前置詞+anywhere のような単語』が獲得されたと分析できる.

仮想誤りタイプと同様な効果がマルチタスク学習 により得られる可能性がある。すなわち，解説箇所推定と生成を同時に行うネットワークである. 実際 に，従来手法の二つのネットワークを組み合わせた 手法を評価したところ，解説箇所推定で $F_{1.0}=0.41$

5）例えば，「アルバイト」では少なくとも 8 例確認できる.

6）ニューラルネットを用いているので，実際にこのような ハードな規則が獲得されているわけではないが，出力を分析 するとそのような振る舞いが観測される。

7）トピック「喫煙」は，正確には “Smoking should be completely banned at all the restaurants in the country." という英文で与えら れる.そのため，書き手は同様な表現を頻繁に使用している.
となり，従来手法の性能すら超えられなかった。解説文は表層のバリエーションが多く（図 1(C1) のよ うにオプショナルな情報を含むもの多い)，訓練事例が独立に与えられるマルチタスク学習の設定で は，解説文間の類似性を正確に把握するのはより難 しい，言い換えれば，提案手法のように，文間のア ライメントをとり直接的に類似度を算出することが 重要となる. 更に，限られた訓練データで，より複雑なネットワークの訓練を行うことの難しさも理由 として挙げられる.

解説文の生成における仮想誤りタイプの効果も 顕著である. 仮想誤りタイプが出力された箇所とデ フォルト誤りタイプが出力された箇所の生成正解率 は，それぞれ $71.8 \%$ と1.7\%であり，大きく異なる. ただし，上述のとおり，仮想誤りタイプは一定数以上の訓練事例があることを意味するので，（頻度と いう意味で）比較的生成が容易な事例であることに 注意する必要がある. すくなくとも，仮想誤りタイ プが推定できた場合は，解説文の生成にも正解する 可能性が高いということはいえる.このことは，1 で述べた解説文生成における要件「解説可能なとき のみ解説箇所として同定することが重要」を満たす という点で好ましい特性である。

一方で，仮想誤りタイプ内の事例が同一の解説文 に偏ったため生成の柔軟性が失われる傾向も確認し た. 例えば，「most of の後ろにはある特定の集団が 入ります。単に学生一般を指す場合は、mostを名詞 ではなく形容詞として使いましょう。」という解説文の数が非常に多く, 同種の別の誤り (例 : most of people）に対しても，「学生一般」という表現を生成 してしまっていた (本来は，「人々一般」などを生成しなければならない). この例のように，少し書 き換えると適切になる解説文も正しいと認めると 生成正解率が $71.8 \%$ から $80.0 \%$ まで向上した。一方， デフォルト誤りタイプが出力された箇所の正解率は $41.7 \%$ から $45.5 \%$ となり変化が少ない.このことか らも，上述の傾向が確認できる。

## 7 おわりに

本稿では, 解説文の言語的特徴を利用して仮想誤 りタイプを割り当て, 解説箇所推定と解説文生成の 性能を向上させる手法を提案した. 提案手法は, シ ンプルかつ汎用的な手法にもかかわらず，両タスク の性能を有意に改善することを示した．また，実験結果の分析により, 性能改善の理由を示した.

## 参考文献

[1] Bies, Ann, et al. English web treebank LDC2012T13. Web Download, 2012.

[2] Daniel Blanchard et al. ETS corpus of non-native written English, ldc2014t06. web download, 2014.

[3] J.C. Gower and G.J.S. Ross. Minimum spanning trees and single linkage cluster analysis. Journal of the Royal Statistical Society. Series C (Applied Statistics), Vol. 18, No. 1, pp. 54-64, 1969.

[4] Sylviane Granger. The international corpus of learner English. In English language corpora: Design, analysis and exploitation, pp. 57-69. Rodopi, 1993

[5] Jun'ichi Kakegawa, Hisayuki Kanda, Eitaro Fujioka, Makoto Itami, and Kohji Itoh. Diagnostic processing of Japanese for computer-assisted second language learning. In Proc. of 38th Annual Meeting of the Association for Computational Linguistics, pp. 537-546, 2000.

[6] Masahiro Kaneko, Yuya Sakaizawa, and Mamoru Komachi. Grammatical error detection using error- and grammaticality-specific word embeddings. In Proc. of 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 40-48, 2017.

[7] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to explain corrective feedback for second language learners. In Proc. of 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 235-240, 2019.

[8] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proc. of 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3197-3206, 2019.

[9] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[10] Ryo Nagata, Mikko Vilenius, and Edward Whittaker. Correcting preposition errors in learner English using error case frames and feedback messages. In Proc. of 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 754-764, 2014.

[11] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

[12] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. 18th Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[13] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.
[14] Ildiko Pilan, John Lee, Chak Yan Yeung, and Jonathan Webster. A Dataset for Investigating the Impact of Feedback on Student Revision Outcome. In Proc. of 12th Language Resources and Evaluation Conference, pp.332-339, 2020.

[15] Abigail See, Peter J Liu, and Christopher D Manning. Get To The Point: Summarization with Pointer-Generator Networks. In Proc. of 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083, 2017.

[16] Masatoshi Sugiura, Masumi Narita, Tomomi Ishida, Tatsuya Sakaue, Remi Murao, and Kyoko Muraki. A discriminant analysis of non-native speakers and native speakers of English. In Proc. of Corpus Linguistics Conference CL2007, pp. 84-89, 2007.

[17] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proc. of 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619628, 2018.

[18] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[19] 塙一晃, 永田亮, 乾健太郎. 高信頼度な文法誤り解説生成のための生成制御手法. 人工知能学会全国大会論文集, pp. 2D1GS903-2D1GS903, 2020.

## A 評価実験に用いた前置詞解説文 データセットの詳細

表 2 に，評価実験に用いた前置詞解説文データ セットの詳細を示す. 基本的には, 文献 [9] の前置詞解説文データセットであるが，未公開のデータも 使用した。これらのデータも公開予定である.

## B ネットワークの構成とハイパパ ラメータの設定

## B. 1 解説箇所推定モデル

BiLSTM の層数は 2 に固定し，隠れ状態の次元 200，600，800をサーチした。それ以外は次のよう に固定した: バッチサイズ 32 ; early stopping (エポッ ク数 100 , patience 10) ; ドロップアウトレート 0.5.訓練は 5 回行い, 各訓練結果から得られる出力 (確率）の平均値により最終的な判定を決定した.

最終的に決定されたハイパパラメータは，次のと おりである.トピック「アルバイト」については， BiLSTM の隠れ状態の次元 600 , 仮想誤りタイプを 割り当てるクラスタの最小メンバ数 5 , クラスタ間距離の間値 0.15 となった. 同様に，「喫煙」では，同じ順で，800，3，0.15 となった. 更に, 従来手法 では，BiLSTM の隠れ状態の次元は，800 (「アルバ イト」）と 600 (「喫煙」）となった。

## B. 2 解説文生成モデル

図 2 に, pointer-generator に基づいた解説文生成モ デルの概要を示す. 濃い赤で示された部分が，オリ ジナルの pointer-generator からの変更点である.

ネットワークのハイパパラメータは文献 [19]を 参考にして次のように設定した. エンコーダは BiLSTM（層数 1 ，隠れ状態の次元 300）とした. デ コーダは，LSTM（総数 1，隠れ状態の次元 300）と した. バッチサイズ 32 , エポック数 50 , ドロップ アウトレート 0.5. 訓練は 5 回行い，開発データ中 の正解解説文との BLEU の平均値が最大となる訓練結果を採択した。

## B. 3 両モデルに共通する設定

英単語の分散表現は，アルゴリズムを CBOW， サイズを 200 次元に固定し, 次のコーパスから得 た: 評価実験で用いた訓練, 開発データの解説対象英文, CEEJUS $^{8}$, CLC FCE [18], ETS [2], ICLE [4],

NICE [16]（以上，学習者コーパス), EWT [1] (母語話者コーパス). この分散表現を解説対象文の英単語の分散表現とした. また，解説文中に出現する英単語の分散表現としても使用した. その他の日本語単語については，ランダムな値で初期化した. 日本語の形態素解析器として $\mathrm{MeCab}^{9}$ )を用いた.

各モデルの最適化アルゴリズムは Adam（step size: 0.001, first/second moment: 0.9/0.999）とした.

## C 付録：詳細な評価結果

表 3 と表 4 に，トピック「アルバイト」と「喫煙」 を別々にして評価した性能を示す.

図 2 解説文生成モデルの構成.

表 2 評価実験に用いたデータの統計量.

表 3 トピック別の解説箇所推定性能.

表 4 トピック別の解説文の生成性能.

9) http://taku910.github.io/mecab/


# Incorporating Rubrics to Short Answer Grading

Tianqi Wang ${ }^{1,2}$ Hiroaki Funayama $^{1,2}$ Hiroki Ouchi $^{2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN Center for Advanced Intelligence Project
\{outenki,hiroaki,inui\}@ecei.tohoku.ac.jp \{hiroki.ouchi\}@riken.jp

## 1 Introduction

Assignments are crucial for assessing students' knowledge in a pedagogical setting, where students are generally required to answer questions in relatively short texts. Figure 1 shows a typical example where students are asked to explain a sentence appearing in an essay to test their reading comprehension. A reference answer and rubrics are provided to show the rules for grading assignments.

Due to the diversity of open-ended questions in answer scoring, educators' workload can be excruciatingly timeconsuming. The task of Short Answer Grading (SAG) has been proposed to assist educators with grading. SAG is the task of estimating scores of short-text answers written as a response to a given prompt. The task has been studied mainly with machine learning-based approaches, focusing on exploring better representations of answers. The recently proposed neural models have been yielding strong results $[1,2]$.

SAG is generally a low-resource task, suffering from the scarcity of training data. Thus, it is difficult to train SAG models from answers only, leading to a poor performance. To improve the performance of SAG models especially for low-resource settings when the available training data is limited, it is easy to have the idea to incorporate rubrics to help train SAG models. However, the question is still unclear how to incorporate rubrics into neural SAG models.

In this paper, we explore two approaches to introduce rubrics to SAG models. We first augment training data with rubrics. We extract keyphrases that are highly related to the scores of answers from rubrics, and calculate the weights of words in answers based on span-wise alignments between answers and the extracted keyphrases. Highly weighed words are used as pseudo cues for scoring. Another approach to incorporate rubrics is rule-based models, scoring answers following rules defined by rubrics[3].
Thus we also explore some simple rule-based methods for comparison. The experimental results demonstrate that the performance is improved by the augmented data, especially in a low-resource setting.

## 2 Task and evaluation

We evaluate the SAG models on two analytical assessment tasks formalized by Mizumoto et al. [2]: i) analytic score prediction and ii) justification identification.

Analytic score prediction is the task of predicting the score of a given answer for a prompt. Given a number of answer texts, an SAG model is expected to output either scores [4] or labels. [5]. Given a student answer that consists of $n$ tokens, $t_{1: n}^{a n s}=\left(t_{1}^{a n s}, t_{2}^{a n s}, \ldots, t_{n}^{a n s}\right)$, the goal is to predict the analytic score $s \in \mathbb{R}$. As shown in Figure 1, an answer gains analytic scores for each item (e.g. (A) (D)) following corresponding analytic criterion (Try one's best for 3 points, e.g.). To evaluate the precision of analytic score prediction, we use quadratic weighted kappa (QWK) [6], which is commonly used in the SAG literature.

Justification identification involves identifying a justification cue in a given student answer for each item as interpretation to the prediction of the analytic score. A justification cue is a segment of an answer that contributes to the number of points of the analytic score. An example of a justification cues for item $D$ is shown in Figure 1. As manually annotated justification cues, the phrase 西洋では in the answer refers to 西洋 (では), and 言葉を尽くして refers to 言葉を尽くして in the rubric. Formally, given a student answer $t_{1: n}^{a n s}=\left(t_{1}^{a n s}, t_{2}^{a n s}, \ldots, t_{n}^{a n s}\right)$, the goal is to identify the segment $p_{a: b}=\left(t_{a}^{a n s}, t_{a+1}^{a n s}, \ldots, t_{b}^{a n s}\right)$, where $1 \leq a \leq b \leq n$. In this paper we evaluate the performance on justification identification with F1 score, following the method used by Mizumoto et al [2] for evaluation.

## 3 Proposed method

## 3.1 Key idea

Figure 1: A typical example of a prompt to a provided essay to test the reading comprehension of students. A reference answer and rubrics for scoring are also shown. Texts in green are manually annotated justification cues.

To clarify our key idea, we first introduce attention unsupervised baseline model (ATT-UNSUP) [1] and an attention supervised model (ATT-SUP) [2] for comparison. As illustrated in Figure 2(a), the ATT-UNSUP model encodes student answers with an embedding layer and a Bi-LSTM layer. Then the weighted sum of hidden states is input to a regression layer for prediction of score. The weights are learned by a attention layer on top of the Bi-LSTM layer. We take the ATT-UNSUP model as the baseline in this paper. With additional annotation on justification cues, the ATT-SUP model is trained with gold attention supervisory signals, as is shown in Figure 2(b). Attention to tokens of justification cues is set to 1 , and attention to other tokens is set to 0 . It is reported that the performance is improved by attention supervision [2]. In this paper we list the performance of ATT-SUP model for reference.

Rubrics define key elements with keywords or keyphrases as examples. Key elements are concepts or information defined by the rubrics, that an answer needs to contain in order to receive points. As is shown in Figure 1 , the phrase 西洋では is a keyphrases to define key element for item A, so answers will receive 2 points if they contain a similar phrase. Our key idea is illustrated in Figure 2(c). Instead of manually supervising justification cue signals, we consider using the rubrics to automatically identify which span of a given answer should be attended.

(a) baseline model (b) Attention-supervised model

(c) Proposed model

$
\longrightarrow \text { Inference } \longrightarrow \text { Backpropagation of score }
$

Figure 2: The architecture of baseline model, attention supervised model and proposed method.

If a span that is likely to be a justification cue is identified in a training instance, we then use it as a pseudo supervisory signal to train the attention prediction component. Otherwise we do not use that instance for supervising attention prediction, but use only its gold score to train the model. The output of regression layer is the predicted score, and the output of attention layer is considered as prediction of justification cues.

## 3.2 Data augmentation

We generate pseudo attention supervisory signals based on span-wise matching to rubrics. A concrete example is given in Figure 3. Answers and rubrics are tokenized by MeCab [7], and keyphrases such as（他人を）説得す $る$ are extracted from the given rubrics. We then identify justification cues in a given answer by matching spans to the keyphrases.

Figure 3: Match justification cues.

Given an answer consisting of $n$ tokens $t_{1: n}^{a n s}=$ $\left(t_{1}^{a n s}, \ldots, t_{n}^{a n s}\right)$, we first enumerate all possible spans: $\mathscr{P}=\{a: b \mid 1 \leq a \leq b \leq n\}$, where each span $p_{a: b}=$ $\left(t_{a}^{a n s}, \ldots, t_{b}^{a n s}\right)$ is a subsequence of the tokens in the answer. Each keyphrase is a sequence of $m$ tokens:
$t_{1: m}^{k}=\left(t_{1}^{k}, \ldots, t_{m}^{k}\right)$. The similarity score $w_{a: b}$ between a keyphrase $t_{1: m}^{k}$ and each span $p_{a: b}$ is calculated $w_{a: b}=\operatorname{sim}\left(t_{1: m}^{k}, p_{a: b}\right)$. Based on the similarities, we define the matching score $w^{k}$, how well the keyphrase $t_{1: m}^{k}$ matches (or is entailed in) the answer, and extract the span with the highest similarity as the pseudo justification cue: $p^{k}=\operatorname{argmax}_{p_{a: b} \in \mathscr{P}} w_{a: b}$.

Based on the pseudo justification cues (spans) $p^{k}$, we define a pseudo supervisory signal $\alpha_{i}^{\text {pseudo }}$ of each token $t_{i}^{\text {ans }}$ in an answer $t_{1: n}^{a n s}$ to learn the attention mechanism, instead of the ground-truth one. Specifically, if a token $t_{i}^{\text {ans }}$ is contained in a pseudo justification cue $p^{k}=\left(t_{a}^{k}, \ldots, t_{b}^{k}\right)$, we use the similarity score $w^{k}$ as the pseudo supervisory signal. We pick up the highest one of the similarities if a token is contained in multiple extracted spans.

## 3.3 Attention semi-supervised learning

We propose an attention semi-supervised method to train the SAG model. Because not all of the pseudo justification cues are reliable, only high enough attention values to justification cues will be used as pseudo signals for attention supervising. To filter out the unreliable pseudo justification cues, a binary label $\eta_{j}$ is attached to each answer $a_{j}$. The value of $\eta_{j}$ is set to 1 if $\max \left(\alpha_{j}^{\text {pseudo }}\right) \geq T$, otherwise the value is set to 0 . The threshold $T$ is a hyperparameter. The answer $a_{j}$ is considered as matched to justification cues only when $\eta_{j}=1$. Besides, in order to enhance the effectiveness of attention supervision, we binarize the labeled attention $\boldsymbol{\alpha}^{\text {pseudo }}$ to $\boldsymbol{\beta}^{\text {pseudo }}$. For the $i^{t h}$ token of answer $a_{j}$, the attention value $\beta_{j, i}^{\text {pseudo }}$ is set to 1 if $\alpha_{j, i}^{\text {pseudo }}>T$, and is set to 0 otherwise.

The loss function is designed as follows:

$l=\frac{1}{N} \sum_{j=1}^{N}\left(s_{j}^{\text {gold }}-s_{j}\right)^{2}+\frac{1}{N n} \sum_{j=1}^{N} \sum_{i=1}^{n}\left(\eta_{j} \beta_{j, i}^{\text {pseudo }}-\eta_{j} \alpha_{j, i}\right)^{2}$ where $N$ is the number of answers, and $n$ is the number of tokens in each answers. Note that answer $a_{j}$ is considered containing no justification cues if $\eta_{j}=0$, and the corresponding loss of attention is always 0 . In this way, only answers with a significant match to keyphrases are used for attention-supervised learning.

## 3.4 Rule-based models

Another approach to incorporate rubrics to SAG is rulebased methods. As described in Figure 1, an answer is scored by steps (D(1) and D(2) for item D). On each step, corresponding points are assigned to the answer if any keywords are contained by the answer, and the sum of scores assigned in each step is output as the final score for the answer. We proposed two simple rule-based models that score answers the rules.

Rule-based model on top of regexp matching (RGEXPRULE): We create regular expressions for keyphrases for each step based on the rubrics. Then we identify keyphrases in a given answer by regexp matching for each step, and assign points to the answer for each matched keyphrases. The sum of corresponding scores of matched keyphrases in each step is output as the prediction of answer score. Only the keyphrases with the highest score will be selected if multiple keyphrases are matched in one step.

Rule-based model on top of span-wise matching (SPANRULE): This method works similarly to RGEXP-RULE introduced above, but the span-wise matching introduced in Section 3.2 is used instead of regexp matching. We apply different values of $T$ from 0.1 to 1.0 , and take the value leading to the best performance over all prompts.

## 4 Experiments

We apply our proposed method on the dataset provided by Mizumoto et al. [2] ${ }^{1)}$. The dataset includes 6 prompts (Q1 Q6), with 1600 answers as training data, 250 answers as development data, and 250 answers as test data for each prompt. To focus on the performance in low-settings, we train the models on various sizes of training data, ranging from 50 to 200 , and randomly select 30 develop data.

The embedding layer is initialized wiyh a $100-$ dimensional Word2Vec word embeddings [8] pre-trained on Japanese Wikipedia data. We freeze the embedding layer during the training phase to reduce the number of parameters to learn. The dimension of the Bi-LSTM layer is set to $d^{l s t m}=250$, and the dropout probability is set to 0.5. The parameter $d$ for $\boldsymbol{W}$ and $\boldsymbol{m}$ of the attention layer is set to 100 . $\boldsymbol{W}$ and $\boldsymbol{m}$ are initialized randomly from the normal distribution, with the standard deviation set to 0.01 .

To generate pseudo attention supervisory signals, Levenshtein edit distance [9] is used to match answer spans to keyphrases. The hyperparameter $T$ is selected based on develope dataset. In this paper, we train our model on each item (21 items in total). The parameters are optimized with the Adam [10] optimizer, with learning rate of 0.001 .

Experiments are repeated for 5 times with different random seed from 0 to 4 for initialization, and the average results over all random seeds are used as the final results.

## 5 Results and discussion

Table 1: QWK on analytica score prediction.

Figure 4: QWK analytic score prediction on each prompt. The size of training data for OUR model is 50 .

The experimental results are listed in Table 1 and Table 2, corresponding to QWK for analytic score prediction and F1 score for justification identification. Again, the ATT-UNSUP model is the baseline model, and ATT-SUP with manually annotation on justification cues as attention supervisory signals is for reference.

The performance of rule-based models is very limited, as is shown in Table 1. To figure the reason, we show the performance on each prompt in Figure 4. Note that the rule-based models performance well for some specific prompts, where the justification cues are easy to match, and the rules for scoring is simple. However, for prompts where the rubrics are complicated, it is more challenging to identify justification cues, leading to a extremely low performance. The span-wise matching method performs better than regexp matching, and OUR neural model outperforms the rule-based models overall. This demonstrates that a well designed matching method is necessary for rule- based method to incorporate rubrics to SAG models, and the neural network helps make a stable model, especially on prompts with complicated rubrics. We will explore this problem further in our future work.

Table 1 also indicates that compared to the ATT-UNSUP model, the performance on analytic score prediction is improved by data augmentation. The performance of OUR model is comparable to the ATT-SUP model trained with manually annotated justification cues, but no additional annotation data is required by our model. It is also important to mention that we achieved comparable performance to the baseline with a larger size of training data, indicating that our proposed semi-supervised method does not harm the performance when a large amount of training data is available. The F1 score for justification identification is also improved through various training sizes, as shown in Table 2, indicating better interpretability on the scoring results. However there is still a gap between OUR model and ATT-SUP model. That indicates that there is still much room for improvement with a more carefully designed method to generate pseudo justification cues.

Table 2: F1 score on justification identification.

## 6 Conclusion

Short Answer Grading task plays an important role in education context. However it suffers from the scarcity of training data, making its application limited. To improve the performance of SAG models, we explored approaches to incorporate rubrics to the SAG task. The rule-based models work well on simple prompts, but the performance is limited for prompts with complicated rubrics. The data augmentation with rubrics improves the performance on both analytic score prediction and justification identification compared to the attention unsupervised baseline model, especially in low-resource settings. Considering the pseudo justification cues are generated by a simple span-wise matching method, a more carefully constructed method can lead to further benefits. We will explore this issue in our future work.

## References

[1] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, 2017.

[2] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[3] Lakshmi Ramachandran, Jian Cheng, and Peter Foltz. Identifying patterns for short answer scoring using graphbased lexico-semantic text matching. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 97-106, 2015.

[4] Michael Mohler, Razvan Bunescu, and Rada Mihalcea. Learning to grade short answer questions using semantic similarity measures and dependency graph alignments. In Proceedings of the ACL, pp. 752-762. Association for Computational Linguistics, 2011.

[5] Myroslava O Dzikovska, Rodney D Nielsen, Chris Brew, Claudia Leacock, Danilo Giampiccolo, Luisa Bentivogli, Peter Clark, Ido Dagan, and Hoa T Dang. Semeval-2013 task 7: The joint student response analysis and 8th recognizing textual entailment challenge. Technical report, NORTH TEXAS STATE UNIV DENTON, 2013.

[6] Jacob Cohen. Weighted kappa: nominal scale agreement provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 70, No. 4, p. 213, 1968.

[7] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, pp. 3111-3119, 2013.

[9] Vladimir I Levenshtein. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710, 1966.

[10] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 項目採点技術に基づいた和文英訳答案の自動採点

菊地正弥 $1,2 *$ 尾中大介 $1,2 *$ 舟山弘晃 $1,2 *$ 松林優一郎 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{taisuke.onaka.q7, seiya.kikuchi.t3\}@dc.tohoku.ac.jp
hiroaki@ecei.tohoku.ac.jp \{y.m, inui\}@tohoku.ac.jp

## 1 はじめに

国内の英語教育では、短い和文に対する自由記述形式の英訳問題（短文和文英訳問題と呼ぶ）が盛ん に使われている。この形式の問題は出題者が問う語学的知識を限定しやすく、特定の文法・語彙知識の 習熟訓練・反復学習方法として有効である。一方で こうした記述式の答案に対する採点と助言の返却は 教育者側の負担が大きく、アウトプットと反復学習機会が重要な語学教育においては、その限定的な試行回数が課題となる。

そこで、本稿では短文和文英訳問題に対する自動採点技術の応用を試みる。日本人学習者を対象にし た英作文の自動採点を扱う研究はこれまでほとんど 行われていないが、先行研究として、正答例を列挙 する表現法を提案し効率的にマッチングを行うこ とで自動採点を実現しているものや [1]、学習者の エッセイライティングを対象にして文法誤りを検出し解説文を生成する手法 [2] がある。また、近接 する分野として、和文英訳問題の採点は文法的正し さの評価という観点で Grammatical Error Correction (GEC) と関連する。短文からなる答案に対して採点基準に基づき評価を行うという観点では Short Answer Scoring (SAS) と見なすこともできる。

本研究では、高校の学習課程での運用実態を参考 に、短文和文英訳問題の採点を、作題者が確認した い複数の部分要素を採点項目として反映した項目別 の SAS の問題として定式化し、NN ベースのモデル により自動採点を実現する。この我々の目的に必要 となる学術利用可能な日本人学習者の和文英訳文採点データは存在しないため、我々はまず、和文英訳問題に対する自動採点モデルの学習と評価を可能 とするデータ形式を設計し、答案の収集・アノテー ションを行いデータセットを構築した (図1)。この データ中では、明確な複数の採点基準に基づき基準

図 1 データセットに含まれる答案及び採点基準の例。

ごとに答案の採点が行われる。また、各採点項目の 根拠箇所が付与されており採点の解釈性が高い。

実験では、我々が作成したデータセットに対し [3] が提案する項目採点モデルを適用し、その採点精度と今後の課題を検証する。加えて、疑似データ 生成による性能向上についても検証する。一般に SAS におけるデータ作成は高コストなため、データ 数が少ないときの性能の維持が課題である $[3,4]$ 。 そこで、GECにおいて成功している疑似的な文法誤 り生成のアプローチ [5]を用いて、和文英訳問題採点での効果を検証する。実験の結果、大半の採点基準に対して $\mathrm{F}$ 値で $80 \%$ 以上の精度で採点可能である ことが明らかになった。また、GECで用いられてい る手法 [5] を用いて生成した疑似データを学習に用 いることにより、学習データが少ない評価ラベルに 対する採点精度の向上を確認した。

## 2 和文英訳問題データセット

本研究を行うにあたり作成したデータセットに ついて説明する。本データセットは四天王寺高等学校・中学校および増進堂・受験研究社の協力のもと 作成したものであり、和文英訳問題の答案として初
表 1 答案データの統計値

のデータであるだけでなく日本人英語学習者の SAS 形式の英文データとしても初めてのものである。

本データセットには問題が 7 問含まれており、そ れぞれの問題に複数の明確な採点項目と採点基準 が存在する。問題文、採点基準は専門家により作成 されたものである。答案は各採点項目ごとに採点さ れ、項目評価値（ $\mathrm{O}, \Delta, \times$ のいずれか）および評価根拠箇所（答案中の単語位置）が付与されている。答案例と採点基準の一部を図 1 に示す。問 1,2 は四天王寺高等学校において行われた試験問題と生徒の答案である。また、増進堂・受験研究社の協力により 新たに 5 問を作題し、問題 1,2 と合わせてクラウド ソーシングにより答案の収集を行った。収集におい ては、回答者のレベルを高校生と同等水準に揃える ため、英語検定試験のスコア (付録参照) で募集をか け、能力チェック用設問の正答率によって回答者の 選定を行なった。さらに、収集した答案の品質維持 のため、著しく内容が逸脱した回答をルール (付録参照) および目視により除外した。その後、収集し た答案に対して採点基準に基づき項目評価値と根拠箇所のアノテーションを行なった。アノテーション は、作題者である専門家がクラウドソーシングで収集した答案を閲覧し精緻化した採点基準書にした がって、著者ら監督のもと別の作業者が実施した。

7 問に対するデータの統計を表 1 に示す。高校の 答案を含む問 1,2 で 160-170 程度、その他は 70-100 程度の答案を含む。各問題には 10 前後の採点項目 が存在する。本データセットは学術利用目的に限り 公開する予定である1)。

## 3 和文英訳答案の自動採点

## 3.1 問題設定

本研究では和文英訳問題の採点を複数の採点項目を持ったSAS 問題として定式化する。ある和文

英訳問題に対して、その採点項目の集合を $C$ とす る。入力は答案テキスト $\left(w_{1}, w_{2}, \ldots, w_{n}\right)$ および採点項目 $c \in C$ であり、出力は $c$ に対する 3 段階の評価値 $s_{c} \in\{\bigcirc, \Delta, x\}$ とする。採点は各採点項目ごとに 出力し、答案に対する総合的な評価は行わない。

## 3.2 項目採点モデル

本研究では、SAS のために提案された [6] の採点 モデルを採点項目ごとに個別採点するよう拡張した モデル [3] によって和文英訳問題の採点を行う。た だし、我々のモデルは得点に対する回帰問題ではな く、 3.1 に記述した 3 值分類問題を学習する。

本研究で用いるモデルを説明する。まず、入力された答案テキストは単語ベクトルの列 $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ に変換される。その後、このべク トル列は Bi-LSTM に入力され、順方向と逆方向の 中間状態ベクトルの和を取ることにより、D 次元の 中間表現の列 $\mathbf{h}=\left(h_{1}, h_{2}, \ldots, h_{n}\right)$ にエンコードされ る。これを用いて、各採点項目ごとに個別の文べク トルを計算する。ただし、中間表現の列 $\mathbf{h}$ を作る Bi-LSTM は全採点項目で共有されることに注意され たい。 $c \in C$ に対する文ベクトル $\tilde{h_{c}}$ は中間表現の重 み付き和として次のように計算される。

$
\tilde{h_{c}}=\sum_{i=1}^{n} \alpha_{i}^{c} h_{i}
$

$\alpha_{i}^{c}$ は採点基準 $\mathrm{c}$ に対する $\mathrm{i}$ 番目の単語の重みであ り、式 (2) に示す注意機構によって算出される。

$
\begin{aligned}
t_{i}^{c} & =h_{i} M_{c} V_{c} \\
\alpha_{i}^{c} & =\frac{\exp \left(\tanh \left(t_{i}^{c}\right)\right)}{\sum_{k=1}^{n} \exp \left(\tanh \left(t_{k}^{c}\right)\right)}
\end{aligned}
$

$M_{c} \in \mathbb{R}^{D \times D} 、 V_{c} \in \mathbb{R}^{D}$ は学習するパラメータである。最後に項目 $c$ に対する評価値 $s_{c}$ を次式により得る。

$
\begin{aligned}
p\left(s_{c} \mid \mathbf{x}\right) & =\operatorname{softmax}\left(W \tilde{h_{c}}+b\right) \\
s_{c} & =\underset{s_{c} \in\{\bigcirc, \Delta, \times\}}{\arg \max }\left.\{p\left(s_{c} \mid \mathbf{x}\right)\right.\}
\end{aligned}
$

$W \in \mathbb{R}^{3 \times D} 、 b \in \mathbb{R}^{3}$ は学習するパラメータである。

## 3.3 学習

項目採点モデルは各採点項目の評価結果について 負の対数尤度 (NLL) を最小化するように学習する。

$
L_{\text {score }}=\sum_{c \in C} \operatorname{NLL}\left(p\left(s_{c} \mid \mathbf{x}\right), \hat{s_{c}}\right)
$

ここで、 $\hat{s_{c}}$ は採点基準 $\mathrm{c}$ に対する教師信号のラべ ル (評価値) である。また、2 節に示したように本

データセットには答案に対して採点項目ごとに採点根拠箇所 $\hat{\alpha^{c}}=\left(\hat{\alpha_{1}^{c}}, \hat{\alpha_{2}^{c}}, \ldots, \hat{\alpha_{n}^{c}}\right)$ が付与されている。 $\hat{\alpha_{i}^{c}} \in[0,1]$ は答案中の $i$ 番目の語が根拠となるかを 表す数であり、採点根拠となるトークンが答案中に $k$ 個ある場合、その位置には $1 / k$ が、それ以外には 0 が付与されている。[3] に従い、本研究において も、以下の損失関数によりアテンションの教師有り 学習を行う。

$
L_{a t t}=\sum_{c \in C} \sum_{i=1}^{n}\left(\alpha_{i}^{c}-\hat{\alpha_{i}^{c}}\right)^{2}
$

よって、全体の損失 $L$ は以下の式で表される。

$
L=L_{\text {score }}+L_{\text {att }}
$

## 3.4 疑似データ生成

表 1 に示したように、本データセットに含まれる 答案数は各問につき高々 170 件程度であり、 $\mathrm{NN}$ モ デルを用いる他のタスクのデータセットと比べて著 しく少ないが、問題ごとにモデルの訓練が必要であ るという SAS の特徴をるまえると大規模なデータ 収集により答案数を増やすことは現実的ではない。

そこで、我々は GEC における疑似データ生成手法の一つである [5] をべースにした手法によって間違い事例の増強を検討する。和文英訳においては正答、部分正答の答案パターンは限られている一方 で、間違い方は多様である。しかし表 1 のとおり、 $\times$ 評価は。評価に比べて答案の分布として収集が難 しい傾向にある。これは、通常、和文英訳問題が問題に適した学力水準の被験者を対象として出題され ることと関係する。したがって、×評価の答案を効率的に収集する何らかの手法が必要である。

本研究では、まず数個の模範解答例について人手 で項目別採点を行い、その各採点項目の採点根拠と なっているトークンに対して、実際の間違い事例の 類型化に基づいて設計した以下の品詞カテゴリの置 き換え操作によって疑似データの生成を行う。

・冠詞、前置詞、関係詞、所有限定詞
- 動詞の人称・時制
- 同一語幹の形容詞と副詞

・スペルが似た語

上記の置き換えが発生する箇所を採点根拠としてい る採点項目について、トークンを置き換えた後の評価值を×とすることで、疑似的に $\times$ の事例を増強 する。「スペルが似た語」ではレーベンシュタイン正解データ

This is a restaurant which my uncle used for enjoying lunch.

冠詞 関係代名詞

前置詞 関連語

図 2 疑似データ生成例。この例では冠詞、関係詞、前置詞および関連語を置き換えることにより負例を疑似的に 生成している。

距離が 4 以下でジャロウィンクラー距離が 0.8 を超 える単語に置き換えた。なお、高校生の語彙レベル に合わせるために、置き換え語の単語は 1993 年か ら 2017 年まで 4 年ごとのセンター試験および追試験の電子化データ $\left.{ }^{2}\right) よ り$ 抽出した 4463 語に絞った。生成された疑似データの例は図 2 に示す。

## 4 実験

## 4.1 設定

本研究では $\bigcirc, \Delta, \times$ の 3 值で評価を行っているた め、自動採点の精度評価には $\mathrm{F}$ 值を用いた。モデ ルの学習においては、Adam [7] を用いて最適化を 行った。また、学習率として 0.001 を用いた。また、実験は各問についてデータセットを訓練:開発:評価 $=3: 1: 1$ と分割する 5 分割交差検定により行なった。評価は採点項目ごとに行い、それぞれ 50 エポック 回した上で開発セットに対して最も性能が高かっ た時のパラメータを用いた。また、疑似データの混入にあたっては、混入量をもとの訓練データの量 の $\{10 \%, 20 \%, 30 \%, 40 \%, 50 \%\}$ と変化させた時に開発セットにおいて最も性能が高かった割合を用いた モデルにより評価を行った。

## 4.2 結果

3.1 節で説明したモデルを用いた際の採点精度、 および、 3.4 節で説明した手法により疑似データを 生成し、学習に用いた時の採点精度の変化を測定し た。結果を表 2 に示す。実験結果は各問ごとに全採点基準のマイクロ平均取った時の $\mathrm{F}$ 値を示した。表 2 より、問題 $1,3,4,6$ に対しては疑似データ追加を 行う前の段階で $\mathrm{F}$ 值 0.9 ポイント程度と非常に高い 精度で採点できることがわかった。問題 $2,5,7$ につ いては他の問よりも採点精度は低く、特に問題 2 の

図 $3 \times$ 評価に対する項目ごとの $\mathrm{F}$ 値

表 2 問 1～問 7 に対する項目別自動採点の $\mathrm{F}$ 値

採点精度については 0.73 ポイント強にとどまって いる。次に、疑似データを混入した時の精度に注目 する (表 2 中の十疑似データ)。疑似データを用いる ことで問題 4 を除いたすべての問に対して採点精度 の向上が確認できた。特に、問題 $2,5,7$ においては それぞれ $\mathrm{F}$ 值で $0.17,0.040,0.096$ ポイントの大きな 精度向上が見られた。このことから、問題 $2,5,7$ の ように元の採点精度が低い問題に対しては疑似デー タの生成が有効に働くと考えられる。

我々の疑似データ生成は $\times$ 評価に対する採点精度向上を狙ったものである。この効果を確認するた め、図 3 に疑似データ生成の対象となった採点項目 の $\times$ 評価に対する $\mathrm{F}$ 值を示した。ただし、正確な評価を行うために、 $\times$ 評価の答案が 5 件以下の採点基準については評価を行っていないため、図 3 には掲載されていない。全体の傾向として、疑似負例の導入より $\times$ 評価に対する採点精度が向上することが分 かる。特にオリジナルのデータのみを学習した場合 に精度が低い採点項目（Q2-D3, Q2-D2）などにおい ては、疑似データを学習することでモデルの性能は 大きく向上している。ここから、容易に答案数を増 やせない状況においても、疑似データ生成により低 コストでモデルの精度向上が可能だということが確認できた。一方で、疑似データを学習したことによ り性能が下がるケースも見受けられる（Q4-C2）が、 その影響はわずかであった。

## 5 おわりに

本研究では国内の英語教育で盛んに利用されてい る自由記述形式の和文英訳問題の採点に焦点を当 て、この自動化技術の構築に取り組んだ。高校現場 での試験とその採点の運用実態を参考に、タスクの 定式化を行い、この形式にもとづいて和文英訳答案 の採点データセットを構築した。また、既存の NN ベースの項目点別採点モデルを適用し、約半数の問題では $\mathrm{F}$ 値 0.9 ポイント程度の高精度で採点が可能 な一方で、一部の問題では採点精度がそれ未満にと どまることがわかった。この主要な理由は、間違い 方の種類が多岐に渡る項目において訓練データ中の カバレッジが不足することにある。こうした問題に おいても疑似的に生成した負例を用いることで×ラ ベルに対する採点精度を向上させることができ、結果として F 值を 0.9 ポイント付近に引き上げられる ことを確認した。今後は数十問規模でデータセット を拡充し、現場レベルでの実証実験につなげていく ことを予定している。また、学習効果の向上のため には、学習者は提出した答案に対して評価だけでは なく学習上のアドバイスを得られる事が重要である と考えられる。したがって、答案の評価を推定する だけではなく、答案に合ったアドバイスを出力する ことを今後の課題として検討している。

## 謝辞

データセットの作成にあたって四天王寺高等学校・中学校および株式会社 増進堂・受験研究社にご 協力を頂きました。また、Yahoo!クラウドソーシン グにおいてご協力頂いたクラウドワーカーの皆様 へ深く感謝を申し上げます。本研究は JSPS 科研費 JP19H04162、JP19K12112 の助成を受けたものです。

## 参考文献

[1] Norihisa NISHIMURA, Kentaro MEISEKI, and Michiaki YASUMURA. Development and evaluation of system for automatic correction of english composition. Transactions of Information Processing Society of Japan, Vol. 40, No. 12, pp. 4388-4395, dec 1999.

[2] Kazuaki HANAWA, Ryo NAGATA, and Kentaro INUI. Generation control methods for reliable feedback comment generation. Proceedings of the Annual Conference of JSAI, Vol. JSAI2020, No. 0, pp. 2D1GS903-2D1GS903, 2020.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, Florence, Italy, August 2019. Association for Computational Linguistics.

[4] Tianqi Wang, Naoya Inoue, Hiroki Ouchi, Tomoya Mizumoto, and Kentaro Inui. Inject rubrics into short answer grading system. In Proceedings of the 2nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), pp. 175-182, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical error correction using pseudo learner corpus considering learner's error tendency. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 27-32, Online, July 2020. Association for Computational Linguistics.

[6] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

## A. 1 回答者の選抜基準

回答者のレベルを高校生と同等水準に揃えるた め、英語検定試験のスコアによって募集者の選抜を 行った。表 3 にその際に用いた基準を示す。これら の基準の策定にあたっては、国内の英語検定資格と CEFR の対応 ${ }^{3}$ や専門家の意見などを参考にした。 また、回答者の年齢を 17〜39 歳に絞った。

## A. 2 無効答案のフィルタリング

収集した答案の中には、題意に沿って回答してい ない答案や機械翻訳機などを用いて機械的に生成さ れた答案などが散見された。そこで、以下の 4 項目 からなるフィルタリング規則によって、無効答案の フィルタリングを行った。
1. 3 単語未満の回答を除去

2. Google 翻訳と同文の回答を除去

3. 設問にて回答条件が設けられている場合、条件 を満たさない回答を除去

4. 正答例との類似度が著しく低い回答を除去

ここで、回答条件とは文頭の数単語が設問中に予め 与えられている場合などの、設問で指定されている 答案が絶対に満たすべき条件を指す。

3) https://www.mext.go.jp/b ${ }_{m}$ enu/houdou/30/03/i ${ }_{i}$ csFiles/af ieldf ile/2019/01/15/1402610.$p d f$


# 文法誤り訂正モデルは訂正に必要な文法を学習しているか

三田雅人
理化学研究所東北大学
masato.mita@riken.jp

## 1 はじめに

文法誤り訂正（GEC）は，テキストに含まれる文法誤りを自動的に訂正するタスクである。本タス クでは, その構造的な類似性から文法誤りが含ま れる文から誤りが含まれない文への機械翻訳とみ なして解くアプローチが主流である。そのため, GEC のためのニューラルエンコーダデコーダモデ ル (EncDec) が数多く提案されており, 現在では Transformer [1] に基づくモデルが標準的になってい る $[2,3,4]$. 最近では, 学習データ不足の問題を解決するために擬似データの活用が盛んに行われてお り，モデルの性能向上が報告されている $[5,6]$.

一方で，GEC の実応用を考えたとき，性能だけで なくモデルサイズや推論速度といったモデルの軽量化も重要な観点であるが, 現行の擬似データを活用して性能向上を図る方法は, この観点で課題が残 る. 例えば, Kiyono ら [6] の報告によると, 訂正性能を測る標準的な評価指標である $\mathrm{F}_{0.5}$ においてたつ た 2 ポイント性能を向上させるために, 約 6,000 万文対もの擬似データを追加で増やす必要があること がわかった. 現行の機械翻訳としてのモデル化や擬似データの活用による性能向上の背景には, 大量の パラメータを用いた訂正パターンの丸暗記という要因が挙げられるが，ここで，全ての誤りに対してパ ターンを丸暗記させる必要があるのか，といった問 いが考えられる。なぜなら, 主語と動詞の一致誤り のような文法規則に基づく一部の文法誤りに関して は，人間は文法規則さえ学習できていれば必ずしも 個々のパターンを丸暗記する必要はないからであ る.また，モデルは大量のパターンから訂正に必要 な文法知識を学習していることを期待されるが，文法知識をどの程度汎化できているかは自明ではな い。もし仮に，文法規則に従って訂正できる文法誤 りに対して汎化できていないのであれば，ありとあ らゆる語彙と構文の組み合わせからなる訂正パター ンを丸暗記する必要があることになり，より軽量な

\author{
谷中瞳 \\ 理化学研究所 \\ hitomi.yanaka@riken.jp
}

図 1 GEC モデルの汎化性能評価の概要.

GEC モデルを実現させるためには訂正に必要な文法知識をルールとして教える手法を組み合わせると いった改善が必要となる.

そこで本研究では，GEC モデルの軽量化に向け て，モデルが訂正パターンを単に丸暗記しているの ではなく，訂正に必要な文法知識を汎化できている かについて分析する手法を提案する。 また本研究で は，（i）文脈自由文法（CFG）を用いて語彙と構文 を制御しながら自動構築した人工データ，（ii）既存 の学習者データを用いて語彙を制御しながら自動構築した実データという 2 種類のデータセットを用い て評価を行い，入力文の語彙や構文の複雑さと汎化性能との関係について分析を行う。

## 2 関連研究

言語モデルが自然言語の文法性を獲得しているか について分析する先行研究としては, 英語の主語と 動詞の数の一致に着目した分析 $[7,8]$ がある. この 分析では, 言語モデルが The farmer * *mile/smiles と いう単語列に対し, 正しい活用形である smiles に誤 りの活用形である smile よりも高い確率を付与でき るかを評価する。これらの先行研究では言語モデル が単純な統語現象から長距離依存関係を含むような 複雑な統語現象を対象として, 文法的に正しい文と 誤っている文をどの程度区別できるかに焦点を当て ている.これに対して本研究では, 誤り訂正で重要 な誤りタイプを対象として，言語モデルと翻訳モデ ルから構成される GEC モデルの汎化性能を分析す
表 1 自動構築した人工データおよび実データの例.

る. 先行研究が言語モデルの文法能力のみを分析対象としているのに対し, 本研究では誤り検出だけで なく翻訳モデルによる誤り訂正においても汎化性能 を評価することで実践的なモデルに求められる文法能力を評価できる. また, 先行研究の多くは語彙や 文法をコントロールした人工データを用いて評価 を行っているのに対して, 本研究では人工データと 実際の学習者データの両方でモデルの評価を行い,人工データと実データの結果について比較分析を 行う.

## 3 提案手法

本研究では, 現行の機械翻訳に基づく GEC モデ ルが訂正に必要な文法知識を汎化できているか，よ り具体的には，未知の語彙に対する汎化に焦点を当 てて調査する. なお，本研究では未知の語彙を含む 文法誤りを検出できることと訂正できることを合わ せて文法知識の汎化と定義する. 図 1 は, 主語と動詞の一致を例とした提案手法の概要図である.この 提案手法では, 学習・評価セットの誤り箇所に現れ る語彙を制御して自動構築したデータを用いてモデ ルの評価を行う，具体的には，誤り箇所に既知の語彙が現れる学習・評価セットで評価したときの性能 (既知の語彙設定) と, 誤り箇所に未知の語彙が現 れる学習・評価セットで評価した時の性能（未知の 語彙設定）を比較することで，未知の語彙を含む文法誤りに対するモデルの汎化性能を評価する。

ここで，モデルが（i）語彙を知らなかったため 訂正できなかったのか，（ii）文法知識の汎化に失敗 したため訂正できなかったのかを切り分けて検証 を行うために, 出現語彙自体は学習データと評価 データで共通となるように制御する。例えば，図 1 の未知の語彙設定の例においては, Every dog *run quickly $\rightarrow$ Every dog runs quickly という文対と Every dog smiles awkwardly $\rightarrow$ Every dog smiles awkwardly と いう（無編集な）文対は学習データに出現し，Every dog * smile awkwardly $\rightarrow$ Every dog smiles awkwardly と いう文対は出現しないように制御した学習データを用いてモデルを学習させる．このとき，仮にモデル が Every dog *smile/smiles awkwardly という入力文に 対し, 正しい活用形である smiles と訂正できなかっ た場合は，主語と動詞の一致に関する文法知識を汎化できていないということになる.

本研究では, Bryant ら [9] が定義する誤りタイ プの中から，文法規則に基づく誤りである，主語と動詞の一致誤り (VERB:SVA) - 動詞の態誤 り (VERB:FORM) - 語順誤り (WO) - 形態素誤り （MORPH）・名詞の単複誤り（NOUN:NUM）の計 5 種類の誤りタイプを対象に調査する。

## 3.1 人エデータを用いた検証

語彙と構文を制御した状況で評価を行うため, $\mathrm{CFG}$ の生成規則から自動構築したデータで DNN の 推論における汎化性能を分析する手法 [10] を応用し て人工データを自動構築し，分析を行う。分析対象 である 5 種類の誤りタイプについて，誤りタイプご とに文法的に誤りを含む生成規則と正しい生成規則 の 2 種類の生成規則を設計（設計した $\mathrm{CFG}$ 生成規則の一部を付録 $\mathrm{A}$ に示す）し，これらの生成規則か ら元文と訂正文をそれぞれ生成する。

VERB:SVA の人工データの例として, 文法的に 誤りを含む生成規則 $\mathrm{S} \rightarrow \mathrm{NP}_{p l} \mathrm{VP}_{s g}$ から元文* $\operatorname{dog} s$ smiles, 正しい生成規則 $\mathrm{S} \rightarrow \mathrm{NP}_{s g} \mathrm{VP}_{s g}$ から訂正文 dog smiles を生成できる. 使用する語彙は生成文が 自然となるように一般名詞，自動詞，他動詞，形容詞，副詞各 15 種類を選定し，誤り箇所以外の語彙 は共通にした。データサイズは $\mathrm{CFG}$ で生成される 文を調整することで調整でき，本論文では各誤りタ イプを十分に学習できる量の学習データとして，各誤りタイプ 5 万文対のデータを自動構築した。

## 3.2 実データを用いた検証

3.1 節では，未知の語彙に対する汎化性能にのみ 焦点を当てて分析を行うため, $\mathrm{CFG}$ を用いて語彙と 構文を制御しながら自動構築した人工データを用い た検証について述べた。しかし， CFGに基づいて構
表 2 未知の語彙に対する汎化性能。

築した人工データは, GEC の実際の入力として想定される実データとは質が大きく異なる．具体的に は，人工データでは語彙や構文が制限された単純な 文のみで構成されるが，実データでは，語彙および 構文は単純なものから複雑なものまで多種多様であ る（表 1)。そこで本研究では，より実践的な設定に おけるモデルの汎化性能を分析するために実データ を用いた検証も併せて行う。

まず，既存の学習者データセットに対して， ERRANT [9] を用いて誤りタイプラベルおよび訂正 パターンの自動アノテーションを行う. ここで, 本研究では学習者データセットとして, BEA Shared Taskで配布された学習データおよび開発データを 結合した約 200 万文対のデータ使用した ${ }^{1)}$. 次に,一文につき一つの訂正パターンになるように誤り タイプおよび訂正パターンを保持しながらデータ を分割する ${ }^{2)}$. 未知の語彙設定は, 保持した訂正パ ターンをもとにデータ全体でソートし，重複のある ものを学習データに, 重複のないものを評価データ に分類することで構築する。上記手順で誤りタイプ ごとにサンプリングを行いデータセットを構築し た結果, VERB:SVA は 25,889 文対, VERB:FORM は 41,592 文対, WO は 18,779 文対, MORPH は 26,345 文対, NOUN:NUM は 68,002 文対となった。

## 4 実験

## 4.1 実験設定

3 節で構築した人工データおよび実データを用 いて評価実験を行う．実験に使用した学習・開発・評価セットの詳細は付録 B を参照せよ. 評価尺度 として, ERRANT [9] によって算出された $\mathrm{F}_{0.5}$ を用 いる. GEC モデルは， 1 節で述べたように，現在 では Transformer に基づいた EncDec モデルが標準

1) https://www.cl.cam.ac.uk/research/nl/bea2019st/

2）一文中に複数の誤りや異なる誤りタイプが含まれる場合も,対象とする誤り以外は訂正をしないことに注意されたい。的になっているため，本評価実験でもこれを採用 する. 具体的には, seq2seq モデルのツールキット fairseq [11] における“Transformer（big）”を使用し た ${ }^{3)}$.

## 4.2 実験結果

表 2 に評価結果を示す。人工データを用いた検証 をみると，WO は除き，モデルは既知の語彙設定に 比べて未知の語彙設定で訂正性能が大幅に下がっ ていることが確認できる．WO が未知の語彙に対し て相対的に汎化性能が高かった要因の一つとして，訂正タスクとしての複雑さが考えられる。具体的に は，WO は単語の位置がわかれば修正できるが，他 の誤りは単語の表層形の違いや特定の単語間の依存関係をみて修正する必要があるため, 訂正タスクと して複雑さが増している。

一方で，実データを用いた検証においては，WO を含め全ての誤りが訂正に必要な文法知識を汎化で きていないことがわかる．人工データと実データの 結果の傾向が異なったことについては，5 節で分析 する。以上の結果より，人工データで使用したよう な比較的単純な語順誤りを除いて，モデルは大量の パターンから訂正に必要な文法知識をほとんど汎化 できていないことがわかった。

## 5 分析・考察

エンコーダvs. デコーダ 文法知識の汎化に失敗 したとき，誤りを検出するのに失敗したのか（エン コーダ起因の問題), 誤りを検出はしているが正し い単語の復元に失敗したのか（デコーダ起因の問題）を分析するために，未知の語彙に対する誤り訂正性能と検出性能の比較を行う. 図 2 に, 人工デー タおよび実データを用いた検証における，検出性能 と訂正性能の比較を示す.ここで，検出性能の評価 は訂正性能と同様に ERRANT を用いて行った。人工データを用いた検証結果（図 2a）では，どの誤り
$ を参照せよ.
}

(a) 人工データ

(b) 実データ

図 2 検出性能と訂正性能の比較.

表 3 実データにおけるノイズの有無による訂正性能比較 (未知の語彙設定).

タイプも誤りの検出には成功していることがわか る。一方で，実データを用いた検証結果（図 $2 b$ ）で は, 誤り検出の時点で全ての誤りタイプについて大幅に性能が低下していることがわかる.

人エデータvs. 実データ図 2 の実験結果から，現行の GEC モデルは人工データでは少なくとも誤 り検出をある程度汎化できているが，実データでは 誤り検出の時点で汎化に失敗していることがわかっ た. 実データにおいてうまく汎化できなかった要因 としては大きく，（i）語彙や構文の多様さ，（ii）文中の誤りの複雑さの 2 点が考えられる. (ii) につ いては，実データには一文中に複数かつ様々な誤り を含む場合があるため，周囲の誤りが対象の誤りを 検出・訂正する際に悪影響を与えてしまった可能性 がある. そこで, 文中の誤りの複雑さが訂正に与え る影響を調査するために，未知の語彙設定における 実データを一文中に対象の誤りのみ含まれるデータ と対象の誤り以外も含むデータに分け，それぞれに おける訂正性能を評価した。ここで，本論文では一文中に対象の誤りタイプのみ含まれるデータをノイ ズなし, 複数の誤りタイプの誤りを含むデータをノ イズありと呼ぶ. 表 3 にその結果を示す. この結果 から，WO はノイズの有無に関わらず性能が一定で あるが，他の誤りはノイズに対して少なからず影響 を受けていることがわかる。しかし，ノイズなしの 設定においても, 既知の語彙設定における訂正性能 （表 2 参照）と比較すると大幅に性能が低いことを 踏まえると, 実データで汎化できなかった要因とし ては，語彙や構文の多様さが支配的であると考えら
れる。

言語モデル vs. 翻訳モデル言語モデルと翻訳モ デルから構成される GEC モデルにおいて, 表 2 の評価実験は，翻訳モデルが各誤りタイプにおいて訂正性能の向上にどのくらい寄与しているか，に関する 一種のアブレーション実験と捉えることが可能であ る. なぜなら, 未知の語彙設定では, 正しい言語モ デル（Every dog smiles awkwardly）はモデルに明示的 に教えているが，正しい翻訳モデル（*smile/smiles） は明示的にはモデルに教えていない設定であるから である.したがって，WO は言語モデルの情報だけ でも訂正が可能なのに対して, 他の誤りは翻訳モデ ルも訂正性能の向上に重要な要素であることがわか る.この結果は言語モデルが語順には強いという報告 [12] と整合性のある結果である．以上の結果か ら， GECのような実践的なモデルの汎化性能を測る ためには言語モデル（検出）の汎化性能だけ見てい ては不十分であり，翻訳モデル（訂正）の汎化性能 の両方を見る必要性があることが示唆される.

## 6 おわりに

本研究では人工データと実データの 2 種類のデー タを用いて，未知の語彙を含む誤りに対するモデル の性能を評価することで，モデルが訂正に必要な文法知識を汎化できているかについて分析を行った。実験の結果，現行の GEC モデルは人工データのよ うな簡単な設定においては誤りの検出をある程度汎化できている一方で，訂正はほとんど汎化できて いないことが示唆された。また，多様な語彙や構文 を含む実データでは，誤りの検出も訂正も汎化でき ていないことが示唆された.今後の展望として, 実 データではなぜ検出の時点で汎化できていないの か，分析を進める。

謝辞. 本研究の一部は理研・産総研「チャレンジ研究」(FS 研究), JSPS 科研費 JP20K19868 の助成を受 けたものである.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017.

[2] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 284-290, 2018.

[3] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), 2019.

[4] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 4248-4254, 2020.

[5] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2019), pp. 252-263, 2019.

[6] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp. 1236-1242, 2019.

[7] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 521-535, 2016.

[8] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless Green Recurrent Networks Dream Hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 1195-1205, 2018.

[9] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), pp. 793-805, 2017.

[10] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics (ACL 2020), pp. 6105-6117, 2020.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), 2019.

[12] Richard Futrell and Roger P. Levy. Do RNNs Learn Human-like Abstract Word Order Preferences? In Proceedings of the Society for Computation in Linguistics (SCiL 2019), pp. 50-59, 2019.

[13] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[14] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016.

## A人エデータの構築に用いた CFG 規則

表 4 人工データ構築に用いた CFG 規則 (一部). 各誤りタイプの誤りありの生成規則を-誤りタイプで示す.

$
\begin{aligned}
& \begin{array}{ll}
\mathrm{S} & \rightarrow \mathrm{NP} \mathrm{VP} \\
\mathrm{S}_{\text {-SVA }} & \rightarrow \mathrm{NP}_{s g} \mathrm{VP}_{p l} \mid \mathrm{NP}_{p l} \quad \mathrm{VP}_{s g}
\end{array} \\
& \begin{array}{lll}
\text { VP } & \rightarrow \quad \text { IV } \mid \text { IV Adv } & \text { TV NP }
\end{array} \\
& \mathrm{VP}_{\text {-FORM }} \rightarrow \mathrm{IV}_{\text {ing }}\left|\mathrm{IV}_{\text {ing }} \mathrm{ADV}\right| \mathrm{TV}_{\text {ing }} \mathrm{NP} \\
& \text { VP }_{\text {-MORPH }} \rightarrow \text { IV ADJ } \\
& \mathrm{NP} \quad \rightarrow \quad \mathrm{QN} \mid \mathrm{Q} \text { AdJ } \mathrm{N} \\
& \mathrm{NP}_{- \text {WO }} \quad \rightarrow \quad \text { ADJ Q N } \\
& \mathrm{NP}_{-\mathrm{NUM}} \rightarrow \mathrm{Q}_{s g} \mathrm{~N}_{p l}\left|\mathrm{Q}_{p l} \mathrm{~N}_{s g}\right| \mathrm{Q}_{s g} \text { ADJ } \mathrm{N}_{p l} \mid \mathrm{Q}_{p l} \text { ADJ } \mathrm{N}_{s g} \\
& \text { 語彙項目 } \\
& \mathrm{Q} \quad \rightarrow \quad\{\text { a, every, no, some, many }\} \\
& \mathrm{N} \quad \rightarrow \quad\{\text { dog, rabbit, cat, bear, tiger }\} \\
& \text { IV } \quad \rightarrow \quad\{\text { run, walk, come, dance, leave }\} \\
& \text { TV } \quad \rightarrow \quad\{\text { kicked, hit, cleaned, touched, accepted }\} \\
& \text { ADJ } \quad \rightarrow \quad\{\text { white, gray, big, small, large, old }\} \\
& \text { Adv } \quad \rightarrow \quad \text { \{quickly, slowly, gracefully, seriously, happily }\}
\end{aligned}
$

## B実験に使用したデータセットの詳細

表 5 人工データにおける分割（訓練/開発/評価）の詳細.

表 6 実データにおける分割（訓練/開発/評価）の詳細.

## C GEC モデルのハイパーパラメータ


# ことばつなぎゲーム:
ゲーミフィケーションによる小学生の作文教育

大村和正久保圭黒橋禎夫

京都大学大学院情報学研究科

omura@nlp.ist.i.kyoto-u.ac.jp kaykubo.ktu@gmail.com kuro@i.kyoto-u.ac.jp
## 1 はじめに

多くの小学生は作文に苦手意識を持っている [1]. この一因として，日本の作文教育が，読書感想文や 生活作文など，自身の情緒を自由に記述させる作文課題を主としていることが挙げられる。課題という 形では課題をこなす以上の意欲を持つことが難し く，自由記述式であるために何を書こうかと頭を悩 ませることも多い。加えて，作文に対するフィード バックが少ないために，改善点が分からないまま苦手意識だけが募るという悪循環に陥ってしまう.

このような現状を改善するためには，文を楽しく 組み立てられ，その作文に対するフィードバックを 得られるような枠組みが必要であると考えられる。 しかし，作文は，算数の計算問題などとは異なり，自動処理による評価が難しいという問題があった。

近年，大規模な言語資源が構築されるようにな り，それらは自然言語処理の発展を支えている。構築された言語資源の中には，作文問題の作問・評価 に十分利用可能なものもあり，前述の枠組みが現実味を帯びてきた。

そこで，本研究では，大規模な言語資源を利用し，小学生向けの作文ゲームを考案した。言葉を繋げ て単文・複文を作り，その結果にフィードバックを 与えることができるゲームを提案する．以下では， このゲームをことばつなぎゲームと呼ぶ.

ことばつなぎゲームは，図 1 のように，語と語を 格助詞で繋いで文を，文と文を接続助詞で繋いで蓋然的関係1)のある複文（以降，関係と呼ぶ)を作る ゲームである．プレイヤーは，与えられた言葉カー ドをマスの形に合わせて配置し，助詞マークで繋い で文および関係を作る.

作成した文および関係は自動評価が可能であり， フィードバックを得ることができる．例えば，作っ

図 1 ことばつなぎゲームのデモ.

図 2 図 1 の入力を自動評価した結果.

た文が既存の言語資源にデータとして存在しなけれ ば，図2 のように「より適切な格助詞がある」など のフィードバックを返す.プレイヤーは配置を変え て再評価することができるため，作文課題には無い インタラクティブ性を持つ.

まとめると，ことばつなぎゲームは，文を組み立 てるという作文時の作業のゲーミフィケーション である。言葉を繋ぐという作業を通して，コロケー ション・助詞の用法・基本的な文の間の蓋然的関係 など，作文に必要な知識を養うことができ，これに よって，語彙力・思考力の育成に資することを目的 としている.

1）ある事柄がある程度起こりうる/真であるという関係.

## 2 言葉カードセットの構築

## 2.1 問題の仕様

各問題では, 12 枚の言葉カードと無制限に使用で きる 9 個の助詞マークが与えられる. これらをもと に文および関係を作る。

言葉カードの内訳は, 名詞カードが 6 枚，動詞 カード形容詞カードが 5 枚，自由に単語を入力で きるワイルドカードが 1 枚となっている. 名詞・形容詞・動詞をそれぞれ緑色・黄色・橙色で表現する ため, 品詞という概念が難しくとも色を手掛かりに 区別できる．単語の表記は単語難易度データベース [2] の頻出表記を利用し, 読めない漢字がないよう にルビが振られる。また，作文の自由度を上げるた め, 述語の活用は現在形 ・ 過去形・否定形 - 過去否定形のいずれかに変更できる.

助詞マークは，主要な格助詞 $($ が・を・に・で・と) が書かれたマーク 5 個と，蓋然的関係を表す接続助詞 (から・と・ので・ら) が書かれたマーク 4 個から 成る. 言葉カードと同様に, 色によって助詞の役割 を区別できる．マスに当てはめると形が三角形に変 わり，三角の向きが係り受けの方向を表す.なお，格助詞「と」は並列助詞として使うこともできる。

## 2.2 蓋然的基本イベントペアの利用

文を組み立てる面白さを損なわないためにも，言葉カードセットから複数の関係文を作れることが望 ましい. このために，本研究では，蓋然的基本イベ ントペア [3] に含まれる基本イベントの組（以降，基本イベントペアと呼ぶ)を利用する。まず，これら の用語の説明を次に示す.

基本イベント テキストから抽出した述語項構造 をクラスタリングし，その中の高頻度なものを核と する表現. 具体的には，格フレーム [4] から高頻度 の述語項構造を基本イベントとして獲得する.

蓋然的基本イベントペア 蓋然的関係を持ち，前件と後件が共に基本イベントを含むイベントペア.例えば，「やっぱりお腹が空く $\rightarrow$ 駅でたぬきそばを 食べる」が該当する。この例に含まれる基本イベン トペアは，「お腹が空く $\rightarrow$ そばを食べる」である。

言葉カードセットは基本イベントペアから自動生成する。例えば，次のような基本イベントペアを考 える。

表 1 項の修飾語への依存度と修飾語の基本句数に応じた 修飾語の扱いを整理した表。

a. 保存状態が悪い $\rightarrow$ カビが生える

b. 保存状態が悪い $\rightarrow$ 味が落ちる

c. 湿度が高い $\rightarrow$ カビが生える

d. 布団を敷く $\rightarrow$ カビが生える

e. カビが生える $\rightarrow$ ケースに入れる

これらの基本イベントペアを項と述語に分解する と, 図 1 の言葉カードセットが得られる. このよう に，5つの基本イベントペアをもとにするため，複数の関係文を作ることができる。

## 2.3 修飾語が重要な項への対処

蓋然的基本イベントペアは，2.2 節の例のように，基本イベントの他に修飾語や任意格を含みうる。 そ のままでは応用が難しいため，核にあたる基本イべ ントペアを利用している. しかし, 修飾語が重要で あるために基本イベントペアには蓋然的関係が認め られない場合がある．例えば，次のようなものが挙 げられる (下線は修飾語を表す).

(2)

$
\begin{array}{ll}
\text { a. } & \text { 線路状態が悪い } \rightarrow \text { 左右に摇れる } \\
\text { b. } & \text { 土曜日は満員の場合が多い } \\
\text { } \rightarrow \text { お早目のご予約が必要だ }
\end{array}
$

このようなぺアは修飾語を省略すると解釈が困難で ある．そのため，言葉カードセットの生成元に利用 する場合は修飾語を補う必要がある。

この問題に対処するために，項の修飾語への依存度を定量化し, この依存度と修飾語の基本句 ${ }^{2}$ 数に 応じて修飾語を自動処理する (表 1). 項の修飾語へ の依存度は，1)コーパス中で修飾語を伴う割合と， 2) 抽象度の 2 つの軸で定量化する。

修飾語を伴う割合は，蓋然的基本イベントペア 約 10 万組から算出する. 抽象度については日本語抽象度辞書 3 )を利用する. 日本語抽象度辞書は, Twitter での利用頻度上位 2 万単語 [5] の内，品詞が 名詞・形容詞・動詞であるものを対象に，クラウド

2） 1 個の内容語および 0 個以上の付属語と定義される単位.

3) http://sociocom.jp/ data/2019-AWD-J/

図 3 カードセットの生成手法の概要図.

ソーシングで 1 から 5 までの抽象度を付与したもの である.

本研究では，次の条件を満たす時，その項は修飾語への依存度が高いとする。

[ 修飾語を伴う割合 ] $\times 5+$ [ 抽象度 ] >= 5.75 これをもとに，修飾語の付与および基本イベントペ アの除外を行なう。

## 2.4 言葉カードセットの生成手法

カードセットの生成手順は，次の 3 ステップから 成る (図 3).

1. 単語難易度による閾値条件を設定し，条件を満 たす基本イベントペアに対象を絞る。

2. ベースとなる基本イベントペアを 1 つ選び，こ れをもとにその他の基本イベントペアを 4 つ選択する.

3. 獲得された 5 つの基本イベントペアを項と述語 に分解することで，カードセットを生成する。

以下では，各ステップについて説明する。

## 2.4.1 単語難易度による基本イベントペアの選択

対象が小学生であることを考慮し，単語難易度に よる語彙の調整を行う。このために，単語難易度 データベース [2]を利用する。

単語難易度データベースは, 形態素解析器 Juman++[6] の辞書に登録されている約 26,000 語を 対象に，クラウドソーシングで習得時期を付与した ものである. 習得時期は 1 から 5 までの数値で表さ れ，これを単語難易度として利用する. 習得時期と 数値の対応関係は, $(1,2,3,4,5)=($ 小学生以前, 小学校低学年, 小学校高学年, 中学生以降, 単語を見聞き したことがない) となっている。

本研究では，次の 3 つの閾値条件を設ける。

やさしい 基本イベントペアに含まれる各単語の 単語難易度が全て 2.0 を超えない.

ふつう 基本イベントペアに含まれる単語の平均

表 2 カードセットの生成結果.

単語難易度が 1.5 以上かつ各単語の単語難易度が全 て 2.5 を超えない。

むずかしい 基本イベントペアに含まれる単語の 平均単語難易度が 2.0 以上である.

上限は厳密に超えないように定めるが，下限は平均単語難易度を用いることで多少のぶれを許容する。

## 2.4 .2 基本イベントペアの選択

単語難易度による閾値条件を満たす基本イベント ペア集合から，カードセットの生成元となる 5 つの 基本イベントペアを選択する．具体的には，ベース となる基本イベントペア (以降，シードと呼ぶ)を 1 つ決め，シードの前件または後件を共有する基本イ ベントペアを無作為に 4 つ選択する. シードを含め 計 5 つの基本イベントペアを獲得できなかった場合，カードセットを生成しない.

## 2.4.3 カードセットの生成

前段階で選択した 5 つの基本イベントペアを，項 と述語に分解する。重複を除いた結果，項が 6 個か つ述語が 5 個または 6 個得られた場合，それをカー ドセットとする。述語が 6 個得られた場合は，シー ドに含まれない述語を無作為に 1 つワイルドカード に置き換える。

## 2.5 生成結果

2.4 節の手法をもとに，難易度ごとに言葉カード セットを生成した結果を表 2 に示す. 個人が遊ぶ分 には十分な規模のカードセットを生成できている。

また，修飾語を付加することで改善された例を図 4 に示す. 修飾語によって他の単語と結びつきやす くなると同時に，解釈が難しい基本イベントペアを 除いているため，文が作りやすくなっている.

図 4 修飾語を考慮することで改善される例. 赤枠の 部分が，付加された修飾語である.

## 3 入力の自動評価

プレイヤーが盤面のデータを送信すると，その入力が自動評価される.この自動評価は，1) 文および 関係の認識，2) 文および関係の自動評価，3) 評価結果のフィードバックという手順で行われる.

## 3.1 文および関係の認識

格助詞で繋がれる経路の内，項のカードから始ま り述語のカードで終わるものを文とみなす。また，認識された文に対し，接続助詞で繋がれる 2 文を関係とみなす。接続助詞について，接続元は述語の カードでなければならないが，接続先は項と述語の どちらでも良いとする．図1のように，接続元/接続先の文が複数存在する場合は，全ての文の組み合わ せを考慮する。

## 3.2 文および関係の自動評価

文の評価方針として，項と述語の共起頻度が高く (=慣用的であり)，より系列長が長い文を高く評価す る. 文の評価は，格フレーム4) の用例数をもとに決定する。具体的には，用例がある格フレーム $c f$ に 対し, 項と格の組 $(a, c)$ ごとに次のようなスコア関数 $S$ でスコアを計算する.

$
\begin{gathered}
S(a, c, c f)=0.5+0.5 \times \min \left(1, \frac{f_{a, c, c f}}{f_{c f}} \times 5\right) \\
f_{a, c, c f}: \text { 格 } c \text { における項 } a \text { の頻度 } \\
f_{c f}: \text { 格フレーム } c f \text { の頻度 }
\end{gathered}
$

例えば，「简が顔を出す」という文のスコアは次 のように計算される。

$S\left(\right.$ 简, が, 出す 6 ) $+S\left(\right.$ 顔, を,出す 6 ) $\left.=0.5+1=1.5^{5}\right)$ なお，複数の格フレームに用例がある場合，スコア が最大となるものを選ぶ。
_{i}\right.\lrcorner$ は，述語「出す」の $i$ 番目の格フレームを表す.
}

スコアをそのまま文の評価とすると解釈が難しい ため，文の評価 $e$ はスコア $s$ をもとに次のように決定する。

$
e= \begin{cases}\rightsquigarrow \succsim & (s>=1) \\ \nwarrow & (0<s<1) \\ ? & (s=0)\end{cases}
$

関係の評価は，基本イベントペアデータのいずれ かを包含すれば“记放”，そうでなければ“?”と する．包含関係を調べる際は，述語の否定の極性ま で一致することを確認する。

## 3.3 評価結果のフィードバック

評価が“?”であるものは，その理由に応じて次 のような説明文を返す。

・文が不完全である (項または述語が欠けている，述語から項に係っているなど)

・より適切な格助詞がある

・未知の文/関係である

3 点目については，誤り報告機能を付けることで未知の関係文の収集が可能になると考えられる。

## 4 関連研究

日本語の作文に関する実応用に向けた取り組み は，文法誤り訂正 [7] や記述式答案の自動採点 [8] な ど多岐に渡る。これらの研究は，作文の評価時にお ける負荷を軽減することを目的としており，この点 で本研究の目的とは異なる.

$
\text { ゲーミフィケーション・GWAP については，これ }
$
に関するワークショップが LREC2020 で開かれるな ど，様々な目的で取り組まれている．例えば，常識獲得 $[9,10]$ や語義曖昧性の解消 [11] などがある. こ とばつなぎゲームは，アノテーションデータの収集 より，能力の育成に焦点を当てている。

## 5 おわりに

本研究では，大規模な言語資源を利用した作文の ゲーミフィケーションに取り組んだ。小学生の作文教育に向けたゲームを考案し，そのためのデータお よびデモシステムを構築した. デモシステムをもと にアプリを作る予定であり，今後，実用性を検証し ていきたいと考えている。また，このゲームを通し た未知の関係文の収集も検討する。

謝辞 本研究は， (公財) 日本漢字能力検定協会の 支援を受けています.

## 参考文献

[1] 立命館大学図書館. レファレンス事例詳細, 2017. https://crd.ndl.go.jp/reference/ modules/d3ndlcrdentry/index.php?page=ref_view\& $i d=1000209543$.

[2] 水谷勇介, 河原大輔, 黒橋禎夫. クラウドソーシング を用いた習得時期の想起質問に基づく単語難易度 データベースの構築. 言語処理学会 第 25 回年次大会, 2019.

[3] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A Method for Building a Commonsense Inference Dataset based on Basic Events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[4] Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, 2014.

[5] 村山太一, 若宮翔子, 荒牧英治. WORD GINI: 語の使用の偏りを捉える指標の提案とその応用. 言語処理学会 第 24 回年次大会, 2018.

[6] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and Structure of The Juman++ Morphological Analyzer. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2019.

[7] 小川耀一朗, 山本和英. 日本語文法誤り訂正における 誤り傾向を考慮した擬似誤り生成. 言語処理学会 第 26 回年次大会, 2020.

[8] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, 2019.

[9] Yen-ling Kuo, Jong-Chuan Lee, Kai-yang Chiang, Rex Wang, Edward Shen, Cheng-wei Chan, and Jane Yungjen Hsu. Community-Based Game Design: Experiments on Social Games for Commonsense Data Collection. In Proceedings of the ACM SIGKDD Workshop on Human Computation, 2009.

[10] Naoki Otani, Daisuke Kawahara, Sadao Kurohashi, Nobuhiro Kaji, and Manabu Sassano. Large-Scale Acquisition of Commonsense Knowledge via a Quiz Game on a Dialogue System. In Proceedings of the Open Knowledge Base and Question Answering Workshop (OKBQA 2016), 2016.

[11] Noortje J. Venhuizen, Valerio Basile, Kilian Evang, and Johan Bos. Gamification for Word Sense Labeling. In Proceedings of the 10th International Conference on Computational Semantics (IWCS 2013) - Short Papers, 2013.