# 文法誤り訂正への訂正重要度の導入

永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$
1 甲南大学 2 産業技術総合研究所
nagata-nlp2022 @ hyogo-u.ac.jp., takamura.hiroya@aist.go.jp

## 概要

本稿では，文法誤り訂正における訂正の重要度を 定量化することを試みる．具体的には，書き手の意図が正しく伝わるかどうかという観点で訂正の重要度を定量化する手法を提案する。提案手法を作例と 学習者コーパスに適用し，有効性と改善すべき点を 議論する。

## 1 はじめに

文法誤りには様々なものが存在するため，訂正の 目的に応じて，文法誤り訂正の重要度を定量化でき ることは有益である．本稿では，書き手の意図が正確に伝わるということを重視して，訂正の重要度を 定量化することを試みる．具体的には，訂正前後で 伝わる意味の差異が大きいほど重要な訂正とみなす ような重要度を定量化する方法を提案する。このよ うに定義された訂正の重要度は, 語学学習に応用で きる可能性がある．例えば，書き手の意図の伝達を 大きく阻害する誤りを率先して訂正し, 学習者に提示するような応用が考えられる. また，訂正の重要度で各誤りを重みづけて誤り訂正システムの性能を 評価するという応用にもつながる.

本稿では，次のような非常にシンプルなアイデア に基いて訂正の重要度を定量化する。深層学習べー スの言語モデルを用いると文中の単語をべクトル （分散表現）に変換できる．分散表現は，単語の文中での意味を表すとみなせる1)．したがって，訂正前後の単語それぞれから分散表現を得て，その差異 を測ることで意味のズレを定量化する。このズレ が，上述の「意味の差異」に対応するとする.

このようなアイデアに基づいた提案手法の有効性を作例と学習者コーパスを用いて吟味する。例え

ば，この手法は，"He read $a \rightarrow \phi$ books."という訂正2) は “He read $a n \rightarrow a$ book.” よりも重要と判定する. た だし，3節で述べるように，このシンプルなアイデ アそのままでは，いくつかの問題が生じるため，本稿では，その解決方法も議論する。

## 2 関連研究

誤り訂正の重要度に関連した知見に「自然な習得順序」という仮説がある.この仮説は，第二言語習得では，学習者に共通する習得順序があると主張す る。逆に言えば，順序を入れ替えて新たな項目を習得できないと解釈できる。この仮説が正しいとする と，次に習得される項目に関する誤りを訂正するこ とが重要となる。しかしながら，この仮説を支持／否定する両方の研究成果があり，どちらが正しいの かということは未解決問題である (これらの研究に ついては，文献 [1]が詳しい).

文法誤り検出／訂正システムの評価を目的とし た，訂正難易度の定量化 [2] や誤り情報の信頼性推定 [3] に関する研究もある. 訂正難易度や誤り情報 の信頼性はある種の重要度と解釈することもできる が，本研究で目指す書き手の意図が正確に伝わると いうことを考慮する訂正の重要度とは異なる。

## 3 訂正重要度の定量化手法

訂正前後の意味を分散表現として表すことが提案手法の基礎となる．以降では，訂正前後に対応する 分散表現をべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ でそれぞれ表記する. こ の $\boldsymbol{e}$ と が，訂正前後の文の意味を精度よく表現し ていれば， $\boldsymbol{e}$ と $\boldsymbol{c}$ の差異に基いて， 1 節で述べた訂正の重要度を定量化できる. 二つのベクトルの差異 は，ベクトル間の余弦類似度で定量化することが多 く，本稿でも採択する。ただし，值が高いほど重要 であるという尺度にするために，1 から余弦類似度 を引いた値を訂正の重要度とする。

2）矢印前後で訂正前後の単語列を表している. また， $\phi$ は空単語で，単語の削除（と追加）を表すのに使用する.

ここで問題となるのは, $\boldsymbol{e}$ とをどのように得る かということである. 様々な方法が考えられるが，本稿では，次の二つの方法を検討する。基本的に，言語モデル（具体的には BERT）から得られる分散表現を用いる.

一つ目の方法では, 単語の分散表現を $e, c$ とす る. 具体的には，（1）訂正前後の文をそれぞれ独立 に BERT に入力し，最終層の出力を得る，（2）出力 として得られる分散表現のうち訂正前後の単語列 に対応するものを，それぞれ $\boldsymbol{e}, \boldsymbol{c}$ とする. ただし，複数の単語からなる単語列の場合は平均をとる. こ のようにして得られた分散表現間の余弦類似度は訂正前後の単語列が表す意味の差に対応すると解釈で きる.

この方法は直感的ではあるが，余剩誤りと抜 け誤りの場合に問題が生じる。例えば，“We know about $\rightarrow \phi$ the issue.”では単語 about が余剰であり，訂正文では削除されている.このように削除された単語列については, どのように分散表現を求めたらよ いかは自明ではない，同様のことが，抜けの誤りの 場合に訂正前の文で起こる。本稿では，余剩／抜け 単語の左右の単語に対する分散表現の平均をとるこ ととする.

二つ目の方法は，この問題をより直接的に解決す る. BERTでは, 一文全体に対応する分散表現が得 られる。すなわち，特殊トークン [CLS] に対応する 分散表現を $\boldsymbol{e}$ と $\boldsymbol{c}$ とす. ただし, 個々の訂正の重要度を定量化するために，一文内に複数の誤りがあ る場合でも，一度に訂正する誤りは一つとする。こ の方法では, 訂正前後の単語列に直接着目するので はなく, 訂正前後で文全体の意味がどのように変化 したかに基いて訂正の重要度を定量化する。

以上の通り，提案手法では，訂正前後の情報から 得られるべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ に基いて訂正の重要度を定量化しようとする. 仮に, $\boldsymbol{e}$ や $\boldsymbol{c}$ で単語や文の意味 を表すことができるとして，訂正前の文が表す意味 とは何かという問題が生じる. 例えば, “He read an book." というのは非標準であり，意味をなさないと 主張することもできる. 逆に，訂正できるというこ とは, 訂正前の文でも訂正後の文と同じ意味が伝わ ると主張することもできる. 提案手法では，次のよ うな仮定と近似を暗に行っている。まず，誤りを含 む文が表す仮想的な意味が存在し，空間内のある一点に対応づけられると仮定している. 同様に，訂正 された文の意味も同一空間内の点に対応付けられ
ると仮定している。（この二点間が十分に近い場合，人間は前者から後者を特定できるが)，提案手法で は，この二点間の差異を近似的に訂正の重要度とし ていると解釈できる。

## 4 使用データ

提案手法の有効性を定性的に分析するために内省に基いて訂正の重要度が異なる例文を作成した。表 1 に結果を示す. 表 1 では, 訂正のカテゴリごと に作例を区分けし，訂正の重要度が高いと思われる 順に並べている．カテゴリと重要度の並べ替えの詳細は付録 $\mathrm{A}$ に示す通りである。

作例に加えて，二種類の学習者コーパスも用い た. 一つ目は, CoNLL-2013 Shared Task [4] のテスト データとした. 分析の容易さを考えて，限定詞，名詞の数, 主語動詞の一致, 前置詞, 動詞の形態に関 する 5 種類の誤りのみがアノテーションされたもの を用いた。二つ目は，ICNALE [5] に，独自に誤り情報を付与した 1,894 文を用いた。誤り体系 [6]（20 種 の誤り）を用いた。

## 5 訂正重要度の定性分析

## 5.1 作例を対象にした場合

表 1 の作例に対して，提案手法を適用して訂正の 重要度を求めた. 表の第 $3 ， 4$ カラムが文ベースの 手法と単語べースの手法の結果にそれぞれ対応す る. 括弧内の数は，内省の順位との差を表す。

文ベースの手法の結果は内省の結果に非常に類似 する．異なるのは動詞に関する誤りのみである。内省では, listened to と heard とで表す意味が異なるた め重要度が一番高いとしたが，提案手法ではカテゴ リ内でもっとも重要度が低くなっている. 訂正前後 とも文法的には正しく，また，「聞く」という基本の 意味は共通するため重要度が低くなった可能性があ る. 他のカテゴリについては, 内省による重要度順 と同一である. 例えば，直感的には， $a \rightarrow \phi$ books と a books $\rightarrow$ book は同程度重要と感じられるが，推定 された重要度も類似した値になっている（ただし，重要度の差異をどのように解釈すべきかは別の問題であり注意が必要である).また, “We discussed about $\rightarrow \phi$ the issue.” は, 重要度はカテゴリ内で最も 低い. 確かに，この誤りは意味が伝わるという観点 からは致命的な誤りでないともいえる。もちろん，母語話者らしい英語という観点からは重要な訂正で
表 1 内省に基いて作成した例文と訂正重要度の推定結果.

} & He read $\mathrm{a} \rightarrow \phi$ books. & $0.030(0)$ & $0.586(0)$ \\

あるが，ここで強調したいのは，このように訂正の 重要度を定量化することで文法誤り訂正を新しい観点から議論できる可能性があるということである.

一方，単語ベースの手法では順位の入れ替わりが 散見される. 特に余剩の誤りの訂正が重要とみなさ れる傾向にある. 例えば，“He read $a \rightarrow \phi$ books." が 全訂正中で最も重要度が高い。これは, 3 節で述べ たように余剩／抜け誤りでは, 比較する単語に問題 があることに起因する。この例では， a と read books に対する分散表現を比較している。この比較は直感 に合わず，改善の余地がある．この点において，文 の分散表現に基いた手法のほうがより自然に訂正の 重要度を定量化しているといえる。このことを考慮 して，以降では文べースの手法の結果を報告する。

## 5.2 学習者コーパスを対象にした場合

表 2 に，CoNLL-2013 における重要度の上位/下位 5 件を示す3).なお，学習者コーパスを対象に した場合は，一文中に複数の誤りが含まれる場合があり，表 2 も含めて，以降の結果では，一見適切でないように思える訂正もあることに注意 されたい. 例えば，表 2 の最終行は，全体として， a problem of the health of the $\rightarrow$ an unhealthy society と訂正されている.

表 2 では，大きな傾向としては，冠詞と名詞の数 に関する誤りが最も重要と認識されている。特に,定冠詞の有無は，一般への言及（2，4 行目）と特定物への言及（1，5 行目）という違いがあり，伝わる 意味を大きく左右することが多い. このことを（少 なくとも表 2 の範囲で）定量化結果は反映してい る. 逆に, 主語動詞の一致, 前置詞の誤りは重要度

3）表 2 では，重要度が 0 と表記されているものもあるが，厳密には 0 ではなくごく小さい值を丸めた結果である. が低い。例えば，available for $\rightarrow$ to の重要度は最も低 い部類であるが，for でも書き手の意図は十分に伝 わる. また，冠詞の誤りであっても，a/an の使い分 けについては重要度は低い，ただし，上の議論で重要度が高いと分析した訂正（例: 名詞の単複）でも 重要度が低いと認識されている例もある。これは後述するように，文長が影響している可能性がある.

表 3 に，ICNALEを対象にした場合の上位 10 件を 示す (紙面の関係から, 下位 10 件は付録 B に示す). この結果も，表 2 と同じような傾向を見て取ること ができる. 加えて，文意において重要な役割を果た す要素 (主語, 目的語, 接続詞) が上位に来ている. また，could の有無から生じる差異を捉えていると ころも興味深い。

以上の結果を要約すると，提案手法は，誤りの ために書き手の意図とは異なる意味が伝わる，ま たは，複数の解釈が生じる（例： a books； a book か books で曖昧）ケースを重要であるとみなす傾向に ある。一方，a/an の使い分けや主語動詞の不一致な ど形式的な誤りは重要度を低く見積もる. どちらの ケースがより重要かは目的によるが，意味が伝わる ということを重視した場合は，提案手法には所望の 重要度を定量化できる可能性がある. しかしなが ら，提案手法は非常にシンプルなアイデアに基づい ているため，いくつかの改善すべき点がある. 6 節 でこの点について考察する。

## 6 提案手法の改善すべき点

前節までに示した定量化の結果をみると，重要度 が上位の文は文長が短くなる傾向にあることがわか る.これは，文が長くなるにつれて，一つの誤りが 文全体の意味に及ぼす影響が小さくなるためと予想 できる. すなわち，訂正前後の文長が重要度に影響
表 2 CoNLL-2013（5 種類の誤りタイプ）における訂正重要度（上位／下位 5 件).

表 3 ICNALE における訂正重要度（上位 10 件).

する可能性がある．同様に，(今回の結果には顕著 には見られないが)，訂正前後の単語列の長さも影響を及ぼす可能性がある。

また別の問題として，一文中にいくつの誤りが存在するかということもある. 提案手法では，一度に 一つの誤りのみを訂正して重要度を算出している が，このことは理論上，次の問題を引き起こす可能性がある。例えば，表 2 の 7 行目や最終行のよう に，一度に一つの誤りのみを訂正すると，不自然な 文となる場合がある。このような不自然な文と原文 を比較して得られる余弦類似度の差異は，伝わる意味の差異に適切に対応しない可能性が高い。また,一文中の誤りの数が増えると文全体としての意味の 差異は大きくなると予想されるが，全体としての差異をどのように個々の誤りに還元するかということ も問題になる. 更に，このことは，誤りの単位をど のように設定するかという別の問題にもつながる.例えば， the books a book に訂正した場合，誤り数 2 （冠詞と名詞の数の誤り）とすることも，全体と
して1つとすることもできる．この例では，直感的 には全体として一つの誤りとして重要度を定量化す ればよいように思われるが，別の例ではその限りで はない (例：the book has を the books have に訂正し た場合)。

以上をまとめると，提案手法には，少なくとも次 の 3 つの改善すべき点があるといえる：

1. 訂正前後の文長から受ける影響の低減

2. 訂正前後の単語列の長さから受ける影響の低減

3. 複数の誤りの取り扱い

より実用的な訂正重要度の実現のためには，これら の要因について調整が必要である. 例えば，文長や 訂正前後の単語列の長さで正規化することなどが考 えられる ${ }^{4)}$.また，複数の誤りの取り扱いについて は，連続した誤りを一つにまとめ，訂正前後とも訂正箇所の左右の単語に対応する分散表現を使用する ことなどが考えられる．更に，推定された訂正の重要度をどのように定量評価するかというのも今後の 課題となる.

## 7 おわりに

本稿では，文法誤り訂正に，訂正の重要度という 新たな観点を導入した. 訂正前後の文から得られる 分散表現に基いて訂正の重要度を定量化する手法を 提案した。作例および実際の学習者コーパスに適用 し，有効性と改善すべき点を議論した．定性分析の 結果，定量化された訂正の重要度は直感に合う部分 も見られたが，実用のためには，改善すべき点があ ることも確認された。

4）試しに，訂正後の文長を対数にしたもので正規化したとこ ろ，正規化の影響が強すぎる傾向がみられた。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたも

のである.

## 参考文献

[1] 白畑知彦. 英語指導における効果的な誤り訂正. 大修館書店, 東京, 2015.

[2] Takumi Gotou, Ryo Nagata, Masato Mita, and Kazuaki Hanawa. Taking the correction difficulty into account in grammatical error correction evaluation. In Proc. of 28th International Conference on Computational Linguistics, pp. 2085-2095, 2020.

[3] Nitin Madnani, Martin Chodorow, Joel Tetreault, and Alla Rozovskaya. They can help: Using crowdsourcing to improve the evaluation of grammatical error detection systems. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 508-513, 2011.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[5] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[6] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

## A 作例の詳細

内省に基いて作成した作例の詳細を示す. 表 1 で は，作例を誤りのカテゴリ（動詞，限定詞／数，前置詞）に区分けし，直感に基いて訂正の重要度順に 並べている。

「動詞」では, listened to と heard とで表す意味が 異なるため重要度が一番高いとした. また, 二行目 は動詞の意味は同じであるが，現在／過去の違いを 考慮し二番目に高いとした. 最後の例は，表す意味 はほぼ同じと予想し，一番重要度が低いとした。

「限定詞／数」における最初の二例は，訂正前後で 伝わる意味の差異は同じ程度と考えられるが，表の 上では同順位が表せないため，便宜上この順で表し ている。一方，最後の例は $\mathrm{a}$ と an の使い分けに関す る誤りであり，伝わる意味にほとんど差異がない. したがって，先の二例より重要度は低いとした。

「前置詞」における最初の例は，about $\rightarrow \phi$ では 「知っている」という基本の意味は共通するが訂正前後でニュアンスが異なるため最も重要度が高いと した. 残り二例は最初の例と異なり文脈や意図とは 関係なく常に誤りである。二つ目の例 agrees $\phi \rightarrow$ to は， to 以外にも訂正候補が考えられる。一方，三つ 目の例 “We discussed about $\rightarrow \phi$ the issue.” については （前置詞の訂正としては）aboutを削除する方法以外 は訂正候補がない，言い換えれば，前後の単語から about が必要がないことがほぼ確定することから， このような重要度順とした。

## B ICNALE における結果の詳細

表 4 に，ICNALE を対象にして訂正の重要度を定量化した下位 10 件を示す. ただし，独自に訂正情

表 4 ICNALE を対象にした訂正重要度（下位 10 件)。


# 根拠箇所に基づく自動採点結果の説明

佐藤 汰亮 ${ }^{1,2}$ 舟山 弘晃 ${ }^{1,2}$ 塙 一晃 ${ }^{1,2}$ 浅妻佑弥 ${ }^{1}$ 乾 健太郎 1,2
1 東北大学 2 理化学研究所
\{tasuku.sato.p6, h.funa, asazuma.yuya.r7\}@dc.tohoku.ac.jp
inui@tohoku.ac.jp
kazuaki . hanawa@riken.jp

## 概要

深層学習の進歩に伴い，自動採点の性能は向上し た.しかし，深層学習モデルは内部挙動がブラック ボックスであるため，採点の根拠を説明できない.本研究では，根拠箇所提示問題のタスクを説明性の 観点から再定義し, 複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行 い，説明性の高い根拠箇所提示手法を確かめた. 実験により，自動採点の分野では注意重みは最も妥当性が高く，勾配を用いた手法と同程度に忠実性が高 いことがわかった. また, Integrated Gradients は最 も忠実性が高く, 注意重みと同程度に妥当性が高い ことがわかった. ここから，自動採点の分野では，説明性における妥当性と忠実性，どちらの観点を重要視するかを元に根拠箇所提示手法を使い分けるこ とが重要であることがわかった.

## 1 はじめに

自動採点とは，ある設問に解答した答案に対し，自動で得点を付与するタスクである. 図 1 に例を示 す. 自動採点は，教師の採点労働を軽減できること や，人手による採点ブレがなく，公正な採点を行え ることから, 教育現場での需要があり, 研究が行わ れている $[1,2,3]$. また, 答案に対して即時にフィー ドバックを返せることから，自学学習のためのオン ラインツールとしての実応用化が進んでいる [4].

深層学習の進歩に伴い, 自動採点の性能は向上し た $[1,2,3]$. しかし, 深層学習モデルは内部挙動が ブラックボックスであり，採点の根拠を説明できな い. 自動採点の分野では採点基準が厳密に定まって いるため，モデルが採点の根拠を説明できないこと はユーザの不信感につながる. また開発者として も，採点の根拠を説明できないモデルはデバッグを 難解にする．以上の観点から，採点根拠の説明性は採点性能と同等に重要な要素である。

深層学習モデルの意思決定を人間が解釈できる 形で提示することは，法律や医療など，様々な分野 で重要視されている [5, 6]. このような性質を説明性と呼ぶ. 説明性の高いモデルの需要は高まってお り, XAI [7] の文脈で活発に研究が行われている.

Jacovi ら [8] は, 説明性を妥当性 (plausibility) と忠実性（sufficiency）の2つの観点でまとめている.妥当性とは，予測に対する説明が，人間にとってど の程度納得のいくものであるかを表す概念である.忠実性とは，予測に対する説明が，モデルの予測過程をどの程度反映しているかを表す概念である。

Mizumoto ら [2] は，自動採点における得点予測根拠の提示性能を評価するため，根拠箇所提示問題 (2 節参照）を定義した．彼らは，注意層を根拠箇所ラ ベルで教師あり学習するモデルとしないモデル（3.4 節参照）を比較した結果，前者は後者と比較し，根拠箇所提示性能が高いことを示した。

しかし Mizumoto ら [2] は, 根拠箇所提示手法を真 の根拠箇所との一致度 (妥当性) のみで評価してお り，忠実性に対する評価を行っていない。また，根拠ラベルを用いた学習手法や根拠箇所提示手法が複数考えられる中，彼らは一つの手法のみを取り上げ ており，十分な評価が行われているとはいえない。

本研究では, Mizumoto ら [2] による根拠箇所提示問題のタスクを，説明性 [8] の観点から再定義し た.また，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，説明性の高い根拠箇所提示手法を確かめた. 実験の結果，注意重みは最も妥当性が高く，勾配を用いた手法と同程度に忠実性が高いことがわかった. また Integrated Gradients は最も忠実性が高く, 注意重み と同程度に妥当性が高いことがわかった. 以上のこ とから，自動採点においては，説明性のどの観点を 重要視するのかによって根拠箇所提示手法を選択す

図 1 自動採点のタスク概要図. 答案中の下線部は根拠箇所であり，採点基準の情報を包含した箇所を表す.

ることが重要であることがわかった.

## 2 問題設定

本研究では，自動採点における根拠箇所提示問題 に取り組む.

まず自動採点とは，答案 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{t}\right)$ に対し， その得点 $s \in\{0,1, \ldots, S\}$ を出力するタスクである. ここで， $x_{t}$ は $t$ 番目の単語， $S$ は配点である. また，一つの設問に対して複数の採点項目が存在し，各採点項目の配点の合計点がその答案の得点となる. 採点性能は QWK [9]によって測る.

根拠箇所提示問題とは，入力答案 $\boldsymbol{x}$ において，得点予測の根拠箇所ラベル $\boldsymbol{r}=\left(r_{1}, r_{2}, \ldots, r_{t}\right), r_{t} \in\{0,1\}$ を提示するタスクである. ここで， $r_{t}=1$ のとき，単語 $x_{t}$ が根拠箇所とみなされる. モデルから任意 の方法で生成された特徴マップを $\boldsymbol{f}=\left(f_{1}, f_{2}, \ldots, f_{t}\right)$, $0<f_{t}<1, \sum \boldsymbol{f}=1$, その最大値を $f_{\text {max }}$, 閾值を $h \in\{a \in R \mid 0 \leq a \leq 1\}$ とすると, $r_{t}$ は $f_{\text {max }}-f_{t}<h$ のとき 1 ，それ以外は 0 である.

生成された根拠箇所は，妥当性と忠実性 [8] の観点から評価を行う. 詳細は 3.5 節で述べる.

## 3 実験設定

本研究では，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，最も説明性の高い根拠箇所提示手法を確かめる.

## 3.1 データセット

本実験では，2022 年 2 月に公開を予定している， NII 国立研究所理研記述問題採点データセット第 2

述した答案テキストと，採点者によって付与された 得点及び，その得点を付与した根拠となる根拠箇所
 る. https://www.nii.ac.jp/dsc/idr/rdata/RIKEN-SAA/
の 3 つ組で構成されている. 各設問には複数の採点項目が存在し，それぞれの項目毎にアノテーション が付与されている，今回は，採点項目ごとに独立し てモデルを学習し，評価を行う。

このデータセットにおける自動採点は加点式の情報包含問題であるため，0 点答案には根拠箇所のラ ベルが付与されていない，そのため， 0 点答案が全体の半分以上を占める採点項目は実験の対象から 除外する。実験はデータを学習データ 200 件，開発 データ 100 件，評価データ 200 件に分割し， 33 個の 採点項目を対象に行う。

## 3.2 モデル

実験には Riordan ら [1] を参考に，単語埋め込み + biLSTM + 注意層の分類器モデルを使用する. 単語埋め込みは $\mathrm{MeCab}[10]$ で単語分割された Wikipedia のデータを用い，word2vec で学習されたものを使用 する. モデルパラメータの詳細や注意層の詳細は参考情報の A. 1 節を参照されたい.

## 3.3 特徴マップ

根拠箇所提示手法として，以下の手法によって生成された特徴マップを使用する。勾配から特徴マッ プを生成する手法では，各入力単語に対して得られ るべクトルのノルムをとり，特徴マップとする。

注意重み 注意層における注意重みを，予測に対す る各単語の重要度だとみなし, 特徴マップとし て使用する手法.

Saliency Map [11] 各入力の損失に対する勾配から 生成する手法.

Input X Gradient [12] Saliency Map の特徵マップに 対して，入力を乗算する手法. 入力の特徴量を 反映した特徴マップの生成が可能となる.

Integrated Gradients [13] 勾配をべースラインから 入力方向へ積分し, 生成する手法. Implementation Invariance と Seisitivity の公理を満たし，説明性の高い特徴量を生成できるとされている。

Random 一様分布から特徴マップを生成する手法.

## 3.4 損失関数

自動採点データセットには得点ラベルと 根拠箇所ラベルが含まれるが. これらの信号を用いたモデ ルの学習方法として，以下の方法が考えられる。

得点学習 モデルの最終出力と得点ラベル間の交差
表 1 損失関数ごとの QWK の結果

表 2 根拠箇所の一致度（妥当性， $\uparrow ） の$ 結果

表 3 削除率（忠実性， $\downarrow$ ）の結果

エントロピー誤差をとる。

注意層学習 注意層の重みを根拠箇所ラベルで教師 あり学習する。

勾配ノルム学習 各入力の損失に対する勾配のノル ムを根拠箇所ラベルで教師あり学習する。

勾配ノルム学習を行なった先行研究は存在しない が，勾配を教師あり学習する研究は存在し，タスク の性能が向上することが報告されている [14]. よっ て，勾配ノルム学習も注意層学習と同じ枠組みで学習できると考えられる. 勾配ノルム学習に用いる特徵マップには Saliency Map や Input X Gradient など も考えられるが，今回は最も説明性が高いとされて いる Integrated Gradients を使用する。各学習方法の 損失関数 $\mathscr{L}_{\text {score }}, \mathscr{L}_{\text {attn }}, \mathscr{L}_{\text {grad }}$ の詳細は参考資料の A. 2 節を参照されたい.

本実験では，これらの損失関数の組み合わせ として, $1: \mathscr{L}_{\text {score }}\left(\right.$ uns), $2: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {attn }}($ attn), $3: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {grad }}$ (grad), $4: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {attn }}+\mathscr{L}_{\text {grad }}$ （attn\&grad）の 4 通りの学習方法を比較する.

## 3.5 評価指標

本実験では，採点精度の評価尺度として quadratic weighted kappa (QWK) [9]を使用する。説明性は，妥当性を根拠箇所の一致度 [2]，忠実性を削除率 [15,16]，包括性 [17]，十分性 [17] で評価する．採点項目毎にシード値の異なる 10 個のモデルを学習 し，その平均を実験結果とする。

根拠箇所の一致度 根拠箇所の一致度は妥当性の評価尺度である。f1 值を用い，モデルが提表 4 十分性（忠実性， $\downarrow ） の$ 結果

表 5 包括性（忠実性， $\uparrow ） の$ 結果

示した根拠箇所と，真の根拠箇所との一致度合 いを測る. 図 1 の事例において、真の根拠箇所 は「西洋 人」であり、対してモデルが提示した 根拠箇所が「人 は 他人」だったとする。このと き，真陽性は 1（人）であり，偽陽性は2（は他人)，偽陰性は 1 （西洋）である。よって，precision は $1 /(1+2)=0.33$, recall は $1 /(1+1)=0.50$ となり, f1 值は $2 \times 0.50 \times 0.33 /(0.50+0.33)=0.375$ である.

削除率 削除率は Serrano ら [15] や Mohankumar ら [16] による忠実性の評価指標である。特徴マップ の値が高い単語から降順にマスクしていき，予測ラ ベルが変化するまでに削除した単語の比率を計算 する．特徴マップがモデルの予測過程を反映してい るならば，より早い段階で予測が変化すると考えら れ，削除率が低いほど忠実度が高いといえる。

先述の通り，自動採点は加点式の情報包含問題で ある. そのため，得点予測が 0 点の答案は大力単語 のマスクによる予測ラベルの変化が生じないと考え られ，そのような答案は評価対象から除外する。

包括性, 十分性 包括性と十分性は Deyoung ら [17] による忠実性の評価指標である。包括性は，根拠箇所が予測にどれほど影響を及ぼすかを表し，大きい ほど忠実性が高い。十分性は，根拠箇所が予測を行 う上での十分な情報を含むかを表し，小さいほど 忠実度が高い. 入力 $\boldsymbol{x}$ に対してモデル $m$ が出力す るクラス $j$ の予測確率を $m(\boldsymbol{x})_{j}$, モデルが出力する 特徴マップの上位 $k \%$ の単語以外をマスクした入力を $\boldsymbol{x}_{\boldsymbol{r}_{\boldsymbol{k}}}$ とすると, 包括性は $m(\boldsymbol{x})_{j}-m\left(\boldsymbol{x} \backslash \boldsymbol{x}_{\boldsymbol{r}_{\boldsymbol{k}}}\right)_{j}$, 十分性は $m(\boldsymbol{x})_{j}-m\left(\boldsymbol{x}_{\boldsymbol{r}_{k}}\right)_{j}$ で表せる. 彼らの害験では, $k=1,5,10,20,50$ の評価值を平均しているが，我々 も彼らの実験設定に倣う.また削除率同様に，得点予測が 0 点の答案は評価対象から除外する。
表 6 ある採点項目におけるモデル出力の例

 & - \\

## 4 実験結果

表 1 は損失関数ごとの QWK の結果である. 先行研究 $[2,3]$ と同様に, 注意層を教師あり学習する ことにより，QWK が向上した．また，勾配を教師 あり学習することで，同様に QWK が向上した．注意層と勾配の教師あり学習をどちらも行うことに よって，どちらか一方を使用する時と比較して更に QWK が向上した. 今回の研究は説明性に対する研究であるため, QWK 向上の原因には触れないが，非常に興味染い今後の研究課題である.

妥当性の結果 表 2 は根拠箇所の一致度（f1 値） の結果である. uns ではどの手法も値に優劣がない が， attn や grad， attn\&grad では Random を除いたど の特徴マップでも一致度が向上することがわかっ た. また, attn では注意重みの一致度が, gradでは Integrated Gradients の一致度が各々大きく向上して いることから，根拠箇所提示手法として活用したい 特徴マップと，学習の手法を揃えることで，妥当性 をより高めることが可能であることがわかった.

忠実性の結果 表 3, 4, 5 は削除率, 十分性, 包括性の結果である．unsの包括性による評価では，注意重みが最も忠実性が高く, それ以外の実験設定,評価指標では, Integrated Gradients が最も忠実性が 高かった. また，評価指標により優劣は入れ替わる ものの，注意重みは Input X Gradient より忠実性が高 かった.ここから, 注意重みは Integrated Gradients に劣りつつ, 勾配べースの特徴マップと比較し同等程度に忠実性が高いことがわかった. 先行研究で は，注意重みは勾配べースの手法と比較して忠実性 に劣ることが報告されている $[15,18,16,19]$ が，今回の実験ではそのような現象は見られなかった.

分析 実験から, 注意重みは妥当性が高く, Integrated Gradients は忠実性が高いことがわかった.採点項目ごとに両者の削除率を分析すると，注意重 みが Integrated Gradients に大きく負けている採点項目がいくつか見られた. それらの採点項目で何が起 きているのか，具体事例を元に分析を行なった.表6に, attnにおける注意重みと Integrated Gradients によって提示された根拠箇所及び削除率の事例を記 した. 等案の青色太文字は真の根拠箇所または，モ デルが予測した根拠箇所である。注意重みは真の根拠箇所と一致度が高い一方, Integrated Gradients は 真の根拠箇所の周辺に着目している事例が散見され た. 注意重みと比較して Integrated Gradients は削除率が低いことから，モデルは本来着目して欲しい真 の根拠箇所ではなく，その周辺単語を元に得点を予測している，つまり，擬似相関を起こしている可能性が考えられる。

## 5 おわりに

本論文では，自動採点における根拠箇所提示手法 の説明性向上を目指し, Mizumoto らによって提唱 された根拠箇所提示問題を，Jacovi らによって提唱 された説明性を元に再定義した。また，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，最も説明性の高い根拠箇所提示手法を検討した. 実験の結果，注意重みは最 も妥当性が高く, 勾配を用いた手法と同程度に忠実性が高いことがわかった。また, Integrated Gradients は最も忠実性が高く, 注意重みと同程度に妥当性が 高いことがわかった. ここから，自動採点の分野で は，説明性の妥当性と忠実性，どちらの観点を重要視するかを元に根拠箇所提示手法を使い分けること が重要であることがわかった.

先行研究では，注意重みを用いた特徴マップは勾配を用いた特徵マップと比較して忠実性に劣ると言 われいる $[15,18,16,19]$. しかし, これらの研究に よる結果は，「注意重みの忠実性が低下する現象が 起こりうる」ことを示すものであり，「注意重みが 必ず忠実性が低い」ことを主張するものではないた め，本研究の実験結果と矛盾するものではない.

今回，採点項目によっては擬似相関によって注意重みの忠実性が低下することもわかった. 今後の方針として，モデル内部の擬似相関を改善する手法を 考えていきたい.

## 謝辞

実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します.

## 参考文献

[1] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, Florence, Italy, August 2019. Association for Computational Linguistics.

[3] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[4]【業界初】代ゼミが「記述式を ai 採点する 現代トレーニング」をリリース. https: //www.yozemi.ac.jp/news/press/__icsFiles/ afieldfile/2021/05/27/aisaiten_210527.pdf. Accessed: 2022-01-10.

[5] Fei Wang, Rainu Kaushal, and Dhruv Khullar. Should health care demand interpretable artificial intelligence or accept "black box" medicine? Annals of internal medicine, Vol. 172, No. 1, January 2020.

[6] Alexandra Chouldechova. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments, 2016.

[7] Erico Tjoa and Cuntai Guan. A survey on explainable artificial intelligence (xai): Toward medical xai. IEEE Transactions on Neural Networks and Learning Systems, Vol. 32, No. 11, p. 4793-4813, Nov 2021.

[8] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[9] J. Cohen. Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 70 4, pp. 213-20, 1968.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In EMNLP, pp. 230-237, 2004.
[11] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[12] Avanti Shrikumar, Peyton Greenside, Anna Shcherbina, and Anshul Kundaje. Not just a black box: Learning important features through propagating activation differences, 2017.

[13] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 3319-3328. JMLR.org, 2017.

[14] Damien Teney, Ehsan Abbasnejad, and Anton van den Hengel. Learning what makes a difference from counterfactual examples and gradient supervision. CoRR, Vol. abs/2004.09034, , 2020.

[15] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2931-2951, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Akash Kumar Mohankumar, Preksha Nema, Sharan Narasimhan, Mitesh M. Khapra, Balaji Vasan Srinivasan, and Balaraman Ravindran. Towards transparent and explainable attention models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4206-4216, Online, July 2020. Association for Computational Linguistics.

[17] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[18] Sarthak Jain and Byron C. Wallace. Attention is not Explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3543-3556, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Bing Bai, Jian Liang, Guanhua Zhang, Hao Li, Kun Bai, and Fei Wang. Why attentions may not be interpretable? In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining, KDD '21, p. 25-34, New York, NY, USA, 2021. Association for Computing Machinery.

## A 参考情報

## A. 1 モデル

注意層 注意機構は Lin ら [?] の自己注意を用い る. $d_{h}$ 次元の隠れベクトルを $\boldsymbol{h}_{\boldsymbol{t}}, d_{o u t} \times d_{h}$ 次元の 行列を $W_{s 1}, d_{\text {out }}$ 次元のべクトルを $\boldsymbol{w}_{s 2}$ とすると，注意による重み付き平均 $\boldsymbol{h}_{\boldsymbol{a t t n}}$ は以下のように求め られる。

$
\begin{aligned}
a_{t} & =\operatorname{softmax}\left(\boldsymbol{w}_{\boldsymbol{s} 2} \tanh \left(W_{s 1} \boldsymbol{h}_{\boldsymbol{t}}^{\boldsymbol{T}}\right)\right) \\
\boldsymbol{h}_{\text {attn }} & =\sum_{t=1}^{T} a_{t} \boldsymbol{h}_{\boldsymbol{t}}
\end{aligned}
$

ここで $, W_{s 1}, w_{s 2}$ は学習パラメータである.

表 7 モデル詳細

## A. 2 損失関数

$C E$ を cross entropy loss, $N$ をデータ数, $s_{p}$ を得点 の予測確率， $\hat{s}$ を真の得点， $\hat{r}$ を真の根拠箇所， $T$ を 文長， $f^{a t t n}$ を注意重み， $f^{g r a d}$ を Integrated Gradients による特徴マップとすると，各損失関数は以下のよ うに表せる.

$
\begin{aligned}
& \mathscr{L}_{\text {score }}=\frac{1}{N} \sum_{n=1}^{N} C E\left(s_{p}^{(n)}, s_{g}^{(n)}\right) \\
& \mathscr{L}_{\text {attn }}=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T}\left(f_{t}^{a t t n}{ }_{t}^{(n)}-\hat{r}_{t}^{(n)}\right)^{2} \\
& \mathscr{L}_{\text {grad }}=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T}\left(f_{t}^{\text {grad }}{ }_{t}^{(n)}-\hat{r}_{t}^{(n)}\right)^{2}
\end{aligned}
$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 論述リビジョンのためのメタ評価基盤

三田 雅人 1 坂口 慶祐 ${ }^{2}$ 萩原 正人 ${ }^{3,4}$ 水本 智也 ${ }^{5,1}$ 鈴木 潤 6,1 乾 健太郎 6,1
1 理化学研究所 ${ }^{2}$ Allen Institute for AI ${ }^{3}$ Earth Species Project
${ }^{4}$ Octanove Labs 5 フューチャー株式会社 6 東北大学
masato.mita@riken.jp

## 概要

論述やエッセイの作文のように文書単位で行うリ ビジョンには，従来の文単位文法誤り訂正の研究範囲では捉えきれない論述全体の流れや一貫性といっ た要素が含まれる。また，文書単位のリビジョンは 妥当な参照が多岐にわたることから高精度な参照 なし評価尺度の実現が大きな課題となる. 本研究で は，自動論述リビジョンの実現に向けて，高精度な 自動評価尺度の開発促進を目的としたメタ評価基盤を提案する。そして，大規模言語モデルを用いた ベースライン自動評価尺度を用いた自動評価の現状 と実現可能性を示す。

## 1 はじめに

論述やエッセイ等の作文において，リビジョンは 重要な段階である. プロセスライティング教育学で は，作文には，まず最初に文書単位で全体的な編集 を行う Revision があり，その後，文または句単位で の編集を行う Editing, 最後に単語単位での細やかな 編集を行う Proofreading の 3 段階があるとされてい る $[1,2]$.

これに対し，自然言語処理（NLP），特に文法誤 り訂正 (GEC) 分野では単語単位を中心としたスぺ リングや文法誤りなどを対象とした局所的な編集 (Minimal edit) [3,4] から，句や文単位で流暢性を考慮した編集 (Fluency edit) [5,6] へと研究範囲を広げ てきたといえる（図 1).リビジョンには，従来の文単位 GEC の研究範囲では捉えきれない，論述全体 の流れや一貫性・結束性といった評価項目に基づく 様々な編集が含まれると考えられる。しかし，NLP におけるリビジョンに関する既存研究の多くは文単位を対象にしており [7,8]，また論述やエッセイな どを文書単位で自動的にリビジョンを行うタスク （本稿では，論述リビジョンと呼ぶ）も存在しない。論述リビジョンの設計を考えた場合，高精度な参

図 1 本研究の位置付け. 図中の例は本研究で構築した データセットに含まれていた実例である.

照なし自動評価の実現が大きな課題となる。なぜな ら文書単位のリビジョンの場合，文結合や文分割，文の並び替えなどといった文を跨いだ編集も含まれ るため参照との正確な照合自体が困難であり，また 妥当な参照も多岐にわたるため参照あり評価は現実的ではないからである（図19実例を参照)。参照なし評価尺度を用いる場合，その評価尺度がどの 程度人間の判断と相関があり信頼できるものかと いった自動評価尺度の“評価（メ夕評価）”が必要と なる.

そこで本研究では論述リビジョンの実現に向け

## て，評価項目毎に高精度な参照なし自動評価尺度の開発促進を目的としたメタ評価基盤を提案する. 具体的には，提案メタ評価基盤は論述リビジョンのた めのデータセットである Text Revision of ACL paper (TETRA)，およびメ夕評価手法である Instance-based Revision Classification (IRC) の2つによって実現す る ${ }^{1)}$. TETRA は，ACL 系論文に対して文書レベル のリビジョンをアノテーションしたデータセットで あり，従来の局所的な編集タイプに加えて，文書単位での大域的な編集タイプにも対応可能なアノテー

1） 構築したデータセットは今後一般公開する予定である

ションスキームに基づいて設計されている. IRC は，人間の専門家によるリビジョンに対して，編集事例毎にどの程度開発した参照なし評価尺度がリビ ジョンの良し悪しを判別できるかといった二値分類 に基づくメタ評価手法であり，その精度が高い参照 なし評価尺度が良い評価尺度ということになる。さ らに，提案メタ評価基盤では評価項目毎の精度を評価および編集根拠を提示可能であるため，より良い 評価尺度の開発に向けた透明性・解釈性の高い分析 ができる.

本研究では，大規模言語モデルに基づくベースラ イン自動評価尺度（ラベル教師あり，なし）を用意 し, それらが文書レベルのリビジョンをどの程度正確に判別することができるかについてのメタ評価を 行い, 文書レベルのリビジョンに対する自動評価の 現状と実現可能性を示す.

## 2 TETRA

## 2.1 データセット設計

論述リビジョンのためのデータセットとして，ど のように設計すべきかは自明ではない. そのため,本研究ではまず基本要件として次の 4 つを定めた: （1）段落単位で十分に長い文脈を含んでいる;（2）文法誤りは修正済みである；（3）ドメインは限定的 である; (4) 書き手の多様性を担保する. 要件 1 は,論述リビジョンであるための必要条件ともいえる.要件 2 に関して, 文法誤りは既存の GEC タスクで 対象としていること, また本研究の狙いである文書単位での品質を向上させることを目的とした大域的 かつ高次な編集は，事前により低次な文法誤りが修正されていなければ観察されにくいという仮定に基 づいている. 要件 3 に関して, リビジョンは暗黙的 なドメインに依存した評価項目（rubric）の存在を前提としており，ドメインを制限しなければ妥当な編集候補が多くなり不良設定問題になるのを避けるた めである. 要件 4 に関して, リビジョンの書き手の 属性は本質的に多様性があるためデータを収集する うえでも偏らないよう多様性を担保することが重要 である.

上記の 4 つの要件を満たすために，次の方法論で データの選定および収集を行う. まず，要件 1 から 3 を満たすために, 本研究では ACL 系論文の概要 および導入節を元データとして採用する. 概要およ び導入節は一般的に他の節よりも言説構造が重要で
あり，かつ数式などの非テキスト要素が入りにくい と考えられ，多様なリビジョンを収集しやすいと考 えられる.アノテーション対象の論文を選択する際 は，要件 4 を考慮して，次の 3 つの観点で多様性を 担保する：（1）会議/ワークショップ;（2）学生/非学生;（3）母語話者/非母語話者. ここで，観点 2 およ び観点 3 について機械的に判別することは困難であ るため，次の方法論で可能な限り恣意性を除外した うえで選択した。まず，ACL Anthology ${ }^{2}$ ) の会議識別 ID を基に会議およびワークショップ論文をラン ダムサンプリングする3)．次に，選択された論文を 上記 3 観点の組み合わせから構成される全 $8\left(2^{3}\right)$ クラスに人手で分類する ${ }^{4)}$. 各クラスにつき 1 本該当論文を割り当てるまでを 1 バッチとし（つまり， 1 バッチにつき 8 論文を選定)，本研究では結果と してこれを 8 バッチまで行い，合計 64 論文をアノ テーション対象の論文として収集した.

## 2.2 アノテーション

本研究では英語母語話者，かつ英文校正の専門家 である 3 名のアノテータによりアノテーションを 実施した. 具体的には，同じ文書を 3 名が独立的に 編集し，各文書につき 3 つの参照を作成した。アノ テーションとして, 本研究では 1 段落を 1 文書とみ なして段落単位でリビジョンを行うよう指示した。 さらに，各編集に対してどういった観点で段落全体 の品質が向上されるかについて編集タイプおよびそ の編集根拠を自由記述で書くよう指示を与えた.こ こで，事前に定義したタイプ集合から選択させるの ではなく自由記述とした理由は，文書単位リビジョ ン固有の言語現象として，どのような種類の編集が 存在・観察されるのか自体自明でないからである。

次に，アノテーションしたデータを研究用途とし て利用しやすい形式にするために，XMLを用いて 人手でデータセットの構造化を行った. 具体的に は，元論文およびアノテータの識別 ID，節情報と いったメタ情報に加え，編集事例毎に編集情報，編集タイプ及び編集根拠を付与した. TETRA の統計量を表 1 に示す.
 ＼mathrm{~ ワ ー ク シ ョ ッ フ ゚ 論 文 ~}$ の識別 IDを W とみなしてそれぞれ収集した。

4） 母語話者かどうかを判断する際，著者の母語を考慮するの は現実的に難しく，かつ差別的になる恐れがあるため，本研究では筆頭著者の所属の所在地を判断基準とした.
}

図 2 提案メタ評価基盤を用いたメタ評価の概要.

表 1 TETRA の統計量.

表 2 各評価項目の分布.

## 2.3 分析

構築した TETRA にどのような種類の編集が観察 されるか，また従来の GECでは観察されない論述リ ビジョン固有の編集はどの程度含まれるかについて 分析するために，一人のアノテータにおける 2 バッ チ分のサンプルデータ（計 16 論文）に対して編集 タイプの分布を算出した（表 2). ここで，分析のし やすさを目的に各編集タイプを大分類として評価項目毎に人手でまとめた ${ }^{5)}$.その結果, Grammaticality （文法性）に関する編集や Fluency（流暢性）に関す る編集といったような従来の GEC に含まれるよう な編集も観察される一方で, Clarity (明瞭さ)・Style (スタイル)・Readability（読みやすさ）・Redundancy (冗長性) ・ Consistency (一貫性) といった論述リビ ジョン固有の編集も全体の $66.5 \%$ と大半は論述リビ ジョン固有の編集だった.

次に，アノテータ間でどのくらい編集が一致した かについて分析する。論述リビジョンにおいては，各編集のスパンの同定およびアノテータ間での対応 を機械的に正確に取得すること自体が困難であるた め, 本研究では少量のサンプルデータに対して人手

でアノテータ間の編集の対応を取り一致率を計算し た. 具体的には，ランダムに選んだ 3 本の論文に対 して, 3 人中 2 人以上が概ね同じ箇所を編集してい たときの一致率を計算したところ，わずか $33.5 \%$ と いう結果となった. このことからも，論述リビジョ ンは妥当な参照が多岐にわたることがわかる.

## 3 提案メタ評価基盤

入力に多数の評価項目が含まれる論述リビジョ ンの評価方法として, 絶対評価は難しいと考えられ る. そのため, 最も素直なメタ評価手法としては,人間の専門家によるリビジョン（gold revision）を用 いた二値分類の Accuracy で評価を行うことが考え られる。具体的には，入力としてリビジョン前後の 2 つの文書が与えられたとき, どの程度 gold revision に対して評価尺度が正しく改善と判定できるかの二値分類であり，その精度が高い評価尺度が良い評価尺度ということになる。二値分類のようなペアワイ ズ比較は, 絶対評価が難しい状況下のメタ評価手法 として有効であることが先行研究でも示されてい る $[9,10]$. しかし，表 2 に示されるような多数の評価項目に基づく多種多様な編集を一括りにして改善 したかどうかの二値を提示するだけでは透明性や解釈性の高い分析が難しい。また，評価項目に応じて 最適な評価尺度も異なると考えられるため包括的な 評価では限界がある [11,12].

そこで本研究では，評価項目毎に高精度な評価尺度の開発促進を目的としたメタ評価基盤を提案す る. 図 2 に提案メ夕評価基盤を用いたメ夕評価の 概要を示す. 提案メタ評価基盤は，2 節で構築し た TETRA とメタ評価手法， Instance-based Revision Classification (IRC) によって実現する。IRCでは，複数の多種多様な編集が混在する文書に対して，1 文書につき 1 編集事例のみからなる文書対（本稿で は, one-hot ペアデータと呼ぶ）に変換して二值分類

図 3 メタ評価結果 (Accuracy).

を行うことでメタ評価を行う。これにより，評価項目毎の精度および編集根拠を提示可能となるため, より良い評価尺度の開発に向けた透明性・解釈性の 高い分析ができる.

## 4 実験

本節では，ベースラインとなる参照なし評価尺度 を用意し，提案メタ評価基盤を用いたメタ評価のデ モンストレーションを行う，そして，文書レベルの リビジョンに対する自動評価の現状と実現可能性を 明らかにする。

## 4.1 実験設定

評価提案メタ評価基盤でメ夕評価を行うた めに one-hot ペアデータを構築する。具体的には， TETRAを論文単位で訓練: 評価用に 3（48 論文）:1 （16 論文）に分割し，評価用データを one-hot ペア データに変換した. ここで，TETRA に付与されて いる編集タイプは自由記述でアノテーションされ ている都合上，アノテータ間で異なるラベル集合と なっている 6). そこで本実験では， 2.3 節の分析で 用いたアノテータ（主アノテータ）のラベル集合を 基準とし，残りの二人のアノテータの編集タイプを 必要に応じて人手で主アノテータの編集タイプへと 対応付けを行った. 上記の手順に従い one-hot ペア データを構築した結果，1368 文書対となった.

ベースライン評価尺度 本実験では, ベースラ インとして2つの大規模言語モデル（GPT-2 [13],

6）例えば，語彙選択に関する編集に対してアノテータ間で word choice や word use など異なるラベルを用いていた。
BERT [14]）に基づく参照なし評価尺度（二値分類器）を構築した ${ }^{7)}$. GPT-2を用いたラベル教師なし 評価尺度は，入力の二文書それぞれの単語あたり の perplexityを比較し，その大小によって二値分類 を行う．BERTを用いたラベル教師あり評価尺度 は，TETRA の訓練用データ（全 868 文書対）に対 し，半分はランダムにリビジョン前後を入れ替えて 負例を作成し，それらを用いて二值分類問題として finetune を行った.なお, ベースラインの構築はい ずれも transformers [15] の Pytorch 実装を用いた.

## 4.2 結果

図 3 亿提案メタ評価基盤を用いたメタ評価結果を 示す ${ }^{8)}$. まず，図 3 に示されるように，本提案メ夕評価基盤を用いると各評価尺度における評価項目毎 の精度が評価可能である。これにより，ユーザは各評価尺度の得意・不得意を分析しながら評価項目毎 に最適な評価尺度の開発に専念できる。また本実験結果から，ラベル教師なし評価尺度ではほとんど文書レベルのリビジョンを捉えることができないが， ラベル教師あり評価尺度においては，最も低い評価項目で 0.79 ポイント，最も高い評価項目では 0.90 ポイントの Accuracyを達成していることから，ある 程度文書レベルのリビジョンを捉えることができて いることがわかる。これはつまり，論述リビジョン という挑戦的な未開拓課題において自動評価の実現可能性が示されたといえる.

## 5 おわりに

本研究では，文法誤り訂正の次なる方向性として 文書単位で自動的にリビジョンを行う論述リビジョ ンという新たな課題を提示し，論述リビジョンのた めの高精度な参照なし自動評価尺度の開発促進を目的としたメタ評価基盤を提案した. また，大規模言語モデルを用いたベースライン評価尺度を用意し，提案メタ評価基盤を用いたメタ評価のデモンスト レーションを通して論述リビジョンにおける自動評価の実現可能性を示した. 論述リビジョンは NLP 分野として重要かつ挑戦的な課題であり, 本研究は 論述リビジョンの実現に向けた最初の一歩となる.今後は，論述リビジョン自体を行うリビジョンモデ ルだけでなく，本提案メタ評価基盤を用いた自動評価尺度に関する研究に繋がることを期待する。

## 参考文献

[1] M. Buchman, R. Moore, L. Stern, and B. Feist. Power Writing: Writing with Purpose. No. No. 4. Pearson Education Canada, 2000 .

[2] Anthony Seow. The Writing Process and Process Writing, p. 315-320. Cambridge University Press, 2002.

[3] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 Shared Task on Grammatical Error Correction. In Proceedings of the 17th Conference on Computational Natural Language Learning (CoNLL 2013): Shared Task, pp. 1-12, 2013.

[4] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 Shared Task on Grammatical Error Correction. In Proceedings of the 18th Conference on Computational Natural Language Learning (CoNLL 2014): Shared Task, pp. 1-14, 2014.

[5] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 169-182, 2016.

[6] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2017), pp. 229-234, 2017.

[7] Fan Zhang, Homa B. Hashemi, Rebecca Hwa, and Diane Litman. A corpus of annotated revisions for studying argumentative writing. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1568-1578. Association for Computational Linguistics, 2017.

[8] Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki, and Kentaro Inui. Diamonds in the rough: Generating fluent sentences from early-stage drafts for academic writing assistance. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 40-53. Association for Computational Linguistics, 2019.

[9] Francisco Guzmán, Shafiq Joty, Lluís Màrquez, and Preslav Nakov. Pairwise neural machine translation evaluation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 805-814. Association for Computational Linguistics, 2015.

[10] Paul F Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Jungo Kasai, Keisuke Sakaguchi, Lavinia Dunagan, Jacob Morrison, Ronan Le Bras, Yejin Choi, and Noah A. Smith. Transparent human evaluation for image captioning. arXiv https://arxiv.org/abs/2111.08940, 2021.

[12] Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Lavinia Dunagan, Jacob Morrison, Alexander R. Fabbri, Yejin Choi, and Noah A. Smith. Bidimensional leaderboards: Generate and evaluate language hand in hand. arXiv https://arxiv.org/abs/2112.04139, 2021.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45. Association for Computational Linguistics, 2020.

[16] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

## Aリリ゙ジョンの実例

表 3 評価項目に関連付けされたリビジョンの実例.

This paper presents empirical studies and closely corresponding theoretical models of a chart parser' s performance whilethe performance of a chart parser exhaustively parsing the Penn Treebank with the Treebank's own context-free grammar (CFG)CFG frammar. We show how performance is dramatically affected by rule representation and tree transformations, but little by top-down vs. bottom-up strategies. We discuss grammatical saturation, provide an, ineluding analysis of the strongly connected components of the phrasal nonterminals in the Treebank, and model how, as sentence length increases, regions of the grammar are unlocked, increasing the effective grammar rule size inered, and yielding super-cubic observed time behavior in some configurations.

Modeling relation paths provides has offered significant gains in embedding models for knowledge base (KB) completion. However, enumerating paths between two entities is very expensive, and existing approaches typically resort to approximation with a sampled subset. This problem is particularly acute when text is jointly modeled with KB relations and used to provide direct evidence for facts mentioned in it. In this paper, we propose the first exact dynamic programming algorithm, which enables efficient incorporation of all relation paths of bounded length, while modeling both relation types and intermediate nodes in the compositional path representations. We then conduct a theoretical analysis of the efficiency gain from the approach. Experiments on two datasets show that it addresses representational limitations in prior methods approaches and improves accuracy in KB completion.

## B ベースライン評価尺度の実験設定

GPT-2 を用いた評価尺度GPT-2 を用いたラベル教師なし評価尺度は，入力の二文書それぞれの単語あた りの perplexity を比較し，その大小によって二值分類を行う．具体的には，リビジョン前の文書よりもリビ ジョン後の文書の perplexity の方が低い場合は改善（正例），高い場合は改悪（負例）とみなして二値分類を 行う.

BERT を用いた評価尺度 BERT を用いたラベル教師あり評価尺度は，TETRA の訓練用データ（全 868 文書対）に対し，半分はランダムにリビジョン前後を入れ替えて負例を作成し，それらを用いて二値分類問題 として finetune を行った。具体的には，入力として，“リビジョン前<SEP>リビジョン後”を改善（正例），“リ ビジョン後<SEP>リビジョン前”を改悪（負例）という形式で与え，BERT+線形分類レイヤによって finetune することで二值分類器を訓練した. なお，モデル訓練時のハイパーパラメータは表 4 に示す.

## C メタ評価結果

表 5 メタ評価結果の詳細.


# Unity を用いた英単語学習ゲームの学習効果と評価

佐藤志月 ${ }^{1}$ 宍戸真 ${ }^{2}$
${ }^{1}$ 東京電機大学大学院 情報環境学研究科 ${ }^{2}$ 東京電機大学 システムデザイン工学部
$\left.\{20}.$ jkm14\}@ms. dendai. ac. jp $p^{1}$, \{shishido\}@mai1.dendai. ac. jp²

## 概要

本論文では, 既存の電子教材のデザインを組み合 わせることによる英語学習教材の作成とその評価を 検討する. 脱出ゲームと英単語学習を組み合わせた 教材を Unity を用いて開発し,オンラインで実証実験を行い, 利用者の学習意識と学習効果の評価を実施した. 実験は 2 回に分けて行われ, 予備実験では学習意識が高い被験者のグループに教材を配布し評価 を行った.その後教材の改良を行い, 学習意識が低い 別のグループに対し, 教材を配布し本実験を実施し た. その結果, 学習意識を問うアンケートの結果は予備実験と本実験でほとんど差がなく, 本実験の被験者のほうが TOEIC のスコア上昇率は高かった.この ことは, 学習意識と学習効果の改善に, 本教材のデザ インや改良が有効であることを示している.

## 1 はじめに

文部科学省によって英語教育の早期化・指導強化 が示されている中 [1], GIGA スクール構想による生徒 1 人につき 1 台の電子端末配備とインフラ整備が 予定を前倒しで行われた [2].紙の教材から電子教材 への移行によって,学習者の成績やモチベーション が下がることのないようにするため,電子教材のデ ザインの検討は必須課題といえる.

このことから, 学習者のモチベーションを保ちつ つ, 学習効果が高い電子教材のアプリケーション開発を目的とし, IDE を内蔵したゲームエンジンであ る Unityを用いて開発を行う.学習モチベーションが 低い人でも無理なく継続でき,かつ短時間で教材利用前以上の学習成果の達成及び学習意識の改善を行 うことを本研究の目的とする.

開発にあたり,既存の電子教材の研究を調査し,其々のメリットを組み合わせることによることで目的の達成に至ると考えた.そこで, 2 章にて関連研究 について調査し, 3 章にて開発方針と概観について述 べ, 4 章にて実験概要について述べ 5 章にて実験結果 の報告,6 章にて䌂めを行う。

## 2 先行研究

ここでは,教材デザインの手法や,学習評価法につ いての研究を紹介する.

## 2.1 デジタルゲームを利用した教育

$\mathrm{PC}$ を利用した教育の一つであるデジタルゲーム を利用したものについて, 藤本は利点として「学習意欲が高めやすい」ことや，「フィードバックを通した 学習改善を行いやすい」ことを挙げ, 久点として「ゲ 一ムに夢中になっているからといって, 学習活動に も夢中になっているとは限らない」,「必要以上に時間がかかりやすい」等と指摘している [3].

## 2. 2 ゲーミフィケーション理論

電子教材のテーマとして注目されているゲーミフ イケーション理論は,ゲームの考え方やデザインを ゲーム以外のものに転用することを指している.特 に電子教材に用いる場合,学習の到達度に応じたポ イントやバッジの付与,プレイヤー間でのスコア競争 $(\mathrm{PvP})$, リーダーボードといったものが構成要素と され,学習意欲の向上に寄与するとされる [4].

ゲーミフィケーション理論に近いところでは Bartle によるプレイヤーの分類が挙げられる.これは，人が持つゲームの思考の違いに着目し,プレイヤー の特性を Achiever, Explorer, Killer, Socializer の要素 で分類したものである [5].この分類とゲーミフィケ ーションの構成要素は類似している部分があり,例 えば Killer に該当するような学習者には PvP 機能が 有効である可能性が高い.

## 2.3 ゲームデザインについての研究

ゲーミフィケーションには,”学習というモチベー ションが低い行動に対し,どのようなデザインをす ることでモチベーションを高めるのか”という問題 がある.これに対し栗原が提案した Toolification of Games は,「ゲームの主目的の最適な達成方法から離 れたユーザの行動やゲーム要素の存在を許容する時
間的空間的ゆとりを余剩自由度と定義し,その中で 単語学習のような非ゲーム的目的を達成する」とい うものである.これは,,"既に本編のゲームで操作が慣 れているため,新たに操作を覚える必要がない”, 既 に完成されたゲームはそれ自体が面白いのでタスク 実行のモチベーションを誘発するデザインを改めて 考えなくてよい”といった特徵を持つとされる [6].

## 2. 4 学習活動の集中度の測定

電子教材による学習意識の調查方法としては, 眼球の動きや胼波の計測, ウェアラブル端末の使用等 が挙げられるが,いずれも専用の機器が必要となり,遠隔や大人数での実験には適さない.そのため,フロ 一体験の構成要素となる設問を用いた質問紙調査で 学習者のモチベーションの推移を調査する.

フローとは,Csikszentmihalyi によって提唱された，人間がその時に取り組んでいる活動に夢中になる時 に生じる忘我状態のことである [7].フロー体験には 表 1 のような前提条件が必要であり [8],それぞれに ついての当てはまり具合をアンケートの設問に用意 することで,学習意識の推移を測る。

表 1 フロー設問項目

## 3 システム開発

## 3. 1 基本方針

先行研究を踏まえ,提案方式として,「脱出ゲームを プレイする過程で英単語学習のクイズに挑戦し,一定の正答率の達成で脱出のヒントを獲得でき,この ヒントやアイテムを集めてゲームクリアを行う.ま た,クリア後の余剩自由度の中で理解度テストに挑戦する」というデザインを考案した [9].

脱出ゲームを採用した理由について,「操作がマウ スクリックのみで完結し, 複雑な技能習得を伴わな い」,「クリアまでの外部統制が比較的行いやすい」, といった点を挙げる. そのうえで, 到達度によるメダ ルの付与や,PVP 機能を搭載した理解度テストのよ うな,ゲーミフィケーションの要素を取り入れる.今回の実験はオンラインで実施し,教材は各被験者が所有する PC で利用してもらうが,その端末や OS は統一されていない.そのため,開発にはクロスプ ラットフォーム開発が容易な Unity と C\#を用いた.

## 3.2 教材概要

前節で述べた通り,学習者は初めに脱出ゲームの ステージを 1 つ選びプレイする.各ステージの脱出方法は異なり,脱出にはアイテムが必要となるが,その アイテムの場所や使い方といったヒントを英単語ク イズの挑戦で一定の正答数を超えることで獲得する 必要がある.脱出ゲームのクリア後は,理解度テスト に取り組むことができる.このパートは本編となる 脱出ゲームとは独立しており,脱出ゲームの各ステ ージで学習した単語の総復習を行うことができる.

今回の研究では予備実験と本実験の 2 回にわたり 実験を行っているが,本実験で使用した教材は予備実験で利用したものに改良を加えたものとなってい る.その差異についても以下で説明する。

## 3.2. 1 脱出パートの仕様

脱出ゲームは実験に併せ,無人島や部屋といった 全 14 ステージで構成される.ステージの操作はマウ スクリックで行い, 特定箇所のクリックでアイテム の獲得や使用といった各種操作が可能となる.

## 3.2. 2 クイズパートの仕様

脱出ゲーム中に挑戦できる単語クイズは 4 択クイ ズとタイピングクイズからなり,1 ステージで学習す る 50 単語から 10 単語を選出し, 出題する.クイズは一問一答形式で,不正解時は正しい答えが提示される.全 10 問終了後, 8 問以上正解でヒントを獲得できる.

本実験の教材では,任意ヒント機能をタイピング クイズに追加しており,使用すると答えのスペルの 字数と頭文字を確認できる.これにより,同一の意味 を持つ類語での解答を避けることができる.

## 3.2. 3 理解度テストパートの仕様

理解度テストパートは問題番号,クロスワード,一単語が欠けた英文が提示され,クロスワードの中か ら現在の問題番号のマスの数と一致し,かつ正しく 英文を完成させる語句をタイピングで解答する.ま た,ヒント機能の利用で英文の日本語訳が表示され る.テストは全 14 回で構成され,脱出ゲームの各ステ ージで学習する 50 単語をそれぞれ復習できる.

本実験の教材では単語の頭文字を提示する機能を ヒント機能に追加している他,解答を不正解扱いと してパスする機能、スコアによる $\mathrm{PvP}$ 機能を追加し ている.ここで,スコアは問題の誤答回数とクリア時
間によって算出され,このスコアをクラウド上にア ップロードし,学習者同士でスコアを共有・順位付け を行いランキング表示をさせることで PvP の機能を 実装している.誤答やパスをしたり，一問に時間をか けるとスコアが下がるため,ハイスコアには素早く 正解を重ねることが必要となる.

## 3. 2.4 学習履歴パートの仕様

脱出ゲームのクリアタイム,テストの挑戦回数や スコア,誤答した単語とその回数といった履歴は内部フォルダに保存されており,Twitter で投稿できる ほか,ステージ毎の単語と誤答回数, 日本語の意味は このパートからいつでも確認することができる.

本実験の教材では,単語帳機能とトレーニング機能を追加した.単語帳機能では脱出ゲームのステー ジ挑戦前に登場単語と意味を確認でき,トレーニン グ機能では任意の単語をチェックリストにいれ,そ のリスト内の問題のみを問題セットとしてタイピン グ形式の問題に挑戦できる機能である.

## 3. 2.5 ギャラリーパートの仕様

ギャラリーパートは,脱出ゲームのクリア回数や 理解度テストの成績といった, 特定の条件達成で獲得できるメダルを閲覧できる.本実験の教材で は,PvP のランキングも確認することができる.

## 3. 2.6 音声認識システムの仕様

予備実験で利用した教材のみ,脱出ゲームのステ ージのギミックの一部に音声認識システムを導入し た.キーワードとなる語句の発音を読み取りテキス 卜に起こして正解の語句のスペルと比較を行い,正 しければゲームが進行するといった具合である.

## 3.3 学習単語の選定

本教材は特定の年齢層を対象にしたものではない ため,学習する単語によって対象を絞ることとなる.今回は実験の都合上被験者は大学生となり,学習単語は大学内の英語講義で指定されている TOEIC 頻出単語 1000 語の中からアルクが提供している SVL12000[10]参考に,難易度の降順で 700 単語を 学習する設計とした.この 700 単語をレベルの低い順 に 50 単語ずつ分け,ステージが上がるにつれて高い レベルの単語を学習できるように配置した。

## 4 実験概要

## 4. 1 実験方法

開発した教材を東京電機大学の英語講義の一環と
して導入し,一コマ終了後にステージを 1 から順に 1 つプレイしてアンケートに回答してもらった.そし て,全 14 回の講義終了後に最終アンケートを実施し た.また,受講者には TOEIC の受験が別途課されてい る.尚,各実験は全てオンラインで実施を行った.

予備実験と本実験の被験者は異なり,予備実験を 行った講義は大学院進学を目指す学生が受講する講義であり,学習意識が高い被験者が多数である.一方，本実験を行った講義の受講者の大半は,単位の取得 が目的である.各実験の被験者について,表 2 に示す.

表 2 被験者の前年度の TOEIC の結果

## 4. 2 実験アンケート概要

アンケートは隔週・最終の 2 種を用意し,隔週アン ケートでは 2.4 節の 10 個の質問項目について,"全く 当てはまらない” $(0$ 点) から”確実に当てはまる” (6 点）の 7 件法で 1 点刻みで点数付けを行い調査を行 った.また,ステージ毎の問題やゲームの難易度,操作感を問う設問も用意した.最終アンケートでは,教材 を利用した感想をはじめ,英語の学習方法や学習形態に対する意識を問う設問等で構成した。

## 5 実験結果

## 5.1 学習モチベーションの評価

隔週アンケートの結果から学習意識の調査を行っ た.通常,フロー状態の評価は各回の結果の推移を調査するが,予備実験・本実験共に䌉めてステージをプ レイし,アンケートも縗めて一回で回答する被験者 や,回答が不定期となる被験者が多数存在したため,今回は初めに被験者毎に各設問の最頻値と平均値を 算出し,その後実験別に全ての被験者の設問毎の最頻値と平均値を算出した.結果を表 3 に示す.ここで，表中の(1)から(11)は,2.4 節の表 1 の振り分けと対応し ている.
表 3 各実験のフロー項目値の結果

項目別でみると,点数が高い設問と低い設問は各実験で共通していると言える.本実験の結果では,項目全てに”全く当てはまらない”を回答した被験者が 数名いたこともあり,平均値は全て予備実験を下回 っているが,最頻値で捉えると大きな差はなく,モチ ベーションが低い人でも高い人と同程度の意識で学習を行うことができたことがわかる.

## 5.2 学習効果の評価

TOEIC の比較結果を表 4 ,図 1 に示す. 各実験につ いて,対応のある $\mathrm{t}$ 検定の結果は有意であった.ここ で,スコアの伸び率についてはスコア開発率 [11]を 用いて算出することで重みづけを行った.元々のス コアが高い人がスコアを上げるほどこの值は大きく なるため, 本実験のほらが学習効果があったと判断 できる.これについては,効果量からも判断でき,表 5 の指標 [12]を参考にすると,予備実験では小〜中程度,本実験では中程度と判断できる。

表 4 各実験の TOEIC の比較結果

図 1 予備実験（左）と本実験（右）の TOEIC の 比較結果

表 5 効果量の指標

 & 0.6 & 1.0 & 1.4 \\

## 5.3 学習態度の評価

最終アンケートの自由記述のコメントを全て䌂め て,KHCorder3 [13]を用い共起ネットワークを作成し た結果を図 2 に示す.左側の予備実験の図では UI に 関する要素や結びつきが低い要素が見られる一方,右側の本実験の図ではそれぞれの要素が絡み合って いる.このことから,UI の改善やゲーミフィケーショ ン要素の追加といった修正が学習に与えた影響は大 きかったと考えられる。

図 2 予備実験（左）と本実験（右）の共起ネット ワーク図

## 6 まとめ

本研究では,既存の教材デザインを組み合わせた 教材を検討し,学習意識が低い被験者でも学習意識 やスコアの改善が見られた.一方,採用するゲームの 習熟度や完成度が学習に影響を及ぼす例が多数見ら れた.今後は,元となるゲームの習熟度を踏まえた実験グループの選定や,教材のどの部分が効果的に作用したかを,要素を切り離して実験を行うことによ って検証することで,教材評価を行いたい。

## 参考文献

1. 文部科学省初等中等教育局 情報教育 - 外国語教育課. 新学習指導要領全面実施に向けた小学校外国語に関する取組について. (オンライン) 2019年9月 4 日. (引用日: 2021 年 12 月 23 日.) https://www.mext.go.jp/b_menu/shingi/chukyo/chukyo3/ 004/siryo/_icsFiles/afieldfile/2019/09/11/1420968_2.pd f.

2. 文部科学省. GIGA スクール構想に関する各種調查の結果. (オンライン) 2021 年 8 月. (引用日: 2021 年 12 月 23 日.)

https://www.mext.go.jp/content/20210827-mxt_jogai01000017383_10.pdf.

3. 藤本徹. 効果的なデジタルゲーム利用教育のた めの考え方: : コンピュータ\&エデュケーション, 2011.

4. GabrielaKiryakova, NadezhdaAngelova, LinaYordanova. GAMIFICATION IN EDUCATION. 2014.

## 5. BartleARichard.

Hearts,Clubs,Diamonds,Spades:Players Who Suit Muds. 1996.

6. 栗原一貴. 既存ゲームに寄生するゲーミフィケ ーション.: 情報処理学会, 2015.

7. ミハイ・チクセントミハイ著 今村浩明訳. フロ 一体験 喜びの現象学. 京都府 : 世界思想社, 1996. 8. 石村郁夫. フロー体験の促進要因とその肯定的機能に関する心理学的研究. 2008.

9. 佐藤志月 , 宍戸真. Unity を用いた電子教材の開発と評価. : 言語処理学会, 2021.

10. アルク. レベル別語彙リストSVL12000. (オンラ イン) (引用日: 2021 年 6 月 2 日.) https://www.alc.co.jp/vocgram/article/svl/.

11. ShishidoMakoto. Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. 2019.

12. 小林雄一郎, 濱田彰, 水本篤. $\mathrm{R}$ による教育デ 一夕分析入門. ページ: 93 .
13. 樋口耕一. 社会調査のための計量テキスト分析一内容分析の継承と発展を目指して一第 2 版. : ナ カニシヤ出版, 2020.


# 大学入学共通テスト試行調査における 短答式記述答案の完全自動採点

岡知樹 1 Hung Tuan Nguyen ${ }^{2}$ Cuong Tuan Nguyen $^{2}$ 中川正樹 2 石岡恒憲 3
1 東京大学 2 東京農工大学 3 大学入試センター
oka-haruki497@g.ecc.u-tokyo.ac.jp ntuanhung@gmail.com ntcuong2103@gmail.com
nakagawa@cc.tuat.ac.jp tunenori@rd.dnc.ac.jp

## 概要

自然言語処理の教育分野への応用タスクとして、短答式記述問題の自動採点に関する研究が行われて いる。実際の教育現場では、短答式記述問題の解答用紙はほとんどが手書きであり自動採点の実応用で の障壁となっている。本研究では手書き文字認識と 自然言語処理を用いて、短答式問題の手書き回答を 完全に自動採点するシステムを開発した。本研究で 提案した完全自動採点システムでも、人間の採点に 匹敵する高い精度で採点できることを確認した。

## 1 はじめに

現在の教育現場では，言語学で培った能力を適切 に評価するために記述式問題が多く導入されてい る. 採点の効率化や安定化のために，近年では人工知能による自動採点の研究が進んでいる. 英語を対象とした短答式記述答案の自動採点は, 深層学習を 用いた手法が提案されて以来，その性能が向上して きた $[1,2,3,4,5]$. 特に，近年では Transformer ベー スの言語モデルを用いた短答式記述答案の自動採点 $[6,7,8,9,10,11,12,13]$ が考案されている.こうした 背景から，実際の模擬試験のデータを使用した最新 の研究も存在する $[14,9]$.

しかし，これらの研究には 2 つの問題が存在す る. 1 つ目は，短答式記述答案の自動採点には余分 な手作業が必要なことである. 記述答案の多くは手書きであるため，手書きデータを電子媒体に変換す るには手間がかかる．また，従来の方法では，正確性を確保するために，採点の目安となるアノテー ションを付与している．教育現場での実用化を考え ると，これらの手間を省くための改良が必要であ る. 本研究では，アノテーション付与や手書きの答案をテキストデータに変換といった，データ処理を確実に省略できる全自動採点システムを開発した。 2 つ目は，実際の教育現場で扱うデータが過小であ り，大規模な検証ができなかったことである. プラ イバシーの観点からデータ数が限られていた. 本研究では大学入学共通テスト試行調査のデータを用い て実験を行い，大規模な教育現場のデータでも高い 採点精度を保証できることを明らかにした。

## 2 共通テスト試行調査のデータ

## 2.1 概要

2017 年と 2018 年に実施された大学入学共通テス 卜試行調査の国語の短答式記述問題を使用する. 試験問題は本番と同じ方法で作成し，試験問題の質は 厳密に検証されている．今回は日本の約 $38 \%$ の高校がこの試行調査に参加し, 約 6 万人が受験した.

## 2.2 国語の短答式記述問題

試行調査の国語は，5つの大問で構成されている. そのうちの 1 つが短答式記述問題であり，3つの小問で構成されている. 2017 年では，それぞれ 50 字， 25 字，120 字の，2018 年では，30 字，40 字，120 字 の字数制限が設けられた。図 1 に 2018 年に実施さ れた短答式記述問題の例（問 $1 ， 30$ 字）を示す.

## 問題文

“...ことどのの全く通じない国に行って，相手に なにかを頼んだり尋ねたりする状況を考えてみよう。 この時には，指差しが魔法のような力を発揮するはずだ....

設問

“指差しが魔法のような力を発揮する”とはどういうことか?三十字以内で書け.

答案例

ことばを用いなくても意思が伝達できること。

$
\text { Score: } \mathbf{3 / 3}
$

図 12018 年に実施された短答式記述問題の例

## 3 方法

## 3.1 タスク設定

手書き文字認識モデルを用いてテキストデータに 変換した短答式記述問題の答案を入力し，対応する 予測得点を出力する. 次に，採点基準に基づいた人手による採点結果と比較することで, 本研究の採点 モデルがスコアを正しく予測できるかを検証する。

図 2 にタスクの流れを示す。答案データの文字を 修正することなく，また，答案にアノテーションを 加えることなく，スコアを出力し精度を評価する。

図 2 タスクの流れ

## 3.2 手書き文字認識モデル

ETL (Extracting, Transforming, and Loading) データ ベースは，オフラインの日本語手書き文字を収録し たデータベースである. このデータベースは，異な る条件で収集された 9 つのデータセットから構成さ れている [15]. 収集されたサンプルは，大学入試の 答案用紙のように区切られたボックスに書かれてい るため, ETLデータベースはオフラインの日本語手書き文字認識モデルを構築するのに適している.

本研究では複数の畳み込みニューラルネット ワーク（CNN）のアンサンブル学習した文字認識モデルを使用する. 文字認識モデルは, VGG (Visual Geometric Group)[16], MobileNet[17], ResNet (Residual Network)[18], ResNext[19] であり, それぞ れ 16 層, 24 層, 34 層, 50 層で構成されている.

これらの CNN の学習には, 回転, 剪断, 拡大縮小，ぼかし，コントラスト，ノイズ付加などの変換 を適用し，サンプル数が 100 万程度であったため，過学習の問題を回避している. ETLデータベースを 使ってこれらの CNNを学習した後, 手書き答案の 中から手動でラベル付けされた 100 個のサンプルを 使って，CNNをファインチューニングする.訓練された文字認識モデルは, 確率の $C$ 次元ベク トルとして予測出力を与える. ここで $C$ は各文字 サンプルのカテゴリー数である。これらの予測出力 は， 1.0 の均等な重みで平均化され，アンサンブル 予測出力となる.このようにして，アンサンブル予測出力の中で最も確率の高いカテゴリがトップの予測となる. 図 3 は, 16 層, 24 層, 50 層の $\mathrm{CNN}$ を判定する手順を示したものである.

図 3 アンサンブル学習した $\mathrm{CNN}$ の文字認識モデル

また，文字の中には曖昧なものもあるため， $\mathrm{N}$-gram 言語モデルを用いて，言語的な文脈を用い て誤認識した文字を修正する，各文字について，認識スコアと各文字の言語スコアを合わせたスコアを 計算する。認識スコアはアンサンブル学習するそれ ぞれの文字認識モデルによって生成された，文字の 確率積である。

次に，言語スコアは日本語 Wikipedia で事前に学習された 5-gram の日本語言語モデルに基づいて認識された文字の確率積である。

3つ目の複合スコアは，認識スコアと言語スコア を線形結合したもので， $\alpha \in[0,1]$ の重みがついてい る. 複合スコアに応じて, ビーム幅 10 の文字列に 沿ったビームサーチアルゴリズムを採用し，複合ス コアの高い上位 10 個の候補が抽出されるようにす る. 本研究では最も高いスコアの候補の文字のみを 自動採点に使用する。

## 3.3 自動採点モデル

日本語で同様の短答式記述答案の自動採点を行 う舟山ら [9] や水本ら [14] の手法は，Bi-LSTM に attention を追加したものである. これらの手法で は，各採点基準やルーブリックに基づいて予測スコ アを出力する. しかし, 本研究の手法では，各採点基準のスコアを蓄積するのではなく, 全体のスコア を予測する。本研究では，日本語 wikipedia で事前学習した BERT[20] ${ }^{1)}$ をアインチューニングする

ことで，マルチラベル分類モデルを明示的に利用す る.その手順は以下の通りである（図 4）.
1. $x=\left.\{x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を，手書き文字認識によって テキストデータに変換された答案文として事前学習した BERT に入力し，その答案文に対する 予測スコア $s \in C=\{0, \ldots, N\}$ をラベルの出力 として与える。

2. BERT 全 12 層のうち, 隠れ層の最後の 4 層の [CLS] トークンのベクトルを抽出する. これら を組み合わせることで，最終層の [CLS]トー クンのベクトルのみを使用する場合と比較し て，採点精度が向上した. モデルの最適化には Adam を使用した。 バッチサイズは 16 ，エポッ ク数は 5 とした。

3. 連結した [CLS]トークンのベクトルを分類器に 入力し，予測スコア $s$ を出力する.

図 4 自動採点モデル

## 4 実験

## 4.1 解答データ

以上の条件や分類方法に基づいて 2017 年と 2018 年にそれぞれ 3 問ずつを含む 6 問の自動採点を行っ た. 答案数は，2017 年, 2018 年ともに約 6 万件であ り，表 1 に，各設問の採点の統計を示す. 設問 ID，答案数, スコア幅, 得点の平均 (土標準偏差), 許容文字数の順に示した. BERT に使用したデータを， $3: 1: 1(=60 \%: 20 \%: 20 \%)$ に分けて，トレーニ ングセット，開発セット，評価セットとした。採点精度の評価は, Quadratic Weighted Kappa (QWK) [21] を用いて行った。

## 4.2 実験結果

今回の実験では答案の文字数が比較的多く, 内容 も平易ではない。このような場合，推定精度を保証するためにはどの程度のサンプルサイズが必要 なのかを知る必要がある。そこでサンプルサイズ表 1 各設問の統計量

の大きさを $50,000 ， 10,000 ， 5,000 ， 1,000 ， 500$ と変 え，QWK がどのように変化するかを観察した．約 60,000 個のフルサイズデータを含めた結果を表 2 に 示す. 太字は最良の値を示す.

表 2 各設問の QWK

1. 設問の種類に関わらず，6つの設問すべてで精度が高く保たれている。精度が一番低い 2017 年の Q3でも，QWK は 0.86 となった.

2. 基本的には，サンプルサイズが大きいほど精度 は高くなる。つまり，精度が収束しないという 予想外の結果になった. 60,000 というサンプル サイズは，一般的なテストでは十分な大きさだ と考えられるが，予測の精度を高めるためには より多くの答案数が必要であることを示して いる.

3. 問題が簡単なほど得点率が高く, 推定精度も 高い. 2017 年，2018 年ともに Q1 が最も簡単で Q3 が最も難しい. Q1 の推定精度は Q3 の推定精度よりも高い。この傾向は得点のカテゴリ数 には依存しない。

## 5 追加実験

本研究では，採点精度への影響を 2 つの観点から 検討した. 1 つ目の観点は，手書き文字認識モデル による影響である．認識モデルの変化が全体の採点精度にどのように影響するかを調べた。2つ目の視点は，言語処理モデルによる影響である．BERT の 12 層から抽出する情報の位置を変更し，全体の採点精度にどのような影響を与えるかを検証した。

## 5.1 手書き文字認識モデルの効果検証

採点精度に与える影響を調べるために，4つの文字認識モデルをアンサンブル学習したモデルと他の 手法とを比較した. 手法は以下の通りである.

1. No LM：N-gram 言語モデルによる誤認識の補正 を行わない文字認識モデル

2. VGG のみ：アンサンブル学習を行わない単一 の文字認識モデル

3. DenseNet のみ：アンサンブル学習を行わない単一の文字認識モデル

4. Esm5: 5 つの文字認識モデルをアンサンブル学習した文字認識モデル

表 3 異なる文字認識モデルを用いた際の QWK の比較設問 ID

表 3 は，それぞれの出力結果を用いて自動採点し た結果の QWK を比較したものである. その結果，複数の文字認識モデルを用いてアンサンブル学習 を行ったものは，単一の文字認識モデルを用いたも のよりも総合的な精度が高いことが明らかとなっ た.また，言語モデルによる修正を加えたモデルの 方が，加えないモデルよりも精度が高いという結果 が出た. 加えて，アンサンブル学習のモデルの数を 増やしても精度に大きな変化はなかった. これらの 結果から，全体的な精度は言語モデルの変更と文字認識モデルの品質の両方に影響されることが判明し た. 同時に，文字認識モデルの品質向上による総合精度の向上には限界があることも判明した.

## 5.2 BERT から取得した情報の効果検証

BERT から取得した言語情報が採点精度に及ぼす 影響を調査した. BERT は全 12 層で構成されてお り，各層が異なる情報を保有することが知られてい る [22]. 具体的には入力部に近い層は形態素情報，中間部の層は構文情報, 出力部に近い層は意味情報に焦点を当てた情報を保有している。本研究では BERT を入力部に近い層, 中間部の層, 出力部に近 い層の 3 つに分け，それぞれの層での採点精度の違 いを調べた. 入力部から 1〜4 層, 5〜8 層, 9〜12 層
のベクトルを抽出する．各精度の結果を表 4 に示し た. 各問題とも 9〜12 層の情報を抽出したときに，最も高い採点精度が得られることがわかった。

表 4 情報抽出した層の部分による QWK の比較

この結果から，システムが自動採点作業を行う際 に意味的な情報を重視していることが推察される.特に，2017\#Q3 の QWK は，全設問の中で 3.0 以上 の差があり，推定精度の低下が際立っている。

## 6 おわりに

本研究では手書き文字認識モデルを用いた短答式記述問題の完全自動採点手法を検討し，大規模な全国テストでその性能を評価した.「完全」とは，人手 による採点データへの注釈付けや手書き文字の変換 が不要であることを意味している. 大学入学共通テ ストの 2 回の試行調査で実施された前例のない大量 のデータを使用し，事前学習済みの BERTを用いて 採点を行った. その結果，以下のことが分かった.

1. データが十分に大きい場合，本手法はアノテー ション作業や手書き答案のテキスト変換を行う ことなく高精度で自動採点が可能である。
2. $25 \sim 120$ 字の答案では, 50,000 件のデータサイ ズでも学習が収束しないことが多い.

3. 手書き文字認識モデルに起因する誤差があって も，現在の技術であればある程度の採点精度は 保証される。

本論文では，現在の技術水準において人手を介さ ない状態での実際の精度を報告した. 扱った問題 は，答案の文字数や難易度など様々であったが，い ずれの場合も高い精度で得点を予測することができ た.このことから，本研究の手法はこの範囲のすべ ての短答式記述問題に対して有効であり，現在の技術で短答式記述答案の自動採点を十分に行えること が示唆された．また，本研究では，手書き文字認識 モデルを短答式記述答案の自動採点で利用する手法 の有用性を示すことができた．手書き文字を使うこ とが多い教育現場での応用に向けて，新たな学習方法を設定するきっかけになると考えられる。

## 謝辞

本研究は JSPS 科研費 JP20H04300, JST A-STEP

JPMJTM20ML の助成を受けたものです.

## 参考文献

[1] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 18821891, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Fei Dong and Yue Zhang. Automatic features for essay scoring an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 10721077, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 153-162, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[5] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Chul Sung, Tejas Indulal Dhamecha, and Nirmal Mukhi. Improving short answer grading using transformer-based pre-training. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 11625 LNAI, pp. 469-481. Springer Verlag, jun 2019.

[7] Leon Camus and Anna Filighera. Investigating transformers for automatic short answer grading. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12164 LNAI, pp. 43-48. Springer, 2020.

[8] Jiaqi Lun, Jia Zhu, Yong Tang, and Min Yang. Multiple data augmentation strategies for improving performance on automatic short answer scoring. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 13389-13396, Apr. 2020.

[9] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[10] Brian Riordan, Sarah Bichler, Allison Bradford, Jennifer King Chen, Korah Wiley, Libby Gerard, and Marcia C. Linn. An empirical investigation of neural methods for content scoring of science explanations. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 135-144, Seattle, WA, USA Online, July 2020. Association for Computational Linguistics.

[11] Masaki Uto and Yuto Uchida. Automated short-answer grading using deep neural networks and item response theory. In Lecture Notes in Computer Science (including subseries Lecture
Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12164 LNAI, pp. 334-339. Springer, jul 2020.

[12] Masaki Uto and Masashi Okano. Robust neural automated essay scoring using item response theory. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12163 LNAI, pp. 549-561. Springer, jul 2020.

[13] Zhaohui Li, Yajur Tomar, and Rebecca J. Passonneau. A semantic feature-wise transformation relation network for automatic short answer grading. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 60306040, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[15] Taiichi Saito, Hakuzo Yamada, and Kazuhiko Yamamoto. On the database ETL9 of handprinted characters in jis chinese characters and its analysis. Trans IECE Jpn, Vol. J68-D, No. 4, pp. 757-764, 1985.

[16] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[17] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016

[19] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500, 2017.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[21] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 7, No. 4, pp. 213-220, 1968.

[22] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.


# 記述式答案自動採点における確信度推定とその役割

舟山弘晃 ${ }^{1,2}$ 佐藤汰亮 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{3,2}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所 3 フューチャー株式会社
\{h.funa, tasuku.sato.p6\}@dc.tohoku.ac.jp
$\{y . m$, inui, jun.suzuki\}@tohoku.ac.jp t.mizumoto.yb@future.co.jp

## 概要

記述式答案の自動採点は，教育現場における採点 コストの低減や公平な採点の実現を目指して研究が 行われてきたが，自動採点システムの採点誤りへの 懸念が教育現場での盛んな実運用を妨げている. 本研究では，自動採点システムの信頼性の担保を目指 し，予測の信頼性を表す確信度を導入することで自動採点モデルによる採点誤りを所望の範囲内に抑え るためのタスク設計を提示する。複数の確信度推定手法をテストケースとして前述のタスク設計に基づ き実験を行い，目標値の採点誤りの範囲内で自動採点できる可能性を示した.

## 1 はじめに

記述式問題の自動採点は，事前に人手で作成され た採点基準について，入力された文章が採点基準を 満たしているか評価し点数として出力するタスクで ある。主に，大規模な試験において公平かつ低コス 卜な採点を提供するための採点支援や，教育現場に おける学習支援を目的として古くから研究されて きた $[1,2,3,4]$. 深層学習に基づく自動採点モデル の登場により，近年自動採点システムの性能が向上 しており $[3,4,5]$, 教育現場での応用への機運が高 まっている.

一方で，自動採点システムによる採点誤りの可能性を完全に取り除くことはできない。さらに，その ような採点誤りは学習の妨げになる可能性が指摘さ れている [6]. 舟山ら [7] はこの問題に対して, 許容 できないような致命的な採点誤り (CSE) という概念を導入し，予測の信頼性を表す確信度を用いて信頼性の低い予測をフィルタリングし，CSEをできる 限り取り除ける範囲で自動採点を行い，残りの答案 に対する採点は人が行う事を想定し自動採点タスク の再設計を行った.

本研究では，自動採点システムと人間の系におい
て目標の採点精度を実現するという観点から舟山 ら [7] のタスク設計を一般の採点誤りに拡張した枠組みを提示する．実験では，この枠組みの下で所望 の採点誤りの範囲内に抑えつつ自動採点を実現可能 かどうか，テストケースとして複数の確信度推定手法を用いてシュミレーションを行った。その結果，目標採点誤差の設定によっては採点誤りの範囲内で 自動採点ができる可能性を示した。

## 2 確信度を用いた自動採点タスク

自動採点システムの教育現場における実運用に向 けて，その採点品質を担保することは重要な課題で ある。この課題の解決に向けて，我々は新たな確信度を用いた自動採点のスキームとその評価法を提示 する. 図 1 にその概要を示す.このスキームでは， それぞれの問題や自動採点を導入する教育現場の要請から事前に定められる採点誤差の許容限界があ り，このためにシステムによる誤差が一定値を超え るようであればその部分は人手で採点する，という 考え方を採用する。そこで，自動採点結果のフィル タリングを行う現実的な手順として，自動採点シス テムの採点誤差を特定の目標值 $e$ 以下に抑えること ができる閾値 $\tau$ を開発データで推定し，その閾値を 用いて未知の答案に対して自動採点と人手採点の振 り分けを行う。

記述式答案の自動採点 まず，記述式答案の自動採点について説明する。本研究では，得点を得るた めに答案が含むべき情報が明確に定義されるよう な問題を扱う (Short Answer Scoring: SAS)。各問題に 対して予め配点 $N$ とその採点基準が与えられてお り，採点作業は，生徒が記述した答案に対してこの 採点基準に従い自然数の点数を付与すものである. このため，自動採点タスクは，配点 $N$ が定められ ているそれそれの問題に対し，入力の答案 $\mathbf{x}=\left.\{x_{1}\right.$ $\left., x_{2}, \ldots, x_{n}\right.\}$ を受け取って答案の点数 $\hat{s} \in S=\{0$ $N\}$ を出力するタスクとして定式化される.

図 1 確信度を用いた自動採点タスクの概要

確信度の導入 ある訓練済みの採点モデル $m$ に 関して，このモデルが入力 $\mathbf{x}$ に対し得点 $\hat{s}$ を予測し たときの確信度を求める手法 conf があり，この確信度を次のように書くこととする。

$
C_{\text {conf }}(\mathbf{x}, \hat{s} ; m)
$

今, $l$ 個のユニークな採点対象の答案 $\left.\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{l}\right.\}$ が あり，与えられた答案全てに対する採点結果を $P=\left.\{\left(\mathbf{x}_{i}, \hat{s}_{i}\right)\right.\}_{i=1}^{l}$ とするとき, このうちの信頼できる 採点結果 $P_{r} \subseteq P$ を次のように求める.

$
P_{r}=\{(\mathbf{x}, \hat{s}) \in P \mid C(\mathbf{x}, \hat{s}) \geq \tau\}
$

ここで， $\tau$ はフィルタリングに用いる確信度の閾値である. 本研究では，フィルタリングの結果，採点結果が信頼できないと判断された答案の集合 $\bar{P}_{r}=\left.\{p \in P \mid p \notin P_{r}\right.\}$ は十分に訓練された人間が改め て採点することとし，その採点結果には一切の間違 いがない理想的な状況を仮定する． $\bar{P}_{r}$ に対し，人間 の採点者が改めて採点した結果を $P_{h}$ で表す. 最終的に，確信度を用いて自動採点と人手採点を振り分 けて得られる採点結果 $P_{f}$ は $P_{r} \cup P_{h}$ と表せる.

閾値の推定とフィルタリング 与えられた許容可能な採点誤差 $e$ に対し, 開発データに対する採点結果 $P^{\operatorname{dev}}$ を用いて確信度の閾値 $\tau$ を以下のように求 める.

$
\begin{array}{ll}
\underset{\tau}{\operatorname{maximize}} & \left|P_{r}^{\mathrm{dev}}\right| \\
\text { subject to } & \operatorname{Err}\left(P_{f}^{\mathrm{dev}}\right) \leq e
\end{array}
$

ただし, $\operatorname{Err}\left(P_{r}^{\operatorname{dev}}\right)$ は $P_{r}^{\operatorname{dev}}=\left.\{(\mathbf{x}, \hat{s}) \in P^{\operatorname{dev}} \mid C(\mathbf{x}, \hat{s}) \geq \tau\right.\}$内で発生する採点誤差の総和を表す. 次に, 開発 データにおいて求めた $\tau$ を用いてテストセットの フィルタリングを行う。

$
P_{r}^{\text {test }}=\left.\{(\mathbf{x}, \hat{s}) \in P^{\text {test }} \mid C(\mathbf{x}, \hat{s}) \geq \tau\right.\}
$

評価フィルタリングの結果得られる $\left|P_{r}^{\text {test }}\right| /\left|P_{f}^{\text {test }}\right|$ が自動採点可能な答案の割合（自動採点網羅率）を表し， $\operatorname{Err}\left(P_{f}^{\text {test }}\right)$ が答案全体の採点誤差を表す。実験では，答案全体の採点誤差を目標誤差以下に抑えることが可能か，目標値を達成し た時の自動採点網羅率はどれくらいか，という 2 点 から評価を行う。

## 3 実験

本研究では，2 節で提示した枠組みにのっとり実験を行い，一般的な採点モデル，確信度推定手法の 下で実現可能な採点品質を明らかにするとともに今後の課題を議論する。

## 3.1 採点モデル

本研究では BERT [8] をべースとした分類モデル を用いる。モデルはまず，入力答案 $\mathbf{x}$ をエンコー ダー enc (.) によって特徴表現 $\mathbf{h} \in \mathbb{R}^{d_{h}}$ に変換する.

$
\mathbf{h}=\operatorname{enc}(\mathbf{x})
$

本研究では, enc(x) の出力として $\mathbf{x}$ を BERT [8] に 入力した際に CLS トークンに付与されるベクトル を採用した。ここで $d_{h}$ は CLS トークンのベクトル の次元数である. その後，得点 $\hat{s}$ を次式により得る.

$
\begin{aligned}
p(s \mid \mathbf{x}) & =\operatorname{softmax}(W \mathbf{h}+b) \\
\hat{s} & =\underset{s \in S}{\operatorname{argmax}} p(s \mid \mathbf{x})
\end{aligned}
$

## 3.2 確信度推定手法

確信度推定手法として以下の 3 つをテストケース として考える。

予測確率 本研究で用いる分類モデルにおいて確信度を推定する最も素朴な方法としては，（6）式で 計算される予測確率（Posterior）の值を確信度とし て考えることができる.

$
C_{\text {prob }}(\mathbf{x}, \hat{s})=\max _{s} p(s \mid \mathbf{x})
$

図 2 代々木ゼミナール国語長文読解データセットより答案及び採点基準の例

Trust score 舟山ら [7] は記述式答案自動採点に おける確信度の推定において Jiang らが提唱した trust score [9] を用い，一部の問題でその確信度と しての信頼性が予測確率を用いる場合を上回るこ とを示した。本研究でも trust score を確信度推定手法の一つとして考える. 本研究では trust score を 次のように算出する. まず，予め学習データ $\left.\{\left(\mathbf{x}_{1}\right.\right.$ ,$\left.\left.s_{1}\right), \ldots,\left(\mathbf{x}_{k}, s_{k}\right)\right.\}$ をそれぞれ自動採点モデルに 入力し，各入力に対応する特徴表現の集合 $H=\left.\{\mathbf{h}_{1}\right.$ $\left., \ldots, \mathbf{h}_{k}\right.\}$ を得ておく. さらに，これらを得点ラべ ル $s$ ごとにクラスタ $H_{s}=\left.\{\mathbf{h}_{i} \in H \mid s_{i}=s\right.\}$ として保持 しておく，その上で，未知の入力 $\mathrm{x}$ に対し，その特徵表現 $\mathbf{h}$ と予測得点 $\hat{s}$ を得る. この採点結果 $(\mathbf{x}, \hat{s})$ に関する trust score $: C_{\text {trust }}(\mathbf{x}, \hat{s} ; m, H)$ は以下を式で 算出する.

$
C_{\text {trust }}(\mathbf{x}, \hat{s} ; m, H)=\frac{d_{c}(\mathbf{x}, H)}{d_{p}(\mathbf{x}, H)+d_{c}(\mathbf{x}, H)}
$

ただし,

$
\begin{aligned}
& d_{p}(\mathbf{x}, H)=\min _{\mathbf{h}^{\prime} \in H_{\hat{s}}} d\left(\mathbf{h}, \mathbf{h}^{\prime}\right), \\
& d_{c}(\mathbf{x}, H)=\min _{\mathbf{h}^{\prime} \in\left(H \backslash H_{\hat{s}}\right)} d\left(\mathbf{h}, \mathbf{h}^{\prime}\right),
\end{aligned}
$

を表す。また，閾值を用いたフィルタリング時に扱 いやすいように，値を 0 から 1 の範囲に正規化する 目的で新たに分母に $d_{c}$ を加えている. 正規化して も事例間での確信度の大小関係は保持されるため フィルタリングの手順への影響はない.

ガウス過程回帰 一般に記述式答案の自動採点は 分類問題及び回帰問題の両方の設定で解くことが可能だが，回帰モデルを用いた場合の方がより高い精度で採点可能であることが示されている $[10,5]$. そ こで，本研究では確信度を推定可能な回帰モデルの 例としてガウス過程回帰 [11]を用いる。本研究では実装として GPytorch [12] ${ }^{1)}$ を用い，3.1 節の分類モデ ルを学習後，そのエンコーダーが出力する特徴表現 を用いてガウス過程回帰 $f$ の学習を行った. 未知の 入力 $\mathbf{x}$ に対して，この新たな自動採点モデルの予測得点 $\hat{s}$ の確信度 $C_{\mathrm{gp}}$ は， $\mathbf{x}$ に対する特徴表現 $\mathbf{h}$ を用 いて次のように書ける.

$
\begin{aligned}
\hat{s} & =\mathbb{E}[f(\mathbf{h}) \mid H, S], \\
C_{\mathrm{gp}} & =-\operatorname{Var}[f(\mathbf{h}) \mid H, S]
\end{aligned}
$

ただし， $H$ は学習データを 5 式に入力して得られた 特徴表現の集合， $S$ はその得点の集合である.

## 3.3 データセット

本研究では，我々が国立情報学研究所（NII）にて 公開している代々木ゼミナールの国語長文読解問題 データセットを用いる2).このデータセットは，各受験者の答案文と採点者によって付与された点数 のペアのデータで構成される. 図 2 に本研究で対象 とする記述問題の具体例を示す. 本データセットで は, 各問題に対して複数の採点項目が存在し, 各項目はそれぞれの採点項目に基づいて独立に人手で 採点が行われ, 項目点が付与されている. 例えば,図 2 では, A, B，C，Dの4つの採点項目が存在し, それぞれ 2 点， 2 点， 3 点， 3 点が項目点として付与されている。本実験ではこれらの採点項目をそれ ぞれ独立の問題として扱い，各項目ごとに 3.1 節で 述べた採点モデルを訓練し，点数を予測し評価を行 う. 本研究では 2022 年 1 月時点の版として公開さ れている 12 問（計 37 項目）を用いた.

## 3.4 実験設定

3.1 節で述べたように，自動採点モデルのエン コーダーとして事前学習済み BERT [8] を使用し, CLS トークンに付与される値を答案の特徴べクトル として採用した ${ }^{3)}$. 参考のため実験で使用したモデ ルの採点精度を付録 $\mathrm{A}$ に示す。データは学習用，テ スト用としてそれぞれ 250 件，250 件に分割を行っ た。学習用データは更に 5 分割を行い 4 セットを訓練用データ (200 件)，1セットを開発用データ（50 件）とし，学習用のデータを 5 セット作成した. 学習に用いたハイパーパラメーターの詳細は付録 B に 示す.また，採点誤差を表す関数 Err として，Root

表 1 Posterior (Post.)，Trustscore（Trust.)，ガウス過程回帰（GP）のそれぞれについて，評価セットで目標値の Root Mean Square Error (RMSE) を達成できるような確信度の閾値を推定し，テストセットのフィルタリングを行った時の RMSE（上段）と自動採点網羅率 [\%]（下段）の変化. 値は全問題の平均値を表し，土記号は全問題の標準偏差を表す.

Mean Square Error (RMSE) を採用する．また，少量 の開発セットの下で，実験結果を安定させるために 開発用データ 5 セットを統合した 250 件のデータを 用いて閾値を推定した (付録 C).

## 3.5 結果

この実験では 2 節で述べた手順によって，目標と する採点精度を達成できるような確信度の閾値 $\tau$ を 検証セットから推定し，その閾値を用いてテスト セットに対する予測のフィルタリングを行う．実験 では，フィルタリングを行った時に自動採点を行っ た答案の割合（自動採点網羅率）と，人手採点に一切間違いがなかったと仮定した時の全体の採点精度を求めた. 結果は表 1 である. 目標とする採点精度が非常に高い時（ $0.00 \sim 0.02 ）$ は，確信度による フィルタリングによって採点誤りを取り除き目標と する採点品質を安定的に実現することは困難である ことが示された. 一方，許容可能な採点誤差をさら に緩く設定すると (0.04～)，検証セットで決めた閾值を用いてフィルタリングを行うことで目標の採点精度を実現することが可能であることが示唆さ れる．また，いずれの手法も，同目標誤差の下での フィルタリング後の RMSE の值はおおむね同程度で あるが，手法間で自動採点網羅率には大きな差があ ることが読み取れる。また，採点誤差および自動採点網羅率ともに標準偏差の值は大きく, 問題ごとに 結果に差があることが示されている.

## 3.6 議論

実験では一定量の学習データを用いてモデルを訓練し，推論結果のうち信頼性の低かった答案を人が 採点することを想定した. しかし，現実の採点現場 においては採点にかけられるコストは一定であるた
め，学習用データの人手採点コストと信頼性の低い 答案の人手採点コストはトレードオフの関係にあ る. すなわち，学習データを増やすとモデルの採点精度は向上し，各得点予測に対する信頼性は全般に 向上するが，一方で低信頼度の答案の採点にかけら れるコストはその分減少するためより多くの答案を 自動採点しなければならない。このように人を含め た系における全体の採点品質を最大化しつつ採点コ ストを最小化するためには，学習用データの作成に かかる採点コストと，信頼性の低い答案の採点にか けるコストのバランスを最適化する必要がある. こ の問題の解決に向けて，今後はアクティブラーニン グの導入による human-in-the-loop 型の自動採点を想定することで学習データの作成コストと低信頼予測 の再採点コストを動的に決定する方法の構築を進め ていくことを予定している。

## 4 おわりに

近年，自動採点システムの採点精度は大きく向上 しているが，教育現場へのさらなる応用を進めるた めには信頼性の向上が不可欠である. 本研究では,舟山ら [7] が提示した確信度を用いた自動採点タス クを拡張し，所望の採点誤りの範囲内で自動採点を 行う枠組みを提示することで，採点システムの信頼性の向上に取り組んだ．実験では，既存の確信度推定手法と自動採点モデルを組み合わせることで，目標値の範囲内に採点誤りを抑えつつ自動採点を行え る可能性を示した. 今後は，アクティブラーニング の活用により学習データの採点コストと信頼性の低 い答案の採点コストのバランスを最適化すること で，自動採点システムのさらなる信頼性の向上を図 りつつ採点コストの最小化を目指す。

## 謝辞

本研究は，科研費 JP19K12112 の助成を受けたも

のです.また，実際の模試データを提供していただ いた学校法人高宮学園代々木ゼミナールに感謝し ます.

## 参考文献

[1] Peter Foltz, Darrell Laham, and T. Landauer. The Intelligent Essay Assessor: Applications to Educational Technology. Interactive Multimedia Electronic Journal of Computer-Enhanced Learning, Vol. 1, No. 2, pp. 939944, 1999.

[2] Yigal Attali and Jill Burstein. Automated Essay Scoring with E-rater v.2.0. Journal of Technology, Learning, and Assessment, Vol. 4, No. 3, p. 31, 2006.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[4] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, November 2016.

[5] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, 2017.

[6] Oleg Sychev, Anton Anikin, and Artem Prokudin. Automatic grading and hinting in open-ended text questions. Cognitive Systems Research, Vol. 59, pp. 264-272, 2020.

[7] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, June 2019.

[9] Heinrich Jiang, Been Kim, Melody Y. Guan, and Maya R. Gupta. To Trust Or Not To Trust A Classifier. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, Proceedings of Advances in Neural Information Processing Systems 31, pp. 5546-5557, 2018.
[10] Stig Johan Berggren, Taraka Rama, and Lilja Øvrelid. Regression or classification? automated essay scoring for Norwegian. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 92-102, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Carl Edward Rasmussen. Gaussian Processes in Machine Learning, pp. 63-71. Springer Berlin Heidelberg, Berlin, Heidelberg, 2004.

[12] Jacob R. Gardner, Geoff Pleiss, David Bindel, Kilian Q. Weinberger, and Andrew Gordon Wilson. Gpytorch: Blackbox matrix-matrix gaussian process inference with gpu acceleration, 2021.

## A 実験に用いたモデルの採点精度

実験に用いた自動採点モデルの Quadratic Weighted Kappa (QWK) と RMSE を示す. 值は各問題ごとに， その問題の全項目を平均したものを示す.

表 2 分類モデルとガウス過程回帰の $\mathrm{QWK}$

表 3 分類モデルとガウス過程回帰の RMSE

表 4 分類モデル学習に用いたハイパーパラメータ

表 5 ガウス過程回帰の学習に用いたハイパーパラメータ 学習率 $1.00 \mathrm{E}-01$

最大エポック数 30

## C 少量データにおける閾値の推定

2 節で述べたように，開発セットを用いて閾値の 推定を行う必要がある. 開発セットのサイズが大き いほど安定的に閾値を決めることが可能であると考 えられるが，答案の採点コストを考えると実際の教育現場において開発セットに用いることができる データの量は多くはないことが想定される．本実験 においても，各 50 件開発証データから目標を達成 するための閾値を安定的に推定することは難しい. そこで，本害験では検証用データ 5 セットを統合し 250 件としたものを用いて閾值の推定を行った. そ の間値を用いて各 5 セットの学習データで訓練した モデルのテストデータに対する採点結果のフィルタ リングを行った.

## B ハイパーパラメータ

分類モデルとガウス過程回帰の学習に用いたハイ パーパラメータは次の通りである.


# 絵本の言語分析 :
## ブックスタート・セカンドブック事業の対象書籍の比較を通して

\author{
近藤 可奈子 ${ }^{1}$ 内田 諭 $^{2}$ \\ ${ }^{1}$ 九州大学共創学部 ${ }^{2}$ 九州大学大学院言語文化研究院 \\ kondo.kanako.545@s.kyushu-u.ac.jp, uchida@flc.kyushu-u.ac.jp
}

## 概要

本研究の目的は, 幼児のいる家庭での読書習慣の 形成を目的としたブックスタート事業とセカンドブ ック事業で配布対象となっている絵本における出現語彙の違いを明らかにすることである.ひらがなテ キストの形態素解析として, 精度比較の結果, GiNZA (ver. 5.1.0)を用いることで，スペースありの 絵本の原文テキストについてカタカナ語の前処理を することで, 単語区切りで $96.1 \%$, 品詞付与で $94.0 \%$ の精度が見込まれるため，これを利用することとし た. 語彙分析の結果, ブックスタート事業の対象絵本では, 身体的な表現や具体性の高い表現が多いこ とが明らかとなり, セカンドブック事業の対象絵本 では，思考に関わる表現や時間把握などに関わるよ り認知的に高度な表現が多く出現することが明らか となった。

## 1 はじめに

OECD（経済協力開発機構）が 2018 年に実施した PISA（国際学習到達度調查）において, 日本の読解力は 15 位となり, 前調査年度の 8 位から大幅に下落 した. 日本児童の読解力低下は国内でも問題となっ ており, その原因の一つは読書量の減少だとする主張もあり, 2018 年度の調査では, 読書習慣のある生徒の方が読解力を測る問題における平均点が高いこ とも明らかにされた（『産経新聞』2019 年 12 月 3 日の記事より）.子どもの読書離れは以前から問題視されており, その懸念を背景に 2001 年「子どもの 読書活動の推進に関する法律」が制定され, 基本理念や国・地方公共団体の責務が明示された。

このような状況を背景に, 幼児のいる家庭での読書習慣を促進することを目的として絵本を対象者に 配布する「ブックスタート事業」や「セカンドブッ ク事業」が各自治体で開始された.これらの事業は地方自治体の単位で行われ，選定される絵本は地域 によって異なる。そのため, どのような絵本がどの ような基準で選ばれているかは明らかではない。そ こで本研究では, これらの事業の配布対象となって いる書籍のリストを収集し，語彙分析をすることで その特徴を示す. これにより, 特にマスターリスト が存在しないセカンドブック事業（後述）における 絵本の選定に貢献することを目指す。

自然言語処理分野における絵本の分析は, ひらが なの形態素解析精度の向上の研究 $[1,2]$ や, 自然言語処理技術を応用した絵本推奨システムの開発[3], 対象年齢の推定[4]などが行われている. 本稿では特に ひらがなの形態素解析について最新の日本語 NLP ライブラリである GiNZA[cf. 5]と, MeCab べースの Python ライブラリである janome を用いて精度比較 を実施する。

## 2 絵本普及のための事業の概要

## 2.1 ブックスタート事業

子どもの読書習慣向上を目指した活動は数多く実施されているが，主に各自治体や公共図書館が主体 となって実施する「ブックスタート事業」もその一 つである.ブックスタートとは，各自治体において 乳幼児とその保護者を対象に絵本や読み聞かせ体験 などをプレゼントする事業で, 1992 年に Share books with your baby!というキャッチフレーズのもと,イギ リス・バーミンガム市で始まった。日本では「子ど も読書年」である 2000 年にその活動が紹介されたの をきっかけに, 2001 年に本格的な実施へと踏み出し た. 現在は NPO ブックスタートの支援により, 全国 1,087 (2021 年 12 月 31 日現在) の市区町村自治体の 公的事業として実施されている. 森ら（2011）は,

7 年間ブックスタート事業に取り組んでいる自治体 と未だ取り組んでいない自治体において，小学 1 年生の子どもを持つ保護者を対象にアンケート調査を 行った. 当調査により,「子どもの読書習慣が高ま る，子どものさまざまな本への興味が高まる，（中略）保護者の図書館利用頻度が高まる,（中略）保護者による読み聞かせが多くなる」等の結果が得ら れ, ブックスタート事業は子どもの読書習慣や保護者の行動へ影響を与えることが示された[6].

## 2.2 セカンドブック事業

ブックスタートのフォローアップ事業として行わ れているのが「セカンドブック事業」である．対象年齢が 0 歳览とされるブックスタートに対し, セカ ンドブックは大多数の自治体で 3 歳前後もしくは小学 1 年生とされる. 前者は先述の通り 1,000 以上の 自治体が実施している一方で, 後者は 176 の自治体 でしか行われていないのが現状である（NPOブック スタートの資料より）．第一の要因は，セカンドブ ックの実施にかかる絵本の費用や事業運営を行うた めのスタッフの人件費等であると考えられる.また， ブックスタートに関しては, NPOブックスタートが 三年毎に開く「絵本選考会議」において選ばれた 30 冊の絵本が対象リストとして公開されるが，セカン ドブックに同様のものは存在せず，事業の普及の障壁になっていると考えられる。

## 3 ひらがな文章の形態素解析

## 3.1 絵本の形態素解析に関する先行研究

絵本のテキストの大部分はひらがなで構成され, また単語や文節区切りで空白を含むという点で特殊 である. 藤田ら(2014)は絵本と一般コーパスを比較 した場合, 前者では $74.5 \%$ がひらがな, $7.8 \%$ が空白 であったのに対し，一般コーパスである BCCWJで はそれぞれ 49.2\%, 1.3\%であることを示している[2]. これまで言語モデルを用いた形態素解析の手法[1] や空白区切りや句読点, ひらがな化したデータ, さ らに絵本そのもののデータを学習に使う手法などが 提案され[2], 精度の向上を報告している. さらに,絵本の分析の課題として, 表記の摇孔[3], 固有名詞 の扱い[2]などの問題が指摘され, 数量的な分析の基礎となる形態素解析での課題が多い。

本稿は，形態素解析の精度向上を目的としたもの ではなく, ブックスタート事業およびセカンドブッ
ク事業で用いられている絵本の言語的特徴を明らか にすることを目的としているため，これらの点には 深く立ち入らず, 既存の形態素解析プログラムの精度を比較した上で, 最もパフォーマンスが良いもの を利用して分析を進める。

## 3.2 分析精度の比較

既存の形態素解析プログラムで精度が高いものを 利用するため, Python の NLP ライブラリである GiNZA (ver. 5.1.0)と janome(ver. 0.4.1)を用いて精度比較を実施する．形態素解析の実行環境は Google Colaboratory を利用する. GiNZA のフレームワーク として spaCy (ver. 3.2.1)を利用し, 辞書として ja-ginza-electra (GiNZA ver. 5.1.0)を指定した。また， janome は mecab-ipadic-2.7.0 を内包している.

## 3.2.1 評価データ・評価方法

評価データは後述する自作の絵本コーパスからラ ンダムに 10 冊（コーパス全体の約 $10 \%$ あたる 8,515 文字分のデータ）を選定したものを利用し, 絵本のテキストに含まれる空白の有無（例：「11ぴき ののら衩こが いました」vs「11ぴきののらねこ がいました」）の影響についても調查した。「単語区切り」と「品詞付与」について, GiNZA の分析結果を基本として人手で確認した（判断に迷う部分は 筆者らで合議して決定した）。ただし, 形態素解析器のポリシーによる違いによって生じる差異につい ては吸収できる形でアノテーションした。例えば，

「おさとう」は GiNZA では「お（接頭辞）＋さと う (名詞) 」, janome では「お（接頭詞）+さとう (名詞)」となり「お」の品詞が異なるが，どちら も正答として扱った。また，「とびかかろう」は GiNZA では「とびかからう（動詞）」，janome では

語区切りが異なるが，これらはそれぞれのプログラ ムで一貫して用いられる区切りであるため, どちら の場合も正答として扱った. なお, GiNZA の出力に は pos と tag があるが, 品詞の照合に際してはより 詳細な情報が得られる $\operatorname{tag}$ の最初の区分を利用した。例えば，「名詞-普通名詞—一般」が解析結果であつ た場合，最初の区分である「名詞」を照合対象とし た.

## 3.2.2 評価結果

スペースあり（絵本の原文のまま）とスペースなし （原文データからスペースを一括削除）のそれぞれ について, GiNZA, janome の精度評価結果を表 1 に 示す.

表 1 形態素解析の精度比較

検証の結果, 単語区切り・品詞付与どちらの場合も GiNZAを用いて絵本の原文のままスペースありで 形態素解析を実施したものが最も精度が高い結果と なった ${ }^{\text {ii. }}$ GiNZA の場合, スペースなしの場合でも スペースありの場合と遜色のない結果となったこと は特筆に値するだろう。なお, spaCy の辞書で ja-core-news-sm (3.2.0)を指定した場合, 複合動詞 (例: かけ+こむ) や複合語（例：お十かあさん） の区切りが細かくなるという点を除いて結果は同一 であったが, 語彙分析に際しては複合形式を単一単位として扱うほうが望ましいため, 本稿の分析では 辞書としてja-ginza-electra を利用する.

## 3.3 ひらがな解析の精度向上の手法提案

絵本のテキストの分析精度を上げる手法として，藤田ら(2014）は固有名詞（例：「ぐり」，「ぐら」 など）を辞書に登録することで精度の向上が図れる と提案している。これに加えて, 本稿では「リュッ クサック」,「ボール」などのカタカナ語を, 事前 に辞書を用いて，ひらがなからカタカナに変換する 前処理を提案する。評価データを観察すると，この ようなカタカナ語の誤分析が多い. 例えば, 「べっ どのうえでかすてらをたべた」という文は，「べっ (名詞) どの（連体詞）うえ（名詞）でか寸（動詞）てら（名詞）を（助詞）たべ（動詞） た（助動詞）」のように誤分析されるが，「ベッドのうえ でカステラをたべた」とカタカナにすると「ベッド

(名詞) の（助詞） うえ（名詞）で（助詞）力 ステラ (名詞) を（助詞） たべ（動詞） た（助動詞）」と正しく分析される。本稿のデータではカタ カナ語の変換を実施した場合, GiNZAを用いると単語区切りで $96.1 \%$, 品詞付与で $94.0 \%$ まで精度が向上した.

## 4 特徴語の分析

## 4.1 データセット

ブックスタート事業, セカンドブック事業の対象絵本の特徴を明らかにするために，全国で配布され ている絵本のリストをインターネットおよび図書館等への問い合わせによって入手し，採用件数を集計 した. 最終的に，ブックスタート事業を実施してい る 24 自治体，セカンドブック事業を実施している 30 自治体のリストを集約し，いずれも 3 地域以上で 掲載されているものを分析の対象とした.その結果，「ブックスタート絵本コーパス」として 25 冊 $(4,345$文字），「セカンドブック絵本コーパス」として 29 冊（80,884 文字）が対象となった. これらの絵本の テキスト情報を手入力で入力し，テキストファイル として保存した. 3 節での実験結果を受けて, 絵本 のスペースありデータ（原文のまま）をGiNZA で 解析し, 品詞ごとに出現語彙を集計した.

## 4.2 高頻度語・特徵語の抽出

平ら(2012)は絵本の高頻度語を分析し, ランダム に売れ筋の絵本を選択した場合のカバー率 (20 冊程度で上位 1,000 語, 150 冊程度で上位 2,000 語をカバ 一) や, ウェブ日誌法のテキストデータと比較して 幼肾語（まんま，ねんねなど）の出現率が低いこと などを示している[7]. 一方, 対象年齢別の語彙の違 いやその特徴までは論じていない. 以下では, 0 歳览向けの絵本が多く含まれるブックスタート絵本コ 一パスと 3 歳 6 歳监向けの絵本が多く含まれるセ カンドブック絵本コーパスの高頻度語および特徴語 を抽出し，その違いについて考察する。高頻度語は ブックスタート絵本コーパスでは頻度 5 以上（形容詞は 3 以上），セカンドブック絵本コーパスでは頻度 30 以上（形容詞は頻度 20 以上）のものを抜き出 した（ただし，誤解析と思われるものは省く）。ま た, 特徴語の抽出にあたっては Python の SciPy (ver.

1.4.1)を利用して $\chi$ 二乗検定を実施し， $p<=0.05$ のも のを特徴語として認定した（*で記す）。

## 4.3 ブックスタート絵本コーパスの特徴語

ブックスタート絵本コーパスで出現する名詞の高頻度語および特徴語は以下の通りである。

【名詞】おかあさん(24)*，あかちゃん(21)*，こども(11)*，お く(11)*, くつ(10), かお(9)*, ぱん(9)*, こんど(8)*, なか(7), おとうさん(7)，数こ(6)，おなか(6)*，みち(6)*，たまご(6)*，か くれんぼ(6), いぬ(5), みんな(5), うさぎ(5), ぞう(5), ふわふ わ(5), てんてん(5), ぱっぱ(5)

「おかあさん」「あかちゃん」「おとうさん」など，乳児が日常生活において頻繁に語りかけられると考 えられる名詞や「かお」「おなか」など身体部を指 す名詞が上位にある. 小椋・綿巻（1999）は，日本 の幼览の早期表出語彙 50 語において, 普通名詞では 身体部分を示す語が最多であるという結果を示して おり, 絵本での高頻度語はこの観察と符合する[8].

【動詞】いる $(28)^{*}$, くる $(17)^{*}$, でる $(7)^{*}$, はこぶ(7)*, こぼす $(7)^{*}$, よぶ $(6)^{*}$, くっつく(6)*，にげる $(6)^{*}$ ，のせる $(5)^{*}$ ，あける (5)*

また，動詞では「くる」「でる」「はこぶ」など移動を表すものや具体的な動作を示すものが多い.

【形容詞】いい(17)*, おいしい(8)*, いろいろ(4)*, おおきい(3), きれい(3)*

形容詞については, 「いい」「おいしい」「きれい」 など肯定的な語が上位に複数含まれる.

【副詞】きゅっ(12)*, よく(10)*, どうぞ(10)*, ぎゅう $(8)^{*}$, ぴ 上ーん(8)*, わん(6)*, また(5), びり(5)*

副詞として分析された語をみると，「きゅつ」「ぎ ゅう」「ぴょーん」「わん」など擬音語が頻繁に見 られる。

## 4.4 セカンドブック絵本コーパスの特徴語

次にセカンドブック絵本コーパスの高頻度語およ び特徴語について品詞別に考察する。

【名詞】こと(155)*, ライオン(81)*, かえる(79)*, ところ(66)*,
うち(63)*, もの(62)*, さま(55), とき(53), 中(52), わに(51),
こえ(50),おうち(48), ねこ(48), 川(48), オオカミ(45), しつぽ
(42), はなし(42), め(40), き(39), どうぶつ(39), なか(39), ひ
と(39), まえ(39), りゅう(39), ベッド(39),つぎ(38), ホネ(38),
とら(37), もも(35), こども(31), しま(31)

名詞では「オオカミ」「りゅう」「とら」など,一般的な日常生活においては身近な存在でない動物を表す名詞が上位に多く含まれる.また，「もの」「と き」など抽象的な名詞も上位にある。絵本の対象年齢が上がるため, 子どもたちが想像できる範囲がよ り拡大されることが理由であると考えられる.また，「中」，「川」など簡単な漢字の単語も含まれてい る.

【動詞】いう(401)*, いる(363), くる(257), 寸る(256), なる(230), ある(180)，いく(140)，みる(131)，やる(107)，しまう(99)，おも う(73), たべる(66), くれる(56), きく(53), わかる(52), つく(47), あるく(40), だす(40)，かける(38)，でる(38)，はじめる(38)，み える (34)，できる(33)，まつ(32)，もつ(32)

「いる」「なる」「ある」など抽象的な状態動詞や 「みる」「おもう」などの感覚・思考動詞が頻繁に 見られることがわかる. O’Grady(2005)は，子どもの 発話において最も頻繁に出現するのは「走る」「遊 ぶ」「乗る」などの行為に関する動詞で，「思う」

「信じる」などの感覚的な動詞は子どもにとって習得が難しいものとして位置づけており [9], これらの 絵本は子どもの認知的な成長につながるよいインプ ットとなることが示唆される.

【形容詞】いい(80), ない(67), ちいさい(66), おおきな(50), おおきい(29), 大きい (25), くろい(24), ながい(23), うまい(22),大きな(20), すごい(19), はやい(18)

形容詞は特徴語と認定されるものはなかったが, ブ ックスタート絵本コーパスと比較して, 次元や色彩,味覚, 速度など様々な属性を表す語が観察された。

【副詞】もう(82)*, そう(59)*, どう(50), まだ(36), とても(34), みんな(33)，また(30), すこし(29), こう(25), 寸゙っと(24)

副詞では「とても」「すこし」など程度を表す語や 「もう」「ずっと」など時の流れを表す語など，よ り認知的に高度な副詞が多く見られた。

## 5 まとめ

本論文では自作したブックスタート絵本コーパス とセカンドブック絵本コーパスについて GiNZAを 用いて語彙分析を実施し，それぞれの特徴を明らか にした. 前者には身体的・具体的な表現が多い一方，後者には抽象的でより認知的に高度な表現が多いこ とが明らかとなった. 比較的小規模なデータでの検証ではあるが，対象年齢別の特徴が明確に現れてお り，セカンドブック事業のための絵本リスト作成に 示唆を与えるものであると考える。特に，心理・思考の描写のある絵本や時間把握能力が必要となる絵本が適していることが示唆される.

## 謝辞

本研究の成果の一部は JSPS 科研費 JP $18 \mathrm{H} 00693$ の助成を受けたものです.

## 参考文献

1. 工藤拓, 市川宙, Talbot, D., 賀沢秀人(2012)「Web 上のひらがな交じり文に頑健な形態素解析」『言語処理学会第 18 回年次大会発表論文集』1272-1275.

2. 藤田早苗, 平博順, 小林哲生, 田中貴秋(2014)「絵本のテキストを対象とした形態素解析」『自然言語処理』21(3), 515-539.

3. 藤田早苗, 服部正嗣, 小林哲生, 奥村優子, 青山一生(2017)「絵本検索システム「ぴたりえ」〜子ども にぴったりの絵本を見つけます〜」『自然言語処理』 24(1), 49-73.

4. 藤田早苗, 小林哲生, 平博順, 南泰浩, 田中貴秋 (2014)「絵本を基にした対象年齢推定方法の検討」『人工知能学会全国大会論文集第 28 回全国大会』3D4-4.
5. 松田宽(2020)「GiNZA-Universal Dependencies によ 了実用的日本語解析」『自然言語処理』27(3)， 695-701.

6. 森俊之, 谷出千代子, 乙部貴幸, 竹内惠子, 高谷理恵子，中井昭夫(2011)「ブックスタート経験の有無が子どもの生活習慣や読書環境等に及ぼす影響」『仁愛大学研究紀要 人間学部篇』10, 61-67.

7. 平博順, 藤田早苗, 小林哲生 (2012)「絵本テキスト における高頻度語彙の分析」『情報処理学会関西支部支部大会』 F-103.

8. 小椋たみ子, 綿巻徹(1999)「早期表出・理解語彙の 日米比較」『日本教育心理学会第 41 回総会発表論文集』 141 .

9. O'Grady, W. (2005) How children learn language. Cambridge University Press. (内田聖二監訳(2008)『子どもとことばの出会い: 言語獲得入門』研究社)


# 画像描写問題における学習者作文の誤り訂正

田中健斗 ${ }^{1}$ 西村太一 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 白井圭佑 ${ }^{1}$ 亀甲博貴 ${ }^{2}$

1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター

${ }^{1}$ tanaka.kento.s07@kyoto-u.jp

${ }^{1}$ \{nishimura.taichi43x, shirai.keisuke. $64 x$ \}@st.kyoto-u.ac.jp

${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{2}$ kameko@i.kyoto-u.ac.jp
## 概要

本研究では，画像描写問題における学習者作文の 誤りを訂正する新しいタスクを提案する。本タスク では，文法的な誤りだけでなく，画像描写問題特有 の意味論・語用論に関する誤りの訂正が求められ る. 画像と学習者作文を入力に取り，誤りを訂正し た文を生成するべースラインを構築した. 実験結果では，文法誤り訂正 (Grammatical Error Correction; GEC) で訂正が困難な意味論・語用論の誤りを訂正 できることを確認し，画像を参照する提案手法の有用性を確認した。

## 1 はじめに

外国語教育において，コミュニケーション能力を 重視した 4 技能の育成が重視されている. 4 技能の うちの「話す」「書く」という産出能力の評価は難し いタスクである。これは，学習者の多様な発言・作文に対応する必要があるためである. 本研究では,学習者に画像を見せて関連する文を産出させる「画像描写問題 $\perp^{1)}$ に着目し, 学習者作文の自動評価の研究を行う.

学習者は画像描写問題を通して，即時的に考えを 述べる能力を身につけることができる．また，画像 により作文の自由度が制限されるので，添削基準が 確立され，添削コストは削減される。しかし，画像描写問題は明確な利点が多くある一方で，自動評価 に取り組んだ研究例は少ない。

本稿では，画像描写問題における学習者作文の誤 りを訂正するシステム (図 1)を作成したので，それ について述べる.

図 1 画像描写問題の誤りを訂正するシステム.

## 2 関連研究

近年，学習者作文の誤り訂正のための Shared task である CoNLL-2014 [1] や BEA-2019 [2] が整備され,文法誤り訂正 (Grammatical Error Correction; GEC) が 盛んに研究されている. Zhao ら [3] は，誤りを含む 文を訂正文に翻訳する機械翻訳ベースの GEC 手法 において，訂正文は入力文の多くがコピーされる 傾向に着目し, Transformer にコピー機構を備えた 手法を提案している。一方で Omelianchuk ら [4] は， コーパス構築にコストを要する機械翻訳ベースの GEC 手法の精度向上が難しい点に着目し, 系列ラべ リングの手法を用いた GECToRを提案した。

GEC は文法上の誤りの訂正を目指すものであり，意味論または語用論に関する誤りは原理的に訂正 できない．例えば，“there is a bench on glass”には文法上の誤りはないため, GEC では訂正できない. “glass”を "grass” と訂正するには，世界に対する背景知識やコンテクストが必要である。コンテクスト には，この文の前にある文章だけではなく，書かれ た状況 (画像) も含まれる. 画像描写問題における 誤り訂正は，コンテクストとして画像の情報を利用 することで，このような誤りの訂正を目指すもので ある.
表 1 データセットの統計情報.

## 3 データセットの構築

画像描写問題における学習者作文訂正のために,学習者作文とその訂正文のペアを収集した。具体的 には，画像描写問題における英作文を収集し，英文添削の専門家による添削を実施した。

## 3.1 学習者作文の収集

本研究では, 主に日本の高校生に画像描写問題に 取り組んでもらい，学習者作文を収集した ${ }^{2)}$. 画像描写問題では，画像と画像内の枠部分 (赤枠で囲む) を提示し，その部分について 1 文の英語で描写する ことを求めた。

問題に使った画像は, RefCOCOg [5] から選出し た. RefCOCOg は, MSCOCO [6] の 26,711 枚の画像 の中の 54,822 個の物体に対する 85,474 個の参照表現 ${ }^{3}$ からなるデータセットである。問題に使用する 画像，及び特定の物体は画像のカテゴリ (e.g., 人，食 べ物，車) に偏りが生まれないように 120 枚を人手 で選出した. この 120 枚の画像に対し, 651 文の学習者作文を得た。

## 3.2 専門家による添削

次に，日本語を十分に理解する英文添削の専門家 に，収集した学習者作文の誤りの訂正を依頼した. その際，元の作文に限りなく近い構文での，文法上 の誤りの訂正（文法的な添削）および画像の内容に ふさわしくない表現誤りの訂正（写真との関連性に おける添削）を依頼した．誤りが著しく多く添削が 困難な文が 7 文あり，それらは訂正されなかった。表 1 に学習者作文と添削結果の統計情報を示す.図 2 に訂正例を示す。

## 4 画像描写の誤り訂正

本研究では，3節で述べたデータセットを用いて，学習者による画像描写の誤りを訂正するベースライ ンモデルを構築し，その評価を行う。具体的には，画像 $I$ と学習者作文 $L$ から，適切に訂正された文 $C$

図 2 専門家による添削例. (赤枠で囲まれた部分につい て描写した作文を学習者に求めた)

を出力する問題とし，エンコーダ・デコーダモデル でモデル化する．モデルの概要を図 3 に示す．詳細 は次に述べる。

## 4.1 エンコーダ

画像エンコーダ．画像エンコーダでは画像 $I$ の 特徵量を抽出する。学習者は複数の物体を描写す ることが多く，各物体を基にした特徴量を抽出 するために，注意機構 $[7,8]$ をモデルに取り入れ る。画像 I から Faster-RCNN [9] を用いて物体を抽出し, ResNet-101 [10]を用いて, 物体領域の特徴量 $\boldsymbol{O}=\left(\boldsymbol{o}_{1}, \ldots, \boldsymbol{o}_{k}, \ldots, \boldsymbol{o}_{K}\right) \in \mathbb{R}^{d_{v} \times K}$ を獲得する. また，物体の位置関係を考慮するために，4 次元の位置座標 (バウンディングボックス)を $d_{e}$ 次元の特徴量 $\boldsymbol{P}=\left(\boldsymbol{p}_{1}, \ldots, \boldsymbol{p}_{k}, \ldots, \boldsymbol{p}_{K}\right)$ に拡張した. 抽出した物体 $\boldsymbol{V}=\left(\boldsymbol{v}_{1}, \ldots, \boldsymbol{v}_{k}, \ldots, \boldsymbol{v}_{K}\right) \in \mathbb{R}^{d_{e} \times K}$ は, $\boldsymbol{O}$ と $\boldsymbol{P}$ の合計 を取って，次のように表現できる。

$
\begin{aligned}
\boldsymbol{V} & =\left(\boldsymbol{v}_{1}, \ldots, \boldsymbol{v}_{K}\right) \\
& =\left(\boldsymbol{W}_{o} \boldsymbol{o}_{1}+\boldsymbol{p}_{1}, \ldots, \boldsymbol{W}_{o} \boldsymbol{o}_{K}+\boldsymbol{p}_{K}\right)
\end{aligned}
$

$\boldsymbol{W}_{o} \in \mathbb{R}^{d_{e} \times d_{v}}$ は全結合層の重みを表す.ここで述べ た画像の特徴量抽出方法を本論文では，Bottom-up と呼ぶ。また，ResNet-152を用いて，画像全体から 特徵量 $\boldsymbol{v}^{\prime} \in \mathbb{R}^{d_{e}}$ を抽出する手法も Global として試 した.

学習者作文エンコーダ. 事前学習済みの BERT [11] を用いて，学習者作文 $L$ から特徴量 $\hat{\boldsymbol{e}} \in \mathbb{R}^{d_{e}}$ を抽出する．学習者作文 $L$ は WordPiece Tokenizer を用いてサブワードに分割し，BERT によ り特徴量 $\left(\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{n}, \ldots, \boldsymbol{e}_{N}\right) \in \mathbb{R}^{d_{e} \times N}$ を獲得する.各特徴量を平均プーリングすることで文レベルの特徵量 $\hat{\boldsymbol{e}}$ とする.

$
\hat{\boldsymbol{e}}=\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{e}_{i}
$

注意機構. エンコーダで獲得した物体の特徴量 $V$ と学習者作文の特徴量 $\hat{\boldsymbol{e}}$ を基に，注意機構は各物体

図 3 提案する誤り訂正モデルの概要図。(画像中の赤枠は画像エンコーダが特徴量を取り出す際に参照した領域)

の学習者作文に関する重み $\hat{v}$ 算出する。 [12] らの 手法に倣い，画像の特徴量 $\hat{\boldsymbol{v}}$ は，

$
\hat{\boldsymbol{v}}=\sum_{k=1}^{K} \alpha_{k} \boldsymbol{v}_{k}
$

のように算出する。また，重み $\alpha_{k}$ は，

$
\begin{aligned}
\alpha_{k} & =\frac{\exp \left(\tau_{k}\right)}{\sum_{j=1}^{K} \exp \left(\tau_{j}\right)} \\
\tau_{k} & =\boldsymbol{W}_{v e}\left(\operatorname{ReLU}\left(\boldsymbol{W}_{v} \boldsymbol{v}_{k}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{e} \hat{\boldsymbol{e}}\right)\right)
\end{aligned}
$

のように算出する．ただし，๑はアダマール積を 指し, $\boldsymbol{W}_{v} \in \mathbb{R}^{d_{e} \times d_{e}}, \boldsymbol{W}_{e} \in \mathbb{R}^{d_{e} \times d_{e}}, \boldsymbol{W}_{v e} \in \mathbb{R}^{1 \times d_{e}}$ は全結合層の重みを表す 4$)$ ．また，画像エンコーダに “Global”を用いた場合，注意機構は適用されず，画像の特徴量は $\hat{v}$ の代わりに $v^{\prime}$ となる。

## 4.2 デコーダ

学習者作文と画像の特徵量 $(\hat{\boldsymbol{e}}, \hat{\boldsymbol{v}})$ を基に，LSTM を用いて訂正文を生成する．LSTM の隠れ状態 $\boldsymbol{h}$ の 初期值は次のように算出する.

$
\boldsymbol{h}=\operatorname{ReLU}\left(\boldsymbol{W}_{f} \hat{\boldsymbol{v}}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{g} \hat{\boldsymbol{e}}\right),
$

$\boldsymbol{W}_{f}, \boldsymbol{W}_{g} \in \mathbb{R}^{d_{e} \times d_{e}}$ は全結合層の重みを指す。

## 4.3 損失関数

画像 $I$ と学習者作文 $L$ を大力に取り, 訂正文 $C$ を 出力するように，次の損失関数 $\mathscr{L}$ を最小化する。

$
\mathscr{L}=-\sum_{D_{\text {train }}} \log p(C \mid \boldsymbol{h} ; \boldsymbol{\theta})
$

$D_{\text {train }}$ は訓練データを指し， $\boldsymbol{\theta}$ はモデルのパラメー タを指す。

## 5 実験

画像描写作文の誤りを訂正する実験を実施する。

## 5.1 実験設定

擬似データによる事前学習. 誤り訂正の精度を 高めるために，大規模で容易に入手可能な画像キャ プションに擬似的な誤りを生成することで，訓練 データを拡張する。本研究では，GEC の擬似的誤 り生成手法 [13] を用いて, MS-COCO のキャプショ ンから誤り文を生成した。ここで構築した擬似デー タ5）を用いてモデルの事前学習を実施する． 3 節で 収集したデータセットは，事前学習されたモデルの fine-tuning に用いる. データは画像ごとに訓練デー タ/開発データ/テストデータに 6:2:2 の割合で分割 した.

ハイパーパラメータ. 最適化手法には Adam [14] を使用し，ミニバッチサイズは事前学習時に 64, fine-tuning 時に 8 とした. 次元 $d_{v}$ と $d_{e}$ は, ResNet と BERT の出力する特徴量の次元に合わせて，そ れぞれ 2,048 と 768 としている.また，学習率は $5.0 \times 10^{-5}$ とした.

評価尺度. GEC の標準的な評価尺度である ERRANT [15] と GLEU [16] を用いた評価を実施す る.これらの評価は，システムが画像を参照した訂正の評価については十分でないため，今後改善する 必要があると考えている.

モデル. 提案手法と比較するモデルとして，既存 の GEC モデルの GECToR を用いる。また，提案手法では，次のモデルを用いて実験を実施した。

・ $\mathbf{L - C}$ : 学習者作文 $L$ のみを用いて，訂正文 $C$ を 生成する ${ }^{6}$.
- LI-C: 学習者作文 $L$ と画像 $I$ を用いて, 訂正文 $C$ を生成する４.1で述べた通り，画像の特徴量抽出は，Global と Bottom-up をそれぞれ適用 する。

5）訓練用に 画像 40,186 枚,キャプション 201,059 文，開発用に 画像: 5,000 枚,キャプション 25,014 文を用いた。

6） L-C モデルの fine-tuning 時のみ学習率を $1.0 \times 10^{-3}$ とした.

図 4 提案手法による訂正文と既存の GEC モデル GECToR が出力する訂正文の比較. 学習者作文との差分を赤字で示す. （画像中の赤枠を中のものを参照した作文を学習者に求めた）

## 5.2 定量評価.

表 2 に，ERRANT で算出した適合率，再現率， $F_{0.5}$値と GLEU の値を示す.

GECToR との比較. GECToR と比較すると，LI-C モデルは ERRANT の再現率，GLEU において性能を 上回った一方で，ERRANT の適合率， $F_{0.5}$ 值では下回る結果となった。これは，GECToR が訂正箇所を 最小限に抑える一方で，LI-C モデルは学習者作文を 改変し, 画像を基にした文を生成する傾向にあるこ とが原因にあると考えられる。学習者作文の構文・語彙に近い訂正を実現するために，コピー機構 [3] を取り入れることが解決策の一つにある.

また, GECTOR と L-C モデルは, どちらも画像 を活用しないが，精度に差が生まれた。これは， GECToR が大規模なコーパスを用いて学習されてい ることから明らかである。

画像の特徵量. LI-C モデルは全ての評価値にお いて，L-C モデルの性能を上回った。これは，誤り 訂正における画像の情報の有用性を示す。また，画像の特徵量抽出では, “Bottom-up” が 全ての評価値 において “Global” の性能を上回った. 画像内の物体 を考慮した特徴量の抽出が，学習者作文を訂正する 上で有用であったことがわかる.

## 5.3 定性評価.

提案手法LI-C (Bottom-up) による訂正文と GECToR が出力する訂正文の比較を図 4 に示す. GECToR が表 2 GEC の評価尺度による評価. 最良の結果を太字で 示す.

画像の情報を活用できていない一方で，提案手法は 画像に関連する学習者の誤りを訂正できていること がわかる ((a)“air”を “fighter”院正). また，提案手法では位置関係の訂正もできた ((b)“under”を “by” に訂正). 一方で，学習者の描写内容を反映できて いない誤り訂正の失敗例も確認した ((c)“wine glass” を “conversation” に訂正). モデルにコピー機構を設 けることで，学習者作文の構文・語彙をより考慮し た訂正文生成を行うことが解決策の一つに考えら れる。

## 6 おわりに

外国語学習者による画像描写の自動評価に取り組 んだ. 具体的には，学習者作文の誤りを画像情報を 用いつつ訂正する方法を研究した. 画像と学習者に よる画像描写，そして，専門家による訂正文から構成されるデータセットを整備し，それを用いて画像描写問題における学習者作文の自動訂正ベースライ ンを構築した。画像描写の誤り訂正について画像が 有用であることを確認した．また，GECでは訂正で きない誤りを本手法が訂正できることを確認した。

## 謝辞

本研究は JSPS 科研費 $19 K 12119$ の助成を受けたも

のである.

## 参考文献

[1] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. of CoNLL, pp. 1-14, 2014.

[2] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proc. of BEA, pp. 52-75, 2019.

[3] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data. In Proc. of NAACL, pp. 156-165, 2019.

[4] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Proc. of BEA, pp. 163-170, 2020.

[5] Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy. Generation and comprehension of unambiguous object descriptions. In Proc. of CVPR, pp. 11-20, 2016.

[6] Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, and Piotr Dollár. Microsoft coco: Common objects in context. In Proc. of ECCV, pp. 740-755, 2014.

[7] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton Van Den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In Proc. of CVPR, pp. 3674-3683, 2018

[8] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Proc. of ICML, pp. 20482057, 2015.

[9] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Proc. of NeurIPS, pp. 91-99, 2015 .

[10] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proc. of CVPR, pp. 770-778, 2016.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Qing Li, Qingyi Tao, Shafiq Joty, Jianfei Cai, and Jiebo Luo. VQA-E: Explaining, elaborating, and enhancing your answers for visual questions. In Proc. of ECCV, pp. 552567, 2018.

[13] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal,
Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In Proc. of EMNLP-IJCNLP, pp. 4259-4269, 2019.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. of ICLR, 2015.

[15] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proc. of ACL, pp. 793-805, 2017.

[16] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proc. of ACL-ICJNLP, pp. 588-593, 2015.