# 日本語大規模ブログコーパス YACIS に基づいた ELECTRA 事前学習済み言語モデルの作成及び性能評価

柴田 祥伍 ${ }^{1}$, プタシンスキミハウ ${ }^{1}$, エロネンユーソ ${ }^{1}$, ノヴァコフスキカロル ${ }^{2}$, 栘井 文人 ${ }^{1}$
Shogo Shibata ${ }^{1}$, Michal Ptaszynski ${ }^{1}$, Juuso Eronen ${ }^{1}$, Karol Nowakowski ${ }^{2}$, Fumito Masui ${ }^{1}$
1 北見工業大学 テキスト情報処理研究室
Kitami Institute of Technology, Text Information Processing Laboratory
2 東北公益文科大学 Tohoku University of Community Service and Science
f1812201003@std.kitami-it.ac.jp \{michal,f-masui\}@mail.kitami-it.ac.jp
karol@koeki-u.ac.jp eronen.juuso@gmail.com

## 概要

本研究では現在最大規模の日本語ブログコーパス YACIS を用いて, 事前学習済み言語モデル ELECTRA を作成し，その性能評価について報告する。これまでの日本語向けの事前学習済み言語モデルは殆んど Wikipedia という記述文のみを含む言語資源を基に作成されてきたが，本研究においては口語的な文章の処理に焦点を当て事前学習にブログコーパスを用いる. 評価実験では，一般的な自然言語理解の課題の他に口語の処理が必要となるネットいじめ検出の課題にも応用し, YACIS-ELECTRA モデルの応用性について考察する。

## 1 はじめに

近年,ELMo[1], BERT[2], ELECTRA[3], RoBERTa[4]等, 事前学習済み言語モデル, そして特に Transformer 型ニューラルネットワーク [5] のアーキテクチャに基づいた大規模の事前学習済み言語モデルが, 様々な研究課題や実世界問題の解決に応用され実用性が実証されている．例えば，BERT モデルを応用することによって FAQ の適切な質問回答のペアを取得するため QA の関連性の計算が性能向上したことが確認されている [6]. また，BERT の応用によって日本語の構文解析の精度が向上されたことが確認されており [7]さらに，執筆期間が数十年離れた小説の同著者の判別にも応用されていることや [8], 知識ベースの自動拡張への成果も挙げられている [9].

事前学習済み言語モデルの有用性が複数の課題で確認されている一方，日本語用のモデルはまだ少数にあり，多様性に欠けている．数多くの事前学習済み言語モデルを共有しているライブラリである HuggingFace ${ }^{1)}$ 内で公開されている英語用モデルの数は執筆時点現在 5 千個近くある一方，日本語用のモデルは 182 個のみと少なく，音声や画像処理以外のテキストベースのモデルのほとんどが同様のテキストデータをもとに作成されており，日本語における事前学習済み言語モデル作成における多様性が沈滞していることが課題となっている.

具体的には，多くのモデルは，異なるアーキテクチャ（BERT, RoBERTa, ELCTRA, GPT-2 等）で作成
されているが，事前学習に用いられたデータにはほとんど Wikipedia とニュース記事と CommonCrawl コーパスのみのテキストデータをもとに作成されている。そのようなデータは，入手しやすい一方，多様性がないためモデルの性能へ影響が及ぼされている可能性がある。例えば，Wikipedia とニュース記事は日常言語の使用から離れたデータであり，すなわち記述文や説明文のみからなるデータが用いられるため，日常日本語を取り扱う課題に向かない可能性がある.

そのため，これらのモデルは典型的な名詞や動詞の間の係わりをつかむことは可能であるが，口語やスラング，砕けた言い方などのような日常的な言語を分析する場合は不向きである可能性が考えられる.これに起因して，モデル間の性能が似通っており明確に優れているモデルは提案されていない。さらに, 実世界の様々な課題に対して専門性・多様性のないモデルのみが提案されており，自然言語処理分野における様々な課題解決や全般的な発展を妨げている.

そこで，それらの課題を解決するために本研究では, 日本語の日常的表現を豊富に含む最大規模の日本語のブログコーパスである YACIS コーパス $[10,11]$ を元に新たに事前学習済み言語モデルを作成し，その性能評価を行う。また，性能評価では，一般的な自然言語推論の課題の他に，日常言語やスラングの適切な処理が必要となるネットいじめ検出の課題も用いる.

## 2 YACIS 大規模日本語 blog コーパス

事前学習用のデータとしては，YACIS コーパスを用いた $[10,11]$. YACIS コーパスとは，56 億語を含む現在最大規模の日本語ブログコーパスである. 2010 年に収集した YACIS コーパスは，アメバブログ $(\text { 略：アメブロ })^{2}$ から収集され，作成した際アメブロの $1 / 3$ を含んでいた. さらに，YACIS コーパスは多面的アノテーションされており [12,13]，数多くの研究に応用されてきている. YACIS コーパスの元データ及びアノテーションは現在以下のページ3) にて 2022.4 以降に公開予定である.

事前学習用のデータを選択する際は，データのサイズと言語の多様性という 2 点に注目を置いた。まず，コーパスのサイズとしては，現在 Wikipedia 全体（全言語版）のサイズは，290 億語を含み4)，その中日本語のみの記事は， 25 億語を含む5). YACIS は日本語 Wikipedia 全体より 2 倍以上大きいためそのまま事前学習に用いても十分と考えられる. さらに，言語の多様性に関しては，ほぼ説明文と記述文のみを含む Wikipedia と異なり，一般ユーザが毎日のように意見を表すブログ記事からなる YACIS は，日常的表現を豊富に含むため, 事前学習に用いた場合，日常的な表現やスラングなどの処理に強みがあることが考えられる。

具体的には YACIS には感情文:非感情文の比率は 2:1 である [11]ため, 感情に満ちた日常表現が豊富に含まれる。さらに Twitter にあるような文字制限のない言語資源（アメブロ）を基に収集されているためユーザが無理矢理に文字制限に合わせる中でメッセージが不自然かつ挑発的 [14] になる傾向はなく, 思い通りに表現するため Twitter のようなマイクロブログよりも自然な日本語が含まれると考えられる。

Wikipedia に対して YACIS を使う可能な不利点としては，前者は数多くの概念を含むため，自然言語理解及び推論の課題に向く可能性があるが，本研究ではそのことを実験的に確認する。

## 3 事前学習方法について

## 3.1 ELECTRA アーキテクチャについて

事前学習には ELECTRA のアーキテクチャを使用する. ELECTRA[3] は, 2018 年に提案された BERT[2] の事前学習アーキテクチャに基づき, 事前学習プロセスを最適化し改良した手法であり, 従来の改善手法である RoBERTa[4] の 1/4 の計算量で, 近い性能を出すことが可能である [3].

BERT をはじめこれまでの事前学習モデルでは，学習データにおけるトークンの一部が [MASK] という特別なトークン（隠しラベル）に置き換えられ，元のトークンは何のトークンであったかを予測させることによってモデルの事前学習を行う. しかし,[MASK] に置き換えられるのはトークンの一部（一般的には $15 \%$ \%) だけであり,モデルはその一部のトークンからしか学習できないため, 学習プロセスの効率が低い。それと違って ELECTRA では， BERT アーキテクチャに基づく小規模の生成モデル （Generator）と識別モデル（Discriminator）という二つのモデルが利用される。具体的には，入力文のトークンの一部を隠し，生成モデルが予測したトー クンに置き換える。 それから，各トークンに対して元のデータにあったか, それとも生成モデルによって生成されたか,Discriminator に識別させることで事前学習を行う.[MASK] に置き換えられた部分だけでなく, すべてのトークンに対して予測が行われるため, より効率的な学習が可能になる. その上, 事前学習にかかる時間を短くしても, 複数のデータセッ

4) https://en.wikipedia.org/wiki/Wikipedia:Size_comparisons

5) http://ja.wikicount.net表 1 事前学習モデルのサイズ.

トにて性能評価を行うための GLUE ベンチマーク [15](言語モデルにおける自然言語理解能力を評価するためのデータセット)を用いた評価によると性能が低下せず，むしろ向上したことが明らかになった.

これらの理由から，本研究では事前学習モデルには，ELECTRAを使用することにした。

## 3.2 事前学習用の設定について

ELECTRA 事前学習済みモデルを訓練する場合,従来研究で提案されているモデルのサイズが 3 種類あり ${ }^{6)}$ (表 1 参照), 今回は日本語用の ELECTRAを公開した Cinnamon AI Blog にて掲載された先行研究7) と比較するため, 最初は Small で学習を行うことを決定した. まずは学習時間を考慮しSmall で事前学習を行うことで，小規模のモデルを作成し，評価を実施した後，精度の向上が見込まれる Large モデルを用いた学習を予定している.

また, Small と Large の間となる Base サイズもあるが，Baseを学習しないことにした。その理由は， YACIS ブログコーパス内の文は， 500 単語（トークン）以上の文はノイズ扱いで削除され，256 単語より長い文も僅かである。上記を理由に，YACIS を使った場合, Small と Base の間は微量な精度向上しか期待できないため,Base モデルの学習は見送り，最終的に Small と Large のみを学習することにした。

## 3.3 事前学習モデル訓練の環境設定

初めに事前学習開始までの流れを把握するため,OpenWebTextCorpus ${ }^{8}$ を用いて, ローカル環境 (CPU:Intel Core i9-7920X,RAM:132GB,GPU:GeForce GTX1080Ti) で事前学習の試運転を行った.

ELECTRA とのバージョン違いによるエラーを回避するため,TensorFlow ${ }^{9}$ の G GPU 版バージョン 1.15 をダウンロードして利用した. 実行環境は最新版の場合，同じくバージョンによるエラーが発生するため,Python のバージョンを 3.6 とし, 学習用データ作成から事前学習の開始まで確認した10).

学習用データ (YACIS コーパス) は $32 \mathrm{~GB}$ あり, Small で事前学習を開始した場合約 7 日間かかるという想定が得られた。

## 3.4 語彙リスト作成

事前学習を行うためには，YACIS ブログコーパスから新たに語彙リストを作成する必要になった。語彙リストの作成には韓国語版 ELECTRA モデ

ルを公開している先行研究11)を参考に,Huggingface Tokenizerの機能を用いた語彙リスト作成用のプログラムを作成した。

先行研究7) との比較をより公平にするために語彙数を同じく 32,000 語とし, 特殊トークン (事前学習済み言語モデルが文を見分けるために用いるセパレータなど）を含む語彙リストを作成した。

## 3.5 学習用データの準備

上記で作成した語彙リストを利用し,YACIS ブログコーパスから学習用データを作成した. 作成には ELECTRA 本体にある学習用データ作成プログラム12)をハイパーパラメータをデフォルト6)のまま利用した. 元データとなる YACIS ブログコーパスのテキストデータは, 既に単語分割化及び文分割化などの前処理が行われているため, そのまま学習用デー タとして用いることができた。

## 3.6 事前学習プロセスについて

上記で作成した語彙リストと学習用データを用いて事前学習を開始した。

先行研究7) と比較するためモデルサイズを Small,埋め込み層を 128 , 語彙数を 32,000 に設定した. その他のハイパーパラメータについてはデフォルトのままである。13) また事前学習にはローカル環境で単一 GPU を使用した。

学習用データが $32 \mathrm{~GB}$ あるため, 試運転と同様に一週間強かかり, 正解値とモデルの予測値のズレの大きさ（英語："Loss"「損失」）を算出する関数である損失関数（Loss function）のスコアのログを取りながら経過を観察した。損失関数は，

$
\min _{\theta_{G}, \theta_{D}} \sum_{x \in \mathcal{X}} L_{M L M}\left(x, \theta_{G}\right)+\lambda L_{D i s c}\left(x, \theta_{D}\right)
$

で表され, $x$ は入力される単語を表し, $L_{M L M}$ が Masked LM による [G]enerator 側の学習, $L_{\text {Disc }}$ がトー クンの真偽判定による [D]iscriminator 側の学習, $\lambda$ はハイパーパラメータとなっている.この関数の結果が Loss 関数スコアとして表示され 0 に近づくほど良い結果を表す.

7 日と 6 時間かけて, 単一GPUによる Small サイズの事前学習が終了した. 100 万ステップ学習し, 事前学習の目的関数 (loss 関数) は数日間 10 と 9 を前後しながら徐々に下がり 9 と 8 を前後するようになり, 最終的に学習が終了した時点で 8.7319 となった. Loss 関数値の動きを 1000 ステップごとにプロットし可視化したグラフを図 1 に表した。事前学習済みの YACIS-ELECTRA モデルは HuggingFace にて公開されており ${ }^{14)}$ ，今後の研究へ利用可能である.

11） https://github.com/monologg/KoELECTRA/blob/master/docs/ wordpiece_vocab_EN.md

12) https://github.com/google-research/electra/blob/master/ build_pretraining_dataset.py

13) https://github.com/google-research/electra/blob/master/ configure_pretraining.py

14) https://huggingface.co/ptaszynski/ yacis-electra-small-japanese

図 1 YACIS-ELECTRA-Small 事前学習中の損失関数変動

## 4 評価実験

事前学習が終了した後, 完成した事前学習済み言語モデルの性能評価を行なった。性能評価には 2 種類のデータセットを用いて，それぞれのデータセットの訓練セット部分をモデルの微調整に使い，テストセットを評価に使用し，2 段階（微調整 $\rightarrow$ 評価） で評価を行なった。

## 4.1 評価用データセット

## JSNLI データセット

まずは，モデルの総合的な自然言語推論能力を測るために，JSNLI データセット ${ }^{15}$ [16] を用いた. JSNLI データセットとは，英語の SNLI[17] データセットを日本語に翻訳したデータセットであり，標準として事前学習済み言語モデルの性能評価に用いられる。

データセットには，533,005 文ペアを含む訓練セットと，3,916文ペアのテストセットが含まれる. データセットが表す課題では，前提を表す文，仮説を表す文とその間の関連性を表すラベルがあり，モデルの評価には前提文・仮説文の関連性を当てる夕スクが与えられ，モデルの性能は正確率 (Accuracy) によって算出される。

## ネットいじめ検出データセット

総合的な自然言語推論能力の他, より要求性のある口語の処理への YACIS-ELECTRA の有用性を図るために，スラングや口語が豊富に含まれるネットいじめ検出用のデータセットを用いた。このデータセットは, (1) 松葉 [18] が学校非公式サイトから収集し，これまでに数多くのネットいじめ検出の研究 [19] に使われたデータセットと，(2) 荒田 [20] が新しくTwitter から収集した有害ツイートデータセッ卜を統合して作成した.データセット内の有害・非有害の事例はバランスをとった比率であり，訓練データには，有害 1,650 個，非有害 1,624 個，テストデータには，有害 411 個，非有害 409 個ある.

## 4.2 実験設定

上記の 2 つのデータセットを用いて, 本研究で事前学習を行った日本語 ELECTRA モデルの評価を行った。そこで，総合的な自然言語推論能力を JSNLI データセットで評価した. また，事前学習 15) https://nlp.ist.i.kyoto-u.ac.jp/index.php?日本語 SNLI(JSNLI) データセット
表 2 JSNLI 課題の結果.

表 3 ネットいじめ検出課題の結果.

 &  &  & Acc &  &  &  &  &  \\

に用いるデータの種類がどこまでモデルの専門性を強化するかを評価するには，ブログ記事を基に作成した YACIS-ELECTRA と Wikipedia で学習した Cinnamon-ELECTRA を比較した. また，それぞれのタスクを具体的に以下の通り実施した．JSNLI データセットを用いた実験では， YACIS-ELECTRA の他に，柴田らが提供した BERT 日本語 Pretrained モデル [7] ${ }^{16)}$ を用いた. JSNLI デー タセットを使った評価では，元の ELECTRA ${ }^{6}$ ) と提供されている正式な評価スクリプトを用いるためには，モデルのチェクポイント（事前学習終了前の状態）のファイルが必要なため，比較実験には，柴田ら [7] が提供した日本語 BERT モデル 3 種類のみが使用可能であった.

ネットいじめ検出データセットを用いた実験では，二項分類を行うための平凡のスクリプトを作成し，複数のモデルを比較した。具体的には， HuggingFace ライブラリに登録されている日本語 ELECTRA モデル 4 種類と日本語 BERT モデル 2 種類と比較を行った。また，我々以外のモデルの場合は，数回実験を繰り返した後のベストのスコアのみを報告し，YACIS-ELECTRA はベストおよびワーストスコア両方報告する。

## 4.3 実験結果と考察

JSNLI 課題の結果を表 2 に表す. BERT ベースのモデルには正確率の大きな違いは見られなかった. モデル作成者は全単語マスクモデル (Whole Word Masking, WWM) の方が精度が高い傾向があると報告しているがそれを確認することはできなかった. さらに, 関連研究 [16] では精度が 93\%を超えていることを報告しているが，その報告結果を再現することもできなかった. YACIS-ELECTRA-Small は $88 \%$ を超え，比較した中では最高結果となった。

さらに，ネットいじめ検出課題の結果17)を表 3 に示す. 結果に見られる傾向としては，同種類のモデ

ルの中では, Base モデルは Small モデルより結果が高かった. また, 同じく同種類の Large モデルが Base より結果が高かった. また，同サイズのモデルで，ELECTRAが BERT より高い結果を取得できた。 Small 級のモデルの中では, 提案の YACIS-ELECTRA が一番高い結果になった。ただし，微調整における出発時点のランダムサンプル及びパラメータによって結果には $5 \%$ ぼのの低下も見られ，微調整の設定が結果に大きな影響をすることが分かった。 また，特に Small 級のモデルでは YACIS-ELECTRA との違いは事前学習時のデータセット (YACIS vs Wikipedia)の 1 つだけであるため, 口語処理が必要とする課題における口語を含むデータセットの有用性を確認することができた。最高結果を取得したのは megagonlabs $の$ ELECTRA-Base であり, 事前学習には Wikipediaを使わず $\mathrm{mC4}$ データセット ${ }^{18)}$ のみを使い,アーキテクチャとしての ELECTRA の有用性を確証している。さらに megagonlabs 及び提案モデル以外は Wikipediaを使ったことから事前学習デー タとして Wikipedia は最適ではないことが示唆されている.

## 5 おわりに

本研究では，大規模日本語ブログコーパスを事前学習データとして用いて ELECTRA 事前学習済み言語モデルを作成した. モデル作成にブログを用いることで，口語の事前学習への有用性を確認でき，特に砕けた言い方やネットスラングの処理が必要とするタスクでの精度向上を確認できた。また，これまでは Small 級のモデルのみを作成, 評価してきたが今後は Large 級も作成する予定である.

今後の課題としては, 微調整時のランダムサンプ几の結果への影響を調査する必要がある。また，事前学習時のデータ種類や訓練データ内に使われる言語がどのように応用タスクで得られる結果に影響をするか，つまり事前学習済み言語モデルの普遍性よりも専門性に関するさらなる研究も必要である.

18） https://huggingface.co/datasets/mc4

## 謝辞

本研究にあたって色々と相談に乗っていただいた北海道大学のジェプカラファウ助教に感謝いたします。

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert:pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[3] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[6] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[7] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 2019.

[8] Jagna Nieuwazny, Karol Nowakowski, Michal Ptaszynski, and Fumito Masui. Can you fool ai by doing a $180 ?$ - a case study on authorship analysis of texts by arata osada. Information Processing \& Management, Vol. 58, No. 5, p. 102644, 2021

[9] Rzepka Rafal, Takishita Sho, and Araki Kenji. Bacteria lingualis on bertoids - concept expansion for cognitive architectures. 人工知能学会第二種研究会資料, No. AGI-014, p. 10, 2020.

[10] Jacek Maciejewski, Michal Ptaszynski, and Pawel Dybala. Developing a large-scale corpus for natural language processing and emotion processing research in japanese. In Proceedings of the International Workshop on Modern Science and Technology (IWMST), pp. 192-195, 2010.

[11] Michal Ptaszynski, Pawel Dybala, Rafal Rzepka, Kenji Araki, and Yoshio Momouchi. Yacis: A five-billion-word corpus of japanese blogs fully annotated with syntactic and affective information. In Proc. of the AISB/IACAP world congress, pp. 40-49, 2012.

[12] Michal Ptaszynski, Rafal Rzepka, Kenji Araki, and Yoshio Momouchi. Automatically annotating a five-billion-word corpus of japanese blogs for sentiment and affect analysis. Computer Speech \& Language, Vol. 28, No. 1, pp. 3855,2014

[13] Michal Ptaszynski, Yoshio Momouchi, Jacek Maciejewski, Pawel Dybala, Rafal Rzepka, and Kenji Araki. Annotating japanese blogs with syntactic and affective information. In Mining User Generated Content, pp. 229-262. Chapman and $\mathrm{Hall/CRC}, 2014$.

[14] Sarita Yardi and Danah Boyd. Dynamic debates: An analysis of group polarization over time on twitter. Bulletin of science, technology \& society, Vol. 30, No. 5, pp. 316-327, 2010.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multitask benchmark and analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461, 2018.

[16] 吉越卓見, 河原大輔, 黒橋禎夫ほか. 機械翻訳を用いた自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), Vol. 2020, No. 6, pp. 1-8, 2020.

[17] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326, 2015.

[18] 松葉達明, 里見尚宏, 栘井文人, 河合敦夫, 井須尚紀.学校非公式サイトにおりる有害情報検出. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 109, No. 142, pp. 93-98, 2009.

[19] Michal E Ptaszynski and Fumito Masui. Automatic Cyberbullying Detection: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global, 2018

[20] Masaki Arata. Study on change of detection accuracy over time in cyberbullying detection. Master's thesis, Kitami Institute of Technology, Dept. of Computer Science, 2019.


# 文法誤り訂正への訂正重要度の導入

永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$
1 甲南大学 2 産業技術総合研究所
nagata-nlp2022 @ hyogo-u.ac.jp., takamura.hiroya@aist.go.jp

## 概要

本稿では，文法誤り訂正における訂正の重要度を定量化することを試みる．具体的には，書き手の意図が正しく伝わるかどうかという観点で訂正の重要度を定量化する手法を提案する。提案手法を作例と学習者コーパスに適用し，有効性と改善すべき点を議論する。

## 1 はじめに

文法誤りには様々なものが存在するため，訂正の目的に応じて，文法誤り訂正の重要度を定量化できることは有益である．本稿では，書き手の意図が正確に伝わるということを重視して，訂正の重要度を定量化することを試みる．具体的には，訂正前後で伝わる意味の差異が大きいほど重要な訂正とみなすような重要度を定量化する方法を提案する。このように定義された訂正の重要度は, 語学学習に応用できる可能性がある．例えば，書き手の意図の伝達を大きく阻害する誤りを率先して訂正し, 学習者に提示するような応用が考えられる. また，訂正の重要度で各誤りを重みづけて誤り訂正システムの性能を評価するという応用にもつながる.

本稿では，次のような非常にシンプルなアイデアに基いて訂正の重要度を定量化する。深層学習べー スの言語モデルを用いると文中の単語をべクトル （分散表現）に変換できる．分散表現は，単語の文中での意味を表すとみなせる1)．したがって，訂正前後の単語それぞれから分散表現を得て，その差異を測ることで意味のズレを定量化する。このズレが，上述の「意味の差異」に対応するとする.

このようなアイデアに基づいた提案手法の有効性を作例と学習者コーパスを用いて吟味する。例え

ば，この手法は，"He read $a \rightarrow \phi$ books."という訂正2) は “He read $a n \rightarrow a$ book.” よりも重要と判定する. ただし，3節で述べるように，このシンプルなアイデアそのままでは，いくつかの問題が生じるため，本稿では，その解決方法も議論する。

## 2 関連研究

誤り訂正の重要度に関連した知見に「自然な習得順序」という仮説がある.この仮説は，第二言語習得では，学習者に共通する習得順序があると主張する。逆に言えば，順序を入れ替えて新たな項目を習得できないと解釈できる。この仮説が正しいとすると，次に習得される項目に関する誤りを訂正することが重要となる。しかしながら，この仮説を支持／否定する両方の研究成果があり，どちらが正しいのかということは未解決問題である (これらの研究については，文献 [1]が詳しい).

文法誤り検出／訂正システムの評価を目的とした，訂正難易度の定量化 [2] や誤り情報の信頼性推定 [3] に関する研究もある. 訂正難易度や誤り情報の信頼性はある種の重要度と解釈することもできるが，本研究で目指す書き手の意図が正確に伝わるということを考慮する訂正の重要度とは異なる。

## 3 訂正重要度の定量化手法

訂正前後の意味を分散表現として表すことが提案手法の基礎となる．以降では，訂正前後に対応する分散表現をべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ でそれぞれ表記する. この $\boldsymbol{e}$ とが，訂正前後の文の意味を精度よく表現していれば， $\boldsymbol{e}$ と $\boldsymbol{c}$ の差異に基いて， 1 節で述べた訂正の重要度を定量化できる. 二つのベクトルの差異は，ベクトル間の余弦類似度で定量化することが多く，本稿でも採択する。ただし，值が高いほど重要であるという尺度にするために，1 から余弦類似度を引いた値を訂正の重要度とする。

2）矢印前後で訂正前後の単語列を表している. また， $\phi$ は空単語で，単語の削除（と追加）を表すのに使用する.

ここで問題となるのは, $\boldsymbol{e}$ とをどのように得るかということである. 様々な方法が考えられるが，本稿では，次の二つの方法を検討する。基本的に，言語モデル（具体的には BERT）から得られる分散表現を用いる.

一つ目の方法では, 単語の分散表現を $e, c$ とする. 具体的には，（1）訂正前後の文をそれぞれ独立に BERT に入力し，最終層の出力を得る，（2）出力として得られる分散表現のうち訂正前後の単語列に対応するものを，それぞれ $\boldsymbol{e}, \boldsymbol{c}$ とする. ただし，複数の単語からなる単語列の場合は平均をとる. このようにして得られた分散表現間の余弦類似度は訂正前後の単語列が表す意味の差に対応すると解釈できる.

この方法は直感的ではあるが，余剩誤りと抜け誤りの場合に問題が生じる。例えば，“We know about $\rightarrow \phi$ the issue.”では単語 about が余剰であり，訂正文では削除されている.このように削除された単語列については, どのように分散表現を求めたらよいかは自明ではない，同様のことが，抜けの誤りの場合に訂正前の文で起こる。本稿では，余剩／抜け単語の左右の単語に対する分散表現の平均をとることとする.

二つ目の方法は，この問題をより直接的に解決する. BERTでは, 一文全体に対応する分散表現が得られる。すなわち，特殊トークン [CLS] に対応する分散表現を $\boldsymbol{e}$ と $\boldsymbol{c}$ とす. ただし, 個々の訂正の重要度を定量化するために，一文内に複数の誤りがある場合でも，一度に訂正する誤りは一つとする。この方法では, 訂正前後の単語列に直接着目するのではなく, 訂正前後で文全体の意味がどのように変化したかに基いて訂正の重要度を定量化する。

以上の通り，提案手法では，訂正前後の情報から得られるべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ に基いて訂正の重要度を定量化しようとする. 仮に, $\boldsymbol{e}$ や $\boldsymbol{c}$ で単語や文の意味を表すことができるとして，訂正前の文が表す意味とは何かという問題が生じる. 例えば, “He read an book." というのは非標準であり，意味をなさないと主張することもできる. 逆に，訂正できるということは, 訂正前の文でも訂正後の文と同じ意味が伝わると主張することもできる. 提案手法では，次のような仮定と近似を暗に行っている。まず，誤りを含む文が表す仮想的な意味が存在し，空間内のある一点に対応づけられると仮定している. 同様に，訂正された文の意味も同一空間内の点に対応付けられ
ると仮定している。（この二点間が十分に近い場合，人間は前者から後者を特定できるが)，提案手法では，この二点間の差異を近似的に訂正の重要度としていると解釈できる。

## 4 使用データ

提案手法の有効性を定性的に分析するために内省に基いて訂正の重要度が異なる例文を作成した。表 1 に結果を示す. 表 1 では, 訂正のカテゴリごとに作例を区分けし，訂正の重要度が高いと思われる順に並べている．カテゴリと重要度の並べ替えの詳細は付録 $\mathrm{A}$ に示す通りである。

作例に加えて，二種類の学習者コーパスも用いた. 一つ目は, CoNLL-2013 Shared Task [4] のテストデータとした. 分析の容易さを考えて，限定詞，名詞の数, 主語動詞の一致, 前置詞, 動詞の形態に関する 5 種類の誤りのみがアノテーションされたものを用いた。二つ目は，ICNALE [5] に，独自に誤り情報を付与した 1,894 文を用いた。誤り体系 [6]（20 種の誤り）を用いた。

## 5 訂正重要度の定性分析

## 5.1 作例を対象にした場合

表 1 の作例に対して，提案手法を適用して訂正の重要度を求めた. 表の第 $3 ， 4$ カラムが文ベースの手法と単語べースの手法の結果にそれぞれ対応する. 括弧内の数は，内省の順位との差を表す。

文ベースの手法の結果は内省の結果に非常に類似する．異なるのは動詞に関する誤りのみである。内省では, listened to と heard とで表す意味が異なるため重要度が一番高いとしたが，提案手法ではカテゴリ内でもっとも重要度が低くなっている. 訂正前後とも文法的には正しく，また，「聞く」という基本の意味は共通するため重要度が低くなった可能性がある. 他のカテゴリについては, 内省による重要度順と同一である. 例えば，直感的には， $a \rightarrow \phi$ books と a books $\rightarrow$ book は同程度重要と感じられるが，推定された重要度も類似した値になっている（ただし，重要度の差異をどのように解釈すべきかは別の問題であり注意が必要である).また, “We discussed about $\rightarrow \phi$ the issue.” は, 重要度はカテゴリ内で最も低い. 確かに，この誤りは意味が伝わるという観点からは致命的な誤りでないともいえる。もちろん，母語話者らしい英語という観点からは重要な訂正で
表 1 内省に基いて作成した例文と訂正重要度の推定結果.

} & He read $\mathrm{a} \rightarrow \phi$ books. & $0.030(0)$ & $0.586(0)$ \\

あるが，ここで強調したいのは，このように訂正の重要度を定量化することで文法誤り訂正を新しい観点から議論できる可能性があるということである.

一方，単語ベースの手法では順位の入れ替わりが散見される. 特に余剩の誤りの訂正が重要とみなされる傾向にある. 例えば，“He read $a \rightarrow \phi$ books." が全訂正中で最も重要度が高い。これは, 3 節で述べたように余剩／抜け誤りでは, 比較する単語に問題があることに起因する。この例では， a と read books に対する分散表現を比較している。この比較は直感に合わず，改善の余地がある．この点において，文の分散表現に基いた手法のほうがより自然に訂正の重要度を定量化しているといえる。このことを考慮して，以降では文べースの手法の結果を報告する。

## 5.2 学習者コーパスを対象にした場合

表 2 に，CoNLL-2013 における重要度の上位/下位 5 件を示す3).なお，学習者コーパスを対象にした場合は，一文中に複数の誤りが含まれる場合があり，表 2 も含めて，以降の結果では，一見適切でないように思える訂正もあることに注意されたい. 例えば，表 2 の最終行は，全体として， a problem of the health of the $\rightarrow$ an unhealthy society と訂正されている.

表 2 では，大きな傾向としては，冠詞と名詞の数に関する誤りが最も重要と認識されている。特に,定冠詞の有無は，一般への言及（2，4 行目）と特定物への言及（1，5 行目）という違いがあり，伝わる意味を大きく左右することが多い. このことを（少なくとも表 2 の範囲で）定量化結果は反映している. 逆に, 主語動詞の一致, 前置詞の誤りは重要度

3）表 2 では，重要度が 0 と表記されているものもあるが，厳密には 0 ではなくごく小さい值を丸めた結果である. が低い。例えば，available for $\rightarrow$ to の重要度は最も低い部類であるが，for でも書き手の意図は十分に伝わる. また，冠詞の誤りであっても，a/an の使い分けについては重要度は低い，ただし，上の議論で重要度が高いと分析した訂正（例: 名詞の単複）でも重要度が低いと認識されている例もある。これは後述するように，文長が影響している可能性がある.

表 3 に，ICNALEを対象にした場合の上位 10 件を示す (紙面の関係から, 下位 10 件は付録 B に示す). この結果も，表 2 と同じような傾向を見て取ることができる. 加えて，文意において重要な役割を果たす要素 (主語, 目的語, 接続詞) が上位に来ている. また，could の有無から生じる差異を捉えているところも興味深い。

以上の結果を要約すると，提案手法は，誤りのために書き手の意図とは異なる意味が伝わる，または，複数の解釈が生じる（例： a books； a book か books で曖昧）ケースを重要であるとみなす傾向にある。一方，a/an の使い分けや主語動詞の不一致など形式的な誤りは重要度を低く見積もる. どちらのケースがより重要かは目的によるが，意味が伝わるということを重視した場合は，提案手法には所望の重要度を定量化できる可能性がある. しかしながら，提案手法は非常にシンプルなアイデアに基づいているため，いくつかの改善すべき点がある. 6 節でこの点について考察する。

## 6 提案手法の改善すべき点

前節までに示した定量化の結果をみると，重要度が上位の文は文長が短くなる傾向にあることがわかる.これは，文が長くなるにつれて，一つの誤りが文全体の意味に及ぼす影響が小さくなるためと予想できる. すなわち，訂正前後の文長が重要度に影響
表 2 CoNLL-2013（5 種類の誤りタイプ）における訂正重要度（上位／下位 5 件).

表 3 ICNALE における訂正重要度（上位 10 件).

する可能性がある．同様に，(今回の結果には顕著には見られないが)，訂正前後の単語列の長さも影響を及ぼす可能性がある。

また別の問題として，一文中にいくつの誤りが存在するかということもある. 提案手法では，一度に一つの誤りのみを訂正して重要度を算出しているが，このことは理論上，次の問題を引き起こす可能性がある。例えば，表 2 の 7 行目や最終行のように，一度に一つの誤りのみを訂正すると，不自然な文となる場合がある。このような不自然な文と原文を比較して得られる余弦類似度の差異は，伝わる意味の差異に適切に対応しない可能性が高い。また,一文中の誤りの数が増えると文全体としての意味の差異は大きくなると予想されるが，全体としての差異をどのように個々の誤りに還元するかということも問題になる. 更に，このことは，誤りの単位をどのように設定するかという別の問題にもつながる.例えば， the books a book に訂正した場合，誤り数 2 （冠詞と名詞の数の誤り）とすることも，全体と
して1つとすることもできる．この例では，直感的には全体として一つの誤りとして重要度を定量化すればよいように思われるが，別の例ではその限りではない (例：the book has を the books have に訂正した場合)。

以上をまとめると，提案手法には，少なくとも次の 3 つの改善すべき点があるといえる：

1. 訂正前後の文長から受ける影響の低減

2. 訂正前後の単語列の長さから受ける影響の低減

3. 複数の誤りの取り扱い

より実用的な訂正重要度の実現のためには，これらの要因について調整が必要である. 例えば，文長や訂正前後の単語列の長さで正規化することなどが考えられる ${ }^{4)}$.また，複数の誤りの取り扱いについては，連続した誤りを一つにまとめ，訂正前後とも訂正箇所の左右の単語に対応する分散表現を使用することなどが考えられる．更に，推定された訂正の重要度をどのように定量評価するかというのも今後の課題となる.

## 7 おわりに

本稿では，文法誤り訂正に，訂正の重要度という新たな観点を導入した. 訂正前後の文から得られる分散表現に基いて訂正の重要度を定量化する手法を提案した。作例および実際の学習者コーパスに適用し，有効性と改善すべき点を議論した．定性分析の結果，定量化された訂正の重要度は直感に合う部分も見られたが，実用のためには，改善すべき点があることも確認された。

4）試しに，訂正後の文長を対数にしたもので正規化したところ，正規化の影響が強すぎる傾向がみられた。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたも

のである.

## 参考文献

[1] 白畑知彦. 英語指導における効果的な誤り訂正. 大修館書店, 東京, 2015.

[2] Takumi Gotou, Ryo Nagata, Masato Mita, and Kazuaki Hanawa. Taking the correction difficulty into account in grammatical error correction evaluation. In Proc. of 28th International Conference on Computational Linguistics, pp. 2085-2095, 2020.

[3] Nitin Madnani, Martin Chodorow, Joel Tetreault, and Alla Rozovskaya. They can help: Using crowdsourcing to improve the evaluation of grammatical error detection systems. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 508-513, 2011.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[5] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[6] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

## A 作例の詳細

内省に基いて作成した作例の詳細を示す. 表 1 では，作例を誤りのカテゴリ（動詞，限定詞／数，前置詞）に区分けし，直感に基いて訂正の重要度順に並べている。

「動詞」では, listened to と heard とで表す意味が異なるため重要度が一番高いとした. また, 二行目は動詞の意味は同じであるが，現在／過去の違いを考慮し二番目に高いとした. 最後の例は，表す意味はほぼ同じと予想し，一番重要度が低いとした。

「限定詞／数」における最初の二例は，訂正前後で伝わる意味の差異は同じ程度と考えられるが，表の上では同順位が表せないため，便宜上この順で表している。一方，最後の例は $\mathrm{a}$ と an の使い分けに関する誤りであり，伝わる意味にほとんど差異がない. したがって，先の二例より重要度は低いとした。

「前置詞」における最初の例は，about $\rightarrow \phi$ では 「知っている」という基本の意味は共通するが訂正前後でニュアンスが異なるため最も重要度が高いとした. 残り二例は最初の例と異なり文脈や意図とは関係なく常に誤りである。二つ目の例 agrees $\phi \rightarrow$ to は， to 以外にも訂正候補が考えられる。一方，三つ目の例 “We discussed about $\rightarrow \phi$ the issue.” については （前置詞の訂正としては）aboutを削除する方法以外は訂正候補がない，言い換えれば，前後の単語から about が必要がないことがほぼ確定することから， このような重要度順とした。

## B ICNALE における結果の詳細

表 4 に，ICNALE を対象にして訂正の重要度を定量化した下位 10 件を示す. ただし，独自に訂正情

表 4 ICNALE を対象にした訂正重要度（下位 10 件)。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 根拠箇所に基づく自動採点結果の説明

佐藤 汰亮 ${ }^{1,2}$ 舟山 弘晃 ${ }^{1,2}$ 塙 一晃 ${ }^{1,2}$ 浅妻佑弥 ${ }^{1}$ 乾 健太郎 1,2
1 東北大学 2 理化学研究所
\{tasuku.sato.p6, h.funa, asazuma.yuya.r7\}@dc.tohoku.ac.jp
inui@tohoku.ac.jp
kazuaki . hanawa@riken.jp

## 概要

深層学習の進歩に伴い，自動採点の性能は向上した.しかし，深層学習モデルは内部挙動がブラックボックスであるため，採点の根拠を説明できない.本研究では，根拠箇所提示問題のタスクを説明性の観点から再定義し, 複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，説明性の高い根拠箇所提示手法を確かめた. 実験により，自動採点の分野では注意重みは最も妥当性が高く，勾配を用いた手法と同程度に忠実性が高いことがわかった. また, Integrated Gradients は最も忠実性が高く, 注意重みと同程度に妥当性が高いことがわかった. ここから，自動採点の分野では，説明性における妥当性と忠実性，どちらの観点を重要視するかを元に根拠箇所提示手法を使い分けることが重要であることがわかった.

## 1 はじめに

自動採点とは，ある設問に解答した答案に対し，自動で得点を付与するタスクである. 図 1 に例を示す. 自動採点は，教師の採点労働を軽減できることや，人手による採点ブレがなく，公正な採点を行えることから, 教育現場での需要があり, 研究が行われている $[1,2,3]$. また, 答案に対して即時にフィー ドバックを返せることから，自学学習のためのオンラインツールとしての実応用化が進んでいる [4].

深層学習の進歩に伴い, 自動採点の性能は向上した $[1,2,3]$. しかし, 深層学習モデルは内部挙動がブラックボックスであり，採点の根拠を説明できない. 自動採点の分野では採点基準が厳密に定まっているため，モデルが採点の根拠を説明できないことはユーザの不信感につながる. また開発者としても，採点の根拠を説明できないモデルはデバッグを難解にする．以上の観点から，採点根拠の説明性は採点性能と同等に重要な要素である。

深層学習モデルの意思決定を人間が解釈できる形で提示することは，法律や医療など，様々な分野で重要視されている [5, 6]. このような性質を説明性と呼ぶ. 説明性の高いモデルの需要は高まっており, XAI [7] の文脈で活発に研究が行われている.

Jacovi ら [8] は, 説明性を妥当性 (plausibility) と忠実性（sufficiency）の2つの観点でまとめている.妥当性とは，予測に対する説明が，人間にとってどの程度納得のいくものであるかを表す概念である.忠実性とは，予測に対する説明が，モデルの予測過程をどの程度反映しているかを表す概念である。

Mizumoto ら [2] は，自動採点における得点予測根拠の提示性能を評価するため，根拠箇所提示問題 (2 節参照）を定義した．彼らは，注意層を根拠箇所ラベルで教師あり学習するモデルとしないモデル（3.4 節参照）を比較した結果，前者は後者と比較し，根拠箇所提示性能が高いことを示した。

しかし Mizumoto ら [2] は, 根拠箇所提示手法を真の根拠箇所との一致度 (妥当性) のみで評価しており，忠実性に対する評価を行っていない。また，根拠ラベルを用いた学習手法や根拠箇所提示手法が複数考えられる中，彼らは一つの手法のみを取り上げており，十分な評価が行われているとはいえない。

本研究では, Mizumoto ら [2] による根拠箇所提示問題のタスクを，説明性 [8] の観点から再定義した.また，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，説明性の高い根拠箇所提示手法を確かめた. 実験の結果，注意重みは最も妥当性が高く，勾配を用いた手法と同程度に忠実性が高いことがわかった. また Integrated Gradients は最も忠実性が高く, 注意重みと同程度に妥当性が高いことがわかった. 以上のことから，自動採点においては，説明性のどの観点を重要視するのかによって根拠箇所提示手法を選択す

図 1 自動採点のタスク概要図. 答案中の下線部は根拠箇所であり，採点基準の情報を包含した箇所を表す.

ることが重要であることがわかった.

## 2 問題設定

本研究では，自動採点における根拠箇所提示問題に取り組む.

まず自動採点とは，答案 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{t}\right)$ に対し， その得点 $s \in\{0,1, \ldots, S\}$ を出力するタスクである. ここで， $x_{t}$ は $t$ 番目の単語， $S$ は配点である. また，一つの設問に対して複数の採点項目が存在し，各採点項目の配点の合計点がその答案の得点となる. 採点性能は QWK [9]によって測る.

根拠箇所提示問題とは，入力答案 $\boldsymbol{x}$ において，得点予測の根拠箇所ラベル $\boldsymbol{r}=\left(r_{1}, r_{2}, \ldots, r_{t}\right), r_{t} \in\{0,1\}$ を提示するタスクである. ここで， $r_{t}=1$ のとき，単語 $x_{t}$ が根拠箇所とみなされる. モデルから任意の方法で生成された特徴マップを $\boldsymbol{f}=\left(f_{1}, f_{2}, \ldots, f_{t}\right)$, $0<f_{t}<1, \sum \boldsymbol{f}=1$, その最大値を $f_{\text {max }}$, 閾值を $h \in\{a \in R \mid 0 \leq a \leq 1\}$ とすると, $r_{t}$ は $f_{\text {max }}-f_{t}<h$ のとき 1 ，それ以外は 0 である.

生成された根拠箇所は，妥当性と忠実性 [8] の観点から評価を行う. 詳細は 3.5 節で述べる.

## 3 実験設定

本研究では，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，最も説明性の高い根拠箇所提示手法を確かめる.

## 3.1 データセット

本実験では，2022 年 2 月に公開を予定している， NII 国立研究所理研記述問題採点データセット第 2

述した答案テキストと，採点者によって付与された得点及び，その得点を付与した根拠となる根拠箇所
 る. https://www.nii.ac.jp/dsc/idr/rdata/RIKEN-SAA/
の 3 つ組で構成されている. 各設問には複数の採点項目が存在し，それぞれの項目毎にアノテーションが付与されている，今回は，採点項目ごとに独立してモデルを学習し，評価を行う。

このデータセットにおける自動採点は加点式の情報包含問題であるため，0 点答案には根拠箇所のラベルが付与されていない，そのため， 0 点答案が全体の半分以上を占める採点項目は実験の対象から除外する。実験はデータを学習データ 200 件，開発データ 100 件，評価データ 200 件に分割し， 33 個の採点項目を対象に行う。

## 3.2 モデル

実験には Riordan ら [1] を参考に，単語埋め込み + biLSTM + 注意層の分類器モデルを使用する. 単語埋め込みは $\mathrm{MeCab}[10]$ で単語分割された Wikipedia のデータを用い，word2vec で学習されたものを使用する. モデルパラメータの詳細や注意層の詳細は参考情報の A. 1 節を参照されたい.

## 3.3 特徴マップ

根拠箇所提示手法として，以下の手法によって生成された特徴マップを使用する。勾配から特徴マップを生成する手法では，各入力単語に対して得られるべクトルのノルムをとり，特徴マップとする。

注意重み注意層における注意重みを，予測に対する各単語の重要度だとみなし, 特徴マップとして使用する手法.

Saliency Map [11] 各入力の損失に対する勾配から生成する手法.

Input X Gradient [12] Saliency Map の特徵マップに対して，入力を乗算する手法. 入力の特徴量を反映した特徴マップの生成が可能となる.

Integrated Gradients [13] 勾配をべースラインから入力方向へ積分し, 生成する手法. Implementation Invariance と Seisitivity の公理を満たし，説明性の高い特徴量を生成できるとされている。

Random 一様分布から特徴マップを生成する手法.

## 3.4 損失関数

自動採点データセットには得点ラベルと根拠箇所ラベルが含まれるが. これらの信号を用いたモデルの学習方法として，以下の方法が考えられる。

得点学習モデルの最終出力と得点ラベル間の交差
表 1 損失関数ごとの QWK の結果

表 2 根拠箇所の一致度（妥当性， $\uparrow ） の$ 結果

表 3 削除率（忠実性， $\downarrow$ ）の結果

エントロピー誤差をとる。

注意層学習注意層の重みを根拠箇所ラベルで教師あり学習する。

勾配ノルム学習各入力の損失に対する勾配のノルムを根拠箇所ラベルで教師あり学習する。

勾配ノルム学習を行なった先行研究は存在しないが，勾配を教師あり学習する研究は存在し，タスクの性能が向上することが報告されている [14]. よって，勾配ノルム学習も注意層学習と同じ枠組みで学習できると考えられる. 勾配ノルム学習に用いる特徵マップには Saliency Map や Input X Gradient なども考えられるが，今回は最も説明性が高いとされている Integrated Gradients を使用する。各学習方法の損失関数 $\mathscr{L}_{\text {score }}, \mathscr{L}_{\text {attn }}, \mathscr{L}_{\text {grad }}$ の詳細は参考資料の A. 2 節を参照されたい.

本実験では，これらの損失関数の組み合わせとして, $1: \mathscr{L}_{\text {score }}\left(\right.$ uns), $2: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {attn }}($ attn), $3: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {grad }}$ (grad), $4: \mathscr{L}_{\text {score }}+\mathscr{L}_{\text {attn }}+\mathscr{L}_{\text {grad }}$ （attn\&grad）の 4 通りの学習方法を比較する.

## 3.5 評価指標

本実験では，採点精度の評価尺度として quadratic weighted kappa (QWK) [9]を使用する。説明性は，妥当性を根拠箇所の一致度 [2]，忠実性を削除率 [15,16]，包括性 [17]，十分性 [17] で評価する．採点項目毎にシード値の異なる 10 個のモデルを学習し，その平均を実験結果とする。

根拠箇所の一致度根拠箇所の一致度は妥当性の評価尺度である。f1 值を用い，モデルが提表 4 十分性（忠実性， $\downarrow ） の$ 結果

表 5 包括性（忠実性， $\uparrow ） の$ 結果

示した根拠箇所と，真の根拠箇所との一致度合いを測る. 図 1 の事例において、真の根拠箇所は「西洋人」であり、対してモデルが提示した根拠箇所が「人は他人」だったとする。このとき，真陽性は 1（人）であり，偽陽性は2（は他人)，偽陰性は 1 （西洋）である。よって，precision は $1 /(1+2)=0.33$, recall は $1 /(1+1)=0.50$ となり, f1 值は $2 \times 0.50 \times 0.33 /(0.50+0.33)=0.375$ である.

削除率削除率は Serrano ら [15] や Mohankumar ら [16] による忠実性の評価指標である。特徴マップの値が高い単語から降順にマスクしていき，予測ラベルが変化するまでに削除した単語の比率を計算する．特徴マップがモデルの予測過程を反映しているならば，より早い段階で予測が変化すると考えられ，削除率が低いほど忠実度が高いといえる。

先述の通り，自動採点は加点式の情報包含問題である. そのため，得点予測が 0 点の答案は大力単語のマスクによる予測ラベルの変化が生じないと考えられ，そのような答案は評価対象から除外する。

包括性, 十分性包括性と十分性は Deyoung ら [17] による忠実性の評価指標である。包括性は，根拠箇所が予測にどれほど影響を及ぼすかを表し，大きいほど忠実性が高い。十分性は，根拠箇所が予測を行う上での十分な情報を含むかを表し，小さいほど忠実度が高い. 入力 $\boldsymbol{x}$ に対してモデル $m$ が出力するクラス $j$ の予測確率を $m(\boldsymbol{x})_{j}$, モデルが出力する特徴マップの上位 $k \%$ の単語以外をマスクした入力を $\boldsymbol{x}_{\boldsymbol{r}_{\boldsymbol{k}}}$ とすると, 包括性は $m(\boldsymbol{x})_{j}-m\left(\boldsymbol{x} \backslash \boldsymbol{x}_{\boldsymbol{r}_{\boldsymbol{k}}}\right)_{j}$, 十分性は $m(\boldsymbol{x})_{j}-m\left(\boldsymbol{x}_{\boldsymbol{r}_{k}}\right)_{j}$ で表せる. 彼らの害験では, $k=1,5,10,20,50$ の評価值を平均しているが，我々も彼らの実験設定に倣う.また削除率同様に，得点予測が 0 点の答案は評価対象から除外する。
表 6 ある採点項目におけるモデル出力の例

 & - \\

## 4 実験結果

表 1 は損失関数ごとの QWK の結果である. 先行研究 $[2,3]$ と同様に, 注意層を教師あり学習することにより，QWK が向上した．また，勾配を教師あり学習することで，同様に QWK が向上した．注意層と勾配の教師あり学習をどちらも行うことによって，どちらか一方を使用する時と比較して更に QWK が向上した. 今回の研究は説明性に対する研究であるため, QWK 向上の原因には触れないが，非常に興味染い今後の研究課題である.

妥当性の結果表 2 は根拠箇所の一致度（f1 値） の結果である. uns ではどの手法も値に優劣がないが， attn や grad， attn\&grad では Random を除いたどの特徴マップでも一致度が向上することがわかった. また, attn では注意重みの一致度が, gradでは Integrated Gradients の一致度が各々大きく向上していることから，根拠箇所提示手法として活用したい特徴マップと，学習の手法を揃えることで，妥当性をより高めることが可能であることがわかった.

忠実性の結果表 3, 4, 5 は削除率, 十分性, 包括性の結果である．unsの包括性による評価では，注意重みが最も忠実性が高く, それ以外の実験設定,評価指標では, Integrated Gradients が最も忠実性が高かった. また，評価指標により優劣は入れ替わるものの，注意重みは Input X Gradient より忠実性が高かった.ここから, 注意重みは Integrated Gradients に劣りつつ, 勾配べースの特徴マップと比較し同等程度に忠実性が高いことがわかった. 先行研究では，注意重みは勾配べースの手法と比較して忠実性に劣ることが報告されている $[15,18,16,19]$ が，今回の実験ではそのような現象は見られなかった.

分析実験から, 注意重みは妥当性が高く, Integrated Gradients は忠実性が高いことがわかった.採点項目ごとに両者の削除率を分析すると，注意重みが Integrated Gradients に大きく負けている採点項目がいくつか見られた. それらの採点項目で何が起きているのか，具体事例を元に分析を行なった.表6に, attnにおける注意重みと Integrated Gradients によって提示された根拠箇所及び削除率の事例を記した. 等案の青色太文字は真の根拠箇所または，モデルが予測した根拠箇所である。注意重みは真の根拠箇所と一致度が高い一方, Integrated Gradients は真の根拠箇所の周辺に着目している事例が散見された. 注意重みと比較して Integrated Gradients は削除率が低いことから，モデルは本来着目して欲しい真の根拠箇所ではなく，その周辺単語を元に得点を予測している，つまり，擬似相関を起こしている可能性が考えられる。

## 5 おわりに

本論文では，自動採点における根拠箇所提示手法の説明性向上を目指し, Mizumoto らによって提唱された根拠箇所提示問題を，Jacovi らによって提唱された説明性を元に再定義した。また，複数の損失関数と複数の根拠箇所提示手法の組み合わせで複数パターンの実験を行い，最も説明性の高い根拠箇所提示手法を検討した. 実験の結果，注意重みは最も妥当性が高く, 勾配を用いた手法と同程度に忠実性が高いことがわかった。また, Integrated Gradients は最も忠実性が高く, 注意重みと同程度に妥当性が高いことがわかった. ここから，自動採点の分野では，説明性の妥当性と忠実性，どちらの観点を重要視するかを元に根拠箇所提示手法を使い分けることが重要であることがわかった.

先行研究では，注意重みを用いた特徴マップは勾配を用いた特徵マップと比較して忠実性に劣ると言われいる $[15,18,16,19]$. しかし, これらの研究による結果は，「注意重みの忠実性が低下する現象が起こりうる」ことを示すものであり，「注意重みが必ず忠実性が低い」ことを主張するものではないため，本研究の実験結果と矛盾するものではない.

今回，採点項目によっては擬似相関によって注意重みの忠実性が低下することもわかった. 今後の方針として，モデル内部の擬似相関を改善する手法を考えていきたい.

## 謝辞

実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します.

## 参考文献

[1] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, Florence, Italy, August 2019. Association for Computational Linguistics.

[3] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[4]【業界初】代ゼミが「記述式を ai 採点する現代トレーニング」をリリース. https: //www.yozemi.ac.jp/news/press/__icsFiles/ afieldfile/2021/05/27/aisaiten_210527.pdf. Accessed: 2022-01-10.

[5] Fei Wang, Rainu Kaushal, and Dhruv Khullar. Should health care demand interpretable artificial intelligence or accept "black box" medicine? Annals of internal medicine, Vol. 172, No. 1, January 2020.

[6] Alexandra Chouldechova. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments, 2016.

[7] Erico Tjoa and Cuntai Guan. A survey on explainable artificial intelligence (xai): Toward medical xai. IEEE Transactions on Neural Networks and Learning Systems, Vol. 32, No. 11, p. 4793-4813, Nov 2021.

[8] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[9] J. Cohen. Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 70 4, pp. 213-20, 1968.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In EMNLP, pp. 230-237, 2004.
[11] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[12] Avanti Shrikumar, Peyton Greenside, Anna Shcherbina, and Anshul Kundaje. Not just a black box: Learning important features through propagating activation differences, 2017.

[13] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 3319-3328. JMLR.org, 2017.

[14] Damien Teney, Ehsan Abbasnejad, and Anton van den Hengel. Learning what makes a difference from counterfactual examples and gradient supervision. CoRR, Vol. abs/2004.09034, , 2020.

[15] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2931-2951, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Akash Kumar Mohankumar, Preksha Nema, Sharan Narasimhan, Mitesh M. Khapra, Balaji Vasan Srinivasan, and Balaraman Ravindran. Towards transparent and explainable attention models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4206-4216, Online, July 2020. Association for Computational Linguistics.

[17] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[18] Sarthak Jain and Byron C. Wallace. Attention is not Explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3543-3556, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Bing Bai, Jian Liang, Guanhua Zhang, Hao Li, Kun Bai, and Fei Wang. Why attentions may not be interpretable? In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining, KDD '21, p. 25-34, New York, NY, USA, 2021. Association for Computing Machinery.

## A 参考情報

## A. 1 モデル

注意層注意機構は Lin ら [?] の自己注意を用いる. $d_{h}$ 次元の隠れベクトルを $\boldsymbol{h}_{\boldsymbol{t}}, d_{o u t} \times d_{h}$ 次元の行列を $W_{s 1}, d_{\text {out }}$ 次元のべクトルを $\boldsymbol{w}_{s 2}$ とすると，注意による重み付き平均 $\boldsymbol{h}_{\boldsymbol{a t t n}}$ は以下のように求められる。

$
\begin{aligned}
a_{t} & =\operatorname{softmax}\left(\boldsymbol{w}_{\boldsymbol{s} 2} \tanh \left(W_{s 1} \boldsymbol{h}_{\boldsymbol{t}}^{\boldsymbol{T}}\right)\right) \\
\boldsymbol{h}_{\text {attn }} & =\sum_{t=1}^{T} a_{t} \boldsymbol{h}_{\boldsymbol{t}}
\end{aligned}
$

ここで $, W_{s 1}, w_{s 2}$ は学習パラメータである.

表 7 モデル詳細

## A. 2 損失関数

$C E$ を cross entropy loss, $N$ をデータ数, $s_{p}$ を得点の予測確率， $\hat{s}$ を真の得点， $\hat{r}$ を真の根拠箇所， $T$ を文長， $f^{a t t n}$ を注意重み， $f^{g r a d}$ を Integrated Gradients による特徴マップとすると，各損失関数は以下のように表せる.

$
\begin{aligned}
& \mathscr{L}_{\text {score }}=\frac{1}{N} \sum_{n=1}^{N} C E\left(s_{p}^{(n)}, s_{g}^{(n)}\right) \\
& \mathscr{L}_{\text {attn }}=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T}\left(f_{t}^{a t t n}{ }_{t}^{(n)}-\hat{r}_{t}^{(n)}\right)^{2} \\
& \mathscr{L}_{\text {grad }}=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T}\left(f_{t}^{\text {grad }}{ }_{t}^{(n)}-\hat{r}_{t}^{(n)}\right)^{2}
\end{aligned}
$


# 論述リビジョンのためのメタ評価基盤

三田 雅人 1 坂口 慶祐 ${ }^{2}$ 萩原 正人 ${ }^{3,4}$ 水本 智也 ${ }^{5,1}$ 鈴木 潤 6,1 乾 健太郎 6,1
1 理化学研究所 ${ }^{2}$ Allen Institute for AI ${ }^{3}$ Earth Species Project
${ }^{4}$ Octanove Labs 5 フューチャー株式会社 6 東北大学
masato.mita@riken.jp

## 概要

論述やエッセイの作文のように文書単位で行うリビジョンには，従来の文単位文法誤り訂正の研究範囲では捉えきれない論述全体の流れや一貫性といった要素が含まれる。また，文書単位のリビジョンは妥当な参照が多岐にわたることから高精度な参照なし評価尺度の実現が大きな課題となる. 本研究では，自動論述リビジョンの実現に向けて，高精度な自動評価尺度の開発促進を目的としたメタ評価基盤を提案する。そして，大規模言語モデルを用いたベースライン自動評価尺度を用いた自動評価の現状と実現可能性を示す。

## 1 はじめに

論述やエッセイ等の作文において，リビジョンは重要な段階である. プロセスライティング教育学では，作文には，まず最初に文書単位で全体的な編集を行う Revision があり，その後，文または句単位での編集を行う Editing, 最後に単語単位での細やかな編集を行う Proofreading の 3 段階があるとされている $[1,2]$.

これに対し，自然言語処理（NLP），特に文法誤り訂正 (GEC) 分野では単語単位を中心としたスぺリングや文法誤りなどを対象とした局所的な編集 (Minimal edit) [3,4] から，句や文単位で流暢性を考慮した編集 (Fluency edit) [5,6] へと研究範囲を広げてきたといえる（図 1).リビジョンには，従来の文単位 GEC の研究範囲では捉えきれない，論述全体の流れや一貫性・結束性といった評価項目に基づく様々な編集が含まれると考えられる。しかし，NLP におけるリビジョンに関する既存研究の多くは文単位を対象にしており [7,8]，また論述やエッセイなどを文書単位で自動的にリビジョンを行うタスク （本稿では，論述リビジョンと呼ぶ）も存在しない。論述リビジョンの設計を考えた場合，高精度な参

図 1 本研究の位置付け. 図中の例は本研究で構築したデータセットに含まれていた実例である.

照なし自動評価の実現が大きな課題となる。なぜなら文書単位のリビジョンの場合，文結合や文分割，文の並び替えなどといった文を跨いだ編集も含まれるため参照との正確な照合自体が困難であり，また妥当な参照も多岐にわたるため参照あり評価は現実的ではないからである（図19実例を参照)。参照なし評価尺度を用いる場合，その評価尺度がどの程度人間の判断と相関があり信頼できるものかといった自動評価尺度の“評価（メ夕評価）”が必要となる.

そこで本研究では論述リビジョンの実現に向け

## て，評価項目毎に高精度な参照なし自動評価尺度の開発促進を目的としたメタ評価基盤を提案する. 具体的には，提案メタ評価基盤は論述リビジョンのた めのデータセットである Text Revision of ACL paper (TETRA)，およびメ夕評価手法である Instance-based Revision Classification (IRC) の2つによって実現す る ${ }^{1)}$. TETRA は，ACL 系論文に対して文書レベル のリビジョンをアノテーションしたデータセットで あり，従来の局所的な編集タイプに加えて，文書単位での大域的な編集タイプにも対応可能なアノテー

1） 構築したデータセットは今後一般公開する予定である

ションスキームに基づいて設計されている. IRC は，人間の専門家によるリビジョンに対して，編集事例毎にどの程度開発した参照なし評価尺度がリビジョンの良し悪しを判別できるかといった二値分類に基づくメタ評価手法であり，その精度が高い参照なし評価尺度が良い評価尺度ということになる。さらに，提案メタ評価基盤では評価項目毎の精度を評価および編集根拠を提示可能であるため，より良い評価尺度の開発に向けた透明性・解釈性の高い分析ができる.

本研究では，大規模言語モデルに基づくベースライン自動評価尺度（ラベル教師あり，なし）を用意し, それらが文書レベルのリビジョンをどの程度正確に判別することができるかについてのメタ評価を行い, 文書レベルのリビジョンに対する自動評価の現状と実現可能性を示す.

## 2 TETRA

## 2.1 データセット設計

論述リビジョンのためのデータセットとして，どのように設計すべきかは自明ではない. そのため,本研究ではまず基本要件として次の 4 つを定めた: （1）段落単位で十分に長い文脈を含んでいる;（2）文法誤りは修正済みである；（3）ドメインは限定的である; (4) 書き手の多様性を担保する. 要件 1 は,論述リビジョンであるための必要条件ともいえる.要件 2 に関して, 文法誤りは既存の GEC タスクで対象としていること, また本研究の狙いである文書単位での品質を向上させることを目的とした大域的かつ高次な編集は，事前により低次な文法誤りが修正されていなければ観察されにくいという仮定に基づいている. 要件 3 に関して, リビジョンは暗黙的なドメインに依存した評価項目（rubric）の存在を前提としており，ドメインを制限しなければ妥当な編集候補が多くなり不良設定問題になるのを避けるためである. 要件 4 に関して, リビジョンの書き手の属性は本質的に多様性があるためデータを収集するうえでも偏らないよう多様性を担保することが重要である.

上記の 4 つの要件を満たすために，次の方法論でデータの選定および収集を行う. まず，要件 1 から 3 を満たすために, 本研究では ACL 系論文の概要および導入節を元データとして採用する. 概要および導入節は一般的に他の節よりも言説構造が重要で
あり，かつ数式などの非テキスト要素が入りにくいと考えられ，多様なリビジョンを収集しやすいと考えられる.アノテーション対象の論文を選択する際は，要件 4 を考慮して，次の 3 つの観点で多様性を担保する：（1）会議/ワークショップ;（2）学生/非学生;（3）母語話者/非母語話者. ここで，観点 2 および観点 3 について機械的に判別することは困難であるため，次の方法論で可能な限り恣意性を除外したうえで選択した。まず，ACL Anthology ${ }^{2}$ ) の会議識別 ID を基に会議およびワークショップ論文をランダムサンプリングする3)．次に，選択された論文を上記 3 観点の組み合わせから構成される全 $8\left(2^{3}\right)$ クラスに人手で分類する ${ }^{4)}$. 各クラスにつき 1 本該当論文を割り当てるまでを 1 バッチとし（つまり， 1 バッチにつき 8 論文を選定)，本研究では結果としてこれを 8 バッチまで行い，合計 64 論文をアノテーション対象の論文として収集した.

## 2.2 アノテーション

本研究では英語母語話者，かつ英文校正の専門家である 3 名のアノテータによりアノテーションを実施した. 具体的には，同じ文書を 3 名が独立的に編集し，各文書につき 3 つの参照を作成した。アノテーションとして, 本研究では 1 段落を 1 文書とみなして段落単位でリビジョンを行うよう指示した。 さらに，各編集に対してどういった観点で段落全体の品質が向上されるかについて編集タイプおよびその編集根拠を自由記述で書くよう指示を与えた.ここで，事前に定義したタイプ集合から選択させるのではなく自由記述とした理由は，文書単位リビジョン固有の言語現象として，どのような種類の編集が存在・観察されるのか自体自明でないからである。

次に，アノテーションしたデータを研究用途として利用しやすい形式にするために，XMLを用いて人手でデータセットの構造化を行った. 具体的には，元論文およびアノテータの識別 ID，節情報といったメタ情報に加え，編集事例毎に編集情報，編集タイプ及び編集根拠を付与した. TETRA の統計量を表 1 に示す.
 ＼mathrm{~ ワ ー クショッフ ゚ 論文 ~}$ の識別 IDを W とみなしてそれぞれ収集した。

4） 母語話者かどうかを判断する際，著者の母語を考慮するのは現実的に難しく，かつ差別的になる恐れがあるため，本研究では筆頭著者の所属の所在地を判断基準とした.
}

図 2 提案メタ評価基盤を用いたメタ評価の概要.

表 1 TETRA の統計量.

表 2 各評価項目の分布.

## 2.3 分析

構築した TETRA にどのような種類の編集が観察されるか，また従来の GECでは観察されない論述リビジョン固有の編集はどの程度含まれるかについて分析するために，一人のアノテータにおける 2 バッチ分のサンプルデータ（計 16 論文）に対して編集タイプの分布を算出した（表 2). ここで，分析のしやすさを目的に各編集タイプを大分類として評価項目毎に人手でまとめた ${ }^{5)}$.その結果, Grammaticality （文法性）に関する編集や Fluency（流暢性）に関する編集といったような従来の GEC に含まれるような編集も観察される一方で, Clarity (明瞭さ)・Style (スタイル)・Readability（読みやすさ）・Redundancy (冗長性) ・ Consistency (一貫性) といった論述リビジョン固有の編集も全体の $66.5 \%$ と大半は論述リビジョン固有の編集だった.

次に，アノテータ間でどのくらい編集が一致したかについて分析する。論述リビジョンにおいては，各編集のスパンの同定およびアノテータ間での対応を機械的に正確に取得すること自体が困難であるため, 本研究では少量のサンプルデータに対して人手

でアノテータ間の編集の対応を取り一致率を計算した. 具体的には，ランダムに選んだ 3 本の論文に対して, 3 人中 2 人以上が概ね同じ箇所を編集していたときの一致率を計算したところ，わずか $33.5 \%$ という結果となった. このことからも，論述リビジョンは妥当な参照が多岐にわたることがわかる.

## 3 提案メタ評価基盤

入力に多数の評価項目が含まれる論述リビジョンの評価方法として, 絶対評価は難しいと考えられる. そのため, 最も素直なメタ評価手法としては,人間の専門家によるリビジョン（gold revision）を用いた二値分類の Accuracy で評価を行うことが考えられる。具体的には，入力としてリビジョン前後の 2 つの文書が与えられたとき, どの程度 gold revision に対して評価尺度が正しく改善と判定できるかの二値分類であり，その精度が高い評価尺度が良い評価尺度ということになる。二値分類のようなペアワイズ比較は, 絶対評価が難しい状況下のメタ評価手法として有効であることが先行研究でも示されている $[9,10]$. しかし，表 2 に示されるような多数の評価項目に基づく多種多様な編集を一括りにして改善したかどうかの二値を提示するだけでは透明性や解釈性の高い分析が難しい。また，評価項目に応じて最適な評価尺度も異なると考えられるため包括的な評価では限界がある [11,12].

そこで本研究では，評価項目毎に高精度な評価尺度の開発促進を目的としたメタ評価基盤を提案する. 図 2 に提案メ夕評価基盤を用いたメ夕評価の概要を示す. 提案メタ評価基盤は，2 節で構築した TETRA とメタ評価手法， Instance-based Revision Classification (IRC) によって実現する。IRCでは，複数の多種多様な編集が混在する文書に対して，1 文書につき 1 編集事例のみからなる文書対（本稿では, one-hot ペアデータと呼ぶ）に変換して二值分類

図 3 メタ評価結果 (Accuracy).

を行うことでメタ評価を行う。これにより，評価項目毎の精度および編集根拠を提示可能となるため, より良い評価尺度の開発に向けた透明性・解釈性の高い分析ができる.

## 4 実験

本節では，ベースラインとなる参照なし評価尺度を用意し，提案メタ評価基盤を用いたメタ評価のデモンストレーションを行う，そして，文書レベルのリビジョンに対する自動評価の現状と実現可能性を明らかにする。

## 4.1 実験設定

評価提案メタ評価基盤でメ夕評価を行うために one-hot ペアデータを構築する。具体的には， TETRAを論文単位で訓練: 評価用に 3（48 論文）:1 （16 論文）に分割し，評価用データを one-hot ペアデータに変換した. ここで，TETRA に付与されている編集タイプは自由記述でアノテーションされている都合上，アノテータ間で異なるラベル集合となっている 6). そこで本実験では， 2.3 節の分析で用いたアノテータ（主アノテータ）のラベル集合を基準とし，残りの二人のアノテータの編集タイプを必要に応じて人手で主アノテータの編集タイプへと対応付けを行った. 上記の手順に従い one-hot ペアデータを構築した結果，1368 文書対となった.

ベースライン評価尺度本実験では, ベースラインとして2つの大規模言語モデル（GPT-2 [13],

6）例えば，語彙選択に関する編集に対してアノテータ間で word choice や word use など異なるラベルを用いていた。
BERT [14]）に基づく参照なし評価尺度（二値分類器）を構築した ${ }^{7)}$. GPT-2を用いたラベル教師なし評価尺度は，入力の二文書それぞれの単語あたりの perplexityを比較し，その大小によって二値分類を行う．BERTを用いたラベル教師あり評価尺度は，TETRA の訓練用データ（全 868 文書対）に対し，半分はランダムにリビジョン前後を入れ替えて負例を作成し，それらを用いて二值分類問題として finetune を行った.なお, ベースラインの構築はいずれも transformers [15] の Pytorch 実装を用いた.

## 4.2 結果

図 3 亿提案メタ評価基盤を用いたメタ評価結果を示す ${ }^{8)}$. まず，図 3 に示されるように，本提案メ夕評価基盤を用いると各評価尺度における評価項目毎の精度が評価可能である。これにより，ユーザは各評価尺度の得意・不得意を分析しながら評価項目毎に最適な評価尺度の開発に専念できる。また本実験結果から，ラベル教師なし評価尺度ではほとんど文書レベルのリビジョンを捉えることができないが， ラベル教師あり評価尺度においては，最も低い評価項目で 0.79 ポイント，最も高い評価項目では 0.90 ポイントの Accuracyを達成していることから，ある程度文書レベルのリビジョンを捉えることができていることがわかる。これはつまり，論述リビジョンという挑戦的な未開拓課題において自動評価の実現可能性が示されたといえる.

## 5 おわりに

本研究では，文法誤り訂正の次なる方向性として文書単位で自動的にリビジョンを行う論述リビジョンという新たな課題を提示し，論述リビジョンのための高精度な参照なし自動評価尺度の開発促進を目的としたメタ評価基盤を提案した. また，大規模言語モデルを用いたベースライン評価尺度を用意し，提案メタ評価基盤を用いたメタ評価のデモンストレーションを通して論述リビジョンにおける自動評価の実現可能性を示した. 論述リビジョンは NLP 分野として重要かつ挑戦的な課題であり, 本研究は論述リビジョンの実現に向けた最初の一歩となる.今後は，論述リビジョン自体を行うリビジョンモデルだけでなく，本提案メタ評価基盤を用いた自動評価尺度に関する研究に繋がることを期待する。

## 参考文献

[1] M. Buchman, R. Moore, L. Stern, and B. Feist. Power Writing: Writing with Purpose. No. No. 4. Pearson Education Canada, 2000 .

[2] Anthony Seow. The Writing Process and Process Writing, p. 315-320. Cambridge University Press, 2002.

[3] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 Shared Task on Grammatical Error Correction. In Proceedings of the 17th Conference on Computational Natural Language Learning (CoNLL 2013): Shared Task, pp. 1-12, 2013.

[4] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 Shared Task on Grammatical Error Correction. In Proceedings of the 18th Conference on Computational Natural Language Learning (CoNLL 2014): Shared Task, pp. 1-14, 2014.

[5] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 169-182, 2016.

[6] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2017), pp. 229-234, 2017.

[7] Fan Zhang, Homa B. Hashemi, Rebecca Hwa, and Diane Litman. A corpus of annotated revisions for studying argumentative writing. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1568-1578. Association for Computational Linguistics, 2017.

[8] Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki, and Kentaro Inui. Diamonds in the rough: Generating fluent sentences from early-stage drafts for academic writing assistance. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 40-53. Association for Computational Linguistics, 2019.

[9] Francisco Guzmán, Shafiq Joty, Lluís Màrquez, and Preslav Nakov. Pairwise neural machine translation evaluation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 805-814. Association for Computational Linguistics, 2015.

[10] Paul F Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Jungo Kasai, Keisuke Sakaguchi, Lavinia Dunagan, Jacob Morrison, Ronan Le Bras, Yejin Choi, and Noah A. Smith. Transparent human evaluation for image captioning. arXiv https://arxiv.org/abs/2111.08940, 2021.

[12] Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Lavinia Dunagan, Jacob Morrison, Alexander R. Fabbri, Yejin Choi, and Noah A. Smith. Bidimensional leaderboards: Generate and evaluate language hand in hand. arXiv https://arxiv.org/abs/2112.04139, 2021.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45. Association for Computational Linguistics, 2020.

[16] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

## Aリリ゙ジョンの実例

表 3 評価項目に関連付けされたリビジョンの実例.

This paper presents empirical studies and closely corresponding theoretical models of a chart parser' s performance whilethe performance of a chart parser exhaustively parsing the Penn Treebank with the Treebank's own context-free grammar (CFG)CFG frammar. We show how performance is dramatically affected by rule representation and tree transformations, but little by top-down vs. bottom-up strategies. We discuss grammatical saturation, provide an, ineluding analysis of the strongly connected components of the phrasal nonterminals in the Treebank, and model how, as sentence length increases, regions of the grammar are unlocked, increasing the effective grammar rule size inered, and yielding super-cubic observed time behavior in some configurations.

Modeling relation paths provides has offered significant gains in embedding models for knowledge base (KB) completion. However, enumerating paths between two entities is very expensive, and existing approaches typically resort to approximation with a sampled subset. This problem is particularly acute when text is jointly modeled with KB relations and used to provide direct evidence for facts mentioned in it. In this paper, we propose the first exact dynamic programming algorithm, which enables efficient incorporation of all relation paths of bounded length, while modeling both relation types and intermediate nodes in the compositional path representations. We then conduct a theoretical analysis of the efficiency gain from the approach. Experiments on two datasets show that it addresses representational limitations in prior methods approaches and improves accuracy in KB completion.

## B ベースライン評価尺度の実験設定

GPT-2 を用いた評価尺度GPT-2 を用いたラベル教師なし評価尺度は，入力の二文書それぞれの単語あたりの perplexity を比較し，その大小によって二值分類を行う．具体的には，リビジョン前の文書よりもリビジョン後の文書の perplexity の方が低い場合は改善（正例），高い場合は改悪（負例）とみなして二値分類を行う.

BERT を用いた評価尺度 BERT を用いたラベル教師あり評価尺度は，TETRA の訓練用データ（全 868 文書対）に対し，半分はランダムにリビジョン前後を入れ替えて負例を作成し，それらを用いて二値分類問題として finetune を行った。具体的には，入力として，“リビジョン前<SEP>リビジョン後”を改善（正例），“リビジョン後<SEP>リビジョン前”を改悪（負例）という形式で与え，BERT+線形分類レイヤによって finetune することで二值分類器を訓練した. なお，モデル訓練時のハイパーパラメータは表 4 に示す.

## C メタ評価結果

表 5 メタ評価結果の詳細.


# Unity を用いた英単語学習ゲームの学習効果と評価

佐藤志月 ${ }^{1}$ 宍戸真 ${ }^{2}$
${ }^{1}$ 東京電機大学大学院 情報環境学研究科 ${ }^{2}$ 東京電機大学 システムデザイン工学部
$\left.\{20}.$ jkm14\}@ms. dendai. ac. jp $p^{1}$, \{shishido\}@mai1.dendai. ac. jp²

## 概要

本論文では, 既存の電子教材のデザインを組み合わせることによる英語学習教材の作成とその評価を検討する. 脱出ゲームと英単語学習を組み合わせた教材を Unity を用いて開発し,オンラインで実証実験を行い, 利用者の学習意識と学習効果の評価を実施した. 実験は 2 回に分けて行われ, 予備実験では学習意識が高い被験者のグループに教材を配布し評価を行った.その後教材の改良を行い, 学習意識が低い別のグループに対し, 教材を配布し本実験を実施した. その結果, 学習意識を問うアンケートの結果は予備実験と本実験でほとんど差がなく, 本実験の被験者のほうが TOEIC のスコア上昇率は高かった.このことは, 学習意識と学習効果の改善に, 本教材のデザインや改良が有効であることを示している.

## 1 はじめに

文部科学省によって英語教育の早期化・指導強化が示されている中 [1], GIGA スクール構想による生徒 1 人につき 1 台の電子端末配備とインフラ整備が予定を前倒しで行われた [2].紙の教材から電子教材への移行によって,学習者の成績やモチベーションが下がることのないようにするため,電子教材のデザインの検討は必須課題といえる.

このことから, 学習者のモチベーションを保ちつつ, 学習効果が高い電子教材のアプリケーション開発を目的とし, IDE を内蔵したゲームエンジンである Unityを用いて開発を行う.学習モチベーションが低い人でも無理なく継続でき,かつ短時間で教材利用前以上の学習成果の達成及び学習意識の改善を行うことを本研究の目的とする.

開発にあたり,既存の電子教材の研究を調査し,其々のメリットを組み合わせることによることで目的の達成に至ると考えた.そこで, 2 章にて関連研究について調査し, 3 章にて開発方針と概観について述べ, 4 章にて実験概要について述べ 5 章にて実験結果の報告,6 章にて䌂めを行う。

## 2 先行研究

ここでは,教材デザインの手法や,学習評価法についての研究を紹介する.

## 2.1 デジタルゲームを利用した教育

$\mathrm{PC}$ を利用した教育の一つであるデジタルゲームを利用したものについて, 藤本は利点として「学習意欲が高めやすい」ことや，「フィードバックを通した学習改善を行いやすい」ことを挙げ, 久点として「ゲ一ムに夢中になっているからといって, 学習活動にも夢中になっているとは限らない」,「必要以上に時間がかかりやすい」等と指摘している [3].

## 2. 2 ゲーミフィケーション理論

電子教材のテーマとして注目されているゲーミフイケーション理論は,ゲームの考え方やデザインをゲーム以外のものに転用することを指している.特に電子教材に用いる場合,学習の到達度に応じたポイントやバッジの付与,プレイヤー間でのスコア競争 $(\mathrm{PvP})$, リーダーボードといったものが構成要素とされ,学習意欲の向上に寄与するとされる [4].

ゲーミフィケーション理論に近いところでは Bartle によるプレイヤーの分類が挙げられる.これは，人が持つゲームの思考の違いに着目し,プレイヤー の特性を Achiever, Explorer, Killer, Socializer の要素で分類したものである [5].この分類とゲーミフィケ ーションの構成要素は類似している部分があり,例えば Killer に該当するような学習者には PvP 機能が有効である可能性が高い.

## 2.3 ゲームデザインについての研究

ゲーミフィケーションには,”学習というモチベー ションが低い行動に対し,どのようなデザインをすることでモチベーションを高めるのか”という問題がある.これに対し栗原が提案した Toolification of Games は,「ゲームの主目的の最適な達成方法から離れたユーザの行動やゲーム要素の存在を許容する時
間的空間的ゆとりを余剩自由度と定義し,その中で単語学習のような非ゲーム的目的を達成する」というものである.これは,,"既に本編のゲームで操作が慣れているため,新たに操作を覚える必要がない”, 既に完成されたゲームはそれ自体が面白いのでタスク実行のモチベーションを誘発するデザインを改めて考えなくてよい”といった特徵を持つとされる [6].

## 2. 4 学習活動の集中度の測定

電子教材による学習意識の調查方法としては, 眼球の動きや胼波の計測, ウェアラブル端末の使用等が挙げられるが,いずれも専用の機器が必要となり,遠隔や大人数での実験には適さない.そのため,フロ一体験の構成要素となる設問を用いた質問紙調査で学習者のモチベーションの推移を調査する.

フローとは,Csikszentmihalyi によって提唱された，人間がその時に取り組んでいる活動に夢中になる時に生じる忘我状態のことである [7].フロー体験には表 1 のような前提条件が必要であり [8],それぞれについての当てはまり具合をアンケートの設問に用意することで,学習意識の推移を測る。

表 1 フロー設問項目

## 3 システム開発

## 3. 1 基本方針

先行研究を踏まえ,提案方式として,「脱出ゲームをプレイする過程で英単語学習のクイズに挑戦し,一定の正答率の達成で脱出のヒントを獲得でき,このヒントやアイテムを集めてゲームクリアを行う.また,クリア後の余剩自由度の中で理解度テストに挑戦する」というデザインを考案した [9].

脱出ゲームを採用した理由について,「操作がマウスクリックのみで完結し, 複雑な技能習得を伴わない」,「クリアまでの外部統制が比較的行いやすい」, といった点を挙げる. そのうえで, 到達度によるメダルの付与や,PVP 機能を搭載した理解度テストのような,ゲーミフィケーションの要素を取り入れる.今回の実験はオンラインで実施し,教材は各被験者が所有する PC で利用してもらうが,その端末や OS は統一されていない.そのため,開発にはクロスプラットフォーム開発が容易な Unity と C\#を用いた.

## 3.2 教材概要

前節で述べた通り,学習者は初めに脱出ゲームのステージを 1 つ選びプレイする.各ステージの脱出方法は異なり,脱出にはアイテムが必要となるが,そのアイテムの場所や使い方といったヒントを英単語クイズの挑戦で一定の正答数を超えることで獲得する必要がある.脱出ゲームのクリア後は,理解度テストに取り組むことができる.このパートは本編となる脱出ゲームとは独立しており,脱出ゲームの各ステ ージで学習した単語の総復習を行うことができる.

今回の研究では予備実験と本実験の 2 回にわたり実験を行っているが,本実験で使用した教材は予備実験で利用したものに改良を加えたものとなっている.その差異についても以下で説明する。

## 3.2. 1 脱出パートの仕様

脱出ゲームは実験に併せ,無人島や部屋といった全 14 ステージで構成される.ステージの操作はマウスクリックで行い, 特定箇所のクリックでアイテムの獲得や使用といった各種操作が可能となる.

## 3.2. 2 クイズパートの仕様

脱出ゲーム中に挑戦できる単語クイズは 4 択クイズとタイピングクイズからなり,1 ステージで学習する 50 単語から 10 単語を選出し, 出題する.クイズは一問一答形式で,不正解時は正しい答えが提示される.全 10 問終了後, 8 問以上正解でヒントを獲得できる.

本実験の教材では,任意ヒント機能をタイピングクイズに追加しており,使用すると答えのスペルの字数と頭文字を確認できる.これにより,同一の意味を持つ類語での解答を避けることができる.

## 3.2. 3 理解度テストパートの仕様

理解度テストパートは問題番号,クロスワード,一単語が欠けた英文が提示され,クロスワードの中から現在の問題番号のマスの数と一致し,かつ正しく英文を完成させる語句をタイピングで解答する.また,ヒント機能の利用で英文の日本語訳が表示される.テストは全 14 回で構成され,脱出ゲームの各ステ ージで学習する 50 単語をそれぞれ復習できる.

本実験の教材では単語の頭文字を提示する機能をヒント機能に追加している他,解答を不正解扱いとしてパスする機能、スコアによる $\mathrm{PvP}$ 機能を追加している.ここで,スコアは問題の誤答回数とクリア時
間によって算出され,このスコアをクラウド上にアップロードし,学習者同士でスコアを共有・順位付けを行いランキング表示をさせることで PvP の機能を実装している.誤答やパスをしたり，一問に時間をかけるとスコアが下がるため,ハイスコアには素早く正解を重ねることが必要となる.

## 3. 2.4 学習履歴パートの仕様

脱出ゲームのクリアタイム,テストの挑戦回数やスコア,誤答した単語とその回数といった履歴は内部フォルダに保存されており,Twitter で投稿できるほか,ステージ毎の単語と誤答回数, 日本語の意味はこのパートからいつでも確認することができる.

本実験の教材では,単語帳機能とトレーニング機能を追加した.単語帳機能では脱出ゲームのステー ジ挑戦前に登場単語と意味を確認でき,トレーニング機能では任意の単語をチェックリストにいれ,そのリスト内の問題のみを問題セットとしてタイピング形式の問題に挑戦できる機能である.

## 3. 2.5 ギャラリーパートの仕様

ギャラリーパートは,脱出ゲームのクリア回数や理解度テストの成績といった, 特定の条件達成で獲得できるメダルを閲覧できる.本実験の教材では,PvP のランキングも確認することができる.

## 3. 2.6 音声認識システムの仕様

予備実験で利用した教材のみ,脱出ゲームのステ ージのギミックの一部に音声認識システムを導入した.キーワードとなる語句の発音を読み取りテキス卜に起こして正解の語句のスペルと比較を行い,正しければゲームが進行するといった具合である.

## 3.3 学習単語の選定

本教材は特定の年齢層を対象にしたものではないため,学習する単語によって対象を絞ることとなる.今回は実験の都合上被験者は大学生となり,学習単語は大学内の英語講義で指定されている TOEIC 頻出単語 1000 語の中からアルクが提供している SVL12000[10]参考に,難易度の降順で 700 単語を学習する設計とした.この 700 単語をレベルの低い順に 50 単語ずつ分け,ステージが上がるにつれて高いレベルの単語を学習できるように配置した。

## 4 実験概要

## 4. 1 実験方法

開発した教材を東京電機大学の英語講義の一環と
して導入し,一コマ終了後にステージを 1 から順に 1 つプレイしてアンケートに回答してもらった.そして,全 14 回の講義終了後に最終アンケートを実施した.また,受講者には TOEIC の受験が別途課されている.尚,各実験は全てオンラインで実施を行った.

予備実験と本実験の被験者は異なり,予備実験を行った講義は大学院進学を目指す学生が受講する講義であり,学習意識が高い被験者が多数である.一方，本実験を行った講義の受講者の大半は,単位の取得が目的である.各実験の被験者について,表 2 に示す.

表 2 被験者の前年度の TOEIC の結果

## 4. 2 実験アンケート概要

アンケートは隔週・最終の 2 種を用意し,隔週アンケートでは 2.4 節の 10 個の質問項目について,"全く当てはまらない” $(0$ 点) から”確実に当てはまる” (6 点）の 7 件法で 1 点刻みで点数付けを行い調査を行った.また,ステージ毎の問題やゲームの難易度,操作感を問う設問も用意した.最終アンケートでは,教材を利用した感想をはじめ,英語の学習方法や学習形態に対する意識を問う設問等で構成した。

## 5 実験結果

## 5.1 学習モチベーションの評価

隔週アンケートの結果から学習意識の調査を行った.通常,フロー状態の評価は各回の結果の推移を調査するが,予備実験・本実験共に䌉めてステージをプレイし,アンケートも縗めて一回で回答する被験者や,回答が不定期となる被験者が多数存在したため,今回は初めに被験者毎に各設問の最頻値と平均値を算出し,その後実験別に全ての被験者の設問毎の最頻値と平均値を算出した.結果を表 3 に示す.ここで，表中の(1)から(11)は,2.4 節の表 1 の振り分けと対応している.
表 3 各実験のフロー項目値の結果

項目別でみると,点数が高い設問と低い設問は各実験で共通していると言える.本実験の結果では,項目全てに”全く当てはまらない”を回答した被験者が数名いたこともあり,平均値は全て予備実験を下回っているが,最頻値で捉えると大きな差はなく,モチベーションが低い人でも高い人と同程度の意識で学習を行うことができたことがわかる.

## 5.2 学習効果の評価

TOEIC の比較結果を表 4 ,図 1 に示す. 各実験について,対応のある $\mathrm{t}$ 検定の結果は有意であった.ここで,スコアの伸び率についてはスコア開発率 [11]を用いて算出することで重みづけを行った.元々のスコアが高い人がスコアを上げるほどこの值は大きくなるため, 本実験のほらが学習効果があったと判断できる.これについては,効果量からも判断でき,表 5 の指標 [12]を参考にすると,予備実験では小〜中程度,本実験では中程度と判断できる。

表 4 各実験の TOEIC の比較結果

図 1 予備実験（左）と本実験（右）の TOEIC の比較結果

表 5 効果量の指標

 & 0.6 & 1.0 & 1.4 \\

## 5.3 学習態度の評価

最終アンケートの自由記述のコメントを全て䌂めて,KHCorder3 [13]を用い共起ネットワークを作成した結果を図 2 に示す.左側の予備実験の図では UI に関する要素や結びつきが低い要素が見られる一方,右側の本実験の図ではそれぞれの要素が絡み合っている.このことから,UI の改善やゲーミフィケーション要素の追加といった修正が学習に与えた影響は大きかったと考えられる。

図 2 予備実験（左）と本実験（右）の共起ネットワーク図

## 6 まとめ

本研究では,既存の教材デザインを組み合わせた教材を検討し,学習意識が低い被験者でも学習意識やスコアの改善が見られた.一方,採用するゲームの習熟度や完成度が学習に影響を及ぼす例が多数見られた.今後は,元となるゲームの習熟度を踏まえた実験グループの選定や,教材のどの部分が効果的に作用したかを,要素を切り離して実験を行うことによって検証することで,教材評価を行いたい。

## 参考文献

1. 文部科学省初等中等教育局情報教育 - 外国語教育課. 新学習指導要領全面実施に向けた小学校外国語に関する取組について. (オンライン) 2019年9月 4 日. (引用日: 2021 年 12 月 23 日.) https://www.mext.go.jp/b_menu/shingi/chukyo/chukyo3/ 004/siryo/_icsFiles/afieldfile/2019/09/11/1420968_2.pd f.

2. 文部科学省. GIGA スクール構想に関する各種調查の結果. (オンライン) 2021 年 8 月. (引用日: 2021 年 12 月 23 日.)

https://www.mext.go.jp/content/20210827-mxt_jogai01000017383_10.pdf.

3. 藤本徹. 効果的なデジタルゲーム利用教育のための考え方: : コンピュータ\&エデュケーション, 2011.

4. GabrielaKiryakova, NadezhdaAngelova, LinaYordanova. GAMIFICATION IN EDUCATION. 2014.

## 5. BartleARichard.

Hearts,Clubs,Diamonds,Spades:Players Who Suit Muds. 1996.

6. 栗原一貴. 既存ゲームに寄生するゲーミフィケ ーション.: 情報処理学会, 2015.

7. ミハイ・チクセントミハイ著今村浩明訳. フロ一体験喜びの現象学. 京都府 : 世界思想社, 1996. 8. 石村郁夫. フロー体験の促進要因とその肯定的機能に関する心理学的研究. 2008.

9. 佐藤志月 , 宍戸真. Unity を用いた電子教材の開発と評価. : 言語処理学会, 2021.

10. アルク. レベル別語彙リストSVL12000. (オンライン) (引用日: 2021 年 6 月 2 日.) https://www.alc.co.jp/vocgram/article/svl/.

11. ShishidoMakoto. Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. 2019.

12. 小林雄一郎, 濱田彰, 水本篤. $\mathrm{R}$ による教育デ一夕分析入門. ページ: 93 .
13. 樋口耕一. 社会調査のための計量テキスト分析一内容分析の継承と発展を目指して一第 2 版. : ナカニシヤ出版, 2020.


# 大学入学共通テスト試行調査における 短答式記述答案の完全自動採点

岡知樹 1 Hung Tuan Nguyen ${ }^{2}$ Cuong Tuan Nguyen $^{2}$ 中川正樹 2 石岡恒憲 3
1 東京大学 2 東京農工大学 3 大学入試センター
oka-haruki497@g.ecc.u-tokyo.ac.jp ntuanhung@gmail.com ntcuong2103@gmail.com
nakagawa@cc.tuat.ac.jp tunenori@rd.dnc.ac.jp

## 概要

自然言語処理の教育分野への応用タスクとして、短答式記述問題の自動採点に関する研究が行われている。実際の教育現場では、短答式記述問題の解答用紙はほとんどが手書きであり自動採点の実応用での障壁となっている。本研究では手書き文字認識と自然言語処理を用いて、短答式問題の手書き回答を完全に自動採点するシステムを開発した。本研究で提案した完全自動採点システムでも、人間の採点に匹敵する高い精度で採点できることを確認した。

## 1 はじめに

現在の教育現場では，言語学で培った能力を適切に評価するために記述式問題が多く導入されている. 採点の効率化や安定化のために，近年では人工知能による自動採点の研究が進んでいる. 英語を対象とした短答式記述答案の自動採点は, 深層学習を用いた手法が提案されて以来，その性能が向上してきた $[1,2,3,4,5]$. 特に，近年では Transformer ベー スの言語モデルを用いた短答式記述答案の自動採点 $[6,7,8,9,10,11,12,13]$ が考案されている.こうした背景から，実際の模擬試験のデータを使用した最新の研究も存在する $[14,9]$.

しかし，これらの研究には 2 つの問題が存在する. 1 つ目は，短答式記述答案の自動採点には余分な手作業が必要なことである. 記述答案の多くは手書きであるため，手書きデータを電子媒体に変換するには手間がかかる．また，従来の方法では，正確性を確保するために，採点の目安となるアノテー ションを付与している．教育現場での実用化を考えると，これらの手間を省くための改良が必要である. 本研究では，アノテーション付与や手書きの答案をテキストデータに変換といった，データ処理を確実に省略できる全自動採点システムを開発した。 2 つ目は，実際の教育現場で扱うデータが過小であり，大規模な検証ができなかったことである. プライバシーの観点からデータ数が限られていた. 本研究では大学入学共通テスト試行調査のデータを用いて実験を行い，大規模な教育現場のデータでも高い採点精度を保証できることを明らかにした。

## 2 共通テスト試行調査のデータ

## 2.1 概要

2017 年と 2018 年に実施された大学入学共通テス卜試行調査の国語の短答式記述問題を使用する. 試験問題は本番と同じ方法で作成し，試験問題の質は厳密に検証されている．今回は日本の約 $38 \%$ の高校がこの試行調査に参加し, 約 6 万人が受験した.

## 2.2 国語の短答式記述問題

試行調査の国語は，5つの大問で構成されている. そのうちの 1 つが短答式記述問題であり，3つの小問で構成されている. 2017 年では，それぞれ 50 字， 25 字，120 字の，2018 年では，30 字，40 字，120 字の字数制限が設けられた。図 1 に 2018 年に実施された短答式記述問題の例（問 $1 ， 30$ 字）を示す.

## 問題文

“...ことどのの全く通じない国に行って，相手になにかを頼んだり尋ねたりする状況を考えてみよう。 この時には，指差しが魔法のような力を発揮するはずだ....

設問

“指差しが魔法のような力を発揮する”とはどういうことか?三十字以内で書け.

答案例

ことばを用いなくても意思が伝達できること。

$
\text { Score: } \mathbf{3 / 3}
$

図 12018 年に実施された短答式記述問題の例

## 3 方法

## 3.1 タスク設定

手書き文字認識モデルを用いてテキストデータに変換した短答式記述問題の答案を入力し，対応する予測得点を出力する. 次に，採点基準に基づいた人手による採点結果と比較することで, 本研究の採点モデルがスコアを正しく予測できるかを検証する。

図 2 にタスクの流れを示す。答案データの文字を修正することなく，また，答案にアノテーションを加えることなく，スコアを出力し精度を評価する。

図 2 タスクの流れ

## 3.2 手書き文字認識モデル

ETL (Extracting, Transforming, and Loading) データベースは，オフラインの日本語手書き文字を収録したデータベースである. このデータベースは，異なる条件で収集された 9 つのデータセットから構成されている [15]. 収集されたサンプルは，大学入試の答案用紙のように区切られたボックスに書かれているため, ETLデータベースはオフラインの日本語手書き文字認識モデルを構築するのに適している.

本研究では複数の畳み込みニューラルネットワーク（CNN）のアンサンブル学習した文字認識モデルを使用する. 文字認識モデルは, VGG (Visual Geometric Group)[16], MobileNet[17], ResNet (Residual Network)[18], ResNext[19] であり, それぞれ 16 層, 24 層, 34 層, 50 層で構成されている.

これらの CNN の学習には, 回転, 剪断, 拡大縮小，ぼかし，コントラスト，ノイズ付加などの変換を適用し，サンプル数が 100 万程度であったため，過学習の問題を回避している. ETLデータベースを使ってこれらの CNNを学習した後, 手書き答案の中から手動でラベル付けされた 100 個のサンプルを使って，CNNをファインチューニングする.訓練された文字認識モデルは, 確率の $C$ 次元ベクトルとして予測出力を与える. ここで $C$ は各文字サンプルのカテゴリー数である。これらの予測出力は， 1.0 の均等な重みで平均化され，アンサンブル予測出力となる.このようにして，アンサンブル予測出力の中で最も確率の高いカテゴリがトップの予測となる. 図 3 は, 16 層, 24 層, 50 層の $\mathrm{CNN}$ を判定する手順を示したものである.

図 3 アンサンブル学習した $\mathrm{CNN}$ の文字認識モデル

また，文字の中には曖昧なものもあるため， $\mathrm{N}$-gram 言語モデルを用いて，言語的な文脈を用いて誤認識した文字を修正する，各文字について，認識スコアと各文字の言語スコアを合わせたスコアを計算する。認識スコアはアンサンブル学習するそれぞれの文字認識モデルによって生成された，文字の確率積である。

次に，言語スコアは日本語 Wikipedia で事前に学習された 5-gram の日本語言語モデルに基づいて認識された文字の確率積である。

3つ目の複合スコアは，認識スコアと言語スコアを線形結合したもので， $\alpha \in[0,1]$ の重みがついている. 複合スコアに応じて, ビーム幅 10 の文字列に沿ったビームサーチアルゴリズムを採用し，複合スコアの高い上位 10 個の候補が抽出されるようにする. 本研究では最も高いスコアの候補の文字のみを自動採点に使用する。

## 3.3 自動採点モデル

日本語で同様の短答式記述答案の自動採点を行う舟山ら [9] や水本ら [14] の手法は，Bi-LSTM に attention を追加したものである. これらの手法では，各採点基準やルーブリックに基づいて予測スコアを出力する. しかし, 本研究の手法では，各採点基準のスコアを蓄積するのではなく, 全体のスコアを予測する。本研究では，日本語 wikipedia で事前学習した BERT[20] ${ }^{1)}$ をアインチューニングする

ことで，マルチラベル分類モデルを明示的に利用する.その手順は以下の通りである（図 4）.
1. $x=\left.\{x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を，手書き文字認識によってテキストデータに変換された答案文として事前学習した BERT に入力し，その答案文に対する予測スコア $s \in C=\{0, \ldots, N\}$ をラベルの出力として与える。

2. BERT 全 12 層のうち, 隠れ層の最後の 4 層の [CLS] トークンのベクトルを抽出する. これらを組み合わせることで，最終層の [CLS]トー クンのベクトルのみを使用する場合と比較して，採点精度が向上した. モデルの最適化には Adam を使用した。 バッチサイズは 16 ，エポック数は 5 とした。

3. 連結した [CLS]トークンのベクトルを分類器に入力し，予測スコア $s$ を出力する.

図 4 自動採点モデル

## 4 実験

## 4.1 解答データ

以上の条件や分類方法に基づいて 2017 年と 2018 年にそれぞれ 3 問ずつを含む 6 問の自動採点を行った. 答案数は，2017 年, 2018 年ともに約 6 万件であり，表 1 に，各設問の採点の統計を示す. 設問 ID，答案数, スコア幅, 得点の平均 (土標準偏差), 許容文字数の順に示した. BERT に使用したデータを， $3: 1: 1(=60 \%: 20 \%: 20 \%)$ に分けて，トレーニングセット，開発セット，評価セットとした。採点精度の評価は, Quadratic Weighted Kappa (QWK) [21] を用いて行った。

## 4.2 実験結果

今回の実験では答案の文字数が比較的多く, 内容も平易ではない。このような場合，推定精度を保証するためにはどの程度のサンプルサイズが必要なのかを知る必要がある。そこでサンプルサイズ表 1 各設問の統計量

の大きさを $50,000 ， 10,000 ， 5,000 ， 1,000 ， 500$ と変え，QWK がどのように変化するかを観察した．約 60,000 個のフルサイズデータを含めた結果を表 2 に示す. 太字は最良の値を示す.

表 2 各設問の QWK

1. 設問の種類に関わらず，6つの設問すべてで精度が高く保たれている。精度が一番低い 2017 年の Q3でも，QWK は 0.86 となった.

2. 基本的には，サンプルサイズが大きいほど精度は高くなる。つまり，精度が収束しないという予想外の結果になった. 60,000 というサンプルサイズは，一般的なテストでは十分な大きさだと考えられるが，予測の精度を高めるためにはより多くの答案数が必要であることを示している.

3. 問題が簡単なほど得点率が高く, 推定精度も高い. 2017 年，2018 年ともに Q1 が最も簡単で Q3 が最も難しい. Q1 の推定精度は Q3 の推定精度よりも高い。この傾向は得点のカテゴリ数には依存しない。

## 5 追加実験

本研究では，採点精度への影響を 2 つの観点から検討した. 1 つ目の観点は，手書き文字認識モデルによる影響である．認識モデルの変化が全体の採点精度にどのように影響するかを調べた。2つ目の視点は，言語処理モデルによる影響である．BERT の 12 層から抽出する情報の位置を変更し，全体の採点精度にどのような影響を与えるかを検証した。

## 5.1 手書き文字認識モデルの効果検証

採点精度に与える影響を調べるために，4つの文字認識モデルをアンサンブル学習したモデルと他の手法とを比較した. 手法は以下の通りである.

1. No LM：N-gram 言語モデルによる誤認識の補正を行わない文字認識モデル

2. VGG のみ：アンサンブル学習を行わない単一の文字認識モデル

3. DenseNet のみ：アンサンブル学習を行わない単一の文字認識モデル

4. Esm5: 5 つの文字認識モデルをアンサンブル学習した文字認識モデル

表 3 異なる文字認識モデルを用いた際の QWK の比較設問 ID

表 3 は，それぞれの出力結果を用いて自動採点した結果の QWK を比較したものである. その結果，複数の文字認識モデルを用いてアンサンブル学習を行ったものは，単一の文字認識モデルを用いたものよりも総合的な精度が高いことが明らかとなった.また，言語モデルによる修正を加えたモデルの方が，加えないモデルよりも精度が高いという結果が出た. 加えて，アンサンブル学習のモデルの数を増やしても精度に大きな変化はなかった. これらの結果から，全体的な精度は言語モデルの変更と文字認識モデルの品質の両方に影響されることが判明した. 同時に，文字認識モデルの品質向上による総合精度の向上には限界があることも判明した.

## 5.2 BERT から取得した情報の効果検証

BERT から取得した言語情報が採点精度に及ぼす影響を調査した. BERT は全 12 層で構成されており，各層が異なる情報を保有することが知られている [22]. 具体的には入力部に近い層は形態素情報，中間部の層は構文情報, 出力部に近い層は意味情報に焦点を当てた情報を保有している。本研究では BERT を入力部に近い層, 中間部の層, 出力部に近い層の 3 つに分け，それぞれの層での採点精度の違いを調べた. 入力部から 1〜4 層, 5〜8 層, 9〜12 層
のベクトルを抽出する．各精度の結果を表 4 に示した. 各問題とも 9〜12 層の情報を抽出したときに，最も高い採点精度が得られることがわかった。

表 4 情報抽出した層の部分による QWK の比較

この結果から，システムが自動採点作業を行う際に意味的な情報を重視していることが推察される.特に，2017\#Q3 の QWK は，全設問の中で 3.0 以上の差があり，推定精度の低下が際立っている。

## 6 おわりに

本研究では手書き文字認識モデルを用いた短答式記述問題の完全自動採点手法を検討し，大規模な全国テストでその性能を評価した.「完全」とは，人手による採点データへの注釈付けや手書き文字の変換が不要であることを意味している. 大学入学共通テストの 2 回の試行調査で実施された前例のない大量のデータを使用し，事前学習済みの BERTを用いて採点を行った. その結果，以下のことが分かった.

1. データが十分に大きい場合，本手法はアノテー ション作業や手書き答案のテキスト変換を行うことなく高精度で自動採点が可能である。
2. $25 \sim 120$ 字の答案では, 50,000 件のデータサイズでも学習が収束しないことが多い.

3. 手書き文字認識モデルに起因する誤差があっても，現在の技術であればある程度の採点精度は保証される。

本論文では，現在の技術水準において人手を介さない状態での実際の精度を報告した. 扱った問題は，答案の文字数や難易度など様々であったが，いずれの場合も高い精度で得点を予測することができた.このことから，本研究の手法はこの範囲のすべての短答式記述問題に対して有効であり，現在の技術で短答式記述答案の自動採点を十分に行えることが示唆された．また，本研究では，手書き文字認識モデルを短答式記述答案の自動採点で利用する手法の有用性を示すことができた．手書き文字を使うことが多い教育現場での応用に向けて，新たな学習方法を設定するきっかけになると考えられる。

## 謝辞

本研究は JSPS 科研費 JP20H04300, JST A-STEP

JPMJTM20ML の助成を受けたものです.

## 参考文献

[1] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 18821891, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Fei Dong and Yue Zhang. Automatic features for essay scoring an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 10721077, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 153-162, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[5] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Chul Sung, Tejas Indulal Dhamecha, and Nirmal Mukhi. Improving short answer grading using transformer-based pre-training. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 11625 LNAI, pp. 469-481. Springer Verlag, jun 2019.

[7] Leon Camus and Anna Filighera. Investigating transformers for automatic short answer grading. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12164 LNAI, pp. 43-48. Springer, 2020.

[8] Jiaqi Lun, Jia Zhu, Yong Tang, and Min Yang. Multiple data augmentation strategies for improving performance on automatic short answer scoring. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 13389-13396, Apr. 2020.

[9] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[10] Brian Riordan, Sarah Bichler, Allison Bradford, Jennifer King Chen, Korah Wiley, Libby Gerard, and Marcia C. Linn. An empirical investigation of neural methods for content scoring of science explanations. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 135-144, Seattle, WA, USA Online, July 2020. Association for Computational Linguistics.

[11] Masaki Uto and Yuto Uchida. Automated short-answer grading using deep neural networks and item response theory. In Lecture Notes in Computer Science (including subseries Lecture
Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12164 LNAI, pp. 334-339. Springer, jul 2020.

[12] Masaki Uto and Masashi Okano. Robust neural automated essay scoring using item response theory. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol. 12163 LNAI, pp. 549-561. Springer, jul 2020.

[13] Zhaohui Li, Yajur Tomar, and Rebecca J. Passonneau. A semantic feature-wise transformation relation network for automatic short answer grading. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 60306040, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[15] Taiichi Saito, Hakuzo Yamada, and Kazuhiko Yamamoto. On the database ETL9 of handprinted characters in jis chinese characters and its analysis. Trans IECE Jpn, Vol. J68-D, No. 4, pp. 757-764, 1985.

[16] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[17] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016

[19] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500, 2017.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[21] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 7, No. 4, pp. 213-220, 1968.

[22] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.


# 記述式答案自動採点における確信度推定とその役割

舟山弘晃 ${ }^{1,2}$ 佐藤汰亮 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{3,2}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所 3 フューチャー株式会社
\{h.funa, tasuku.sato.p6\}@dc.tohoku.ac.jp
$\{y . m$, inui, jun.suzuki\}@tohoku.ac.jp t.mizumoto.yb@future.co.jp

## 概要

記述式答案の自動採点は，教育現場における採点コストの低減や公平な採点の実現を目指して研究が行われてきたが，自動採点システムの採点誤りへの懸念が教育現場での盛んな実運用を妨げている. 本研究では，自動採点システムの信頼性の担保を目指し，予測の信頼性を表す確信度を導入することで自動採点モデルによる採点誤りを所望の範囲内に抑えるためのタスク設計を提示する。複数の確信度推定手法をテストケースとして前述のタスク設計に基づき実験を行い，目標値の採点誤りの範囲内で自動採点できる可能性を示した.

## 1 はじめに

記述式問題の自動採点は，事前に人手で作成された採点基準について，入力された文章が採点基準を満たしているか評価し点数として出力するタスクである。主に，大規模な試験において公平かつ低コス卜な採点を提供するための採点支援や，教育現場における学習支援を目的として古くから研究されてきた $[1,2,3,4]$. 深層学習に基づく自動採点モデルの登場により，近年自動採点システムの性能が向上しており $[3,4,5]$, 教育現場での応用への機運が高まっている.

一方で，自動採点システムによる採点誤りの可能性を完全に取り除くことはできない。さらに，そのような採点誤りは学習の妨げになる可能性が指摘されている [6]. 舟山ら [7] はこの問題に対して, 許容できないような致命的な採点誤り (CSE) という概念を導入し，予測の信頼性を表す確信度を用いて信頼性の低い予測をフィルタリングし，CSEをできる限り取り除ける範囲で自動採点を行い，残りの答案に対する採点は人が行う事を想定し自動採点タスクの再設計を行った.

本研究では，自動採点システムと人間の系におい
て目標の採点精度を実現するという観点から舟山ら [7] のタスク設計を一般の採点誤りに拡張した枠組みを提示する．実験では，この枠組みの下で所望の採点誤りの範囲内に抑えつつ自動採点を実現可能かどうか，テストケースとして複数の確信度推定手法を用いてシュミレーションを行った。その結果，目標採点誤差の設定によっては採点誤りの範囲内で自動採点ができる可能性を示した。

## 2 確信度を用いた自動採点タスク

自動採点システムの教育現場における実運用に向けて，その採点品質を担保することは重要な課題である。この課題の解決に向けて，我々は新たな確信度を用いた自動採点のスキームとその評価法を提示する. 図 1 にその概要を示す.このスキームでは， それぞれの問題や自動採点を導入する教育現場の要請から事前に定められる採点誤差の許容限界があり，このためにシステムによる誤差が一定値を超えるようであればその部分は人手で採点する，という考え方を採用する。そこで，自動採点結果のフィルタリングを行う現実的な手順として，自動採点システムの採点誤差を特定の目標值 $e$ 以下に抑えることができる閾値 $\tau$ を開発データで推定し，その閾値を用いて未知の答案に対して自動採点と人手採点の振り分けを行う。

記述式答案の自動採点まず，記述式答案の自動採点について説明する。本研究では，得点を得るために答案が含むべき情報が明確に定義されるような問題を扱う (Short Answer Scoring: SAS)。各問題に対して予め配点 $N$ とその採点基準が与えられており，採点作業は，生徒が記述した答案に対してこの採点基準に従い自然数の点数を付与すものである. このため，自動採点タスクは，配点 $N$ が定められているそれそれの問題に対し，入力の答案 $\mathbf{x}=\left.\{x_{1}\right.$ $\left., x_{2}, \ldots, x_{n}\right.\}$ を受け取って答案の点数 $\hat{s} \in S=\{0$ $N\}$ を出力するタスクとして定式化される.

図 1 確信度を用いた自動採点タスクの概要

確信度の導入ある訓練済みの採点モデル $m$ に関して，このモデルが入力 $\mathbf{x}$ に対し得点 $\hat{s}$ を予測したときの確信度を求める手法 conf があり，この確信度を次のように書くこととする。

$
C_{\text {conf }}(\mathbf{x}, \hat{s} ; m)
$

今, $l$ 個のユニークな採点対象の答案 $\left.\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{l}\right.\}$ があり，与えられた答案全てに対する採点結果を $P=\left.\{\left(\mathbf{x}_{i}, \hat{s}_{i}\right)\right.\}_{i=1}^{l}$ とするとき, このうちの信頼できる採点結果 $P_{r} \subseteq P$ を次のように求める.

$
P_{r}=\{(\mathbf{x}, \hat{s}) \in P \mid C(\mathbf{x}, \hat{s}) \geq \tau\}
$

ここで， $\tau$ はフィルタリングに用いる確信度の閾値である. 本研究では，フィルタリングの結果，採点結果が信頼できないと判断された答案の集合 $\bar{P}_{r}=\left.\{p \in P \mid p \notin P_{r}\right.\}$ は十分に訓練された人間が改めて採点することとし，その採点結果には一切の間違いがない理想的な状況を仮定する． $\bar{P}_{r}$ に対し，人間の採点者が改めて採点した結果を $P_{h}$ で表す. 最終的に，確信度を用いて自動採点と人手採点を振り分けて得られる採点結果 $P_{f}$ は $P_{r} \cup P_{h}$ と表せる.

閾値の推定とフィルタリング与えられた許容可能な採点誤差 $e$ に対し, 開発データに対する採点結果 $P^{\operatorname{dev}}$ を用いて確信度の閾値 $\tau$ を以下のように求める.

$
\begin{array}{ll}
\underset{\tau}{\operatorname{maximize}} & \left|P_{r}^{\mathrm{dev}}\right| \\
\text { subject to } & \operatorname{Err}\left(P_{f}^{\mathrm{dev}}\right) \leq e
\end{array}
$

ただし, $\operatorname{Err}\left(P_{r}^{\operatorname{dev}}\right)$ は $P_{r}^{\operatorname{dev}}=\left.\{(\mathbf{x}, \hat{s}) \in P^{\operatorname{dev}} \mid C(\mathbf{x}, \hat{s}) \geq \tau\right.\}$内で発生する採点誤差の総和を表す. 次に, 開発データにおいて求めた $\tau$ を用いてテストセットのフィルタリングを行う。

$
P_{r}^{\text {test }}=\left.\{(\mathbf{x}, \hat{s}) \in P^{\text {test }} \mid C(\mathbf{x}, \hat{s}) \geq \tau\right.\}
$

評価フィルタリングの結果得られる $\left|P_{r}^{\text {test }}\right| /\left|P_{f}^{\text {test }}\right|$ が自動採点可能な答案の割合（自動採点網羅率）を表し， $\operatorname{Err}\left(P_{f}^{\text {test }}\right)$ が答案全体の採点誤差を表す。実験では，答案全体の採点誤差を目標誤差以下に抑えることが可能か，目標値を達成した時の自動採点網羅率はどれくらいか，という 2 点から評価を行う。

## 3 実験

本研究では，2 節で提示した枠組みにのっとり実験を行い，一般的な採点モデル，確信度推定手法の下で実現可能な採点品質を明らかにするとともに今後の課題を議論する。

## 3.1 採点モデル

本研究では BERT [8] をべースとした分類モデルを用いる。モデルはまず，入力答案 $\mathbf{x}$ をエンコー ダー enc (.) によって特徴表現 $\mathbf{h} \in \mathbb{R}^{d_{h}}$ に変換する.

$
\mathbf{h}=\operatorname{enc}(\mathbf{x})
$

本研究では, enc(x) の出力として $\mathbf{x}$ を BERT [8] に入力した際に CLS トークンに付与されるベクトルを採用した。ここで $d_{h}$ は CLS トークンのベクトルの次元数である. その後，得点 $\hat{s}$ を次式により得る.

$
\begin{aligned}
p(s \mid \mathbf{x}) & =\operatorname{softmax}(W \mathbf{h}+b) \\
\hat{s} & =\underset{s \in S}{\operatorname{argmax}} p(s \mid \mathbf{x})
\end{aligned}
$

## 3.2 確信度推定手法

確信度推定手法として以下の 3 つをテストケースとして考える。

予測確率本研究で用いる分類モデルにおいて確信度を推定する最も素朴な方法としては，（6）式で計算される予測確率（Posterior）の值を確信度として考えることができる.

$
C_{\text {prob }}(\mathbf{x}, \hat{s})=\max _{s} p(s \mid \mathbf{x})
$

図 2 代々木ゼミナール国語長文読解データセットより答案及び採点基準の例

Trust score 舟山ら [7] は記述式答案自動採点における確信度の推定において Jiang らが提唱した trust score [9] を用い，一部の問題でその確信度としての信頼性が予測確率を用いる場合を上回ることを示した。本研究でも trust score を確信度推定手法の一つとして考える. 本研究では trust score を次のように算出する. まず，予め学習データ $\left.\{\left(\mathbf{x}_{1}\right.\right.$ ,$\left.\left.s_{1}\right), \ldots,\left(\mathbf{x}_{k}, s_{k}\right)\right.\}$ をそれぞれ自動採点モデルに入力し，各入力に対応する特徴表現の集合 $H=\left.\{\mathbf{h}_{1}\right.$ $\left., \ldots, \mathbf{h}_{k}\right.\}$ を得ておく. さらに，これらを得点ラべル $s$ ごとにクラスタ $H_{s}=\left.\{\mathbf{h}_{i} \in H \mid s_{i}=s\right.\}$ として保持しておく，その上で，未知の入力 $\mathrm{x}$ に対し，その特徵表現 $\mathbf{h}$ と予測得点 $\hat{s}$ を得る. この採点結果 $(\mathbf{x}, \hat{s})$ に関する trust score $: C_{\text {trust }}(\mathbf{x}, \hat{s} ; m, H)$ は以下を式で算出する.

$
C_{\text {trust }}(\mathbf{x}, \hat{s} ; m, H)=\frac{d_{c}(\mathbf{x}, H)}{d_{p}(\mathbf{x}, H)+d_{c}(\mathbf{x}, H)}
$

ただし,

$
\begin{aligned}
& d_{p}(\mathbf{x}, H)=\min _{\mathbf{h}^{\prime} \in H_{\hat{s}}} d\left(\mathbf{h}, \mathbf{h}^{\prime}\right), \\
& d_{c}(\mathbf{x}, H)=\min _{\mathbf{h}^{\prime} \in\left(H \backslash H_{\hat{s}}\right)} d\left(\mathbf{h}, \mathbf{h}^{\prime}\right),
\end{aligned}
$

を表す。また，閾值を用いたフィルタリング時に扱いやすいように，値を 0 から 1 の範囲に正規化する目的で新たに分母に $d_{c}$ を加えている. 正規化しても事例間での確信度の大小関係は保持されるためフィルタリングの手順への影響はない.

ガウス過程回帰一般に記述式答案の自動採点は分類問題及び回帰問題の両方の設定で解くことが可能だが，回帰モデルを用いた場合の方がより高い精度で採点可能であることが示されている $[10,5]$. そこで，本研究では確信度を推定可能な回帰モデルの例としてガウス過程回帰 [11]を用いる。本研究では実装として GPytorch [12] ${ }^{1)}$ を用い，3.1 節の分類モデルを学習後，そのエンコーダーが出力する特徴表現を用いてガウス過程回帰 $f$ の学習を行った. 未知の入力 $\mathbf{x}$ に対して，この新たな自動採点モデルの予測得点 $\hat{s}$ の確信度 $C_{\mathrm{gp}}$ は， $\mathbf{x}$ に対する特徴表現 $\mathbf{h}$ を用いて次のように書ける.

$
\begin{aligned}
\hat{s} & =\mathbb{E}[f(\mathbf{h}) \mid H, S], \\
C_{\mathrm{gp}} & =-\operatorname{Var}[f(\mathbf{h}) \mid H, S]
\end{aligned}
$

ただし， $H$ は学習データを 5 式に入力して得られた特徴表現の集合， $S$ はその得点の集合である.

## 3.3 データセット

本研究では，我々が国立情報学研究所（NII）にて公開している代々木ゼミナールの国語長文読解問題データセットを用いる2).このデータセットは，各受験者の答案文と採点者によって付与された点数のペアのデータで構成される. 図 2 に本研究で対象とする記述問題の具体例を示す. 本データセットでは, 各問題に対して複数の採点項目が存在し, 各項目はそれぞれの採点項目に基づいて独立に人手で採点が行われ, 項目点が付与されている. 例えば,図 2 では, A, B，C，Dの4つの採点項目が存在し, それぞれ 2 点， 2 点， 3 点， 3 点が項目点として付与されている。本実験ではこれらの採点項目をそれぞれ独立の問題として扱い，各項目ごとに 3.1 節で述べた採点モデルを訓練し，点数を予測し評価を行う. 本研究では 2022 年 1 月時点の版として公開されている 12 問（計 37 項目）を用いた.

## 3.4 実験設定

3.1 節で述べたように，自動採点モデルのエンコーダーとして事前学習済み BERT [8] を使用し, CLS トークンに付与される値を答案の特徴べクトルとして採用した ${ }^{3)}$. 参考のため実験で使用したモデルの採点精度を付録 $\mathrm{A}$ に示す。データは学習用，テスト用としてそれぞれ 250 件，250 件に分割を行った。学習用データは更に 5 分割を行い 4 セットを訓練用データ (200 件)，1セットを開発用データ（50 件）とし，学習用のデータを 5 セット作成した. 学習に用いたハイパーパラメーターの詳細は付録 B に示す.また，採点誤差を表す関数 Err として，Root

表 1 Posterior (Post.)，Trustscore（Trust.)，ガウス過程回帰（GP）のそれぞれについて，評価セットで目標値の Root Mean Square Error (RMSE) を達成できるような確信度の閾値を推定し，テストセットのフィルタリングを行った時の RMSE（上段）と自動採点網羅率 [\%]（下段）の変化. 値は全問題の平均値を表し，土記号は全問題の標準偏差を表す.

Mean Square Error (RMSE) を採用する．また，少量の開発セットの下で，実験結果を安定させるために開発用データ 5 セットを統合した 250 件のデータを用いて閾値を推定した (付録 C).

## 3.5 結果

この実験では 2 節で述べた手順によって，目標とする採点精度を達成できるような確信度の閾値 $\tau$ を検証セットから推定し，その閾値を用いてテストセットに対する予測のフィルタリングを行う．実験では，フィルタリングを行った時に自動採点を行った答案の割合（自動採点網羅率）と，人手採点に一切間違いがなかったと仮定した時の全体の採点精度を求めた. 結果は表 1 である. 目標とする採点精度が非常に高い時（ $0.00 \sim 0.02 ）$ は，確信度によるフィルタリングによって採点誤りを取り除き目標とする採点品質を安定的に実現することは困難であることが示された. 一方，許容可能な採点誤差をさらに緩く設定すると (0.04～)，検証セットで決めた閾值を用いてフィルタリングを行うことで目標の採点精度を実現することが可能であることが示唆される．また，いずれの手法も，同目標誤差の下でのフィルタリング後の RMSE の值はおおむね同程度であるが，手法間で自動採点網羅率には大きな差があることが読み取れる。また，採点誤差および自動採点網羅率ともに標準偏差の值は大きく, 問題ごとに結果に差があることが示されている.

## 3.6 議論

実験では一定量の学習データを用いてモデルを訓練し，推論結果のうち信頼性の低かった答案を人が採点することを想定した. しかし，現実の採点現場においては採点にかけられるコストは一定であるた
め，学習用データの人手採点コストと信頼性の低い答案の人手採点コストはトレードオフの関係にある. すなわち，学習データを増やすとモデルの採点精度は向上し，各得点予測に対する信頼性は全般に向上するが，一方で低信頼度の答案の採点にかけられるコストはその分減少するためより多くの答案を自動採点しなければならない。このように人を含めた系における全体の採点品質を最大化しつつ採点コストを最小化するためには，学習用データの作成にかかる採点コストと，信頼性の低い答案の採点にかけるコストのバランスを最適化する必要がある. この問題の解決に向けて，今後はアクティブラーニングの導入による human-in-the-loop 型の自動採点を想定することで学習データの作成コストと低信頼予測の再採点コストを動的に決定する方法の構築を進めていくことを予定している。

## 4 おわりに

近年，自動採点システムの採点精度は大きく向上しているが，教育現場へのさらなる応用を進めるためには信頼性の向上が不可欠である. 本研究では,舟山ら [7] が提示した確信度を用いた自動採点タスクを拡張し，所望の採点誤りの範囲内で自動採点を行う枠組みを提示することで，採点システムの信頼性の向上に取り組んだ．実験では，既存の確信度推定手法と自動採点モデルを組み合わせることで，目標値の範囲内に採点誤りを抑えつつ自動採点を行える可能性を示した. 今後は，アクティブラーニングの活用により学習データの採点コストと信頼性の低い答案の採点コストのバランスを最適化することで，自動採点システムのさらなる信頼性の向上を図りつつ採点コストの最小化を目指す。

## 謝辞

本研究は，科研費 JP19K12112 の助成を受けたも

のです.また，実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します.

## 参考文献

[1] Peter Foltz, Darrell Laham, and T. Landauer. The Intelligent Essay Assessor: Applications to Educational Technology. Interactive Multimedia Electronic Journal of Computer-Enhanced Learning, Vol. 1, No. 2, pp. 939944, 1999.

[2] Yigal Attali and Jill Burstein. Automated Essay Scoring with E-rater v.2.0. Journal of Technology, Learning, and Assessment, Vol. 4, No. 3, p. 31, 2006.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[4] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, November 2016.

[5] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, 2017.

[6] Oleg Sychev, Anton Anikin, and Artem Prokudin. Automatic grading and hinting in open-ended text questions. Cognitive Systems Research, Vol. 59, pp. 264-272, 2020.

[7] Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, and Kentaro Inui. Preventing critical scoring errors in short answer scoring with confidence estimation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 237-243, Online, July 2020. Association for Computational Linguistics.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, June 2019.

[9] Heinrich Jiang, Been Kim, Melody Y. Guan, and Maya R. Gupta. To Trust Or Not To Trust A Classifier. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, Proceedings of Advances in Neural Information Processing Systems 31, pp. 5546-5557, 2018.
[10] Stig Johan Berggren, Taraka Rama, and Lilja Øvrelid. Regression or classification? automated essay scoring for Norwegian. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 92-102, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Carl Edward Rasmussen. Gaussian Processes in Machine Learning, pp. 63-71. Springer Berlin Heidelberg, Berlin, Heidelberg, 2004.

[12] Jacob R. Gardner, Geoff Pleiss, David Bindel, Kilian Q. Weinberger, and Andrew Gordon Wilson. Gpytorch: Blackbox matrix-matrix gaussian process inference with gpu acceleration, 2021.

## A 実験に用いたモデルの採点精度

実験に用いた自動採点モデルの Quadratic Weighted Kappa (QWK) と RMSE を示す. 值は各問題ごとに， その問題の全項目を平均したものを示す.

表 2 分類モデルとガウス過程回帰の $\mathrm{QWK}$

表 3 分類モデルとガウス過程回帰の RMSE

表 4 分類モデル学習に用いたハイパーパラメータ

表 5 ガウス過程回帰の学習に用いたハイパーパラメータ学習率 $1.00 \mathrm{E}-01$

最大エポック数 30

## C 少量データにおける閾値の推定

2 節で述べたように，開発セットを用いて閾値の推定を行う必要がある. 開発セットのサイズが大きいほど安定的に閾値を決めることが可能であると考えられるが，答案の採点コストを考えると実際の教育現場において開発セットに用いることができるデータの量は多くはないことが想定される．本実験においても，各 50 件開発証データから目標を達成するための閾値を安定的に推定することは難しい. そこで，本害験では検証用データ 5 セットを統合し 250 件としたものを用いて閾值の推定を行った. その間値を用いて各 5 セットの学習データで訓練したモデルのテストデータに対する採点結果のフィルタリングを行った.

## B ハイパーパラメータ

分類モデルとガウス過程回帰の学習に用いたハイパーパラメータは次の通りである.


# 絵本の言語分析 :
## ブックスタート・セカンドブック事業の対象書籍の比較を通して

\author{
近藤可奈子 ${ }^{1}$ 内田諭 $^{2}$ \\ ${ }^{1}$ 九州大学共創学部 ${ }^{2}$ 九州大学大学院言語文化研究院 \\ kondo.kanako.545@s.kyushu-u.ac.jp, uchida@flc.kyushu-u.ac.jp
}

## 概要

本研究の目的は, 幼児のいる家庭での読書習慣の形成を目的としたブックスタート事業とセカンドブック事業で配布対象となっている絵本における出現語彙の違いを明らかにすることである.ひらがなテキストの形態素解析として, 精度比較の結果, GiNZA (ver. 5.1.0)を用いることで，スペースありの絵本の原文テキストについてカタカナ語の前処理をすることで, 単語区切りで $96.1 \%$, 品詞付与で $94.0 \%$ の精度が見込まれるため，これを利用することとした. 語彙分析の結果, ブックスタート事業の対象絵本では, 身体的な表現や具体性の高い表現が多いことが明らかとなり, セカンドブック事業の対象絵本では，思考に関わる表現や時間把握などに関わるより認知的に高度な表現が多く出現することが明らかとなった。

## 1 はじめに

OECD（経済協力開発機構）が 2018 年に実施した PISA（国際学習到達度調查）において, 日本の読解力は 15 位となり, 前調査年度の 8 位から大幅に下落した. 日本児童の読解力低下は国内でも問題となっており, その原因の一つは読書量の減少だとする主張もあり, 2018 年度の調査では, 読書習慣のある生徒の方が読解力を測る問題における平均点が高いことも明らかにされた（『産経新聞』2019 年 12 月 3 日の記事より）.子どもの読書離れは以前から問題視されており, その懸念を背景に 2001 年「子どもの読書活動の推進に関する法律」が制定され, 基本理念や国・地方公共団体の責務が明示された。

このような状況を背景に, 幼児のいる家庭での読書習慣を促進することを目的として絵本を対象者に配布する「ブックスタート事業」や「セカンドブック事業」が各自治体で開始された.これらの事業は地方自治体の単位で行われ，選定される絵本は地域によって異なる。そのため, どのような絵本がどのような基準で選ばれているかは明らかではない。そこで本研究では, これらの事業の配布対象となっている書籍のリストを収集し，語彙分析をすることでその特徴を示す. これにより, 特にマスターリストが存在しないセカンドブック事業（後述）における絵本の選定に貢献することを目指す。

自然言語処理分野における絵本の分析は, ひらがなの形態素解析精度の向上の研究 $[1,2]$ や, 自然言語処理技術を応用した絵本推奨システムの開発[3], 対象年齢の推定[4]などが行われている. 本稿では特にひらがなの形態素解析について最新の日本語 NLP ライブラリである GiNZA[cf. 5]と, MeCab べースの Python ライブラリである janome を用いて精度比較を実施する。

## 2 絵本普及のための事業の概要

## 2.1 ブックスタート事業

子どもの読書習慣向上を目指した活動は数多く実施されているが，主に各自治体や公共図書館が主体となって実施する「ブックスタート事業」もその一つである.ブックスタートとは，各自治体において乳幼児とその保護者を対象に絵本や読み聞かせ体験などをプレゼントする事業で, 1992 年に Share books with your baby!というキャッチフレーズのもと,イギリス・バーミンガム市で始まった。日本では「子ども読書年」である 2000 年にその活動が紹介されたのをきっかけに, 2001 年に本格的な実施へと踏み出した. 現在は NPO ブックスタートの支援により, 全国 1,087 (2021 年 12 月 31 日現在) の市区町村自治体の公的事業として実施されている. 森ら（2011）は,

7 年間ブックスタート事業に取り組んでいる自治体と未だ取り組んでいない自治体において，小学 1 年生の子どもを持つ保護者を対象にアンケート調査を行った. 当調査により,「子どもの読書習慣が高まる，子どものさまざまな本への興味が高まる，（中略）保護者の図書館利用頻度が高まる,（中略）保護者による読み聞かせが多くなる」等の結果が得られ, ブックスタート事業は子どもの読書習慣や保護者の行動へ影響を与えることが示された[6].

## 2.2 セカンドブック事業

ブックスタートのフォローアップ事業として行われているのが「セカンドブック事業」である．対象年齢が 0 歳览とされるブックスタートに対し, セカンドブックは大多数の自治体で 3 歳前後もしくは小学 1 年生とされる. 前者は先述の通り 1,000 以上の自治体が実施している一方で, 後者は 176 の自治体でしか行われていないのが現状である（NPOブックスタートの資料より）．第一の要因は，セカンドブックの実施にかかる絵本の費用や事業運営を行うためのスタッフの人件費等であると考えられる.また， ブックスタートに関しては, NPOブックスタートが三年毎に開く「絵本選考会議」において選ばれた 30 冊の絵本が対象リストとして公開されるが，セカンドブックに同様のものは存在せず，事業の普及の障壁になっていると考えられる。

## 3 ひらがな文章の形態素解析

## 3.1 絵本の形態素解析に関する先行研究

絵本のテキストの大部分はひらがなで構成され, また単語や文節区切りで空白を含むという点で特殊である. 藤田ら(2014)は絵本と一般コーパスを比較した場合, 前者では $74.5 \%$ がひらがな, $7.8 \%$ が空白であったのに対し，一般コーパスである BCCWJではそれぞれ 49.2\%, 1.3\%であることを示している[2]. これまで言語モデルを用いた形態素解析の手法[1] や空白区切りや句読点, ひらがな化したデータ, さらに絵本そのもののデータを学習に使う手法などが提案され[2], 精度の向上を報告している. さらに,絵本の分析の課題として, 表記の摇孔[3], 固有名詞の扱い[2]などの問題が指摘され, 数量的な分析の基礎となる形態素解析での課題が多い。

本稿は，形態素解析の精度向上を目的としたものではなく, ブックスタート事業およびセカンドブッ
ク事業で用いられている絵本の言語的特徴を明らかにすることを目的としているため，これらの点には深く立ち入らず, 既存の形態素解析プログラムの精度を比較した上で, 最もパフォーマンスが良いものを利用して分析を進める。

## 3.2 分析精度の比較

既存の形態素解析プログラムで精度が高いものを利用するため, Python の NLP ライブラリである GiNZA (ver. 5.1.0)と janome(ver. 0.4.1)を用いて精度比較を実施する．形態素解析の実行環境は Google Colaboratory を利用する. GiNZA のフレームワークとして spaCy (ver. 3.2.1)を利用し, 辞書として ja-ginza-electra (GiNZA ver. 5.1.0)を指定した。また， janome は mecab-ipadic-2.7.0 を内包している.

## 3.2.1 評価データ・評価方法

評価データは後述する自作の絵本コーパスからランダムに 10 冊（コーパス全体の約 $10 \%$ あたる 8,515 文字分のデータ）を選定したものを利用し, 絵本のテキストに含まれる空白の有無（例：「11ぴきののら衩こがいました」vs「11ぴきののらねこがいました」）の影響についても調查した。「単語区切り」と「品詞付与」について, GiNZA の分析結果を基本として人手で確認した（判断に迷う部分は筆者らで合議して決定した）。ただし, 形態素解析器のポリシーによる違いによって生じる差異については吸収できる形でアノテーションした。例えば，

「おさとう」は GiNZA では「お（接頭辞）＋さとう (名詞) 」, janome では「お（接頭詞）+さとう (名詞)」となり「お」の品詞が異なるが，どちらも正答として扱った。また，「とびかかろう」は GiNZA では「とびかからう（動詞）」，janome では

語区切りが異なるが，これらはそれぞれのプログラムで一貫して用いられる区切りであるため, どちらの場合も正答として扱った. なお, GiNZA の出力には pos と tag があるが, 品詞の照合に際してはより詳細な情報が得られる $\operatorname{tag}$ の最初の区分を利用した。例えば，「名詞-普通名詞—一般」が解析結果であつた場合，最初の区分である「名詞」を照合対象とした.

## 3.2.2 評価結果

スペースあり（絵本の原文のまま）とスペースなし （原文データからスペースを一括削除）のそれぞれについて, GiNZA, janome の精度評価結果を表 1 に示す.

表 1 形態素解析の精度比較

検証の結果, 単語区切り・品詞付与どちらの場合も GiNZAを用いて絵本の原文のままスペースありで形態素解析を実施したものが最も精度が高い結果となった ${ }^{\text {ii. }}$ GiNZA の場合, スペースなしの場合でもスペースありの場合と遜色のない結果となったことは特筆に値するだろう。なお, spaCy の辞書で ja-core-news-sm (3.2.0)を指定した場合, 複合動詞 (例: かけ+こむ) や複合語（例：お十かあさん） の区切りが細かくなるという点を除いて結果は同一であったが, 語彙分析に際しては複合形式を単一単位として扱うほうが望ましいため, 本稿の分析では辞書としてja-ginza-electra を利用する.

## 3.3 ひらがな解析の精度向上の手法提案

絵本のテキストの分析精度を上げる手法として，藤田ら(2014）は固有名詞（例：「ぐり」，「ぐら」 など）を辞書に登録することで精度の向上が図れると提案している。これに加えて, 本稿では「リュックサック」,「ボール」などのカタカナ語を, 事前に辞書を用いて，ひらがなからカタカナに変換する前処理を提案する。評価データを観察すると，このようなカタカナ語の誤分析が多い. 例えば, 「べっどのうえでかすてらをたべた」という文は，「べっ (名詞) どの（連体詞）うえ（名詞）でか寸（動詞）てら（名詞）を（助詞）たべ（動詞） た（助動詞）」のように誤分析されるが，「ベッドのうえでカステラをたべた」とカタカナにすると「ベッド

(名詞) の（助詞） うえ（名詞）で（助詞）力ステラ (名詞) を（助詞） たべ（動詞） た（助動詞）」と正しく分析される。本稿のデータではカタカナ語の変換を実施した場合, GiNZAを用いると単語区切りで $96.1 \%$, 品詞付与で $94.0 \%$ まで精度が向上した.

## 4 特徴語の分析

## 4.1 データセット

ブックスタート事業, セカンドブック事業の対象絵本の特徴を明らかにするために，全国で配布されている絵本のリストをインターネットおよび図書館等への問い合わせによって入手し，採用件数を集計した. 最終的に，ブックスタート事業を実施している 24 自治体，セカンドブック事業を実施している 30 自治体のリストを集約し，いずれも 3 地域以上で掲載されているものを分析の対象とした.その結果，「ブックスタート絵本コーパス」として 25 冊 $(4,345$文字），「セカンドブック絵本コーパス」として 29 冊（80,884 文字）が対象となった. これらの絵本のテキスト情報を手入力で入力し，テキストファイルとして保存した. 3 節での実験結果を受けて, 絵本のスペースありデータ（原文のまま）をGiNZA で解析し, 品詞ごとに出現語彙を集計した.

## 4.2 高頻度語・特徵語の抽出

平ら(2012)は絵本の高頻度語を分析し, ランダムに売れ筋の絵本を選択した場合のカバー率 (20 冊程度で上位 1,000 語, 150 冊程度で上位 2,000 語をカバ一) や, ウェブ日誌法のテキストデータと比較して幼肾語（まんま，ねんねなど）の出現率が低いことなどを示している[7]. 一方, 対象年齢別の語彙の違いやその特徴までは論じていない. 以下では, 0 歳览向けの絵本が多く含まれるブックスタート絵本コ一パスと 3 歳 6 歳监向けの絵本が多く含まれるセカンドブック絵本コーパスの高頻度語および特徴語を抽出し，その違いについて考察する。高頻度語はブックスタート絵本コーパスでは頻度 5 以上（形容詞は 3 以上），セカンドブック絵本コーパスでは頻度 30 以上（形容詞は頻度 20 以上）のものを抜き出した（ただし，誤解析と思われるものは省く）。また, 特徴語の抽出にあたっては Python の SciPy (ver.

1.4.1)を利用して $\chi$ 二乗検定を実施し， $p<=0.05$ のものを特徴語として認定した（*で記す）。

## 4.3 ブックスタート絵本コーパスの特徴語

ブックスタート絵本コーパスで出現する名詞の高頻度語および特徴語は以下の通りである。

【名詞】おかあさん(24)*，あかちゃん(21)*，こども(11)*，おく(11)*, くつ(10), かお(9)*, ぱん(9)*, こんど(8)*, なか(7), おとうさん(7)，数こ(6)，おなか(6)*，みち(6)*，たまご(6)*，かくれんぼ(6), いぬ(5), みんな(5), うさぎ(5), ぞう(5), ふわふわ(5), てんてん(5), ぱっぱ(5)

「おかあさん」「あかちゃん」「おとうさん」など，乳児が日常生活において頻繁に語りかけられると考えられる名詞や「かお」「おなか」など身体部を指す名詞が上位にある. 小椋・綿巻（1999）は，日本の幼览の早期表出語彙 50 語において, 普通名詞では身体部分を示す語が最多であるという結果を示しており, 絵本での高頻度語はこの観察と符合する[8].

【動詞】いる $(28)^{*}$, くる $(17)^{*}$, でる $(7)^{*}$, はこぶ(7)*, こぼす $(7)^{*}$, よぶ $(6)^{*}$, くっつく(6)*，にげる $(6)^{*}$ ，のせる $(5)^{*}$ ，あける (5)*

また，動詞では「くる」「でる」「はこぶ」など移動を表すものや具体的な動作を示すものが多い.

【形容詞】いい(17)*, おいしい(8)*, いろいろ(4)*, おおきい(3), きれい(3)*

形容詞については, 「いい」「おいしい」「きれい」 など肯定的な語が上位に複数含まれる.

【副詞】きゅっ(12)*, よく(10)*, どうぞ(10)*, ぎゅう $(8)^{*}$, ぴ上ーん(8)*, わん(6)*, また(5), びり(5)*

副詞として分析された語をみると，「きゅつ」「ぎゅう」「ぴょーん」「わん」など擬音語が頻繁に見られる。

## 4.4 セカンドブック絵本コーパスの特徴語

次にセカンドブック絵本コーパスの高頻度語および特徴語について品詞別に考察する。

【名詞】こと(155)*, ライオン(81)*, かえる(79)*, ところ(66)*,
うち(63)*, もの(62)*, さま(55), とき(53), 中(52), わに(51),
こえ(50),おうち(48), ねこ(48), 川(48), オオカミ(45), しつぽ
(42), はなし(42), め(40), き(39), どうぶつ(39), なか(39), ひ
と(39), まえ(39), りゅう(39), ベッド(39),つぎ(38), ホネ(38),
とら(37), もも(35), こども(31), しま(31)

名詞では「オオカミ」「りゅう」「とら」など,一般的な日常生活においては身近な存在でない動物を表す名詞が上位に多く含まれる.また，「もの」「とき」など抽象的な名詞も上位にある。絵本の対象年齢が上がるため, 子どもたちが想像できる範囲がより拡大されることが理由であると考えられる.また，「中」，「川」など簡単な漢字の単語も含まれている.

【動詞】いう(401)*, いる(363), くる(257), 寸る(256), なる(230), ある(180)，いく(140)，みる(131)，やる(107)，しまう(99)，おもう(73), たべる(66), くれる(56), きく(53), わかる(52), つく(47), あるく(40), だす(40)，かける(38)，でる(38)，はじめる(38)，みえる (34)，できる(33)，まつ(32)，もつ(32)

「いる」「なる」「ある」など抽象的な状態動詞や 「みる」「おもう」などの感覚・思考動詞が頻繁に見られることがわかる. O’Grady(2005)は，子どもの発話において最も頻繁に出現するのは「走る」「遊ぶ」「乗る」などの行為に関する動詞で，「思う」

「信じる」などの感覚的な動詞は子どもにとって習得が難しいものとして位置づけており [9], これらの絵本は子どもの認知的な成長につながるよいインプットとなることが示唆される.

【形容詞】いい(80), ない(67), ちいさい(66), おおきな(50), おおきい(29), 大きい (25), くろい(24), ながい(23), うまい(22),大きな(20), すごい(19), はやい(18)

形容詞は特徴語と認定されるものはなかったが, ブックスタート絵本コーパスと比較して, 次元や色彩,味覚, 速度など様々な属性を表す語が観察された。

【副詞】もう(82)*, そう(59)*, どう(50), まだ(36), とても(34), みんな(33)，また(30), すこし(29), こう(25), 寸゙っと(24)

副詞では「とても」「すこし」など程度を表す語や 「もう」「ずっと」など時の流れを表す語など，より認知的に高度な副詞が多く見られた。

## 5 まとめ

本論文では自作したブックスタート絵本コーパスとセカンドブック絵本コーパスについて GiNZAを用いて語彙分析を実施し，それぞれの特徴を明らかにした. 前者には身体的・具体的な表現が多い一方，後者には抽象的でより認知的に高度な表現が多いことが明らかとなった. 比較的小規模なデータでの検証ではあるが，対象年齢別の特徴が明確に現れており，セカンドブック事業のための絵本リスト作成に示唆を与えるものであると考える。特に，心理・思考の描写のある絵本や時間把握能力が必要となる絵本が適していることが示唆される.

## 謝辞

本研究の成果の一部は JSPS 科研費 JP $18 \mathrm{H} 00693$ の助成を受けたものです.

## 参考文献

1. 工藤拓, 市川宙, Talbot, D., 賀沢秀人(2012)「Web 上のひらがな交じり文に頑健な形態素解析」『言語処理学会第 18 回年次大会発表論文集』1272-1275.

2. 藤田早苗, 平博順, 小林哲生, 田中貴秋(2014)「絵本のテキストを対象とした形態素解析」『自然言語処理』21(3), 515-539.

3. 藤田早苗, 服部正嗣, 小林哲生, 奥村優子, 青山一生(2017)「絵本検索システム「ぴたりえ」〜子どもにぴったりの絵本を見つけます〜」『自然言語処理』 24(1), 49-73.

4. 藤田早苗, 小林哲生, 平博順, 南泰浩, 田中貴秋 (2014)「絵本を基にした対象年齢推定方法の検討」『人工知能学会全国大会論文集第 28 回全国大会』3D4-4.
5. 松田宽(2020)「GiNZA-Universal Dependencies によ了実用的日本語解析」『自然言語処理』27(3)， 695-701.

6. 森俊之, 谷出千代子, 乙部貴幸, 竹内惠子, 高谷理恵子，中井昭夫(2011)「ブックスタート経験の有無が子どもの生活習慣や読書環境等に及ぼす影響」『仁愛大学研究紀要人間学部篇』10, 61-67.

7. 平博順, 藤田早苗, 小林哲生 (2012)「絵本テキストにおける高頻度語彙の分析」『情報処理学会関西支部支部大会』 F-103.

8. 小椋たみ子, 綿巻徹(1999)「早期表出・理解語彙の日米比較」『日本教育心理学会第 41 回総会発表論文集』 141 .

9. O'Grady, W. (2005) How children learn language. Cambridge University Press. (内田聖二監訳(2008)『子どもとことばの出会い: 言語獲得入門』研究社)