# BERT による系列ラベリングを用いた文法誤り検出

岡本昇也 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m002@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では，文法誤り検出システムを実装し，先行研究と比較した. 先行研究では文法誤り検出を系列ラベリングタスクとし，BiLSTMを用いた。我々 は，BERT を用いて同じく系列ラベリングタスクと して解き，文法誤り検出システムを実装した. 実験 の結果，BERTを用いての文法誤り検出システムは，適合率，再現率， $\mathrm{F}(0.5)$ 值のすべてにおいて，先行研究の BiLSTM 上り高かった. また, 文字レベルの モデル Flairを用いた実験も行い，適合率がさらに 高くなったという結果が得られた。

## 1 はじめに

近年, 言語学習者向けの作文支援システムは多く 開発されている。その中には学習者の作文の文法誤 りを自動で訂正するシステムや，学習者の作文を自動評価し点数をつけるシステムなどがある. このよ うな作文支援システムにより, 学習者及び教育者の 負担を軽減することができる [1].

本研究では，作文支援システムのための文法誤 り検出 (Grammatical Error Detection: GED) に取り組 む。これは，文法誤りを含む文を入力すると文法の 誤っている位置をユーザに提示するシステムであ る. 言語学習者が作文を書く際に，指導者なしで文法誤り位置を確認することを可能とする技術であ り，作文支援システムの基本となる重要な技術で ある。文法誤り訂正 (Grammatical Error Correction) は，文法誤り検出（GED）の結果に基づき，誤りを 正しい表現に自動訂正するものであり，GEDはこの 前段階の技術としても重要である.

文法誤り検出 (GED) に関しては, 近年では深層学習を用いた研究が精度を上げ英語では BiLSTM を 用いることで最高精度の誤り検出を行っている [2].英語では深層学習を用いた文法誤り検出の研究が 多くなされている。これに対して，日本語では深層学習を用いての文法誤り検出の研究は先行研究 [1] などが行われているものの，十分であるとは言えな い.このような背景に基づき，我々は日本語を対象 とした深層学習に基づく文法誤り検出を研究し, そ の効果を確認する。

文法誤り検出を深層学習を用いて行うためには 大規模のデータセットが必要となる．そこで，本研究では，大規模なデータセットである Lang-8 コー パス [3] を利用する. Lang-8 コーパスは，語学学習 のための SNS Lang-8 の添削ログからクローリング して作られた，誤りを含む文とその訂正文からなる データである．約 200 万文対からなり，文法誤り訂正用のデータとしては規模の大きいものである.

本研究では，文法誤り検出を系列ラベリングタス クとして解くことを目指す. 系列ラベリングとは，系列の各要素もしくは部分系列に対してタグ付け を行う手法である。代表例として，品詞タグ付けや チャンキングなどがある。文法誤り検出は，作文を 単語系列として扱い，各単語に正解または誤りの ラベルを付与する系列ラベリング問題として表現 できる. 先行研究 [1] では BiLSTMを用いて, 文法誤り検出を系列ラベリング問題として解いている. BiLSTM では，前後の文脈情報を考慮して正誤ラべ ルの判定を行えるが，遠く離れたデータの影響を扱 うのが難しい問題が残る．日本語における文法誤り 検出には，「全然〜ない」などの遠く離れた関係や，基本的に文末に置かれる用言と文中の格助詞の関係 を考慮する必要がある．BiLSTM よりも，系列中の 各単語同士の直接的に影響を考慮できる attention 機構をもつモデルのほうが望ましいと考える。そこで 本研究では BERTを用いる.

図 1 BERT の系列ラベリングの構造（文献 [6] の図 4 の (d) を引用)

## 2 系列ラベリング

## 2.1 BERT による系列ラベリング

BERT (Bidirectional Encoder Representation from Transformer）は, attention 機構のみで構成される Encoder-Decoder モデルである Transfomer[4] の Encoder の部分を用いたモデルである.

BERT を用いた系列ラベリングは，BERT の出力 に線形変換を適用したものとして実装される [5].学習の際は，文を符号化したものを BERT に入力 し，損失を計算する．損失関数はクロスエントロ ピーを用いた. BERTでの一般的な系列ラベリング の様子を図 1 に示す.

## 2.2 系列ラベリングによる文法誤り検出

文法誤り検出は，各単語に正解または誤りラベル を付与するタスクに該当すると考えられる。 そのた め，本研究では，文法誤り検出を系列ラベリングタ スクとして扱う。図 1 では，系列ラベリングの BIO 法で行っているが（B-PER は BIO の B に対応して いる), 本研究では, BIO 法でなくIO 法で行った. BERT の系列ラベリングを用いた文法誤り検出の様子を図 2 に示す. 出力ラベルの I と C は IO 法の I と $\mathrm{O}$ に対応している.

このような，モデルを用いて学習するために各単語に正解または誤りのラベルが付与されている必要 がある.

図 2 BERT での文法誤り検出

図 3 Lang-8 データの一例

## 3 データセットの作成

データセットの作成に Lang-8 コーパス [7]を使用 した.

## 3.1 Lang-8

Lang-8コーパスは学習者の作文であるエッセイと その添削結果からなるコーパスである，各エッセイ には，エッセイ ID，ユーザーID，学習言語タグ，母語タグが付与されている。すべての学習者の文には 1 以上の添削文が付与されている. 本研究では, Lang-8コーパスに含まれる, 日本語学習者が書いた 添削前の文である誤用例と日本語母語話者が添削し た文である正用例のペア 72.2 万文対を用いる. そ の例を図 3 に示す.

## 3.2 データセットへの単語の正誤ラベル 付与

Lang-8 コーパスは，学習者の作文（誤用例）とそ れを訂正した作文（正用例）のペアからなるコーパ スである。誤用例文のどの単語が誤り単語であるか は正用例文を見ることで確認できるが，元の誤用例文の各単語に直接的に誤りラベルが付与されている わけではない. したがって，系列ラベリング問題に 使うためには，誤用例文の各単語に正誤ラベルを付与しておく必要がある.

そこで，アライメントツール [8]を使用して，各単語にラベル付けを行った。具体的には 72.2 万文対の日本語誤用例文と正用例文の対にそれぞれに対 して，アライメントツールを用いて単語アライメン

図 4 Lang-8コーパスのラベル付けの様子 (別の語に置換 される場合)

図 5 Lang-8コーパスのラベル付けの様子 (余計な語があ 了場合)

トをとり，一致しているところを C (正解)，一致し ないところをI（誤り）とした. ラベル付けの様子 を図 4 , 図 5 に示す. 図 4 は，単語アライメントを とった際に対応する単語が誤っている場合のラベル 付けの例である. 図 5 は，単語アライメントをとっ た際に誤用例の方の単語に対応する単語がない場合 のラベル付けの例である. 本研究では，単語アライ メントをとった際に正用例の方に対応する単語がな い場合は扱っていない. このラベル付けされた誤用例データをデータセットとして実験で使用する．本論文では，このデータセットを誤用タグ付きデータ セットとよぶことにする.

## 4 実験

## 4.1 実験データ

文法誤り検出の実験には，誤用タグ付きデータ セットを使用する. 72.2 万の誤用タグ付きデータ セットを表 1 に示す通り, 学習データ，検証データ，評価データに分割した。

## 4.2 評価方法

各単語に対して正誤ラベルを推定し，誤ラベルの 一致度でその性能を評価する。評価尺度には，全て の誤ラベルのうち，どの程度を正しく検出できたか を表す再現率（Recall）と，誤ラベルと検出した中で 正しく誤ラベルであった適合率（Precision）を用い る. 再現率と適合率は通常トレードオフの関係にあ るので，この両者の調和平均である $\mathrm{F}$ 值を用いる. $\mathrm{F}$ 值は式（1）で与えられる。ここで， $\beta(\geq 0)$ は適合率と再現率のどちらかをどの程度重要視するかのパ ラメータであり， $\beta=1$ のときは両者を等しく扱い， $0 \leq \beta<1$ のときは適合率を重視し， $1<\beta$ のときは 再現率を重視する.

$
F(\beta)=\frac{\left(\beta^{2}+1.0\right) \times \text { Precision } \times \text { Recall }}{\beta^{2} \times \text { Precision }+ \text { Recall }}
$

外国語学習のために誤り箇所を指摘する（フィード バックする）ことを考えたとき，文法誤りでないも のを誤りとフィードバックすることは望ましくな く，正確なフィードバックの方がカバレッジの高い 誤り検出よりも学習効果があるとされている [9]. つまり，多くの文法誤りをきちんと誤りとフィード バックする（再現率が高い）ことよりも，与えた誤 りであるというフィードバックが正しい（適合率が 高い）ことが学習にとって望ましい。そこで本研究 では，適合率を重視する $\mathrm{F}(0.5)$ で評価した。

## 4.3 実験条件

本研究で使用した BERT は，東北大学が公開して いる日本語事前学習済みのモデルを用いた．BERT のハイパーパラメータは，最適化アルゴリズムを AdamW（学習率が 0.00001）に，バッチサイズを 32 文にして，検証データを用いて最もロスの少ないエ ポック数を決定した。

比較のために，先行研究の BiLSTMを用いたシス テムを実装したものと，系列ラベリングタスクにお いてよい性能を示している Flair[10][11]を用いた実験を行った.

Flair では，文字エンベディングに基づく単語エ ンベディングのみを用いるモデルと，それに BERT エンベディングを加えた単語エンベディングを 用いるモデルを用いた。このようにして得られ た単語エンベディング系列をBiLSTM_CRF で系列 ラベリングする．前者を Flair+BiLSTM_CRF，後者 を Flair_BERT+BiLSTM_CRF と表記することとする。 それぞれのモデル構造は図 6 と図 7 に示す. 最適化 アルゴリズムには SGDを使用した。ただし，学習率を 0.1 とし， 5 エポック連続で学習損失が減少し ない場合に学習率を半分にするアニーリングを行う [11]. バッチサイズは 32 とした.

## 4.4 実験結果

各モデルにおける文法誤り検出の評価結果を 表 2 に示す。適合率 (Precision) と再現率 (Recall), $\mathrm{F}(0.5)$ 全てにおいて BiLSTM に比べて BERT の方が
表 2 日本語文法誤り検出の評価

図 6 Flair のモデルの構造

図 7 Flair_BERT のモデルの構造 [10][12]

上回っている. 重視している適合率に注目すると Flair+BiLSTM_CRFが最も高い 0.773 となった. ただ し, 再現率は 0.107 と低く, 比較的正確なフィード バックは行えるものの多くの文法誤りを見逃してい る結果となった。一方，BERTを用いたモデルは適合率が Flair モデルに比べるとやや低いものの 0.639 であり, 再現率が 0.226 と Flair のモデルに比べて 高かった. 総合的な指標 $\mathrm{F}(0.5)$ では BERT が最も高 かった. また，単語エンベディングに文字エンベ ディングと単語エンベディングを用いた Flair モデル （Flair_BERT+BiLSTM_CRF）については，文字エンベ ディングのみの Flair（Flair+BiLSTM_CRF）と BERT の中間的な結果となっており, Flair+BiLSTM_CRF の適合率と BERT の再現率のよさをそれぞれ活かせ るハイブリッド型的なモデルになっている. 文字レ ベルのモデルを用いると，正確なフィードバックが 期待でき，BERTなどの単語レベルのモデルを用い ると文字レベル程の正確なフィードバックは期待で
きないが文字レベルのモデルに比べてカバレッジの 高い文法誤り検出になると考える。

## 5 終わりに

本研究では BERT を用いて文法誤り検出システム を実装し，先行研究との比較を行った. 実験の結果，BERT を用いての文法誤り検出システムは，適合率，再現率， $\mathrm{F}(0.5)$ 値のすべてにおいて，先行研究の BiLSTM より高かった. また，文字レベルのモ デル Flairを導入することにより，適合率がさらに 向上し，言語学習者へのより正確なフィードバック が期待できることがわかった. 今後は Flair の高い 適合率と BERT の高い再現率を生かしたハイブリッ ドモデルを実装し，文法誤り検出の性能向上を図り たい.

## 謝辞

Lang-8 のデータ使用に際して，快諾くださった株式会社 Lang-8 社長喜 洋洋氏に感謝申し上げます。 なお，本研究は JSPS 科研費 $19 \mathrm{~K} 12241$ の助成を受け たものです.

## 参考文献

[1] 新井美桜, 金子正弘, 小町守. 日本語学習者向けの文法誤り検出機能付き作文用例検索システム. 人工知能学会論文誌, Vol. 35, No. 5, pp. A-K23_1-9, 2020.

[2] M. Rei and H. Yannakoudakis. Compositional sequence labeling models for error detection in learner writing. In Proceedings of ACL, pp. 1181-1191, 2016.

[3] T. Mizumoto, T. Tajiri, T. Fujino, S. Kasahara, M. Komachi, M. Nagata, and Y. Matsumoto. Naist lang-8 learner corpora, 2012. https://sites.google.com/ site/naistlang8corpora/home.

[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin. Attention is all you need. In Neural Information Processing Systems, 2017.

[5] 近江崇宏, 金田健太郎, 森長誠, 江間見亜利. BERT に よる自然言語処理入門 - Transfomers を使った実践 プログラミングー. オーム社, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018.
http://arxiv.org/abs/1810.04805.

[7] M. Tomoya, M. Komachi, and M. Nagata. Mining revision $\log$ of language learning sns for automated japanese error correction of second language learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[8] Z. Dou and G. Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In Conference of the European Chapter of the Association for Computational Linguistics (EACL), 2021.

[9] R. Nagata and K. Nakatani. Evaluating performance of grammatical error de tection to maximize learning effect. In Proceedings of COLING, pp. 894-900, 2010.

[10] A. Akbik, T. Bergmann, D. Blythe, K. Rasul, S. Schweter, and R. Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In NAACL 2019, 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, 2019.

[11] A. Akbik, D. Blythe, and R. Vollgraf. Contextual string embeddings for sequence labeling. In COLING 2018, 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.

[12] G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami, and C. Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260--270, 2016.


# 共創支援を目的とした技術文書からの技術一価値表現の抽出

内田 貫太 $^{1}$ 田口 亮 $^{1}$
${ }^{1}$ 名古屋工業大学大学院 工学研究科 工学専攻 情報工学系プログラム
k. uchida.514@stn.nitech. ac.jp taguchi.ryo@nitech.ac.jp

## 概要

技術の構造化ツールとしてVBridge というものが ある.このツールは技術の理解や新しい価值の発想 などに役立つことができるが，作成コストが高いと いう問題がある. そこで, 技術文書などから VBridge を自動生成することが望まれる. 本研究では，マル チタスク学習を適用させた汎用自然言語処理モデル を用いることで，論文から VBridge の要素を抽出す ることを目指した。また，その結果について考察を 行い，検討すべき課題について整理する。

## 1 はじめに

近年，激しく変動する国際情勢において，企業に は大きな需要の変化に対応できる力が求められてい る.そこで，大きな変化に対応するためには企業内外での部門間の垣根を越えた連携が必要不可欠とな ってくる. しかしながら, 開発部門の人が社会的価值から着想を得るということや，マーケティング部門の人が技術に対して深い理解を得るということは 難しい.この課題に対し, 部門間の橋渡しとなる思考ツールとして VBridge (バリュー・ブリッジ) が提案されている[1]. VBridge は技術価値を視覚化した もので, 下層の専門的な技術から, 上層の社会的価值への道のりが順を追って表現される。これを用い ることで，技術とその価值を共有することができ，部門間連携の助けとなる. しかし, VBridge を作成 するためには, VBridge に対しての深い知識や，技術に対する理解が必要となり, 誰でも容易に作成で きるものではない.

本研究では, VBridge を作成するコストを削減す るため, 論文などの技術文書から VBridge を自動生成することを目指す. 本稿ではその第一歩として，汎用自然言語処理モデルよる深層学習を用いて, VBridge の構成要素を抽出することを試みる.

## $2 \mathrm{VBr$ idge}

## 2. $1 \mathrm{VBr$ idge の概要}

VBridge は技術が価値に結びつく過程を有向グラ フとして表現したものである。下層から，なりたち （部品・機構），ふるまい（自立機能），はたらき (他律機能), 達成事項（品質要素）, 個々のよろ こび（要求項目）, みちすじ（共創プロセス）, ね がい（共創テーマ）の 7 階層に分かれており，各要素の因果関係が矢印で示されている.

[1]では,エアコンや冷蔵庫で用いられる帯電微粒子水の技術をへアドライヤに応用した事例を用いて VBridge の利用方法を解説している. その VBridge を図 1 に示す. マーケティングや営業の担当者は， VBridge 上層にある社会的ニーズ（ねがい，みちす じ）や，「アレル物質から水素を抜き取る」や「ウ イルスから水素を抜き取る」という，技術によって 実現されている直接的な効果（達成事項）は知って いても，その効果が得られるメカニズムや技術の構成要素については知らない場合がある。そこで，技術開発の担当者が，技術の構成要素（なりたち）や その構成要素がどのように作用して現在の効果を生 み出しているのか（ふるまい）を記述することによ り，マーケティングや営業の担当者の理解を支援す る. 一方で, 技術開発の担当者は, 自社技術が具体

図1 VBridge の例（[1]より転載）
的にどのような社会的ニーズを満たしているのかを 知ることができるようになる．さらに，中間にある

「はたらき」の層で，技術がもたら寸効果を対象に 依存しない表現で記述することによって, 技術の可能性が広がり, 空気清浄機で使われていた技術を,冷蔵庫やへアドライヤに応用するという新たな発想 が生まれやすくなるのではないかと論じている.

## 2. $2 \mathrm{VBridge$ 自動生成手法の検討}

VBridge の作成を自動化するためには, VBridge を 構成する矢印や各階層をより具体的に定義する必要 がある. 本研究では, 構成要素間の因果関係に着目 し，あることがらを任意の層に当てはめるとすると， そのことがらを達成・解決したときに，達成できる ことをその 1 つ上層に位置付けるものとする. 図 1 を例とすると，「対象物質の水素分子を足し引きす る」ことが達成できれば，「アレル物質から水素を 抜き取る」ことができるようになると理解できる.

このように技術の構造を解釈していくと, 技術の 全体像は「課題がある」，「課題を解決する」，「新 しい課題が見える」のサイクルで論理が展開されて いることが分かる. そうすることで, 自ずと課題や 解決法は, 上段に行くほど広く一般的になっていき,下に行くほど狭く専門的になっていく.これは VBridge の本来の目的である「技術理解の橋渡し」 に相違ない.

ただし，技術文書から構成要素を抽出して VBridge を作成するというアプローチでは問題が発生する場合がある. 例えば，ある技術文書の中で「異常データの収集は困難である」と「異常パターンを 定義することは現実的ではない」という問題点が指摘され, その解決策として「正常データのみで学習 する万法」が提案されているとする。この場合,一見して論理に齯龆はないと思われるが，実際はこの 解決策でこれらの問題点が解決されるわけではなく，「異常データが必要不可欠である」というその技術文書では言及されていない別の問題点が解決されて いる.このように, 技術文書には論理の飛躍が含ま れる場合があるため, 抽出手法のみでは完全な論理 を表現するのは難しい。

従って, (1) 技術文書から VBridge 内に記述すべき 構成要素を抽出し, (2) 各構成要素間の因果関係を推定, (3) 論理の飛躍を検出し補完することができれば, VBridge の自動生成が可能になると考えられる. そ こで本稿ではまず(1)の構成要素抽出を目標とする.

## 3 VBridge 構成要素の自動抽出

## 3. 1 アプローチ

VBridge は容易に作成できるものではないため, データセットを大量に用意して学習させることでの 精度向上は難しい，そこで，汎用自然言語モデルの ファインチューニングというアプローチを採用する。 また, 本研究では最終的に 2.2 節で説明した (1) (3)のタスクを実行することを想定している. 深層学習では，各タスクを実行するモジュールを個別に最適化するよりも，マルチタスクとして同時最適化す る方が，効率よく学習できる場合がある.

そこで本稿では, 汎用言語モデルをマルチタスク 学習によりファインチューニングすることにより，

VBridge 構成要素の自動抽出を行う。

## 3.2 汎用自然言語処理モデル

汎用自然言語モデルとして有名なのは BERT[2]で ある. BERTは, Transformer というアーキテクチャ を採用しており，このアーキテクチヤは文章全体の 依存関係を学習できるが，文章全体のトークン数が 増加すると, 計算量が $O\left(n^{2}\right)$ で増加してしまうとい う問題がある。つまり，技術文書の上うな長文に対 して適用するのは難しい. そこで，長文の読解に適 した言語モデルを使用することを考える.

Dai らはこの問題を解決するため, Transformer-XL というアーキテクチャを提案している[3]. このアー キテクチヤは文章全体をセグメントに分割し, 前の セグメントの情報を次のセグメントに引き継ぐこと で長文の解析に対応している.

さらに, Yang らはこの Transformer-XL[3] のアー キテクチャを使用した XLNet と呼ばれる汎用自然言語モデルを提案している[4]. このモデルは BERT ではできなかった長文の解析ができることに加え，単語の順番をバラバラにして学習することで Masked LM における問題を解決している.

一方で，Liu らは単一タスクにおいて学習データ が十分に得られない問題に対し, MT-DNN (MultiTask Deep Neural Network）というモデルを提案して いる[5]. このモデルは, BERT に対して複数のデー タセットでのマルチタスク学習を適用させることに よって, BERT 単体のスコアを上回っている. 本研究では, ストックマーク株式会社が公開している日本語ビジネスニュース記事で事前学習を行った
表 1 構成要素のF1 スコア

XLNet[6]を使用する.また，[5]を参考に XLNet をマ ルチタスク学習によりファインチューニングする.

## 3.3 系列ラベリングによる構成要素抽出

本稿では, VBridge の構成要素抽出を, 系列ラべ リングタスクとして解く. 各要素の説明を次に列挙 する.

達成価値 : その研究によって得られた価値

将来価値: その研究が将来的に達成したい目標

解決課題: その研究によって直接解決される課題将来課題: 将来的に解決したい課題

要素技術: その研究で用いられている要素技術 これらの要素は技術を説明する上で重要であり, VBridge を作成する上で欠かせないものとなる。し かしながら，「地球温暖化を解決する手法」といっ たように価値（地球温暖化を解決）, 課題（地球温暖化), 要素技術（地球温暖化を解決する手法）が 重複する場合があるため, 各ラベルは重複可能とし た.このような, 重複した系列ラベリングを行う方法として, 各ラベル独立に汎用言語モデルをファイ ンチューニングする万法と, マルチタスク学習によ り汎用言語モデルをラベル間で共有する方法が考え られる．後述の実験では両者の性能を比較する。

## 4 実験

## 4. 1 実験条件

インターネット上で公開されている情報処理学会

深層学習に関する研究の概要 294 本を実験に用いる.前章で示した 5 つの要素をラベリングし, 学習デー 夕を 250 本, 評価データを 44 本としてデータセッ 卜を作成した. 各ラベル独立にファインチューニン グする場合と, マルチタスク学習によりファインチ ューニングする場合とを比較する.

## 4. 2 実験結果と考察

表 1 が実験による各タスクの単体学習とマルチタ
スク学習の F1 スコアである. 要素技術と達成価値 についてはマルチタスク学習の方が抽出精度が高く, そのほかのラベルについては, シングルタスク学習 の方が高精度となった。

今回の実験では, どのラベルにおいても良い結果 は得られなかったが, この要因の一つに, 予測結果 に対する評価の手法が厳密すぎると考えられる。今回のデータセットにはアノテーションの摇らぎが生 じている. 例えば, 「本研究では, 地球温暖化を解決する手法を提案する.」といった文章に達成価値 をラベリングすると考える.このとき，この研究の 価値は「地球温暖化を解決できる」ことであるが， そのことを文章でラベリングする際には「地球温暖化を解決」，「地球温暖化を解決主る」，「地球温暖化を解決する手法」などの複数の正解が存在して しまう. 予測にも同じパターンが生じ, 完全に一致 しなければ評価が下がってしまうことになる。よっ て，ラベリングの意図を汲み取り，柔軟に対応でき る評価手法が必要となる.

また，マルチタスク学習による精度の向上が見ら れなかった原因として, 解決課題と将来課題のよう な似た傾向のあるラベリングタスクに対して，予測 が難しくなったと考えている.

次に，実際の予測をもとにその傾向や課題につい て考える. 表 2 が実際の予測と正解ラベルを一部抜粋したものである. 各構成要素について以下のよう に考察する。

達成価値「高速化」や「軽減」，「向上」な ど，ポジティブな単語を予測する傾向が強く見られ た.これは価値を表す単語を予測できていると考え られるが，その主語となる単語までを予測すること ができていなかったため, 文単位での予測が必要と 考える。

将来価値「密集」や「生産」,「コンピュータ」 など，一般的な単語を予測する傾向が見られた。こ れは将来価値に含まれる単語の傾向とは一致するが，精度の向上のためには後の文脈から達成できていな いことであることの推論が必要になると考える.
表 2 各タスクの予測と正解ラベルの抜粋

要素技術

## predict

…少数なデータを扱えるサポートベクター回帰を顔面領域皮膚温に適用し、…

解決課題 他のラベルと比べてデータ数が少な

く, 出現しない文章も多く見られたため, 予測が難 しかったと考える。

将来課題「要する」や「増大」，「かかる」な ど，ネガティブな単語を予測する傾向が強く見られ た. これは達成価値と同様に, 課題を表す単語を予測できていると考えられるが, その主語となる単語 までを予測することができていなかったため, 文単位での予測が必要と考える.

要素技術「サポートベクター回帰」や「データ ベース」，「音声認識」など，専門的な単語を予測 する傾向が見られた. これは要素技術に含まれる単語の傾向と一致しており, 名詞のみでのラベリング が多かったため，他のラベルに比べてスコアが高か ったと考えられる。

以上から，実験結果としてスコアは低かったもの の, 多くのラベルにおいて正解の傾向は見られてお り, 評価手法やラベリング手法を改善することで精度が向上すると考えられる. 具体的には以下の 3 つ を今後の課題とする.

・ ラベリングタスクでアノテーションの摇らぎに 対応できる評価およびラベリング手法の改善
・より長い範囲で文を抽出する手法の検討
- 構成要素抽出以外の異なるタスクを用いたマル チタスク学習の実現

## 5 おわりに

本研究では, VBridge の自動生成を目的として, その要素となるものを論文から抽出する手法を提案 した. 提案手法では，少ない自作データセットを活用するため, マルチタスク学習を適用させた汎用自然言語処理モデルを用いた．実験では，高い精度の 結果は得られなかったものの, その予測の傾向から 改善の余地があることを示した。

## 参考文献

[1] 加藤雄一郎. 2016. 長期展望に立ったコ ア技術戦略, JTEKT ENGINEERING JOURNAL No. 1014.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding, Pro-ceedings of the

2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume1 (Long and Short Papers), pp. 4171-4186.

[3] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbone11, Quoc Le, and Ruslan Salakhutdinov. 2019. Transformer-XL: Attentive Language Models beyond a Fixed-Length Context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2978-2988, Florence, Italy. Association for Computational Linguistics.

[4] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbone11, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In NeurIPS 2019, pages 5754-5764.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, Jianfeng Gao. 2019. Multi-Task Deep Neural Networks for Natural Language Understanding, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4487-4496, Florence, Italy. Association for Computational Linguistics.

[6] mkt3, 大規模日本語ビジネスニュースコー パスを学習した XLNet （MeCab+Sentencepiece 利用）モデルの紹介

https://qiita. com/mkt3/items/4d0ae36f 3f212aee 8002

［7］情報処理学会第 84 回全国大会講演論文集, https://www. ipsj.or. jp/event/taikai/8 4/ipsj_web2022/index. html


# 事実検証モデルのための
## ラウンドトリップ翻訳を利用した疑似フェイクデータ生成

\author{
小林龍斗秋葉友良 \\ 豊橋技術科学大学 情報・知能工学課程 \\ kobayashi.ryuto.jz@tut.jp akiba@cs.tut.ac.jp
}

## 概要

フェイクニュースの拡散は，誰もが情報を共有で きるソーシャルメディアが普及している昨今におい て重大な問題となっている。この問題に取り組むた め, NTCIR プロジェクトにおける議会議事録を対象 とした評価タスク QA Lab-Poliinfo-3 ${ }^{1}$ では, Fact Verification タスクが実施された。しかし我々は，同 タスクで提供された学習データを使用して構築した 分類器では, 人手で作成されたフェイクデータを上手く検出できないことを実験により確認した. 本研究では，この一つの要因であるフェイク学習データ の不足に着目し，Round-Trip 翻訳を利用した疑似フ エイクデータ拡張手法を提案する.評価実験により，提案手法で自動生成されたフェイクデータを学習に 利用することで，人手フェイクデータに対する検出精度を向上させられることを確認した。

## 1 はじめに

近年，フェイクニュースやデマの拡散が社会問題 になっている、ソーシャルメディア等を通じて拡散 された真偽不明の情報は人々に誤解を与え，混乱を 招く恐れがある。このような問題に取り組むため, NTCIR-16 QA Lab-Poliinfo-3では, Fact Verification タ スクが実施された. Fact Verification タスクでは，与 えられた討論の要約が実際に議会で話し合われてい る内容と即しているかどうかを検証するモデルの精度が競われた.ここで我藤ら[1] は, パッセージ検索 と含意関係認識モデルを組み合わせた手法を提案し，参加チーム中トップの成績を達成した。

しかし我々は，我藤らのモデルが人手で作成され た巧妙なフェイクデータを上手く検出できないこと を実験によって確認した. 本研究では, この一つの要因と考えられるフェイクの学習データの不足に着目し，ラウンドトリップ翻訳を利用した疑似フェイ クデータ生成手法を提案する．実験の結果，提案手法で生成した疑似フェイクデータをモデルの学習に 利用することで，人手フェイクデータの検出精度を 向上させられることが確認できた。

## 2 関連研究

事実検証の方法には様々な手法が提案されている。我藤ら[1]は，主張文中の語句をクエリとして情報源から要約に関連する文を検索し，主張文と検索文 との間に含意関係が成立するかどうかを判定するこ とで，フェイクの検出を試みた。含意関係とは，あ る主張 A が成立するとき，ある主張 B もまた成立す る関係を示し，このとき主張 A は主張 B を含意して いると言う，我藤らは，主張文が正しければ，それ を含意する検索文との間に含意関係が成立すると仮定し，含意関係が成立するかどうかを判定するモデ ルを事前学習言語モデル BERT[2]を利用して構築し た. 本研究は我藤らの研究に基づいている.

また，Jawahar ら[3]は知識べースを利用した事実検証方法を提案した。知識ベースとは，知識をコン ピュータで扱えるよう形式化した特殊なデータベー スを指し, Jawahar らの研究では, 単語と単語が関係 で接続された三連結のデータを集めた YAGO[4]を 利用している. Jawahar らは知識べースに含まれる知識を基に有向グラフを構築し，それをグラフ畳み込 みニューラルネットワークで符号化することで，事実検証モデルに知識ベースを組み込んだ。また，こ こではエンティティ操作によるフェイクデータ生成手法も提案されている. 通常のエンティティ操作は, エンティティを無作為に置き換えることで達成され るが，ここではテキスト生成モデル GPT-2[5]を利用

した手法が提案されており, 置き換え元の語と関連性の高い語を予測して置換することで, 検出難易度 の高いフェイクを作成している.

## 3 提案手法

提案手法では，正しい主張文に特定の操作を自動的に加えることにより,フェイクデータを作成する.

## 3.1 文の操作

提案手法では, 主張文に対して以下の操作を加え ることによって, フェイクデータの生成を試みる.
- 否定の指 ・削除

「A は B が好きだ」ー「A は B が好きでない」
- 対義語への変換

「A は B が好きだ」 $\rightarrow 「 A$ は B が嫌いだ」
- 主語一目的語の交換

「A B が好きだ」 $\rightarrow$ 「Bは A が好きだ」

## 3.2 Direct Manipulation

一つ目の手法として, 主張文に対して何らかの操作を直接的に加える Direct Manipulation (以降, DM) を提案する. 操作の模様を図 1 に示す. 尚, DM で は 3.1 節に示した 3 つの操作の内, 否定の挿入・削除のみを実装する。

この手法は単純であるが，主張文を強引に書き換 えることで不自然な文が生成される恐れがある.

図 1 Direct Manipulation

## 3.3 Round-Trip Manipulation

DM に対して, 主張文を直接操作するのではなく, Round-Trip 翻訳を介して文を操作する手法を提案す る. 本稿では, Round-Trip Manipulation (以降, RTM) と呼ぶ. 操作の模様を図 2 に示す. 尚, RTM では 3.1 節に示した 3 つの操作を全て実装する.

RTM では, はじめに日本語で与えられる主張文を 英語などの言語に翻訳し，機械翻訳によって得られ た英語の翻訳文に対して何らかの操作を加え，それ を再び翻訳することによって日本語のフェイクデー タを生成する。翻訳機を介することにより，違和感 のある文章の改変が緩和され，自然な文章が得られ ることを期待している。

## 4 評価実験

提案手法の有効性を検証するため, 以下の評価実験を行う。

## 4.1 データセット

本実験では，昨年開催された NTCIR-16 QA LabPoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ, テストデータを使用して データセットを作成する. 配布データのフォーマッ トを表 1 に示す.

データ数は 1,433 件あり, 本実験ではここから Utterance Type が回答, Document Entailment が True のデータ 411 件を抽出して利用する. さらに，テス トデータ作成に 60 件のデータを確保し, 残りの 351 件を学習データ作成に利用する。

表 1 配布データのフォーマット

図 2 Round-Trip Manipulation

## 4.1.1 テストデータ

テストデータは人手で作成する. 我々は, 4 名の 被験者の協力で人手フェイクデータを収集した。作成にはテストデータ作成用に確保した 60 件のデー 夕を用い, 要約文を何らかの形で書き換えることで フェイクデータを作成するよう被験者らに依頼した。結果, 60 件の True データに対して 60 件の人手作成 False データを収集することができた. テストデータ の例を付録の表 に添付する. テストデータは人手作成フェイクデータ 60 件, その参考となったテス トデータ作成用のデータ 60 件を合わせた 120 件と する.

## 4.1.2 学習データ

学習データは提案手法によって自動的に作成する.作成には学習データ作成用に確保した 351 件のデー タを利用する。

$\mathrm{DM}$ では，否定の挿入・削除操作（NEG）によっ てフェイクデータを生成する。実装には形態素解析 ツール MeCab²を利用し, 解析された動詞と活用の種類に応じて否定の挿入・削除を行う.

RTM では，否定の挿入・削除（NEG）, 対義語へ の変換（ANT）, 主語一目的語の交換操作（SOE） によってフェイクデータを生成する．実装には自然言語処理ツール Stanza 3 利用し, 翻訳機には DeepL $\mathrm{API}^{4}$ を利用する。また，単純な Round-Trip 翻訳によ って True の擬似データも同時に作成する.これは， フェイクデータのみを拡張することによる偏りを抑 えることを目的としている.

以上の手法によって作成されたデータ例と件数を 付録の表 4 に添付する.

## 4.2 実験ベースライン

本実験のベースラインとなるモデルを先行研究 [1]に従って構築する. 先行研究のモデルはパッセー ジ検索と事前学習言語モデルを利用した含意関係認識によって構築されている.

パッセージ検索では，文書ランク付け手法である BM25+[5]を利用する. クエリ $Q$ に対する文書 $D$ の BM25+スコアは次の計算式で表現される. パラメー 夕はそれぞれ $k_{1}=1.2, b=0.75, \sigma=1.0$ とする.

$
\begin{aligned}
& \sum_{i=1}^{n} \operatorname{IDF}\left(q_{i}\right) \cdot\left[\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}+\delta\right] \\
& I D F\left(q_{i}\right)=\log \frac{N}{n\left(q_{i}\right)}
\end{aligned}
$

含意関係認識モデルには, 東北大学の乾研究室が 公開している BERT-base ${ }^{5}$ モ゙ルを利用する.このモ デルに対して NTCIR-16 QA Lab-PoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ 1023 件を利用し, 含意関係認識モデルの ファインチューニングを行う. 先行研究のモデルの 模式図を付録の図 3 に添付する。

実験ベースラインには，上記ベースラインモデル （以降，Baseline）に加え， 120 件のテストデータで 交差検証を行ったモデル（以降, Supervised）を設定 する. テストデータ数が 120 件と少ないため, 交差検証では, テストデータとして 1 件を残し, 残り 119 件を学習データとして学習と推論を 120 回繰り返す leave-one-out 法を採用する.

## 4.3 評価指標

評価指標はテストデータ 120 件に対する分類精度 である Accuracy, フェイク検出の Precision, Recall, F1 とする。

## 4.4 実験方法

実験では, 4.2 節に従って作成される実験ベースラ インモデルに対して, 提案手法で自動生成された学習データを再学習させることで，テストデータ 120 件に対する分類精度が向上するかどうかを確かめる.

## 4.5 実験結果

次頁の表 2 に実験結果を示す.

## 4.5.1 ベースラインとの比較

Baseline の Recall を見ると, ベースラインのモデ ルが人手で作成されたフェイクデータを殆ど見分け られていないことが分かる.これに対し, 他の殆ど のモデルでは Recall が向上しており, 適切な学習デ ータを利用することは人手作成フェイクデータの判定に効果的だと言える。また，人手作成データを再
^{4}$ https://www.deepl.com/pro-api?cta=header-pro-api

5 https://huggingface.co/cl-tohoku
}
表 2 評価実験の結果

学習に用いた Supervised モデルと提案手法を採用し たモデルでは，提案手法を採用したモデルの方が高 い精度で分類することができた. Supervised モデル に再学習させられたフェイクデータは 60 件と数が 少なかったのに対し, 提案手法のモデルではデータ 拡張によってフェイクデータを 300 件前後学習させ ることができた.この結果から，擬似データであっ ても，多量のデータを自動生成することは効果的だ と言える.

## 4.5.2 提案手法の比較

二つの提案手法 RTM, DM を比較すると, 擬似 フェイクデータの作成手法としては Round-Trip 翻訳を利用した方が効果的だと言える。DM であまり 精度が出なかった要因として, 操作前と操作後の文 の表現が殆ど変わらないことから, 再学習の段階で モデルを混乱させているためだと考察する.

## 4.5.1 学習データの比較

RTM を利用したモデルの中では, F1 の観点にお いて, ORG/NEG と ORG+RTT/NEG+ANT を学習さ せたモデルの精度が高かった。表全体を見ると， NEG, ANT を学習させたモデルの精度が高い傾向に あり, 逆に, SOE は今回のテストデータに対しては あまり効果が無かったことが読み取れる。これはテ ストデータに主語一目的語を交換することによって 生成されたデータが殆どなかったためだと考えられ る（表 3）.これに対し, 否定の挿入・削除および対義語への変換を行ったフェイクは多く,これは NEG および ANT 学習させたモデルの精度が向上した一

つの原因と考えられる。また, ORG/NEG+ANT， ORG/NEG+SOE を学習させたモデルと,これにRTT を加えた ORG+RTT/NEG+ANT, ORG+RTT/NEG+ ANT を学習させたモデルを比較すると, RTTを加え たモデルの方が高い性能を達成した.この結果から， フェイクデータのみを増強するのではなく, True の データも増強していく方が効果的だと考えられる。

## 5 おわりに

本研究では, 先行研究 ${ }^{[2]}$ の事実検証モデルの問題点に着目し，それを解決するための擬似フェイクデ 一タ拡張アプローチを提案した. 評価実験の結果,提案手法を利用して自動生成したフェイクデータを モデルの学習に利用することで，人手で作成された フェイクデータに対する検出精度を大きく向上させ ることができた. 本研究では, 英語をピボット言語 として日本語のデータを生成したが，提案手法は 他言語のデータ拡張にも適用できる、

今後の課題として, 提案手法は True データが存在 することを前提としているため, True データに依存 しないフェイク作成手法も検討したい。

## 謝辞

本研究の遂行に際して，4 名の被験者に協力いた だいた.

## 参考文献

[1] 我藤勇樹, 秋葉友良, パッセージ検索と含意関係認識による議会議事録を対象としたファクトチェック，言語処理学会 第 28 回年次大会 発表論文集, 2022 年 3 月, pages 768-772,

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

[3] Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Automatic Detection of Entity-Manipulated Text Using Factual Knowledge, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, May 2022, pages 86-93.

[4] Thomas Pellissier Tanon, Gerhard Weikum, and Fabian M. Suchanek, YAGO 4: A reasonable knowledge base. In The Semantic Web, volume 12123 of Lecture Notes in Computer Science, May 2020, pages 583-596.

[5] Yuanhua Lv, ChengXiang Zhai, Lower-bounding term frequency normalization, In Proceedings of CIKM'2011, pages 7-16.

## A 付録

表 4 データの作成件数と作成データの例

図 3 我藤らが提案した事実検証モデル


# Towards grammatically-informed feedback comments

Diana Galvan-Sosa ${ }^{1,2}$ Steven Coyne ${ }^{1,2} \quad$ Keisuke Sakaguchi $^{1,2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
\{dianags, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp
coyne.steven.charles.q2@dc. tohoku.ac.jp

## Abstract

Current writing assistants are good in error correction and in helping users to change ungrammatical sentences into their correct grammatical form. However, they still fall short on various dimensions, in particular error justification. While the current systems are useful when the main goal is expression, they are insufficient when the goal is the acquisition of a writing skill. It is clear that finding the root of an error is key for improvement. The question is how to do this automatically? We present here an approach that automatically aligns error annotations with grammatical-category annotations made on grammaticalungrammatical sentence pairs. Our preliminary results suggest that such alignments provide a good hint concerning the specific grammar points a user should pay attention to.

## 1 Introduction

Writing is not an easy task. Whether we produce written text in our mother tongue (L1) or a foreign language (L2), the task is daunting because of the number of sub-tasks involved, and because of the lack of clear decision criteria. For example, when is a text optimal? What is a coherent text?, etc. Broadly speaking, writing requires three major steps: (1) idea generation (2) idea ordering and (3) linguistic expression. Assuming that the two first steps have been performed, we need to find the right words, put them in the right order and make the needed morphological adjustments. In other words, having decided what to talk about, and how to convey our ideas, we must make sure that the final output complies with the rules of language. Hence, a basic, yet very important aspect of this last step is to check the grammaticality of our sentences. Realizing the grammar-checking can be automated has motivated the development of a number of writing assistants, one of the

Figure 1 Example of a sentence generated by a L2 user and the expected feedback (output) from the writing assistant.

most prominent ones being Grammarly ${ }^{1)}$.

Ideally, the goal of modern writing assistants is not just to check grammar, but to check the quality of all the levels involved in writing. Put differently, ideally revision concerns the entire writing process. According to cognitive scientists, revision is a complex problem-solving process composed of various steps: (i) problem detection, (ii) problem diagnosis and (iii) solution generation [1]. If we are only interested in the correct form of a text, then it is acceptable for the writing assistant to only output the result of (i) and (iii). Yet, if the goal is the enhancement of the student's writing skills, the output of (ii) is very important. Note that composition, i.e., learning to write is a very common goal among L2 users. Consider the sentence shown in Figure 1, where the detected problem (hereafter referred to as error) is highlighted. The purpose of highlighting the preposition is not only to signal that it should be REPLACED (for $\rightarrow$ so as), but also to make the author aware of the fact that the "so as not to" form was used incorrectly. The goal of this diagnosis is not only to signal the error, but to explain it. Hence, the user's error is related to a goal, which includes the use of the preposition "to" and other grammatical forms like "so as to", "in

Figure 2 Overview of our sentence alignment pipeline (left). To the right, a sample sentence from the M2 file (top), the same sentence padded and aligned (middle) and the matched grammatical categories (bottom). The new annotations are highlighted at the top.

order to" and "so that". This is what the user needs in order to avoid making the same mistake in the future.

The aforementioned diagnosis could easily be made by an English teacher. The question is: how could a writing assistant do the same thing? Thanks to the research done on Grammatical Error Correction (GEC), there is a fair amount of learner data with error annotations available. However, these annotations are limited to the identification of the type (e.g., replace a preposition) and the location of an error in the text. Our premise is that if the sentence were also annotated with its related grammatical categories, these annotations would provide a hint concerning the reasons causing the error.

We present here an algorithm that adds grammatical categories to existing error annotations. To do so, we rely on the English Grammar Profile defined by the CEFR-J [2] project.

## 2 Related work

Grammatical Error Correction. GEC is the task of detecting and correcting all kinds of errors in a sentence. $\overline{\text { Note that error diagnosis is neither expected nor required. }}$ There have been several attempts on tackling GEC, mostly led by the Building Educational Applications (BEA) 2019 Shared Task [3]. The BEA dataset ${ }^{2}$, which includes annotations on an error's type, location and its correction, is the current benchmark measuring the performance of GEC systems. The dataset is composed of 4 corpora: the First Certificate in English (FCE) corpus [4], Lang-8 [5, 6], the National University of Singapore Corpus of Learner English (NUCLE) [7] and W\&I+LOCNESS [3, 8].

Feedback Comment Generation (FCG). Unlike GEC, the goal of FCG is to diagnose an error and output an explanatory note. This task was recently proposed by [9] as the GenChal 2022 shared task, together with a dataset $^{3)}$ that pairs ungrammatical sentences with a feedback comment.

The ultimate goal of our work is directed towards FCG. We aim to generate feedback comments that not only explain the underlying grammatical rule of an error, but also suggest whether the misuse of other grammatical categories caused it. As a first step, we explore to what extent the grammatical categories identified in a grammatical sentence relate to the error annotations made on its ungrammatical counterpart.

## 3 Aligning errors with grammatical categories

## 3.1 The CEFR-J English Grammar Profile

The Common European Framework of Reference (CEFR) is a learning framework that describes the knowledge and skills needed by a learner to communicate in English. The CEFR includes an English Grammar Profile (EGP) that lists the grammatical forms and meanings a learner is expected to get familiar with as they progress along the learning curriculum. This framework has been widely adopted not only in Europe, but also in Latin America and Asia. Its adaptation in Japan (the CEFR-J) is of particular interest to us, as it defines a finer-grained EGP that includes 501 patterns across 263 grammatical categories. An example is shown in Table 1.

Table 1 Example of a grammatical category (GramCat) and its associated forms (patterns).

The CEFR-J EGP is available online, together with a set of scripts that identify all the patterns in a text using regular expressions (regex). ${ }^{4)}$

## 3.2 Error spans and regex matches

As a source of learner's data, we use the BEA and GenChal 2022 datasets introduced in Section 2. Data in the BEA dataset has already been standardized with ERRANT [10], the most common error type framework used in GEC. The top-right of Figure 2 shows an example of ERRANT's M2 annotation format, which identifies a token-based error span, an error type and an edit text (i.e., the text to correct the identified error). As a FCG dataset, GenChal 2022 does not use the M2 format, but it is possible to standardize as long as we input pairs of (UNGRAMmATICAL,GRAMmATICAL) sentences. Since this dataset does not include the GRAMMATICAL counterpart of an UNGRAMMATICAL sentence, it needs to be created. For the scope of this paper, we annotated an initial subset of 500 sentences out of the total 5000 .

With both datasets in M2 format, we rely on the CEFR-J scripts for adding grammatical category information to the M2 annotations. These scripts take as input a grammatically correct text and output a count file with two columns: one with the 501 Pattern IDs and another with the count of the sentences that matched each pattern. The scripts were modified to also output which sentences matched a pattern and the span of the match.

## 3.3 Alignment process

Padding. Apart from error categories like "DET" (Determiner), ERRANT classifies errors depending on whether tokens need to be inserted, deleted or substituted. These operations are referred to as Missing ("M"), Unnecessary ("U") and Replacement ("R"), respectively. As shown at the top-right of Figure 2, an Ungrammatical sentence usually needs more than one edit operation to be-

come grammatical. As a result, most of the time these sentences have different lengths. In order to align the error spans in the UNGRAMMATICAL sentence with the regex matches found on the GRAMMATICAL one, we need both to have the same length. As a general rule, "M" and "U" operations lead to padding the ungrammatical and grammatical sentence, respectively. In the case of " $R$ " operations, no padding will be needed if the token-length of the edit span and the edit text are the same. The ungrammatical sentence will need padding if the length of the edit text >edit span. The grammatical sentence will be padded otherwise.

Alignment. We define as "alignment" when an edit span and a match span overlap. The bottom-right of Figure 2 shows the four patterns found in the GRAMmATICAL sentence by the CEFR-J scripts. However, there are only two alignments: "M:OTHER" $\rightarrow$ "This/that is" and "M:DET" $\rightarrow$ "Indefinite articles". In the case of the second alignment, the grammatical category matched is consistent with the error category that was already annotated. The first alignment, though, adds new information. The "M:OTHER" error type identifies that some tokens are missing, but is not able to point out what exactly the error is (therefore, the use of the generic "OTHER" category). The grammatical category identified in the alignment is more informative, suggesting that the root problem is related to how to point to something. In this particular case, using the "This/that is" form is a better than "because" to detail a reason.

When an alignment is found, a new token with the format PATTERNID: OVERLAP SPAN is appended at the end of the corresponding error annotation line. Note that the sample sentence in Figure 2 has modifications to its first two annotations, while the third one remains unchanged. This is because an edit span can either be aligned with one, several or no match span at all.

## 4 Data analysis

In order to get a better understanding of the potential benefits of aligning an error's edit span and a grammatical category match span, we first look at the number of alignments found in the BEA dataset and our subset from GenChal2022. The results are summarized in Table 2. Considering that a sentence can have one or more error annotations, the table shows both the total number of sentences in a dataset and the error annotations. Note that

Table 2 Number of alignments by dataset. Sentences can have 1 or more error annotations. Here, we take into account ALL the error annotations in a dataset. A "noop" annotation indicates that a sentence has no errors.

sentences in a dataset can be GRAMMATICAL or UNGRAMMATICAL. A sentence is annotated even if it is judged as grammatical, in which case the error type is "noop". The coverage of alignments found on the error annotations (i.e., edits) ranges from $37 \%$ to $42 \%$ in the BEA benchmark and $50 \%$ in our subset from GenChal2022. Taking a closer look at the total number of alignments, we observe that most of the times, our algorithm found one alignment between an error span and a match span. It is interesting to see that there were some cases were a error span overlapped with more than one match span. An example of both situations is shown in Figure 3.

Figure 3 Example of two sentences and their alignments (top: 1 alignment, bottom: $>1$ ) found in their error annotations.

Although we expected that the greater the number of alignments, the more informative a match span would be, our preliminary observations suggest that single alignments can also be revealing. The example shown at the top of Figure 3 showcases a situation where two edits are aligned with the same grammatical category. The edits simply point out that the sentence is missing a comma and that "whose" should be replaced with "whom". The reasoning behind these edits is that a removable idea, known as a NONRESTRICTIVE CLAUSE, is being introduced by the RELATIVE PRONOUN. Therefore, the comma is necessary.
The alignments made on the bottom example explain a more elaborated error. The main problem with the sentence is the use of the "for" preposition. While the use of the collocation "ask for" to introduce a request is correct, the request in question concerns two possibilities, in which case it is better to use the SUBORDINATE CONJUNCTION "whether". This is related to the use of a SUBORDINATE CLAUSE, which is in fact, being suggested in the edit text (i.e., whether you want a). Besides the use of "whether", the suggested subordinate clause involves the use of INDEFINITE ARTICLES. In summary, the error type is helpful for identifying and correcting the error. The alignments found by our algorithm complement the error annotation with information related to the error diagnosis.

So far, it seems that our alignment approach is a good direction towards a "teacher-like" error diagnosis, which in turn is a step towards the generation of grammaticallyinformed feedback comments. The ongoing qualitative analysis presented here is being performed drawing on the second author's experience in English education.

## 5 Conclusion and Future Work

AI is evolving at an amazing pace. The development of AI-powered writing assistants is, beyond any doubt, one of the most notable contributions to make the writing process less painful for authors. However, there is still work to be done in order to bridge the gap between human and computer-based writing revision. In this work, we explore the plausibility of automatically identifying the grammar forms that a user needs to know in order to avoid making the same grammatical error in the future. Since the BEA dataset does not include feedback comments, our future work only considers the GenChal 2022 dataset. Our immediate next step is to design an experimental setup that will quantitatively evaluate the usefulness of error's edit spans and grammatical categories' match spans on feedback comment generation.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Numbers JP22H00524 and JP21K21343.

## References

[1] Kwangsu Cho and Charles MacArthur. Learning by reviewing. Journal of educational psychology, Vol. 103, No. 1, p. 73, 2011.

[2] Yasutake Ishii and Yukio Tono. Investigating japanese efl learners' overuse/underuse of english grammar categories and their relevance to cefr levels. In In Proceedings of Asia Pacific Corpus Linguistics Conference 2018, pp. 160-165, 2018.

[3] Christopher Bryant, Mariano Felice, Øistein E Andersen, and Ted Briscoe. The bea-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[4] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading esol texts. In Proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies, pp. 180-189, 2011.

[5] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[6] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and aspect error correction for esl learners using global context. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 198-202, 2012.

[7] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, 2012.

[8] Sylviane Granger. The computer learner corpus: a versatile new source of data for sla research. In Learner English on computer, pp. 3-18. Routledge, 2014.

[9] Ryo Nagata, Masato Hagiwara, Kazuaki Hanawa, Masato Mita, Artem Chernodub, and Olena Nahorna. Shared task on feedback comment generation for language learners. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 320-324, 2021.

[10] Christopher Bryant, Mariano Felice, and Edward Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. Association for Computational Linguistics, 2017.


# 英単語学習支援に向けた語義曖昧性解消モデルの性能分析

菊地真人 按田将吾 大直忠親
名古屋工業大学大学院 情報工学系プログラム
\{kikuchi,ozono\}@nitech.ac.jp anda@ozlab.org

## 概要

語義曖昧性解消（WSD）の技術を応用した外国語教育システムが開発され, 特に語彙学習でよく利用 されている.これらは，WSD の成功を前提として おり，WSD の失敗は学習者の混乱を招くことにも なり得る。しかし，教育での利用を考慮した WSD モデルの性能分析が不十分である. 本研究では, Transformer ベースの WSD モデル LMMS-SP の性能 と，英単語に付与された語彙学習の意味での難易レ ベルとの関係を分析する. その結果，難しい単語ほ ど WSD の正解率が高い傾向にあった．また易しい 単語では, WSD の正解率が 3 割程度しかないもの があった.この原因として，まれにしか使わない低頻出語義を，高頻出語義と誤ることが考えられる。

## 1 はじめに

語義曖昧性解消（WSD）の技術を応用した外国語教育システム $[1,2,3]$ が開発され, 特に語彙学習で よく利用されている. 学習者は WSD を活用するこ とで, 読解文脈における単語の適切な意味（語義） を調べる手間が省け，学習を効率化できる. しか し, Transformer [4] に基づく最先端の WSD モデル でも，WSD の正解率は $7 \sim 8$ 割にとどまる. 加えて 多くの教育システムは基本的に，WSD の成功を前提に設計されており, WSD の失敗は学習者の混乱 を招くことになりかねない。一部の研究 [5] では， WSD の失敗を考慮した教育効果も検証されている が, WSD が常に成功するときが最も有効という結果が得られている. 以上より, WSD モデルの利用 が効果的な状況を, 教育的側面を考慮して分析し, その性質を理解した上で用いることが重要である。 それによって既存の教育システムでも，教育効果の さらなる向上を見込める可能性がある.

本研究では, Transformer ベースの WSD モデル LMMS-SP [6] の性能と, 英語学習語彙表 $[7,8,9]$ の 難易レベルとの関係を分析する. 英語学習語彙表と
は，学習者が時間や労力の観点から効率よく英単語 を学べるよう，学習すべき語彙を難易レベル別に掲載したものである ${ }^{1)}$. 低レベルには英語を使うため に不可欠な，汎用的に使う “易しい”語彙が掲載さ れている。高レベルには使う場面は比較的限られる が，表現力を豊かにするための “難しい”語彙が掲載されている. 難易レベル毎の LMMS-SP の性能を 解明することで, LMMS-SP が英語学習の下級者か ら上級者のどの層により有益なのかを知ることが できる. さらに語義ごとの例示的なエラー分析も行 う. 結果として, LMMS-SP は高レベルの難しい単語ほど，WSD の正解率が高い傾向が明らかになっ た. また低レベルの易しい単語では，WSD の正解率が 3 割程度しかないものがあった. この原因とし て，まれにしか使われない語義を，広く使われる語義と誤ることが考えられる。

## 2 関連研究

## 2.1 外国語教育での WSD の利活用

WSD を外国語教育に用いた最初期の研究として， Kulkarni ら [1] は英語の語彙学習システム REAP に WSDを導入し, 読解文脈における英単語の語義を学習者が効率的に調べられるようにした. Rosa ら [2] は Kulkarni らの成果をべースとして，クラウドソー シングで WSD 訓練データセットを強化することで，語彙学習におけるWSDのさらなる有効性を示した. Degraeuwe ら [3] は，スペイン語学習のための WSD モデルとして，訓練データ収集プロセスの一部を対話的な語彙演習に統合する枠組みを提案した。これ らの研究では，WSDを用いた教育システムの構築 および教育効果の検証に焦点を当てている。一方で 教育的側面から，既存の WSD モデルがどのような 状況で有益・無益なのかは，WSD モデルの性能と関

連付けて詳細に分析する必要がある。

## 2.2 WSD の性能に関する分析調査

Loureiro ら [10] は， Transformer に基づくWSD モ デルの詳細な性能分析を行なった。また Kapelner ら [11] は，人間にとって WSDを困難にする要因を 明らかにした。しかし，外国語教育での利活用を想定した, WSD モデルの分析研究は少ない. Miyata ら [12] は日本語の単語を対象に，語義に基づく単語 の曖昧度を表す公式を導出し, 単語の学習難易度と 曖昧性との関係を調査した. Suzuki ら [13] は, WSD モデルを用いて英語と日本語の単語に対する曖昧度 を定義し，難易度と曖昧性の関係を再調査した。し かし, Suzuki らはWSD のために古典的な Lesk アル ゴリズム [14]を用いており, 得た結論も本研究とは 異なる. 彼らは難しい単語ほど曖昧性が高い，すな わち WSD が困難と主張する. 対して本研究では， Transformerによる最先端の WSD モデルを用い，難 しい単語ほど WSD が容易という逆の主張をする.

## 3 前提知識

## 3.1 LMMS-SP

本研究で用いる WSD モデル LMMS-SP [6] を説明する．LMMS-SP は，意味の埋め込み表現に基づ くWSD モデルである. 本モデルは，インスタンス （WSD の対象単語）を含む文を入力とし，そのイン スタンスに対する文脈埋め込みを作成する。その 後, 作成した文脈埋め込みと事前訓練で得た各語義 の意味埋め込みとのコサイン類似度が最大となる語義を出力する. LMMS-SP の最大の特徴は, WordNet 3.0 の収録語義を網羅した意味埋め込みを利用でき る点である. WordNet [15] は電子的に利用可能な概念辞書であり，単語の概念的な同義語，下位語，上位語などを語義単位で可視化することができる。我々は英語学習支援の研究に WordNetを活用する予定でおり，SOTA に近い性能を持ち WordNet の全語義を扱える LMMS-SP を選んだ。

## 3.2 英語学習語彙表

英語学習語彙表は, 効率的な語彙学習のために,語彙を難易レベル別に掲載したものである ${ }^{1)}$ 。共通 して低レベルには易しい語彙が，高レベルには難し い語彙が掲載されている。ここでは本研究で用いる 語彙表を説明する. Kilgarriff [7] は，イギリス英語表 1 北大語彙表の収録語彙に関する情報

表 2 各レベルに対する平均の正解率

の大規模コーパス British National Corpus の単語頻度 をもとに BNC 語彙表を作成した. この語彙表はネ イティブ英語コーパスに基づくため, 第二言語とし ての英語学習において，適切な語彙が掲載されてい るとは限らない. 杉浦 [8] は，高校英語の検定教科書を分析し，使用語彙を頻度順に並べた日本人向け の語彙表を作成した. また，英語学習への有用性を 高めるため，語彙の選定過程をより工夫した語彙表 も作成されている，そのような語彙表には，北海道大学の園田 [9] による北大語彙表, 大学英語教育学会（JACET）の英語語彙研究会による JACET8000, アルク教育社によるSVL12000 などがある. 本研究 では，各語彙表に記載の難易レベルと WSD の正解率との関係を調べ，4.1 節と概ね同様の結論を得た。 しかし本稿では紙面の都合上, 北大語彙表に絞って 実験結果を掲載し，議論する。

## 4 実験

実験では，英単語の難易レベルと WSD の正解率 との関係を明らかにする。また本来ならば，ある単語が持つ各語義についても，使用頻度や学習難易度 は異なるはずである．そこで，WSD を誤りやすい 単語に関して，語義単位での細かいエラー分析も行 う． LMMS-SP は著者らが公開している実装をその まま用いた2) ， LMMS-SP で用いる Transformer は，比較的性能が良いとされる albert-xxlarge-v2 とした.難易レベルの指標として，北大語彙表を用いた結果 を掲載する。北大語彙表の収録語彙に関する情報を 表 1 に示す. 各レベルは学習段階で区別され，レべ

ル 1 には最も平易な語彙，レベル 5 には最も難解な 語彙が収録されている．WSDの評価データとして， Raganato ら [16] が公開した ALL データセットを用 いた ${ }^{3)}$.このデータセットは, Senseval と SemEval という WSD に関する各コンペティションの評価 データを結合させたものである．個々のデータセッ トでは，高レベルの単語数が少ないものがあり，本研究での分析に不十分な場合がある. ゆえに ALL データセットを用いることにした.

## 4.1 難易レベルと WSD 正解率との関係

北大語彙表の難易レベルごとに，WSD の正解率 を平均した結果を表 2 に示す. どのレベルでも正解率は 7 割を超え，レベルが上がるほど正解率も上が る傾向にある。一般に，難解な（高レベルの）単語 ほどコーパスでの出現頻度が低く, 十分な訓練情報 が得られない. そのため，高レベル語は正解率が低 いことも予想された. しかしこの結果は，その予想 とは逆の傾向を示している。低レベル語ほど様々な 文脈で使われ，高レベル語ほど限定された文脈で使 われることが多い. よって, 高レベル語は使用機会 が少ないが，持つ語義の数も少なく，WSDでは高レ ベル語の方が語義の特定が容易な可能性を考えた.

この仮説を検証するため，レベル毎の単語に対す る語義数の平均値と標準偏差を WordNet 3.0 上で調査し，表 3 にまとめた。この表を見ると，レベル 1 に属する語彙に関しては語義数の平均値と標準偏差が 10 を超え，語義数が多様な単語が集まってい ることが分かる．全体を見ると，レベルが上がるほ ど語義数の平均値と標準偏差が小さくなる傾向に ある. この結果は, 高レベル語は語義数が少ないた め，適切な語義を当てやすいという仮説を支持する ものである. また表 1 と表 2 を見比べて分かるよう に，北大語彙表でレベル 1 の語彙サイズ（単語数） は小さいにもかかわらず，ALL データセットでは WSD の対象となるレベル 1 の単語頻度が多い.こ

3) http://lcl.uniroma1.it/wsdeval/evaluation-data表 4 ALLデータセットで最も出題された 10 語の結果

の理由も表 3 から説明できる．高レベル語はそもそ もWSD が不要な場合が多い。一方でレベル 1 の単語は，多数の語義を持つことがあり使用頻度も高い ため，WSDの対象となりやすい.

## 4.2 語義単位のエラー分析

低レベルの基本的な語彙に対して，WSD が失敗 しやすい原因を考察する。表 4 は ALL データセッ トにおいて，WSD の対象となる最頻出 10 語の情報 を掲載したものである. 大半を占める 8 語が，レべ ル1の単語であった. これらの単語の中に, 正解率 が高い単語と低い単語が混在する。例えば, “use” は 76\%の高い正解率を有するが，“say” “make”の 正解率は $30 \%$ 台しかない。したがって，正解率が著 しく低い単語の影響で，レベル 1 の語彙に対する全体の正解率が低下したと考える。

そこで，正解率の低い単語 “say”を例として，語義単位でのエラー分析を行った。まず，“say”の各語義に関する情報を表 5 に示す。なお，WordNet 3.0 に存在する “say” の語義数は 12 であるが，この表 では実験に関係する 8 つの語義に限って掲載した.表中の Sense Key とは，WordNet において各語義に 付与された固有の認識番号である．頻度とは，語義アノテーション付きコーパス SemCor 3.0 におけ る語義毎の出現頻度である. なお SemCor 3.0 は, LMMS-SP の訓練データの一部であるため，高頻出 の語義ほど LMMS-SP に訓練事例が多く与えられ たことを意味する．品詞と説明は，語義に対して WordNet 上で付与された品詞と説明である. 最頻出語義（MFS）は say\%2:32:00:: で，この語義は広く使用されるものであることが分かる．続いて頻出の語義は say\%2:32:01:: である．残りの語義は前述の語義
表 5 単語 “say” の各語義に関する情報

表 6 単語“say”の各語義に対する結果

2 つと比較して使用頻度が低い. 次に, “say” の各語義に対して，WSDを試みた結果を表 6 に示す.この 表における対角成分は，各語義に対する正解率を表 す. 対角成分の分母がゼロということは, LMMS-SP がどこかのインスタンスへある語義を付与したが，実際にはその語義を正解とするインスタンスは一つ もなかったことを意味する．結果を見ると，高頻出語義 say\%2:32:00:: と say\%2:32:01:: は正解率が高い 傾向にある。一方で，まれにしか使用されない低頻出語義（LFS）say\%2:32:13:: と say\%2:32:15:: に対す る WSD は完全に失敗している. 誤り方の傾向を確認すると，LFSを高頻出語義へと割り当ててしまう ことが多いようである.

既存の WSD モデルは，MFS の割り当てに対して 強いバイアスがあることが指摘されており，MFS の WSD に対しては高い性能を有するが，それ以外の LFS の性能は低いことが多い $[17,18,19]$. LMMS-SP は，WordNetの語義を網羅した意味埋め込みを活用 することで，MFS fallback 4 )をしないことが利点であ るが [20], 実験結果から LMMS-SP でも高頻出語義 を過剩に割り当てる様子を確認した．基本的な単語

4）正解の語義に対する訓練データがない場合，インスタンス に MFSを割り当てること.
は多くの語義を持つが，その中でよく使われる“平易な”語義は限られる。よって，まれな語義を多く 持つ単語に対して，高頻出語義の誤った割り当てが 頻発したと考える.

## 5 おわりに

LMMS-SP の性能と英単語の難易レベルとの関係 を調べた. どのレベルでも WSD の正解率は平均し て 7 割を超え，レベルが高くなるほど正解率が高く なる（WSD が容易になる）傾向があった．高レべ ル語はコーパスでの出現頻度が低いが持つ語義の数 も少なく，分散表現の活用により，出現頻度が低い ことによる悪影響を軽減できた可能性がある。その 一方で，低レベル語は単語自体は平易でありながら も多数の語義を持ち，一部の語義しか頻繁に使われ ないことが WSD を難しくすることも示唆された。語義単位でのエラー分析の結果, LMMS-SP は他の WSD モデルと同様に，LFS を高頻出語義と誤るこ とが多いようである．LMMS-SP の教育的な応用に ついては，難しい語彙を学びたい上級者への利用は 効果的と考えられる。 しかし，LFS を正確に捉える ための利用にはまだ課題が残されている。

## 謝辞

本研究の一部は JSPS 科研費 JP19K12266, JP22K18006 の助成を受けたものです.

## 参考文献

[1] Anagha Kulkarni, Michael Heilman, Maxine Eskenazi, and Jamie Callan. Word sense disambiguation for vocabulary learning. In Proceedings of the 9th International Conference on Intelligent Tutoring Systems, pp. 500509, 2008.

[2] Kevin Dela Rosa and Maxine Eskenazin. Impact of word sense disambiguation on ordering dictionary definitions in vocabulary learning tutors. In Proceedings of the 24th International Florida Artificial Intelligence Research Society Conference, pp. 507-512, 2011.

[3] Jasper Degraeuwe and Patrick Goethals. Interactive word sense disambiguation in foreign language learning. In Proceedings of the 11th Workshop on NLP for Computer Assisted Language Learning, pp. 46-54, 2022.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 1-11, 2017.

[5] Soojeong Eom, Markus Dickinson, and Rebecca Sachs. Sense-specific lexical information for reading assistance. In Proceedings of the 7th Workshop on Building Educational Applications Using NLP, pp. 316-325, 2012.

[6] Daniel Loureiro, Alípio Mário Jorge, and Jose CamachoCollados. LMMS reloaded: Transformer-based sense embeddings for disambiguation and beyond. Artificial Intelligence, Vol. 305, p. 103661, 2022.

[7] Adam Kilgarriff. BNC database and word frequency lists, 1995. https://www.kilgarriff.co.uk/bnc-readme. html.

[8] 杉浦千早. 高校英語教科書語彙リストの作成と使用語彙の検討. Language Education and Technology, Vol. 39, pp. 117-136, 2002.

[9] 園田勝英. 大学生用英語語彙表のための基礎的研究.北海道大学言語文化部, 1996.

[10] Daniel Loureiro, Kiamehr Rezaee, Mohammad Taher Pilehvar, and Jose Camacho-Collados. Analysis and evaluation of language models for word sense disambiguation. Computational Linguistics, Vol. 47, No. 2, pp. 387443, 2021.

[11] Adam Kapelner, Krishna Kaliannan, H. Andrew Schwartz, Lyle Ungar, and Dean Foster. New insights from coarse word sense disambiguation in the crowd. In Proceedings of the 24th International Conference on Computational Linguistics, pp. 539-548, 2012.

[12] Koki Miyata, Takahiko Suzuki, and Sachio Hirokawa. Difficulty and ambiguity of verbs: Analysis based on synsets in Japanese WordNet. In Proceedings of the 1st International Conference on Advanced Information Technologies, pp. 1-4, 2013.

[13] Takahiko Suzuki, Koki Miyata, and Sachio Hirokawa. Dif- ficulty of words and their ambiguity estimated from the result of word sense disambiguation. In Proceedings of the 11th International Conference on Knowledge, Information and Creativity Support Systems, pp. 1-5, 2016.

[14] Jonas Ekedahl and Koraljka Golub. Word sense disambiguation using WordNet and the Lesk algorithm. Projektarbeten 2004, Vol. 17, pp. 1-6, 2004.

[15] Christiane Fellbaum (Ed.). WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[16] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 99-110, 2017.

[17] Marten Postma, Ruben Izquierdo, Eneko Agirre, German Rigau, and Piek Vossen. Addressing the MFS bias in WSD systems. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1695-1700, 2016.

[18] Marten Postma, Ruben Izquierdo Bevia, and Piek Vossen. More is not always better: balancing sense distributions for all-words Word Sense Disambiguation. In Proceedings of the 26th International Conference on Computational Linguistics, pp. 3496-3506, 2016.

[19] Minh Le, Marten Postma, Jacopo Urbani, and Piek Vossen. A deep dive into word sense disambiguation with LSTM. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 354-365, 2018.

[20] Daniel Loureiro and Alípio Jorge. Language modelling makes sense: Propagating representations through WordNet for full-coverage word sense disambiguation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5682-5691, 2019.

## A様々な語彙表に対する難易レベルと WSD 正解率の関係

図 1 様々な語彙表に対する難易レベルと WSD 正解率の関係。各語彙表は凡例の左から，杉浦リスト英語 I（SUGI1）,杉浦リスト英語 II（SUGI2）, BNC 語彙表（BNC）, 北大語彙表（HUEVL）, JACET8000（JACET）, ALC-SVL12000（SVL） の順で並んでいる。語彙表ごとにレベルの粒度や掲載語数が異なるため，同一レベルでの語彙表間の比較はできないこ とに注意する．SVLを除く全ての語彙表で，正解率が最低となったのはレベル 1 であった. また，ほとんどの語彙表に おいて高レベルの正解率が高い。なお SVL はレベル分けが細かすぎるため，レベル毎の単語数が極端に少なくなり，高 レベルの正解率が安定せず変動した可能性がある.

## B 単語 “use”に関する WSD のエラー分析

表 4 において高い正解率（76\%）を示した単語 “use”に対する WSD の詳細な結果を掲載する．表 7 は “use” の各語義に関する情報，表 8 は各語義に対する WSD の結果である. 各表の見方は, 4.2 節で述べた表 5 , 表 6 の見方と同様である。これらの表から，“use”も“say”と同様に多数の LFS を持つが，ALLデータセットにお いて高頻出語義を正解とするインスタンスが多いため，正解率が高かったことが分かる.

表 7 単語 “use”の各語義に関する情報

表 8 単語 “use” の各語義に対する結果


# 文章構造グラフを用いた 国語記述式答案への自動フィードバック生成

岩瀬裕哉 1,2 舟山弘晃 ${ }^{1,2}$ 松林優一郎 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{yuya.iwase.t8,h.funa\}@dc.tohoku.ac.jp \{y.m, kentaro.inui\}@tohoku.ac.jp
## 概要

学習者は自らのアウトプットに適切なフィード バックを受けることで効果的に学習を進められるこ とが知られている. 本研究では，国語科目の長文読解問題における記述式答案に対してフィードバック 文を生成することで，学習者のより良い学びと教育指導者の負担軽減を目指す。その手法として, 問題本文の文章構造や論理関係を利用して，答案の部分箇所に対し採点項目ごとにフィードバック文を生成する手法を提案する，実験では，既存の採点済み データセットを用いて，この手法を用いたフィード バック生成が現実的に実現可能かを確かめた.

## 1 はじめに

数十語程度を答案に記す記述式問題は, 教育現場 で広く用いられる問題形式であるが，教育指導者に とって記述式答案の採点や答案にフィードバックを 与える作業は多大な労力を伴う [1]. 適切なフィード バックは学習者の学びに有益である反面, 実際にそ れを得られる機会はコストの問題で限定されている [2]. 本研究では, 学習者が指導者の負担無しに効率的に学習を進められるフィードバック生成システム の構築を目指す。

記述式答案の自動採点技術は実用化に向け着実に 研究が進められている $[3,4,5]$. 水本らの研究 [3] は,採点項目を利用して国語記述式問題の自動採点を定式化した. 同研究では, 複数ある採点項目ごとに採点 の根拠箇所と得点を出力する. これによって，学習者は採点結果を見てどの部分を修正すれば良いかと いうフィードバックを得ることができる．本研究で は, この水本らの研究を出発点として, より学習者の 学びを助けるフィードバック文の生成を目指す.

フィードバックの学習への効果について詳細に検討した Hattie and Timperley 2007[6] の研究によれば,
フィードバックは目標と現在の理解の間の乘離が あるとき学習に効果的に働く。ここで述べられる効果的なフィードバックとは，目標が何で，現時点で どこまで進んでいて，次に何をすれば良いか，とい う情報を含むものである。本研究はこの効果的な フィードバックの枠組みを国語記述式問題のフィー ドバックに応用することを目指す。ある答案を入力 として，効果的なフィードバックに必要な情報を得 る手段として，記述式問題に用いられる本文の文章構造を利用することを提案する。このアイデアは，国語の授業中や問題集の解説書等で行われている，本文を分割し，それぞれの部分の間の論理関係を構造化して問題を解説する方法に着想を得ている [7].

文章に記された情報を構造的に理解する能力に ついては，近年の高等学校での論理国語科目導入な どに見られるように注目を集めている。記述内容を 正確に読み取る能力は，日常生活でも必要となる重要な能力であり，それらを効率的に訓練できるツー ルには一定のニーズがあると考えられる。本研究で は，このような背景から，評論文や論説文と呼ばれ る比較的論理構造が明確な文章を題材とした問題へ のフィードバック文生成に限定して取り組む。

学習者に対するフィードバック文生成に関連す る研究として，英語学習者のライティングにおける 文法的な誤りへの解説文生成が挙げられる [8]. Lai and Chang 2019 [9] は，テンプレートを利用した解説文生成という点で本研究と関連性がある。

本研究では国語記述式問題のフィードバック生成研究の第一歩として, 既存の国語記述式問題の データセットを利用して，問題本文の構造を利用し たフィードバック生成というアイデアが技術的に 可能であるかを確かめる．構造を利用するための方法として，答案と本文の間で，それぞれを表現した ベクトルのコサイン類似度を計算し，答案が本文中 のどの部分を参照して記述されたものか推定する

図 1 データセット内のデータ例

手法を提案した. そして, 本文の構造から得られた 情報と，フィードバック文のテンプレートを用いて フィードバック文を生成した. 結果として一部生成 に適さない問題と答案はあるものの，アイデアが現実的に実現可能であることが確かめられた.

## 2 データセット

本研究では，理研記述問題採点データセット代々木ゼミナールデータ $[3,4]$ を題材として記述式答案 に対するフィードバック生成を行う。このデータ は，高校生を対象に行われた模擬試験の国語長文読解記述式問題について, 問題と答案, および, 人間 の採点者がつけた採点項目ごとの得点と, 採点の根拠箇所についてのアノテーションを含むものであ る (図 1). 採点項目とは採点の際に利用される採点基準のことで，問題ごとに 5 項目程度存在する. 採点は, 各採点項目で指定された内容が答案に記述さ れているかという観点で行われる. 採点の根拠箇所 として，採点項目ごとに答案中のサブワードに対し て, 点数の根拠となった部分に 1 , その他に 0 が付与 されている. データセットは論説文や小説など複数 の文体を題材とした問題を含み，また問題の出題形式も本文中に引かれた傍線部を言い換えて説明する ものや，傍線部がなく，本文から要約的にまとめる もの等いくつかの形式がある. 本研究ではその中で も, 問題本文の論理構造を利用したフィードバック というアイデアに即して, 論説文を扱ったもので, かつ本文中の言葉を使い，傍線部について説明する ような問題 3 題を扱う.

## 3 フィードバック生成タスク

上述のデータセットの採点は，各採点項目に対し て記述内容に応じた部分点を与える方式である. 本研究で答案に対し生成するフィードバックは，この 採点の設定に即し, 採点項目ごとに出力する。 ある 問題に対する答案が与えられたとき，答案は採点項目ごとに関連する内容が記述された箇所が特定さ れ，その内容に応じて点数が付けられる. フィード バックの完全自動化のためには採点および根拠箇所 の特定についても何らかのモデルを開発する必要が あるが，本研究では文章構造を用いたフィードバッ ク生成という我々のアイデアの実現可能性を検証す ることに焦点を絞り，採点根拠箇所についてはデー タセットに付与されている人間の採点者によるアノ テーションを利用する. したがって，本研究で設定 するフィードバック生成タスクは，答案と，ある採点項目のペアに対し，その採点項目に対して特定さ れる根拠箇所の文字列が与えられるとき，その根拠箇所の内容に対して適切なフィードバック文を生成 することと定義される。

## 4 手法

我々の手法の外観を図 2 に示す. 本研究では，設問で問われている内容を本文に即して説明するよ うな記述式問題を扱う。この問題形式では，答案が 得点するために，本文に書かれている情報を答案に 含む必要がある. したがって, 得点の根拠箇所は本文に含まれる特定の箇所を参照している. そこで，我々はまず本文を適切な単位に区切り，答案の根拠箇所と, 本文の各分割単位との類似度を計算するこ とで，その根拠箇所が本文のどの部分を参照してい るのか特定する (図 2(1)).

次に，本文について，分割された各部分をノード に持ち，関連する部分同士の論理関係を示すラベル をエッジに付与した文章構造グラフを作成しておき (図 2(2)), この文章構造グラフの上で，答案内に理想的に含むべき情報が書かれている位置と, 答案内 に書かれている内容の位置がどのような関係ラベル で接続されているかという情報に基づき，フィード バック文のテンプレートを選択し，そこからフィー ドバック文を生成する (図 2(3)).

図 2 提案するフィードバック生成手法の外観図

## 4.1 答案根拠箇所の本文参照箇所推定

答案の，ある採点項目に対する根拠箇所文字列 $x$ を入力として、その根拠箇所が本文中のどの部分を 参照して記述したものか推定した結果 $e$ を出力とす る. $e$ は本文の分割単位それぞれに割り振られたイ ンデックスを表す.

答案の根拠箇所 $x$ を訓練済み日本語 BERT[10] に 入力し, 最終層の埋め込み表現を抽出する. 埋め込 み表現のベクトルの和をとることで， $x$ に対する根拠箇所ベクトル $y$ を得る.

本文を分割して作成された文字列集合 $S=$ $\left.\{s_{1}, s_{2}, \ldots, s_{m}\right.\}$ に対しても同様の手続きで本文べク トル集合 $H=\left.\{h_{1}, h_{2}, \ldots, h_{m}\right.\}$ を得る. なお, $y$ および $h_{m}$ は次元数 768 のベクトルであり,$m$ は本文の分割数を表す. 根拠箇所ベクトル $y$ と本文ベクトル集合 $H$ の各要素との間でコサイン類似度を計算し， $y$ に対して最も高い値を返した $h_{e}$ を， $x$ が参照した本文箇所の推定結果 $e \in\{1,2, . ., m\}$ とする.

## 4.2 本文の構造グラフを用いたフィード バック文生成 \\ 本文構造グラフ フィードバック生成のために用 いる本文構造グラフ $G$ を人手で作成する. 分割さ れた本文の集合 $S$ の要素をグラフのノードとする. グラフの作成に当たり，まず採点基準や模範解答を もとに答案が満点を獲得するために参照すべき箇所 を本文から特定し，そのノードのインデックスを正解 $c$ とする. 次に，本文中で談話関係のあるノード ペアについて，関係の種類を表すラベルをエッジに 付与する。関係ラベルには Penn Discourse Treebank Version 3.0 のタグセットを採用した [11].

本文全体にこのようなアノテーションを行うには 多大な労力を要する。また，各採点項目において答案が得点するために含むべき情報は本文中の一部分
に集中的に記載されている。そこで，採点基準をも とに各採点項目と関連が強い箇所に限定して談話関係アノテーションを行い，部分構造グラフ $G^{\prime}$ を採点項目ごとに作成した. 図 2(2) はそのような部分構造グラフの例である. 図中の青いノードは正解ラ ベルのノードであり，各エッジにはそれぞれ関係ラ ベルが付与されている.

フィードバック文生成 答案の根拠箇所が参照し ている本文ノード $e$ と, 正解ノード $c$ の間を結ぶ エッジに付与された関係ラベルに基づき，あらかじ め定めておいたフィードバック文のテンプレートの うち適切なものを選択する．具体的には，本文部分構造グラフ $G^{\prime}$ 上で，根拠箇所が参照しているノー ド $e$ と正解ノード $c$ の間の最短パスを求める. 次 に， パスに含まれるエッジのうち，正解ノードと隣接するノードを結ぶエッジに付与されたラベルを得 る. 得られたラベルによりフィードバックの生成に 用いるテンプレートを選択する。

さらに，各答案の内容に応じて柔軟にフィード バック文を生成するために，答案の根拠箇所の文字列 $x$ と正解ノード $c$ の本文文字列 $s_{c}$ をテンプレー 卜に埋め込み，最終的なフィードバック文 $t$ とす る. ただし，答案の根拠箇所の文字列 $x$ と最も対応 する本文ノード $e$ がこの採点項目のために設計した 部分構造グラフ $G^{\prime}$ に存在しない場合，および $e$ が 正解ノードと一致する場合には，それぞれ固定文の フィードバックを生成した. テンプレートの具体例 は付録 A に示す。

## 5 実験

## 5.1 実験設定

本研究の目的は学習者に取って有益なフィード バックを生成することであるため，対象の採点項目
表 1 答案根拠箇所に対し生成されたフィードバック文の例

 &  \\

に対して満点を得ている答案は扱わない。また， 0 点の答案についても根拠箇所が付与されないため 扱わない。適切に提案手法の評価を行うために，上記の条件を満たす答案を 10 件以上含む採点項目の みを用いた。 3 節で述べたように，本研究の焦点は 我々が設計したフィードバック生成システムが実現可能か検証することにある. したがって，各採点項目の根拠箇所情報は，データにあらかじめ人手で付与されたものを入力として用いて実験を行った.

## 5.2 参照箇所推定結果の妥当性の確認

4.1 節で説明した方法によって,$e$ をどの程度正し く推定できるかを確かめるために，入力の各根拠箇所 $x$ に対して正解の $e$ の値を付与した評価データを 人手で作成し, 推定結果との一致率を計算した. 評価データは，対象の採点項目に対する根拠箇所から ランダムに 20 個サンプリングしたもの (random) と，根拠箇所文字列の出現頻度を降順に並べ上位 20 種 を抽出したもの (unique)について人手でラベルを付与した. 結果を表 2 に示す. random の結果からは,全 6 個の採点項目のうち，5 個の採点項目において は 7 割程度の一致率で $e$ を推定できることが確か められた。また， uniqueの結果からは，答案によく 書かれる記述に関する精度にも採点項目ごとにば らつきがあることが示唆された. 適切に推定できな かった理由として，根拠箇所が答案に含まれる部分文字列であることに対して，比較を行う本文のノー ドは文または節のように意味的に一つのまとまりを 持つ単位であったという点が考えられる。また，問題 2 の一致率が低い原因は, 当該の問題形式に起因 していると考えられる. 問題 2 は本文中のある文が 示す内容について，本文に即して説明する問題であ るが，得点するためには本文中の複数の箇所を参照 して答案を作成しなければならない問題である. 本手法では，ある根拠箇所が参照している本文中の分割単位が一つに定まる事を仮定して，手法の設計を表 2 参照箇所推定の精度. $A=1$ は採点項目 $A$ が 1 点で ある答案を表す. unique の括弧内の值は頻度上位 20 件の 表現が対象データ全体に占める割合.

行ったため，このような問題において適切に本文の 参照箇所を推定することができなかったと考えられ る.このような種類の問題に対するフィードバック 生成手法の構築は，今後の重要な課題である.

## 5.3 フィードバック生成

我々が 4 節で提案した手法によってフィードバッ クの生成を行い，その結果を検討した. 表 1 に生成 されたフィードバック文の具体例を示す.このう ち，上の 2 つ例は， $e$ が適切に推定できた場合に 生成されるフィードバック文を表している. 下の 2 つは適切に $e$ を適切に推定できなかった場合の結果 を示している。この結果より文字列として似た答案 であるにも関わらず，推定された $e$ の内容に応じて 生成されるフィードバックが大きく異なってしまっ ている.したがって，我々が提案するフィードバッ クの生成手法では，e を適切に推定することが鍵で ある. 今後は，学習者を巻き込んだテストを行うこ とを計画しており，生成されたフィードバックの効果を実践的な形で計測する予定である.

## 6 おわりに

本研究では. 答案の根拠箇所と本文の文章構造を 用いてフィードバック文を生成するという手法を提案し，その手法の実現可能性について確かめた. 実験により，学習者の学びの助けになりそうなフィー ドバック文を生成できる可能性が確かめられたと同時にさらなる検討課題が明らかになった.
実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します. 本研究は JSPS 科研費 JP19K12112, JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けたものです.

## 参考文献

[1] Anna Filighera, Siddharth Parihar, Tim Steuer, Tobias Meuser, and Sebastian Ochs. Your answer is incorrect... would you like to know why? introducing a bilingual short answer feedback dataset. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8577-8591, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Valerie J. Shute. Focus on formative feedback. Review of Educational Research, Vol. 78, No. 1, pp. 153-189, 2008.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, 2019.

[4] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of human-in-the-loop frameworks for automated short answer scoring. In Artificial Intelligence in Education, 2022.

[5] Haruki Oka, Hung Tuan Nguyen, Cuong Tuan Nguyen, Masaki Nakagawa, and Tsunenori Ishioka. Fully automated short answer scoring of the trial tests for common entrance examinations for japanese university. In Artificial Intelligence in Education: 23rd International Conference, AIED 2022, Durham, UK, July 27-31, 2022, Proceedings, Part I, p. 180-192, 2022.

[6] John Hattie and Helen Timperley. The power of feedback. Review of Educational Research, Vol. 77, No. 1, pp. 81-112, 2007.

[7] 野矢茂樹. 論理トレーニング 101 題. 産業図書, 2012.

[8] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, 2021.

[9] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to explain corrective feedback for second language learners. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 235-240, 2019.

[10] 日本語 bert 訓練済みモデル. https://github.com/cltohoku/bert-japanese.

[11] Rashmi Prasad, Bonnie Webber, Alan Lee, and Aravind

## A 作成したフィードバック文テンプレート例

表 3 作成したテンプレート例

 \\
\cline { 2 - 3 } Expansion.Level-of-detail &  \\

本研究で作成したフィードバックの一例を示す. 表 3 に示した通り，グラフ上に出現する関係ラベルに対 して，答案の根拠箇所と本文の答案の参照にすべき正解箇所を埋め込むことができるフィードバック文を作成した.

表 4 テンプレートに追加した固定文の例

本研究では，正解ラベルが付与されたノードと本文参照箇所推定結果ノードとの最短パス上にあるラベル を利用する手法を取るため，表４ に示されたような場合にはパス上のラベルを得ることができず，手法通り にフィードバック文を生成することができない。そのため，それらの場合に対しては，表の通り埋め込み箇所のない固定文のフィードバックを返す設定とした.


# Development, Evaluation, and Further Research of Voice-enabled Chatbot for English as a Foreign Language

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
 }^{1}$ \{julio.christian.young\}@gmail.com ${ }^{2}\{$ shishido\}@mail.dendai.ac.jp

\begin{abstract}
Studies show that chatbots can help new EFL students practice their communication skills. However, several problems in the EFL learning chatbot still have not been fully addressed. Two of the problems are the appropriateness of TTS to produce audio materials within the chatbot and a standalone chatbot that could work without an internet connection. This study compared quantitative and qualitative aspects of TTS- and native speakers-produced to address the first problem. Besides that, we created and evaluated a standalone chatbot using lightweight speech recognition to address the second. Furthermore, we discuss other topics worth investigating based on these two results.
\end{abstract
## 1 Introduction

Learning a new language can be daunting, especially for English as a Foreign Language (EFL) students. As EFL students often lack time and opportunity to practice, they will feel awkward and fear being judged when they get a chance. In the long term, this situation can lead students to doubt their abilities and lose motivation to learn $[1,2]$.

Several studies in the past $[3,4,5,6,7,8]$ showed that chatbots could be ideal learning partners, especially for EFL students with low language proficiency. Research in $[3,5,6]$ argued that students tend to feel less anxious when practicing with chatbots. Based on their input type, two kinds of chatbots that often used in the EFL learning context: text-based and voice-enabled chatbots.

While text-based implementations often interact with their students in free-typed text format, voice-enabled chatbots are usually implemented via multi-choice text inputs that students can choose by read-aloud one of the choices available. This mechanism was preferred as chatbots that process direct voice input often led to communication breakdown. A communication breakdown might occur as the chatbot tries to reply based on an incorrect transcription by the speech recognition module in the chatbot.

Even though implementing multi-choice text inputs limits students' interactions, researchers believe it could still be helpful to support students with low language proficiencies [5]. As they still have limited vocabulary to produce their sentences, predefined choices could help them to interact with the bot. Moreover, by employing a mechanism that compared the transcription result with the reference text, the application could provide meaningful feedback regarding students' mispronunciations.

Besides the SR module, the quality of the voice response from the chatbot is another factor that influences the success of EFL learning chatbots. Ideally, prerecorded responses produced by native speakers would be best to mimic an actual conversation experience with a human partner. However, involving native speakers will increase the cost and time of application development.

In [5], the researcher demonstrated how TTS technology could substitute the involvement of native speakers. Even though TTS produced all audio used in [5] almost $85 \%$ of participants in the experiment felt the audio sounded natural. The overall evaluation of the chatbot also revealed that most participants enjoyed their learning experience using the chatbot.

In our study, to support EFL students' English learning journey, we developed a voice-enabled chatbot to help students practice their speaking skills. Although similar studies have been conducted, our study will address the remaining challenges that have not been adequately addressed.

## 2 Problem Statement

Despite many previous studies on EFL learning with chatbots, several issues still have not been entirely
covered. In our study, there will be two issues that we want to address.

Lack of comparison of audio materials produced by native speakers and TTS technology - None of the previous studies explicitly compared the use of TTS- and native speakers-produced materials for EFL learning chatbots. In our study, we compared the qualities between TTS- and native speakers-produced materials for sentences in dialogue format. Since chatbots process sentences in dialog format, this comparison could reflect the suitability of TTS-produced materials in them.

Implementation of the SR in the chatbot relies on the Internet - To the best of our knowledge, all previous studies that explored the usage of voice-enabled chatbots for EFL learning relied on cloud-based SR services [3, 4, $5,6]$, which rely on the internet. As they rely on the internet, students' interaction would be disrupted with the app when the internet connection is unstable. In the worst scenario, students with a bad Internet connection would be unable to use the app.

Unlike previous research that relied on cloud-based SR services, our study tried to explore the possibility of using a small SR model. As a small SR model only require low computational power, it could be run on students' own devices, thus making it works without the internet. A small SR model developed in [9] shows good transcription accuracy despite using less than $400 \mathrm{Mb}$ of memory. While big models usually need about $16 \mathrm{~Gb}$ of memory to achieve a word error rate (WER) of $5.6 \%$, this model achieves a WER of $9.85 \%$ with far less memory.

Despite its promising performance, no previous studies have attempted to implement small SR. Even though the small SR model has relatively lesser performance than the big one, its implementation potential for achieving standalone chatbot EFL learning is worth investigating. Therefore, our study tries to measure the suitability and performance of a small SR model in EFL learning chatbots.

## 3 Research Settings

## 3.1 The Comparison of Two Audio Types

We designed a blind comparative test scenario involving native speakers and TTS audio materials to address the first problem. Sixty undergraduate EFL students participated in the test. All students had studied English in formal learning settings for about 13 to 14 years. During the test, participants were asked to listen to each audio material in random order without knowing whether native speakers or TTS produced it. After that, they were asked to judge the audio material and transcript its content.

Moreover, ten audio transcriptions used in the test were taken from an English learning textbook in [10]. As there were two audio materials for each audio transcription, each participant needed to listen to twenty audio materials to finish the test. While native speakers' audio materials were taken from supplementary materials with the book, TTS-produced materials were produced using WaveNet TTS with North American English. WaveNet TTS was chosen since it produced significantly better audio quality than other TTS methods [11].

In the test, we compared native speakers- and TTSproduced audio materials qualitatively and quantitatively. The qualitative aspects measured in the experiment are pronunciation accuracy (PA), naturalness (N), comprehensibility (C), and intelligibility (I). Comprehensibility measures how easy to hear given audio. Intelligibility measure how well they can understand it. Data related to these criteria will be collected using a 6point Likert scale question.

Other than that, word error rate (WER) was chosen as a metric to compare two audio material groups quantitatively. The WER on each audio material was calculated by comparing the reference transcription from a given audio and each participant. The WER score can represent how effortlessly students understand specific audio materials.

## 3.2 Usability of a Small Speech Recognition Model for EFL Learning Chatbots

We developed an android-based EFL learning chatbot for practicing English speaking skills to measure the suitability of a small SR model. The developed chatbot is a voice-enabled chatbot with multi-choice text inputs with a small SR module from [9]. Fifteen undergraduate students with 13 to 14 years of English learning experience participated in this experiment. Participants were asked to use the app for a week and finish at least two topics within the chatbot. All participants' resulting transcriptions were recorded to be analyzed after.

In the app, the bot will always initiate the conversation, and users can choose one from three or four available responses as a reply. Based on a user reply, the bot will continue the conversation until there is no other response that the bot cannot return. Whenever users choose a reply, they can click a new bubble chat containing their response to practice their speaking skills. The app will mark parts of the sentence that do not appear in the resulting transcription by the SR module in red. Otherwise, in green. Figure 1 depicts the chatbot and user interaction in the app.

Figure 1. The bot and user interaction in the app

After a week, they were required to fill out a post activity questionnaire to capture their perceived usefulness (PU), perceived ease of use (PE), and attitude toward using (TA) the EFL learning chatbot. The questions asked to the participants were 6 Likert-type questions given in Table 1.

Besides that, the WER calculation was also done with the collected transcriptions. The purpose is to measure the WER of a small SR model, specifically for EFL learning chatbots. As the SR model implemented in the chatbot also has dynamic vocabularies features to target only specific vocabularies, the resulting WER might be lower than the previously mentioned WER in [9].

## 4 Results

## 4.1 The Comparison of Two Audio Types

The result on qualitative aspects of native speakersand TTS-produced audio materials can be seen in Table 1. The slight difference in another three criteria (except $\mathrm{N}$ ) between the two audio types shows that TTS-produced audio can be appropriate for producing listening materials in dialogue format, thus making it suitable for a chatbot. On top of that, a significant standard deviation from naturalness on TTS-produced materials indicates that several students might believe that sounds natural while others do not.

Table 1. Participants perceived audio quality

Questions

Has ASR correctly recognized and evaluated what you said? (PU-1)

Does practicing speaking skills with ASR give you a more controllable and personalized learning environment? (PU-2)

Do you feel comfortable practicing your speaking skill with the help of ASR? (PE-1)

Do you feel convenient as you need to emphasize clarity (speaking slowly) when you practice using ASR? (PE-2)

How interested are you in a learning system with ASR that can help practice your English speaking skill?

Do you want to adopt the learning system with ASR to practice your English speaking skill?

Table 2. Perceived Quality of Both Audio Groups

} & \multirow{2}{*}{ Indicator } & \multicolumn{4}{|c|}{ Criteria } \\
\cline { 3 - 6 } & & PA & N & I & C \\

\cline { 2 - 6 } & Std Dev. & 0.75 & 0.92 & 0.62 & 0.67 \\

\cline { 2 - 6 } & Std Dev. & 0.75 & 1.34 & 0.68 & 0.67 \\

Furthermore, the WER on each audio materials group was calculated using the participants' resulting transcriptions. While transcriptions using native speakersproduced materials got a WER of 0.068 , the TTSproduced ones got 0.062 . In contrast to the result in the comprehensibility criterion that favors native speakersproduced materials, low WERs on both audio types indicated that participants could easily understand both.

Following such results, we investigated what kind of sentences resulted in more errors in the native speakersproduced materials. After looking further, we notice that transcriptions based on native speakers-produced materials miss words more often than TTS ones. As native speakers often reduce, contract, and mash some combination of words in their spoken form, low- to intermediate-level students might miss one of the words while listening to them. However, further investigation is needed to support this claim.

## 4.2 Usability of a Small Speech Recognition Model for EFL Learning Chatbots

The summary of results from the post activity questionnaire towards the EFL Learning chatbot with a
small SR model is given in Table 3.

Table 3. Post-Activity Questionnaire Result

The result concluded that participants agreed that the chatbot could correctly recognize and evaluate their speech, thus enabling them to practice their speaking skills. Moreover, the PE-1 value showed that participants agreed to feel comfortable speaking with the chatbot. However, the low PE-2 value indicates that they might feel awkward as they need to speak slowly while using the chatbot. Finally, participants seemed interested in practicing English using the chatbot based on the final average from TA-1 and TA-2.

Next, the WER was calculated to determine the significant performance gain of dynamic vocabulary features in the SR model for a specific application. While the SR model used achieved a WER of $9.85 \%$ in a more general dataset, it achieved a WER of $7.42 \%$ in the experiment. The lower WER score indicated that implementing the dynamic vocabulary feature allows the model to perform better.

Following such findings, we also did an open-ended group discussion with participants to gather opinions about their learning experiences while using the app. A participant in the discussion mentioned feeling less enthusiastic about using the app after using it for some time. The participant also added that it would be interesting if there were more features besides speech evaluation in the application. Following this statement, other participants also agree that different types of exercise might make the application more challenging, thus making it more fun.

## 5 Discussions

## 5.1 Further Evaluation on TTS and Nativespeakers Audio for EFL Learning

Our evaluation results indicate that students made fewer errors when transcribing TTS materials than ones produced by native speakers. Native speakers sometimes link words together to make them sound natural, yet make them sound different and challenging to be understood by students. Alternatively, TTS materials might pronounce each word in the sentence individually, thus making it easier for students to grasp but sounding unnatural. However, as only ten audio pairs were compared in our study, they would be enough to capture different types of linking in connected speech. Therefore, further studies are needed to analyze the differences between TTS- and native-speaker-produced materials to prove such a claim.

Furthermore, we suggest that future research involves using speech recognition technology rather than involving students in the audio transcription process. SR technology enables the comparison process for large amounts of data, thus making the research result more reliable. On top of that, various SR models with different transcription performances could capture the difference between two audio groups across different levels of competency

## 5.2 Improving Chatbot Interactivity

There are a few ways we can try to improve interactivity within the chatbot. One approach could be to make the chatbot more engaging by incorporating a wider range of content and activities. Presently, no active learning activities are done while students listen to audio responses by the chatbot. Therefore, in the future update, we plan to implement the fill-in-the-blank and sentence scramble features in the app.

To implement the listening fill-in-the-blank feature, we can modify the text response returned by the bot by replacing a random word with a blank line. Thus, instead of passively listening to the bot's response, students can actively interact with the app by filling in the blank line after each listening session. By listening to a spoken language recording and filling in the missing words, students can practice using the vocabulary in context and become more familiar with it, thus reinforcing their understanding of such words and how to use them correctly.

Similarly, the sentence scramble feature can be employed by modifying the text response by the bot. In this activity, students will get a jumbled sentence and its spoken form in the correct order for each response from the bot. Then, based on the jumbled sentence, they need to rearrange the words to form a grammatically correct and coherent sentence. By completing sentence scramble activities, students can improve their ability to understand and produce grammatically correct sentences.

## References

[1] Aiello, J., \& Mongibello, A. (2019). Supporting EFL learners with a virtual environment: A focus on L2 pronunciation. Journal of e-Learning and Knowledge Society, 15, 95- 108. https://doi.org/10.20368/1971-8829/1444.

[2] Huang, X., \& Jia, X. (2016). Corrective feedback on pronunciation: Students' and teachers' perceptions. International Journal of English Linguistics, 6(6), 245-254. https://doi.org/10.5539/ijel.v6n6p245.

[3] Han, D. E. (2020). The Effects of Voice-based AI Chatbots on Korean EFL Middle School Students' Speaking Competence and Affective Domains.

[4] Shishido, M. (2018, June). Developing e-learning system for English conversation practice using speech recognition and artificial intelligence. In EdMedia+ Innovate Learning (pp. 226-231). Association for the Advancement of Computing in Education.

[5] Shishido M. (2021). Developing and Evaluating the e-learning Material for Speaking Practice with the Latest AI Technology ISSN: 2189-1036 - The IAFOR International Conference on Education Hawaii 2021 Official Conference Proceedings.

[6] Shishido, M. (2019, June). Evaluating e-learning system for English conversation practice with speech recognition and future development using AI. In EdMedia+ Innovate Learning (pp. 213-218). Association for the Advancement of Computing in Education.

[7] Kim, N. Y. (2018). A study on chatbots for developing Korean college students' English listening and reading skills. Journal of Digital Convergence, 16(8), 19-26.

[8] Shin, D., Kim, H., Lee, J. H., \& Yang, H. (2021). Exploring the Use of An Artificial Intelligence Chatbot as Second Language Conversation Partners. Korean Journal of English Language and Linguistics, 21, 375-391.

[9] Alpha Cephei. (2020). Vosk Offline Speech Recognition Performance. [Online]. Available: https://alphacephei.com/vosk/models

[10] Shishido, M., "Checking in at the airport Listening Practice," in Virtual Travel around the World，バーチャル世界旅行: チャットボットで 学ぶ旅行英会話, 1st ed. Tokyo, Japan: Seibido, 2022

[11] Oord, A. V. D., Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., ... \& Kavukcuoglu, K. (2016). Wavenet: A generative model for raw audio. arXiv preprint arXiv:1609.03499.


# テキストマイニングで知る語学教師の発話嗜癖

砂岡和子 ${ }^{1}$ 譚翠玲 $^{2}$
 }^{1}$ 早稲田大学政治経済学術院 ${ }^{2}$ 北海道大学国際広報メディア・観光学院院生

ksunaoka@waseda.jp

chuiling. tam.s3@elms. hokudai. ac. jp
## 概要

大学中国語初級クラス授業での教師の発話をテキ ストマイニングにかけ, 本人の言葉遣いの特徴を可視化する実験を行った. その結果, 授業活動の定量的構造分析では見えない語学教員の発話嗜癖を観察 することができた. 教師 $\Leftrightarrow$ 学習者 $\Leftrightarrow$ 教材の三者間 Interaction が形骸化しないよう, 教師は自身の発話を自覚的にコントロールする必要があり, マイニ ングは発話振り返りのためのツールとして有効であ る.

## 1 研究背景と目的

近年, 学習者中心の教育に授業観の転換が強く求 められ, コロナ禍によるオンライン教育を経て, ど のように学習者が主体的・対話的で深い学びを実現 できるのかが一層重要なテーマになっている[1][2]. Moore は教員と学習者との隔たりの関係を教育学的 に説明する Transaction Distance Theory（交流距離理論）を提唱し, 対話(dialogue), 構成（structure）, 自律性 (autonomy) が成功の鍵であると主張した[3].

図 1 Types-of-interaction

Anderson 等はこのうちの「対話」を更に「教師↔学習者」「学習者 $\Leftrightarrow$ 教材」「教師 $\Leftrightarrow$ 教材」に細分し図 1, この 3 三者間の Interaction を活性化すれば, 深く 意味ある学びを学習者に提供できると説いた $[8]$.

## 1. 1 研究の目的

大学の中国語初級クラスでの教師の発話特徴を, テキストマイニングによって可視化を試みる.教室 での自身の言葉遣いの傾向を, 直感的に知る手段と してマイニングが有効なことを実証するためである。授業参与者の相互作用を分析する研究には, Class Action Research (AR), Learning Analytics (LA),生体情報の適応, エスノメソドロジーによる会話分析など，さまざまなアプローチがある．外国語授業活動の実証的分析には, Flint [8]や COLT, FOCUS な どの枠組みが使われる[9]. だが教育現場はそれぞれ 学習環境や教育目的が異なり, 授業参加者も同じで はない。授業実践はどれも一回性で，かつ進行し続 ける行為的現実 (actuarily) であるため[10], 上掲の 静態的構造分析が一般性を持つとは限らない.

そこで本稿は教師の授業発話をテキストマイニン グにかけ, 本人の言葉遣いの特徵を把握する実験を 行う. 初任段階の教員は内容を教えることに注力す る余り, 自身の発話量をコントロールできない $[11]$.他方, 中堅・熟練教員は, 担当科目の知識や教育技術に習熟する反面, 教場での言葉遣いが習い性とな り, 形骸化に気が付かない場合が多い[12]. 普段意識 しない発話の癖が，ワードクラウド上に浮かび上が れば, 思い込みや知的孤立を回避する契機となろう。

## 1.2 観察対象とデータ

2021 年実施の某大学中国語初級クラス授業 (一コ
マ，breakout room2 回を含む約 60 分間）を録画し，全発話の文字書き起こしを行った。授業形式は HyFlex ${ }^{2}$ で, 出席学生数は対面 7 名+オンライン参加 が 36 名の計 43 名（欠席者 6 名）. 全員中国語初修者.中国語ネイティブのベテラン教員 1 名で授業担当 $(\mathrm{TA}$ 無) . 録画当日の授業内容は, 新しい課の単語の発音チェックと文型練習.学生は LMS（Moodle） での反転授業で予復習済み.

録画中の教師と学生の全授業活動を, Quality On The Line[13]の Benchmark に即し, Teaching \& Learning の複数カテゴリーに分類し, それぞれ生起回数と所要時間を定量的に記述した. その結果, 教員が全授業活動に占める割合は回数で $(61.4 \%)$, 時間数で

(72.0\%) であった. 約 50 名と語学授業としては大規模クラスを, 遠隔と対面を双方に配慮しつつ運営 する必要から, 教員主導の授業になったと思われる.

教員活動の中身は, (1)学生へのフィードバック,

(2)指名, (3)指示, (4)質問, (5)解説が上位を占めた (回数で(1) $19.7 \%$ 、(2) $12.9 \% 、$ (3) $7.5 \% 、(4) 7.1 \% 、(5) 1.7 \% 、$時間比で(1) $20.4 \%$ 、(2)7.2\%、(3)4.5\%、(4)9.0\%、(5)10.2\%).本教員の基本授業スタイルは，学生への丁寧な(1)フ イードバックと (3)指示および(4)質問を, (2)個別の学生を指名しながら繰り返し行い，時折(5)解説を挟む 形式であることが分かる.

## 2 分析方法

上記(1)（5)の上位教員活動の録画書き起こしテキ ストを，それぞれカテゴリーごとにテキストマイニ ングにかける。解析には (株) User Local の AI テキス トマイニング無料ツールを利用した 3 . 無料版で可能 な分析は, 単語出現度（スコア順\&頻度順）, 共起 キーワード，2 次元マップ，係り受け解析，階層的 クラスタリングがあるが，本文では単語出現頻度の 結果のみを挙げる。なお個人情報保護の観点から，固有名詞は一般的な地名や姓氏に置き換えた. User Local は $\beta$ 版で中国語解析も行えるが, 日中英混在テ キストには対応しないため，文字化け防止用に，中国語簡体字は繁体字で書き取った。日中同形漢字は マイニング表示では区別不能であるが，書き起こし 原文で区別できる.

## 3 分析結果と解釈

単語出現頻度のワードクラウドから, 本授業担当教員の使用語彙について，以下 3 点を指摘できる. 1）学習者への謙譲（例：くださる，もらう），依願（例：お願い），詫び（例：ごめんなさい，すみ ません）などの表現を多用する癖がある. 図 2, 3, 4 参照. 学習者の緊張や不安を和らげるためと 推測できるが，目標言語の習得に必要なコミュニケ ーションか否か再考の余地がある.

図 2 [指名]出現頻度順

図 3 [指示]出現頻度順

図 4 [質問]出現頻度順
^{3}$ UserLocal https://textmining.userlocal.jp
}

2）すべてのカテゴリーで日本語と中国語の併用 または混用が多い. 図2[指名]では. 学生は中国語 の発音で姓名を呼ばれるが，聞き取れないと，教員 は日本語での指名に切り替える. 図 5[フィードバ ック]では，学生が良くできたことを褒める（非常，好）は中国語だが，日本語でも（すばらしい，良い，上手）と褒めている。図 4 教員の質問は日本語が多い（例：冷蔵庫，携帯電話，本棚）。

上掲 Quality On The Line による統計結果では, 本授業での教員発話に占める中国語の比率は $9 \%$ 弱と 極めて低い4. 中国語でのインプット, および語彙 のバリエーションを増やし, 学習者に中国語の産出 を促す工夫が求められよう。

図 $\mathbf{5}[$ フィードバック] 出現頻度順

3 ) 文法用語が多い. 図 6[解説]には「場所 ${ }^{5}$, 名詞,主語, 動詞, 代名詞, 指示」など文法解説の語彙が 目立つ. 教科書記載通りの説明は，教師 $\Leftrightarrow$ 教材なら びに学生@教材間 Interaction の形骸化を引き起こす.文法用語の使用を減らし, 学習者のフレイズ産出を 優先する解説法を探求する必要がある.

図 2 [解説]出現頻度順

4 日本の公立高校英語授業で，母語使用の平均は $50 \%$ [14].

## 4 まとめと課題

外国語教師の授業中の発話には, 二重の機能 (Dual function）がある [15].一つは (A) 外国語習得用の卜 レーニング用言語, もう一つは（B）学生とのコミ ユニケーションを図るための発話である. 実際の教場では，両者が混然一体となって使われており，上記テキストマイニングの分析結果からは，(1)フィー ドバック，(2)指名，(3)指示，(4)質問，(5)解説いずれ のカテゴリーにも，（A）（B）が併存し，かつ無意識に混用されている. 学習者の受容と理解の負担軽減には，上記指摘の如く，1）普段教師が（B） と考える発話嗜癖に気づき，真正のコミュニケーシ ヨン促進の言葉に改め，（A）との使い分けを意識 すること．2）多言語併用を管理して，学習者の混乱を小さくすること．3）文法用語等の専門語彙を 減らす，または言葉を置き換え，学習者が目標言語 を実際に使用する場面を増やすなど工夫が必要だ。

マイニングの結果は，教授者が自身の言語使用の機能と, それが学習に与える効果について, より自覚的であるべきことを示している。

誤解が無いよう断っておくが，本教員の授業に対 する学生評価は高い。他大学と共通で半期ごとに実施する学生アンケートでは, 本大学教師の授業は,学生同士のペアワークやグループワークの機会, 宿題や小テストへの取り組み，教員やクラスメートに 気軽に相談や質問ができるなどの項目において，他校より平均値が有意に高く，授業中指名（質問）の チャンスも十分あると回答している（待刊）。

一回ごとの授業は, 社会的・文化的文脈に埋め込 まれた動態的実践である．従って，授業分析も実践当事者である教師が，内省材料として主体的に利用 することが望ましい.

発話嗜癖可視化に有用なテキストマイニングであ るが，課題は，外国語授業の発話は多言語を基本と するのに対し, 現今の言語処理ツールは単言語をド メインとする点にある．翻訳，音声認識，音声合成 などあらゆるツールが, 多言語混在テキストや音声 の処理には対応していない.加えて中国語は日中同形漢字が存在し，解析ツールで両者を区別すること が難しい. 今回は手作業で入力テキストに工夫を加 えたが，多言語混在音声や文書を扱えるツールがあ

5 中国語の名詞には, 場所名詞と一般名詞があり，文法機能が異なる.

れば，より簡便に語学授業のテキストマイニングを 実行できよう．今後に期待したい。

## 謝辞

本研究の一部は JSPS 科研費 C (21K00773) の助成による.データ作成に (侏)UserLocal の AI テキスト マイニング無料ツールを利用した. 併せて感謝する.

## 参考文献

1. 文部科学省平成 $29 \cdot 30 \cdot 31$ 年改訂学習指導要領 https://www.mext.go.jp/content/1421692_8.pdf

2. 文化審議会国語文科会. 2019 年度日本語教育人材 の養成・研修の在り方について（報告）改訂版 https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo /kokugo/kokugo_70/pdf/r1414272_04.pdf

3. Moore, M. (1989). Three types of interaction. American Journal of Distance Education, 3(2), 1-6.

4. Anderson, T. (2003). Modes of Interaction in Distance Education: Recent Developments and Research Questions. In M. Moore and G. Anderson (Eds.), Handbook of Distance Education. (pp. 129-144) NJ: Erlbaum.

5. Lave, J., \& Wenger, E. (1991). Situated learning: Legitimate peripheral participation. Cambridge University Press.

https://doi.org/10.1017/CBO9780511815355

6. Wenger, E. (1998). Communities of practice: Learning, Meaning, and identity. Cambridge University Press. https://doi.org/10.1017/CBO9780511803932

7. Rovai, A. P. (2002). Building sense of community at a
Distance. The International Review of Research in Open and Distance Learning, 3(1), 1-16.

https://doi.org/10.19173/irrodl.v3i1.79

8. Moskowitz, G. (1971). Interaction analysis : a new

Modern language for supervisors. Foreign Language Annals. 5:211-21.

9. 飯野厚 (2008). 「語学授業観察法の概観〜 FLint, COLT, FOCUS に焦点をあてて〜」『清泉女学院短期

大学研究紀要』, 27 号. pp. 13-29.

10. 小田博志(2010).『エスノグラフィー入門 :<現場 >を質的研究する』春秋社

11. 長門三成子 (2010). 「実習生の教室談話の構造教師と学習者のインターアクションを中心に一」『日本語教育実践研究論文集』筑波大学大学院地域研究研究科 pp. 69-83.

12. 横溝紳一(2021).『日本語教師教育学』くろしお 出版

13. National Education Association (2000) . Quality On The Line: Benchmarks For Success in Internet-Based Distance Education, The Institute for Higher Education Policy. https://www.ihep.org/wp-

content/uploads/2014/05/uploads_docs_pubs_qualityont heline.pdf.

14. 中村啓子(2017).公立高校における「英語による 授業」に対する英語教師の意識調査,Sophia University Junior College Division Faculty Journal, 第 38 号,3146.

15. 靳洪刚 (2018). 提问互动法: 语言课堂教师提问的理论与实践. 国际汉语教育. 3(1), 46-62.


# 日本語 BERT モデルによる近代文の誤り訂正

謝素春 松本章代
東北学院大学大学院 人間情報学研究科
s2195101@g. tohoku-gakuin. ac. jp

## 概要

近代の資料は重要な価値がある. 現在文書の電子化には光学文字認識 (OCR) がよく使われているが,既存の OCR モデルの識別では近代文書を正確に獲得することが困難なため, 識別エラーを訂正する必要がある. 現在, 言語モデルを OCR の誤り訂正に運用する手法が用いられているが，公開されている日本語言語モデルは主に現代文データで学習したもの であり，近代文に対しては性能をうまく発揮できな い可能性が高い. そこで本研究は, 近代文のデータ を収集し，近代文言語モデルを構築する。また，近代文の誤り訂正データセットを構築し, モデルの誤 り訂正性能を検証した。さらに比較実験を通じて，近代文と現代文モデルの間の転移性を検証した。

## 1 はじめに

近代, すなわち明治時代 (1868) から昭和初期 (1945) までの歴史は日本に対して大きな変化を与えた。近世から現代までのかけ橋として, 当時の教育, 経済,政治，および文化は現在の日本にも影響している。 その当時の紙資料は今でも数多く保管され，重要な 価値を持っている。古文書であれば，従来は人手に よって手書きの文章を解読し, 現代文に書き換えて 出版していたが，現在では，紙の資料を画像化し，人工知能に基づく手法を用いて，自動的に文字列に 変換する方法が用いられている.しかし残念ながら，現在古文書のテキスト化は手書き字やくずし文字で 保存された江戸時代の古典籍を対象とした研究がメ インとになっており $[1,2,3]$, 活字体である近代の出版物に対しての研究はほとんど見当たらない. そこ で，近代の文書をテキスト化する研究をおこないた いと考えた。

画像からテキストを変換するには光学文字認識 (Optical Character Recognition; OCR)を利用するのが 一般的だが，文書の保存状況やフォントの違いと異

図 1 近代文書の一例 1916 年の東北学院時報体字の使用[4],および利用したOCRなどによって，識別の精度が大きく変わる一方，現代文のテキスト 化と比べ, 近代文のテキスト化精度はまだ高くない。正確な文章を得るためには, OCR の識別エラーに対 して，校正を行う必要がある。

近代文書のテキストにおいて，従来は主に人手よ り文字入力および校正が行われているが，近年では OCR を用いての自動テキスト化と人手校正を組み 合わせる手法を用いられた。しかし，文字が不鮮明 のため脱字が発生する場合や, OCR の学習データ不足のため識別できない文字がある場合が散見される， その一例を図 1 に示す。それに対して，増田[4]は言語情報および字形情報を同時に考慮した OCR 訂正手法を提案した。しかし，近代文書における誤り検出の困難さにより，テキスト全体の訂正率にはあま り寄与しなかった。また近代文コーパスで学習した Kindai-OCR ${ }^{i}$ [5]，NDLOCR ${ }^{\mathrm{ii}}$ を開発したが，近代資料で実際に検証した結果，識別精度はまだ改善する 余地があることが示された.

近年 OCR の誤り訂正タスクにおいて，BERT ${ }^{\mathrm{iii}}$ モ デルを用いる手法を見られる．BERT モデル[6]は，

iii https://github.com/google-research/bert

Google 社が提出した事前学習済み言語モデルであ り, ほかの言語モデルと比べ，文脈を考慮した単語 の分散表現を獲得する特徴がある。BERTを用いた 手法は分類タスク，質問応答などを含む様々なタス クにおいて優れた結果を示した[6].

誤り検出と誤り訂正のタスクにおいても, BERT が有効であることが確認されている. Kaneko ら[7] は，文法誤り訂正(GEC)タスクにおいて BERT を組 み込むことで，優れた結果を得た．Yamakoshi ら[8] は BERT をベースにした分類器を使用し, 日本語の 法律用語の誤りの検出と訂正タスクにおいて，他の モデルを上回る性能が出せることを示した. 近代文 の識別誤りにおいても，事前学習済夕 BERT モデル が有効と予想される.

上記のタスクでは代表的な事前学習済みの汎用型日本語 BERT モデルである東北大 BERT ${ }^{\mathrm{iv}}$ と京大 BERT $^{v}$ [9]を利用した. ほかに NICT ${ }^{v i}$ や Laboro 社vii によりいくつかの日本語 BERT モデルも公開されて いる。それらのモデルは主に日本語 Wikipedia をコ 一パスとして学習し, ほかに経済新聞やインターネ ット上のオープンデータから学習しているモデルも あるが，いずれも現代文を用いて訓練したモデルで あり安易に近代文に適応しても良い結果は得られな いと予想される。

近代文用の BERT としては青空文庫 (2020 年時点) で事前学習したモデルviii がある. ただし, 青空文庫 の多数は，新字新仮名で書かれたものである. その 中に同じ文章を新字新仮名と旧字旧仮名 2 つのバー ジョンが同時に存在する場合もある. 青空文庫 BERT はそれらのデータを現代文として学習に利用 しているため, 近代文に対する性能は高くないと予想される.

そこで, 本研究は新たな近代文データセットを収集し, 近代文用の BERT モデルを構築する. また近代文の誤り訂正データセットで微調整学習(finetuning)する. 最後に, モデルの誤り訂正性能を検証寸る. さらに, 近代文モデルと既存の現代文モデル をそれぞれ近代文と現代文の誤り訂正データセット を用いて比較実験を行う。

## 2 近代文 BERT モデルの構築

現代文と比べて近代文は独自の仮名や漢字遣いが 存在し, 文法も異なる部分が多いため, 近代日本語 のテキスト化において誤字訂正は事前学習済みの近代 BERT モデルを使用することで性能が向上できる と予想されている。しかし, 現時点性能を確認され た近代文用の BERT モデルが存在していない。そこ で本研究では, 近代文用の BERT モデルを構築する. また, 事前学習済みのモデルを用い, 近代文の誤り 訂正データセットで微調整学習し, 近代文モデルの 性能検証を行う。それに加え，現代文と近代文の誤 り訂正データセットにおいて，現代文 BERT と近代文 BERT の比較実験をおこない，近代文用 BERT の 有効性を調查する。

## 2.1 近代文コーパス

近代の紙資料は数多く存在するが，テキスト化さ れたものは少ないうえ，公開されているデータはさ らに少なく，データの入手が困難である。本研究の 事前学習用データは, 2022 年 7 月 30 日時点の青空文庫のデータおよび国立国語研究所 $\mathrm{ix} よ り$ 公開され た近代語コーパスより獲得した。

青空文庫 ${ }^{x}$ は著作権が切れた日本語文章が数多く 収録されており，2022 年時点は 1000 名以上の作家 の作品が収録されている。その中に明治期から昭和初期の文章が多数存在し, その一部は入力時に新字新仮名の文章に変換されている。旧字旧仮名の文字 に統一するため, 本研究は新字新仮名と旧字旧仮名 の文章を分けて収集し処理を行った。

近代語コーパスxi は『太陽コーパス』, 『近代女性雑誌コーパス』，『明六雑誌コーパス』，『国民之友コーパス』xii の４つのコーパスにより構成され ている。明治前期から昭和戦前期まで（1945 年）の 近代資料より選ばれた代表的な近代資料である[10]. これらのデータは文章入力後, 人手による校正も行 われており，近代日本語のモデル構築に適切なデー タといえる。

近代語コーパスも青空文庫と同様に，文章の間は

1 の空白行で区切り, 文章の内容は 1 文 1 行に分割して処理する．正確に分割できない文に対しては 人手で句読点を追加して文を分割した。 上記 2 つの コーパスから作成した近代文データセットは合計 $627 \mathrm{MB}$ ，約 508 万文である.

## 2.2 モデルの事前学習

BERT Base モデル[6]を用いて近代文 BERT を構築 した. 分かち書きありの設定とし, 近代文語 Unidic ${ }^{\text {xiii }}$ [11]による $\mathrm{MeCab}^{\mathrm{xiv}}$ を使用した. 事前学習の実装は 東北大 BERT を利用し, 100 万ステップの学習を実施した.

## 3 近代文識別率の事前調査

既存の OCR が近代文に対する識別率を調査する ため, Tesseract OCR ${ }^{\mathrm{xv}}$, EasyOCR ${ }^{\mathrm{xvi}}$, PaddleOCR ${ }^{\mathrm{xvii}}$, Kindai-OCR [5], および Cloud Vision OCR ${ }^{\text {xviii } の ~} 5$ 種類の OCR モデルを比較した. その結果, 識別率が比較的に高いCloud Vision OCR を識別モデルとして採用した.

近代文書の識別率を客観的に評価するため, 近代文章の画像で実験を行った。近代の出版物は様々あ るが，東北学院時報xixおよび『文明論の概略』の一部を実験対象とした. 東北学院時報は, 1916 年に創刊され, 2022 年現在まで 100 年以上発行を続けてい る. 創刊号から現存するものはすべて画像として PDF 化され，ネットで公開されている。 そのうち, 1916 年の第 1 号から第 3 号の内容より 59 枚のキャ プチャ画像を作成し，テキスト化の実験対象とする. また, 『文明論の概略』は, 1931 年に岩波書店から 出版された. 第 1 章より 61 枚のキャプチャ画像xx 作成し, 同じくテキスト化の実験対象とする. 実験対象から 120 文のキャプチャ画像および対応テキス トを含むデータを人手より作成した(『文明論の概略』 のテキストはブログxi 上のデータに基づいて作成 した). キャプチャ画像の選定基準としては, 主に縦書きの 1 文から 2 文単位でキャプチャ画像を作成し,複雑なレイアウトを含む内容は今回選択していない. Cloud Vision OCR で検証した結果，近代文に対する

平均識別率は $89 \%$ \%゙った. さらに識別エラーに対し て分析し, 近代文の識別エラーは主に誤字, 脱字で あることを確認した。

## 4 評価実験

## 4.1 近代文誤り訂正データセット

事前調查により近代文の識別エラーは誤字と脱字 が主たる要因となることがわかった。本研究ではま ず誤字を中心に検証する。また，脱字は未来のタス クとする。近代文に対する誤り訂正能力を検証する には, 近代文の誤り訂正データセットが必要である.本研究では, 近代文データに基づき, 類似文字の書 き換えにより近代文誤り訂正データセットを作成し た。作成方法は下記の通りである.

1. 類似文字作成: フォントより文字を画像化 し，画像のバイナリデータを取得する。その 後，文字画像をぺアごとに類似度を計算し，類似度が高い top-6を類似文字とする.フォ ントに含まれていない文字は，異体字リス 卜xxii より類似文字を生成する。

2. 近代語コーパスを文ごとに改行して正規化 する. その後, 長さ 10 以下また 200 以上の 文を取り除く[12].

3. 文ごとに，近代文語 Unidic を用いた MeCab を利用して分かち書きする. その後, ランダ ムに単語を選択し, その中の 1 文字を該当 する類似文字に変更する。

4. 変更された文字以外のテキストと組み合わ せることで，正解文と誤字を含む文のぺア を作成する。

## 4.2 近代文モデルの検証

近代文 BERT モデルの性能を検証するために，構築した近代文誤り訂正データセットで微調整学習し たモデルを, 評価データでの正解率を評価基準とし て性能を評価する. 188832 ペアの近代文エラーデー タセットから，学習データ，検証データおよび評価 データをそれぞれ $165087,11846,11899$ で設定した。

表 1 近代文 BERT の誤り訂正の正解率

表 2 近代文 BERT と東北大 BERT の比較実験

学習時に学習率は 1e-5 で設定し, 最大シーケンス長 は 60 , batch size は 32 で，それぞれ $5,10,15$ エポッ クで学習し, 評価データでの性能を検証する. 評価時は，エラー箇所を指定せず，文中にあるすべての トークン位置に対して語彙数での分類を実行する,尤度が最も高い予測（分類）結果を当該位置で選択 されたトークンとする。提供された正解文と完全に 一致する場合のみを正解とする。

## 4.3 比較実験設定

比較実験では, 近代文データセットより学習した モデルと現代文データセットより学習したモデルに 対し, 現代文と近代文の誤り訂正データセットでの 微調整学習により比較実験し, 性能評価を行う. 現代文用のモデルは, 東北大の BERT base モデルとす る. 評価用のデータセットに関しては, 近代文に対 する性能検証は近代文誤り訂正データセットを用い るが，現代文に対する性能評価は現代文の誤り訂正 データセットである京大の日本語 Wikipedia 入力誤 りデータセットxxiii [12]用いる. 京大の誤りデータ セットには複数のエラータイプのデータが含まれる が, 一貫性を保持するため, 誤字のエラータイプの みを用いる。

## 5 結果と考察

近代文の誤り訂正データセットでの検証結果を表 1 に示す. 微調整学習の Epoch 数を増やすと, 評価 データでのエラー訂正の正解率が向上した, Epoch

xxiii 日本語 Wikipedia 入力誤りデータセット:

https://tinyurl.com/2gkurns6数が 15 の時に正解率が最も高く, 0.56 になった. そ れにより, 事前学習した近代文 BERT モデルは誤り 訂正のタスクにおいて有効であり, 誤り訂正データ セットでの微調整学習も有効であることがわかった。

比較実験の結果を表 2 に示す. 近代文誤り訂正夕 スクにおいて, 近代文 BERT は現代文 BERT より正解率が約 0.36 向上した.このことから, 近代文 BERT は有意義であることがわかる。また，近代文 BERT および現代文 BERT は，それぞれ逆のデータセット によるタスクにおいて正解率が低くなった.このこ とから, 現代文と近代文はある程度の共通点はある が，近代あるいは現代文一方のデータのみで学習し たモデルはもう 1 の言語種類のタスクでは適切に 機能しない可能性が示唆された.

また，近代文 BERT が近代文タスクで達成した正解率は現代文 BERT が現代文タスクで達成した正解率より低い.これは事前学習時の学習データ量の違 いが要因と考えられる. 東北大 BERT は 4GB, 約 9.3 億の単語量で学習したのに対して, 近代文 BERT は $627 \mathrm{MB}$ で 1.4 億のデータで訓練した. 事前学習量の 差は 6.4 倍であるため, 正解率の差は事前学習のデ 一夕量による違いと考えられる。

## 6 まとめ

本研究は青空文庫および近代文コーパスを用い，近代文用の BERT 事前学習モデルを構築し，その性能を検証した．類似文字変換により生成された近代文の誤り訂正タスクによりその性能を検証した。そ の結果, 近代文 BERT モデルは, 現代文用の BERT モデルより高い性能を示した. また, 比較実験より 近代文または現代文のみで学習したモデルは, もう 1 つの言語のタスクには対応できないことを実験的 に示した。

また, 微調整学習した近代文用の BERT モデルを OCR の識別エラーで評価したが, 性能は十分に高く なかった. 今後の課題として, 近代文の事前学習の データ量を増やし，近代文の誤り訂正タスクおよび 近代文の識別誤り訂正の実運用における性能を改善 できるかを検証していく.

## 謝辞

本研究は Google の TPU Research Cloud (TRC) program のTPU 支援を受けたものです.

## 参考文献

[1] Dilbag Singh, C.V. Aravinda, Manjit Kaur, Meng Lin, Jyothi Shetty, Vikram Raju Reddicherla, and Heung-No Lee. Dknet: Deep kuzushiji characters recognition network. In IEEE Access, Vol. 10, pp. 7587275883, 2022.

[2] Lamb, Alex, Tarin Clanuwat, and Asanobu Kitamoto. KuroNet: Regularized residual U-Nets for end-to-end Kuzushiji character recognition. In SN Computer Science, Vol. 1, No. 177, pp. 1-15, 2020.

[3] Anh Duc Le, Tarin Clanuwat, and Asanobu Kitamoto. A Human-Inspired Recognition System for Pre-Modern Japanese Historical Documents. In IEEE Access, Vol. 7, pp. 84163-84169, 2019.

[4] 増田勝也. 言語情報と字形情報を用いた近代書籍に対する OCR 誤り訂正. 人文科学とコンピュー 夕研究会 2016 論文集, pp. 57-62, 2016.

[5] Anh Duc Le, Daichi Mochihashi, Katsuya Masuda, Hideki Mima, and Nam Tuan Ly. Recognition of Japanese historical text lines by an attention-based encoder-decoder and text line generation. In Proceedings of the 5th International Workshop on Historical Document Imaging and Processing, pp. 37-41, 2019.

[6] Jacob Devlin, Ming Wei Chang, Kenton Lee, and

Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1 (Long and Short Papers), pp. 4171-4186, 2019.

[7] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254, 2020.
[8] Takahiro Yamakoshi, Takahiro Komamizu, Yasuhiro Ogawa, and Katsuhiko Toyama. Japanese Mistakable Legal Term Correction using Infrequencyaware BERT Classifier. In IEEE Big Data, pp.4342-4351, 2019.

[9] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208, 2019.

[10] 近藤明日子, 田中牧郎. 『明六雑誌コーパス』 の仕様. 『近代語コーパス設計のための文献言語研究成果報告書』,pp. 118-143, 2012.

[11] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を対象とした形態素解析. 自然言語処理, Vol. 20, pp.727-748, 2013.

[12] 田中佑，村脇有吾，河原大輔，黒橋禎夫. 日本語 Wikipedia の編集履歴に基づく入力誤りデータセ ットと訂正システムの改良. 自然言語処理, Vol 28, pp. 995-1033, 2021.