# テキスト平易化事例を説明する最小編集操作列の自動生成

山口大地 ${ }^{1}$ 宮田玲 ${ }^{1}$ 藤田篤 ${ }^{2}$ 梶原智之 ${ }^{3}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科 2 情報通信研究機構
3 愛媛大学大学院理工学研究科
yamaguchi.daichi.e4@s.mail.nagoya-u.ac.jp

## 概要

テキスト平易化システムの評価手法が種々提案さ れてきたが、システムを詳細に分析できる評価手法 の開発は進んでいない。我々はそのような評価の自動化に向け、テキスト平易化事例を説明する最小編集操作列の自動生成という新しいタスクを提案す る。本稿では、このタスクを定式化するとともに、 このタスクを実現するための我々の提案手法につい て説明する。そして、提案手法の一部を実装し、最小編集操作列を半自動で生成する実験を行った結果 について報告する。

## 1 はじめに

テキスト平易化 (text simplification, TS) はテキスト の主要な情報を保持しつつ、語彙や構造の複雑さを 軽減するタスクである [1]。TS は第二言語学習者や 子どもの学習支援に利用でき、また機械翻訳や文章要約のような自然言語処理タスクの改善のための前処理として利用することが期待できる $[2,3]$ 。

TS システムの評価には自動評価と人手評価 が広く使われてきた。自動評価では、SARI [4] や BLEU [5]、FKGL [6] などの評価指標が用いられてき た。人手評価では、流暢性、妥当性、平易度の観点 から、それぞれ 3 5 段階での評価が行われてきた $[7,8,9]$ 。しかし、これらの評価はいずれもシステム の振る舞いや特徴を一つの評価尺度に集約してしま うものであるため、評価結果に基づいてシステムの 振る舞いや特徴を説明することは難しい。TS のエ ンドユーザーは難解文を理解できないことが想定さ れるため、TS システムがどのような編集操作を適用したかを説明することは重要である。従って、そ のような説明を可能にする評価手法が必要である。

TS システムが適用した編集操作を説明する評価方法は分析的評価と呼ばれる [10]。これも人手評価 の一つではあるが、一連の編集操作の適用前後の文

図 1: 最小編集操作列の生成例

対に対して単一のスコアを与えるような人手評価 とは異なる。山口らの手法 [10] では、図 1 に示すよ うに、難解文と平易文の対を最小編集操作列に分解 し、各編集操作を平易化方略体系に基づいて分類 する。平易化方略体系は、語や句といった文法的 な単位に対する形式的な操作である表層的方略と、平易化の観点からの意味・内容の変更操作である 内容的方略からなる。例えば、図 1 の “Scientists $\Rightarrow$ Researchers”の編集は、\{表層的方略：語置換, 内容的方略：上位語への言い換え\}に分類される。

分析的評価における編集操作の分類は TS タスク に依存する。しかし、TS 事例を説明する最小編集操作列の自動生成の手法は、TS に限らず、機械翻訳 の前編集や後編集、文章要約、文法誤り訂正などの 分析にも利用できる可能性がある。そこで我々は、分析的評価の自動化に向けて、他のタスクにも利用 できる可能性のある最小編集操作列の自動生成に取 り組んでいる。本稿では、このタスクの詳細な説明 と我々のアプローチについて報告する。

## 2 問題の定式化

所与の文対 $\left(X_{a}, X_{b}\right)$ に対し、次の条件を満たす編集操作列 $\mathbf{E}=\left(E_{1}, \ldots, E_{n}\right)$ を $\left(X_{a}, X_{b}\right)$ に対する最小編集操作列と呼ぶ。

$
X_{i}=E_{i}\left(X_{i-1}\right) \quad \text { s.t.d }\left(X_{i-1}, X_{i}\right)=1
$

ただし、 $X_{0}=X_{a} 、 X_{n}=X_{b}$ である。 $X_{i}$ は文法的な適切性を保つ文である。 $E_{i}$ は引数の入力文 $X_{i-1}$ のあ る箇所を別の表現に編集する関数であり、返り値の 文 $X_{i}$ を $X_{i-1}$ に対する編集適用文と呼ぶ。 $d(A, B)$ は $A$ から $B$ を生成するために必要な最小編集操作の回数を返す関数である。なお、最小編集操作とは、書 き換え後の文法的な適切性を保ちつつ、これ以上分解できない編集操作とする [11]。本稿でも、この操作的な定義を踏襲し、最小性に関する概念的・言語学的定義は与えないが、原則として、文字単位の置換・追加・削除ではなく、文法的な単位での編集操作とする。

最小編集操作列の自動生成タスクでは、難解文と 平易文の対を入力として、最小編集操作列を出力す る。形式的には、難解文と平易文の対 $\left(X_{\text {comp }}, X_{\text {simp }}\right.$ ) が与えられたとき、以下で表される最小編集操作列解を 1 つ生成するタスクとする。

$
\begin{gathered}
\hat{\mathbf{E}}=\arg \min _{\mathbf{E} \in \mathbb{E}} \text { length }(\mathbf{E}) \\
\text { where } \mathbb{E}=\left.\{\mathbf{E} \mid X_{\text {comp }}=E_{n}\left(\ldots E_{1}\left(X_{\text {simp }}\right)\right)\right.\}
\end{gathered}
$

length は系列の長さを返す関数である。すなわち、 $X_{\text {comp }}$ から $X_{\text {simp }}$ への最小編集操作列のうち、編集と その逆の編集のようなループを含むて長な系列を避 け、長さが最小のものを生成する。

このタスクに取り組む上で特に考慮すべき点とし て、以下の 3 つが挙げられる。なお、これ以降、最小編集操作を “ $\mathrm{A} \Rightarrow \mathrm{B}$ ” と表し、 2 つ以上の最小編集操作の含まれた編集操作を “ $\mathrm{A} \Rightarrow *$ * B”と表す。

I . 編集操作の依存関係 編集操作には依存関係、 すなわち編集操作列の順序における優先性が存在 する場合がある。例えば、“tell me the truth $\Rightarrow *$ * state the truth"は "tell me the truth $\Rightarrow$ tell the truth" と "tell the truth $\Rightarrow$ state the truth” で構成され、後者は前者に依存する。このような依存関係がある場合、一方の編集操作を生成しなければ他方は生成できない。

II. 編集対象箇所の入れ子 編集対象箇所が重複し、入れ子になる場合がある。図 1 の “Scientists who study the brain $\Rightarrow^{*}$ Brain researchers" は "Scientists $\Rightarrow$ Researchers" $と$ "Researchers who study the brain $\Rightarrow$ Brain researchers” で構成され、編集対象箇所が入れ 子になる。編集対象箇所の入れ子は I の特徴に似て いるが、複数の順序が存在しうる点が異なる ${ }^{1)}$ 。

III. 表層上に現れない編集 最小編集操作が $X_{\text {comp }}$ と $X_{\text {simp }}$ の表層上に現れない語によって構成

1）例に挙げた編集操作は “Scientists who study the brain $\Rightarrow$ Brain scientists”と “scientists $\Rightarrow$ researchers"でも実現できる。

図 2: 最小編集操作列の生成手法

される場合がある。例えば、“start using $\Rightarrow *$ * do” は "start using $\Rightarrow$ start doing" と “start doing $\Rightarrow$ do" から構成され、“doing”は表層上に現れない。

## 3 最小編集操作列の生成手法

## 3.1 考えられるアプローチ

このタスクに対するアプローチとして、アライメ ント手法と生成的手法の 2 つが考えられる。

アライメント手法 アライメント結果に基づい て、組み合わせ最適化問題として解くことがで きる。例えば、“multiple solutions $\Rightarrow$ * several ways" は “multiple $\Rightarrow$ several" と “solutions $\Rightarrow$ ways" で構成でき るということをアライメント結果の組み合わせで解 けば良い。この方法は、アライメント結果さえ正し ければ、確実に編集操作を生成することができる。 しかし、先述した 3 つの特徴を持つ編集が存在する 場合、解くことができない。図 1 のように最小編集操作の生成とアライメントを繰り返し行うことで I と II の特徴を持つ編集操作を生成することはできる が、原理的にIIIの特徴を持つ編集操作を生成するこ とはできない。

生成的手法 TS システムで反復改良法 [12] を用 いて、難解文を少しずつ平易文に近づけることも考 えられる。この方法は、原理的には全ての編集操作 を生成することができる。しかし、TS システムが 生成する文が入力文に対して最小編集操作を適用し たものであることは保証できない。

原文と目標文の 2 文の間を補完する文を生成する テキストモーフィングというタスクが存在する [13] が、最小編集操作の制約は考慮されていない。

## 3.2 提案手法

本稿では、アライメント手法と生成的手法を組み 合わせた手法を提案する。具体的には、図 2 の 4 つ の機構で最小編集操作を逐次的に生成する。アライ メント手法（図 2: (1)～(3)）を主に用い、生成的手法 (図 2: (4) でアライメント手法を補う。以下、各機構について説明する。

(1)フレーズアライナー 難解文と平易文の対を入力し、フレーズアライメントを出力する。ここで、得られたアライメントを編集操作候補とする。編集操作としては文法的な単位での操作のみを認める （2 節）ため、アライメントは文法的な単位に則った 出力をする必要がある。

(2)適切性フィルタ 編集操作候補の集合を入力 し、編集操作として適切な編集操作候補のみを出力 する。ここで、適切な編集操作とは、適用した時に 文法的な適切性が保たれる編集操作である。適切で ある確率 $P_{a p p}$ が間値よりも高い候補を適切とする。

(3)最小性フィルタ 編集操作の集合を入力し、最小である確率 $P_{\min }$ の高い上位 $M$ 個の編集操作を出力する。

(4)最小編集操作生成器 2) 編集操作を $I$ 個入力し $(I \leq M)$ 、最小編集操作を $O$ 個生成する $(O \leq I)$ 。最小編集操作生成器では、アライメントで原理的に 生成できない編集操作を生成できる可能性がある。

## 4 提案手法の実装

## 4.1 各機構の実装の詳細

(1)フレーズアライナー Enju $^{3}$ の)出力に基づいて 文法的な単位でのアライメントを出力する Arase and Tsujii [14] ${ }^{4}$ の手法を利用する。

(2)適切性フィルタ BERT [15] 5) 微調整し、実装する。適切性フィルタでは、編集操作候補を独立に処理し、条件を満たす編集操作のみを出力す る。図 3 に適切性フィルタの構成を示す。この構成は、難解文と平易文の差分と対象フレーズの差分を比較すれば、編集操作の適切性を判定できる という直感に基づいている6)。適切性フィルタに

2）検討段階のため以降の節では扱わない。

3) https://github.com/mynlp/enju

4) https://github.com/yukiar/phrase_alignment_cted

5) https://huggingface.co/bert-base-cased

6）いくつかの構成を試し、検証データで最も性能の良い構成 を選択した。

図 3: 適切性フィルタの構成

図 4: 最小性フィルタの構成

は難解文と平易文、難解文と平易文の編集箇所を 表す対象フレーズを入力する。文埋め込みとして 文頭の CLS トークンに対して BERT が出力する ベクトルを使用する。フレーズ埋め込み $\mathbf{p}$ として は、対象フレーズの文中の位置を表す 2 值べクト 儿系列 $\mathbf{m}\left(=\left(m_{1}, . ., m_{L}\right), m_{i} \in\{0,1\}\right)$ を用い、対象フ レーズに含まれるトークンの埋め込み $\mathbf{h}$ の平均 $\mathbf{p}=\frac{1}{\sum_{i=1}^{L} m_{i}} \sum_{i=1}^{L} m_{i} \mathbf{h}_{i}$ を用いる。そして、難解文と平易文の文埋め込みの差分とフレーズ埋め込みの差分 を直結し、全結合層に入力する。

(3)最小性フィルタ 図 4 に最小性フィルタの構成 を示す。最小性の判断をするためには、難解文と平易文の関係、難解文と編集適用文の関係が重要であ る6) 。最小性フィルタには、難解文と平易文を SEP トークンで結合した文と、難解文と編集適用文を SEP トークンで結合した文、難解文と平易文の編集箇所のフレーズ埋め込みを入力する。フレーズ埋め 込みは適切性フィルタと同じ方法で獲得する。これ ら全ての埋め込みを直結し、全結合層に入力する。

## 4.2 フィルタの訓練と評価

各フィルタの訓練、および評価のデータは次の 手順で作成した。まず Newsela $^{7}$ ) の Popular カテゴリ の 3 文書から難解文と平易文の対 297 件を抽出し、 Arase and Tsujii [14] の手法を用いてフレーズアライ メントを行って編集操作候補を抽出した。次に各編集操作候補に対して、第 1 著者が適切性を判定し、適切と判断されたもののみについて最小性を判定し

表 1: 各フィルタに使用したデータの分布

(a) 適切性フィルタ

表 2: 各フィルタの評価結果

(a) 適切性フィルタ

(b) 最小性フィルタ

た。このようにして得られたデータの分布を表 1 に 示す8)。

評価の際には、適切性フィルタ、および最小性 フィルタの閾値は 0.50 とした。両フィルタの評価結果を表 2 に示す。結果から、両フィルタは分類器 としてはある程度機能していると考える。

## 5 最小編集操作列の生成実験

3〜4節で述べた機構で、最小編集操作列の生成が どの程度できるかを検証した。

## 5.1 実験設定

図 2 の(1)〜(3)の機構のみを用いて行った。最小編集操作を 1 つ生成し、適切性と最小性を都度、人手 で確認した。正しい最小編集操作が生成できた場合 は、繰り返し同じ処理を行った。繰り返し処理は、正しい最小編集操作が生成できなかった場合、ある いは編集適用文と平易文が一致したときに終了し た。適切性フィルタの閾値は 0.50 とした。最小性 フィルタは最も $P_{\min }$ の高い編集操作を 1 つのみ出力 し $(M=1) 、$ ビーム探索は行わないこととした。評価データは、Newsela の Popular カテゴリから新 たに 7 文書を収集して作成した。まず TER [16] が 0.5 以下の難解文と平易文の対を 0.1 刻みに 10 文対 ずつ合計 50 文対抽出した。そして、各文対に対し て第 1 著者が最小編集操作列を与えた。これらの $\mathrm{TS}$ 事例は最大 4 回の編集操作が適用されていた。

## 5.2 結果

50 文対中 22 文対において、最小編集操作列の生成に成功した。表 3 に編集数ごとに正しい最小編集操作列を生成できた割合を示す9)。編集数が 3 以上

8）訓練時のハイパーパラメータ等については付録 $\mathrm{A} を$ 参照 されたい。

9）編集数・編集距離と成功率の関係については付録 Bを参照されたい。表 3: 編集数ごとの成功率

表 4: エラーの原因とその件数

の事例では、ほとんど成功していない10)。

## 5.3 エラー分析

表 4 にエラーの原因とその件数を示す11)。フレー ズアライナーの出力に最小編集操作が含まれていな い場合は、フレーズアライナーが原因のエラーとす る。フレーズアライナーのエラーに対しては、それ らを補う前処理や後処理を行う必要がある。適切性 フィルタが原因のエラーは全体の半分以上を占めて いる。 16 件のうち 9 件は $P_{\min }$ の上位 5 つの中に最小編集操作が含まれていた。従って、ビーム探索に よって適切性フィルタのエラーを補うことができる と期待できる。最小性フィルタが原因のエラーのほ とんどは訓練データ内に存在しない編集操作であっ た。最小性フィルタの訓練事例は 994 件と少ないた め、データの拡張によって性能を改善できる可能性 もある。

## 6 おわりに

本稿では、最小編集操作列の生成という新しい夕 スクについて述べた。そして、我々はこのタスクを 4 つの機構で行うことを提案した。一部を実装して 行った半自動的な実験の結果、50 文対中 22 文対に 対する最小編集操作列の生成に成功した。

今後はビーム探索の実装やデータの拡張などの改良を加えていく。また今後の展望として、以下が挙 げられる。

・最小編集操作生成器の作成

・TS システムの出力への適用
- 編集操作の分類器の作成

・TS システム自体の説明可能性の向上
$ を参照されたい。

11）これらのエラーのほとんどが 1 つ目の最小編集操作の生成時に発生した。
}

## 謝辞

本研究は JSPS 科研費（課題番号：19H05660）お

よび KDDI 財団調査研究助成 (課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-driven sentence simplification: Survey and benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Advaith Siddharthan, Ani Nenkova, and Kathleen McKeown. Syntactic simplification for improving content selection in multidocument summarization. In Proceedings of the 20th International Conference on Computational Linguistics (COLING), pp. 896-902, 2004.

[3] Sanja Štajner and Maja Popovic. Can text simplification help machine translation? In Proceedings of the 19th Annual Conference of the European Association for Machine Translation (EAMT), pp. 230-242, 2016.

[4] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 401-415, 2016.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[6] J. Peter Kincaid, Robert P. Fishburne Jr, Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Technical report, Institute for Simulation and Training, University of Central Florida, 1975.

[7] Sanja Štajner and Sergiu Nisioi. A detailed evaluation of neural sequence-to-sequence models for in-domain and cross-domain text simplification. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 3026-3033, 2018.

[8] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 162-173, 2018.

[9] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, pp. 1-36, 2021.

[10] 山口大地, 島田紗裕華, 宮田玲, 佐藤理史. テキスト平易化 システムの分析的評価のための平易化方略体系の構築. 言語処理学会第 28 回年次大会発表論文集 (NLP), pp. 506-510, 2022.

[11] Rei Miyata and Atsushi Fujita. Understanding pre-editing for blackbox neural machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1539-1550, 2021.

[12] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 3291-3301, 2019.

[13] Shaohan Huang, Yu Wu, Furu Wei, and Ming Zhou. Text morphing. CoRR, Vol. abs/1810.00341, pp. 1-12, 2018.

[14] Yuki Arase and Jun'ichi Tsujii. Compositional phrase alignment and beyond. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Em- pirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 4171-4186, 2019.

[16] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers (AMTA), pp. 223-231, 2006.

## A 各フィルタの訓練詳細

各フィルタのハイパーパラメータを表 5 に示す。訓練時には、BERT のパラメータも更新した。

表 5: 各フィルタのハイパーパラメータ

(a) 適切性フィルタ

(b) 最小性フィルタ

## B 編集数・編集距離と成功率の関係

表 6 に編集数・編集距離と成功率の関係を示す12)。編集距離は TER の計算時に導出されるものを使用し た。編集距離が大きくなるにつれて、成功率は下がっていた。しかし、編集数が 1 の事例は編集距離にかか わらず半分以上成功していた。

表 6: 編集数・編集距離と成功率

## C システム出力

表 7 に最小編集操作列の生成に成功した事例を示す13)。生成した編集操作に該当する部分を同じ色で示し ている (e.g., “Scientists $\Rightarrow$ researchers”)。提案した構成で入れ子構造に対しても、最小編集操作列を生成でき ていた。表 8 に最小編集操作列の生成に失敗した事例を示す。

## 表 7: 最小編集操作の生成に成功した事例

} \\

12）編集数は常に編集距離以下になるため、編集数が編集距離より大きい欄は空白にしている。

13）表 7、表 8 中の難解文と平易文の例は https://newsela.com/read/lib-mindset-matters/id/39794/より引用した。


# 柔らかいジャンプ付き編集距離に向けて

亀井遼平 1 横井祥 ${ }^{1,2}$ 仲村祐希 1 渡辺太郎 ${ }^{3}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所 3 奈良先端科学技術大学院大学
\{ryohei.kamei.s4, yuki.nakamura.r1\}@dc.tohoku.ac.jp,
\{yokoi, kentaro.inui\}@tohoku.ac.jp, taro@is.naist.jp

## 概要

本論文では翻訳システムに対する自動評価指標と して新たな指標を提案する。これは単語レベルの編集距離をジャンプ操作の追加と単語埋め込みによる 置換コストの緩和によって拡張したものである．前者は語順の入れ替えを，後者は文中の単語の類似度 をそれぞれ考慮しており，これらを組み合わせるこ とで質の高い自動評価指標を作れると考えた. 実験 は WMT19 Metrics Shared Taskを用いて行い，上記の 拡張が自動評価指標と人手評価の相関向上に寄与す ることを確認した。

## 1 はじめに

優れた機械翻訳システムを開発するには質の高い 自動評価指標が必要であり [1], 以前から BLEU [2] や chrF [3] などが頻繁に用いられてきた. 自動評価指標の質を高めるための一つの方針は, 語順の考慮である $[1,4,5]$. また，別の方針として単語埋め 込みの利用がある [6,7]. CDER (Cover Disjoint Error Rate）[8] や EED（Extended Edit Distance）[9]などの ジャンプ付き編集距離は語順の入れ替えを考慮する 点で妥当だと考えられる. 我々は語順の考慮と単語埋め込みの利用を両立するべく, ジャンプ付き編集距離の置換コストを単語埋め込みを用いて緩和した WCDER（Word embedding based CDER）を提案する.

問題設定 本論文中の自動評価指標は式 (1)のよ うに単語数がそれぞれ $n, n^{\prime}$ の翻訳文 (c) と参照文 （r）を入力として，その類似度を計算して翻訳文の 良し悪しを測定する。

$
c=\left[c_{1}, c_{2}, \cdots, c_{n}\right], \quad r=\left[r_{1}, r_{2}, \cdots, r_{n^{\prime}}\right]
$

## 2 編集距離に基づく自動評価指標

この節では提案手法の基礎となる, 編集距離 (Edit Distance, ED）[10] とそれに基づく自動評価指標の先行研究を説明する．なお，本論文における編集距離は文字レベルではなく単語レベルの編集距離を意味する. 編集距離は, 2 つの単語列を入力とし, 置換，削除，挿入の操作によって片方の単語列をもう 一方の単語列に変換するのに必要な手順の最小コ ストとして定義され，通常各操作のコストは 1 であ る. 編集距離は単語列ペアの非類似度を表す。つま り值が大きいほどぺアの類似度は低いことを表す。編集距離の操作コストの総和を表す配列を $D^{|c| \times|r|}$ とすると，(2) 式で計算することができる.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\left(1-\delta\left(c_{i}, r_{j}\right)\right) \\
D(i-1, j)+1 \\
D(i, j-1)+1
\end{array}\right.
$

ただし, $D(1,1)$ は 0 であり, $\delta\left(w_{i}, w_{j}\right)$ は 2 単語 $w_{i}$, $w_{j}$ が同じ場合は 1 を返し, それ以外の場合は 0 を返 す. なお，最終的に得られる $D(|c|,|r|)$ が編集距離 を表す. 編集距離の計算と同時に，配列 $T^{|c| \times|r|}$ に どの操作により配列 $D$ が更新されたのかを保存し ておくことによって, $T(|c|,|r|)$ からバックワードす ることでアラインメントを獲得できる.

## 2.1 ジャンプ付き編集距離: CDER

CDER は編集距離をジャンプ操作の追加によっ て拡張したもので，再帰式 (3) で表される。ただし $D(1,1)$ は 0 である.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\left(1-\delta\left(c_{i}, r_{j}\right)\right) \\
D(i-1, j)+1 \\
D(i, j-1)+1 \\
\min _{i^{\prime}} D\left(i^{\prime}, j\right)+1
\end{array}\right.
$

ここで， $D(i, j)$ を計算するにあたって，各 $j$ につい て以下の 3 ステップの計算が必要となる.

1. それぞれの $i$ で, 式 (3)の上 3 項の最小項を求 める
2. $\min _{i^{\prime}} D\left(i^{\prime}, j\right)$ を求める

図 1 WCDER のアラインメント行列. 縦軸，横軸はそれ ぞれ参照文と翻訳文. 実行された編集操作のコストが高 い場合は薄い色で，低い場合は濃い色で表されている。

3. それぞれの $i$ で，式 (3)を求める

## 2.2 単語埋め込みに基づく編集距離: WED

WED（Word Embedding based Edit Distance） [11] は 編集距離を，単語埋め込みを用いた操作コストの 緩和によって拡張したものである. 先行研究 [11] では全ての編集操作のコストを 1 から緩和してい るが，本論文では置換コストのみを緩和しており，再帰式 (4) で表される。ただし $D(1,1)$ は 0 である. subcost は置換コストを表し，置換したい 2 単語の埋 め込みのコサイン類似度が 0.5 以下の単語はほぼ類似性のない単語としてコスト 1 , 同単語はコスト 0 とし，その間を連続的にとるよう式 (5) で定義した。

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\operatorname{subcost}\left(c_{i}, r_{j}\right) \\
D(i-1, j)+1, \\
D(i, j-1)+1
\end{array}\right.
$

$\operatorname{subcost}\left(c_{i}, r_{j}\right)=\frac{(1-0.5)-\max \left(0, \operatorname{sim}\left(c_{i}, r_{j}\right)-0.5\right)}{1-0.5}$

ここで, $\operatorname{sim}\left(w_{i}, w_{j}\right)$ は 2 つ単語 $w_{i}, w_{j}$ の埋め込 み $\boldsymbol{w}_{\boldsymbol{i}}, \boldsymbol{w}_{\boldsymbol{j}}$ のコサイン類似度を表し，式 (6) で定義さ れる。

$
\operatorname{sim}\left(w_{i}, w_{j}\right)= \begin{cases}\cos \left(w_{i}, w_{j}\right) & \left(\boldsymbol{w}_{\boldsymbol{i}} \& \boldsymbol{w}_{\boldsymbol{j}} \text { exist }\right) \\ 0 & (\text { else })\end{cases}
$

## 3 提案手法: WCDER

本論文では，2.1，2.2 節で述べた拡張を組み合 わせた WCDER を提案する. ジャンプ操作の追加は 語順の入れ替えに対応し, 単語埋め込みによる置換コストの緩和は文中の単語の類似度を考慮する。 よって，これらの拡張を組み合わせることでより質 の高い自動評価指標を作れると考えた．再帰式は表 1 実験で用いた自動評価指標と各指標が考慮する項目

式 (7) で表される. ただし， $D(1,1)$ は 0 で，2.1 節 の CDER 同様各 $j$ について 3 ステップの計算が必要 になる.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\operatorname{subcost}\left(c_{i}, r_{j}\right) \\
D(i-1, j)+1, \\
D(i, j-1)+1, \\
\min _{i^{\prime}} D\left(i^{\prime}, j\right)+1
\end{array}\right.
$

WCDER の実行の様子を図 1 に示した. 縦軸，横軸に並んだ単語列はそれぞれ参照文と翻訳文を表 す. 置換は斜め，插入は下，削除は右方向に対応づ けられ，アラインメントが飛んでいる部分でジャン プが生じている．色が濃い部分は実行された操作の コストが低く，薄い部分はコストが高いことを表 す. 図 1 よりこの例文のアラインメントはジャンプ 3 回，置換 8 回，挿入 1 回でとられることが分かる.

## 4 実験

## 4.1 実験設定

語順と単語類似度の考慮が自動評価指標と人手評価の相関向上に寄与するかを確かめるため，表 1 に 示した自動評価指標を用意して実験を行った.

データセット WMT19 Metrics Shared Task ${ }^{1)}$ のテ ストセット（人手評価で Better と評価された翻訳文，Worse と評価された翻訳文，参照文の 3 文が与 えられる）を用いた。

評価尺度 Kendall の $\tau^{2)}$ の順位相関係数 [12] を用 いた.

単語埋め込み 本論文全体で，単語埋め込みにつ いては glove.840B.300d³)を用いた.

ベースライン手法 Bag of Words のコサイン類似度（BoW）とベクトル和のコサイン類似度（Vec Sum）を用いた.

表 2 WMT19 Newstest19 における，DARR で測定したセグメントレベルの人間との順位相関. Kendall の $\tau$ の順位相関係数を使用している。言語対として，ドイツ語 (de), フィンランド語 $(\mathrm{fi})$, グジャラート語 $(\mathrm{gu})$, カザフ語 $(\mathrm{kk})$, リトア ニア語（1t)，ロシア語（ru)，中国語（zh）をそれぞれ英語（en）に翻訳したものを用いた。

图 2 単語埋め込みによる置換コスト緩和が効果的だった例. 縦軸が参照文で横軸が翻訳文. 人手評価で良い翻訳文だっ たものが Better，悪かったものが Worse とラベル付けされている.

BoW は形式的に式 (8) のように定義される.

$
\operatorname{BoW}(c, r)=\cos \left(\sum_{i=1}^{|V|} t_{i} \boldsymbol{e}^{(i)}, \sum_{j=1}^{|V|} t_{j}^{\prime} \boldsymbol{e}^{(j)}\right)
$

ここで， $\cos$ 引数は文べクトルを表し， $V$ は参照文 と翻訳文に含まれる全単語の集合， $t_{i}$ は $V$ 中の $i$ 番目の単語が $c$ 中で現れた回数, $t_{j}^{\prime}$ は $V$ 中の $j$ 番目の 単語が $r$ 中で現れた回数, $\boldsymbol{e}^{(i)}$ は $i$ 番目の値だけが 1 になっている長さ $|V|$ の one-hot ベクトルである.

Vec Sum は形式的に式 (9) のように定義される.

$
\operatorname{vec} \operatorname{sum}(c, r)=\cos \left(\frac{\sum_{i=1}^{|c|} \boldsymbol{c}_{\boldsymbol{i}}}{|c|}, \frac{\sum_{j=1}^{|r|} \boldsymbol{r}_{j}}{|r|}\right)
$

ここで, $\cos$ の引数は文べクトルを表し， $\boldsymbol{c}_{\boldsymbol{i}}, \boldsymbol{r}_{\boldsymbol{j}}$ はそ れぞれ $c_{i}, r_{j}$ の単語埋め込みを表す.

前処理 前処理として，入力された文を単語ごと に分割し小文字化した. また，ジャンプ付き編集距離の先行研究 $[8,9]$ に基づき文頭に空白を追加した.

操作コスト 挿入，削除，ジャンプのコストは全 て1とした. 置換コストは単語埋め込みを用いない 場合には 1 とし, 用いる場合には式 (5)で求めた.

正規化 ジャンプがある指標については先行研究 [9] に記載のある式 (10) で，それ以外の指標では参照文の長さで割ることで正規化した。

$
\text { Score }=\frac{(\text { sum of all costs })+v}{\mid \text { reference } \mid+v}
$

ここで， $v$ はペナルティ項で，翻訳文中の単語それ ぞれの|アライン回数 $-1 \mid$ の和を表しており，アラ イン回数が 0 回，あるいは 2 回以上となる単語の数 に応じてぺナルティを課している. 先行研究 [9] で はvにハイパーパラメータ $\rho$ がかけられているが，他の手法との差分をなくすため本論文では省いた。

## 4.2 結果

実験の結果を表 2 に示した. 編集距離に基づく指標 (ED, CDER, WED, WCDER) を見ると, ED と比 べて，CDER および WEDの相関が上昇した。また， CDER および WED と比べて，WCDER の相関が上昇した. よって. ジャンプ操作の追加と単語埋め込 みの利用のいずれの拡張も人手評価との相関向上に 寄与したことが確認できた. また，Vec Sum と比べ て WCDER の大幅な相関向上は見られなかった.

## 4.3 議論

埋め込み利用の効果が出た例 de-en の 59504 文 ペア目を CDER と WCDER で評価したものが図 2 で

図 3 ジャンプ操作の追加が効果的だった文ぺア例. 縦軸が参照文で横軸が翻訳文. 人手評価で良い翻訳文だったもの が Better，悪かったものが Worse とラベル付けされている.

図 4 WCDER のジャンプコストを $0.5,1,2,3,4$ として WMT18 Newstest18を用いて 4 節同様の実験をした結果の プロット．横軸は言語対を，縦軸は順位相関を表す。

ある. CDER では 2 つの翻訳文のスコアが同じだっ た.しかし，WCDER では “rescuers”と“rescue”が対応づけられた結果 Better の文のスコアが良くなっ た. よって，単語埋め込みの利用により，単語の表層だけでなく意味を汲みとって評価したことが分 かる。

ジャンプ操作追加の効果が出た例 同様に, de-en の 75584 文ペア目をWED と WCDER で評価したも のが図 3 である. WED では Worse のスコアの方が 良くなっていた。しかし, WCDER ではジャンプが 生じて翻訳文の後半と参照文の前半で対応づけが起 こった. それらの類似度が考慮された結果 Better の 文のスコアが良くなった. よって，ジャンプにより 語順の入れ替えに対応して評価したことが分かる。

ジャンプコスト ジャンプコストは「意味が似た 単語のかたまりがどれくらい大きければジャンプが

ジャンプコストが大きい場合，意味が似た単語のか たまりが大きいときに限りジャンプが生じる. 反対 にジャンプコストが小さい場合，意味が似た単語の かたまりが小さいときであってもジャンプが生じ る. 図 4 は WMT18 Newstest18 データセットを用い
て，ジャンプコストを変更しながら 4 節同様の実験 をした結果である。図 4 より，ジャンプコストが大 きくなるにつれ WCDER の評価と人手評価の相関が 下がっていることが分かる. 相関低下の要因とし て，他の操作コストに比べて不当に大きなジャンプ コストが語順が考慮を妨げている可能性が考えられ る.したがって，人手評価と高い相関を持つ評価を 行うためには，ジャンプコストとその他の操作コス トとの間の適切なバランスが重要になると考えら れる。また，4節の実験で用いたべクトル和のコサ イン類似度という指標は語順を考慮しない。この指標は，WCDER のジャンプコストを極端に小さくし た指標とも捉えられる。表 2 より，ベクトル和のコ サイン類似度と WCDER の結果はほとんど変わらな かった。そのため，削除や挿入のコストを 1 とした 本論文の実験設定は，ジャンプコストとのバランス という観点で適切ではない可能性が示唆される.

今後の方向性 削除，挿入コストとジャンプコス トとの適切なバランスを探りたいと考えている. さ らに，そのバランスを保ちつつ削除，挿入コストも 単語埋め込みを用いて緩和することで，提案手法を より良い指標へと発展させていきたい.

## 5 結論

本論文では編集距離をジャンプ操作と単語埋め込 みによる置換コストの緩和で拡張した WCDER を提案した. WCDER は語順と単語類似度の考慮を両立 した翻訳システムの自動評価指標である。この両立 により人手評価との相関が上昇したことに加え，解釈性の高いアラインメント情報が得られる。これは 機械翻訳システム開発に有用だと考えられる。提案手法の改善の余地は大きいと思われるため，今後も 調査を継続していきたい.

## 謝辞

本研究は JSPS 科研費 JP22H05106，JST ACT-X JPMJAX200S，JST CREST JPMJCR20D2 の助成を受 けたものです.また，本研究を進めるにあたり，頻繁に議論に参加していただいた東北大学乾・坂口・徳久研究室, 東北大学鈴木研究室の皆様へ感謝いた します.

## 参考文献

[1] Tsutomu Hirao, Hideki Isozaki, Katsuhito Sudoh, Kevin Duh, Hajime Tsukada, and Masaaki Nagata. Evaluating translation quality with word order correlations. Journal of Natural Language Processing, Vol. 21, No. 3, pp. 421-444, 2014.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015.

[4] Hiroshi Echizen-ya and Kenji Araki. Automatic evaluation of machine translation based on recursive acquisition of an intuitive common parts continuum. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[5] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004.

[6] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert, 2019.

[7] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text generation evaluating with contextualized embeddings and earth mover distance. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, November 2019.

[8] Gregor Leusch, Nicola Ueffing, and Hermann Ney. CDER: Efficient MT evaluation using block movements. In 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 241-248, Trento, Italy, April 2006.

[9] Peter Stanchev, Weiyue Wang, and Hermann Ney. EED: Extended edit distance measure for machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 514-520, August 2019.

[10] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710. Soviet Union,
1966.

[11] Yilin Niu, Chao Qiao, Hang Li, and Minlie Huang. Word Embedding based Edit Distance. arXiv e-prints, p. arXiv:1810.10752, October 2018.

[12] Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019.

## A Kendall $\boldsymbol{\tau \tau$ の詳細}

WMT19 Metrics Shared Task では，自動評価指標の 評価を行うにあたって，Kendall の $\tau$ の順位相関を 計算している。このタスクでは，「ある入力文に対 して2つの機械翻訳システムが出力した翻訳文」,「2つの翻訳文のうちどちらが Better か Worse か人手評価したラベル」,「参照文」が与えられる. 自動評価指標によって2つの翻訳文と参照文の類似度をそ れぞれ算出し，2つの翻訳文のうちどちらの翻訳文 が Better か Worse かを評価する。そして，2つの翻訳文に対する人手評価と自動評価指標による評価が 一致していれば Concordant ( $C o n c$ )，不一致であれ ば Discordant（Disc）となる.こうして全ての文ぺ アについて Conc かDisc かを求めた後, それらの個数を用いて式 (11)より $\tau$ を計算する.

$
\tau=\frac{\mid \text { Conc }|-| \text { Disc } \mid}{\mid \text { Conc }|+| \text { Disc } \mid}
$


# 疑似データを用いた GPT-2 による日本語文章の多段階平易化

郷原聖士 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$
1 静岡大学情報学部
}

gobara.seiji.21@shizuoka.ac.jp, \{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp
## 概要

現在，我々は常纪新しい情報を取捨選択する情報社会で暮らしているが，それらの情報の内，多くは ある程度習熟した成人が対象の文書である。した がって，まだ文書を理解するための知識が不足して いる子供や留学生などの非母語話者にとって，それ らの情報を理解して生活に役立てるのは難しいとい う問題がある。そこで我々は，一般向けの文書を利用者の日本語理解度に応じて適切な難易度の情報に 変換するための日本語の機械学習モデルを疑似デー タによって作成した. 自動評価実験において, 目標 とする難易度沈じて平易化文に難易度差を付与で きていることが評価指標から示唆されたが，人手評価実験においては有意な結果は得られなかった。

## 1 はじめに

テキスト平易化は，難解な文章から同一の意味を 保持しつつも平易な文章へと変換させる, 自然言語処理におけるテキスト生成タスクの一つである.

関連研究には, English Wikipedia と Simple English Wikipedia のパラレルコーパス (EW-SEW) を用いた 統計的機械翻訳による手法 [1][2] やニューラル機械翻訳による手法 [3][4]がある。

統計的機械翻訳による手法は，分割，削除，並び 替兄，置換を総合的にカバーする一方で，EW-SEW のような大規模のパラレルコーパスが必要であり， そのような資源のない言語以外にそのまま適用出来 ない.ニューラル機械翻訳氾よる手法は，統計的機械翻訳と同様に EW-SEW のような大規模の平易化用データセットを用いて難解な文と平易な文のぺア を学習することで系列変換を行う注意機構を組み 込んだシステムを構築し，高精度の平易化を実現し た. また，近年では平易化用の大規模データセット が存在しない言語を対象に，疑似的な平易化用デー タセットを構築することで平易化を実現する手法 [5] が提案されているが，いずれも平易化後の文章
の難易度は考慮されていないという課題がある。

日本語においては，中町ら [6] が事前学習済み系列変換モデルにやさしい日本語対訳コーパス [7][8] を用いて平易化を実現している。最近では,コーパ スベースの手法 [3][6] が多く，ターゲットの難易度 は学習データに依存している。一方で平易化のター ゲット文は多様であり，ユーザーに合わせて難易度 を調節できた方が望ましい。

英語の平易化の研究におけるターゲット文の難易度には，EW-SEW をべースにした難解文から平易文へと変換を行う二段階の平易化が用いられて きたが，Xu ら [9] は，文章の複雑さを測定して，生徒の読解力を評価するために広く用いられている Lexile $^{1)}$ の下で 11 段階の難易度付きパラレルコーパ ス Newsela を構築した. Newsela を用いて難易度う ベルを入力文の文頭に付与した上で学習すること で，生成するテキストの多段階な難易度制御を実現 する手法 [10]，その手法をべースに目標の難易度に 適した単語を出力するため，単語の分散表現を拡張 した素性の利用や，ハード・ソフトな語彙制約を課 す手法 [11], 語彙レベルや文長などの文章中の特徴量に着目して生成文を制御する手法 [12] がある.

上記のように，英文の多段階平易化に関する研究 は盛んだが，和文を対象とする多段階平易化に関す る研究は少ない. この背景には, 日本語の多段階平易化のためには Newsela のような難易度付き大規模 データセットが新たに必要だが，構築には莫大なコ ストがかかるという問題がある。

そこで本研究では，言語資源の少ない日本語の平易化用のデータセットを補うために，やさしい日本語対訳コーパスを用いてファインチューニングした GPT-2 ベースの平易化モデルと，BERT(Bidirectional Encoder Representations from Transformers) ベースで 作成した難易度推定器を組み合わせることで疑似的な難易度付きパラレルコーパスを構築した. その 後, Alessio ら [5] や Eriguchi ら [13] と同様にして,

1) https://lexile.com

図 1 多段階平易化用疑似データセットの作成

任意の X-Y 方向の多言語機械翻訳を任意の X-Y 方向 の多段階平易化と見なし， GPT- 2 モデルに疑似デー タセットでファインチューニングした 5 つのモデル を組み合わせて多段階平易化システムを構築した。

## 2 手法

## 2.1 難易度推定器

郷原ら [14] と同様に, 東北大学乾研究室が公開 している日本語の大規模モデル BERT2)をべースに ファインチューニングして難易度推定器を作成し た.なお，文単位の難易度推定を実施するにあたっ $\tau$, 先行研究 [10][11] と同様に, 文の難易度はその 文が含まれる文書の難易度と同一のものであるとい う仮定の下で正解データの作成を行った。

## 2.2 疑似データセット構築

疑似データセットを構築する手段を図 1 亿記述す る. (i) やさしい日本語対訳コーパス [7][8] に含まれ ている日本語の平易化文対を用いて rinna 社の公開 している事前学習済み日本語 GPT-2 モデル3)をファ インチューニングし, 平易化モデルを構築する. (ii)rinna 社の事前学習済み日本語 GPT-2 モデル 4 ) に おいて，日本語辞書が持つ語彙の内，日本語であり 文頭に適切と思われる文字や語彙から始まるトーク ンをプロンプトに入力し， 100 文字を上限に文を生成する. (iii) (ii) で生成した各文を (i) で構築したモ デルに入力し，疑似的な平易化文対を得る。(iv) 2.1 節で述べた手法で難易度推定器を構築する。(v) (iii) の平易化文対に対して，(iv) で作成した難易度推定器によって文の難易度を疑似的に付与する。

2) https://github.com/cl-tohoku/bert-japanese

3) https://huggingface.co/rinna/japanese-gpt2-medium

4) https://huggingface.co/rinna/japanese-gpt-1b ここで，(iii)での平易化は一段階のため，同じ文 に対して複数回平易化を適用しても，明確な差異の ある平易化文対を得るのは難しい．そこでランダム に生成された文に対する平易化文を十分な規模で収集し, 同じ難易度帯に変換する文対毎にデータセッ トを構築することで，段階的な平易化を実現する。

## 2.3 疑似データセットのフィルタリング

2.2 節で作成したデータセットにおいて，平易化前後で文の難易度が変化しない文対や同義性が保 たれないノイズとなるような文対が存在していた。 そこでノイズとなる文対を除去するために，データ セットの中から難易度が変化する文対のみを抽出す る. さらに同義性を一定レベルで担保するために, 3.3 節で後述する BERTScore を計算した. 生成した 平易化文全体の内，BERTScore が上位 $50 \%$ の文対は ある程度の同義性を保っている一方，上位 50\%-75\% の文対は同義性が保たれている文対とやや意味が異 なっている文対が含まれていた. また, BERTScore が下位 $25 \%$ の文対に関しては，多くが意味の異な る文対になっていた。ここで，Newsela[9] などを用 いた先行研究 [10][11][12] では, 各難易度に対して 数万文対のデータセットを用いていたため, 本研究でも同程度の文対を確保するために，生成文と BERTScore のバランスを鑑みて，BERTScore が上位 75\%の文対を抽出した. なお，BERTScore が上位 $75 \%$ の文対を抽出するための閾値は 0.710 であった.

## 3 実験設定

## 3.1 データセット

難易度推定器作成にあたって，データセットには 現代日本語書き言葉均衡コーパス (BCCWJ)[15] に含

まれている日本語教科書コーパス及び図書館サブ コーパスの文書中から無作為に文を抽出し, 訓練,開発，評価データをそれぞれ 236,773 件，28,921 件， 29,381 件に分割した. なお，正解値は，日本語教科書コーパスの対象学年である小学校低学年, 中学年，高学年，中学校，高校及び図書館サブコーパス 中の「やや専門的な一般向き」に相当する一般の 6 段階に設定した.

疑似データセットの作成にあたって，rinna 社の 公開している GPT-2 モデルにおいて, max_length と min_length は 100 に設定し, top_k=500, top_p $=0.95$ に した上で文章生成を行った. なお, 文章生成は日本語辞書に登録されている単語から，絵文字などの文頭に付与する単語には不適切であると考えられる 単語をノイズとして除去した上でサンプリング抽出した 1 単語をプロンプトに与え, 続く単語列を推測させる形で行った. その後, 生成した文章から句点区切りで文を抽出し, 平易化する前の文とした.平易化前後の文の一部には, 文法的に正しくても意味的には不自然な文が存在していたが，本研究で は，語彙的換言や複雑な文構造の簡単化などを段階的に行うことが目的であるため, 正常な文とし て許容した. 上記生成文を 100 万文，200万文ずつ 作成し, 難易度推定器の推定值に差がある文対の みをそれぞれ抽出した (以下，本設定を model-100 及び model-200 と呼ぶ. 以降も同様にする).また,開発データにおいて性能がより高かった model-200 の学習データに対して，BERTScore によるフィルタ リングを行ったモデルも作成した (model-200-bert). ここで，得られた難易度差のある文対の訓練デー タは model-100, model-200, model-200-bert それぞれ 337,413 件，674,699 件，487,980 件であり，開発デー タ及び評価データは 1,000 件とした.

## 3.2 モデル

rinna 社の公開している GPT-2 モデルを，3.1 で作成した多段階平易化のための疑似データセットを 用いてファインチューニングを行った. なお，モ デルは huggingface のライブラリ5)を用いて実装を 行った．また，本研究では，想定する難易度を 6 段階 (0-5) に設定したため, 最高難易度 (5) からそれ以下の 5 段階の難易度 (0-4)への平易化モデルを構築 した.

## 3.3 評価指標

実装したモデルが段階的に文の難易度を易しく変換出来ているかを評価するために，2つの自動評価指標と人手評価を用いた。

自動評価のための評価指標には, BERTScore[16]及び平均推定難易度を用いた. BERTScore は，翻訳 や文書生成のタスクにおいてしばしば用いられる指標であり，BERT を用いて文書と参照文の類似性を 評価することが出来る. 平均推定難易度は, 文の難易度を制御して平易化する場面において用いられる 指標であり [11], 英語においては, FKGL[17] や平均 PMI(Pointwise Mutual Information) が用いられている.一方で, 本研究では日本語を対象であり, 人手で作成された多段階平易化のための評価用データセット はほとんど存在せず，単に英語と同様の手法を用い ても言語の不一致によって正しく性能を図ることは 困難である. そこで本研究では，文単位の難易度推定器を作成し, 難易度推定器の推定した平均難易度值を評価指標に用いた。ここで，作成した難易度推定器の妥当性を検証するため，既存の日本語用の文章難易度システム (JReadability.net ${ }^{6)}$ ，帯 [18])を用い て評価データからサンプリングした 200 文の推定難易度を求め, BERT ベースの難易度推定器の推定値 との相関係数を求めた。

人手評価では，先行研究 [10][11]を元にして，各難易度に相当する文及び各段階に相当する流暢性 や同義性の破綻具合を表す文を示した上で，文の同義性 (synonymity) ・平易化前後の難解性 (difficulty_o, difficulty_s)・流暢性 (fluency) の 4 項目の評価をクラ ウドワーカーに委託した。 なお，各項目は難易度推定器の段階に合わせて 0 から 5 までの 6 段階 (5 が 最良)に設定し，作成した平易化モデル毎に 30 問 ずつ評価用データセットから無作為に抽出し, 各段階で異なる 100 文ずつの回答が得られるようにし て平均難易度を求めた. ここで，少しでも多くの文 に対するアノテーションを行うべく 20 人のクラウ ドワーカーに依頼して，一文あたり少なくとも 6 回答が得られるようにそれぞれのワーカーに異なる データセットを作成した. その後, 得られたデータ セットの内，20人のワーカー間においてそれぞれ共通の回答が得られた文に対する順序尺度における 重み付けの指標 QWK(Quadratic Weighted Kappa)を 求めた. その後, 平均 QWK の中でも難解性につい

6) https://jreadability.net/
表 1 難易度推定器の評価結果

pred-bert

MAE Pearson Spearman Acc. F1

表 2 既存難易度推定システムとの相関

ては，0.039-0.372 程度と極めて低い数値であったた め，ワーカー間の一致度を向上させるべく，各ワー カーにおける QWK の平均值が 0.16 以下であるワー カーのデータを除去した. また，アノテーションミ スなどの実験不備のあるデータを除去することで，全 3,000 件のデータの内 2,249 件を人手評価の対象 とした.

## 4 実験結果と考察

## 4.1 難易度推定

表 1 及び表 2 に難易度推定器の評価実験結果を 示す. 表 1 では，それぞれ平均絶対値誤差 (MAE), ピアソンの相関係数 (Pearson), スピアマンの相関係数 (Spearman), 正解率 (Acc.), F1-Score(F1) を示して おり，郷原ら [14] の文章単位の評価結果とも遜色 ない数值であることが分かる．また，表 2 では，そ れぞれ正解値 (level), 提案手法の推定值 (pred-bert), Jreadability.net $の$ 出力值 (jread-score), 帯の出力值 (pred-B9, pred-T13)を示している. pred-bert と level 及び帯の出力值との相関関係は高く, 推定された 難易度が妥当であることを示唆していると考えら れる。

## 4.2 平易化の自動評価

表 3 に平均推定難易度による平易化モデルの 評価結果を示す. 表中の mean は平均推定難易度, BScore は平易化前後の文の BERTScore の値の平均値を示す. 表 3 において，0を除いた各目標難易度 の上昇に合わせて平均推定難易度の数値が上昇して いるため，疑似的なデータセットの作成によって段階的な平易化が実現出来たと考えられる.ここで，目標難易度 0 に変換する平易化文対は他と比べて著 しく少なかったため，データ不足の影響を受けたと 推測される.表 3 平易化モデルの平均推定難易度による評価結果 model-100 model-200 model-200-bert 目標難易度 mean BScore mean BScore mean BScore

$\begin{array}{llllll}3.490 & 0.749 & 3.395 & 0.753 & 3.564 & 0.762\end{array}$

$\begin{array}{lllllll}3.648 & 0.752 & 3.632 & 0.758 & 3.711 & 0.773\end{array}$

表 4 model-200-bert の人手評価の平均値による評価結果目標難易度 synonymity difficulty_o difficulty_s fluency

## 4.3 平易化の人手評価

表 4 に人手評価による評価結果を示す. 表 4 で は，各目標難易度による difficulty_s (平易化文の難解性) に有意な差が見られなかった.ここで，評価実験には生成文を元にした平易化文を用いており，意味的，文法的に不自然な文が含まれている. した がって，単語単位では平易化が実現出来ていても，文単位では意味が破綻している文を許容している.加えて，本タスクにおける同義性・難解性・流暢性評価は，各段階に相応の例文を提示しているものの 明確な判断基準を与えていないため，人手ではやや 難易度が高く, QWK の値も低いことからラベリン グ結果の個人差が大きいことが示唆される. 人手評価上では段階的な平易化を十分に確認出来なかった と考えられる。

## 5 おわりに

本研究では，多段階平易化のための言語資源が不足している日本語において，既存のデータセットを ベースに疑似的な多段階平易化のためのデータセッ トを作成することで，多段階平易化モデルの構築を 行った. その結果, 自動評価の平均難易度推定値に よって生成文が段階的に平易化出来ることを示し た. 一方で，人手評価に不備があり，かつ生成した 平易化文は疑似データセットの影響を受けて，無理 な変換や文法的な破綻をしてしまうという課題が ある. そこで今後は，人手評価の再実施に加えて,同義性の担保や流暢な多段階平易化を実現するた めに，多段階平易化のための質の良い半自動データ セットの作成を行いたいと考えている.

## 参考文献

[1] Zhemin Zhu, Delphine Bernhard, and Iryna Gurevych. A monolingual tree-based translation model for sentence simplification. In Proceedings of the 23rd International Conference on Computational Linguistics, 2010.

[2] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring neural text simplification models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2017.

[4] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating transformer and paraphrase rules for sentence simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Alessio Palmero Aprosio, Sara Tonelli, Marco Turchi, Matteo Negri, and A Di Gangi Mattia. Neural text simplification in low-resource conditions using weak supervision. In Workshop on Methods for Optimizing and Evaluating Neural Language Generation (NeuralGen), 2019.

[6] 中町礼文, 梶原智之. 事前学習済み系列変換モデルに 基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, 2021.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018

[9] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[10] Carolina Scarton and Lucia Specia. Learning simplifications for specific target audiences. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2018.

[11] 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化にお ける語彙制約に基づく難易度制御. 自然言語処理, Vol. 27, No. 2, pp. 189-210, 2020.

[12] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[13] Akiko Eriguchi, Shufang Xie, Tao Qin, and Hany Hassan. Building multilingual machine translation systems that serve arbitrary XY translations. In Proceedings of the 2022 Conference of the North American Chap- ter of the Association for Computational Linguistics: Human Language Technologies, 2022.

[14]郷原聖士, 綱川隆司, 西田昌史, 西村雅史. BERT によ る日本語文章の難易度推定. 第 21 回情報科学技術 フォーラム, 2022.

[15] 言語資源開発センター. 現代日本語書き言葉均衡 コーパス (BCCWJ). 国立国語研究所, 2014.

[16] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[17] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[18]佐藤理史. 均衡コーパスを規範とするテキスト難易度測定. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1777-1789, 2011

## A 付録

## A. 1 平易化文の生成例

平易化文の生成例を表 5 に示す. 表 5 において，目標難易度 4 では元の文から「業務」，「妨げ」，「慎 んで」がそれぞれ平易な単語に変換されている. ま た，目標難易度 3 では，元の文の「雑談」，目標難易度 2 及び 1 では, 目標難易度 3,4 において「妨げ」 を変換した「邪魔」から「進め方に関係があります」 というように，さらに平易な語彙に変換しているこ とが分かる.

## A. 2 疑似データセットの詳細な内訳

表 6 疑似データセットの目標難易度別内訳

表 6 に作成した疑似データセットの目標難易度別内訳を示す. 表中の orig は生成文のデータ数, simp は平易化文のデータ数を表している. 表 6 に おいて, 特に難易度 0 への変換を行う文対が少ない が，これは元となったやさしい日本語対訳コーパス [7][8] での文対中で平易化文が目標難易度 0 になる 言い換えが少ないことが原因であると考えられる.


# 事実検証モデルのための
## ラウンドトリップ翻訳を利用した疑似フェイクデータ生成

\author{
小林龍斗秋葉友良 \\ 豊橋技術科学大学 情報・知能工学課程 \\ kobayashi.ryuto.jz@tut.jp akiba@cs.tut.ac.jp
}

## 概要

フェイクニュースの拡散は，誰もが情報を共有で きるソーシャルメディアが普及している昨今におい て重大な問題となっている。この問題に取り組むた め, NTCIR プロジェクトにおける議会議事録を対象 とした評価タスク QA Lab-Poliinfo-3 ${ }^{1}$ では, Fact Verification タスクが実施された。しかし我々は，同 タスクで提供された学習データを使用して構築した 分類器では, 人手で作成されたフェイクデータを上手く検出できないことを実験により確認した. 本研究では，この一つの要因であるフェイク学習データ の不足に着目し，Round-Trip 翻訳を利用した疑似フ エイクデータ拡張手法を提案する.評価実験により，提案手法で自動生成されたフェイクデータを学習に 利用することで，人手フェイクデータに対する検出精度を向上させられることを確認した。

## 1 はじめに

近年，フェイクニュースやデマの拡散が社会問題 になっている、ソーシャルメディア等を通じて拡散 された真偽不明の情報は人々に誤解を与え，混乱を 招く恐れがある。このような問題に取り組むため, NTCIR-16 QA Lab-Poliinfo-3では, Fact Verification タ スクが実施された. Fact Verification タスクでは，与 えられた討論の要約が実際に議会で話し合われてい る内容と即しているかどうかを検証するモデルの精度が競われた.ここで我藤ら[1] は, パッセージ検索 と含意関係認識モデルを組み合わせた手法を提案し，参加チーム中トップの成績を達成した。

しかし我々は，我藤らのモデルが人手で作成され た巧妙なフェイクデータを上手く検出できないこと を実験によって確認した. 本研究では, この一つの要因と考えられるフェイクの学習データの不足に着目し，ラウンドトリップ翻訳を利用した疑似フェイ クデータ生成手法を提案する．実験の結果，提案手法で生成した疑似フェイクデータをモデルの学習に 利用することで，人手フェイクデータの検出精度を 向上させられることが確認できた。

## 2 関連研究

事実検証の方法には様々な手法が提案されている。我藤ら[1]は，主張文中の語句をクエリとして情報源から要約に関連する文を検索し，主張文と検索文 との間に含意関係が成立するかどうかを判定するこ とで，フェイクの検出を試みた。含意関係とは，あ る主張 A が成立するとき，ある主張 B もまた成立す る関係を示し，このとき主張 A は主張 B を含意して いると言う，我藤らは，主張文が正しければ，それ を含意する検索文との間に含意関係が成立すると仮定し，含意関係が成立するかどうかを判定するモデ ルを事前学習言語モデル BERT[2]を利用して構築し た. 本研究は我藤らの研究に基づいている.

また，Jawahar ら[3]は知識べースを利用した事実検証方法を提案した。知識ベースとは，知識をコン ピュータで扱えるよう形式化した特殊なデータベー スを指し, Jawahar らの研究では, 単語と単語が関係 で接続された三連結のデータを集めた YAGO[4]を 利用している. Jawahar らは知識べースに含まれる知識を基に有向グラフを構築し，それをグラフ畳み込 みニューラルネットワークで符号化することで，事実検証モデルに知識ベースを組み込んだ。また，こ こではエンティティ操作によるフェイクデータ生成手法も提案されている. 通常のエンティティ操作は, エンティティを無作為に置き換えることで達成され るが，ここではテキスト生成モデル GPT-2[5]を利用

した手法が提案されており, 置き換え元の語と関連性の高い語を予測して置換することで, 検出難易度 の高いフェイクを作成している.

## 3 提案手法

提案手法では，正しい主張文に特定の操作を自動的に加えることにより,フェイクデータを作成する.

## 3.1 文の操作

提案手法では, 主張文に対して以下の操作を加え ることによって, フェイクデータの生成を試みる.
- 否定の指 ・削除

「A は B が好きだ」ー「A は B が好きでない」
- 対義語への変換

「A は B が好きだ」 $\rightarrow 「 A$ は B が嫌いだ」
- 主語一目的語の交換

「A B が好きだ」 $\rightarrow$ 「Bは A が好きだ」

## 3.2 Direct Manipulation

一つ目の手法として, 主張文に対して何らかの操作を直接的に加える Direct Manipulation (以降, DM) を提案する. 操作の模様を図 1 に示す. 尚, DM で は 3.1 節に示した 3 つの操作の内, 否定の挿入・削除のみを実装する。

この手法は単純であるが，主張文を強引に書き換 えることで不自然な文が生成される恐れがある.

図 1 Direct Manipulation

## 3.3 Round-Trip Manipulation

DM に対して, 主張文を直接操作するのではなく, Round-Trip 翻訳を介して文を操作する手法を提案す る. 本稿では, Round-Trip Manipulation (以降, RTM) と呼ぶ. 操作の模様を図 2 に示す. 尚, RTM では 3.1 節に示した 3 つの操作を全て実装する.

RTM では, はじめに日本語で与えられる主張文を 英語などの言語に翻訳し，機械翻訳によって得られ た英語の翻訳文に対して何らかの操作を加え，それ を再び翻訳することによって日本語のフェイクデー タを生成する。翻訳機を介することにより，違和感 のある文章の改変が緩和され，自然な文章が得られ ることを期待している。

## 4 評価実験

提案手法の有効性を検証するため, 以下の評価実験を行う。

## 4.1 データセット

本実験では，昨年開催された NTCIR-16 QA LabPoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ, テストデータを使用して データセットを作成する. 配布データのフォーマッ トを表 1 に示す.

データ数は 1,433 件あり, 本実験ではここから Utterance Type が回答, Document Entailment が True のデータ 411 件を抽出して利用する. さらに，テス トデータ作成に 60 件のデータを確保し, 残りの 351 件を学習データ作成に利用する。

表 1 配布データのフォーマット

図 2 Round-Trip Manipulation

## 4.1.1 テストデータ

テストデータは人手で作成する. 我々は, 4 名の 被験者の協力で人手フェイクデータを収集した。作成にはテストデータ作成用に確保した 60 件のデー 夕を用い, 要約文を何らかの形で書き換えることで フェイクデータを作成するよう被験者らに依頼した。結果, 60 件の True データに対して 60 件の人手作成 False データを収集することができた. テストデータ の例を付録の表 に添付する. テストデータは人手作成フェイクデータ 60 件, その参考となったテス トデータ作成用のデータ 60 件を合わせた 120 件と する.

## 4.1.2 学習データ

学習データは提案手法によって自動的に作成する.作成には学習データ作成用に確保した 351 件のデー タを利用する。

$\mathrm{DM}$ では，否定の挿入・削除操作（NEG）によっ てフェイクデータを生成する。実装には形態素解析 ツール MeCab²を利用し, 解析された動詞と活用の種類に応じて否定の挿入・削除を行う.

RTM では，否定の挿入・削除（NEG）, 対義語へ の変換（ANT）, 主語一目的語の交換操作（SOE） によってフェイクデータを生成する．実装には自然言語処理ツール Stanza 3 利用し, 翻訳機には DeepL $\mathrm{API}^{4}$ を利用する。また，単純な Round-Trip 翻訳によ って True の擬似データも同時に作成する.これは， フェイクデータのみを拡張することによる偏りを抑 えることを目的としている.

以上の手法によって作成されたデータ例と件数を 付録の表 4 に添付する.

## 4.2 実験ベースライン

本実験のベースラインとなるモデルを先行研究 [1]に従って構築する. 先行研究のモデルはパッセー ジ検索と事前学習言語モデルを利用した含意関係認識によって構築されている.

パッセージ検索では，文書ランク付け手法である BM25+[5]を利用する. クエリ $Q$ に対する文書 $D$ の BM25+スコアは次の計算式で表現される. パラメー 夕はそれぞれ $k_{1}=1.2, b=0.75, \sigma=1.0$ とする.

$
\begin{aligned}
& \sum_{i=1}^{n} \operatorname{IDF}\left(q_{i}\right) \cdot\left[\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}+\delta\right] \\
& I D F\left(q_{i}\right)=\log \frac{N}{n\left(q_{i}\right)}
\end{aligned}
$

含意関係認識モデルには, 東北大学の乾研究室が 公開している BERT-base ${ }^{5}$ モ゙ルを利用する.このモ デルに対して NTCIR-16 QA Lab-PoliInfo-3 Fact Verification タスクにて配布された Formal Run の学習データ 1023 件を利用し, 含意関係認識モデルの ファインチューニングを行う. 先行研究のモデルの 模式図を付録の図 3 に添付する。

実験ベースラインには，上記ベースラインモデル （以降，Baseline）に加え， 120 件のテストデータで 交差検証を行ったモデル（以降, Supervised）を設定 する. テストデータ数が 120 件と少ないため, 交差検証では, テストデータとして 1 件を残し, 残り 119 件を学習データとして学習と推論を 120 回繰り返す leave-one-out 法を採用する.

## 4.3 評価指標

評価指標はテストデータ 120 件に対する分類精度 である Accuracy, フェイク検出の Precision, Recall, F1 とする。

## 4.4 実験方法

実験では, 4.2 節に従って作成される実験ベースラ インモデルに対して, 提案手法で自動生成された学習データを再学習させることで，テストデータ 120 件に対する分類精度が向上するかどうかを確かめる.

## 4.5 実験結果

次頁の表 2 に実験結果を示す.

## 4.5.1 ベースラインとの比較

Baseline の Recall を見ると, ベースラインのモデ ルが人手で作成されたフェイクデータを殆ど見分け られていないことが分かる.これに対し, 他の殆ど のモデルでは Recall が向上しており, 適切な学習デ ータを利用することは人手作成フェイクデータの判定に効果的だと言える。また，人手作成データを再
^{4}$ https://www.deepl.com/pro-api?cta=header-pro-api

5 https://huggingface.co/cl-tohoku
}
表 2 評価実験の結果

学習に用いた Supervised モデルと提案手法を採用し たモデルでは，提案手法を採用したモデルの方が高 い精度で分類することができた. Supervised モデル に再学習させられたフェイクデータは 60 件と数が 少なかったのに対し, 提案手法のモデルではデータ 拡張によってフェイクデータを 300 件前後学習させ ることができた.この結果から，擬似データであっ ても，多量のデータを自動生成することは効果的だ と言える.

## 4.5.2 提案手法の比較

二つの提案手法 RTM, DM を比較すると, 擬似 フェイクデータの作成手法としては Round-Trip 翻訳を利用した方が効果的だと言える。DM であまり 精度が出なかった要因として, 操作前と操作後の文 の表現が殆ど変わらないことから, 再学習の段階で モデルを混乱させているためだと考察する.

## 4.5.1 学習データの比較

RTM を利用したモデルの中では, F1 の観点にお いて, ORG/NEG と ORG+RTT/NEG+ANT を学習さ せたモデルの精度が高かった。表全体を見ると， NEG, ANT を学習させたモデルの精度が高い傾向に あり, 逆に, SOE は今回のテストデータに対しては あまり効果が無かったことが読み取れる。これはテ ストデータに主語一目的語を交換することによって 生成されたデータが殆どなかったためだと考えられ る（表 3）.これに対し, 否定の挿入・削除および対義語への変換を行ったフェイクは多く,これは NEG および ANT 学習させたモデルの精度が向上した一

つの原因と考えられる。また, ORG/NEG+ANT， ORG/NEG+SOE を学習させたモデルと,これにRTT を加えた ORG+RTT/NEG+ANT, ORG+RTT/NEG+ ANT を学習させたモデルを比較すると, RTTを加え たモデルの方が高い性能を達成した.この結果から， フェイクデータのみを増強するのではなく, True の データも増強していく方が効果的だと考えられる。

## 5 おわりに

本研究では, 先行研究 ${ }^{[2]}$ の事実検証モデルの問題点に着目し，それを解決するための擬似フェイクデ 一タ拡張アプローチを提案した. 評価実験の結果,提案手法を利用して自動生成したフェイクデータを モデルの学習に利用することで，人手で作成された フェイクデータに対する検出精度を大きく向上させ ることができた. 本研究では, 英語をピボット言語 として日本語のデータを生成したが，提案手法は 他言語のデータ拡張にも適用できる、

今後の課題として, 提案手法は True データが存在 することを前提としているため, True データに依存 しないフェイク作成手法も検討したい。

## 謝辞

本研究の遂行に際して，4 名の被験者に協力いた だいた.

## 参考文献

[1] 我藤勇樹, 秋葉友良, パッセージ検索と含意関係認識による議会議事録を対象としたファクトチェック，言語処理学会 第 28 回年次大会 発表論文集, 2022 年 3 月, pages 768-772,

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

[3] Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Automatic Detection of Entity-Manipulated Text Using Factual Knowledge, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, May 2022, pages 86-93.

[4] Thomas Pellissier Tanon, Gerhard Weikum, and Fabian M. Suchanek, YAGO 4: A reasonable knowledge base. In The Semantic Web, volume 12123 of Lecture Notes in Computer Science, May 2020, pages 583-596.

[5] Yuanhua Lv, ChengXiang Zhai, Lower-bounding term frequency normalization, In Proceedings of CIKM'2011, pages 7-16.

## A 付録

表 4 データの作成件数と作成データの例

図 3 我藤らが提案した事実検証モデル


# 共創支援を目的とした技術文書からの技術一価値表現の抽出

内田 貫太 $^{1}$ 田口 亮 $^{1}$
${ }^{1}$ 名古屋工業大学大学院 工学研究科 工学専攻 情報工学系プログラム
k. uchida.514@stn.nitech. ac.jp taguchi.ryo@nitech.ac.jp

## 概要

技術の構造化ツールとしてVBridge というものが ある.このツールは技術の理解や新しい価值の発想 などに役立つことができるが，作成コストが高いと いう問題がある. そこで, 技術文書などから VBridge を自動生成することが望まれる. 本研究では，マル チタスク学習を適用させた汎用自然言語処理モデル を用いることで，論文から VBridge の要素を抽出す ることを目指した。また，その結果について考察を 行い，検討すべき課題について整理する。

## 1 はじめに

近年，激しく変動する国際情勢において，企業に は大きな需要の変化に対応できる力が求められてい る.そこで，大きな変化に対応するためには企業内外での部門間の垣根を越えた連携が必要不可欠とな ってくる. しかしながら, 開発部門の人が社会的価值から着想を得るということや，マーケティング部門の人が技術に対して深い理解を得るということは 難しい.この課題に対し, 部門間の橋渡しとなる思考ツールとして VBridge (バリュー・ブリッジ) が提案されている[1]. VBridge は技術価値を視覚化した もので, 下層の専門的な技術から, 上層の社会的価值への道のりが順を追って表現される。これを用い ることで，技術とその価值を共有することができ，部門間連携の助けとなる. しかし, VBridge を作成 するためには, VBridge に対しての深い知識や，技術に対する理解が必要となり, 誰でも容易に作成で きるものではない.

本研究では, VBridge を作成するコストを削減す るため, 論文などの技術文書から VBridge を自動生成することを目指す. 本稿ではその第一歩として，汎用自然言語処理モデルよる深層学習を用いて, VBridge の構成要素を抽出することを試みる.

## $2 \mathrm{VBr$ idge}

## 2. $1 \mathrm{VBr$ idge の概要}

VBridge は技術が価値に結びつく過程を有向グラ フとして表現したものである。下層から，なりたち （部品・機構），ふるまい（自立機能），はたらき (他律機能), 達成事項（品質要素）, 個々のよろ こび（要求項目）, みちすじ（共創プロセス）, ね がい（共創テーマ）の 7 階層に分かれており，各要素の因果関係が矢印で示されている.

[1]では,エアコンや冷蔵庫で用いられる帯電微粒子水の技術をへアドライヤに応用した事例を用いて VBridge の利用方法を解説している. その VBridge を図 1 に示す. マーケティングや営業の担当者は， VBridge 上層にある社会的ニーズ（ねがい，みちす じ）や，「アレル物質から水素を抜き取る」や「ウ イルスから水素を抜き取る」という，技術によって 実現されている直接的な効果（達成事項）は知って いても，その効果が得られるメカニズムや技術の構成要素については知らない場合がある。そこで，技術開発の担当者が，技術の構成要素（なりたち）や その構成要素がどのように作用して現在の効果を生 み出しているのか（ふるまい）を記述することによ り，マーケティングや営業の担当者の理解を支援す る. 一方で, 技術開発の担当者は, 自社技術が具体

図1 VBridge の例（[1]より転載）
的にどのような社会的ニーズを満たしているのかを 知ることができるようになる．さらに，中間にある

「はたらき」の層で，技術がもたら寸効果を対象に 依存しない表現で記述することによって, 技術の可能性が広がり, 空気清浄機で使われていた技術を,冷蔵庫やへアドライヤに応用するという新たな発想 が生まれやすくなるのではないかと論じている.

## 2. $2 \mathrm{VBridge$ 自動生成手法の検討}

VBridge の作成を自動化するためには, VBridge を 構成する矢印や各階層をより具体的に定義する必要 がある. 本研究では, 構成要素間の因果関係に着目 し，あることがらを任意の層に当てはめるとすると， そのことがらを達成・解決したときに，達成できる ことをその 1 つ上層に位置付けるものとする. 図 1 を例とすると，「対象物質の水素分子を足し引きす る」ことが達成できれば，「アレル物質から水素を 抜き取る」ことができるようになると理解できる.

このように技術の構造を解釈していくと, 技術の 全体像は「課題がある」，「課題を解決する」，「新 しい課題が見える」のサイクルで論理が展開されて いることが分かる. そうすることで, 自ずと課題や 解決法は, 上段に行くほど広く一般的になっていき,下に行くほど狭く専門的になっていく.これは VBridge の本来の目的である「技術理解の橋渡し」 に相違ない.

ただし，技術文書から構成要素を抽出して VBridge を作成するというアプローチでは問題が発生する場合がある. 例えば，ある技術文書の中で「異常データの収集は困難である」と「異常パターンを 定義することは現実的ではない」という問題点が指摘され, その解決策として「正常データのみで学習 する万法」が提案されているとする。この場合,一見して論理に齯龆はないと思われるが，実際はこの 解決策でこれらの問題点が解決されるわけではなく，「異常データが必要不可欠である」というその技術文書では言及されていない別の問題点が解決されて いる.このように, 技術文書には論理の飛躍が含ま れる場合があるため, 抽出手法のみでは完全な論理 を表現するのは難しい。

従って, (1) 技術文書から VBridge 内に記述すべき 構成要素を抽出し, (2) 各構成要素間の因果関係を推定, (3) 論理の飛躍を検出し補完することができれば, VBridge の自動生成が可能になると考えられる. そ こで本稿ではまず(1)の構成要素抽出を目標とする.

## 3 VBridge 構成要素の自動抽出

## 3. 1 アプローチ

VBridge は容易に作成できるものではないため, データセットを大量に用意して学習させることでの 精度向上は難しい，そこで，汎用自然言語モデルの ファインチューニングというアプローチを採用する。 また, 本研究では最終的に 2.2 節で説明した (1) (3)のタスクを実行することを想定している. 深層学習では，各タスクを実行するモジュールを個別に最適化するよりも，マルチタスクとして同時最適化す る方が，効率よく学習できる場合がある.

そこで本稿では, 汎用言語モデルをマルチタスク 学習によりファインチューニングすることにより，

VBridge 構成要素の自動抽出を行う。

## 3.2 汎用自然言語処理モデル

汎用自然言語モデルとして有名なのは BERT[2]で ある. BERTは, Transformer というアーキテクチャ を採用しており，このアーキテクチヤは文章全体の 依存関係を学習できるが，文章全体のトークン数が 増加すると, 計算量が $O\left(n^{2}\right)$ で増加してしまうとい う問題がある。つまり，技術文書の上うな長文に対 して適用するのは難しい. そこで，長文の読解に適 した言語モデルを使用することを考える.

Dai らはこの問題を解決するため, Transformer-XL というアーキテクチャを提案している[3]. このアー キテクチヤは文章全体をセグメントに分割し, 前の セグメントの情報を次のセグメントに引き継ぐこと で長文の解析に対応している.

さらに, Yang らはこの Transformer-XL[3] のアー キテクチャを使用した XLNet と呼ばれる汎用自然言語モデルを提案している[4]. このモデルは BERT ではできなかった長文の解析ができることに加え，単語の順番をバラバラにして学習することで Masked LM における問題を解決している.

一方で，Liu らは単一タスクにおいて学習データ が十分に得られない問題に対し, MT-DNN (MultiTask Deep Neural Network）というモデルを提案して いる[5]. このモデルは, BERT に対して複数のデー タセットでのマルチタスク学習を適用させることに よって, BERT 単体のスコアを上回っている. 本研究では, ストックマーク株式会社が公開している日本語ビジネスニュース記事で事前学習を行った
表 1 構成要素のF1 スコア

XLNet[6]を使用する.また，[5]を参考に XLNet をマ ルチタスク学習によりファインチューニングする.

## 3.3 系列ラベリングによる構成要素抽出

本稿では, VBridge の構成要素抽出を, 系列ラべ リングタスクとして解く. 各要素の説明を次に列挙 する.

達成価値 : その研究によって得られた価値

将来価値: その研究が将来的に達成したい目標

解決課題: その研究によって直接解決される課題将来課題: 将来的に解決したい課題

要素技術: その研究で用いられている要素技術 これらの要素は技術を説明する上で重要であり, VBridge を作成する上で欠かせないものとなる。し かしながら，「地球温暖化を解決する手法」といっ たように価値（地球温暖化を解決）, 課題（地球温暖化), 要素技術（地球温暖化を解決する手法）が 重複する場合があるため, 各ラベルは重複可能とし た.このような, 重複した系列ラベリングを行う方法として, 各ラベル独立に汎用言語モデルをファイ ンチューニングする万法と, マルチタスク学習によ り汎用言語モデルをラベル間で共有する方法が考え られる．後述の実験では両者の性能を比較する。

## 4 実験

## 4. 1 実験条件

インターネット上で公開されている情報処理学会

深層学習に関する研究の概要 294 本を実験に用いる.前章で示した 5 つの要素をラベリングし, 学習デー 夕を 250 本, 評価データを 44 本としてデータセッ 卜を作成した. 各ラベル独立にファインチューニン グする場合と, マルチタスク学習によりファインチ ューニングする場合とを比較する.

## 4. 2 実験結果と考察

表 1 が実験による各タスクの単体学習とマルチタ
スク学習の F1 スコアである. 要素技術と達成価値 についてはマルチタスク学習の方が抽出精度が高く, そのほかのラベルについては, シングルタスク学習 の方が高精度となった。

今回の実験では, どのラベルにおいても良い結果 は得られなかったが, この要因の一つに, 予測結果 に対する評価の手法が厳密すぎると考えられる。今回のデータセットにはアノテーションの摇らぎが生 じている. 例えば, 「本研究では, 地球温暖化を解決する手法を提案する.」といった文章に達成価値 をラベリングすると考える.このとき，この研究の 価値は「地球温暖化を解決できる」ことであるが， そのことを文章でラベリングする際には「地球温暖化を解決」，「地球温暖化を解決主る」，「地球温暖化を解決する手法」などの複数の正解が存在して しまう. 予測にも同じパターンが生じ, 完全に一致 しなければ評価が下がってしまうことになる。よっ て，ラベリングの意図を汲み取り，柔軟に対応でき る評価手法が必要となる.

また，マルチタスク学習による精度の向上が見ら れなかった原因として, 解決課題と将来課題のよう な似た傾向のあるラベリングタスクに対して，予測 が難しくなったと考えている.

次に，実際の予測をもとにその傾向や課題につい て考える. 表 2 が実際の予測と正解ラベルを一部抜粋したものである. 各構成要素について以下のよう に考察する。

達成価値「高速化」や「軽減」，「向上」な ど，ポジティブな単語を予測する傾向が強く見られ た.これは価値を表す単語を予測できていると考え られるが，その主語となる単語までを予測すること ができていなかったため, 文単位での予測が必要と 考える。

将来価値「密集」や「生産」,「コンピュータ」 など，一般的な単語を予測する傾向が見られた。こ れは将来価値に含まれる単語の傾向とは一致するが，精度の向上のためには後の文脈から達成できていな いことであることの推論が必要になると考える.
表 2 各タスクの予測と正解ラベルの抜粋

要素技術

## predict

…少数なデータを扱えるサポートベクター回帰を顔面領域皮膚温に適用し、…

解決課題 他のラベルと比べてデータ数が少な

く, 出現しない文章も多く見られたため, 予測が難 しかったと考える。

将来課題「要する」や「増大」，「かかる」な ど，ネガティブな単語を予測する傾向が強く見られ た. これは達成価値と同様に, 課題を表す単語を予測できていると考えられるが, その主語となる単語 までを予測することができていなかったため, 文単位での予測が必要と考える.

要素技術「サポートベクター回帰」や「データ ベース」，「音声認識」など，専門的な単語を予測 する傾向が見られた. これは要素技術に含まれる単語の傾向と一致しており, 名詞のみでのラベリング が多かったため，他のラベルに比べてスコアが高か ったと考えられる。

以上から，実験結果としてスコアは低かったもの の, 多くのラベルにおいて正解の傾向は見られてお り, 評価手法やラベリング手法を改善することで精度が向上すると考えられる. 具体的には以下の 3 つ を今後の課題とする.

・ ラベリングタスクでアノテーションの摇らぎに 対応できる評価およびラベリング手法の改善
・より長い範囲で文を抽出する手法の検討
- 構成要素抽出以外の異なるタスクを用いたマル チタスク学習の実現

## 5 おわりに

本研究では, VBridge の自動生成を目的として, その要素となるものを論文から抽出する手法を提案 した. 提案手法では，少ない自作データセットを活用するため, マルチタスク学習を適用させた汎用自然言語処理モデルを用いた．実験では，高い精度の 結果は得られなかったものの, その予測の傾向から 改善の余地があることを示した。

## 参考文献

[1] 加藤雄一郎. 2016. 長期展望に立ったコ ア技術戦略, JTEKT ENGINEERING JOURNAL No. 1014.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding, Pro-ceedings of the

2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume1 (Long and Short Papers), pp. 4171-4186.

[3] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbone11, Quoc Le, and Ruslan Salakhutdinov. 2019. Transformer-XL: Attentive Language Models beyond a Fixed-Length Context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2978-2988, Florence, Italy. Association for Computational Linguistics.

[4] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbone11, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In NeurIPS 2019, pages 5754-5764.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, Jianfeng Gao. 2019. Multi-Task Deep Neural Networks for Natural Language Understanding, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4487-4496, Florence, Italy. Association for Computational Linguistics.

[6] mkt3, 大規模日本語ビジネスニュースコー パスを学習した XLNet （MeCab+Sentencepiece 利用）モデルの紹介

https://qiita. com/mkt3/items/4d0ae36f 3f212aee 8002

［7］情報処理学会第 84 回全国大会講演論文集, https://www. ipsj.or. jp/event/taikai/8 4/ipsj_web2022/index. html


# 文法誤りにおける一般誤りの分離可能性と解説文生成への応用

永田亮 ${ }^{1}$ 木村学 ${ }^{2}$
1 甲南大学知能情報学部 ${ }^{2}$ GRAS グループ株式会社
nagata-nlp2023 @ ml.hyogo-u.ac.jp.
manabu.kimura@gras-group.co.jp

## 概要

本稿では，ある種の誤り（一般誤りと呼ぶ）とそ の他の誤りでは, 誤り検出器における検出規則の獲得過程が異なり，その性質により一般誤りのみを分離できるという新たな知見を報告する。また，その 知見を利用して一般誤りの詳細なサブタイプを発見 することについても述べる. 更に，発見したサブタ イプを利用して，解説文生成を分類問題として解く ことを提案する．このアプローチには，訓練データ 作成コストと生成結果の信頼性という面で有利な点 があることを示す.

## 1 はじめに

本稿では，一般誤りの分離可能性という仮説を導入し，その仮説を文法誤り解説に応用する手法を提案する. 仮説の概要は，一般誤りとその他の誤りで は，誤り検出器における検出規則の獲得過程が異な り，その性質を利用することで一般誤りのみを分離 できるというものである.ここで，一般誤りとは，特定の内容語に依存しない規則で同定される文法誤 りと定義する（便宜的に，その他の誤りを単語固有誤りと呼ぶ). 例えば, *In this café serves good coffee. は，規則「主語は前置詞を伴わない」で誤りと同定 できるが，この規則はどのような主語や前置詞の 組み合わせにも適用できる。一方，単語固有誤り (例: *They protested on the situation.) では, 特定単語 （この例では protest とon）により誤りと同定される.本稿では，上述の仮説を利用して，前置詞の用法に 関する文法誤りについて，与えられた学習者コーパ スから一般誤りのみを分離できることを示す（\$3）.本仮説は，BERT ベースの誤り検出器の性能に関 する報告 [1] に着想を得ている．同報告では，この 検出器の性能曲線が図 1 の実線のようになること を示している。図 1 から，数百文の訓練データで性能が劇的に改善し, それ以降性能向上は緩やかにな ることがわかる。この理由を，我々は次のように予

図 1 誤り検出性能曲線と仮説的な説明.

想する. BERT ベースの検出器ではごく少量の訓練 データから一般誤りの検出規則が獲得され，一方 で，単語固有誤りについてはより多くの訓練データ が必要となる。一般誤りの同定規則は汎用的である ため，異なる単語からなる複数の訓練事例から獲得可能である。特に，BERT のように文法知識を有す るモデル $[1,2,3]$ では，一般誤りの検出規則の獲得 が容易になる。そのため，一般誤りに関する性能曲線は図 1 の赤い曲線（破線）のような形になる。一方，単語固有誤りについては，特定の単語を含んだ 訓練事例が必要となり，相対的に訓練事例が少な い. また，汎化がより難しい。結果，図10ように 直線的に性能が改善する，結果として観測される性能曲線は，二種類の破線の重ね合わせとなる。

もしこの仮説が完全に成り立つのであれば， BERT ベースの検出器を少量のデータで訓練し, 誤 り検出を行えば一般誤りのみが得られるはずであ る. 本稿では，このアイデアを拡張し一般誤りの事例を得る手法を提案する。また，獲得された一般誤 りにクラスタリングを適用することで，詳細なサ ブタイプを効率よく発見できることも示す（§4）.更に，得られたサブタイプにより解説文生成 [4] を 分類問題として解くことが可能になることも示す （§5）.これは，解説文生成における大きな二つの課題（1）訓練データが大量に必要となる，（2）フェイ ク解説文が生成されてしまう，の解決に繋がる.

## 2 関連研究

本稿の仮説は文献 [1] に着想を得ている. 同文献 は，与えられた文中の各トークンの正誤を推定する
誤り検出を対象にして性能を調査している. 様々な コーパスに対して，エンコーダを BERT，出力層を softmax 層とした誤り検出器が, 図 1 のような性能曲線を示すと報告している．以降の実験では，八 イパーパラメータの設定も含めて同じ検出器を用 いる.

解説文生成 [4] も本研究に関係が深い. 解説文生成とは, 語学学習のための解説文章を生成するタス クである. Hanawa ら [5] は深層学習に基いた手法が 同タスクに有効であることを示している. 同時に，深層学習ベースの生成は, 生成能力が非常に高いた めフェイク解説文を生成してしまうことを指摘して いる.フェイク解説文とは，存在しない規則を説明 する解説文のことである (例 : considerate は自動詞 なので目的語の前に前置詞は必要ありません。1)). フェイク解説文は，誤った知識を獲得させてしまう 可能性があるため極力避けるべきである.

フェイク解説文を避ける有効な手段は, 解説文生成を分類問題として解くという方法である。すなわ ち, 文法誤りを詳細なサブタイプに分類し分類結果 に紐づいた解説文を出力する。この方法であれば，事前に解説文を用意しておけるため，フェイク解説文が出力されることはない，問題は，生成タスクで は分類カテゴリが自明でないということである．た とえ分類カテゴリが与えられたとしても，誤りを詳細なカテゴリに人手で分類して訓練データを作成す ることは容易ではない. 本稿では, 仮説を利用して これらの問題を効率よく解決することを試みる。

## 3 一般誤りの分離可能性

## 3.1 手法

ここでのタスクは，入力として与えられた学習者 コーパスから，一般誤りのみを抽出するというもの である. ただし, 入力コーパス中の誤り位置は与 えられているとする。すなわち，誤り（もしくは訂正）情報が付与されたコーパスから一般誤りのみを 抽出するという問題設定を考える. なお，2 節で述 べたように, 以降では, 誤り検出器として文献 [1] の BERT ベースの検出器を用いる.

基本的な処理の流れは， 1 節の仮説に基づき，(1)入力コーパスを少量データに分割, (2)その少量デー タで誤り検出器を訓練, (3) 訓練済み検出器を残り

のコーパスに適用し，検出された事例を一般誤りと して出力, となる. この単純な方法では, 単語固有誤りが混入してしまう．なぜなら，少量の訓練コー パスでも，学習者やライティングトピックに共通し てみられる単語固有誤りが，ある程度の頻度になり 検出規則が獲得されてしまうからである.

そこで，提案手法では，コーパスの多重分割と トピック交差訓練という二つの工夫を行う，以下，図 2 に基いて提案手法を説明する.

ステップ (1) で，コーパスの多重分割を行う. 具体的には，入力コーパスから $N$ 文を $M$ セット抽出 する．ただし， $N$ は小さな値とし，各セットに重複 はないとする．残りは，一般誤り抽出用として，ス テップ（3）で使用する。

ステップ（2）で，上述 $M$ セットを用いて誤り検出器の訓練を独立に行う.ここでは, 各トークンの 正誤を推定する二値分類問題を解くことに注意が必要である。したがって, 新たに一般／単語固有誤り の情報をアノテーションする必要はない.

最終ステップ（3）で， $M$ 個の訓練済み検出器を 残りのコーパスに適用して誤りを検出する。仮説に 従い，Mのうち大部分 $\left(\theta_{M}\right.$ 個以上の検出器) で検出された誤りを一般誤りとして出力する.

オプションとして, トピック交差訓練を行うこと ができる．ステップ (1) でコーパスの多重分割を行 う際に，訓練用サブコーパスと一般誤り抽出用コー パスでライティングトピックが被らないように分割 する. そうすることで，ライティングトピックに共通する単語固有誤りが検出されることを抑制する。

## 3.2 評価と分析

対象データとして，学習者コーパス ICNALE [6] をべースにした前置詞誤り解説文データセット [7] を用いる. ICNALEでは，アルバイトと喫煙に関す る二種類のトピックが用意されている（以降，それ ぞれ，PTJと SMK と表記する），当該データセット では，各文書に対して，前置詞に関連した誤りの位置と解説文の情報が付与されている. ただし，通常 の前置詞誤りより広い範囲の誤りを対象にしてい る. 例えば，主語として使用された動詞（例：*Lean

図 2 一般誤り抽出の流れ。

English is difficult.), 句と節の混同 (例:*because of I like it）などを含む（詳細は文献 [7] を参照のこと）.

このデータセットの訓練データで訓練を行い,評価データを対象にして抽出を行った（分割は文献 [5] に従う). 付録 A に同データの統計を示す.各種パラメータは次のように設定した: $M=10$ (多重分割の数）; $N=800$ (サブコーパス中の文数）: $\theta_{M}=1, \ldots, 10$ (一般誤りと認める検出数).

図 3 に結果を示す ${ }^{2}$ ). 同図より，高い精度で一般誤りのみを抽出できていることが分かる．特に，卜 ピック交差訓練により recall, precision 共に高まる り, $\theta_{M}=9,10$ では単語固有誤りが混入していない ことが分かる. 全体的に, recall はそれほど高くは ないが，ある程度のサイズの学習者コーパスを入力 とすれば，一定量の一般誤りの事例を精度高く収集 できるともいえる. 次節以降で，このように収集さ れた一般誤りの事例が，詳細な誤りサブタイプの発見と解説文生成に有益であることを示す。

## 4 詳細なサブタイプの発見

前節の結果にクラスタリングを適用することで，一般誤りの詳細なサブタイプを発見することを試み る. ただし，一定量の一般誤りの事例を対象とする ため, 一方のトピックの訓練データで誤り検出器の 訓練を行い，もう一方のトピックの訓練データを抽出対象とする。一度に大量の事例を吟味することは 困難であることを考慮して，少量の事例から始め，段階的に事例の量を増しながらクラスタリングす る. 幸い，パラメータ $N$ と $\theta_{M}$ により，一般誤り抽出量を調整できる. 具体的には， $N=200$ から始め, $\theta_{M}$ を 10 から 1 づつ減らして行き，事例数が 30 を 超えたところで抽出を終了する. 所定の事例数が 得られない場合は, $N=400,800,1600$ と順に増加さ せ，同じ手順で抽出を繰り返す。

このようにして得た一般誤りの事例（候補）に対 して，Ward 法を利用した階層型クラスタリングを 適用し，詳細な誤りタイプの発見を行う. 距離とし て, ベクトル間の $L_{2}$ ノルムを用いる（ノルムが 1 と なるように正規化することで余弦類似度によるクラ スタリングと等価とした)。ベクトルとして誤り検出器内の BERT の出力を用る（誤り区間が複数トー クンに渡る場合，先頭のトークンに対応するべクト ルを用いる)，クラスタの解釈性を考慮して，いず れかのクラスタ内の事例数が 10 を超えたところで

2) 図の左から右へ進むにつれて $\theta_{M}$ が小さくなっている.

図 3 一般誤り分離の性能.

クラスタリングを終了する（クラスタ間距離の最大値が 1.5 を超えた場合も終了する)。このクラスタ リング結果を人手で吟味し, 各事例に詳細なサブタ イプのラベルを付与する。この過程を三回繰り返し 最終的な結果とする。二巡目以降では，それ以前の クラスタリング結果に，新たに抽出した一般誤り事例を加えてクラスタリングを行う。

以上の手順で一般誤りにおける 21 種類のサブタ イプを発見した。紙面の関係から詳細は付録 Cに 譲るが，前置詞を伴った主語，他動詞に前置詞を付 けた誤り，主語として使用された動詞などを発見し た. 事前に一般誤りの抽出を行うことで，似通った 事例がクラスタリング対象となる傾向がみられた (少量データで訓練されたどの検出器でも検出され る誤りであるため)．通常，サブタイプ数が増える につれ，適切なラベルを選択するのが難しくなる が，クラスタリングによりサブタイプごとに事例が まとまっているため作業が容易になる。特に，二巡目以降のクラスタリングでは，それ以前にラベル付 けされた事例が一緒に提示されるため，その効果は 高くなる。比較のために，抽出対象のコーパスから ランダムに誤り事例を 800 選択し，同様にクラスタ リングを適用したが，事例の約 4 割が単語固有誤り となり，ラベル付けがより困難であった（クラスタ 終了条件により実際にクラスタリングされたのは， PTJ で 109，SMK で 104 の事例であった)．実際，付録 C の表 6 に示したクラスタリングの良さを表す各種統計量にもそのことが表れている.

## 5 サブタイプに基づく解説文生成

前節で得られたサブタイプを利用して，解説文生成を分類問題として解くことを考える．入力中の誤 り箇所を特定し，詳細なサブタイプを推定し，その サブタイプに対応した解説文を生成するというタス クを想定する（ただし，後述するように，評価実験 では推定したサブタイプと人手で付けたサブタイプ の一致で性能評価を行う)。したがって，誤りトー クンでなく，誤りを含む文が入力の単位となる．誤 り箇所とサブタイプの推定には, BERT ベースの誤

り検出器を流用する。すなわち, 出力 softmax 層を サブタイプ（に加えて単語固有誤りと正しい語）と する.

実験手順は次の通りである．まず，サブタイプご とに事例の増加を行った. サブタイプの事例と訓練 データ中の事例との余弦類似度を計算し，類似度が 高いものから順に各サブタイプの事例数の合計が最大 40 となるまで追加した. その結果を人手で吟味 し，必要に応じてサブタイプのラベルを変更した. その結果，事例数が 10 以上となったサブタイプを 生成対象とした (PTJとSMKでそれぞれ 9 タイプと 13 タイプが対象となった). 対象となったサブタイ プは付録 Cの表 5 に記されている。なお，この過程 およびクラスタリングの過程で得られた単語個別誤 りも訓練データに含めた.

この結果を訓練事例（うち各サブタイプ 2 割を開発データ）としてサブタイプを推定した. 検出性能向上のため, オリジナル（二值分類）の BERT ベー ス検出器も併用した. オリジナルの検出器を 10 個 の異なるシードを用いて全訓練データで訓練した. その結果を，評価データに適用し，多数決をとり 誤り箇所を決定した. 誤り箇所に，サブタイプ用 の BERT ベース検出器を適用しサブタイプを推定し た. こちらも異なるシードで 10 回訓練し多数決を とった. なお, 単語固有誤り/正しい単語と推定し た場合は解説文を生成しないと取り扱った。また，訓練と評価では異なるトピックのデータを用いた.

表 1 の「分類」行に生成性能を示す3).「対象の み」行は，上述のサブタイプだけを対象にした性能 を示す. 比較用に, 「生成」行に, 文献 [5] で最高性能を達成した深層学習生成手法 (pointer generator) による生成性能も記した。また，表 2 に，PTJを対象にしたサブタイプごとの性能も示す（紙面の関係 から，SMK については付録 B に示す)。なお，評価 データ中に出現しなかったサブタイプは省略した.

表 1 より，生成問題として解いたほうが性能は高 いことがわかる．分類問題として解いた場合，解説対象となるのは一般誤りの限られたサブタイプのみ であることが大きな理由である．ただし，訓練デー タの作成にかかるコストを考慮する必要がある. 本実験では，PTJで 261 事例 (29.0/サブタイプ), SMK で 275 事例（21.2/サブタイプ）にサブタイプのラ ベルを付与しただけである。これに対して，pointer

3）評価データ中の全誤りに対して，人手でサブタイプのラべ ルを付与し，推定されたラベルと一致した場合，生成に成功 したとみなした.表 1 生成性能評価結果.

PTJ

SMK

表 2 サブタイプごとの生成性能（PTJ）.

generator の訓練には約 10 倍の訓練データを用いて いる.しかも，単なるラベル付けではなく，解説文 の記述が訓練データ作成に必要となる。加えて，分類問題の場合，フェイク解説文が生成されないこと が保証されており生成結果の信頼性も高い. 出力さ れるのは表 2 に示されるようなサブタイプに紐づい た解説文だけである。一方で，生成問題として解い た場合，何が出力されるかを事前に把握することは 困難であり，実用上の大きな課題となる．実際，人手で分析したところ, pointer generator の生成結果の うち，PTJで $8.3 \%$ ，SMKで $6.6 \%$ がフェイク解説文 に該当した．以上の通り，分類問題として解く本稿 のアプローチは，訓練データ作成コストと生成結果 の信頼性という面で大きな利点がある.

## 6 おわりに

本稿では，一般誤りの分離可能性という仮説を導入し，その仮説を解説文生成に応用することについ て述べた、コーパス中の一部の事例ではあるが，一般／単語固有誤りの識別を直接訓練せずとも高精度で一般誤りのみを分離できることを示した。ま た，その結果を用いて一般誤りの詳細なサブタイプ を発見した. 更に，その結果を利用すると，解説文生成が分類問題として解けることも示した. 生成性能は生成問題として解いた場合に劣るものの，分類問題として解くことで，訓練データ作成コストと生成結果の信頼性という面で有利な点があることを示 した. 今後は，前置詞誤り以外でも仮説が成り立つ かを調査する予定である.

## 謝辞

本研究は JSPS 科研費 JP22K12326 の助成を受けた

ものです.

## 参考文献

[1] Ryo Nagata, Manabu Kimura, and Kazuaki Hanawa. Exploring the capacity of a large-scale masked language model to recognize grammatical errors. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 4107-4118, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Jason Wei, Dan Garrette, Tal Linzen, and Ellie Pavlick. Frequency effects on syntactic rule learning in transformers. In Proceedings of the $\mathbf{2 0 2 1}$ Conference on Empirical Methods in Natural Language Processing, pp. 932948, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3206-3215, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[7] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating corpora for research in feedback comment generation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 340-345, Marseille, France, May 2020. European Language Resources Association.

## 付録

## A 実験に用いたデータの統計量

表 3亿，実験に用いたデータ [7] の統計量を示す。評価行のカッコ内の数は一般誤りの数を表す。一般誤りと単語固有誤りの判断は，付与された解説文の内容を参照し 人手で行った。なお，データの分割は文献 [5] に従う。

表 3 対象データの統計値.

## B 誤りタイプごとの生成性能

表 4 亿SMK におけるサブタイプごとの生成性能を示 す. 評価データに出現しなかったサブタイプは省略した.

表 4 サブタイプごとの生成性能（SMK）.

## C サブタイプ発見の詳細

4 節で発見された一般誤りの詳細なサブタイプを表 5 に 示す. 全部で 21 種類のサブタイプが確認されたが，紙面 の関係で解説文生成の対象となったサブタイプのみを掲載した。

表 6 亿，サブタイプ発見時に利用したクラスタリング に関する統計量を示す. 各種統計値は, PTJ, SMKでそれ ぞれ三回クラスタリング（計六回）したときの平均值で ある。また，「ランダム」とは，抽出対象のデータから誤 り 800 個をランダムに選択し，クラスタリングした結果 に対応する（ただし，クラスタに課された諸条件により実際にクラスタリングされたのは平均で 106.5 事例である). クラスタ併合率とは，二つ以上のクラスタに同一のラべ ルが付与されたためにクラスタの併合が起こった割合で ある。具体的には，クラスタ内の事例数に対する併合が 起こったクラスタ内の事例数の割合である。同様に，ク ラスタの分割回数に対して分割率も計算した。

表 6 より，提案手法と「ランダム」では一般誤りの割合 が大きく異なることがわかる。その影響で，「ランダム」表 5 獲得された一般誤りの詳細なサブタイプ.

 \\

では単語固有誤りを人手で除去するという作業が多くな る（また，単語固有誤りはクラスタリングでうまくグルー ピングされにくい傾向がみられた)，更に，クラスタの併合率の値により，提案手法のほうが同じサブタイプの事例が二つ以上のクラスタに入ることが少ないことがわか る.これは，一般誤りの抽出の効果により，似通った事例がクラスタリング対象となるからである（すなわち少量データで訓練されたどの検出器でも検出される誤りで あるため).

表 6 クラスタリング結果に関する各種統計量


# 文章構造グラフを用いた 国語記述式答案への自動フィードバック生成

岩瀬裕哉 1,2 舟山弘晃 ${ }^{1,2}$ 松林優一郎 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{yuya.iwase.t8,h.funa\}@dc.tohoku.ac.jp \{y.m, kentaro.inui\}@tohoku.ac.jp
## 概要

学習者は自らのアウトプットに適切なフィード バックを受けることで効果的に学習を進められるこ とが知られている. 本研究では，国語科目の長文読解問題における記述式答案に対してフィードバック 文を生成することで，学習者のより良い学びと教育指導者の負担軽減を目指す。その手法として, 問題本文の文章構造や論理関係を利用して，答案の部分箇所に対し採点項目ごとにフィードバック文を生成する手法を提案する，実験では，既存の採点済み データセットを用いて，この手法を用いたフィード バック生成が現実的に実現可能かを確かめた.

## 1 はじめに

数十語程度を答案に記す記述式問題は, 教育現場 で広く用いられる問題形式であるが，教育指導者に とって記述式答案の採点や答案にフィードバックを 与える作業は多大な労力を伴う [1]. 適切なフィード バックは学習者の学びに有益である反面, 実際にそ れを得られる機会はコストの問題で限定されている [2]. 本研究では, 学習者が指導者の負担無しに効率的に学習を進められるフィードバック生成システム の構築を目指す。

記述式答案の自動採点技術は実用化に向け着実に 研究が進められている $[3,4,5]$. 水本らの研究 [3] は,採点項目を利用して国語記述式問題の自動採点を定式化した. 同研究では, 複数ある採点項目ごとに採点 の根拠箇所と得点を出力する. これによって，学習者は採点結果を見てどの部分を修正すれば良いかと いうフィードバックを得ることができる．本研究で は, この水本らの研究を出発点として, より学習者の 学びを助けるフィードバック文の生成を目指す.

フィードバックの学習への効果について詳細に検討した Hattie and Timperley 2007[6] の研究によれば,
フィードバックは目標と現在の理解の間の乘離が あるとき学習に効果的に働く。ここで述べられる効果的なフィードバックとは，目標が何で，現時点で どこまで進んでいて，次に何をすれば良いか，とい う情報を含むものである。本研究はこの効果的な フィードバックの枠組みを国語記述式問題のフィー ドバックに応用することを目指す。ある答案を入力 として，効果的なフィードバックに必要な情報を得 る手段として，記述式問題に用いられる本文の文章構造を利用することを提案する。このアイデアは，国語の授業中や問題集の解説書等で行われている，本文を分割し，それぞれの部分の間の論理関係を構造化して問題を解説する方法に着想を得ている [7].

文章に記された情報を構造的に理解する能力に ついては，近年の高等学校での論理国語科目導入な どに見られるように注目を集めている。記述内容を 正確に読み取る能力は，日常生活でも必要となる重要な能力であり，それらを効率的に訓練できるツー ルには一定のニーズがあると考えられる。本研究で は，このような背景から，評論文や論説文と呼ばれ る比較的論理構造が明確な文章を題材とした問題へ のフィードバック文生成に限定して取り組む。

学習者に対するフィードバック文生成に関連す る研究として，英語学習者のライティングにおける 文法的な誤りへの解説文生成が挙げられる [8]. Lai and Chang 2019 [9] は，テンプレートを利用した解説文生成という点で本研究と関連性がある。

本研究では国語記述式問題のフィードバック生成研究の第一歩として, 既存の国語記述式問題の データセットを利用して，問題本文の構造を利用し たフィードバック生成というアイデアが技術的に 可能であるかを確かめる．構造を利用するための方法として，答案と本文の間で，それぞれを表現した ベクトルのコサイン類似度を計算し，答案が本文中 のどの部分を参照して記述されたものか推定する

図 1 データセット内のデータ例

手法を提案した. そして, 本文の構造から得られた 情報と，フィードバック文のテンプレートを用いて フィードバック文を生成した. 結果として一部生成 に適さない問題と答案はあるものの，アイデアが現実的に実現可能であることが確かめられた.

## 2 データセット

本研究では，理研記述問題採点データセット代々木ゼミナールデータ $[3,4]$ を題材として記述式答案 に対するフィードバック生成を行う。このデータ は，高校生を対象に行われた模擬試験の国語長文読解記述式問題について, 問題と答案, および, 人間 の採点者がつけた採点項目ごとの得点と, 採点の根拠箇所についてのアノテーションを含むものであ る (図 1). 採点項目とは採点の際に利用される採点基準のことで，問題ごとに 5 項目程度存在する. 採点は, 各採点項目で指定された内容が答案に記述さ れているかという観点で行われる. 採点の根拠箇所 として，採点項目ごとに答案中のサブワードに対し て, 点数の根拠となった部分に 1 , その他に 0 が付与 されている. データセットは論説文や小説など複数 の文体を題材とした問題を含み，また問題の出題形式も本文中に引かれた傍線部を言い換えて説明する ものや，傍線部がなく，本文から要約的にまとめる もの等いくつかの形式がある. 本研究ではその中で も, 問題本文の論理構造を利用したフィードバック というアイデアに即して, 論説文を扱ったもので, かつ本文中の言葉を使い，傍線部について説明する ような問題 3 題を扱う.

## 3 フィードバック生成タスク

上述のデータセットの採点は，各採点項目に対し て記述内容に応じた部分点を与える方式である. 本研究で答案に対し生成するフィードバックは，この 採点の設定に即し, 採点項目ごとに出力する。 ある 問題に対する答案が与えられたとき，答案は採点項目ごとに関連する内容が記述された箇所が特定さ れ，その内容に応じて点数が付けられる. フィード バックの完全自動化のためには採点および根拠箇所 の特定についても何らかのモデルを開発する必要が あるが，本研究では文章構造を用いたフィードバッ ク生成という我々のアイデアの実現可能性を検証す ることに焦点を絞り，採点根拠箇所についてはデー タセットに付与されている人間の採点者によるアノ テーションを利用する. したがって，本研究で設定 するフィードバック生成タスクは，答案と，ある採点項目のペアに対し，その採点項目に対して特定さ れる根拠箇所の文字列が与えられるとき，その根拠箇所の内容に対して適切なフィードバック文を生成 することと定義される。

## 4 手法

我々の手法の外観を図 2 に示す. 本研究では，設問で問われている内容を本文に即して説明するよ うな記述式問題を扱う。この問題形式では，答案が 得点するために，本文に書かれている情報を答案に 含む必要がある. したがって, 得点の根拠箇所は本文に含まれる特定の箇所を参照している. そこで，我々はまず本文を適切な単位に区切り，答案の根拠箇所と, 本文の各分割単位との類似度を計算するこ とで，その根拠箇所が本文のどの部分を参照してい るのか特定する (図 2(1)).

次に，本文について，分割された各部分をノード に持ち，関連する部分同士の論理関係を示すラベル をエッジに付与した文章構造グラフを作成しておき (図 2(2)), この文章構造グラフの上で，答案内に理想的に含むべき情報が書かれている位置と, 答案内 に書かれている内容の位置がどのような関係ラベル で接続されているかという情報に基づき，フィード バック文のテンプレートを選択し，そこからフィー ドバック文を生成する (図 2(3)).

図 2 提案するフィードバック生成手法の外観図

## 4.1 答案根拠箇所の本文参照箇所推定

答案の，ある採点項目に対する根拠箇所文字列 $x$ を入力として、その根拠箇所が本文中のどの部分を 参照して記述したものか推定した結果 $e$ を出力とす る. $e$ は本文の分割単位それぞれに割り振られたイ ンデックスを表す.

答案の根拠箇所 $x$ を訓練済み日本語 BERT[10] に 入力し, 最終層の埋め込み表現を抽出する. 埋め込 み表現のベクトルの和をとることで， $x$ に対する根拠箇所ベクトル $y$ を得る.

本文を分割して作成された文字列集合 $S=$ $\left.\{s_{1}, s_{2}, \ldots, s_{m}\right.\}$ に対しても同様の手続きで本文べク トル集合 $H=\left.\{h_{1}, h_{2}, \ldots, h_{m}\right.\}$ を得る. なお, $y$ および $h_{m}$ は次元数 768 のベクトルであり,$m$ は本文の分割数を表す. 根拠箇所ベクトル $y$ と本文ベクトル集合 $H$ の各要素との間でコサイン類似度を計算し， $y$ に対して最も高い値を返した $h_{e}$ を， $x$ が参照した本文箇所の推定結果 $e \in\{1,2, . ., m\}$ とする.

## 4.2 本文の構造グラフを用いたフィード バック文生成 \\ 本文構造グラフ フィードバック生成のために用 いる本文構造グラフ $G$ を人手で作成する. 分割さ れた本文の集合 $S$ の要素をグラフのノードとする. グラフの作成に当たり，まず採点基準や模範解答を もとに答案が満点を獲得するために参照すべき箇所 を本文から特定し，そのノードのインデックスを正解 $c$ とする. 次に，本文中で談話関係のあるノード ペアについて，関係の種類を表すラベルをエッジに 付与する。関係ラベルには Penn Discourse Treebank Version 3.0 のタグセットを採用した [11].

本文全体にこのようなアノテーションを行うには 多大な労力を要する。また，各採点項目において答案が得点するために含むべき情報は本文中の一部分
に集中的に記載されている。そこで，採点基準をも とに各採点項目と関連が強い箇所に限定して談話関係アノテーションを行い，部分構造グラフ $G^{\prime}$ を採点項目ごとに作成した. 図 2(2) はそのような部分構造グラフの例である. 図中の青いノードは正解ラ ベルのノードであり，各エッジにはそれぞれ関係ラ ベルが付与されている.

フィードバック文生成 答案の根拠箇所が参照し ている本文ノード $e$ と, 正解ノード $c$ の間を結ぶ エッジに付与された関係ラベルに基づき，あらかじ め定めておいたフィードバック文のテンプレートの うち適切なものを選択する．具体的には，本文部分構造グラフ $G^{\prime}$ 上で，根拠箇所が参照しているノー ド $e$ と正解ノード $c$ の間の最短パスを求める. 次 に， パスに含まれるエッジのうち，正解ノードと隣接するノードを結ぶエッジに付与されたラベルを得 る. 得られたラベルによりフィードバックの生成に 用いるテンプレートを選択する。

さらに，各答案の内容に応じて柔軟にフィード バック文を生成するために，答案の根拠箇所の文字列 $x$ と正解ノード $c$ の本文文字列 $s_{c}$ をテンプレー 卜に埋め込み，最終的なフィードバック文 $t$ とす る. ただし，答案の根拠箇所の文字列 $x$ と最も対応 する本文ノード $e$ がこの採点項目のために設計した 部分構造グラフ $G^{\prime}$ に存在しない場合，および $e$ が 正解ノードと一致する場合には，それぞれ固定文の フィードバックを生成した. テンプレートの具体例 は付録 A に示す。

## 5 実験

## 5.1 実験設定

本研究の目的は学習者に取って有益なフィード バックを生成することであるため，対象の採点項目
表 1 答案根拠箇所に対し生成されたフィードバック文の例

 &  \\

に対して満点を得ている答案は扱わない。また， 0 点の答案についても根拠箇所が付与されないため 扱わない。適切に提案手法の評価を行うために，上記の条件を満たす答案を 10 件以上含む採点項目の みを用いた。 3 節で述べたように，本研究の焦点は 我々が設計したフィードバック生成システムが実現可能か検証することにある. したがって，各採点項目の根拠箇所情報は，データにあらかじめ人手で付与されたものを入力として用いて実験を行った.

## 5.2 参照箇所推定結果の妥当性の確認

4.1 節で説明した方法によって,$e$ をどの程度正し く推定できるかを確かめるために，入力の各根拠箇所 $x$ に対して正解の $e$ の値を付与した評価データを 人手で作成し, 推定結果との一致率を計算した. 評価データは，対象の採点項目に対する根拠箇所から ランダムに 20 個サンプリングしたもの (random) と，根拠箇所文字列の出現頻度を降順に並べ上位 20 種 を抽出したもの (unique)について人手でラベルを付与した. 結果を表 2 に示す. random の結果からは,全 6 個の採点項目のうち，5 個の採点項目において は 7 割程度の一致率で $e$ を推定できることが確か められた。また， uniqueの結果からは，答案によく 書かれる記述に関する精度にも採点項目ごとにば らつきがあることが示唆された. 適切に推定できな かった理由として，根拠箇所が答案に含まれる部分文字列であることに対して，比較を行う本文のノー ドは文または節のように意味的に一つのまとまりを 持つ単位であったという点が考えられる。また，問題 2 の一致率が低い原因は, 当該の問題形式に起因 していると考えられる. 問題 2 は本文中のある文が 示す内容について，本文に即して説明する問題であ るが，得点するためには本文中の複数の箇所を参照 して答案を作成しなければならない問題である. 本手法では，ある根拠箇所が参照している本文中の分割単位が一つに定まる事を仮定して，手法の設計を表 2 参照箇所推定の精度. $A=1$ は採点項目 $A$ が 1 点で ある答案を表す. unique の括弧内の值は頻度上位 20 件の 表現が対象データ全体に占める割合.

行ったため，このような問題において適切に本文の 参照箇所を推定することができなかったと考えられ る.このような種類の問題に対するフィードバック 生成手法の構築は，今後の重要な課題である.

## 5.3 フィードバック生成

我々が 4 節で提案した手法によってフィードバッ クの生成を行い，その結果を検討した. 表 1 に生成 されたフィードバック文の具体例を示す.このう ち，上の 2 つ例は， $e$ が適切に推定できた場合に 生成されるフィードバック文を表している. 下の 2 つは適切に $e$ を適切に推定できなかった場合の結果 を示している。この結果より文字列として似た答案 であるにも関わらず，推定された $e$ の内容に応じて 生成されるフィードバックが大きく異なってしまっ ている.したがって，我々が提案するフィードバッ クの生成手法では，e を適切に推定することが鍵で ある. 今後は，学習者を巻き込んだテストを行うこ とを計画しており，生成されたフィードバックの効果を実践的な形で計測する予定である.

## 6 おわりに

本研究では. 答案の根拠箇所と本文の文章構造を 用いてフィードバック文を生成するという手法を提案し，その手法の実現可能性について確かめた. 実験により，学習者の学びの助けになりそうなフィー ドバック文を生成できる可能性が確かめられたと同時にさらなる検討課題が明らかになった.
実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します. 本研究は JSPS 科研費 JP19K12112, JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けたものです.

## 参考文献

[1] Anna Filighera, Siddharth Parihar, Tim Steuer, Tobias Meuser, and Sebastian Ochs. Your answer is incorrect... would you like to know why? introducing a bilingual short answer feedback dataset. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8577-8591, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Valerie J. Shute. Focus on formative feedback. Review of Educational Research, Vol. 78, No. 1, pp. 153-189, 2008.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, 2019.

[4] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of human-in-the-loop frameworks for automated short answer scoring. In Artificial Intelligence in Education, 2022.

[5] Haruki Oka, Hung Tuan Nguyen, Cuong Tuan Nguyen, Masaki Nakagawa, and Tsunenori Ishioka. Fully automated short answer scoring of the trial tests for common entrance examinations for japanese university. In Artificial Intelligence in Education: 23rd International Conference, AIED 2022, Durham, UK, July 27-31, 2022, Proceedings, Part I, p. 180-192, 2022.

[6] John Hattie and Helen Timperley. The power of feedback. Review of Educational Research, Vol. 77, No. 1, pp. 81-112, 2007.

[7] 野矢茂樹. 論理トレーニング 101 題. 産業図書, 2012.

[8] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, 2021.

[9] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to explain corrective feedback for second language learners. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 235-240, 2019.

[10] 日本語 bert 訓練済みモデル. https://github.com/cltohoku/bert-japanese.

[11] Rashmi Prasad, Bonnie Webber, Alan Lee, and Aravind

## A 作成したフィードバック文テンプレート例

表 3 作成したテンプレート例

 \\
\cline { 2 - 3 } Expansion.Level-of-detail &  \\

本研究で作成したフィードバックの一例を示す. 表 3 に示した通り，グラフ上に出現する関係ラベルに対 して，答案の根拠箇所と本文の答案の参照にすべき正解箇所を埋め込むことができるフィードバック文を作成した.

表 4 テンプレートに追加した固定文の例

本研究では，正解ラベルが付与されたノードと本文参照箇所推定結果ノードとの最短パス上にあるラベル を利用する手法を取るため，表４ に示されたような場合にはパス上のラベルを得ることができず，手法通り にフィードバック文を生成することができない。そのため，それらの場合に対しては，表の通り埋め込み箇所のない固定文のフィードバックを返す設定とした.


# Towards grammatically-informed feedback comments

Diana Galvan-Sosa ${ }^{1,2}$ Steven Coyne ${ }^{1,2} \quad$ Keisuke Sakaguchi $^{1,2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
\{dianags, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp
coyne.steven.charles.q2@dc. tohoku.ac.jp

## Abstract

Current writing assistants are good in error correction and in helping users to change ungrammatical sentences into their correct grammatical form. However, they still fall short on various dimensions, in particular error justification. While the current systems are useful when the main goal is expression, they are insufficient when the goal is the acquisition of a writing skill. It is clear that finding the root of an error is key for improvement. The question is how to do this automatically? We present here an approach that automatically aligns error annotations with grammatical-category annotations made on grammaticalungrammatical sentence pairs. Our preliminary results suggest that such alignments provide a good hint concerning the specific grammar points a user should pay attention to.

## 1 Introduction

Writing is not an easy task. Whether we produce written text in our mother tongue (L1) or a foreign language (L2), the task is daunting because of the number of sub-tasks involved, and because of the lack of clear decision criteria. For example, when is a text optimal? What is a coherent text?, etc. Broadly speaking, writing requires three major steps: (1) idea generation (2) idea ordering and (3) linguistic expression. Assuming that the two first steps have been performed, we need to find the right words, put them in the right order and make the needed morphological adjustments. In other words, having decided what to talk about, and how to convey our ideas, we must make sure that the final output complies with the rules of language. Hence, a basic, yet very important aspect of this last step is to check the grammaticality of our sentences. Realizing the grammar-checking can be automated has motivated the development of a number of writing assistants, one of the

Figure 1 Example of a sentence generated by a L2 user and the expected feedback (output) from the writing assistant.

most prominent ones being Grammarly ${ }^{1)}$.

Ideally, the goal of modern writing assistants is not just to check grammar, but to check the quality of all the levels involved in writing. Put differently, ideally revision concerns the entire writing process. According to cognitive scientists, revision is a complex problem-solving process composed of various steps: (i) problem detection, (ii) problem diagnosis and (iii) solution generation [1]. If we are only interested in the correct form of a text, then it is acceptable for the writing assistant to only output the result of (i) and (iii). Yet, if the goal is the enhancement of the student's writing skills, the output of (ii) is very important. Note that composition, i.e., learning to write is a very common goal among L2 users. Consider the sentence shown in Figure 1, where the detected problem (hereafter referred to as error) is highlighted. The purpose of highlighting the preposition is not only to signal that it should be REPLACED (for $\rightarrow$ so as), but also to make the author aware of the fact that the "so as not to" form was used incorrectly. The goal of this diagnosis is not only to signal the error, but to explain it. Hence, the user's error is related to a goal, which includes the use of the preposition "to" and other grammatical forms like "so as to", "in

Figure 2 Overview of our sentence alignment pipeline (left). To the right, a sample sentence from the M2 file (top), the same sentence padded and aligned (middle) and the matched grammatical categories (bottom). The new annotations are highlighted at the top.

order to" and "so that". This is what the user needs in order to avoid making the same mistake in the future.

The aforementioned diagnosis could easily be made by an English teacher. The question is: how could a writing assistant do the same thing? Thanks to the research done on Grammatical Error Correction (GEC), there is a fair amount of learner data with error annotations available. However, these annotations are limited to the identification of the type (e.g., replace a preposition) and the location of an error in the text. Our premise is that if the sentence were also annotated with its related grammatical categories, these annotations would provide a hint concerning the reasons causing the error.

We present here an algorithm that adds grammatical categories to existing error annotations. To do so, we rely on the English Grammar Profile defined by the CEFR-J [2] project.

## 2 Related work

Grammatical Error Correction. GEC is the task of detecting and correcting all kinds of errors in a sentence. $\overline{\text { Note that error diagnosis is neither expected nor required. }}$ There have been several attempts on tackling GEC, mostly led by the Building Educational Applications (BEA) 2019 Shared Task [3]. The BEA dataset ${ }^{2}$, which includes annotations on an error's type, location and its correction, is the current benchmark measuring the performance of GEC systems. The dataset is composed of 4 corpora: the First Certificate in English (FCE) corpus [4], Lang-8 [5, 6], the National University of Singapore Corpus of Learner English (NUCLE) [7] and W\&I+LOCNESS [3, 8].

Feedback Comment Generation (FCG). Unlike GEC, the goal of FCG is to diagnose an error and output an explanatory note. This task was recently proposed by [9] as the GenChal 2022 shared task, together with a dataset $^{3)}$ that pairs ungrammatical sentences with a feedback comment.

The ultimate goal of our work is directed towards FCG. We aim to generate feedback comments that not only explain the underlying grammatical rule of an error, but also suggest whether the misuse of other grammatical categories caused it. As a first step, we explore to what extent the grammatical categories identified in a grammatical sentence relate to the error annotations made on its ungrammatical counterpart.

## 3 Aligning errors with grammatical categories

## 3.1 The CEFR-J English Grammar Profile

The Common European Framework of Reference (CEFR) is a learning framework that describes the knowledge and skills needed by a learner to communicate in English. The CEFR includes an English Grammar Profile (EGP) that lists the grammatical forms and meanings a learner is expected to get familiar with as they progress along the learning curriculum. This framework has been widely adopted not only in Europe, but also in Latin America and Asia. Its adaptation in Japan (the CEFR-J) is of particular interest to us, as it defines a finer-grained EGP that includes 501 patterns across 263 grammatical categories. An example is shown in Table 1.

Table 1 Example of a grammatical category (GramCat) and its associated forms (patterns).

The CEFR-J EGP is available online, together with a set of scripts that identify all the patterns in a text using regular expressions (regex). ${ }^{4)}$

## 3.2 Error spans and regex matches

As a source of learner's data, we use the BEA and GenChal 2022 datasets introduced in Section 2. Data in the BEA dataset has already been standardized with ERRANT [10], the most common error type framework used in GEC. The top-right of Figure 2 shows an example of ERRANT's M2 annotation format, which identifies a token-based error span, an error type and an edit text (i.e., the text to correct the identified error). As a FCG dataset, GenChal 2022 does not use the M2 format, but it is possible to standardize as long as we input pairs of (UNGRAMmATICAL,GRAMmATICAL) sentences. Since this dataset does not include the GRAMMATICAL counterpart of an UNGRAMMATICAL sentence, it needs to be created. For the scope of this paper, we annotated an initial subset of 500 sentences out of the total 5000 .

With both datasets in M2 format, we rely on the CEFR-J scripts for adding grammatical category information to the M2 annotations. These scripts take as input a grammatically correct text and output a count file with two columns: one with the 501 Pattern IDs and another with the count of the sentences that matched each pattern. The scripts were modified to also output which sentences matched a pattern and the span of the match.

## 3.3 Alignment process

Padding. Apart from error categories like "DET" (Determiner), ERRANT classifies errors depending on whether tokens need to be inserted, deleted or substituted. These operations are referred to as Missing ("M"), Unnecessary ("U") and Replacement ("R"), respectively. As shown at the top-right of Figure 2, an Ungrammatical sentence usually needs more than one edit operation to be-

come grammatical. As a result, most of the time these sentences have different lengths. In order to align the error spans in the UNGRAMMATICAL sentence with the regex matches found on the GRAMMATICAL one, we need both to have the same length. As a general rule, "M" and "U" operations lead to padding the ungrammatical and grammatical sentence, respectively. In the case of " $R$ " operations, no padding will be needed if the token-length of the edit span and the edit text are the same. The ungrammatical sentence will need padding if the length of the edit text >edit span. The grammatical sentence will be padded otherwise.

Alignment. We define as "alignment" when an edit span and a match span overlap. The bottom-right of Figure 2 shows the four patterns found in the GRAMmATICAL sentence by the CEFR-J scripts. However, there are only two alignments: "M:OTHER" $\rightarrow$ "This/that is" and "M:DET" $\rightarrow$ "Indefinite articles". In the case of the second alignment, the grammatical category matched is consistent with the error category that was already annotated. The first alignment, though, adds new information. The "M:OTHER" error type identifies that some tokens are missing, but is not able to point out what exactly the error is (therefore, the use of the generic "OTHER" category). The grammatical category identified in the alignment is more informative, suggesting that the root problem is related to how to point to something. In this particular case, using the "This/that is" form is a better than "because" to detail a reason.

When an alignment is found, a new token with the format PATTERNID: OVERLAP SPAN is appended at the end of the corresponding error annotation line. Note that the sample sentence in Figure 2 has modifications to its first two annotations, while the third one remains unchanged. This is because an edit span can either be aligned with one, several or no match span at all.

## 4 Data analysis

In order to get a better understanding of the potential benefits of aligning an error's edit span and a grammatical category match span, we first look at the number of alignments found in the BEA dataset and our subset from GenChal2022. The results are summarized in Table 2. Considering that a sentence can have one or more error annotations, the table shows both the total number of sentences in a dataset and the error annotations. Note that

Table 2 Number of alignments by dataset. Sentences can have 1 or more error annotations. Here, we take into account ALL the error annotations in a dataset. A "noop" annotation indicates that a sentence has no errors.

sentences in a dataset can be GRAMMATICAL or UNGRAMMATICAL. A sentence is annotated even if it is judged as grammatical, in which case the error type is "noop". The coverage of alignments found on the error annotations (i.e., edits) ranges from $37 \%$ to $42 \%$ in the BEA benchmark and $50 \%$ in our subset from GenChal2022. Taking a closer look at the total number of alignments, we observe that most of the times, our algorithm found one alignment between an error span and a match span. It is interesting to see that there were some cases were a error span overlapped with more than one match span. An example of both situations is shown in Figure 3.

Figure 3 Example of two sentences and their alignments (top: 1 alignment, bottom: $>1$ ) found in their error annotations.

Although we expected that the greater the number of alignments, the more informative a match span would be, our preliminary observations suggest that single alignments can also be revealing. The example shown at the top of Figure 3 showcases a situation where two edits are aligned with the same grammatical category. The edits simply point out that the sentence is missing a comma and that "whose" should be replaced with "whom". The reasoning behind these edits is that a removable idea, known as a NONRESTRICTIVE CLAUSE, is being introduced by the RELATIVE PRONOUN. Therefore, the comma is necessary.
The alignments made on the bottom example explain a more elaborated error. The main problem with the sentence is the use of the "for" preposition. While the use of the collocation "ask for" to introduce a request is correct, the request in question concerns two possibilities, in which case it is better to use the SUBORDINATE CONJUNCTION "whether". This is related to the use of a SUBORDINATE CLAUSE, which is in fact, being suggested in the edit text (i.e., whether you want a). Besides the use of "whether", the suggested subordinate clause involves the use of INDEFINITE ARTICLES. In summary, the error type is helpful for identifying and correcting the error. The alignments found by our algorithm complement the error annotation with information related to the error diagnosis.

So far, it seems that our alignment approach is a good direction towards a "teacher-like" error diagnosis, which in turn is a step towards the generation of grammaticallyinformed feedback comments. The ongoing qualitative analysis presented here is being performed drawing on the second author's experience in English education.

## 5 Conclusion and Future Work

AI is evolving at an amazing pace. The development of AI-powered writing assistants is, beyond any doubt, one of the most notable contributions to make the writing process less painful for authors. However, there is still work to be done in order to bridge the gap between human and computer-based writing revision. In this work, we explore the plausibility of automatically identifying the grammar forms that a user needs to know in order to avoid making the same grammatical error in the future. Since the BEA dataset does not include feedback comments, our future work only considers the GenChal 2022 dataset. Our immediate next step is to design an experimental setup that will quantitatively evaluate the usefulness of error's edit spans and grammatical categories' match spans on feedback comment generation.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Numbers JP22H00524 and JP21K21343.

## References

[1] Kwangsu Cho and Charles MacArthur. Learning by reviewing. Journal of educational psychology, Vol. 103, No. 1, p. 73, 2011.

[2] Yasutake Ishii and Yukio Tono. Investigating japanese efl learners' overuse/underuse of english grammar categories and their relevance to cefr levels. In In Proceedings of Asia Pacific Corpus Linguistics Conference 2018, pp. 160-165, 2018.

[3] Christopher Bryant, Mariano Felice, Øistein E Andersen, and Ted Briscoe. The bea-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[4] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading esol texts. In Proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies, pp. 180-189, 2011.

[5] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[6] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and aspect error correction for esl learners using global context. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 198-202, 2012.

[7] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, 2012.

[8] Sylviane Granger. The computer learner corpus: a versatile new source of data for sla research. In Learner English on computer, pp. 3-18. Routledge, 2014.

[9] Ryo Nagata, Masato Hagiwara, Kazuaki Hanawa, Masato Mita, Artem Chernodub, and Olena Nahorna. Shared task on feedback comment generation for language learners. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 320-324, 2021.

[10] Christopher Bryant, Mariano Felice, and Edward Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. Association for Computational Linguistics, 2017.