# テキスト平易化システムの分析的評価のための 平易化方略体系の構築

山口大地 ${ }^{1}$ 島田紗裕華 1 宮田玲 ${ }^{2}$ 佐藤理史 ${ }^{2}$
1 名古屋大学工学部 2 名古屋大学大学院工学研究科
yamaguchi.daichi@c.mbox.nagoya-u.ac.jp

## 概要

ニューラルネットワークを用いたテキスト平易化手法が盛んに研究されているが、実用化はあまり進 んでいない。今後の研究・開発のさらなる発展のた めには、現在の平易化技術にできること・できない ことを分析的に把握するための評価ツールが必要で ある。本稿では、そのようなツールの一つとして、 どのような平易化操作がなされたかを分類するため の平易化方略体系を、人手の平易化事例とシステム 出力の分析に基づき構築した。また、この方略体系 を用いて、人間と機械の差異を詳細に可視化できる ことを予備的に示した。

## 1 はじめに

テキスト平易化（text simplification, TS）とはテキ ストの主要な内容を保持しつつ、語彙や構造の複雑 さを軽減することである。近年の TS システムは難解文から平易文への単一言語の翻訳問題として取 り組まれ、ニューラルネットワークを用いた手法が 盛んに研究されている。しかし、機械翻訳とは異な り、TS システムの実用化はあまり進んでいない。 $\mathrm{TS}$ システムの研究・開発のさらなる発展のために は、現在の TS 技術の限界を知り、人間の行ってい る平易化とのギャップを明確に把握することが重要 である。

TS システムの評価には、SARI [1]、BLEU [2] Flesch-Kincaid Grade Level (FKGL) [3] といった自動評価指標が広く使われる。SARI と BLEU は人手に よる平易化参照文との N-gram に基づく一致度を用 いた評価指標であり、FKGL は単語数と音節数を用 いた評価指標である。この他にも、流暢性、妥当性、平易度 [4][5][6] といった側面を主観的な判断でスコ ア付けする人手評価が用いられることもある。これ らはいずれもシステムの出力結果に対して、数値的
な評価を与えるものであり、TS システムにできる こと・できないことを分析的に評価する枠組みは十分に確立していない。

TS システムの分析的評価には大きく分けて、ど のような変換操作がなされたかに関する方略分析と どのような誤りを含んでいるかに関するエラー分析 があり、本稿では、主に方略分析を対象とする。既存の平易化研究では、書き換え操作として、言い換 え、削除、分割の 3 つが認定されることが多い [7]。加えて文書レベルの平易化操作として文の並べ替え や統合が認定されることもある [8]。しかし、これら はテキストの表層的な操作を大まかに類型化したも のであり、平易化固有の内容的変化を具体的に捉え るものではない。内容的な側面に踏み込んだものと しては、執筆者向けの平易化ガイドラインが多く作 られてきたが [9]、これらも大まかな指針を示すに 留まるものが多い。したがって、TS システムを評価するためのより詳細な平易化方略分析の枠組みが 必要である。本稿では以下、平易化方略分析を可能 とする方略体系の構築について報告した上で、人手事例とシステム出力の比較を行うことで人間と機械 の平易化方略の違いについても予備的に観察する。

## 2 平易化方略体系の構築

初めに人手事例を分析することで平易化方略体系 のプロトタイプを作成した。続いて、複数の TS シ ステムによる出力結果を用いて、それらを網羅的に 分類できるように体系の拡張・修正を行った。

## 2.1 人手事例分析による体系構築

分析対象として、Newsela [10] が公開するプロの 編集者が文書単位で平易化を行ったニュース記事 を用いた。まず、Newsela の記事の Popular のカテゴ リ1)から、4 文書選定した。Newsela では文書ごとに


図 1 最小単位の書き換えへの分解例

4 段階の書き換えがなされている。オリジナルの文書を $\mathrm{Lv0}$ として最も平易な文書を Lv4 とする。隣接 するレベルの文書ぺア全てに対して、手作業で文ア ラインメントを取り、合計 551 の難解文・平易文の ペアを獲得した。次に図 1 のように、難解文から平易文に至る書き換えの過程を分解し、最小単位の書 き換え事例を 1133 件得た。

これら全事例に対して、表層的方略（語や句、節 といった文法的要素に対する置換や削除、追加と いった形式的な操作）と内容的方略（平易化の観点 からの意味・内容の変更操作）の 2 つの軸から分析 した。筆者らが各事例に対するラベル付けとラベル のまとめ上げのサイクルを複数回繰り返すことで、 ボトムアップに平易化方略を体系化した。

## 2.2 システム出力を用いた体系修正

人手事例分析で構築した平易化方略体系のプロ トタイプを TS システムの出力を使用して修正し た。TS システムのモデルとして、Transformer $[11]^{2)} 、$ DRESS [12] 3)、SUC [13] 9 の 3つを用いた。いずれも 学習データには Newsela コーパスを用いたが、アラ インメントの方法含め、元の論文と同じ設定で実装 しているため、実際に学習に使われたデータはそれ ぞれ異なるら)。

人手事例分析に用いた Lv0 と Lv1 の文書から、 Transformer 用に 166 文、DRESS 用に 38 文、SUC 用 に 38 文を選定し、各システムで平易化を行った。


これらの出力の内、平易化によりテキストに変化が 生じた 125 文に対して、最小単位の書き換えへの分解を行い、計 217 件の書き換え事例を獲得した。書 き換えをプロトタイプの方略体系（表層的方略およ び内容的方略）を用いて分類し、分類できない事例 があった場合には体系を修正した。

## 3 平易化方略体系

## 3.1 表層的方略

表 1 に表層的方略の大分類と中分類を示す。大分類は、操作の観点から置換、削除、追加、統合、分割、移動、変化なしの 7 種類に分かれる。変化な し以外は、操作対象の観点から細分化した中分類を 持ち、合計で 21 の中分類に分かれる。置換、削除、追加に関しては、対称性を持たせるために、同一の 対象群（記号、語、語句、節、文）を中分類として 設定した ${ }^{6)}$ 。以下、大分類ごとに説明する。

置換 難解文と平易文で対応が取れる場合は置換とする。例えば図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important は置換である。ま た置換される対象が句の場合は主要部が変化する という条件が加わる。よって video games $\rightarrow$ games は置換ではないが playing video games $\rightarrow$ video games は置換である。

削除 難解文に平易文と対応の取れない部分が ある場合は削除とする。また対応が取れた場合で も、書き換え前の従属部がなくなっているだけの場合は削除とする。例えば video games $\rightarrow$ games は削除である。

追加 平易文に難解文と対応が取れない部分があ る場合は追加とする。また対応が取れた場合でも、書き換え後に従属部が追加されているだけの場合 は追加とする。例えば animals $\rightarrow$ small animals は追加である。

統合 複数の難解文がそれより少ない数の平易文と対応を取れた場合は統合とする。しかし、文 の主要部が含まれない場合は統合とはみなさない。 つまり、難解文の 2 文 In video games, working hard is not enough. You have to be smart, too. が平易文の 1 文 In video games, you also have to be smart. と対応の取れ た場合は難解文の前者の主要部 working hard is not enough が含まれていないため、統合ではない。この 場合は難解文の前者は文レベルで削除され、後者に

6）なお、記号置換と記号追加は分析事例中に存在しなかった。
表 1 表層的方略体系と検証用事例の分類結果

in video games を追加したという 2 ステップの書き換 えとして、移動とはみなさない。

分割 難解文の 1 文が 2 文以上の平易文と対応の 取れた場合は分割とする。分割の際に必然的に伴う 変更（主語の補完など）も分割操作に含める。

移動 文中で語順が変わる場合と文書内で文の位置が移動する場合は移動とする。

変化なし 難解文と平易文が同一の時は变化な しとする。

## 3.2 内容的方略

表 2 に内容的方略の大分類と中分類を示す。内容的方略は大分類として意味変化なし、内容削除、内容追加、内容変更、文書レベル調整の 5 種類に分か れる。それぞれが中分類を持ち、合計で 30 の中分類に分かれる。以下、大分類ごとに説明する。

意味変化なし 書き換えによって意味が変化しな い場合は意味変化なしとする。例えば、文頭の接続詞を副詞にするなど文法的により正しい標準的な表現に変更する場合（e.g. but $\rightarrow$ however）や難解文と 平易文が同一の場合は意味変化なしに分類する。な お、類義語へ言い換える場合や代名詞を参照先の表現に言い換える場合、意味は変化するとして内容変更に分類する。表 2 内容的方略体系と検証用事例の分類結果

内容削除 書き換えによって内容が削除される場合は内容削除とする。例えば、修飾要素が削除され る場合（e.g. the delicious pizza $\rightarrow$ the pizza）や図 1 の shows you that $\rightarrow$ shows that の書き換えは内容削除に 分類される。中分類の主要情報の削除は人手の分析 データ中には存在しなかったが、TS システムの出力を扱うために追加した項目である。

内容追加 書き換えによって内容が追加される 場合は内容追加とする。例えば、後に記述される 内容の理解を促す前置きを追加する場合 (e.g. $\phi$ $\rightarrow$ Chocolate chip cookies seem like they've been around forever.) や記述された内容についての補足説明を追加する場合 (e.g. $\phi \rightarrow$ A billion is a thousand million.) を含む。

内容変更 書き換えによって内容が変化する場合は内容変更とする。例えば、冗長性を排した簡潔な表現に変更する場合 (e.g. a plant called the coca plant $\rightarrow$ the coca plant) や図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important $の$ 書き換え は内容変更に分類する。
表 3 システム（Transformer モデル）の出力例と人手参照文

 \\
参照文 1 &  \\

出力 2 & to succeed in video games, you can not just work harder . \\
参照文 2 & In video games, working harder is not enough. \\

出力 3 & they give you many different ways of dealing with problems. \\
参照文 3 & They give you lots of different problems with several solutions.

文書レベル調整文の位置が文書内で移動する場合や他の書き換えの影響で変更が生じる場合（e.g.前の文が削除されたことで参照するものが不明に なった代名詞を参照先の表現に言い換える場合) は文書レベル調整とする。

## 4 人手事例とシステム出力の比較

構築した平易化方略を用いて、人手事例と TS シ ステム出力の予備的な比較分析を行う。TS システ ムのモデルは Transformer のみを対象とし、2.2 節で 用いた 166 文を検証対象文とする。比較のため、人手事例もこの 166 文に限定した。また最小単位の書 き換えを事例とするだけでなく、書き換えが生じな かった文もそれぞれ 1 事例とした。表 1 と表 2 に、人手事例とシステム出力の事例数の統計を示す。

## 4.1 表層的方略

表 1 から、システムは追加、統合、分割、移動が ほとんどできていないことがわかる。また、システ ムの主な方略は削除であり、特に節削除を多く行っ ていることがわかる。これは、文単位でのみ対応付けられた学習データの構造に起因すると考えら れる。例えば、原文 I bought an apple and ate it. が人手事例では I bought an apple. と I ate it に分割された とする。現在の学習データでは、原文に対して、2 つの文が別々にアライメントされている。これによ り、表 3 の出力 1 のように人手の場合には分割する ような文に対して TS システムが大幅な削除を行っ ている可能性がある。

また、置換の方略については、語や語句を対象と したものが多いことがわかる。表 3 の参照文 2 のよ うな比較的大きな変化を、システムではうまく学習 できておらず、局所的な書き換えに留まる。

## 4.2 内容的方略

表 2 から、システムは意味変化なし>構造の変換の事例数が、人手と比べて少ないことがわかる。人手事例では、構造の変換は主に分割によるものが 多く、先にも述べたように、システムは分割操作を 十分学習できていない。

それに対して、内容削除の件数は多い。ただし、 これらの削除が平易化の観点から妥当であるかは不問としている。システムのみに存在する、内容削除 $>$ 主要情報の削除の事例は、表層的方略の節削除と も対応した、大幅な削除操作である。表 3 の出力 1 は、文単位では情報を簡略化した事例ともみなせる が、文書全体を考慮すると情報が削除されすぎてい る。現在は、平易化方略に含めてはいるが、本来は エラーとみなすべきものある。

システムは内容追加がほとんどできていない。表 3 の参照文 1 の $\phi \rightarrow$ To find out whether other animals laugh and play のように、内容追加のためには文脈情報が必要となる場合は多い。今回使用したモデル は、文脈を考慮しない手法であるため、このような 書き換えは原理的に難しい。

内容変更>類義語への言い換えは比較的件数が多 い。表 3 の出力 3 の、lots of $\rightarrow$ many のような局所的 な書き換えはある程度できていることがわかる。し かし、説明的な表現への言い換えなどの外部知識を 使うような高度な内容変更はできていない。

## 5 おわりに

本研究では人手で平易化されたテキストとテキス 卜平易化システムの出力を分析し、表層的方略と内容的方略の 2 つの軸からなる平易化方略体系を構築 した。体系構築に利用した事例を用いて、人間と機械の平易化事例を予備的に分類し、方略体系がシス テムの分析的評価の枠組みとして利用できることを 確認した。今後は複数の TS システムを対象に、未知のデータを用いて本評価を行う予定である。そし て、現在のテキスト平易化技術の限界と可能性を緻密に見極めながら、技術の改良を目指す。

## 謝辞

本研究は科研費（課題番号：19K20628, 19H05660）

および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。 Newsela からニュース記事のコーパスを提供いただ いた。

## 参考文献

[1] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[2] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Institute for Simulation and Training, No. 56, 1975.

[4] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 162-173, 2018.

[5] 加藤汰一, 宮田玲, 佐藤理史. 説明文を対象と した日本語文末述語の平易化. 情報処理学会論文誌, Vol. 62, No. 9, pp. 1605-1619, 2021.

[6] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, 2021.

[7] Lijun Feng. Text simplification: A survey. The City University of New York, Technical Report, 2008.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Cross-sentence transformations in text simplification. In Proceedings of the 2019 Workshop on Widening NLP, pp. 181-184, 2019.

[9] Mitkov Ruslan and Štajner Sanja. The fewer, the better? A contrastive study about ways to simplify. In Proceedings of the Workshop on Automatic
Text Simplification - Methods and Applications in the Multilingual Society, pp. 30-40, 2014.

[10] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[11] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, Online, 2020.

[12] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Proceedings of the $\mathbf{2 0 1 7}$ Conference on Empirical Methods in Natural Language Processing, pp. 584-594, 2017.

[13] Renliang Sun, Zhe Lin, and Xiaojun Wan. On the helpfulness of document context to sentence simplification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1411-1423, 2020.
 山口大地 ${ }^{1}$ 島田紗裕華 1 宮田玲 ${ }^{2}$ 佐藤理史 ${ }^{2}$ 1 名古屋大学工学部 2 名古屋大学大学院工学研究科 yamaguchi.daichi@c.mbox.nagoya-u.ac.jp  