# 単語の難易度埋め込みを用いた日本語のテキスト平易化

柳本 大輝 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科
\{yanamoto@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp

## 概要

本研究では、系列変換モデルの埋め込み層を拡張 し、単語埋め込みに加えて単語の難易度埋め込みを 用いることで、日本語のテキスト平易化の性能を改善する。日本語のテキスト平易化のために利用可能 な文の難易度付きパラレルコーパスが存在しないた め、英語の先行研究のように語や文の難易度を考慮 したテキスト平易化を日本語で実現することは難し い。提案手法では、2,000 単語からなる基礎語彙に 注目し、入力単語が平易か否かを考慮する。やさし い日本語コーパスにおける実験の結果、提案手法は 積極的に平易な表現を出力する傾向が見られた。

## 1 はじめに

日本における在留外国人数は年々増加傾向にあ り、その数は今や 290 万人 ${ }^{1) を}$ 超えている。さらに、在留外国人の国籍の多様化も進んでおり、在留外国人の国籍および出身地域の数は約 200 種類 ${ }^{2}$ であ る。そのため、在留外国人をはじめとする日本語非母語話者への情報伝達の際に、各人の母語へ翻訳す ることは困難である。また、2010 年の調査 [1] では、日常生活に困らない言語として日本語を挙げた在留外国人は約 $62 \%$ であり、英語や中国語を大きく上回 ることが報告されている。そこで、緊急時の情報発信や平時の生活情報案内など、様々な場面において やさしい日本語3)での情報提供が推奨されている。

やさしい日本語などの制限言語の生成は、テキス ト平易化 [2] の技術による自動化が期待されている。 テキスト平易化では、文の意味を保持したまま、難解な文を平易に変換する。近年は、テキスト平易化 を同一言語内の機械翻訳の問題として捉え、難解文 と平易文の対からなるパラレルコーパス [3] を用い て系列変換モデルを訓練するアプローチ [4-6] が主

1) https://www.moj.go.jp/isa/content/001381744.pdf

2) https://www.moj.go.jp/isa/publications/press/ 13_00028.html

3）語彙や文法を制限した初学者にも理解しやすい日本語流である。この技術を用いて、所与の日本語文をや さしい日本語へ自動的に変換する日本語のテキスト 平易化の研究 [7-11]が行われている。

しかし、テキスト平易化の多くの先行研究 $[3-5$, 10-14] は、機械翻訳などで用いられる標準的な系列変換モデルを適用し、テキスト平易化タスクの特徴 である難易度を充分に考慮していない。多段階の文 の難易度が付与されたパラレルコーパス $[3,5,15]$ を 利用可能な状況では、難易度を考慮した手法 [16-18] も提案されているが、日本語を含む英語以外の言語 には、そのようなコーパスは存在しない。

日本語には文の難易度が付与されたコーパスは 存在しないものの、単語の難易度が登録された辞書 [19] は複数存在する。そこで本研究では、単語の 難易度を考慮した日本語のテキスト平易化手法を 提案する。提案手法では、やさしい日本語コーパ ス [7-9] に付属の基礎語彙を使用し、Transformer [20] に基づく系列変換モデルにおいて単語埋め込みに 単語難易度の情報を組み込む。やさしい日本語コー パスにおける評価実験の結果、単語難易度の考慮に よってテキスト平易化の性能を改善できた。

## 2 関連研究

テキスト平易化によって、言語障害を持つ人々や 子どものテキスト読解支援 [21-23] および言語学習効率の向上 [24] などの効果が期待できる。ただし、子どもや言語学習者の言語能力は年齢や学習期間な どの影響を受け、複数の段階を持つ。そのため、対象読者を想定してテキストの難易度を制御する手法 が近年盛んに研究されている。

文レベルの難易度を考慮する先行研究では、目標難易度を特殊トークンとして入力文の文頭に付加す る手法 [16] や、出力文の推定難易度と目標難易度の 誤差最小化の訓練を行う手法 [18] が提案されてい る。単語レベルの難易度を考慮する先行研究では、目標難易度の文中で出現しやすい単語の出力を促す 手法 [17] や、難解な文中で出現しやすい単語を出力

図 1 提案手法の概要

しないように強制する手法 [25] が提案されている。 しかし、これらの先行研究では、難易度を考慮す るモデルを訓練するために、多段階の文の難易度が 付与されたパラレルコーパス $[3,5,15]$ を必要とす る。このようなパラレルコーパスは英語以外の言語 では使用できないため、日本語においては難易度を 考慮するテキスト平易化モデルを構築できない。

## 3 前提知識

## 3.1 やさしい日本語コーパスと基礎語彙

日本語のテキスト平易化のための言語資源とし て、やさしい日本語コーパス [7-9] がある。これは、 8.5 万文の日本語文を人手で平易化した日本語のテ キスト平易化のためのパラレルコーパスである。原文は、日英対訳コーパスである田中コーパズ)から 選択されている。このうち、 5 万文対 ${ }^{5}$ は日本語母語話者の大学生によって平易化され、残りの 3.5 万文対6) はクラウドソーシングによって雇用された日本語母語話者によって平易化されたものである。日本語のテキスト平易化の先行研究 $[10,11]$ では、や さしい日本語コーパスを用いて Transformer [20] に 基づくテキスト平易化モデルが構築されている。 やさしい日本語コーパスの作者らは、やさしい日本語として、2,000 単語からなる基礎語彙7)を選定 している。平易化の際には、記号や固有名詞は例外

4) https://github.com/odashi/small_parallel_enja

5) https://www.jnlp.org/GengoHouse/snow/t15

6) https://www.jnlp.org/GengoHouse/snow/t23

7) https://www.jnlp.org/GengoHouse/list/語彙
としつつも、基本的にはこの基礎語彙のみを用い て原文を言い換えている。なお、この基礎語彙は、 UniDic の単語分割基準に従っている。

## 3.2 系列変換モデルと追加特徴量

ニューラル機械翻訳などの深層学習に基づく系列変換モデルの性能を改善するために、埋め込み層に 追加の特徴量を組み込む手法 [26] が提案されてい る。この手法は、品詞タグや係り受けラベルなど、単語埋め込みにおいて明示的に考慮されていない言語的特徵を考慮するために提案されたものである。具体的には、各特徴量に対してそれぞれ特徴べクト ルを作成し、それらを単語埋め込みと連結する。

## 4 提案手法

本研究では、単語の難易度を考慮して日本語のテ キスト平易化に取り組む。 3.2 節で説明した単語埋 め込みにおける追加特徴量を用いて、ある単語が 3.1 節の基礎語彙に含まれるか否かの情報を考慮す る。本手法では、基礎語彙に含まれる単語の生成お よび入力文中の基礎語彙に含まれる単語の出力への 保持を促進し、入力文中の基礎語彙に含まれない単語の出力を抑制することが期待できるため、テキス ト平易化の性能改善が見込める。

提案手法の概要を図 1 に示す。提案手法では、言語学的特徵を考慮する機械翻訳 [26] から着想を得 て、系列変換モデルのエンコーダおよびデコーダに おいて、通常の単語埋め込み層とは別に、新たに 難易度埋め込み層を用意する。難易度埋め込み層
表 1 実験結果

は、ある単語が基礎語彙に含まれるか否かで 2 種類の埋め込みを生成する役割を担う。入力された 単語およびその難易度について、それぞれ異なる 埋め込みを作成し、それらを連結して系列変換モ デルに与える。つまり、エンコーダは単語の系列 $X=\left(x_{1}, \ldots, x_{m}\right)$ と難易度の系列 $G=\left(g_{1}, \ldots, g_{m}\right)$ を 読み込み、エンコーダへの入力埋め込みは

$
E_{\text {enc }}=W x_{i} \| F g_{i}
$

となり、デコーダは推定単語の系列 $\hat{y}=\left(\hat{y}_{1}, \ldots, \hat{y}_{n}\right)$ と推定難易度の系列 $\hat{g}=\left(\hat{g}_{1}, \ldots, \hat{g}_{n}\right)$ を読み込み、デ コーダへの入力埋め込みは

$
E_{\mathrm{dec}}=W \hat{y}_{i} \| F \hat{g}_{i}
$

となる。

ここで、\|はベクトルの連結、 $E$ は $d_{\text {model }}$ 次元の ベクトル、 $W \in \mathbb{R}^{V_{\text {word }} \times d_{\text {word }}}$ および $F \in \mathbb{R}^{V_{\text {grade }} \times d_{\text {grade }}}$ は 単語埋め込み行列および難易度埋め込み行列であ り、 $V$ は語彙サイズ、 $d$ は次元数である。

また、デコーダは、Softmax 層の直前に単語出力用および難易度出力用の 2 つの線形変換層を持つ。 これらの単語出力層および難易度出力層の次元はそ れぞれの埋め込み次元数と一致している。デコーダ の出力は、単語埋め込み次元とそれ以降の次元の 2 つに分かれ、それぞれの出力層に入力される。

単語難易度は、やさしい日本語コーパスにおけ る 2,000 単語の基礎語彙に基づくが、頻出する記号 （句読点、感嘆符、疑問符、括弧）は充分に平易だ と考元、基礎語彙に含めた。図 1 の例では、単語 $x_{i}$ が基礎語彙に含まれる場合は $g_{i}$ として「O」を、単語 $x_{i}$ が基礎語彙に含まれない場合は $g_{i}$ として「X」 を、それぞれ単語難易度として入力している。

## 5 評価実験

提案手法の有効性を検証するために、やさしい日本語コーパスおよび基礎語彙を用いて、日本語のテ キスト平易化の評価実験を行う。

## 5.1 実験設定

データ 本実験では、日本語のテキスト平易化の ためのパラレルコーパスであるやさしい日本語コー
パス [7-9] を使用した。難解文に対して 7 種類の平易文が付与されたマルチリファレンスの 100 文対を 評価データ、その他のシングルリファレンス部分か ら無作為抽出された 2,000 文対を検証データ、残り の 82,300 文対を訓練データとして使用した。

前処理として、難解文および平易文には $\mathrm{Mecab}^{8)}$ [27] による単語分割を行った。基礎語彙と単語分割基準を合わせるために、Mecab の辞書 には UniDicを使用した。

モデルテキスト平易化モデルには Transformer [20] を使用し、Sockeye ${ }^{9)}$ [28]を用いて実装し た。モデルの構成は、層数を 6 層、自己注意機構の ヘッド数を 8、埋め込み次元数を 512、全結合層の 次元数を 2,048 とした。提案手法では、 500 次元を 単語埋め込み、12 次元を難易度埋め込みに割り当 て、それらを結合して 512 次元の埋め込みをモデル に入力した。また、エンコーダおよびデコーダの単語埋め込み層と Softmax 層直前の線形変換の 3 つの パラメタを共有した。

訓練時には、バッチサイズを 4,096 トークンとし、最適化手法として Adam [29] $\left(\beta_{1}=0.9 、 \beta_{2}=0.98 ）\right.$ を使用した。初期学習率は 0.001 に設定し、学習率 スケジューリングとして plateau-reduce を使用した。 また、200 ステップごとに検証用データにおいて SARI [30]を評価し、10 回連続で改善が見られない 場合に訓練を終了する early-stopping を採用した。

評価評価には、テキスト平易化タスクで一般的 に用いられている BLEU [31] および SARI [30] の自動評価指標を使用した。BLEU は、出力文と参照文 を比較し、単語 n-gram の一致度を評価する。SARI は、入力文・出力文・参照文を比較し、単語 n-gram の追加・保持・削除の 3 つの編集操作の適切さを評価する。BLEU および SARI の計算には、自動評価 パッケージである $\operatorname{EASSE}^{10)}$ [32]を使用した。なお、詳細な分析のために、SARIにおける各編集操作の F 値も確認する。

表 2 出力例（太字は基礎語彙に含まれる単語）

 &  \\

また、平易性に関する自動評価として、出力文中 の基礎語彙の割合を算出する。この割合が高くなる と、テキスト平易化モデルは基礎語彙、つまり、や さしい日本語をより多く出力できたと考えられる。参照文における基礎語彙の割合は $73.13 \%$ であった。

## 5.2 実験結果

表 1 に実験結果を示す。シード値を変更しつつ 5 回の実験を行い、その平均値によってテキスト平易化モデルの性能を評価した。提案手法は、ベース ラインと比較して BLEU が 0.04 ポイント、SARI が 0.12 ポイント、それぞれ向上した。語句の追加・保持・削除の編集操作に関しては、特に追加の操作に おいて、ベースラインと比較して 0.32 ポイントと 大きな改善が見られた。基礎語彙の割合について も、提案手法はベースラインを上回った。追加操作 （add）が向上していることと併せて、提案手法は基礎語彙に含まれる単語を積極的に用いて書き換えを 行っていると考えられる。

## 5.3 定性評価

各モデルによる生成文の例を表 2 に示す。上段の 例では、入力文中の「不意」と「来客」の 2 単語が 基礎語彙に含まれていない難解語であり、ベースラ インおよび提案手法のどちらもこの 2 単語を書き換 えた。「来客」については、両モデルとも基礎語彙 に含まれている「客」に書き換えることができた。一方で、「不意」については、ベースラインは「思 わ」「ない」の 2 単語、提案手法は「偶然」に書き換 えた。ベースラインの出力した「思わ」は基礎語彙 に含まれていないが、提案手法は基礎語彙に含まれ る「偶然」を出力できた。

下段の例では、入力文中の「熱心」が基礎語彙に 含まれていない難解語であり、両モデルともこの単語を含む「熱心」「に」の 2 単語に対して書き換えを 行った。上段の例と同様に、提案手法の出力である 「集中」は基礎語彙に含まれており、ベースライン
の出力である「頑張っ」は含まれていない。これら の出力例で確認できるように、提案手法は単語の難易度を考慮しないベースラインよりも、入力文中の 難解な表現を基礎語彙を用いる平易な表現に積極的 に書き換える傾向がある。

## 6 おわりに

本研究では、やさしい日本語コーパスにおける基礎語彙を用いて、単語の難易度を考慮したテキスト 平易化手法を提案した。提案手法では、系列変換モ デルのエンコーダおよびデコーダの埋め込み層を拡張し、単語埋め込みおよび難易度埋め込みの組み合 わせとして表現した。やさしい日本語コーパスにお ける評価実験の結果、提案手法は積極的に平易な表現を出力し、全ての自動評価指標において比較手法 を上回る性能を達成した。

今後の課題として、他の単語難易度辞書を用い て、提案手法によるテキスト平易化モデルの性能向上に取り組みたい。例えば、梶原ら [19] の単語難易度辞書 ${ }^{11}$ では、各単語に初級・中級・上級の 3 段階 の難易度を付与しているため、より詳細な難易度の 情報を得られる可能性がある。また、英語の単語難易度辞書 ${ }^{12)}[33]$ を用いるなど、提案手法の他の言語 への適用にも取り組みたい。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）の助成を受けたものです。

## 参考文献

[1] 岩田一成. 言語サービスにおける英語志向 : 「生活 のための日本語: 全国調査」結果と広島の事例から.社会言語科学, Vol. 13, No. 1, pp. 81-94, 2010.

[2] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

11) https://github.com/Nishihara-Daiki/lsj

12) https://github.com/mounicam/lexical_simplification

[3] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[4] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[5] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[6] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[7] 山本和英, 丸山拓海, 角張竜晴, 稲岡夢人, 小川耀一朗,勝田哲弘, 高橋寛治. やさしい日本語対訳コーパス の構築. 言語処理学会第 23 回年次大会, pp. 763-766, 2017.

[8] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Proc. of LREC, pp. 1153-1160, 2018.

[9] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Proc. of LREC, pp. 461-466.

[10] 中町礼文, 梶原智之. 事前訓練済み系列変換モデルに 基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, pp. 607-608, 2021.

[11] 畠垣光希, 梶原智之, 二宮崇. やさしい日本語へのテ キスト平易化のための訓練データの精選. 第 21 回情報科学技術フォーラム, pp. 293-300, 2022.

[12] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[13] Sanja Štajner, Hannah Béchara, and Horacio Saggion. A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation. In Proc. of ACL, pp. 823-828, 2015.

[14] Tomoyuki Kajiwara and Mamoru Komachi. Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings. In Proc. of COLING, pp. 1147-1158, 2016.

[15] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[16] Carolina Scarton and Lucia Specia. Learning Simplifications for Specific Target Audiences. In Proc. of ACL, pp. 712-718, 2018.

[17] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proc. of ACL-SRW, pp. 260-266, 2019.

[18] Daiki Yanamoto, Tomoki Ikawa, Tomoyuki Kajiwara, Takashi Ninomiya, Satoru Uchida, and Yuki Arase. Controllable Text Simplification with Deep Reinforcement Learning. In Proc. of AACL, pp. 398-404, 2022.

[19] 梶原智之, 西原大貴, 小平知範, 小町守. 日本語の語彙平易化のための言語資源の整備. 自然言語処理, Vol. 27, No. 4, pp. 801-824, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[21] John Carroll, Guido Minnen, Yvonne Canning, Siobhan Devlin, and John Tait. Practical Simplification of English Newspaper Text to Assist Aphasic Readers. In Proceedings of the Workshop on Integrating Artificial Intelligence and Assistive Technology, pp. 7-10, 1998.

[22] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[23] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[24] Sarah E Petersen and Mari Ostendorf. Text Simplification for Language Learners: A Corpus Analysis. In Proceedings of the Workshop on Speech and Language Technology in Education, pp. 69-72, 2007.

[25] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019 .

[26] Rico Sennrich and Barry Haddow. Linguistic Input Features Improve Neural Machine Translation. In Proc. of WMT, pp. 83-91, 2016.

[27] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[28] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast Neural Machine Translation with PyTorch. arXiv:2207.05851, 2022.

[29] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[30] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[31] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[32] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP, pp. 49-54, 2019.

[33] Mounica Maddela and Wei Xu. A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification. In Proc. of EMNLP, pp. 3749-3760, 2018.
 柳本 大輝 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 \{yanamoto@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp  