# 疑似データを用いた GPT-2 による日本語文章の多段階平易化

郷原聖士 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$
1 静岡大学情報学部
}

gobara.seiji.21@shizuoka.ac.jp, \{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp
## 概要

現在，我々は常纪新しい情報を取捨選択する情報社会で暮らしているが，それらの情報の内，多くは ある程度習熟した成人が対象の文書である。した がって，まだ文書を理解するための知識が不足して いる子供や留学生などの非母語話者にとって，それ らの情報を理解して生活に役立てるのは難しいとい う問題がある。そこで我々は，一般向けの文書を利用者の日本語理解度に応じて適切な難易度の情報に 変換するための日本語の機械学習モデルを疑似デー タによって作成した. 自動評価実験において, 目標 とする難易度沈じて平易化文に難易度差を付与で きていることが評価指標から示唆されたが，人手評価実験においては有意な結果は得られなかった。

## 1 はじめに

テキスト平易化は，難解な文章から同一の意味を 保持しつつも平易な文章へと変換させる, 自然言語処理におけるテキスト生成タスクの一つである.

関連研究には, English Wikipedia と Simple English Wikipedia のパラレルコーパス (EW-SEW) を用いた 統計的機械翻訳による手法 [1][2] やニューラル機械翻訳による手法 [3][4]がある。

統計的機械翻訳による手法は，分割，削除，並び 替兄，置換を総合的にカバーする一方で，EW-SEW のような大規模のパラレルコーパスが必要であり， そのような資源のない言語以外にそのまま適用出来 ない.ニューラル機械翻訳氾よる手法は，統計的機械翻訳と同様に EW-SEW のような大規模の平易化用データセットを用いて難解な文と平易な文のぺア を学習することで系列変換を行う注意機構を組み 込んだシステムを構築し，高精度の平易化を実現し た. また，近年では平易化用の大規模データセット が存在しない言語を対象に，疑似的な平易化用デー タセットを構築することで平易化を実現する手法 [5] が提案されているが，いずれも平易化後の文章
の難易度は考慮されていないという課題がある。

日本語においては，中町ら [6] が事前学習済み系列変換モデルにやさしい日本語対訳コーパス [7][8] を用いて平易化を実現している。最近では,コーパ スベースの手法 [3][6] が多く，ターゲットの難易度 は学習データに依存している。一方で平易化のター ゲット文は多様であり，ユーザーに合わせて難易度 を調節できた方が望ましい。

英語の平易化の研究におけるターゲット文の難易度には，EW-SEW をべースにした難解文から平易文へと変換を行う二段階の平易化が用いられて きたが，Xu ら [9] は，文章の複雑さを測定して，生徒の読解力を評価するために広く用いられている Lexile $^{1)}$ の下で 11 段階の難易度付きパラレルコーパ ス Newsela を構築した. Newsela を用いて難易度う ベルを入力文の文頭に付与した上で学習すること で，生成するテキストの多段階な難易度制御を実現 する手法 [10]，その手法をべースに目標の難易度に 適した単語を出力するため，単語の分散表現を拡張 した素性の利用や，ハード・ソフトな語彙制約を課 す手法 [11], 語彙レベルや文長などの文章中の特徴量に着目して生成文を制御する手法 [12] がある.

上記のように，英文の多段階平易化に関する研究 は盛んだが，和文を対象とする多段階平易化に関す る研究は少ない. この背景には, 日本語の多段階平易化のためには Newsela のような難易度付き大規模 データセットが新たに必要だが，構築には莫大なコ ストがかかるという問題がある。

そこで本研究では，言語資源の少ない日本語の平易化用のデータセットを補うために，やさしい日本語対訳コーパスを用いてファインチューニングした GPT-2 ベースの平易化モデルと，BERT(Bidirectional Encoder Representations from Transformers) ベースで 作成した難易度推定器を組み合わせることで疑似的な難易度付きパラレルコーパスを構築した. その 後, Alessio ら [5] や Eriguchi ら [13] と同様にして,

1) https://lexile.com

図 1 多段階平易化用疑似データセットの作成

任意の X-Y 方向の多言語機械翻訳を任意の X-Y 方向 の多段階平易化と見なし， GPT- 2 モデルに疑似デー タセットでファインチューニングした 5 つのモデル を組み合わせて多段階平易化システムを構築した。

## 2 手法

## 2.1 難易度推定器

郷原ら [14] と同様に, 東北大学乾研究室が公開 している日本語の大規模モデル BERT2)をべースに ファインチューニングして難易度推定器を作成し た.なお，文単位の難易度推定を実施するにあたっ $\tau$, 先行研究 [10][11] と同様に, 文の難易度はその 文が含まれる文書の難易度と同一のものであるとい う仮定の下で正解データの作成を行った。

## 2.2 疑似データセット構築

疑似データセットを構築する手段を図 1 亿記述す る. (i) やさしい日本語対訳コーパス [7][8] に含まれ ている日本語の平易化文対を用いて rinna 社の公開 している事前学習済み日本語 GPT-2 モデル3)をファ インチューニングし, 平易化モデルを構築する. (ii)rinna 社の事前学習済み日本語 GPT-2 モデル 4 ) に おいて，日本語辞書が持つ語彙の内，日本語であり 文頭に適切と思われる文字や語彙から始まるトーク ンをプロンプトに入力し， 100 文字を上限に文を生成する. (iii) (ii) で生成した各文を (i) で構築したモ デルに入力し，疑似的な平易化文対を得る。(iv) 2.1 節で述べた手法で難易度推定器を構築する。(v) (iii) の平易化文対に対して，(iv) で作成した難易度推定器によって文の難易度を疑似的に付与する。

2) https://github.com/cl-tohoku/bert-japanese

3) https://huggingface.co/rinna/japanese-gpt2-medium

4) https://huggingface.co/rinna/japanese-gpt-1b ここで，(iii)での平易化は一段階のため，同じ文 に対して複数回平易化を適用しても，明確な差異の ある平易化文対を得るのは難しい．そこでランダム に生成された文に対する平易化文を十分な規模で収集し, 同じ難易度帯に変換する文対毎にデータセッ トを構築することで，段階的な平易化を実現する。

## 2.3 疑似データセットのフィルタリング

2.2 節で作成したデータセットにおいて，平易化前後で文の難易度が変化しない文対や同義性が保 たれないノイズとなるような文対が存在していた。 そこでノイズとなる文対を除去するために，データ セットの中から難易度が変化する文対のみを抽出す る. さらに同義性を一定レベルで担保するために, 3.3 節で後述する BERTScore を計算した. 生成した 平易化文全体の内，BERTScore が上位 $50 \%$ の文対は ある程度の同義性を保っている一方，上位 50\%-75\% の文対は同義性が保たれている文対とやや意味が異 なっている文対が含まれていた. また, BERTScore が下位 $25 \%$ の文対に関しては，多くが意味の異な る文対になっていた。ここで，Newsela[9] などを用 いた先行研究 [10][11][12] では, 各難易度に対して 数万文対のデータセットを用いていたため, 本研究でも同程度の文対を確保するために，生成文と BERTScore のバランスを鑑みて，BERTScore が上位 75\%の文対を抽出した. なお，BERTScore が上位 $75 \%$ の文対を抽出するための閾値は 0.710 であった.

## 3 実験設定

## 3.1 データセット

難易度推定器作成にあたって，データセットには 現代日本語書き言葉均衡コーパス (BCCWJ)[15] に含

まれている日本語教科書コーパス及び図書館サブ コーパスの文書中から無作為に文を抽出し, 訓練,開発，評価データをそれぞれ 236,773 件，28,921 件， 29,381 件に分割した. なお，正解値は，日本語教科書コーパスの対象学年である小学校低学年, 中学年，高学年，中学校，高校及び図書館サブコーパス 中の「やや専門的な一般向き」に相当する一般の 6 段階に設定した.

疑似データセットの作成にあたって，rinna 社の 公開している GPT-2 モデルにおいて, max_length と min_length は 100 に設定し, top_k=500, top_p $=0.95$ に した上で文章生成を行った. なお, 文章生成は日本語辞書に登録されている単語から，絵文字などの文頭に付与する単語には不適切であると考えられる 単語をノイズとして除去した上でサンプリング抽出した 1 単語をプロンプトに与え, 続く単語列を推測させる形で行った. その後, 生成した文章から句点区切りで文を抽出し, 平易化する前の文とした.平易化前後の文の一部には, 文法的に正しくても意味的には不自然な文が存在していたが，本研究で は，語彙的換言や複雑な文構造の簡単化などを段階的に行うことが目的であるため, 正常な文とし て許容した. 上記生成文を 100 万文，200万文ずつ 作成し, 難易度推定器の推定值に差がある文対の みをそれぞれ抽出した (以下，本設定を model-100 及び model-200 と呼ぶ. 以降も同様にする).また,開発データにおいて性能がより高かった model-200 の学習データに対して，BERTScore によるフィルタ リングを行ったモデルも作成した (model-200-bert). ここで，得られた難易度差のある文対の訓練デー タは model-100, model-200, model-200-bert それぞれ 337,413 件，674,699 件，487,980 件であり，開発デー タ及び評価データは 1,000 件とした.

## 3.2 モデル

rinna 社の公開している GPT-2 モデルを，3.1 で作成した多段階平易化のための疑似データセットを 用いてファインチューニングを行った. なお，モ デルは huggingface のライブラリ5)を用いて実装を 行った．また，本研究では，想定する難易度を 6 段階 (0-5) に設定したため, 最高難易度 (5) からそれ以下の 5 段階の難易度 (0-4)への平易化モデルを構築 した.


## 3.3 評価指標

実装したモデルが段階的に文の難易度を易しく変換出来ているかを評価するために，2つの自動評価指標と人手評価を用いた。

自動評価のための評価指標には, BERTScore[16]及び平均推定難易度を用いた. BERTScore は，翻訳 や文書生成のタスクにおいてしばしば用いられる指標であり，BERT を用いて文書と参照文の類似性を 評価することが出来る. 平均推定難易度は, 文の難易度を制御して平易化する場面において用いられる 指標であり [11], 英語においては, FKGL[17] や平均 PMI(Pointwise Mutual Information) が用いられている.一方で, 本研究では日本語を対象であり, 人手で作成された多段階平易化のための評価用データセット はほとんど存在せず，単に英語と同様の手法を用い ても言語の不一致によって正しく性能を図ることは 困難である. そこで本研究では，文単位の難易度推定器を作成し, 難易度推定器の推定した平均難易度值を評価指標に用いた。ここで，作成した難易度推定器の妥当性を検証するため，既存の日本語用の文章難易度システム (JReadability.net ${ }^{6)}$ ，帯 [18])を用い て評価データからサンプリングした 200 文の推定難易度を求め, BERT ベースの難易度推定器の推定値 との相関係数を求めた。

人手評価では，先行研究 [10][11]を元にして，各難易度に相当する文及び各段階に相当する流暢性 や同義性の破綻具合を表す文を示した上で，文の同義性 (synonymity) ・平易化前後の難解性 (difficulty_o, difficulty_s)・流暢性 (fluency) の 4 項目の評価をクラ ウドワーカーに委託した。 なお，各項目は難易度推定器の段階に合わせて 0 から 5 までの 6 段階 (5 が 最良)に設定し，作成した平易化モデル毎に 30 問 ずつ評価用データセットから無作為に抽出し, 各段階で異なる 100 文ずつの回答が得られるようにし て平均難易度を求めた. ここで，少しでも多くの文 に対するアノテーションを行うべく 20 人のクラウ ドワーカーに依頼して，一文あたり少なくとも 6 回答が得られるようにそれぞれのワーカーに異なる データセットを作成した. その後, 得られたデータ セットの内，20人のワーカー間においてそれぞれ共通の回答が得られた文に対する順序尺度における 重み付けの指標 QWK(Quadratic Weighted Kappa)を 求めた. その後, 平均 QWK の中でも難解性につい

6) https://jreadability.net/
表 1 難易度推定器の評価結果

pred-bert

MAE Pearson Spearman Acc. F1

表 2 既存難易度推定システムとの相関

ては，0.039-0.372 程度と極めて低い数値であったた め，ワーカー間の一致度を向上させるべく，各ワー カーにおける QWK の平均值が 0.16 以下であるワー カーのデータを除去した. また，アノテーションミ スなどの実験不備のあるデータを除去することで，全 3,000 件のデータの内 2,249 件を人手評価の対象 とした.

## 4 実験結果と考察

## 4.1 難易度推定

表 1 及び表 2 に難易度推定器の評価実験結果を 示す. 表 1 では，それぞれ平均絶対値誤差 (MAE), ピアソンの相関係数 (Pearson), スピアマンの相関係数 (Spearman), 正解率 (Acc.), F1-Score(F1) を示して おり，郷原ら [14] の文章単位の評価結果とも遜色 ない数值であることが分かる．また，表 2 では，そ れぞれ正解値 (level), 提案手法の推定值 (pred-bert), Jreadability.net $の$ 出力值 (jread-score), 帯の出力值 (pred-B9, pred-T13)を示している. pred-bert と level 及び帯の出力值との相関関係は高く, 推定された 難易度が妥当であることを示唆していると考えら れる。

## 4.2 平易化の自動評価

表 3 に平均推定難易度による平易化モデルの 評価結果を示す. 表中の mean は平均推定難易度, BScore は平易化前後の文の BERTScore の値の平均値を示す. 表 3 において，0を除いた各目標難易度 の上昇に合わせて平均推定難易度の数値が上昇して いるため，疑似的なデータセットの作成によって段階的な平易化が実現出来たと考えられる.ここで，目標難易度 0 に変換する平易化文対は他と比べて著 しく少なかったため，データ不足の影響を受けたと 推測される.表 3 平易化モデルの平均推定難易度による評価結果 model-100 model-200 model-200-bert 目標難易度 mean BScore mean BScore mean BScore

$\begin{array}{llllll}3.490 & 0.749 & 3.395 & 0.753 & 3.564 & 0.762\end{array}$

$\begin{array}{lllllll}3.648 & 0.752 & 3.632 & 0.758 & 3.711 & 0.773\end{array}$

表 4 model-200-bert の人手評価の平均値による評価結果目標難易度 synonymity difficulty_o difficulty_s fluency

## 4.3 平易化の人手評価

表 4 に人手評価による評価結果を示す. 表 4 で は，各目標難易度による difficulty_s (平易化文の難解性) に有意な差が見られなかった.ここで，評価実験には生成文を元にした平易化文を用いており，意味的，文法的に不自然な文が含まれている. した がって，単語単位では平易化が実現出来ていても，文単位では意味が破綻している文を許容している.加えて，本タスクにおける同義性・難解性・流暢性評価は，各段階に相応の例文を提示しているものの 明確な判断基準を与えていないため，人手ではやや 難易度が高く, QWK の値も低いことからラベリン グ結果の個人差が大きいことが示唆される. 人手評価上では段階的な平易化を十分に確認出来なかった と考えられる。

## 5 おわりに

本研究では，多段階平易化のための言語資源が不足している日本語において，既存のデータセットを ベースに疑似的な多段階平易化のためのデータセッ トを作成することで，多段階平易化モデルの構築を 行った. その結果, 自動評価の平均難易度推定値に よって生成文が段階的に平易化出来ることを示し た. 一方で，人手評価に不備があり，かつ生成した 平易化文は疑似データセットの影響を受けて，無理 な変換や文法的な破綻をしてしまうという課題が ある. そこで今後は，人手評価の再実施に加えて,同義性の担保や流暢な多段階平易化を実現するた めに，多段階平易化のための質の良い半自動データ セットの作成を行いたいと考えている.

## 参考文献

[1] Zhemin Zhu, Delphine Bernhard, and Iryna Gurevych. A monolingual tree-based translation model for sentence simplification. In Proceedings of the 23rd International Conference on Computational Linguistics, 2010.

[2] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring neural text simplification models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2017.

[4] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating transformer and paraphrase rules for sentence simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Alessio Palmero Aprosio, Sara Tonelli, Marco Turchi, Matteo Negri, and A Di Gangi Mattia. Neural text simplification in low-resource conditions using weak supervision. In Workshop on Methods for Optimizing and Evaluating Neural Language Generation (NeuralGen), 2019.

[6] 中町礼文, 梶原智之. 事前学習済み系列変換モデルに 基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, 2021.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018

[9] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[10] Carolina Scarton and Lucia Specia. Learning simplifications for specific target audiences. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2018.

[11] 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化にお ける語彙制約に基づく難易度制御. 自然言語処理, Vol. 27, No. 2, pp. 189-210, 2020.

[12] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[13] Akiko Eriguchi, Shufang Xie, Tao Qin, and Hany Hassan. Building multilingual machine translation systems that serve arbitrary XY translations. In Proceedings of the 2022 Conference of the North American Chap- ter of the Association for Computational Linguistics: Human Language Technologies, 2022.

[14]郷原聖士, 綱川隆司, 西田昌史, 西村雅史. BERT によ る日本語文章の難易度推定. 第 21 回情報科学技術 フォーラム, 2022.

[15] 言語資源開発センター. 現代日本語書き言葉均衡 コーパス (BCCWJ). 国立国語研究所, 2014.

[16] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[17] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[18]佐藤理史. 均衡コーパスを規範とするテキスト難易度測定. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1777-1789, 2011

## A 付録

## A. 1 平易化文の生成例

平易化文の生成例を表 5 に示す. 表 5 において，目標難易度 4 では元の文から「業務」，「妨げ」，「慎 んで」がそれぞれ平易な単語に変換されている. ま た，目標難易度 3 では，元の文の「雑談」，目標難易度 2 及び 1 では, 目標難易度 3,4 において「妨げ」 を変換した「邪魔」から「進め方に関係があります」 というように，さらに平易な語彙に変換しているこ とが分かる.

## A. 2 疑似データセットの詳細な内訳

表 6 疑似データセットの目標難易度別内訳

表 6 に作成した疑似データセットの目標難易度別内訳を示す. 表中の orig は生成文のデータ数, simp は平易化文のデータ数を表している. 表 6 に おいて, 特に難易度 0 への変換を行う文対が少ない が，これは元となったやさしい日本語対訳コーパス [7][8] での文対中で平易化文が目標難易度 0 になる 言い換えが少ないことが原因であると考えられる.
 郷原聖士 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$ 1 静岡大学情報学部 }  gobara.seiji.21@shizuoka.ac.jp, \{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp 