# 擬似データを用いた教師あり学習による語彙平易化

野口 夏希 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 荒瀬 由紀 ${ }^{2}$ 内田諭 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 大阪大学 3 九州大学
n_noguchi@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp uchida@flc.kyushu-u.ac.jp

## 概要

本研究では，文平易化のための大規模なパラレル コーパスから語彙平易化のための擬似的なパラレル コーパスを自動抽出し，マスク言語モデルを再訓練 する教師あり学習の枠組みで語彙平易化を行う．語彙平易化のためのパラレルコーパスはアノテーショ ンコストが高いため，千件未満の小規模なものしか 存在しない. そのため先行研究では, パラレルコー パスを用いた語彙平易化モデルの教師あり学習は 検討されていない. 本研究では，擬似的なパラレル コーパスを用いた教師あり学習によって，3つの英語の語彙平易化タスクで最高性能を達成した。

## 1 はじめに

子どもや英語非母語者などの読解支援のために， テキスト平易化 [1] の研究が行われている. テキス ト平易化は, 入力テキストの意味を保持しつつ, 語句や構造を変換して読者にとって理解しやすいテ キストを生成する技術である。単語 [2]・文 [3]・文書 [4] の各単位を対象にテキスト平易化の技術が研究されているが, 本研究では最も基礎的な単語単位 の平易化（語彙平易化）[5] に取り組む.

テキスト平易化モデルを訓練する際には，難解な テキストと平易なテキストの対であるパラレルコー パスを使用する. 文単位では約 50 万文対 [6], 文書単位では約 15 万文書対 [4] の大規模なパラレルコー パスを利用できる一方で，語彙平易化のためのパラ レルコーパスは千件未満の小規模なもの [7-9] しか 存在しない. これは, 語彙平易化のためのパラレ ルコーパスの構築が, 入力文からの難解語の検出,難解語に対する文脈を考慮した言い換え集合の生成，言い換え候補のリランキングなどの複数回のア ノテーションを必要とする高コストなタスクのた めと考えられる。 そのため, 語彙平易化の先行研究 [10-16] では, パラレルコーパスを必要とする教
Much of the water carried by these streams is diverted.

万言い換え候補生成

used, redirected, diverted, channel, poll, less, .

ฤ リランキング

1. redirected, 2. diverted, 3. poll, 4. used, ..

ฤ

Much of the water carried by these streams is redirected.

図 1 語彙平易化

師あり学習の手法は提案されていない.

本研究では，文単位のテキスト平易化のためのパ ラレルコーパス $[6,17,18]$ から少数の単語の置換の みによって平易化されている文対を抽出すること で，語彙平易化のための擬似的なパラレルコーパス を構築する。そして，1万件規模のパラレルコーパ スを用いてマスク言語モデル [19]を再訓練し, 教師 あり学習のアプローチで語彙平易化を行う. 3 種類 の英語の評価用データセット [7-9] を用いた評価実験の結果，教師あり学習によって語彙平易化の性能 を改善でき，最高性能を達成した。

## 2 関連研究

語彙平易化は, 図 1 に示すように， 1 単語が難解語として注釈付けされた入力文が与えられ，文脈を 考慮して難解語の平易な言い換え候補を生成するス テップと，言い換え候補を難易度に基づきリランキ ングするステップの 2 つのサブタスクからなる. 本研究では，前者の言い換え候補の生成に取り組む.

## 2.1 言い換え候補の生成

言い換え候補の生成では，辞書に基づく手法と分散表現に基づく手法が提案されている. 初期の研究 $[10,20]$ では，人手で整備された WordNet $[21]$ な どの辞書を用いて難解語の同義語を収集していた. その後，パラレルコーパス上での単語アライメン ト [22] によって大規模な言い換え辞書を自動構築
表 1 文単位のテキスト平易化のためのパラレルコーパスに含まれる文対の例

 & She is a member of the Democratic Party. & 文長が異なる例 \\

する手法が考案され, 文単位のテキスト平易化のた めのパラレルコーパスを用いる手法 [7] や対訳コー パスを用いる手法 [2] が提案された. しかし, 辞書 に基づく手法は，自動構築であっても網羅性に限界 があり，言い換えの文脈依存性にも対処が難しいた め，現在では分散表現に基づく手法が主流である.

分散表現に基づく手法としては, GloVe [23] や fastText [24]などの単語分散表現の余弦類似度を用 いて難解語の類義語を収集する先行研究 $[13,15]$ が 多い。近年の手法 $[16,25]$ は, 単語穴埋めの事前訓練を行ったマスク言語モデル BERT [19]を用い，文脈を考慮して言い換え候補を生成している．BERT は，文脈を考慮して言い換え候補を生成できる点 と，単語穴埋めの事前訓練が語彙平易化の問題設定 と近い点の 2 つの利点を持つ. そのため, 本研究で も BERTを用いて言い換え候補の生成に取り組む.

## 2.2 言い換え候補のリランキング

このステップでは，難解語との同義性，文脈の中 での流暢性，候補単語の平易性などの観点から，複数の言い換え候補をリランキングし，言い換え単語 を選択する. 初期の研究 $[10,20]$ では, 候補単語の 1-gram 頻度を用いて，平易性の観点からリランキン グを行っていた. その後, 文脈に応じたランキング のために, 難解語の周辺単語も考慮する 5-gram 頻度 [9] も使用されるようになった. さらに，より多様な観点からのリランキングのために，1-gram 頻度 および 5-gram 頻度に加えて, 難解語と候補単語の 間の単語分散表現の余弦類似度（同義性）および候補単語と周辺単語の間の単語分散表現の余弦類似度（流暢性）も考慮する平均ランキング [13] が提案 されている。近年の手法 $[16,25]$ では, 文脈を考慮 する 5-gram 頻度および周辺単語との類似度計算を， BERT の単語穴埋め確率に基づいて改良している.本研究では，言い換え候補の生成に取り組み，リラ ンキングの適用やリランキングの改良による語彙平易化の性能改善については今後の課題とする.

## 3 提案手法

本研究では，文単位のテキスト平易化のための大規模なパラレルコーパス $[6,17,18]$ の中から, 単語単位の変換のみが行われている文対を抽出すること で，語彙平易化のための擬似的なパラレルコーパス を構築する．まず， 3.1 節では，語彙平易化のための 擬似的なパラレルコーパスの構築手順について説明 する. 次に，3.2節では，BERT [19]に基づく語彙平易化モデルの教師あり学習の方法について述べる.

## 3.1 擬似的なパラレルコーパスの構築

表 1 に例示するように, 文単位のテキスト平易化 のためのパラレルコーパスには，語句を置換する平易化, 節を省略する平易化, 文の構造を変更する平易化など，様々な変換をともなう文対が含まれる。 その中で, 少数の単語の置換のみが行われている文対は語彙平易化の事例だと考えられるため，このよ うな文対を以下の手順で抽出する．ただし，難解文 を $C$ 個の単語からなる $X=x_{1}, . ., x_{C}$, 平易文を $S$ 個 の単語からなる $Y=y_{1}, \ldots, y_{S}$ と表記する.

1. 難解文と平易文の文長に差異がある場合，単語 の置換以外の変換が行われている. そこで，文長が異なる（ $C \neq S$ である）文対を除外する.

2. 文長が同じでも，多くの単語が異なる文対は語彙平易化の事例とは考えにくい，そこで，難解文と平易文の間で $i$ 番目の単語同士を比較し,異なる単語 $\left(x_{i} \neq y_{i}\right)$ の個数を数える. これが ゼロまたは $k$ よりも大きい文対は除外する. た だし， $i$ は $0<i \leq C$ の整数である.

## 3.2 語彙平易化モデルの教師あり学習

先行研究 $[16,25]$ と同様に, 入力文および難解語 をマスクした入力文の 2 文を BERT [19] に入力し, マスク部分に対する単語穴埋めの要領で言い換え 候補を生成する. 2 単語を置換する表 1 の 2 文目の 例では，具体的には “[CLS] relax the current standards

? [SEP] [MASK] the current [MASK] ? [SEP]" という トークン列を BERTへ入力する。ここで，[CLS] お よび [SEP] は BERT における特殊トークンであり， それぞれ文頭および文末を意味する。

先行研究 $[16,25]$ における言い換え候補生成では,生コーパス上で事前訓練のみを行った BERTを用 いるが，本研究では事前訓練済みの BERTを 3.1 節 の擬似的なパラレルコーパス上で再訓練してから 用いる. 先ほどの例において，我々の再訓練では， 1 つめの [MASK] に対しては “lower”を，2つめの [MASK] に対しては“limits”を，それぞれ正解単語 として, 事前訓練と同様に単語穴埋めのクロスエン トロピー損失最小化の訓練を行う．このような再訓練を経た BERT は，語彙平易化における言い換え候補の生成に特化したモデルになると期待できる。

## 4 評価実験

提案手法の有効性および訓練ドメインの影響を検証するために， 3 種類の英語の語彙平易化タスクに おいて評価実験を行う。

## 4.1 実験設定

データ 語彙平易化のための擬似的なパラレル コーパスは，文単位のテキスト平易化のための最大規模のパラレルコーパス1)である Wiki-Auto $[6,17]$ お よび Newsela-Auto [6,18] から抽出した. Wiki-Auto は Wikipedia ドメインの 488, 332 文対であり, NewselaAuto はニュースドメインの 394, 300 文対である. 前処理として, Moses Tokenizer ${ }^{2}$ [26] を用いて単語分割および小文字化を行った. 置換された単語数を表 すハイパーパラメタ $k$ は， 1 から 5 までの 5 種類に ついて実験した. 各ドメインで抽出された擬似的な パラレルコーパスの規模を表 2 に示す. なお， $k=1$ の文対中から 500 件ずつ合計 1,000 文対を無作為抽出して検証用セットとし，その他を訓練に用いた。

評価用には，英語の語彙平易化における代表的 なコーパスである LexMTurk ${ }^{3)}$ [7]・BenchLS4) [8]・ $\mathrm{NNSeval}^{5}$ [9] の 3 種類を使用した. LexMTurk は Wikipediaを平易化した 500 件, BenchLS は Wikipedia および英語の均衡コーパス [27-29]を平易化した 929 件，NNSeval は BenchLS から高品質なサブセッ


表 2 語彙平易化の擬似的なパラレルコーパスの文対数

Wiki-Auto (Wikipedia) Newsela-Auto (News)

トを抽出した 239 件である.

モデル 公平な比較のために, モデルは先行研究 $[16,25]$ に合わせて bert-large-uncased-whole-wordmasking ${ }^{6)}$ [19]を使用した. これは, 1,024 次元の埋 め込み層および隠れ層を持つ 24 層 12 注意ヘッドの 事前訓練済み Transformer 符号化器 [30] である. 再訓練には，バッチサイズを 16 文，学習率を $1 e-6$,最適化手法を Adam [31] として，検証用データにお けるクロスエントロピー損失が 3 エポック改善され ない場合に訓練を停止した. なお，表 2 における各 ドメインのパラレルコーパスを用いて，訓練ドメイ ンの異なる 2 種類のモデルを構築した。

## 4.2 評価方法

単語分散表現に基づく Light-LS [13] と，マスク 言語モデルに基づく BERT-LS [16] および SimpleBERT [25] を提案手法と比較する. Light-LS は, 単語分散表現 GloVe [23] の余弦類似度を用いて，難解語 の類義語を言い換え候補として出力する. BERT-LS は，マスク言語モデル BERT [19] の単語穴埋め確率 を用いて，文脈中で難解語の代替となる語を候補と して出力する. SimpleBERT は, 語彙平易化の仕組 みは BERT-LS と同じだが, Simple English Wikipedia および Newsela の平易な英文 [32]を用いて BERT の 追加事前訓練を行うことで，性能を改善している。

先行研究の評価の設定に従い, 語彙平易化モデル によって出力された上位 10 件の候補単語を正解の 言い換え集合と比較する。評価指標には，適合率お よび再現率と，その調和平均である $\mathrm{F}$ 値を用いる.

## 4.3 実験結果

表 3 に実験結果を, 表 4 に各モデルの出力例を, それぞれ示す。擬似的なパラレルコーパスを用いた 教師あり学習によって，提案手法は全てのタスクに おいて最高の $\mathrm{F}$ 値を達成した。

6) https://huggingface.co/bert-large-uncased-wholeword-masking
表 3 実験結果

表 4 出力例（下線は入力文に含まれる難解語，太字は正解と一致する出力）

訓練ドメインに関しては，Newsela で訓練したモ デルよりも Wikipedia で訓練したモデルの方が高い 性能を達成した. 特に，Wikipediaのみを対象とす る LexMTurk においてより大きな性能改善が見られ たため，訓練用コーパスと評価用コーパスのドメイ ンが一致することが重要であることがわかる.

## 4.4 擬似パラレルコーパスの人手評価

訓練データに含まれる置換単語数の最大值 $k$ を増加させるほど訓練データの規模も増加するが，本実験では $k=1$ のときに全てのタスクにおいて最高性能が得られた. つまり, 単純に訓練データ数を増や すことが性能改善に寄与するわけではない.

$k \geq 2$ では, "Linee played predominantly at centre." $\rightarrow$ "Linee played as a centre." のように，複数単語を同時に置換する句の平易化が訓練データに含まれる。 しかし, 語彙平易化の実際の評価データには, 1 単語のみを変換する事例しか含まれないため，これら の事例が訓練に悪影響を与えている可能性がある.

そこで，置換単語数ごとに，Wiki-Auto から 100 件 ずつの訓練事例を無作為抽出し, 適切な語彙平易化 の事例であるか否かの人手評価を実施した. ここ で，適切な語彙平易化の事例とは， $i$ 番目の単語同士が全て置換可能な文対である。なお，置換単語が 複数含まれる場合は，各単語がそれぞれ独立に置換
できる場合を適切な事例とする．複数単語を同時に 置換する事例や，並び替えによって $i$ 番目の単語同士が対応しない事例は，不適切とする。

人手評価の結果, 置換単語数 1 の事例では 69 件,置換単語数 3 の事例では 11 件, 置換単語数 5 の事例では 1 件のみが適切な語彙平易化であった. これ は，3.1 節の単純な規則では，置換単語数の増加と ともにノイズ事例を多く収集してしまうことを意味する．そのため本実験では，訓練ノイズの少ない $k=1$ の設定で最高性能が得られたと考えられる.

## 5 おわりに

本研究では，文単位の大規模なテキスト平易化の ためのパラレルコーパスから語彙平易化のための擬似的なパラレルコーパスを自動抽出することで，初 めて語彙平易化モデルのための教師あり学習を実現 した. 3 種類の英語の語彙平易化タスクにおける評価実験の結果，提案手法が全てのタスクにおいて最高の $\mathrm{F}$ 値を達成した．詳細な分析の結果，訓練デー タと評価データのドメインを一致させることの有効性や，ノイズの少ない 1 単語のみの置換の事例を用 いて訓練することの有効性が明らかになった.

今後の課題として, 単語類似度推定 [33] を用いた 擬似データ収集の高品質化や，リランキングのサブ タスクへの教師あり学習の適用に取り組みたい.

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP21H03564, JP22H00677）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[4] Renliang Sun, Hanqi Jin, and Xiaojun Wan. DocumentLevel Text Simplification: Dataset, Criteria and Baseline. In Proc. of EMNLP, pp. 7997-8013, 2021.

[5] Gustavo Henrique Paetzold and Lucia Specia. A Survey on Lexical Simplification. Journal of Artificial Intelligence Research, Vol. 60, No. 1, pp. 549-593, 2017.

[6] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[7] Colby Horn, Cathryn Manduca, and David Kauchak. Learning a Lexical Simplifier Using Wikipedia. In Proc. of ACL, pp. 458-463, 2014.

[8] Gustavo Henrique Paetzold and Lucia Specia. Benchmarking Lexical Simplification Systems. In Proc. of LREC, pp. 3074-3080, 2016.

[9] Gustavo Henrique Paetzold and Lucia Specia. Unsupervised Lexical Simplification for Non-Native Speakers. In Proc. of AAAI, pp. 3761-3767, 2016.

[10] Siobhan Devlin and John Tait. The Use of a Psycholinguistic Database in the Simplification of Text for Aphasic Readers. Linguistic Databases, pp. 161-173, 1998.

[11] Or Biran, Samuel Brody, and Noemie Elhadad. Putting it Simply: a Context-Aware Approach to Lexical Simplification. In Proc. of ACL, pp. 496-501, 2011.

[12] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[13] Goran Glavaš and Sanja Štajner. Simplifying Lexical Simplification: Do We Need Simplified Corpora? In Proc. of ACL, pp. 63-68, 2015.

[14] Gustavo Henrique Paetzold and Lucia Specia. LEXenstein: A Framework for Lexical Simplification. In Proc. of ACL, pp. 85-90, 2015.

[15] Gustavo Henrique Paetzold and Lucia Specia. Lexical Simplification with Neural Ranking. In Proc. of EACL, pp. 34-40, 2017.

[16] Jipeng Qiang, Yun Li, Yi Zhu, Yunhao Yuan, and Xindong Wu. Lexical Simplification with Pretrained Encoders. In Proc. of AAAI, pp. 8649-8656, 2020.

[17] William Coster and David Kauchak. Simple English
Wikipedia: A New Text Simplification Task. In Proc. of ACL, pp. 665-669, 2011.

[18] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[20] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[21] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[22] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, Vol. 29, No. 1, pp. 19-51, 2003.

[23] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proc. of EMNLP, pp. 1532-1543, 2014.

[24] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. TACL, Vol. 5, pp. 135-146, 2017.

[25] Renliang Sun and Xiaojun Wan. SimpleBERT: A Pretrained Model That Learns to Generate Simple Words. arXiv:2204.07779, 2022.

[26] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[27] Serge Sharoff. Open-source Corpora: Using the Net to Fish for Linguistic Data. International Journal of Corpus Linguistics, Vol. 11, No. 4, pp. 435-462, 2006.

[28] Diana McCarthy and Roberto Navigli. SemEval-2007 Task 10: English Lexical Substitution Task. In Proc. of SemEval, pp. 48-53, 2007.

[29] Jan De Belder and Marie-Francine Moens. A Dataset for the Evaluation of Lexical Simplification. In Proceedings of the 13th International Conference on Computational Linguistics and Intelligent Text Processing, pp. 426-437, 2012.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[31] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[32] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[33] Yuki Arase and Tomoyuki Kajiwara. Distilling Word Meaning in Context from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 534-546, 2021.
 野口 夏希 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 荒瀬 由紀 ${ }^{2}$ 内田諭 ${ }^{3}$ 二宮 崇 1 1 愛媛大学 2 大阪大学 3 九州大学 n_noguchi@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp arase@ist.osaka-u.ac.jp uchida@flc.kyushu-u.ac.jp  