# 修辞構造と語彙難易度を制御可能なテキスト生成手法に向けて

横川悠香 1 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{1}$ 小林一郎 1,2
1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{g1820542,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp

## 概要

言語は，それが用いられる社会的な状況に応じて その形態が変化する。例えば，同じ内容を説明する 際であっても，幼い子供を対象にした発話では，理解が容易な文章構造の下，使用される語彙の難易度 が低くなるといった変化が生じる. 本研究では，特 に発話相手の読解能力レベルに応じた，テキストの 修辞構造と語彙の難易度の変化に着目し，それらを 考慮した制御可能なテキスト生成手法を開発するこ とを目的とする。テキスト生成の実験においては， レベルに応じた生成を行うために，対象者のレベル が異なるニュース記事で構成されるコーパスである Newsela コーパスを用い，異なるレベルに対しても 読解が容易なテキストの生成を行なった.

## 1 はじめに

発話相手の読解能力レベルによって，適切なテキ ストは異なる [1]. 同じ内容を伝える際であっても，発話相手のレベルに応じ，テキスト全体の構造や使用する語彙の難易度を変化させる必要が生じる. 本研究では，レベルに応じた変化のうち，テキストの 構造を捉えるものである修辞構造 [2] と, 使用され る語彙の難易度を，テキスト生成において制御する 手法を提案する.レベルが異なるニュース記事で構成されるコーパス [3] を用い, 記事の内容を端的に 表す文であるニュース記事の表題と，記事本文から 抜き出した重要なフレーズであるキーフレーズを入力として，表題に基づいた内容を持ち，キーフレー ズを使用したテキストの生成に取り組む. その生成 に，レベルに応じた修辞構造と語彙の難易度に基づ く制御を加える. テキスト生成において, 修辞構造 をモデルの訓練において補助として用い，テキスト 全体の一貫性を高める手法 [4] があるが，本研究で は修辞構造に基づいた制御を生成時にも追加する。 また，テキスト平易化における語彙の難易度に着目
した手法 [5] を訓練と生成時に取り入れる. 生成時 には，言語モデルの生成にトピックや感情を導入す る Controlled Text Generation における手法 [6] を，修辞構造と語彙の難易度に基づく制御に適用する。

## 2 関連研究

Controlled Text Generation において, Plug and Play Language Models (PPLM) [6] は，言語モデルに追加の 訓練を必要としないことが特徴である。また，テキ スト生成における制御のうち，テキスト全体が内容についての一貫性を持つように生成する Content Planning の手法として PAIR [7] が挙げられる。 一方 で，テキスト全体の構造を捉えるものとして，修辞構造がある. 修辞構造を学習において利用すること で，テキスト全体が自然な構造を持つようにする手法として FlowNet [4] がある。 また，テキスト平易化 [8] において生成されるテキストが，時に難易度 の高い単語を含むことが知られており，語彙の難易度を考慮して平易化を行う手法 [5] が提案されて いる.

本研究においては，Newsela コーパス [3] をデー タセットとして用い，テキスト生成において修辞構造と語彙の難易度の制御を行う. 生成の基盤として PAIR を用い，そこに PPLM の手法を用いた制御を 取り入れる。

## 3 提案手法

図 1 に提案手法の概要を示す. データセットと して，主にテキスト平易化において広く使用され る Newsela コーパス [3] を用いる. Newsela コーパス は，ニュースの元記事と，それを人手により平易な 英語に書き換えた 4 つのバージョンで構成される. コーパス内の記事には，英語文章の難易度から読者の読解能力を測るために使用される指標である

図 1 提案手法

Lexile readability score ${ }^{1)}$ に基づく 2 から 12 のレベル が付与されている．本研究では，問題を簡単にする ため Newselaコーパスに含まれるニュース記事内の 段落の内，3 文で構成されるものをデータとして用 いる。ニュース記事の表題と，本文中から抜き出し た重要なフレーズであるキーフレーズを入力として 与え，表題に基づいた内容を持ち，キーフレーズを 使用したテキストを生成する. その生成に，レベル に応じた修辞構造と語彙の難易度に基づく制御を加 える。

重要なフレーズであるキーフレーズとして，デー タセットに対して TopicRank アルゴリズム [9] を用 い，キーフレーズを事前に抽出する. 抽出したキー フレーズは平均で 9.57 個であった.

テキスト全体の構造を捉えるため，修辞構造理論（Rhetorical Structure Theory, RST）を用いる. RST では，テキストを意味の最小単位である Elementary Discourse Unit (EDU) で区切り，EDU 同士の関係性を 木構造で考える. 関係は Nuclearity と Relation Label の2つの要素で表現される. Nuclearity は Nucleus と Satelliteの 2 つの値を取る. 木の中で子となる 2 つ の EDU の内，Nucleus である EDU は Satellite であ る EDU より重要であることを表す. Relation Label は [2]による 18 種類のものを採用する. 木の中で子 となる 2 つ EDU が，例えば原因と結果のように， どのような関係になっているかを表す. データセッ トに対し RST の学習済みパーザである DPLP [10] を 用い，修辞構造を得る．問題を簡単にするため，先行研究 [4] に従い，テキスト中で隣り合う EDU 同士 の関係のみ考慮することによって, 図 2 に示すよう に修辞構造の木をリスト化する。 リストに変換する 際，関係が 2 つ連続して現れた場合は，木の中でよ り深い位置にある関係を優先する。また，木の中央 にあるノードが子となるノードより後に現れた場合
 measures/about-lexile-measures-for-reading/
は，そのノードに対応する関係は無視される.

## 3.1 修辞構造と語彙難易度を考慮した訓練

テキスト生成を行う上で基盤となる手法が PAIR [7] である. PAIR では，正解文からキーフレー ズの出現する位置以外をマスクしたテンプレートを 作成する。そのテンプレートを BART [11]を用いて 穴埋めする．穴埋めした結果のトークン列で確率の 低いトークンをマスクしたものを次の生成における テンプレートとし，再び穴埋めすることを繰り返し て最終的なテキストを生成する。本研究では，トー クン列を EDUで区切り，その区切りに特殊トーク ン [EDU] を挿入する.テンプレートを作成する際 に，キーフレーズに加えて [EDU] もマスクしない トークンとする。

修辞構造を訓練において考慮するため，テキスト 生成モデルの訓練時には，修辞構造に基づくラベル を作成する. 正解文のトークン列から，[EDU] に続 くトークンである，各 EDU の先頭トークンに RST における関係を対応させ，それ以外のトークンには null を対応させる. ラベル作成の例を図 3 に示す. RST における関係が対応する，各 EDU の先頭トー クンの隠れ状態に対して分類器を適用し，RST の関係について分類する。 その分類結果とラベルに対し て損失を計算し，訓練時の損失に加える。

語彙の難易度については，先行研究 [5] に従い,語彙の難易度を単語とレベルの正の自己相互情報量（Positive Pointwise Mutual Information, PPMI）に基 づき考え，各レベルに特徴的な単語に対して重みを 加える. 単語 $w$ と, Newsela コーパスで設定された レベル $l$ から，PPMI を求める：

$
\begin{aligned}
\operatorname{PMI}(w, l) & =\log \frac{P(w \mid l)}{P(w)} \\
\operatorname{PPMI}(w, l) & =\max (\operatorname{PMI}(w, l), 0) .
\end{aligned}
$

$P(w \mid l)$ はレベルが $l$ の文書に単語 $w$ が出現する確率 であり，P(w) は文書集合全体で単語 $w$ が出現する 確率である．式 (2) において値を 0 以上としている のは，PMI が負となる単語はレベルによらず広く出現していると考えられ，そのレベル特有の単語とは いえないためである．PPMI を用い，次のように損失を計算する：

$
\begin{aligned}
f(w, l) & =\operatorname{PPMI}(w, l)+1 \\
L(\boldsymbol{o}, \boldsymbol{y}, w, l) & =-f(w, l) \cdot \log o_{c}
\end{aligned}
$

ここで，oはロジットベクトルである．最終的な損

図 2 修辞構造のリスト化

図 3 修辞構造に基づくラベル

失関数は，上記の RST に関する損失とこの語彙難易度に関する損失を足したものになる。

## 3.2 PPLM を用いた生成の制御

PPLM [6] の手法を用いて修辞構造についての制御を追加する. テキストにトピックや感情といった 特定の属性 $a$ を持たせるとき，テキストを $x$ とする と，分布 $p(x \mid a)$ をモデリングすることが目標とな る. このとき PPLM では，ベイズの定理により

$
p(x \mid a) \propto p(x) p(a \mid x)
$

となることから，言語モデルの分布 $p(x)$ に分布 $p(a \mid x)$ を掛け合わせることで $p(x \mid a)$ が得られ ると考える. 分布 $p(a \mid x)$ は，トピックの導入の 場合はトピックに固有の単語を集めた Bag-ofWords $=\left.\{w_{1}, \cdots, w_{k}\right.\}$ を用いて以下のように定義さ れる：

$
p(a \mid x)=\sum_{i}^{k} p_{t+1}\left(w_{i}\right)
$

感情の導入の場合は単層の分類器 $f$ を用いて以下の ように定義される：

$
p(a \mid x)=f\left(o_{t+1}\right) .
$

ここで， $o_{t+1}$ はロジットである. PPLM では，これ らの分布 $p(a \mid x)$ を用いて, 以下の式 (8) に従って言語モデルの内部状態 $H_{t}$ (具体的には, Transformer 各層の Key および Value の值）を更新することで，目的の属性を持ったトークンが出力されやすくなるよ う調整を行う：

$
\Delta H_{t} \leftarrow \Delta H_{t}+\alpha \frac{\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)}{\left.\|\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)\right.\|^{\gamma}}
$

図 4 修辞構造の導入

更新された $\tilde{H}_{t}=H_{t}+\Delta H_{t}$ を用いて，言語モデルに より現在のトークン $x_{t}$ が与えられたときの $\tilde{x}_{t+1}$ を 求める：

$
\begin{aligned}
\tilde{o}_{t+1}, H_{t+1} & =\operatorname{LM}\left(x_{t}, \tilde{H}_{t}\right), \\
\tilde{x}_{t+1} \sim \tilde{p}_{t+1} & =\operatorname{Softmax}\left(W \tilde{o}_{t+1}\right) .
\end{aligned}
$

修辞構造に基づいた制御では，式 (7) において RST の関係に基づく分類器を用いる. この分類器 は，3.1 節において修辞構造に基づく損失を付与す るために追加で訓練したものを用いる。これにより 言語モデルは, 図 4 に示すように, EDU の区切り を示す特殊トークン [EDU] に続けて各 EDU の先頭 トークンを生成する際に，RST の関係に基づく分類器を用いた PPLM の制御を反映することができる.

また，語彙の難易度については，各難易度レベル に応じた Bag-of-Words を用いた PPLM による制御を 行う. 先行研究 [5] に基づき定義される語彙の難易度から，Newsela コーパスにおける各レベルに対応 する Bag-of-Words を作成する。まず，Newsela コー パスでは，1 つの記事に対して 2 から 12 のレベルの 内いずれかのレベルが設定されているが，同じ記事 に含まれる文は全て同じレベルに属すると仮定し，同じレベルの文を集めたものを 1 文書とする．語彙 の難易度を調べるため，各レベルに対応する文書の 集合に対して TF-IDF を計算する：

$
\operatorname{TFIDF}(w, l)=P(w \mid l) \cdot \log \frac{D}{\mathrm{DF}(w)} .
$

ここで， $D$ は全レベル数であり, Newselaコーパスに おいては $D=11$ である. $\mathrm{DF}(w)$ は単語 $w$ の出現す
表 1 実験設定

るレベルの総数である. TF-IDFを計算することに より, 各レベルに特徴的な単語を求めることができ る. 本研究においては, 各レベルに対応する文書に 対して TF-IDF が高い上位 200 単語をそのレベルの Bag-of-Words とする.こうして求めた Bag-of-Words から式 (6) のように分布 $p(a \mid x)$ を求めて式 (8) の計算に用いる。このようにして，指定したレベルの Bag-of-Words に含まれる単語が生成される確率が高 くなるように制御する.

## 4 実験

## 4.1 実験設定

データとして Newsela コーパスに含まれるニュー ス記事内の段落の内，3文で構成されるものを使用 する. データのサイズは，訓練が 35,502 事例，開発 が 4,438 事例，評価が 4,438 事例である。また，実験 のパラメータは PAIR に従った (表 1).

## 4.2 評価指標

PAIR [7] に従い，まずは通常のテキスト生成の 評価指標である BLEU [12]，ROUGE [13]，METEOR [14]を用いて評価する.

また, 修辞構造の評価指標として, 各 EDU の先頭トークンに対する正解率を用いる. 加えて, 語彙難易度の評価指標として，各レベルの Bag-of-Words に対する再現率を用いる。再現率は，生成されたテ キスト中に正しく出現した Bag-of-Words に含まれる 単語の数を，正解文に出現した Bag-of-Words に含ま れる単語の数で割ったものとして定義する.

## 4.3 実験結果

4.1 節におけるデータセットを対象に，PAIR の手法と, 提案手法である PAIR に修辞構造と語彙の難易度に基づく制御を加えたモデルで実験し，評価を した. 提案手法では, 修辞構造に関する制御のみ加 えたモデルと, 修辞構造と語彙の難易度の両方の制御を加えたモデルで比較を行なった.表 2 評価結果

表 3 EDU の先頭に対する正解率・BoW に対する再現率

## 4.4 考察

PAIR を用いて生成した結果と比較して，PPLMに よる修辞構造の制御を加えた提案手法のモデルで は精度が少し向上した. 精度における大きな上昇と はならなかったが，精度を落とすことなく表 3 の正解率において見られるように，正しく修辞構造を反映した生成が行われた例を見ることができた。一方 で，修辞構造の制御に加え，レベルに基づいた語彙 による制御を加えた生成においては，PAIR と比較 して少し精度が落ちる結果となった. この原因とし て，生成において PPLMを利用すると同じ単語を 繰り返し生成しやすくなることが観察されており, それが提案手法においても生じたことが挙げられ る. 精度の向上には繋がらなかったが，表 3 の再現率において見られるように，指定したレベルの Bag-of-Words 内の単語を用いた生成が確認できた.

## 5 まとめ

発話相手のレベルに応じたテキストの変化の内，特に修辞構造と語彙の難易度に着目してテキスト生成の制御を行い，発話相手のレベルを考慮したテキ ストの生成を目指した. 結果として, 先行研究のモ デルより少し精度を改善しながら同時に修辞構造 を考慮して生成を行えた例も確認できた。その一方 で, 同じ単語が繰り返し生成されるという問題が生 じた例もあり，手法の改善の余地を確認した。

今後の課題としては, まず評価が挙げられる. 特 に修辞構造の制御の評価は，各 EDU の先頭トーク ンを用いた簡易的なものになっているのでより厳密 な評価が必要である．また，本稿では修辞構造の一部についてのみ考慮して生成を行なったが，さらに 複雑な修辞構造を対象とした実験も必要である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) の結果得られたものである.

## 参考文献

[1] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural crf model for sentence alignment in text simplification. In Proceedings of the Association for Computational Linguistics (ACL), 2020.

[2] WILLIAM C. MANN and SANDRA A. THOMPSON. Rhetorical structure theory: Toward a functional theory of text organization. Text - Interdisciplinary Journal for the Study of Discourse, Vol. 8, No. 3, pp. 243-281, 1988.

[3] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, , 2015.

[4] Dongyeop Kang and Eduard Hovy. Linguistic versus latent relations for modeling coherent flow in paragraphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[5] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, Florence, Italy, July 2019.

[6] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2019.

[7] Xinyu Hua and Lu Wang. PAIR: Planning and iterative refinement in pre-trained transformers for long text generation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2020.

[8] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating transformer and paraphrase rules for sentence simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October-November 2018.

[9] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, Nagoya, Japan, October 2013.

[10] Yangfeng Ji and Jacob Eisenstein. Representation learning for text-level discourse parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Balti- more, Maryland, June 2014.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, July 2002.

[13] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using n-gram co-occurrence statistics. In Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 150-157, 2003.

[14] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, Ann Arbor, Michigan, June 2005.
 横川悠香 1 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{1}$ 小林一郎 1,2 1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学 \{g1820542,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp \{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp  