# 修辞構造に基づき言語モデルを制御する テキスト生成手法

横川悠香 1 石垣達也 ${ }^{2}$ 宮尾祐介 ${ }^{2,3}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{g1820542,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp

## 概要

本研究では，言語モデルによるテキスト生成に，修辞構造に基づく制御を加える手法の提案を行う.分類器を用いて言語モデルを制御する手法を適用し，言語モデルに修辞構造を取り入れた既存の手法と比較する。評価の対象として幅広い対象者を持つテキストを用い，精度に加えて文を接続する単語の観点から評価を行い，精度向上を確認した。

## 1 はじめに

図 1 モデルの入力となる修辞構造とキーフレーズの例

修辞構造は，テキスト内の一部分 (文や節) の間において論理的な接続関係を考えることを再帰的に行い，テキスト全体にわたる構造を木構造形式で表現するものである. テキスト生成に活用することで，生成文の一貫性の向上が期待できる [1]. 一方で，近年のテキスト生成の性能を高めた言語モデルは単語を左から順に生成する自己回帰型で生成を行うため，テキスト全体の構造を捉える修辞構造のような木構造を生成文に取り入れるには工夫が必要となる。

言語モデルに対して修辞構造を取り入れた手法として，修辞構造全体を埋込みの形に変換し，言語モデルの入力に追加する手法 ([2]) が提案されている
が，生成時において，入力として与えた修辞構造全体と生成しているテキストが持つ構造が対応しているかどうかの確認は行われていない。

これに対し，本研究では，分類器を用いて言語モデルを制御する手法 [3] の適用により，テキスト内に表現される潜在的な関係性を識別しながら生成と同時に制御を行う手法を提案する。これにより，言語モデルの性能を活用することに加え，修辞構造が生成に反映されているかを確認しながら生成することができる．精度に加えて文を接続する単語の観点から評価し，その向上を確かめた.

## 2 背景

## 2.1 修辞構造

修辞構造理論 (Rhetorical Structure Theory;RST) [4] では，意味上の最小単位である Elementary Discourse Unit:EDU (日本語では節に相当) で区切り，全体の構造を EDU を葉とする木の形で表現する．木の中における関係性は，関係ラベルと Nuclearity とで表現される。関係ラベルは原因と結果のような 2 つのノードの意味的な関係性を表す. Nuclearity は Nucleus と Satelliteの 2 つの值をとり，Nucleusであるノードは Satellite であるノードより意味的に重要であることを表す.

## 2.2 関連研究

RST においては，修辞構造はテキスト自体が実現される前に存在するものと考えるが，木構造に含まれるテキストの単位が，実際にテキストにどのような順番で現れるのかについての原則は示されていない [5]. 修辞構造をテキスト生成に利用した例として，木を探索した順番で各ノードのテキストを生成する手法 [1] が提案されているが，テキストに現れ

る順番と生成の順番が異なるため，言語モデルによる自己回帰型の生成にそのまま取り入れるのは困難である.

言語モデルによる生成に修辞構造を取り入れた手法として RSTGen [2] が提案されている. RSTGen では，修辞構造を，木の中で左右両方の子を持つノー ドに対応する RST の情報を並べた列として表現する. 修辞構造を埋め込むための追加の層を用いて，列の表現から埋込み表現へと変換したものを言語モデルの入力となるトークンの埋込みに追加することでテキスト生成に修辞構造を反映させている.

RSTGen が修辞構造全体を埋め込んでモデルに与えるのに対して, 本研究では, 分類器を用い, 生成されるテキスト内の EDU が持つ関係性が，指定した修辞構造に従っているかの識別を生成と同時に行う手法を通し, 修辞構造に基づくテキスト生成の実現を目指す.

## 3 提案手法

## 3.1 概要

入出力の定義 RSTGen に従い，入力は以下の 2 つとする。

1. 修辞構造

本研究では，考慮する関係の数を制限するため，木の深さは 2 以下に制限する.

Nuclearity は既知のものとし, ノード $0,1,2$ に対応する関係ラべルを並べた列 $\boldsymbol{r e l}=$ $\left(r e l_{0}, r e l_{1}, r e l_{2}\right)$ として表す.

2. 重要なフレーズ (キーフレーズ) RSTGen に従い，キーフレーズとその位置を与える. 本来キーフレーズの位置は学習の対象とすべきであるが，本研究では修辞構造に基づく生成に限って手法の提案を行うために，既知のものとした.

正解文のトークン列から，キーフレーズと， EDU の区切りを示す特殊なトークンの位置以

表す.

出力はトークン列 $\boldsymbol{x}=\left(x_{0}, \ldots, x_{T}\right)$ であり, 修辞構造を反映し，キーフレーズを使用したテキストである.

修辞構造に基づくテキスト生成を行うために，まず，EDU 単位で与えられたキーフレーズを元にテ
キストを生成するモデルを導入する，続けて，EDU 間の関係ラベルを識別する分類器を用いてテキスト生成を行うモデルを制御する手法を提案する（3.2 節)。そして，3.2 節で提案した手法をトークン列の各トークンに対して逐次的に適用することで，修辞構造に基づいたテキスト生成を行う. 修辞構造の階層性を考慮し，2つの階層についてそれぞれ生成を行う (3.3.1 節). 得られた 2 通りの出力に対して, トークン列全体が指定した関係ラベル列を持つ確率を分類器により求め, 比較することで最終的な出力を得る (3.3.2 節).

図 2 キーフレーズを元に生成するモデル

生成の基盤として用いるモデル生成の基盤として，EDU 単位で与えられたキーフレーズを元にテキストを生成するよう学習したモデルを用いる．図 2 に示すように，キーフレーズの情報 $\hat{\boldsymbol{x}}$ はエンコー ドされ，トークン列 $x$ を自己回帰的に生成する.このモデルは以下の分布を表現する言語モデルと言える。

$
p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

## 3.2 分類器を用いたモデルの制御

図 3 関係ラベルを識別する分類器

関係ラベルを識別する分類器図3 に示す関係ラベルを識別する分類器を導入する．入力はEDU の組であり, 出力は関係ラベルである. 分類器は以下の分布をモデリングする.

$
p\left(\operatorname{rel} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

分類器の実験は付録 A で示す.
本研究では，「あるEDUに対し，生成対象の EDU が指定した関係ラベルを持つように生成対象の EDUに含まれるトークンを出力する」ことを以下のように表現する。

$
x_{t+1} \sim p\left(x_{t+1} \mid \text { rel, }, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

本研究では，これをPlug and Play Language Models (PPLM) [3] に基づいて行う. PPLM では，属性 $a$ を持つテキスト $X$ の生成，すなわち分布 $p(X \mid a)$ のモデリングを, ベイズの定理 $p(X \mid a) \propto p(X) p(a \mid X)$ に基づき言語モデルの分布 $p(X)$ に分布 $p(a \mid X)$ を掛け合わせることで行う. 分布 $p(a \mid X)$ は単層の分類器を用いて定義される. 詳細は付録 B に示すが， PPLM では，まず言語モデルを用いてトークンを生成し，続けて分布 $p(a \mid X)$ の下で属性 $a$ の尤度が高くなるように言語モデルの内部状態を更新し, 更新した内部状態を用いて新しくトークンを生成し直すことで制御を行う。

本研究では，以下のように基盤となるモデルの分布 (式 (1)) に対し, 関係ラベルについての分類器を用いて定義した分布 (式 (2))を掛け合わせることで，目的となる式 (3) 右辺の分布をモデリングする.

$
\begin{aligned}
& p\left(x_{t+1} \mid \text { rel, }, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& \quad \propto \quad p\left(\operatorname{rel} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
\end{aligned}
$

## 3.3 修辞構造に基づく生成の制御

例として, 図 1 の修辞構造におけるEDU1と EDU2 が生成された状態から，EDU3 に含まれるトークン $x_{t+1}$ を出力することを考える。

まず，基盤となるモデルの分布 (式 (1)) から，制御を加える前の出力として $x_{t+1}$ を得る.

$
x_{t+1} \sim p\left(x_{t+1} \mid x_{: t}, \hat{\boldsymbol{x}}\right)
$

## 3.3.1階層性を考慮したトークンの出力

図 4 低い階層における関係を考慮したトークンの出力続いて， $x_{t+1}$ が関係ラベルに基づくように制御を行う.
3.1 節において修辞構造の木の深さを 2 以下に制限したことにより，あるEDU について，生成時に考慮する関係は，低い階層における関係と高い階層における関係の 2 通りが考えられる。

例として，図 1 の EDU3 については，低い階層における関係は EDU4 に対する「Temporal (時間に関する)」となり，高い階層における関係は EDU1 と EDU2 の組に対する「Contrast (対比)」となる。

図 4 に示すように，低い階層における関係として，EDU4 に対する「Temporal」の関係を考える。式 (4) における関係ラベル rel を「Temporal」, 分類器の入力は EDU3 と EDU4 の組とし，以下に示す分布から出力 $x_{t+1}^{\text {local }}$ を得る.

$
\begin{aligned}
& x_{t+1}^{\text {local }} \sim p\left(x_{t+1} \mid \text { Temporal, } \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& \propto p\left(\text { Temporal } \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
\end{aligned}
$

図 5 高い階層における関係を考慮したトークンの出力

同様にして，図 5 に示すように，高い階層における関係である EDU1-2 に対する「Contrast」の関係に基づき出力 $x_{t+1}^{\text {global }}$ を得る.

## 3.3.2 全体の関係を考慮したトークンの選択

図 6 分類器の拡張

ここで，図 3 で示した分類器を，2つの EDU の組同士に対しても適用することにより拡張する。入力はトークン列であり，出力は関係ラベル列 rel である. 拡張した分類器は以下の分布をモデリング

図 7 拡張した分類器を用いたトークンの選択する。

$
p\left(\boldsymbol{r} \boldsymbol{e} \boldsymbol{l} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

時刻 $t$ までの出力列 $\boldsymbol{x}_{: t}$ と，3.3.1 節で得られた $x_{t+1}^{\text {local }}$ と $x_{t+1}^{\text {global }}$ それぞれを $\hat{\boldsymbol{x}}$ に挿入する. 2 通りのトークン列に対し, 拡張した分類器を用いて式 (7) に示す関係ラベル列 rel を持つ確率分布を求める. 確率が高い方のトークンを $x_{t+1}$ として選択する.

## 4 実験設定

データセット幅広い対象者にとっての適切なテキストの生成のため，テキスト対象者の英語読解力レベルの異なるニュース記事で構成される Newsela コーパス [6] を用いる. テキストから段落を抜き出し，学習済 RST パーザ [7] によってパージングし，学習済キーフレーズ抽出器 TopicRank [8] を用いてキーフレーズを抽出する. データセットの大きさは学習/検証/評価で 25,173/3,108/3,131 である.

表 1 に示す設定で提案モデルの実験を行い， RSTGenに従う修辞構造の埋込みを入力に追加したモデルと比較を行う.

## 5 実験結果

 \\

+ 修辞構造埋込み \\
+ PPLM 制御

精度の評価指標として BLEU [9]，ROUGE [10]， METEOR [11] を用い，意味的な精度の指標として

図 8 Discourse Marker 別の再現率

BERTScore [12] を用いた実験結果を表 2 に示す. 提案手法のモデルでは BLEU，ROUGE，BERTScore において改善が見られた. 修辞構造を取り入れたモデルは共に BERTScore が向上していることから，修辞構造の情報はテキストの意味的な精度向上に寄与するとも考えられる。

また, 修辞構造に基づく評価指標として, Discourse Marker (DM) についての再現率を用いる. DM とは， テキストを接続する役割を持つ単語であり，修辞構造がテキスト表面に現れたものと考えることができる. 再現率は，正解文において使用された DM の数に対して生成結果に正しく使用された DM の数の比率として計算する。評価に使用した DM を C に示す. 図 8 に示した DM 別の再現率では，全体的に改善傾向が見られた.「after」や「since」といったDM で再現率の向上が大きかったが，「and」や「for」では違いが小さかった. この原因として，前者のような DM は関係ラベルとの結びつきが大きいが，後者のような DM は汎用的で結びつきが小さく，関係ラベルに基づく制御の効果が小さくなったと考えられる。

## 6 まとめ

本研究では，修辞構造に基づきテキスト生成を制御する手法の提案を行った. 扱う修辞構造の木の深さに制限はあるものの，対象者のレベルが幅広いテキストにおける精度向上を確認した。また，テキストの意味的な精度の向上から，修辞構造の情報がテキストの意味的な品質の向上に繋がる可能性を考察した. 課題として，より階層が深い修辞構造に対する拡張が挙げられる。また，DM という修辞構造がテキストの表面に現れた場合を評価しているため，潜在的なテキストの構造についての評価も検討していきたい.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)

の結果得られたものである.

## 参考文献

[1] Eduard H. Hovy. Planning coherent multisentential text. In 26th Annual Meeting of the Association for Computational Linguistics, pp. 163-169, Buffalo, New York, USA, June 1988. Association for Computational Linguistics.

[2] Rilwan Adewoyin, Ritabrata Dutta, and Yulan He. RSTGen: Imbuing fine-grained interpretable control into longFormText generators. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1822-1835, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2019.

[4] William C. Mann and Sandra A. Thompson. Rhetorical structure theory: Toward a functional theory of text organization. Text \& Talk, Vol. 8, pp. 243-281, 1988.

[5] Manfred Stede. Rhetorical structure and thematic structure in text generation. Proceedings of LORID, Vol. 99, pp. 44-50, 1999 .

[6] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[7] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. A simple and strong baseline for end-to-end neural RST-style discourse parsing. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6725-6737, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 543-551, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using n-gram co-occurrence statistics. In Proceedings of the 2003 Human Language Technology
Conference of the North American Chapter of the Association for Computational Linguistics, pp. 150-157, 2003.

[11] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[12] Felix Wu Kilian Q. Weinberger Yoav Artzi Tianyi Zhang, Varsha Kishore. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020

[13] Lynn Carlson and Daniel Marcu. Discourse tagging reference manual. ISI Technical Report ISI-TR-545, Vol. 54, No. 2001, p. 56, 2001.

[14] Daniel Marcu Mary Ellen Okurowski Carlson, Lynn. Rst discourse treebank. Linguistic Data Consortium, 2002.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

## A 生成に用いた分類器

## A. 1 概要

入力は Nucleus となる EDU と Satellite となる EDU の組であり，出力は関係ラベルである.

図 9 使用した関係ラベル ([13]より作成)

関係ラベルは図 9 に示す Discourse Tagging Manual [13] における 18 種類のものを用いる.

## A. 2 実験

データセットニュース記事に RST に基づくアノテーションをつけたデータセットである RST-DT データセット [14] から, Nucleus と Satellite となる EDU の組を抜き出し, データセットとして用いる. データセットの大きさは学習/検証/評価で 64,098/8,025/8,021 である.

 &  \\

実験設定表 3 に実験設定を示す。言語モデルには BART [15] を用い，比較のために BERT [16] を用いた設定でも実験を行う.

実験結果表 4 の実験結果より，BART を用いた分類器は正解率では BERT に劣るものの, F1 スコアにおいては上回った.

## B PPLM による生成の制御

Transformer の効率的な実装 [17] において，出力トークン列 $\boldsymbol{x}_{: t}$ に基づいて時刻 $t+1$ のトークン $x_{t+1}$ を出力するとき， $x_{t}$ と言語モデルの内部状態 $H_{t}$ を入力とする.

$
\begin{aligned}
o_{t+1}, H_{t+1} & =\mathrm{LM}\left(x_{t}, H_{t}\right) \\
x_{t+1} \sim p_{t+1} & =\operatorname{Softmax}\left(W o_{t+1}\right)
\end{aligned}
$

ここで，内部状態とは，具体的には Transformer [18] のアテンション計算における Key-Value を保存した行列である.

PPLM では，分布 $p(a \mid X)$ からの勾配を用い，属性 $a$ を映するように言語モデルの内部状態を更新する。

$
\Delta H_{t} \leftarrow \Delta H_{t}+\alpha \frac{\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)}{\left.\|\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)\right.\|^{\gamma}}
$

更新された内部状態 $\tilde{H}_{t}=H_{t}+\Delta H_{t}$ を用いて，言語モデルにより現在のトークン $x_{t}$ が与えられたときの $\tilde{x}_{t+1}$ を求める.

$
\begin{gathered}
\tilde{o}_{t+1}, H_{t+1}=\operatorname{LM}\left(x_{t}, \tilde{H}_{t}\right) \\
\tilde{x}_{t+1} \sim \tilde{p}_{t+1}=\operatorname{Softmax}\left(W \tilde{o}_{t+1}\right)
\end{gathered}
$

## C 評価に用いた Discourse Marker

図 10 評価に用いた Discoruse Marker の一覧

本研究の評価において, Discourse Marker は PDTB Annotation Manual ${ }^{1)}$ Appendix A に示されたもののうち，図 10 に示す正解文において 30 回以上使用された Discourse Markerを用いた。
