# 逆翻訳を利用したデータ拡張による文間の修辞構造解析の改善

前川在 1 小林 尚輝 1 平尾 努 2 上垣外 英剛 1 奥村 学 1
1 東京工業大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{maekawa, kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
tsutomu.hirao.kp@hco.ntt.co.jp

## 概要

十分な量の学習データを確保できないことによ

り，文間の修辞構造解析の性能は文内と比較して大幅に低く，下流タスクにとって大きな問題となって いる。これを解決するため，本稿では，学習データ を逆翻訳することで得た擬似正解データを用いて 解析器を事前学習し, 正解データを用いて追加学習 する手法を提案する. シフト還元法による上向き解析器, スパン分割による下向き解析器に提案法を 適用し，標準的ベンチマークデータセットである RST-DT，Instr-DT を用いて評価した結果，疑似正解 データを用いることで Standard-ParsEval のスコアが 約 1-2 ポイント向上することを確認した.

## 1 はじめに

修辞構造理論 [1] では, Elementary Discourse Unit (EDU) と呼ばれる，節に相当する単位を葉ノードと する構成素木として文書の構造を表す. 木は完全 2 分木として表され，中間ノードには 1 つ以上の EDU からなるテキストスパンの役割である核 (Nucleus: N) あるいは衛星 (Satellite: S) と，S から $\mathrm{N} へ の$ 修飾関係を表す修辞関係ラベルが与えられる. 基本的に 核と衛星は対 (S-N，N-S のどちらか) となるが，並列構造を表す場合に例外的に核と核が対 (N-N) とな る. 図 1 の左の木は 3 文，6つの EDU からなる文書 の構造を表した修辞構造木である. 通常, 修辞構造解析は与えられた文書を，EDUを葉とした修辞構造木へ変換するが，修辞構造木を要約や翻訳などの 下流タスクで利用する場合には, 図 1 の右の木のよ うに文を葉とした木が用いられることが多く $[2,3]$,文を葉とした解析の性能向上が望まれる.

一般的に修辞構造解析は隣接するテキストスパ ンを結合するか否か，あるいはどこで分割するかと いう一種の分類問題を解くことで実現される. よっ て，学習データの個々の事例は，テキストスパンと

図 1 RST-DT [4] における修辞構造木の例 (WSJ_1100): $s_{1}$ :[ $e_{1}$ :(Westinghouse Electric Corp. said), $e_{2}$ :(it will buy Shaw-Walker Co.)], $s_{2}$ :[ $e_{3}$ :(Terms weren't disclosed.)], $s_{3}$ :[ $e_{4}$ :(Shaw-Walker,), $e_{5}$ :(based in Muskegon, Mich.,), $e_{6}$ :(makes metal files and desks, and seating and office systems furniture.)]図中 $e$ は EDU, $s$ は文を表す.

その正解/不正解の分割位置，結合される/されない テキストスパンの対のように，テキストスパンを基本単位とする。文を葉とした修辞構造木を構築する 解析器を学習するには，EDUを葉とした木を，文を 葉とした木へと変換する必要がある。すると，図 1 の右の木からも明らかなように 1 つの修辞構造木か ら得られるテキストスパンの数が大きく減るため学習データも大きく減ることとなる。修辞構造解析器 の学習, 評価に標準的に利用される最大規模のデー タセットである RST Discourse Treebank (RST-DT) [4] ですら 385 文書しかなく, 文間の修辞構造解析のた めの学習データ不足はより深刻な問題となる.

この問題を解決するため，本稿では，正解データ の文書に対し逆翻訳を適用することで得た文書を擬似正解データとして活用する手法を提案する。逆翻訳で大量の擬似正解データを作成し, 解析器の事前学習に用いることで汎化性能の向上を図る. 現在の 最高性能の解析器である Kobayashi ら [5] の上向き,下向き解析器に基づき，RST-DT，Instr-DT [6] の二 つの異なる領域のデータセットを用いて提案法を 評価したところ，擬似正解データを用いることで， RST-DT の場合には Standard-ParsEval で約 1 ポイン ト，Instr-DT の場合には約 2 ポイント性能が向上す ることを確認した。

図 2 提案手法の概要

## 2 関連研究

本来の修辞構造解析は EDU を葉とした木を構築 する．EDU は文よりも小さな単位であるため文書内の EDU の数は文の数よりも多く，RST-DT では 1 文書あたりの平均 EDU 数は約 57 である. いわ ゆる構文解析と比較すると木のサイズが非常に大 きい。よって，解析中のエラーの伝搬が問題とな る.これを抑制するため, 文内の修辞構造と文間 の修辞構造を独立に解析する手法が提案されてい る [7, 8, 9, 10]. Feng ら [7] は, CRFに基づく上向き 解析法を提案し, Joty ら $[8,9]$ は Dynamic CRF に基 づく上向き解析法を提案している. Lin ら [10] は， Feng らの手法に対しLSTM を導入することで人手 の規則による特徴抽出を廃した。また，Kobayashi ら [11] は，EDU，文，段落という 3 つの粒度の単位 を葉とする修辞構造を解析する手法を提案した。

修辞構造解析の最大規模のデータセットである RST-DT ですら文書数は 385 しかなく，十分な量が あるとは言えない。よって，学習データとテスト データとの間で語彙が違う場合には解析器の性能が 劣化する. これを解決するため擬似正解データを利用する手法が盛んに研究されている. Braud ら [12] はスペイン語，ドイツ語の修辞構造アノテーション 済みデータセットを英語へと翻訳することで擬似正解データを作成した. しかし，英語以外のデータ セットも十分な量があるとは言えず，大量の擬似正解データを用意することはできない。一方, Huber ら [13] は， distant supervision を用いてラベルなし データから大規模な擬似正解データ MEGA-DT を作成した。そして，Guz ら [14] は，MEGA-DTを用い て解析器を事前学習, 正解データを用いて追加学習 することで修辞構造解析の性能が向上することを 示した．ただし， Huber らの方法は，大規模な擬似正解データを作成可能であるが，修辞関係ラベルを 与えることができない. 一方, Kobayashi ら [15]は，複数の解析器の間で結果が一致する合意部分木を擬似正解データとする手法を提案した. MEGA-DT と同様，大量の擬似正解データを作成可能であるが，擬似正解データの信頼性を担保するためには解析器 の性能がある程度高くなければならない。しかし，後述するように現在のトップレベルの解析器でも文間の修辞構造解析の性能は非常に低く解析結果の信頼性が低い.よって，複数の解析器の間で合意がと りにくく，それがとれたとしても非常に小さな部分木となってしまい擬似正解データとして役に立た ない可能性がある。また，ラベルなしデータを用い る手法は全般に，正解データと同じ領域のラベルな しデータを利用できるとは限らないという限界も ある。

## 3 提案手法

文間の修辞構造解析を改善するには，当然文間の 修辞構造のアノテーション済みデータセットが必要 となる。人手作成データをこれ以上集めることが困難であることを勘案すれば従来研究と同様に擬似正解データに頼ることが妥当であろう。ここで，我々 が欲するデータが文を単位としていることに注目す ると，逆翻訳を用いることにより，文書の領域にと らわれることなく語彙や構文の多様性を高めた擬似正解データを作成できる。そして，これを用いて 解析器を事前学習することで頑健性の向上を図る (図 2 参照).

## 3.1 逆翻訳を用いた擬似正解データ作成

逆翻訳を単純に適用すると元のデータセットと 同じサイズの擬似正解データしか得ることができ ない。これを解決するため，本稿では，以下のよう に，原文書から逆翻訳対象とする文をサンプリング し, 逆翻訳時に累積確率を基にした top- $p$ サンプリ ング [16]を利用して原文に対して複数の逆翻訳結果 を用意する。

1. 文書 $d$ から， $n \%$ の文を選択する。具体的に は， $s_{d}$ を文書 $d$ に含まれる文の数として， $\operatorname{int}\left(s_{d} \times n / 100\right)$ 文をランダムに選択する.
2. 1 で選択した文を逆翻訳する。逆翻訳時には top- $p$ サンプリングを用いて $k$ 個の翻訳を獲得 し，その中から 1 つの翻訳をランダムに選択 する.

1,2 を $M$ 回繰り返すことで正解データの $M$ 倍の 擬似正解データを獲得する。なお，1 で選択されな かった文には逆翻訳を適用せずそのまま擬似正解 データとして用いることに注意されたい.

## 3.2 修辞構造解析器

修辞構造解析器としては，現時点で世界最高性能 の, Kobayashi ら [5] で用いられた, 上向き, 下向き のものを利用する. 両方の手法ともテキストスパン (文の系列) に対するべクトル表現は事前学習済み言語モデルを経て得たスパンの左端の単語ベクトル と右端の単語ベクトルの平均ベクトルで表す. 本稿 では文献 [5] に従い事前学習済み言語モデルとして DeBERTa [17] を採用する。

## 上向き解析

Guz ら [18] のシフト還元法による上向き解析法を 単純化した手法である. スタック $S$ に解析済み部分木を格納し，キュー $Q$ に未解析の文を格納し，以下 のシフトと還元操作を繰り返すことで下から修辞構造木を構築する。

シフト $Q$ の先頭の文を取り出し， $S$ に積む，

還元 $S$ の上 2 つの部分木をとりだし併合した後,再度 $S$ に積む。

なお，還元操作の後，左右の部分木の核性 (N-S,S$\mathrm{N}, \mathrm{N}-\mathrm{N})$ と修辞関係ラベルの推定を独立に行う. そ れぞれの推定は以下の順伝播型ニューラルネット ワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}} ， \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
S *=\operatorname{FFN} *\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}\right)\right)
$

ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $S$ の上 2 つの部分木が 支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $Q$ の先頭の 文のベクトル表現である.

## 下向き解析

Kobayashi ら [11] の再帰的スパン分割による下向 き解析法を単純化した手法である. 文書全体を表す スパンを貪欲に 2 分割することで下向きに修辞構造木を構築する。 $i$ 番目から $j$ 番目の文からなるスパ ンを $k$ 番目の文で分割するスコアは以下の式で定義

表 12 つのデータセットの統計データ

される.

$
s_{\text {split }}(i, j, k)=\mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }}$ は重みべクトル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right)
\end{aligned}
$

なお， $\mathbf{u}$ はスパンのベクトル表現である。そして，以下の式でスパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

上向き解析と同様，核性と修辞ラベル推定は独立 に，上のスパン分割と同様に行う.

## 4 実験

## 4.1 実験設定

評価実験には，標準的ベンチマークデータセット である RST-DT [4] と Instr-DT [6] を用いた. RST-DT は新聞記事 (Wall Street Journal) に対して修辞構造の アノテーションを与えたものであり，学習データ 347 文書，テストデータ 38 文書からなる. 開発デー タは与えられていないので Heilman ら [19] に従い，学習データから 40 文書を選択した. Instr-DT は家 の修理に関するマニュアルに対してアノテーション を与えたものであり，176文書ある．RST-DT とは異 なり，テストデータ，開発データの分割は与えられ ていない. 本稿では Kobayashi ら [5] の設定に従っ た. それぞれのデータセットの統計データを表 1 に 示す.

文区切りについては文献 [5] に従った。評価には 文献 [20] に従い Standard-ParsEval を用いた。木構造 のみを評価する Span，核性，修辞関係ラベルを含め て評価する Nuc., Rel., すべてのラベルを含めて評価する Full の計 4 通りの指標を用いた。

なお，各文書に対して $n=25,50,75,100$ とし て文をランダムに選択し，各文に対し $p=0.95$ の top- $p$ サンプリングで 4 件の逆翻訳を作成した. そ

表 2 Standard-ParsEval を用いた評価結果. Baseline は正解データのみを用いた解析器.

して, $M=10$ として原文書の文数の 10 倍の擬似正解データを得た.

翻訳器としては，Marian-NMT [21]を用いて 1.5 億文のパラレルコーパス1)で学習された OPUS-MT [22] を用いた。また，逆翻訳を行うためには，原言語を 一旦任意の目標言語へと翻訳しなければならない.目標言語として，スペイン語，イタリア語，ドイツ 語，フランス語，ベトナム語を用い，RST-DT の学習データを逆翻訳した文と逆翻訳前の文との間の BLEU 値 [23] を計算したところ，スペイン語が 42.7 と最も高かったため, 以降の実験の逆翻訳にはス ペイン語を利用した. なお, Instr-DT の学習データ に対して同様に BLEU 值を計算したところ 40.3 で あった。

## 4.2 結果と考察

表 2 に評価結果を示す. スコアは異なるシードを 用いた 5 回の試行の平均值であり，カッコ内はその 標準偏差を表す。表より，RST-DT のスコアは全般 に Instr-DT よりも低い. RST-DT は，1 文書あたりの 文の数が多く, 正解の修辞構造木の多様性も高い. よって，学習がより困難であったと考える。

逆翻訳による擬似正解データを用いることで， RST-DT において Span で 0.3, Nuc., Rel. で 0.9, Full で 1.3 ポイントの性能向上が得られている. 上向き と下向きを比較するとやや下向きが良く, 逆翻訳対象として選択する文のパラメタ $n$ については，上向 きでは $n=50$, 下向きでは $n=100$ が良い.

一方，Instr-DT においては，すべての指標におい て RST-DT よりも大きく性能向上しており, その値 は約 2 ポイントである. 特に上向き解析ではすべて の性能向上が 2 ポイントを上回っている. これは， Instr-DT が RST-DT よりもデータサイズが小さいこ


とから，疑似正解データがより効果を発揮したもの と考える。垧きと下向きを比較すると明らかに上向きが良い。逆翻訳のパラメタ $n$ については $n=50$ が良い. 両方のデータセットで最適な $n$ は異なる ものの擬似正解データを利用する効果は明らかで ある.

解析器の性能を左右するスパンのベクトル表現 が単語のベクトル表現に依存することに注意する と，学習データの語彙とテストデータの語彙に乘離 がないことが望ましい，そこで，テストデータに対 する学習データ, 擬似正解データの語彙の被覆率 を調べたところ，RST-DTでは，学習データのみで $76.2 \%$ ，擬似正解データを加えると $80.9 \%$ ，Instr-DT では，学習データのみで $83.2 \%$ ，擬似正解データを 加えると $89.6 \%$ であった. 両方ともに語彙の被覆率 が向上しており，これが解析性能の向上に寄与した と考える。また，逆翻訳の BLEU にほぼ差がないに もかかわらず，Instr-DT の方が被覆率のゲインが大 きいことから，逆翻訳の効果は Instr-DT の方がより 顕著であったと考える。

## 5 おわりに

本稿では，文間の修辞構造解析の性能を改善する ため，学習データに対して逆翻訳を適用することで 大量の擬似正解データを作成し，これを用いて解析器を事前学習，正解データを用いて追加学習する手法を提案した. Kobayashi ら [5] の世界最高性能の 上向き，下向き解析器に基づき， ベンチマークデー タセット RST-DT，Instr-DT を用い，擬似正解データ を用いないべースラインと提案法を比較したとこ ろ，RST-DT では最大で 1.3 ポイント，Instr-DT では 最大で 2.8 ポイント, Standard-ParsEval スコアが向上 し，逆翻訳による擬似正解データの有効性を確認で きた。

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を 受けている。

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 315-320, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[3] Jingun Kwon, Naoki Kobayashi, Hidetaka Kamigaito, and Manabu Okumura. Considering nested tree structure in sentence extractive summarization with pre-trained transformer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4039-4044, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[5] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. A simple and strong baseline for end-to-end neural rst-style discourse parsing. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6754-6766, 2022.

[6] Rajen Subba and Barbara Di Eugenio. An effective discourse parser that uses rich linguistic information. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 566-574, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[7] Vanessa Wei Feng and Graeme Hirst. Text-level discourse parsing with rich linguistic features. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 60-68, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[8] Shafiq Joty, Giuseppe Carenini, Raymond Ng, and Yashar Mehdad. Combining intra- and multi-sentential rhetorical parsing for document-level discourse analysis. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 486-496, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[9] Shafiq Joty, Giuseppe Carenini, and Raymond T. Ng. CODRA: A Novel Discriminative Framework for Rhetorical Analysis. Computational Linguistics, Vol. 41, No. 3, pp. 385-435, 092015.

[10] Xiang Lin, Shafiq Joty, Prathyusha Jwalapuram, and M Saiful Bari. A unified linear-time framework for sentence-level discourse parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 8099-8106, Apr. 2020.

[12] Chloé Braud, Barbara Plank, and Anders Søgaard. Multi-view and multi-task training of RST discourse parsers. In Proceedings of COLING 2016, the 26th International Conference on Compu- tational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[13] Patrick Huber and Giuseppe Carenini. MEGA RST discourse treebanks with structure and nuclearity from scalable distant sentiment supervision. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online, November 2020. Association for Computational Linguistics.

[14] Grigorii Guz, Patrick Huber, and Giuseppe Carenini. Unleashing the power of neural discourse parsers - a context and structure aware approach using large scale pretraining. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3794-3805, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[15] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Improving neural RST parsing model with silver agreement subtrees. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1600-1612, Online, June 2021. Association for Computational Linguistics.

[16] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[17] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving deberta using electra-style pre-training with gradientdisentangled embedding sharing. CoRR, Vol. abs/2111.09543, , 2021.

[18] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160167, Online, November 2020. Association for Computational Linguistics.

[19] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[20] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[21] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[22] Jörg Tiedemann and Santhosh Thottingal. OPUS-MT - building open translation services for the world. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 479-480, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[23] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
 前川在 1 小林 尚輝 1 平尾 努 2 上垣外 英剛 1 奥村 学 1 1 東京工業大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 \{maekawa, kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp tsutomu.hirao.kp@hco.ntt.co.jp  