# 疑似正解データを活用したニューラル修辞構造解析

小林 尚輝 $\dagger \cdot$ 平尾 努 $\dagger \dagger \cdot$ 上垣外英剛 $\dagger \cdot$ 奥村 学 $\dagger \cdot$ 永田 昌明 $\dagger \dagger$

修辞構造解析ではニューラルネットワークなどの識別器を用いた解析器を教師あり学習により学習する。しかし, 現存の最大規模のコーパスである RST-DT は 385 文書 しかなく, ニューラルネットワークを学習するに十分な量とは言い難い. このような 学習データの不足は, クラス数が多く頻度に偏りのある修辞関係ラベルの推定におい て性能低下の原因となる。 そこで, 本論文では自動的に修辞構造を付与した疑似正解 データセットを利用したニューラル修辞構造解析手法を提案する。疑似正解データ セットは複数の解析器により得られた修辞構造木の間で共通する部分木とし, ニュー ラル修辞構造解析器の事前学習に利用し, 人手で作成した正解デー夕を用いて解析器 を追加学習する，RST-DTコーパスを用いた実験では，提案手法は OriginalParseval による核性と修辞関係の評価においてそれぞれ micro-F1 で 64.7，54.1を達成した. キーワード: 談話構造解析, 修辞構造解析, 修辞構造理論, データ拡張
## Neural RST-Style Discourse Parsing Exploiting Agreement Sub-trees as Silver Data

\author{
Naoki Kobayashi $^{\dagger}$, Tsutomu Hirao $^{\dagger \dagger}$, Hidetaka Kamigaito $^{\dagger}$, \\ Manabu OKumura $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger \dagger}$
}

Recent Rhetorical Structure Theory (RST)-style discourse parsing methods are trained by supervised learning, requiring an annotated corpus of sufficient size and quality. However, the RST Discourse Treebank, the most extensive corpus, consists of only 385 documents. This is insufficient to learn a long-tailed rhetorical-relation label distribution. To solve this problem, we propose a novel approach to improve the performance of low-frequency labels. Our approach utilized a silver dataset obtained from different parsers as a teacher parser. We extracted agreement subtrees from RST trees built by multiple teacher parsers to obtain a more reliable silver dataset. We used span-based top-down RST parser, a neural SOTA model, as a student parser. In our training procedure, we first pre-trained the student parser by the silver dataset and then fine-tuned it with a gold dataset, a human-annotated dataset. Experimental results showed that our parser achieved excellent scores for nuclearity and relation, that is, 64.7 and 54.1, respectively, on the Original Parseval.

Key Words: Discourse Parsing, Rhetorical Structure Theory Parsing, Data Augmentation


## 1 はじめに

修辞構造理論 (Mann and Thompson 1987) は文書中のテキストスパン（後述する EDU の系列）間の関係を木構造で表現する理論である。修辞構造理論によると, 文書は, 木の最小構成単位となる節相当のユニット，Elementally Discourse Unit (EDU)へと分割され，EDUを終端ノードとした構成素木である修辞構造木として表現される。非終端ノードはそれが支配するテキストスパン（連続した EDU）の核性ラベル，核 (N: Nucleus), 衛星 (S: Satellite)をあらわす.核と衛星は対の関係にあり，テキストスパンの中心的役割を担う核を衛星が修飾する。よって，任意の非終端ノードは基本的には単核，つまり N-S，S-Nの組み合わせの子供を持つ。たたし例外的に並列構造をあらわす場合，多核， N-N という組み合わせの子供を持つ場合がある。そして，木のエッジは隣接する 2 つのテキストスパンの間の修辞関係をあらわす。修辞関係ラベルは，ドメインによって異なるが一般的に用いられるベンチマークデータセットである RST Discourse Treebank: RST-DT (Carlson et al. 2001) では Elaboration, Attribution など 18 種類が定義されている。図 1 に例を示す.

一般的に修辞構造解析器 (以下, 解析器) は以下の 3 つの分類器から構成され, その学習には教師あり学習が用いられる.

(1) 木構造を推定するためにテキストスパンの分割または結合を決定する分類器

（2）２つの隣接するテキストスパン間の核性ラベル（S-N, N-S, N-N のいずれか）を推定する分類器

図 1 修辞構造木の例. (wsj_0699)

本稿は Conference of the North American Chapter of the Association for Computational Linguistics (NAACL2021) での発表 Improving Neural RST Parsing Model with Silver Agreement Subtrees (Kobayashi et al. 2021) に加筆を行ったものである.

(3) 2 つの隣接するテキストスパン間の修辞関係ラベル（RST-DT の場合， 18 種のラベルのいずれか）を推定する分類器

教師あり学習には, 文書に対して修辞構造木のアノテーションを与えたデータが大量に必要となるが，アノテーションには専門知識を必要とするため，大規模なコーパスを構築することが難しい. 修辞構造解析の研究において最も一般的，かつ最大のデータセットである RST-DTでさえ 385 文書しかない.

データ不足はいわゆる教師あり学習を用いた手法にとって大きな問題であり, 近年のニュー ラルネットワークを用いた修辞解析法においても例外ではない。しかし， ニューラルネットを用いた自然言語処理では，大規模な疑似正解デー夕を活用する手法 (Nguyen et al. 2020；Vania et al. 2019) が提案され，こうしたデータ不足が克服されつつある.

たとえば，ニューラル機械翻訳 (NMT) では，Back-translation により自動的に生成した大量の疑似正解データ（疑似対訳データ）を利用する枠組み (Sennrich et al. 2016; Nguyen et al. 2020) が翻訳性能の大幅な向上を示した。

本稿では，先述した NMT における疑似対訳データの活用にヒントを得て，修辞構造解析におけるデータ不足の問題を解決するための大規模な疑似正解データセットの自動構築方法とそれを利用した事前学習，追加学習の枠組みを提案する，具体的には大量のラベルなしデー夕に対し, 複数の解析器を適用した結果から一致する部分木を擬似正解データセットとする。そして，それを Kobayashi et al. (2020) らの手法 (Span-Based Parer: SBP) の事前学習に用い, 正解データセットである RST-DT により追加学習する。また，複数の解析器の間で一致する部分木を効率的に抽出するためのアルゴリズムも提案する.

RST-DT を用いた実験では，疑似正解データを用いることにより，SBP に対して性能が向上することを確認した．特に，修辞関係ラベル推定の性能向上が顕著であり 5 ポイント程度のゲインを得た。正解の EDU 分割を用いて木構造のみを評価すると F1 スコアが 74.1 ，核性ラベルも含めると 64.7 , 関係ラベルも含めると 54.1 , すべてを含めると 52.7 であり, 現在の最高性能の解析器である Zhang et al. (2021)に匹敵する性能を達成した。一方，自動推定した EDU 分割を用いた場合には，それぞれ $68.1 ， 57.4 ， 47.6 ， 45.9$ であり，関係ラベルを含めた場合の性能は, 現在の最高性能の解析器である Nguyen et al. (2021)に匹敵する性能を達成した.

## 2 関連研究

## 2.1 談話構造解析における解析方法の変化

初期の修辞構造解析の研究では人手で作成した特徴量をべクトルとして表現し, 分類器として SVM や Linear-Chain CRF を採用した遷移型の解析手法を用いて上向きに木を構築する，つまりテキストスパンを結合していく手法が主流であった (duVerle and Prendinger 2009; Hernault
et al. 2010; Feng and Hirst 2014). こうした遷移型の上向き解析は決定的に木を構築するためテキストスパンの結合スコアの観点から最適な木が構築できるとは限らない。そこで，CKY 法を用いて最適な木を構築する手法も提案された (Joty et al. 2013, 2015). しかし，文から得られる構文木とは異なり, 文書から得られる修辞構造木は終端ノード数が 50 以上になることも多い. よって, 計算量が問題となることから CKY 法を用いた手法は多くない.こうした従来型の機械学習を用いた修辞構造解析手法のなかで特筆すべき手法として，SVM を採用した遷移型の上向き解析手法 (Wang et al. 2017) である Two-Stage Parser（以下，TSP）がある．TSP は，還元 (Reduce) 時に核性ラベルを推定することで，まず核性ラベル付きの木を推定し，次に推定された木の構造をもとに隣接する 2 つのスパンに対して関係ラベルを推定する 2 段階の解析を行う. 2 段階の解析の効果により, 従来型の修辞解析手法のなかでは最も高い性能を達成した.

ニューラルネットワークの有効性が様々な自然言語処理タスクで示されたことから, 修辞構造解析においてもニユーラルネットワークを活用した手法が数多く提案されている. Yu et al. (2018) はニューラルネットワークを用いた遷移型の上向き解析手法を提案した. 文内の係り受け構造を解析するニューラルネットワークから得られる特徴べクトルを埋め达み表現として利用することで，関係ラベルの推定において高い性能を達成した。また, Guz and Carenini (2020) は Wang et al. (2017) の TSP から分類器を多層パーセプトロンに変更し，スパンのベクトル表現をSpanBERT (Joshi et al. 2020)により獲得することで大きな改善を得た.

さらに, 先述した上向き解析手法に加え, 近年では, 下向き解析手法が多く提案されている. これは上向き解析が局所的な EDU 間の繋がりをもとに木を構築するのに対して，より大きな文や段落，トピックといった情報を考慮できるからである． Lin et al. (2019) は，エンコーダ・デコーダモデルのひとつであるポインターネットワーク (Vinyals et al. 2015) を用いてテキストスパンを再帰的に 2 分割することで文内の修辞構造を解析する手法を提案した。そして，Zhang et al. (2020)によって文書の修辞構造解析へと拡張された. また, より単純な下向き解析手法として, Kobayashi et al. (2020), Koto et al. (2021)は，デコーダを経ずに多層パーセプトロンを用いてテキストスパンを再帰的に 2 分割する手法を提案した. 特に Kobayashi et al. (2020)の SBP は，木構造，核性ラベル推定において高い性能を達成した。

## 2.2 データ拡張手法

修辞構造解析手法の学習・評価には RST Discourse Treebank: RST-DT (Carlson et al. 2001) が標準的に利用される．RST-DT は Penn Treebank (Marcus et al. 1993)の一部に対して修辞構造木を与えたものであり現存する修辞構造のアノテーション済みデータセットとしては最大規模である。しかし, 最大規模のデータセットではあるものの文書数は 385 でしかなく, 解析器の学習に十分とは言えない. そこで, データ不足を解決するための手法も盛んに研究されている. Braud et al. (2016) は修辞構造解析の他に文書やそれを構成する文に対する感情分類や
時系列分類, 属性分類などの合計 13 通りの分類問題のマルチタスク学習によって学習事例を増やすことで解析器の性能および頑健性の向上に取り組んた.

Braud et al. (2017) はドイツ語やスペイン語など多言語の修辞構造アノテーション済みデータセットを英語へと翻訳することでデー夕拡張を行った． Huber and Carenini (2019) は MEGARST と呼ばれる大規模な学習データを自動生成するために，文書を構成する各 EDU ごとの感情極性スコアとアテンションスコアを Multiple Instance Learning (Angelidis and Lapata 2018) により獲得し，得られたスコアをもとに CKY 法を適応してラベルなしデータから核性付きの木を得た。

Guz et al. (2020) は MEGA-DT コーパス (Huber and Carenini 2020) を事前学習に用い, RSTDT で追加学習を行う手法を提案した．擬似正解データによる事前学習と正解データによる追加学習という枠組み自体は本稿での提案法と同じであるが, 擬似正解データの作成法が大きく異なり，修辞関係ラベルを含まない.

Jiang et al. (2016)は co-training を利用してラベルなしデータを活用する手法を提案した．低頻度の修辞関係ラベルの推定性能を改善したが，修辞関係ラベル全体で見ると性能は低下している。また, この手法は木構造や核性ラベルの推定性能の改善には対応しない.

提案手法と関連する擬似正解データを活用した学習方法として自己学習がある. 自己学習では, ある解析器でラベルなしデータを解析した結果を擬似正解データとして, 再度その解析器の学習に利用する。一方, 提案法では疑似正解データを用いて学習する解析器は擬似正解デー夕を作成するために利用したものと異なる。つまり, 教師（擬似正解データを作成する解析器） 生徒（それを用いて学習する解析器）モデルを採用している.

また, 提案法における疑似正解デー夕の作成に複数の解析器を使用するという点では, cotraining (Blum and Mitchell 1998) やtri-training (Zhou and Li 2005) も同じである. これらの手法による学習は疑似正解データの作成と疑似正解データによる学習を繰り返し行うが，ニュー ラルネットワークを用いた学習において, 繰り返し適用するには学習時間の観点から非効率的である。したがって，近年の手法 (McClosky et al. 2006; Pekar et al. 2014; Weiss et al. 2015)などでは繰り返しを省略して一度だけ疑似正解デー夕を適用する手法が多く見られ，本手法も同様に一度だけ適用する。

## 3 提案手法

## 3.1 疑似正解データを活用した学習方法の概要

初期の修辞構造解析の研究ではテキストスパンをべクトルとして表現するために文書の全体の構造から得られる特徴量, たとえば, 文書内での位置などを必要とした。一方で近年のニュー ラルネットワークを活用した手法ではテキストスパンのベクトルは事前学習済み言語モデルの

図 2 提案法の概要

単語ベクトルに基づくため, 必ずしも文書全体を必要としない. したがって，部分木をニューラルネットワークの学習データとして有効活用できることから，本稿では部分木を擬似正解デー 夕として利用した。

図 2 に提案手法の概要を示す. 提案手法は大きく分けて 2 つの手順に分かれる．1つ目は教師解析器を用いた疑似正解データの作成，2つ目は疑似正解データを用いた生徒解析器の学習である。擬似正解データの作成に用いる教師解析器として，ニューラルネットワークを用いない解析器のなかで最も性能の良いTSP を採用した。特に生徒解析器である SBP が苦手とする修辞関係ラベルの推定性能が良いことが採用の理由である。この手法は, SVM の最適化に確率的双対座標降下法を用いているため, 初期値により解が異なる。そこで, 異なる初期值で学習した複数のTSPを1つの文書に対し適用し, 複数の修辞構造木を得た. そして, 複数の木の間で共通する部分木，つまり合意部分木 (Agreement SubTree：AST) を疑似正解データとして抽出する。最後に, 擬似正解データを用いて生徒解析器である SBP を事前学習し, 正解データを用いて追加学習する.

## 3.2 合意部分木の抽出

質の高い擬似正解データを得るためには複数の解析器の間で一致する木をそれとすればよい. しかし, 修辞構造木は文書から得られる木であるためそのサイズが大きく複数の解析器による結果が一致することはまれである。一方で, 図 3 の網掛けで表されるように, 木の全体で一致していなくとも，木の一部では一致することは多い。そこで，本論文では AST を疑似正解デー タとして利用する。

大量の擬似正解データを得るためには，効率的にAST を抽出しなければならない．そこで，本稿では AST を効率的に抽出するためのアルゴリズムを提案する。提案するアルゴリズムは木の走査に基づいており，木に含まれるノードの数 $n$ に対して線形の $O(n)$ で動作する。合意部分木を列挙するアルゴリズムはデータマイニング分野で複数の研究 (Abe et al. 2002; Zaki 2005; Keselman and Amir 1994) があり，たとえば，一般的な木の集合から合意部分木を得るには Zaki (2005) で提案された最右拡張を用いれば良いが, これは計算量を見積もることができない. 一
方，本稿では終端ノードが順序も含めて一致する特殊な木を対象とすることから，新たな合意部分木を列挙するアルゴリズムを提案した。

提案するアルゴリズムの目的は入力された $k$ 個の修辞構造木 (trees)の全てに出現する部分木 (subtrees)を抽出することにある. Algorithm 1 にアルゴリズム全体の流れを示す. アルゴリズムは関数 MAKECOUnt, 関数 AGREEMENt, 関数 FindRootの 3 つから構成される.

はじめに Algorighm 2 に示す関数 MAKECOUNT により出現する全てのスパンの頻度を計算し，スパンをキーとしてその頻度を値とする辞書によって保持する。本アルゴリズムでは，各ノードが内包する先頭と末尾の EDU のインデックスで表される区間とそのノードに付与された核性，関係ラベルの三つ組をスパン $(\mathrm{span})$ として扱い，これを同一性の判定に用いる。ラべルなしのスパンによる同一性の判定も可能であるが，本稿では関係ラベルの推定性能向上のためにラベル付きのスパンを用いた。

次に，与えられた複数の修辞構造木のうち 1 つを任意に選び, その ROOT スパンを Algorighm 3 に示す関数 AGREEMENT 入力する。関数 AGREEMENT は木の各スパンに AST の十分条件が満たされているかどうかを示すフラグを付与する。あるスパンがASTである条件を満たすため

図 3 重複する部分木（網掛け部分）の抽出

には，左右の子スパンが AST の条件を満たし，かつ自身の出現頻度 Count(span)が木の数 $k$ と一致することである。ここで，スパンの出現頻度 Count(span) は事前に数えることができるので，スパンをキーとして頻度を值に持つ辞書とすることで簡単に出現頻度を参照できる。

最後に関数 AGREEMENT によりフラグが付与された状態のスパンを Algorighm 4 に示す関数 FIndRootへと入力する。関数 FIndRoot は付与されたフラグを元に，AST である部分木をすべて抽出する。このとき，AST 同士の間では重複が起きないようにする. さらに, $l_{\min }, l_{\max }$ を用いて抽出する木の大きさを制御する.

AST がすべての木に共通して含まれるため，関数 AGREEMENT および関数 FInDROOT は $k$個の修辞構造木全てに対して行う必要はなく $k$ 個の木のうち一つだけに適用すればよい。たたし関数 MAKECOUNT によりスパンの頻度を事前に計算するときのみ全ての木を用いて計算を行う.

## 3.3 生徒解析器: Span-Based Parser

得られた部分木からなる疑似正解デー夕は, 任意の生徒解析器に適用可能であるが, 周辺の文脈に強く依存する解析器の場合, 正解データとの乘離が大きくなり性能向上に寄与できない可能性が高い．たとえば，着目するスパンが文書中のどこに位置しているかを素性として利用する手法 (Wang et al. 2017), 着目するスパンよりも左側のスパン（部分木）の情報を利用するシフト還元法 (Guz and Carenini 2020)には適していないと考える。一方, スパン分割に基づく下向き解析手法は周辺の文脈を必ずしも必要としないため部分木による学習に適していると考える。したがって, 本稿では Span-Based Parser: SBP(Kobayashi et al. 2020)を生徒解析器として採用した。以下にその詳細を述べる。

## 3.3.1スパンのベクトル表現

SBP では多層パーセプトロンを用いてスパンの分割，ラベルの推定を行うため，各スパンを固定長のベクトルで表現する必要がある。ここでは, はじめに EDU のべクトル表現, 次にスパンのベクトル表現の獲得方法を説明する.

$t$ 番目の $\mathrm{EDU}$ のべクトル表現 $\mathbf{e}_{t}$ は, 式 (1)により, $\mathrm{EDU}$ 内の各単語の埋め込み表現 $\mathbf{h}_{j}^{\prime}$ を平均することで固定長のべクトルとして表現する.

$
\mathbf{e}_{t}=\frac{1}{n} \sum_{j \in 1, \ldots, n} \mathbf{h}_{j}^{\prime}
$

各単語の埋め込み表現は, 文脈を考慮したべクトルとするために双方向 LSTM (Schuster and Paliwal 1997; Graves and Schmidhuber 2005) とゲート機構 (Zhou et al. 2017) を用いて以下により求める.

$
\begin{aligned}
\overrightarrow{\mathbf{h}_{i}} & =\overrightarrow{\mathrm{LSTM}}_{\text {word }}\left(\overrightarrow{\mathbf{h}}_{i-1}, \mathbf{w}_{i}\right) \\
\overleftarrow{\mathbf{h}_{i}} & =\overleftarrow{\operatorname{LSTM}}_{\text {word }}\left(\overrightarrow{\mathbf{h}}_{i+1}, \mathbf{w}_{i}\right) \\
\mathbf{h}_{i} & =\left[\overrightarrow{\mathbf{h}}_{i} ; \overleftarrow{\mathbf{h}}_{i}\right] \\
\mathbf{s G a t e}_{i} & =\sigma\left(\mathbf{W}_{s} \mathbf{h}_{i}+\mathbf{U}_{s} \mathbf{s}+\mathbf{b}_{s}\right) \\
\mathbf{h}_{i}^{\prime} & =\mathbf{h}_{i} \odot \mathbf{s G a t e}_{i}
\end{aligned}
$

ここで, 式 (5)の $\mathbf{s}$ は EDU 内の先頭と末尾の単語の表現ベクトルから $\left[\mathbf{h}_{1} ; \mathbf{h}_{n}\right]$ とした $(n$ は $\mathrm{EDU}$ に含まれる単語数)。また, 単語の埋め込み表現 $\mathbf{w}_{i}$ には ELMo (Peters et al. 2018)と GloVe (Pennington et al. 2014)を結合して利用した.

次に， $i$ 番目から $j$ 番目の EDU で構成されるスパンの埋め込み表現 $\mathbf{u}_{i: j}$ は, 双方向 LSTM の前向き後向きのそれぞれの状態の差分により式 (9)によって求める.

$
\begin{aligned}
\overrightarrow{\mathbf{f}_{i}} & =\overrightarrow{\mathrm{LSTM}}_{\text {unit }}\left(\overrightarrow{\mathbf{f}}_{i-1}, \mathbf{e}_{i}\right) \\
\overleftarrow{\mathbf{b}_{i}} & =\overleftarrow{\operatorname{LSTM}}_{\text {unit }}\left(\overrightarrow{\mathbf{b}}_{i+1}, \mathbf{e}_{i}\right) \\
\mathbf{u}_{i: j} & =\left[\mathbf{f}_{j}-\mathbf{f}_{i-1} ; \mathbf{b}_{i-1}-\mathbf{b}_{j}\right]
\end{aligned}
$

## 3.3.2 スパンの分割

$i$ 番目から $j$ 番目の EDU で構成されるスパンが与えられたとき，分割候補となる各点 $j$ において，関数 $s_{\text {split }}(i, j, k)$ により分割の良さを表すスコアを計算する.

$
s_{\text {split }}(i, j, k)=\mathbf{h}_{i: k}^{\top} \mathbf{W}_{u} \mathbf{h}_{k+1: j}+\mathbf{v}_{\ell}^{\top} \mathbf{h}_{i: k}+\mathbf{v}_{r}^{\top} \mathbf{h}_{k+1: j}
$

ここで $\mathbf{W}_{u}$ は重み行列， $\mathbf{v}_{\ell}, \mathbf{v}_{r}$ はそれぞれ左右のスパンに対応する重みベクトルである． $\mathbf{h}_{i: k}$, $\mathbf{h}_{k+1: j}$ は左右のスパン表現をそれぞれ異なる多層パーセプトロンにより変換したべクトルであり, 以下のように求められる.

$
\begin{aligned}
\operatorname{MLP}_{*}(\mathbf{x}) & =\mathbf{W}_{2}\left(\operatorname{ReLU}\left(\mathbf{W}_{1}(\mathbf{x})+\mathbf{b}_{1}\right)\right)+\mathbf{b}_{2} \\
\mathbf{h}_{i: k} & =\operatorname{MLP}_{\text {left }}\left(\mathbf{u}_{i: k}\right) \\
\mathbf{h}_{k+1: j} & =\operatorname{MLP}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right)
\end{aligned}
$

スパンの分割は式 (10) が最大となる点 $k$ を以下の式で求める.

$
\hat{k}=\operatorname{argmax}_{k \in\{i, \ldots, j-1\}}\left[s_{\text {split }}(i, j, k)\right]
$

## 3.3.3 ラベルの推定

点 $k$ でスパンを分割した後, 分割された左右のスパンの間に核性と関係ラベルを推定する. データスパースネスの影響を避けるために核性と関係ラベルは異なる分類器によって学習される。左右のスパン表現と外側のスパン表現 $\mathbf{u}_{1: i}, \mathbf{u}_{j: n}$ を用いて各ラベル $\ell$ のスコアを関数 $s_{\text {label }}$ により推定する.

$
s_{\text {label }}(i, j, k, \ell)=\mathbf{v}_{\ell} \operatorname{MLP}\left(\left[\mathbf{u}_{i: k} ; \mathbf{u}_{k+1, j} ; \mathbf{u}_{1: i} ; \mathbf{u}_{j: n}\right]\right)
$

ここで $\mathbf{v}_{\ell}$ はラベル $\ell$ に対応する重みベクトルであり，[;] はべクトルの結合を表す．MLP は多層パーセプトロンであり，核性と関係でそれぞれ $\mathrm{MLP}_{\mathrm{nuc}}, \mathrm{MLP}_{\mathrm{rel}}$ を別々に学習する。

左右のスパン間に割り当てられるラベルは式 (15) が最大となるラベル $\hat{\ell}$ を下のように求める.

$
\hat{\ell}=\operatorname{argmax}_{\ell \in \mathcal{L}}\left[s_{\text {label }}(i, j, k, \ell)\right]
$

ここで $\mathcal{L}$ は核性ラベルの推定においては $\{\mathrm{N}-\mathrm{N}, \mathrm{N}-\mathrm{S}, \mathrm{S}-\mathrm{N}\}$ の 3 種類, 関係ラベルの推定においては 18 種類からなる関係ラベルの集合となる.

## 3.4 教師解析器: Two-Stage Parser

教師解析器は疑似正解データの作成に用いるため, 生徒解析器の欠点を補えることが望ましい.この場合, 修辞関係ラベルの推定で高い性能を達成している解析器が望ましい. 修辞関係ラベルを高性能に推定する解析器の候補として, SVM を用いたTSP (Wang et al. 2017) とニュー ラルネットワークを用いた NNDisParser (Yu et al. 2018) があり，どちらも遷移型の上向き解析法である。 NNDisParser は関係ラベルの推定で TSP より高い性能を達成しているが，特徴量として文内の係り受け解析を行うニューラルネットワークの特徴ベクトルを必要とすることから，大規模なデータ作成に向いていない．したがって本研究では，TSP を教師解析器として利用する。

TSP はシフト－還元のアクションをSVM により推定して解析を行う．それらのSVM は確率的双対座標降下法で最適化されるため, 異なる初期値で複数の解析器を学習し, それらの間で合意をとることで擬似正解デー夕を作成した。

## 4 実験

## 4.1 データセット

解析器の評価には標準的ベンチマークデータセットである RST-DT を用いる． RST-DT は学習データ 347 文書とテストデータ 38 文書に分割されており, Heilman and Sagae (2015) に基づき学習データのうち 40 文書を開発データとした. 正解データセットの EDU の分割に関しては正解の分割を利用した. 347 件の学習データは教師解析器 (TSP) の学習および生徒解析器 (SBP) の追加学習に用いた.

生徒解析器の事前学習に用いる疑似正解データセットは CNN コーパス (Hermann et al. 2015) から得る。まず，Neural EDU Segmenter (Wang et al. 2018)により EDU の分割を行い，異なる初期值で学習した教師解析器である TSPにより得られた修辞構造木の間で AST を抽出し,擬似正解データセットとした．また，TSPが必要とする特徴量を得るため，CNNコーパスに Stanford CoreNLP toolkit ${ }^{1}$ を用いて前処理を行った。

## 4.2 パラメータ設定

4.2.1 $l_{\min }$ および $l_{\max }$

$l_{\text {min }}, l_{\max }$ は抽出する AST の最小, 最大サイズを決定するパラメータである． RST-DT の文書に含まれる EDU 数は 7 から 240 であるため, $l_{\min }$ は 5 から 10 の間で選択し， $l_{\max }$ は 240 とした. 図 4 に示される開発データにおける $l_{\min }$ と性能の変化から $l_{\min }$ には開発データで最も良い性能であった 9 を選択した。

図 4 開発データにおける $l_{\min }$ と性能の変化
^{1}$ https://stanfordnlp.github.io/CoreNLP/
}

## 4.2.2 生徒解析器

$\mathrm{SBP}^{2}$ の基本的なパラメータは元の実装に従い, 隠れ層の次元数は 500 次元とした. また, 事前学習と追加学習はそれぞれ 5,10 エポックとし, 開発データで最も良い性能を示したエポックのモデルを評価に用いた。

SBP は文書の持つ階層構造である段落と文を利用して, 文書一段落, 段落一文, 文- EDU という各階層で別々の解析器を学習することで高い解析性能を達成した。しかし, 疑似正解デー タセットを用いて階層ごとに事前学習を行うことは計算量から容易ではない. したがって，階層構造を利用せず単一の解析器で解析するモデルを学習し，解析時に段落と文の境界を優先的に分割する処理を取り入れることにした，具体的には，スパンの分割候補に段落の境界にあたる分割点が 1 つ以上存在する場合は，段落の境界にあたる点のみを対象に式 (14) を適用して分割点を決定する。これにより，段落の境界が優先して分割される．同様に段落内では文の境界にあたる分割候補を対象にして分割点を決定し，優先的に分割する。

また, Kobayashi et al. (2020) は異なる初期值で学習した解析器が推定した分布を平均化することでアンサンブルを行った。しかし, 事前学習から追加学習までを異なる初期値で行うことは時間コストの観点から現実的でない。したがって，疑似正解データセットによる事前学習は一度だけ行い, 追加学習時の最適化の初期値を複数通り行いアンサンブルに必要な解析器を用意した。

## 4.2.3 教師解析器

擬似正解データを得るため, 異なる初期値で学習した 4 つの TSP を用いた。教師解析器の数 $k$ が小さいと解析器による合意の信頼性が低下し, データセットの質が低下する。一方で, $k$ が大きすぎると疑似正解データセットを作成するための時間が膨大となり，また合意をとるための制約が厳しくなるためデータ量も少なくなる。本論文ではデータ作成の時間を考慮して $k$ を 4 としたが，適切な $k$ に関してはまだ議論が必要である。

## 4.3 評価指標

従来研究 (Morey et al. 2017) に基づき, 多核の $\mathrm{N}$-分木 $(\mathrm{N} \geq 3$ ) となっている箇所は right-heavy branching treeへと変換 3 することで 2 分木に変換したうえで可能なスパンの一致をもとにSpan, Nuclearity (Nuc.), Relation (Rel.), Fullの 4 種類の評価指標で評価する. Span はラベルなしの木構造，Nuc. は核性ラベル付きの木構造，Rel. は修辞関係ラベル付きの木構造，Full はすべてのラベル付きの木構造をマイクロ平均 $\mathrm{F}$ 値で評価する.

木に含まれるスパンの抽出方法による違いにより RSTParseval と OriginalParseval の 2 種類
$-分木 $(\mathrm{N}=3)$ に関しては left-heavy branching tree へと変換される.
}

の評価指標が利用される． RSTParseavl が一般的に用いられるが，正解の EDU 分割を用いる際には OriginalParseval を利用することが推奖されている (Morey et al. 2017).それぞれの評価指標におけるスパンの抽出例を図 5 に示す.

## 4.4 比較手法

部分木を活用した疑似正解データセットによる事前学習の有効性を検証するために，単一の解析器による結果を疑似正解データセットしたDocument Tree (DT), 複数の解析器により文書全体で合意した結果を疑似正解データセットとした Agreement Document Tree (ADT) を比較対象とした。疑似正解データセットに含まれる木の数およびスパンの数を表 1 に示す.

また, 近年の修辞構造解析器との比較を, 教師解析器として利用したWang et al. (2017) の TSP の他に, Yu et al. (2018)の係り受け解析器の特徵べクトルを利用した上向き解析手法, Two-Stage

図 5 RSTParseval と OriginalParseval のスパン表現の違い. 左側の木に対して RSTParseval は ROOT を除いた 5 つのスパン, OriginalParseval は左右の子の核性を結合して表される 3 つのスパンをそれぞれ評価に用いる。

表 1 疑似正解データセットを構成する木の数およびノードの数。 $k$ は合意を取るために用いた教師解析器の数, $l_{\text {min }}$ は最小の部分木の大きさ. CoreNLP toolkit による前処理の関係で利用可能な CNN コーパスの文書数は 91,536 文書であった.

 \\

AST $\left(k=4, l_{\min }=9\right)$ & 175,709 & $2,279,275$ & 14.0 & $68.7 \% / 13.9 \% / 17.4 \%$ \\

表 2 RST-DT と疑似正解データである MEGA-DT およびADT の比較.

Parger に SpanBERT を導入しニューラルモデルに再構築した Guz and Carenini (2020)の方法, ポインターネットワークを利用した下向き解析手法に対し，敵対学習による最適化を導入した Zhang et al. (2021)の方法と比較を行う．さらに，本稿と同じく疑似正解データを利用する研究である Guz et al. (2020)の方法, EDU 分割までを end-to-end で学習する Nguyen et al. (2021) の方法とも比較を行う。

また，表 2 に RST-DT と MEGA-DT ${ }^{4}$ および提案法である AST の統計量を比較した結果を示す. MEGA-DT は配布されている train/dev/testのうち trainを対象とし，AST は実験に用いた $k=4, l_{\min }=9$ のデータを対象とした. どちらの疑似正解データセットも RST-DT と比べてデータ数, ノード数共に多いが，平均 EDU 数は少ない。核性ラベルの割合を見ると，AST は RST-DTにより学習された解析器によりラベルが付与されているため RST-DT とおおよそ同一の分布である。一方, MEGA-DT は Yelp'13に EDU を単位とした感情極性ラベルが付与された SPOT データセット (Angelidis and Lapata 2018) を元にして構築しているため RST-DT と分布が異なっている.

## 5 実験結果

## 5.1 疑似正解データセットの比較

表 3 に事前学習モデルと追加学習したモデルの RSTParseval における性能を示す。表中の SBP は疑似正解データセットを用いず，正解データセットのみで学習した実験結果である。これをべースラインとして疑似正解データセットの有効性を比較する。部分木を擬似正解データとして利用する AST はべースラインと比較してすべての指標において性能が向上しておりその有効性がわかる，疑似正解データセット間で比較すると，多くの指標で AST を用いた場合が最もよく, 特に修辞関係ラベルに関連する Rel. と Fullにおける改善が顕著である. 文書単位の疑似正解データから構成される DT と ADT も同様にベースラインを上回る性能を達成したが,


表 3 RSTParseval による疑似正解データセット毎の Micro-averaged $\mathrm{F}_{1}$ の比較. 追加学習したモデルの各列において最も良い値を太字で表す。

AST よりも性能の改善は小さい.

特に ADT はその他の疑似正解データセットと比較して改善幅が小さいが, これは疑似正解データセットのサイズが原因であると考える。表 1 に示したように ADT に含まれる木とスパンの数はそれぞれ 2,142 および 57,840 であり, ASTの 175,709 と 2,279,275 と比較して非常に少ない. つまり, 事前学習に十分な量でないと考える. 一方, DT において, 木の数は 91,536 と AST と比較して少ないが，それぞれの木が文書全体から構成されるため含まれるスパンの数は非常に多く, ASTの 4 倍近い $8,162,114$ 個のスパンが含まれている。それにもかかわらず，性能においては ASTのほうが良い. これはDT が単一の教師解析器から作成されているため, 疑似正解データの質がその他よりも劣ることが原因であると考える.

先述したように貪欲法に基づく解析器は文書全体の構造を必要としない. よって, 疑似正解データセットを部分木で構築することにより, 複数の教師解析器による合意を得た疑似正解デー タセットが大規模に獲得可能であり，文書全体を用いる疑似正解データセットよりも量と質の両面において優れていることがわかる.

また，学習にかかる計算時間の観点においても，学習時間がデータセットに含まれるスパンの数に比例しているため, AST はDTの 1/4の時間で学習が可能である. これは部分木を用いることでデータセットを小さくできることの利点である.

## 5.2 疑似正解データセットのデータサイズによる影響

疑似正解データセットのサイズと性能の関係を調べるため, 疑似正解データセットのサイズを変化させて評価実験を行った. その結果を図 6 に示す. 図より, Span と Nuc. はデータセットのサイズが変化してもほとんど性能に変化がない。つまり，スパン分割と核性ラベルの推定に関しては擬似正解データの効果は薄い. 一方で Rel. はデータサイズの増加に応じて性能が向上しており，疑似正解データセットの有効性がわかる。これはスパンの分割および核性ラベル

図 6 疑似正解データセットのサイズによる性能の変化．実線が AST を事前学習に用いた場合（表 3 における SBP+AST）の性能. 点線が疑似正解データを用いない場合（表 3 における SBP）の性能.

の推定がそれぞれ 2 クラス，3クラスの分類問題という比較的簡単な分類問題であることに対し, 修辞関係ラベルの推定は 18 クラスかつクラスの出現頻度に偏りのあるデータに対する分類問題という難しい問題であることが原因であると考える.

さらなるデータの増強方法として既存の大規模擬似データである MEGA-DT と AST を組み合わせることが考えられるが，先に述べたようにSpan および Nuc. はデータサイズを増やしても顕著な改善が見られないことから，核性しか付与されていない MEGA-DT との組み合わせによるデータの増強は性能向上にはつながらないと考えられる.

## 5.3 関係ラベルごとの性能比較

AST を用いることで関係ラべルの推定性能が大きく改善できることがわかった．そこで，どの関係ラベルにおいて性能が改善されたのかを確認するために，SBP+AST と他にベースラインである SBP と教師解析器である TSP の間で関係ラベル毎の $F_{1}$ を図 7 で比較する. SBP および $\mathrm{SBP}+\mathrm{AST}$ は 5 モデルアンサンブルの結果を用いる.

図より，多くの関係ラべルにおいて TSP が SBP と同等かそれ以上の性能であり，SBP+AST の性能がそれらを上回っている。特に，低頻度の関係ラベルにおいて SBP+AST は大きく SBP の性能を改善している。また，TSPが推定可能だが，SBP が不得意な関係ラベルを SBP+AST によって推定可能になったことから，疑似正解データセットの作成にTSP を用いたことが性能向上に寄与していると考えらえる。

## 5.4 既存の解析器との比較

提案法である SBP+AST の 5 モデルアンサンブルと既存手法の比較を表 4 に示す. ここでは

図 $7 \mathrm{TSP}, \mathrm{SBP}, \mathrm{SBP}+\mathrm{AST}$ の関係ラベル（18 種類）ごとの $\mathrm{F}$ 値の比較、ラベル名の下にある数値は各ラベルの出現頻度を表す。

} & \multirow{2}{*}{ 外部デー夕 } & \multicolumn{3}{|c|}{ RSTParseval } & \multicolumn{3}{|c|}{ OriginalParseval } \\

表 4 既存の解析器との比較.*で示す結果は論文で報告された値, それ以外は手元で評価した值である. ${ }^{\dagger}$ Guz and Carenini (2020) らの解析器は NoCoref の値を参照.

RSTParseval だけでなく, OriginalParsevalによる評価も行った. テキストスパンのベクトル表現を得るために SpanBERT を採用した Guz and Carenini (2020)の方法, XLNet (Yang et al. 2019)を採用したZhang et al. (2021)の方法はその他の手法と比較して非常に高い性能を達成している．SBT+AST はこれらを除くとどちらの評価方法においてもSpan を除いた Nuc., Rel. の 2 つ指標において従来法を上回っている。提案法と Guz and Carenini (2020)を比較すると, RSTParseval においては Guz and Carenini (2020)がわずかに良い性能であるが, OriginalParseval においては提案法が逆転している。正解の EDU 分割を用いた場合の RSTParseval は正解スパ

ンと必ず一致する長さ 1 のスパンを過大評価することから OriginalParseval を利用することを文献 (Morey et al. 2017) は推奨している。よって，この結果は提案法の有効性を支持していると考える。

ポインターネットワークを用いた下向き解析法に敵対学習を導入した Zhang et al. (2021)の方法は，テキストスパンのベクトル表現を XLNet から得た場合には現状での最高性能を達成しているがそれを ELMoへ変更した場合にはスコアが大きく劣化しており，高いスコアは XLNet がもたらしたと考える。提案法は，テキストスパンのベクトル表現を GloVe+ELMo から得ているにもかかわらず Zhang et al. (2021)の方法に対し Rel. で 1 ポイント程度の差に迫るスコアを達成しており，疑似正解データの有効性は示せたと考える.

また, Guz et al. (2020) は RoBERTa (Liu et al. 2020) を用いた解析器に MEGA-DT による事前学習を適用したが，Span, Nuc. の性能改善は小さく,この点は AST を用いた提案法に関しても同様であった。これは木の構造や核性の推定がそれぞれ比較的簡単な 2 クラス, 3 クラスの分類問題であるため少ない正解データのみでも十分な性能を達成できるからである。一方で, Rel. において AST は推定性能を大きく改善したが，MEGA-DT は関係ラベルが付与されていないため, Rel. の改善は不可能である. この点において AST は MEGA-DT に対して優位である.

## $5.5 \mathrm{EDU$ 分割器による EDU 分割を用いた評価}

表 5 に, 正解の EDU, EDU 分割器により自動的に分割したEDUを用いた場合の解析器の性能を示す。提案法は SBP+AST の 5 モデルアンサンブルを用い， Neural EDU Segmenter ${ }^{5}$ (Wang et al. 2018) を利用した. 比較対象となる Nguyen et al. (2021) は EDU 分割と修辞構造解析を end-to-end に学習・推定する手法であり，我々の用いた EDU 分割器と EDU 分割の精度が異なる 6 ことに注意されたい.

表 5 に OriginalParseval を用いた評価結果を示す。表より，どちらの手法も自動分割した EDU

表 5 EDU Segmenterによる EDU 分割を採用した際の解析器の性能比較. 各列における最も高い値は太字で表す.*で示す結果は Nguyen et al. (2021) での報告値.


を用いる性能は大きく劣化する．SBP と SBP+AST を比較すると，疑似正解データは Rel., Full に対する性能改善に強く貢献しており正解 EDU を用いた場合と同様の傾向にある. Nguyen et al. (2021)の方法は, Zhang et al. (2020) と同様にポインターネットワークを用いて再帰的にスパンを分割していき，予測された分割点が与えれたスパンの末尾である場合を分割の終了条件とすることで解析から EDU 分割までを一括で推定する。正解EDU を用いた場合には提案法が Nguyen et al. (2021)の方法に勝っているが, 自動分割したEDU の場合には劣る結果となった. 提案法は，決定的に自動分割されたEDUを利用しているが, Nguyen et al. (2021)の方法は end-to-end に EDU 分割までを学習することが利点となったと考える。一方, Nuc. と比較して Rel. と Full の劣化度合いは提案法のほうが小さい. これは正解 EDU の場合と同様, 疑似正解データの効果であると考える.

## 6 まとめ

本稿では, 修辞構造解析における学習データ不足を解決するため, 複数の解析結果から一致する部分木を疑似正解データとして活用する手法を提案した。具体的には，疑似正解データを用いて解析器の事前学習を行い, 正解データを用いて追加学習する学習の枠組みを採用した. また, 複数の解析結果から一致する部分木を効率的に抽出するためのアルゴリズムも提案した.

RST-DT を用いた評価実験において，部分木を利用した疑似正解データセットはその他の文書単位で構成される疑似正解データセットと比較して優れていることがわかった. 特に, 疑義正解データを用いることで関係ラベルに関する評価指標である Rel. と Full において改善幅が顕著であった. さらに提案法は既存の最高性の解析器に匹敵する性能であることもわかった.

## 謝 辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を受けたものである.

## 参考文献

Abe, K., Kawasoe, S., Asai, T., Arimura, H., and Arikawa, S. (2002). "Optimized Substructure Discovery for Semi-Structured Data." In Proceedings of PKDD '02, pp. 1-14, Berlin, Heidelberg. Springer-Verlag.

Angelidis, S. and Lapata, M. (2018). "Multiple Instance Learning Networks for Fine-Grained Sentiment Analysis." Transactions of the Association for Computational Linguistics, 6, pp. 17-31.

Blum, A. and Mitchell, T. (1998). "Combining Labeled and Unlabeled Data with Co-Training." In Proceedings of the 11th Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA. Association for Computing Machinery.

Braud, C., Coavoux, M., and Søgaard, A. (2017). "Cross-lingual RST Discourse Parsing." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 292-304, Valencia, Spain. Association for Computational Linguistics.

Braud, C., Plank, B., and Søgaard, A. (2016). "Multi-view and Multi-task Training of RST Discourse Parsers." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan. The COLING 2016 Organizing Committee.

Carlson, L., Marcu, D., and Okurovsky, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue.

duVerle, D. and Prendinger, H. (2009). "A Novel Discourse Parser Based on Support Vector Machine Classification." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 665-673, Suntec, Singapore. Association for Computational Linguistics.

Feng, V. W. and Hirst, G. (2014). "A Linear-Time Bottom-Up Discourse Parser with Constraints and Post-Editing." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 511-521, Baltimore, Maryland. Association for Computational Linguistics.

Graves, A. and Schmidhuber, J. (2005). "Framewise Phoneme Classification with Bidirectional LSTM Networks." In Proceedings of 2005 IEEE International Joint Conference on Neural Networks, Vol. 4, pp. 2047-2052. IEEE.

Guz, G. and Carenini, G. (2020). "Coreference for Discourse Parsing: A Neural Approach." In Proceedings of the 1st Workshop on Computational Approaches to Discourse, pp. 160-167, Online. Association for Computational Linguistics.

Guz, G., Huber, P., and Carenini, G. (2020). "Unleashing the Power of Neural Discourse Parsers A Context and Structure Aware Approach Using Large Scale Pretraining." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3794-3805, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Heilman, M. and Sagae, K. (2015). "Fast Rhetorical Structure Theory Discourse Parsing." arXiv preprint arXiv:1505.02425.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. (2015). "Teaching Machines to Read and Comprehend." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 1693-1701. Curran Associates, Inc.

Hernault, H., Prendinger, H., du Verle, D. A., and Ishizuka, M. (2010). "HILDA: A discourse parser using support vector machine classification." Dialogue 8 Discourse, 1 (3), pp. 1-33.

Huber, P. and Carenini, G. (2019). "Predicting Discourse Structure using Distant Supervision from Sentiment." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2306-2316, Hong Kong, China. Association for Computational Linguistics.

Huber, P. and Carenini, G. (2020). "MEGA RST Discourse Treebanks with Structure and Nuclearity from Scalable Distant Sentiment Supervision." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online. Association for Computational Linguistics.

Jiang, K., Carenini, G., and Ng, R. (2016). "Training Data Enrichment for Infrequent Discourse Relations." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2603-2614, Osaka, Japan. The COLING 2016 Organizing Committee.

Joshi, M., Chen, D., Liu, Y., Weld, D. S., Zettlemoyer, L., and Levy, O. (2020). "SpanBERT: Improving Pre-training by Representing and Predicting Spans." Transactions of the Association for Computational Linguistics, 8, pp. 64-77.

Joty, S., Carenini, G., Ng, R., and Mehdad, Y. (2013). "Combining Intra- and Multi-sentential Rhetorical Parsing for Document-level Discourse Analysis." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 486-496, Sofia, Bulgaria. Association for Computational Linguistics.

Joty, S., Carenini, G., and Ng, R. T. (2015). "CODRA: A Novel Discriminative Framework for Rhetorical Analysis." Computational Linguistics, 41 (3), pp. 385-435.

Keselman, D. and Amir, A. (1994). "Maximum Agreement Subtree in a Set of Evolutionary Trees-Metrics and Efficient Algorithms." In Prodeedings of SFCS '94, pp. 758-769, USA. IEEE Computer Society.

Kobayashi, N., Hirao, T., Kamigaito, H., Okumura, M., and Nagata, M. (2020). "Top-Down RST Parsing Utilizing Granularity Levels in Documents." Proceedings of the AAAI Conference on Artificial Intelligence, 34 (05), pp. 8099-8106.

Kobayashi, N., Hirao, T., Kamigaito, H., Okumura, M., and Nagata, M. (2021). "Improving Neural RST Parsing Model with Silver Agreement Subtrees." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1600-1612, Online. Association for Computational Linguistics.

Koto, F., Lau, J. H., and Baldwin, T. (2021). "Top-down Discourse Parsing via Sequence Labelling." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 715-726, Online. Association for Computational Linguistics.

Lin, X., Joty, S., Jwalapuram, P., and Bari, M. S. (2019). "A Unified Linear-Time Framework for Sentence-Level Discourse Parsing." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2020). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.".

Mann, W. C. and Thompson, S. A. (1987). "Rhetorical Structure Theory: A Theory of Text Organization." Technical report ISI/RS-87-190, Information Sciences Institute.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19 (2), pp. 313-330.

McClosky, D., Charniak, E., and Johnson, M. (2006). "Effective Self-Training for Parsing." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 152-159, New York City, USA. Association for Computational Linguistics.

Morey, M., Muller, P., and Asher, N. (2017). "How Much Progress Have We Made on RST Discourse Parsing? A Replication Study of Recent Results on the RST-DT." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark. Association for Computational Linguistics.

Nguyen, T.-T., Nguyen, X.-P., Joty, S., and Li, X. (2021). "RST Parsing from Scratch." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1613-1625, Online. Association for Computational Linguistics.

Nguyen, X.-P., Joty, S., Wu, K., and Aw, A. T. (2020). "Data Diversification: A Simple Strategy For Neural Machine Translation." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M. F., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 10018-10029. Curran Associates, Inc.

Pekar, V., Yu, J., El-karef, M., and Bohnet, B. (2014). "Exploring Options for Fast Domain Adaptation of Dependency Parsers." In Proceedings of the 1st Joint Workshop on Statistical Parsing of Morphologically Rich Languages and Syntactic Analysis of Non-Canonical Languages, pp. 54-65, Dublin, Ireland. Dublin City University.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Schuster, M. and Paliwal, K. (1997). "Bidirectional Recurrent Neural Networks." IEEE Transactions on Signal Processing, 45 (11), pp. 2673-2681.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany. Association for Computational Linguistics.

Vania, C., Kementchedjhieva, Y., Søgaard, A., and Lopez, A. (2019). "A Systematic Comparison of Methods for Low-resource Dependency Parsing on Genuinely Low-resource Languages." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1105-1116, Hong Kong, China. Association for Computational Linguistics.

Vinyals, O., Fortunato, M., and Jaitly, N. (2015). "Pointer Networks." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc.

Wang, Y., Li, S., and Wang, H. (2017). "A Two-Stage Parsing Method for Text-Level Discourse Analysis." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada. Association for Computational Linguistics.

Wang, Y., Li, S., and Yang, J. (2018). "Toward Fast and Accurate Neural Discourse Segmentation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 962-967, Brussels, Belgium. Association for Computational Linguistics.

Weiss, D., Alberti, C., Collins, M., and Petrov, S. (2015). "Structured Training for Neural Network Transition-Based Parsing." In Proceedings of the 53rd Annual Meeting of the Asso-
ciation for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 323-333, Beijing, China. Association for Computational Linguistics.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019). "XLNet: Generalized Autoregressive Pretraining for Language Understanding." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc.

Yu, N., Zhang, M., and Fu, G. (2018). "Transition-based Neural RST Parsing with Implicit Syntax Features." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 559-570, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Zaki, M. (2005). "Efficiently Mining Frequent Trees in a Forest: Algorithms and Applications." IEEE Transactions on Knowledge and Data Engineering, 17 (8), pp. 1021-1035.

Zhang, L., Kong, F., and Zhou, G. (2021). "Adversarial Learning for Discourse Rhetorical Structure Parsing." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3946-3957, Online. Association for Computational Linguistics.

Zhang, L., Xing, Y., Kong, F., Li, P., and Zhou, G. (2020). "A Top-down Neural Architecture towards Text-level Parsing of Discourse Rhetorical Structure." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, Online. Association for Computational Linguistics.

Zhou, Q., Yang, N., Wei, F., and Zhou, M. (2017). "Selective Encoding for Abstractive Sentence Summarization." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1095-1104, Vancouver, Canada. Association for Computational Linguistics.

Zhou, Z.-H. and Li, M. (2005). "Tri-training: Exploiting Unlabeled Data using Three Classifiers." IEEE Transactions on Knowledge and Data Engineering, 17 (11), pp. 1529-1541.

## 略歴

小林尚輝：2020 年東京工業大学工学院情報通信系情報通信コース修士課程修

了. 同年博士課程進学. 自然言語処理の研究に従事. 言語処理学会学生会員.

平尾努：1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程

修了. 同年, 株式会社 NTT データ入社. 2000 年より日本電信電話株式会社

コミュニケーション科学研究所. 博士 (工学). 自然言語処理の研究に従事.情報処理学会, 言語処理学会, ACL 各会員.

上垣外英剛：2017 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了. 同年 NTT コミュニケーション科学基礎研究所入所. 2018 年より東京工業大学科学技術創成研究院未来産業技術研究所助教. 2022 年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授. 自然言語処理分野の研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在は, 科学技術創成研究院教授. 2017 年より, 理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務.工学博士.

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所上席特別研究員.工学博士. 自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

