# 談話依存構造解析の教師なしドメイン適応

西田典起
理化学研究所 AIP
noriki.nishida@riken.jp

## 1 はじめに

談話依存構造解析 (Discourse Dependency Parsing) は文書内にある節や文の間の係り受けと修辞関係 を同定し、文書の談話依存構造を明らかにすること を目指す $[1,2]$ 。本研究で解析対象にする論文アブ ストラクトの談話依存構造の例を図 1 に示す。談話構造はこれまで文書要約 $[3,1]$ や質問応答 [4]、極性分類 $[5,6]$ などのタスクでその有用性が確認されて きた。

談話構造解析の従来法は RST-DT [7] などのツリー バンクを使い、解析器を学習する $[8,9]$ 。しかし、既存のツリーバンクのサイズおよびそれらがカバーす るドメインは限定的なため、一般的には解析したい 文書はそれらのドメインから外れ、解析精度は低下 する。よって、利用できる談話構造ツリーバンクの ドメインと解析器を適用したいドメインが異なると きに、どのように適用先ドメインに解析器を適応す るかという「教師なしドメイン適応」の問題は、現実的に重要な課題となっている。

本稿では、談話依存構造解析における教師な しドメイン適応問題に対する疑似ラベリング 法 (Self-Training [10, 11, 12], Co-Training [13, 14, 15], Tri-Training [16], Asymmetric Tri-Training [17] など) の 効果を調べ、その結果を分析する。疑似ラベリング はラベル付きデータとラベルなしデータからモデル を訓練する半教師あり学習の代表的な方法論であ る。本研究では特に科学技術論文アブストラクトの 談話依存構造解析を対象に、自然言語処理アブスト ラクト(ソースドメイン)のツリーバンクで訓練され た解析器を、医学生物学アブストラクト (ターゲッ トドメイン) に適応することを考える。実験の結果、疑似ラベリング、特に係り受けの一致率に基づいて合意基準を緩和化した Asymmetric Tri-Training が談話依存構造解析の教師なしドメイ ン適応に有効であることを確認した。解析精度は Labeled Attachment Score で 4.1 ポイント向上し、さ

\author{
松本裕治 \\ 理化学研究所 AIP \\ yuji.matsumoto@riken.jp
}

らに人手による談話構造のアノテーションコストが 大幅に (e.g., 約 60\%) 削減できることがわかった。ま た、疑似ラベルの質と量の影響力は大きく、閾値に よる合意基準の調整によってそれらの最適なバラン スを実現できることを示した。また、解析結果を分析し、解析エラーの主要因が (1) 係り受けパターン の頻度の偏り、(2) 談話関係クラスの曖昧性、(3) ド メインごとの論旨の展開の違いの 3 つである可能性 があることを確認した。

## 2 方法

## 2.1 談話依存構造解析の疑似ラベリング

談話依存構造解析は、EDU の系列として表現され た入力文書 $d=e_{0}, e_{1}, \ldots, e_{n}$ に対し、談話依存構造 $T=\{(h, m, l) \mid 0 \leq h \leq n, 1 \leq m \leq n, l \in \mathscr{L}\}$ を出力す るタスクである。ここで $e_{0}$ は根ノードを表し、係 り受け $(h, m, l)$ は $e_{h}$ (head) と $e_{m}$ (modifier) が談話関係 $l \in \mathscr{L}$ にって結合することを表す。本研究の疑似ラベリングは 4 ステップからなる。

1. 少量のラベル1) 付きデータ(ゴールドデータ)の 集合 $L=\{\langle d, T\rangle\}$ を使い、解析器 $f$ を訓練する。

2. その解析器を使い、大量のラベルなしデータ $d^{\prime} \in U$ に対して疑似ラベル $T^{\prime}=f\left(d^{\prime}\right)$ を付与 する。

3. 疑似ラベル付きデータの一部からシルバーデー タセット $L^{\prime}=\left.\{\left.\langle d^{\prime}, T^{\prime}\right.\rangle\right.\}$ を構成する。

4. ゴールドデータとシルバーデータを合わせて、解析器の再訓練を行う。

教師なしドメイン適応の問題設定では、ラベル付き データについてはソースドメインのみに存在し、ラ ベルなしデータはテストデータと同じターゲットド メインから収集したものとする。

疑似ラベリングの方法として Self-Training, CoTraining, Tri-Training, Asymmetric Tri-Training の $4 \supset の$


ROOT

SARS-CoV-2 genetic identification is based on viral RNA extraction prior to RT-qPCR assay,

however recent studies support the elimination of the extraction step.

Herein, we assessed the RNA extraction necessity,

by comparing RT-qPCR efficacy in several direct approaches vs. the gold standard RNA extraction,

in detection of SARS-CoV-2 from laboratory samples as well as clinical Oro-nasopharyngeal SARS-CoV-2 swabs.

Our findings show advantage for the extraction procedure,

however a direct no-buffer approach might be an alternative,

since it identified up to $70 \%$ of positive clinical specimens.

図 1 科学技術論文アブストラクトの談話依存構造の例。

アルゴリズムを実装し、比較する。

Self-Training (ST) [10,11] は最も単純な疑似ラベ リング法である。本研究では Reichart と Rappoport (2007) [12] に従い、すべての疑似ラベルをシルバー データとして用いた。ST は単一の解析器を用いる ため、自己の誤り傾向を軌道修正する仕組みがな く、学習過程で誤りが増幅する可能性がある。

Co-Training (CT) [13, 14, 15] は二つの異なる解析器 を使い、一方の解析器の予測結果をもう一方の解析器のシルバーデータとして活用する。

Tri-Training (TT) [16] は三つの解析器を使い、二つ の解析器の予測結果が一致 (合意) している場合の み、それを残り一つの解析器のシルバーデータとし て採用する。すなわち、上記の ST や CT と異なり、疑似ラベル $T^{\prime}$ のうち二つの解析器の間で合意が得 られたもののみを再訓練で用いる。

Asymmetric Tri-Training (AT) は TT の拡張であり、斎藤ら (2017) [17]によって教師なしドメイン適応の 方法として開発された。AT では三つの解析器のう ち一つをターゲットドメイン専用の解析器 $f_{t}$ とし て訓練する。具体的には、二つの解析器 $f_{1}$ と $f_{2}$ に よる予測結果 $T_{1}^{\prime}, T_{2}^{\prime}$ が一致しているときのみ、それ をシルバーデータセット $L^{\prime}$ に追加し、 $f_{1}$ と $f_{2}$ は $L \cup L^{\prime} 、 f_{t}$ は $L^{\prime}$ のみで再訓練する。

## 2.2 合意基準の緩和化

TT および AT では一般に予測した「ラベル」が完全一致しているかどうかで合意判定されるが、談話構造解析では「ラベル」は文書レベルの木構造で あるため、完全一致に基づく合意基準は非常に厳 しい。その結果、ほとんどの疑似「ラベル」はシル バーデータとして採用されず、捨てられてしまう。

そこで、本研究では局所的に一致している係り受 けの割合 (一致率) がある閾値以上の場合には合意し
ていると判定する。具体的には、 $\frac{2\left|T_{i}^{\prime} \cap T_{j}^{\prime}\right|}{\left|T_{i}^{\prime}\right|+\left|T_{j}^{\prime}\right|} \geq \tau$ を満た す場合のみ、 $T_{i}^{\prime}$ と $T_{j}^{\prime}$ の両方ともをシルバーデータ セットに加える, i.e., $L_{k}^{\prime} \rightarrow L_{k}^{\prime} \cup\left.\{\left.\langle d^{\prime}, T_{i}^{\prime}\right.\rangle,\left.\langle d^{\prime}, T_{j}^{\prime}\right.\rangle\right.\}$. こ のような合意基準の緩和化によって、局所的に合意 を得ている係り受け情報の活用を目指す。

## 2.3 談話依存構造解析器

Zhou と Goldman (2004) [15] によれば、CT におい てデータの viewを明示的に二つに分けない場合、異 なる inductive bias をもつモデルを使う必要がある。 また、モデル間の同意に基づく TT および AT でも、三つのモデルの多様性は重要であると考えられる。

本研究では、異なる解析戦略をもつ三つのニュー ラル談話依存構造解析器を実装する。具体的には、 グラフ型解析器 $(\mathrm{G})$ 、遷移型解析器 $\left(\mathrm{T}_{\mathrm{LR}}\right)$ 、逆向きの 遷移型解析器 $\left(T_{R L}\right)$ を実装した。紙面の都合上、各解析器の詳細は省略する。

## 3 実験結果と考察

## 3.1 データ

ソースドメインのラベル付き訓練データとして、 SciDTB [18] に収録されている 742 件の NLPアブス トラクトの談話依存構造を用いた。ターゲットドメ インのラベルなし訓練データとして、CORD-19 [19] に収録されている 22,515 件の医学生物学アブス トラクトを用いた。EDU 分割については Wang ら (2018) [20] の方法で自動的に行った。また、ター ゲットドメインのテストデータとして、CORD-19か らランダムに 70 件のアブストラクトを選択し、そ れらに対して人手で談話依存構造をアノテーション した2）。以降ではこのデータセットを CORD19-DT

2）アノテーションに関しては、著者自身が行った。今後、よ り公平で大規模な設定で評価を行うために、現在第三者によ るアノテーション作業を行っている。
表 1 各システムの評価結果。評価尺度として Labeled Attachment Score (LAS), Unlabeled Attachment Score (UAS), Undirected UAS (UUAS) を用いる。括弧内解析器を示 す。 $\tau$ は合意基準の閾値を表す。SciDTB の結果の括弧内 の数値はラベルなしデータとして NLP アブストラクトを 用いたときのスコアである。

} \\

と表記する。 70 件のアノテーションデータをテス トセット (50 件) と検証セット (20 件) に分割した。 CORD19-DT と SciDTB の特徵の比較については付録に載せる。

## 3.2 解析精度の比較

表 1 に各システムの評価スコアを載せる。比較の ために、ターゲットドメインのラベルなしデータを 活用しないべースラインシステム (Seed data only) の スコアも載せる。また、参考のために SciDTB のテ ストセットでの結果も載せる。

CORD19-DT での結果から、疑似ラベリングによ るシステムはベースラインよりも一貫して高い解析精度であることがわかる。これは、疑似ラベリング によって、ターゲットドメインのラベルなしデータ を活用して談話依存構造解析器のドメイン適応が できていることを示唆する。また、TT, AT は ST, CT よりも精度が高く、このことから複数の解析器の合意によってノイジーな疑似ラベルをフィルタリング することが有効であるとわかる。また、本研究で導入した閾値による合意基準の緩和化も有効であった $(\tau=0.9$ vs. $\tau=0.5)$ 。

一方、SciDTB での結果では、TT $(\tau=0.5)$ を除い て、疑似ラベリングによる精度向上は見られなかっ た。しかし、ラベルなしデータとしてテストデータ と同じドメインである NLP アブストラクトを用い

図 2 ラベル付きデータの個数と解析精度の関係。

図 $3 \mathrm{AT}$ における合意基準の閾値と、シルバーデータの 量および解析精度の関係。量は全ラベルなしデータ数に 対する割合で表す。

た場合、ST を除いて疑似ラベリングによる精度向上が見られた。このことから、疑似ラベリングを用 いる場合、テストデータと同じドメインのラベルな しデータを用いることが重要であると判断できる。

## 3.3 アノテーションコストの削減率

図 2 にラベル付きデータの個数と解析精度 (LAS, UAS) の関係を示す。ラベル付きデータの個数の変化に対し、疑似ラベリングは一貫してベースライン を上回っている。また、AT の精度はST よりもほぼ 一貫して高い。以上から、人手による談話構造デー タが少ないときにも、談話依存構造解析の教師なし ドメイン適応に対し疑似ラベリングは有効であるこ とがわかる。

また、注目すべきことに、図 2 は ATによって大幅にアノテーションコスト減らせることを示唆す る。例えば、ベースラインシステムが $54.7 \%$ の LAS を実現するためには 742 件のラベル付きデータが必要であるのに対し、ATを用いることで必要なラべ ル付きデータの個数を 300 件まで減らすことがで きる。これは、AT によって、 $\frac{742-300}{742} \times 100 \fallingdotseq 60 \%$ の アノテーションコストの削減が可能であることを 表す。

## 3.4 シルバーデータの量と質の重要性

AT における合意基準の間値 $\tau$ と、シルバーデー タの量および解析精度 (LAS, UAS) の関係を調べた 結果を図 3 に示す。閾值が低すぎれば、解析器が予測する談話依存構造のうち一致率 (信頼性) が低い ものまでシルバーデータに追加されてしまい、結果

図 4 AT による解析結果の混合行列。縦軸および横軸は それぞれ人手またはシステムによる係り受けに対応する。各行で正規化している。

として解析精度が低くなってしまっている。一方、閾値が高すぎれば、ほとんどの談話依存構造が捨て られてしまい、結果としてシルバーデータの量が少 なくなりすぎてしまい、ドメイン適応を行うのが難 しくなっている。すなわち、閾値によってシルバー データの量と質が制御され、閾値をうまく調整する ことで量と質の最適なバランスを実現することがで きる。

## 3.5 エラー分析

ATを用いたシステムの解析エラーについて詳し く分析した結果、多くのエラーが以下の 3 つに起因 することがわかった。

一つめの要因は、係り受けパターンの頻度の偏 りである。低頻度のパターン (e.g., 長さ $\geq 2$, ラベル =Evaluation) を誤って最頻出の係り受けパターン (i.e., 長さ $=1$, ラベル=Elaboration) として解析する傾向が見られた。図 4 は、CORD19-DT における解析結果の混合行列である。それぞれ、係り受けの長 さと談話関係ラベルに対応する。長さ 1 の係り受 けの 90\%については同定できているのに対し、長 さ 2 以上の係り受けについては約 $60 \%$ しか同定で きていない。また、談話関係の誤分類のほとんどは Elaboration として予測されており (Elaboration の列 を参照)、実際に Elaboration は SciDTB 中で最頻出の 談話関係クラスである (付録参照)。

二つめの要因は、談話関係クラスそのものの 曖昧性である。例えば、Elaboration と Progression, Cause-effect と Explain の識別は常に自明であるとは 限らず、これらはしばしば人間にとっても識別する のが難しい。図 5 は、CORD19-DT のデータに対す るシステムの解析結果の例である。EDU 間の係り 受け (エッジ) については正しく同定できているが、 エッジ $(1,2)$ についてその関係クラスを Cause-effect

図 5 CORD-19-DT における解析結果の例。赤は解析エ ラー、青は正解を表す。

図 6 CORD19-DT における解析結果の例。

ではなく Explain と誤分類してしまっている。

最後の要因は、ドメイン (分野)ごとの論旨の展開傾向の違いである。具体例を図 6 に示す。システ ムは、 $e_{3}$ (head) から $e_{11}$ (modifier)への係り受けのラ ベルを、 $e_{11}$ の内容は $e_{3}$ の評価結果ではなく研究に よる知見であるにも関わらず、Evaluation と誤分類 している。これは、Evaluation 関係の係り受けの頻度が SciDTB では CORD19-DT にくらべて非常に多 く (7.4\% vs. $1.9 \%)$ SciDTB で訓練された解析器が 「Evaluation 関係の係り受けは論文アブストラクトの 終盤EDUとの間で起こる」と学習しているからだ と考えられる。

## 4 おわりに

本稿では、談話依存構造解析の教師なしドメイン 適応問題に対する疑似ラベリング法 (Self-Training, Co-Training, Tri-Training, Asymmetric Tri-Training) の検討を行った。間値により同意基準を緩和化した Asymmetric Tri-Training が最も効果的であり、 4.1 ポ イントの解析精度の向上と $60 \%$ のアノテーションコ ストの削減が可能であることを確認した。また、間值によって制御できるシルバーデータの量と質のバ ランスの重要性を示し、解析エラーの 3 つの主要因 について分析した。

今後は、CORD19-DT の拡大および、論文全体の 談話構造を解析する方法の開発に取り組んでいく。

## 謝辞

本研究は JST CREST(課題番号: JPMJCR1513) の支援を受けて行った。

## 参考文献

[1]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for singledocument summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 2014.

[2]Mathieu Morey, Philippe Muller, and Nicholas Asher. A dependency perspective on RST discourse parsing and evaluation. Computational Linguistics, Vol. 44, No. 2, pp. 197-235, 2018.

[3]Annie Louis, Aravind Joshi, and Ani Nenkova. Discourse indicators for content selection in summarization. In $S I G$ DIAL'10, 2010.

[4]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014.

[5]Livia Polanyi and Martin Van den Berg. Discourse structure and sentiment. In 2011 IEEE 11th International Conference on Data Mining Workshops, 2011.

[6]Parminder Bhatia, Yangfeng Ji, and Jacob Eisenstein. Better document-level sentiment analysis from RST discourse parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015.

[7]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurowski. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, 2001.

[8]Yangfeng Ji and Jacob Eisenstein. Representation learning for text-level discourse parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014.

[9]Shafiq Joty, Giuseppe Carenini, and Raymond T. Ng. CODRA a novel discriminative framework for rhetorical analysis. Computational Linguistics, Vol. 41, No. 3, pp. 385-435, 2015.

[10]David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics, 1995.

[11]David McClosky, Eugene Charniak, and Mark Johnson. Effective self-training for parsing. In Proceedings of the 2006 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2006.

[12]Roi Reichart and Ari Rappoport. Self-training for enhancement and domain adaptationa of statistical parsers train on small datasets. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, 2007.

[13]Avrim Blum and Tom Mitchell. Combining labeled and unlabeled data with co-training. In Proceedings of the 11 th Annual Conference on Computational Learning Theory, 1998.

[14]Mark Steedman, Miles Osborne, Anoop Sarkar, Stephen Clark, Rebecca Hwa, Julia Hockenmaier, Paula Ruhlen, Steven Baker, and Jeremiah Crim. Bootstrapping statistical parsers from small datasets. In Proceedings of the 10th Conference of the European Chapter of the Association for
Computational Linguistics, 2003

[15]Yan Zhou and Sally Goldman. Democratic co-learning. In Proceedings of the 16th IEEE International Conference on Tools with Artificial Intelligence, 2004.

[16]Zhi-Hua Zhou and Ming Li. Tri-training: Exploiting unlabeled data using three classifiers. IEEE Transactions on Knowledge and Data Engineering, Vol. 17, No. 11, 2005.

[17]Kuniaki Saito, Toshitaka Ushiku, and Tatsuya Harada. Asymmetric tri-training for unsupervised domain adaptation. In Proceedings of The 34th International Conference on Machine Learning, 2017.

[18]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018.

[19]Lucy Lu Wang, Kyle Lo, Yoganand Chandrasekhar, Russell Reas, Jiangjiang Yang, Douglas Burdick, Darrin Eide, Kathryn Funk, Yannis Katsis, Rodney Kinney, Yunyao Li, Ziyang Liu, William Merrill, Paul Mooney, Dewey Murdick, Devvret Rishi, Jerry Sheehan, Zhihong Shen, Brandon Stilson, Alex D. Wade, Kuansan Wang, Nancy Xin Ru Wang, Chris Wilhelm, Boya Xie, Douglas Raymond, Daniel S. Weld, Oren Etzioni, and Sebastian Kohlmeier. CORD19: The COVID-19 open research dataset. arXiv preprint arXiv:2004.10706, 2020.

[20]Yizhong Wang, Sujian Li, and Jingfeng Yang. Toward fast and accurate neural discourse segmentation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

## A 付録: CORD19-DT vs. SciDTB

本付録では、本研究で構築している CORD19-DT と、Yang ら (2018) によって構築された SciDTB の特徵の違いについて報告する。これら二つはそれぞれ 医学生物学論文または自然言語処理論文のアブスト ラクトに対して人手で談話依存構造をアノテーショ ンしており、ここで示す特徴の違いはドメイン間の ギャップの大きさ、ドメイン適応の難しさを表す。

表 2 に CORD19-DT と SciDTB の特徴を載せる。医学生物学のアブストラクトの長さ (i.e., 文数、トー クン数) は NLP アブストラクトよりも長い傾向にあ ることがわかる (7.2 文vs. 5.3 文; 197.5 トークンvs. 130.5 トークン)。一方、平均 EDU 数については一致 している (14.0 vs. 14.0)。このことから、医学生物学 の EDU は平均的に NLP の EDU よりも長く (情報量 が多く)、教師なしドメイン適応ではこの点が課題 の一つになりうる。

係り受けの平均長 (談話関係によって結合される EDU 間の平均距離) についてはほぼ等しい $(2.5 \mathrm{vs}$. 2.4)。これは、一般に長い係り受けは読み手への負荷が高いため自然言語文書において起こりにくく、 この傾向は分野に依らないことを示唆する。

一方、文書 $d=e_{1}, \ldots, e_{n}$ 全体の親であり、根ノ一 ド $e_{0}$ の唯一の子である Root EDU の平均位置は、医学生物学では前から 5.9 番目であるのに対し、NLP では 3.9 番目であった。両分野ともにアブストラク 卜は大まかに研究背景 $\rightarrow$ 研究目的と方法 $\rightarrow$ 結果 と考察という順番で記述される傾向にあると考え ると、医学生物学では研究背景部分に関する記述が NLP よりも多く、対応して談話依存構造の傾向も分野間で異なることを示唆する。

各データセットにおける談話関係クラスごとの係 り受けの分布を表 3 に載せる。いくつかの談話関係については出現率が大きく異なることがわかる。 Elaboration の出現率の違い (47.2 vs. 39.1) について は、表 2 で見たように医学生物学アブストラクトは NLP アブストラクトよりも情報量が多く、順接で情報展開されることが多いことを反映していると考え らえる。Evaluation の出現率の違い (1.9 vs. 7.4) につ いては、医学生物学論文の主軸は知見 (実験結果) の 記述であることが多く、Root EDU そのものが知見 に関するものであることが多いのに対し、NLPでは 主軸が開発した手法であることが多く、その評価結果についてアブストラクトの後半で別に記述する傾表 2 CORD19-DT と SciDTB [18] の比較. 数値は各データ セットのすべてのアブストラクト数を用いて平均化して

表 3 CORD19-DT と SciDTB における各談話関係クラス ごとの係り受けの分布。

向にあることを反映していると考えられる。談話関係の分布は文書においてどのように論旨が展開され るのかという傾向を反映しており、このような論旨 の展開傾向の違いはドメイン適応の難しさを表す。
 西田典起 理化学研究所 AIP noriki.nishida@riken.jp  