# 対話における間接的応答と直接的応答からなる 言い換えコーパスの構築と分析

高山 隼矢 ${ }^{\dagger}$ 梶原 智之 ${ }^{\dagger \dagger}$ ・荒瀬 由紀 $\dagger$
}

人間は対話においてしばしば相手の質問や発話に対して間接的な応答をする。例え

ば，予約サービスにおいてユーザがオペレータに対して「あまり予算がないのです が」と応答した場合，オペレータはその応答には間接的に「もっと安い店を提示し てください」という意図が含まれていると解釈できる。大規模な対話コーパスを学習したニューラル対話モデルは流暢な応答を生成する能力を持つが, 間接的な応答 に焦点を当てたコーパスは存在せず，モデルが人間と同様に間接的な応答を扱うこ とができるかどうかは明らかではない。本研究では既存の英語対話コーパスである MultiWoZ を拡張し, 71,498 件の間接的応答と直接的応答の対からなる対話履歴付 きパラレルコーパスを構築した。また，間接的な応答を扱う能力を評価するための 3 つのベンチマークタスクを設計し, 最新の事前学習済みモデルの性能を調査した. さらに，ユーザーの間接的な発話を事前に直接的な発話に変換することで対話応答生成の性能が向上することを確認した.

キーワード : 対話システム, 言い換え,コーパス構築, 間接的応答
## Construction and Analysis of a Dialogue Corpus with Paraphrase Pairs of Indirect and Direct Responses

\author{
Junya Takayama $^{\dagger}$, Tomoyuki Kajiwara $^{\dagger \dagger}$ and Yuki Arase ${ }^{\dagger}$
}

People often indirectly present their intentions in texts. For example, if a person said to an operator of a reservation service "I don't have enough budget.", it means "Please find a cheaper option for me." While neural conversation models acquire the ability to generate fluent responses through training on a dialogue corpus, previous corpora did not focus on indirect responses. We create a large-scale dialogue corpus that provides pragmatic paraphrases to advance technology for understanding users' underlying intentions. Our corpus provides a total of 71,498 indirect-direct utterance pairs accompanied by a multi-turn dialogue history extracted from the MultiWoZ dataset. Besides, we propose three tasks to benchmark the ability of models to recognize and generate indirect and direct utterances. We also investigate the performance of the state-of-the-art pre-trained language models as baselines. We confirmed that

the performance of dialogue response generation was improved by transferring the indirect user utterances to direct ones.

Key Words: Dialogue System, Paraphrase, Corpus, Indirect Responses

## 1 はじめに

対話において人間はしばしば自身の要求や意図を直接的に言及せず，間接発話行為と呼ばれ る，言外に意図を含んだ間接的な発話によって表現することがある (Searle 1979). 人間は対話相手から間接的な応答を受け取ったとき，これまでの対話履歴などの文脈に基づいて言外の意図を推測できる。図 1 に，レストランの予約に関する対話における間接的な応答と直接的な応答の例を示す。この例ではオペレータの「Aレストランを予約しますか？」という質問に対し てユーザは「予算が少ないのですが」と応答している（図中の「間接的な応答」）。この応答は 字義通りの意味だけを考慮するとオペレータの質問への直接的な回答にはなっていない. しか し，オペレータは対話履歴を考慮してユーザが A レストランよりも安いレストランを探してい ると推論し，新たに $\mathrm{A}$ レストランよりも安い $\mathrm{B}$ レストランを提案している．対話におけるユー ザの間接的な発話とそれに示唆された意図（直接的な発話）の関係は，語用論的言い換えの一種である (乾，藤田 2004)，人間と自然なコミュニケーションを行う対話システムの実現のため には，ユーザの間接的な発話に暗示された意図を推定する語用論的言い換え技術の実現が重要 である.

大規模な対話コーパス (Li et al. 2017; Budzianowski et al. 2018; Eric et al. 2020) と深層学習技術により，近年では対話応答生成 (Zhao et al. 2020; Zhang et al. 2020) や対話状態追跡 (Hosseini-Asl et al. 2020; Lin et al. 2020) など様々なタスクにおいて高い性能を誇るモデルや

図 1 対話における間接的応答と直接的応答の例. これらの応答は字義通りに解釈すると異なる意味を持 つが，この対話履歴上においては言い換え可能な関係にある.
手法が提案されている。また, 最近では語用論的言い換えに関するコーパスもいくつか存在す る (Pragst and Ultes 2018; Louis et al. 2020).しかし, Pragst and Ultes (2018) らは人工的に生成したコーパスを用いており，多様性や自然さに欠ける。また，Louis et al. (2020)の構築した コーパスでは Yes/No 型かつ一問一答型の質問応答対のみを扱うため，それ以外の間接的発話 には対応できない，対話応答生成等の対話システム関連技術の分野においては，ユーザの間接的応答に着目した研究は未だに行われていない。語用論的言い換え技術の対話システムへの適用のためには，より複雑かつ自然な語用論的言い換えを含む対話コーパスの構築が必要である.

本研究ではより高度な語用論的言い換え技術の開発のために，71,498 の間接的な応答と直接的な応答の対からなる，対話履歴付きの英語言い換えコーパス DIRECT (Direct and Indirect REsponses in Conversational Text $)^{1}$ を構築する。間接的な応答は対話履歴のような文脈を伴う ことで初めてその意図が解釈できるような応答である。そこで本コーパスは既存のマルチドメ イン・マルチターンのタスク指向対話コーパス MultiWoZ (Eric et al. 2020)を拡張して作成し た. 我々は MultiWoZ の各ユーザ発話に対してクラウドソーシングを用いて「ユーザ発話をよ り間接的に言い換えた発話」と「ユーザ発話をより直接的に言い換えた発話」の対を収集する. そのため, DIRECT コーパスには元の発話・間接的な発話・直接的な発話の 3 つ組が収録さ れる。

本研究では DIRECT コーパスを用いて, 語用論的言い換えの生成・認識能力を評価するため の 3 つのベンチマークタスクを設計する。ベースラインとして, 最先端の事前学習済み言語モ デルである BERT (Devlin et al. 2019) と BART (Lewis et al. 2020) を用いた性能調査も行う. また，言い換え生成モデルを用いてユーザの入力発話を事前により直接的に言い換えることで， MultiWoZ コーパスにおいて対話応答生成の性能が向上することを確認する.

本稿の構成を記す. 第 2 章では本研究の関連研究を紹介する. 第 3 章では DIRECT コーパ スの構築方法について述べたのち, データ例や統計的な分析結果を基にコーパスの特徴につい て説明する. 第 4 章では DIRECT コーパスを用いた 3 つのベンチマークタスクを導入する.第 5 章では, 語用論的言い換えを考慮した対話応答生成モデルを構築し，その性能を評価する.最後に，本研究のまとめを第 6 章にて述べる.

## 2 関連研究

## 2.1 間接的な応答に関する研究

本研究において扱う「間接的な応答」は, 間接発話行為 (Searle 1979) を純粋なテキストベー スの人間-システム間対話で起こりうる範囲の問題に限定したものとして位置づけられる。間接
^{1}$ https://github.com/junya-takayama/DIRECT/
}
発話行為とは，字義通りの解釈とは異なる効力を持つ発話のことである．例えばある駅におい て A が B に対し「出口はどちらかわかりますか？」と尋ねたとする。これは字義通りに解釈 すれば「わかるかどうか」を問うだけの疑問文であるが，B としてはその発話が「出口の場所 を教えてほしい」という要請を伝えるものだと判断するのが自然である。間接発話行為とは逆 に，発話の字義通りの解釈がそのまま効力を成す発話を直接発話行為と呼ぶ. 間接発話行為は対話システム分野においても従来より重要な課題として取り組まれてきた (Perrault 1980; Wilske and Kruijff 2006; Roque et al. 2020) が，直接性の異なる応答（発話）間の言い換え関係を直接的に扱ったコーパスの構築に取り組んだのは本研究が初めてである.

相手への要求を間接的に表現することは, 対話において互いの立場や心的距離を損なわないよ うにするためのポライトネス戦略の一つである (Brown et al. 1987). 対話システム分野におい てもポライトネスは重要な観点であり，ポライトな振る舞いをする対話システムの実現に向けて 多くの研究が多くなされている (Gupta et al. 2008; Niu and Bansal 2018; Firdaus et al. 2020).本研究はポライトネスを直接扱うものではないが, DIRECT コーパスはポライトネス研究にお いても活用が期待できる.

## 2.2 対話における語用論的言い換えに関する研究

本研究では対話における語用論的言い換えに着目したコーパスを構築する。そこで本節では,対話システム分野において言い換えや間接的応答と直接的応答の関係性を扱った関連研究を紹介する。対話における発話の言い換えを扱った事例としては Hou et al. (2018), Gao et al. (2020) が挙げられる。これらの研究では言い換え生成技術を用いて発話の言い換えを生成することで データ拡張を行い，応答生成の性能向上を達成している。しかし，発話の言い換えにおいては 字義的な意味のみを考慮しており，語用論的な言い換えには対応していない. Pragst and Ultes (2018)は間接的な発話と直接的な発話からなる言い換え対が含まれた対話コーパスをルールベー スで自動構築する手法を提案している。また，再帰的ニューラルネットを用いた発話選択器を用 いることで，対話中の間接的な発話をその発話と同じ意図を持つ直接的な発話に置き換えられ ることを示している。しかし，ルールベースであるために自動生成可能な対話データのパター ンは限られており，多様性に欠けるコーパスとなっている. Louis et al. (2020)は, Yes/No 型 の質問と，それに対する間接的な応答の対 34,268 件からなるコーパスを構築している. 各質問応答対に対しては, 応答が質問に対して肯定と否定のどちらの意図を示すものであるかがアノ テーションされている.コーパス構築にあたってはまず著者らが事前に用意した 10 パターン の対話シナリオのいずれかに基づく質問をクラウドソーシングを用いて収集しており，質問数 は合計で 3,431 件である。また，それぞれの質問に対して最大で 10 件の応答をクラウドソー シングを用いて収集している。そのため，人間らしくかつ多様な質問応答対からなるコーパス となっている。しかし，一問一答型かつ Yes/No 型の質問応答対に限定されており，Yes/No で
言い換えられないような間接的応答には対応していない. 本研究ではこれらの既存研究とは異 なり，人手で作成された対話履歴に対して人手で間接的応答・直接的応答の言い換え対を作成 する。そのため DIRECT コーパスは人間らしく多様な応答が含まれ，かつ複雑な間接的応答 を扱う最初の対話コーパスである。

## 2.3 言い換えに関する言語資源

言い換えに関連する既存のコーパスを紹介し，本研究で扱う語用論的言い換えの位置付けを 示す.これまでに多くの言い換えコーパス (Dolan and Brockett 2005; Lan et al. 2017) が提供 されている. Dolan and Brockett (2005) は, Webニュース上から単語の一致率などに基づく ヒューリスティックな手法によって言い換え候補の文対を抽出し，それらの文対が言い換えに なっているかどうかを人手でラベル付けすることで， 5,801 件の言い換えコーパスを構築して いる (うち 3,900 件が言い換え対と判定されている). Lan et al. (2017) は Twitter ${ }^{2}$ 上から同 じ URL を参照するツイートの対を言い換え候補対として収集し，それらのツイート対が言い 換えになっているかどうかを人手でラベル付けしており，51,534 件の言い換えコーパスを構築 している（うち 12,988 件が言い換え対と判定されている）。これらの言い換えコーパスは全て 対話履歴等の文脈を伴わないものであり, 語用論的言い換えに着目したコーパスは存在しない.

含意関係認識タスクに関するコーパス (Giampiccolo et al. 2007; Marelli et al. 2014; Bowman et al. 2015）も本研究との関連が深い. 含意関係とは，ある 2 文 $t_{1}$ と $t_{2}$ があったとき， $t_{1}$ が 真であればそのことから $t_{2}$ も真であることが推論できるような関係のことを言う．含意関係認識コーパスには字義通りの意味だけではなく世界知識や語彙の上位下位関係なども考慮しなけ れば解けない問題も含まれている。対話における含意関係を扱ったコーパスとしては Welleck et al. (2019) がある. このコーパスはシステムの持つペルソナとシステムが生成した発話との 間の意味的な一貫性の向上を目的として構築されたものであり, ペルソナ情報と各発話との間 での含意関係が付与されている。

既存のコーパスにおいては，文同士が言い換え関係にあるかや文が仮説を含意するかどうか は，その文が用いられる文脈等を考慮せずとも世界知識や文の明示的な意味のみに依存して判断可能である.これに対し本研究で扱う語用論的言い換えでは, 発話同士が言い換え関係にあ るかどうかを判断するためには対話履歴等の文脈が重要な要素となる.

## 3 DIRECT コーパス

語用論的言い換えとは，ある文脈において使用されたときに同等の結果をもたらす発話対であ

り，主に対話において頻繁に生じるものである。よって語用論的言い換えを含むコーパスを構築 するためには，まず対話履歴を作成する必要がある。本研究ではデータ作成コストを低減する ため，既存の対話コーパスを拡張する形で言い換え対を収集する．また，トピックが限定されな い雑談対話コーパスでは，作業者のトピックに関する知識に言い換え文が依存しやすく，品質の コントロールが難しい。そこで本研究では言い換え対の作成にあたって特別な知識を要しない と期待される夕スク指向対話コーパスを用いる。具体的には MultiWoZ2.1（以降は MultiWoZ と表記する） (Budzianowski et al. 2018; Eric et al. 2020) コーパスを基に，クラウドソーシン グを用いて発話対を収集する。

本章ではまず言い換え対の収集方法と得られたデータ例について 3.1 節で説明する。また,収集したデータの品質評価を 3.2 節にて行う。構築した DIRECT コーパスの特徴や性質につ いて, 3.3 節では統計的な観点から， 3.4 節では定性的な観点からそれぞれ分析する. 3.5 節に おいては, 既存の言い換え認識モデルを用いて, DIRECT と既存の言い換えコーパスの比較分析を行う。

## 3.1 間接的な応答と直接的な応答の対の収集

MultiWoZ は 10,438 対話 からなるマルチドメインかつマルチターンの英語タスク指向対話 コーパスであり，対話行為や対話状態など豊富なアノテーションが付属している．各対話はユー ザとシステムの二者が交互に発話する形式であり，ユーザ発話は合計で 71,524 件存在する.

本研究ではクラウドソーシングサービスの Amazon Mechanical Turk³ を用いて, MultiWoZ を拡張する形で語用論的言い換え対を収集する。作業者にはまず表 1 の指示書と作業例を提示

Type-1 (Direct) : a more direct response that expresses the same intention as the original response Type-2 (Indirect) : a more indirect but natural response that expresses the same intention as the original response

"Indirect response" means, for example, a response to a Yes/No question that does not contain a "Yes" or "No", or a response that does not directly refer to the action you want the other person to do or your desire. If you have trouble rephrasing, click the "Hints" button. You can see the goals that "USER" must achieve in that interaction.

表 1 間接的応答と直接的応答の収集のための指示書
^{3}$ https://www.mturk.com/
}

## Dialogue Context

## Hints
- You are planning your dinner in Cambridge
- You are a vegetarian

USER: I would like to have dinner in Cambridge OPERATOR: Do you have a preference for restaurants?

USER(TGT): I'm a vegitarian

OPERATOR: OK, there are one vegetarian restaurant near the hotel.

Would you like to book? USER: Yes, please.

## Your Answer

Type-1 (Direct paraphrase):

Yes, I need to find a vegetarian restaurant

Type-2 (Indirect paraphrase):

I do not eat meat or fish.

Submit

図 2 クラウドソーシングを用いた間接的な応答と直接的な応答の対の収集に用いる作業画面例

する。また，図 2 のように，各作業者の作業画面上には MultiWoZ から抜粋された対話履歴が 表示される ${ }^{4}$. 表示された対話履歴に基づいて，各作業者は指定されたユーザ応答（図 2 中の 赤字の応答）を間接的な応答と直接的な応答のそれぞれに言い換え，入力フォームに入力する. なお, 対話履歴のみでは話者の意図を十分に理解できない場合に備え，「Hints」ボタンを押すこ とで MultiWoZ から抜粋したその対話の対話目標を表示できる機能を作業画面上に実装する.

作業者の選定 数単語の置き換えや入れ替えなどのように語用論的な言い換えとは言えないも のや，言い換えにもなっていないようなデータの収集を防ぐため，本番の収集タスクに登用す る作業者を事前に選定した。具体的には， 2 回のパイロットタスクを実施した。なお， 2 回目の タスクにおいては 1 回目のタスクにおいて作業者から受けた質問や得られたデータの品質など を基に指示書を部分的に修正し，本番のタスクにおいて使用したものと同一の指示書を使用し た。本番タスクにおいては，間接的な応答と直接的な応答の間の単語レベルの Jaccard 係数が 0.75 以上のデータを自動的に不採択にした。また，得られたデータの抜き打ち検査も実施した.最終的には, これらの手動評価と自動評価に合格した 655 人中の 536 人の作業者によってデー

タが作成された。

応答対の収集 1 件あたりの作業にかかる平均時間を 1 分と見積もり，平均報酬は 1 件あたり 0.12 米ドル（1 時間あたりでは 7.2 米ドル. 2021 年 6 月 23 日現在のレートで日本円換算する と約 799 円）とした. 最終的には 71,498 件 5 の間接的な応答と直接的な応答の対を収集できた.得られたデータは，MultiWoZ と同じ設定で訓練データと評価データに分割した.

（MultiWoZ に元々収録されている応答）を見ると，ユーザは中間的な価格帯のレストランを希望 していることがわかる。この応答を間接的に言い換えたものとして "I don't want to overspend but remember its also vacation”（あまり使いすぎたくはないけれど，休暇でもあるということ を忘れないで）という発話が得られた。この例では “its also vacation”というフレーズが直接的な応答における "not too cheap”（安すぎない）に対応している。下段の例では，間接的な応答の中に “Do you know of any in town?” というフレーズがある. 対話履歴を考慮すれば, こ

表 2 DIRECT コーパスのデー夕例。“USER （間接的）”と “USER（直接的）”はそれぞれ本研究に おいてクラウドソーシングによって収集した間接的応答と直接的応答で，“USER（オリジナル）" は MultiWoZ から抽出したオリジナルの応答である.

れは単に「何か街にあるもの」を知っているかどうかを問うための発話ではなく，直接的な応答における“Can you find me a guesthouse...?” のように「ゲストハウスを探してほしい」とい う要求を伝えるための発話であることが汲み取れる.

## 3.2 品質評価

言い換え収集の実施後, 最終的な成果物の品質評価を実施した。具体的には評価セットに含ま れる 7,372 件分のユーザ応答に対し, 得られた語用論的言い換え対の品質をクラウドソーシング を用いて評価した，品質評価において作業者に提示した作業画面の例を図 3 に示す。作業者には 評価対象となる言い換え対とその対話履歴を提示した。その際，言い換え対には “Response-A"， "Response-B" のラベルをランダムに割り当て, どちらが間接的（あるいは直接的）な応答とし て収集されたデータかわからないようにした．作業者にはまず，言い換え対が実際に MultiWoZ のオリジナルの応答と同じ意図を表現できているかどうかを“Yes”, “No”の二値で評価しても らった. 次に, Response-A と Response-B のどちらがより直接的かについても評価してもらっ た.なお，判断に迷った場合のみ “no difference”を選ぶことを許容した。 1 件あたりの作業に かかる平均時間を 30 秒と見積もり，平均報酬は 1 件あたり 0.06 米ドル（1 時間あたりでは 7.2 米ドル. 2021 年 6 月 23 日現在のレートで日本円換算すると約 799 円）とした. 各言い換え対 に対して 5 人の作業者による評価を収集した. 最終的な評価値はその多数決によって決定した.

図 3 クラウドソーシングを用いたコーパスの品質評価に用いる作業画面例

なお，評価タスクにおいては，収集タスクに参加した作業者が自分が作成したデータを自己評価することがないように作業者の割り当てを行った.

評価結果を表 3 に示す. Intention-accuracy は収集した言い換えのうち, オリジナルの応答 と同じ意図を表現していると判断されたものの割合である。間接的な応答への言い換えでは $95.0 \%$ ，直接的な応答への言い換えでは $99.7 \%$ と高い割合のデータがオリジナルと同じ意図を 持っていることがわかる。間接的な応答の Intention-accuracy が直接的な応答の場合より $4.7 \%$低い結果となった。これは，ユーザの意図を間接的に表現しているために，人間の評価者にとっ ても解釈が困難な曖昧な表現が多少含まれているためであると考えられる．Directness-accuracy は, Response-A と Response-B のどちらがより直接的かとの問いに対し，直接的な応答とし て収集された方の応答が正しく選ばれた割合である。“Exact”は "no difference”と判断された データを許容しない設定, “Relaxed”は許容した設定での Directness-accuracy であり，それぞ れ $81.4 \%, 89.4 \%$ と高い割合となった. DIRECT コーパスにおいては, これらの評価ラべルも 提供する.

## 3.3 統計的分析

DIRECT コーパスにおける語用論的言い換えの特徴を明らかにするために，まずトークン単位での統計的分析を行う。表 4 に単語レベルでの統計情報を示す。なお，単語分割には $n^{2} l^{6}$ ライブラリの 'word_punct_tokenize()'メソッドを用いた。また，大文字小文字は区別していな い.まず，語彙サイズについては，間接的な応答の方が直接的な応答よりも 1.3 倍程度大きい ことがわかる. これは, 同じ意図を持った発話であっても，直接的に表現した場合よりも間接的に表現した場合の方がより多様な表現を取り得ることを示唆している。また, 文長（応答に 含まれる平均単語数）に関しては，間接的な応答では 15.59 , 直接的な応答では 12.38 で, 間接的な応答の方が長い. 平均文長について Wilcoxon の検定 (Wilcoxon 1945) を実施したところ, $0.1 \%$ 有意水準で有意であった，図 4 に，対応する間接的な応答と直接的な応答の文長の差のヒ ストグラムを示す。図を見ると，文長の差はやや正の側に偏りつつも，負の側にも多く分布し

表 3 評価データの品質評価結果

表 4 収集した言い換え対の統計情報

ていることが読み取れる。このことから，平均文長に有意差はあれど，発話をより直接的に言 い換える際に単に文長を短くすることが必ずしも有効というわけではないことが示唆される.次に，間接的な応答と直接的な応答において使用されるフレーズの違いを調査する。表 5 に それぞれにおける単語 tri-gram の頻度上位 20 件を掲載する。表を見ると，直接的な応答の

図 4 間接的応答と直接的応答それぞれの文長の分布

表 5 頻度上位 20 件の tri-gram
tri-gram には “book”や“find” などユーザがオペレータにして欲しいことを直接的に伝える動詞や, “the reference number”のように特定のオブジェクトを指すフレーズが頻繁に含まれてい ることがわかる（表中太字で表記），一方，間接的な応答の tri-gram には，直接的な応答では 頻出でない "is there any”や “I think that”などのフレーズが含まれている．以上のことから，間接的な応答と直接的な応答では, それぞれ頻出するフレーズに違いがあることが読み取れる.

## 3.4 定性的分析

DIRECT コーパスにおいて，直接的応答と比較して間接的応答にはどのような特徴があるか を調査するため，訓練データから無作為に抽出した 300 件の応答対について類型化を試みる.第一著者による分析の結果，応答対は以下の 5 つの類型に大別できた．以下に各類型の割合と その説明を記す。なお，複数の類型に該当する応答もあったため，割合の和は $100 \%$ に一致し ない.

要求や行為の曖昧化 $(54.0 \%)$ 直接的応答では明示的に言及されている要求や行為について, 間接的応答ではより曖昧になっているもの.

例 1:（ユーザがレストランを探している文脈で）

直接的応答: Find me a good gastropub in town.

間接的応答: It would be ideal if there were good gastropubs in town. （「探して」という 要求が明示されていない)

例 2: (システムの「Pizza Hut Cherry Hinton serves Italian food on the south part of town. Would you like their phone number?」という発話に対して)

直接的応答: Yes, you can get me the phone number.

間接的応答: I will want to call them. (「(電話番号を) 提供してほしい」という要求が 明示されていない)

対象の曖昧化 $(18.3 \%)$ 直接的応答では明示的に言及されている物体や概念について，間接的応答ではより曖昧になっているもの.

例:（映画館の予約が済んだ後で）

直接的応答: Yes, I also need the address of the theatre?

間接的応答: I've never been there. I'll need help finding it. （theatre が there, it によっ て参照されている)

世界知識に依存する言い換え $(10.3 \%)$ 直接的応答におけるある表現が，対話状況に依存しな い形でより間接的な表現に言い換えられているもの.

例:（システムがユーザに立地の希望を聞いた文脈で）

直接的応答: Yea the north sounds like it would work out for me.

間接的応答: I am just hoping to be as far from the south side as possible. （対話状
況によらず，「north」と「as far from the south side as possible」は言い換え可能)

丁寧さ・モダリティの調整 $(41.3 \%)$ 間接的応答において，直接的応答に比べてより丁寧な言 い回し (“Could you“”や “Would you”.”など）や断定を避けるようなモダリティ表現 ("I think..."や“maybe"など) が付与されているもの.

例:

直接的応答: Please book for 4 people on Tuesday at 12:00

間接的応答: Can you make a reservation for 4 people at 12:00?

自己開示の追加 $(7.0 \%)$ 発話意図を間接的に伝えるために, 自己に関する何らかの情報を追加 しているもの.

例:

直接的応答: Yea can you find me a place to eat that is in the expensive category.

間接的応答: I want to take my girl to the nicest place to eat in town.

このうち,「要求や行為の曖昧化」と「対象の曖昧化」については間接的応答の意図の解釈が対話履歴に依存して変わりうるもの（対話履歴に依存した言い換え）であると言える。これら二つ の類型の少なくともどちらか一方に属するデータの割合は $60.3 \%$ であった. よって, DIRECT コーパスのうち 6 割程度は対話履歴に依存した言い換えが行われていると考えられる.

次に，応答の意図を人間が解釈する際に，対話履歴の有無がどの程度影響を与えるかを調査 する。検証データから無作為に抽出した 500 件の応答対について, Amazon Mechanical Turk を用いて，それらがオリジナルの応答と言い換え関係にあるかどうかを，対話履歴を提示した 場合と提示しない場合のそれぞれについて判定してもらった. 各応答につき 5 人の作業者によ る判定を行ったのち，多数決によって最終的なラベルを決定した．表 6 に言い換えと判定され た割合を示す. 対話履歴を提示した場合, 間接的・直接的応答はともにほぼ全ての応答がオリ ジナル応答と同義だと判定されていることがわかる。一方で対話履歴を提示しない場合は，提示した場合に比べて間接的応答では言い換えと判定された割合が $12.3 \%$ 低い.このことから， DIRECT コーパスには対話履歴の情報が重要な言い換え対が少なくとも $12 \%$ 程度は含まれて いると推定される。しかし, この値は先の類型化において「対話履歴に依存する言い換え」とし たデータの割合である $60.3 \%$ よりはるかに小さい. これは, "I'm looking forward”.."と “Find

表 6 言い換えかどうかの判定に対話履歴の有無が与える影響の調査結果
me..."のように必ずではないがほとんどの状況において慣習的に同じ意図で用いられるような 応答対が，対話履歴を提示しなかった場合でも言い換え関係として判定されてしまったことが 原因だと考えられる。

## 3.5 モデルを用いた分析

本節では，最先端の文符号化器や言い換え認識モデルを用いて，DIRECT コーパスと既存の 言い換えコーパスの比較調查を行う。まず, DIRECT コーパス, MRPC (Dolan and Brockett 2005), Twitter URL Paraphrase コーパス (Lan et al. 2017)のそれぞれの言い換え対（DIRECT コーパスにおいては間接的応答と直接的応答の対）全てについて, 文符号化器 Sentence-BERT ${ }^{7}$ (Reimers and Gurevych 2019) を用いてその文間のコサイン類似度を計算する。図 5 に示す類似度のヒストグラムを見ると，DIRECT は他の既存のコーパスに比べて類似度が低い言い換え対が 多いことがわかる． Sentence-BERT は，文間の類似度を推定するタスクである STSBenchmark (Cer et al. 2017) を用いて事前訓練されたモデルであり，文脈を考慮しないレベルでの文の意味的類似度を扱うモデルとなっている。DIRECT ではコサイン類似度が低い言い換え対が大量に 存在することから，文脈を考慮しなければ言い換えだと判断できないような言い換え対が多く 含まれていることが確認できる.

次に，既存の言い換えコーパスを用いて訓練された言い換え認識モデルを DIRECT コーパ スや既存のコーパスに適用して比較分析を行う。具体的には, BERT ${ }^{8}$ (Devlin et al. 2019) を既

図 5 Sentence-BERT を用いて算出した言い換え対のコサイン類似度の分布

図 6 MRPC, Twitter URL paraphrase コーパ スでファインチューニングした BERT に よって言い換えだと認識された言い換え対 の割合

図 7 PAWS コーパスでファインチューニングし たBERT によって言い換えだと認識された 言い換え対の割合

存の言い換え認識用コーパスでファインチューニングした言い換え認識モデルが，実際に言い 換えだと認識できた言い換え対の割合を計算する。また，特性の異なる言い換え認識モデルで の挙動の違いを分析するため, MRPC と Twitter URL Paraphrase コーパスで訓練したモデル に加え, Paraphrase Adversaries from Word Scrambling (PAWS) (Zhang et al. 2019) で訓練し たモデルについても分析を行う．PAWS コーパスは単語の重複度が高い言い換え対を扱うコー パスで, MRPC や Twitter コーパスに比べて構文レベルでの判断が必要なコーパスとなってい る. 図 6 に MRPC と Twitter URL Paraphrase を用いてファインチューニングした場合の結果を, 図 7 に PAWS を用いてファインチューニングした場合の結果を掲載する。図 6,7 を見 ると, DIRECT コーパスはどちらのモデルにおいても言い換えと認識される対の割合がそれぞ れ $64.9 \%, 35.3 \%$ と最も低いことが読み取れる.このことから, 既存の語彙や構文レベルでの 言い換えに着目したモデルでは，DIRECT に含まれる語用論的言い換えは十分に扱えないこと が示される.

## 4 ベンチマークタスク

語用論的な言い換えを処理する能力を評価するための 3 つのベンチマークタスクを, DIRECT コーパスを用いて設計する，具体的には，間接的な応答を直接的に言い換える Indirect-to-Direct タスク (4.1 節)，直接的な応答を間接的に言い換える Direct-to-Indirect タスク (4.2 節), 発話の 直接性を推定する直接性推定タスク（4.3 節）を設計する。また，各タスクにおいて， べースラ インとして最先端の事前学習済み言語モデルである BART (Lewis et al. 2020) と BERT (Devlin et al. 2019)を用いて性能調査を行う.

## 4.1 Indirect-to-Direct タスク

タスクの概要と動機 Indirect-to-Direct は, 対話履歴を用いて, 間接的な応答をその意図を保っ たまま直接的な応答に変換するタスクである。本タスクの応用例としては，夕スク指向対話シ ステムのための発話の前編集などが考えられる。ユーザが入力した間接的な発話をモデルに入力する際に事前に解釈しやすい直接的な発話に変換することで, 応答生成の品質が向上するこ とが期待される。評価尺度としては BLEU (Papineni et al. 2002) と Perplexity を用いる。な お, Indirect-to-Direct モデルの対話応答生成への適用実験を第 5 章にて行う.

ベースライン 本タスクは入力された発話を意図を保持したままより直接的なスタイルに置き 換えるスタイル変換タスクであると言える。 そこで, 文平易化 (Martin et al. 2021) やフォーマ ル性変換 (Chawla and Yang 2020) などのスタイル変換タスクにおいて高い性能を記録している BART (Lewis et al. 2020) をこのタスクのベースラインとして用いる. ベースラインモデルの アーキテクチャを図 8 (a) に示す. 特殊トークンとして“<user>”, “<system>”, “<query>”を追加する。“<user>”トークン, “<system>”トークンをそれぞれ対話履歴中のユーザ発話の直前, システム発話の直前に付与することで，モデルがそれぞれの発話の話者を区別しやすいように する．また，変換対象である間接的な応答の直前には “<query>”トークンを付与する．対話履歴中の発話と変換対象の応答を時系列順に連結し，BART のエンコーダに入力する．なお，入力データのトークン数が 512 を超えた場合は末尾から 512 トークン目までのみを入力する。モ デルのファインチューニングはクロスエントロピー損失を用いて行う.

実装には transformers (Wolf et al. 2020) ライブラリを使用した。また，事前学習済みモデルと して "facebook/bart-base"9 を用いた. オプティマイザとして AdamW (Loshchilov and Hutter 2019）を用い，学習率は $2 \mathrm{e}-5^{10}$ とした。バッチサイズは GPU メモリ容量上の上限となる 8

(b) Direct-to-Indirect Transfer Model

(c) Directness Ranking Model

図 8 ベンチマークタスクにおけるベースラインモデルのモデルアーキテクチャ
^{9}$ https://huggingface.co/facebook/bart-base

10 検証データにおいて最も損失が小さくなるように選んた。
}

を採用した ${ }^{11}$. 訓練データのうちランダムに 2,000 件をハイパーパラメータチューニング用の 検証データとして抽出し, 残りを訓練に用いた。 30 エポックの学習を経て, 最も検証データで の損失が小さいモデルを評価データでの評価に用いた.

また，対話履歴の影響を調査するために，対話履歴を入力しないモデル（BART w/o 対話履歴）も構築した，事前学習の効果を検証するために，事前学習されていない Transformer モデル をDIRECT コーパスのみを用いて訓練したモデルについても評価を行った。 なお, Transformer モデルについてはエンコーダ・デコーダ共に層数や中間層の出力次元数などの各種ハイパーパ ラメータを BART と同一の值に設定した。

実験結果と考察 表 7 に各モデルの評価データにおける BLEU と Perplexity を示す. BART を用いたモデルでは，対話履歴を考慮するモデルの方が BLEU スコアが高い。これは，語用論的な言い換えは対話履歴などの文脈に依存しており，文脈を考慮しなければ正確に意図を反映 した言い換えができないことを示唆している。

BART と Transformer については BART の方が BLEU, Perplexity 共に大きく上回ってい ることがわかる。この結果から，他の多くのタスクと同様に語用論的言い換えに対しても事前学習によって得られる知識が効果的に作用することがわかる.

表 8 に生成された直接的な応答の例を示す。段の例では，BART モデルは間接的な応答の “the best place"というフレーズを価格帯に関する表現だと解釈できていることがわかるが，一方で Transformer モデルはこの解釈に失敗している。下段の例は文脈の考慮が特に重要な例で ある。対話履歴を利用しない BART（BART w/o 対話履歴）では，参照文とは逆の意図を持つ 文を生成してしまっている。一方，対話履歴を利用する 2 つのモデルは共に参照文と同じ意図 の文を生成できている.

## 4.2 Direct-to-Indirect タスク

タスク概要と動機Direct-to-Indirect タスクでは先のタスクとは逆に, 文脈のもとで意図を保っ たまま直接的な応答を間接的な応答に変換することを目的とする。対話システムのユーザの中 には，間接的な応答を返すシステムを好む人と直接的な応答を返すシステムを好む人がほぼ同

表 7 Indirect-to-Direct タスクの実験結果

数ずついることが Miehle et al. (2018) によって報告されている. したがって, 対話システムが 人間と円滑なコミュニケーションを行うためには，直接的な応答を間接的に言い換える技術の 実現も重要である.

ベースライン Indirect-to-Direct タスクでの設定と同様, ベースラインとしては対話履歴を入力とする BART モデルを用いる. 図 8 (b) にモデルアーキテクチャを示す. 対話履歴と言い 換え対象の直接的応答を 4.1 節で述べたのと同様の方法で BART エンコーダに入力する。ま た, 対話履歴を無視した BART モデルや，事前訓練を行わずに訓練した Transformer モデルと の比較も行う。ハイパーパラメータやその他の学習設定についても Indirect-to-Direct タスクと 同様である。

実験結果と考察 表 9 に各モデルの評価デー夕における BLEU と Perplexity を示す. BART をファインチューニングしたモデルが，事前訓練を行わない Transformer モデルに比べて高い BLEU スコアと低い Perplexity を達成しており, 事前学習がこのタスクにおいても有効である

表 8 Indirect-to-Direct タスクにおける直接的応答の生成例

表 9 Direct-to-Indirect タスクの実験結果

 \\

表 10 Direct-to-Indirect タスクにおける間接的応答の生成例

## ことが確認できる。

全体的に, Direct-to-Indirect タスクに比べて BLEU と Perplexity は共に悪化した. また, 対話履歴を用いても BLEU, Perplexity 共に改善が見られなかった. これらの結果から, Directto-Indirect タスクの方が Indirect-to-Direct タスクよりも難易度の高いタスクであることが示唆 される。実際, 3.3 節における統計的な分析でも述べたように，間接的な応答には直接的な応答 よりも豊富な語彙が用いられている上に, 平均文長も長い. そのため, 対話履歴の有無に関わ らず，直接的な応答を間接的な応答に適切に変換する能力を獲得できていないのではないかと 推測できる。表 10 の生成例から見て取れるように，全てのモデルにおいて生成された応答は 入力された直接的な応答の意図を保持できていない. 直接的な応答から間接的な応答への変換 のためにはより高度なモデルが必要である.

## 4.3 直接性推定タスク

タスク概要と動機 直接性推定タスクでは，発話の直接性の度合いを推定することを目的とす る.この技術を用いることで，ユーザの入力発話が間接的かどうかを事前に判定し，もし間接的であった場合にその意図を聞き直したり，あるいは間接的な発話を直接的に言い換えたりす ることができる.

DIRECT コーパスには，それぞれの対話履歴に対して MultiWoZ のオリジナルの応答, 間接的な応答, 直接的な応答の 3 つの応答が付与されている.これらの応答は直接性が高い順に並 ベると直接的な応答, オリジナルの応答, 間接的な応答の順になる。このタスクでは, モデル が推定した入力発話の直接性スコアを用いて 3 つの応答を降順に並び替えたときに，それが実際の直接性の順番通りに並んでいるかどうかを基に評価を行う.

ベースライン 本タスクのベースラインとしては, 対話行為推定 (Yu and Yu 2021) や対話状態追跡 (Wu et al. 2020) などの対話データに対する分類タスクにおいて高性能を誇る BERT を用 いる．モデルアーキテクチャを図 8 (c) に示す. 先の 2 つのタスクと同様に，まず直接性の推

表 11 直接性推定タスクの評価結果

定対象である応答と対話履歴を特殊トークンを挟んで連結して BERT エンコーダに入力する. “[CLS]” トークンに対応する最終層の出力を線形層に入力してスカラー值に変換し, sigmoid 関数を通して $(0,1)$ の範囲のスカラー値を得る. 最終的な出力を入力された応答の直接性を示す スコアとみなす.

モデルの学習には，ランキング学習 (Mitra and Craswell 2018) タスクでよく用いられる Pointwise 損失と Pairwise 損失を用いる. Pointwise 損失では，推定値と正解の直接性スコアの 間の平均二乗誤差を最小化する。なお, 今回は擬似的な正解値として, 間接的な応答に 0.0 , オ リジナルの応答に 0.5 , 直接的な応答に 1.0 のスコアを割り振る.

Pairwise 損失は，より直接的な応答の推定スコアが他方の応答よりも大きくなるような損失関数である。例えば, 直接的な応答 $A$ と間接的な応答 $B$ があって, その推定スコアを $s_{A}, s_{B}$ としたとき，Pairwise 損失は以下で定義される:

$
-\log \frac{1}{1+e^{-\left(s_{A}-s_{B}\right)}}
$

評価尺度としては，推定スコアに基いたランキングと正解のランキングに対して，それらが完全一致する割合 (Exact match) とそれらの間の Kendall's tau を用いる.

モデルの実装には transformers ライブラリを用いた。 また, 事前学習済みモデルとして “bertbase-cased"を使用した。また，比較のために対話履歴を入力しないモデルも構築した.

実験結果と考察 表 11 に実験結果を示す. なお，太字は $t$ 検定の結果 $1 \%$ 水準で他の群との 有意差が認められたものを示す. 太字で示された 2 モデル間では有意差を認められなかった. Exact-match と Kendall's tau の両方において, 対話履歴を利用しないモデルと利用するモデル ではほぼ変わらない値となっていることがわかる． 3.3 節にて述べたように，間接的な応答と直接的な応答の間には使用される語彙やフレーズに大きな違いがあることがわかっている。この ことから，直接性については対話履歴を用いずともフレーズや単語のみをする手がかりとして ある程度予測可能なのではないかと考えられる。しかし, Exact-match は 0.813 にとどまって おり, 更なる性能向上のためには対話履歴の利用方法の改良を含め, より高度なモデルの構築 が必要である.

## 5 対話応答生成への語用論的言い換えの適用

ユーザ応答が直接的であるほど対話応答生成の性能は向上するという仮定に基づき，語用論的言い換えを考慮した対話応答生成モデルの構築と評価を行う. 具体的には, 最先端の対話応答生成モデルである UBAR (Yang et al. 2021) に対し, 入力発話に加えてそれをより直接的に 言い換えたものも考慮するようにモデルを改良する.

本章ではモデルの構築に先あたって, ユーザ応答の直接性が対話応答生成に与える影響を 5.1 節で調査し, 仮定の妥当性を検証する．5.2 節では，語用論的言い換えを考慮した対話応答生成モデルの構築方法について説明する． 5.3 節にて, 応答生成実験の結果と考察を述べる.

## 5.1 対話システムにおける間接的発話の影響調査

4.3 節で構築した直接性推定モデルを用いて, ユーザ応答の直接性がシステム応答の生成に与 える影響を調査する。まず，表 11 で最も高性能であった BERT w/o history の Pairwise 損失 モデルを用いて, MultiWoZ の評価データのユーザ応答を間接的・直接的のいずれかに振り分け る.ここで, 振り分けの間値は 0.5 に設定し, それより高いものは直接的, それ以下のものを 間接的とする. 次に，間接的なユーザ応答群と直接的なユーザ応答群のそれぞれに対して最先端の End-to-End タスク指向対話モデルである UBAR (Yang et al. 2021)を用いてシステム応答を生成する。なお，実装には著者らが公開しているスクリプトを用いた ${ }^{12}$ ，それぞれのユー ザ応答群に対するシステム応答の BLEU を計算したところ, 間接的な応答群に対しては 10.25,直接的な応答群に対しては 14.09 となった. この結果から, 対話システムにとっては直接的な ユーザ応答の方が間接的なユーザ応答に比べてよりシステム応答を生成しやすいという仮定は 妥当であると言える。よって，ユーザ応答を予めより直接的に言い換えて応答生成モデルに入力することで，対話応答生成の性能は改善できると考えられる.

## 5.2 語用論的言い換えを考慮した対話応答生成器の構築

本実験においては最先端のタスク指向対話応答生成モデルである UBAR (Yang et al. 2021) に対し, 語用論的言い換えを考慮するように改良を加える。UBAR は事前学習済みのテキスト 生成モデルである GPT-2 (Radford et al. 2019)を基にして構築された End-to-End 型のタスク 指向対話応答生成モデルであり，MultiWoZ データにおける応答生成において高い性能を記録 している. UBAR のモデルアーキテクチャを図 9 (a) に示す. UBAR では GPT-2 に対して対話履歴中の最初のユーザ発話を入力し, その入力を基に, ユーザが何を求めていて何が解決さ れていないか等, 現状の対話状態を予測する. 予測された対話状態を基にホテルやレストラン の空き情報等が登録されたデータベースを検索し，条件に合致したレコードを GPT-2に入力

(a) UBAR

(b) UBAR 言い換え考慮モデル

図 9 応答生成モデルのモデルアーキテクチャ

する（図中「DB」），その後，次にどのような応答を生成するべきかを示す対話行為を推定し，最後にシステム応答を生成する。次のユーザ発話が入力された後も同様の処理を繰り返すこと で，対話履歴を考慮しながら応答を生成していくようなモデルとなっている。

本実験では UBARへの入力ユーザ発話に対して，それをより直接的に言い換えたものを図 9 (b)のように連結して入力することで，入力発話を直接的に言い換えた場合の応答生成性能を 検証する。なお，予測対象の応答の直前の発話のみを言い換え対象としている。訓練時には直接的な応答として参照文（DIRECT コーパスに収録されている直接的な応答）を用いる。評価時には第 4.1 節で構築した Indirect-to-Direct モデルを用いて生成した直接的な応答を用いる. また，言い換えによる性能向上の上限を調査するため，参考として評価時に直接的応答として 参照文を用いた場合の性能についても報告する.

訓練設定やパラメータについては全てのモデルについて Yang et al. (2021) での設定に準拠し た．実装は著者らが公開しているスクリプトを用いた．実験データとしては引き続き MultiWoZ を使用しており，訓練データと評価データへの分割方法もベンチマークタスクや Yang et al. (2021) での設定と同様である.

## 5.3 実験結果と考察

評価デー夕における評価結果を表 12 に示す.なお, 評価尺度は BLEU, INFORM, SUCCESS, COMBINED の 4 種類である. このうち INFORM, SUCCESS, COMBINED は MultiWoZ (Budzianowski et al. 2018) 等のタスク指向対話データセットを用いた応答生成実験におい て代表的に利用されている評価尺度である。INFORM は対話全体を通して提示したエンティ

表 12 対話応答生成の評価結果

ティ (ホテル名やレストラン名など) が正解と一致した割合であり，ユーザのニーズに合致した場所を案内できたかどうかを図る尺度である．SUCCESS は要求された属性値（住所や予約番号,列車番号など）を正確に出力できた割合であり，予約等の成功率を図る尺度である. COMBINED はこれら 3 つの尺度を統合したもので， COMBINED $=$ BLEU $+0.5 \cdot($ INFORM + SUCCESS $)$ で計算される.

表より，全ての尺度において直接的な応答への言い換えを考慮したモデルが UBAR のスコア を上回っていることがわかる。特に，SUCCESS においては生成された言い換えを用いた場合 で 1.0 ポイント，参照文を用いた場合で 1.6 ポイント上昇している. よって，ユーザ発話の直接的な発話への言い換えは対話応答生成の性能向上に寄与することがわかった。また，生成文 と参照文を比較した場合，BLEU 以外の全ての尺度で参照文の場合の方が性能が高いことが読 み取れる。このことから，より正確な語用論的言い換えモデルを構築することで，さらなる応答生成性能の向上が見迄める.

## 6 おわりに

本研究では 71,498 対の間接的応答と直接的応答の語用論的言い換え対を含む夕スク指向対話コーパスを，既存のマルチターンタスク指向対話コーパスである MultiWoZ を拡張する形で 構築した。また，3つのベンチマークタスクを提案し, 最先端の事前学習済み言語モデルの語用論的言い換えに対する処理能力を調査した。さらに，DIRECT コーパスでの実験において，入力発話をより直接的に言い換えることで応答生成の性能が向上することを確認した．今後は より性能の高い語用論的言い換え生成・認識モデルの構築に取り組む.

本研究ではタスク指向対話コーパスである MultiWoZ を対象として語用論的言い換えコーパ スを構築したが, 雑談対話においてはそのドメインの広さや発話の多様さから, より複雑な語用論的言い換えが発生すると考えられる。雑談対話における語用論的言い換えコーパスの構築 や言い換えモデルの構築も将来的な課題として挙げられる.

## 謝 辞

本研究は JSPS 科研費 JP18K11435 および公益財団法人 木下記念事業団の助成を受けたもの です.

## 参考文献

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642.

Brown, P., Levinson, S. C., and Gumperz, J. J. (1987). Politeness: Some Universals in Language Usage. Studies in Interactional Sociolinguistics. Cambridge University Press.

Budzianowski, P., Wen, T.-H., Tseng, B.-H., Casanueva, I., Ultes, S., Ramadan, O., and Gašić, M. (2018). "MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5016-5026.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the International Workshop on Semantic Evaluation (SemEval), pp. 1-14.

Chawla, K. and Yang, D. (2020). "Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization." In Findings of the Association for Computational Linguistics: EMNLP, pp. 2340-2354.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Dolan, W. B. and Brockett, C. (2005). "Automatically Constructing a Corpus of Sentential Paraphrases." In Proceedings of the International Workshop on Paraphrasing.

Eric, M., Goel, R., Paul, S., Sethi, A., Agarwal, S., Gao, S., Kumar, A., Goyal, A., Ku, P., and Hakkani-Tur, D. (2020). "MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines." In Proceedings of the Language Resources and Evaluation Conference (LREC), pp. 422-428.

Firdaus, M., Ekbal, A., and Bhattacharyya, P. (2020). "Incorporating Politeness across Languages in Customer Care Responses: Towards building a Multi-lingual Empathetic Dialogue

Agent." In Proceedings of the Language Resources and Evaluation Conference (LREC), pp. 4172-4182.

Gao, S., Zhang, Y., Ou, Z., and Yu, Z. (2020). "Paraphrase Augmented Task-Oriented Dialog Generation." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 639-649.

Giampiccolo, D., Magnini, B., Dagan, I., and Dolan, B. (2007). "The Third PASCAL Recognizing Textual Entailment Challenge." In Proceedings of the ACL-PASCAL Workshop on Textual Entailment and Paraphrasing, pp. 1-9.

Gupta, S., Walker, M. A., and Romano, D. M. (2008). "POLLy: A Conversational System that uses a Shared Representation to Generate Action and Social Language." In Proceedings of the International Joint Conference on Natural Language Processing (IJCNLP).

Hosseini-Asl, E., McCann, B., Wu, C.-S., Yavuz, S., and Socher, R. (2020). "A Simple Language Model for Task-Oriented Dialogue." In Proceedings of the Conference of Neural Information Processing Systems (NeurIPS), Vol. 33.

Hou, Y., Liu, Y., Che, W., and Liu, T. (2018). "Sequence-to-Sequence Data Augmentation for Dialogue Language Understanding." In Proceedings of the International Conference on Computational Linguistics (COLING), pp. 1234-1245.

乾健太郎，藤田篤 (2004). 言い換え技術に関する研究動向. 自然言語処理, 11 (5), pp. 151-198. [K. Inui and A. Fujita (2004). A Survey on Paraphrase Generation and Recognition. Journal of Natural Language Processing, 11(5), pp. 151-198.].

Lan, W., Qiu, S., He, H., and Xu, W. (2017). "A Continuously Growing Dataset of Sentential Paraphrases." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1224-1234.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7871-7880.

Li, Y., Su, H., Shen, X., Li, W., Cao, Z., and Niu, S. (2017). "DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset." In Proceedings of the International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995.

Lin, Z., Madotto, A., Winata, G. I., and Fung, P. (2020). "MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3391-3405.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings
of the International Conference on Learning Representations (ICLR).

Louis, A., Roth, D., and Radlinski, F. (2020). "I'd rather just go to bed": Understanding Indirect Answers." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7411-7425.

Marelli, M., Bentivogli, L., Baroni, M., Bernardi, R., Menini, S., and Zamparelli, R. (2014). "SemEval-2014 Task 1: Evaluation of Compositional Distributional Semantic Models on Full Sentences through Semantic Relatedness and Textual Entailment." In Proceedings of the International Workshop on Semantic Evaluation (SemEval), pp. 1-8.

Martin, L., Fan, A., de la Clergerie, É., Bordes, A., and Sagot, B. (2021). "MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases." arXiv preprint arXiv:2005.00352.

Miehle, J., Minker, W., and Ultes, S. (2018). "Exploring the Impact of Elaborateness and Indirectness on User Satisfaction in a Spoken Dialogue System." In Adjunct Publication of the Conference on User Modeling, Adaptation and Personalization (UMAP), pp. 165-172.

Mitra, B. and Craswell, N. (2018). "An Introduction to Neural Information Retrieval." Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, 13 (1), pp. 1-126.

Niu, T. and Bansal, M. (2018). "Polite Dialogue Generation Without Parallel Data." Transactions of the Association for Computational Linguistics (TACL), 6, pp. 373-389.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Perrault, C. R. (1980). "A Plan-Based Analysis of Indirect Speech Act." American Journal of Computational Linguistics, 6 (3-4), pp. 167-182.

Pragst, L. and Ultes, S. (2018). "Changing the Level of Directness in Dialogue using Dialogue Vector Models and Recurrent Neural Networks." In Proceedings of the Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL), pp. 11-19.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. (2019). "Language Models are Unsupervised Multitask Learners.".

Reimers, N. and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the International Joint Conference on Natural Language Processing (IJCNLP), pp. 3982-3992.

Roque, A., Tsuetaki, A., Sarathy, V., and Scheutz, M. (2020). "Developing a Corpus of Indirect Speech Act Schemas." In Proceedings of the Language Resources and Evaluation Conference

(LREC), pp. 220-228.

Searle, J. R. (1979). Indirect Speech Acts, pp. 30-57. Cambridge University Press.

Takayama, J., Kajiwara, T., and Arase, Y. (2021). "DIRECT: Direct and Indirect Responses in Conversational Text Corpus." In Findings of the Association for Computational Linguistics: EMNLP, pp. 1980-1989.

高山隼矢, 梶原智之, 荒瀬由紀 (2021). 間接的な応答と直接的な応答の対からなる対話コーパ スの構築. 情報処理学会 第 249 回自然言語処理研究会, 11 号. [J. Takayama et al. (2021). Kansetsuteki na Outou to Chokusetsuteki na Outou no Tsui karanaru Taiwa Kopasu no Kochiku. SIG Technical Reports, 2021-NL-249, 11.].

Welleck, S., Weston, J., Szlam, A., and Cho, K. (2019). "Dialogue Natural Language Inference." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3731-3741.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

Wilske, S. and Kruijff, G.-j. (2006). "Service Robots Dealing with Indirect Speech Acts." In 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 4698-4703.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP), pp. 38-45.

Wu, C.-S., Hoi, S. C., Socher, R., and Xiong, C. (2020). "TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 917-929.

Yang, Y., Li, Y., and Quan, X. (2021). "UBAR: Towards Fully End-to-End Task-Oriented Dialog Systems with GPT-2." In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI).

Yu, D. and Yu, Z. (2021). "MIDAS: A Dialog Act Annotation Scheme for Open Domain HumanMachine Spoken Conversations." In Proceedings of the Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1103-1120.

Zhang, Y., Sun, S., Galley, M., Chen, Y.-C., Brockett, C., Gao, X., Gao, J., Liu, J., and Dolan, B. (2020). "DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation." In Proceedings of the Annual Meeting of the Association for Computational

Linguistics: System Demonstrations (ACL), pp. 270-278.

Zhang, Y., Baldridge, J., and He, L. (2019). "PAWS: Paraphrase Adversaries from Word Scrambling." In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1298-1308.

Zhao, Y., Xu, C., and Wu, W. (2020). "Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3472-3483.

## 略歴

高山 隼矢：2017 年豊田工業大学工学部先端工学基礎学科卒業. 2019 年大阪大

学大学院情報科学研究科博士前期課程修了. 同年同研究科博士後期課程に進学. 現在に至る。自然言語生成，対話システムに興味を持つ．修士（情報科学). 言語処理学会, ACL 各学生会員.

梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

荒瀬 由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)，同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関す る研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディ ア工学専攻准教授, 現在に至る。言い換え表現認識と生成，言語教育支援，対話システムに興味を持つ。


# 簡易小型化 BERT による日本語構文解析

河野 慎司 $\dagger \cdot$ 古宮 嘉那子 $\dagger \dagger$ ・新納 浩幸 $+\dagger \dagger$
}

BERT は fine-tuning することで様々な NLP タスクに対して高性能な結果を出した 事前学習済みモデルであるが, 多くのパラメータを調整する必要があるため学習や 推論に時間がかかるという問題がある。本論文では日本語構文解析に対して, BERT の一部の層を削除した簡易小型化 BERT の利用を提案する. 実験では, 京都大学 ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の正解率と処理時間を比較 した. 提案する簡易小型化 BERT では, 京大版の BERT からの正解率の劣化をウェ ブコーパスで 0.87 ポイント, テキストコーパスで 0.91 ポイントに押さえながら，学習時間は $83 \%$, 推論時間はウェブコーパスで $65 \%$, テキストコーパスで $85 \%$ まで削減することができた.

キーワード：BERT，構文解析，枝刈り
## Japanese Parsing Using Smaller BERT

\author{
Kono Shinui ${ }^{\dagger}$, Kanako Komiya $^{\dagger \dagger}$ and Shinnou Hiroyuki ${ }^{\dagger \dagger \dagger}$
}

BERT is a pre-trained model that can achieve high accuracy for various NLP tasks with fine-tuning. However, BERT requires tuning of many parameters, making training and inference time-consuming. In this study, we propose to apply smaller BERT for Japanese parsing by dropping some of its layers. In our experiments, we compared the parsing accuracy and processing time of the BERT developed by Kyoto University and smaller BERT with dropping some of its layers, using the Kyoto University Web Document Leads Corpus (referred to as the web corpus) and the Kyoto University Text Corpus (referred to as the text corpus). The experiments revealed that the smaller BERT reduced the training time by $83 \%$ and inference time by $65 \%$ for the Web corpus and $85 \%$ for the text corpus, while maintaining the accuracy degradation from the Kyoto University version of BERT to 0.87 points for the Web corpus and 0.91 points for the text corpus.

Key Words: BERT, Parsing, Pruning

†茨城大学大学院理工学研究科情報工学専攻, Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University

† 東京農工大学工学研究院先端情報科学部門, Department of Computer and Information Sciences, Institute of Engineering, Tokyo University of Agriculture and Technology

††† 茨城大学大学院理工学研究科情報工学専攻, Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University

## 1 はじめに

構文解析とは句同士の係り受け関係を明らかにするタスクのことである．従来より研究が盛 んな分野であり, 日本語構文解析ツールの $K^{-1}$ (河原, 黒橋 2007) (笹野, 黒橋 2011) が有名 であるが，近年，BERT を利用することで，従来の KNP よりも高い正解率を出すことが示され ている (柴田 他 2019).

BERT (Devlin et al. 2019) は fine-tuning することで様々な NLP タスクに対して高い性能を示 した事前学習済みモデルである。 BERT を利用した構文解析では, BERT からの出力べクトル を順伝播型ニューラルネットワーク (FFNN) に入力し fine-tuning することで構文解析を行う. ただし，BERT には多くのパラメータを調整する必要があるため学習や推論に時間がかかると いう問題がある.

そこで本研究では, 構文解析において事前学習済み BERT の一部の層を削除した簡易小型化 BERT の利用を提案する。ここでいう層とは， BERT を構成している transformer のエンコー ダーのことであり, $\mathrm{BERT}_{\mathrm{BASE}}$ の場合, 12 層の transformer のエンコーダーから成っている. このうちの何層かを削除し, 層数が減った新しい BERT モデルを作成するという簡易な処理で 小型化したBERT を，以降，簡易小型化 BERT と呼ぶ．実験では，京都大学ウェブ文書リード コーパス (萩行 他 2014) と京都大学テキストコーパス (Kurohashi and Nagao 1998) を混合した データを用いて，京大版の $\mathrm{BERT}^{2,3}$ とそれを簡易小型化した BERT の正解率と処理時間を比較 した. 提案する簡易小型化 BERT では， 3 ～ 10 層目を削除した合計 4 層のモデルが，京大版の BERT からの正解率の劣化をウェブコーパスで 0.87 ポイント, テキストコーパスで 0.91 ポイン トに押さえる結果となり，層を削除した後でも高い正解率を維持していることが分かった。ま た学習・推論時間は削除する層を増やすほど速くなり, 合計 4 層モデルでは学習時間は $83 \%$,推論時間はウェブコーパスで $65 \%$, テキストコーパスで $85 \%$ まで削減することができた.

また BERT のどの位置の層が構文情報を捉えているかを， 12 層のうち 1 層のみを fine-tuning に使用し，テストを行うことで調査した。その結果, 新聞コーパスは上位・下位層が高い正解率を出したが，Webコーパスにおいてはどの層も大きな変化は出なかった. これらの結果から BERT はコーパスの特性や文に含まれるトークン数, 未知語の割合などによって, 構文解析の 正解率に変化が出ると考えられる。
^{3}$ https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese
}

## 2 関連研究

(Zhang et al. 2017) は構文解析を, 単語ごとに係り先を決定する Head Selection 問題として 行っている. BiLSTM からの特徴量を用いることで, 高性能な構文解析を行っている. BERT を使った日本語構文解析の関連研究として(柴田他 2019) の研究がある。柴田らは事前学習済み BERT を京都大学テキストコーパスと京都大学ウェブ文章リードコーパスという 2 種類のコー パスで fine-tuning し， BERTによる構文解析の正解率を調査した。結果, BERT を利用した場合, KNP や CaboCha4 ， BiLSTM を利用したときよりも高い正解率を出している。（宇田川他 2021) は, BERT からの出力ベクトルに加え, 係り元と係り先の距離などを one-hot ベクトルで 表現した基本素性を FFNNに入力し, 構文解析を行っている.このとき BERT と基本素性を組 み合わせた場合, CaboChaよりも高い正解率となっている.

(Sajjad et al. 2021)は, 事前学習済み BERT の層を削除し, fine-tuning した場合, GLUE夕 スクにおいて 12 層の BERT に比べどの程度差が出るのかを調査した. このとき，
- 4 層減らすとき，下位の層を削除するのが一番スコアが低いが，他はあまり差がない.
- 6 層減らすとき, 上位の層を削除するのが一番スコアがいい.

など，削除する層数や位置によってスコアに差が出ることを述べている.

本研究において簡易小型化 BERT を作成する際, Sajjad らのように事前学習済み BERT の層 を削除する手法を利用したが，(Gordon et al. 2020)は BERT の重みの値が 0 に近いものを不要

りをしていないモデルに比べて, GLUEタスクにおいて大きな差は出ないと述べている.

BERT の層がどの情報を捉えているかについては, Sajjadらは上位層はタスクに特化した重 みになっており，中間層は重要な情報を含んでおらず，下位層は文脈情報を含んでいると述べ ている. 同じく(Tenney et al. 2019) も，基本的な構文情報は BERT の早い段階で処理され，高 レべルの意味的情報はより高い層に現れると述べている。

一方で, (Jawahar et al. 2019) は Probing タスクにおいて, BERT が統語的な情報を中間層 が捉えているという結果を出している。(Hewitt and Manning 2019) も依存構造解析において BERT $_{\mathrm{BASE}}$ は 6 9 層, BERT $\mathrm{BARGE}$ は 15 17 層等, 比較的中間に近い層が構文情報を捉えて いると述べている。
^{4}$ https://taku910.github.io/cabocha/
}

## 3 BERT

本研究で使用する BERT は, 京都大学 黒橋研究室が公開している BERT 日本語 Pretrained モデルの BASE 通常版 5 を使用する。このモデルは日本語テキストのみの Wikipedia を形態素解析した後に subword に分割し, 事前学習されたモデルである.

## 3.1 構文解析

本研究で BERT による構文解析を行うモデル図を，「自然の」の係り受けを判定するときを例 にとって，図 1 に示す.まず，コーパスに記されている「基本句」の区切り方に従って，各基本句をひとつずつ BERT tokenizer に入力する. BERT tokenizer は BERT の学習時に, BERT の 学習に最良となるトークン化手法を学習しており, この結果, 必要な際は, 基本句を基本句よ り小さな subword に分割する．大抵は定められた語彙にない基本句について subword に分割さ れていると考えられるため，本論文では subword に分割されたトークンを未知語と呼ぶ. 京大 の BERT tokenizerは, Transformersの実装に基づき, subwordに分割した際の先頭以外のトー クンは, 頭に「\#\#」がついた形で出力される。なお, 基本句とは, 1 の自立語とそれに続く 付属語から成る言葉の単位である ${ }^{6}$. 例えば, 「右が兄, 左が弟の写真。」とい文を基本句区切 りにすると，「右が|兄，|左が|弟の|写真。のように分かれる．今回利用した京都大学ウェ ブ文書リードコーパスと京都大学テキストコーパスには, 基本句の区切り部分のアノテーショ ンだけではなく，形態素の区切り部分のアノテーションも付与されている．形態素は意味を持 つ最小単位で，先ほどの例文の場合だと，「右 $\mid$ が $\mid$ 兄 $\mid$, |左 $\mid$ が $\mid$ 弟 $\mid$ の 写真 $\mid$ 」」のうに 分かれる。

次に注目したトークンより，後ろのトークン全てに対して scoreを計算し, scoreを元に係り

図 1 BERT による構文解析のモデル図（「自然の」の係り受け判定時）

受けの有無を 2 值分類する. scoreの計算に際しては，(宇田川 他 2021)の構文解析モデルを参考とした。

具体的に「私は茨城大学の学生です.」という文を本手法で構文解析した手順を述べる。まず この文を基本句区切りにしたときの係り受け関係は図 2 のようになる. 矢印の先が係り先で,例えば「私は」は「学生です.」に係っている.

本手法では，注目したトークンより後ろのトークン全てに対して係り受けの 2 値分類を行う ため，注目トークンとそれ以降のトークンに対して，係り受けラベルを付与する，AがBに 係っている場合, 係り元トークンが A で係り先トークンが B の際に係り受けラベル 1 を付与 し, 係っていない場合, 係り受けラベル 0 を付与した. なお, ひとつの係元は複数の係先をも つことはないが，逆にひとつの係先は複数の係元をもつことがある．例えば [その, 自然, の, 美 しさ, が, 何とも，言え，ません］という文では，「その」と「自然」は、共に「美しさ」に係る.表 1 では,「私は」のトークンに注目したときの係り受けラベルの付与について示している. このとき subword に分割された際の先頭以外のトークン，つまり頭に「\#\#」が付与されたトー クンに対しては係り受けラベルは付与しない.

次に score の計算方法について述べる. $v_{i}$ と $v_{j}$ をそれぞれ係り元, 係り先の BERT からの出力ベクトル $\left(v_{i}, v_{j}\right)$ だとすると, 以下の式で score を出力する. なお, sigmoid の出力を score に することも可能であるが，(宇田川他 2021)に従い，wを使用した.

$
\begin{aligned}
v_{i j} & =\operatorname{concat}\left(v_{i}, v_{j}\right) \\
x & =\operatorname{sigmoid}\left(U v_{i j}\right) \\
\text { score } & =w^{\top} x
\end{aligned}
$

このとき， $U$ と $w$ は fine-tuning する際，新しく追加したパラメータであり， $w$ の次元は任意

図 2 係り元と係り先の関係

表 1 係り先ラベルの設定

4層削除

6層削除

8層削除

図 3 削除する層の位置

とし， $U$ の大きさは， $w$ の次元数 $\times v_{i}$ と $v_{j}$ の長さの合計の次元とする.

最後に, scoreを 2 値クロスエントロピーとして, 係り受けの有無を fine-tuning で学習させる.

## 3.2 層の削除

構文解析の正解率と学習・推論速度の差を調査するため，京大版 BERT の一部層を削除した モデルを複数作成する。

BERT $_{\mathrm{BASE}}$ の位置関係は, BERT の入力に近い方を下位, 出力に近い方を上位と呼ぶことと する.

図 3 は実験で使用するモデルの種類を表している。図 3 の灰色の層が削除した層を表してお り, 左から上位, 中位, 下位の位置を削除したものである.

## 4 実験

本実験では, 京都大学ウェブ文書リードコーパス (以降, Webコーパス) と京都大学テキスト コーパス（以降，新聞コーパス）を混合したデータを用いて fine-tuningを行い，その後，それぞ れのコーパスでテストをし，構文解析の正解率と学習・推論時間を調査した. また fine-tuning 時には EarlyStopping を採用した．検証データの正解率が最高値を更新しなくなってから 5 エ ポック後に停止させる. なお, 正解率は係り元トークンと係り先トークンのペアを一用例とし,係り受けラベルの 2 值分類を行った際の「テストで正解した用例数 / 全テスト用例数」で求め た. $n$ トークンある文ではぺア数（テスト用例数）は $(n-1)+(n-2)+\ldots 1$ となる.

なお, BERT からの出力べクトル $\left(v_{i}, v_{j}\right)$ は 768 次元とし, w は (宇田川他 2021)に従い 1,000 次元とした. そのため $U \in \mathbb{R}^{1000 \times 1536}$ である. 削除する層数は上位, 中位, 下位, それぞれの 位置で $4,6,8$ 層とした。
学習及び推論は表 2 の環境で行った.

また，学習時のバッチサイズは 4 である。なお，推論時間に初期化処理にかかる時間は含ま れていない.また，推論時はバッチ処理を行わず，1文ずつ推論を行った.

## 4.1 使用データ

実験で使用するデータ数を表 3 に示す。学習と検証には Webコーパスと新聞コーパスを混合 した 10,000 文，2,000 文をそれぞれ利用したが，テスト時は Web と新聞を分けて 3,000 文ずつ テストを行った.

ただし，新聞コーパスは Webコーパスに比べ，1文のトークン数が長いものが多かったため,学習データが 0 に偏り, BERT, 簡易小型化 BERT ともに fine-tuning では学習が収束しなかっ た。そのため, fine-tuning に用いる新聞コーパスのうち, 1 文のトークン数が subword を含め て 24 個以下のもののみを使用した. テスト時のデータはトークン数で制限をかけていない.

Webコーパスはまざまなウェブ文書のリード（冒頭）3文に各種言語情報を人手で付与したテ キストコーパスである。ウェブ文書のリード 3 文を収集することによって，ニュース記事，百科事典記事，ブログ，商用ページなど多様なジャンル，文体の文書を含んでいる.

新聞コーパスは毎日新聞の記事に各種言語情報を人手で付与したテキストコーパスである. 95 年 1 月 1 日から 17 日までの全記事, 約 2 万文, 1 月から 12 月までの社説記事, 約 2 万文, 計約 4 万文に対して，形態素・構文情報を付与している.

どちらのコーパスにも付与されている言語情報は, 形態素解析システム JUMAN, 構文解析 システム KNP で自動解析を行い，その結果を人手で修正したものである。

## 4.2 ベースラインシステム

提案手法の構文解析の性能と学習・推論時間を評価するために, 通常 12 層の BERT BASE, , KNP，また BERT ベクトルの代わりに word2vec (Mikolov et al. 2013a, 2013b, 2013c)を利用

表 2 学習環境

表 3 使用したデー夕数

表 4 word2vecの学習パラメーター

して分類する手法と比較する，なお， word2vec を比較対象としたのは， BERT が出現する前の 分散表現のスタンダードな手法であったため，その精度を比較するためである。通常 12 層の BERT $_{\text {BASE }}$ には, 前述のとおり, 黒橋研究室が公開している BERT 日本語 Pretrained モデルの BASE 通常版を利用する．KNP は version $4.2^{7}$ を利用した， word2vecには，日本語 Wikipedia の 2021 年 7 月 1 日時点のダンプデータを juman++の version 2.0.0-rc38用いて基本句区切り にしたものを訓練データとして学習したモデルを利用した。学習には gensim を使用した. 学習時の各パラメーターは表 4 の通りである。そのほかのパラメータは, gensimのデフォルト値を 利用した。

word2vec からのべクトルを利用して score を計算する際，BERT を利用した手法では 768 次元にしている $v_{i}, v_{j}$ を，それぞれ 200 次元に変更した，そのため，BERT の出力ベクトルのか わりに word2vec を利用した手法では， $U \in \mathbb{R}^{1000 \times 400 て ゙ あ る . ~}$

## 4.3 実験結果

## 4.3.1 構文解析のテスト

各モデルの 2 つのコーパスでのテスト結果を表 5 および図 4 に示す。通常 12 層の BERT BASE では Webコーパスで $\mathbf{9 4 . 6 7 \%}$, 新聞コーパスで $\mathbf{9 5 . 6 8 \%}$ となった. 図 4 より, 削除する層数を 増やした場合でも， BERT $_{\mathrm{BASE}}$ に比べ大きく正解率が落ちていないことが分かった. また, 削除する層数にかかわらず，中位を削除したモデル（上位と下位を使用したとき）が高い正解率 を維持していることが分かる.

各モデルの正解率の詳細は以下の通りである.

3 10 層目を削除した合計 4 層のモデルが，Webコーパスで $93.80 \%$, 新聞コーパスで $94.77 \%$

ポイントに押さえる結果となった.

$\mathrm{BERT}_{\mathrm{BASE}}$ と簡易小型化した BERT との比較だけでなく, KNP と word2vec とも比較した結

 & \multirow{2}{*}{ 総ペア数 } \\

表 5 各モデルの正解率の詳細

果を表 5 および図 5 に示す. KNP は従来の KNP ツールを利用したものであり， word2vec は BERT からの出力べクトルの代わりに word2vec を利用して分類したものである.

図 5 の「下位 4 層削除」は先程の簡易小型化した BERT で Web コーパスの正解率が一番低 かったもの,「上位 4 層削除」は簡易小型化した BERT で新聞コーパスの正解率が一番低かっ たものである． word2vec は日本語 Wikipediaを基本句区切りにししたものを訓練データとして 学習したモデルを利用した。

$\mathrm{KNP}$ に比べ, $\mathrm{BERT}_{\mathrm{BASE}}$ の方が Webコーパスで約 6 ポイント, 新聞コーパスで約 5 ポイン ト正解率が良い結果となった。また, KNP を用いたときは, 小型化 BERTを用いた下位 4 層,

図 4 各モデルのテスト結果

図 5 word2vec, KNP との比較結果

8 層削除モデルとほぼ同等の正解率を維持している。具体的には, Webコーパスでは, 小型化 BERT の中で最も正解率の低い下位 4 層削除モデルと比較して約 1.6 ポイント減，新聞では，小型化 BERT の中で最も正解率の低い上位 4 層削除モデルと比較して約 0.1 ポイント減となって いる。

BERT 使った構文解析では， $v_{i}$ と $v_{j}$ を BERT からの出力べクトルとして構文解析を行った が，この $v_{i}$ と $v_{j}$ を BERT からの出力ベクトルではなく, word2vec で得たべクトルを利用した 場合, $\mathrm{BERT}_{\mathrm{BASE}}$ よりも正解率がかなり落ちていることが分かる。また, 小型化 BERT を用い た下位 4 層, 8 層削除モデルと比較しても，大きく正解率が落ちている。具体的には, Webコー パスでは, 小型化 BERT の中で最も正解率の低い下位 4 層削除モデルと比較して約 11.7 ポイン

ト減，新聞では，小型化 BERT の中で最も正解率の低い上位 4 層削除モデルと比較して約 2.9 ポイント減となっている. word2vec で得られる単語（基本句）のベクトルは文脈依存ではない ことが，正解率に影響を与えていると考えられる。

また，参考として，表 6 に各モデルの正解数と不正解数として，コーパスとモデルごとの False Positive, False Negative, True Positive, True Negativeを示した. 提案手法のうち, 最 も大きな数を太字で，最も小さな数をイタリックで示した。下位 4 層削除した場合にはコーパ スにかかわらず False Positive が増加していることなどが見て取れる．なお，KNP は 1 文内で ペアを作り，それらを係っているか/係っていないかを判別する方式で結果を出力できなかっ たため，正解数と不正解数に関しては示さなかった。表 7 に各モデルの適合率，再現率， $\mathrm{F}$ 値 を示す。適合率は True Positive/(True Positive+False Positive)，再現率は True Positive/(True Positive+False Negative)， $\mathrm{F}$ 値は適合率と再現率の調和平均として計算した。なお，正解率は (True Positive+False Negative)/全用例数である。なお, $\mathrm{F}$ 值で比較しても，中位層の削除が最 も性能が高いこと, 下位 4 層の削除が Webコーパスで最も性能が低いことは変わらないが，新

表 6 各モデルの正解数と不正解数
聞コーパスでは上位 4 層より下位 4 層を削除したほうが性能が悪化している.

## 4.3.2 学習・推論時間の結果

次に学習・推論時間の結果について述べる。学習時間の結果は表 8 の通りである. EarlyStopping を採用したため，エポック数がモデルごとに異なる，そのため， 1 エポックの平均学習時間を 比較している，結果より削除する層数が増えるほど，学習時間は短くなっていることが分かる.

表 7 各モデルの適合率, 再現率, $\mathrm{F}$ 値

表 8 学習時間

また, 収束のエポック数と, 最高スコアを出したエポック数までの $1 \mathrm{ep}$ の平均学習時間から, 収束時間のおおよその推定値を算出したものを表 9 として示す. $4 ， 6 ， 8$ 層削除モデルは，それぞ れ上位・中位・下位と 3 パターンで学習を行っているため, 収束時間, エポック数ともに, 3 つ のモデルの平均値である.

推論時間の結果は表 10 の通りである，学習時間と同じく，推論時間に関しても削除する層数 が増えるほど，推論時間は短くなっていることが分かる。この時, 新聞コーパスが Webコーパ スよりも推論時間が長いのは，新聞コーパスの方が 1 文の平均トークン数が多いためである.

8 層削除の合計 4 層モデルでは学習時間は $83 \%$, 推論時間は Webコーパスで $65 \%$, 新聞コー パスで $85 \%$ まで削減することができた.

なお，KNP を用いたときは，推論時間に関して KNP は webコーパスで 4 分 2 秒，新聞コー パスで 7 分 46 秒と, BERTでの推論時間に比べて大幅に時間がかかっている.

また，各モデルの総パラメーター数は表 11 の通りである.

表 9 推測による収束時間

表 10 推論時間

表 11 各モデルの総パラメーター数

## 5 考察

図 4 の各モデルのテスト結果より，上位層と下位層を利用したとき，構文解析において高い 正解率を維持しているため, 上位層と下位層が構文情報を捉えていると考えられる.

関連研究では BERT において, (Sajjad et al. 2021), (Tenney et al. 2019) は構文情報は下位層を含んでいると述べているが, (Jawahar et al. 2019), (Hewitt and Manning 2019)は中間層 が構文情報を捉えていると述べている.

## 5.1 各層ごとの正解率の差

本研究において, BERT のどの層が構文情報を捉えているのか, より細かく調査するため, $\mathrm{BERT}_{\mathrm{BASE}}$ の中で 11 層を削除し, 1 層目から 12 層目まで 1 層ずつ fine-tuning し実験を行った.新聞コーパスでのテスト結果を図 $6, \mathrm{Web}$ コーパスでのテスト結果を図 7 に示す。図の縦軸が BERT で何番目の層を利用したかを表しており，縦軸一番下が BERT の 1 層目のみ使用，縦軸一番上が BERT の 12 層目のみを使用した結果である。横軸はテスト正解率である.

新聞コーパスは下位の層, 上位の層が，5層から 8 層目の中間の層よりも正解率がいいことが わかった。一方でWebコーパスに関してはどの位置の層を削除しても同程度の正解率であった。

今回利用したコーパスの平均トークン数と 1 文の平均未知語数は表 12 に示す. 新聞コーパス の方が Webコーパスに比べ, 1 文の平均トークン数が長く, それに伴い平均未知語数が多くなっ ている.このことから，コーパスの種類や，1文のトークン数と未知語数が多いことが, BERT が構文情報を捉える位置に影響を与えているのではないかと考えられる.

さらに詳しく分析するため, 新聞コーパスをトークン長ごとに 3 つのグループに分けて, BERT

図 6 新聞コーパスを 1 層ずつテスト

を 1 層ずつ fine-tuning したモデルで実験を行った．具体的には，テストデータに利用した 3,000 件の新聞コーパスをトークン長を昇順に並び替え，短・中・長と 3 つのグループにそれぞれ 1,000 件ずつ分類した. グループごとの平均トークン長を表 13 に示す.

短と中グループの結果を示した図 $8 ， 9$ では，それぞれ $95 \%$ そど正解率であるが，長グルー

らの結果から，トークンが長い場合，BERT の中位層がうまく働かないことが見て取れる。な お, これらの差はカイ二乗検定により統計的に有意であった。この結果は, 図 4 の結果, つま り中間層を削除した場合が最も構文解析の正解率が保たれていることと一致している.

図 7 Webコーパスを 1 層ずつテスト

表 12 各テストコーパスの特徴

表 13 トークン長ごとにグループ分け

図 8 短グループのテストの正解率

図 9 中グループのテストの正解率

## 5.2 未知語と格による影響

コーパスによって正解率の違いが出ることが分かったが, 未知語の影響や層ごとによる構文情報の捉え方の違いを見つけるため，上位・中位・下位でそれぞれ 4 層ずつ層を削除したモデ ルで調査を行った。

図 11 は，テストデータにおいて係り受けラベルの 1 を付与したぺアを，モデルが正解だと予測したものにおいて，そのぺア中に未知語がどのぐらい含まれているのか割合を調査した結果

である.

図 11 より，上位層を削除するよりも下位層を削除する方が，正解とみなしたぺアの中での未知語の割合が低いことがわかる。つまり, BERT は下位層より上位層の方が, 語彙を利用して 構文解析を行っており，下位層の方が語彙を利用していない分，未知語にロバストであるとい える。

次に各層を削除したことによる正解・不正解ぺアの変化を調べた。まず表 14 では各モデルに おいて，正解したぺアに含まれる格パターンの出現割合が多い順に上位 3 件を示す.これは，テ

図 10 長グループのテストの正解率

図 11 正解ペアに含まれる未知語の割合

表 14 正解したぺアに含まれる上位 3 件の格パターン（分類件数）

表 15 不正解だったぺアに含まれる上位 3 件の格パターン（分類件数）

表 16 格の例

ストを行ったとき正解したぺアを KNPを使って格解析した結果である ${ }^{9}$. 例えば「自然は」が 「美しい.」に係っているぺアを，モデルが正解とみなしたとき，「自然は美しい.」を KNPで解析し，述語側に表示される格解析の結果を使用する.

結果，どのモデルにおいても，「ガ格」「ヲ格」「修飾」が上位を占めていた。

一方で，表 15 はテストの際，不正解とみなされたぺアに含まれる格パターンである。表 15 でも先程の表 14 と同じように，「ガ格」「ヲ格」「修飾」が上位を占める結果となった.「ガ格」「尹格」「修飾」に分類された例は表 16 に示している.

表 14,15 より, 正解・不正解のどちらにおいても, 層ごとに格に関しては差が出なかった.

以上のことから， BERT は層ごとで格について大きな違いがなかったが，下位層よりも上位層の方が，既知の語彙を考慮した構文解析を行っているのではないかと考えられる．

## 6 おわりに

本研究では BERT の一部層を削除し，簡易小型化した BERT を用いることによる，日本語構

文解析の正解率の差を調べた，結果， $\mathrm{BERT}_{\mathrm{BASE}}$ が両コーパスともに正解率が最も高いが，削除する層数が増えても，正解率にあまり差が出なかった。このとき上位層と下位層を利用する モデルが高い正解率を維持していることがわかった，また，削除する層数を増やすほど，学習$\cdot$推論にかかる時間は短くなった。

BERT は格パターンについては，層ごとに捉え方による変化はなかったが，未知語と語彙に よる捉え方は層ごとに変化が出た.

今後の研究としては，コーパスを基本句区切りではなく形態素の区切りを使うことや, $\mathrm{MeCab}$ の区切りを利用した事前学習済み BERT を使うことなど，それぞれの区切りごとによる構文解析の正解率の差があるのかを調査すること。また， BERT $\mathrm{BASE}_{\mathrm{BAS}}$ では上位と下位を利用すること が今回の構文解析では有効であったが，BERT LARGE においても違いが出るのか，これらの点 について今後調査していきたい.

## 謝 辞

本研究は JSPS 科研費 JP19K12093，18K11421，17KK0002 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Gordon, M. A., Duh, K., and Andrews, N. (2020). "Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning." arXiv preprint arXiv:2002.08307.

萩行正嗣, 河原大輔, 黒橋禎夫 (2014). 多様な文書の書き始めに対する意味関係夕グ付きコーパスの 構築とその分析. 自然言語処理, 21 (2), pp. 213-247. [M. Hangyo et al. (2014). Building and Analyzing a Diverse Document Leads Corpus Annotated with Semantic Relations. Journal of Natural Language Processing, 21 (2), pp. 213-247.].

Hewitt, J. and Manning, C. D. (2019). "A Structural Probe for Finding Syntax in Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota. Association for Computational

Linguistics.

Jawahar, G., Sagot, B., and Seddah, D. (2019). "What Does BERT Learn about the Structure of Language?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy. Association for Computational Linguistics.河原大輔, 黑橋禎夫 (2007). 自動構築した大規模格フレームに基づく構文・格解析の統合的確率モデル。自然言語処理, 14 (4), pp. 67-81. [D. Kawahara and S. Kurohashi. (2007). A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis. Journal of Natural Language Processing, 14 (4), pp. 67-81.].

Kurohashi, S. and Nagao, M. (1998). "Building a Japanese Parsed Corpus while Improving the Parsing System." In Proceedings of the 1st International Conference on Language Resources and Evaluation (LREC-98), pp. 719-724.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of ICLR Workshop 2013, pp. 1-12.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS 2013, pp. 1-9.

Mikolov, T., Yih, W. -t., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of NAACL 2013, pp. 746-751.

Sajjad, H., Dalvi, F., Durrani, N., and Nakov, P. (2021). "On the Effect of Dropping Layers of Pre-trained Transformer Models." arXiv preprint arXiv:2004.03844.

笹野遼平，黒橋禎夫 (2011)，大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, 52 (12), pp. 3328-3337. [R. Sasano and S. Kurohashi. (2011). A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Case Frames. IPSJ Journal, 52 (12), 3328-3337.].

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208. [T. Shibata et al. (2019). BERT ni yoru Nihongo Koubun Kaiseki no Seido Kojo. Proceedings of the 25th Annual Meeting for the Association for Natural Language Processing, pp. 205-208.].

Tenney, I., Das, D., and Pavlick, E. (2019). "BERT Rediscovers the Classical NLP Pipeline." arXiv preprint arXiv:1905.05950.

宇田川忠朋，久保大亮，松崎拓也 (2021). BERT を用いた日本語係り受け解析の精度向上要因の分析. 人工知能学会第 35 回全国大会論文集, JSAI2021. 3J4GS6c03, [T. Udagawa et al. (2021). An Analysis of the Improvement in Japanese Dependency Analysis using BERT. Proceedings of the 35th Annual Conference of the Japanese Society for Artificial Intelligence,

3J4GS6c03.].

Zhang, X., Cheng, J., and Lapata, M. (2017). "Dependency Parsing as Head Selection." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 665-676, Valencia, Spain. Association for Computational Linguistics.

## 略歴

河野 慎司 : 2019 年茨城大学工学部情報工学科卒. 2021 年茨城大学大学院理工学研究科修了.

古宮嘉那子：2005 年東京農工大学工学部コミユニケーション工学科卒. 2009 年同大学大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 2014 年茨城大学工学部情報工学科講師, 2021 年東京農工大学工学研究院准教授. 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会,言語処理学会各会員.

新納 浩幸: 1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年より茨城大学工学部. 現在, 茨城大学工学部情報工学科教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 疑似正解データを活用したニューラル修辞構造解析

小林 尚輝 $\dagger \cdot$ 平尾 努 $\dagger \dagger \cdot$ 上垣外英剛 $\dagger \cdot$ 奥村 学 $\dagger \cdot$ 永田 昌明 $\dagger \dagger$

修辞構造解析ではニューラルネットワークなどの識別器を用いた解析器を教師あり学習により学習する。しかし, 現存の最大規模のコーパスである RST-DT は 385 文書 しかなく, ニューラルネットワークを学習するに十分な量とは言い難い. このような 学習データの不足は, クラス数が多く頻度に偏りのある修辞関係ラベルの推定におい て性能低下の原因となる。 そこで, 本論文では自動的に修辞構造を付与した疑似正解 データセットを利用したニューラル修辞構造解析手法を提案する。疑似正解データ セットは複数の解析器により得られた修辞構造木の間で共通する部分木とし, ニュー ラル修辞構造解析器の事前学習に利用し, 人手で作成した正解デー夕を用いて解析器 を追加学習する，RST-DTコーパスを用いた実験では，提案手法は OriginalParseval による核性と修辞関係の評価においてそれぞれ micro-F1 で 64.7，54.1を達成した. キーワード: 談話構造解析, 修辞構造解析, 修辞構造理論, データ拡張
## Neural RST-Style Discourse Parsing Exploiting Agreement Sub-trees as Silver Data

\author{
Naoki Kobayashi $^{\dagger}$, Tsutomu Hirao $^{\dagger \dagger}$, Hidetaka Kamigaito $^{\dagger}$, \\ Manabu OKumura $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger \dagger}$
}

Recent Rhetorical Structure Theory (RST)-style discourse parsing methods are trained by supervised learning, requiring an annotated corpus of sufficient size and quality. However, the RST Discourse Treebank, the most extensive corpus, consists of only 385 documents. This is insufficient to learn a long-tailed rhetorical-relation label distribution. To solve this problem, we propose a novel approach to improve the performance of low-frequency labels. Our approach utilized a silver dataset obtained from different parsers as a teacher parser. We extracted agreement subtrees from RST trees built by multiple teacher parsers to obtain a more reliable silver dataset. We used span-based top-down RST parser, a neural SOTA model, as a student parser. In our training procedure, we first pre-trained the student parser by the silver dataset and then fine-tuned it with a gold dataset, a human-annotated dataset. Experimental results showed that our parser achieved excellent scores for nuclearity and relation, that is, 64.7 and 54.1, respectively, on the Original Parseval.

Key Words: Discourse Parsing, Rhetorical Structure Theory Parsing, Data Augmentation

## 1 はじめに

修辞構造理論 (Mann and Thompson 1987) は文書中のテキストスパン（後述する EDU の系列）間の関係を木構造で表現する理論である。修辞構造理論によると, 文書は, 木の最小構成単位となる 節相当のユニット，Elementally Discourse Unit (EDU)へと分割され，EDUを終端 ノードとした構成素木である修辞構造木として表現される。非終端ノードはそれが支配するテ キストスパン（連続した EDU）の核性ラベル，核 (N: Nucleus), 衛星 (S: Satellite)をあらわす.核と衛星は対の関係にあり，テキストスパンの中心的役割を担う核を衛星が修飾する。よって，任意の非終端ノードは基本的には単核，つまり N-S，S-Nの組み合わせの子供を持つ。たたし 例外的に並列構造をあらわす場合，多核， N-N という組み合わせの子供を持つ場合がある。そ して，木のエッジは隣接する 2 つのテキストスパンの間の修辞関係をあらわす。修辞関係ラベ ルは，ドメインによって異なるが一般的に用いられるベンチマークデータセットである RST Discourse Treebank: RST-DT (Carlson et al. 2001) では Elaboration, Attribution など 18 種類 が定義されている。図 1 に例を示す.

一般的に修辞構造解析器 (以下, 解析器) は以下の 3 つの分類器から構成され, その学習に は教師あり学習が用いられる.

(1) 木構造を推定するためにテキストスパンの分割または結合を決定する分類器

（2）２つの隣接するテキストスパン間の核性ラベル（S-N, N-S, N-N のいずれか）を推定する 分類器

図 1 修辞構造木の例. (wsj_0699)

本稿は Conference of the North American Chapter of the Association for Computational Linguistics (NAACL2021) での発表 Improving Neural RST Parsing Model with Silver Agreement Subtrees (Kobayashi et al. 2021) に加筆を行ったものである.

(3) 2 つの隣接するテキストスパン間の修辞関係ラベル（RST-DT の場合， 18 種のラベルの いずれか）を推定する分類器

教師あり学習には, 文書に対して修辞構造木のアノテーションを与えたデータが大量に必要と なるが，アノテーションには専門知識を必要とするため，大規模なコーパスを構築することが 難しい. 修辞構造解析の研究において最も一般的，かつ最大のデータセットである RST-DTで さえ 385 文書しかない.

データ不足はいわゆる教師あり学習を用いた手法にとって大きな問題であり, 近年のニュー ラルネットワークを用いた修辞解析法においても例外ではない。しかし， ニューラルネットを 用いた自然言語処理では，大規模な疑似正解デー夕を活用する手法 (Nguyen et al. 2020；Vania et al. 2019) が提案され，こうしたデータ不足が克服されつつある.

たとえば，ニューラル機械翻訳 (NMT) では，Back-translation により自動的に生成した大量の 疑似正解データ（疑似対訳データ）を利用する枠組み (Sennrich et al. 2016; Nguyen et al. 2020) が翻訳性能の大幅な向上を示した。

本稿では，先述した NMT における疑似対訳データの活用にヒントを得て，修辞構造解析に おけるデータ不足の問題を解決するための大規模な疑似正解データセットの自動構築方法とそ れを利用した事前学習，追加学習の枠組みを提案する，具体的には大量のラベルなしデー夕に 対し, 複数の解析器を適用した結果から一致する部分木を擬似正解データセットとする。そし て，それを Kobayashi et al. (2020) らの手法 (Span-Based Parer: SBP) の事前学習に用い, 正解 データセットである RST-DT により追加学習する。また，複数の解析器の間で一致する部分木 を効率的に抽出するためのアルゴリズムも提案する.

RST-DT を用いた実験では，疑似正解データを用いることにより，SBP に対して性能が向上 することを確認した．特に，修辞関係ラベル推定の性能向上が顕著であり 5 ポイント程度のゲ インを得た。正解の EDU 分割を用いて木構造のみを評価すると F1 スコアが 74.1 ，核性ラベル も含めると 64.7 , 関係ラベルも含めると 54.1 , すべてを含めると 52.7 であり, 現在の最高性能 の解析器である Zhang et al. (2021)に匹敵する性能を達成した。一方，自動推定した EDU 分割を用いた場合には，それぞれ $68.1 ， 57.4 ， 47.6 ， 45.9$ であり，関係ラベルを含めた場合の性能 は, 現在の最高性能の解析器である Nguyen et al. (2021)に匹敵する性能を達成した.

## 2 関連研究

## 2.1 談話構造解析における解析方法の変化

初期の修辞構造解析の研究では人手で作成した特徴量をべクトルとして表現し, 分類器として SVM や Linear-Chain CRF を採用した遷移型の解析手法を用いて上向きに木を構築する，つま りテキストスパンを結合していく手法が主流であった (duVerle and Prendinger 2009; Hernault
et al. 2010; Feng and Hirst 2014). こうした遷移型の上向き解析は決定的に木を構築するためテ キストスパンの結合スコアの観点から最適な木が構築できるとは限らない。そこで，CKY 法を 用いて最適な木を構築する手法も提案された (Joty et al. 2013, 2015). しかし，文から得られる 構文木とは異なり, 文書から得られる修辞構造木は終端ノード数が 50 以上になることも多い. よって, 計算量が問題となることから CKY 法を用いた手法は多くない.こうした従来型の機械学習を用いた修辞構造解析手法のなかで特筆すべき手法として，SVM を採用した遷移型の上向き解析手法 (Wang et al. 2017) である Two-Stage Parser（以下，TSP）がある．TSP は，還元 (Reduce) 時に核性ラベルを推定することで，まず核性ラベル付きの木を推定し，次に推定さ れた木の構造をもとに隣接する 2 つのスパンに対して関係ラベルを推定する 2 段階の解析を行 う. 2 段階の解析の効果により, 従来型の修辞解析手法のなかでは最も高い性能を達成した.

ニューラルネットワークの有効性が様々な自然言語処理タスクで示されたことから, 修辞構造解析においてもニユーラルネットワークを活用した手法が数多く提案されている. Yu et al. (2018) はニューラルネットワークを用いた遷移型の上向き解析手法を提案した. 文内の係り受 け構造を解析するニューラルネットワークから得られる特徴べクトルを埋め达み表現として利用することで，関係ラベルの推定において高い性能を達成した。また, Guz and Carenini (2020) は Wang et al. (2017) の TSP から分類器を多層パーセプトロンに変更し，スパンのベクトル表現をSpanBERT (Joshi et al. 2020)により獲得することで大きな改善を得た.

さらに, 先述した上向き解析手法に加え, 近年では, 下向き解析手法が多く提案されている. これは上向き解析が局所的な EDU 間の繋がりをもとに木を構築するのに対して，より大きな文 や段落，トピックといった情報を考慮できるからである． Lin et al. (2019) は，エンコーダ・デ コーダモデルのひとつであるポインターネットワーク (Vinyals et al. 2015) を用いてテキストス パンを再帰的に 2 分割することで文内の修辞構造を解析する手法を提案した。そして，Zhang et al. (2020)によって文書の修辞構造解析へと拡張された. また, より単純な下向き解析手法と して, Kobayashi et al. (2020), Koto et al. (2021)は，デコーダを経ずに多層パーセプトロンを 用いてテキストスパンを再帰的に 2 分割する手法を提案した. 特に Kobayashi et al. (2020)の SBP は，木構造，核性ラベル推定において高い性能を達成した。

## 2.2 データ拡張手法

修辞構造解析手法の学習・評価には RST Discourse Treebank: RST-DT (Carlson et al. 2001) が標準的に利用される．RST-DT は Penn Treebank (Marcus et al. 1993)の一部に対して修辞構造木を与えたものであり現存する修辞構造のアノテーション済みデータセットとしては最大規模である。しかし, 最大規模のデータセットではあるものの文書数は 385 でしかなく, 解析器の学習に十分とは言えない. そこで, データ不足を解決するための手法も盛んに研究されて いる. Braud et al. (2016) は修辞構造解析の他に文書やそれを構成する文に対する感情分類や
時系列分類, 属性分類などの合計 13 通りの分類問題のマルチタスク学習によって学習事例を増 やすことで解析器の性能および頑健性の向上に取り組んた.

Braud et al. (2017) はドイツ語やスペイン語など多言語の修辞構造アノテーション済みデータ セットを英語へと翻訳することでデー夕拡張を行った． Huber and Carenini (2019) は MEGARST と呼ばれる大規模な学習データを自動生成するために，文書を構成する各 EDU ごとの感情極性スコアとアテンションスコアを Multiple Instance Learning (Angelidis and Lapata 2018) により獲得し，得られたスコアをもとに CKY 法を適応してラベルなしデータから核性付きの 木を得た。

Guz et al. (2020) は MEGA-DT コーパス (Huber and Carenini 2020) を事前学習に用い, RSTDT で追加学習を行う手法を提案した．擬似正解データによる事前学習と正解データによる追加学習という枠組み自体は本稿での提案法と同じであるが, 擬似正解データの作成法が大きく 異なり，修辞関係ラベルを含まない.

Jiang et al. (2016)は co-training を利用してラベルなしデータを活用する手法を提案した．低頻度の修辞関係ラベルの推定性能を改善したが，修辞関係ラベル全体で見ると性能は低下して いる。また, この手法は木構造や核性ラベルの推定性能の改善には対応しない.

提案手法と関連する擬似正解データを活用した学習方法として自己学習がある. 自己学習で は, ある解析器でラベルなしデータを解析した結果を擬似正解データとして, 再度その解析器の 学習に利用する。一方, 提案法では疑似正解データを用いて学習する解析器は擬似正解デー夕 を作成するために利用したものと異なる。つまり, 教師（擬似正解データを作成する解析器） 生徒（それを用いて学習する解析器）モデルを採用している.

また, 提案法における疑似正解デー夕の作成に複数の解析器を使用するという点では, cotraining (Blum and Mitchell 1998) やtri-training (Zhou and Li 2005) も同じである. これらの手法による学習は疑似正解データの作成と疑似正解データによる学習を繰り返し行うが，ニュー ラルネットワークを用いた学習において, 繰り返し適用するには学習時間の観点から非効率的 である。したがって，近年の手法 (McClosky et al. 2006; Pekar et al. 2014; Weiss et al. 2015)な どでは繰り返しを省略して一度だけ疑似正解デー夕を適用する手法が多く見られ，本手法も同様に一度だけ適用する。

## 3 提案手法

## 3.1 疑似正解データを活用した学習方法の概要

初期の修辞構造解析の研究ではテキストスパンをべクトルとして表現するために文書の全体 の構造から得られる特徴量, たとえば, 文書内での位置などを必要とした。一方で近年のニュー ラルネットワークを活用した手法ではテキストスパンのベクトルは事前学習済み言語モデルの

図 2 提案法の概要

単語ベクトルに基づくため, 必ずしも文書全体を必要としない. したがって，部分木をニューラ ルネットワークの学習データとして有効活用できることから，本稿では部分木を擬似正解デー 夕として利用した。

図 2 に提案手法の概要を示す. 提案手法は大きく分けて 2 つの手順に分かれる．1つ目は教師解析器を用いた疑似正解データの作成，2つ目は疑似正解データを用いた生徒解析器の学習 である。擬似正解データの作成に用いる教師解析器として，ニューラルネットワークを用いな い解析器のなかで最も性能の良いTSP を採用した。特に生徒解析器である SBP が苦手とする 修辞関係ラベルの推定性能が良いことが採用の理由である。この手法は, SVM の最適化に確率的双対座標降下法を用いているため, 初期値により解が異なる。そこで, 異なる初期值で学習 した複数のTSPを1つの文書に対し適用し, 複数の修辞構造木を得た. そして, 複数の木の間 で共通する部分木，つまり合意部分木 (Agreement SubTree：AST) を疑似正解データとして抽出する。最後に, 擬似正解データを用いて生徒解析器である SBP を事前学習し, 正解データを 用いて追加学習する.

## 3.2 合意部分木の抽出

質の高い擬似正解データを得るためには複数の解析器の間で一致する木をそれとすればよい. しかし, 修辞構造木は文書から得られる木であるためそのサイズが大きく複数の解析器による 結果が一致することはまれである。一方で, 図 3 の網掛けで表されるように, 木の全体で一致 していなくとも，木の一部では一致することは多い。そこで，本論文では AST を疑似正解デー タとして利用する。

大量の擬似正解データを得るためには，効率的にAST を抽出しなければならない．そこで，本稿では AST を効率的に抽出するためのアルゴリズムを提案する。提案するアルゴリズムは木 の走査に基づいており，木に含まれるノードの数 $n$ に対して線形の $O(n)$ で動作する。合意部分木を列挙するアルゴリズムはデータマイニング分野で複数の研究 (Abe et al. 2002; Zaki 2005; Keselman and Amir 1994) があり，たとえば，一般的な木の集合から合意部分木を得るには Zaki (2005) で提案された最右拡張を用いれば良いが, これは計算量を見積もることができない. 一
方，本稿では終端ノードが順序も含めて一致する特殊な木を対象とすることから，新たな合意部分木を列挙するアルゴリズムを提案した。

提案するアルゴリズムの目的は入力された $k$ 個の修辞構造木 (trees)の全てに出現する部分木 (subtrees)を抽出することにある. Algorithm 1 にアルゴリズム全体の流れを示す. アルゴリズ ムは関数 MAKECOUnt, 関数 AGREEMENt, 関数 FindRootの 3 つから構成される.

はじめに Algorighm 2 に示す関数 MAKECOUNT により出現する全てのスパンの頻度を計算 し，スパンをキーとしてその頻度を値とする辞書によって保持する。本アルゴリズムでは，各 ノードが内包する先頭と末尾の EDU のインデックスで表される区間とそのノードに付与され た核性，関係ラベルの三つ組をスパン $(\mathrm{span})$ として扱い，これを同一性の判定に用いる。ラべ ルなしのスパンによる同一性の判定も可能であるが，本稿では関係ラベルの推定性能向上のた めにラベル付きのスパンを用いた。

次に，与えられた複数の修辞構造木のうち 1 つを任意に選び, その ROOT スパンを Algorighm 3 に示す関数 AGREEMENT 入力する。関数 AGREEMENT は木の各スパンに AST の十分条件が 満たされているかどうかを示すフラグを付与する。あるスパンがASTである条件を満たすため

図 3 重複する部分木（網掛け部分）の抽出

には，左右の子スパンが AST の条件を満たし，かつ自身の出現頻度 Count(span)が木の数 $k$ と 一致することである。ここで，スパンの出現頻度 Count(span) は事前に数えることができるの で，スパンをキーとして頻度を值に持つ辞書とすることで簡単に出現頻度を参照できる。

最後に関数 AGREEMENT によりフラグが付与された状態のスパンを Algorighm 4 に示す関数 FIndRootへと入力する。関数 FIndRoot は付与されたフラグを元に，AST である部分木を すべて抽出する。このとき，AST 同士の間では重複が起きないようにする. さらに, $l_{\min }, l_{\max }$ を用いて抽出する木の大きさを制御する.

AST がすべての木に共通して含まれるため，関数 AGREEMENT および関数 FInDROOT は $k$個の修辞構造木全てに対して行う必要はなく $k$ 個の木のうち一つだけに適用すればよい。たた し関数 MAKECOUNT によりスパンの頻度を事前に計算するときのみ全ての木を用いて計算を 行う.

## 3.3 生徒解析器: Span-Based Parser

得られた部分木からなる疑似正解デー夕は, 任意の生徒解析器に適用可能であるが, 周辺の 文脈に強く依存する解析器の場合, 正解データとの乘離が大きくなり性能向上に寄与できない 可能性が高い．たとえば，着目するスパンが文書中のどこに位置しているかを素性として利用 する手法 (Wang et al. 2017), 着目するスパンよりも左側のスパン（部分木）の情報を利用する シフト還元法 (Guz and Carenini 2020)には適していないと考える。一方, スパン分割に基づく 下向き解析手法は周辺の文脈を必ずしも必要としないため部分木による学習に適していると考 える。したがって, 本稿では Span-Based Parser: SBP(Kobayashi et al. 2020)を生徒解析器と して採用した。以下にその詳細を述べる。

## 3.3.1スパンのベクトル表現

SBP では多層パーセプトロンを用いてスパンの分割，ラベルの推定を行うため，各スパンを 固定長のベクトルで表現する必要がある。ここでは, はじめに EDU のべクトル表現, 次にスパ ンのベクトル表現の獲得方法を説明する.

$t$ 番目の $\mathrm{EDU}$ のべクトル表現 $\mathbf{e}_{t}$ は, 式 (1)により, $\mathrm{EDU}$ 内の各単語の埋め込み表現 $\mathbf{h}_{j}^{\prime}$ を平均することで固定長のべクトルとして表現する.

$
\mathbf{e}_{t}=\frac{1}{n} \sum_{j \in 1, \ldots, n} \mathbf{h}_{j}^{\prime}
$

各単語の埋め込み表現は, 文脈を考慮したべクトルとするために双方向 LSTM (Schuster and Paliwal 1997; Graves and Schmidhuber 2005) とゲート機構 (Zhou et al. 2017) を用いて以下によ り求める.

$
\begin{aligned}
\overrightarrow{\mathbf{h}_{i}} & =\overrightarrow{\mathrm{LSTM}}_{\text {word }}\left(\overrightarrow{\mathbf{h}}_{i-1}, \mathbf{w}_{i}\right) \\
\overleftarrow{\mathbf{h}_{i}} & =\overleftarrow{\operatorname{LSTM}}_{\text {word }}\left(\overrightarrow{\mathbf{h}}_{i+1}, \mathbf{w}_{i}\right) \\
\mathbf{h}_{i} & =\left[\overrightarrow{\mathbf{h}}_{i} ; \overleftarrow{\mathbf{h}}_{i}\right] \\
\mathbf{s G a t e}_{i} & =\sigma\left(\mathbf{W}_{s} \mathbf{h}_{i}+\mathbf{U}_{s} \mathbf{s}+\mathbf{b}_{s}\right) \\
\mathbf{h}_{i}^{\prime} & =\mathbf{h}_{i} \odot \mathbf{s G a t e}_{i}
\end{aligned}
$

ここで, 式 (5)の $\mathbf{s}$ は EDU 内の先頭と末尾の単語の表現ベクトルから $\left[\mathbf{h}_{1} ; \mathbf{h}_{n}\right]$ とした $(n$ は $\mathrm{EDU}$ に含まれる単語数)。また, 単語の埋め込み表現 $\mathbf{w}_{i}$ には ELMo (Peters et al. 2018)と GloVe (Pennington et al. 2014)を結合して利用した.

次に， $i$ 番目から $j$ 番目の EDU で構成されるスパンの埋め込み表現 $\mathbf{u}_{i: j}$ は, 双方向 LSTM の 前向き後向きのそれぞれの状態の差分により式 (9)によって求める.

$
\begin{aligned}
\overrightarrow{\mathbf{f}_{i}} & =\overrightarrow{\mathrm{LSTM}}_{\text {unit }}\left(\overrightarrow{\mathbf{f}}_{i-1}, \mathbf{e}_{i}\right) \\
\overleftarrow{\mathbf{b}_{i}} & =\overleftarrow{\operatorname{LSTM}}_{\text {unit }}\left(\overrightarrow{\mathbf{b}}_{i+1}, \mathbf{e}_{i}\right) \\
\mathbf{u}_{i: j} & =\left[\mathbf{f}_{j}-\mathbf{f}_{i-1} ; \mathbf{b}_{i-1}-\mathbf{b}_{j}\right]
\end{aligned}
$

## 3.3.2 スパンの分割

$i$ 番目から $j$ 番目の EDU で構成されるスパンが与えられたとき，分割候補となる各点 $j$ にお いて，関数 $s_{\text {split }}(i, j, k)$ により分割の良さを表すスコアを計算する.

$
s_{\text {split }}(i, j, k)=\mathbf{h}_{i: k}^{\top} \mathbf{W}_{u} \mathbf{h}_{k+1: j}+\mathbf{v}_{\ell}^{\top} \mathbf{h}_{i: k}+\mathbf{v}_{r}^{\top} \mathbf{h}_{k+1: j}
$

ここで $\mathbf{W}_{u}$ は重み行列， $\mathbf{v}_{\ell}, \mathbf{v}_{r}$ はそれぞれ左右のスパンに対応する重みベクトルである． $\mathbf{h}_{i: k}$, $\mathbf{h}_{k+1: j}$ は左右のスパン表現をそれぞれ異なる多層パーセプトロンにより変換したべクトルであ り, 以下のように求められる.

$
\begin{aligned}
\operatorname{MLP}_{*}(\mathbf{x}) & =\mathbf{W}_{2}\left(\operatorname{ReLU}\left(\mathbf{W}_{1}(\mathbf{x})+\mathbf{b}_{1}\right)\right)+\mathbf{b}_{2} \\
\mathbf{h}_{i: k} & =\operatorname{MLP}_{\text {left }}\left(\mathbf{u}_{i: k}\right) \\
\mathbf{h}_{k+1: j} & =\operatorname{MLP}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right)
\end{aligned}
$

スパンの分割は式 (10) が最大となる点 $k$ を以下の式で求める.

$
\hat{k}=\operatorname{argmax}_{k \in\{i, \ldots, j-1\}}\left[s_{\text {split }}(i, j, k)\right]
$

## 3.3.3 ラベルの推定

点 $k$ でスパンを分割した後, 分割された左右のスパンの間に核性と関係ラベルを推定する. データスパースネスの影響を避けるために核性と関係ラベルは異なる分類器によって学習され る。左右のスパン表現と外側のスパン表現 $\mathbf{u}_{1: i}, \mathbf{u}_{j: n}$ を用いて各ラベル $\ell$ のスコアを関数 $s_{\text {label }}$ により推定する.

$
s_{\text {label }}(i, j, k, \ell)=\mathbf{v}_{\ell} \operatorname{MLP}\left(\left[\mathbf{u}_{i: k} ; \mathbf{u}_{k+1, j} ; \mathbf{u}_{1: i} ; \mathbf{u}_{j: n}\right]\right)
$

ここで $\mathbf{v}_{\ell}$ はラベル $\ell$ に対応する重みベクトルであり，[;] はべクトルの結合を表す．MLP は多層パーセプトロンであり，核性と関係でそれぞれ $\mathrm{MLP}_{\mathrm{nuc}}, \mathrm{MLP}_{\mathrm{rel}}$ を別々に学習する。

左右のスパン間に割り当てられるラベルは式 (15) が最大となるラベル $\hat{\ell}$ を下のように求 める.

$
\hat{\ell}=\operatorname{argmax}_{\ell \in \mathcal{L}}\left[s_{\text {label }}(i, j, k, \ell)\right]
$

ここで $\mathcal{L}$ は核性ラベルの推定においては $\{\mathrm{N}-\mathrm{N}, \mathrm{N}-\mathrm{S}, \mathrm{S}-\mathrm{N}\}$ の 3 種類, 関係ラベルの推定にお いては 18 種類からなる関係ラベルの集合となる.

## 3.4 教師解析器: Two-Stage Parser

教師解析器は疑似正解データの作成に用いるため, 生徒解析器の欠点を補えることが望まし い.この場合, 修辞関係ラベルの推定で高い性能を達成している解析器が望ましい. 修辞関係ラ ベルを高性能に推定する解析器の候補として, SVM を用いたTSP (Wang et al. 2017) とニュー ラルネットワークを用いた NNDisParser (Yu et al. 2018) があり，どちらも遷移型の上向き解析法である。 NNDisParser は関係ラベルの推定で TSP より高い性能を達成しているが，特徴量 として文内の係り受け解析を行うニューラルネットワークの特徴ベクトルを必要とすることか ら，大規模なデータ作成に向いていない．したがって本研究では，TSP を教師解析器として利用する。

TSP はシフト－還元のアクションをSVM により推定して解析を行う．それらのSVM は確率的双対座標降下法で最適化されるため, 異なる初期値で複数の解析器を学習し, それらの間 で合意をとることで擬似正解デー夕を作成した。

## 4 実験

## 4.1 データセット

解析器の評価には標準的ベンチマークデータセットである RST-DT を用いる． RST-DT は 学習データ 347 文書とテストデータ 38 文書に分割されており, Heilman and Sagae (2015) に 基づき学習データのうち 40 文書を開発データとした. 正解データセットの EDU の分割に関し ては正解の分割を利用した. 347 件の学習データは教師解析器 (TSP) の学習および生徒解析器 (SBP) の追加学習に用いた.

生徒解析器の事前学習に用いる疑似正解データセットは CNN コーパス (Hermann et al. 2015) から得る。まず，Neural EDU Segmenter (Wang et al. 2018)により EDU の分割を行い，異な る初期值で学習した教師解析器である TSPにより得られた修辞構造木の間で AST を抽出し,擬似正解データセットとした．また，TSPが必要とする特徴量を得るため，CNNコーパスに Stanford CoreNLP toolkit ${ }^{1}$ を用いて前処理を行った。

## 4.2 パラメータ設定

4.2.1 $l_{\min }$ および $l_{\max }$

$l_{\text {min }}, l_{\max }$ は抽出する AST の最小, 最大サイズを決定するパラメータである． RST-DT の文書に含まれる EDU 数は 7 から 240 であるため, $l_{\min }$ は 5 から 10 の間で選択し， $l_{\max }$ は 240 と した. 図 4 に示される開発データにおける $l_{\min }$ と性能の変化から $l_{\min }$ には開発データで最も良 い性能であった 9 を選択した。

図 4 開発データにおける $l_{\min }$ と性能の変化
^{1}$ https://stanfordnlp.github.io/CoreNLP/
}

## 4.2.2 生徒解析器

$\mathrm{SBP}^{2}$ の基本的なパラメータは元の実装に従い, 隠れ層の次元数は 500 次元とした. また, 事前学習と追加学習はそれぞれ 5,10 エポックとし, 開発データで最も良い性能を示したエポッ クのモデルを評価に用いた。

SBP は文書の持つ階層構造である段落と文を利用して, 文書一段落, 段落一文, 文- EDU と いう各階層で別々の解析器を学習することで高い解析性能を達成した。しかし, 疑似正解デー タセットを用いて階層ごとに事前学習を行うことは計算量から容易ではない. したがって，階層構造を利用せず単一の解析器で解析するモデルを学習し，解析時に段落と文の境界を優先的 に分割する処理を取り入れることにした，具体的には，スパンの分割候補に段落の境界にあた る分割点が 1 つ以上存在する場合は，段落の境界にあたる点のみを対象に式 (14) を適用して分割点を決定する。これにより，段落の境界が優先して分割される．同様に段落内では文の境界 にあたる分割候補を対象にして分割点を決定し，優先的に分割する。

また, Kobayashi et al. (2020) は異なる初期值で学習した解析器が推定した分布を平均化する ことでアンサンブルを行った。しかし, 事前学習から追加学習までを異なる初期値で行うこと は時間コストの観点から現実的でない。したがって，疑似正解データセットによる事前学習は 一度だけ行い, 追加学習時の最適化の初期値を複数通り行いアンサンブルに必要な解析器を用意した。

## 4.2.3 教師解析器

擬似正解データを得るため, 異なる初期値で学習した 4 つの TSP を用いた。教師解析器の数 $k$ が小さいと解析器による合意の信頼性が低下し, データセットの質が低下する。一方で, $k$ が 大きすぎると疑似正解データセットを作成するための時間が膨大となり，また合意をとるため の制約が厳しくなるためデータ量も少なくなる。本論文ではデータ作成の時間を考慮して $k$ を 4 としたが，適切な $k$ に関してはまだ議論が必要である。

## 4.3 評価指標

従来研究 (Morey et al. 2017) に基づき, 多核の $\mathrm{N}$-分木 $(\mathrm{N} \geq 3$ ) となっている箇所は right-heavy branching treeへと変換 3 することで 2 分木に変換したうえで可能なスパンの一致をもとにSpan, Nuclearity (Nuc.), Relation (Rel.), Fullの 4 種類の評価指標で評価する. Span はラベルなしの 木構造，Nuc. は核性ラベル付きの木構造，Rel. は修辞関係ラベル付きの木構造，Full はすべて のラベル付きの木構造をマイクロ平均 $\mathrm{F}$ 値で評価する.

木に含まれるスパンの抽出方法による違いにより RSTParseval と OriginalParseval の 2 種類
$-分木 $(\mathrm{N}=3)$ に関しては left-heavy branching tree へと変換される.
}

の評価指標が利用される． RSTParseavl が一般的に用いられるが，正解の EDU 分割を用いる際 には OriginalParseval を利用することが推奖されている (Morey et al. 2017).それぞれの評価指標におけるスパンの抽出例を図 5 に示す.

## 4.4 比較手法

部分木を活用した疑似正解データセットによる事前学習の有効性を検証するために，単一の 解析器による結果を疑似正解データセットしたDocument Tree (DT), 複数の解析器により文書全体で合意した結果を疑似正解データセットとした Agreement Document Tree (ADT) を比較対象とした。疑似正解データセットに含まれる木の数およびスパンの数を表 1 に示す.

また, 近年の修辞構造解析器との比較を, 教師解析器として利用したWang et al. (2017) の TSP の他に, Yu et al. (2018)の係り受け解析器の特徵べクトルを利用した上向き解析手法, Two-Stage

図 5 RSTParseval と OriginalParseval のスパン表現の違い. 左側の木に対して RSTParseval は ROOT を除いた 5 つのスパン, OriginalParseval は左右の子の核性を結合して表される 3 つのスパンをそ れぞれ評価に用いる。

表 1 疑似正解データセットを構成する木の数およびノードの数。 $k$ は合意を取るために用いた教師解析器の数, $l_{\text {min }}$ は最小の部分木の大きさ. CoreNLP toolkit による前処理の関係で利用可能な CNN コーパスの文書数は 91,536 文書であった.

 \\

AST $\left(k=4, l_{\min }=9\right)$ & 175,709 & $2,279,275$ & 14.0 & $68.7 \% / 13.9 \% / 17.4 \%$ \\

表 2 RST-DT と疑似正解データである MEGA-DT およびADT の比較.

Parger に SpanBERT を導入しニューラルモデルに再構築した Guz and Carenini (2020)の方法, ポインターネットワークを利用した下向き解析手法に対し，敵対学習による最適化を導入した Zhang et al. (2021)の方法と比較を行う．さらに，本稿と同じく疑似正解データを利用する研究 である Guz et al. (2020)の方法, EDU 分割までを end-to-end で学習する Nguyen et al. (2021) の方法とも比較を行う。

また，表 2 に RST-DT と MEGA-DT ${ }^{4}$ および提案法である AST の統計量を比較した結果を 示す. MEGA-DT は配布されている train/dev/testのうち trainを対象とし，AST は実験に用 いた $k=4, l_{\min }=9$ のデータを対象とした. どちらの疑似正解データセットも RST-DT と比べ てデータ数, ノード数共に多いが，平均 EDU 数は少ない。核性ラベルの割合を見ると，AST は RST-DTにより学習された解析器によりラベルが付与されているため RST-DT とおおよそ同一 の分布である。一方, MEGA-DT は Yelp'13に EDU を単位とした感情極性ラベルが付与された SPOT データセット (Angelidis and Lapata 2018) を元にして構築しているため RST-DT と分布 が異なっている.

## 5 実験結果

## 5.1 疑似正解データセットの比較

表 3 に事前学習モデルと追加学習したモデルの RSTParseval における性能を示す。表中の SBP は疑似正解データセットを用いず，正解データセットのみで学習した実験結果である。こ れをべースラインとして疑似正解データセットの有効性を比較する。部分木を擬似正解データ として利用する AST はべースラインと比較してすべての指標において性能が向上しておりその 有効性がわかる，疑似正解データセット間で比較すると，多くの指標で AST を用いた場合が 最もよく, 特に修辞関係ラベルに関連する Rel. と Fullにおける改善が顕著である. 文書単位の 疑似正解データから構成される DT と ADT も同様にベースラインを上回る性能を達成したが,

表 3 RSTParseval による疑似正解データセット毎の Micro-averaged $\mathrm{F}_{1}$ の比較. 追加学習したモデルの 各列において最も良い値を太字で表す。

AST よりも性能の改善は小さい.

特に ADT はその他の疑似正解データセットと比較して改善幅が小さいが, これは疑似正解 データセットのサイズが原因であると考える。表 1 に示したように ADT に含まれる木とスパ ンの数はそれぞれ 2,142 および 57,840 であり, ASTの 175,709 と 2,279,275 と比較して非常に少 ない. つまり, 事前学習に十分な量でないと考える. 一方, DT において, 木の数は 91,536 と AST と比較して少ないが，それぞれの木が文書全体から構成されるため含まれるスパンの数は 非常に多く, ASTの 4 倍近い $8,162,114$ 個のスパンが含まれている。それにもかかわらず，性能においては ASTのほうが良い. これはDT が単一の教師解析器から作成されているため, 疑似正解データの質がその他よりも劣ることが原因であると考える.

先述したように貪欲法に基づく解析器は文書全体の構造を必要としない. よって, 疑似正解 データセットを部分木で構築することにより, 複数の教師解析器による合意を得た疑似正解デー タセットが大規模に獲得可能であり，文書全体を用いる疑似正解データセットよりも量と質の 両面において優れていることがわかる.

また，学習にかかる計算時間の観点においても，学習時間がデータセットに含まれるスパン の数に比例しているため, AST はDTの 1/4の時間で学習が可能である. これは部分木を用い ることでデータセットを小さくできることの利点である.

## 5.2 疑似正解データセットのデータサイズによる影響

疑似正解データセットのサイズと性能の関係を調べるため, 疑似正解データセットのサイズ を変化させて評価実験を行った. その結果を図 6 に示す. 図より, Span と Nuc. はデータセッ トのサイズが変化してもほとんど性能に変化がない。つまり，スパン分割と核性ラベルの推定 に関しては擬似正解データの効果は薄い. 一方で Rel. はデータサイズの増加に応じて性能が向上しており，疑似正解データセットの有効性がわかる。これはスパンの分割および核性ラベル

図 6 疑似正解データセットのサイズによる性能の変化．実線が AST を事前学習に用いた場合（表 3 に おける SBP+AST）の性能. 点線が疑似正解データを用いない場合（表 3 における SBP）の性能.

の推定がそれぞれ 2 クラス，3クラスの分類問題という比較的簡単な分類問題であることに対 し, 修辞関係ラベルの推定は 18 クラスかつクラスの出現頻度に偏りのあるデータに対する分類問題という難しい問題であることが原因であると考える.

さらなるデータの増強方法として既存の大規模擬似データである MEGA-DT と AST を組み 合わせることが考えられるが，先に述べたようにSpan および Nuc. はデータサイズを増やして も顕著な改善が見られないことから，核性しか付与されていない MEGA-DT との組み合わせに よるデータの増強は性能向上にはつながらないと考えられる.

## 5.3 関係ラベルごとの性能比較

AST を用いることで関係ラべルの推定性能が大きく改善できることがわかった．そこで，ど の関係ラベルにおいて性能が改善されたのかを確認するために，SBP+AST と他にベースライ ンである SBP と教師解析器である TSP の間で関係ラベル毎の $F_{1}$ を図 7 で比較する. SBP お よび $\mathrm{SBP}+\mathrm{AST}$ は 5 モデルアンサンブルの結果を用いる.

図より，多くの関係ラべルにおいて TSP が SBP と同等かそれ以上の性能であり，SBP+AST の性能がそれらを上回っている。特に，低頻度の関係ラベルにおいて SBP+AST は大きく SBP の性能を改善している。また，TSPが推定可能だが，SBP が不得意な関係ラベルを SBP+AST によって推定可能になったことから，疑似正解データセットの作成にTSP を用いたことが性能向上に寄与していると考えらえる。

## 5.4 既存の解析器との比較

提案法である SBP+AST の 5 モデルアンサンブルと既存手法の比較を表 4 に示す. ここでは

図 $7 \mathrm{TSP}, \mathrm{SBP}, \mathrm{SBP}+\mathrm{AST}$ の 関係ラベル（18 種類）ごとの $\mathrm{F}$ 値の比較、ラベル名の下にある数値は 各ラベルの出現頻度を表す。

} & \multirow{2}{*}{ 外部デー夕 } & \multicolumn{3}{|c|}{ RSTParseval } & \multicolumn{3}{|c|}{ OriginalParseval } \\

表 4 既存の解析器との比較.*で示す結果は論文で報告された値, それ以外は手元で評価した值である. ${ }^{\dagger}$ Guz and Carenini (2020) らの解析器は NoCoref の値を参照.

RSTParseval だけでなく, OriginalParsevalによる評価も行った. テキストスパンのベクトル表現を得るために SpanBERT を採用した Guz and Carenini (2020)の方法, XLNet (Yang et al. 2019)を採用したZhang et al. (2021)の方法はその他の手法と比較して非常に高い性能を達成し ている．SBT+AST はこれらを除くとどちらの評価方法においてもSpan を除いた Nuc., Rel. の 2 つ指標において従来法を上回っている。提案法と Guz and Carenini (2020)を比較すると, RSTParseval においては Guz and Carenini (2020)がわずかに良い性能であるが, OriginalParseval においては提案法が逆転している。正解の EDU 分割を用いた場合の RSTParseval は正解スパ

ンと必ず一致する長さ 1 のスパンを過大評価することから OriginalParseval を利用することを 文献 (Morey et al. 2017) は推奨している。よって，この結果は提案法の有効性を支持している と考える。

ポインターネットワークを用いた下向き解析法に敵対学習を導入した Zhang et al. (2021)の 方法は，テキストスパンのベクトル表現を XLNet から得た場合には現状での最高性能を達成し ているがそれを ELMoへ変更した場合にはスコアが大きく劣化しており，高いスコアは XLNet がもたらしたと考える。提案法は，テキストスパンのベクトル表現を GloVe+ELMo から得て いるにもかかわらず Zhang et al. (2021)の方法に対し Rel. で 1 ポイント程度の差に迫るスコア を達成しており，疑似正解データの有効性は示せたと考える.

また, Guz et al. (2020) は RoBERTa (Liu et al. 2020) を用いた解析器に MEGA-DT による 事前学習を適用したが，Span, Nuc. の性能改善は小さく,この点は AST を用いた提案法に関し ても同様であった。これは木の構造や核性の推定がそれぞれ比較的簡単な 2 クラス, 3 クラス の分類問題であるため少ない正解データのみでも十分な性能を達成できるからである。一方で, Rel. において AST は推定性能を大きく改善したが，MEGA-DT は関係ラベルが付与されていな いため, Rel. の改善は不可能である. この点において AST は MEGA-DT に対して優位である.

## $5.5 \mathrm{EDU$ 分割器による EDU 分割を用いた評価}

表 5 に, 正解の EDU, EDU 分割器により自動的に分割したEDUを用いた場合の解析器の性能 を示す。提案法は SBP+AST の 5 モデルアンサンブルを用い， Neural EDU Segmenter ${ }^{5}$ (Wang et al. 2018) を利用した. 比較対象となる Nguyen et al. (2021) は EDU 分割と修辞構造解析を end-to-end に学習・推定する手法であり，我々の用いた EDU 分割器と EDU 分割の精度が異な る 6 ことに注意されたい.

表 5 に OriginalParseval を用いた評価結果を示す。表より，どちらの手法も自動分割した EDU

表 5 EDU Segmenterによる EDU 分割を採用した際の解析器の性能比較. 各列における最も高い値は太字で表す.*で示す結果は Nguyen et al. (2021) での報告値.

を用いる性能は大きく劣化する．SBP と SBP+AST を比較すると，疑似正解データは Rel., Full に対する性能改善に強く貢献しており正解 EDU を用いた場合と同様の傾向にある. Nguyen et al. (2021)の方法は, Zhang et al. (2020) と同様にポインターネットワークを用いて再帰的に スパンを分割していき，予測された分割点が与えれたスパンの末尾である場合を分割の終了条件とすることで解析から EDU 分割までを一括で推定する。正解EDU を用いた場合には提案法 が Nguyen et al. (2021)の方法に勝っているが, 自動分割したEDU の場合には劣る結果となっ た. 提案法は，決定的に自動分割されたEDUを利用しているが, Nguyen et al. (2021)の方法 は end-to-end に EDU 分割までを学習することが利点となったと考える。一方, Nuc. と比較し て Rel. と Full の劣化度合いは提案法のほうが小さい. これは正解 EDU の場合と同様, 疑似正解データの効果であると考える.

## 6 まとめ

本稿では, 修辞構造解析における学習データ不足を解決するため, 複数の解析結果から一致 する部分木を疑似正解データとして活用する手法を提案した。具体的には，疑似正解データを 用いて解析器の事前学習を行い, 正解データを用いて追加学習する学習の枠組みを採用した. また, 複数の解析結果から一致する部分木を効率的に抽出するためのアルゴリズムも提案した.

RST-DT を用いた評価実験において，部分木を利用した疑似正解データセットはその他の文書単位で構成される疑似正解データセットと比較して優れていることがわかった. 特に, 疑義正解データを用いることで関係ラベルに関する評価指標である Rel. と Full において改善幅が顕著 であった. さらに提案法は既存の最高性の解析器に匹敵する性能であることもわかった.

## 謝 辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を受けたものである.

## 参考文献

Abe, K., Kawasoe, S., Asai, T., Arimura, H., and Arikawa, S. (2002). "Optimized Substructure Discovery for Semi-Structured Data." In Proceedings of PKDD '02, pp. 1-14, Berlin, Heidelberg. Springer-Verlag.

Angelidis, S. and Lapata, M. (2018). "Multiple Instance Learning Networks for Fine-Grained Sentiment Analysis." Transactions of the Association for Computational Linguistics, 6, pp. 17-31.

Blum, A. and Mitchell, T. (1998). "Combining Labeled and Unlabeled Data with Co-Training." In Proceedings of the 11th Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA. Association for Computing Machinery.

Braud, C., Coavoux, M., and Søgaard, A. (2017). "Cross-lingual RST Discourse Parsing." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 292-304, Valencia, Spain. Association for Computational Linguistics.

Braud, C., Plank, B., and Søgaard, A. (2016). "Multi-view and Multi-task Training of RST Discourse Parsers." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan. The COLING 2016 Organizing Committee.

Carlson, L., Marcu, D., and Okurovsky, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue.

duVerle, D. and Prendinger, H. (2009). "A Novel Discourse Parser Based on Support Vector Machine Classification." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 665-673, Suntec, Singapore. Association for Computational Linguistics.

Feng, V. W. and Hirst, G. (2014). "A Linear-Time Bottom-Up Discourse Parser with Constraints and Post-Editing." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 511-521, Baltimore, Maryland. Association for Computational Linguistics.

Graves, A. and Schmidhuber, J. (2005). "Framewise Phoneme Classification with Bidirectional LSTM Networks." In Proceedings of 2005 IEEE International Joint Conference on Neural Networks, Vol. 4, pp. 2047-2052. IEEE.

Guz, G. and Carenini, G. (2020). "Coreference for Discourse Parsing: A Neural Approach." In Proceedings of the 1st Workshop on Computational Approaches to Discourse, pp. 160-167, Online. Association for Computational Linguistics.

Guz, G., Huber, P., and Carenini, G. (2020). "Unleashing the Power of Neural Discourse Parsers A Context and Structure Aware Approach Using Large Scale Pretraining." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3794-3805, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Heilman, M. and Sagae, K. (2015). "Fast Rhetorical Structure Theory Discourse Parsing." arXiv preprint arXiv:1505.02425.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. (2015). "Teaching Machines to Read and Comprehend." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 1693-1701. Curran Associates, Inc.

Hernault, H., Prendinger, H., du Verle, D. A., and Ishizuka, M. (2010). "HILDA: A discourse parser using support vector machine classification." Dialogue 8 Discourse, 1 (3), pp. 1-33.

Huber, P. and Carenini, G. (2019). "Predicting Discourse Structure using Distant Supervision from Sentiment." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2306-2316, Hong Kong, China. Association for Computational Linguistics.

Huber, P. and Carenini, G. (2020). "MEGA RST Discourse Treebanks with Structure and Nuclearity from Scalable Distant Sentiment Supervision." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online. Association for Computational Linguistics.

Jiang, K., Carenini, G., and Ng, R. (2016). "Training Data Enrichment for Infrequent Discourse Relations." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2603-2614, Osaka, Japan. The COLING 2016 Organizing Committee.

Joshi, M., Chen, D., Liu, Y., Weld, D. S., Zettlemoyer, L., and Levy, O. (2020). "SpanBERT: Improving Pre-training by Representing and Predicting Spans." Transactions of the Association for Computational Linguistics, 8, pp. 64-77.

Joty, S., Carenini, G., Ng, R., and Mehdad, Y. (2013). "Combining Intra- and Multi-sentential Rhetorical Parsing for Document-level Discourse Analysis." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 486-496, Sofia, Bulgaria. Association for Computational Linguistics.

Joty, S., Carenini, G., and Ng, R. T. (2015). "CODRA: A Novel Discriminative Framework for Rhetorical Analysis." Computational Linguistics, 41 (3), pp. 385-435.

Keselman, D. and Amir, A. (1994). "Maximum Agreement Subtree in a Set of Evolutionary Trees-Metrics and Efficient Algorithms." In Prodeedings of SFCS '94, pp. 758-769, USA. IEEE Computer Society.

Kobayashi, N., Hirao, T., Kamigaito, H., Okumura, M., and Nagata, M. (2020). "Top-Down RST Parsing Utilizing Granularity Levels in Documents." Proceedings of the AAAI Conference on Artificial Intelligence, 34 (05), pp. 8099-8106.

Kobayashi, N., Hirao, T., Kamigaito, H., Okumura, M., and Nagata, M. (2021). "Improving Neural RST Parsing Model with Silver Agreement Subtrees." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1600-1612, Online. Association for Computational Linguistics.

Koto, F., Lau, J. H., and Baldwin, T. (2021). "Top-down Discourse Parsing via Sequence Labelling." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 715-726, Online. Association for Computational Linguistics.

Lin, X., Joty, S., Jwalapuram, P., and Bari, M. S. (2019). "A Unified Linear-Time Framework for Sentence-Level Discourse Parsing." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2020). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.".

Mann, W. C. and Thompson, S. A. (1987). "Rhetorical Structure Theory: A Theory of Text Organization." Technical report ISI/RS-87-190, Information Sciences Institute.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19 (2), pp. 313-330.

McClosky, D., Charniak, E., and Johnson, M. (2006). "Effective Self-Training for Parsing." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 152-159, New York City, USA. Association for Computational Linguistics.

Morey, M., Muller, P., and Asher, N. (2017). "How Much Progress Have We Made on RST Discourse Parsing? A Replication Study of Recent Results on the RST-DT." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark. Association for Computational Linguistics.

Nguyen, T.-T., Nguyen, X.-P., Joty, S., and Li, X. (2021). "RST Parsing from Scratch." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1613-1625, Online. Association for Computational Linguistics.

Nguyen, X.-P., Joty, S., Wu, K., and Aw, A. T. (2020). "Data Diversification: A Simple Strategy For Neural Machine Translation." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M. F., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 10018-10029. Curran Associates, Inc.

Pekar, V., Yu, J., El-karef, M., and Bohnet, B. (2014). "Exploring Options for Fast Domain Adaptation of Dependency Parsers." In Proceedings of the 1st Joint Workshop on Statistical Parsing of Morphologically Rich Languages and Syntactic Analysis of Non-Canonical Languages, pp. 54-65, Dublin, Ireland. Dublin City University.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Schuster, M. and Paliwal, K. (1997). "Bidirectional Recurrent Neural Networks." IEEE Transactions on Signal Processing, 45 (11), pp. 2673-2681.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany. Association for Computational Linguistics.

Vania, C., Kementchedjhieva, Y., Søgaard, A., and Lopez, A. (2019). "A Systematic Comparison of Methods for Low-resource Dependency Parsing on Genuinely Low-resource Languages." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1105-1116, Hong Kong, China. Association for Computational Linguistics.

Vinyals, O., Fortunato, M., and Jaitly, N. (2015). "Pointer Networks." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc.

Wang, Y., Li, S., and Wang, H. (2017). "A Two-Stage Parsing Method for Text-Level Discourse Analysis." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada. Association for Computational Linguistics.

Wang, Y., Li, S., and Yang, J. (2018). "Toward Fast and Accurate Neural Discourse Segmentation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 962-967, Brussels, Belgium. Association for Computational Linguistics.

Weiss, D., Alberti, C., Collins, M., and Petrov, S. (2015). "Structured Training for Neural Network Transition-Based Parsing." In Proceedings of the 53rd Annual Meeting of the Asso-
ciation for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 323-333, Beijing, China. Association for Computational Linguistics.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019). "XLNet: Generalized Autoregressive Pretraining for Language Understanding." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc.

Yu, N., Zhang, M., and Fu, G. (2018). "Transition-based Neural RST Parsing with Implicit Syntax Features." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 559-570, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Zaki, M. (2005). "Efficiently Mining Frequent Trees in a Forest: Algorithms and Applications." IEEE Transactions on Knowledge and Data Engineering, 17 (8), pp. 1021-1035.

Zhang, L., Kong, F., and Zhou, G. (2021). "Adversarial Learning for Discourse Rhetorical Structure Parsing." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3946-3957, Online. Association for Computational Linguistics.

Zhang, L., Xing, Y., Kong, F., Li, P., and Zhou, G. (2020). "A Top-down Neural Architecture towards Text-level Parsing of Discourse Rhetorical Structure." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, Online. Association for Computational Linguistics.

Zhou, Q., Yang, N., Wei, F., and Zhou, M. (2017). "Selective Encoding for Abstractive Sentence Summarization." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1095-1104, Vancouver, Canada. Association for Computational Linguistics.

Zhou, Z.-H. and Li, M. (2005). "Tri-training: Exploiting Unlabeled Data using Three Classifiers." IEEE Transactions on Knowledge and Data Engineering, 17 (11), pp. 1529-1541.

## 略歴

小林 尚輝：2020 年東京工業大学工学院情報通信系情報通信コース修士課程修

了. 同年博士課程進学. 自然言語処理の研究に従事. 言語処理学会学生会員.

平尾努：1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程

修了. 同年, 株式会社 NTT データ入社. 2000 年より日本電信電話株式会社

コミュニケーション科学研究所. 博士 (工学). 自然言語処理の研究に従事.情報処理学会, 言語処理学会, ACL 各会員.

上垣外英剛：2017 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了. 同年 NTT コミュニケーション科学基礎研究所入所. 2018 年より東京工業大学科学技術創成研究院未来産業技術研究所助教. 2022 年よ り奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授. 自然言語処理分野の研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在は, 科学技術創成研究院教授. 2017 年より, 理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務.工学博士.

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所 上席特別研究員.工学博士. 自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.