# 入れ子依存木の刈り込みによる単一文書要約手法

菊池 悠太 ${ }^{\dagger}$ 平尾 努 $\dagger \cdot$ ・高村 $大$ 也 $^{\dagger} \cdot$ 奥村 学 $\dagger \cdot$ 永田 昌明 $\dagger \dagger$
}

近年の抽出型要約の多くの手法は, 原文書の情報を網羅し，かつ与えられる要約長 の制約に柔軟に対応すべく，文抽出と文圧縮を併用した組み合わせ最適化問題とし て要約を定式化している。つまり，文書から文という文法的な単位を維持するよう 単語を抽出することで要約を生成している．従来の手法は非文の生成を避けるため,構文木における単語間の関係を利用して文を圧縮しているものの，文書における大域的な文と文の間の関係, つまり談話構造には着目してこなかった. しかし, 談話構造を考慮することは要約の一貫性を保つ上で非常に重要であり, 文書の重要箇所 の同定にも役立つ。我々は，文書を文間の依存関係，単語間の依存関係をあらわし た入れ子依存木とみなし, 単語重要度の和が最大となるように木を刈り込むことで 要約を生成する手法を提案する。実験の結果, 提案手法が要約精度を有意に向上さ せたことが確認できた。

キーワード：文書要約，単一文書要約，修辞構造理論
## Summarizing a Document by Trimming a Nested Tree Structure

\author{
Yuta Kikuchi $^{\dagger}$, Tsutomu Hirao ${ }^{\dagger \dagger}$, Hiroya Takamura ${ }^{\dagger}$, Manabu Okumura ${ }^{\dagger}$ \\ and MASAAKI NAGATA ${ }^{\dagger \dagger}$
}

Many methods of text summarization that have recently been proposed combine sentence selection and sentence compression. Although the dependency between words has been used in most of these methods, the dependency between sentences, i.e., the rhetorical structure, has not been exploited in such joint methods. We use both the dependency between words and the dependency between sentences by constructing a nested tree, in which nodes in a document tree representing the dependency between sentences were replaced by a sentence tree representing the dependency between words. We formulate a summarization task as a combinatorial optimization problem, in which the nested tree is trimmed without losing important content in the source document. The results from an empirical evaluation revealed that our method based on the trimming of the nested tree significantly improved the performance of text summarization.

Key Words: Text Summarization, Single Document Summarization, Rhetorical Structure Theory

## 1 はじめに

抽出型要約は現在の文書要約研究において最も広く用いられるアプローチである. このアプ ローチは，文書をある言語単位（文，節，単語など）の集合とみなし，その部分集合を選択す ることで要約文書を生成する. 要約システムに必要とされる側面はいくつかあるが, 特に重要 なのが，一貫性 (coherence) (Hobbs 1985; Mann and Thompson 1988) と情報の網羅性が高い要約を生成することと, 要約長に対し柔軟に対応できることである.

一貫性の高い要約とは, 原文書の談話構造（あるいは論理構造）を保持した要約を指す。要約が原文書の談話構造を保持していない場合, 原文書の意図と異なる解釈を誘発する文書が生成されてしまうおそれがある。すなわち, 原文書と似た談話構造を持つように要約文書を生成 することは，要約を生成するために重要な要素である1. 要約文書において談話構造を考慮する ために修辞構造理論 (Rhetorical Structure Theory; RST) (Mann and Thompson 1988) が利用可能である. RST は文書の大域的な談話構造を木として表現するため, RST の木構造を損なわ ぬように原文書中の抽出単位を選択することで, 原文書の談話構造を保持した要約文書が生成 できる (Marcu 1998; Daumé III and Marcu 2002; Hirao, Yoshida, Nishino, Yasuda, and Nagata 2013). 従来の RST を抽出型要約に組み込む従来の手法の問題点は, その抽出粒度にある. RST で扱う文書中の最小単位は Elementary Discourse Unit (EDU) と呼ばれ，おおよそ節に対応す るテキストスパンである. 従来手法は, 抽出の単位を EDU として要約の生成を行ってきたが, それが要約において必ずしも最適な単位であるとは限らない2 2 . また, 本節で後に説明するよう に，それなりの長さを持ったテキストスパンを抽出単位とする場合, 要約長に対する柔軟性の 面でも問題が生じる.

情報の網羅性は, 文書要約の目的そのものでもある非常に重要な要素である。要約文書は原文書の内容を簡潔にまとめている必要があり, 原文書の重要な内容を網羅していることが要求さ れる。 近年, 抽出型要約において, 原文書から重要な抽出単位の部分集合を選択する問題を整数計画問題 (Integer Linear Programming; ILP) として定式化するアプローチが盛んに研究されて いる. 抽出された部分集合が原文書の情報をなるべく被覆するような目的関数を設定し, 最適化問題として解くことで，原文書の情報を網羅した要約文書の生成が可能となる．実際にこれ らの手法は要約文書の情報の網羅性の指標となる自動評価手法である ROUGE (Recall-Oriented Understudy for Gisting Evaluation)(Lin 2004) 值の向上に大いに貢献してきた (McDonald 2007; Filatova and Hatzivassiloglou 2004; Takamura and Okumura 2009). RST を要約に組み込む研究 の多くは RST で定義される修辞構造の構造木をそのまま利用したものが多かった (Marcu 1998; Daumé III and Marcu 2002) が, Hirao ら (Hirao et al. 2013)は, RSTの談話構造木をそのまま

用いることの問題点を指摘し, EDU の依存構造木 (DEP-DT) に変換し, 依存構造木の刈り込 みにより要約を生成する木制約付きナップサック問題 (Johnson and Niemi 1983) として要約を 定式化した。

ILP の導入によって, 高い網羅性を持った要約の生成が可能となった一方で，要約手法が持つ 要約長に対する柔軟性は, 情報の網羅性と密接な関係をもつようになった。文書要約では, 要約文書が満たすべき上限の長さを指定することが一般的である。抽出型要約においてよく用い られる抽出単位は文であり，生成された要約の文法性が保証されるという利点がある。しかし，高い圧縮率，すなわち原文書の長さと比較して非常に短い長さの要約文書が求められている場合，文を抽出単位とすると十分な量の情報を要約文書に含めることが出来ず，情報の網羅性が 低くなってしまうという問題3があった。この問題に対し，文抽出と文圧縮を組み合わせるアプ ローチが存在する，文圧縮とは，主に単語や句の削除により，対象となる文からより短い文を 抽出する手法である。近年，こうした文圧縮技術と文抽出技術を逐次適用するのではなく，そ れらを同時に行うアプローチ（以降これらを同時モデルとよぶ）が盛んに研究されており, 高 い情報の網羅性と要約長への柔軟性を持った要約文書の生成が可能となっている.

本研究の目的は, 文書の談話構造に基づく, 情報の網羅性と要約長への高い柔軟性を持った 要約手法を開発することである。これまで，文書要約に談話構造を加える試みと，文抽出と文圧縮の同時モデルは，どちらも文書要約において重要な要素であるにもかかわらず，独立に研究されてきた。その大きな要因の一つは，両者の扱う抽出粒度の違いである．前者は EDU で あり，後者の抽出粒度は文（圧縮され短くなった文も含む）である．抽出単位を文や EDU と いうそれなりの長さのテキストスパンにすると, ある要約長制約に対し, 選択可能なテキスト スパンの組合せは自ずと限られ，情報の網羅性を向上させることが困難な場合がある。我々は,文間の依存関係に基づく木構造と単語間の依存関係に基づく木構造が入れ子となった入れ子依存木を提案し，その木構造に基いて要約を生成することでこの問題に取り組む.

提案手法について，図 1 に示す例で説明する。本研究で提案する入れ子依存木は，文書を文間の依存関係で表した文間依存木で表現する。文間依存木のノードは文であり，文同士の依存関係をノード間のエッジとして表現する，各文内では，文が単語間の依存関係に基づいた単語間依存木で表現されている。単語間依存木のノードは単語であり，単語同士の依存関係をノー ド間のエッジとして表現する。このように，文間依存木の各ノードを単語間依存木とすること で，入れ子依存木を構築する。そして，この入れ子依存木を刈り込む，つまり単語の削除による 要約生成を ILP として定式化する。生成された要約は，文間依存木という観点では必ず文の根付き部分木となっており, その部分木内の各文内, すなわち単語間依存木の観点では単語の部

Source document John was running on a track in the park. He looks very tired. Mike said he is training for a race. The race is held next month.

Summary

John was running on a track.

he is training for a race. *

The race is held next month.

図 1 提案手法の概要. 原文書は二種類の依存木に基づく入れ子依存木として表現される. 提案手法は,文間依存木からは根付き部分木，その各ノードは単語間依存木の部分木となっているように単語を 選択することで要約を生成する。

分木となっている。ここで, 文間依存木からは必ず木全体の根ノードを含んだ根付き部分木が 抽出されているのに対し, 単語間依存木はそうでないものも存在することに注意されたい. 従来, 文圧縮を文書要約に組み込む研究では, 単語間依存木の場合も必ず根付き部分木が選択さ れていたが，限られた長さで重要な情報のみを要約に含めることを考えると，単語の根付き部分木という制約が情報の網羅性の向上の妨げとなる可能性がある. そこで提案手法では, 根付 きに限らない任意の部分木を抽出するために，部分木の親を文中の任意の単語に設定できるよ う拡張を加えた。

提案手法をRST Discourse Treebank (Carlson, Marcu, and Okurowski 2001)における要約シ ステムの評価セットで従来の同時モデルや木制約付きナップサック問題による要約手法と比較評価したところ，文書要約の自動評価指標である ROUGEにおいて最高精度が得られることを 確認した。

## 2 関連研究

現在の抽出型要約の主流である文抽出，文圧縮の同時モデルでは，与えられた文書（群）か ら，文を単語間依存木として表現し，その根付き部分木を刈り込む，すなわち単語を削除するこ とで要約を生成する。また，これを ILP として定式化する研究が盛んに行われている (Almeida and Martins 2013; Qian and Liu 2013; Morita, Sasano, Takamura, and Okumura 2013; Gillick and Favre 2009). しかし, 文から抽出する単語列を単語依存木の根付き部分木に限ると高圧縮 な要約設定において情報の網羅性が低下するおそれがある 4 . さらに, これらの同時モデルでは 文書が持つ談話構造を考慮しないため, 情報の網羅性が高く自動評価指標の ROUGEにおいて

高い值を得ることができるが，一貫性に欠けた要約が生成されてしまうという欠点がある.

また，同時モデルにおける文圧縮の手段として，文を依存構造木ではなく句構造木として表現し，その部分木を抽出する手法も提案されている (Li, Liu, Liu, Zhao, and Weng 2014; Wang, Raghavan, Castelli, Florian, and Cardie 2013; Berg-Kirkpatrick, Gillick, and Klein 2011). 句構造木は連続した単語列の文法的な役割を階層構造として表現した木であるため，この木を刈り 込む際には連続した単語列（句）を同時に削除することが多くなる。よって，依存構造木を用 いた刈り込みと比較すると要約長に柔軟な刈り込みが難しい.

一方，一貫性をもった要約を生成する手法として RST を利用した手法が提案されている. Daumé III and Marcu は，RST を利用した Noisy-channel モデルに基づく文書圧縮手法を提案 した (Daumé III and Marcu 2002). 彼らの手法は一貫性を持った要約の生成が可能であるが,情報の網羅性という観点で最適解が得られるとは限らない。また適切な確率を計算するために 大量のコーパスを必要とする上に，計算量の問題で長い文書に適用できないという欠点があっ た. Marcuは，RSTの構造を利用して EDU の順位を決定し，ランキング上位の EDU を要約と して抽出した (Marcu 1998). Uzêda らは， Marcu の手法を含む合計 6 つの手法を組み合わせる 手法を提案し，オリジナルの手法との比較評価を行った (Uzêda, Pardo, and Nunes 2010). 4.2.1 節では彼らの報告にある数値も参考値として載せている.

Marcu らの手法を含む EDU のランキングに基づく手法は，十分な情報の網羅性が保証され ないという欠点がある。 Hirao らはこれを解決するため, EDU の依存木を構築し，その依存関係に基づいて EDU を選択する問題を木制約付きナプサック問題として定式化した (Hirao et al. 2013).これらの手法は RSTにおけるテキストの最小単位である EDUをそのまま抽出単位とし ていたが，EDUが文書要約においても適切な抽出単位であるかについては，要約長に対する柔軟性の面で疑問が残る。EDU は文よりも短いとはいえそれなりの長さを持ったテキストスパン である。そのため，要約に含める情報の組み合わせの自由度は比較的低く，かつ EDU のような テキストスパンを対象とした構文解析器がないため, 文圧縮のような技術が適用できない。こ れに関しては 4.2 .5 節で評価実験結果をふまえて考察を行う. Hirao らの手法は提案手法に最も 強く関連している。両者の違いは, Hirao らの手法が EDUをノードとする依存木から EDUを 選択する要約手法であることに対し，提案手法は文間の依存関係と単語間の依存関係が入れ子構造を成す木から単語を選択する要約手法であるという点である.

また, 文重要度の決定に貢献する特徴を調べた文献 (Louis, Joshi, and Nenkova 2010)でも, RSTの有効性が示されている.

これまで，文書の（大域的な）談話構造を利用した要約手法について紹介したが，隣接した 文同士のつながりを評価し，文の局所的な並びを最適にすることに取り組む研究も存在する (Nishikawa, Hasegawa, Matsuo, and Kikui 2010; Christensen, Mausam, Soderland, and Etzioni 2013). これらの方法では, 修辞構造解析器を必要としないため, 論理構造が明確でなく自動解
析の精度が期待できない文書においては有効である。一方で, 文書の大域的な談話構造を考慮 した要約生成はできない可能性がある.

## 3 入れ子依存木の刈り込みによる要約文書生成

本研究の目的は, 要約文書の一貫性と情報の網羅性が高く, かつ要約長に柔軟な要約手法を 提案することである. 要約としての一貫性と要約長への柔軟性を獲得するために文書を入れ子依存木として表現し, 入れ子依存木から要約文書を生成する問題を整数計画問題として定式化 することで高い情報の網羅性を持った要約生成を行う。本節では，入れ子依存木の構築につい ての詳細と, ILPでの定式化について説明する.

## 3.1 修辞構造理論

修辞構造理論 (Rhetorical Structure Theory; RST)(Mann and Thompson 1988)は，文書の談話構造を表現するために提案された理論である。文書を EDUに分割し, 連続した EDU 同士（あ るいは，複数の EDU をつなぎあわせたテキストスパン）を修辞関係で関連付けることで，談話構造木を構築する。構築される木は, 終端ノードが EDU, 非終端ノードが子ノード間の修辞関係をラベルに持つ木構造で表現される。図 2 に，談話構造木の例を示す。図において二つの非終端ノードの間に書かれているラベルがそのノード間の修辞関係である。具体的には例示, 補足，背景などの関係により，テキストスパン同士がどのような関係にあるかを表現する，今回

図 2 RST による文書の表現． $\mathrm{EDU}_{1-10}$ は具体的なテキストになっており，おおよそ節に相当する。隣 り合ったテキストスパンは再帰的に修辞関係により関連付けられており, 最終的に文書全体で木構造を構成する. $\mathrm{N}$ と $\mathrm{S}$ はそれぞれ核と衛星に対応し，間に書かれたラベルがそれらの間の修辞関係 である.
用いたコーパスでは合計で 89 種類の修辞関係が存在した。また, 修辞関係と共に各テキストス パンには核 (Nuclear) か衛星 (Satellite)のいずれかのラベルが付与される。核はその修辞関係に おいて中心的な役割を担い, 衛星は補助的な役割を持つ。例えば補足という修辞関係では, 補足される方のテキストスパンが核であり，その内容を具体的に補足したテキストスパンが衛星 となる。図においては，各非終端ノードの $\mathrm{N}$ と $\mathrm{S}$ がそれぞれ核と衛星を表している。なお, 図 2 の*のように, 複数の核からなる多核 (multinucleus) という性質を持った修辞関係も存在する.

## 3.2 入れ子依存木の構築

Hirao ら (Hirao et al. 2013) は RST の木構造を変換することで依存構造に基づくDEP-DT を 構築した，DEP-DTは，EDU 間の依存関係を直接表現しており，この依存木を刈り込むこと で一貫性を保った要約が生成できる。図 3 に，図 2 の木構造から変換された DEP-DT と本研究 で用いる文間依存木を示す。 Hiraoらの用いたDEP-DT は，EDUをノードとするものであった が，本研究では文間の関係をとらえた同時モデルのため，これを文をノードとした依存木へと 変換する，具体的には，同じ文に属する EDU 集合をまとめ，文内の親となっている EDU の依存先を，その文の依存先として採用する。依存先の EDU は他の文に属しているため，この変換規則により，文間の依存関係を持った木構造（文間依存木）を取得することができる。次に 文間依存木の各ノードとなる文に対し依存構造解析を行い, 単語間の依存構造（単語間依存木） を獲得する，以上の処理により，文書が文の係り受け木，各文内では単語の係り受け木により 構成された入れ子依存木を構築する。本研究では, この入れ子依存木から不要な単語を刈り込 むことで要約文書を生成する。

(1) DEP-DT（EDU間依存木）

(2) 文間依存木

図 3 依存構造に変換された文書の修辞構造. (1) Hirao らによるEDU 間の依存関係を表した DEP-DT であり，図２の木構造を変換したもの。なお， multinucleusの関係を持つテキストスパンを成す $\mathrm{EDU}_{4}$ と $\mathrm{EDU}_{5}$ はそれぞれ独立に一つ上の核である $\mathrm{EDU}_{3}$ に依存している。(2) 本研究で用いる文間依存木. Hirao らの DEP-DT を変換したもの.

## 3.3 整数計画問題による定式化

入れ子依存木からの単語の削除による要約文書の生成は, 整数計画問題として定式化できる.具体的には, ある目的関数のもと, 文間依存木の根付き部分木, 根付き部分木中の各文は単語間依存木の（任意の）部分木となるように単語を選択することで要約を生成する。提案手法は 次の整数計画問題で定式化できる.

$
\begin{array}{ccc}
\operatorname{max.} & \sum_{i}^{n} \sum_{j}^{m_{i}} w_{i j} z_{i j} & \\
\text { s.t. } & \sum_{i}^{n} \sum_{j}^{m_{i}} z_{i j} \leq L ; & \forall i, j \\
x_{i} \geq z_{i j} ; & \forall i \\
& x_{\text {parent }(i)} \geq x_{i} ; & \forall i, j \\
z_{\text {parent }(i, j)}+r_{i j} \geq z_{i j} ; & \forall i, j \\
r_{i j}+z_{\text {parent }(i, j)} \leq 1 ; & \forall i \\
\sum_{j=0}^{m_{i}} r_{i j}=x_{i} ; & \forall i, j \\
r_{i j} \leq z_{i j} ; & \forall i \\
\sum_{j \notin R_{c}(i)} r_{i j}=0 ; & \forall i \\
r_{i \operatorname{root}(i)}=z_{i \operatorname{rot}(i)} ; & \forall i \\
\sum_{j=0}^{m_{i}} z_{i j} \geq \min \left(\theta, m_{i}\right) x_{i} ; & \forall i \\
\sum_{j \in \operatorname{sub}(i)} z_{i j} \geq x_{i} ; & \forall i \\
\sum_{j \in \operatorname{obj}(i)} z_{i j} \geq x_{i} ; & \forall i \\
x_{i} \in\{0,1\} ; & \forall i \\
z_{i j} \in\{0,1\} ; & \forall i, j \\
r_{i} \in\{0,1\} ; & \forall i
\end{array}
$

$n$ は対象とする原文書に含まれる文数であり， $m_{i}$ は文 $i$ の単語数である. $w_{i j}$ は単語 $i j(i$ 番目の文における $j$ 番目の単語）の重みである， $x_{i}$ は，文 $i$ を要約に含めるときに 1 となる決定変数であり, $z_{i j}$ は, 単語 $i j$ を要約に含めるときに 1 となる決定変数である. 目的関数は, 要約 に含まれた単語の重みの総和であり，この関数を最大にするように単語を選択する。

式 (1) は, 要約として選択される単語数が $L$ 以下であることを保証するための制約式である.式 (2)は要約に含まれていない文中の単語を要約に含めてしまうことを防ぐための制約式であ る. 式 (3) は文間依存木から文を選択する時に，その木構造を保つことを保証する。これは文
間依存木からは必ず根を含む根付き部分木が選択されることを意味する． parent $(i)$ は，文間依存木において文 $i$ の親となる文のインデックスを返す関数である.

式 (4) から式 (9) には決定変数 $r_{i j}$ が含まれている。 $r_{i j}$ は，単語 $i j$ を根とした部分木を要約文書に含める場合に 1 となる。式 (4) は，単語間依存木から単語を選ぶ場合，その木構造を保 つことを保証する。ただし，単語間依存木の根以外の単語 $i j$ を根として部分木を抽出する場合 は，その単語 $i j$ には必ず親となる単語 $\operatorname{parent}(i, j)$ が存在する。その状況では $z_{i j}$ が 1 のまま $z_{\text {parent }(i, j)}$ を 0 にすることが許容されなければならず，それを可能とするのが左辺第二項の $r_{i j}$ である。なお，parent $(i, j)$ は，文 $i$ に対応する単語間依存木において，単語 $i j$ の親となる単語 のインデックスを返す関数である。ただし，このままでは， $z_{\text {parent }(i, j)}$ と $r_{i j}$ のどちらも 1 であ る場合も許容されてしまうため，2つの変数が同時に 1 となることを制限するための制約式 (5) を追加する，同様に，このままでは $r_{i j}$ のみが 1 となっている場合も許容されてしまう， $r_{i j}$ が 1 である場合はその単語 $i j$ は必ず要約に含まれなければならないため, 制約式 (7) を追加する ことで対処する．本研究では文 $i$ が要約に含まれる場合 $\left(x_{i}=1\right)$ は，そこから抽出される部分木は高々一つであるとしている。そこで，式 (6)により，一つの文から複数の部分木 (の根）が 生じることを制限している。また，文 $i$ における単語間依存木の根に相当する単語 $(\operatorname{root}(i))$ に 関しては, 根付き部分木を抽出する場合, すなわち $r_{\operatorname{root}(i)}$ が 1 であるときのみ要約に含めるこ とを保証する必要があり，そのため制約式 (9)を追加している.

冒頭で述べた通り，本研究では単語間依存木から部分木を抽出する際は，根となり得るのは 文中の動詞と, 単語間依存木全体の根となる単語に限っている。そこで, それ以外の単語が根 となることを防ぐことを保証するため, 制約式 $(8)$ を追加する．ここで， $R_{c}(i)$ は文 $i$ 中で根の 候補となる単語, すなわち動詞のインデックス集合を返す関数である。式 (10) は, 文（に対応 する単語間依存木の部分木）を要約に含めるための最低の単語数を規定するための制約式であ る。これは，単語の削除により木を刈り込むという手法の性質上，極端に短く刈ってしまうと 非文になる可能性が高くなることを防ぐ目的がある。また，要約を最適化問題としてモデル化 しているので，目的関数を最大化するために要約長の限界まで単語を選択しようとして，刈り 込みを無制限に許容すると，極端な例では 1 単語からなる部分木を選択してしまうため，それ を防ぐための制約である。式 (11)は，部分木を抽出する際は必ず一つ以上の主語を含むことを 保証する制約である。同様に式 (12) は，目的語を一つ以上含むことを保証する制約である。こ こで, $\operatorname{sub}(i)$ と $o b j(i)$ は, それぞれ文 $i$ 中の単語のうち係り受けラベルが主語, 目的語である単語のインデックス集合を返す関数である.

提案手法の文圧縮が単語間依存木の刈り込みに基づいている以上，その操作により非文が生成されてしまう可能性がある。ここで，非文となる部分木の生成を避けるための二種類の追加
的な制約を導入する。一つ目の制約式は単語対に対するものである：

$
z_{i k}=z_{i l}
$

式 (16) は. 単語 $i k$ と単語 $i l$ は必ず同時に要約に含まれることを保証する. これは, 片方だ けを要約に含めてしまう場合に非文となってしまうような組に対して定義される。具体的には，係り受けタグが PMOD ${ }^{5}, \mathrm{VC}^{6}$ である単語とその親の単語, 否定詞とその親の単語, 係り受け タグがSUB あるいは OBJである単語とその親となっている動詞, 形容詞の比較級 (JJR) ある いは最上級 (JJS) とその親の単語, 冠詞とその親の単語, “to”とその親の単語である. 二つ目 の制約式は単語列に対するものである：

$
\sum_{k \in s(i, j)} z_{i k}=|s(i, j)| z_{i j}
$

式 (17) は単語の集合に対し, 集合中のいずれかの単語を要約に含めるとき, 集合中の他の 全ての単語も要約に含めることを保証する制約である。具体的には，固有名詞列（品詞夕グが PRP\%, WP\%あるいはPOS のいずれかである単語列）や，所有格とその係り先の単語，その間 に含まれる全ての単語列である。ここで, $s(i, j)$ は, 単語 $i j$ と, 例に上げた関係にある単語イ ンデックスの集合を返す関数である.

## 4 評価実験

## 4.1 実験設定

提案手法の有効性を示すために評価実験を行った．実験には RST Discourse Treebank (RSTDTB) (Carlson et al. 2001) に含まれる要約評価用のテストセットを用いた． RST-DTB は Penn Treebankコーパスの一部の文書（Wall Street Journal から収集された 385 記事）からなるコーパ スであり，RSTに基づく木構造が人手で付与されている。さらにその内 30 記事について, 人手 で作成された要約文書 (参照要約) が存在しており, それらの文書を評価用テストセットとした。実験に用いたすべての文書は，Penn Tokenizerによりトークンに区切った．要約システムの入力となる要約長は, 参照要約の有するトークン数とした. テストセットに含まれる 30 記事の参照要約には, 平均して原文書の $25 \%$ 程度の長さの long 要約と, 平均して原文書の $10 \%$ 程度の長 さの short 要約の二種類が存在する. 本実験では両方のテストセットについて先行研究との比較を行う．評価尺度としては ROUGE (Recall-Oriented Understudy for Gisting Evaluation)(Lin 2004)を用いる7.

抽出粒度の妥当性について検証するため，比較手法として EDUを単位とした木制約付きナッ プサック問題による要約手法 (Hirao et al. 2013) と, 文を単位とする木制約付きナップサック問題による要約手法を用意した。また，単一文書要約において強力なべースラインとなる LEAD 法との比較も行った．LEAD法は，要約長に達するまで文書の冒頭から抽出単位を選択してい くことで要約文書を生成する手法である。本稿では $\mathrm{EDU}$ を抽出単位とする $\mathrm{LEAD}_{\mathrm{EDU}}$ と，文 を抽出単位とする $\mathrm{LEAD}_{\mathrm{snt}}$ との比較を行う。さらに，提案手法において文（単語間依存木）か ら部分木を抽出する際に根付き部分木に制限する手法（根付き部分木抽出）も用意し，任意の 部分木を抽出対象とする提案手法（任意部分木抽出）との比較を行った.

本実験に用いたすべての文間依存木は，RST-DTB で人手付与された RST 構造を利用して おり談話構造解析器は利用していない。考察において，談話構造解析器を用いた追加実験を行 い，精度の変化について考察する。また，単語依存木は Suzuki らの提案した依存構造解析手法 (Suzuki, Isozaki, Carreras, and Collins 2009) を用いて構築した.

なお，本実験では，単語の重要度 $w_{i j}$ として以下を用いた：

$
w_{i j}=\frac{\log \left(1+t f_{i j}\right)}{\operatorname{depth}(i)^{2}}
$

$t f_{i j}$ は文書における単語 $w_{i j}$ の単語頻度であり, $\operatorname{depth}(i)$ は, 文書の文間依存木における文 $x_{i}$ の根からの深さである。また, 制約 $(10)$ における $\theta$ は 8 とした.

## 4.2 結果と考察

## 4.2.1 ROUGEによる比較

表 1 に，各手法による ROUGE- 1,2 値を示す。まず, short 要約, long 要約セット双方におい て, 提案手法である任意部分木抽出と根付き部分木抽出の間に ROUGE 値の顕著な差はみられ なかった. これについては 4.2 .4 節において, 両手法が抽出した実際の部分木を例に定性的な考察を行う．以下では，任意部分木を提案手法とし，他の手法との比較を行う.

また, 表 1 の下 3 行は Uzêda らによる比較実験の結果から一部の数値を引用している 8 . ここ で, Marcu $_{\text {ours }}$ (0.432) と Marcu et al. (0.440)は, どちらも (Marcu 1998)の手法による結果を 示している．前者は我々による再実装の数値であり，後者は (Uzêda et al. 2010) において報告 されていた数值である．数值が異なるのはトークナイゼーションなどの前処理の違いによるも のであると考えられるが, Uzêda らの文献に前処理の詳細がないため, 完全な比較とはならな いことに注意されたい. とはいえ, 両者の数值に大きな差異はないことから, ほぼ同じ実験条件での数値であると判断した.

表 1 各手法による short 要約セットおよび long 要約セットにおける ROUGE-1,2 值

上 2 行が提案手法であり, 下 3 行は (Uzêda et al. 2010) からの引用である.

まず，short 要約セットの stopword を除去した条件（最も左のカラム）において，提案手法 の評価值はホルム法による多重比較の結果, 他の全ての手法を有意に上回っていることを確認 した. 個別の手法と比較すると，文選択手法すなわち文圧縮を一切行わない手法と比較すると,提案手法が大幅に上回っている事がわかる。これは，文をそのまま抽出する場合は，今回の要約設定（平均圧縮率が約 10\%）では十分に情報を網羅できないことを示している．次に，EDU 選択手法と比較しても提案手法が上回っている．EDU 選択は文選択を有意に上回っていること から，文よりも細かい EDU を抽出粒度とすることで，要約文書の情報の網羅性を高めること ができている。しかし，EDUという予め決められた長さのテキストスパンを抽出する手法より も，部分木という可変長のテキストスパンを抽出できる提案手法の方がROUGE 值は上回って おり, その有効性がわかる. LEAD 法は, 報道記事の単一文書要約問題において非常に強力な ベースラインである。これは，報道記事ではしばしば記事の冒頭でその記事全体の小さなまと めが書かれる傾向にあるためである．今回の実験では抽出単位の異なる二種類の LEAD 法を用 いたが，いずれも低い数値となった。これは要約対象となっている文書が，単純な報道記事で はなく, エッセイや社説によって構成されているためであり, 冒頭に重要なまとめが記載され ているわけではないことが原因である.

一方, long 要約セットでは, 提案手法と EDU 選択手法との間に顕著な差は見られなかった. これは, $25 \%$ という圧縮率が比較的緩く, いずれの手法, 抽出単位でもある程度の情報が網羅 できるために大きな差が生まれなかったためである。ただし, 文を抽出単位とした手法（文選択および $\mathrm{LEAD}_{\text {snt }}$ ）の ROUGE スコアは低いことから, 情報網羅性の向上のためには, 文より も小さいテキストスパンを抽出することが重要であるとわかる.

以上の結果から, 提案手法のような要約長に柔軟な要約手法は, short 要約セットのように比較的圧縮率の高い設定において有効であることがわかる.

## 4.2.2 修辞構造の自動解析による精度の変化

表 1 の実験結果は，人手で与えられた RST に基づく修辞構造を用いていた。提案手法を任意の文書に適用する場合, 文書の修辞構造を自動で解析する解析器が必須である。しかし, 修辞構造の自動解析は難しいタスクの一つであり, 人手で付与された談話構造を使用したときと 比較して精度が劣化してしまうおそれがある。そこで本節では, 既存の修辞構造解析器を用い て自動で解析した修辞構造を利用した場合の精度の変化を調べる。今回の実験では自動解析器 として, サポートベクターマシンに基づく高い精度を持った解析器である HILDA (duVerle and Prendinger 2009; Hernault, Prendinger, duVerle, and Ishizuka 2010)を用いた. 表 2 に実験結果 を示す. HILDA と付いている行が，自動解析に基づく依存木を使用した場合の結果である。結果から，いずれの手法も人手で作成された修辞構造を用いたものより ROUGE 値が劣化してい ることがわかる. short 要約セットの場合は, 提案手法の方が劣化が大きい. これは, 提案手法 が EDU 単位の依存構造を文単位に変更しているためである. HILDAを始めとする自動解析器 は，ボトムアップに修辞構造木を組み上げていくため，それを用いて得た修辞構造木を談話依存構造へと変換すると, 距離が近い EDU 間の依存関係は比較的高い精度で予測できるが, 遠 い依存関係の予測精度は低い。このため, 遠距離の依存関係である文間の依存関係の同定に失敗し, 提案手法のROUGEが大きく劣化したと考える，実際，依存先の正解率 9 を計算すると， EDU 単位で 0.590 , 文単位で 0.324 となった. しかしながら, short 要約セットにおいては, 減少幅は大きいものの依然として提案手法の精度が, 今回比較したどの手法の数値よりも高いこ とから，提案手法の有効性がわかる.

long 要約セットにおいては, EDU 選択手法の ROUGE 値の減少はほとんど見られなかった. 4.2.1 節で述べた通り, long 要約セットは低い圧縮率であるため比較的多くの情報を要約に含め ることができる。文単位の依存関係においても，正解率自体は低くとも選択できる文数が増える ため, short 要約セットよりもROUGE 値の劣化が抑えられている。すなわち, short 要約セッ トのように圧縮率の厳しい設定では, より高い精度で抽出単位の依存先を推定する必要がある.

表 2 修辞構造を自動解析した場合の精度の変化

上 2 行は表 1 より再掲している.

## 4.2.3 単一文書要約における重要箇所同定

前節で，提案手法の有効性を ROUGE 值によって確認した，本節では，談話構造，すなわち 文間依存木の情報が文書中の重要箇所同定に有効かという点について考察を行う. 現在, 文書要約において主流な問題設定は, 同じトピックについて書かれた文書の集合からひとつの要約文書を生成する, 複数文書要約である。冒頭で説明した文抽出と文圧縮を組み合わせる手法も 全て複数文書要約に取り組んでいるのに対して，今回我々が行った実験は，一つの文書に対し 一つの要約文書を生成する単一文書要約問題である。単一文書要約は複数文書要約と比較して,要約文書に含めるべき文書の重要部分の同定が難しい. なぜならば複数文書要約では文書集合全体として重要な話題は文書横断的に出現するため, その性質を利用できる ${ }^{10}$ が，単一の文書 においてそのような情報は利用できないためである.

対象とする文書が報道記事である場合は, 冒頭部分に記事全体の要約が書かれやすいという 強力な基準があるが, そうでない場合に重要な部分を同定することは困難である11. 今回我々 が用いた単一文書要約の評価セットは, 報道記事ではなく社説やエッセイのような文書で構成 されているため重要部分の同定が難しい。これは表 1 における LEAD 手法の ROUGE 值からも 確認できる.

文間依存木の情報が文書の重要箇所同定に与える影響について検証するため, 提案手法（自動解析含む）の単語重要度から depth $h^{2}$ を取り除いたもの，すなわち単語の重要度が単にその文書における出現頻度で決まる場合と, 文間依存木の情報を一切用いない従来の同時モデルにつ いても同様に実験を行い比較した，表 3 に，それぞれの結果を示す。提案手法の単語重要度か ら文間依存木の情報（依存木の根からの深さ）を除いた場合に十分な ROUGEスコアが得られ ないことから，文書の談話構造が単一文書要約における重要箇所の同定に寄与していることが

表 3 RST に基づく文間依存木を利用しない場合の結果の変化

上 2 行は表 2 より再揭している.

わかる，なお，同時モデルと異なり，木構造の制約という形で文間依存木の情報は用いている ことに注意されたい，同時モデルの結果を見ると，文抽出と文圧縮の同時最適化のみでは，本評価セットで有効に機能しないことがわかる，重要文の同定・抽出が困難であるならば，複数文書要約において盛んに取り組まれている文抽出と文圧縮の同時最適化を適用することも困難 となり，要約長に柔軟な要約文書の生成も困難となる。本研究の結果は単一文書における重要部分の同定に対するひとつの手がかりとして，文書の談話構造が有効である可能性を示唆して いるといえる。

## 4.2.4 異なる部分木抽出手法の定性評価

ここまで，ROUGEの観点から評価実験の結果についての考察を進めてきた。本節では，単語間依存木からその部分木を抽出する方法として，任意の部分木を抽出することの有用性を，例 を示して考察する. 図 4 に, 任意部分木抽出手法と根付き部分木抽出手法が共通して要約文書 に含めた文と，そこから抽出した部分木に対応する二つの文を示す。なお,これは short 要約 セットにおける例である。

ここで, $\{\cdot\}$ は依存構造解析器が単語間依存木の根であると出力した語であり, [$\cdot$] は要約シ ステムが部分木の根として選んだ語である。任意部分木抽出においては，例に示したいずれの 文も解析器の根以外の単語を根として部分木を抽出している. 例に見るように, 目的節や that 節の内容の方が重要な情報を持つことが多いため，その部分のみを抽出することは，限られた 長さで重要な情報のみ要約に含める上で有用であり，今回の実験ではこうした事例が少なかっ たこともあり ROUGE スコアで大きな差がでなかったが，特に圧縮率の高い設定 ${ }^{12}$ では有効で あろう。

図 4 二つの手法が共通して要約に選択した文と, それぞれが抽出した部分木の例

## 4.2.5 抽出粒度と要約文書の文数の関係

EDU はRST における談話構造の基本単位であるが, 抽出型要約の抽出単位として適切とは 限らない。図 5 に, ある文 ${ }^{13}$ とその文を構成する EDU の例を示す. 図のように，EDU はおお よそ節に対応する文よりも細かな単位である.

抽出単位が文よりも細かい EDU であることは, EDU 抽出は, 文圧縮を逐次適用した要約手法として考えることができる。つまり，EDU 抽出による要約は多くの文を事前に圧縮しつつ抽出していることに相当する. このように文よりも小さな断片を組み合わせて要約を生成すると,文を組み合わせる場合よりも長さ制約をちょうど満たすように要約を生成することができる可能性が高い. よって, ROUGE 値も上昇する傾向にある。 しかし, EDUは文よりも短いため, たとえ一貫性があろうともそれを読んだ読者が違和感を覚えてしまうだろう。

抽出型要約において, 文書中の多くの文から細かな断片を集めることで情報の断片化された 要約の生成につながっているかどうかのは，要約文書に含まれる抽出単位集合の元となる文の 数が，その一つの指標となる。言い換えると，生成された要約を構成する文の数が，参照要約 すなわち人間によって生成された要約に近い方が, 自然で読みやすい要約になっていると考え られる。そこで本節では各手法が生成した要約文書に含まれる原文書の文数を比較した。比較 に用いた手法は提案手法である任意部分木抽出の他に, 文選択と EDU 選択である。文選択は 原文書中の文の数, EDU 選択は原文書中の EDU に対応する文の数, 部分木選択は, 部分木に 対応する文の数である。なお, 参照要約は人間が自由に生成した要約であるため, 必ずしも原文書の文とは対応していないことに注意されたい.

short 要約セットにおいて各選択手法が選択した文について箱ひげ図を図 6 に示す. 各々の箱 の上辺と下辺は，それぞれその手法が選択した文数の第一四分位点，第三四分位点を表してお り, 箱の中の線は中央値を表している。箱の上下に伸びる線（ひげ）の先は, それぞれ最大値,最小値を表し，ひげよりも外側に見られる＋印は，外れ値である。

図を見ると，EDU 選択手法が最も多くの文を用いて要約を生成していることがわかる。一方 で文選択手法は, 比較手法の中では最も参照要約の文に近いが，4.2.1節で示した通り情報の網

図 5 本データセットにおける文の一例. 5 行全体で一つの文であり, 各行が一つの EDU に対応している.

羅性という点で十分な要約を作成できない，部分木抽出は文選択と EDU 選択の間で，両者の ように実際に抽出されるテキストスパンの長さを固定せずに要約システムが柔軟に各文から抽出する部分木を選択することができる。それにより情報の網羅性と要約としての自然さを両立出来ている。なお, 部分木抽出手法の平均文数は 4.73 であり, 中央値は 4 文であった. これに 対し, $\mathrm{EDU}$ 選択の平均文数は 5.77 で中央値は 5 文であった. これは提案手法の方が有意 ${ }^{14}$ に少 ない文を用いて要約を生成していることを示している。自動解析を利用した場合も同様の傾向 であるため詳細は割愛する。

同様に, long 要約セットについて図 7 に示す. 圧縮率が低くなった場合も全体の傾向として は short 要約セットとの大きな差異はない，全体的にばらつき（箱の縦の長さ）が大きくなって いるが, これは参照要約自体の長さのばらつきが short 要約セットよりも大きいことが原因で ある。

図 6 short 要約セットにおいて各手法が使用した原文書の文の数. (HILDA) と付いているものは自動解析による修辞関係を利用している。

図 7 long 要約セットにおいて各手法が使用した原文書の文の数
(p<0.05) .}$
}

## 5 まとめ

本研究では, 単語間の依存構造解析に基づく単語間依存木と，RST に基づく文間依存木か ら入れ子依存木を構築し, そこから要約文書に含める単語を選択する要約生成問題を ILP とし て定式化した。提案手法は EDU の依存木の刈り込み手法に比べ，過剰に文を区切ることなく ROUGE を向上させることが確認できた. また, 単語の依存木からその部分木を抽出する方法 として, 構文解析器が出力した根にこだわらない任意部分木抽出手法について, その有用性を 定性的に分析した。 さらに, 人手で作成された修辞構造以外に, 修辞構造解析器で推定された 修辞構造も用いて, その精度への影響を確かめた。

提案手法の抱える課題は, 任意の文書に対して適用する際に修辞構造の自動解析を利用して おり, その精度の与える影響が大きいという点である。今回は EDU 単位の修辞構造解析結果 を文単位の依存関係に変換して利用したが，はじめから EDU 単位の依存関係を獲得する研究 (Yoshida, Suzuki, Hirao, and Nagata 2014)も存在する。これらを踏まえ, 今後はより良い文間依存木の獲得方法を検討していく。

今回は RST から得られる情報のうち文間の依存関係のみに着目したが, 各文内における EDU 間の関係や修辞構造のラベルを考慮して文圧縮や文抽出を行うことが可能であり, 今後取り組 むべき課題として興味深い.

今後は, 他のコーパスの文書や, 複数文書要約においても提案手法を適用することを考えて いる.

## 参考文献

Almeida, M. and Martins, A. (2013). "Fast and Robust Compressive Summarization with Dual Decomposition and Multi-Task Learning." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 196-206.

Berg-Kirkpatrick, T., Gillick, D., and Klein, D. (2011). "Jointly Learning to Extract and Compress." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 481-490, Portland, Oregon, USA.

Carlson, L., Marcu, D., and Okurowski, M. E. (2001). "Building a Discourse-tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the 2nd Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL), pp. 1-10.

Christensen, J., Mausam, Soderland, S., and Etzioni, O. (2013). "Towards Coherent MultiDocument Summarization." In NAACL:HLT, pp. 1163-1173.

Daumé III, H. and Marcu, D. (2002). "A Noisy-Channel Model for Document Compression." In

Proceedings of 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 449-456, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

duVerle, D. and Prendinger, H. (2009). "A Novel Discourse Parser Based on Support Vector Machine Classification." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 665-673, Suntec, Singapore. Association for Computational Linguistics.

Filatova, E. and Hatzivassiloglou, V. (2004). "A Formal Model for Information Selection in Multi-Sentence Text Extraction." In Proceedings of the 20th International Conference on Computational Linguistics (COLING), pp. 397-403.

Filippova, K. and Strube, M. (2008). "Dependency Tree Based Sentence Compression." In Proceedings of the 2nd International Natural Language Generation Conference (INLG), pp. 25-32.

Gillick, D. and Favre, B. (2009). "A Scalable Global Model for Summarization." In Proceedings of the NAACL HLT Workshop on Integer Linear Programming for Natural Language Processing (ILP), pp. 10-18.

Hernault, H., Prendinger, H., duVerle, D. A., and Ishizuka, M. (2010). "HILDA: A Discourse Parser Using Support Vector Machine Classification." Dialogue and Discourse, 1 (3), pp. 1-33.

Hirao, T., Yoshida, Y., Nishino, M., Yasuda, N., and Nagata, M. (2013). "Single-Document Summarization as a Tree Knapsack Problem." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1515-1520.

Hobbs, J. R. (1985). On the Coherence and Structure of Discourse. CSLI.

Johnson, D. S. and Niemi, K. A. (1983). "On Knapsacks, Partitions, and a New Dynamic Programming Technique for Trees." Mathmatics of Operations Research, 8 (1), pp. 1-14.

Li, C., Liu, Y., Liu, F., Zhao, L., and Weng, F. (2014). "Improving Multi-documents Summarization by Sentence Compression based on Expanded Constituent Parse Trees." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 691-701, Doha, Qatar. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of summaries." In Proceedings of the ACL Workshop on Text Summarization Branches Out, pp. 74-81.

Louis, A., Joshi, A., and Nenkova, A. (2010). "Discourse Indicators for Content Selection in Summarization." In Proceedings of the SIGDIAL 2010 Conference, pp. 147-156, Tokyo, Japan. Association for Computational Linguistics.

Mann, W. C. and Thompson, S. A. (1988). "Rhetorical Structure Theory: Toward a Functional

Theory of Text Organization." Text, 8 (3), pp. 243-281.

Marcu, D. (1998). "Improving Summarization Through Rhetorical Parsing Tuning." In Proceedings of the 6th Workshop on Very Large Corpora, pp. 206-215.

McDonald, R. (2007). "A Study of Global Inference Algorithms in Multi-document Summarization." In Proceedings of the 29th European Conference on Information Retrieval (ECIR), pp. 557-564.

Morita, H., Sasano, R., Takamura, H., and Okumura, M. (2013). "Subtree Extractive Summarization via Submodular Maximization." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1023-1032.

Nishikawa, H., Hasegawa, T., Matsuo, Y., and Kikui, G. (2010). "Opinion Summarization with Integer Linear Programming Formulation for Sentence Extraction and Ordering." In Proceedings of the 23rd International Conference on Computational Linguistics (COLING), pp. 910-918.

Qian, X. and Liu, Y. (2013). "Fast Joint Compression and Summarization via Graph Cuts." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1492-1502.

Suzuki, J., Isozaki, H., Carreras, X., and Collins, M. (2009). "An Empirical Study of Semisupervised Structured Conditional Models for Dependency Parsing." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 551-560, Singapore. Association for Computational Linguistics.

Takamura, H. and Okumura, M. (2009). "Text Summarization Model based on the Budgeted Median Problem." In Proceedings of the 18th ACM Conference on Information and Knowledge Management (CIKM), pp. 1589-1592.

Uzêda, V. R., Pardo, T. A. S., and Nunes, M. D. G. V. (2010). "A Comprehensive Comparative Evaluation of RST-based Summarization Methods." ACM Transactions of Speech and Language Processing, 6 (4), pp. 4:1-4:20.

Wang, L., Raghavan, H., Castelli, V., Florian, R., and Cardie, C. (2013). "A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1384-1394. Association for Computational Linguistics.

Yang, Y. and Nenkova, A. (2014). "Detecting Information-Dense Texts in Multiple News Domains." In Proceedings of the 28th AAAI Conference on Artificial Intelligence, July 27-31, 2014, Québec City, Québec, Canada, pp. 1650-1656.

Yoshida, Y., Suzuki, J., Hirao, T., and Nagata, M. (2014). "Dependency-based Discourse Parser
for Single-Document Summarization." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1834-1839, Doha, Qatar. Association for Computational Linguistics.

## 略歴

菊池悠太：2011 年木更津工業高等専門学校専攻科制御・情報システム工学専攻修了. 2013 年東京工業大学総合理工学研究科博士前期課程修了. 同年, 同大学博士後期課程に進学.

平尾努：1995 年関西大学工学部電気工学科卒業. 1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年株式会社 NTT データ入社. 2000 年より NTT コミュニケーション科学基礎研究所に所属. 博士（工学). 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウイーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年より同准教授. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ.

奥村 学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在に至る. 工学博士. 自然言語処理,知的情報提示技術, 語学学習支援, テキスト評価分析，テキストマイニングに 関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI, ACL, 認知科学会, 計量国語学会各会員.

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所主幹研究員 (上席特別研究員). 工学博士. 統計的自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 対をなす二文書間における文対応関係の推定

角田 孝昭 ${ }^{\dagger}$ 乾 孝司 ${ }^{\dagger} \cdot$ 山本 幹雄 $\dagger$
}

本論文では，手紙文書とそれに対する応答文書など対となる二つの文書間における 文レベルでの対応関係を推定する課題を提案し, 解決手法を検討する。これまで, 単一の文書内における文同士の関係や対話における発話同士の関係を対象とした研究 は盛んに行われて来たのに対し，二文書間における文書を跨いた文対応関係にはあ まり注目されて来なかった。このような関係の例として, 質問と応答, 依頼と回答 などが挙げられる。文対応関係を用いることで文書によるコミュニケーションをよ り細かい単位で説明できることから, 本関係の推定が実現すれば様々な応用が期待 できる。一例として, 文書対の群から対応を持つ文を抽出すれば，各文書対でどの ようなコミュニケーションが行われているかを提示することが可能となる. 我々は 文対応関係の自動推定を実現するため, 本課題を文対応の有無を判定する分類問題 とみなして条件付確率場を用いる手法を提案する。具体的には, 推定した文の種類 を文対応推定に活用する対話文書を対象とした従来手法を, 本論文の課題に適用す る手法を示す. 加えて, 文種類の推定と文対応の推定を同時に行う拡張モデルによ る手法を提案する，実際の宿泊予約ウェブサイトにおけるレビュー・返答対を対象 とした評価実験の結果, 拡張モデルは拡張前のモデルよりも高い性能である適合率 $46.6 \%$, 再現率 $61.0 \%$ の推定性能を得た。

キーワード：二文書，文間関係，談話分析，条件付確率場
## Identification of Cross-Document Sentence Relations from Document Pairs

\author{
TakaAki Tsunoda $^{\dagger}$, Takashi Inui $^{\dagger}$ and Mikio Yamamoto ${ }^{\dagger}$
}

We propose a novel task that identifies cross-document sentence relations from document pairs. Although there are numerous studies that focus on finding sentence relations from just one document or conversation, only few studies are proposed for cross-documents. Examples of cross-document sentence relations are question-answer relations, request-response relations, and so on. Finding such relations will lead to many applications since the cross-document sentence relations are useful to explain document-based conversations on a more fine-grained level. For instance, we can extract communications from cross-documents by accumulating sentences having relations. To detect such relations, we regard this task as the classification problem and employ the conditional random fields. In particular, we modify a previous method that focuses on finding relations from conversations using sentence types to our task. Furthermore, we propose a combined model that simultaneously estimates sentence

†筑波大学システム情報工学研究科コンピュータサイエンス専攻, Department of Computer Science, Graduate school of SIE, University of Tsukuba
types and relations. The experiments are performed on review and reply on an internet service for hotel reservation, and the results show that our proposed model achieves $46.6 \%$ precision and $61.0 \%$ recall, which outperforms previous models.

Key Words: cross-document, sentence dependency, discourse analysis, conditional random fields

## 1 はじめに

今日までに，人間による言語使用の仕組みを解明する試みが単語・文・発話・文書など様々 な単位に注目して行われて来た。特に，これらの種類や相互関係（例えば単語であれば品詞や 係り受け関係，文であれば文役割や修辞構造など）にどのようなものがあるか，どのように利用されているかを明らかにする研究が精力的になされて来た. 計算機が普及した現代では, こ れらを数理モデル化して考えることで自動推定を実現する研究も広く行われており，言語学的 な有用性にとどまらず様々な工学的応用を可能にしている.

例えば, ある一文書内に登場する節という単位に注目すると, 主な研究として Mann \& Thompson による修辞構造理論 (Rhetorical Structure Theory; RST) がある (Mann and Thompson 1987; Mann, Matthiessen, and Thompson 1992). 修辞構造理論では文書中の各節が核 (nucleus) と衛星 (satelite)の 2 種類に分類できるとし, さらに核と衛星の間にみられる関係を 21 種類に, 核 と核の間にみられる関係（多核関係）を 3 種類に分類している。このような分類を用いて，節同士の関係を自動推定する研究も古くから行われている (Marcu 1997; 田村, 和田 1998). さら に，推定した関係を別タスクに利用する研究も盛んに行われている (Marcu 1999; 比留間, 山下，奈良，田村 1999; Marcu，Carlson，and Watanabe 2000; 平尾，西野，安田，永田 2013; Tu， Zhou, and Zong 2013). 例えば, Marcu (1999)・比留間ら (1999) ・平尾ら (2013) は, 節の種類 や節同士の関係を手がかりに重要と考えられる文のみを選択することで自動要約への応用を示 している。また，Marcu ら (2000)・Tuら (2013) は，機械翻訳においてこれらの情報を考慮す ることで性能向上を実現している.

一方, 我々は従来研究の主な対象であった一文書や対話ではなく, ある文書（往信文書）とそ れに呼応して書かれた文書（返信文書）の対を対象とし，往信文書中のある文と返信文書中のあ る文との間における文レベルでの呼応関係（以下，文対応と呼ぶ）に注目する。このような文書対の例として「電子メールと返信」,「電子掲示板の投稿と返信」,「ブログコメントの投稿と 返信」,「質問応答ウェブサイトの質問投稿と応答投稿」,「サービスや商品に対するレビュー投稿とサービス提供者の返答投稿」などがあり，様々な文書対が存在する（なお，本論文におい て文書対は異なる書き手によって書かれたものとする)。具体的に文書対として最も典型的な例 であるメール文書と返信文書における実際の文対応の例を図 1 に示す. 図中の文同士を結ぶ直

図 1 メール文書における文対応の例. 文同士を結ぶ直線が文対応を示している.

線が文対応を示しており，例えば返信文「講義を楽しんで頂けて何よりです。」は往信文「本日 の講義も楽しく拝聴させて頂きました。」を受けて書かれた文である。同様に，返信文「まず、課題提出日ですが…と「失礼しました。」はいずれも往信文「また、課題提出日が…を受け て書かれた文である.

本論文では, 文書レベルで往信・返信の対応が予め分かっている文書対を入力とし, 以上に述 べたような文対応を自動で推定する課題を新たに提案し, 解決方法について検討する. これら 文書対における文対応の自動推定が実現すれば，様々な応用が期待できる点で有用である．応用例について，本研究の実験では「サービスに対するレビュー投稿とサービス提供者の返答投稿」を文書対として用いているため, レビュー文書・返答文書対における文対応推定の応用例 を中心に説明する。

（1）文書対群の情報整理：複数の文書対から, 文対応が存在する文対のみを抽出することで これら文書対の情報整理が可能になる。例えば，「このサービス提供者は（または要望,苦情など）に対してこのように対応しています」といった一覧を提示できる.これを更 に応用すれば, 将来的には FAQの（半）自動生成や, 要望$\cdot$苦情への対応率・対応傾向 の提示などへ繋げられると考えている。

（2）未対応文の検出による返信文書作成の支援：往信文書と返信文書を入力して自動で文対応を特定できるということは，逆に考えると往信文書の中で対応が存在しない文が発見 できることでもある。この推定結果を利用し，ユーザが返信文書を作成している際に「往
信文書中の対応がない文」を提示することで，返信すべき事項に漏れがないかを確認で きる文書作成支援システムが実現できる。このシステムは，レビュー文書・返答文書対 に適用した場合は顧客への質問・クレームへの対応支援に活用できる他, 例えば質問応答サイトのデータに適用した場合は応答作成支援などにも利用できる。

（3）定型的返信文の自動生成：(2) の考えを更に推し進めると，文対応を大量に収集したデー 夕を用いることで，将来的には定型的な返信文の自動生成が可能になると期待できる.大規模な文対応デー夕を利用した自動生成手法は, 例えば Ritter ら・長谷川らが提案し ている (Ritter, Cherry, and Dolan 2011; 長谷川, 鍜治, 吉永, 豊田 2013) が，いずれも 文対応が既知のデータ（これらの研究の場合はマイクロブログの投稿と返信）の存在が 前提である。しかし，実際には文対応が既知のデータは限られており，未知のデー夕に 対して自動生成が可能となるだけ分量を人手でタグ付けするのは非常に高いコストを 要する。これに対し, 本研究が完成すればレビュー文書・返答文書対をはじめとした文対応が未知のデータに対しても自動で文対応を付与できるため, 先に挙げた様々な文書 において往信文からの定型的な返信文の自動生成システムが実現できる。定型的な返信文には，挨拶などに加え，同一の書き手が過去に類似した質問や要望に対して繰り返し 同様の返信をしている場合などが含まれる。

（4）非定形的返信文の返答例提示：(3) の手法の場合, 自動生成できるのは定型的な文に限ら れる。一方, 例えば要望や苦情などの個別案件に対する返答文作成の支援は, 完全な自動生成の代わりに複数の返答例を提示することで実現できると考えている. これを実現 する方法として, 現在返答しようとしている往信文に類似した往信文を文書対のデータ ベースから検索し，類似往信文と対応している返信文を複数提示する手法がある。返信文の書き手は，返答文例の中から書き手の方針と合致したものを利用ないし参考にする ことで返信文作成の労力を削減できる.

一方で，文書対における文対応の自動推定課題は以下のような特徴を持つ.

（1）対応する文同士は必ずしも類似しない：例えば図 1 の例で，往信文「本日の講義も楽し く拝聴させて頂きました。」と返信文「講義を楽しんで頂けて何よりです。」は「講義」と いう単語を共有しているが，往信文「また、課題提出日が…と返信文「失礼しました。」 は共有する単語を一つも持たないにも関わらず文対応が存在する。このように, 文対応 がある文同士は必ずしも類似の表現を用いているとは限らない。そのため, 単純な文の 類似度によらない推定手法が必要となる。

（2）文の出現順序と文対応の出現位置は必ずしも一致しない：例えば図 1 の例で対応が逆転 している（文対応を示す直線が交差している）ように，返信文書の書き手は往信文書の 並びと対応させて返信文書を書くとは限らない. そのため, 文書中の出現位置に依存し ない推定手法が必要となる。
我々は，以上の特徵を踏まえて文対応の自動推定を実現するために，本課題を文対応の有無 を判定する二值分類問題と考える。すなわち，存在しうる全ての文対応（例えば図 1 であれば $6 \times 6=36$ 通り）のそれぞれについて文対応が存在するかを判定する分類器を作成する.

本論文では，最初に Qu \& Liu の対話における発話の対応関係を推定する手法 (Qu and Liu 2012）を本課題に適用する。彼らは文種類（対象が質問応答なので「挨拶」「質問」「回答」な ど）を推定した後に，この文種類推定結果を発話文対応推定の素性として用いることで高い性能で文対応推定が実現したことを報告している。本論文ではこれに倣って文種類の推定結果を 利用した文対応の推定を行うが，我々の対象とする文書対とは次のような点で異なっているた め文種類・文対応の推定手法に多少の変更を加える。すなわち，彼らが対象とする対話では対応関係が有向性を持つが，我々が対象とする文書対では返信文から往信文へ向かう一方向のみ である．また，対話は発話の連鎖で構成されているが，文書対は一組の往信文書・返信文書の 対で構成されている点でも異なる.

更に，我々は文対応の推定性能をより向上させるために，彼らの手法を発展させた新たな推定モデルを提案する，彼らの手法では，文対応の素性に推定された文種類を利用しているが,文種類推定に誤りが含まれていた場合に文対応推定結果がその誤りに影響されてしまう問題が ある。そこで，我々は文種類と文対応を同時に推定するモデルを提案し，より高い性能で文対応の推定が実現できることを示す.

本論文の構成は次の通りである。まず， 2 章で関連研究について概観する。次に， 3 章で文対応の自動推定を行う提案手法について述べる． 4 章では評価実験について述べる． 5 章で本論文 のまとめを行う.

## 2 関連研究

二文書以上の文書間において，文書を跨いだ文同士の関係に踏み込んだ研究は新聞記事を対象 としたものが多い (Radev 2000; 宮部, 高村, 奥村 2005, 2006; 難波, 国政, 福島, 相沢, 奥村 2005). Radev は新聞記事間に観察できる文間関係を「同等 (Equivalence)」「反対 (Contradiction)」な ど 24 種類に分類する Cross-Document Structure Theory を提案した (Radev 2000)。これら文間関係のうち，宮部らは「同等」「推移」関係の特定に (宮部 他 2005,2006$)$, 難波らは「推移」「更新」関係の特定に特化した自動推定手法を提案している (難波 他 2005). これらの各研究で は「同等」「推移」「更新」関係を特定するために文同士が類似しているなどの特徴を利用してい る.これらの研究と我々の研究を比較すると, まず, これらの研究が扱う新聞記事間における 文対応と我々が扱う往信-返信文書間における文対応は異なった傾向を持っている。すなわち,新聞記事では同じ事象に対して複数の書き手が記事を作成したり，事象の経過により状況が異 なったりすることで文書間や文書を跨いだ文間に対応が発生するのに対し，往信-返信文書では

コミュニケーションという目的を達成するために文対応が発生するという違いがある。また,我々が対象としている往信-返信文書対における文対応では，先に見た通り類似しない文同士に も文対応が存在することもあり，対応する文同士が類似していることを前提にせずに推定を行 う必要がある。

新聞記事以外では, 地方自治体間の条例を対象とした研究 (竹中, 若尾 2012), 料理レシピと 対応するレビュー文書を対象とした研究 (Druck and Pang 2012) がある. 竹中・若尾は地方自治体間で異なる条例を条文単位で比較する条文対応表を作成するために，条文間の対応を自動 で推定する手法を提案している (竹中, 若尾 2012). また Druck \& Pang は, レシピに対応する レビュー文書に含まれる作り方や材料に対する改善提案文の抽出を目的とし，その最終過程で 提案文をレシピの手順と対応付ける手法を提案している (Druck and Pang 2012). ただし，推定 するべき対応が類似していることを前提としている（すなわち，竹中・若尾の場合は同一の事柄に関する条例を対応付ける手法であり，Druck \& Pang の場合はレシピ手順とレビュー文を 対応付ける手法である）ため, これらの手法も対応する文の間に同じ単語や表現が出現してい ることを前提としている。

対話を対象とした研究には，Boyer らによる対話における発話対応関係の分析がある (Boyer， Phillips, Ha, Wallis, Vouk, and Lester 2009). 彼女らは，対話における隣接対 (adjacency pair)構造を隠れマルコフモデル (Hidden Markov Model; HMM) を用いてモデル化している。たた し, 彼女らの分析では, 隣接対の場合は多くが位置的に隣接している可能性が高いことを前提 としている ${ }^{1}$.これに対し, 我々の研究の対象である文書対における文対応ではこういった傾向 を利用できないという違いがあるため, 単純に彼女らの分析手法を我々が対象としている文対応に適用することはできない.

我々の研究と最も近い研究として, Qu \& Liu の質問応答ウェブサイトにおける文依存関係 (sentence dependency; 質問に対する回答, 回答に対する解決報告など) を推定する研究がある $(\mathrm{Qu}$ and Liu 2012). 彼らは条件付確率場 (Conditional Random Fields; CRF) (Lafferty, McCallum, and Pereira 2001) による分類器を利用することで, 隠れマルコフモデルよりも高い性能で文依存関係を特定できたとしている。ただし, 彼らの対象としているウェブサイトは図 2 に示すよ うに対話に近い形で問題解決を図るという特徴を持っているため, 我々の対象とする文書対と は若干の違いがある。そこで，本論文では最初に彼らの手法に変形を加えることで，我々の対象である往信-返信文書間の文対応推定が実現できることを示す. 次に, 彼らの手法の中心であ る文種類推定モデルと文対応推定モデルを発展させた文種類・文対応を同時に推定する統合モ デルを提案し，文対応推定が更に高い性能で実現できることを示す.

図 $2 \mathrm{Qu} \& \mathrm{Liu}$ が扱う文依存関係の例

## 3 提案手法

## 3.1 文対応

文対応推定のための提案手法を説明する前に，本論文で扱う文対応について改めて定義する.本研究では，「文書（往信文書）とそれに対する返信文書が与えられた時，ある返信文がある往信文を原因として生起している関係」を文対応と定義し, この関係の有無を推定することを目的とする。なお，文対応は返信文書中の 1 文から，往信文書中の複数の文へ対応することを許 す。また，返信文書中の異なる文から，往信文書中の同一の文への対応も許す.

例えば図 1 の「講義を楽しんでいただけて何よりです。」という返信文は，「本日の講義も楽し く拝聴させて頂きました。」という往信文を原因として書かれた文であるため，文対応を持つ.同様に，返信文「まず、課題提出日ですが...」「失礼しました。」はいずれも往信文「また、課題提出日が…を原因として書かれた文であるため，両方の対とも文対応を持つ.

なお，我々が扱う文対応関係と Qu \& Liu (2012)が扱う文依存関係 (sentence dependency) と は次の点で異なる。すなわち，我々の扱う文対応は返信文から往信文へ向かう一方向のみであ るが，彼らの扱う文依存関係は任意の対話文から対話文への関係を持ちうる²．以降，本論文で は Qu \& Liu が扱う対応関係を文依存関係と呼び, 我々が扱う文対応関係と区別する.

## 3.2 文種類

次に，文対応推定に用いる素性の一つである文種類についても説明する。本研究では，「ある 文がどのような目的で書かれているかによる分類」を文種類と定義する.

どのような文種類の集合を用いるかは対象とする文書によって異なるが，例えば図 1 のよう なメール文書対を対象とする場合は「挨拶」「質問」「謝罪」「回答」などが文種類として考えら れる。一方，質問応答ウェブサイトを対象とした Qu \& Liu は，「質問」「回答」「挨拶」など， 13 種類の文種類を定義している (Qu and Liu 2012). 本研究の実験では, 対象をレビュー文書 とその応答文書としているため, これらの文書における文種類の分類を行っている大沢らの先行研究 (大沢, 郷亜, 安田 2010) を元にして文種類を定義した. 具体的な変更点と文種類につ いては評価実験の章（4 章）で議論する.

## 3.3 因子グラフと $\mathrm{CRF$}

以降の節では，各 CRF モデルの説明に Kschischang らが提案した因子グラフ (factor graph) を用いる (Kschischang, Frey, and Loeliger 2001). そのため, ここで因子グラフについて Sutton \& McCallum (2012) の解説を参考にして簡単に説明する.

因子グラフは, ある複数の変数に依存する関数を一部の変数のみに依存する複数の関数（因子）の積に分解した際に，どのような分解が行われているかを表現する二部グラフである。因子 グラフでは, 因子が依存する変数を正方形の因子ノードロからのリンクによって表す.また,変数のうち観測変数と隠れ変数を区別する必要がある場合は，観測変数を灰色（色付き）ノー ド，隠れ変数を白色（無色）ノードで表す.

実際の因子グラフの例を図 3 に示す. 図 3 は，観測変数 $\boldsymbol{x}$, 隠れ変数 $\boldsymbol{y}$ を数に持つよう なある関数 $F(\boldsymbol{x}, \boldsymbol{y})$ を次のように因数分解することを示している.

$
F(\boldsymbol{x}, \boldsymbol{y})=\prod_{i=1}^{|\boldsymbol{y}|} f_{i}\left(\boldsymbol{x}, y_{i}\right) \cdot \prod_{j=1}^{|\boldsymbol{y}|-1} g_{i}\left(\boldsymbol{x}, y_{j}, y_{j+1}\right)
$

図 3 因子グラフの例. 対数線形モデルにより $P(\boldsymbol{y} \mid \boldsymbol{x})$ をモデル化した場合の Linear-chain CRF に相当 する。

ドの集合 $\mathcal{F}$ ・エッジの集合 $\mathcal{E}$ の 3 つを用いて $\mathcal{G}=(\mathcal{V}, \mathcal{F}, \mathcal{E})$ のように表現する．なお，集合の 表記を簡便にするため次のような記法を導入する。例えば， $\left.\{y_{i}\right.\}_{i=1}^{5}$ のように書いた場合，これ は $\left.\{y_{i} \mid 1 \leq i \leq 5 \wedge i \in \mathbb{N}\right.\}=\left.\{y_{1}, \ldots, y_{5}\right.\}$ を意味する.この記法を用いれば，図 3 の因子グラフ を $\mathcal{G}=(\mathcal{V}, \mathcal{F}, \mathcal{E})$ とすると $\mathcal{V}, \mathcal{F}, \mathcal{E}$ は次のように表現できる.

$
\begin{aligned}
\mathcal{V} & =\{\boldsymbol{x}\} \cup\left.\{y_{i}\right.\}_{i=1}^{5} \\
\mathcal{F} & =\left.\{f_{i}\right.\}_{i=1}^{5} \cup\left.\{g_{j}\right.\}_{j=1}^{4} \\
\mathcal{E} & =\left.\{\left(f_{i}, \boldsymbol{x}\right)\right.\}_{i=1}^{5} \cup\left.\{\left(f_{i}, y_{i}\right)\right.\}_{i=1}^{5} \cup\left.\{\left(g_{j}, \boldsymbol{x}\right)\right.\}_{j=1}^{4} \cup\left.\{\left(g_{j}, y_{j}\right)\right.\}_{j=1}^{4} \cup\left.\{\left(g_{j}, y_{j+1}\right)\right.\}_{j=1}^{4}
\end{aligned}
$

次に，因子グラフに基づいた CRF モデルを構築する方法について説明する．因子グラフ自体は因子が具体的にどのような関数であるかを規定しないが，関数 $F$ を対数線形モデルにより モデル化した $P(\boldsymbol{y} \mid \boldsymbol{x})$ とすると，因子グラフに基づいた CRF モデルが構築できる。具体的に，因子を $\Psi_{a}$, 因子 $\Psi_{a}$ が依存する変数を $\boldsymbol{x}_{a}, \boldsymbol{y}_{a}$ と置くと $P(\boldsymbol{y} \mid \boldsymbol{x})$ は次のようにモデル化される.

$
\begin{aligned}
P(\boldsymbol{y} \mid \boldsymbol{x} ; \boldsymbol{\theta}) & =\frac{1}{Z} \prod_{a} \Psi_{a}\left(\boldsymbol{x}_{a}, \boldsymbol{y}_{a} ; \boldsymbol{\theta}_{a}\right) \\
& =\frac{1}{Z} \prod_{a} \exp \left.\{\sum_{k} \theta_{a k} f_{a k}\left(\boldsymbol{x}_{a}, \boldsymbol{y}_{a}\right)\right.\}
\end{aligned}
$

ここで $Z$ は正規化項, $\theta_{a k}$ は素性関数 $f_{a k}$ に対応した重みとなる. なお, 同様のモデル化を図 3 に行った場合が Linear-chain CRF に相当する.

本論文では, 各モデルは CRF によってモデル化されることとする. 各モデルの因子と変数間の依存関係については，それぞれ元となる因子グラフによって示す.

## 3.4 文対応推定手法の概要

本論文で提案する文対応推定手法は，Qu \& Liu が提案した文依存関係推定手法 (Qu and Liu 2012) を我々の課題に併せて変形を加えた手法と, 彼らの推定モデルを発展させた新たな推定 モデルによる手法の二種類である。ここで最初に, 彼らの手法の概要と我々が提案する手法と の相違点について説明する。

Qu \& Liu の手法では, 文依存関係を推定する問題を系列ラベリング問題と考え, Linear-chain $\mathrm{CRF}$ 又は $2 \mathrm{D} \mathrm{CRF}$ を用いて推定を行う。これは，ある返信文から往信文への依存関係が存在 している時, 同じ返信文から隣接する往信文へも依存する可能性が高いという傾向，または逆 にある往信文へ依存している返信文がある時, 隣接する返信文から同じ往信文へも依存する可能性が高いという傾向を活用するためである。また, 彼らは特に文依存関係分類器の素性に注目し，文の種類を素性として利用することを提案している。これは，例えば「質問」や「要求」 を述べている文は通常「回答」と対応するが「挨拶」とは対応しないなど，文種類が特定でき

れば文依存関係の推定に有用であるという観察に基づく。ただし，このような文種類が予め分 かっている状況は稀であるため, 各発話の種類を推定するための分類器を別途作成する。この 文種類分類器を利用する手法では，与えられた対話文書に対して事前に文種類分類器を適用し て文種類を推定しておき，対話文書と文種類推定結果を文依存関係分類器に入力することで最終的に文依存関係を得る。

我々の課題に合わせて彼らの手法を変形する手法では, 文対応推定問題を系列ラベリング問題 と考える点や文種類を利用する点で同一である，異なるのは，彼らが文種類推定器を一つしか 用意せずにどの発話者による発話文に対しても同じ文種類推定器を用いていたのに対し, 我々 は往信文書・返信文書のそれぞれに対して別の文種類推定器を用意する点である。これは，往信文書・返信文書ではそれぞれに特有な文種類が存在するなどの異なった傾向が存在するとい う仮定に基づく．また，彼らが提案する文対応推定モデルは，「返信文が同じで往信文が隣接す る対応」の連接性を考慮したモデルと「返信文が同じで往信文が隣接する対応」「往信文が同じ で返信文が隣接する対応」双方の連接性を考慮したモデルの二種類であったが，我々は「往信文が同じで返信文が隣接する対応」のみの連接性を考慮したモデルについても検討を加える点 でも異なる.

また，彼らの手法と我々が新たに提案する推定モデルによる手法の違いは，彼らが文種類・文依存関係推定モデルを別々に用意して文種類推定・文依存関係推定の二段階の手順を踏むの に対し, 我々は文種類・文対応推定モデルを統合した一つのモデルで一度に推定する点である。

以降, 3.5 節で $\mathrm{Qu} \& \mathrm{Liu}$ の推定モデルについて説明し, 3.6 節以降で提案手法について順次説明する。

## $3.5 \mathrm{Qu \& \mathrm{Liu}$ による文依存関係推定手法の概要}

Qu \& Liu が提案した対話文書における文依存関係を推定する手法 (Qu and Liu 2012)では,文種類推定器と文依存関係分類器の二種類を用意する。そこで, 最初に文種類推定器について説明し, 次に文依存関係分類器について説明する。ここで，説明のために以下の記号を導入する。

$N$ 対話文の文数

$\boldsymbol{x}$ 対話文の列 $x_{1}, x_{2}, \ldots x_{N}$

$\boldsymbol{t}$ 対話文の種類の列 $t_{1}, t_{2}, \ldots t_{N}$

$y_{i, j}$ 対話文 $x_{i}$ から $x_{j}$ への文依存関係の存在有無（二値）

$\boldsymbol{y}$ 全ての文依存関係 $y_{i, j}$ からなる集合 $\left.\{y_{i, j} \mid 1 \leq i \leq N, 1 \leq j \leq N\right.\}$

ここで， $y_{i, j}$ は対話文 $x_{i}$ から $x_{j}$ の間に文依存関係が存在すれば 1 ，しなければ 0 の二値を取 る変数である ${ }^{3}$.

各文の種類を推定する問題は, 文 $x$ を観測変数, 文種類 $\boldsymbol{t}$ を隠れ変数と考えると, 系列ラべ リング問題とみなすことができる。そこで，彼らは Linear-chain CRF (Lafferty et al. 2001)を 利用することで文種類推定器を実現する.

各文間の文対応を推定する問題も，文 $\boldsymbol{x}$ を観測変数，文依存関係 $\boldsymbol{y}$ を隠れ変数としたラべ リング問題と考えることができる。ここで，予め文種類推定器により推定した文種類 $\hat{t}$ を素性 の一つに投入することで，文種類を考慮した文依存関係の推定を実現する．ただし，文依存関係 $\boldsymbol{y}$ は文種類系列とは異なり二次元の構造を持つため, このままでは一次元の系列を対象とす る Linear-chain CRF を用いることはできない。そこで，彼らは二次元構造の行ごとに順次推定 を行うことで Linear-chain CRF を適用する手法と, 二次元構造を一度に推定できる 2D CRF (Zhu, Nie, Wen, Zhang, and Ma 2005) を適用する手法を提案している.

Linear-chain CRF を繰り返し適用して文依存関係を推定する過程を図 4 に示す.まず最初に注目する文 $x_{k}(1 \leq k \leq N)$ を固定し, $x_{k}$ から全ての $x_{1}, x_{2}, \ldots x_{N}$ への文依存関係 $y_{k}, \bullet(1 \leq \bullet \leq N)$ について考える。これにより， $y_{k}$ ・は一次元の系列となるため, Linear-chain CRF を適用可能 になる。この処理を全ての $x_{k}$ に対して繰り返し適用することで， $\boldsymbol{y}$ 全体の推定が実現する。こ の Linear-chain CRF においては連接確率 $P\left(y_{i, j} \mid y_{i, j-1}, \boldsymbol{x}\right)$ が考慮されることになる。これによ り，依存元が同じで依存先が隣接する $y_{i, j}, y_{i, j-1}$ の片方が依存関係にあればもう片方にも依存関係が存在することが多い傾向を活用できる 4.

図 4 Linear-chain CRF により文依存関係を推定する手順. $\mathrm{k}$ は注目している文の位置を示す.
, y_{i-1, j}$ の連接性についても, Linear-chain CRF を $y_{\bullet}, j$ に順次適用することで考慮でき結果として全体の推定が実現するが，Qu \& Liu はこの場合については検討を行つ ていない (Qu and Liu 2012). 本論文が対象とする文対応推定の際には, この場合に相当する文対応推定器も作成 して性能の比較検討を行う。
}

図 $52 \mathrm{D} \mathrm{CRF}$ の因子グラフ $(\boldsymbol{y}$ が $3 \times 3$ の場合の例. $\boldsymbol{x}$ からすべての各因子へはリンクが接続されるが,図が煩雑になるため描画を省略した)，実線は隣接する $y_{i, j}$ 同士を結ぶ因子に関わる変数に，点線 は一つの $y_{i, j}$ を直接結ぶ因子に関わる変数に接続している.

これに対し，2D CRF を適用して推定する手法では $\boldsymbol{y}$ 全体を一度に推定できる。ここで $2 \mathrm{D}$ CRF について，2D CRF を因子グラフで表現した図 5 を用いて説明する. Linear-chain CRF を繰り返し適用する手法は, 図 5 の因子のうち各 $y$ を横方向 $y_{i, j}, y_{i, j-1}$ を結ぶ因子のみを残し た場合に相当し, 各行 $y_{i}$ ・ごとに推定を行う。一方 $2 \mathrm{D}$ CRF では, 各 $y$ を縦方向 $y_{i, j}, y_{i-1, j}$ に結ぶ因子が加わる。これにより，Linear-chain CRF では依存元が同じで依存先が隣接する $y_{i, j}, y_{i, j-1}$ の連接性のみを考慮していたが，依存先が司じで依存元が隣接する $y_{i-1, j}, y_{i, j}$ につ いての連接性も同時に考慮されるようになる。

$\mathrm{Qu} \& \mathrm{Liu}$ によると，2D CRF による文依存推定モデルの方が Linear-chain CRF を繰り返し 適用する推定モデルよりも性能が向上したことを報告している.

## 3.6 文種類・文依存関係推定モデルの本問題への適用

次に，以上に述べた Qu \& Liuによる文依存関係推定モデル $(\mathrm{Qu}$ and Liu 2012) を, 本論文 の目的である二文書間の文対応推定へ適用する提案手法について説明する. 本提案手法も彼ら と同じく文種類推定器・文対応推定器の二種類を用意して順次推定する手法であり, 以下でそ れぞれについて順に説明する。ここで，説明のために以下の記号を改めて導入する。

$N$ 往信文の文数

$M$ 返信文の文数

$x^{\mathrm{org}}$ 往信文の列 $x^{\mathrm{O}}{ }_{1}, x^{\mathrm{O}}{ }_{2}, \ldots, x^{\mathrm{O}}{ }_{N}$

$\boldsymbol{x}^{\mathrm{rep}}$ 返信文の列 $x^{\mathrm{r}}{ }_{1}, x^{\mathrm{r}}{ }_{2}, \ldots, x^{\mathrm{r}}{ }_{M}$

$\boldsymbol{t}^{\mathrm{org}} \quad$ 各往信文の種類の列 $t^{\mathrm{o}}{ }_{1}, t^{\mathrm{o}}{ }_{2}, \ldots, t^{\mathrm{o}}{ }_{N}$

$\boldsymbol{t}^{\mathrm{rep}}$ 各返信文の種類の列 $t^{\mathrm{r}}{ }_{1}, t^{\mathrm{r}}{ }_{2}, \ldots, t^{\mathrm{r}}{ }_{M}$

$y_{i, j}$ 往信文 $x^{\mathrm{o}}{ }_{i}$ と返信文 $x^{\mathrm{r}}{ }_{j}$ の間における文対応存在の有無（二値）

$\boldsymbol{y}$ 全ての文対応 $y_{i, j}$ からなる集合 $\left.\{y_{i, j} \mid 1 \leq i \leq N, 1 \leq j \leq M\right.\}$

ここで， $y_{i, j}$ は往信文 $x^{\mathrm{o}}{ }_{i}$ から返信文 $x^{\mathrm{r}}{ }_{j}$ の間に文対応関係が存在すれば 1 , しなければ 0 の二値を取る変数である.

各文の種類を推定する問題は，文 $\boldsymbol{x}^{\mathrm{org}}\left(\right.$ 又は $\boldsymbol{x}^{\mathrm{rep}}$ ）を観測変数，文種類 $\boldsymbol{t}^{\mathrm{org}}$ (又は $\boldsymbol{t}^{\mathrm{rep}}$ ）を 隠れ変数とした系列ラベリング問題と考えることができる。ここで，我々は往信文書・返信文書ではそれぞれに特有な文種類が存在し，それぞれの文書で文種類の連接について異なった傾向があると予想した．例えば，一般に往信文書は人に向けて文書を新たに発信する動機である 「質問」や「要望」が含まれる可能性が高いのに対し，返信文書はそれに対する「回答」が含まれ る可能性が高い。そこで, 我々は Qu \& Liu とは異なり, 文種類分類器を往信文書用・返信文書用に別々に用意することにした。なお，いずれの分類器についても Linear-chain CRF (Lafferty et al. 2001）を利用する．以降，これらのモデルをそれぞれ往信文種類モデル・返信文種類モデ ルと呼ぶ.

各文間の文対応を推定する問題は, 二文書 $\boldsymbol{x}^{\mathrm{org}}, \boldsymbol{x}^{\mathrm{rep}}$ を観測変数，文対応 $\boldsymbol{y}$ を隠れ変数と考 えることができる ${ }^{5}$. 本提案手法でも文種類分類器により推定した $\hat{t}^{\mathrm{org}}, \hat{\boldsymbol{t}}^{\mathrm{rep}}$ を素性の一つに投入し，文種類を考慮した文対応の推定を実現する，以下，前節と同様に Linear-chain CRF を繰 り返し適用する手法と，2D CRF を適用する手法について順次説明する。

文対応の推定では，注目する文を固定すれば Linear-chain CRF を繰り返し適用することで文対応 $\boldsymbol{y}$ 全体の推定が可能である。ここで, 往信文 $x^{\mathrm{o}}{ }_{i}$ と返信文 $x^{\mathrm{r}}{ }_{j}$ のどちらを固定し, どちらの 文対応連接性に注目するかで異なった分類器を作成することができる。これに対し，往信文間に おける対応の連接性を考慮する（返信文を固定し， $y \bullet, j$ を順次推定する）手法を L- $\mathrm{CRF}_{\text {org }}$, 返信文間における対応の連接性を考慮する（往信文を固定し， $y_{i}$ ・を順次推定する）手法を L- $\mathrm{CRF}_{\mathrm{rep}}$ とする。それぞれの手法の推定過程を図 6,7 に示す. なお, Qu \& Liu が Linear-chain CRF を 文依存関係推定に用いた場合が，本手法の L-CRF org と対応している.

また，2D CRF を用いた文対応の推定も可能である。この場合，Qu \& Liu の場合とほぼ同様 に推定が可能である。このモデルは，往信文間・返信文間それぞれにおける対応の連接性を同時に考慮できるという特徴を持っている.

## 3.7 文種類・文依存関係推定モデルの統合

以上までに説明した提案手法は Qu \& Liu の手法と同様, 最初に推定した文種類情報を文対応推定の素性として用いる。しかし，文種類を全て正しく推定することは困難であり，推定し た文種類情報にはいくらかの誤りが含まれる可能性が高い。そのため, 文種類推定時の誤りは そのまま文対応推定に影響を与える。そこで，我々は文種類と文対応を推定するモデルを統合

し, 両者を同時に推定することで文対応推定誤りの影響の抑制を狙った統合モデルを提案する.本論文では統合の元となるモデルとして, 文種類推定に Linear-chain CRF を用いた往信文種類モデル・返信文種類モデル，文対応推定に $2 \mathrm{D} \mathrm{CRF}$ を用いた文対応モデルを考える。これら のモデルに対し，文種類変数と文対応変数に依存する因子関数を新たに加えることで，統合モ

デルを実現する。以下，具体的な統合方法について因子グラフを用いながら説明する.

まず最初に, 統合の元となる各モデルの因子グラフを図 8 に示す. ここで, 各モデルの因子 グラフ構造を 3.3 節の記法を用いて記述すると，以下の通りである.

## 往信文種類モデル

往信文種類 $\boldsymbol{t}^{\mathrm{org}}$ である. 観測変数と隠れ変数を結ぶ因子を $f^{o}{ }_{i}$, 隠れ変数同士を結ぶ 因子を $g^{o}{ }_{j}$ とする $(1 \leq i \leq N, 1 \leq j \leq N-1)$. モデルの因子グラフを $\mathcal{G}_{\text {otype }}=$ $\left.\{\mathcal{V}_{\text {otype }}, \mathcal{F}_{\text {otype }}, \mathcal{E}_{\text {otype }}\right.\}$ とすると, $\mathcal{V}_{\text {otype }}, \mathcal{F}_{\text {otype }}, \mathcal{E}_{\text {otype }}$ はそれぞれ以下の通りである. 因子グラフを図 8 (左) に示す.

$
\begin{aligned}
\mathcal{V}_{\text {otype }}= & \left.\{\boldsymbol{x}^{\text {org }}\right.\} \cup\left.\{t^{o}{ }_{i}\right.\}_{i=1}^{N} \\
\mathcal{F}_{\text {otype }}= & \left.\{f^{o}{ }_{i}\right.\}_{i=1}^{N} \cup\left.\{g^{o}{ }_{j}\right.\}_{j=1}^{N-1} \\
\mathcal{E}_{\text {otype }}= & \left.\{\left(f^{o}{ }_{i}, \boldsymbol{x}^{\text {org }}\right)\right.\}_{i=1}^{N} \cup\left.\{\left(f^{o}{ }_{i}, t^{o}{ }_{i}\right)\right.\}_{i=1}^{N} \\
& \cup\left.\{\left(g^{o}{ }_{j}, \boldsymbol{x}^{\text {org }}\right)\right.\}_{j=1}^{N-1} \cup\left.\{\left(g^{o}{ }_{j}, t^{o}{ }_{j}\right)\right.\}_{j=1}^{N-1} \cup\left.\{\left(g^{o}{ }_{j}, t^{o}{ }_{j+1}\right)\right.\}_{j=1}^{N-1}
\end{aligned}
$

## 返信文種類モデル

Linear-chain CRF により返信文種類を推定する．観測変数は往信文 $\boldsymbol{x}^{\mathrm{rep}}$ ，隠れ変数は 往信文種類 $\boldsymbol{t}^{\mathrm{rep}}$ である. 観測変数と隠れ変数を結ぶ因子を $f^{r}{ }_{i}$, 隠れ変数同士を結ぶ 因子を $g^{r}{ }_{j}$ とする $(1 \leq i \leq M, 1 \leq j \leq M-1)$. モデルの因子グラフを $\mathcal{G}_{\mathrm{rtype}}=$ $\left.\{\mathcal{V}_{\text {rtype }}, \mathcal{F}_{\text {rtype }}, \mathcal{E}_{\text {rtype }}\right.\}$ とすると, $\mathcal{V}_{\text {rtype }}, \mathcal{F}_{\text {rtype }}, \mathcal{E}_{\text {rtype }}$ はそれぞれ以下の通りである. 因子

図 8 統合前のモデル（往信文・返信文が共に 2 文の場合． $\boldsymbol{x}$ から各因子への接続は省略している）．左 から順に，往信文種類モデル，文対応モデル $(2 \mathrm{D} \mathrm{CRF})$, 返信文種類モデル.

グラフを図 8（右）に示す.

$
\begin{aligned}
\mathcal{V}_{\text {rtype }}= & \left.\{\boldsymbol{x}^{\text {rep }}\right.\} \cup\left.\{t^{r}{ }_{i}\right.\}_{i=1}^{M} \\
\mathcal{F}_{\text {rtype }}= & \left.\{f^{r}{ }_{i}\right.\}_{i=1}^{M} \cup\left.\{g^{r}{ }_{j}\right.\}_{j=1}^{M-1} \\
\mathcal{E}_{\text {rtype }}= & \left.\{\left(f^{r}{ }_{i}, \boldsymbol{x}^{\text {rep }}\right)\right.\}_{i=1}^{M} \cup\left.\{\left(f^{r}{ }_{i}, t^{r}{ }_{i}\right)\right.\}_{i=1}^{M} \\
& \cup\left.\{\left(g^{r}{ }_{j}, \boldsymbol{x}^{\text {rep }}\right)\right.\}_{j=1}^{M-1} \cup\left.\{\left(g^{r}{ }_{j}, t^{r}{ }_{j}\right)\right.\}_{j=1}^{M-1} \cup\left.\{\left(g^{r}{ }_{j}, t^{r}{ }_{j+1}\right)\right.\}_{j=1}^{M-1}
\end{aligned}
$

## 文対応モデル

2D CRF により文対応を推定する．観測変数は往信文 $\boldsymbol{x}^{\mathrm{org}}$ 及び返信文 $\boldsymbol{x}^{\mathrm{rep}}$ (これらをまと めて $\boldsymbol{x}$ とする），隠れ変数は文対応 $\boldsymbol{y}$ である．観測変数と隠れ変数を結ぶ因子を $f_{i, j}$, 隠れ 変数同士を結ぶ因子のうち，往信文を固定して隣接する返信文への対応間を考慮する $\left(y_{i, j}\right.$ を横に結ぶ）因子を $g_{k, l}$, 返信文を固定して隣接する往信文からの対応間を考慮する $\left(y_{i, j}\right.$ を縦に結ぶ）因子を $h_{k, l}$ とする $(1 \leq i \leq N, 1 \leq j \leq M, 1 \leq k \leq N-1,1 \leq l \leq M-1)$.因子グラフを図 8 (中央) に示す.

モデルの因子グラフを $\mathcal{G}_{\text {relation }}=\left.\{\mathcal{V}_{\text {relation }}, \mathcal{F}_{\text {relation }}, \mathcal{E}_{\text {relation }}\right.\}$ とすると,

$\mathcal{V}_{\text {relation }}, \mathcal{F}_{\text {relation }}, \mathcal{E}_{\text {relation }}$ はそれぞれ以下の通りである.

$
\begin{aligned}
& \mathcal{V}_{\text {relation }}=\{\boldsymbol{x}\} \cup\left.\{y_{i, j}\right.\}_{i=1, j=1}^{i=N, j=M} \\
& \mathcal{F}_{\text {relation }}=\left.\{f_{i, j}\right.\}_{i=1, j=1}^{i=N, j=M} \cup\left.\{g_{k, l}\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \cup\left.\{h_{k, l}\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \\
& \mathcal{E}_{\text {relation }}=\left.\{\left(f_{i, j}, \boldsymbol{x}\right)\right.\}_{i=1, j=1}^{i=N, j=M} \cup\left.\{\left(f_{i, j}, y_{i, j}\right)\right.\}_{i=1, j=1}^{i=N, j=M} \\
& \cup\left.\{\left(g_{k, l}, \boldsymbol{x}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \cup\left.\{\left(h_{k, l}, \boldsymbol{x}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \\
& \cup\left.\{\left(g_{k, l}, y_{k, l}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \cup\left.\{\left(g_{k, l}, y_{k, l+1}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \\
& \cup\left.\{\left(h_{k, l}, y_{k, l}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1} \cup\left.\{\left(h_{k, l}, y_{k+1, l}\right)\right.\}_{k=1, l=1}^{k=N-1, l=M-1}
\end{aligned}
$

次に，以上の 3 モデルを統合した新たな提案モデルについて説明する。このモデルでは，文種類・文対応推定を同一のモデルで扱うために，新たに二文の文種類変数と，それと対応する 文対応変数に依存する因子関数 $F_{i, j}(1 \leq i \leq N, 1 \leq j \leq M)$ を新たに加える。これにより，往信文 $x^{\mathrm{o}}{ }_{i}$ と返信文 $x^{\mathrm{r}}{ }_{j}$ に対応する往信文種類 $t^{\mathrm{o}}{ }_{i} \cdot$ 返信文種類 $t^{\mathrm{r}}{ }_{j} \cdot$ 文対応 $y_{i, j}$ が非独立的に扱 われるようになり，文種類・文対応を同時に推定を行うことが可能になる. 提案手法全体のグ ラフ構造を図 9 に示す。因子グラフ構造を具体的な式で記述すると，以下の通りである。以下，必要に応じて統合したモデルを combine と呼ぶ.

## 統合モデル (combine)

観測変数は往信文 $\boldsymbol{x}^{\mathrm{org}}$ 及び返信文 $\boldsymbol{x}^{\mathrm{rep}}$ (これらをまとめて $\boldsymbol{x}$ とする），隠れ変数は往

図 9 統合後のモデル (combine; 往信文・返信文が共に 2 文の場合. $\boldsymbol{x}$ から各因子への接続は省略して いる)．実線は新たに加えた因子を結ぶリンク。

$(1 \leq i \leq N, 1 \leq j \leq M)$. その他の因子は統合前の各モデルと同様である.

モデルの因子グラフを $\mathcal{G}_{\text {combine }}=\left.\{\mathcal{V}_{\text {combine }}, \mathcal{F}_{\text {combine }}, \mathcal{E}_{\text {combine }}\right.\}$ とすると,

$\mathcal{V}_{\text {combine }}, \mathcal{F}_{\text {combine }}, \mathcal{E}_{\text {combine }}$ はそれぞれ以下の通りである（新たに加わった因子に関わる 部分を下線によって強調している)，因子グラフを図 9 に示す.

$
\begin{aligned}
\mathcal{V}_{\text {combine }}= & \{\boldsymbol{x}\} \cup\left.\{t^{o}{ }_{i}\right.\}_{i=1}^{N} \cup\left.\{t^{r}{ }_{i}\right.\}_{j=1}^{M} \cup\left.\{y_{i, j}\right.\}_{i=1, j=1}^{i=N, j=M} \\
\mathcal{F}_{\text {combine }}= & \mathcal{F}_{\text {otype }} \cup \mathcal{F}_{\text {rtype }} \cup \mathcal{F}_{\text {relation }} \cup \underline{\left.\{F_{i, j}\right.\}_{i=1, j=1}^{i=N, j=M}} \\
\mathcal{E}_{\text {combine }}= & \mathcal{E}_{\text {otype }} \cup \mathcal{E}_{\text {rtype }} \cup \mathcal{E}_{\text {relation }} \\
& \cup\left.\{\left(F_{i, j}, \boldsymbol{x}\right)\right.\}_{i=1, j=1}^{i=N, j=M} \cup\left.\{\left(F_{i, j}, t^{\mathrm{o}}{ }_{i}\right)\right.\}_{i=1, j=1}^{i=N, j=M} \cup\left.\{\left(F_{i, j}, t^{\mathrm{o}}{ }_{j}\right)\right.\}_{i=1, j=1}^{i=N, j=M}
\end{aligned}
$

なお, Linear-chain CRF などでは各隠れ変数の周辺確率 $P(y \mid \mathbf{x})$ を Forward-Backward ア ルゴリズムにより効率的に求めることができるが，統合モデルのように閉路を含む因子グラ フ上の CRF には適用することができない. そのため, Tree Based reParameterization (TRP) (Wainwright, Jaakkola, and Willsky 2001) などにより近似的に求める必要がある.

## 4 評価実験

## 4.1 実験条件

実験には「楽天データ公開6」に収録されている楽天トラベル7 のレビューを用いた。楽天ト ラベルのレビューでは，宿泊施設に対するユーザのレビュー文書に対して宿泊施設提供者が返

答することによって文書対が構成されている。典型的な文書対と文対応を示した例を図 10 に 示す.

実際には楽天トラベルのレビュー 348,564 件のうち，レビュー文書・応答文書の双方が存在 する 276,562 件からランダムサンプリングした 1,000 文書対を用いた。この各文書を簡易的な ヒューリスティックによって文単位に分割し，レビュー文 4,813 文・応答文 6,160 文を得た。こ の 1,000 文書対に対して 5 分割交差検定を適用して評価を行う.

宿泊予約サイトの文種類の定義は，レビュー文書・応答文書ごとに文種類の分類に詳しい大沢らの先行研究を参考にした (大沢 他 2010)，大沢らは本実験と同じウェブサイトである楽天 トラベルの「クチコミ・お客さまの声」を分析し，レビュー文を 8 種類，応答文を 14 種類に分類している。本研究では文種類が特定できれば文対応の特定が容易になるよう，レビュー文を 12 種類，返答文を 20 種類に再分類した 8 . この分類を表 1 及び 表 2 に示す.また，大沢らの 分析からの主な変更点とその理由を以下に示す.

(1)レビュー文種類一＜ポジ／ネガ感想＞の追加：一文にポジティブ・ネガティブな感想 を双方含むレビュー文は，複数の応答文と対応することがあるため.

（2） 応答文種類 $＜$ ＼cjkstart対応明示＞＜検討明示＞の具体性による細分化：具体性のある対応・

図 10 宿泊予約ウェブサイトのレビュー・応答文書における文対応の例

表 1 レビュー文書を構成する文の種類（大沢らによる分類を参考に再構成）

 & 4 月 2 日 (金)、3 日（土）の 1 泊 2 日で家族 5 人で宿泊しました。 \\

検討明示文はそれぞれレビュー文で書かれた一つの事情と対応するが，抽象的なものは レビュー文で書かれた複数の事情と対応することがあるため.

以上の文種類の定義に基づき，人手で文種類及び文対応の有無をタグ付けした。その結果, 1,000 文書対全体では 4,492 通りの文対応が得られた。また, 文種類について, 各文種類の出現数と各文種類ごとに文対応がどの程度存在するかを調査したデータを表 3,4 に示す 9 . 表中の 「対応 (平均数)」は一文から見たときの平均対応文数を示しており，「対応（存在率）」は一つ でも対応が存在する割合を示している．表 3,4 より，例えばレビュー文種類では<ネガティブ 感想 $>$ や＜要求・要望 $>$ が, 応答文種類では $<$ お詫び $>$ や $<$ 具体的対応明示 $>$ などの文種類で対応存在率が高いなど，文種類によって対応の平均数や対応存在率が大きく異なることが 分かる。

次に，文対応が交差する割合を示す。交差割合の計算は，各文書対において「文書対内にお いて交差を持つ文対応の数／文書対内における全ての文対応の数」により求めた．結果, 交差

表 2 応答文書を構成する文の種類（大沢らによる分類を参考に再構成）

 & この度は当施設をご利用いただきましてありがとうございます。 \\

表 3 レビュー文の各文ごとの対応数・対応存在率

 &  \\

感謝・応援 & 121 & 0.09 & $9.09 \%$ \\
プラン名 & 196 & 0.01 & $0.51 \%$ \\
再泊・推薦意向 & 382 & 0.20 & $14.40 \%$ \\
不再泊・不薦意向 & 16 & 0.13 & $12.50 \%$ \\
ポジティブ感想 & 2,263 & 0.88 & $62.48 \%$ \\
ポジ/ネガ感想 & 86 & 1.78 & $76.74 \%$ \\
ニュートラル感想 & 72 & 0.26 & $20.83 \%$ \\
ネガティブ感想 & 816 & 1.97 & $83.70 \%$ \\
要求・要望 & 260 & 1.56 & $79.62 \%$ \\
情報追加 & 71 & 0.34 & $22.54 \%$ \\
個別事情の説明 & 129 & 0.57 & $37.21 \%$ \\
その他 & 15 & 0.07 & $6.67 \%$ \\

表 4 応答文の各文ごとの対応数・対応存在率

 &  \\

投稿御礼 & 324 & 0.04 & $1.54 \%$ \\
結びでの感謝 & 88 & 0.00 & $0.00 \%$ \\
心掛け・決意 & 407 & 0.30 & $17.69 \%$ \\
再泊願い & 1,187 & 0.03 & $2.27 \%$ \\
署名・フッター & 625 & 0.00 & $0.00 \%$ \\
定型的挨拶 & 32 & 0.09 & $6.25 \%$ \\
ほめへ感謝 & 623 & 2.26 & $97.59 \%$ \\
お詫び & 365 & 2.27 & $96.99 \%$ \\
恥じ入り & 10 & 2.00 & $100.00 \%$ \\
提案・指摘感謝 & 80 & 1.70 & $90.00 \%$ \\
事実述べ & 128 & 1.83 & $99.22 \%$ \\
具体的対応明示 & 131 & 1.83 & $100.00 \%$ \\
抽象的対応明示 & 86 & 2.86 & $98.84 \%$ \\
具体的検討明示 & 26 & 1.65 & $100.00 \%$ \\
抽象的検討明示 & 86 & 1.97 & $97.67 \%$ \\
対処明示 & 102 & 1.47 & $99.02 \%$ \\
了承願い & 20 & 1.55 & $100.00 \%$ \\
対話 & 152 & 0.61 & $51.32 \%$ \\
情報追加 & 613 & 0.99 & $80.10 \%$ \\
その他 & 25 & 0.60 & $36.00 \%$ \\

割合の平均は 0.249 であることから, 本データにおいても文の出現順序と文対応の出現位置は 必ずしも一致しないことが分かる.

最後に，文対応の有無別にコサイン類似度の分布を表したヒストグラムを図 11,12 に示す （なお，コサイン類似度が 0.3-1.0である文対応の割合は少なかったため省略している）。なお, コサイン類似度は，各文における stop-word を除く単語の出現頻度を値に持つべクトルを用い て計算した値である。文対応を持つ文間の方が比較的高いコサイン類似度が高い傾向がある一方，文対応が存在する文対のうち $53.56 \%$ はコサイン類似度が 0 であった。そのため，本デー 夕においても対応する文同士は必ずしも類似しないことが分かる.

実験で比較する手法は次の 5 つである。まず, 3.6 節で説明した $\mathrm{L}_{\text {- }} \mathrm{CRF}_{\text {org }}, \mathrm{L}_{\mathrm{C}} \mathrm{CRF}_{\mathrm{rep}}, 2 \mathrm{D} \mathrm{CRF}$ の 3 種類を用いる。また， 3.7 節 で説明した統合モデル combine を用いる。加えて，系列ラべ リング問題ではなく二値分類問題と考えるモデルとしてロジスティック回帰 (Logistic) でも性能を調査する．ロジスティック回帰は， L-CRF や 2 D CRF において隣接する出力変数間の依存関係を考慮しないモデルに相当する.

図 11 コサイン類似度の分布（文対応なし）

図 12 コサイン類似度の分布（文対応あり）

CRF の各モデルのパラメータ学習・利用には MALLET 2.0.7 (McCallum 2002) 中の GRMM (Sutton 2006) を用いた. GRMM に用いたパラメータはデフォルト（TRP の最大 iteration 回数 1,000 回, TRP の収束判定用の値 0.01) とし, 周辺確率の計算には TRP (Wainwright et al. 2001)を利用した。なお, GRMM は CRF 学習パラメータの正則化に L2 正則化 (Chen and Rosenfeld 1999) を利用している。また，ロジスティック回帰のパラメータ学習・利用には scikitlearn 0.15.1 (Pedregosa, Varoquaux, Gramfort, Michel, Thirion, Grisel, Blondel, Prettenhofer, Weiss, Dubourg, Vanderplas, Passos, Cournapeau, Brucher, Perrot, and Duchesnay 2011) を用 い，正則化には L2 正則化を利用した。

文種類の推定には, 文を構成する unigram（単語の表層形）を素性として用いる。また, 文対応の推定, 及び combine モデルにおいて新たに追加した因子には以下の素性を用いる。なお,単語分割には MeCab 0.994 (Kudo, Yamamoto, and Matsumoto 2004) を利用した.

$\cdot$レビュー文を構成する unigram
- 応答文を構成する unigram

・レビュー文・応答文のコサイン類似度（0１の値）

・ 予め文種類モデルで推定したレビュー文・応答文の種類 (combine モデル以外10)

また, unigram 素性及びコサイン類似度の計算に利用する単語からは予め stop-word を除去し ており11, 1,000 文書対全体では 9,300 種類の単語が存在した。

文対応推定性能の評価は, 適合率 (Precision)・再現率 (Recall), 及びそれらの調和平均であ る F 値から行う。すなわち，考えうる全ての文対応の可能性から正しい文対応を探す課題とみ なし, 次の式で計算する。

$
\begin{aligned}
\text { Recall } & =\frac{\text { 正しく推定できた対応数 }}{\text { 評価データ中に存在する文対応数 }} \\
\text { Precision } & =\frac{\text { 正しく推定できた文対応数 }}{\text { システムが文対応有りと出力した文対応数 }}
\end{aligned}
$

本実験では，以下に説明する手法により適合率・再現率を調整し，これらの性能がどのよう に変化するかを調査する。具体的には，文同士が対応する確率 $P\left(y_{i, j}=1\right)$ と対応しない確率 $P\left(y_{i, j}=0\right)$ の比率を取り, 閾値を与えて閾値以上か否かで文対応の有無の出力を変更する. す なわち, 文対応 $y_{i, j}$ の最終的な出力 $\hat{y}_{i, j}$ は閾值 $\alpha$ を用いて次の式 (9) のようにする.

$
\hat{y_{i j}}= \begin{cases}1 & \text { if } \log \frac{\mathrm{P}\left(\mathrm{y}_{\mathrm{i}, \mathrm{j}}=1 \mid \mathbf{x}\right)}{\mathrm{P}\left(\mathrm{y}_{\mathrm{i}, \mathrm{j}}=0 \mid \mathbf{x}\right)}>\alpha \\ 0 & \text { otherwise }\end{cases}
$

## 4.2 実験結果と考察

実験結果を表 5 に示す。各数値は適合率・再現率を調整した際に学習データにおいて $\mathrm{F}$ 値が 最大となる点を用い，5 分割交差検定でのマイクロ平均値を計算した数値である。なお，表 5 に 示す結果の F 值に対してブートストラップ検定で得られた $\mathrm{p}$ 值を Holm 法 (Holm 1979) によっ て調整した有意水準と比較することで多重比較を行い, 統合モデル combine は他手法全てに対 して統計的有意差があることを確認している（有意水準 5\%）１．併せて，間値を変化させた際 の Precision-Recall 曲線を図 13 に示す.

表 5 から，統合モデル combine は文種類・文対応を別々に推定する各手法よりも高い性能と なった. また, 図 13 より中程度の再現率 (Recall: $0.25 \sim 0.75$ ) でも combine は概ね他手法より も高い適合率であり，多くの場合において高い性能であったといえる.

一方で, 低再現率 (Recall: 0.0～0.25) では, 中再現率で高い適合率であった combine よりも ロジスティック回帰や $\mathrm{L}_{\text {- CRF }}^{\text {rep }}$ の方が高い性能であった.この原因を調べるため, 低再現率 と中再現率においてどのような文対応が推定できているかをコサイン類似度の観点から調査し た. ここで, 各 Recall 值の性能時において推定できた全ての文対応に対しコサイン類似度を計

表 5 実験結果（分割交差検定での $\mathrm{F}$ 值最大点におけるマイクロ平均値）

算し，平均を取った値の変化をグラフにした図を図 14 に示す。図 14 より，いずれの手法にお いても低い再現率値においてはコサイン類似度の平均が高く, 徐々にコサイン類似度の平均は 下がって行くことが分かる。中でも combine は低再現率においてコサイン類似度の平均が他手法に比較すると特に低いことから，コサイン類似度の重要性を低く見ているために高類似度の 文間に見られる文対応を見落としていると考えている ${ }^{13}$.これに対しては, combine では他の

## Method
- - Logistic

-- - L-CRF (org)

..... L-CRF (rep)
- 2D-CRF

— combine

図 13 実験結果の Precision-Recall 曲線

## Method
- - Logistic

--$\cdot$ L-CRF (org)

..... L-CRF (rep)
- $2 \mathrm{D}-\mathrm{CRF}$
- combine

図 14 平均コサイン類似度値-Recall 曲線. 各 Recall 値において推定された全ての文対応に対しコサイ ン類似度を計算し，平均を取った値の変化を示す.

手法よりも単純な単語マッチなどでは推定が困難な文対応もある程度発見できるという特徴を 持つことでもあるため，コサイン類似度の値によって推定手法を切り替えるなどで様々な文対 にも対応可能になると考えている。すなわち，コサイン類似度が高い文対ではロジスティック 回帰や L-CRF rep など，低い文対では combine を用いることで， より推定性能が向上すると考 えている。

次に, combine モデルにおける文種類ごとの推定性能を表 6,7 に示す 14 . いずれの文書を基準にしても文種類によって性能に大きな差があるが，この主な理由は学習デー夕量の差による ものと考えている。すなわち，一部の文種類はほとんど文対応を持たないことや，そもそも当該文種類を持つ文の出現回数が少ないことに起因して学習が難しくなっている．特に前者につ いては，例えばレビュー文種類 $<$ 感謝・応援 $><$ プラン名＞や応答文種類 $<$ 投稿御礼 $>$ につ

表 6 提案モデル combine におけるレビュー文種類ごとの文対応推定性能（F 値最大点）

表 7 提案モデル combine における応答文種類 ごとの文対応推定性能（ $\mathrm{F}$ 値最大点）

$ 值が「一」となっている文種類（＜定型的挨拶〉）は推定結果が全て false-positive であったものである.
}

いて表 3, 4 を見ると，登場する回数は多いものの文対応を持つものは極めて少ないことが分か る.これらの文種類については再現率が高いものの適合率が極めて低いことから，過剰に対応有りと推定してしまっていることが分かる。このように対応する可能性が低い文種類について は，推定後に予め人手で作成したルールによりフィルタリングするなどにより解決できると考 えている。

次に，実際の combine モデルの出力例を図 15 に示す（表 5 に示す $\mathrm{F}$ 値最大点における出力結果)。図中の実線が推定によって得られた正しい文対応を示し，実線に $\times$ 記号があるものは 対応有りと推定されたが実際には対応していないもの，破線は対応無しと推定されたが実際に は対応しているものを示す.

図 15 左側は誤りなく文対応を推定できた例である。例えばレビュー文「フロントの係の方 や…「駅から歩いて 5 分程‥はいずれも対応先の応答文「また、温かな嬉しいお言葉…と 共通する内容語が存在しないが，正しく文対応が推定できている。これは，それぞれの文種類 をくポジティブ感想＞＜ほめへの感謝＞と正しく推定できており，加えて「気持ちよく」「お いしい」「便利」といった語が現れる文と「御礼」といった言葉が現れる文の間には対応する可能性が高いといった傾向をうまく学習できたことによると考えている.

また，図 15 右側は誤った推定が含まれている例である。例えばレビュー文「夜遅かったの で…は応答文「また、フロントスタッフに対しても…と対応していると推定して誤ってい

図 15 combine モデルによる推定例. 実線は対応有りと推定された正しい文対応を示す. 実線に $\times$ 記号 があるものは対応有りと推定されたが実際には対応していないもの，破線は対応無しと推定され たが実際には対応しているものを示す.

る。これは逆に，文種類がそれぞれ＜ポジティブ感想＞＜ほめへの感謝＞であることや，レ ビュー文中に「チェックアウト」が，応答文中に「フロント」「スタッフ」などの語が出現する と対応しやすいという傾向に影響されているためであると考えている。この場合，それぞれの 文で触れられている対象が，チェックアウト時刻そのものなのか，チェックアウト時のスタッ フの対応なのかを区別できればより正確な推定が可能になる。同様に，「夜遅かったので…」に 対して応答文「当ホテルでは…「クリリマスシーズン…の間の文対応を発見することができ なかった問題についても，それぞれの文でチェックアウト時刻に触れられていることを特定で きれば対応を発見できる可能性が向上すると考えている.

最後に, combine モデルと $2 \mathrm{D}$ CRF モデルによる出力の比較例を図 16 に示す（表 5 に示す F 值最大点における出力結果)。この例では, $2 \mathrm{D}$ CRF モデルでは誤って対応ありと出力したぺア に対しても， combine モデルでは正しく対応がないと出力できている．2D CRF モデルが誤っ た理由の一つとして，文対応推定の前提処理である文種類推定の誤りによる影響があると考え ている．この例では，応答文「今回はサラダのある…及び「次回宿泊時には…に対して文種類 < 情報追加＞が誤って推定されているが（正しくは＜お詫び＞及び＜対話＞)，＜情報追加＞は関連した語が登場するレビュー文と対応を持ちやすいという傾向があるため，過剰に 対応有りと出力されていると考えている。これに対し, combine モデルでは文種類と文対応を 同時に推定するため, 事前の文種類推定における誤りに影響されるといったことはないため正 しく推定できている.

図 16 combine モデルと 2D CRF モデルの推定例. 左が combine, 右が 2D CRF.

## 5 まとめと今後の課題

本論文では, 対応する二文書間において文対応を自動で推定するタスクを提案した．また，対話文書を対象とした従来手法を本タスクに適用すると共に, 文種類と文対応を推定するモデル を統合した新しいモデルを提案した，実際に文対応の推定性能について比較実験を行い，中再現率において統合モデルは他モデルよりも高い適合率であること, 特に $\mathrm{F}$ 値最大点では最も高 い F 値であることを確認した.

今後の課題として，以下の項目を考えている.

本論文の実験では，文対応推定に利用した素性は適用する文書対の分野に依存しないものに 限られていた。 そのため, 文書対によっては分野に合わせた素性を投入することで性能が向上 する可能性がある，特に，宿泊予約サイトのレビュー・応答文書対に合わせた素性を検討する ことを考えている。

また, 本研究では二文書の対に限っていたが，メールや掲示板等では「返信の返信」のよう に三文書以上が関係する場合もある。ここで，往信文書を文書 $A$, 文書 $A$ に対する返信文書を 文書 $\mathrm{B}$ ，文書 $\mathrm{B}$ に対する再返信文書を文書 $\mathrm{C}$ とした場合，文書 $\mathrm{B}$ では文書 $\mathrm{A}$ に対する返信文 に加え，文書 $\mathrm{C}$ の往信文が登場するという性質を持つ。例えば，文書 Bにおける回答は文書 $\mathrm{A}$ と対応し, 文書 $\mathrm{B}$ における質問は文書 $\mathrm{C}$ と対応する。また, 文書 $\mathrm{B}$ における回答文に対して 文書 C でフィードバックが行われている場合など, 文書 $\mathrm{B}$ のある一文が文書 $\mathrm{A}, \mathrm{C}$ 双方と関係 を持つ場合もある。この場合, 文書 $\mathrm{A}-$ 文書 $\mathrm{B}$ 及び文書 $\mathrm{B}-$ 文書 $\mathrm{C}$ のそれぞれで本研究での提案手法を繰り返し適用する素朴な方法も考えられる。この際, 文書 B の文種類をそれぞれの推定手順で返信文種類集合, 往信文種類集合に切り替えて別々に推定するという方法もあるが，新 たに往信文書・返信文書のいずれでもあるような文書のための文種類を新たに定義するという 方法もある. 更に, 繰り返し推定するのではなく, 文書 $A, B, C$ の文種類・文対応を同時に推定 するモデルに拡張するという方法も考えられる，加えて，本研究で扱う文対応の定義からは外 れるものの, 文書 Bを経由せずに文書 A と文書 Cで関連しているといった, 三文書以上が関わ ることで初めて観察される関係もある。例えば，文書 A でした質問のいくつかが文書 B で答え られなかった場合に, 文書 C で再度質問に触れる場合などがある. 今後, 三文書以上になるこ とで新たに発生する事象についてはこのような関係も含めて分析を行い, 三文書以上における 文対応推定に最適な手法を検討したいと考えている.

加えて, 本論文の冒頭で紹介したような応用についても取り掛かりたいと考えている。今回対象となったデータセットであるレビュー文書・応答文書対についても様々な応用が考えられ るため, 応答文書の書き手の支援にとどまらず， ウェブサイトの利用者全体にとって有用なア プリケーションも実現したいと考えている.

## 謝 辞

本論文の実験にあたり，楽天データ公開において公開された楽天トラベル「お客さまの声 $\cdot$ クチコミ」データを使用させて頂きました. データを公開して頂きました楽天株式会社に感謝致します。

## 参考文献

Boyer, K. E., Phillips, R., Ha, E. Y., Wallis, M. D., Vouk, M. A., and Lester, J. C. (2009). "Modeling Dialogue Structure with Adjacency Pair Analysis and Hidden Markov Models." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT-2009), pp. 49-52.

Chen, S. F. and Rosenfeld, R. (1999). "A Gaussian Prior for Smoothing Maximum Entropy Models." Tech. rep., Carnegie Mellon University.

Druck, G. and Pang, B. (2012). "Spice it Up?: Mining Refinements to Online Instructions from User Generated Content." In Proceedings of the 50th Annual Meeting of the Association of Computational Linguistics (ACL-2012), pp. 545-553.

長谷川貴之, 鍜治伸裕, 吉永直樹, 豊田正史 (2013). 聞き手の感情を喚起する発話応答生成. 言語処理学会第 19 回年次大会発表論文集, pp. 150-153.

平尾努, 西野正彬, 安田宜仁, 永田昌明 (2013). 談話構造に基づく単一文書要約. 言語処理学会第 19 回年次大会発表論文集, pp. 492-495.

比留間正樹，山下卓規，奈良雅雄，田村直良 (1999). 文章の構造化による修辞情報を利用した 自動抄録と文章要約. 自然言語処理, 6 (6), pp. 113-129.

Holm, S. (1979). "A Simple Sequentially Rejective Multiple Test Procedure." Scandinavian Journal of Statistics, 6 (2), pp. 65-70.

Kschischang, F. R., Frey, B. J., and Loeliger, H. A. (2001). "Factor Graphs and the Sum-product Algorithm." IEEE Transactions on Information Theory, 47 (2), pp. 498-519.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Lin, D. and Wu, D. (Eds.), Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th Interna-
tional Conference on Machine Learning (ICML-2001), pp. 282-289.

Mann, W. C., Matthiessen, C. M., and Thompson, S. A. (1992). "Rhetorical Structure Theory and Text Analysis." In Mann, W. C. and Thompson, S. A. (Eds.), Discourse Description: Diverse Linguistic Analyses of a Fund-raising Text, pp. 39-78. John Benjamins Publishing.

Mann, W. C. and Thompson, S. A. (1987). "Rhetorical Structure Theory: Description and Construction of Text Structures." In Kempen, G. (Ed.), Natural Language Generation, Chap. 7, pp. 85-95. Springer Netherlands.

Marcu, D. (1997). "The Rhetorical Parsing of Natural Language Texts." In Proceedings of the 35th Annual Meeting of the Association for Computational Linguistics (ACL-1997), pp. 96-103.

Marcu, D. (1999). "Discourse Trees Are Good Indicators of Importance in Text." In Mani, I. and Maybury, M. T. (Eds.), Advances in Automatic Text Summarization, pp. 123-136. The MIT Press.

Marcu, D., Carlson, L., and Watanabe, M. (2000). "The Automatic Translation of Discourse Structures." In Proceedings of the 1st North American chapter of the Association for Computational Linguistics Conference (NAACL-2000), pp. 9-17.

McCallum, A. K. (2002). "MALLET: A Machine Learning for Language Toolkit." http://mallet.cs.umass.edu/.

大沢裕子, 郷亜里沙, 安田励子 (2010). Web サイトにおけるクチコミの苦情と返答一「宿泊予約サイト」を対象に一. 言語処理学会第 16 回年次大会発表論文集, pp. 322-325.

宮部泰成, 高村大也, 奥村学 (2005). 異なる文書中の文間関係の特定. 情報処理学会研究報告,自然言語処理研究会, 2005 (NL-17), pp. 97-104.

宮部泰成, 高村大也, 奥村学 (2006). 文書横断文間関係の特定. 言語処理学会第 12 回年次大会発表論文集, pp. 496-499.

難波英嗣，国政美伸，福島志穂，相沢輝昭，奥村学 (2005). 文書横断文間関係を考慮した動向情報の抽出と可視化. 情報処理学会研究報告, 自然言語処理研究会, 2005 (NL-169), pp. 67-74.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). "Scikit-learn: Machine Learning in Python." Journal of Machine Learning Research, 12, pp. 2825-2830.

Qu, Z. and Liu, Y. (2012). "Sentence Dependency Tagging in Online Question Answering Forums." In Proceedings of the 50th Annual Meeting of the Association of Computational Linguistics (ACL-2012), pp. 554-562.

Radev, D. R. (2000). "A Common Theory of Information Fusion from Multiple Text Sources Step One." In Proceedings of the 1st SIGdial Workshop on Discourse and Dialogue, Vol. 10,
pp. $74-83$.

Ritter, A., Cherry, C., and Dolan, W. B. (2011). "Data-driven Response Generation in Social Media." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing (EMNLP-2011), pp. 583-593.

Sutton, C. (2006). "GRMM: GRaphical Models in Mallet." http://mallet.cs.umass.edu/grmm/.

Sutton, C. and McCallum, A. (2012). "An Introduction to Conditional Random Fields." Foundations and Trends in Machine Learning, 4 (4), pp. 267-373.

竹中要一, 若尾岳志 (2012). 地方自治体の例規比較に用いる条文対応表の作成支援. 自然言語処理, 19 (3), pp. 193-212.

田村直良, 和田啓二 (1998). セグメントの分割と統合による文章の構造解析. 自然言語処理, $\boldsymbol{5}$ (1), pp. 59-78.

Tu, M., Zhou, Y., and Zong, C. (2013). "A Novel Translation Framework Based on Rhetorical Structure Theory." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL-2013), pp. 370-374.

Wainwright, M., Jaakkola, T., and Willsky, A. (2001). "Tree-based Reparameterization for Approximate Inference on Loopy Graphs." In Advances in Neural Information Processing System (NIPS-2001), pp. 1001-1008.

Zhu, J., Nie, Z., Wen, J.-R., Zhang, B., and Ma, W.-Y. (2005). "2D Conditional Random Fields for Web Information Extraction." In Proceedings of the 22nd International Conference on Machine Learning (ICML-2005), pp. 1044-1051.

## 略歴

角田 孝昭：2011 年筑波大学情報学群情報メディア創成学類卒業. 2013 年同大学大学院システム情報工学研究科コンピュータサイエンス専攻博士前期課程修了. 現在, 同大学博士後期課程在学中. 修士 (工学). 自然言語処理の研究 に従事.

乾孝司：2004 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.日本学術振興会特別研究員, 東京工業大学統合研究院特任助教等を経て, 2009 年筑波大学大学院システム情報工学研究科助教. 現在に至る. 博士 (工学).近年は CGM テキストに対する評判分析に興味をもつ。

山本 幹雄：1986 年豊橋技術科学大学大学院修士課程了. 同年株式会社沖テク ノシステムズラボラトリ研究開発員. 1988 年豊橋技術科学大学情報工学系教務職員. 1991 年同助手. 1995 年筑波大学電子・情報工学系講師. 1998 年同助
教授. 2008 年筑波大学システム情報工学研究科教授. 博士（工学）．自然言語処理の研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/