# 情報信憑性判断支援のための対話型調停要約生成手法

渋木 英潔 $\dagger$ ・永井 隆広 ${ }^{\dagger} \cdot$ 中野 正宽 $\dagger$ ・石下 円香 $\dagger \cdot$
松本 拓也呫・森辰則 $\dagger$
}

我々は，Web 上の情報信憑性判断を支援するための技術として，調停要約の自動生成に関する研究を行っている。調停要約とは，一見すると互いに対立しているよう にみえる二つの言明の組が実際にはある条件や状況の下で両立できる場合に，両立可能となる状況を簡潔に説明している文章を Web 文書から見つける要約である。し かしながら, 対立しているようにみえる言明の組は一般に複数存在するため, 利用者がどの言明の組を調停要約の対象としているのかを明らかにする必要がある．本論文では，利用者が調停要約の対象となる言明の組を対話的に明確化した状況下で 調停要約を生成できるように改善した手法を提案する。また, 提案手法は, 従来の 調停要約生成手法に, 逆接, 限定, 結論などの手掛かり表現が含まれる位置と, 調停要約に不要な文の数を考慮することで精度の向上を図る。調停要約コーパスを用 いた実験の結果, 従来手法と比較して, 調停要約として出力されたパッセージの上位 10 件の適合率が 0.050 から 0.231 に向上したことを確認した.

キーワード：調停要約, 情報信憑性, 対話型要約, パッセージ抽出, Web 文書
## Interactive Method for Generation of Mediatory Summary to Verify Credibility of Web Information

\author{
Hideyuki Shibuki ${ }^{\dagger}$, Takahiro Nagai $^{\dagger \dagger}$, Masahiro Nakano ${ }^{\dagger \dagger}$, Madoka Ishioroshi ${ }^{\dagger}$, \\ Takuya Matsumoto ${ }^{\dagger \dagger}$ and Tatsunori Mori ${ }^{\dagger}$
}

We have been studying automatic generation of a mediatory summary for facilitating users in assessing the credibility of information on the Web. A mediatory summary is a brief description extracted from relevant Web documents in situations where a pair of statements that appear to contradict each other at first glance can actually coexist under a certain situation. In general, because there are several such pairs, users should clarify the pair whose credibility they are assessing. In this paper, we propose an interactive method for generating a mediatory summary in which users specify the pair of statements they are interested in assessing. Furthermore, we attempt to improve the method in terms of both precision and recall by introducing the position of key expressions such as adversative conjunctions, conditional expressions, and conclusive conjunctions and the number of sentences that are not useful for the mediatory summary. Results of the analysis performed using the mediatory

summary corpus indicate that the proposed method achieved a precision of 0.231 for the generated summaries ranked in the top 10, while the previous method (Shibuki et al. 2011a) achieved a precision of 0.050 .

Key Words: mediatory summary, information credibility, interactive summarization, passage extraction, Web documents

## 1 はじめに

Web 上には出所が不確かな情報や利用者に不利益をもたらす情報などが存在するため，信頼できる情報を利用者が容易に得るための技術に対する要望が高まっている。しかしながら, 情報の内容の真偽や正確性を自動的に検証することは困難であるため，我々は，情報の信憑性は利用者が最終的に判断すべきであると考え，そのような利用者の信憑性判断を支援する技術の実現に向けた研究を行っている.

現在, ある情報の信憑性を Webのみを情報源として判断しようとした場合, Web 検索エンジンにより上位にランキングされた文書集合を読んで判断することが多い. しかしながら，例えば，「ディーゼル車は環境に良いか？」というクエリで検索された文書集合には，「ディーゼル車は環境に良い」と主張する文書と「ディーゼル車は環境に悪い」と主張する文書の両方が含まれている場合があり，その対立関係をどのように読み解くべきかに関する手がかりを検索エンジンは示さない.ここでの対立関係の読み解き方とは, 例えば, 一方の内容が間違っているのか, それとも，両方の内容が正しく両立できるのか，といった点に関する可能性の示唆であり，もしも両立できるのであれば，何故対立しているようにみえるのかに関する解説を提示することである.

互いに対立しているようにみえる関係の中には, 一方が本当でもう一方が嘘であるという真に対立している関係も存在するが，互いが前提とする視点や観点が異なるために対立しているようにみえる関係も存在する。例えば,「ディーゼル車は環境に良い」と主張する文書を精読すると $\left.\lceil\mathrm{CO}_{2}\right.$ の排出量が少ないので環境に良い」という文脈で述べられており，「ディーゼル車は環境に悪い」と主張する文書を精読すると「 $\mathrm{NO}_{\mathrm{x}}$ の排出量が多いので環境に悪い」という文脈で述べられている。この場合, 前者は「地球温暖化」という観点から環境の良し悪しを述べているのに対して，後者は「大気污染」という観点から述べており，互いの主張を否定する関係ではない。つまり，前提となる環境を明確にしない限り「ディーゼル車は環境に良いか？」というクエリが真偽を回答できるような問いではないことを示しており，「あなたが想定している 『環境』が地球温暖化を指しているなら環境に良いが，大気污染を指しているならば環境に悪い」 といった回答が，この例では適切であろう，我々は，このような一見対立しているようにみえるが，実際はある条件や状況の下で互いの内容が両立できる関係を疑似対立と定義し, 疑似対
立を読み解くための手掛かりとなる簡潔な文章を提示することで利用者の信憑性判断を支援することを目的としている.

ところで, Web 上には, こういった疑似対立に対して, 「ディーゼル車は二酸化炭素の排出量が少ないので地球温暖化の面では環境に良いが，粒子状物質や窒素酸化物の排出量が多いので大気污染の面では環境に悪い。環境に良いか悪いかは想定している環境の種類による.」といった第三者視点から解説した文章が少数ながら存在していることがある. このような文章を, Web 文書中から抽出，整理して利用者に提示することができれば，上述の回答例と同様に「環境の種類を明確にしない限り単純に真偽を判断できない」ということを気付かせることができ，利用者の信憑性判断を支援することができる。我々は，この疑似対立を読み解くための手掛かりとなる簡潔な文章を調停要約と定義し, 利用者が信憑性を判断したい言明 ${ }^{1}$ (以降，着目言明） が入力された場合に，着目言明の疑似対立に関する調停要約を生成するための手法を提案している (渋木, 中野, 石下, 永井, 森 2011a; 中野, 渋木, 宮崎, 石下, 金子, 永井, 森 2011; 石下，渋木，中野，宮崎，永井，森 2011; Shibuki, Nagai, Nakano, Miyazaki, Ishioroshi, and Mori 2010; Kaneko, Shibuki, Nakano, Miyazaki, Ishioroshi, and Morii 2009; 渋木, 中野, 宮崎, 石下,永井, 森 2011b). なお, Kaneko et al. (2009) において, 調停要約には, 一つのパッセージで両立可能となる状況を明示的に説明する直接調停要約と, 状況の一部を説明するパッセージを複数組み合わせて状況の全体を暗に示す間接調停要約の 2 種類が定義されているが, 本論文では直接調停要約を対象としており，以後，直接調停要約を単に調停要約と記す。

調停要約の生成は，調停という性質上，対立関係にある 2 言明の存在を前提として行われる.中野らの手法 (中野他 2011) では, 着目言明と対立関係にある言明を見つけるために, 着目言明中の単語を対義語で置換したり，用言を否定形にしたりすることで，対立言明を自動的に生成している。また, 石下らの手法 (石下他 2011) では, 言論マップ (Murakami, Nichols, Mizuno, Watanabe, Masuda, Goto, Ohki, Sao, Matsuyoshi, Inui, and Matsumoto 2010)を利用することで対立言明を見つけている。しかしながら，検索された文書集合には，「ディーゼル車は環境に良いvs. ディーゼル車は環境に悪い」といった, 着目言明を直截的に否定する対立点以外にも，例えば「ディーゼル車は黒煙を出す vs. ディーゼル車は黒煙を出さない」といった, 異なる幾つかの対立点が存在することがあり，中野らや石下らによる従来の調停要約生成手法では，どの対立点に関する調停要約であるかを明示せずに調停要約を生成していた。利用者が信憑性を判断したい対立点（焦点）であることを明確にした調停要約でなければ真に利用者の役には立たないと考えられる。それゆえ, この問題を解決するために, 我々は, 最初に検索された文書集合を利用者に提示し，それを読んだ利用者が焦点とする対立関係にある 2 文を明示した後に調

停要約を生成するという対話的なアプローチを解決策の一つとして採ることとした.

以上の背景から，本論文では，利用者が対立の焦点となる 2 文を対話的に明確化した状況下で調停要約を生成する手法を提案する。また, 調停要約生成の精度を向上させるために, 逆接,限定，結論などの手掛かり表現が含まれる位置と，調停要約に不要な文の数を考慮した新しいスコアリングの式を導入し，従来の調停要約生成手法と比較した結果について考察する。さらに，以下の理由から，利用者が焦点とする 2 文を明確化する方法に関しても考察する．利用者が焦点とする 2 文を明確化する方法として，以下の 2 つの方法が考えられる。一つは，利用者が自ら焦点とする 2 文を生成する方法であり，もう一つは，提示された文書集合から，焦点とする 2 文に相当する記述を抽出する方法である．前者の方法が利用者の焦点をより正確に反映できると考えられるが，明確化に要する利用者の負担を軽減するという観点からは後者の方法が望ましい，従って，焦点とする 2 文を明確化する方法として，どちらの方法が適しているかに関しても実験を行い考察する。

本論文の構成は以下の通りである。まず， 2 章で関連研究について述べる。 3 章で調停要約生成における基本的な考え方を説明する．4 章で提案する対話型調停要約生成手法を述べる． 5 章で本論文の実験で用いる調停要約コーパスに関して説明する。 6 章で従来の調停要約生成手法との比較実験を行い，その結果について考察する．また，焦点とする 2 文を明確化する方法に関しても考察する。最後に 7 章で本論文のまとめを行う.

## 2 関連研究

## 2.1 情報信憑性判断支援における調停要約の位置づけ

利用者の情報信憑性判断を支援する技術には幾つかのアプローチが考えられる．まず，利用者が着目する話題や言明に関連する Web 文書に対して, 対立の構図や根拠関係などを多角的に俯瞰することを支援する技術がある. Akamine et al. (Akamine, Kawahara, Kato, Nakagawa, LeonSuematsu, Kawada, Inui, Kurohashi, and Kidawara 2010; Akamine, Kawahara, Kato, Nakagawa, Inui, Kurohashi, and Kidawara 2009)は, 利用者が入力した分析対象トピックに関連する Webペー ジに対して, 主要・対立表現を俯瞰的に提示するシステム WISDOMを開発している. Murakami et al. (2010)は, Web 上に存在するさまざまなテキスト情報について, それらの間に暗に示されている同意, 対立, 弱い対立, 根拠などの意味的関係を解析する言論マップの生成課題を論じている. 藤井 (2008) は, Web 上の主観情報を集約し, 賛否両論が対立する構図を論点に基づいて可視化している. Akamine et al. (2010, 2009) や Murakami et al. (2010) や藤井 (2008)の手法では，対立関係にある記述を網羅的に提示することに焦点があり，提示された対立関係の読み解き方に関しては対象としていない。対立関係の把握が容易になるような要約を利用者に提示できれば，着目言明に関連する話題や言明群の全体像が把握しやすくなると考えられる.
山本ら (山本, 田中 2010) は, 分析対象となる Web 情報とその関連情報をデータ対で表現し, データ対間のサポート関係を分析することでWeb 情報の信恣性を評価する汎用的なモデルを提案している。これは，対象データ対をサポートする関係にあるデータ対が多く存在するほど対象デー夕対の信憑性が高まる，という仮説に基づいている，しかしながら，Web上には，ある特殊な条件や状況下でのみ真実となるような内容に言及している記述も存在しており，そのような記述は，おそらく一般論を述べているであらう多数の記述からサポートされるとは限らない，調停要約は，一見すると矛盾するような情報が，ある条件や状況の下では成立する場合があることを利用者に示すことを目的としており，我々は，そういった特殊な条件や状況があることを示すことも利用者の信憑性判断を支援する上で必要であると考えている.

Finn et al. (Finn, Kushmerick, and Smyth 2001)は, Web 上の新聞記事を対象として, コラ么等の主観的な記事と事実を伝える客観的な記事に分類する研究を行っている。また，松本ら (松本, 小西, 高木, 小山, 三宅, 伊東 2009) は, 文末表現を用いて, Webぺージが主観と客観のどちらの情報を中心として構成されているかを推定する研究を行っている．好悪といった主観に依存する言明間の対立関係の場合，互いの内容は両立することができるため，主観的であるか否かの情報は対立関係の読み解き方に役立つと考えられる。しかしながら，ディーゼル車の例のように客観的な内容の対立関係においても疑似対立となる場合があり，客観的な内容の疑似対立となる場合の読み解き方を調停要約は対象としている.

他にも，利用者が着目する言明に対する Web 上の意見の変遷と意見が変わった要因を提示する河合らの研究 (河合, 岡嶋, 中澤 2007), Web ページのレイアウト情報を利用して情報発信者の名称を抽出する Miyazaki et al. の研究 (Miyazaki, Momose, Shibuki, and Mori 2009), Web ページの情報発信構成の考え方に基づいて情報発信者の同定を行う加藤らの研究 (加藤, 河原,乾, 黒橋, 柴田 2010) 等がある. 河合ら (河合他 2007) や Miyazaki et al. (2009) や加藤ら (加藤他 2010)の研究は，発信された情報の内容ではなく，「いつ」「誰が」発信したかといった面から利用者の判断を支援するアプローチを取っている．したがって，調停要約の元文書の情報発信者を提示することで，さらに利用者への支援が容易になると考えられる。

## 2.2 従来の要約手法との比較

調停要約は，複数文書を対象とした抜粋型の報知的要約の一つである。その中でも，橋本ら (橋本, 奥村, 島津 2001) の研究のような, 要約対象文書群から「まとめ文章」を取り出すことにより要約する手法に属する。橋本ら (橋本他 2001) は，新聞記事を対象にしており，複数文書の記述内容に齯䶣があることは想定せずに，複数記事の内容をそのまままとめることが目的である。一方で調停要約では，まず，様々な立場の人物や組織が互いに対立した主張をしているようにみえる記述を含む文書集合を要約対象にしている点が異なる. さらに, 得られる要約の中に，疑似対立とその読み解き方が含められるようにすることで，情報信憑性の判断に寄与

することを目的としている。

利用者の知りたい事柄に焦点を当てて要約する手法としては, Tombros and Sandersoni (1998) の提案する Query-biased summarization がある。これは文書検索結果に対する要約を行なう場合に，利用者が文書検索に用いたキーワードの重要度を高くして重要文抽出を行なうものである。また，利用者が質問文を与えた場合にそれを考慮した要約を提示する研究もあり，平尾ら (平尾，佐々木，磯崎 2001)の質問が問うている事物の種類の情報を用いる手法や, Mori et al. (Mori, Nozawa, and Asada 2005)の質問文により焦点が与えられた場合に QA エンジンを用いて要約を行う手法などが提案されている。従来の調停要約生成手法においても, 利用者から与えられた着目言明に基づいて要約を生成しており，Query-biased summarization の一種であるといえる. 平尾ら (平尾他 2001) や Mori et al. (2005)の手法では, 処理の直前に 1 回だけ利用者の興味が入力され, それに対する要約を提示した時点で処理は完結する。一方, 提案する対話型調停要約生成手法では，着目言明に基づいて提示された文書群に対して利用者が対立の焦点となる 2 文を明示することで，さらに利用者が信憑性を判断したい対立点に焦点を当てた調停要約を提示することができる.

酒井ら (酒井, 増山 2006) は, 利用者の要約要求を反映した要約を生成するために, 利用者とのインタラクションを導入した複数文書要約システムを提案している. 酒井ら (酒井, 増山 2006)のシステムでは，システムが要約対象文書集合から自動的に抽出したキーワードの中から, 利用者が要約要求と関連するキーワードを選択するという方法で利用者とのインタラクションを実現しているが，我々のシステムでは，提示された文書集合に対して利用者が対立関係にある任意の 2 文を直接選択することを想定している。キーワードではなく文によるインタラクションを行う理由として, キーワードとの関連性だけでは適切な調停要約の生成が不十分となることがあげられる，例えば，「ディーゼル車は黒煙を出す」ことに関する事例や根拠のみが書かれた記述は,「ディーゼル車」,「黒煙」,「出す」といったキーワードとの関連性が高くなると考えられる。しかしながら，そのような記述は，利用者が「ディーゼル車は黒煙を出す」という言明の信憑性を判断する材料として不十分である。利用者が正しい判断をできるようにするためには，対立関係にある「ディーゼル車は黒煙を出さない」ことに関する事例や根拠，黒煙を出す場合と出さない場合とが両立できる状況も示す必要がある．したがって，調停要約の生成には，命題レベルでの対立関係を扱う必要があり，利用者が文書集合中の任意の 2 文を直接選択することで，利用者が焦点とする対立点を明確化することとした。

システムが提示したテキストに利用者が直接操作を加えることで, 直観的かつ簡単に利用者が必要とする情報を要求するという対話的な要約生成手法としては, 村田ら (村田, 森 2007) の手法がある，村田ら（村田，森 2007) は, Scatter/Gather 法 (Cutting, Karger, Pedersen, and Tukey 1992)を要約提示の観点から捉え直す事により，提示した要約文章そのものに対し利用者が操作を行ない，それによって利用者の興味を反映した新たな要約を提示する手法を提案し

図 1 対話的アプローチにおける調停要約の生成例

ている。提案手法も同様の考え方に基づいており，提示された文章群の中で信憑性を判断したい対立関係にある 2 文を利用者がマウス操作等により明確化するという操作を行うことで，利用者が焦点とする対立関係を反映した調停要約を生成する。

## 2.3 質問応答システムとの比較

利用者が入力したクエリに対して簡潔な文章を出力するという枠組みは, Non-Factoid 型の質問応答システム (Fukumoto, Kato, Masui, and Mori 2007) と類似している。質問応答として捉えると，着目言明を入力としてその真偽を問う Yes/No 型の質問応答となることが考えられるが，調停要約の場合には，単純に Yes/No で回答できる質問ではないということを気付かせる文章を出力するという点で質問応答の考え方とは異なっている。したがって, 質問応答システムにおいて Yes と Noの両方の解が得られるような場合に調停要約を提示するといった利用が考えられるが，本論文では，質問応答システムとの連携は今後の課題として，単純に Yes/No では回答できない質問が入力されることを前提としている。

## 3 調停要約

## 3.1 目標とアプローチ

利用者が「朝バナナダイエットでダイエットできる」という言明に着目してその真偽を調べたい場合の, 我々が目標とする調停要約と調停要約を対話的に生成する流れの例を図 1 に示す. まず，利用者が着目言明である「朝バナナダイエットでダイエットできる」を入力し，システムは着目言明に関連する Web 文書集合を提示する。提示された文書集合中には，「バナナは高い栄養価なのに低カロリーの果物で, 腹持ちに優れているのが特徴です.」という着目言明に肯
定的な内容の記述と，「バナナは果物の中では水分が少ないためカロリーは高めです.」という否定的な内容の記述が存在しており，バナナのもつカロリーに関して互いに対立関係にあるようにみえる，そのため，利用者はこの 2 文を選択することで，バナナのカロリーが対立の焦点であることをシステムに伝え，システムは，バナナのカロリーに関する調停要約を生成し出力する．Web上には，ある対立関係について，それらが両立可能であることを示した記述が存在していることがあり，そのような記述をパッセージ単位で抜粋して提示するというのが調停要約の基本的な考え方である。なお，本論文では，文書中の一つ以上の文の連続をパッセージと定義する。

この例では，バナナのもつカロリーに関しての疑似対立と調停要約が示されているが，着目言明に関連する疑似対立は一つとは限らない2ため，それぞれの疑似対立に対応する調停要約を利用者に提示することが前提となる。しかしながら，それらの調停要約を疑似対立ごとに明示的に区別せずに提示してしまうと，利用者が焦点とする疑似対立以外の調停要約が，焦点とする疑似対立に対する利用者の判断を妨げてしまう恐れがある。それゆえ，本論文では，最初に利用者に文書集合を提示し，文書集合中で互いに矛盾しているようにみえる 2 文を利用者が選択した後に調停要約を生成するという対話的なアプローチを採ることで，利用者が焦点とする疑似対立に適合した調停要約を提示できると考えた.

なお，利用者に提示される文書集合から，互いに矛盾しているようにみえる 2 文が実際に選択できるかどうか，12の着目言明 3 を対象として以下の予備調査を行った. 予備調査は, 情報工学を専攻する大学生 5 名を対象として行い, 着目言明をクエリとして Google 4 を用いて検索されたタイトルとスニペットを上位から順に読んでもらい，互いに矛盾しているようにみえる 2 文を選択させた，選択された 2 文がそれぞれ何位の検索結果に記述されていたかを調査し，両方の文が選択された時点の順位，すなわち下位の方の順位を平均した結果， 15.6 位となり，殆どの場合， 20 位までのタイトルとスニペットを読むと，その中から互いに矛盾しているようにみえる 2 文を選択できたことを確認した．たたし，本研究の目的は利用者の信憑性判断を支援することであるため，最初に提示された文書集合を読んで，利用者の観点から互いに矛盾しているような記述がないならば，調停要約を生成する必要はないと考えている。また，互いに矛盾しているようにみえる 2 文が疑似対立であるかどうかの最終的な判断も利用者が行うべきであると考えており，調停要約生成システムでは選択された 2 文が疑似対立にあるものと仮定して生成した調停要約を提示することとした.
^{3} 6$ 節の実験で用いた 6 言明と, 中野ら (中野他 2011) の実験 A で用いた 6 言明の計 12 言明である.

 }^{4}$ http://www.google.co.jp/


## 3.2 調停要約の特徵

我々がこれまで人手で作成した調停要約を分析した結果, 調停要約として適切な記述には以下の三つの特徴があることが分かっている，第一の特徵は, 着目言明や, 焦点とする疑似対立との関連性が高いことである。第二の特徴は, 公平性が高い, すなわち, 着目言明を肯定する意見や根拠等と否定する意見や根拠等の両方に等しく言及していることである. 調停要約は, 疑似対立を読み解くための手掛かりとなる記述であるので，肯定側と否定側の双方の主張が含まれるパッセージはより適切であると考えられる。第三の特徴は, 要約としての簡潔性が高いことである。 ここでの簡潔性とは，単純に短く記述されているというだけはなく，利用者の信憑性判断を支援するための材料を端的に示しているという意味も含んでいる. したがって, 我々は，あるパッセージの関連性，公平性，簡潔性の度合いを計算することで，そのパッセージが調停要約として適切であるかどうかを判断できると考えた。

## 3.3 焦点となる 2 文を明確化した状況下での調停要約生成タスク

焦点となる 2 文が明確化した状況下での調停要約生成タスクでは, 入力として, 着目言明と,文書集合中の焦点となる疑似対立にある 2 文が利用者により与えられるものとする。通常の要約生成タスクでは, 入力として要約対象となる文書集合が与えられるが, 調停要約生成タスクでは, 着目言明の真偽判断の材料となる文書を収集することもタスクの一部であると考えている. そのため, 与えられた着目言明や焦点とする 2 文に関連した文書群を Web 上から検索して, 要約対象とする必要がある。本論文では，最初に着目言明で検索された文書集合を利用者に提示してから，それを読んだ利用者が焦点とする対立関係にある 2 文を明示した後に調停要約を生成するというアプローチを採ることから, 着目言明をクエリとして検索した文書集合を要約対象文書集合とすることとした，また，出力として，着目言明のトピックにおける焦点となる疑似対立の読み解き方の手掛かりを示すパッセージ群を抜粋して提示する.

## 4 提案手法

## 4.1 提案手法の概要

我々は, 3.2 節で述べた関連性, 公平性, 簡潔性の 3 つの特徴をもつパッセージを調停要約として抽出するために, 以下の 4 種類の特徵語と 3 種類の手掛かり表現に基づく手法を提案する.

まず，関連性に関する特徴量を，着目言明のトピックとの関連度と，焦点とする疑似対立との関連度に細分化し, それぞれの値を求めるために, トピック特徵語と焦点特徴語という 2 種類の特徴語を定義する. 従来手法 (渋木他 2011a; 中野他 2011; Shibuki et al. 2010) では, トピック特徴語のみを関連性の尺度として用いていたが，焦点とする疑似対立との関連性が低いパッセージも調停要約として出力されてしまうことがあった. それゆえ, 利用者が焦点とする
疑似対立への関連度をより確実に判断するため，焦点特徵語の概念を導入することとした．例えば，図1の「朝バナナダイエットでダイエットできる」という着目言明において「バナナは低カロリーで満腹感がありますvs. バナナは果物の中では水分が少ないためカロリーは高めです」 という疑似対立が焦点である場合, トピック特徴語は「バナナ」, 焦点特徴語は「カロリー」となり，「バナナ」というトピックの中の「カロリー」の高低に焦点があることを考慮して処理できるようにした。

次に，公平性に関する特徴量を, 語彙的な観点と構造的な観点の両方から求めることとし, 語彙的な観点からの特徴量を求めるために, 肯定側特徵語と否定側特徴語という 2 種類の特徴語を，構造的な観点からの特徵量を求めるために，逆接表現と限定表現の 2 種類の手掛かり表現をそれぞれ定義する，従来手法では，着目言明を肯定または否定する意見や根拠等に現れやすい単語を肯定側特徴語および否定側特徴語として定義し, 要約対象となる文書集合から統計的偏りに基づいて抽出していたが，提案手法では，焦点となる対立関係にある 2 文が与えられることから， 2 文の一方にのみ現れる単語を肯定側特徴語および否定側特徴語として定義して用いることとする。図 1 の例であれば「低い」と「高い」が肯定側特徴語と否定側特徴語となる. また, これらの肯定側特徴語と否定側特徴語が調停要約の中でどのような構造を伴って現れるかを考えた場合「ご飯やケーキよりは低いがオレンジやグレープフルーツよりは高い」といったように対比構造を伴っていることが多いと考えられる。そこで，対比構造を見つける手掛かり表現として，「しかし」などの逆接表現と「○○の場合に限り」などの限定表現を用いることとした.しかしながら, 例えば, 冒頭が「しかし」から始まるようなパッセージであった場合, その前の文脈が不明であるため逆接としての意味をなさない。それゆえ，パッセージ中に現れる位置を考慮して, これらの手掛かり表現を用いることとした。

最後に，簡潔性に関する特徵量を求めるための手掛かり表現として結論表現を定義する．従来手法で生成された調停要約の中には，「バナナ $84 \mathrm{kcal}$, オレンジ $24 \mathrm{kcal}$, ご飯 $168 \mathrm{kcal}$ のように，「ご飯やケーキよりは低いがオレンジやグレープフルーツよりは高い」といった結論を理解した上で読まないと何を主張している文章なのか理解が困難なパッセージが存在していた.提案手法では，主張が明確に述べられているかどうかを求めるために，「つまり」や「結論として」などの結論を導く表現を手掛かりとし，このような表現を結論表現と定義して用いることとした。また，パッセージ中に信憑性判断支援に寄与しない記述，例えば，商品一覧やリンク集といった名詞のリストや「TOPへ戻る」などのサイト内機能を表す文字列などが含まれていると, 可読性の低下と共に利用者の理解を妨げてしまうことから, そのような不要な記述を含まないことも簡潔性を計算する上で必要な因子であると考えられる.

本来であれば, トピック特徴語, 焦点特徴語, 肯定側特徴語, 否定側特徴語の 4 種類全ての特徴語を全て含み，逆接表現，限定表現，結論表現の 3 種類の手掛かり表現を全てパッセージ中の適切な位置に含み, 調停要約に不要な記述を一切含まないパッセージが調停要約として理

図 2 提案手法の全体の流れ

想である。しかしながら，上記の因子を全て含むパッセージが要約対象文書集合中に存在する可能性は低いと思われる。また, 全ての因子を含まなくとも調停要約として適切なパッセージが存在することがある，従って，提案手法では，全ての因子を含むパッセージが存在しない場合でも，可能な限り多くの因子を含むパッセージを上位にランキングできるようにする． 4.2 節で提案手法の全体の流れを述べた後, 4.3 節で特徵語の抽出方法を, 4.4 節で各因子の定式化とパッセージのスコア付けの方法を説明する.

## 4.2 全体の流れ

提案手法の全体の流れを図 2 に示す。利用者は最初に「ディーゼル車は環境に良い」といった着目言明を入力し，システムは着目言明をクエリとして検索したWeb 文書集合を利用者に提示する。利用者は提示された文書集合を読み，互いに矛盾しているように見えるために信憑性が疑わしく思える 2 文をマウス操作等によりマーキングする。ここで，マーキングされた 2 文の内，利用者が着目言明の内容を肯定する記述としてマーキングした方を肯定側記述，否定する記述としてマーキングした方を否定側記述と定義する ${ }^{5}$. システムは，着目言明，肯定側記述，否定側記述を基に，トピック特徴語，焦点特徴語，肯定側特徴語，否定側特徴語の 4 種類の特徵語を抽出する。その後, 抽出された特徴語と, 逆接表現, 限定表現, 結論表現といった手掛かり表現を用いて，調停要約としての適切性を示すスコアを計算し，検索された文書集合を対象に，調停要約として適切なパッセージを抽出する。最後に，抽出されたパッセージをスコア順にランキングして利用者に提示する.


図 3 特徵語抽出の流扎

従来の調停要約生成手法では, 肯定側特徴語と否定側特徵語を抽出するために, 対義語辞書や用言の否定形を用いて着目言明の対立言明を自動生成し，その対立言明により検索された Web 文書集合を利用していた。しかしながら, 自動生成された対立言明の精度の問題や, 対立言明で検索される文書が存在しないといった問題があった. 提案手法では, 利用者が肯定側記述と否定側記述を直接マーキングするため, このような問題を回避することができる.

また，利用者が直接マーキングすることは，調停要約の前提である，信憑性を判断したい対立点を利用者に認識させる効果がある。 さらに, システムの要約生成においても, 着目言明に加えて参照できる情報が増えることから精度向上につながると考えられる。しかしながら, 検索文書中のテキストに利用者が直接マーキングすることに対して，以下の問題も懸念される。本来, 調停要約の生成において必要な情報は,「ディーゼル車は黒煙を出すvs. ディーゼル車は黒煙を出さない」といった構文レベルで明瞭な対比構造をもった 2 文であるが, そのような対比構造が肯定側記述と否定側記述の間に必ずしも存在するとは限らない. また, 対比構造以外の部分に含まれる語句が精度に悪影響を及ぼす可能性もある． 6 節では, この点を調査する実験を行う。

## 4.3 特徵語の抽出

利用者により入力された着目言明，肯定側記述，否定側記述を用いて特徵語の抽出を行う.着目言明が「ディーゼル車は環境に良い」, 肯定側記述が「ディーゼル車は黒煙を出さない」,否定側記述が「ディーゼル車は黒煙を出す」とした場合の特徴語の抽出の流れを図 3 に示す.最初に， MeCab 6 を用いて，着目言明，肯定側記述，否定側記述の形態素解析を行い，それぞれに含まれる内容語を抽出する。本論文では，以下の 3 つの条件を満たす語を内容語と定義した. (1) 品詞が, '名詞', ‘動詞', '形容詞'のいずれかであり, (2) 品詞細分類 1 が, ‘非自立', ‘接
^{6}$ http://mecab.sourceforge.net/
}
尾', '数’, '代名詞', ‘特殊’, ‘副詞可能’以外であり, (3) 原形が‘する’, ‘なる’, ‘できる’, ‘ある’, ‘いる', 'ない’以外の単語である。 内容語を抽出した後, 各内容語が存在する文節内に存在する 「不」などの接頭辞や「ない」などの助動詞により, 否定の意味で用いられているかどうかも判断する7. 次に, 抽出された肯定側記述の内容語と否定側記述の内容語を比較して, 差分となる内容語（「出さない」と「出す」）をそれぞれ肯定側特徴語と否定側特徴語とする. 内容語が同じであるかどうかを判定する際には，分類語彙表 (国立国語研究所 2004)による類義語拡張を行っている. 最後に, 肯定側記述と否定側記述に共通の内容語（「ディーゼル」,「車」,「黒煙」）と着目言明の内容語を比較して, 着目言明に含まれない内容語（「黒煙」）を焦点特徴語とし, 共通の内容語（「ディーゼル」，「車」）をトピック特徴語とする。このようにすることで,「ディー ゼル車」というトピックにおける「黒煙」を「出す」か「出さない」かという対立点を明確に捉えることができると考えられる。

## 4.4 パッセージの抽出とランキング

調停要約となるパッセージの抽出は, 従来手法 (渋木他 2011a; 中野他 2011; Shibuki et al. 2010) と同様に以下の手順で行う。まず，抽出された特徴語を用いて，文単位で調停要約らしさのスコアを計算する。次に，各文のスコアを平滑化した後，平滑化されたスコアに基づいてパッセージの切り出しを行う. 最後に, 切り出されたパッセージ単位で調停要約らしさのスコアを計算し, ランキングする。 ただし, 6 節では, 既に正解パッセージが切り出されている調停要約コーパスを用いて評価することを想定していることから，パッセージ単位でのスコア計算に関してのみ記述する。

調停要約として適切なパッセージには, 4.1 節で述べたように, (a) 全ての種類の特徴語が多く存在し, (b) 逆接, 限定, 結論などの手掛かり表現が適切な位置にあり, (c) 不要な文が存在しない, といった特徴があると考えられるため, これらの特徴に基づいてパッセージのスコアを計算する。まず，各特徴語がパッセージ中にどれだけ多く存在しているかを求めるために， パッセージ $p$ の, トピック特徴語, 焦点特徴語, 肯定側特徴語, 否定側特徴語によるスコアをそれぞれ $s c_{t k}(p), s c_{f k}(p), s c_{p k}(p), s c_{n k}(p)$ とし, 以下の式に従って計算する.

$
\begin{aligned}
& s c_{t k}(p)=\frac{N_{t k}(p)}{T_{t k}}+1 \\
& s c_{f k}(p)=\frac{N_{f k}(p)}{T_{f k}}+1 \\
& s c_{p k}(p)=\frac{N_{p k}(p)}{T_{p k}}+1 \\
& s c_{n k}(p)=\frac{N_{n k}(p)}{T_{n k}}+1
\end{aligned}
$

表 1 逆接表現の一覧

 \\

表 2 限定表現の一覧

$N_{t k}(p), N_{f k}(p), N_{p k}(p), N_{n k}(p)$ はパッセージ $p$ 中に含まれる各特徴語の異なり数であり, $T_{t k}$, $T_{f k}, T_{p k}, T_{n k}$ は抽出された各特徴語の総異なり数である。また，各スコアの值を 1 から 2 の範囲に正規化するために 1 を加えている。

調停要約は，調停という性質上，肯定意見と否定意見の両方に公平に言及していることが求められる。そのような互いに対立する意見に言及する文章では，両方の意見を対比する構造が存在しており，また，対比構造は一般に「しかし」などの逆接表現を伴って書かれることが多い. さらに, 公平性という観点からは, 両方の意見に対して等量の記述があることが望ましい. したがって，逆接表現がパッセージの中央に存在する場合にスコアが高くなるよう，逆接表現によるスコア $s c_{a e}(p)$ を以下の式に従って計算する。

$
s c_{a e}(p)=2-\frac{\left|\frac{1}{2} N_{t s}(p)-F P_{a e}(p)\right|}{\frac{1}{2} N_{t s}(p)}
$

$N_{t s}(p)$ はパッセージ $p$ に含まれる文数であり， $F P_{a e}(p)$ は表 1 に示すいずれかの逆接表現が $p$中で最初に現れた文の位置である。なお, 表中の分類は, MeCabのIPA 辞書の品詞体系に基づいている.

逆接表現を伴わない対比構造の表現方法の一つとして,「但し○○の場合に限る」といった一方の意見を限定する表現により，暗黙の内に対立するもう一方の意見の状況を示す方法がある. また，このような但し書きは文章の最後にあることが多いと考えられる．したがって，限定表現がパッセージの最後に存在する場合にスコアが高くなるよう，限定表現によるスコア $s c_{p e}(p)$ を以下の式に従って計算する。

$
s c_{p e}(p)=\frac{N_{t s}(p)-L P_{p e}(p)}{N_{t s}(p)}+1
$

$L P_{p e}(p)$ は表 2 に示すいずれかの限定表現が $p$ 中で最後に現れた文の位置である.
表 3 結論表現の一覧

信憑性判断を支援するという目的上, 結論部分が明確に記述されていることが求められる. そのような結論部分は，「つまり」や「結論として」といった文章全体を総括する表現により書かれていることが多い. また，利用者の立場からは，唐突に結論たけを示されてもその結論が正しいかどうか判断が困難になると考えられるため, 結論に至る根拠や前提が示されていることが望ましい，したがって，結論表現がパッセージの最後に存在する場合にスコアが高くなるよう，結論表現によるスコア $s c_{c e}(p)$ を以下の式に従って計算する.

$
s c_{c e}(p)=\frac{N_{t s}(p)-L P_{c e}(p)}{N_{t s}(p)}+1
$

$L P_{c e}(p)$ は表 3 に示すいずれかの結論表現が $p$ 中で最後に現れた文の位置である.

調停要約は要約の一種であるため, 重要性や関連性が低い部分を可能な限り省いた文章を提示することが求められる，本論文では，特徴語や手掛かり表現を含んでいない文を不要な文として，不要な文が少ないパッセージほどスコアが高くなるようにした。パッセージ $p$ 中に含まれる不要な文の数を $N_{r s}(p)$ として, 不要な文に関するスコア $s c_{r s}(p)$ を以下の式に従って計算する。

$
s c_{r s}(p)=\frac{N_{t s}(p)-N_{r s}(p)}{N_{t s}(p)}
$

最終的なパッセージ $p$ のスコア $s c(p)$ は以下の式に従って計算する.

$
s c(p)=s c_{t k}(p) \times s c_{f k}(p) \times s c_{p k}(p) \times s c_{n k}(p) \times s c_{a e}(p) \times s c_{p e}(p) \times s c_{c e}(p) \times s c_{r s}(p)
$

各スコアの積を最終的なスコアとすることで, 各特徴語, 手掛かり表現, 不要な文に関する条件を全て満たしているパッセージが上位にランキングされるようにした.

## 5 調停要約コーパス

調停要約コーパスは, 渋木ら (渋木他 $2011 b)$ において, 調停要約の分析及び評価を目的として構築されたコーパスである。調停要約コーパスには，「コラーゲンは肌に良い」，「飲酒は健康に良い」,「炭酸飲料はからだに悪い」,「原発は地震でも安全である」,「車内での携帯電話の

図 4 調停要約コーパス中に収録されている調停要約の例

使用は控えるべきである」，「嘘をつくのは悪いことである」の6つの着目言明に対して，要約対象となる 500 程度の Web 文書集合と，人手で作成した調停要約が収録されている．各着目言明には，「コラーゲンは肌に良いvs. コラーゲンは肌に良いとは限らない」といった着目言明そのものに関する対立点と，「動物性のコラーゲンは良くないvs. 動物性のコラーゲンは良い」や 「コラーゲンは食べると良いvs. コラーゲンは塗ると良い」といった関連する 4 の対立点の計 5 つの対立点が設定されている，各着目言明には 4 名の作業者が割り当てられ，各作業者は対立点ごとに要約対象の Web 文書集合から，肯定側の意見と思われる記述，否定側の意見と思われる記述，調停要約として適切なパッセージのそれぞれの集合を抽出している．渋木ら (渋木他 2011b) は調停要約コーパスの構築作業のために専用の夕グ付けツールを開発しており, 全ての作業をツール上で行うことで, タグ付け労力の軽減とヒューマンエラーの抑制を行っている.

図 4 に, 着目言明「コラーゲンは肌に良い」に対して，ある 1 名の作業者が作成した調停要約の一部を示す。調停要約に関する情報は XML 形式で付与されている．各対立点は $<$ Conflict>夕グにより区切られており，図 4 中のボックスでは 3 番目の対立点が示されている. 各 $<$ Conflict $>$ タグ内には, 一つの <Label>タグ, 複数の $<$ Statement $>$ タグ, 複数の $<$ Mediation $>$ タグが存在

点を表す，人手で作成されたラベルを示している。＜Statement>夕グは, Web 文書から抽出された，肯定側または否定側の意見と思われる記述を示しており，Polarity 属性の值が 'POSITIVE' か 'NEGATIVE' かで肯定側の意見か否定側の意見かを示している. <Statement>夕グの記述は，「コラーゲンドリンクで効いてる実感ってなかったけど，このコラーゲンは高純度っていうだけあってスゴイ」や「コラーゲンには保湿効果があるので，へアパックなどにも用いられることがあります」といったものであり，肯定側と否定側の記述でぺアを作成しても，＜Label>タグの記述のように明膫な対比構造をなすことは殆どない。，<Mediation>タグは， 調停要約として Web 文書から抽出されたパッセージを示している。なお，どの着目言明においても，1番目の

のものに関する対立点となっている。また， 2 番目から 5 番目の対立点以外にも着目言明に関連する対立点は存在しているため，1 番目の対立点の <Mediation>タグの集合が， 2 番目から 5 番目の対立点の $<$ Mediation>タグの和集合と等しくなるわけではない.

## 6 実験

## 6.1 目的と評価方法

本論文では, 以下の 3 点を目的とした実験を行う. 1 点目は, 提案する対話型調停要約生成手法の有効性を確認することである． 2 点目は，利用者が焦点とする 2 文を明確化する方法として，利用者が自ら生成する方法と，提示された文書集合から抽出する方法のどちらが適しているかを考察することである。 3 点目は, パッセージのスコア計算に用いられる各因子が, 調停要約の精度にどの程度寄与しているかを調査することである。

まず, 対話型調停要約生成手法の有効性を確認するために，従来の調停要約生成手法である渋木ら (渋木他 2011a) との比較を第一の実験として行う．次に，焦点とする 2 文を明確化する方法に関してであるが，提案手法における特徵語の抽出は， 4.3 節で述べたように，肯定側記述と否定側記述の間の構文レべルでの対比構造に基づいて行われる。一方，肯定側記述と否定側記述は，4.2節で述べたように，提示された文書集合からマウス操作等により直接マーキングされることを想定しており，構文レベルで明膫な対比構造をもたないと考えられる。それゆえ，第二の実験では，焦点とする 2 文を人手により生成した場合とマーキングの結果に基づき Web 文書から抽出した場合の影響を調查する。また， 4.4 節で述べたように，パッセージのスコアは， トピック特徴語, 焦点特徴語, 肯定側特徴語, 否定側特徴語, 逆接表現, 限定表現, 結論表現,不要な文の 8 種類の因子により計算されている，第三の実験では，これらの各因子が，調停要約の精度にどの程度寄与しているかを調査する.

要約の評価手法として ROUGE (Lin and Hovy 2003) が一般的であるが，N-gram による再現
表 4 着目言明ごとのパッセージ数

度のスコア付けでは肯定側の記述と否定側の記述を区別せず， 3.2 節で述べた公平性を考慮することが困難であるため，調停要約の評価手法として適切ではない，提案手法の中核をなす処理は, 4.4 節に述べたパッセージの抽出とランキングであるため, 正解パッセージと不正解パッセージからなる集合を作成し, 正解パッセージ群を不正解パッセージ群よりも上位にランキングできるかどうかにより手法の評価を行うこととした.

調停要約コーパスから以下の手順で実験データを作成した。まず，＜Mediation>タグの記述集合を正解のパッセージ集合とする。コーパスに収録されているWeb文書には，＜Mediation> タグ以外のパッセージ境界がないため，正解パッセージ集合の平均文字長を計算し，分割したパッセージの平均長が正解パッセージの平均長に近くなるよう，各文書の先頭から平均文字長 - $\alpha$ を超えた文境界で分割する。このとき，＜Mediation>タグを含む文書を分割対象外として，分割されたパッセージ集合を不正解のパッセージ集合とした。正解および不正解のパッセージ集合の中には, 平均文字長との差が極めて大きいものがあるため, 平均文字長 $\pm \alpha$ の範囲にない長さのパッセージを実験データから除外した。平均文字長は 230 であり， $\alpha$ の値は経験則的に 30 とした. 着目言明ごとの総パッセージ数と正解パッセージ数は, 表 4 の総数と正解に示す值となった. 表 4 の値から, 調停要約生成は 7,000 以上のパッセージ中に数十程度しか存在しない正解パッセージを見つけ出すという困難な夕スクであり，また，正解となるパッセージ数は非常に少ないが 0 ではなく, そのようなパッセージを抽出するという提案手法のアプローチに妥当性があるということが言える.

評価指標として適合率と再現率を用いた。調停要約として適切なパッセージは，コーパスに収録されている Web 文書集合から網羅的に抽出しているため, コーパス中の Web 文書を要約対象文書として処理を行うと再現率を計算することができる。 また, 調停要約として適切なパッセー ジ群が可能な限り多く上位にランキングされているか調査するために, $\mathrm{TREC}^{8} や \mathrm{NTCIR}^{9}$ の情報検索タスクで広く用いられている平均精度を用いた。第 $r$ 位の適合率 $\operatorname{Pre}(r)$ と再現率 $\operatorname{Rec}(r)$,
^{9}$ http://research.nii.ac.jp/ntcir/index-ja.html
}
表 5 着目言明ごとの平均精度

表 6 上位 $r$ 件の適合率と再現率

および平均精度 AP は，それぞれ以下の式により計算される。

$
\begin{array}{r}
\operatorname{Pre}(r)=\frac{\operatorname{correct}(r)}{r} \\
\operatorname{Rec}(r)=\frac{\operatorname{correct}(r)}{R} \\
\mathrm{AP}=\frac{1}{R} \sum_{r} I(r) \operatorname{Pre}(r)
\end{array}
$

$R$ は正解パッセージの総数, correct $(r)$ は第 $r$ 位までの出力パッセージに含まれる正解パッセー ジ数, $I(r)$ は第 $r$ 位のパッセージが正解ならば 1 , 不正解ならば 0 を返す関数である.

## 6.2 従来手法との比較実験

利用者が焦点とする 2 文を対話的に明確化した状況下における提案手法の有効性を示すために，本実験と同じ正解データを用いている従来手法 (渋木他 2011a) と比較した結果を表 5 と表 6 にそれぞれ示す. 従来研究 (渋木他 2011a) では, 焦点とする 2 文が不明瞭な状況下で着目言明のみを入力としているため， 1 番目から 5 番目の全ての対立点における $<$ Mediation $>$ タグの記述の和集合を正解データとして評価している。本論文では，提案手法と直截比較するため，対立の観点が明示されている 2 番目から 5 番目までの各対立点における<Mediation>タグの集合を正解データとして適合率，再現率，平均精度を計算し，その値を平均した値を従来手法の評価とした. 同様に，提案手法も 2 番目から 5 番目までの対立点ごとの <Mediation>夕グの集合

を正解データとして評価した後， 4 つの対立点の値を平均している。一方, 入力に関しては, 従来手法が着目言明のみを与えたのに対し, 提案手法は着目言明と焦点となる 2 文を与えている.焦点となる 2 文として，＜Label>タグの記述，または，＜Statement＞タグの記述を用いることが考えられるが，表 5 および表 6 の値は，着目言明と<Label>タグの記述を用いた場合の結果と，着目言明と <Statement>タグの記述を用いた場合の結果を平均した値である。表 5 において，焦点となる 2 文を与える提案手法の方が従来手法よりも全体的に高い値を示している。なお, 着目言明そのものに関する, 第一の対立点の<Label>タグを用いた場合でも，例えば，「コラーゲンは肌に良いとは限らない」といった対立言明が明確になるため,「コラーゲンは肌に良い」という着目言明のみを用いる従来手法よりも提案手法の方が入力される情報量は多くなる.

表 6 の値は全ての着目言明の平均値を示している。表 5 に示すように，正解パッセージ数は数十程度であるため, 達成可能な適合率が必ずしも $100 \%$ になるとは限らない. それゆえ, 表 6 では，正解パッセージをより上位に，より多く出力する方が優れた手法であると考える。従来手法と比較すると, 上位 10 件の適合率が 0.050 から 0.231 に向上しており, 下位まで評価範囲を広げた場合においても全体的に精度の改善が見られる。再現率に関しても, 従来手法では上位 1,000 件において半分に達しなかった再現率が 0.678 に向上しており, 網羅性の点で大きく改善されたと考えられる。

## 6.3 焦点とする 2 文の対比構造が精度に及ぼす影響に関する実験

焦点とする 2 文を人手により生成する場合と Web 文書から抽出する場合の影響を調査するために，＜Label>タグと <Statement>タグを用いて，肯定側記述と否定側記述の入力を以下のように変えた場合の平均精度を求めた。人手により生成する場合の肯定側記述と否定側記述には, <Label>タグの記述を利用することとし, Web 文書から抽出する場合の肯定側記述と否定側記述には, Polarity 属性の值が ‘POSITIVE’と 'NEGATIVE’である＜Statement>タグの記述をそれぞれ利用することとした。例えば，図 4 に示した，着目言明「コラーゲンは肌に良い」における 3 番目の対立点が焦点となる場合，人手により生成する場合の肯定側記述は，＜Label>タグ

ると良い」となり，否定側記述は「コラーゲンは塗ると良い」となる。また，＜Statement>夕グの記述を用いて, Web 文書から抽出する場合の肯定側記述は「コラーゲンドリンクで効いてる実感ってなかったけど, このコラーゲンは高純度っていうだけあってスゴイ」, 否定側記述は 「コラーゲンには保湿効果があるので，へアパックなどにも用いられることがあります」となる.なお, <Statement>タグは複数存在し, 全ての組み合わせを考慮すると膨大な数になるため, ランダムに組み合わせた 5 組を用いて実験を行った.

表 7 に結果を示す. 表 7 の値は, 肯定側記述と否定側記述の組を入力とした時の平均精度の値を，全ての着目言明における全ての対立点について平均したものである. 明瞭な対比構造を
表 7 焦点となる 2 文の違いによる平均精度への影響

もつ，＜Label＞の記述を用いた場合よりも，＜Statement＞タグの記述を用いた方が良いという結果となった.したがって，提示された文書集合から焦点とする 2 文を選択するという対話的なアプローチを採ることが精度の面で問題ないと言える。このような結果になった理由として， まず，抽出される特徴語が増加したことによる焦点の明確化および焦点に関連するパッセージの絞り込みが容易になったことが考えられる。一方で，＜Statement>夕グの記述を用いた場合には,「実感」や「スゴイ」といった, 着目言明や焦点と無関係な語も特徴語として抽出されてしまうが，これらの語による悪影響が小さかった理由としては，手掛かり表現による制約が有効に働いたためと考えられる。

## 6.4 特徵語と手掛かり表現が精度に及ぼす影響に関する実験

調停要約としての適切性の計算には, 式 (9) に示すように, トピック特徴語に関するスコア $s c_{t k}$, 焦点特徴語に関するスコア $s c_{f k}$, 肯定側特徴語に関するスコア $s c_{p k}$, 否定側特徴語に関するスコア $s c_{n k}$, 逆接表現に関するスコア $s c_{a e}$, 限定表現に関するスコア $s c_{p e}$, 結論表現に関するスコア $s c_{c e}$, 不要文に関するスコア $s c_{r s}$ の 8 種類の因子に関するスコアが用いられている. そこで，ある 1 種類の因子に関するスコアを考慮せずに，他の 7 種類の因子に関するスコアのみを用いて調停要約としての適切性を計算した場合の結果と比較することで，各因子が調停要約生成の精度にどの程度寄与しているかを調査した。

着目言明ごとの平均精度への影響を表 8 と表 9 に示す。また，適合率と再現率への影響を表 10 と表 11 にそれぞれ示す. 各列は，ある 1 種類の因子に関するスコアを考慮せずに，例えば， $-s c_{t k}$ であればトピック特徴語に関するスコアを考慮せずに, 調停要約の適切性を計算した場合の平均精度を示している。表 5 や表 6 の提案手法の値と比較して低いほど，その因子が精度に寄与した割合が高いと考えられる。8 因子の中で最も低下した因子の結果を太字で示している。また，考慮しない方が上昇している因子の結果を斜字体で示している．着目言明によってばらつきがあるものの, トピック特徴語, 逆接表現, 限定表現による影響が大きいことが分かる. 特徴語の場合, 「炭酸飲料はからだに悪い」の否定側特徴語を除いて, 基本的に精度の向上に寄与しているが，手掛かり表現と不要な文の場合, 着目言明によっては, 考慮しない方が良い結果をもたらす場合があった. しかしながら, 表 10 と表 11 の上位 10 件において值の低下が見られることから, 総合的には全ての因子が調停要約の適切性を判定するのに必要であると考えられる。
表 8 特徴語による平均精度への影響

表 9 手掛かり表現と不要な文による平均精度への影響

表 10 特徴語，手掛かり表現，不要な文による適合率への影響

表 11 特徴語，手掛かり表現，不要な文による再現率への影響

## 6.5 事例の分析

従来手法と比較して，提案手法により精度の改善につながった例を表 12 に示す。

着目言明「コラーゲンは肌に良い」におけるパッセージは，「コラーゲンは食べると良いvs. コラーゲンは塗ると良い」という疑似対立を調停している理想的な正解の出力例である。この
表 12 提案手法により改善されたパッセージの例

パッセージは，従来手法において 63 位にランキングされていたが，「コラーゲンは食べると良いvs.コラーゲンは塗ると良い」という，焦点とする 2 文が与えられたことにより，肯定側特徴語「食べる」や否定側特徴語「塗る」に関するスコアが他のパッセージに比べて相対的に高くなり，1位にランキングされた。また，逆接表現「しかし」がパッセージの中程に現れていることも 1 位にランキングされる要因の 1 つとなった.

着目言明「飲酒は健康に良い」における例は，「飲酒」に関連した記述ではあるが調停要約として相応しくないパッセージである。従来手法では，「飲酒」や「健康」といった特徴語を含んでいるため，950 位にランキングしていたが，提案手法では，手掛かり表現や不要な文に関するスコアが低いことを考慮することで，調停要約として適切ではないと判定して 4,265 位にランキングすることができた.

提案手法により改善できなかった例を表 13 に示す.

着目言明「嘘をつくのは悪いことである」の例は，調停要約として適切な内容のパッセージであるが，提案手法では 1,382 位にランキングされることとなった. これは，着目言明や焦点とする 2 文では「嘘」と漢字で表記されていたのに対して, パッセージ中では「うそ」と仮名で表記されていたため, トピック特徴語「嘘」がパッセージ中に存在しないと判定されたことが原因であった. 提案手法では，分類語彙表による類義語の処理しか行っていなかったため，今後，表記ゆれの処理を行うことで対処したいと考えている.

着目言明「飲酒は健康に良い」の例は，飲酒と癌になるリスクとの関係に関する調停要約として適切なパッセージであるが,「飲酒は心臓病のリスクを上げる vs. 飲酒は心臟病のリスクを
表 13 提案手法により改善されなかったパッセージの例

## 着目言明「嘘をつくのは悪いことである」

焦点「嘘をつくのは悪いことである vs. 嘘をつくのは悪いこととは限らない」

相手を騙して自分の利益にするうそは許されませんが，相手を傷つけないようにつくうそもあります. 誰もが本当のことしか言わなかったら，殺伐とした，おそらくとんでもない世の中になってしまうと思いませんか？お世辞やごますりなど，相手の人を傷付けない様に，またはいい気分にさせるために気遣ってつくうそもあります。自分でも相手に対してうそをついているという自覚があり，何らかの見返りを期待する目的があり，相手を気持ちよくさせる意図があるのです. 相手を気持ちよくさせるうそは，犠牲者を出さない許されるうそなのです。

## 着目言明「飲酒は健康に良い」

焦点「飲酒は心臟病のリスクを上げる vs. 飲酒は心臟病のリスクを上げない」

大腸ガンでは飲酒との関連はないとする報告が多く，飲酒習慣とは関連がないと考えるべきでしょう。一方, 肝ガンでは飲酒習慣, 特に多量飲酒の発症や死亡への関与は種々の報告で一致して関連を認めています。肝炎ウィルスキャリアの場合でも，飲酒によって肝ガン発症のリスクが高まることが明らかになっています。肺ガンでは飲酒との関連性は報告されていません．最近では乳ガンと飲酒習慣との関連が注目されており，アルコールの女性ホルモンへの影響が背景にあると推測されています。

着目言明「車内での携帯電話の使用は控えるべきである」

焦点「車内での携帯電話の使用は控えるべきであるvs. 車内での携帯電話は使用しても良い」

若干ローカルな話題です. 携帯電話の電波は, 心臟ペースメーカーや補聴器などの機器に影響を与えることは良く知られており，そのため札幌市営地下鉄でも「車内では電源をお切りください」としきりにアナウンスしています。しかし，実際には電源を切っている人はほとんど見かけません．札幌がいくら北海道随一の大都市と言っても，そうそう心臟ぺースメーカーをつけた人が地下鉄に乗ってくるケースはないだろう，と思っているのでしょう．

上げない」という疑似対立に対する調停要約としては不適切なパッセージである．提案手法では，パッセージ中に，トピック特徴語「飲酒」，焦点特徴語「リスク」，逆接表現「一方」等が含まれていたため，63 位にランキングされることとなった。また，焦点特徴語として「心藏病」 と「リスク」の 2 語が抽出されたが，どちらの特徴語も同等の重みで処理をしている。しかしながら，癌のリスクではなく心藏病のリスクに焦点を当てるためには「心藏病」を「リスク」よりも重視した処理を行う必要がある。「リスク」の方が「心臟病」よりも一般的な語であることから, tf-idf 法 (言語処理学会 2010) 等により単語の一般性を計算し, 抽出された特徴語の重みに反映させることで，この問題に対処したいと考えている.

着目言明「車内での携帯電話の使用は控えるべきである」の例は，車内での携帯電話の使用を話題としたパッセージであるが，単に札幌の地下鉄での現状とそれに対する個人の推測を述べているだけであり調停要約としては不適切なパッセージである。提案手法では，パッセージ中にトピック特徴語「車内」や「携帯電話」，逆接表現「しかし」等が含まれていることから全体的にスコアが高くなり，4位にランキングされることとなった。このパッセージが不適切である理由

は，否定側記述の内容を行う人間の心理を推測しているだけであり，両立可能となる客観的な根拠や条件を示していないからたと考えられる。従って, 今後, 主観性判断 (Finn et al. 2001; 松本他 2009) やモダリティ解析 (Matsuyoshi, Eguchi, Sao, Murakami, Inui, and Matsumoto 2010)等を活用することで, この問題に対処していきたいと考えている.

## 7 おわりに

本論文では，利用者が対立の焦点となる 2 文を対話的に明確化した状況下で調停要約を生成する手法を提案した，提案手法は，着目言明により検索された文書集合を最初に利用者に提示し，文書集合中で互いに矛盾しているようにみえる 2 文を利用者が選択した後に調停要約を生成するという対話的なアプローチを採ることで, 利用者が焦点とする疑似対立に適合した調停要約を提示する。また, パッセージの関連性, 公平性, 簡潔性の3つの特徴量を, トピック特徴語, 焦点特徵語, 肯定側特徴語, 否定側特徴語の 4 種類の特徴語と, 逆接表現, 限定表現, 結論表現の 3 種類の手掛かり表現が含まれる位置と, 特徵語も手掛かり表現も含まない不要な文の数を用いて求めることで, 調停要約として適切なパッセージを抽出する.

提案手法の有効性を確認するために，構文レベルで明瞭な対比構造をもたない 2 文を焦点とした場合と，計算で用いた 8 種類の各因子を除いた場合に，生成される調停要約の精度にどの程度影響を与えるかを調停要約コーパスを用いてそれぞれ調査した。その結果, 明暸な対比構造をもつラベルを用いた場合の平均精度 0.022 よりも，明膫な対比構造をもたない，実文書から抽出された記述を用いた平均精度 0.125 の方が良い結果となったことから，対話的なアプロー チを採ることの妥当性を確認した。また，着目言明により差があるものの，総合的に各因子を除くと精度が低下することから，全ての因子が調停要約の適切性を判定するのに必要であることを確認した。さらに，従来手法と比較した場合，上位 10 件の適合率が 0.050 から 0.231 に，上位 1,000 件での再現率が 0.429 から 0.678 にそれぞれ向上したことを確認した.

今後は，誤り分析により明らかになった問題を解決することで，さらなる改善につなげたいと考えている。

## 謝 辞

本研究の一部は, 科学研究費補助金 (No. 22500124, No. 25330254), ならびに, 横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである.

## 参考文献

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2009). "WISDOM: A Web Information Credibility Analysis System." In the ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4.

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Leon-Suematsu, Y. I., Kawada, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2010). "Organizing Information on the Web to Support User Judgments on Information Credibility." In the 4th International Universal Communication Symposium (IUCS2010), pp. 123-130.

Cutting, D. R., Karger, D. R., Pedersen, J. O., and Tukey, J. W. (1992). "Scatter/Gather: A Cluster-Based Approach to Browsing Large Document Collections." In the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'92), pp. 318-329.

Finn, A., Kushmerick, N., and Smyth, B. (2001). "Fact or fiction: Content classification for digital libraries." In the Second DELOS Network of Excellence Workshop on Personalisation and Recommender Systems in Digital Libraries, pp. 18-20.

藤井敦 (2008). OpinionReader：意思決定支援を目的とした主観情報の集約・可視化システム.電子情報通信学会論文誌 (D), J91-D (2), pp. 459-470.

Fukumoto, J., Kato, T., Masui, F., and Mori, T. (2007). "An Overview of the 4th Question Answering Challenge (QAC-4) at NTCIR Workshop 6." In the 6th NTCIR Workshop Meeting, pp. 433-440.

言語処理学会 (編) (2010). デジタル言語処理学事典. 共立出版.

橋本力, 奥村学, 島津明 (2001). 複数記事要約のためのサマリパッセージの抽出. 言語処理学会第 7 回年次大会発表論文集, pp. 285-288.

平尾努, 佐々木裕, 磯崎秀樹 (2001). 質問に適応した文書要約手法とその評価. 情報処理学会論文誌, $42(9)$, pp. 2259-2269.

石下円香, 渋木英潔, 中野正寛, 宮崎林太郎, 永井隆広, 森辰則 (2011). 直接調停要約自動生成システム HERMeS の言論マップとの連携. 言語処理学会第 17 回年次大会発表論文集, pp. 208-211.

Kaneko, K., Shibuki, H., Nakano, M., Miyazaki, R., Ishioroshi, M., and Morii, T. (2009). "Mediatory Summary Genaration: Summary-Passage Extraction for Information Credibility on the Web." In the 23rd Pacific Asia Conference on Language, Information and Computation, pp. 240-249.

加藤義清, 河原大輔, 乾健太郎, 黒橋禎夫, 柴田知秀 (2010). Web ページの情報発信者の同定.
人工知能学会論文誌, 25 (1), pp. 90-103.

河合剛巨, 岡嶋穣, 中澤聡 (2007). Web 文書の時系列分析に基づく意見変化イベントの抽出. 言語処理学会第 17 回年次大会発表論文集, pp. 264-267.

国立国語研究所（編）(2004). 分類語彙表一増補改訂版. 大日本図書刊.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries Using N-gram CoOccurrence Statistics." In the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1 (NAACL'03), pp. 71-78.

松本章代, 小西達裕, 高木朗, 小山照夫, 三宅芳雄, 伊東幸宏 (2009). 文末表現を利用したウェブページの主観・客観度の判定. 第 1 回データ工学と情報マネジメントに関するフォーラム (DEIM), A5-4.

Matsuyoshi, S., Eguchi, M., Sao, C., Murakami, K., Inui, K., and Matsumoto, Y. (2010). "Annotating Event Mentions in Text with Modality, Focus, and Source Information." In the Seventh International Conference on Language Resources and Evaluation Conference (LREC2010), pp. 1456-1463.

Miyazaki, R., Momose, R., Shibuki, H., and Mori, T. (2009). "Using Web Page Layout for Extraction of Sender Names." In the 3rd International Universal Communication Symposium (IUCS2009), pp. 181-186.

Mori, T., Nozawa, M., and Asada, Y. (2005). "Multi-Answer-Focused Multi-Document Summarization Using a Question-Answering Engine." ACM Transactions on Asian Language Information Processing (TALIP), 4 (3), pp. 305-320.

Murakami, K., Nichols, E., Mizuno, J., Watanabe, Y., Masuda, S., Goto, H., Ohki, M., Sao, C., Matsuyoshi, S., Inui, K., and Matsumoto, Y. (2010). "Statement Map: Reducing Web Information Credibility Noise through Opinion Classification." In the Fourth Workshop on Analytics for Noisy Unstructured Text Data (AND2010), pp. 59-66.

村田一郎, 森辰則 (2007). 利用者の興味を反映できる複数文書要約. 言語処理学会第 13 回年次大会発表論文集, pp. 744-747.

中野正寛, 渋木英潔, 宮崎林太郎, 石下円香, 金子浩一, 永井隆広, 森辰則 (2011). 情報信憑性判断支援のための直接調停要約生成手法. 電子情報通信学会論文誌 (D), J94-D (11), pp. 1019-1030.

酒井浩之，増山繁 (2006). ユーザの要約要求を反映するためにユーザとのインタラクションを導入した複数文書要約システム. ファジィ学会論文誌, 18 (2), pp. 265-279.

Shibuki, H., Nagai, T., Nakano, M., Miyazaki, R., Ishioroshi, M., and Mori, T. (2010). "A Method for Automatically Generating a Mediatory Summary to Verify Credibility of Information on
the Web." In the 23rd International Conference on Computational Linguistics (COLING 2010), pp. 1140-1148.

渋木英潔, 中野正寛, 石下円香, 永井隆広, 森辰則 (2011a). 調停要約生成手法の改善と調停要

約コーパスを用いた評価. 第 10 回情報科学技術フォーラム (FIT2011), RE-003.渋木英潔, 中野正寞, 宮崎林太郎, 石下円香, 永井隆広, 森辰則 (2011b). 調停要約のための正

解コーパスの作成とその分析. 言語処理学会第 17 回年次大会発表論文集, pp. 364-367.

Tombros, A. and Sandersoni, M. (1998). "Advantages of Query Biased Summaries in Information

Retrieval." In the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'98). pp. 2-10.

山本祐輔, 田中克己 (2010). データ対間のサポート関係分析に基づくWeb 情報の信憑性評価.

情報処理学会論文誌 : データベース, $\mathbf{3}(2)$, pp. 61-79.

## 略歴

渋木英潔：1997 年小樽商科大学商学部商業教員養成課程卒業. 1999 年同大学

大学院商学研究科修士課程修了. 2002 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科博士後期課程終了. 博士 (経営学). 現在, 横浜国立大学環境情報研究院科学研究費研究員. 自然言語処理に関する研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 日本認知科学会各会員.

永井隆広：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学)。在学中は自然言語処理に関する研究に従事.

中野正寛：2005 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 2011 年同専攻博士課程後期単位取得退学. 修士 (情報学). 2011 年から 2012 年まで同学府研究生.この間, 自然言語処理に関する研究に従事.

石下円香：2009 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了. 現在, 国立情報学研究所特任研究員. 博士 (情報学).自然言語処理に関する研究に従事. 言語処理学会, 人工知能学会各会員.

松本拓也：2012 年横浜国立大学工学部電子情報工学科卒業. 現在, 同大学大学院環境情報学府情報メディア環境学専攻博士課程前期在学中. 自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同
講師, 同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会, ACM 各会員.

