# 返信・非公式リツイートに基づくツイート空間の論述構造解析

東日本大震災では安否確認や被災者支援のために Twitter が活躍したが，一方で多種多様な情報が流通し, 混乱を招いた。我々は，情報の信憑性や重要性を評価する には, ツイート空間の論述的な構造を解析・可視化し, 情報の「裏」を取ることが大切だと考えている。本稿では，ツイートの返信および非公式リツイート（以下，両者をまとめて返信と略す）に着目し, ツイート間の論述的な関係を認識する手法を 提案する。具体的には, 返信ツイートによって, 投稿者の「同意」「反論」「疑問」な どの態度が表明されると考え, これらの態度を推定する分類器を教師有り学習で構築する。評価実験では，返信ツイートで表明される態度の推定性能を報告する。さ らに，本手法が直接的に返信関係のないツイート間の論述的な関係の推定にも応用 できることを示し，ツイート間の含意関係認識に基づくアプローチとの比較を行う. キーワード: Twitter, 態度推定, 教師あり学習, ネットワーク構造, 含意関係認識
## Analyzing the Statement Structure on Twitter using Replies to Tweets and Quoted Tweets

\author{
Yusuke Owada $^{\dagger}$, Junta Mizuno ${ }^{\dagger \dagger}$, NaOaKi OkaZakI ${ }^{\dagger \dagger+, \dagger \dagger \dagger}$, Kentaro Inui ${ }^{\dagger \dagger \dagger}$ \\ and Mitsuru Ishizuka ${ }^{\dagger}$
}

\begin{abstract}
Although Twitter played an important role in supporting victims of the 2011 Tohoku earthquake and tsunami disaster, we encountered a number of situations in which the vast flow of unauthorized information was problematics. To assess the credibility and importance of a piece of information, we find that it is important to analyze the statement structure on Twitter and to understand the background of information. In this study, we propose a method for analyzing the statement relation between a tweet and its reply or quoted tweet. More specifically, we assume that a reply or quoted tweet expresses a statement relation (e.g., agreement, rebuttal, question, other) toward the target tweet, and we build a classifier for predicting a statement relation for a given pair of tweets. The experimental results report the performance of the classifier for predicting statement relations. In addition, we demonstrate that the proposed method can be applied to analyze statement relations between tweets that have no direct reply/quoting link, and we compare the proposed approach with the previous method based on textual entailment.
\end{abstract}


Key Words: Twitter, Statement Relation, Supervised Learning, Network Structure, Textual Entailment

## 1 はじめに

近年, Twitter や Facebook などのソーシャルメディアが社会において大きな存在感を示している. 特に, Twitter は情報発信の手軽さやリアルタイム性が魅力であり, 有名人のニュース, スポーツなどの国際試合の勝利，災害の発生などの速報，アメリカ大統領選挙に代表される選挙活動, アラブの春（2010 年, 2011 年）やイギリスの暴動（2011年）など, 社会に大きな影響を与えるメディアになっている。2011年 3 月に発生した東日本大震災においても，安否確認や被災者支援のために，ソーシャルメディアが活躍した。

Twitter 上ではリアルタイムな情報交換が行われているが，誤った情報や噂も故意に，あるいは故意ではなくとも広まってしまうことがある。東日本大震災での有名な例としては，「コスモ石油の火災に伴い有害物質の雨が降る」や「地震で孤立している宮城県花山村に救助が来ず, 赤ちゃんや老人が餓死している」などの誤情報の拡散が挙げられる。このような誤情報の拡散は無用な混乱を招くだけでなく，健康被害や風評被害などの 2 次的な損害をもたらす. 1923 年に発生した関東大震災の時も，根拠のない風説や流言が広まったと言われているが，科学技術がこれほど進歩した 2011 年でも，流言を防げなかった.

このような反省から，Twitter 上の情報の信馮性を判断する技術に注目が集まっている。しかしながら，情報の信憑性をコンピュータが自動的に判断するのは，技術面および実用面において困難が伴う。コンピュータが情報の信憑性を推定するには，大量の知識を使って自動推論を行う必要があるが，実用に耐えうる知識獲得や推論手法はまだ確立できていない。また, 情報の信憑性は人間にも分からないことが多い. 例えば，「ひまわりは土壌の放射性セシウムの除去に効果がある」という情報が間違いであることは，震災後に実際にひまわりを植えて実験するまで検証できなかった。 さらに，我々は情報の信憑性と効用のトレードオフを考えて行動決定している。ある情報の信憑性が低くても，その情報を信じなかったことによるリスクが高ければ，その情報を信じて行動するのは妥当な選択と言える。

そこで，我々はツイートの信憑性を直接判断するのではなく，そのツイートの情報の「裏」 を取るようなツイートを提示することで，情報の価値判断を支援することを考えている．図 1 に「イソジンを飲めば甲状腺がんを防げる」という内容のツイート（中心）に対する，周囲の反応の例を示した. このツイートに対して, 同意する意見, 反対する意見などを提示することで, この情報の根拠や問題点, 他人の判断などが明らかになる. 例えば, 図 1 左上のツイート「これって本当？？？」は, 中心のツイートに対して疑問を呈しており, 図 1 左下のツイート「これデマです. RT @ttaro:イソジンを飲めば甲状腺がんを防げるよ.」は，中心のツイートに対

図 1 返信・非公式リツイート，もしくは内容に基づくツイート間の論述関係

して反論を行っている。これらのツイート間の関係情報を用いれば，中心のツイートに対して多くの反論・疑問が寄せられているため, 中心のツイートの信憑性は怪しいと判断したり，右下のツイートの URLの情報を読むことで，追加情報を得ることができる.

Twitter において特徵的なのは, ツイート間に返信 ${ }^{1}$ 非公式リツイート2などの形式を取った投稿が可能な点である。例えば, 図 1 左上のツイートは中心のツイートに対する発言であること, 図 1 左下と右上のツイートは中心のツイートを引用したことが記されている。これに対し,図 1 右下のツイートは，返信や非公式リツイートの形式を取っていないため，中心のツイートを見て投稿されたものかは不明である.

本研究では，返信や非公式リツイートの形式を取ったツイート（返信ツイート）に着目し，ツイート間の論述的な関係を認識する手法を提案する，具体的には，返信ツイートによって，投稿者の「同意」「反論」「疑問」などの態度が表明されると考え, これらの態度を推定する分類器を教師有り学習で構築する。評価実験では，返信で表明される態度の推定性能を報告する。さらに，既存の含意関係認識器をこのタスクに適用し，直接的に返信関係のないツイート間の論述的な関係の推定を行い，その実験結果を報告する.


## 2 関連研究

## 2.1 デマ分析

Web 情報の信憑性を判断する研究はこれまでにも多く行われてきているが, 近年は Twitter を対象としたものも多い. Twitter 上に流れるデマを見つけ出す研究はその典型である. Castillo ら (Castillo, Mendoza, and Poblete 2011)は, 手動で信憑性のラベル付けをしたデータを学習させ, ツイートやアカウントの特徴を用いて Twitter 上の情報の信憑性を自動で判別する分類器を訓練し，高い性能を得た，彼らは流行しているトピックをニュースとその他に分類し，ニュー スが正しいか間違っているかを分類している。

また, ソーシャルネットワークの関係をグラフ化し, 解析する研究も盛んである. Twitter のグラフ関係を利用したマイニングを行っているものとして, Gupta らの研究 (Gupta, Zhao, and Han 2012) が挙げられる. Gupta らは, Castillo らと同様の分類器を用いた手法と, グラフ上の最適化の組み合わせにより, Twitter 上で観測されたイベントの信憑性の推定を行った. 彼らは信憑性を，イベントが起こった確からしさとして扱っている。 アカウント・ツイート・イベントに分類器の結果に基づく信憑性の初期値を与え, それらをノードとするネットワークを構成し, リンク関係を用いて信憑性の値を更新していくことで，最終的にイベントの真偽を判定する.

これらの研究は，いずれもデマかそうでないかという真偽判定の問題を扱っている. しかしながら，情報の真偽を判断する事はそもそも難しく，真偽が存在しない情報に対応できないという問題点がある。我々はそのような立場ではなく, 価値判断を行いたい情報の周辺を整理することで，真偽情報の受け手側の行動決定を支援することを狙っている.

## 2.2 感情分析

本研究は, 返信ツイートによって, 投稿者の「同意」「反論」「疑問」などの態度が表明されると仮定しているため, 評判分析, 感情分析に関する研究とも関わりが深い. 感情分析に関する研究の中で近年特に盛んなのは，極性分類と呼ばれるタスクである．極性分類では, 単語や文を単位としてポジティブもしくはネガティブに分類するが, 本研究では, ツイートを単位とした極性分類が必要になる。

Speriosu ら (Speriosu, Sudan, Upadhyay, and Baldridge 2011) はグラフ上での値の更新を利用したツイートの感情分類を提案している．グラフを構成するノードとしてはユーザやツイートの他に, 単語 $\mathrm{N}$ グラムや分類器の学習に使用した感情表現などを加えている. ツイート及び分類器の学習に用いた素性をシードとして各ラベルの確率重みを初期値とし, それらのラベル（ポジティブとネガティブの 2 值）をグラフを通して拡散させることで，ネットワーク構造を利用しない手法を上回る性能を得ている。なお, ユーザのフォロー関係も利用しているが, その有効性については示せていない.

## 2.3 情報のグルーピングと構造の可視化

このアプローチの代表的なものとして, WISDOM (Akamine, Kawahara, Kato, Nakagawa, Inui, Kurohashi, and Kidawara 2009) や言論マップ (水野, 渡邊, 村上, 乾, 松本 2011) が挙げられる。これらの研究は，あるトピックに関連する言明を整理して表示することで，ユーザの信憑性判断支援を行う，WISDOM では，評価極性（良い／悪い）に基づき意見を分類する．評価極性による意見の分類を行う研究は, Turney の研究 (Turney 2002) 以降, 他にも数多く存在する．極性としては良い／悪い，あるいは正の感情／負の感情が用いられる．元々は製品に対するレビューなどを大雑把に分類するのが目的であったが，近年では，評価対象をより明確にした極性分類が盛んである。例えば，「Windows7 はVistaよりもずっと良い」という文から， Windows7に対する良い／正の感情とVista に対する悪い／負の感情を区別して抽出したいという要求がある．Jiang らは，評価対象との構文関係に関するルールを素性に用いた上で，リッイートなどの関連ツイートを利用することにより，評価対象を明確にした極性分類の性能を向上させた (Jiang, Yu, Zhou, Liu, and Zhao 2011).

水野ら (水野他 2011)の言論マップでは, 与えられたクエリと検索対象文の間の意味的関係, すなわち同意するか反対するかに基づいて意見を分類している。言論マップでは，良い・悪いという絶対的な評価極性で分類するのではなく，クエリ文と任意の文が与えられたときに，その関係を文間関係認識で推定している。この文間関係認識は, 近年盛んに行われている含意関係認識 (Dagan, Glickman, and Magnini 2005) を対立や根拠などの関係に拡張したもので，根拠関係などのより広範な分類を扱うことにより，言論構造の把握を目指している。

本論文に最も近いものは Hassan らの研究 (Hassan, Abu-Jbara, and Radev 2011)である. 彼らは，デイベートサイトにおける各議論トピックへの参加者のグループ分けを行った. まずユー ザ間のポストを positive か negative かに分類し, 同じ意見を持つ者同士は positiveなやり取りが多く，違う意見を持つ者同士は negative なやり取りが多いという仮定に基づき, 最終的に同じ意見を持つ者同士をまとめたグループを出力した. これらの先行研究は，いずれも内容に基づくポジネガ分析が主体である. しかしながら，字数が制限されくだけた文体が多いツイートに対し, これらの技術をそのまま適用するのは容易ではない. 本研究では, Twitter 特有のグラフ関係を利用することで, 内容ベースの手法だけでは難しい言論の整理を行う.

## 3 返信・非公式リツイートの態度分類

本研究では, 返信の態度分類を行うことで, ツイート間の論述構造を解析する手法を提案する。返信では，返信先の主張に対する態度や，ユーザそのものに対する態度が表明される。これらの態度を分類することで, ツイート内容やユーザ間の関係を用いてツイート空間の構造を解析することができる。本節では返信で表明される態度分類の手法について述べる.

## 3.1 本稿における各投稿形式の区分

本稿における表記の使い分けを明確にするため, Twitterにおけるいくつかの投稿形式を整理する.

返信 @@で始まる投稿であり，特定のツイートに対する返信として投稿すること. Twitter の提供する機能であり，関係が記録されている。

公式リツィートある投稿をそのままの形でフォロワーに拡散すること. Twitter の提供する機能である.

非公式リツイートある投稿を必要に応じて編集しつつ，自身のコメントを付加して投稿する

こと.「（自分の投稿） $[\mathrm{RQ}] \mathrm{T} @ （$ 返信元のアカウント名）（返信元の投稿）」のような形

式を取る。Twitterの提供する機能ではないが，使用者が多い．なお，自身のコメントを

付加していないものについても非公式リツイートとして扱う.

本稿では, 「返信」という表記は, 特に断りのない限り「返信」と「非公式リッイート」の二つをまとめたものを表す，分けて扱う必要がある場合においては，前者を「返信」，後者を「引用」 と表記する。また，単に「リツイート」「RT」と表記した場合は「公式リツイート」を指すものとする.

## 3.2 問題設定

返信には様々な意図のツイートが存在する，相手の発言に同調，あるいは反発するツイートもあれば，相手や周囲に疑問を投げかけるツイート，引用して情報を補足するツイートなどもある. ツイート空間の論述構造を分析するためには, これらの多様なツイートを, その投稿の意図に従いいくつかのグループに分類する必要がある。 そこで本研究では, 返信で表明される態度を，「同意」「反論」「疑問」「その他」の4クラスに分類するタスクを考える。それぞれのクラスの定義と，その例を以下に示す。例は, 上のツイートに対して，下のツイートが返信である。

同意主張の支持 $(1)(2)$ や感情的な同調（感謝や崇拝 (3) も含む）など，返信先のツイートに対して明確な同意の意図が感じられるもの.

（1）ㅋコスモ石油千葉製油所 LPG タンクの爆発により、千葉県、近隣圈に在住の方に有害物質が雨などと一緒に飛散するという虚偽のチェーンメールが送られています。千葉県消防地震防災課に確認したところ、そのようなことはないと確認できました。”

$\Rightarrow$ 本当ですか安心です

(2) コスモ石油が否定「火災で有害物質降る」のメール連鎖 http://... $\Rightarrow$ デマです。みんな冷静になろう。

（3） 天皇陛下は、宮内庁が京都御所に避難してほしいと要望したのを⼩お断りになっ

たそうじゃないか。…私は心から尊敬します。

$\Rightarrow$ 天皇陛下！万歳！

反論主張の否定 (4) や感情的な反発 (5)(6) など, 明確な反論の意図が感じられるもの. 発言者に対し強く注意を促すようなもの (7) も含める.

(4) ㅋコスモ石油の爆発で有害物質の雨が降る件はデマ。広げてしまった方はツイー ト削除の上、訂正を／コスモ石油が否定…

$\Rightarrow$ 火災で壊滅した、コスモ石油のコンビナートにあった科学燃料の詳細を記者会見で発表して報道しろ!「危険というのはデマです。」なんて情報で納得するわけないだろ!

（5） ‥東京まで健康被害が現れるような $\mathrm{Pu}$ は飛んでこない $\cdots \mathrm{RT} @ \mathrm{YYY}$ : もしプルトニウムが漏れてたら東京から逃げますか？…

$\Rightarrow$ (怒)

（6）一昌本政府は事故の重大性をまったく認識していない。今すぐに多国籍軍を総動員して封じ込めないとチェルノブイリ以上の被害が出る

$\Rightarrow$ 馬鹿左翼、煽るな。

（7） ‥食料がありません。脱水、低血糖が徐々にきています。デマじゃない…見捨てないで下さい【from 茨城県鹿島コンビナート地区】

$\Rightarrow$ せめて公式 RT してください。元の発信者の名前消すとか非公式 RT よりひどい。救助を必要としてる人が、誰たかわからなくなると思いませんか？そのせいで救助が遅れたらと想像できませんか？

疑問返信先に対して情報を要求している (8)が, 明確な反論とは言えないもの. 情報源を要求するようなもの $(9)$ や，引用部に対する疑問の吐露なども含まれる.

（8）ㅋコスモ石油の爆発で有害物質の雨が降る件はデマ。広げてしまった方はツイー ト削除の上、訂正を／コスモ石油が否定…

$\Rightarrow \mathrm{JFE}$ ケミカル等含めた火災による被害が無いと言うことでよろしいですか？

（9）ㅋコスモ石油の爆発により有害物質が雲などに付着し、雨などといっしょに降るので...コピぺとかして皆さんに知らせてください！！

$\Rightarrow$ NHK のニュースでは今のところ有毒物質が発生することはないと言っていますが、あなたのツイートのソースは何ですか？

その他上記のどれにも分類できないもの.

(10) 千葉県、近隣圈に在住の方に有害物質が雨などと一緒に飛散するという虚偽のチェーンメールが送られています。…

$\Rightarrow$ そうであったとしても、雨カッパとかは持ってた方が良いよね。

（11）…千葉県、近隣圈に在住の方に有害物質が雨などと一緒に飛散するという虚偽の

$
\text { チェーンメールが }
$

$\Rightarrow$ 硫黄分の多い原油が燃えると酸性雨につながる可能性があるので、それに尾ひれはひれがついたものと推測します。

これらの4クラスを設計した意図について，上記の例を参照しつつ述べる。ツイート空間の整理に必須なのが，対立構造の抽出である。そのために「同意」と「反論」の 2 クラスを設定する.「同意」のクラスによって結びつけられたツイート群は, 何らかの主張やユーザに対して同様の態度を表明し, 「反論」のクラスによって結びつけられたツイート群は, 何らかの主張やユーザに対して異なる態度を表明する。この 2 クラスを設定することで, ツイート空間を，同じ態度を表明するツイートクラスタの集合として整理できる。なお，「同意」や「反論」については態度が明確なもののみを分類する，前述したように，これら 2 クラスがツイート間の論述構造を解析する上で中心的な役割を果たすため, 曖昧な態度のツイートをこれらの 2 クラスに分類しないように注意する必要がある。(1)(2)(4)(10)(11) は, 「コスモ石油の爆発で有害物質の雨が降るというのはデマ」という主旨のツイートに対する返信である。(1) は主旨を受け入れているので「同意」，(4) は納得しないことを主張しているので「反論」に分類する。(2)は「デマです」と返信しているのでやや紛らわしい例であるが，「冷静になろう」という記述から「危険はない」と考えていることが読み取れ, 返信先のツイートの内容に「同意」していると判断できる。(10)は，主旨を受け入れてはいるが，完全に安心はしていないことが読み取れることから，同意とは言えず，「その他」に分類する，また，(11)は主旨を受け入れてはいるが，返信先の情報への同意よりも自分の考えを表明するためのツイートと読み取れる。このように補足の意図を持つツイートも「その他」に分類する。（7) は発言者に対し強く注意を促すものの例である.この例のように不用意な拡散をたしなめるものは, 拡散しようとするユーザへの反論としてとらえられる。

「同意」と「反論」の2クラスは，著者間の対立関係を表すのに対して，「疑問」と「その他」 の 2 クラスは, 著者間に対立構造は存在しない. 従って, ツイート空間において重要なツイー トとしてツイート A があるとき, それに同意または反論するツイートは重要な存在であるが, その他の関係にあるツイートは, 論述構造を明らかにする上で重要ではない。一方で疑問関係は，論述構造を整理する上で重要である。情報の信憑性を判断する際に，その情報に疑問を持つユーザの存在は，信溤性が低いことを示唆していると考えられるためである．さらに，その疑問に対する回答は，有益な情報となる場合が多いと考えられる。(8) は純粋な疑問，すなわち質問の例である。この質問に対する回答があれば, 被害状況を詳しく把握できる可能性がある.次に，（9）は情報源を求めている例である。これは, 懐疑的な返信ではあるが, 明確な反論とはいえないため，疑問に分類する。

$(2)(5)(6)$ のような感情的な同調あるいは反発のツイートは, 内容（引用の場合は付加部分） には有用な情報は含まれていないが，誰が誰に同調，あるいは反発したかというユーザ同士の
関係を推測することは，論述構造分析の助けになると考えられる。したがって本研究においては, 感情に基づくと考えられるツイートについても,「同意」や「反論」として同等に扱い分類を行なっている。

## 3.3 返信ツイートのアノテーション

返信ツイートの分類を行うにあたり，正解データを準備する。本稿で行う実験で使用するデー 夕は，ホットリンク社より提供された，2011年の 3 月 11 日から 3 月 29 日までのツイートデー 夕 (以下 hottoコーパス) 3である ${ }^{3}$. hottoコーパスには, \#tsunami や\#jishin など震災に関連するハッシュタグまたはキーワードが含まれるツイートと，そのツイートを投稿したユーザやそのプロフィール情報などが収録されている。収集対象ユーザ数は約 100 万人，ツイート数は約 2 億 1 千万ツイートであり，本研究では全てのデータを利用した。また，各ツイートには公式リッイート（以下 RT）や返信の関係が含まれており，これらはそのまま利用した。

ただし, hottoコーパスには引用関係が記録されていないので, 以下の方法で復元した（図 2 参照)．ツイートに“[RQ] T username” というパターンが出てくるとき, そのパターンに続く部分（図 2 左上で，「現在、から始まる網掛けの部分）をどこかのツイートから引用したと考え

図 2 非公式リツイートのリンク情報の復元


る.そして，ユーザ “username” のツイートの中で，投稿日時が引用ツイートよりも前のものをすべて検索する。これらのツイート群に対し, 引用部のテキストとの類似度を文字トライグラムのオーバーラップ係数で計算し, これが最大になるものを引用元と推定する. オーバーラップ係数は，文字トライグラムの集合 $\mathrm{X}$ と $\mathrm{Y}$ に対し, 以下の式で定義される.

$
\text { オーバーラップ係数 }=\frac{|X \cap Y|}{\min \{|X|,|Y|\}}
$

なお, “[RQ] T username1 comment1 [RQ] T username2 comment2”のように引用が何段階が行われているケースの場合, 引用元と考え検索対象とするのは “username1”のツイートのみである. 図 2 では, あるユーザのツイートを検索した結果, 右側真ん中のツイートの類似度が最も高かったため, 左上のツイートの引用元と推定している。 ただ， オーバーラップ係数の最大値が 0.4 未満である場合は引用元が見つからなかったとする.

返信関係のアノテーションには，震災の際に出回ったデマ一覧 5 を参考に，20 個のトピックを選択した，トピックは，デマの内容を端的に説明する短い文である。デマ一覧を利用したのは, 東日本大震災の時に情報の信憑性で問題に上がったことと, 反論関係が比較的多い割合で含まれると考えたからである。それぞれのトピックに関連するツイートを収集するために，クエリとしてトピック中の単語を設定する。選んたトピックとクエリを表 1 に示す. これらのトピックは, クエリで検索できるツイートから, 十分な数の返信を抽出できるように選択した。具体的には，後で述べるように，返信・引用が各 100 個ずつ以上取得できるようなトピックとクエリを選んた．各クエリで hottoコーパスを検索し，リツイート数が多い順に並べる。上位のツイートから順に，返信ツイートを取得する。なお，あるユーザ間で相互の返信が続いている場合には, 反論の応酬であるなど重要な論述構造が存在する可能性があり, 有用なデータとなるため, 返信ツイートが続いている限り全て取得している。このようにして, 各クエリを用い返信・引用をそれぞれ 100 個ずつ，20トピックで計 4000 ツイートを集める。この中に重複するツイートがあった場合には一つを残して削除し，トピック毎の返信ツイートを補充した．以上により，計 4000 個の返信ツイート（以降データセットA）を準備した.

データセット A に対し, 三人のアノテーター（以下 $\mathrm{X} \cdot \mathrm{Y} \cdot \mathrm{Z}$ ）の手により，前項で述べた方針に従い4クラスのラベル付けを行った. アノテーションの一致度合いを表 2 に示す. 4000 ツイートのうち, 3 人のラベルが一致したツイートは 2690 ツイートであった. ラベルの一致度を評価するため, ペアワイズに Cohen のカッパ係数を計算した.

$
\frac{p_{0}-p_{c}}{1-p_{c}}
$

ただし $p_{0}$ は対応クラスの出現数の一致率, $p_{c}$ は対応クラスの偶然の一致率である. XY 間が

表 1 選出した 20 個のトピックと，検索に用いたクエリ

 \\

※表中に示されているトピックは, 全て虚偽と確認されており事実ではない.

表 2 データセットAにおけるアノテーションの一致度

0.660，XZ 間が 0.621 , YZ 間が 0.641 となり, 十分な一致と見なせる． 3 人のアノテーションが一致した 2690 ツイートを集めたものをデータセット B とする.

## 3.4 分類手法

返信の態度を教師有り学習で分類する手法について述べる。学習に用いる素性は大まかに 3 種類に分かれ，ツイート内容に関する素性，ツイート間の素性，ユーザ間の素性である.

ツイート内容の素性は, 単語ユニグラム, 単語バイグラム, URL 数, ハッシュタグ数, デマ否
定単語の有無, 反論表現との一致度である。これらの素性では, 返信ツイートであればツイー ト全文，引用ツイートであれば追加部分（ツイート全体から引用箇所以降を除いたもの）を対象とし，本文中のアカウント名や URL，ハッシュタグを正規表現により取り除く．取り除いたアカウント・URL・ハッシュタグに対しては，それぞれに対し 0 個・ 1 個・ 2 個以上を含むという 3 值の素性を作る。この設定は，実験に用いたツイートデータを観察した結果，URLを 1 個も含まない場合と 1 個以上含む場合には大きな差があると見られ，また，1個だけ含む場合と多数を含む場合にも大きな差があると見られる一方で， 3 個か 4 個かには大きな差はないと見られたため導入した。不要箇所を取り除いた後の本文に対して, MeCab (Kudo, Yamamoto, and Matsumoto 2004) $)^{6}$ による形態素解析を行い，単語ユニグラムと単語バイグラムを抽出する.

デマ否定単語の有無とは，ツイート本文がデマの否定を示す単語を含むかどうかを表すもので，デマ否定単語は「デマ」「ガセ」「誤報」「虚報」「削除」「訂正」の6つとした。これらの単語は必ずしもデマを否定していることを示すとは限らないが，返信で用いられる場合では，デマの否定に用いられるケースが多く，反論の抽出に有効と考えられる。

反論表現との一致度とは, あらかじめ作成した反論表現辞書を用い, 反論に固有の表現をどの程度含んでいるかを表す。 反論表現辞書は，データセット A の中から反論を表すと思われる表現を人手で抽出して作成する。それらの表現にはデマを否定する表現も含まれるが，相手に対する感情的な反発を表す表現なども含まれる. 表 3 に反論表現の例を示す.

なお，この二種類の表現は厳密に区別できるわけではない，例えば，表 3 のその他の表現例の「余計なこと書くな」については，「余計なこと」が指す内容がデマの可能性もある．実際にはこれら二種類を分けて扱う必要はないが, 反論表現をたくさん集めることが，デマによる否定以外の反論を認識する上で有効である。また，一見すると反論を表す表現であるが，反論表現辞書に含めるべきでないものも存在する。例えば，「それはデマです」は反論表現として挙げた一方で，「デマです」「デマらしいです」は反論表現にはふさわしくないことがある。例えば,以下のようなケースが存在する。

デマです，注意！ RT @XXX：（デマを否定する情報） RT @YYY:（デマ情報）

デマらしいです RT @XXX:（デマを否定する情報） RT @YYY:（デマ情報）

この場合，引用元との間には共にデマを否定しているという“同意” の関係が成り立っている

表 3 反論表現の例

^{6}$ http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
}

ため, 反論表現としてはふさわしくない。このように, 伝聞形で使われそうな表現などは反論表現辞書から除外している。実際に収集した 100 個の反論表現は付録に載せた.

以上のように作成した反論表現辞書を用い, 反論表現との一致度を求め，素性として使用する。まず, 反論表現辞書中の各反論表現に対して，その単語バイグラムをどの程度含むかを求める．例えば，反論表現辞書が「それ／は／デマ／です」「これ／デマ／ね」の二つからなる場合を考える。「デマ/です」を含むツイートがあった場合，「それ／は／デマ／です」の 3 個のバイグラムのうち 1 個を含むので $1 / 3$,「これ/デマ/ね」の 2 個のバイグラムは 1 個も含まないので 0 となる.これらのうちの最大値（この場合は $1 / 3$ ）を, 反論表現との一致度とする。実際には反論表現は 100 個あるので，それら 100 個に対して計算を行い，最大值を反論表現との一致度としている。

返信先のツイートとの間の関係についての素性では, ツイートのタイプ, 空文, 単語バイグラムのコサイン類似度を使用する。ツイートのタイプとは，引用かどうかを表す。空文とは，引用でありながらも自身のコメントを付加していないものに発火する素性である．単語バイグラムのコサイン類似度とは，返信ツイートの単語バイグラム（引用ツイートの場合は，ツイート全体から引用箇所を除いた部分）と，返信先ツイートの単語バイグラムのコサイン類似度である。

返信先のユーザとの間の関係についての素性として, 返信の回数, 返信の方向性, RT の回数, RT の方向性, 共通のツイートを RT した回数, 共通の URL をツイートに含んだ回数, 共通のツイートに返信した回数を利用する。返信の回数は, hottoコーパスの中から, 返信している 2 ユーザ間で返信が行われた回数である。方向性とは，2 ユーザ間の返信の履歴を調べ，双方向のやりとりがある，返信相手への返信のみがある，返信がない，のいずれかを指す． RT の回数や方向性についても同様である。これらの素性はユーザ間の関係から返信による態度を推測するために使われる。例えば，RTが相互でたくさん行われている場合，新たな発言も「同意」である可能性が高いと考えられる。返信が一方的なものであった場合，それらの発言は「反論」である可能性があると考えられる。また，共通のツイートを RT した回数，共通の URLをツイートに含んだ回数, 共通のツイートに返信した回数の 3 つは, 第三者を媒介して表れる素性である.例えば，よく共通のツイートをRT しているユーザ同士での返信があった場合は，「同意」の可能性が高いと考えられる。これらの素性の設定における仮定の妥当性は, 4.1 節で検証する.

以上, 各素性の設計について述べたが, 本研究において特に重要と考えているのは, 反論表現辞書との一致度および構造的特徴の利用である。ここでいう構造的特徴とは, 返信か引用かや，返信先のユーザとの間の関係についての各素性であり, これらは Twitter 上の返信構造により生じる素性である。また, 反論表現辞書は, 前述したように返信で用いられることの多い表現を元に作成しており, これらもまたTwitter 上の返信構造により生じる素性と言える. 次節の評価では, 返信構造により生じるこれらの素性がどの程度性能に寄与するのかについても示す.

## 4 返信・非公式リツイートの態度分類の評価

本節では，前節で述べた返信の態度を分類する手法について性能を評価する。

## 4.1 交差検定による性能評価

前節でアノテーション済のデータセット B に対し，前述した 4 クラスに識別する多クラス分類を行う. 本実験では, 分類器として最大エントロピーモデルを用いる. 分類器の実装として, Classias $^{7}$ の pegasos.logistic（L2 正則化ロジスティック回帰）を使用した. 実験では， 2 トピックずつ計 10 個のデー夕に分割し， 10 分割交差検定を行った. 表 4 に, クラス毎の精度・再現率・ $F_{1}$ 値と, 全体の正答率を 10 分割のマイクロ平均で示した. なお， $F_{1}$ 值については全クラスの Macro 平均も示した. $F_{1}$ 値の定義は以下の通りである.

$
F_{1}=\frac{2 * \text { 精度 } * \text { 再現率 }}{\text { 精度 } * \text { 再現率 }}
$

各クラス毎の性能について見ると,「同意」と「疑問」に対してある程度高い分類性能が得られた一方で,「反論」と「その他」の分類性能は低くなっている。「その他」については，他の 3 クラスと異なりツイートの意図が広範囲にわたるため, 共通の素性を得にくくなっているためと考えられる。素性のクラスに対する特定性の指標として, 以下の数式を導入する。素性 $f$ におけるクラス $c_{0}$ の特定性は, 各クラス $c$ の学習結果の重み $w_{f c}$ に対して

$
c_{0} \text { の特定性 }=\frac{\exp \left(w_{f_{c_{0}}}\right)}{\exp \left(\sum_{c \neq c_{0}} w_{f_{c}}\right)}
$

で表す.この時, 特定性は 0.333 を上回るほどそのクラスに有効な素性であることを表す. デー タセット B に含まれる全てのデータで学習した場合に，「その他」を除く各クラス毎に特定性が上位の素性 5 個ずつを表 5 に示す.

表 4 返信ツイートの分類結果（データセット B）

^{7}$ Classias のホームページ: http://www.chokkan.org/software/classias/
}
表 5 各クラスで特定性の高い素性

「同意」と「疑問」の2 クラスについては, それぞれを表すような特徴が比較的うまく抽出されていることが分かる．「同意」については，「!」・URLが 0 個である・感謝を表す表現などが有効な素性である。これらは， $\mathrm{N}$ グラムを直接利用する程度の言語処理で組み达める素性であり, 同意を表す素性としても直感に合うものになっている。また, バイグラムのコサイン類似度の素性も上位に来ていることから, 元のツイートと同じような内容を繰り返す場合にも同意である可能性が高いと考えられる。なお, 素性の導入の際においた「RTの回数が多ければ同意」「共通のツイートを RT した回数が多ければ同意」などの仮定は，素性の表す同意の特定性がそれぞれ 0.335 ・0.336であり，有効ではなかった．「疑問」については，疑問符や問いかけの表現が上位に来ている。これらもまた $\mathrm{N}$ グラムの利用程度で組み达める素性であり，疑問を表す素性としても直感に合う。一方, 「反論」については, 反論表現との一致度が有用であるが, それらを除くとあまり反論に特有の単語とは思えない特徴が多く並んでおり, 反論を示唆する表現は， $\mathrm{N}$ グラムなどの単純な抽出法ではなかなか見つからないことが分かる. 反論の認識に比較的有効であった素性としては，「返信相手への返信のみがある」，すなわち返信が一方通行であるという特徴（特定性 0.437）が挙げられる。 なお, 反論に関してもう少し特定性の低いものを見ていくと，「お前」などの表現が見つかる。しかしながら，このような荗称の類が登場する事例はさほど多くなかったので，反論に関する学習が十分に行えなかったと考えられる.

## 4.2 各素性の有効性

本手法において特徴的なのは, 反論に特有な表現を持つ事例を分類するための反論表現辞書と, そのような表現を持たない事例を分類するための構造的特徵を用いたことである. そこで, これらの有効性を評価するべく，以下の比較を行った．単語ユニグラム・単語バイグラム・元ツイートとのコサイン類似度・URL 数, ハッシュタグ数のみを特徴として使用する場合をべー スライン (Base) とする. ベースラインにデマ表現と反論表現辞書との一致度を加えた場合を反論表現あり (+Con-Exp), 構造的特徴（返信か引用か・共通の RT や URL引用回数・相互の RT や返信回数・相互の RT や返信の方向性）を加えた場合を構造的特徴あり (+Structure), 反論表現辞書と構造的特徴を加えた場合を全使用 (+All) とする.これらの 4 つの場合において,

それぞれ分類器を構築し, 性能を比較したのが図 3 である。本研究では, 「反論」の認識が重要であると考え, マクロ $F_{1}$ 值, 「反論」クラスの $F_{1}$ 値, 正答率の 3 指標で性能を比較した

まず，Base に対する+Con-Exp，および+Structure に対する+All の性能から， 反論表現辞書は反論クラスの識別を中心として大きく寄与することが分かる. 反論表現辞書を充実させることで, 分類器の性能をさらに改善することができると考えられる. 次に, Baseに対する+Structure, および+Con-Exp に対する+All の性能について，それぞれ「反論」 $F_{1}$ 值が向上していることから，構造的特徴は反論クラスの識別性能を多少上げるのに貢献していると言える。一方で他クラスの識別の失敗例が増えることにより全体の正答率はやや低下しており，今後の検討が必要である。例えば，返信の回数・方向性については，分類対象のツイートに関連するようにトピックや時系列を限定することで，より正確にツイート間の関係に繋がる特徴となる可能性がある.

## 4.3 考察

本研究の目的であるツイート間の論述構造解析では,「反論」を高精度で識別することが重要である。そこで，反論の識別に失敗した事例を調査・分析した. ツイートで反論を行うパター ンは，大きく 3 種類に分けられる，1つ目は，発言者への反論であり， 2 つ目は返信先の内容への反論である。そして 3 つ目は，発言者と返信先の内容の両方に対する，いわば複合的な反論である.これら 3 種類の反論の例を以下に示す.

(1) @XXXXXX 偉い学者さんなら、もっともらしい事言ってないで国に話し通すなり、非難勧告するなり、どうにかしろよ。なんにも出来ないなら不用意に被災者の不安煽る様な

Base $\square+$ Structure $\square$ +Con-Exp $\square$ +All

MacroF值

「反論 $\rfloor F$ 值

正答率

図 3 使用する素性による性能変化

## 事言うな。発言者への反論

（2）私が言うのも変ですが水で冷やしている限りメルトダウンはしません。問題が水が送れるか否かです。RT @XXXXXX 水で冷やして「炉心溶融・メルトダウン」を停止できるという原子炉の専門家はいない。内容への反論

(3) @XXXXXX 防護ケース（格納容器のことか？）が万が一破裂しても圧力容器があるので、即炉心が外界に露出ということではない。誤解を生む RT は控えて、RT 元は吟味していただきたい。複合的な反論

データセット $\mathrm{B}$ に含まれる 263 個の反論のうち, 発言者への反論が 81 個, 内容への反論が 137 個，複合的な反論が 45 個であった。それぞれの反論についてどの程度識別することができたのかを評価するため, 図 3 における各特徴を使用した時毎の再現率を図 4 に示す.

発言者への反論については, 返信先の内容に依らない表現が使われることが多いため, 反論表現の抽出が有効である。上記（1）の例では，「不安煽る様な事言うな」という文は内容の影響を受けずに, 反論を表すために広く用いられる。本研究では, 集めた返信ツイートの中からこのような表現を集め，反論表現辞書とした. 反論表現を持つという特徴を使用することで，分類の精度を上げることができる。このことは, 図 4 において, 反論表現を使用した際に再現率が大きく上昇していることから分かる.

次に，内容への反論については，返信先の内容によりツイートに含まれる表現は千差万別であり，内容を理解しなければうまく分類できない。この例では，返信先が「水で冷やしてもメ

図 4 反論の種類毎の再現率

ルトダウンを防げない」という内容であることを理解し，「水で冷やしている限りメルトダウンしない」という主張が反論関係にあることを認識する必要があるが，このような事例を提案手法で分類することは難しい。このような問題を解くためのアプローチとしては，返信先の主張の対象が「水で冷やしてもメルトダウンを防げない」であることを認識し，それに対し，返信の「水で泠やしている限りメルトダウンしない」という主張が対立関係にあることを認識しなければならない。これは, 対象依存の感情分析 (Jiang et al. 2011) や言論マップ (水野他 2011) の矛盾認識で取り扱う事項である。本稿ではそのようなアプローチを取らずに，Twitter 上のネットワークにおける構造的特徴を用いて態度の分類を行っている。図 4 からは, 構造的特徴の利用により，内容への反論の識別数が若干向上していることが読みとれるが，十分な改善とは言えずさらなる検討が必要である.

最後に, 複合的な反論については, 基本的な特徴のみで比較的よく識別できており, 反論表現の利用によりさらに性能が向上している。これは, 複合的な反論の中でも発言者への反論部分から特有の表現をとらえているためである．基本的な特徴のみでよく識別できている理由としては, 複合的な反論はある程度の長さがあり, また定型的な文章で書かれていることが多く, それらに共通する有効な素性が抽出されやすいためと考えられる。

## 5 一般的なツイート間関係認識への拡張

本節では，返信に限らない全てのツイート間の関係認識を行うことを考える，その際，前節までで述べた返信の態度分類を，直接的に返信関係のない一般のツイート間の論述関係分析に応用する手法について述べる。一般に，返信のツイートが全ツイートに占める割合は非常に少ないため, 前節までで作成した分類器をそのまま適用するのは難しい。特に, 反論表現辞書の有効性は低いと考えられる。 反論表現辞書に含まれる表現は，返信先への態度を表す際に利用されることの多い表現であり，返信になっていない一般のツイートに含まれる可能性は低い．

返信の関係にない一般のツイート間に対して4クラスの分類を行うには, その言語的な内容を利用することが考えられる。例えば，ツイート間の反論関係は，含意関係認識課題 (Dagan et al. 2005) に㧈ける文間の矛盾関係 (RTE3 (Giampiccolo, Magnini, Dagan, and Dolan 2007)) に相当する。文間の矛盾関係の認識に取り組んだ Marneffe ら (de Marneffe, Rafferty, and Manning 2011) は，RTE3のテストデータに対して精度 $22.95 \%$, 再現率 $19.44 \%$ 達成した。また, 日本語を対象とした場合, NTCIR9-RITE (Shima, Kanayama, Lee, Lin, Mitamura, Miyao, Shi, and Takeda 2011) 㧍よびNTCIR10-RITE2 において，矛盾関係を含む含意認識課題である MC (multi class) タスクが取り扱われており，RITE2 のフォーマルランにおける矛盾関係認識性能は，精
度 $52.17 \%$, 再現率 $19.67 \%$ が最高性能であった ${ }^{8}$. これらの認識性能が示す通り, 言語的な内容に基づく文間の矛盾関係の認識は容易ではない.

そこで本節では, 返信態度の分類器をツイート間の関係分析に拡張する手法について述べる。具体的には，ツイートペアが与えられた時に，両ツイートおよび両ユーザ，および関連するツイート・ユーザに拡張したネットワークを作り，ネットワーク内に存在する返信関係を分類器で解く。その結果から，元のツイートペアの間の関係を推測する。さらに，後述する文間関係認識を用いて，ツイート間の関係を推測する手法についても述べ，それぞれの分類性能や差異について考察する.

## 5.1 問題設定

一般のツイートの内容や意図は広範囲に渡る。意見の主張に始まり, ニュースなどの拡散, さらに他愛もないつぶやきや独り言の類も多い. これら全てのツイートを整理することはできない. したがって, 整理が完了した際の有用性を考慮し維持しながら範囲を狭めることが必要である。そこで, 3.2 節で定義した, トピックに関連するツイート群を収拾し, それらを整理するタスクを考える。同じトピックに属するッイート間には, そのトピックに対する同意, 反論などの観点から関係を付与できると考えられる．各ツイートがあるトピックに属するか否かを決定する手法については，本稿の手法の対象外であり, 人手で行う.

本節では，同じトピックに属するツイートのペアが与えられた場合に，関係を分類するという問題を解く，分類する関係は，返信の関係分類の際と同じく，「同意」，「反論」，「疑問」，「その他」の四つとする.

同意同様の主張や感情を示すなど, 明確な同意の意図が感じられるもの.

反論対立する主張や感情を示すなど, 明確な反論の意図が感じられるもの.

疑問情報・情報源の要求や, 疑問の吐露など.

その他上記のどれにも分類できないもの.

これらの分類基準は，返信の場合と似ているが全く同じにはならない。前述したように, ッイート間の関係は, トピックに関する主張間の関係としてとらえられる。返信の関係が存在しないツイートペアにおいては，お互いに対する単純な賛成や反対, 感情的な同調や反発などは表れにくい．また，お互いに対する直接的な質問もまず存在しないため，「疑問」はかなり出現頻度が少ないと予想されるが, 存在した場合には重要であると考え, 分類対象の関係に含める. なお, ツイート間のトピックが明らかに異なる場合についても, この4クラスに分類しようとすれば「その他」のラベルを付けることは可能である. しかし, 「その他」のツイートはツイー ト空間の整理には有用でないため, ツイート間のトピックが明らかに異なる事例は除外する.
^{8}$ http://www.cl.ecei.tohoku.ac.jp/rite2/doku.php?id=wiki:results
}

## 5.2 同トピックッイートペアのアノテーション

上記のタスクを行うにあたり，正解データを準備する。データは hottoコーパスより集める. まず， 11 個のトピックを用意する。これらのトピックは返信の分類のために集めたときのもの （表 1）の中から選択した，対応するクエリを用いて検索されたツイートのうち， RT 数が上位のものから 30 件ずつ集める. RT 数上位のものから順に集めるのは, それらのツイートは多くのユーザの目に触れるものであり，論述構造を分析・整理する意義が大きいためである．たたし，疑問を呈するツイートの RT 数が上位に来ることは少ないため，この集め方では疑問の関係は少ないデータとなる。クエリは，該当トピックをうまく集められそうなものを選んでいるが，中にはトピックに関連するツイートだけを集めるようなクエリの調整が難しく，実際にトピックに対応するツイートの数は 30 未満になるものもある. トピック, クエリ, トピックに関連するツイートの数を表 6 に示す.

これらの 11 トピックに対し，ペアワイズな全てのツイートの組み合わせを考える。例えば，「イソジンを飲むと放射能対策になる」のトピックに関しては, 27 個のツイートが存在するので，その組み合わせは全部で 351 個ある。これらの組み合わせについて, 前述した4クラスのラベル付けを行う．ラベル付けは，アノテーション経験の豊富な一人のアノテーターの手により行った. アノテーションの結果を表 7 に示す.「同意」の割合が高く，予想した通り「疑問」の割合は非常に少ないことが分かる。また，このアノテーション済のデータを，以降データセット C と呼ぶ.

表 6 一般ツイートペア分類実験の 11 トピック

対応ツイート数とは, 収集用クエリで抽出した RT 数上位 30 件のうち, トピックに対応するツイートの数を指す.

※表中に示されているトピックは, 全て虚偽と確認されており事実ではない.
表 7 トピック毎のアノテーション結果

※表中に示されているトピックは, 全て虚偽と確認されており事実ではない.

## 5.3 ネットワーク拡張に基づく分類手法

同じトピックの中でのツイートペアの関係分類を, 返信関係分類器を用いて行う手法について述べる。大まかな方針としては，直接の返信の関係が見当たらない場合, ツイートやユーザからなるネットワークを拡張し，返信の関係を探す。前節で述べた反論表現辞書などを用いることで，返信関係にないツイートペアに比べ格段に関係が推測しやすい。そして，返信分類器の出力の結果を元のツイートペア間の関係の推測に用いることとする。まず，直接返信の関係になっている場合が最も直接的な経路である（図 5). 図のリンクについている名称は関係を表している。リンク関係には「author」「RT」「返信」の三種類がある。author はツイートとそのツイートの投稿者の間に，RT はツイートとそのツイートをリツイートしたユーザの間に生じる関係である。このケースでは, 前節の分類器の結果をそのまま使用する。分類器の学習には, データセット B の全データ（2690 個）を用いる.

次に，その周囲のツイートやユーザまで拡張したネットワークを考え，考えられる様々な経路で元のツイートペアを結ぶ。その経路内に返信・引用関係が存在する場合，前節で提案した分類器を用いて各クラスのスコアを算出する。最後に各クラス毎にスコアの和を計算し, 最もスコアの高いクラスに分類する。元のツイートペアを結ぶ経路として以下のものを導入する。まず，両ツイートをリツイートしているユーザがいる場合を考える（図 6）．本稿では，リツイー トは同意であるという仮定を置いている。しかしながら，反論の意図を持ってリッイートしている場合もあるため，片方をリッイートしたユーザ数に対し，両方をリツイートしたユーザ数の割合が大きいときほど同意とみなしやすいと考え，aをリツイートしたユーザ集合と bをリツイートしたユーザ集合の間のジャッカード係数を同意のスコアとする. 次に, 片方のツイー

図 5 直接返信のパターン

図 7 他のツイートで返信のパターン

図 6 両方をリツイートするパターン

図 8 片方をリツイート・もう片方に返信のパターン

トの投稿者が，もう片方のツイートに対し他のツイートで返信している場合を考える（図 7）. このケースでは， a-b 間の関係を a1-b 間が表していると考え，スコアには，ロジスティック回帰により求められた各クラス毎の確率値を用いる。 さらに，片方をリツイートしてもう片方に返信しているユーザがいる場合を考える（図 8)。このケースでは, リッイートは同意であるという仮定に基づき, $\mathrm{a}-\mathrm{b}$ 間の関係を $\mathrm{c} 1-\mathrm{b}$ 間が表していると考え, 同様に返信分類器の出力（ロジスティック回帰により求められた各クラス毎の確率値）を用いる.

以上のようなルールは, 要求に応じて拡張が可能である。例えば, aをリツイートしたユーザ $\mathrm{C}$ と bリツイートしたユーザ D の間に返信関係があった場合に, 分類器によるその関係の出力を用いることができる，ただし，ルールを増やすほど精度は下がると考えられるため, 本稿では上記のルールに限定する.

## 5.4 文間関係認識に基づく分類手法

本節では，2 文を与えたときにその間の意味的関係を返す文間関係認識器を用いてツイート間の関係を分類する手法について述べる。文間関係認識の部分課題に位置づけられる含意関係認識は, 前述の通りワークショップが開催されるなど広く研究されている. 含意関係認識課題で取り扱われている関係の種類を以下に示す.

含意一方の文（テキスト $T ）$ を真としたとき，他方の文（仮説 $H$ ）も真であると判断できる文対

$T$ 川端康成は「雪国」などの作品でノーベル文学賞を受賞した

$H$ 川端康成は「雪国」の著者である

矛盾文中の事象が同時に成立し得ない文対
$T$ モーツァルトはザルツブルグで生まれた

$H$ モーツァルトはウィーンで生まれた

その他上記以外の文対

$T$ 川端康成は小説家である

$H$ 川端康成は大阪で生まれた

本稿で取り扱う 4 つの関係とは，含意が同意に，矛盾が反論に対応するが，同意は厳密な含意ではなく, 反論は矛盾しているとは限らない。そこで，水野ら (水野他 2011) の同意, 対立関係を対象とした文間関係認識器を用いる。彼らの定義する同意, 対立関係は, 本稿で定義する同意, 反論関係とほぼ対応する。疑問関係は取り扱えないため, 同意, 反論, その他の 3 種類の関係に分類する.

まず，図 9 を用いて，彼らの手法を簡潔に述べる。次に，本課題のために変更した点について述べる。

言語解析入力された 2 文それぞれに対して, 形態素解析 (Kudo et al. 2004), 係り受け解析 (Kudo and Matsumoto 2002), 述語項構造解析 (Watanabe, Asahara, and Matsumoto 2010), 拡張モダリティ解析 (江口, 松吉, 佐尾, 乾, 松本 2010), 評価極性判定を行う。図 9 では,係り受け構造を文の上下の矢印で示す.

仮説対応部分の同定テキスト中には, 仮説の内容と関連の低い情報も含まれている。そこで, まず，テキスト中で仮説と内容的に対応する部分を同定する．後段の関係分類では，対応する名詞間や述語間の関係を考慮することで, 文間の関係を同定する。テキスト中で仮説に対応する部分の同定は, 文節アライメント, 局所構造アライメント, 文節アライメントの選択という 3 段階で行われる。以下にそれぞれの手続きを示す.

文節アライメント文節中に含まれる内容語の類似・関連性に基づいて文節間に文節アライメントを付与する，文節中の内容語が類似しているとき，それらが含まれる文節間にアライメントを付与する。図 9 では, 「イソジンで $(H)$ 」と「イソジンを

図 9 文間関係認識例
$(T)\rfloor$ が，イソジンという内容語が共通することからアライメントされる.内容語の類似・関連性は，その表層だけでなく, 日本語 WordNet (Bond, Isahara, Fujita, Uchimoto, Kuribayashi, and Kanzaki 2009) や動詞含意関係データベー ス (Hashimoto, Torisawa, Kuroda, Murata, and Kazama 2009)を用いて，意味的な類似度にも基づいて判断される。図 9 において，「防ぐ $(H)$ 」と「回避できる $(T)\rfloor$ は，意味的に類似しているためアライメントされる.

局所構造アライメント文節アライメントによってアライメントされた文節の中には，文全体の意味を考えるとアライメントすべきではない場合がある。例えば，「イソジンを飲んで被曝を防ぐ」と「ワカメの味増汁を飲むと良い」という 2 文を考える． 2 文間で「飲む」が共通しているが，その対象は異なっているため，アライメントすべきではない.

この問題に対して，文中の依存構造および述語項構造を対応付けるのが局所構造アライメントである。図 9 において，文節アライメントされる「被曝を $(H)$-9 被曝を $(T)\rfloor$ と,「防ぐ $(H)$ - 回避できる $(T)\rfloor$ に着目する。これらは $H$ 側， $T$ 側のいずれにも依存構造が存在し, この構造間にアライメントを付与するのが局所構造アライメントである.「イソジンで $(H)$ - イソジンを $(T)\rfloor$ と「防ぐ $(H)$ - 回避できる $(T)$ 」は， $H$ 側には依存構造が存在するが， $T$ 側には直接の依存関係は存

本研究では水野らと同様に，4文節まで介しても良いという上限を設けた.

文節アライメントの選択文節アライメントされた文節対のうち, 局所構造アライメントもされている文節対のみを選択する。

関係分類アライメント結果を入力として，まず，同意および対立と，その他との分類を行い，次に，同意と対立の分類を行う．1つめの分類は，仮説側の文節が全てテキストにアライメントされたかによって判断される. 2 つめの分類について, 対応付けられた述語が,否定の関係にあるか, 評価極性が異なるか, 反義の関係にある場合, 対立に分類され, いずれにも当てはまらないものは同意に分類される。

本研究で対象としている，ツイートデータには，述語間の否定，評価極性，反義に基づいて分類可能な対立文対だけでなく,「〜というのはデマです」や「〜という事実はありません」といった述語の後方での否定・反論も少なくない. そこで, このような表現を否定表現と呼び, 対応付けられた述語よりも後方に否定表現が現われた場合，同意ならば対立に，対立ならば同意に関係を反転させる工程を付け加えた。本研究で利用した否定表現は，「誤り，ねつ造，誇張，嘘,誤報，デマ，今のところない，ソースがありません，事実はありません，根も葉もない噂，根

拠がない，ニュースはない」である。これらは，評価データ以外のツイートから収集した．表 3 に示される反論表現とは，一般ツイート中の表現である点が異なるが，重なる表現も存在する。図 9 において， $T$ 側の「回避できる」は，その後方の「というのはデマだ」という表現によって否定されており，この 2 文は対立関係に分類される。

彼らの文間関係認識手法は, 仮説が単文 (一つの述語といくつかの項からなる文) であることを前提としている。しかし，ツイートに含まれる文は，単文であることは少ない．そこで，まず，トピックと 2 つのツイートの間の関係をそれぞれ同定し，次にこれら 2 つの関係に基づいてツイート間の関係を同定する。このとき，トピックが仮説に，ツイートがテキストに対応する。図 10 に，トピックを用いてツイート間の関係を求める手法を示す。まず，関係を求めたい 2 つのツートに対して, ツイートとトピックとの間の関係を求める。その際, ツイートは，まず文分割され，次に収集用クエリが全て含まれる文のみが選択される。そのような文が複数存在する場合は，一番後ろの一文を選択する。図 10 は，中心にトピック，上下にツイートから選択された文を表している。上側の文はいずれも同意で，下側の文は，一方が同意で，他方が対立に分類されている。最後に，求められた 2 つの関係から，ツイート間の関係を分類する。卜ピックとツイートとの間の関係から導かれるツイート間の関係の組み合わせを，以下に示す.

(1) 2 つの関係のうち 1 つでも「その他」 $\Rightarrow$ 「その他」

(2) 2 つの関係がいずれも「同意」 $\Rightarrow$ 「同意」

(3) 2 つ関係がいずれも「対立」 $\Rightarrow$ 「同意」

（4）２つの関係が異なる，すなわち「同意・対立」または，「対立・同意」 $\Rightarrow$ 「反論」以降，本手法を「文間関係認識手法 1 」と呼ぶ.

ツイート間の関係を直接同定する手法も評価する。まず，文間関係認識手法 1 と同様に，ツイートを文分割し，収集用クエリを含む文を選択する，次に，関係を求めたい任意の 2 ツイー トについて，選択された 2 文間の関係を求める。同定された文間関係は，同意はそのまま同意関係に対応し，対立は反論関係に対応する。以降，本手法を「文間関係認識手法 2$\rfloor$ と呼ぶ.

## ツイートから選択されたー文室内退避十マスクーイソジンで内部被曝は かなり防げるはず

体内被曝予防のためにイソジンを溶かした

水か、昆布を食べられることをお勧めします】 同意同意

## ツイート間関係

イソジンを飲むと放射線対策になる

対立トピック

体内被曝防止のためイソジンなどヨウ素を含むうがい薬を数適溶かした水を飲んでください放射線被曝の予防や治療のために、ヨウ素】反論を含む消毒剤などを飲んではいけません

図 10 文間関係認識手法 1

## 6 一般的なツイート間の関係認識結果

本節では，前節で述べた一般のツイート間の関係認識手法の評価を行う。本研究の目的は,図1のように，ツイート間の論述関係を可視化し，ユーザに情報の「裏」を提示し，情報の価値判断を支援することである。誤分類事例が多いと，正しく情報の裏を取ることができないため, 高い精度を実現することが重要であり，その上で再現率を上げていく戦略をとる。本稿では，論述関係の可視化を実現するために必要な程度の数のツイートに対して，正しく関係分類が行えたかに着目して評価する。また, ネットワーク拡張手法, 文間関係認識手法がそれぞれどのように有効であったかを考察する。

## 6.1 各トピックにおける評価

正解の関係ラベルを付与したデータセット C の各ツイートペアについて, 関係分類実験を行った. ネットワーク拡張手法について, 図 5 ～図 8 に示すいずれのパターンにも当てはまらない場合は，関係を出力しない.

表 8 ツイート間関係分類結果（精度）

} & 同意 & $0.850(17 / 20)$ & $1.000(21 / 21)$ & $1.000(1 / 1)$ \\

※表中に示されているトピックは, 全て虚偽と確認されており事実ではない.
表 9 ツイート間関係分類結果（再現率）

} & 同意 & $0.067(17 / 254)$ & $0.083(21 / 254)$ & $0.004(1 / 254)$ \\

※表中に示されているトピックは，全て虚偽と確認されており事実ではない.

実験結果の精度を表 8 に, 再現率を表 9 に, 全トピックのマクロ平均と併せて示す. N/A は, その関係に分類された事例が存在しなかったことを示す.

ネットワーク拡張手法は，簡単なパターンの追加だけで，分類された事例は少ないものの，直接の返信関係にないツイート間の関係分類を行うことができた。文間関係認識に基づく手法について，一部のトピックについては，多くの事例を高精度で分類できている。いずれの手法でも分類された事例数の少なかったトピックとして，「東大が入学を取り消し」，「埼玉の水道水に異物が混入し危険」などがある.

## 6.2 考察

本節では，まず，ネットワーク拡張手法の分類結果について考察し，文間関係認識手法 1 および 2 との比較を行う。次に，文間関係認識手法 1 と 2 について比較する.

ネットワーク拡張手法について, 図 5 から図 8 の各パターンごとの分類性能を表 10 に示す.表の各列は，各パターンを単独で使用して，ツイート a, b 間の関係を分類した場合の分類精度
表 10 ネットワーク拡張手法の各パターンによる判定の精度

} & $0.917(11 / 12)$ & $0.333(1 / 3)$ & $0.900(9 / 10)$ & $0.667(4 / 6)$ \\

各トピックについて，上の行が同意，下の行が反論関係の分類性能を示し，手法ごとの精度を示す. ※表中に示されているトピックは，全て虚偽と確認されており事実ではない。

を示している。ただし，両方をリツイートするパターン（図6）は，それぞれのツイートをリッイートしたユーザ集合間のジャッカード係数を同意のスコアとするものであるため，閥値 0.01 以上の場合のみ同意と判定することとしている。このとき，直接返信のパターン（図 5）は，返信態度の分類器をそのまま適用した場合と同等である。 反論関係は「福島から避難した子供には教科書が配布されない」に対して 1 件の誤分類が存在するのみであったが，同意関係への分類精度はマクロ平均で 0.953 と高かった。次に，拡張した各パターンの結果について，まず，両方をリツイートするパターン（図 6）について，本研究ではリツイートは同意関係であるという仮定を置いているため，本パターンでは反論関係への分類は行われない．同意関係への分類精度は比較的高く, 本パターンの有効性が示されている。今後は，リツイート後のツイートも参照し，同意関係ではないリツイートも考慮することで，同意関係の分類精度向上，反論関係への分類も行うことが考えられる．次に，他のツイートで返信のパターン（図 7）は，適合する場合が少なかっために，分類された事例も少なかった，分類性能は，反論事例の分類精度が最も高かったが，分類された事例数が少ないことが問題である，最後に，片方をリツイート・もう片方に返信のパターンは，分類された事例は同意・反論とも多かった．分類精度については，
同意関係は，両方をリツイートするパターン・他のツイートで返信するパターンと同程度の精度で分類することができたが, 反論関係の分類精度はあまり高くなかった。

ネットワーク拡張手法の分類性能を向上させるためには，パターンの拡張や，ネットワークを構成するツイートやユーザの増加が考えられる．前者は，ネットワークをより広範囲にわたって探索して，関係を探してくるようにすることによって，分類可能事例を増やす。ただし，ノイズの多いパターンを採用することで精度は下がる可能性が高い。例えば，元のツイート間のパスが長くなるほど，そのリンク関係の信用度も下がると考えられる。本研究で目指すツイー 卜空間の整理は, 大量のツイートをまとめるよりは, 少数でも重要なツイートを高精度で分類,整理することが有効であると考えているので，ルールの拡張は最適点を見つける問題に帰着することになる，一方で，後者の対策である，ネットワーク探索の対象となるツイートそのものを増やすことは有効であると考えられる，処理を適用するツイートを増やすことで，パターンを拡張することなく，新しいリンクが見つかる可能性は高い.

ネットワーク拡張手法と, 文間関係認識手法 1 および 2 を比較して, ネットワーク拡張手法でのみ正しく分類できた事例として,「救援物資の空中投下は法律で禁止されている」の反論事例の一つを以下に示す.

a【デマ 3 3】「日本では物資の空中投下が認められていない」そんなことはありません。

b なんと驚いた情報です! 日本では物資の空中投下が認められていないんだそう！とっくに自衛隊が孤立被災者に実施してると思ってた。これでは本当に孤立者が死んでしまう。救出前にへリで食糧を落として何が悪いんだろう。わたしは今これを知り怒りで全身が震えてます。みなさんリツイートをお願い!

$\mathrm{a}$ ， bのいずれも，「法律」については言及されておらず，さらに a は括弧による引用に対して否定する構造となっていたため, 文間関係認識手法 1,2 のいずれも反論関係に分類できなかった. ネットワーク拡張手法では，片方をリツイート・もう片方に返信のパターン（図8）によって分類された。パターン中の $\mathrm{c} 1$ として使われたツイート，すなわちaをリツイートしたユーザによるツイート bへの返信は全部で 7 ツイート存在した。そのうちの 3 つを以下に示す.

c1 @XXXXX 【お願いします】問題のツイート削除してください!このままでは本当に物資の空中投下が出来ないと誤解されます。物資が遅れている、投下より安全な輸送を優先している、これは事実です。しかしツイッター上では議論がずれてしまってる現状をご理解ください!

@XXXXX このツイートはデマです。すぐに削除してください。情報に正確性の無いものを拡散させないようお願いします。ツイートでの発言も、常識を忘れないで下さい。拡散させたいときは、ちゃんと調べて情報元などをしっかり確認した上でして下さい。迷惑になります。

@XXXXX これデマたそうですね投下始まったそうで”孤立状態の被災者に対しへリコプ

ターを使った食料の投下も始まった” http://www.xxx./xxx.html こんな時にデマ流さないで!

これらのツイートは全て反論であり，他の 4 ツートも全て反論であった。返信の分類器によりこれらを正しく「反論」と分類できたため, 最終的に出力されるスコアも「反論」が最も高く， a, b 間の関係を正しく分類することができた.

次に，文間関係認識手法 1 と 2 の結果について比較する。全体的には, 手法 2 の方が精度, 再現率ともに優れていた. 同意関係について手法 2 の方が優れていた事例について分析したとこ万，2ツイートがいずれも同一の文を引用している事例が大多数であった. 以下に例を示す. ツイート 1 ツイッターもテレビもメディアを扱う人は考えねばならないことがある。誤報について福島・双葉病院患者置き去り報道の悪意。医師・看護師は患者を見捨てたりしていなかった

ツイート 2 記事:福島・双葉病院患者置き去り報道の悪意。医師・看護師は患者を見捨てたりしていなかった一誤報流した新聞は全力で訂正しろ!

ツイート 1 と 2 で, 下線部は共通している。下線部は, これらのツイートが言及している記事のタイトルであり，この共通部分の関係が同意と分類された結果, ツイート間の関係も同意と正しく分類された。手法 1 では，ツイート中にトピックと同意関係にある 1 文が存在しないため，対応できなかった。 反論関係について手法 2 の方が優れていたトピックとして「救援物資の空中投下は法律で禁止されている」があげられる，以下の例では，下線部の関係が対立に分類されたことで, ツイート間の関係が反論に正しく分類された.

ツイート 3 孤立してる被災地に物資が届いていない。不足マップ作って空と陸から支援できないものか？知り合いは徒歩でおにぎりを届けてるらしい。へリで空中投下できると良い。インターネット接続設備も情報のやりとりの為に必須。

ツイート 4 自衛隊が物資の空中投下が出来ないという噂はデマだったのでマスコミのみなさんのへリで孤立した避難場所への物資の空中投下はできないのでしょうか？政府で許可が下りないのなら即非常措置をお願いしたい。

手法 1 で反論関係に分類されるのは，一方のツイート中にトピックに同意する文が含まれ，他

クに関連する文は，対象物である「物資」が省略されており，「法律」に対する言及もなされていないため, トピックに対して同意関係に分類されなかった。そのため, ツイート間の関係もその他に分類された。

一方で, 反論関係について手法 1 の方が優れていたトピックとして「双葉病院の医師が患者を置き去りにした」が挙げられる。 以下の例において, ツイート 5,6 の下線部は, 手法 2 では, ツイート 5 中の「見捨てていません」に相当する表現がツイート 6 に含まれていなかったため,対立関係に分類できなかったが，手法 1 ではトピックとの関係分類において，それぞれ対立，同
意に分類され，反論関係に分類することができた。

ツイート 5 TUF の報道番組が大熊町双葉病院の職員は患者を残して逃げたと報道しましたが違います。事実は職員は一生懸命患者を搬送してから避難しました。これが真実です。私の父は双葉病院の主任の 1 人です。双葉病院の職員は患者を見捨てていません。ご理解ご”..

ツイート 6 福島第 1 原発の 10 キロ圈内にあり避難指示が出た同町の双葉病院で、患者を避難させるため自衛隊が到着した際、病院内は高齢の入院患者 128 人だけで、医師や病院職員らがいなかったことが分かった。最低だよ酷すぎる。この病院から避難所に移送された患者が 14 人も亡くなってる

以上より，手法 2 が有利なトピックは，2つのツイートに類似した表現が含まれる場合であることが分かった．特に，両方のツイートが同じ文を引用し，それに対する意見を述べているようなトピックにおいて顕著であった。一方で手法 1 は，トピックを適切に作文できれば， 2 つのツイートが類似していない場合に有利であることが分かった.

水野らの文間関係認識の問題点は, 複数文同士の関係分類に直接は対応できないことである. そのため，手法 1 および 2 では，文分割を行った。今後は，文をまたぐ照応解析や共参照解析を行うことで，関係分類の精度をより向上させ，再現率も向上させることが考えられる，一般的に文をまたぐ照応解析や共参照解析の実現は難しいが，ツイートを対象とした場合，参照先となる単語が最大でも 140 文字以内に含まれていることを活用することで，問題の難易度を下げられる可能性がある。

## 6.3 論述構造の可視化

今回の実験で得た結果を元に「「イソジンを飲むと放射能対策になる」のトピックに関するッイート空間の論述構造グラフを作成した。作成の手順は以下である。まず，「イソジンを飲むと放射能対策になる」に対応する 351 個のツイートペアに対し，ネットワーク拡張による手法と文間関係認識による手法のそれぞれで関係分類を試みる。1つ以上の手法で「反論」か「疑問」 と識別したツイートペアについてはそれらの関係で結ぶ。関係が結ばれたツイートペアを全て集めたものを，グラフに載せるツイートの集合とする，次に，そのツイート集合内に生じる全てのツイート間のペアのうち， すでに「反論」か「疑問」の関係がついたぺア以外については, 1 つ上の手法で「同意」と識別されたものがあれば，「同意」関係で結ぶ．以上の流れで論述構造グラフを作成することで，「反論」や「疑問」といった重要な関係を抽出しつつ，無闇にツイート数を増やすことのないグラフを得ることができる.

今回の実験結果を元に作成できたグラフを図 11 に示す.

グラフ中の双方向矢印は「反論」, 結合点が丸になっている線は「同意」と分類された関係を表し, 実線はネットワーク拡張による手法, 破線は文間関係認識による手法で分類した関係を

図 11 「イソジンを飲むと放射能対策になる」の論述構造グラフ

表す。なお，図 11 中のツイート間では，どちらの手法でも分類できた例はなかった。ただし， これらの分類結果が誤っていた関係には×印を付与してある。この実験では，「疑問」を識別することはできなかった。なお，図を描くにあたっては，最も多くの関係を持つツイート「イソジン飲まないで! 放射性ヨウ素が集まるのを抑制する効果なし…」を便宜上中心に据えた。

このグラフから以下のことが言える。まず，中心ツイートと，図の左上にある二つのツイー 卜(「甲状腺に問題がない人なら‥」「ちょ，イソジン等内服以外の‥」）は三角形に結ばれているが，これはネットワーク拡張による手法と文間関係認識が相補的に寄与することで実現している。ツイート間の関係を独立に表示するだけでなく，3ツイート以上の相互の関係を示すことで，ユーザにとっての分かりやすさやシステムの信頼性を高められる可能性がある。このように，精度を重視した両手法を組み合わせることで，システムの信頼性を高め，説得力のある論述構造をユーザに提供できる可能性が高まる。 また, 中心のツイートと, その下のツイート (「薄めたイソジンなら OK？‥」) の間の反論関係を取得している点も特徴である. グラフを作る際に集めたツイートは「イソジンを飲むと放射能対策になる」というトピックに関連するッ

イートであり，このトピックに対する立場で言えば，中心のツイートとその下のツイートは反論関係にあるとは言えない。しかしながら，海藻が効果があるかどうかという点で見ればこの二つのツイートは反論関係にあり, 取得したい情報である。このように多様な情報の論述構造を取得するのが，本研究の目指すところである.

現状の課題として，クラス分類を行った関係に対して誤りが多いことが挙げられる。正しく分類されている関係のみを見ることができれば，ユーザは十分な情報を得ることができるが，間違って分類されている関係が混在していると, 情報を取得するにあたり混乱を招くこととなる. より実用性のある論述構造を得るには，分類の精度を高めなければならない。また，「疑問」の関係にあるツイートやURL を含むツイートを取得し，論述構造グラフに組み込むことも目指している.

## 7 おわりに

本研究では，震災時など多様な情報が Twitter 上で氾監するような状況を想定し，ツイート空間の論述構造を解析する構想を示した．多岐に渡るツイートを整理することは容易ではないが，我々はまず返信で表明される態度に着目し，教師あり学習による4クラスへの分類を行った. 反論表現辞書や構造的特徴を用いることで性能を向上できることを示し, 特に重要な論述関係である「反論」の識別性能の $F_{1}$ 値で $0.472,4$ クラス全体の正答率で 0.751 という性能を得た。

続いて，一般のツイート間の論述関係を分類する手法として，ネットワークの拡張による手法と，文間関係認識による手法を比較した，前者は，あるツイート間の関係を間接的に表すと思われるツイートやユーザの関係を探索し，必要に応じて返信の分類器を適用することで，元のツイートペア間の関係を推測する手法である。それに対し後者は，ツイート間の関係を直接言語処理で解く手法であり, 従来研究の含意関係認識器を本稿のタスク用にカスタマイズして使用した. これら二つの手法は相補的に作用することが期待される。実験では，各手法において得意な性質を持つツイートペアの関係分類で高い性能を発揮した他，適用するトピック次第では両手法が相補的に活用され, 有用な論述構造グラフが得られることを示した. 元来 Twitter の持つ強力な情報伝達力を活用するためには，本研究の提案手法は有効であると考えている.

今後の課題としては, 返信の態度分類器の性能をさらに高める必要がある. 具体的には, 反論表現辞書の拡張および, より有効な構造的特徵の開発が必要となる. さらに, より有用な論述構造グラフ作成に向けては, ネットワークの拡張による手法と, 文間関係認識による手法を共に改善させていくことが必要である，具体的には，前者はより有用なヒューリスティックスの実装とそれに基づく広範なネットワークの探索，およびそのためのデータ整備を行う。後者については，複数文同士の関係分類において，文をまたいた照応解析や共参照解析技術を取り
入れることが重要であると考えている.

本研究が, 先の大震災のような危難の中で, Twitter 上の情報活用に一役買うことになれば幸いである.

## 謝 辞

本研究は, 文部科学省科研費 (23240018), 文部科学省科研費 (23700159), および JST 戦略的創造研究推進事業さきがけの一環として行われた。本研究で使用したデータは, 株式会社ホットリンクより提供された.

## 参考文献

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2009). "Wisdom: A web information credibility analysis systematic." In Proceedings fo the International Conference on ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4.

Bond, F., Isahara, H., Fujita, S., Uchimoto, K., Kuribayashi, T., and Kanzaki, K. (2009). "Enhancing the Japanese WordNet." In Proceedings of the 7th Workshop on Asian Language Resources, pp. 1-8.

Castillo, C., Mendoza, M., and Poblete, B. (2011). "Information credibility on twitter." In Proceedings of the 20th International Conf. on World Wide Web (WWW2011), pp. 675-684.

Dagan, I., Glickman, O., and Magnini, B. (2005). "The pascal recognising textual entailment challenge." In First Machine Learning Challenges Workshop, pp. 177-190.

de Marneffe, M.-C., Rafferty, A. R., and Manning, C. D. (2011). "Identifying Conflicting Information in Texts." In Handbook of Natural Language Processing and Machine Translation: DARPA Global Autonomous Language Exploitation. Springer.

江口萌, 松吉俊, 佐尾ちとせ, 乾健太郎, 松本裕治 (2010). モダリティ、真偽情報、価値情報を統合した拡張モダリティ解析. 言語処理学会第 16 回年次大会発表論文集 E3-8, pp. 852-855.

Giampiccolo, D., Magnini, B., Dagan, I., and Dolan, B. (2007). "The third PASCAL recognizing textual entailment challenge." In Proceedings of the ACL-PASCAL Workshop on Textual Entailment and Paraphrasing, pp. 1-9.

Gupta, M., Zhao, P., and Han, J. (2012). "Evaluating event credibility on twitter." In Proceedings of the 12th International Conf. on Data Mining (SDM2012), pp. 153-164.

Hashimoto, C., Torisawa, K., Kuroda, K., Murata, M., and Kazama, J. (2009). "Large-Scale Verb Entailment Acquisition from the Web." In Conference on Empirical Methods in Natural

Language Processing (EMNLP2009), pp. 1172-1181.

Hassan, A., Abu-Jbara, A., and Radev, D. (2011). "Detecting subgroups in online discussions by modeling positive and negative relations among participants." In Proceedings of the 9th Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL2012), pp. 59-70.

Jiang, L., Yu, M., Zhou, M., Liu, X., and Zhao, T. (2011). "Target-dependent twitter sentiment classification." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL2011), pp. 151-160.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis using Cascaded Chunking." In CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp. 63-69.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying conditional random fields to Japanese morphological analysis." In Proceedings of the 1st Empirical Methods in Natural Language Processing (EMNLP2004), pp. 230-237.

水野淳太，渡邊陽太郎，村上浩司，乾健太郎，松本裕治 (2011). 文間関係認識に基づく賛成・反対意見の俯瞰. 情報処理学会論文誌, 52 (12), pp. 3408-3422.

Shima, H., Kanayama, H., Lee, C.-W., Lin, C.-J., Mitamura, T., Miyao, Y., Shi, S., and Takeda, K. (2011). "Overview of NTCIR-9 RITE: Recognizing Inference in TExt." In Proceedings of the 9th NTCIR Workshop, pp. 291-301.

Speriosu, M., Sudan, N., Upadhyay, S., and Baldridge, J. (2011). "Twitter polarity classification with label propagation over lexical links and the follower graph." In Proceedings of the 1st Workshop on Unsupervised Learning in NLP, pp. 53-63.

Turney, P. D. (2002). "Thumbs up or thumbs down?: Semantic orientation applied to unsupervised classification of reviews." In Proceedins of the 40th Annual Meeting on Association for Computational Linguistics(ACL2002), pp. 417-424.

Watanabe, Y., Asahara, M., and Matsumoto, Y. (2010). "A Structured Model for Joint Learning of Argument Roles and Predicate Senses." In Proceedings of the 48th Annual Meeting of the Association of Computational Linguistics (ACL2010), pp. 98-102.

## 付録

3.4 節で示した反論表現辞書について，収録した反論表現の一覧を以下に載せる.

表 11 反論表現辞書

## 略歴

大和田裕亮 : 2011 年東京大学工学部電子情報工学科卒業. 2013 年同大学院情報理工学系研究科. 電子情報学専攻修士課程修了. 同年よりヤフー株式会社.

水野淳太：2012 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.同年より東北大学大学院情報科学研究科研究員. 2013 年より独立行政法人情報通信研究機構耐災害 ICT 研究センター研究員. 博士 (工学). 自然言語処理, 耐災害情報通信の研究に従事. 情報処理学会, 人工知能学会各会員.

岡崎直観 : 2007 年東京大学大学院情報理工学系研究科・電子情報学専攻博士課程修了. 同大学院情報理工学系研究科 - 特別研究員を経て, 2011 年より東北大学大学院情報科学研究科准教授. 自然言語処理, テキストマイニングの研究に従事. 情報理工学博士. 情報処理学会, 人工知能学会, ACL 各会員.乾健太郎：1995 年東京工業大学大学院情報理工工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より東北大学大学情報科学研究科教授, 現在に至る. 博士 (工学).自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL, AAAI 各会員.

石塚満：1971 年東京大学工学部電子卒. 1976 年同大学院博士課程修了. NTT 横須賀研究所, 東大生産研究所 - 助教授, 同大学工学部電子情報・教授,同情報理工学系研究科創造情報／電子情報・教授を歴任し，2013 年東大を退職. 専門は人工知能, Web 知能化, 意味計算, マルチモーダルメディア. 人工知能学会 $\cdot$ 元会長.

