# コミュニティ QA における意見分析のための アノテーションに関する一検討

関 洋平†

意見分析の研究が盛んになり, 世論調査, 評判分析など, 多岐にわたる応用が実現さ れている. 意見分析の研究においては，他の言語処理研究と同様に，コーパスの重要性が指摘されている. 意見分析研究のコーパスは, 応用目的に応じて, 対象とす る文書ジャンルが変化し, アノテーションすべき意見の情報も変更する. 現在, 意見分析コーパスは，ニュース，レビュー，ブログなどの文書ジャンルを対象としたも のが多い，一方で，対話型の文書ジャンルには焦点が当てられておらず，アノテー ションについての明確な方針がない. 本稿では, 『現代日本語書き言葉均衡コーパ ス』に含まれるコミュニティ QA の文書を対象として，詳細な分類タイプに基づく 意見情報ならびに関連した情報のアノテーションを行い，コーパスを作成する。ま た, 複数のアノテーション情報を重ね合わせることにより，コーパス中の質問や回答に現れる意見の特徴を明らかにすることで，ドメインを横断した意見分析や，意見質問の応答技術といった, 現在の意見分析研究が直面している難しい課題に対す る新たな知見を提供できることを示す.

キーワード：意見分析，コーパスアノテーション， BCCWJ，コミュニティ QA
## Research on Annotation of Sentiment Analysis in Community QA

\author{
YOHEI SEKI ${ }^{\dagger}$
}

Recent sentiment analysis studies have demonstrated that many services such as public opinion surveys and reputation analyses are derived from a variety of documentary resources. The annotated corpus in sentiment analysis is one essential resource, as are other NLP technologies such as POS tagging and named entity extraction. The sentiment annotation policy should be defined according to the task and relevant document genre. Recently, many sentiment corpora have been published in news, review, and blog genres. However, a sentiment corpus in the dialog document genre, which involves questions and answers, has yet to be studied, and a sentiment annotation policy has yet to be clearly defined. In this paper, we explain an approach to annotating and creating a sentiment corpus with detailed sentiment types using community QA documents in BCCWJ. We also identify the different sentiment characteristics in a corpus through combinations of annotations to provide novel insights in the challenging topics of opinion question answering and domain adaptation.

Key Words: Sentiment Analysis, Corpus Annotation, BCCWJ, Community QA


## 1 はじめに

ここ数年, Web などの大量の電子化テキストに現れる他者が発信した意見情報を抽出し，集約や可視化を行うことで，世論調査や評判分析といった応用を実現する研究が進んでいる (Pang and Lee 2008; Liu 2010; 大塚，乾，奥村 2007; 乾，奥村 2006). これらの研究を総称して，意見分析 (Sentiment Analysis) あるいは意見マイニング (Opinion Mining) と呼ぶ (Pang and Lee 2008). 対象となる文書ジャンルは, 報道機関が配信するニュース, Web 上のレビューサイト,個人が自身の体験や意見を記述するブログやマイクロブログなどであり，政策や選挙のための情報分析, 世論調査, 商品や映画やレストラン・ホテルなどのサービスの評判分析, トレンド分析, などについて実用化が進められている. 現在の意見分析の研究は, 技術は洗練され, 応用範囲は広がりつつあるものの, ここ数年, 従来のやり方を大きく変えるような提案は著者の知る限りではあまり見当たらない，その結果，意見質問応答や，ドメインを横断した意見分析といった難易度の高い応用は，技術の壁にぶつかっている印象を持っている。

意見質問応答は, factoid 型, すなわち従来の質問応答技術に比べて, 回答が長くなる傾向があり，また，質問に対する正答は，1つだけではなく，複数の意見を集約したほうが適切である場合が多い. 初期の研究 (Stoyanov, Cardie, and Wiebe 2005) では, 文や節などの単位を主観性などの情報に基づきフィルタリングすることで, 回答が得られる可能性が増すことが指摘されていた。その後の研究 (Balahur, Boldrini, Montoyo, and Martinez-Barco 2010)によると, 評価型会議 TAC (Text Analysis Conference) で提供されたブログからの意見質問応答・要約のデー タセット (Dang 2008)1を用いた実験では，ブログを対象として，特定の事柄に対する意見を問い合わせ，回答を得るというタスクについて，質問，回答を同一の極性や話題によりフィルタリングすることが有効であり，また複数の連続する文を抽出することが効果的であるが，意味役割付与などに基づくフィルタリングは必ずしも有効な結果が得られていない. さらに，さまざまな識者や組織により表明されている意見を話題別に集約するタスク (Stoyanov and Cardie 2011) などの提案もある. 本研究では, 複数の個人的な意見や体験が含まれる情報を集約して,回答として適切に構成するためには, 従来の意見の属性, 主観性, 極性, 意見保有者などにとどまらず，意見の詳細なタイプをアノテートし，質問と回答の構造について分析を進める必要があると考える。これにより, 複数の個人的な意見や体験を, 詳細なタイプに基づき, 適切な順序で配置することにより，文章として自然な回答を提供できると考えている。

また，質問と回答を含む文書ジャンルとして，Yahoo！知恵袋 2 などのコミュニティ QA サイトがあり，意見質問の判別のために利用されている．具体的には，質問について主観性を判別するためには，質問と回答中の手がかりを区別して利用することが有効という研究 (Li, Liu,
^{1}$ http://www.nist.gov/tac/data/past/2008/OpSummQA08.html

2 http://chiebukuro.yahoo.co.jp/
}

Ram, Garcia, and Agichtein 2008) や, 主観を伴う回答を求める質問を㛜密に定義し，そのような質問は人間に対して回答を求めるという応用を目指している研究が存在する (Aikawa, Sakai, and Yamana 2011). これらの研究は, 主観性を判別する特徴が, 質問と回答との間で明確ではないが関連があることと，意見を問う質問が判別できたとしても，適切な回答を自動的に構成することが難しいことを示唆している。一般に，質問に対する回答を検索するためには，質問に出現しやすい語彙と回答に出現しやすい語彙とのギャップを解消するために，その対応関係をコーパスから学習することにより, 解決するための研究が行われている (阿部, 古宮, 小谷 2011; Berger, Caruana, Cohn, Freitag, and Mittal 2000). 一方で, 意見分析の研究は, 文書ジャンル 3 に応じて要求されるタスクが異なり, 文書に現れる意見の性質も異なる．したがって，意見分析の研究にはコーパスが欠かせないが，現状では，ニュース，レビュー，ブログなどの文書ジャンルが主な対象となっている (関 2013).

本研究では，従来の研究とは異なり，質問と回答を含む対話型の文書ジャンル，具体的には，国立国語研究所の『現代日本語書き言葉均衡コーパス』(BCCWJ)(前川 2011; 山崎 2011, 2012)4 中の Yahoo! 知恵袋5 を対象として，質問とそれに対する回答に詳細な意見情報のアノテーションを行うことにより，質問と回答中の意見の構造やその対応関係を明らかにするための, 基盤となるコーパスの提供を目指している。ただし，一口に意見といっても，その特徴はさまざまである．意見の定義の範囲は広く, 主観性などの広い概念を対象とした場合, 評価, 感情, 意見,態度, 推測などの何を対象とするかを決定することも重要である (Wiebe, Wilson, and Cardie 2005; 小林, 乾, 松本 2006). 本研究では, 態度の詳細分類であるアプレイザル理論 (Martin and White 2005) を参考に，詳細な分類体系に基づく意見情報をアノテートすることにより，質問に対する回答として出現する意見の傾向を，意見の性質の違いから明らかにすることを目指す.

一方で，従来の意見分析では，単一のドメインを対象として研究がなされてきた．それは，ドメインに応じて，主観性，極性を判別したり，意見の対象やそのアスペクトを抽出するための教師あり学習に用いる素性が異なるからである。しかし, 現実社会では, 複数のドメインを横断して，意見分析を行うことが求められる場面が少なくない.この課題に向けた解決のための研究として，複数のドメインを対象とした意見分析に関する研究 (Blitzer, Dredze, and Pereira 2007; Ponomareva and Thelwall 2012; He, Lin, and Alani 2011; Bollegala, Weir, and Carroll 2011; Li, Pan, Jin, Yang, and Zhu 2012) がある.これは，複数ドメインにおいて共通に出現する意見表現や，意見表現間あるいは意見の対象間の類似性を手がかりとして，訓練データと評価データとの不整合を緩和させようという試みである。英語については，Amazonレビューを対象とし


たコーパス ${ }^{6}$ が公開されており，一連の関連研究ではこのコーパスを使用した研究が行われているが, 日本語で同様のコーパスは流通していない (関 2013). したがって, こうした研究を促進するためには，日本語で同様のコーパスを開発する必要がある。また, レビューにとどまらない広い範囲のドメインを対象とした意見の違いなども明らかにする必要がある.

本研究が対象とするコミュニティ $\mathrm{QA}$ は，ブログなどと比較して，カテゴリに対して投稿内容が適合しているという特徴がある。具体的には，コミュニティ QA サービスにおいて，ユー ザは，適切な回答を得る必要性から，提供している質問カテゴリ 7 に対して適合した投稿を行う.これは，さまざまな話題を投稿するため，必ずしも事前に設定したカテゴリにはそぐわない話題を投稿する傾向のあるブログとの大きな違いである。 また，ニュースやレビューと比べると, 生活に密着した多様な話題が投稿される。これらを踏まえ, Yahoo! 知恵袋の複数の質問カテゴリを対象としたコーパスを開発し，詳細な分類体系に基づく意見情報を重ね合わせて分析することにより，ドメインごとの意見の傾向の違いを明らかにすることを目指す.

本論文の構成は以下のとおりである。2 節では, 関連研究を紹介する． 3 節では，コミュニティ QA を対象とした意見分析のためのアノテーションの方針について述べる．4 節では，コミュニティ QAを対象とした意見情報のアノテーション作業の特徵について議論する． 5 節では，Yahoo！知恵袋を対象として構築した意見分析コーパスを使用して，質問と回答や，ドメインあるいはコミュニケーションの目的に応じて出現する意見の性質の違いを明らかにする。最後に，6節で結論をまとめる。

## 2 関連研究

本節では，まず，対話型の文書ジャンルを対象とした意見分析についての関連研究を紹介する. 次に, 複数のドメインを対象としたコーパスとその関連研究について紹介する。最後に, 意見分析のアノテーションに関する関連研究を紹介する.

## 2.1 対話型の文書ジャンルを対象とした意見分析

Somasundaran, Wilson, Wiebe, and Stoyanov (2007)は, Web 掲示板やニュースからの質問応答において, 質問と回答の態度を詳細に分類してフィルタリングすることが有効だという仮説を立て, 実際に分類可能なタイプとして, 意見 (sentiment) に加えて議論 (arguing)を設定し, その有効性を示した。ただ，この概念はかなり広いものであり，より詳細なカテゴリを設定しないと，質問と回答の関係は必ずしも明らかにならない. また，質問と回答が同一のタイプであることを仮定しているが，意見と議論が明確に区別できず，相互に混在する場合も避けきれ


ないことから, 平均的な回答精度の向上は見られても, 完成度の高い戦略とはなりにくい. 本研究では, より詳細な分類体系に基づき，質問と回答の関係について分析を行う.

また, 彼らはその後, 議論のタイプを利用して, 政治や宗教などのイデオロギー的な討論 (Somasundaran and Wiebe 2010) や，製品の比較 (Somasundaran and Wiebe 2009) を対象として，スタンス (賛成, 反対) 8 の判別に取り組んでいる。彼らの知見で重要な点は 2 つあり，ひとつは，イデオロギー的な討論と，製品の比較とで，スタンスの判別に有用な意見のタイプが異なること，もうひとつは，スタンスの判別には，“議論”や“意見”がそれ単体では有効ではなく, その対象となる単語と組み合わせることが，有効なことを示している点にある。本研究では，これらの知見を踏まえ，詳細な意見タイプと，意見対象のタイプとの組合せに基づき，コー パスの分析を進める.

一方で，コミュニティ QAを対象とした意見分析の研究も行われている (Kucuktunc, Cambazoglu, Weber, and Ferhatosmanoglu 2012).この論文では，質問カテゴリ間の意見の性質の差, 性差, 年齢差, 時間帯の差, 経験による差, ベストアンサーにおける差など, コミュニティ QAの分析に研究の重点が行われているが，意見分析自体は，汎用的なシステムを利用しており，極性（肯定・否定）の判別のみに重点が置かれている。また，コミュニティ $\mathrm{QA}$ では，質問カテゴリごとに，情報や知識を求めるものや，広くみんなの意見や体験を聞きたいもの，など，質問のタイプの出現傾向が異なることが知られている (栗山，神門 2009)。本研究では，より詳細な意見タイプを人手でアノテートすることにより，各カテゴリにおいてどのような意見の差異があるかをより明確なかたちで述べる。

本研究では, 意見の詳細タイプとして, より一般化されたアプレイザル理論 (Martin and White 2005)に着目する. アプレイザル理論の関連研究として, Argamon, Bloom, Esuli, and Sebastiani (2009)は, 11 の態度評価の下位タイプの自動分類に取り組んでおり, 精度は高くないものの,将来的な発展が見込める。佐野 $(2010 a, 2010 b)$ は，ブログを対象としてアプレイザル理論に基づく評価語彙と評価対象の関係などの分析を進めている。本研究では，質問と回答を含む対話型の文書ジャンルとして，Yahoo! 知恵袋を対象として，アプレイザル理論を参照した詳細な意見タイプをアノテートすることで，質問カテゴリ間の意見の差異と，質問と回答間の意見の関係を明らかにすることを目指す。

甲谷, 川島, 藤村, 奥 (2008) は, 日本語のコミュニティ QAサービスにおけるコミュニケー ションのタイプとして, Adamic, Zhang, Bakshy, and Ackerman (2008)を踏まえて,「知識交換」「相談」「議論」の3つを設定し, 質問カテゴリと相関があることを示している。本研究では, これらのタイプと質問カテゴリを組み合わせることにより，意見の詳細タイプの出現傾向を明らかにする。


## 2.2 ドメインを横断した意見分析

各ドメインごとに文書中で使用される概念や語彙の傾向は異なることから，あらゆるドメインに対応した意見分析システムを構築するのは手間である。そこで，ドメインに適応する技術 (domain adaptation)(Sogaard 2013)を用いて，意見分析を実現する研究 (Ponomareva and Thelwall 2012; He et al. 2011; Bollegala et al. 2011; Li et al. 2012)が進められている. たとえば, あるドメインの少数の訓練データに基づき, 別のドメインの大量のデータから類似度により重み付けをして選別・拡張する方法 (Ponomareva and Thelwall 2012) が用いられている。また, 学習にあたっての素性を，対象データに適合したものになるように拡張するアプローチ (He et al. 2011; Bollegala et al. 2011) も研究されている. 素性の拡張に当たっては, 元のドメインと対象ドメインで共通する特徴に着目する必要があり, トピックと極性を共有する単語 (Ponomareva and Thelwall 2012), 周辺語と極性を共有する単語 (Bollegala et al. 2011)などが用いられる。また，ドメインごとに意見の対象となる表現を抽出するためには，一般的な意見表現を利用することが行われる (Li et al. 2012). 以上のように，ドメインを横断した意見分析の研究では， ドメインごとの意見表現と，ドメインを横断した意見表現を識別することが重要となる.

上記の研究は, Amazon レビューの複数のドメインを対象としたデータセット9を用いている (Blitzer et al. 2007). このデータセットでは, 書籍, DVD, 電気製品, 台所用品の 4 つのドメインに関する製品データを取り扱っている。それぞれのドメインでは, 1,000の肯定・否定のラベルが付いたレビュー文書と，ラベルの付いていない，より多くのレビュー文書が含まれている。

本研究では, Yahoo! 知恵袋の質問カテゴリのうち, 質問数の多い主要 7 カテゴリを, 質問者の情報要求を反映したドメインとみなし，意見分析コーパスを構築する。また，各ドメインにおいて，意見とその対象となる単語としてどのような組合せが現れるかを，意見の詳細タイプをアノテートしたコーパスを用いて分析することにより明らかにする。

## 2.3 意見分析のためのアノテーション

次に，意見分析のためのアノテーションを行った代表的な意見分析コーパスとして，MPQA (Multi-Perspective Question Answering) 意見コーパス10を紹介する.

本コーパスは, 2002 年に, 従来の質問応答システムとは異なる多観点の質問応答を対象としたコーパスを開発したことに端を発する (Wiebe, Breck, Buckley, Cardie, Davis, Fraser, Litman， Pierce, Riloff, and Wilson 2002). 具体的なタスクとしては, 政府機関で働く情報分析者が行う作業を自動化することを目的としており，ニュース記事から意見の断片をあらわすテキストを抽出し構造化することで，米国の京都議定書への対応に対して日本人が同意しているか，など
^{9}$ http://www.cs.jhu.edu/ mdredze/datasets/sentiment/

10 http://www.cs.pitt.edu/mpqa/
}

の意見（見方）を問う質問に対する回答を提供できるような応用を検討していた.

この時点で，8つのトピック（のちに，10トピック）に関連する World News Connection $(W N C)^{11}$ の 575 の記事（Ver1.2で， 535 記事に選別）を対象としたコーパスが作成された. このコーパスは, Version 2.0 で， 692 文書に拡張されている．ただし，文書数で見ると，元の World News Connection の記事数が 535 文書なのに対して, Wall Street Journal の記事が 85 文書, American National Corpus（旅行ガイド，話し言葉の書き起こし，9/11レポートなど）が 48 文書, $U L A$ 言語理解サブコーパス (Enron 社破たんに関する社員の電子メール，アラブ言語の翻訳などの文書）から 24 文書と，文書ジャンルは多岐に渡るもののそのバランスは悪く，ニュース記事が圧倒的に多い. 本研究では，コミュニティ QA 以外にも，現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})$ などを活用することにより，各文書ジャンルのバランスを考慮した意見分析コー パスを開発する.

この研究の貢献の一つは，意見情報のアノーテションのフレームワークを，多数の判定者による実験を通して厳密に定めた点にある (Wiebe et al. 2005). アノテーションの方針については，サンプルを使ってアノテータを訓練することにより，方針を自分だけではなく他人とも一貫させるように訓練することを重視している。アノテータ間の一貫性の判定には， $\kappa$ 係数 (Cohen 1960)を用いている. これらの方針は, 本研究の意見分析コーパスの構築の際にも, 参考にする.

## 3 コミュニティ QA データを対象とした意見情報のアノテーション

本節では, Yahoo! 知恵袋を利用した意見分析コーパスの作成の取り組みについて紹介する.

## 3.1 対象コーパスの概要

本研究では, 国立国語研究所の『現代日本語書き言葉均衡コーパス』(以降, BCCWJ) (前川 2011; 山崎 2011, 2012)12 の中から Yahoo! 知恵袋を対象として，意見分析コーパスを作成した。データの選択は, 複数の研究機関が異なるアノテーションを提供している共通の文書群であるコアデータを対象として，その中から質問数の多い主要 7 カテゴリを対象とした。これらのカテゴリ中の文書は, BCCWJにおいて提供される Yahoo! 知恵袋のデータ全体に対しては, $28.3 \%$ の文書を，コアデータに対しては， $26.8 \%$ の文書をカバーしている．他の研究機関が提供するアノテーションのうち，一部のデータは， 3.4 節で後述するように利用し， アノテーションの重ね合わせを行った。 また, データの仕様上, 質問とベストアンサー ${ }^{13}$ とのぺアを 1 文書としている。文書のデータサイズを表 1 に示す。また, 比較のために，新聞記事， BCCWJ の
 / / /$ wnc.fedworld.gov/

12 http://www.ninjal.ac.jp/corpus_center/bccwj/

13 質問者の選択あるいは Yahoo! 知恵袋のユーザの投票に基づく最良の回答.
}
表 1 Yahoo！知恵袋を対象として作成した意見分析コーパスのサイズ

 &  & インターネット &  &  &  &  & 合計 \\

表 2 新聞記事, Yahoo! ブログ, 国会会議録を対象として作成した意見分析コーパスのサイズ

表 3 判定一致度の計算に用いるサンプルデータのサイズ

Yahoo! ブログ，国会会議録についても意見分析コーパスを作成した．新聞記事は，NTCIR-6, 7 意見分析コーパス 14 を, Yahoo! ブログと国会会議録は，BCCWJ のコアデータに含まれるものを利用している。対象となる文書の統計量を表 2 に示す.また, 3.7 節で説明するように， アノテータ間の判定の一致度を調査するために, これらのデータからサンプリングを行っている. サンプルデータのサイズを，表 3 に示す. Yahoo! 知恵袋のサンプルは, 各質問カテゴリについて 10 文書ずつ選択しており，他の文書ジャンルについても，話題のバランスを考慮してサンプルの文書を選択している。なお，本節以降において表に示す結果は，サンプルデータを用いている表 7 と表 8 を除き, 意見分析コーパスの全デー夕を対象としている点に注意されたい.

## 3.2 アノテーションの基本属性

本研究の目的は, コミュニティ QA という質問と回答を含む対話型の文書ジャンルへのアノテーションを通して，対話中に出現する意見情報の傾向を明らかにして，複数ドメインの意見分析ならびに意見質問応答の研究に応用できる日本語コーパスを開発することにある. 具体的な応用としては, ドメインやコミュニケーションの目的に応じた情報要求や回答の傾向を明らかにすることによる，ドメインを横断した意見分析や，コミュニケーションの目的に適したかたちで意見を集約する意見質問応答を考える。

意見分析コーパスの作成では，一般に，文やフレーズを単位として，意見性（主観性），極性


（ポジネガ），意見保有者（誰がその意見を表明あるいは保有しているか），意見対象（何についての意見か) などの情報をアノテートする (Wiebe et al. 2005; Seki, Ku, Sun, Chen, and Kando 2010). 本稿でも, これらの研究の方針に従い, 意見性（あり，なし）, 極性（肯定, 否定, 中立), 意見保有者 (文字列), 意見対象（文字列）を意見の基本属性としてアノテートする。アノテーションの単位は，知恵袋中の 1 文が短いことから，基本を 1 文単位として， 1 文中の別々の節に異なる意見が含まれる場合には，節を分割してアノテーションを行う。節の分割は 3.5 節で述べるアノテーションツールを使用して行う.

一方，自らの悩みや問題を解消するために，回答者に問い合わせるという目的のコミュニティ QA サービスでは, 個人的な情報として体験情報あるいは経験情報 (乾, 原 2008; 倉島, 藤村,奥田 2008; 関，稲垣 2008) も，対話型のコミュニケーションにおいて重要な役割を果たす。本研究では, 関, 稲坦 (2008) を参考にして, 体験性（あり，なし）, 体験主（著者, 著者の家族,著者の友人, その他), 体験タイプ (最近の体験, 過去の体験, 近い未来の確実な予定, その他) についてもアノテーションを行う.

また，2.1 節でも述べたコミュニケーションタイプ (Adamic et al. 2008; 甲谷他 2008)（“相談”, “議論”, “知識交換”）を，1つの文書（質問と回答（ベストアンサー）とのぺア）を単位としてアノテートし，質問カテゴリと組み合わせて，意見・体験情報の質問・回答間における出現傾向や，ドメインごとの差異について，詳細な分析を行う，ただし，この 3 つのタイプに含まれない雑談などを目的としたコミュニケーションについては，“その他”のタイプとする.

このほかに，意見の詳細タイプ，意見対象のタイプについてアノテーションを行うが，これらの属性については, 3.3 節, 3.4 節で，後述する。

## 3.3 意見の詳細タイプの定義

大量のソーシャルメディアにおけるデータを対象とした, 時系列・地域あるいは何らかのカテゴリごとの意見の出現傾向の変化は，極性分類（肯定，否定，中立）により分析を行うことがあるが，対話における意見の役割の違いを分析する上では，この分類は粒度が粗すぎて，必ずしも傾向が明らかとならない。また, 極性の判定はドメインごとに傾向が変化するため, 自動的にアノテートして傾向を分析 (Kucuktunc et al. 2012)しても，その傾向の信頼性は必ずしも保障できない，本研究では，以上の問題点を意識し，意見の詳細タイプを定義し，人手でアノテートすることで，質問カテゴリごと，あるいは質問と回答とを関係づける意見の傾向を分析することを試みる.

意見は, 大きく分けて，（1）肯定, 否定的なニュアンスを含む態度と，(2) 提案などの言語行為や推測などの話者の認識をあらわす中立的な意見に分類される。本研究では，前者については，アプレイザル理論 (Martin and White 2005)に基づき定義を行った.

アプレイザル理論は, システミック文法の対人メ夕機能 (interpersonal meta-function) を，談
話意味論 (discourse semantics) の観点から整理した体系である. Martin and White (2005) は, テキスト中に現れる対人メタ機能の意味は, 仮想的な読者 (putative reader) に対する感情や対話であるという信念に基づき, appraisal, negotiation, involvement の3つのシステムから構成されるものとした。また, appraisal は, 態度評価 (attitude), 形勢$\cdot$やり取り (engagement), 程度評価 (graduation) の 3 つのシステムから構成されるものとした。このうち態度評価は, 感情 (emotion), 倫理 (ethics), 美学 (aesthetics) の区別に基づき, 以下に記述する通り, 自発的な感情の表明 (affect), 人間や組織の振舞や行為の判断や批評 (judgment), 事物や事象に対する評価 (appreciation)の 3つに分類される。本研究では, Martin and White (2005)の中で定義されている，14の下位タイプを意見の詳細タイプ（態度タイプ）としてアノテートする．以下では, それぞれのタイプについて, 本研究におけるアノテーションのための定義と例について述べる.

(1) 自発的な感情の表明 (affect)

感情の表明は, 心理状態を記述する動詞, 属性形容詞, 叙述形容詞, 形容詞に関連した副詞や名詞（恐怖，嫌悪等）などで表現され，感情を表明する人に焦点を当てる．また，主体の感情を記述するほか, 感情を誘発する体験（痛み, 恋愛), 感情を示唆する振舞（涙,笑い, 感謝等), 対象に対する心情（好き, 誇り, トラウマ）の記述も含まれる. 下位夕イプとして，肯定・否定の両面から，以下に要素と具体例を示す.

しない)
- 幸せ・不幸（好悪自発感情的）：うれしい, 笑う, 愛する／泣く, かなしい, 嫌悪する
- 安心$\cdot$不安（生態環境・精神安定的）: 信頼, 任せる, 保証/驚く, 心配する, 不安定な
- 満足・不満（目標活動・欲求充足的）：報いる, 充実, うれしい/怒る, 陳腐, あきあきした

(2) 人間や組織の振舞や行為の判断や批評 (judgment)

人間や組織の振舞, 行為, 信念, 性格に焦点を当て, 規範, 規則, 社会的期待, 価値体系に基づく（提案的なニュアンスの）批評や賞賛を分類する。これらは，副詞（正直に）,属性形容詞（腐敗した政治家）, 叙述形容詞（残酷な）, 名詞（暴君，嘘つき）, 動詞（たます）で表される。批評を誘発する具体的な振舞や行為の記述も含む. モダリティ助動詞（可能, 義務, 意思）や副詞（確率, 程度）は, 批評を強調する. 肯定$\cdot$否定の両面から，以下の下位タイプを指定する。

（a） 世評に基づく尊敬・軽荗（比較しやすい）
- 通常・特別 (特殊性) : 精通した, 自然な, ラッキー／奇妙, 風変わり, 独特な
- 有能・無能 (有能さ) : 強力な, 健全な, 成熟した/弱い, 愚かな, 鈍い
- 頑強・軽薄 (信頼性) : 勇敢, 信頼に足る, 忠実/軽率, せっかちな, 臆病な

（b）道徳に基づく是非（(a).より対象に固有で比較されていない）
- 真実・不実（誠実さ）：正直，信憑性ある，率直／だます，嘘つき，ひねくれた
- 倫理 (親切・謙虚等) $\cdot$邪悪 (我侭 - 高慢等)（倫理的是非）: 寛容, 親切,礼儀正しい/邪悪, 残酷な,わがままな

(3) 事物や事象に対する評価 (appreciation)

事物（自然物，人工物，芸術作品，建造物，構造，人間（ハンサム，ブ男）等）や抽象物 （計画，政策等）に焦点を当て，美的感覚，社会的な意義に基づく評価を，客観化（あるいは一般化）された事物の属性や命題のように表現する。この意見は, 商品の評判分析などで重要な役割を果たす。肯定・否定の判断基準と用語の選択は, ドメインに依存する。抽象物を対象とした場合は，(2) 判断や批評とあいまいになる場合があるが，文脈で判断する．肯定・否定の両面から，以下の下位タイプを指定する。

(a) 対象に対する主体の反応
- 衝撃・退屈（感想・反応）：目立つ, 刺激的, 強烈な/うんざり, 単調な, あきあきする
- 魅力・嫌悪 (質感・反応) : 華麗, 美しい, 魅惑的/不愉快な, グロテスクな, むかつく

(b) 対象の構成・構造に対する形状的・観念的美醜
- 調和・混乱 (構成・構造)：均整のとれた, 一貫/むらのある, 矛盾, ずさん
- 明膫・複雑 (構成・構造) : 純粋, わかりやすい/飾り立て, 仰々しい, わかりにくい

(c) 対象の価值評価
- 有用・無用や有害（社会的意義を反映した観念の認識, ドメインや文化に依存）：鋭い，革新的な, タイムリーな/つまらない, 従来の, 浅はかな,有害な

また，上記では含まれない認識や言語行為を表す中立的な意見のタイプを，新たな意見の詳細タイプ（認識・行為タイプ）として定義した. このタイプは, 態度タイプを付与できないが意見を含んでいると考えられる文について，アノテータから提案されたタイプを検討することで定義した。以下に8つの下位タイプを示す.
- 推測：〜ではないか/〜だと思う等. 個人的な見通しを述べている.

・提起：しよう（誘い）／すべきだ・すべきではないか.

・賛否：そうですね/そうではないと思う。

・ 感謝：感謝します／ありがとうございます.

・謝罪：申し訳ないです／すみません。

$\cdot$ 同情：可哀想だ／大変ですね.

・疑問：そうでしょうか.

$\cdot$ 同意要求：〜ですよね／するほうがいいでしょうか.

## 3.4 意見対象タイプの定義と既存アノテーションの活用

2.1 節でも述べたように，対話型の文書ジャンルにおいて意見を分析する上では，意見の詳細タイプだけではなく, 意見対象と組み合わせて分析を行うことが重要となる. 意見対象, すなわち何についての意見かという情報は, 3.2 節で述べたように, 本コーパスでは文字列単位でアノテートをしている。ただ，意見情報を詳細に分析し，質問や回答やドメインに応じた意見の傾向を分析しようと考えた場合，文字列をそのまま使用するのではなく，分類体系に基づく抽象化が必要となる。このような情報を利用できるリソースとして, BCCWJ のコアデータを対象として, 拡張固有表現 (関根, 竹内 2007) をアノテートして公開されたコーパス (橋本, 乾,村上 2009) がある. 拡張固有表現の表現体系は, 3 階層の 200 のカテゴリから構成されているが, 意見対象をタイプ分類する上では, 詳細すぎない体系が良いと考え, 第 1 階層の 26 のタイプ（人名，組織名，製品名，自然物名など）を意見対象タイプの分類体系として採用する。また, 意見対象のタイプは，拡張固有表現の分類体系と必ずしも対応しておらず，一般名詞が反映する概念も重要である場合があることから, 新たに, 抽象概念 (例, 措置, 耕作放棄地, 善悪,正義), 行為概念 (例, 発言, マデシ政権の要求, 片付け, 散歩), 人間属性概念 (例, 体重, 健康,血圧）の3つのタイプを追加した.

以上を踏まえ，意見対象タイプは，拡張固有表現を参考にし，以下の手順でアノテーションを行った。

(1) 本研究でアノテートした意見対象の文字列と, 拡張固有表現コーパスの同一文書中のアノテートされた文字列とを比較し, 完全一致の場合には，そのまま拡張固有表現の夕イプを意見対象タイプとして採用した。

（2）完全に一致する文字列がない場合には，文字列間の編集距離が近い順に候補を提示し，その中からアノテータが選択することにより，半自動的にアノテートした.

（3） 1 と 2 作業が終了した後で，一般名詞などの文字列で表現される意見対象について，アノテーションを追加した。

## 3.5 アノテーションツール

本研究では, ウェブブラウザでアクセスできるアノテーションツール 15 をアノテータに公開して使用させ，コーパスを構築した。アノテーションツールを図 1 に示す. 本ッールでは, 右フレームに作業対象全文が示されており，文の区切りを修正することができる（修正した文については, 他のアノテータと区切りを共有する）そのうちの1つの文を対象として, 左フレー ムで各属性についてアノテーションを行う。必要なアノテーションを行ったら, 結果の保存ボタンを押す。この段階で，アノテーションが必要な属性についてチェックが行われていない場合には，そのことを注意するウィンドウがポップアップする。必要な属性をすべてアノテートし, 結果の保存に成功すると, 次の文のアノテーションが行えるようになる。一度保存された結果は，次にッールにアクセスするときには，読み込まれてチェックボックスがチェックされた状態で，以前にアノテートした属性を確認あるいは修正できる。複数のアノテー夕同士では，各文の区切り方のみ情報が共有されており, 各アノテータによるアノテーション情報は, 別々に保存されている，各アノテータは，ツールにアクセスするときに自分のアノテータ ID でログインすることにより, 自らがアノテートした以前の情報にアクセスできる。

## 3.6 アノテータについて

アノテータは, Yahoo! 知恵袋を日常的に閲覧する社会人（情報収集を日常業務とする職種） を対象として，2 名のアノテータ（男女 1 名ずつ）を雇用した。これとは別に，新聞記事に同様の意見情報を付与するアノテータを 2 名雇用し，両文書ジャンルのアノテーション方針の調整役を 1 名, 全体の取りまとめ役を 1 名雇用した。新聞記事のアノテーションを並行して行った

## 作業画面の例左フレームに作業領域、右フレームに作業対象全文が表示される

図 1 使用したアノテーションツール

のは，従来の意見分析コーパスの文書ジャンルとの共通性ならびに違いを明らかにする目的で行った.また，これらのアノテーションが終わった後に，Yahoo! ブログと国会会議録を対象として，同様にアノテータを 2 名ずつと取りまとめ役を 1 名雇用して，アノテーションを行った。

## 3.7 アノテーションの手順

意見分析の代表的なコーパスのひとつに, 2.3 節でも紹介した, MPQA(Multi-Perspective Question Answering) 意見コーパス16 があり, 意見情報のアノテーションのフレームワークを, 多数のアノテータによる実験を通して厳密に定めている (Wiebe et al. 2005). アノテーションの方針としては，(1) 文脈を考慮して判定する (2) 方針を一貫させる, などがあり, サンプルを使ってアノテータを訓練することにより，アノテーションの方針を自分だけではなく他人とも一貫させるように訓練することにより，方針のずれを修正することを重視している，以上を踏まえ，本研究のアノテーションの手順は, 以下のとおりとした.

（1）アノテータは遠隔で判定作業を行った後で，疑問に思った点などを書き出す.

（2）アノテー夕全員と直接対面することで，不明確な方針について議論を行い，方針を固めた後で，アノテーションマニュアルを作成する.

（3）マニュアルに基づき，サンプルデータについてアノテータ同士の判定の一致度を調査し,判定が一致してきたことを確認した後，すべてのデータについて判定を行う.

作業は, アノテータを決定した後, 3.1 節で紹介したサンプルデータ（70 文書, 各質問カテゴリ 10 文書）を対象として，20日間にわたりアノテーションを行い，疑問点などを洗い出した後，著者を含む 7 名が直接対面し，方針について議論セッションを行った. これに伴い，一部アノテーション属性などについて修正を行った後，2 週間ほどかけて著者と取りまとめ役との間で調整を行い，アノテーションのガイドラインを取りまとめた。このアノテーションガイドラインに基づき，約 1 ヶ月をかけて残りの文書についてアノテーションを行った. 作業に要した時間は, サンプルデータのアノテーションが 12 時間, 議論セッションが約 4 時間, 残りのアノテーションの時間が 46 時間であった.

## 4 コミュニティ QA を対象とした意見情報のアノテーション作業の特徵

コミユニティ QA のような対話的な文書は, 新聞記事のようなモノローグ的な文書と比べると, 対話相手に（できるだけ早い段階の）反応を喚起するような言い回しを積極的に活用する点に特徴がある。コミュニティ QAにおいては，質問者は，一般には，そのスタンス，あるいは立場や価値観を，短い文書を通じて共有してもらいつつ回答を促す. 回答者は, 同様に, 質問者


に回答を通じて回答者のスタンス，立場，価値観を共有，あるいは覆すよう働きかける。こうした分析のために, 本研究では, 3 節で導入した態度タイプ (Martin and White 2005) や認識・行為タイプなどの意見の詳細タイプを採用することにより，質問者や回答者，あるいはその他のスタンスを区別することが可能となると考える。コーパスを用いた分析については， 5 節で述べる。本節では，最初に意見・体験情報の基本属性の分布を示した後で，意見の詳細タイプをアノテートする上での課題や解決策について議論する.

## 4.1 コミュニティ QA における意見情報アノテーションの分布

まず，Yahoo！知恵袋コーパスにおける意見・体験情報の基本属性の分布を，全体ならびにコミュニケーションタイプ (Adamic et al. 2008; 甲谷他 2008) 別に表 4 に示す.

全体の分布から, Yahoo! 知恵袋においては, 質問・回答ともに意見情報が多く現れているが,特に回答に多く現れている 17 こと, それに対して体験情報は, 質問にやや多く現れている 18 ことがわかる．また，肯定意見は質問において特に少ない 19 。これは，何らかの悩みを持ったユー ザが，コミュニティ QAサイトにおいて質問をしていることを考えれば自然な結果である。また，回答においては，特に中立的な回答が多い20。これは，ベストアンサーにおいては，中立的な意見が好まれる傾向があることを反映していると考えられる．コミュニケーションタイプについては，“知識交換”タイプでは，“相談”や“議論”に比べて意見情報が少ない傾向が見られる。また，“議論”タイプの質問では，体験情報が少ない傾向が見られる。

表 4 Yahoo！知恵袋コーパス中の意見・体験情報の分布

}} & \multicolumn{6}{|c|}{ 質問（文数） } & \multicolumn{6}{|c|}{ 回答（文数） } \\

$-検定（有意水準 $1 \%$ ，両側検定）で，各カテゴリの質問中の意見に対する有意差あり.

$18 \mathrm{t}$-検定（有意水準 $5 \%$ ，両側検定）で，各カテゴリの回答中の体験に対する有意差あり

19 Dunnett の多重比較検定（有意水準 $5 \%$ ）で，各カテゴリの質問中の否定意見，中立意見の構成比に対する有意差あり。

20 Dunnett の多重比較検定（有意水準 $5 \%$ ）で，各カテゴリの回答中の肯定意見，否定意見の構成比に対する有意差あり。
}

さらに, 従来の意見分析の文書ジャンルである新聞記事, ブログと, コミュニティ QA の間で, 意見の詳細タイプの構成比を比較した結果を表 5 , 表 6 に示す 21 . 構成比は, 意見の総数を分母とし, 該当する意見タイプに分類された頻度を分子とした 100 分率を求めてから， すべての質問カテゴリ（またはトピック）に対するマクロ平均を計算した。これらの表から，コミュニティ $\mathrm{QA}$ に対する意見のアノテーションは，認識・行為タイプが 3 分の 1 以上の意見に対して付与されているのに対して, 他の文書ジャンルは $20 \%$ 弱, $5 \%$ 強となっており, 特に, “提起” のような，質問者や回答者に働きかけを行う意見が多く出現する傾向が見られる.

## 4.2 コミュニケーションタイプごとのアノテーションの課題

アノテータ間の判定の一致度は, $\kappa$ 係数 (Cohen 1960) を用いて計算した. サンプルは, 3.1 節でサンプルデータとして紹介した 70 文書を選択した. 2 名のアノテータ間での判定一致度（ $\kappa$係数）を確認した結果を表 7 に示す。なお，片方のアノテータが意見性がないと判定した場合などは，片方の意見者の値は空値となるため，空値をタイプの 1 つとみして $\kappa$ 係数を計算していることに注意されたい。また， 3.2 節で述べた意見を分割する場合についてであるが，この点については，取りまとめ役の第 3 者を通して，事前に区切る場所のみアノテータ同士で協議一致させた上で, 值を計算している ${ }^{22}$. 表 7 の結果から, 意見性, 極性については, almost perfect/ほとんど一致, あるいは, substantial/かなりの一致 (Landis and Koch 1977) という結果になったが，その他の属性については， moderate/中程度の一致となった。

表 5 各文書ジャンルの意見の態度タイプの構成比 $(\%)$

表 6 各文書ジャンルの意見の認識・行為タイプの構成比 $(\%)$


表 7 サンプルデータを用いた各コミュニケーションタイプのアノテータ間判定一致度（ $\kappa$ 係数）

また，2 名のアノテータによるコミュニケーションタイプのアノテーションが一致した結果により，アノテーションを分類した結果についても，一致度を計算した。この結果と 4.1 節の表 4 の結果を比較することで, そのコミユニケーションタイプにおいて少ない傾向が見られた, “知識交換タイプ”の “態度”と“認識・行為”や，“議論タイプ”における“体験情報”などの一致度が低いことが分かる。この結果から，コミュニケーションの目的から直感的に連想されにくい情報のアノテーションは，判定がゆれる傾向が見られる。

たとえば，質問カテゴリ「インターネット」における，以下のような回答を考える。
- 「POWER MANAGEMENTの項目で設定ができます。」
- 「具体的には、P C をがばっと広げて、メモリーと呼ばれる板っ切れを、ぶすっと突き刺せば、OKです。」(一部抜粋)

このような文は，質問に対する手続き的な回答を示していると考えれば，意見性はないと判断することもできる一方で，機能の有用性を示す意見，提起を示す意見と判断される場合もある.

## 4.3 アノテーションがー致しない事例とその解決策

態度タイプについて, 不一致の多い意見タイプを調査したところ, “頑強・軽薄（信頼性）” と “真実・不実（誠実さ）”に不一致があることがわかった。この点については，前者は，世評に基づく尊敬・軽荗であり，後者は，道徳に基づく是非であることをアノテーションマニュアル中に強調した。

その他の問題点としては， 4.2 節の例にも関連するが，片方のアノテータが，別のアノテータの付与した属性を，付与していないケースが散見された。これは多属性のアノテーションにおいては避けがたい問題であるが，認識・行為タイプと，態度タイプについては，共に付与する場合と，片方だけ付与する場合がある。これについては, 以下のような記述をアノテーションマニュアル中に用意し，アノテータに教示することで改善を試みた.

（1）態度タイプに該当するものがなく，認識・行為タイプのみを選択する例.

・ かつて海南市内にも町内に一軒位の割合でお好み焼き屋さんがあったように思う。
表 8 サンプルデータを用いた各文書ジャンルのアノテータ間判定一致度（ $\kappa$ 係数）

・ 米国, 日本のファンの後押しには感謝しています.

・私は, ハイレベル委員会の指摘に基本的に賛成です.

・それはショックですよね。

・落札する前に聞いたほうがいいですよね?

（2）態度タイプを分類しながら，認識・行為タイプにも該当するものがある場合の例.
- みんなで周辺に空いている土地を探そう。（態度タイプ（切望・敬遠）+提起)
- 多数の職員において民間金融機関等との間に公務員としての節度を欠いた関係があったことはまことに遺憾であり，改めて国民の皆様に深くおわび申し上げます。

（謝罪＋態度タイプ（幸せ・不幸））

・ところで皆さんは福田総理を信用できますか？（疑問 + 態度タイプ（頑強・軽薄））

・これは，明らかに異常な状況だが，今の内務大臣の解決能力を超える事態であるのかもしれない.

(態度タイプ「調和・混乱」，認識・行為「推測」)

BCCWJ 中の別の文書ジャンルである国会会議録やブログについては，これらの知見を踏まえた上でアノテーションを行い，3.1節で説明したサンプルデータを用いて， $\kappa$ 値を計算しており，表 8 に示すと打り一致度は改善した。

## 5 Yahoo！知恵袋コーパスを用いた意見・体験情報の分析

本節では， 3 節で作成した Yahoo! 知恵袋を対象としたコーパスを用いて，以下の 3 つの分析を行う。

（1） 質問，回答に出現する意見・体験情報の傾向の分析.

（2） 質問，回答に出現する意見・体験情報の対応関係の分析.

(3) 質問, 回答に出現する意見・体験情報の構造の分析.

2.1 節で紹介した関連研究によると, 意見と意見の対象との関係は, 著者のスタンスを反映している.この考えに基づき, 本研究では, 3.3 節と 3.4 節で定義した, 意見の詳細タイプと意見対象タイプのペアを基本単位として，質問と回答を含む対話型の文書ジャンルであるコミュニティ QAにおける意見の特徴について分析する。また， 2.2 節でも議論した，意見のドメインあ

るいはコミュニケーションの目的に応じた差異を明らかにするために, 各ドメイン（Yahoo! 知恵袋の質問カテゴリ23）ならびにコミュニケーションタイプ (Adamic et al. 2008; 甲谷他 2008) ごとに分析を行い，それぞれの質問カテゴリやコミュニケーションタイプに応じた意見・体験情報の特徵を明らかにする。これにより，特定のドメインやコミュニケーションの目的において意見を求める情報要求に応じて, トピックを表す語彙の分布を考慮するだけではなく, 意見の詳細タイプに基づき，適切な回答を構成する応用を実現するための知見を提供する.

## 5.1 質問, 回答に出現する意見・体験情報の傾向の分析

まず，質問カテゴリとコミュニケーションタイプとの対応関係を表 9 に示す. 各カテゴリには，コミュニケーションタイプに対する偏りがあることが明らかであり，甲谷他 (2008) の主張とも合致する。

これを踏まえて，意見の詳細タイプ（態度タイプ，認識・行為タイプ）と意見対象タイプの組合せ，ならびに体験主と体験タイプの組合せのうち，特定のコミュニケーションタイプを反映したカテゴリの質問あるいは回答として，コーパス中に 3 件以上出現する組合せを，表 10 ,表 11 ，表 12 に示す．なお，意見情報については “意見の詳細タイプ一意見対象タイプ”，体験情報については，“体験主：体験タイプ”といった表記をしている。意見の詳細タイプについては， 3.3 節の表記に従う。なお，表中に掲載されていない質問カテゴリは， 3 件以上出現する組合せがなかったことを意味する，以上の点は，これ以降の表でも同じ表記を採用する.

表 10 から, 全般に, “相談”タイプの質問においては, “最近の体験”が多い傾向が見られる. また，同じ“相談”を対象とした意見でも，質問カテゴリごと，あるいは質問と回答ごとに傾向が異なる．もっとも顕著な傾向が出ているのは“恋愛相談，人間関係の悩み”のカテゴリで，

“人間”, “行為”に関係する“魅力・嫌悪”などの評価や，“不安”などが出現している．また，回答は，質問と比べて肯定・否定のバランスが取れてきていると同時に，“行為の提起”などの中立意見が増えている。“病気，症状，ヘルスケア”も同様の傾向が見られるが，対象に“病気” “自然物名”（体の一部）が含まれる点が異なる。“Yahoo! オークション”については，“有用・無用”に関わる意見が含まれたり，“製品名”が対象となっている点が異なる.

表 11 からは, “議論”タイプについては, “政治, 社会問題”, “テレビ, ラジオ”などのカテゴリが増えていることがわかる。“政治, 社会問題”については, “組織名”を対象として, “軽薄” あるいは “倫理” 的に問題があるといった意見が出現している。“テレビ，ラジオ”については， “製品名”（番組名）の“魅力”について議論している。“恋愛相談，人間関係の悩み”については, “相談”の場合と比較して大きくは異ならないが, 回答に肯定的な意見が少ない傾向が見られる。また，全般に体験の情報は，“相談”タイプと比べて少ない傾向が見られる。

表 9 Yahoo! 知恵袋の質問カテゴリとコミュニケーションタイプの対応

表 10 相談タイプの質問・回答に頻出する意見・体験情報

} & \multicolumn{8}{|c|}{ 質問カテゴリ } \\

表 12 からは，“知識交換”をするための意見は，回答のあいまい性の少ない知識に関係した質問カテゴリに出現することがわかる。“最近の体験”は，“相談”と同じく全般に質問中によく出現する傾向が見られる。“パソコン，周辺機器”のカテゴリにおいては，質問には，“製品名” を対象とした“切望”や“不満”などの意見が多い傾向が見られるのに対して，回答には，“製品名”を“提起”するなどの意見が見られる。“病気，症状，ヘルスケア”や“Yahoo！オークショ
表 11 議論タイプの質問・回答に頻出する意見・体験情報

表 12 知識交換タイプの質問・回答に頻出する意見・体験情報

 &  & 9 & 著者：最近の体験 & 20 & 薯者：最近の体験 & 41 & 著者：最近の体験 & 4 \\

ン”などのカテゴリにおいても，回答については，“病気名”や“製品名”（薬品名）あるいは“行為”について，“提起”あるいは“推測”するといった傾向が見られる.

## 5.2 質問，回答に出現する意見・体験情報の対応関係の分析

次に，質問と回答の対応関係について分析を行う５.1節と同様に，今度は質問と回答（ベストアンサー）とのペアについて, 出現する意見・体験情報の対応がつくもののうち, 出現頻度が 3 を超えるものを表 13 と表 14 に示す. なお, “議論”タイプについては，質問と回答のペアで出現頻度が 3 を越えるものがなかったため，提示していない.

表 13 から，“相談”タイプにおいては，3つのカテゴリにおいて質問・回答の対応が見られる.
表 13 相談タイプの質問と回答のペアに頻出する意見・体験情報

表 14 知識交換タイプの質問と回答のペアに頻出する意見・体験情報

“恋愛相談，人間の悩み”では，質問者の“最近の体験”に対して，何らかの“行為”の “提起”が返答される傾向が見られる。また，何らかの“敬遠”すべきあるいは“不安”を覚える “行為”について質問した場合，同じく“行為”の“提起”が回答される傾向が見られる。これに対して，“Yahoo! オークション”では，“製品”あるいは “行為”についての“疑問”に対して, “製品”や“行為”を“提起”するといった回答がある．また，質問者の“最近の体験”に対して， “行為”の“有用・無用”について回答をする場合もある。“病気，症状，ヘルスケア”では，回答に“病気名”を“提起”したり，“安心”感を与えるようなことを中立的に回答することがある.

表 14 から, “知識交換” タイプにおいては, “パソコン, 周辺機器”のカテゴリでは, 質問者の “最近の体験”に基づき質問をすると，“製品名”を “提起”したりその “有用”性を回答する傾向が見られる。また，“製品”の“不満”を訴える質問に対しても，“製品名”を“提起”する回答が

ある。その他, “病気, 症状, ヘルスケア”や“Yahoo! オークション”のカテゴリでは, 質問者の“最近の体験”に対して，“製品名”や“病気名”を“提起”したり，“著者の過去の体験”に基づき明確な知識を回答する場合がある.

## 5.3 質問，回答に出現する意見・体験情報の構造の分析

最後に，質問，回答における意見・体験情報の構造を分析するために，前節と同様に，意見情報あるいは体験情報の前後に続く組合せのうち, 出現頻度が 3 を超えるものを対象として分析を行った. その結果, Yahoo! 知恵袋の質問または回答では, コミュニケーションタイプに関わらず，同じタイプの意見・体験情報を続けることが多い傾向が見られた。また，“パソコン，周辺機器” のカテゴリにおいて “知識交換”をする場合には，“製品”に対する “満足・不満”と質問者の“最近の体験”が連続する場合があることもわかった.

## 6 おわりに

本稿では, 従来, ニュース, レビュー, ブログなどが対象となって構築されていた意見分析コーパスについて，質問と回答を含む対話型の文書ジャンル，具体的には BCCWJ の Yahoo! 知恵袋を対象として意見分析コーパスを構築した。意見分析コーパスの構築にあたっては, 従来の意見分析では行われてこなかった詳細な分析を目指し，態度タイプ (Martin and White 2005) や，アノテータとの協議を通じて定義した認識・行為タイプといった意見の詳細タイプのアノテーションを行った。また，多数の属性の判定にあたり，一貫したアノテーションを実現するための課題や工夫点を紹介した. さらに，コミュニケーションタイプ (甲谷他 2008) や体験情報 (関, 稲垣 2008)をアノテートし, 意見対象タイプを拡張固有表現コーパス (橋本他 2009)を利用してアノテートすることにより, 意見の詳細タイプや質問カテゴリと重ね合わせることで,従来の極性分類に基づくコミュニティ QA を対象とした意見分析 (Kucuktunc et al. 2012)では明らかにできなかった, 質問カテゴリやコミュニケーションタイプごとの詳細な意見の傾向の違いや，質問と回答間の意見・体験情報の関係を明らかにした.

今後の課題は, これら多数の属性を自動的にアノテーションすることにより, より大規模なデータを対象とした傾向を分析することにある．態度タイプなどの自動アノテーションに関する研究は, Argamon et al. (2009) など, あまり数多くないが, 態度評価辞書 ${ }^{24}$ の公開なども進んでおり, 引き続き取り組んでいきたい。また, 多属性のデー夕は, 個別の属性の教師デー夕が十分に得られないという課題があるが, この点は半教師ありトピックモデル (Kim, Kim, and Oh 2012)などの知見を活用することを検討している.


## 謝 辞

『現代日本語書き言葉コーパス (BCCWJ)』は，国立国語研究所により提供されたものを利用した.ここに深く感謝する.

本研究の一部は, 科学研究費補助金基盤研究 C（課題番号 24500291）, 基盤研究 B（課題番号 25280110 ), 萌芽研究 (課題番号 25540159 ), ならびに筑波大学図書館情報メディア系プロジェクト研究による助成に基づき遂行された。

## 参考文献

阿部裕司，古宮嘉那子，小谷善行 (2011). 相互情報量を用いた質問応答システムのためのクエリ拡張. NLP 若手の会第 6 回シンポジウム.

Adamic, L. A., Zhang, J., Bakshy, E., and Ackerman, M. S. (2008). "Knowledge Sharing and Yahoo Answers: Everyone Knows Something." In Proceedings of the 17th International Conference on World Wide Web (WWW 2008), pp. 665-674, Beijing, China.

Aikawa, N., Sakai, T., and Yamana, H. (2011). "Community QA Question Classification: Is the Asker Looking for Subjective Answers or Not?" IPSJ Transactions on Databases, 4 (2), pp. 1-9.

Argamon, S., Bloom, K., Esuli, A., and Sebastiani, F. (2009). "Automatically Determining Attitude Type and Force for Sentiment Analysis." In Human Language Technology. Challenges of the Information Society, Vol. 5603 of Lecture Notes in Computer Science, pp. 218-231, Poznan, Poland.

Balahur, A., Boldrini, E., Montoyo, A., and Martinez-Barco, P. (2010). "Opinion Question Answering: Towards a Unified Approach." In Proceedings of European Conference on Artificial Intelligence (ECAI), pp. 511-516. IOS Press.

Bazerman, C. and Prior, P. (2004). What Writing Does and How It Does It. Lawrence Erlbaum Associates.

Berger, A., Caruana, R., Cohn, D., Freitag, D., and Mittal, V. (2000). "Bridging the Lexical Chasm: Statistical Approaches to Answer-finding." In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 192-199, Athens, Greece.

Blitzer, J., Dredze, M., and Pereira, F. (2007). "Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics (ACL 2007), pp. 440-447, Prague, Czech Republic.

Bollegala, D., Weir, D., and Carroll, J. (2011). "Using Multiple Sources to Construct a Sentiment Sensitive Thesaurus for Cross-Domain Sentiment Classification." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL 2011), pp. 132-141, Portland, Oregon.

Cohen, J. (1960). "A Coefficient of Agreement for Nominal Scales." Educational and Psychological Measurement, 20 (1), pp. 37-46.

Dang, H. T. (2008). "Overview of the TAC 2008 Opinion Question Answering and Summarization Tasks." In Proceedings of Text Analysis Conferences 2008 (TAC 2008), pp. 24-35.

橋本泰一, 乾孝司, 村上浩司 (2009). 拡張固有表現夕グ付きコーパスの構築. 情報処理学会第 188 回自然言語処理研究会, pp. 113-120.

He, Y., Lin, C., and Alani, H. (2011). "Automatically Extracting Polarity-Bearing Topics for Cross-Domain Sentiment Classification." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL 2011), pp. 123-131, Portland, Oregon.

乾健太郎, 原一夫 (2008). 経験マイニング：Web テキストからの個人の経験の抽出と分類. 言

語処理学会第 14 回年次大会発表論文集, pp. 1077-1080, 東京大学.

乾孝司, 奥村学 (2006). テキストを対象とした評価情報の分析に関する研究動向. 自然言語処

理, 13 (3), pp. 201-241.

甲谷優, 川島晴美, 藤村考, 奥雅博 (2008). QA サイトにおける質問応答グラフの成長パター

ン分析. DBSJ Journal, 7 (3), pp. 61-66.

Kim, D., Kim, S., and Oh, A. (2012). "Dirichlet Process with Mixed Random Measures: A

Nonparametric Topic Model for Labeled Data." In Proceedings of the 29th International

Conference on Machine Learning (ICML 2012), pp. 727-734, Edinburgh, Scotland, UK.

小林のぞみ, 乾健太郎, 松本裕治 (2006). 意見情報の抽出／構造化のタスク使用に関する考察.

情報処理学会, 第 171 回自然言語処理研究会, pp. 111-118.

Kucuktunc, O., Cambazoglu, B. B., Weber, I., and Ferhatosmanoglu, H. (2012). "A Large-Scale

Sentiment Analysis for Yahoo! Answers." In Proceedings of the 5th International Conference on Web Search and Web Data Mining (WSDM 2012), pp. 633-642, Seattle, WA, USA.

倉島健, 藤村考, 奥田英範 (2008). 大規模テキストからの経験マイニング. 電子情報通信学会第

19 回データ工学ワークショップ (DEWS2008), pp. A1-4.

栗山和子, 神門典子 (2009). Q\&A サイトにおける質問と回答の分析. 情報処理学会研究報告情報学基礎研究会報告, 95 巻.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33, pp. 159-174.

Li, B., Liu, Y., Ram, A., Garcia, E. V., and Agichtein, E. (2008). "Exploring Question Subjec-
tivity Prediction in Community QA." In Proceedings of the 31st ACM SIGIR Conference, pp. 735-736, Singapore.

Li, F., Pan, S. J., Jin, O., Yang, Q., and Zhu, X. (2012). "Cross-Domain Co-Extraction of Sentiment and Topic Lexicons." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (ACL 2012), pp. 410-419, Jeju, Korea.

Liu, B. (2010). "Sentiment Analysis and Subjectivity." In Indurkhya, N. and Damerau, F. J. (Eds.), Handbook of Natural Language Processing, pp. 627-664. CRC Press.

前川喜久雄 (2011). 特定領域研究「日本語コーパス」と『現代日本語書き言葉均衡コーパス』.

『現代日本語書き言葉均衡コーパス』完成記念講演会予稿集, pp. 1-10.

Martin, J. R. and White, P. R. R. (2005). The Language of Evaluation: Appraisal in English. Palgrave Macmillan.

大塚裕子, 乾孝司, 奥村学 (2007). 意見分析エンジン. コロナ社.

Pang, B. and Lee, L. (2008). Opinion Mining and Sentiment Analysis. Now Publishers Inc.

Ponomareva, N. and Thelwall, M. (2012). "Do Neighbours Help? An Exploration of Graphbased Algorithms for Cross-domain Sentiment Classification." In Proceedings of Conference on Empirical Methods in Natural Language Processing (EMNLP 2012), pp. 655-665, Jeju, Korea.

佐野大樹 (2010a). ブログにおける評価情報の分類と体系化〜アプレイザル理論を用いて〜.電子情報通信学会第 1 回集合知シンポジウム.

佐野大樹 (2010b). 評価表現に基づくブログ分類の試み〜アプレイザル理論を用いて〜. 言語処理学会第 16 回年次大会.

関洋平, 稲垣陽一 (2008). 日常的な体験を記述したブログ文書におけるライフイベントの判定.電子情報通信学会第 2 種研究会資料 WI2-2008-20.

関洋平 (2013). 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース, 6 (4), pp. 85-103.

Seki, Y., Ku, L. W., Sun, L., Chen, H. H., and Kando, N. (2010). "Overview of Multilingual Opinion Analysis Task at NTCIR-8 - A Step Toward Cross Lingual Opinion Analysis." In Proceedings of the Eighth NTCIR Workshop Meeting, pp. 209-220, NII, Japan.

関根聡, 竹内康介 (2007). 拡張固有表現オントロジー. 言語処理学会第 13 回年次大会ワークショップ「言語的オントロジーの構築・連携・利用」,pp. 23-26.

Sogaard, A. (2013). Semi-Supervised Learning and Domain Adaptation in Natural Language Processing. Synthesis Lectures on Human Language Technologies. Morgan \& Claypool.

Somasundaran, S. and Wiebe, J. (2009). "Recognizing Stances in Online Debates." In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th

International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 226-234, Suntec, Singapore.

Somasundaran, S. and Wiebe, J. (2010). "Recognizing Stances in Ideological On-line Debates." In Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text, pp. 116-124, Los Angeles, CA.

Somasundaran, S., Wilson, T., Wiebe, J., and Stoyanov, V. (2007). "QA with Attitude: Exploiting Opinion Type Analysis for Improving Question Answering in Online Discussions and the News." In Proceedings of International Conference on Weblogs and Social (ICWSM), Boulder, Colorado, USA.

Stoyanov, V. and Cardie, C. (2011). "Automatically Creating General-Purpose Opinion Summaries from Text." In Proceedings of Recent Advances in Natural Language Processing (RANLP 2011), pp. 202-209, Hissar, Bulgaria.

Stoyanov, V., Cardie, C., and Wiebe, J. (2005). "Multi-Perspective Question Answering Using the OpQA Corpus." In Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing, pp. 923-930, Vancouver, British Columbia, Canada.

Wiebe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

Wiebe, J., Breck, E., Buckley, C., Cardie, C., Davis, P., Fraser, B., Litman, D., Pierce, D., Riloff, E., and Wilson, T. (2002). "NRRC Summer Workshop on Multiple-Perspective Question Answering Final Report.".

山崎誠 (2011).『現代日本語書き言葉均衡コーパス』の構築と活用. 『現代日本語書き言葉均衡コーパス』完成記念講演会予稿集, pp. 11-20.

山崎誠 (2012). 『現代日本語書き言葉均衡コーパス』による日本語研究の展開. 言語処理学会第 18 回年次大会チュートリアル資料.

## 略歴

関洋平：1996 年慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了. 2005 年総合研究大学院大学情報学専攻博士後期課程修了. 博士（情報学). 同年豊橋技術科学大学工学部情報工学系助手. 2008 年コロンビア大学コンピュータサイエンス学科客員研究員. 2010 年筑波大学図書館情報メディア系助教, 現在に至る. 自然言語処理, 意見分析, 情報アクセスの研究に従事. ACM, ACL, 情報処理学会, 電子情報通信学会, 言語処理学会, 日本デー タベース学会, 人工知能学会各会員.

(2013 年 9 月 20 日受付)

(2013 年 12 月 6 日再受付)

(2014 年 1 月 20 日採録)