# 意見集約における相対的特徵を考慮した評価視点の構造化

乾 孝司 $\dagger$ ・板谷 悠人 $\dagger \cdot$ 山本 幹雄 $^{\dagger} \cdot$ 新里 圭司 $\dagger \dagger \cdot$
平手 勇宇呫・山田薫 $\dagger \dagger$
}

本論文では, レビュー集合から多数の評価視点が得られる状況において, 評価対象間 の相対的特徴を考慮した重要度（スコア）に従って評価視点をランキングする課題 について述べる。また，レビューはその数だけ書き手が存在することから評価視点 の異表記が生じやすく，これがランキングに悪影響を与える。本論文では，評価視点に対してクラスタリングを適用することで異表記問題へ対応する手法を提案する.評価実験を通して，提案したスコア関数がランキング性能の向上に有効であること， およびクラスタリングに基づくランキング補正手法によって，平均適合率（MAP 指標）が向上することを確認した。

キーワード：評判分析，評価視点, 属性, 対数尤度比, 異表記
## Structuring Opinions by Relative Characteristics for User-Opinion Aggregation

 \\ Yu Hirate ${ }^{\dagger \dagger}$ and Kaoru Yamada ${ }^{\dagger \dagger}$
}

We propose a scoring function for aspect ranking that facilitates user-opinion aggregation. The function uses the log-likelihood ratio to capture relative characteristics between opinions. Review documents contain many variant expressions because they are written by different web users. We also propose a re-ranking method that identifies variant expressions having the same meaning by using several clustering techniques. The experimental results indicate that the proposed scoring function and the re-ranking method are more effective than baseline methods.

Key Words: sentiment analysis, aspect, log-likelyhood ratio, variant expression

## 1 はじめに

近年の Web の発展は目覚ましいものがあり, Blog や掲示板のように, 個人が気軽に自分の意見や感想を書き込める場が増えている。特に, 商品購入サイトやオークションサイトなどでは,実際に商品を購入したり，サービス提供を受けたユーザが感想を書き込めるユーザレビュー用


ページを提供している場合も多く, レビューは, 商品やサービスの潜在的購入者にとって, 貴重な情報源のひとつになっている。

レビューの件数が増加すれば，それたけ多くの感想を読む機会を得ることになるが，商品やサービスによっては何百件から何千件もレビューが存在することもある。この場合, レビュー の内容をすべて把握することは困難であるが，このような問題に対して従来からレビューを自動的に分類したり，意見を集約する研究が盛んに行われている (Pang and Lee 2008).

意見の集約に関する研究の例として, 例えば， $\mathrm{Hu}$ ら (Hu and Liu 2004) は, 評価視点 (opinion features) という概念に基づいてレビュー集合内の意見を集約する手法を提案している。ここで，評価視点とは，評価対象（すなわち商品やサービス）の部分や属性のことであり，例えば，評価対象としてデジタルカメラの特定の商品（「デジタルカメラ $X\rfloor$ ）があったとすると，「画質」 や「解像度」などがその評価視点となる．Huらは，レビュー集合からユーザ評価が肯定または否定となる評価視点を自動抽出し，

・ デジタルカメラ $X$
- 画質肯定 : 253 /否定 : 6
- 解像度肯定 : 134 /否定 : 10

のような集約結果を生成する手法を提案した. ここで，集約結果内の数値は頻度を表しており， デジタルカメラ $X$ の画質に対しては 253 件の肯定評価を示すレビューがあったことを意味する.

このような評価視点の (半) 自動抽出に基づく研究は他にも, 小林ら (小林, 乾, 松本, 立石, 福島 2005) や, Liu ら (Liu, Hu, and Cheng 2005), Jakob ら (Jakob and Gurevych 2010) 等がある。しかしながら，これらの先行研究では，基本的に評価視点を漏れなく列挙することが目的となっているため, 結果として, 数多くの評価視点が出力され, どの評価視点が評価対象にとって重要であるかがわからないという問題がある。また，実際に集約結果としてユーザに評価視点を提示することを考えた場合にも，重要度に応じて提示する評価視点に順序を与えたり，取捨選択できることが望ましい.

本論文では, このような背景に基いて, 上記の先行研究など, 何らかの方法によって得られた多数ある評価視点に対し，それらをある重要度に従ってランキングする課題を新たに考え，ランキングに適した手法について検討する（3節）。重要度の考え方にはいろい万考えられるが，本論文では, ユーザは商品購入の際に複数の競合商品を横並びで比較することが多い事を踏まえ，次のように考える。すなわち，競合する複数の評価対象に対して，これらの中で，他の評価対象からある特定の評価対象を差別化できるような評価視点ほど重要であると考え，そのような評価視点に高い重要度を割り当てることを考える，以降，本論文では，このような評価視点のことを特徴的評価視点と呼ぶ．例えば，あるユーザが出張の際に利用する宿泊施設を探しており, 幾つか探し当てたとする（宿泊施設 $X, Y, Z)$. しかし, どの施設も値段や立地条件

が似たり寄ったりであり，どれを選ぶか悩んでいる。このような状況において，提案手法を用いて各施設のレビューから特徴的評価視点を見つけ出し，施設 $X$ は特に宿泊利用者の間で「朝食バイキング」が人気であり，施設 $Z$ だけが「まくら」にこだわっていることを自動抽出することができれば，こういった情報を優先的にユーザに提示する手段を提供することができると考えている。なお，5 節の評価実験では，実験データとして宿泊施設予約サイトから得られた宿泊施設についてのレビューデータを用いている。そのため，以降においても提案手法の説明に例を用いる場合は宿泊施設を評価対象とする例を用いる。

また，レビューはその数たけ書き手が存在することから評価視点の異表記が生じやすい。そこで，本研究では，評価視点のランキングに際して，クラスタリングによって異表記の影響を考慮したランキングの補正手法を提案し，ランキングとクラスタリングを併用することで評価視点の構造化をおこなう（4 節).

本論文の貢献をまとめると，以下のようになる。

（1） 従来手法によって多数抽出される評価視点を構造化して提示する際, その構造化として,特定の評価対象を他から差別化できるような評価視点が重要であると考え, その重要度に従ってランキングすることを提案している点.

（2）上記ランキング課題に利用できる具体的な尺度として， 3 節で説明する対数尤度比に従った尺度を適用し，その有効性を実験的に検証している点。

（3） また，上記ランキング課題では異表記問題が発生するため，その解決策として評価視点をクラスタリングすることの提案，および具体的なクラスタリング手法を用いて，その有効性を実験的に検証している点.

本論文の構成は以下の通りである。まず， 2 節で関連研究について述べ，続く， 3 節と 4 節で評価視点をランキングするための提案手法について述べる。 5 節で評価実験について述べた後, 6 節で本論文をまとめる.

## 2 関連研究

本論文と関連する，レビューを処理対象とする研究課題を時系列順に追って概観する。関連研究としてまず取り組まれた課題は，レビューをその内容に従って肯定か否定かに分類する課題である (Turney and Littman 2002; Pang and Lee 2002; Mullen and Collier 2004). しかし, 文書単位 (レビュー単位) で分類するだけでは「何がどう良いか？」がわからない点が問題とされた. そこで，この問題を解決するために，文書内で具体的に評価されている事柄（すなわち，評価視点）を特定する研究が行われるようになった (Hu and Liu 2004; Liu et al. 2005; 小林 2007; Jakob and Gurevych 2010). しかし, 前節でも述べたように, これら手法では評価視点が多量に出力されることから, 出力される評価視点群を何らかの方法で構造化することに関心が集ま

るようになった.

具体的な構造化の手法として, これまで，評価視点群をグルーピングする手法やランキングする手法が提案されている (Zhai, Liu, Xu, and Jia 2010; Yu, Zha, Wang, and Chua 2011). グルーピングする手法では,「buttery power」と「buttery life」といった同一あるいは類似の評価視点を同じグループに所属させて合わせてユーザに提示することで，ユーザの可読性を向上させることを狙う。このような手法として，例えば，Zhai ら (Zhai et al. 2010) は, 事前に人手で定義した評価視点クラスに各評価視点を自動分類する手法を提案している。より具体的には, Nigam ら (Nigam, McCallum, Thrun, and Mitchell 2000)によって提案された半教師あり学習手法に，「同じ語を含む評価視点は同じ評価視点クラスになりやすい」といった情報を制約として取り込む手法を提案している。この手法のように評価視点を分類して構造化する場合，あらかじめ定義した通りの構造化ができる利点がある一方で，想定していない評価視点のクラスが必要になった場合の対応にかかる負荷が高いという欠点がある.

次に，評価視点をランキングする手法では，事前に定めたある観点に従って各評価視点にスコアを付け，スコアの大きさに基いて評価視点を順番に並べてユーザに提示することを考える。 これによって，ユーザは観点に合致する評価視点のみを選択的にすばやく確認することが可能になる.このような研究として, Yuら (Yu et al. 2011)の研究がある. Yu らは, まず, レビュー には評価対象に対する総合的な評価点 (rating) が書き手によって与えられていることを前提とする。そして，このようなレビューの中で，ユーザから多く言及されており，かつ総合的な評価点の決定にもっとも影響を与える評価視点が重要な評価視点であると仮定し，そのような評価視点をランキングする手法を提案している。論文中では重要な評価視点の例として評価対象が「iPhone 3GS」である場合，「moisture sensor」という評価視点よりも「battery」や「speed」 などの評価視点がより重要であると述べている.

評価視点をランキングするという点で見た場合, 本研究は上述の $\mathrm{Yu}$ らの研究と似ている。しかし，Yuらの手法では，レビューに付与された総合的な評価点を説明付ける評価視点に関心がある．そのため，評価対象ごとに独立に評価視点のランキングをおこない，評価対象間を比較することは念頭にない，一方，本研究では，複数の評価対象に対して，評価対象間の違いを明確に表すことができる評価視点に関心があり，Yuらとは目的が異なっている。

## 3 提案手法

## 3.1 評価視点

提案手法の説明の前に，ここで，評価視点という用語について整理しておく，本論文における評価視点は, 基本的には, $\mathrm{Hu}$ ら (Hu and Liu 2004) や小林ら (小林他 2005; 小林, 乾, 松本 2006)の定義に従っている. 後述する評価実験では, 評価対象が宿泊施設であるので, そのこと

を踏まえると，本論文における評価視点は，
- 宿泊施設に対する意見の焦点となる宿泊施設の構成物や属性, あるいは, 宿泊施設への宿泊という経験から生じる宿泊施設に対する意見の焦点となるもの

であると言い表せる。例えば, 宿泊施設の立地情報（「駅前」,「海沿い」）や施設が提供する設備に関する情報 (「風呂」, 「加湿器」), 施設のサービス (「バイキング」,「接客態度」) 等が具体的な評価視点となる.

また, 評価視点の表現形式は, 単一単語（「バイキング」）だけでなく, 複合語（「朝食バイキング」) や句 (「朝食のバイキング」) などの場合もある. 本研究では以上の形式は評価視点として認めているが，処理の都合上，以下に示すように，連体修飾節を伴う場合は修飾部を除外して扱った. 下記例の場合, 下線部は評価視点として認めたが, どちらの例でも「メニューが新しくなった」は評価視点には含めていない. なお, 表現形式の特定は以下のようにおこなった.単語の特定には形態素解析器 MeCab 1 を使用した. 複合語については, MeCabで解析後, 名詞が連続している箇所を複合語として特定している。句については, 現在は「名詞の名詞」というパターンで特定しており，他の形は想定していない．たたし，上記パターンの名詞は名詞連続に置換可能とした.

・メニューが新しくなった朝食バイキングが良かった。

・メニューが新しくなった朝食のバイキングが良かった.

## 3.2 評価視点ランキング

提案手法について述べる。まず, 使用する記号, および, 評価視点のランキング課題を以下のように定義する. 評価対象の集合を $\mathcal{O}=\left.\{o_{1}, o_{2}, \ldots, o_{|\mathcal{O}|}\right.\}$ とする. 全ての評価対象に対する全てのレビューの集合を $\mathcal{R}$ とし， $\mathcal{R}$ の要素であるレビューの中に書かれた評価視点 (token) の系列を $\mathcal{V}=\left.\langle v_{1}, v_{2}, \ldots, v_{n}\right.\rangle, \mathcal{V}$ の異なり要素 (type) の集合を $\mathcal{U}=\left.\{u_{1}, u_{2}, \ldots, u_{m}\right.\}(m \leq n)$ とする.例えば，以下のような，それぞれ 1 文と 2 文からなる短い 2 つのレビューを要素とする集合 $\mathcal{R}$ があり，各文の下線部が評価視点であったとすると，系列 $\mathcal{V}$ 集合 $\mathcal{U}$ は次のようになる.
- $\mathcal{R}=\left.\{\right.$ “このホテルは朝食 ${ }_{1}$ と風呂が良い. ”, “朝食 ${ }_{2}$ が美味しい.また来たいです. ” $\}$
- $\mathcal{V}=\left.\langle\right.$ 朝食 $_{1}$, 風呂, 朝食 $\left.{ }_{2}\right.\rangle$
- $\mathcal{U}=\{$ 朝食, 風呂 $\}$

この時, ある評価対象 $o_{k}$ に関して評価視点をランキングするアルゴリズムを次の Algorithm 1 とする。このアルゴリズムが示している通り，UU要素 $u_{j}$ がランキングの対象である。本論文では曖昧性を排除するために, 以降, $u_{j}$ のことを単に評価視点と呼び, 評価視点 $u_{j}$ が $\mathcal{R}$ 内で出現したものを評価視点トークンと呼ぶ.
^{1}$ http://mecab.sourceforge.net/
}

上記の Algorithm 1 で自明でない部分は, 評価対象 $o_{k}$ における評価視点 $u_{j}$ の重要度を決定するスコア関数 $\operatorname{score}\left(o_{k}, u_{j}\right)$ のみである. 本研究では, このスコア関数として, 以下のような対数尤度比 (Log-Likelihood Ratio, LLR) に基づく尺度を提案する. これは内山ら (内山, 中條,山本, 井佐原 2004) が特定分野における単語の特徴度を測る尺度として提案したものを評価視点ランキング課題に適用したものである．以下，内山ら（内山他 2004）を参考にしながら，上記尺度の詳細について述べる。

まず始めに, ある評価対象 $o_{k}$ と評価視点 $u_{j}$ が与えられた際, レビュー中で観測された評価視点トークン $v$ に関する確率変数 $W_{j}$ と $T_{k}$ を以下のように定義する：

$
\begin{aligned}
& W_{j}= \begin{cases}1 & v \text { は評価視点 } u_{j} \text { のレビュー内での出現である } \\
0 & \text { otherwise }\end{cases} \\
& T_{k}= \begin{cases}1 & v \text { が観測されたのは評価対象 } o_{k} \text { のレビュー内である } \\
0 & \text { otherwise }\end{cases}
\end{aligned}
$

ここで, 評価視点トークン $v_{i}(1 \leq i \leq n)$ に対応する確率変数 $W_{j}, T_{k}$ の值をそれぞれ $w_{j}^{i}, t_{k}^{i}$ とすると, $\mathcal{V}$ から次のような確率変数の値の組みで表された系列 $\mathcal{V}_{j k}=\left.\langle\left.\langle w_{j}^{1}, t_{k}^{1}\right.\rangle,\left.\langle w_{j}^{2}, t_{k}^{2}\right.\rangle, \ldots,\left.\langle w_{j}^{n}, t_{k}^{n}\right.\rangle\right.\rangle$ が新たに得られる。この時, それぞれの評価視点トークンが確率的に独立であると仮定すると, $\mathcal{V}_{j k}$ の生起確率は次式で表される：

$
\operatorname{Pr}\left(\mathcal{V}_{j k}\right)=\prod_{i=1}^{n} \operatorname{Pr}\left(W_{j}=w_{j}^{i}, T_{k}=t_{k}^{i}\right)
$

また，各トークンを変数 $W_{j}, T_{k}$ の値ごとに出現頻度を集計することを考え，各頻度を表 1

表 1 トークン集合の集計表

のように，それぞれ $a, b, c, d$ で表すことにする. ここで， $a+b+c+d=n$ である.以上の準備のもと, 次の対数尤度比を考える：

$
\begin{aligned}
L L R_{0}\left(o_{k}, u_{j}\right) & =\log \frac{\operatorname{Pr}\left(\mathcal{V}_{j k} ; H_{\text {dep }}\right)}{\operatorname{Pr}\left(\mathcal{V}_{j k} ; H_{\text {indep }}\right)} \\
& =\sum_{i=1}^{n} \log \frac{\operatorname{Pr}\left(W_{j}=w_{j}^{i}, T_{k}=t_{k}^{i} ; H_{\text {dep }}\right)}{\operatorname{Pr}\left(W_{j}=w_{j}^{i}, T_{k}=t_{k}^{i} ; H_{\text {indep }}\right)}
\end{aligned}
$

ここで， $H_{d e p}$ および $H_{\text {indep }}$ は，以下のような，確率変数に関する仮説である.
- $H_{d e p}$ : 確率変数 $W_{j}$ と $T_{k}$ とは互いに依存している.
- $H_{\text {indep }}$ : 確率変数 $W_{j}$ と $T_{k}$ とは互いに独立である.

式 (4)において, $H_{\text {indep }}$ の下では,

$
\operatorname{Pr}\left(W_{j}=w_{j}^{i}, T_{k}=t_{k}^{i} ; H_{\text {indep }}\right)=\operatorname{Pr}\left(W_{j}=w_{j}^{i}\right) \operatorname{Pr}\left(T_{k}=t_{k}^{i}\right)
$

が成り立つ。また, 各種の確率は,

$
\begin{array}{r}
\operatorname{Pr}\left(W_{j}=1, T_{k}=1 ; H_{\text {dep }}\right)=\frac{a}{n}, \quad \operatorname{Pr}\left(W_{j}=1, T_{k}=0 ; H_{\text {dep }}\right)=\frac{b}{n} \\
\operatorname{Pr}\left(W_{j}=0, T_{k}=1 ; H_{\text {dep }}\right)=\frac{c}{n}, \quad \operatorname{Pr}\left(W_{j}=0, T_{k}=0 ; H_{\text {dep }}\right)=\frac{d}{n} \\
\operatorname{Pr}\left(W_{j}=1\right)=\frac{a+b}{n}, \quad \operatorname{Pr}\left(W_{j}=0\right)=\frac{c+d}{n} \\
\operatorname{Pr}\left(T_{k}=1\right)=\frac{a+c}{n}, \quad \operatorname{Pr}\left(T_{k}=0\right)=\frac{b+d}{n}
\end{array}
$

で推定する.

この尺度は， 2 つの確率変数 $W_{j}$ と $T_{k}$ とが依存しているという条件，および，独立であるという条件の下で，データが観測される確率の比の対数を表しており， $W_{j}$ と $T_{k}$ の依存性が高い程, 大きな值をとる。もし, ある評価視点がどの評価対象にも共通するような一般的な視点であれば，評価視点トークンは，どの評価対象のレビュー中にも同じように出現すると考えられる. すなわち， $W_{j}$ と $T_{k}$ とは互いに独立であると考えられ，上記尺度は小さな値をとる。一方で，ある評価視点が特定の評価対象にのみ特徴的な出現を示すようであれば， $W_{j}$ と $T_{k}$ とは依存しており，上記尺度は大きな値をとる。つまり，この尺度をスコア関数とすることで，特定の評価対象に特徴的な評価視点に対して大きなスコアを割り振ることができる.

ただし, 上記尺度は, ある評価視点が特定の評価対象に対して特徴的に言及される場合と特徵的に言及されない場合を区別できない. そのため, どちらの状況であっても大きな値をとってしまう，そこで，言及される場合とされない場合を区別できるよう，実際には以下のように補正して利用する.

$
L L R\left(o_{k}, u_{j}\right)=\operatorname{sign}(a d-b c) L L R_{0}\left(o_{k}, u_{j}\right)
$

ただし，

$
\operatorname{sign}(z)= \begin{cases}+1 & z>0 \\ -1 & \text { otherwise }\end{cases}
$

である.

## 4 異表記問題への対応

## 4.1 異表記問題

レビューではユーザの数だけ書き手が存在しており, 同じ概念が述べられていたとしても， ユーザによって異なる単語が使われることがしばしばある。例えば，価格について何かを述べたいときに，あるユーザは「価格」と表記したが，別ユーザは「料金」や「值段」等，別の単語を使うことがある．また，レビューは，評価対象という自明な文脈をもつ文書であるため，同じ評洒対象のもとでユーザが共有しているであろう情報がしばしば省略表記される傾向があり，例えば，最寄り駅の「東京駅」を単に「駅」と表記するユーザ等，その表記はユーザによってさまざまに変化する.

一般的に，このような異表記の問題や表記摇れの問題（以下，単に異表記の問題と呼ぶ）はよく知られているが，評価視点のランキング課題に対しても悪影響を与えていると考えられる.前節で述べた提案尺度では評価視点の出現頻度の情報を用いているが, 異表記が考えられる評価視点については, 異表記の数だけ頻度が分散してカウントされてしまい，その結果，それらの評価を誤ってしまう。

以下では，この異表記問題の影響を回避する手法について述べる。本手法は，評価視点をクラスタリングすることによって，同じ意味あるいは類似した意味の評価視点をクラスタにまとめ上げ，クラスタ情報に基いてランキングを補正する。手法は，クラスタ情報をランキングに反映させる方法によって, 事前処理法と事後処理法の 2 つに分かれる（図 1). 以下ではまず, 2 つの手法について述べ, その後, 各手法の中で用いるクラスタリング手法について述べる.

## 4.2 事前処理法と事後処理法

事前処理法（図 1 の (b)）では，ランキングの前に評価視点のクラスタリングを実施し，同一の意味あるいは類似した意味の評価視点をクラスタにまとめ上げる。そして，同じクラスタとなる視点群をひとつの評価視点であるように扱い出現頻度を数えることで対数尤度比を計算し， ランキングをおこなう.

(a)修正なし

(b)事前処理法

(c)事後処理法

図 1 ランキングの補正手法の概略

具体的には, 3.2 節で導入した式 (1)の評価視点トークンに関する確率変数 $W_{j}$ を次の式 (7) のように再定義してスコア関数を計算することで, クラスタ情報をランキングに反映させる．ただし, 下記の式中の $v$ と $u_{j}$ は式 (1) と同様, 評価視点トークンと評価視点をそれぞれ意味する.

$
W_{j}= \begin{cases}1 & v \text { は評価視点 } u_{j} \text { のレビュー内での出現である } \\ 1 & v \text { は } u_{j} \text { と同じクラスタに属する評価視点のレビュー内での出現である } \\ 0 & \text { otherwise }\end{cases}
$

事後処理法（図 1 の (c)）では, ランキングを先に行い, その後, クラスタリングによって得られたクラスタ情報に従ってランキング結果を補正する。具体的には, ある評価視点 $u_{j}$ がクラスタ $C\left(u_{j}\right)$ に所属する場合を考えると，ランキングに使用するスコア関数式 (5) で得られた値に対して，次の式 (8)を計算する.

$
L L R_{-} \text {cluster }\left(o_{k}, u_{j}\right)=\frac{1}{\left|C\left(u_{j}\right)\right|} \sum_{u_{l} \in C\left(u_{j}\right)} \operatorname{LLR}\left(o_{k}, u_{l}\right)
$

式 (8) が示すように, 事後処理法では, 元の重要度をクラスタ内で平均化した値を重要度として採用する。

## 4.3 評価視点クラスタリング

次に，上記の補正手法で用いるクラスタリングについて述べる。クラスタリングのアルゴリズムは, 以下に示す標準的なアルゴリズム (Hastie, Tibshirani, and Friedman 2001) を採用する. ただし，アルゴリズム内で利用される評価視点間の類似度尺度については，以下で述べるシソー ラスに基づく類似度において，ユーザレビューの特性を踏まえて拡張を施した尺度を新たに採用する。なお，クラスタリングの議論をおこなう場合，一般には距離や非類似度を定義することが多いが, 説明の便宜上, ここでは類似度を定義している点に注意されたい.

以下, クラスタリング・アルゴリズムについて概要を述べた後, 評価視点間の類似度尺度について述べる.

クラスタリングには，以下に示す 3 つのアルゴリズムを採用した。いずれも，凝集型の手法であり，もっともクラスタ間類似度の高い 2 つのクラスタをボトムアップに再帰的に併合しながらクラスタリングを進める点が共通しているが, クラスタ間類似度の定義が異なる.

単連結法 (single linkage method) は, クラスタ $C_{i}$ と $C_{j}$ の要素間の類似度 $w \operatorname{sim}(k, s)$ の中で,最大の類似度をクラスタ間の類似度 $\operatorname{csim}\left(C_{i}, C_{j}\right)$ とする：

$
\operatorname{csim}\left(C_{i}, C_{j}\right)=\max _{k \in C_{i}, s \in C_{j}} \operatorname{wim}(k, s)
$

完全連結法 (complete linkage method) は, クラスタ $C_{i}$ と $C_{j}$ の要素間の類似度の中で, 最小の類似度をクラスタ間の類似度とする：

$
\operatorname{csim}\left(C_{i}, C_{j}\right)=\min _{k \in C_{i}, s \in C_{j}} \operatorname{wim}(k, s)
$

また, 群平均法 (group average method) は, クラスタ $C_{i}$ と $C_{j}$ の各要素間の平均類似度をクラスタ間の類似度とする：

$
\operatorname{csim}\left(C_{i}, C_{j}\right)=\frac{1}{\left|C_{i}\right|\left|C_{j}\right|} \sum_{k \in C_{i}} \sum_{s \in C_{j}} w \operatorname{sim}(k, s)
$

次に，評価視点間の類似度 $\operatorname{wim}(k, s)$ について説明する。評価視点間の類似度には，以下で述べる 3 種類の類似度尺度を併用した. なお, どの類似度も 0 以上 1 以下の値をとり, 同じ評価視点が入力となった場合に対して最大值 1 を返す $(w \operatorname{sim}(k, k)=1)$.

## 4.3.1 シソーラスに基づく類似度

2 つの単語 $k$ と $s$ 類似度を求める手法として, シソーラスに基づく類似度がある。これは次式のように定義される (長尾 1996)：

$
\operatorname{wsim}_{\text {the }}^{\prime}(k, s)= \begin{cases}\frac{2 \times d_{\text {share }}(k, s)}{d(k)+d(s)} & (k, s \in T) \\ 0 & (\text { otherwise })\end{cases}
$

ここで $d(k)$ と $d(s)$ は階層構造をなすシソーラス中での当該単語の位置する深さをあらわし, $d_{\text {share }}(k, s)$ は階層構造における単語 $k$ と単語 $s$ の共通祖先ノードが位置する深さの最大値をあらわす。また，Tはシソーラスに含まれる見出し語の集合である。

一般に，シソーラスは人手により構築されていることから，シソーラスの見出し語に含まれる単語間の類似度を測るにはこの尺度は有用と言える。しかし, 今回対象としている評価視点には「施設管理」といったシソーラスには登録されにくい複合語なども含まれているため，上記尺度そのままでは多数の評価視点間の類似度が 0 となってしまう問題がある。そこで，本論文では類似度が求められる評価視点ぺアの被覆率を上げるために，以下のように拡張した類似度を採用する：

$
\operatorname{wsim}_{\text {the }}(k, s)= \begin{cases}\operatorname{ssim}_{\text {the }}^{\prime}(k, s) & (k, s \in T) \\ \frac{1}{|k|} \sum_{i=1}^{|k|} \operatorname{wsim}_{\text {the }}^{\prime}\left(k_{i}, s\right) & (k \notin T, s \in T) \\ \frac{1}{|s|} \sum_{j=1}^{|s|} \operatorname{wsim}_{\text {the }}^{\prime}\left(k, s_{j}\right) & (k \in T, s \notin T) \\ \frac{1}{|k||s|} \sum_{i=1}^{|k|} \sum_{j=1}^{|s|} \operatorname{wsim}_{\text {the }}^{\prime}\left(k_{i}, s_{j}\right) & (k \notin T, s \notin T)\end{cases}
$

ここで, 形態素解析によって各評価視点を形態素に分割したものをそれぞれ $k_{1}, \ldots, k_{|k|}, s_{1}, \ldots, s_{|s|}$ で表しており, 拡張版では, 従来の式で類似度が求められない場合は対象を分割して類似度を求めていることがわかる. 例えば，引数 $k$ が「施設管理」である例を考える. ここで，「施設管理」はシソーラスに含まれて㧈らず，またもう一方の引数 $s$ はシソーラスに含まれる何らかの単語であるとする。この場合の類似度計算は式 (13)の 2 行目によっておこなわれ, 「施設管理」 を「施設」と「管理」に分割させた後，それぞれの形態素に対して式 (12)の wsim $_{\text {the }}^{\prime}($ ) 問合せを実行し, 個別に $s$ との類似度を求める。 そして, 問合せ結果の平均を「施設管理」と $s$ との間の類似度であるとする。式 (13)では, 分割操作によって, シソーラスのエントリとの照合率が改善され，類似度が求められない事例数を削減させる効果が期待できる。

## 4.3.2 表層文字列に基づく類似度

次に，上記のシソーラスに基づく類似度尺度を補完するために，評価視点の表層文字列に基づく類似度を考える。本研究では, 最長共通部分文字列 LCS (longest common subsequence) (Hirschberg 1977) に基づく以下の類似度尺度を採用する：

$
\operatorname{wsim}_{l c s}(k, s)=\frac{2 \times \operatorname{LCS}(k, s)}{|k|+|s|}
$

ここで， $\operatorname{LCS}(k, s)$ は $k$ と $s$ の最長共通部分文字列の長さであり，上式は，その値を $k, s$ それぞれの文字列の長さを基に正規化している，表層文字列に基づく類似度は，「焼きたてパン」と「焼き立てパン」のような部分的な漢字表記とひらがな表記の違いや,「バイキング」と「朝食バイキ

ング」のような文字数の比較的多いカタカナ列からなる評価視点の類似性を測る際に特に効果的であると期待できる．例えば，6文字で構成される「焼きたてパン」と「焼き立てパン」がそれぞれ $k$ と $s$ である例を考える。両者の違いは，ひらがな「た」と漢字「立」の 1 文字だけであり， その他は各文字の順序等すべて同じである。この場合, $L C S(k, s)=5$ で, $\operatorname{wsim}_{l c s}(k, s)=10 / 12$ となり，高い類似度が得られる。

LCS の代わりに，不連続になる部分文字列の影響を考慮した文字列カーネル (Lodhi, Saunders， Shawe-Taylor, Cristianini, and Watkins 2002)を用いた予備実験も行ったが，LCS とほぼ同様の実験結果を得た。そのため，5 節の実験では LCS を用いた結果のみ報告する.

## 4.3.3文脈情報に基づく類似度

類似度を補完するもう一つの方法として，評価視点が現れる文脈の情報に基づく類似度を考える。これは一般に，似た意味をもつ単語は似た文脈に現れやすいと言われており，この性質に従って，単語が現れる周辺文脈を基に類似度を求める手法である。本研究では, 代表的な手法の一つである，次式のコサイン類似度を採用する (Lin 1998)：

$
\operatorname{wsim}_{\cos }(k, s)=\frac{\boldsymbol{v}_{k} \cdot \boldsymbol{v}_{s}}{\left.\|\boldsymbol{v}_{k}\right.\|\left.\|\boldsymbol{v}_{s}\right.\|}
$

ここで， $\boldsymbol{v}_{k}$ と $\boldsymbol{v}_{s}$ は，それぞれ $k$ と $s$ の文脈に現れる単語から構成される単語頻度べクトルである。また，ここでは，当該の評価視点に対応するすべての評価視点トークンから文脈情報を獲得し，それらの情報からひとつのべクトルを作成する。文脈情報に基づく類似度は，「東京駅」 と「駅」や「最寄り駅」のような, 文脈に依存した評価視点の類似性を測る際に特に効果的であると期待できる.

## 4.3.4 各種類似度の統合

ここまで述べたように各類似度尺度は，それぞれ異なる情報に基いており，互いに相補関係にあると言える。そこで，クラスタリングの際は，各類似度尺度を単独で用いるのではなく，次式のように統合して用いる事とする：

$
\operatorname{wsim}(k, s)=\max \left.\{\operatorname{wsim}_{\text {the }}(k, s), \operatorname{wsim}_{\text {lcs }}(k, s), \operatorname{wsim}_{c o s}(k, s)\right.\}
$

## 5 評価実験

## 5.1 実験条件

実験には, 代表的な宿泊施設予約サイトのひとつである楽天トラベル²に書き込まれたレビュー


を用いた。楽天トラベルに登録されている宿泊施設のうち，都内近辺に立地している 11 施設を対象とし，各施設ごとに 100 レビューを実験に使用した。また，上記レビュー群から人手で評価視点を抽出して実験の入力データとして用いることにし, さらにそこから特徴的評価視点を人手で選び出し, 評価用データとして用いた。この作業によって得られた評価視点は施設あたり平均 101 個であり, 得られた特徴的評価視点は施設あたり平均 12.1 個である. データの信頼性を検証するために 2 名の作業者（Aと $B$ ）によってデー夕作成をおこない, 特徴的評価視点と判定する際の一致度を以下の計算式で求めた.

$
\operatorname{agreement}(X, Y)=\frac{X \text { と } Y \text { が共に特徴的であると判定した評価視点の数 }}{X \text { が特徴的であると判定した評価視点の数 }}
$

判定の一致度は, $\operatorname{agreement}(A, B)=0.72$ と agreement $(B, A)=0.77$ となり, この結果から, 作業者間の判定はある程度一致していることが確認できる。また，事例分析から，以下のような事例において判定が一致しない傾向があることが確認できた.
- 評価視点に異表記がある場合：作業者が共に特徴的であると判定した評価視点に異表記がある場合, 作業者による異表記の認定不足から，一部の評価視点が特徴的であると判定されない.
- 連続量を伴う評価視点の場合：例えば「駅前で良かった」や「駅に近く良かった」のような最寄り駅からの近さについての言及があった場合, どの程度の距離であれば特徴的な評価視点であると判定するかについては作業者の主観に拠る部分が多い.

なお，一致度の測定に $\kappa$ 値を用いることも考えられる。しかし，次の理由から今回は実態を把握するのに適していないと考え， $\kappa$ 值の採用を見送った。すなわち，本実験で用いたデー夕は，特徵的でない評価視点が全体の 9 割程度を占めているが， $\kappa$ 值ではこれらに対して作業者が共に特徴的でないと判定した場合も一致度に反映されるためである.

シソーラスに基づく類似度を計算するためのシソーラスには, 分類語彙表 (国立国語研究所 2004)を用いた。また, 文脈情報に基づく類似度では, 予備実験の結果から経験的に窓枠を 5 と定め，対象の前後 5 単語を文脈情報として利用した，ただし，単語情報は MeCabによって文脈を形態素解析することで獲得し, その際, 品詞が「助詞」,「助動詞」,「記号」である場合は窓枠のカウント対象から除外した.

実験において，スコア関数として対数尤度比を実際に計算する際は，ラプラススムージング (Manning, Raghavan, and Schutze 2008)を適用した.

スコア関数のベースラインとして，TF および TF-IDF(Manning et al. 2008) に基づく関数を用いた。一般に，TF,TF-IDF は，文書ごとに単語へ重み付けする際に利用される。しかし， ここでは文書ごとの差異ではなく施設ごとの差異に注目したいため, 次式のように，ある施設に対する全レビューをひとつの文書として扱う。

## 5.1.1 TF 法

$
T F\left(o_{k}, u_{j}\right)=\text { 施設 } o_{k} \text { の全レビューにおける評価視点 } u_{j} \text { の出現頻度 }
$

これは，言い換えると，表 1 の $a$ のみをスコア関数として考慮することに等しい.

## 5.1.2 TF-IDF 法

$
T F-I D F\left(o_{k}, u_{j}\right)=T F\left(o_{k}, u_{j}\right) \times \log \left(\frac{|D|}{D F\left(u_{j}\right)}+1\right)
$

$|D|$ は一般的な定義では文書数であるが，上記で述べたように今回は施設数に等しい. $D F\left(u_{j}\right)$ はレビューに評価視点 $u_{j}$ が現れた施設数である.

評価尺度には, 情報検索のランキング課題の評価によく利用される Mean Average Precision (MAP) を用いた．MAP は次式で定義される (Manning et al. 2008).

$
M A P=\frac{1}{|\mathcal{O}|} \sum_{o_{k} \in \mathcal{O}} \frac{1}{\left|\mathcal{A}_{k}\right|} \sum_{\hat{u}_{j} \in \mathcal{A}_{k}} \operatorname{Precision}\left(\operatorname{rank}\left(o_{k}, \hat{u}_{j}\right)\right)
$

ここで， $\mathcal{O}$ は評価対象の集合であり， $\mathcal{A}_{k}$ は評価対象 $o_{k}$ のレビューから人手によって得られた特徴的評価視点の集合である. $\operatorname{rank}\left(o_{k}, \hat{u}_{j}\right)$ は $o_{k}$ 中のある特徵的評価視点 $\hat{u}_{j}$ が, 何らかのランキング手法によって与えられた順位を示しており，Precision $\left(\operatorname{rank}\left(o_{k}, \hat{u}_{j}\right)\right)$ は，その順位までの出力結果における適合率である。つまり，ここでは，ひとつの評価対象が情報検索におけるひとつの検索課題に相当するものと見なされて評価される.

## 5.2 実験結果

まず，異表記問題への対応を考慮しない場合の結果について述べる。この結果を表 2 に示す.表 2 から提案手法 $L L R$ がベースライン手法（ $T F$ および $T F-I D F ）$ よりも性能が向上することが確認できた， $T F$ では, 式 (18) からもわかるように, 比較すべき他施設の評価視点に関する情報を全く考慮していない，そのため，もっとも低い性能になったと考えられる．次に，TF-IDF では, $D F\left(u_{j}\right)$ によって他施設の情報をある程度考慮することができるが, その情報は出現の有

表 2 実験結果（異表記を考慮しない場合）

無のみである。一方の $L L R$ では，評価視点の他施設での出現頻度に関する情報も反映できており，この差が表 2 の結果に繋がったと考えられる。

表 2 の結果に対して,「手法間の Average Precision に差がない」という帰無仮説を立て, 対応のある両側 $t$ 検定を実施した。その結果, $L L R$ 法と TF 法, および $L L R$ 法と TF-IDF 法のどちらとの間でも, 有意水準 $1 \%$ で統計的有意差が確認できた。

表 3 に，実験データ中の 3 つの宿泊施設におけるランキング結果の例を示す. 下線にボールド体の評価視点が正しい特徴的評価視点をあらわす。また, 括弧内は出現頻度（ $T F$ 值）である。評価視点の右に “*”印があるものについては，その評価視点が含まれていた文脈（の一部） を例として表 4 に示す. 表 3 の事例の観察から，TF では「部屋」や「立地」，「対応」など一般的で出現頻度が高くなりやすい語が上位を占めており, それらの一部が誤りとなっていた。その一方で，LLR では「武道館」などの出現頻度は決して高くないが対象施設に固有な評価視点の順位がベースラインよりも上がっており, 提案手法では他施設との比較がうまく機能してい

表 3 評価視点ランキングの結果例（異表記を考慮しない場合）

宿泊施設 A

表 4 評価視点を含む文脈の例

たことがわかる. しかし, 表 3 の観察によると, 「パン」と「朝食のパン」のように, 宿泊者から見れば同一の事物と考えられるものが異なる順位として現れており，また，表 3 から外れた下位の評価視点に目を向けると， 12 位に「クロワッサン」, 50 位には「焼き立てパン」などが含まれており，異表記が生じていることも同時に確認できた。

そこで次に，4節で述べた補正手法によって異表記問題に対応した場合の結果について述べる． 3 つのランキング手法（TF，TF-IDF，および，LLR）に対して補正手法を適用した実験をおこなったが，TF，TF-IDF が LLR を上回ることがなかったため，以下では，LLR に対して補正手法を適用する場合の結果を中心に述べる。

補正手法を適用した結果を図 2 と図 3 に示す. 図 2 が事前処理法の結果であり, 図 3 が事後処理法の結果である。各図において，縦軸は $M A P$ を示し，横軸は以下で述べる類似度への閾值を示している，凝集型クラスタリングでは，デンドログラムと呼ばれるクラスタをノードとする木を生成するが，各クラスタにはその子ノードの情報から計算される類似度が付随している。本実験では，この類似度に閥値を設け，類似度が間值以下になったときに併合を停止させてクラスタリング結果を得ることにし, 閥値を変化させながら, それぞれの $M A P$ を計測した.今回の場合, 類似度の値が 1.0 となる事例が存在していなかったため, 横軸左端の結果は, クラスタリングを行わない場合の結果（表 2 の 0.574）と同一となっている.

図 2 , 図 3 共に, 全体的な傾向として, 類似度の間値を 1.0 から下げるに従い MAPが上昇していくことから，クラスタリングを施すことに一定の効果があることが確認できるが，ある類似度を契機に下降に転ずることがわかる。このような結果は次の理由によると考えられる。すな

図 2 実験結果（異表記を考慮する場合：事前処理法）

図 3 実験結果（異表記を考慮する場合：事後処理法）

わち，もともと全ての評価視点において異表記が存在するわけではないため，クラスタリングすべき評価視点も部分的となる，今回のようにボトムアップにクラスタリングを進めた時，ある点でクラスタリングすべき評価視点のまとめ上げが終了し, この時点が最適なクラスタ数となり最良の $M A P$ 値を得る。しかし，それ以降は本来クラスタリングすべき評価視点に対するまとめ上げではなくなるため本来の目的とは逆に過併合が生じることになり, 性能が悪化すると考えられる。

MAP 值が下降するタイミングがクラスタリング手法によって大幅に異なるが，この違いはクラスタリング手法に起因して必然的に生じる結果であると考えられる. すなわち, 単連結法 （式 (9)）は類似度の最大值に基いて併合を進めるため，ノードに付随する類似度が 3 手法の中

で最も速く大きくなり, $M A P$ 値も最も速く下降していく. 完全連結法（式 (10)）は, 逆に, 類似度の最小値に基いているため，MAP 值の下降が最も遅い。また，類似度の平均値に基づく群平均法（式 (11)）は，上記両者の中間に位置していると言える.

クラスタリングを施した場合のランキング結果の例を表 5 に示す. 例示している宿泊施設は表 3 と同じであり, 表 5 において，下線にボールド体の評価視点が正しい特徴的評価視点をあらわす。また，各表の右列がクラスタ情報である。表の観察から，クラスタリングによって異表記がまとめ上げられていることが確認できる。また，宿泊施設 Aのように，クラスタリング前は「パン」，「朝食のパン」という情報しかわからなかった状態において，「クロワッサン」のように，詳細な情報を補う効果も事例によって期待できることがわかった．同様の観点で表 5 以外の事例を観察してみると，クラスタリング前は「野菜」という評価視点のみが上位にランクされていたが，クラスタリングによって野菜が「春野菜」であることが補えたり，クラスタ

表 5 評価視点ランキングの結果例（異表記を考慮した場合）

実験設定スコア関数：LLR, 修正手法 : 事後処理法, クラスタリング：群平均法, 閾値 $=0.5$

リング前は「壁」のみであったものが, クラスタリングによって「防音」の壁であることが補える例が存在していた。

最後に， 3 種類の類似度を統合した効果を確認する. 図 4 に 3 種類の類似度尺度を単独で用いた場合の結果および類似度を統合した場合の結果を示す。類似度尺度以外の実験設定は先程の結果で最良の $M A P$ 値となった設定, すなわち, 群平均法でクラスタリングし, 事後処理法でランキングを補正する手法を適用した。また，クラスタリングによって構成されたクラスタの例を表 6 に示す。表の各行において，そのクラスタを構成した類似度尺度に「○」印を付けている。また, 2 つ以上の類似度尺度で同じクラスタが構成されていた場合は類似度の値が最も高い類似度尺度に「○」印を付けている。図 4 から, どの類似度尺度も統合結果の最良値を上回ることはなく, このことから，類似度を統合することの効果が確認できた，ただし，今回使用したデータに対して人手でクラスタリングを施した結果を用いてランキングを補正したと

図 4 類似度尺度ごとの性能

表 6 クラスタリングによって構成された評価視点の異表記クラスタの例

ころ，MAP 值は 0.713 まで向上した。つまり，クラスタリング手法および統合手法に対する改善の余地が残されていることが示唆される.

## 6 おわりに

本論文では，レビュー集合から得られる多数の評価視点を重要度に従ってランキングする課題を考え, 対数尤度比の考え方に基づく, 意見集約のための重要度を提案した. また, クラスタリングをおこなう事で，評価視点の異表記の問題に対処する手法を提案し，それらの有効性を評価実験を通して検証した，その結果，単純な出現頻度に基づく $T F$ 法や， $T F$ 法に出現文書数の情報を加えた $T F-I D F$ 法よりも，対数尤度比に基づく提案手法を用いた方がランキング性能が向上すること，また，クラスタリングによって評価視点の異表記の問題を改善することができることを確認した。

今後の課題として, 以下の項目が挙げられる。まず，本論文では意見集約のための重要度として, 対数尤度比の考え方に従った尺度についてその有効性を検証した. しかし, 単語の重み付け尺度は本論文で議論した 3 つの尺度以外にも従来から提案されているため, それらの尺度についても，今後，意見集約に適した尺度であるかどうか検討していきたい.

本論文の冒頭で紹介した $\mathrm{Hu}$ らの研究 (Hu and Liu 2004)のように，一般に，レビューから抽出された評価視点には，その視点に対するユーザの評価（肯定評価か否定評価）が付随しているが，現在の提案手法では評価情報は無視している，そこで，評価視点への評価情報を重要度に反映させる手法を検討することが考えられる，例えば，評価対象間における肯定評価と否定評価の分布の異なり方に応じて重要度を修正することなどが考えられる.

5 節の評価実験では，提案した補正手法によって評価視点の異表記の問題に対処することでランキングの性能が改善できることを確認した. しかし, 評価視点の異表記を発見する手法に関しては, 今後, 他手法も含めたさらに詳細な検討が必要である。他手法としては, 例えば, 分類語彙表のかわりに日本語 WordNet(Isahara, Bond, Uchimoto, Utiyama, and Kanzaki 2008)を用いた手法や, また, シソーラス等の既存の言語知識に頼らない教師あり学習に基づく類義語検出法 (Mauge, Rohanimanesh, and Ruvini 2012)の検討などが考えられる．また，異表記とは逆に，多義の評価視点に対する対応も今後必要であると考えられる. 例えば，評価実験の際に使用した宿泊施設のレビューの中には，宿泊施設への送迎に利用される乗り物としての「バス (bus)」と，部屋にある入浴設備としての「バス (bath)」があるが，現在これらは「送迎バス」 というように明示的な修飾を伴わない限り，区別して扱われていない，今後は異表記と同様に多義語への対応についても検討したい.

## 謝 辞

本研究の一部は科学研究費補助金（課題番号 23300053）のもとで実施された. また, 実験にあたり, 楽天トラベル株式会社から施設レビューデータを提供して頂いた. ここに記して感謝の意を表します.

## 参考文献

Hastie, T., Tibshirani, R., and Friedman, J. (2001). The Elements of Statistical Learning. Springer.

Hirschberg, D. S. (1977). "Algorithms for the longest common subsequence problem." Journal of the Assoclauon for Computing Machinery, 24 (4), pp. 664-675.

Hu, M. and Liu, B. (2004). "Mining Opinion Features in Customer Reviews." In Proceedings of the 19th National Conference on Articial Intelligence, pp. 755-760.

Isahara, H., Bond, F., Uchimoto, K., Utiyama, M., and Kanzaki, K. (2008). "Development of Japanese WordNet." In Proceedings of 6th International Conference on Language Resources and Evaluation, pp. 2420-2423.

Jakob, N. and Gurevych, I. (2010). "Extracting opinion targets in a single- and cross-domain setting with conditional random fields." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 1035-1045.

小林のぞみ (2007). Opinion mining from Web Documents:Extraction and Structurization. Ph.D. thesis, 奈良先端科学技術大学院大学情報科学研究科.

小林のぞみ，乾健太郎，松本裕治 (2006). 意見情報の抽出/構造化のタスク仕様に関する考察.情報処理学会研究報告（NL171-18）, pp. 111-118.

小林のぞみ，乾健太郎，松本裕治，立石健二，福島俊一 (2005). 意見抽出のための評価表現の収集. 自然言語処理, $\mathbf{1 2}(2)$, pp. 203-222.

国立国語研究所 (2004). 分類語彙表一増補改訂版一. 大日本図書.

Lin, D. (1998). "Automatic retrieval and clustering of similar words." In Proceeding of the COLING-ACL, pp. 768-774.

Liu, B., Hu, M., and Cheng, J. (2005). "Opinion Observer: Analyzing and Comparing Opinions on the Web." In Proceedings of the 14th International World Wide Web Conference, pp. 342-351.

Lodhi, H., Saunders, C., Shawe-Taylor, J., Cristianini, N., and Watkins, C. (2002). "Text Classification using String Kernels." The Journal of Machine Learning Research, 2, pp. 419-444.

Manning, C. D., Raghavan, P., and Schutze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.

Mauge, K., Rohanimanesh, K., and Ruvini, J.-D. (2012). "Structuring E-Commerce Inventory." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 805-814.

Mullen, T. and Collier, N. (2004). "Sentiment Analysis using Support Vector Machines with Diverse Information Sources." In Proceedings of the Conference on Empirical Methods in Natural Language Processing.

長尾真（編） (1996). 自然言語処理. 岩波書店.

Nigam, K., McCallum, A. K., Thrun, S., and Mitchell, T. M. (2000). "Text Classification from Labeled and Unlabeled Documents using EM." Machine Learning, 39 (2/3), pp. 103-134.

Pang, B. and Lee, L. (2002). "Thumbs up? Sentiment Classification using Machine Learning Techniques." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 76-86.

Pang, B. and Lee, L. (2008). Opinion Mining and Sentiment Analysis - Foundations and Trends in Information Retrieval Vol.2, Issue 1-2. Now Publishers Inc.

Turney, P. D. and Littman, M. L. (2002). "Unsupervised Learning of Semantic Orientation froma Hundred-Billion-Word Corpus." Tech. rep., Technical Report ERB-1094, National Research Council Canada.

内山将夫, 中條清美, 山本英子, 井佐原均 (2004). 英語教育のための分野特徴単語の選定尺度の比較. 自然言語処理, 11 (3), pp. 165-197.

Yu, J., Zha, Z.-J., Wang, M., and Chua, T.-S. (2011). "Aspect Ranking: Identifying Important Product Aspects from Online Consumer Reviews." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 1496-1505.

Zhai, Z., Liu, B., Xu, H., and Jia, P. (2010). "Grouping Product Features Using Semi-Supervised Learning with Soft-Constraints." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1272-1280.

## 略歴

乾孝司: 2004 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.

日本学術振興会特別研究員, 東京工業大学統合研究院特任助教等を経て, 2009 年筑波大学システム情報工学研究科助教. 現在に至る. 博士 (工学). 近年は CGM テキストに対する評判分析に興味をもつ.
板谷悠人：2010 年筑波大学第三学群情報学類卒業. 2012 年筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻修了. 同年 4 月から株式会社ミクシィ. 在学中は自然言語処理の研究に従事.

山本幹雄：1986 年豊橋技術科学大学大学院修士課程了. 同年株式会社沖テクノシステムズラボラトリ研究開発員. 1988 年豊橋技術科学大学情報工学系教務職員. 1991 年同助手. 1995 年筑波大学電子・情報工学系講師. 1998 年同助教授. 2008 年筑波大学システム情報工学研究科教授. 博士（工学）. 自然言語処理の研究に従事.

新里圭司：2006 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了. 京都大学大学院情報学研究科特任助教, 特定研究員を経て, 2011 年から楽天技術研究所. 博士 (情報科学). 言語知識獲得, 情報抽出, 情報検索, テキストマイニングに興味をもつ.

平手勇宇 : 2008 年早稲田大学大学院理工学研究科博士課程修了. 早稲田大学メディアネットワークセンター助手を経て, 2009 年から楽天株式会社楽天技術研究所. 博士 (工学). 近年は大規模データに対するデータマイニングに興味を持つ.

山田薫：2002 年名古屋大学大学院国際言語文化研究科博士前期課程修了. ヤフー株式会社検索事業部等を経て, 2010 年から楽天株式会社楽天技術研究所. 現在は同社ビッグデータ部にて商品検索システムの開発・運用に従事.

$(2012$ 年 8 月 3 日 $\quad$ 受付 $)$
$(2012$ 年 10 月 26 日 $\quad$ 再受付 $)$
$(2012$ 年 11 月 28 日 $\quad$ 採録 $)$