# 店舗レビューには何が書かれているか?調査及び自動分類システムの開発—
## 新里 圭司 ${ ^{\dagger}$ 小山山田由紀 $\dagger$}

本稿では，オンラインショッピングサイト出店者に対して書かれたレビュー（以下，店舗レビュー）内の各文を, 言及されているアスペクト（例えば，商品の配送や梱包）とその評価極性（肯定, 否定）に応じて分類するシステムについて述べる。店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでないため， まず店舗レビュー 100 件（487 文）を対象に，各文がどのようなアスペクトについて書かれているのか調査した。その結果， 14 種類のアスペクトについて書かれていることがわかった。そして，この調査結果をもとに 1,510 件の店舗レビューに含まれる 5,277 文に対して人手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライブラリを用いてレビュー内の文を分類するシステムを開発した，本システムを用いることで，任意のアスペクトについて，その記述を含むレビューへ効率良くアクセスしたり, その評判の時系列変化を調べたりすることが可能になる。

キーワード：オンラインショッピング, レビュー, アスペクト分類, 評判分析

## What Do People Write in Reviews for Sellers? -Investigation and Development of an Automatic Classification System-

\author{
KeIJI Shinzato ${ }^{\dagger}$ and Yuki Oyamada ${ }^{\dagger}$
}

Herein, we describe a system that classifies each sentence in reviews for the sellers of an online shopping website based on aspects, such as shipping and packaging, and sentiment polarity (positive and negative). First, we investigated 487 sentences that were extracted from randomly selected 100 seller reviews for revealing the aspects mentioned in the reviews. This was done because the aspects in the seller reviews are not obvious. Consequently, we found that 14 aspects were described in the seller reviews. We annotate 14 aspects and their sentiment polarity for 5,277 sentences in 1,510 seller reviews that are newly and randomly chosen. Then, we train the classification models using the existing machine learning software. Through the system based on these classification models, users can understand the trend for any aspect in a time series and easily access reviews describing aspects which they are interested in.


Key Words: Online Shopping, Review, Aspect Classification, Sentiment Analysis

## 1 はじめに

オンラインショッピングでは出店者（以下, 店舗と呼ぶ）と顔を合わせずに商品を購入することになるため, 店舗とのやりとりは顧客満足度を左右する重要な要因となる. 商品の購入を検討しているユーザにとって, 商品を扱っている店舗が「どのような店舗か」という情報は, 商

ザが店舗 A から商品を購入したいと思うのではないだろうか.

店舗 A：こまめに連絡をとってくれ，迅速に商品を発送してくれる

店舗 B: 何の連絡もなく, 発注から 1 週間後に突然商品が届く

ユーザに対して店舗に関する情報を提供するため, 楽天市場では商品レビューに加え，店舗に対するレビューの投稿・閲覧ができるようになっている．店舗レビューの例を図 1 に示す．自由記述以外に 6 つの観点（品揃え, 情報量, 決済方法, スタッフの対応, 梱包, 配送）に対する購入者からの 5 段階評価（5が最高， 1 が最低）が閲覧可能である.この 5 段階評価の結果から店舗について知ることができるが, 評価値からでは具体的にどう良かったのか, どう悪かったのかという情報は得られないのに加え, ここに挙がっている観点以外の情報も自由記述に含まれているため，店舗をより詳細に調べるには自由記述に目を通す必要がある。そのため，レビュー内の各文をその内容および肯定, 否定といった評価極性に応じて分類することができれば, 店舗の良い点, 悪い点などユーザが知りたい情報へ効率良くアクセスできるようになり，今まであった負担を軽減することが期待できる.

図 1 楽天市場における店舗レビューの例. 自由記述以外に 6 つ観点（品揃え, 情報量, 決済方法, スタッフの対応, 梱包, 配送）に対する購入者からの 5 段階評価（5 が最高， 1 が最低）がメタデー 夕として付いている。自由記述部分を読むと, 発送が遅れているにも関わらず, 店舗から何の連絡も来ていないことがわかる，店舗からの連絡に関する評価は, 評価対象となっている 6 の観点では明確に捉えられていない。

このような分類は，オンラインショッピングサイトの運営側にとっても重要である. 例えば楽天では, より安心して商品を購入してもらえるように，ユーザに対する店舗の対応をモニ夕リングしており，その判断材料の 1 つとして店舗レビューの自由記述部分を用いている。そのため，レビューに含まれる各文を自動的に分類することで，問題となる対応について述べられた店舗レビューを効率良く発見できるようになる。

こうした背景から，我々は店舗レビュー中の各文を記述されている内容（以下，アスペクトと呼ぶ）およびその評価極性（肯定，否定）に応じて分類するシステムの開発を行った. 店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでないため，まず無作為に選び出した店舗レビュー 100 件（487文）を対象に，各文がどのようなアスペクトについて書かれているのか調査した。その結果, 14 種類のアスペクトについて書かれていることがわかった.次いでこの調査結果に基づき，新しく選び出した 1,510 件の店舗レビュー（5,277 文）に対して人手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライブラリを用いてレビュー内の文をアスペクトおよびその評価極性に分類するシステムを開発した。アスペクト分類の際は，2つの異なる機械学習手法により得られた結果を考慮することで，再現率を犠牲にはするものの，1つの手法で分類する場合より高い精度を実現している。このように精度を重視した理由は，システムの結果をサービスや社内ツールとして実用することを考えた場合, 低精度で網羅的な結果が得られるよりも, 網羅的ではないが高精度で確実な結果が得られた方が望ましい場合が多いためである。例えば 1 つ機能として実サービスに導入することを考えた際，誤った分類結果が目立つと機能に対するユーザの信頼を失う要因となる。このような事態を回避するため，本手法では精度を重視した。

以降，本稿では店舗レビュー中に記述されているアスペクト，機械学習を使ったアスペクト・評価極性の分類手法について述べた後, 構築した店舗レビュー分析システムについて述べる.

## 2 店舗レビューには何が書かれているか？

調査にあたり，まず楽天市場の店舗レビューを評価が高いものと低いものに分類した，具体的には，各店舗レビューに含まれる 6 つ評価観点に対する評価値の平均を求め, 値が 4.5 以上のものを高評価， 2.0 以下のものを低評価レビューとした．続いてレビューを「\n」「。」「!」

されたレビューのうち，3文以上含むものを無作為に 50 件ずつ選びだし，それらに記述されている内容を調査した。対象となったレビュー 100 件には 487 文含まれていた。 3 文以上含むレ


ビューを調査対象とした理由は，(1)「大変良かったです。」のように一言だけ書かれたレビュー を除くため，および $(2)$ 文数が多いレビューほど具体的にアスペクトを記述していると考えたためである.

調査により明らかとなったアスペクトを表 1 に示す。実際の調查では決済方法に関する記述は見当たらなかったが，決済方法に関する観点が店舗レビューのメタデータとして含まれるため追加した，表よりメール・電話などの店舗とのやりとり，店舗に対する評価，再度購入したいと思ったかどうか, キャンセル・返品時の対応など，先述した 6 つの評価観点では明確に捉えられていないアスペクトについてレビュー中で言及されていることがわかる。また店舗レビュー ではあるが，商品やその価格に関する言及もあることがわかる.

## 3 アスペクトおよび評価極性の自動分類

表 1 のアスペクトをもとに，新しく無作為に選び出した店舗レビュー 1,510 件（5,277 文）に対して人手でアノテーションを行い，これに基づいてアスペクトおよびその評価極性（肯定，中立，否定）を分類するモデルを構築した。本節ではこれらについて述べる。

## 3.1 学習データの作成

まず 2 節で述べた方法で，店舗レビューを高評価および低評価に分類し，文分割処理を行った. そして表 2 に示す割合でレビューを無作為に選びだし，アノテーションの対象とした。

アノテーションは 1 名のアノテータで行った。まず調査に用いたレビュー 100 件を使って訓練した後，5,277 文に対して該当する全てのアスぺクトおよびその評価極性を付与するよう依頼した. アスペクトに「その他」を設けてあるため各文には必ず 1 つ以上のアスペクトおよびその評価極性が付与されることに注意されたい。また文単体ではアスぺクト・評価極性の同定が難しい場合は，前後の文脈を利用するように指示した。そのため，同じ文であっても前後の文脈により付与されるアスペクト・評価極性が異なる場合がある，以下に，文脈によってアスペクト・評価極性の判定結果が異なる例を示す（「/」は文の境界を表す)。

レビューA: 欲しかった商品の在庫がなかったのにすぐ手配してくれてとても助かりました。/注文した翌々日に届きました。/驚きました。

レビューB: 初めてこの店舗を利用しましたが、梱包が最低。/驚きました。/商品にクッショ

ンもされず、コードが箱から出ちゃって、一度使うのに出した物を、また箱に戻してキレイに戻らなくて、セロテープでペタペ夕貼ってあるように見えました。/人となりが、解ってしまう様な店舗です。

レビュー A , B は文「驚きました。」をそれぞれ含んでいるが，そのアスペクト・評価極性は異っており，レビュー A は（配送，肯定），Bは（梱包，否定）が適切なアノテーションである．
表 1 店舗レビューで言及されるアスペクト

 \\

表 2 アノテーションの対象とした店舗レビューの統計

表 3 店舗レビュー 1,510 件（5,277 文）中に言及されるアスペクトの評価極性の分布

5,277 文における各アスペクトおよびそれらの評価極性の分布を表 3 に示す. 1 文に対して複数のアスペクト，評価極性が付与されることがあるため実際の文数よりもアノテーションの件数は多くなっている。連絡，店舗，再購入，情報，商品価格など多くのアスペクトで評価極性の分布に偏りが見られる。

## 3.2 分類モデルの構築

3.1 節で構築したアスペクトおよび評価極性がアノテートされたデータを使いアスペクト分類モデルおよび評価極性分類モデルを構築する。表 3 からわかるように，評価極性分類モデルの構築に十分な量の事例数が確保できないアスペクトがあるため, アスペクト分類および評価極性分類のモデル構築は独立に行った.

分類にあたり，文ごとに分類を行う文単体モデル，およびレビュー内の文に対する系列ラべリング問題とみなし，レビュー単位で各文の分類を行う文書モデルの 2 種類を考えた。文書モ

デルを設けた理由は，先述の「驚きました。」の例のように前後の文脈を利用しないとアスぺクト・評価極性の同定が難しい曖昧な文があるためである.

## 3.2.1 アスペクトの分類

より高い精度 (Precision) を得るため, 文単体モデルおよび文書モデルの両方を構築し, 両モデルにより推定されたアスペクトが同じ場合のみアスペクトを出力した。そのため，現状では 1 文に対して1つのアスペクトしか推定できない. 複数のアスペクトを推定する方法については今後検討する予定である。

文単体モデルおよび文書モデルでは以下に示す共通の素性を用いた.

単語素性： 品詞の大分類が名詞 ${ }^{2}$, 形容詞, 動詞, 感動詞, 副詞となる単語の原形を素性とした。ただし接尾辞が後続している場合は，「良心:的」のように当該単語と接尾辞を連結した. また当該単語の直前が接頭辞「未」「不」, もしくは次の単語素性になりえる語（最後方の語の場合は文末）との間に否定を表す語（「ない」「無い」「無し」，助動詞「ぬ」「ん」のいずれか）が存在する場合は，否定を表すフラグを付与し，肯定の場合と区別した. 例えば文「余計な梱包もなく、ごみも出なくて助かります。」からは「余計」「梱包【否定】「ごみ」「出る【否定】」「助かる」が単語素性として抽出される.

辞書素性： 人手で構築した辞書の要素と一致する形態素（列）が文中に含まれていれば，要素に対応するラベルを素性とする。表 4 に構築した辞書の例を示す.

表 4 アスペクト分類用辞書の例（全 171 件）

^{2} 4.2$ 節で述べるように形態素解析を MeCab, NAIST Japanese dictionary を利用して行っているが，その際に品詞の細分類が非自立のものは除いた。
}

## 3.2 .2 評価極性の分類

アスペクトが推定された文に対してのみ分類を行う，同じ評価極性の文が続けて現れやすい文脈一貫性 (那須川，金山 2004; Kanayama and Nasukawa 2006) を利用するため，評価極性の判定には文書モデルを採用した. 文単体モデルと併用しなかった理由は, 4.2 節で示すように文書モデルだけである程度の精度が達成できたこと, および全体としてのカバレージがさらに下がることを避けるためである。評価極性の分類には以下の素性を用いた.

単語素性：アスペクト分類と同じ。

接続詞素性： 逆接の関係を表す接続詞「でも」「しかし」「だけど」で文が始まっているかどうか.これらの接続詞は，それ以前の文と評価極性が反転することがあるために素性として扱った. (那須川, 金山 2004; Kanayama and Nasukawa 2006; 乾, 梅澤, 山本 2013).

評価極性素性： 文内に含まれる肯定的な語, 否定的な語の数.

評価極性素性を抽出するにあたり，次の方法で単語に対してポジティブ，もしくはネガティブの度合いを計算した。まず 2016 年に楽天に投稿された店舗レビューの中から， 5 文以上含む高評価，低評価レビューを無作為に 5 万件ずつ集めた. 文分割方法および高評価，低評価の判定方法は 2 節と同じである。次に集められたレビューから単語素性と同様の方法で単語を抽出し，各語について高評価レビュー中での文書頻度 $d f_{p o s}$, 低評価レビュー中での文書頻度 $d f_{n e g}$ を算出した. そして, $d f_{p o s}>d f_{n e g}$ であれば肯定的, それ以外は否定的として各語の評価極性を決定した.この時, $d f_{p o s}$ と $d f_{n e g}$ の和が 100 未満のものは低頻度語として見なし削除した. この結果, 806 表現が肯定的, 2,102 表現が否定的として判定された. 得られた肯定的な語, 否定的な語の一部を表 5 に示す。表を見ると「ゴム（肯定的）」や「始める（否定的）」のように直感的でない事例も確認できるが，評価極性素性としては各単語の出現をそのまま用いるのではなく, 各評価極性に分類される語の頻度を集計してから用いているため，このような直感的でない事例による影響は小さいと考えられる。

表 5 肯定, 否定に分類された表現の例

## 4 実験

本節では, 3.1 節で構築したアノテーションデータの評価, 3.2 .1 節, 3.2 .2 節で述べた分類手法の性能について報告する.

## $4.1 \kappa$ 統計量に基づくアノテーションの評価

3.1 節で述べたアノテーション済の 1,510 件のレビューから高評価レビュー 100 件, 低評価レビュー 100 件を無作為に選びだし，別の作業者に改めてアスペクトおよび評価極性のアノテー ションを依頼した。この 200 件のレビューには 752 文含まれていた。作業者には 2 節の調査に用いたレビュー 100 件を使って事前に訓練してからアノテーションに取り組んでもらった。今回の作業者を $\mathrm{A} ， 1,510$ 件のレビューに対してアノテーションを実施した作業者を $\mathrm{B}$ とすると，作業者 A が 752 文に対して付与したラベル（アスペクトとその評価極性）の異なり数は 169 , 作業者 B は 168 であった ${ }^{3}$.またどちらの作業者にも共通するラベルの異なり数は 98 であった.

$\kappa$ 統計量 (Landis and Koch 1977) を計算する際, 複数のラベルがアノテートされている文については, 作業者間で全てのラベルが一致しているかどうかをチェックした. その結果, 作業者間の $\kappa$ 統計量は 0.562 であった. これは moderate agreementとされる値である.

## 4.2 アスペクト分類および極性判定の評価

3.1 節で作成したデータをもとに 10 分割交差検定を行い分類手法の性能を評価した。評価の際，アスペクト「システム」および「決済方法」は事例数が少ないため学習が困難と判断し，「その他」として扱った．文単体モデルの学習には opal 4 を，文書モデルの学習には CRFsuite ${ }^{5}$ 用いた. opal で学習する際は 2 次の多項式カーネルを用い，他のパラメータはデフォルトを利用し，CRFsuiteでの学習は全てデフォルトのパラメータを利用した。素性を抽出する際は前処理として MeCab およびNAIST Japanese Dictionary7を使って文を形態素解析した.

モデルを学習する際, 複数のアスペクト, 評価極性がアノテートされた文は, その全てのアスペクト・評価極性の訓練事例とした。例えば，図 2 は複数のアスペクトを持つ文を含むレビュー の例である．文単体モデルでは $\mathrm{s}_{3}$ を配送，梱包の事例として扱った。一方で文書モデルの場合は, 系列「その他 $\rightarrow$ 商品 $\rightarrow$ 配送 $\rightarrow$ 再購入」「その他 $\rightarrow$ 商品 $\rightarrow$ 梱包 $\rightarrow$ 再購入」を学習デー夕として利用した 8 .

評価極性判定を考慮したアスペクト分類の評価結果を表 6 ，アスペクト分類単体の評価結果を表 7 ，極性判定単体の評価結果を表 8 にそれぞれ示す。複数の正解ラベルを持つ文がある一方で，3.2.1 節で述べたように提案手法は 1 つの文に対して 1 つのアスペクト, 評価極性しか出力できない. そこで部分一致を考慮するために, 各表の精度 $P$, 再現率 $R$ を以下の方法により求め, $\mathbf{F}_{1}$ 値は以下の式において $\beta=1$ として計算した.

$
\begin{aligned}
& P=\frac{\text { 提案手法がラベル } l \text { を出力した際, 正解ラベルの集合に } l \text { が含まれていた文の数 }}{\text { 提案手法が } l \text { を出力した文の数 }} \\
& R=\frac{\text { 提案手法がラベル } l \text { を出力した際, 正解ラべルの集合に } l \text { が含まれていた文の数 }}{l \text { を正解ラベルの集合に含む文の数 }}
\end{aligned}
$

 & & & & & & & $\sqrt{ }$ \\
$\mathbf{s}_{\mathbf{2}}$ & & & $\sqrt{ }$ & & & & \\
$\mathbf{s}_{3}$ 発送が迅速で、梱包が綺麗でした。 & $\sqrt{ }$ & & & & & \\

図 2 複数のアスペクトが付与された文の例

表 6 アスペクト分類（評価極性判定込み）の評価結果

斜体はデータセット中での事例数が 100 件未満のものを意味する.
表 7 アスペクト分類のみの評価結果

表 8 評価極性判定のみの評価結果

$
F_{\beta}=\left(1+\beta^{2}\right) \times \frac{P \times R}{\left(\beta^{2} \times P\right)+R}
$

ここでラベル $l$ は評価極性付きアスペクト，アスペクト単体，評価極性単体のいずれかである.表 6 , 表 8 より, 肯定, 否定に比べ中立の性能が低いことがわかる. 表 6 では事例数が 100 件未満のものを斜体で表示しており，これを見ると訓練事例数が少ないアスペクトが多く，これらは性能が低いことがわかる。このことが他の評価極性に比べて性能が低い理由と考えられる。 また表 6 , 表 7 より，アスペクト「商品」「その他」に関して性能が低いことがわかる。これは (1)そもそも店舗レビューは店舗について記述することが前提となっているため商品に関する記述が少ない, (2) 楽天では多種多様な商品が販売されており, それらをカバーするだけの商品に関する十分な量のテキストが学習データに含まれていないためと考えられる．「その他」についても様々な事柄について言及した文がこのアスペクトに分類されており, そのバリエーションの多さゆえに十分学習できておらず性能が低くなったと考えられる。

3.2.1節で述べたように，より高い精度を得るために，文単体モデルおよび文書モデルの両方の出力が一致した場合のみ，推定されたアスペクトを出力している。これが実際にどの程度の効果があるのかを確認した．表 9 に各モデル単体での性能および組み合わせた場合の性能を示す. $\mathrm{F}_{1}$ 值に加え, 精度を重視した尺度である $\mathrm{F}_{0.5}$ 值もあわせて示した. 全てのアスペクトにおいて，両モデルを組み合わせて用いることで精度を改善できていることが表よりわかる。より具体的には，組み合わせることで，再現率がマクロ平均で $8.6 \%$, マイクロ平均で $9.1 \%$そぞれ下がるが，それと引き換えに精度をマクロ平均で $7.4 \%$, マイクロ平均で $8.2 \%$ 改善できている.
表 9 文単体モデルおよび文書モデルの評価結果

 \\

図 3 評価極性判定を極端に誤った文の例

また $\mathrm{F}_{0.5}$ 值の値も，マクロ平均，マイクロ平均ともに改善されていることがわかる.

評価極性判定の精度については表 8 に示したとおりであるが，実応用を考えた時，肯定的な文を誤って否定的に分類してしまうケース，もしくはその反対のケースは致命的なエラーとなる。そこでこのような事例数がどの程度あるか調査した，具体的には，評価極性が 1 つみアノテーションされた 4,789 文を対象に両ケースの事例数を調べた。その結果, 肯定を誤って否定と判定してしまった件数は 99 件 $(2.1 \%)$, その反対のケースは 52 件 $(1.1 \%)$ であった。これより評価極性判定を極端に誤るような致命的なエラーはほとんど起きていないことがわかる。図 3 に判定を極端に誤った文の例を示す。店舗が好意で行った特別な梱包方法に対し，「送れない」 などの表現が引き金となって評価極性判定を誤ったと考えられる.

## 5 考察

5.1 節では 3.1 節で設計したアスペクトの妥当性について考察する．続いて，アスペクト「商品」「その他」の分類において, そのバリエーションの多さゆえに現状の学習デー夕量では不十分であることが示唆される結果が評価実験により得られたため, アスペクト分類の性能と学習データの量について調査した. 5.2 節ではこの結果について述べる. 5.3 節では, 前節で行った実験によりアスペクト分類の方が評価極性分類に比べ性能が低いことがわかったため，アスぺクト分類の誤り分析について報告する.

## 5.1 設計したアスペクトの分析

表 3 を見ると， 7,113 件のアノテーションのうち， 6,416 件が「その他」以外の 13 個のアスペ

果から，店舗レビュー中の大多数の文に対して「その他」以外のアスペクトが付与されていることがわかり，これは定義したアスペクトが店舗レビューに記載された内容を代表するものになっていることを示唆していると考えられる.

「決済方法」は，2節の調查では見つからなかったが，決済方法に関する評価観点が店舗レビューのメタデータに含まれているため追加したものである. 1,510 件の店舗レビューを対象にアノテーションを実施したところ,「決済方法」が付与された文数は 9 件であり, 楽天のレビュー においてメタデータとして特別扱いされているものの，それに関する記述はレビュー内にはほとんどないことがわかる。このことから，少なくとも楽天の店舗レビューにおいては，「決済方法」に関しては自由記述部分よりもメタデータを用いて分析する方が良いことがわかる.

類似の既存研究と比較すると, レビューではないが, 大野ら (大野, 楠村, 土方, 西田 2005) が，ネットオークションサイトの出品者に対する評価コメントを調査し 13 種類のアスペクトを定義している。これには「配送」「梱包」「連絡」「商品」「対応」など今回我々が設計したアスペクトとの重なりも見られる一方で,「お礼」「挨拶」「謝罪」「入金」「出品者」など評価コメント特有と考えられるアスペクトも含まれている，反対に，我々が設計した「店舗」「商品の在庫種類」「キャンセル・返品」「情報」「商品価格」「システム」「決済方法」は，大野らのアスペクトの定義に類似したものはなく, 店舗レビューに特有のものであると考えられる。これらのアスペクトが付与された文は全体（5,277 文）の $34.6 \%$ に相当する 1,826 文あり, 店舗レビューのアスペクトとして重要であることがわかる.

## 5.2 アスペクト分類の学習曲線

4.2 節の実験より，アスペクト「商品」「その他」の分類については記述内容のバリエーションが多く, 現状の学習データでは量が不足しているため性能が低い可能性が示唆された. 本節

図 4 アスペクト分類の学習曲線

では，これを確認するため「商品」「その他」について学習データの量を変えながら，性能がどのように変化するのかを確認する。具体的には，1,510 件の評価データセットから無作為に選び出した 510 件を評価用データ, 残りの 1,000 件を学習用データとし, 学習データに用いるレビューの数を 100 件ずつ増やした時の $\mathrm{F}_{1}$ 値を調査した.

調査の結果得られた学習曲線を図 4 に示す。図には「商品」「その他」に加え, これらと事例数が近い「店舗」および「再購入」の結果, さらに参考として全体（マクロ平均）の $\mathrm{F}_{1}$ 値の推移も含めた．図よりアスペクト「商品」「その他」は，「店舗」「再購入」に比べ，事例数が近いにも関わらず性能が低いことがわかる。これは「店舗」「再購入」に比べ「商品」「その他」は事例のバラつきが多く，難しい分類問題になっていることが原因と考えられる。また「商品」「その他」「全体」を見ると，学習に用いる事例数を増やすことで性能の改善が見られる．改善の幅は緩やかであるが，分類に用いる素性の工夫や複雑なモデルを用いるなどすることでその幅を大きくすることが期待できる.

## 5.3 アスペクト分類の誤り分析

無作為に選んだ 1,358 件のレビュー（4,740 文）で学習を行い，残り 152 件（537 文）をアスペクト分類した際の誤りについて分析した。，分析の対象となった事例は 63 件であり，各事例には 1 つ以上のエラータイプを付与した.

分析の結果を表 10 に示す. 最も数が多かったタイプは「分類に必要な素性が得られていない」で 42 件あった。例えば「欲しい色とサイズもあって、良かったです。」は「商品の在庫・
表 10 エラーのタイプおよびその事例数

種類」に分類されるべきであるが，提案手法は「商品」に分類していた．抽出された素性と各アスペクトの関連を調べたところ,「商品」と関連の強い素性が多く,「商品の在庫・種類」と関連のある素性はなかった。また商品に関する記述を含む文はアスペクト「商品」と関連の強い素性が抽出されていない傾向にあった。これは, 楽天で多様な商品を扱っていること, 店舗レビューの性質上，商品に関する記述はメインでないことから十分な量の訓練事例が得られていないためと考えられる。「商品」以外では「親戚宅への訪問土産に購入しました。」のような購入背景，「重さのあるものも家の玄関に届くのでとっても助かっています。」のような感想を述べた文もこのタイプのエラーに分類された。購入背景や感想はユーザによって様々であるため，これらを正しく分類するためには，学習データを増やすほか，これらを認識するモデルを別途用意するなどの対応が考えられる.

次に多かったタイプは「文単体では分類が難しい」であり， 21 件が該当した。例えば文「あきれます。」は商品にも店舗にも当てはまる表現であり，この文を正しいアスペクトに分類するためには，この文の前後にどのような記述があるのかを捉える必要がある．現状では文単体モデル，文書モデルともに明確な素性として前後の文脈の内容を用いていない。このタイプのエラーを減らすには，何らかの方法で前後の文脈を取り込む素性が必要になる。

また「アノテーションの誤り」も確認された。例えば文「別に目立つほど悪い点は無かったです。」は「その他」が付与されていたが，提案手法は「商品」に分類していた. レビューを確認するとこれは商品についての記述であり「商品」が付与されることが妥当である。このようなエラーを減らすには複数人のアノテータにアノテーションを依頼し多数決をとる，または分類基準を精緻にするなどが考えられる。

## 6 関連研究

従来より評判分析は多くの研究がなされてきており (乾, 奥村 2006; Pang and Lee 2008), その対象はレビューのみならず，新聞記事，ブログ，Twitter などのマイクロブログと様々である (関 2013).レビューを対象とした評判分析研究では, 映画 (Pang, Lee, and Vaithyanathan 2002), 宿泊施設 (Wang, Lu, and Zhai 2010), 商品 (Ding, Liu, and Yu 2008) に対して書かれたレ

ビューに基づくデータセットが利用されている。また, 意味解析に関する国際的評価型プロジェクト SemEvalにおいて 2014 年より毎年実施されている Aspect Based Sentiment Analysis においてもデータセットが提供されており, その内容はノートパソコン, マウス, レストラン, デジタルカメラなど 7 種類の対象について英語, 中国語, ドイツ語など 8 言語で書かれたレビュー である (Pontiki, Galanis, Papageorgiou, Androutsopoulos, Manandhar, AL-Smadi, Al-Ayyoub, Zhao, Bing, Clercq, Hoste, Apidianaki, Tannier, Loukachevitch, Kotelnikov, Bel, Jimenez-Zafra, and Eryigit 2016). オンラインショッピングサイトを利用して商品を購入する際, 商品レビュー に加えて「どの店舗から購入するのか」も重要な指針の 1 つであるが，店舗の評判が記載されたレビューに基づくデータセットはない.

日本語で書かれたレビューを対象にした研究では Ando ら (Ando and Ishizaki 2012), 浅野ら (浅野, 乾, 山本 2014), Tsunoda ら (Tsunoda, Inui, and Sekine 2015) が宿泊施設レビューを対象に，記述されているアスペクトの調査や，特定のタスクを対象とした宿泊施設に関するアスペクトの設計を行っている. 安藤ら (安藤, 関根 2013) は商品レビューを対象に, そこに記述されている内容を調査し， 23 種類のアスペクトが書かれていると報告している。また，レビュー ではないが, Kobayashi ら (Kobayashi, Inui, and Matsumoto 2007) はレストラン, 車, 携帯電話，ゲームについて書かれたブログを対象に，アスペクトを含む 7 種類の情報を付与した意見タグ付きコーパスを構築している。 大野ら (大野他 2005) は, ネットオークションサイトの出品者に対する評価コメントの要約を目的に, コメントの記述内容を調査し 13 種類のアスペクトを定義している．いずれの研究もレビューやブログ，オークション出品者に対する評価コメントに記載されているアスペクトの調查や, その（自動）分類という点で本研究と類似しているが, 対象が宿泊施設, 商品・製品, レストラン, オークション出品者であり本研究で対象とした店舗ではない.

従来よりアスペクト分類に関する研究は数多く行われている。例えば先述した SemEval ではアスペクト分類およびその評価極性の判定というタスクが設定されており，対象は異なるものの解こうとしている問題は同じである。今回の分類手法はごく単純なものであるため, 既存研究の成果 (例えば論文(Wang, Huang, Zhu, and Zhao 2016) 等) を取り入れることで今よりも高い精度で分類を行える可能性がある.

山下ら (山下, 東野 2016) は商品レビューを商品について記述したものと, 店舗について記述したものに分類する手法を提案している。このような分類を行う背景には, 商品レビューにも関わらず店舗について記述したレビューの存在があり，これらは純粋に商品について知りたいユーザや，商品に関する評判を抽出したいサイト運営者にとってノイズとなるため自動検出したいという要望がある. 同様に新里ら (新里, 益子, 関根 2015)の研究においても, 商品の使用感を記述した文を抽出する際に，商品レビュー中に存在する店舗に関しての言及が問題となることが報告されている。 そのため, 商品レビューに対して事前に今回構築したアスペクト分類

モデルを適用することで，商品に関する記述だけを精度良く集めることが可能になり，これらの研究の改善が見达める.

評判分析システムに関する研究として富田らの研究がある (富田, 松尾, 福田, 山本 2012).彼らのシステムはブログを対象に評判分析を行い，任意のキーワードに対する評判を整理してユーザに提示するものである。評判抽出の際は係り受け解析を行い，アスペクトに相当する単語と，その係り先になっている単語の組を評判として抽出する。そのため, 係り受け解析に失敗した場合や，文をまたいで評判が記述されている場合は評判を抽出できない．我々の手法は文を単位にアスペクト分類を行っており，その際は当該文から得られる情報だけでなく，同一レビュー内の他の文から得られるアスペクトの遷移情報も用いている。このため, 当該文内にアスペクトに相当する語が含まれていない場合であっても正しく分類することが可能である。また, 係り受け解析を用いていないため, 係り受け解析に失敗するような長文や構文的に複雑な文であっても正しく分類できる可能性がある。しかしながら，富田らのシステムは 1 文から複数の評判を抽出することができるのに対し, 我々の手法は 1 つの文を複数のアスペクトに分類することができないという久点もある.

## 7 店舗レビュー分析システム

これまでに述べた技術を用いて店舗レビュー分析システムを開発した。本節ではシステムの概要, およびその性能について報告する。

## 7.1 システムの概要

開発した店舗レビュー分析システムの実行例を図 5 に示す。分析を行いたい店舗名およびアスペクトをクエリとしてユーザより受け取ると，システムは条件に一致するレビューをその評価極性分類結果と共に出力する。過去 2 年分の店舗レビューおよびその分類結果を Apache Solr9を用いてインデキシングしており，任意の店舗名およびアスペクト・評価極性（肯定, 否定）の組み合わせに対して分類結果を検索できるようになっている.

画面右側には, 分類結果に基づく肯定的レビュー, 否定的レビューの割合の時系列変化がグラフで表示される．グラフ中の実線は肯定的，破線は否定的なレビューの変化をそれぞれ表しており, 線の太さは細いものが 1 週間分の, 太いものが 3 ヶ月分の変化の単純移動平均を示している。このグラフを確認することで，ユーザの調べたいアスペクトに関する評判の推移が簡単に把握できるようになっている. 例えば図の場合, 一時期配送に関する否定的なレビューが増大したが，現在は収束していることが読み取れる。
^{9}$ http://lucene.apache.org/solr/
}

図 5 店舗レビュー分析システムの実行例（クエリとして与えた店舗名およびレビューを投稿したユー ザ名は伏せてある). 画面右には, 自動分析結果に基づきグラフ化した肯定的レビュー, 否定的レビューの割合の時系列変化が表示される。画面左にはクエリとして与えられたアスペクトに分類された肯定的，否定的な文を含むレビューの一覧が表示される．画面では「配送」に関する肯定的な文を含むレビューのリストが表示されている.

一方，画面左側にはクエリに一致する店舗レビューのリストが，肯定，否定に分かれて表示される，肯定，否定の切り替えはリスト上部のタブをクリックすることでできる．図では肯定的なレビューが表示されており, クエリとして与えられたアスぺクトかつ肯定的と自動的に分類された文がハイライトされている。これにより，ユーザは任意のアスペクトについて具体的にどう良かったのか（またはどう悪かったのか）を簡単に調べることができる.

別の使い方として，ある店舗からの購入をやめた理由の検索が挙げられる，以下はある店舗に対して書かれたレビューのうち，再購入-否定に分類された文を含むものである.
- X月X日に注文しましたが、まだ届きません。/連絡もないし．．．/こんなに遅い通販て珍しいですね。/どこ頼んでも 2 ～ 3 日で届きます。/2度と注文しません。

・もう二度と購入しません。/間違えてすぐにショップにメールしたのに、発送してしまったとの事。/私が注文間違えた事に問題はありますが、キャンセル出来ないところでは購入しません。

太字は再購入-否定に分類された文, 下線の引かれた文・表現は購入をやめた理由について記述

しているものである。このような理由について記述した箇所を自動的に特定することは今後の課題であるが，現状のシステムを使って「再購入-否定」を含むレビューを検索することで，再購入しない理由を述べたレビューを効率よく集めることができる。このような再購入をやめた理由は運営サイト側にとって大変貴重なデータであり, 店舗やサービスの改善など，いろいろな場面で役立てることが可能である.

以上，ここで挙げた任意のアスペクト・評価極性について記述された文（を含むレビュー）の検索や，該当する文のハイライト機能，さらには検索結果に基づくレビューの活用は, 図 1 に示したレビューをユーザから得られる 5 段階評価のみで管理していては実現できない. 本稿で述べた手法を用いてレビュー本文を構造化することで初めてこれらが実現可能になる点を強調したい.

## 7.2 性能評価

店舗の良い点，悪い点を調べようとする際，従来はレビュー本文を 1 つずつユーザは読む必要があった. しかしながら, 図 5 に挙げたシステムを用いることで, ユーザは任意のアスペクト・評価極性について記述されたレビューに簡単にアクセスできるようになる。そこで，どのくらいの精度, 再現率で条件に一致するレビューにアクセスできるのかを調査した. 具体的には, 3.1 節で構築した学習データ中のそれぞれのレビューについて, 各文に付与されたアスペクト-評価極性のラベルを集約し，それをレビューに対するラベルと見なした，例えば，図 6 のレビューであれば，「配送-否定」「対応-肯定」をレビューに対するラベルと見なす.

実験結果を表 11 に示す. 表のマイクロ平均を見ると, 否定的なものに比べ, 肯定的なアスペクトを含むレビューをより高い精度で収集できることがわかる。一方で，マクロ平均に関しては，「キャンセル・返品-肯定」に関して性能が出ていないため，否定的なアスペクトを含むレビューの分類の方が $\mathrm{F}_{1}$ 值で高い結果となった. また表 6 の文単位での評価結果と比べると, 精度の改善に比べ，再現率の改善の方が大きい.これはラベルを集約した結果, 同一の評価極性付きアスペクトを複数含むレビューにおいて，そのいずれか 1 つを分類することができれば良くなったためであると考えられる.

 & & & & \\

図 6 店舗レビューの例. 各文についたラベルを集約し,「配送-否定」,「対応-肯定」をこのレビューに対するラベルと見なす.
表 11 レビュー単位で評価した場合の評価結果

## 8 おわりに

本稿では，オンラインショッピングサイト出店者（店舗）に対するレビュー中の各文を, 記述されている内容（アスペクト）およびその評価極性（肯定, 否定）に応じて分類するシステムについて述べた。店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでなかったため，まず無作為に選び出した店舗レビュー 100 件（487文）を対象に，各文がどのようなアスぺクトについて書かれているのか調査した。その結果, 配送や梱包など 14 種類のアスペクトについて書かれていることがわかった。このうち, 店舗とのやり取り, 店舗に対する評価, 再度購入したいと思ったかどうか, キャンセル・返品時の対応などは, 店舗レビューがもともとメタデータとして持っているアスペクトには含まれていないものであり, 自由記述部分には店舗に対するより詳細な評価が含まれていることがわかった.

次いでこの調査結果に基づき，新しく選び出した 1,510 件の店舗レビュー（5,277 文）に対して人手でアスペクトおよびその評価極性のアノテーションを行い, 既存の機械学習ライブラリを用いてレビュー内の文をアスペクトおよびその評価極性に分類する店舗レビュー分析システムを開発した. システムを用いることで肯定的レビュー，否定的レビューの割合の時系列変化を確認できたり，任意のアスペクト，評価極性に分類された文，およびそれらを含むレビュー へ簡単にアクセスすることが可能となる。このような利便性の向上はオンラインショッピングサイトのユーザのみならず，運営側にとっても店舗の対応をモニタリングする上で大変有用であり，社内ツールとしての運用に向けて関係部署と現在調整中である.
以下，今後の課題について述べる。現在の手法では 1 文に対して 1 つのアスペクト, 評価極性しか推定できないが，実際には複数のアスペクトおよび評価極性をもつ文が無視できない数あった，そのため，複数のアスペクト，評価極性を推定できるように分類手法を拡張する必要がある。またエラー分析の結果，アスペクト分類に必要な素性が抽出できていない場合が多いこともわかった。そのため，素性に関して再検討することも今後の課題である. さらに分析システムという観点から考えると, 分類結果の効果的な表示方法についても検討する必要がある.分類結果をどのように表示すればより良いのかはその利用方法と関連が深いため，今後システムの利用を想定している関係部署のメンバーと表示方法について検討していく必要があるであろう。

## 参考文献

Ando, M. and Ishizaki, S. (2012). "Analysis of Travel Review Data from Reader's Point of View." In Proceedings of the 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 47-51.

安藤まや, 関根聡 (2013). レビューには何が書かれているのか？ ALAGIN \& NLP 若手の会合同シンポジウム.

浅野翔太, 乾孝司, 山本幹雄 (2014). 談話役割に基づくクラス制約規則を利用したレビュー文

の意見分類. 言語処理学会第 20 回年次大会発表論文集, pp. 880-883.

Ding, X., Liu, B., and Yu, P. S. (2008). "A Holistic Lexicon-based Approach to Opinion Min-

ing." In Proceedings of the 2008 International Conference on Web Search and Data Mining, pp. 231-240.

乾孝司, 奥村学 (2006). テキストを対象とした評価情報の分析に関する研究動向. 自然言語処

理, 13 (3), pp. 201-241.

乾孝司, 梅澤佑介，山本幹雄 (2013). 評価表現と文脈一貫性を利用した教師デー夕自動生成によるクレーム検出. 自然言語処理, 20 (5), pp. 683-706.

Kanayama, H. and Nasukawa, T. (2006). "Fully Automatic Lexicon Expansion for Domainoriented Sentiment Analysis." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 355-363.

Kobayashi, N., Inui, K., and Matsumoto, Y. (2007). "Extracting Aspect-Evaluation and AspectOf Relations in Opinion Mining." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 1065-1074.

Landis, R. and Koch, G. (1977). "The Measurement of Observer Agreement for Categorical

Data." Biometrics, 33 (1), pp. 159-174.

那須川哲哉, 金山博 (2004). 文脈一貫性を利用した極性付評価表現の語彙獲得. 情報処理学会研究報告, pp. 109-116.

大野華子, 楠村幸貴, 土方嘉徳, 西田正吾 (2005). 社会的関係を用いたネットオークションの評

価コメントの自動要約. 電子情報通信学会論文誌. D, 情報・システム, $88(3), p p .668-683$.

Pang, B. and Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval.

Pang, B., Lee, L., and Vaithyanathan, S. (2002). "Thumbs Up? Sentiment Classification using Machine Learning Techniques." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 76-86.

Pontiki, M., Galanis, D., Papageorgiou, H., Androutsopoulos, I., Manandhar, S., AL-Smadi, M., Al-Ayyoub, M., Zhao, Y., Bing, Q., Clercq, O. D., Hoste, V., Apidianaki, M., Tannier, X., Loukachevitch, N., Kotelnikov, E., Bel, N., Jimenez-Zafra, S. M., and Eryigit, G. (2016). "SemEval-2014 Task 5: Aspect based Sentiment Analysis." In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 19-30.

関洋平 (2013). 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース, 6 (4), pp. 85-103.

新里圭司, 益子宗, 関根聡 (2015). オノマトぺを利用した商品の使用感の自動抽出. 情報処理学

会論文誌, 56 (4), pp. 1305-1316.

富田準二, 松尾義博, 福田浩章, 山本喜一 (2012). 大規模デー夕を対象とした文書情報集約デー タベースと評判分析サービスにおける検証. 電子情報通信学会論文誌. D, 情報・システム, 95 (2), pp. 250-263.

Tsunoda, T., Inui, T., and Sekine, S. (2015). "Utilizing Review Analysis to Suggest Product Advertisement Improvements." In Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 41-50.

Wang, H., Lu, Y., and Zhai, C. (2010). "Latent Aspect Rating Analysis on Review Text Data: A Rating Regression Approach." In Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 783-792.

Wang, Y., Huang, M., Zhu, Z., and Zhao, L. (2016). "Attention-based LSTM for Aspect-level Sentiment Classification." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 606-615.

山下達雄, 東野進一 (2016). 商品レビューに含まれるストア言及の抽出. 情報処理学会第 78 回全国大会講演論文集.

## 略歴

新里圭司：2006 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (情報科学). 京都大学大学院情報学研究科特任助教, 特定研究員を経て，2011 年から楽天技術研究所. 自然言語処理, 特に, 知識獲得, 情報抽出, 評判分析の研究に従事.

小山田由紀 : 2017 年東京女子大学人間科学研究科人間文化科学専攻現代日本語.日本語教育分野博士前期課程修了. 修士 (人間文化科学). 楽天技術研究所で自然言語処理のためのアノテーション業務に従事.

(2017 年 5 月 22 日受付)

(2017 年 8 月 8 日再受付)

(2017年 9 月 20 日採録)