# 商品レビューの複数の観点からの有用性の評価

曽田竬人
北陸先端科学技術大学院大学
s1910131@jaist.ac.jp

## 1 はじめに

ユーザが商品の購入を検討する際，他のユーザに よって書かれた商品のレビューを参考にすること は日常的に行われている. しかし, レビューの中に は，ユーザにとって役に立つものもあればそうでな いものもある. 膨大な量のレビューの中から有用な レビューを見つけるのは多大な労力を要するため, これを効率よく見つける技術が求められる。このよ うな背景の下, レビューの有用性を自動判定する研究が行われてきた。しかし, 先行研究の多くは単に レビューが有用であるか否かを判定するが，どのよ うなレビューが有用かはユーザによって異なると考 えられる。例えば，商品を使用した体験が役に立つ と考えるユーザもいれば，他の商品との比較を重視 するユーザもいるだろう。

本研究では, 商品レビューの有用性を複数の観点 から評価し，その評価結果を包括的にユーザに提示するシステムを提案する [1]. 様々な観点による 有用性の評価結果を閲覧できるようにすることで, ユーザが自身の嗜好に合わせて有用な商品レビュー を見つける作業をサポートすることを狙う。

## 2 関連研究

山澤らは， Amazon ${ }^{1)}$ のレビューを対象に，ユーザ が内容を信用して利用できる文 (有用文)を判別する Support Vector Machine (SVM) を学習した [2]. 佐々木らは，人手による有用なレビューの分析結果を基 に，機械学習を用いて有用なレビューを判別する手法を提案した [3]. Fan らは，製品のメタデータ(夕 イトル,ブランドなど) とレビューテキストの両方を 入力とし, レビューが有用か否かを分類するディー プニューラルネットワークを提案した [4]. Vo ら は, Rodak ら [5] が提案したレビューの特徴を素性 として使用し, Elastic Net 回帰を使用してレビュー の有用性を予測し，レビューをランク付けし，その

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

上位のレビューをユーザに提示するシステムを提案 した [6].

これらの先行研究は，レビューが有用か否かのみ を判定しているのに対し, 本研究では, 有用性の観点をいくつか定義し, 個々の観点毎にレビューの有用性を判定することで，ユーザが多角的な視点から 有用なレビューを見つけることを支援する。

## 3 提案手法

## 3.1 有用性の観点

本研究では, レビューの有用性を判定する先行研究 $[3,6,7]$ の知見や著者らによる経験などを踏まえ,以下の 7 つの観点からレビューの有用性を評価する ことを提案する。

観点 1 評価表現に対する根拠がある

単に商品の善し悪しを評価するだけでなく，その 善し悪しの根拠となる事実もあわせて書いていると き，そのレビューの有用性は高いと評価する。図 1 の例では，「便利です」という評価の根拠として「大 きさもちょうど良い」を示している.

観点 2 商品に関係のある言及が多い

レビューの中には，商品に言及している文もあれ ば，ショップの対応や配送業者の対応など, 商品以外のことに言及している文もある。商品に言及して いる文が多ければ多いほど有用性は高いと評価す る. 図 1 の例では,「発送までが遅かったのが残念 でした」という文は商品に言及していない.

観点 3 他の商品と比較している

レビューが評価対象の商品と他の商品を比較し ているとき，ユーザにとって参考になる情報を提供 している可能性が高いため, 有用性が高いと評価 する. 図 1 の例では, 「商品 $\mathrm{B}$ に比べて軽そう」と いった比較がある.

観点 4 実際に商品を使用した(あるいはしていな い)と推測できる

1) https://www.amazon.co.jp/

図 1 レビューの例

実際に商品を使用していない人のレビューは有用性が低いと評価する。図 1 の例では，まだ実際に使用していませんが,」という句は，ユーザが商品を 実際には使っていないことを表し，このレビューの 信頼性が低くなる。

観点 5 評価(レーティング)に対する根拠がある 多くの ECサイトやロコミサイトでは，ユーザは 商品に対して星の数などでレーティングをつけるこ とができるが，そのレーティングの根拠となる文が 示されているとき, 有用性は高いと評価する. 図 1 の例では, 星の数は 4 と高く, 「便利です」といった 評価表現はその理由の説明とみなせる。

観点 6 分量が多い

ごく簡単に感想を書いた短い一文のレビューよ り，商品に対する意見・感想を詳細に書いた長いレ ビューの方が，有用性が高いと評価する。

観点 7 文章が読みやすい

読みやすい文章で書かれたレビューほど有用性が 高いと評価する。

以下，観点 1 ，観点 2 ，観点 3 による有用性の評価手法については 3.2，3.3，3.4 項で，これら以外の観点による有用性の評価については 3.5 項で述べる.

## 3.2 根拠を含む文の検出

本項では，レビュー文が根拠を含むか否かを判定 する手法について述べる。基本的な考えとしては，根拠を示す接続詞で終わる文節 (例は図 1 の「良い ので」) が評価表現を含む文節 (例は図 1 の「便利で す」) に係るとき，そのレビュー文は根拠を含むと 判定する。具体的には，以下のいずれかの条件を見 たす文を根拠を含む文として検出する。

条件 1 連用形 $\rightarrow$ 評価表現

用言の連用形で終わる文節が評価表現を含む文節 に係る。

(例) 片手でも持ちやすくて 実用的です2)


のが，ので，のは，為，ため，点が，くて， のも，ところが，ところも

図 2 根拠を示す接続詞

条件 2 根拠を表す接続詞 $\rightarrow$ 用言

根拠を示す接続詞で終わる文節が用言を含む文節 に係る。

(例) 耐熱性能も良いのでライフも期待できる

上記を踏まえ，以下の手続きでレビュー文に根拠 が含まれるかを判定する。

1. CaboCha[8]を用いて文節の係り受け解析を 行う.

2. 評価表現もしくは用言 (動詞, 形容詞, 形容動詞)を含む文節 $\mathrm{E}$ を検出する。評価表現は以下 の 2 通りの方法で検出する.

・日本語評価極性辞書 (用言編)[9] に含まれ る評価表現

$\cdot$感情分析 API である COTOHA API[10] に よって検出された評価表現

3. 文節 $\mathrm{E}$ に直接係る文節 $\mathrm{R}$ を検出する。文節 $\mathrm{R}$ が根拠を示す接続詞 (図 2)を含むかどうかを判定する。

4. 文節 $\mathrm{R}$ と $\mathrm{E}$ が上記の条件 1 ，条件 2 のいずれか を満たすとき，根拠を含むと判定する．それ以外は含まないと判定する。

最終的なシステムでは，上記の手法で根拠を含む 文の検出を試み，レビューに根拠を含む文が出現す るか否かをユーザに提示する。また，含む場合には 検出された文を強調して提示する。

## 3.3 商品への言及度の判定

本項では，商品レビューが評価対象の商品につい て言及している度合を「商品言及度」(以下，単に 言及度と記す) と定義し，これを推定する手法につ いて述べる。言及度はユーザレビューの有用性を表 す指標の 1 つとしてユーザに提示することを想定 する。

本研究では, 評価対象の商品のカテゴリに固有の 単語がどれだけ多く含まれるかで言及度を定量化す る. 例えば，商品カテゴリがペットのとき，「大型犬」「フード」「匂い」「食いつき」などはペットに関連する商品に言及するときによく使われる単語であ り，またこのような単語が多いレビューほど商品に 言及していると言える.

同様に表記する。

まず，商品カテゴリ毎に単語の重要度を算出す る. 商品カテゴリ $c$ におけるキーワード $k$ の重要度 $\operatorname{Sig}(k, c)$ は, TF-IDF の考え方に基づき, 式 (1)のよ うに定義する。

$
\operatorname{Sig}(k, c)=t f_{k, c} \cdot \log \frac{N_{c}+1}{c f_{k}}
$

$t f_{k, c}$ は商品カテゴリ $c$ のレビュー集合に含ま れるキーワード $k$ の相対出現頻度, $c f_{k}$ (category frequency) は $k$ が出現するカテゴリの数, $N_{c}$ はカテ ゴリの総数である．重要度の算出は楽天デー夕 [11] における楽天市場の商品説明文の集合を用いる，商品カテゴリは「ビューティ」「文房具」などの 18 種 とする．重要度を算出するキーワードは名詞もしく は複合名詞に限定する。

与えられたレビュー $r$ の言及度を式 (2) のように 定義する。

$
\operatorname{Ex}(r, c)=w \cdot \sum_{k \in K_{r}} \operatorname{Sig}(k, c)+(1-w) \cdot \log \operatorname{len}(r)
$

言及度は, レビュー内の全てのキーワード $\left(K_{r}\right)$ の重要度の和と, レビューの長さ (文字数) len $(r)$ の重み つき和とする， $c$ は，レビュー $r$ が評価対象とする 商品のカテゴリである. len $(r)$ を考慮したのは, 長 いレビューほど商品への言及度が高いという直観に 基づく．重み $w$ は実験的に決定する。

## 3.4 比較の有無の判定

本項では，簡単なルールベースの手法で複数の 商品を比較する文を検出する手法について述べる. Amazon の家電とホームカテゴリの商品レビュー を 1,201 件取得し, 複数の製品を比較しているレ ビューを 176 件見つけた。これらのレビューから，他の商品との比較があるレビューを検出するルール を策定した。ルールは以下の 3 つに大別される。

・比較を表すキーワード＋評価表現複数の商品の比較を示唆するキーワードを含 み，そのキーワードの後に評価表現が出現す るとき，そのレビューは比較ありと判定する。「くらべる」「違う」「反面」など， 34 個のキー ワードからなるルールセットを作成した.

・レビューの最初の文で比較を示唆する表現「○○から買い換えました」などの表現がレ ビューの最初の文に出現するとき, レビュー全体で他の商品との比較があると判定する。「買 い換え」「以前」など 6 つのキーワードを設定
し，それが最初の文に出現するときに比較あり と判定するルールセットを作成した。

・「より」を含む文

節が評価表現を含む文節に直接係るとき，比較 を含むレビューと判定する。

(例) 他の製品より 良いと思います.

最終的なシステムでは, 「他の商品と比較して いる」という観点からの有用性を示すために，レ ビューの中に比較があるか否かを表示することを 想定している。ここでのルールは，比較を含むレ ビューの検出について, 再現率よりも精度を重視し て設計している.

## 3.5 その他の観点からの有用性の評価

これまで述べてきた 3 つの観点以外については，現時点では評価方法を検討している段階である.

観点 4「実際に商品を使用したと推測できる」に ついては, 予備調査として, Amazonに投稿され た本，電子機器，ホーム・キッチンカテゴリのレ ビューを 1,385 件取得し, 商品を使用していないと 思われるレビューを人手で判定した。その結果，該当するレビューはわずか 11 件であった。実際に商品を使用していないレビューの数が非常に少ない ことから，これを自動検出する手法の検討は行わな かった. とはいえ, 別の商品カテゴリのレビューや Amazon 以外のサイトに投稿されたレビューでは商品を使用していないレビューが多く存在する可能性 もあり，今後も調査を続けたい。

観点 5 「評価(レーティング) に対する根拠がある」 については, レビューの極性判定を行い，その極性 がレーティングに近いかどうか，また極性判定の信頼性が十分高いかどうか，などの手法によって評価 する予定である。

観点 6「分量が多い」については，単語数や文字数などで比較的容易に定量化できると考えられる。

観点 7「文章がよみやすい」については，文書の 平易さや読みやすさを判定する先行研究があり, こ れらの技術を適用することが考えられる。

## 4 評価実験

本節では観点 1 , 観点 2 , 観点 3 で有用性を判定 する提案手法の評価実験について述べる.

## 4.1 根拠を含む文の検出手法の評価

Amazon に LED 電球，ルンバ e5，インパクトドラ イバー，洗顔料について投稿されたレビューをラン ダムに 50 件取得した。これらのレビューに対し,根拠を含む評価文が現われるかを著者 2 名が独立に 判定した。提案手法は根拠を含む文を抽出する手法 であるので，商品に対する評価とその根拠が複数の 文に書いてある場合は除外し，ひとつの文に書かれ ているかを判定した。二者の判定の一致率は 0.76 , $\kappa$ 係数は 0.56 であった。

この評価デー夕に対し， 3.2 項で述べた手法で根拠を含む文を検出し，その精度，再現率， $\mathrm{F}$ 值を調 べた。また, 根拠の有無の判定が一致する割合 (正解率) も算出した. 結果を表 1 に示す. 再現率は比較的高いが, 特に評価者 2 に対する精度が低く, $\mathrm{F}$値も 0.7 程度に留まっている。

表 1 根拠を含む文の検出の評価結果

## 4.2 商品への言及度の判定の評価

言及度の計算に用いた 18 のカテゴリについて， それぞれのカテゴリに投稿されたレビューをランダ ムに選択し, レビューの組を 10 件ずつ, 計 180 件作成した。これらに対し, 著者 2 名が独立に, どち らのレビューがより商品に言及しているかを判定 した。このとき，どちらの言及度が大きいか判定が 難しい場合には「不明」とした。最終的に, 評価者 のどちらかが不明と判定した 24 件のデー夕を除く 156 件を評価データとした。二者の判定の一致率は 0.904， $\kappa$ 係数は 0.807 であった。この評価デー夕に 対し, それぞれのレビューの組に対して 3.3 項で述 べた手法でレビューの言及度を算出し, 言及度の大 きいレビューが人手による判定の結果とどれだけ 一致するか (正解率)を調べた。 ベースラインとし て，常に文字数の多いレビューを言及度の大きいレ ビューとして選択する手法 (式 (2)の $w$ を 0 とした 場合) と比較した。図 3 は, 重从 $w$ を 0.990 から 1 ま で $10^{-6}$ 刻みで変動させたときの正解率の変化を示 している.

ベースライン (図 3 の直線) の正解率は, 評価者 1 (a) 評洒者 1

(b) 評価者 2

図 3 商品への言及度の評価結果

は 0.801 ，評価者 2 は 0.740 であった。提案手法につ いては，評価者 1,2 ともに $w=0.9983$ のときに正解率が最大となり，その値はそれぞれ $0.801 ， 0.769$ であった。提案手法がベースラインと同等もしくは 上回ることを確認した。ただし，パラメ夕 $w$ の最適化は本来はテストデータとは別の開発データで行う べきである. 開発データを用いた $w$ の最適化は今後 の課題である。

## 4.3 比較の有無の判定の評価

3.4 項で説明した個々のルールについて，それを 用いて比較を含むレビューを検出したときの精度を 測った。ルールの設計に用いた家電・ホームカテゴ リのレビューに対する精度 (クローズド) と，新たに 取得した「ベビー」カテゴリのレビュー 557 件に対 する精度 (オープン)を調べた。いくつかのルールに ついて，検出精度が十分に高いことを確認した。例 を表 2 に示す。

表 2 比較を含むレビューを検出するルールの精度

## 5 おわりに

今後の課題として, これまで着手していない 4 つ 観点からの有用性評価を実現することが挙げられ る。一方，3つの観点からの有用性の判定について,本論文で提案した手法は比較的基本的なものであ り，これらをより洗練することも必要である。ま た，7つの観点からの有用性の評価結果をどのよう にユーザに提示し，ユーザのレビュー検索を補助す るシステムを実装するかも重要な課題である。

## 参考文献

[1]曽田颯人. 商品レビューの複数の観点からの有用性の評価. 修士論文, 北陸先端科学技術大学院大学, 32021.

[2]山澤美由起, 吉村宏樹, 増市博. Amazon レビュー 文の有用性判別実験. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 53 (2006-NL-173), pp. 15-20, 2006.

[3]佐々木優衣, 関洋平. 商品レビューを対象とした 有用性の定義と判別. 第 6 回データ工学と情報 マネジメントに関するフォーラム (DEIM2014) B5-1, 2014.

[4]Miao Fan, Chao Feng, Lin Guo, Mingming Sun, and Ping Li. Product-aware helpfulness prediction of online reviews. In Proceedings of the World Wide Web Conference, pp. 2715-2721, 2019.

[5]J. Rodak, M. Xiao, and L. Longoria. Predicting helpfulness ratings of amazon product reviews. Technical report, Stanford University,, 2012.

[6]Chau Vo, Dung Duang, Duy Nguyen, and Tru Cao. From helpfulness prediction to helpful review retrieval for online product reviews. In Proceedings if the Ninth International Symposium on Information and Communication Technology (SolCT 2018), pp. 38-45, 2018.

[7]木浪貴博, 小林亜樹. 商品レビュー文における主観的表現と有用性に関する検討. 情報処理学会第 77 回全国大会講演論文集, pp. 159-160, 2015.

[8]工藤拓, 松本裕治. チャンキングの段階適用に よる日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[9]小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[10]NTT コミュニケーションズ. COTOHA API. https://api.ce-cotoha.com/contents/index.html. (2020 年 12 月閲覧).

[11]Rakuten Institute of Technology. 楽天デー夕公開. https://rit.rakuten.co.jp/data_release_ja/. (2020 年 12 月閲覧).
 曽田竬人 北陸先端科学技術大学院大学 s1910131@jaist.ac.jp  