# 日本語レビューに対するレーティング予測の精度比較

森廣 勇樹 1 南條 浩輝 2 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m005@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文から評価点（レーティン グ）がどの程度正確に予測できるかを調査した。 BERT と RoBERTa に対し合計 360 通りのハイパー パラメータの組み合わせでグリッドサーチを行っ た. 得られたハイパーパラメータで予測を行うと， BERT より RoBERTa の方が精度がよいことがわかっ た. 英語レビューへのレーティング予測の関連研究 の結果に比べ，精度があまり高くはないがレーティ ング予測の傾向自体の学習はできていると考える.

## 1 はじめに

本稿では，日本語の商品レビュー文に対し星数の ような評価点（レーティング）がどの程度正確に予測できるかの調査について述べる.

商品レビューは消費者の正直な感想であるため 広告より信頼性が高いが，ヤラセ・サクラなど，レ ビューの悪用や利用者増加に伴う役に立たないレ ビューの増加で，真に有用なレビューが埋もれてい る. 推薦・推薦文においてこのようなレビュー等が 主に使われており，それらの結果に疑問が残るので はないかと考える. それに比べ, Twitter のツイート などの生の声は，レビュー文よりも実際の気持ちを 表していると予想される.

本研究では Twitter のツイートデータを用いた推薦文（及びその根拠文）の生成することを目標とし ている. 第一歩として, Twitter のツイートなどレ ビューそのものを目的としていない生のユーザの声 （テキスト）が，商品に対してどの程度のお勧め度 を表しているか (レーティング)を予測する必要が ある.しかしながら，ツイートデータには正解が付 いていないため学習に用いるのが困難である. 多言語 amazon レビューコーパスに正解データが付いて
おり，最終的にツイートデータに対するレーティン グ予測を行うとしても，その予測に用いる機械学習 の学習データとしては使えると考える。 そこで本研究ではまず，多言語 amazonレビューコーパスを用 い，日本語でのレビューのレーティング予測を調査 した.

## 2 関連研究

Liu [1] は英語レビューのレーティング予測を機械学習と深層学習を用いて行っている.コーパ スはレビュー文と星数のラベルのペアとなって おり，レビュー文に対してのレーティング（整数値）を予測するタスクとなっている. この研究で は, Naive Bayes, Logistic Regression, Random Forest, Linear Support Vector Machine の 4 つの機械学習モデ ルと BERT, DistilBERT, RoBERTa, XLNet 94 つの transformer ベースの深層学習モデルを使用し，モデ ル間での精度の比較やモデルの学習時間の比較も 行っている。一方, 日本語レビューのレーティング 予測についての研究は見当たらない.

## 3 手法

Liu の研究では， 4 つの機械学習モデルと 4 つの transformer ベースの深層学習モデルを使用してい る. その実験結果から機械学習モデルの予測精度が 低いことがわかったため, 本研究では 4 つの深層学習モデルのうち，まずBERT [2] と RoBERTa [3]を用 いることにした.

BERT のモデルとして, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル (cltohoku/bert-base-japanese-v2) [4] を使用した. BERT による分類モデルの入出力例を図 1 に示す.

図 1 のように文 (文章) を入力し, 出力 $\mathrm{C}$ トーク ンから全結合層の分類器 1 層（classifier）を通して 5 クラス分類を行う.
表 1 データセットの星評価の内訳

## Prediction

図 1 BERTによる分類モデルの入出力例

RoBERTa のモデルは, xlm-roberta-base を Language Identification データセットに基づいて fine-tuning した RoBERTa モデル (papluca/xlm-roberta-base-languagedetection）[5]を使用した.

## 4 実験

## 4.1 データセット

多言語 amazon レビューコーパス [6] と呼ばれる データセットを用いて実験を行った. データセッ 卜には，英語，日本語，ドイツ語，フランス語，中国語，スペイン語の合計 6 言語のレビューが含ま れておりその中で日本語のみのレビューを使用し た. データセットの各レコードには，レビューテ キスト, レビュータイトル, 星評価, 匿名のレビュ アーが含まれている. 各言語ごとに合計 210,000 の レコードがあり，185,000を学習データ，20,000を 検証データ，5,000をテストデータとした。すべて のレビューは 2,000 文字を超えると切り捨てられ，表 2 モデルのハイパーパラメータ

すべてのレビューは少なくとも 20 文字の長さであ る. 本研究で使用するデータセットの星評価の内訳 を表 1 に示す.

表 1 よりコーパスは星評価（星 1～星 5）でバラン スが取れているため, 各星評価は各言語のレビュー の $20 \%$ で構成されている.

## 4.2 ハイパーパラメータの決定

各モデルに対して適切なハイパーパラメータを決定するためにグリッドサーチを行った. ハイパーパ ラメータとして最適化アルゴリズム, 学習率, バッ チサイズ，エポック数の 4 つのパラメータを可変と しグリッドサーチを行った. 最適化アルゴリズム は, AdamW, SGD, RMSProp の 3 種類, 学習率は各 モデル，各最適化アルゴリズムによって変わるが 3 種類ずつ行い, バッチサイズは $32,16,8,4$ の 4 種類, エポック数は 1 から 10 の 10 種類, 合計 360 通りの ハイパーパラメータの組み合わせでグリッドサーチ を行った．検証データはハイパーパラメータを決定 するために使用し, 決定後は学習データと合わせて 実験の学習に使用する.この組み合わせの中で最も 検証データでの正答率が高いパラメータを最適なも のとしハイパーパラメータを決定した. 得られた八 イパーパラメータと RoBERTa でのグリッドサーチ の結果の一部を表 2 , 表 3 に示す.

表 2 の条件の通り BERT の最適化アルゴリズム は RMSProp, 学習率は 1e-05, バッチサイズは 8, エポック数は 2 としたとき検証データでの精度
表 3 RoBERTa のグリッドサーチの結果（一部）

(Accuracy) が 0.5531 と 360 通りのパラメータの中 で一番高い結果であったためこのハイパーパラ メータで決定し, RoBERTa の最適化アルゴリズム は RMSProp，学習率は 5e-06，バッチサイズは 16 , エポック数は 3 としたとき検証データでの精度 (Accuracy) が 0.5852 と一番高い結果であったため このハイパーパラメータで決定した.

表 3 は RoBERTa の最適化アルゴリズムが RMSProp，バッチサイズが 16 のときのグリッドサーチ の結果である. グリッドサーチを行って気づいたこ ととして，よりよいパラメータは学習率の值が小さ いときエポック数が大きくなり，学習率の值が大き いときエポック数が小さくなる傾向にあった.

## 4.3 実験結果

4.2 節で可変にしたパラメータ以外を固定にして 精度比較を行った. データセットは多言語 amazon レビューコーパスを使用し，205,000を学習データ， 5,000をテストデータとし精度の算出を行った. そ の条件をもとに学習を行った際のテストデータでの 精度を表 4 に示す.

表 4 の各モデルの精度を比較すると BERT では Accuracy が $0.5624, \mathrm{~F}$ score が 0.5612 に対し RoBERTa では Accuracy が 0.5956 , F score が 0.5893 となり RoBERTa の方がより精度がよいことがわかる. 各 モデルの Confusion Matrix（混同行列）を表 5 と表 6 に示す.

表 4 の精度は Liu の英語に関する先行研究の 0.6-0.7 より低かったが，レーティング予測は人手評価からそれほどかけ離れていないことが表 5 と表 6 の Confusion Matrix からわかる。すなわち，レー表 4 各モデルの Accuracy と F score

表 5 BERT の Confusion Matrix レーティング予測クラス

表 6 RoBERTa の Confusion Matrix レーティング予測クラス

ティング予測の傾向自体の学習はある程度できてい ると考える。

## 5 おわりに

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文に対しレーティングがど の程度正確に予測できるかを調査した. BERT と RoBERTa に対し合計 360 通りのハイパーパラメー タの組み合わせでグリッドサーチを行った.グリッ ドサーチを行った結果，BERT のハイパーパラメー 夕は，最適化アルゴリズムが RMSProp，学習率が 1e-05, バッチサイズが 8, エポック数が 2 で決定 し， RoBERTaのハイパーパラメータは，最適化アル ゴリズムが RMSProp，学習率が 5e-06，バッチサイ ズが 16 , エポック数が 3 で決定した. これらの八イ パーパラメータでレーティング予測を行った結果， BERT では Accuracy が 0.5624 , F score が 0.5612 に 対し, RoBERTa では Accuracy が 0.5956, F score が 0.5893 となり，RoBERTa の方がより精度がよいこと がわかった. 精度は Liu の英語レビューに関する先行研究の 0.6-0.7 より低かったが，レーティング予測が人手評価からそれほどかけ離れていないことか

ら，レーティング予測の傾向自体の学習はある程度

できていると考える.

次のステップとして, amazon の日本語レビュー コーパスで学習した BERT と RoBERTaを用い，ツ イートデータのレーティング予測を行う予定で ある.

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたも のです.

## 参考文献

[1] Zefang Liu. Yelp review rating prediction: Machine learning and deep learning models. arXiv, 2020. https: //arxiv.org/abs/2012.06690.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018. http: //arxiv.org/abs/1810.04805.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, 2019. http: //arxiv.org/abs/1907.11692.

[4] 東北大学乾・鈴木研究室 bert モデル. cltohoku/bert-base-japanese-v2. https://huggingface. $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.

[5] RoBERTa モデル. papluca/xlm-roberta-base-languagedetection. https://huggingface.co/papluca/ xlm-roberta-base-language-detection.

[6] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.
 森廣 勇樹 1 南條 浩輝 2 馬 青 1 1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部 ${ }^{1}$ t22m005@mail.ryukoku.ac.jp ${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp ${ }^{1}$ qma@math.ryukoku.ac.jp  