# アスペクトベース意見分析における日本語評価コーパスの構築

楽天株式会社楽天技術研究所
\{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com

## 1 はじめに

ウェブ上には，ニュース記事に対するコメントや カスタマーレビューなどの意見テキストが膨大に 蓄積されている。これらの有効利用を目的として，意見分析の研究が盛んに行われている。意見分析と は，意見テキストの集合から知識を発見する処理の 総称であり [1], 重要な基盤技術として意見抽出が ある.これは，「ホテル A は朝食が美味しい」のよ うな文に対し「対象＝ホテル $\mathrm{A} ，$ アスペクト＝朝食, 評価 $($ 極性 $)=$ 美味しい（肯定)」のような要素 を抽出することで，意見情報の基本単位を定型化す る. 意見テキストの集合から意見の基本単位が大量 に抽出されると, ある対象における評価の概観が容易となる，例えば，ホテルＡ９品質改善を試みる場合は，ホテル Aに関する意見から否定的な評価を受 けやすいアスペクトを調べるだろう。

特に近年は，対象のアスペクトとその評価極性ペアを抽出するアスペクトベースの意見分析 (Aspect-Based Sentiment Analysis: ABSA) がより重要 なタスクとなっている $[2,3,4,5,6]$. ABSA 手法の 比較評価を行うためには，アスペクトとその評価極性が付与されたコーパスが必須である。評価型国際 ワークショップである SemEval では, ABSA の共有 タスクが実施されており豊富なベンチマークが用意 されている [7,8].コーパスは単言語と単ドメイン だけでなく，それらを横断する手法 $[9,10,11]$ の発展のために, 英語, スペイン語などの 8 言語と, 宿泊施設レビューなどの 6 ドメインからなる．しかし， SemEval には日本語を対象とした ABSA のコーパス はない。また，NTCIR 多言語意見分析コーパス1) TSUKUBA コーパス2)などウェブ上で入手できる日本語用のコーパスのほとんどは，アスペクトを考慮 しない意見分析に特化している [12, 13, 14, 15].本論文では、日本語を対象とした ABSA のための

1) http://research.nii.ac.jp/ntcir/data/data-ja.html

2) https://www.nii.ac.jp/dsc/idr/rakuten/
コーパス構築とデータ分析について述べる。コーパ スのドメインは宿泊施設のレビューであり，文単位 で 7 種類のアスペクトと極性を付与した結果 12,476 レビュー，76,624 文のコーパスが構築された。また コーパスを利用した基礎的な ABSA 手法による実験 から，事例の特徴を分析することでコーパスの性質 について考察する。

## 2 関連研究

新里ら [2] は，楽天市場の店舗レビューを「配送」「梱包」などのアスペクトカテゴリとその極性カテ ゴリに分類する手法を提案したが，実験で用いられ たコーパスは非公開である。

栗原ら [16] は，ドメインを限定しない Twitterによ る評判分析を目的とした日本語の ABSA データセッ ト3)を構築した。本研究との違いを，SemEval2016 Task 5 のサブタスク 1「文レベルの ABSA」で説明す る. 例えば「大浴場のお湯が熱い.」という意見文に 対して，このタスクは「風呂」というアスペクトカ テゴリ（スロット 1）の検出，「大浴場のお湯」とい うアスペクト対象の抽出 (スロット2)，そして「否定的」という極性の分類（スロット3）の 3 スロッ トからなる．彼らはスロット２を対象とするのに対 し，我々はスロット 1 とスロット 3 が対象である.

論文化されてはいないものの，スロット 1 か らスロット 3 の評価に対応しているコーパスと して，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4)}$ がある。我々のコーパスは，上記 と比較して規模が大きく、誤り分析を通してコーパ スの性質を明らかにした点で異なる。

## 3 コーパスの設計と構築

楽天トラベル5)の施設に対するユーザレビュー中 の各文に対しアスペクト及び評価極性の付与作業を

行う．作業を行うレビュー文は，ユーザが投稿した 複数文にわたるレビューを句点もしくは同等の文末記号で分割した文を単位とする。ここでは基本方針 と個々のアスペクトについて述べる.

## 3.1 アスペクト及び極性付与の基本方針

楽天トラベルでは表 1 で示す 7 種類のアスペクト について, ユーザから 5 段階の評価と自然文の意見 が入力される. 各文に対してこれらのアスペクト含 まれているか, 含まれている場合はそれらの情報が 肯定的（以下，ポジティブ）もしくは否定的（以下, ネガティブ）であるかを判断してタグを付与する.付与するタグの種類は合計 14 種類となる.

作業対象文はユーザレビューの一部分ではある が，必ずしも全ての文に先に挙げた情報が記載され ているとは限らない. 以下の例のように，意見では なくあくまで事実を述べているだけであり, ポジ ティブ・ネガティブのような評価表現が含まれてい ないことから，アスペクト，極性共に付与しない。

・先月の $\mathrm{GW}$ に泊まりました.

・部屋の広さは通常のシングルルーム程度で した.

・夕食は舟盛りと蟹でした。

## 3.2 アスペクトの定義

ここでは，先に示した 7 種類のアスペクトについ てそれぞれ定義を行う. 例文中の $(\mathrm{P})$ はポジティブ, (N) はネガティブを示す.

## 3.2.1 サービス

経済用語においては「売買した後にモノが残ら ず，効用や満足などを提供する，形のない財」を指 す.ここでは接客態度, 様々な事柄への対応，ル一 ムサービス，清掃状況などを対象とする．食事の配膳についてもこの項目で扱うが, これは食事（夕食, 朝食）そのものにも関連することからサービス のみではなく, 「夕食」もしくは「朝食」の項目も同時に付与する.

・セキュリティもきちんとしていて，お部屋もき
れい. (P)

・とんでもなく待たされる. $(\mathrm{N})$

・部屋のかび臭をごまかすためのお香が鼻につく し, あちこちほこりだらけ. $(\mathrm{N})$

## 3.2.2 立地

宿泊施設への交通, 目的とする観光資源, 商業施設へのアクセスなどの利便性, 宿泊施設の周囲の景観など，施設の地理学上の位置が評価に関係する表現を対象とする．部屋や露天風呂からの見える景色 への感想はそれぞれ部屋, 風呂の項目で扱う。

・隣には郵便局もあり買ったお土産もすぐ送れ る. (P)

・富良野市街地, 北の国からの麓郷, ラベンダー ファームへもアクセスしやすいです. (P)

・立地がわかりづらく, 手間取ってしまいまし た. (N)

## 3.2.3 部屋

部屋そのものに関する表現を対象とし，部屋の広 さや快適さ, 内装（電源, シーリングライト, トイ レそのもの, 洗面所そのものなど）を含む．エアコ ンやテレビ，机などはここには含まず，「何もない 最低限の部屋」に存在するもののみを含める．部屋 からの景色についてはこの項目とする．立地との判断に困惑するが，例えば施設でもオーシャンビュー の部屋とそうでない部屋があり, これは施設の立地 そのものではなく部屋の特性に起因すると判断し部屋についての記述と認識する.

・広いお部屋でゆっくりとした時間を過ごす事が 出来ました. (P)

・お部屋は最上階 6 階のツインの海側の広いお部屋で眺めが良かったです。( $\mathrm{P})$

・隣の部屋の声が聞こえてくるのが気になった。 (N)

## 3.2.4 設備・アメニティ

部屋と風呂を除く宿泊施設内の土産等の販売店舗, ロビー, 庭, 遊戯施設, ジム, 駐車場, レスト ランなどの設備, および部屋に設置されている家具調度 (ベッド，机，いすなど），電気製品（ヘアドラ イヤー, テレビ，エアコン， ウォシュレット，電気 スタンドなど), 寝具, へアケアプロダクト，石盙な どの衛生製品, タオル，無料のドリンク, Wi-Fi な

どについて記述を対象とする。

・部屋には空気清浄機もあり, 助かりました。(P)

・ただ唯一, 部屋の金庫が小さいのがマイナスポ イント. (N)

・また, お部屋のお布団に関して, 枕が大人は合 わなく, ちょっと苦戦しました。(N)

## 3.2.5 風呂

外風呂, 内風呂（部屋に設置されている風呂や シャワー）に関する表現, 風呂からの景色, 雾囲気,温泉の泉質, 温度, 広さなどを対象とする. 清潔さ に関しては部屋と同様, 清掃の状態も考慮する必要 があるため, サービスも同様に付与する. ただし， シャンプーなどのアメニティに関するものは除く。

・温泉の質も良く, まためるめのお湯で長時間浸 かることが出来, 疲れを癒すことが出来まし た. (P)

・朝風呂は雪見風呂で大変景色が良かった。 $(\mathrm{P})$
- 風呂は混んでいて入浴出来ませんでした。 $(\mathrm{N})$

## 3.2.6 朝食

味, 器, バラエティーなどに関する表現を対象と する．朝食時の配膳や，待ち時間などに関する表現 の場合は，（朝食十サービス）の両項目にタグを付与する.

・朝食は，種類も多く，満足でした。(P)

・ただ焼き鮭が身が極めて細く他の料理に比べる と唯一貧粗感が否めません. (N)

## 3.2.7 夕食

朝食と同様, 味, バラエティーなどに関する表現 を対象とする. 夕食時の配膳や, 待ち時間などに関 する表現の場合は, (夕食十サービス) の両項目に タグを付与する．夕食である明示的な表現を含まな いが，「懐石料理」や「お酒，ビール」のように夕食 であると判断できる場合は夕食とする.
- 季節に合わせた懐石料理は見た目も美しく美味 しかったです. $(\mathrm{P})$

-夕食も，あわびの踊り食いあり，伊勢えびのお 刺身，あり，豪華メニューを堪能しました。(P)

-夕食に汁物が出なかったが，酒を飲まない人に とっては汁物がないと食べられない。(N)

## 3.3 アノテーション結果

作業者 40 人に対して 24,314 レビューからなる 10 万文のタグ付付与を依頼した。また作業者間の一致率を測定するために，意図的に作業者間でレビュー に重複を持たせた。複数のラベルがタグ付されてい る文については, 作業者間で全てのラベルが一致し ているかどうかを判定した. 100 レビュー以上の重複があった作業者ぺアに対して $\kappa$ 値 [17] の平均を測定したところ,$\kappa=0.58$ となり, moderate agreement を達成した。表 2 にコーパスの基礎情報を示す.

## 4 評価実験

評価コーパスの性質を調べるために，実験により 成功事例と失敗事例の特徴を分析した。タスクは 3.1 節で説明した 14 クラスのうち，レビュー文を一 つ以上のクラスに分類するマルチラベル分類として 定式化した。手法には BERT[18] を用いた。具体的 には，公開されている事前学習済み BERT モデル6) の最終層における [CLS]トークンに対応する 768 次元の出力を 14 次元の出力層に線形結合させる. 出力層の各ノードでは, シグモイド関数によってアス ペクト・極性対カテゴリに属する確率が得られる。確率が 0.5 以上であれば，対応するノードのカテ ゴリを出力する．ファインチューニングと評価は，表 2 の総文数を学習:開発:テスト $=8: 1: 1$ の割合で分割することで行なった。

表 3 にカテゴリごとの分類性能を, 図 1 に BERT の出力例をそれぞれ示す. 図 1(a) は手法が適切に分類した事例であり，「夕食」「朝食」「二」という語に 注意が強く向けられていることから，本コーパスで 学習された BERT モデルは, 人間が判断に用いる語 を捉えるように学習されたと考えられる。このよう にアスペクトと評価表現が明示的に出現する文につ いては, 比較的容易に分類できることを確認した。

6) https://github.com/cl-tohoku/bert-japanese
図 1 BERT の出力例（BERT の最終層で [CLS] トークンのベクトルがどの単語に注意しているかを可視化した）

次に誤り事例 2,557 件に対し正解とシステム出力 のパターンを集計し，誤りの事例数の多い 3 パター ン（図1(b)）を分析した。文(1) は「ホテル全体 (P)」 が正解であるのに対して，システムは「評価なし」 と出力したパターンである. 分類器は, 正解例のよ うにアスペクトに関連した語を捉えるようモデル学習を行うのに対して，レビュー文では総評を述べて おり個々のアスペクトは記載されていないことか ら，適切にモデル化できていないことが原因と考え られる。こうした事例を捉えるには分類器の設計に 課題があり，例えば「総合評価」という新たなラべ ルを用意して分類を行う必要があると考えられる.

文 (2) は，「不便」であるアスペクトが明示的でな かったため「連れ」や「ます」などアスペクトとは 関連のない語に注意が向けられた結果，「施設・ア メニティ $(\mathrm{P})\rfloor$ が正解であるのに対して，システムは 「評価なし」を出力したと考えられる。このパター ンの失敗事例は 76 件あり，うち 26 件は文 (2)のよ うなゼロ照応で属性が欠落しているか, 照応詞を用 いて属性が省略されていた。本コーパスを用いた実験によって，照応解析手法や文脈を有効利用した属性情報の補完が重要であることが示唆された。

文 (3) は「朝食 (P)」が正解であるのに対して，シ ステムは「朝食 $(\mathrm{P})+$ 夕食 $(\mathrm{P})$ 」と複数ラベルに分類 した例である.システムでは「カレー」というアス ペクトに関連する語に注意が強く向けられたもの の「カレー」は朝食にも夕食にも提供されるため, システムは両方のラベルを出力したと考えられる.実際には同レビュー中，文 (3) の 2 文前には「ここ では特に朝食バイキングが種類も多く味も良いで す.」という文があるため，注目文に関する文脈を 適切に選択する方法と, 選択された文脈の効果的な
エンコーディング方法の考案が課題となる. このよ うな類似カテゴリを持つアスペクトの分類について は誤りが多い傾向にあった。実世界での応用におい ては，カテゴリ同士の類似性は不均一であることが 多いことから, 本コーパスは「朝食」と「立地」の ように関連性のない分類が容易なカテゴリ対と「朝食」と「夕食」のような分類が難しいカテゴリ対を 兼ね備えた有用な評価コーパスであると考える.

表 3 実験結果 ( $\mathrm{P}$ : 精度, $\mathrm{R}$ : 再現率, $\mathrm{F}: \mathrm{F}$ 値)

カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F} \quad$ カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F}$

$\begin{array}{lllllllllllll}\text { 朝食 }(\mathrm{P}) & 0.79 & 0.80 & 0.80 & \text { 立地 }(\mathrm{P}) & 0.77 & 0.58 & 0.66\end{array}$

$\begin{array}{llllllll}\text { 朝食 }(\mathrm{N}) & 0.58 & 0.70 & 0.62 & \text { 立地 }(\mathrm{N}) & 0.63 & 0.56 & 0.59\end{array}$

$\begin{array}{llllllllllllllll}\text { 夕食 }(\mathrm{P}) & 0.74 & 0.75 & 0.75 & \text { 設・ア }(\mathrm{P}) & 0.73 & 0.66 & 0.69\end{array}$

$\begin{array}{lllllll}\text { 夕食 }(\mathrm{N}) & 0.57 \quad 0.66 & 0.61 & \text { 設・ア }(\mathrm{N}) & 0.72 & 0.57 & 0.64\end{array}$

風呂 $(\mathrm{P}) \quad 0.80 \quad 0.70 \quad 0.75$ 部屋 $(\mathrm{P}) \quad 0.74 \quad 0.71 \quad 0.72$

風呂 $(\mathrm{N}) \quad 0.75 \quad 0.66 \quad 0.70$ 部屋 $(\mathrm{N}) \quad 0.65 \quad 0.47 \quad 0.55$

サービス (P) $0.84 \quad 0.75 \quad 0.79$

サービス $(\mathrm{N}) \quad 0.72 \quad 0.590 .65$

マクロ平均 $\quad 0.720 .650 .68$

マイクロ平均 0.750 .690 .72

## 5 おわりに

本論文では，宿泊施設レビューに記述されるアス ペクトと評価極性に着目して日本語 ABSA コーパス 構築について説明した。また評価実験を通して分類実験を行い，その結果から困難なパターンについて 考察した。今後の課題を検討した.コーパス中のレ ビュー数を増加させること，「価格」などコーパス ではカバーし切れていない属性のカテゴリを増や すことが今後の課題である。構築したコーパスは，国立情報学研究所の情報学研究データレポジトリ7) （IDR）にて公開予定である.


## 参考文献

[1] Yuki Nakayama and Atsushi Fujii. Extracting conditionopinion relations toward fine-grained opinion mining. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 622-631, 2015.

[2] 新里圭司, 小山田由紀. 店舗レビューには何が書かれ ているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[3] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[4] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504-515, 2019.

[5] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020.

[6] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6989-6999, 2020

[7] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016.

[9] Jeremy Barnes, Patrik Lambert, and Toni Badia. Exploring distributional representations and machine translation for aspect-based cross-lingual sentiment classification. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 1613-1623, 2016.

[10] Md Shad Akhtar, Palaash Sawant, Sukanta Sen, Asif Ekbal, and Pushpak Bhattacharyya. Solving data sparsity for aspect based sentiment analysis using cross-linguality and multi-linguality. In Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies (NAACL), pp. 572-582, 2018.

[11] Chenggong Gong, Jianfei Yu, and Rui Xia. Unified feature and instance based domain adaptation for aspect-based sentiment analysis. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7045, 2020.

[12] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010.

[13] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013.

[14]藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に 向けた検討」. 言語処理学会第 21 回年次大会ワーク ショップ：自然言語処理におけるエラー分析, 2015.

[15] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一 エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[16] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[17] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

## 付録. A 円滑なアノテーション作業 のために

本文で述べたような 7 種類のタグの付与を行う際 に，実際の作業では判断に迷うことがある.ここで は，円滑な作業が行えるよう作業者に予め共有した いくつかのケースとその対応について述べる.

## A. 1 明示的な評価表現を含まない場合

作業対象文は, 事実を含まないが明らかな評価極性を含まない意見が記載されていることがある．特 に, 明らかなポジティブではないが以下のようなポ ジティブとする例もある．基本的な判断基準は，満足しているのか不満を示しているのかを捉えること である.

・和洋室のお部屋は所々リフォームされていて苦 になりません。(部屋 $\mathrm{P}$ )

・部屋のボタンなど環境が古いですが，問題あり ませんでした。(部屋 $\mathrm{P}$ )

・朝食のみのプランでしたが朝食は可もなく不可 もなく特に不満ありませんが取り立てて印象に 残るものもありませんでした。(朝食 $\mathrm{P})$

・お部屋は確かに普通ですが, 料理や雪遊びをす る際の環境，何よりオーナーご夫婦の人柄があ たたかく，部屋のことを補って余りある素敵な 宿だと思います。(サービス $\mathrm{P}+$ 設備 $\mathrm{P}+$ 夕食 $\mathrm{P}+$ 朝食 $\mathrm{P})$

・確かに部屋はオーシャンビューだけど，ただ見 えるだけで他に何もない。(部屋 $\mathrm{N})$

・部屋は広くはなかったが，值段からすれば仕方 がないと思う。(部屋 $\mathrm{N}$, 解釈 : 部屋が広くな い=不満)

## A. 2 評価極性を持つ表現がー文に混在す る場合

一文内にポジティブもしくはネガティブの表現の どちらかのみが複数存在する場合はそのままの極性 を付与する. しかしながら，これら両方についての 評価表現が一文内に存在する場合，ポジティブとネ ガティブの両方を付与することとする.

・部屋はまあまあ良かったが便器が小さすぎなの が残念. (部屋 $\mathrm{P}+$ 部屋 $\mathrm{N}$ )

$\cdot$ 中身は素晴らしいので, 外観が勿体無い, とい う感じでした。(設備・アメニティ $\mathrm{P}+$ 設備・ア メニティ $\mathrm{N}$ )

・蜘蛛の巣もあったし料理は最高に良かったんで
すけど。(サービス $\mathrm{N}+$ 夕食 $\mathrm{P}$ )

・少し残念な点朝食のオペレーションが非常に悪 かった。(サービス $\mathrm{N}+$ 朝食 $\mathrm{N}$ )

・部屋のカビ臭をごまかすためのお香が鼻につく し，あちこちほこりだらけ。(サービス $\mathrm{N}+$ 部屋 $\mathrm{N}$ )

## A. 3 大まかな評価, 全ての項目をカバーす る場合

一文に 7 項目全てをカバーするような表現が存在することがある. この場合は, 全ての項目にポジ ティブまたはネガティブを付与する.

・ホテル，食事，サービス全てにおいて大，大，大満足で，おかげで忘れることのできない新婚旅行になりました。(7 項目全て P, 解釈 : 「ホテ ル（立地，部屋，設備・アメニティ，風呂), 食事 (朝食, 夕食), サービス (サービス) 全てに おいて」との記載があるので，全ての項目に夕 グを付与)

・評価通り, 素晴らしい旅館でした。(7 項目全て P)

・総合的に最悪のお宿です. (7 項目全て $\mathrm{N}$ )

・全体的には良い内容のホテルでした。(7 項目全 ح P)

## A. 4 「より」「さらに」や比較，提案を伴 う場合

「こうすればさらに良い」や「こうしてほしい」と いった記述がある．先の例でもあったようにユーザ が基本的に満足しているかどうかに着目し, ポジ ティブ，ネガティブのどちらかを付与する.

・このお風呂が温泉であればいう事はありませ 几. (風呂 $\mathrm{P}$ )

・飲み物の注文は 14 時からということで，友人 が残念がっていました。(サービス N)

・シャワーは温度調節機能付なら, 100 点とおも います。(風呂 $\mathrm{P}$ )

・ただデラックスシングルはドコモですがティー テーブルと椅子を設置してますのでご検討のほ ど。(施設 $\mathrm{N}$ )

・私は大山牧場のコーヒー牛乳でもあれば嬉し かったですね。(サービス $\mathrm{N}$ )

・食事は会場が静か過ぎるので，テレビか BGM があるといいですね (アメニティ $\mathrm{N}+$ 夕食 $\mathrm{N}+$朝食 $\mathrm{N}$ )
 楽天株式会社楽天技術研究所 \{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com  