# 属性に対する極性判定を対象とした領域適応

LU Binghan 白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110196,kshirai\}@jaist.ac.jp

## 概要

属性に対する極性判定は教師あり機械学習に基づ く手法が主流だが，属性によって有効な素性は異な ると考えられる。本論文では，属性をドメインとみ なし，ある属性に関する(ソースドメインの) ラベル 付きデータから別の属性の (ターゲットドメインの)極性判定のモデルを学習する領域適応の手法を提案する. ターゲットドメインのラベル付きデータを 自動構築するために，ソースドメインのデータから 学習した BERTを用いて自動ラベル付けを行う手法 と, ソースドメインの文に出現する感情語や特徴語 をターゲットドメインのそれに置換する手法を組み 合わせて用いる。

## 1 はじめに

属性に対する感情分析 (極性判定) は，製品などの 評価対象の属性に対して表明された意見が肯定的か 否定的かを判定するタスクである。教師あり機械学習の手法が用いられることが多いが，訓練データと テストデータでドメインが異なると極性判定の性能 が低下する問題が知られている。ドメインとは一般 にテキストのジャンルや媒体を指すが，属性に対す る極性判定では異なる属性に対して同様の問題が 起こりうる．例えば，レストランの属性として「料理」と「価格」があり「「料理」に対するラベル付き データしか存在しないとき, これから学習した分類器を「価格」に対する極性判定に適用しても高い正解率が得られない.

領域適応は，十分なラベル付きデータが存在する ソースドメイン (訓練データのドメイン) から得られ た知識を，ラベル付きデータが全くあるいは少量し か存在しないターゲットドメイン (テストデータの ドメイン)の分類器の学習に転移する技術である。本研究では, ドメインを属性とみなし, ある属性の ラベル付きデータを利用して別の属性の極性を判定
することを目的とする．そのため，ソースドメイン のラベル付きデータから夕ーゲットドメインのラベ ル付きデー夕を自動的に生成する手法を提案する.

## 2 関連研究

感情分析を対象とした領域適応の手法は多くの先行研究がある. Rietzler らは，ソースドメインのラ ベル付きデータでBERT[1]を fine-tuning する前に, ターゲットドメインのラベルなしテキストを用い て BERT の事前学習を再度行うことで領域適応を行 う手法を提案した [2]. 白らは, BERTの最上位層の 埋め込み表現ではなく，一つ下の層の埋め込み表現 をドメインに特化されていない単語の特徴べクト ルとみなし, この平均ベクトルを入力とする 3 層の ニューラルネットワークを学習することで領域適応を行う手法を提案した [3]. Yu らは, Cross-Domain Review Generation(CDRG) という手法を提案した [4]. ソースドメインにおけるラベル付きレビューの属性語・感情語をターゲットドメインのそれに変換 することで，夕ーゲットドメインのラベル付きレ ビュー文を自動生成し，これを BERT の fine-tuning に用いた。

上記の先行研究ではレビューのジャンルをドメイ ンとした領域適応の手法が提案されていたが，本研究では属性をドメインとした領域適応を扱う。

## 3 提案手法

## 3.1 概要

提案手法の概要を図 1 に示す.ラベル付きデー夕 が存在する属性をソースドメイン, 存在しない属性 をターゲットドメインとする。図中の (S),(T) はそ れぞれソースドメイン，夕ーゲットドメインのデー 夕を表す。

ターゲットドメインのラベル付きデータを $2 \supset$ の手法で自動生成する。ひとつは自動ラベル付け

図 1 提案手法の概要

による手法 (図 1 (A))である。詳細は 3.2 項で述べ る。もうひとつは, $\mathrm{CDRG}[4]$ を拡張し，ソースド メインのレビュー文から新たにターゲットドメイ ンのラベル付きデー夕を自動生成する手法 (図 1 (B)) である. 本研究ではこれを Cross-Aspect Review Generation (CARG) と呼び，その詳細を 3.3 項で述べ る. 最後にターゲットドメインの極性判定モデルを 学習する。詳細は 3.4 項で述べる.

## 3.2 自動ラベル付けによる訓練データ構築

ソースドメインの訓練データから事前学習済み の BERT を fine-tuning し, 極性判定の分類器 (図 1 の $\operatorname{BERT}(\mathrm{S})$ )を得る。次に，これを用いてターゲットド メインの文の極性を判定し，ラベルを付与する。こ の際, 極性の予測確率が $T_{p}$ 以下のレビュー文は除外する。

## 3.3 Cross-Aspect Review Generation

## 3.3.1 感情語と特徵語の抽出

ソースドメインとターゲットドメインのそれぞれ について，そのドメイン (属性) のレビューで使われ る感情語を抽出する。感情語とは “excellent”, “bad” など書き手の感情や評価を表す単語である. 感情語 の抽出には SentiWordNet[5] を用いる. SentiWordNet は，単語のそれぞれの語義について，肯定のスコア と否定のスコア (ともに 0 1 の値) が付与されてい る. また, 語義は出現頻度の順にランク付けされて いる。単語 $w$ の感情語スコア $S S(w)$ を式 (1) のよう に定義する。

$
S S(w)=\sum_{i=1}^{n} \frac{1}{n} \cdot|\operatorname{pos}(w, i)-n e g(w, i)|
$

$i$ は語義の出現頻度のランク, $\operatorname{pos}(w, i)$ と $n e g(w, i)$ はそれぞれ単語 $w$ の $i$ 番目の語義の肯定と否定のス
コア, $n$ は単語 $w$ の語義の総数を表す. $S S(w)$ が閾値 $T_{s}$ 以上の単語をドメイン固有の感情語として抽出する.

次に，特定のドメインだけによく使われる単語 を「特徵語」と定義し，これを抽出する，例えばド メイン (属性)が food のときには “dinner” や“dessert” などが， serviceのときは “staff” ゃ “waiter”などがそ のドメインの特徴語となる。いま，いくつかの属性 について，その属性について言及されたレビュー集合があると仮定する，各属性のレビュー集合を仮想的にひとつの文書とみなし, 属性 $a$ における単語 $w$ の TF-IDF を計算する．あるドメイン $a$ のレビュー 集合のみに出現し, かつ TF-IDF の上位 $T_{d}$ 件の単語 をドメインの特徴語として抽出する。

## 3.3.2 レビュー文の生成

ソースドメインのラベル付きデータにおける感情語もしくは特徵語をターゲットドメインの感情語 もしくは特徵語に置き換えることにより，ターゲッ トドメインのラベル付き文を新たに生成する．単語の置き換えには BERT の Masked Language Model (MLM) を利用する。あらかじめ, 事前学習済みの BERT の MLM を初期のパラメ夕とし，大量のラべ ルなしレビュー文の集合を用いて MLM を再学習 する。

レビュー文生成の手続きを以下に示す.

1. ラベル付きのソースドメインの文について，そ の中にソースドメインの感情語と特徴語が出現 していれば，それを [MASK]に置換する。

2. [MASK] に対して左から順に以下の処理を実行 する。

(a) MLM によって [MASK] によって埋めるべ き単語を予測する。元の単語が感情語な らターゲットドメインの感情語, 特徴語 ならターゲットドメインの特徴語のうち， MLM による予測確率が大きい $T_{k}$ 個の単語 を得る。 [MASK] をその単語に置換し， $T_{k}$個の新しい文を得る。

(b) 文の数が組み合わせ的に増大することを避 けるため，2 個目以降の [MASK] を置換す るときは， $T_{k} \times T_{k}$ 個の文のうちスコア ${ }^{1)}$ が 高い $T_{k}$ 個の文を選択し，次の [MASK] の 処理に移る。この処理は最後の [MASK] の

1）文のスコアは，複数箇所の [MASK] を置換した単語の MLM による予測確率の和とする。

ときには行わず, 最終的に最大で $T_{k} \times T_{k}$ 個 の文を得る。

上記の文生成手法は CDRG[4] を元にしているが， CDRG では属性語を置換するのに対し, 本研究では 特徴語を置換する点, CDRG では 1 つの文からター ゲットドメインの文を 1 つ生成するのに対し本研究 では最大で $T_{k} \times T_{k}$ 個の文を生成する点が異なる.

## 3.3.3 生成文のフィルタリング

生成された文の自然さを擬似対数尤度スコ ア PLL(pseudo-log-likelihood score)[6] によって測る. PLL は, 文中の各単語 $w_{t}$ を BERT の MLM で予測 した確率の対数尤度の和である。

$
\log P_{M L M}(W)=\sum_{t=1}^{|W|} \log P_{M L M}\left(w_{t} \mid W_{\backslash t}\right)
$

自動生成されたレビュー文のうち, $\log P_{M L M}(W)$ が 閾値 $T_{f}$ より小さい文を削除する.

## 3.4 極性判定モデルの学習

3.2 項と 3.3 項で生成したラベル付きレビューを用 いて BERT を fine-tuning し， ターゲットドメインの 極性判定モデル (図 1 の BERT(T))を得る.

後述する実験で用いるデータセットには，極性ラ ベルの分布に偏りが見られる。この問題に対処する ため, 本研究では Focal Loss[7] を損失関数として使用する。二値分類のときの Focal Loss の定義を式 (3) に示す.

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \cdot \log \left(p_{t}\right)
$

ここで $\gamma$ はハイパーパラメタである. データセット の中で小さな割合しか占めないデータのクラスは, その予測確率 $p_{t}$ は小さくなる傾向がある。通常の cross entropy の式に $\left(1-p_{t}\right)^{\gamma}$ を加えることにより，少数の極性クラスについては損失が大きく見積もら れ，その分類エラーが大きく評価される。

## 4 評価実験

## 4.1 実験設定

評価実験には 2 つのデータセットを使用する。 ひとつは SemEval-2014 Task 4 Aspect Based Sentiment Analysis のレストランのデータセット [8] である. レストランに関するレビュー文に対し, 属性の カテゴリとそれに対する極性クラスが付与され ている。属性は “service", "food”, "price”, “ambience”, “anecdotes” の 5 つであり, 本実験ではこれをド メインとする。極性クラスは “positive”, “negative”, "conflict", "neutral" の4つである. データセットの詳細を表 1 に示す. positiveのレビューが多く, conflict や neutral (ただし “anecdotes”を除く) は少ない.

表 1 レストラン・データセットの詳細

もう一つは Laptop ACOS(Aspect-Category-OpinionSentiment) のデータセット [9] である. Amazon に投稿されたラップトップパソコンに関するレビューに 対し, 評価対象の属性と極性が付与されている。極性カテゴリは “postive”, "negative”, "neutral” の 3 つで ある. 本実験では，付与されている属性を “general”, “design”, "performance", “quality” の 4 つに人手で分類 し，これを属性のドメインとみなした。データセッ トの詳細を表 2 に示す。このデータも neutral のレ ビューが極端に少ないという極性クラスの偏りが見 られる。

表 2 ラップトップ・データセットの詳細

全ての属性の組について，一方をソースドメイ ン，もう一方をターゲットドメインとして，後者の データセットに対する極性判定の正解率を測る．以下の 5 つの手法を比較する。

ベースライン 1 (BL1) ソースドメインのラベル付 きデータを用いて BERTを fine-tuning する手法. 領域適用をしない手法である.

ベースライン 1 (BL2) 3.2 項で述べた手法で得られ たターゲットドメインの擬似ラベルを用いて BERT を fine-tuning する手法.

CARG1 BL2 の擬似ラベル文と CARGによって生成されたレビュー文を訓練データとして BERT を fine-tuningする手法.

CARG2 CARG1 に加え, 3.3.3で述べた生成文の フィリタリングを行う手法。

CARG3 CARG2に加え， 3.4 で述べた Focal Loss を 使って BERT を fine-tuning する手法.
表 3 レストラン・データセットにおける極性判定の正解率

} & \multicolumn{3}{|c|}{$S$} & \multicolumn{4}{|c|}{ F } & \multicolumn{4}{|c|}{1} & \multicolumn{4}{|c|}{$\mathrm{Am}$} & \multicolumn{4}{|c|}{ An } & \multirow[t]{2}{*}{ 平均 } \\

S: service, F: food, P: price, Am: ambience, An: anecdotes.

*,+は，それぞれ BL1, BL2 と比べて，マクネマー検定によって $p<0.05$ で有意差があることを表す.

表 4 ラップトップ・データセットにおける極性判定の正解率

} & \multicolumn{3}{|c|}{ G } & \multicolumn{3}{|c|}{ Q } & \multicolumn{3}{|c|}{$\mathrm{P}$} & \multicolumn{3}{|c|}{$\mathrm{D}$} & \multirow[t]{2}{*}{ 平均 } \\

G: general, Q: quality, P: performance, D: design *,+は表 3 と同じ.

レストラン・データセットについては，CARGを 用いる際, BERT の MLM を再学習するために 3 万件の Yelp のレストランレビュー[10]を使用した。 ラップトップ・データセットについては事前学習済 みの BERT の MLMをそのまま用いた。実験パラメ 夕の詳細を付録 A に示す。

## 4.2 実験結果と考察

レストラン・データセットの実験結果を表 3 に 示す.太字はそれぞれのドメインの組において正解率が最も高いことを表す。ベースライン手法 (BL1,BL2) と提案手法 (CARG1 3) を比較すると, 20 のドメインの組のうち 17 組について, 提案手法の 方が優れている。このことから，夕ーゲットドメイ ンのラベル付きデータを自動生成する CARG の有効性が確認できる. CARG1 と CARG2 を比較すると，全 20 組のうち 12 組について CARG2 の正解率が高 いことから, 自動生成された文のうち生成確率の低 い文をフィルタリングする手法はある程度有効であ ると言える. CARG2 と CARG3を比較すると, 全 20 組のうち 15 組については $\mathrm{CARG} 3$ の正解率が同じも しくは高い. 今回の実験では Focal Loss の導入が効果的であった。

ラップトップ・データセットの実験結果を表 4 に 示す.レストラン・データセットの結果と同様に, ベースラインよりも提案手法の方が優れている。た
だし，統計的に有意差があるドメインの組はレスト ラン・データセットに比べて少ない. レストランの 実験では Yelp のレビューを用いて MLM を再学習し たのに対し，ラップトップでは事前学習した MLM をそのまま用いたことが原因のひとつとして考え られる。また, CARG1 よりも CARG2 の方が正解率 が高い傾向にあることが確認できるが，CARG3 は CARG2 と比べて同等もしくはやや劣る. 2 つ異な るデータセットでおおよそ同様の結果が得られたこ とから, 提案手法がどのようなジャンルのレビュー にも適用できるという意味での汎用性を有すること が示唆される。

CARG による文生成の例を付録 B に示す。

## 5 おわりに

本論文は，属性に対する極性判定において，異な る属性のラベル付きデータを利用して極性判定の 分類器を学習する領域適応の手法を提案した。評価実験では, 全体的には提案手法はべースラインを上回ったが，属性の組によっては極性判定の正解率が 向上しなかった.今後の課題として, この原因を精査し, 任意のドメインの組において自動生成する文 の品質を向上させる手法を探究したい. 例えば, 属性に関連する語として特徴語を抽出しているが，属性の特徴を明示的に示す単語だけでなく暗黙的に示 す語も抽出することを検討する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), pp. 4933-4941, 2020.

[3] 白静, 田中裕隆, 曹類, 馬ブン, 新納浩幸. Bert の下位階層の単語埋め込み表現列を用いた感情分析 の教師なし領域適応. 情報処理学会研究報告, Vol. 2019-NL-240, No. 17, pp. 1-6, 2019.

[4] Jianfei Yu, Chenggong Gong, and Rui Xia. Cross-domain review generation for aspect-based sentiment analysis. In Findings of the Association for Computational Linguistics, pp. 4767-4777, 2021.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. SentiWordNet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), pp. 2200-2204, 2010.

[6] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[7] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. arXiv:1708.02002, 2017.

[8] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. Association for Computational Linguistics, Vol. Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 27-35, 2014.

[9] Hongjie Cai, Rui Xia, and Jianfei Yu. Aspect-categoryopinion-sentiment quadruple extraction with implicit aspects and opinions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 340-350, 2021.

[10] Yelp dataset, (2022 年 12 月閲覧). https://www.yelp. com/dataset.

## A 実験時のパラメタ

実験時に設定したパラメ夕は以下の通りである。
- 自動ラベル付けにおける予測確率の閾値 $T_{p}$ を 0.8(レストラン)または 0.5 (ラップトップ) に設定した。
- 感情語抽出の極性スコアの間値 $T_{s}$ を 0.3 に設定 した。

・特徵語抽出の際の件数 $T_{d}$ を 100 に設定した.
- CARG における文生成数のパラメ夕 $T_{k}$ を 100 に設定した。

・生成文のフィルタリングの閾値 $T_{f}$ を -30 に設定した。

・ Focal Loss のハイパーパラメ夕 $\gamma$ を 2 に設定 した.

## B CARG による文生成の例

CARGによって生成された文の例を表 5 に示す。下線は置換された単語を表す。評価語が“good” や “great”など food の評価に良く使われるものに置換 され，また“service”が “food”に置換されており， ターゲットドメイン (food) のレビューらしい文が生成されている.

表 5 CARGによる生成文の例

 &  \\


 LU Binghan 白井 清昭 北陸先端科学技術大学院大学 先端科学技術研究科 \{s2110196,kshirai\}@jaist.ac.jp  