# 「ェモい」という感情に関する考察

青山凌大 ${ }^{1}$ 西口純代 ${ }^{2}$
1 小樽商科大学 商学部
2 小樽商科大学 言語センター
ra2000a@icloud.com
nishiguchi@res. otaru-uc. ac. jp

## 概要

本論文は、若者の消費者心理を解き明かす切り口として「エモい」という感情表現に着目している。未だ漠然とした定義しかされていない「エモい」という心理状態が表す本質的な意味と、「エモい」という感情に至るプロセスについて主張を述べる。

## 1 はじめに

## 1.1 研究の背景

経済の好循環には、消費の拡大が不可欠であるが、

「若者が消費に消極的」という言葉をニュース等で見聞きすることが多くなっている。実際、消費者庁が 2017 年に刊行したホワイトペーパーでは次のように述べられている。

「総務省が実施している「家計調査」によれば、世帯人数が 2 人以上の勤労者世帯のうち、世帯主が 39 歳以下の世帯では、可処分所得が緩やかに増加する中でも消費支出はほとんど伸びておらず、節約志向が強まっているとされています。全体的に消費意欲が低下しているなかで、特に若者か消費に慎重であることかがえる。（注 1）」（消費者庁 2017） さらに少子高齢化の進行により、この若者と呼ばれる人口は減少傾向で、総人口に対して若者世代が占める割合は小さいものであるにも関わらず、若者世代の消費行動がマーケットに大きな影響を及ぼす一大トレンドのキーとなっているのは、近年の動向から自明である。この仮説を念頭に置いたとき、今後、日本経済の発展には、「人口比率としては減少している若者世代の消費をいかに増やすか」という問いを、一つの命題として設定することができる。 さらにこの命題を解くための鍵として、「若者の消費者心理」を理解することがネックになると考えら
れる。この「若者の消費者心理」を考える上で、 2017 年に株式会社ネオマーケティング

（https://neo-m. jp）が実施した「若者の消費トレンドに関する調査」の調査結果に着目する。同調査が 18 29 歳の男女 1000 人の若者を対象に行った

「あなたが、今後、積極的にお金を使いたいと思う

ことは何ですか。（複数回答）」という質問に対する上位 10 項目のデータ以下に示す。

図1(注 2)

（株式会社ネオマーケティング2017）

図 1 によると、ライブイベントや旅行などの「感動体験」及び「思い出に残る体験」といった、エモ一ショナルな体験に対する消費に関して最も積極的であるという。そこで本論文では「若者はエモーショナルな感情に浸ることを求めている」と仮定し、その上で、若者とエモーショナルな感情、所謂「エモさ」という概念との関係について考察していく。

## 1.2 研究の目的

前項で記述した時代的背景より、若者の消費意識に着目に着目し、その意識を解明することが近年停滞気味の日本経済を動かすキーの一つになり得ると考えている。また、前項で指摘した、「若者はエモ体験を求めている」という仮定を鑑みると、「エモさ」に焦点を当て、若者の感性を分析することで、若者を消費に積極的にさせる仕組みを解明していき

たいと考えている。そこで本論文では、「若者に刺さる仕組み」に解明する切り口として、以下 2 つの論点に調査・研究を行うことで若者の消費意識にアプローチしていく。

(1)若者が感じる「エモい」とは具体的にどのような心理的、感情的動きを表すのか

(2)エモい」を作り出す要因はどんなものか

## 2 研究準備

## 2. 1 研究の目的

ここで、一般的に言われる「エモい」という言葉の定義について紹介しておく。

「エモい」は『三省堂辞書を編む人が選ぶ「今年の新語 2016」』（注 3）にて2 位に選出されてお

り、その際の選評によると、「漠然としたいろいろな感情表現に使われる」とされている。また、言葉としては 2006 年から存在はしているものの、現在のように広く一般に使われるものではなく、日常生活の会話で使われるようになったのは近年からのようだ。つまり、「エモい」という言葉は、まだ世に出て間もない、定義が曖昧な感情表現であると言える。この「エモい」という表現が持つ意味を考察する上で、「エモい」に関する先行研究として、一般社団法人日本広告業協会による第 49 回懸賞論文『私の言いたいこと』新人部門において受賞した、株式会社メトロアドエージェンシー営業本部第 3 営業局営業 7 部・塩見ありさ氏の『“エモい、を解き明か寸〜文脈理解と物語構築の重要性〜』（注 4) を参考に仮説を定義していく。

この論文で塩見氏は、「エモい」が内包する意味についてSNS のハッシュタグ利用した分析を行っており、次の通りに考察がまとめられている。以下、関連する主張部分を拔粋して引用する。

「学生の場合は体育祭・文化祭など学校におけるイベントの際の投稿。時節に触れた話題をはじめ、天気や空気感に言及する投稿も多くみられた。また、

「青春」やノスタルジーを感じる写真を添付した投稿も多く見られた。フィルムカメラで撮影された様な味わいがあり、想像の余地のある写真が多数を占める。キラキラした加工が施された「インスタ映え」とは異なる自然体な写真が主であった。（注

4)」(塩見 2019)

「登場人物との関係性やコンテンツを通して沸き上がった感情が吐露されている。過去との対比構造が多い。音楽や映像の「エモい」場面を切り取った内容の割合も高かった。（注 4）」（塩見 2019）「車や文具、唐揚げまで、有機物/無機物関わらず、様々な事象に対して広い用途が存在。

SNS によっても違いがある。Twitter は文ベースのコミュニケーションが主流のため、物語調や説明的な表現が多くみられた。一方で、Instagramでは短文、あるいは写真のみで「エモさ」を訴えかける投稿が主であった。ただし、いずれも感情の高まりや心が動いた際にこの言葉が使われている。そこには、懐かしさや切なさ、感傷的な気分や感慨深さも伺える。そして、個人の主観的な思い入れや過去体験が投影されている。（注 4）」（塩見 2019）

“「エモい」とは、対象者が「ある事物」を観測した時に、過去に自身が実際に体験した経験が想起され、その際に溢れた様々な感情を「代替した言葉」”であると定義できる。

以降、本論文では対象人物が「観測する事物」、それに対して「どんな感情を抱いたか」という 2 つの要素に分けて仮説を設定し、「エモさ」が内包する意味について明らかにしていく。

まず、「観測する事物」ついて、塩見氏による分析を参考に以下のように検証項目を設定する。

検証項目(1)生で見る風景

検証項目(2)写真や動画（インスタ映えのようなキラキラ加工がついたもの)

検証項目 (3)写真や動画（加工が控えめの自然体なもの)

検証項目(4)セリフや文章検証項目(5)音楽（歌詞)

検証項目(6)音楽（リズム・音程・楽器）

検証項目(7)人物同士の関係（フィクション作品を含む)

これらの検証項目をそれぞれ現段階での「エモさ」 を醸し出す事物としての仮説とする。

同様に、「エモい」という言葉がどんな感情を代替するのかという点について検証項目を考えていく。検証項目(1) 懷かしい検証項目(2)ノスタルジー・検証項目 (3) 美しい・綺麗検証項目 (4) 嬉しい検証項目 (5) 悲しい検証項目 (6) 虚しい検証項目(7) 寂しい検証項目 (8) 沪が出そうこれらの検証項目をそれぞれ現段階での「エモい」 が代替する感情表現の仮説とする。

## 2. 2 検証方法

若者世代にアンケート調查を行う。
対象人物が「観測する事物」については質問(1)「あなたは今までにどんな事物に対して「エモい」という感想を持ちましたか?」とし、検証項目(1)（7)それぞれを回答の候補として当てはまる候補にチェックをつけてもらう。次に、「エモい」がどんな感情を代替しているのか、について設問(2)「あなたは 「エモい」をどんな意味で解釈していますか? 近いものを 3 つ選んでください。」とし、上記と同様に検証項目(1)～(8)を明示し最も当てはまると感じるもの 3 つを選んでもらう。

## 3 調査・検証結果報告

設問(1)、設問(2)に対する回答の集計グラフはそれぞれ図2、図3のようになった。

図 2

図 3

## 4 分析 $\cdot$ 考察

・対象者が「観測する事物」に関して

本論点に関する設問(1)では、最も多く選択された検証項目は(1)「生で見る風景」、3 番目は(3)「写真や動画（加工等が控えめの自然体なもの）」であり、 これら 2 つの事物に共通するのが、「視覚」を通して認識する事物ということである。心理学において、一説では「視覚は人間の情報入力の $80 \% 」 と$言われることもあり、「視覚情報の優位性」という概念として度々論点に挙げられ研究されている。視覚が他の感覚より重要な役割を果たしているという主張を支持している文献では、その他の感覚、特に五感の中でも視覚の特性について以下のように論じられている。

「視覚は他の感覚との協調、また経験や行動履歴に関する知識などにより、整合的な外界を仮定することでなにが起こっているかについて多くの場合正し
く推定することができます。この点に関して他の感覚と比較した視覚の優位性は明らかです。触覚は自身の行動に依存することが多く, 得られる情報には自身の行動の結果と外界の属性が混在することになります。対象が静止している場合, 能動的な行動によってのみその対象に関する情報が得られますが、 それが自身の行動の結果であるか、それと独立した対象に起因するものであるかの判断は困難です。また嗅覚から安定した外界を推定することは難しいですし，味覚は直接的に外界に関する手掛かりを与えてくれるとは考えられません。聴覚に関しては音源が必要であり、世界にあふれる光の反射を利用する視覚と比べると大きな限界があるといえるでしょう。（注 5)」（塩入 2021）

また、心理学における視覚研究の重要性については以下のように論じられている文献も見られた。「視覚を媒介とした自己認識、世界認識の形成は 「心」の理解のうえでも最重要課題の一つであり、心理学における根本問題だということもできるだろう。この意味で、視覚研究は「心」の本質を捉えるうえで重要な切り口となる。（注 6) 」（佐藤 2021)

これらを踏まえると、視覚を通して認識される事物である風景や写真が「エモい」という感情の動きを観測者に与えるものとして最も多く該当するという結果は妥当であると言える。視覚は観測者の置かれた状況にかかわらず、ほとんどの場合において他の事象の制約を受けない最も自然な外部情報を仕入れることができるのだ。その結果、視覚情報は、他の感覚によって認知される事物よりも、認知できる情報の量が多いために、「エモい」と感じることも多いのではないかと考えられる。一方で、検証項目(2) の「写真や動画 (インスタ映えのようなキラキラ加工がついたもの）」については、同じく視覚によって情報を伝える事物であるが、集計結果の通り、こちらは「エモさ」を醸し出す事物として当てはまるとはあまり考えられていない。おなじ写真・動画とういうコンテンツである検証項目 (3)「写真や動画 （加工等が控えめの自然なもの）」と大きく差がついた要因としては、その写真や動画の撮影後に後からつけることになる、画像加工や編集の違いであることは間違いないだろう。一般的には、「エモさ」 を醸し出すには、派手で煌びやかな加工ではなく、 なるべく自然体となるよう加工が控えめなものの方が適しているようだ。この点については、塩見あり

さ氏の先行研究における SNS 投稿を用いた分析から得られた示唆の通りであった。加えて、設問(1)で最も多く選択されたものが検証項目 (1)「生で見る風景」であることを考慮すると「エモさ」を醸し出すにはそもそも加工・編集といった「演出」は不要であり、写真や動画の場合は、いかに肉眼で見たものを再現するかという「自然さ」が大きな要因となっていると推測できる。

・「エモい」という言葉が代替する感情に関して

本論点に関しては設問(2)の集計結果を参考に考察をしていく。

最も多く選択されたのは検証項目(3)の「美しい・綺麗」であった。この「美しい」や「綺麗」という感情は、対象物に対して快い感覚を抱いている様である。「あの花は美しい」「綺麗な音色だ」「あの人の心は綺麗だ」など、様々な事物に対して、自身が好感を持った際に抱く感情を表している。

ここで、分析を進めていくための切り口として、形容表現を「対象物に対しての感想としての感情の動き」と「自分自身の感情の動き」の二つに分類して考えてみる。それぞれをより具体的に例を出して考えてみる。

前者に該当する形容表現は、まさに今話題に挙げていた「美しい」や「綺麗」などだ。これらはある人物が観測した事物に対して、「“これは” 〜だ」という、その事物の状態を、観測した人物の主観で判断したものである。「あの花は美しい」を例にしてみると、「（私から見た）あの花 “は”（私にとって）美しい（と思う）」という構成になり、“美しい”という経由表現の対象は、“あの花”となる。対して後者に該当する形容表現は、嬉しい」などがだ。事物ではなく、“ある人物そのもの” の状態を表している。例えば「あの映画を見れて私は嬉し

い」というフレーズで考えてみると、“嬉しい”という形容表現は、“あの映画”という事物を観測した “私”という人物を対象としている。つまり、単純に自分の感情や心理状態がどういった状態であるかという意味合いを持っているのだ。この表現の分類の仕方を念頭に置き、改めて集計結果を分析してみると上位 3 つ、順番に検証項目 (3)「美しい・綺麗」、検証項目(1)「懐かしい」、検証項目(2)「ノスタルジー」はどれも「対象物に対する感想としての感情の動き」に該当しているだろう。「懷かしい」 に関しては、例えば「あの写真は懐かしいね」や 「懐かしい写真だね」とはいう写真という“事物”
を形容の対象にするフレーズは自然だが、「その写真を見て私は懷かしい」といった、写真という事物を観測した“私という人物”を形容の対象とした文章には違和感がある。「ノスタルジー」も同様だ。 これらの結果から、「エモい」は、単純に自分の感情を表すのではなく、何かの事物への感想としての感情の動きに近いようだ。また、検証項目(4)（8)の 「嬉しい」、「悲しい」、「虚しい」、「寂しい」「涙が出そう」については「自分自身の感情の動き」に該当し、単純に自分の感情や心理状態がどういった状態であるかを表している形容表現に分類できる。それぞれ選択された数としては差が大きく開いている。これらの中でも特に、検証項目(4)の「嬉しい」と検証項目(5)「悲しい」は極端に選択数が少ない。一方で検証項目 (8)「涙が出そう」に関しては、3番目に多くの選択がされた検証項目(2)「ノスタルジー」とほぼ同数の選択数を獲得している。これらの結果はどのような点が要因となっているのだ万うか。考えらえる点として、表現が内包する意味の複雑さが挙げられる。「嬉しい」や「悲しい」は単純にポジティブな気持ちかネガティブな気持ちという情報 “だけ”を含んでいる、ストレートで素直な表現であるのに対し、「涙が出そう」は、嬉しい意味での涙か、悲しい意味での涙か、またはその両方を含んだのか等、その一言から複数の感情が読み取れる。つまり「エモい」とは、いくつもの感情が重なった「なんとも言えない気持ち」に近いとも考えられるだろう。

## 5 おわりに

本研究では、若者世代の間で浸透し広く使われるようになった「エモい」という表現に着目し、その表現が内包する意味と、「エモい」という心理に至るまでのメカニズムを理解することを目標として調查を行った。本研究で行った若者世代に対するアンケ一トを利用した実態調査、関連文献をもとにした考察により、研究対象とされながらも、未だに漠然としていた「エモい」という感情表現について、具体的な定義の一つの侯補と、その心理状態を作り出す要因やパターンを示唆できたことは、若者の感性や心理にアプローチし、新たな流行やヒットトレンドを作り出すヒントに迫れたと言えるだろう。本研究が今後の消費者心理に関する課題を解決する一助となること願う。

## 参考文献

（注 1）消費者庁「平成 29 年版消費者白書第 1 部第 3 章【特集】若者の消費」，2017 https://www. caa. go. jp/policies/policy/consumer _research/white_paper/pdf/2017_whitepaper_0004 . pdf

（注 2）株式会社ネオマーケティング「若者の消費トレンドに関する調査」，2017 https://neom. jp/investigation/134/

（注 3）三省堂「三省堂辞書を編む人が選ぶ 「今年の新語 $2016 」 」$ 」, 2016 https://dictionary. sanseidopub1. co.jp/topic/shingo2016/2016Best10. htm1 （注 4）塩見ありさ「『“エモい、を解き明かす 〜文脈理解と物語構築の重要性〜』」, JAAA レポー卜臨時増刊号『第 49 回懸賞論文入賞-入選作品集』, 2020

https://www. jaaa. ne. jp/wp-

content/uploads/2020/03/49award_08.pdf

(注 5）塩入諭「そもそも視覚の研究はなぜ必要?」,『VSION』(日本視覚学会) 巻 3 号, 152-154, 2021

https://www. jstage. jst. go. jp/article/vision/33 /3/33_152/_pdf/-char/ja

（注 6）佐藤隆夫「そもそも視覚の研究はなぜ必要?」『VSION』 (日本視覚学会) 巻 3 号, 179-181, 2021

https://www. jstage. jst. go. jp/article/vision/33 /4/33_179/_pdf/-char/ja


# 感情カテゴリを考慮した単語極性の推定

市村真衣久野雅樹
電気通信大学大学院 情報理工学研究科情報学専攻
i2230018@edu.cc. uec.ac.jp, hisano@uec.ac.jp

## 概要

工学分野の感情推定タスクには, 感情をカテゴライズする「感情空間による感情推定」とポジティブ〜ネガティブ軸を用いる「感情極性推定」との 2 種あるが, 心理学分野の感情理論「基本感情理論」と 「次元論」に対応しており, 2 つの感情推定には一定の互換性があると考えられる。本稿では, 先行研究における感情カテゴリと単語極性の関連を分析したところ, 感情カテゴリと極性の間に相関関係が認められ, ロジスティック回帰分析で感情カテゴリによる単語の極性分類ができることを示した. また,ロジスティック回帰分析で算出した新たな単語極性を用いることで, 文書極性の分類性能が向上することも確認できた。

## 1 はじめに

感情は, 事象によって可変であり, 判断材料やコミュニケーション手段になる. 学術および社会では感情推定を通して, 物事の構造解析・人への思いやりのある機械の開発に取り組んでいる. 感情推定夕スクは大まかに分けて「感情空間による感情推定」 と「感情極性推定」の2 種が存在する [1]. 前者は, 特定の感情モデルにあてはめて包含する感情を判定するタスクであり, 感情語の登場回数から特定感情の興奮・冷静情報を得ている. 対して後者は, 文章や語などの持つ印象を極性（ポジティブ〜ネガティブの 1 軸）で判定するタスクであり, 文構造や共起関係から感情極性情報を得ている. 実際, 両タスクの境界線は薄く, 各分析者が思考を凝らして手法を生み出し，感情推定をしている.

感情の定義ならびに感情に関する用語（情動,気分, 選好) は厳密に定められているわけではなく, 研究領域や個々の研究によって意味が微妙に異なることも少なくない [2]. 心理学分野では感情研究を古くから行っている. エクマンとフリーセン (Ekman \& Friesen, 1975 [3]）,イザード（Izard, 1977 [4]）, プ
ルチック (Plutchik, 1980 [5]）は, 感情には通文化的普遍性があると考える基本感情理論を支持しており, 喜び・悲しみ・怒り・驚き・嫌悪・恐怖（エクマンが主張する基本感情）のように感情をカテゴリに分けて（=離散値で）説明する. 対して,ラッセル (Russell, 1980 [6]）,ワトソンとテレゲン（Watson \& Tellegen, 1985 [7]）,ラッセルとフェルドマン=バレット（Russell \& Feldman-Barrett, 1999 [8]）は, 快感・不快感という知的判断に伴う感情体験を直交座標上にすべて配置可能だと考える次元論を支持しており,「快-不快」次元と「覚醒-睡眠」次元（ラッセルが主張）のように感情を少数次元で（=連続値で）説明する。

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応すると考える. 両者間に優劣はなく, 同じ対象「感情」を異なる着眼点とアプローチで調べているものであり,2つの感情推定には一定の互換性があると考えられる. 本研究では, 先行研究における感情カテゴリと単語極性とのつながりを相関分析により調べ, 感情カテゴリから単語極性を説明できることをロジスティック回帰分析により示した.また, ロジスティック回帰で算出した予測値を新たな単語極性にすることで, 文書極性 （ポジティブ文書/ネガティブ文書）の分類性能が向上するのかも検証した. 2 つの感情推定の橋渡しになれば幸いである.

## 2 感情カテゴリと単語極性との関係

## 2.1 前処理

「感情空間による感情推定」では感情カテゴリを，「感情極性推定」ではテキスト（単語, 文, 文書）と極性をセットにした一覧表である極性辞書を使用する.今回は, 日本語の感情カテゴリを示す『感情表現辞典』と,公開している数少ない日本語用の極性辞書 3 つを対象にし，それぞれに前処理を施した。
表 1 分析による変数抬張の概要

 \\

$\cdot$「感情表現辞典」[9]（2,308 語）

$\cdot$「単語感情極性対応表」[10]（39,167 語）
- 「日本語評価極性辞書」[11][12]（10,326 語）

また, 先の 2.2 節と 2.3 節との分析にて, 変数を追加する.リストの概要を表 1 に記す.

## 2.1.1 感情カテゴリ

中村は, 言語表現面を反映した感情のあつかいとして, 実際の表現例から計 10 類の感情カテゴリ （喜・怒・哀・怖・恥・好・厭・昂・安・驚）を立項し, 単語を分類している. また, 辞典としての引きやすさを重視し, 感情が混じり合った, あるいは中間的な意味合いを持つ感情語は, 複数の感情カテゴリに配列している [9]. 語句編の収録語（2,308 語）それぞれに, 本にもとづいて感情カテゴリ 10 種のラベルを 1つずつ付与した. 以下，これを「中村カテゴリ辞書」と表記する。

## 2.1.2 単語極性

単語極性とは, 単語の持つ印象をポジティブ〜ネガティブの 1 軸で表現した値である.

高村らは, 電子のスピン系を導入して, 関連する単語ペア（ある単語とその語釈文中の単語,シソーラスでの類義語ペア, 反義語ぺア, 上位語下位語ぺア, コーパス中に接続詞で連なる形容詞ぺアなど）を結合することにより語彙ネットワーク（約 88,000 単語）としてモデル化し，単語極性を決定する手法を提案している. 大きなコーパス（約 $1 \times 10^{11}$ 単語）を用いたターニーら（2003）の手法と同等の性能が出たとしている [10]. 極性は, 1.0〜-1.0 内の連続値で提供している. 表記と読みが一致し, かつ, 日本語学習済夕モデル [13] に存在する語を抽出した. 以下，これを「高村極性辞書」と表記する。

小林らは，＜評価対象表現+属性表現+評価表現＞ の共起情報から作成した 52 個のルールを語釈文に繰り返し適用し, 半自動的に単語極性を決定する手法を提案している. 評価表現の収集と感情極性の決定の双方を人手に委ねるより, 効率がよいと述べている [11]. 東山らは, 収集した $<$ 名詞 $>と<$ 格助詞 +述語＞を共起ベクトルに変換し，名詞の感情極性を自動獲得する教師あり機械学習による手法を提案している. 上記の高村らの手法と比較して,ネガティブな名詞に関しては劇的に分類性能が向上したと主張している [12]. 小林らの辞書と東山らの辞書を結合し，重複データおよび欠損値を含むデー夕を削除した. 小林らの辞書も東山らの辞書も極性はラベルで表記しており,ポジティブを示す “ポジ”と“p”,ネガティブを示す “ネガ”と “n”, ポジティブとネガティブの間のニュートラルを示す “e”（順序分類尺度のデータ）である語, かつ, 日本語学習済みモデル [13] に存在する語を抽出した. 以下,これを「小林東山極性辞書」と表記する。

## 2.2 分析 1：相関関係

まず, 小林東山極性辞書の極性情報はラベル表記であるため，“ポジ”と“p”を 1.0 , “ネガ”と“n”を -1.0, “e”を 0.0 として元極性を設定した. そして, 両極性辞書すべての語に対して, 各感情の含有率を計算した。具体的には，「両極性辞書の内の“とある語”」と「中村辞書の各語」との類似度を日本語学習済みモデル [13] によって算出し, 感情カテゴリごとの類似総和を全体の類似総和で割った値を各感情の含有率とする，という工程を繰り返した。その後,両極性辞書に変数「各感情の含有率」を追加した。 （分析による変数拡張の概要は, 表 1 を参照.) 両極性辞書について,「各感情の含有率」と「元極性」とにおける相関関係を調べた。

表 2 高村極性辞書の「各感情の含有率」と「元極性」との相関係数

表 2 と表 3 より，「喜・好・安」はポジティブな感情に，「厭・怒・哀・怖」はネガティブな感情に関連するといえる. 各感情の含有率に $0 \%$ 多く含むため相関が小さく出ており, 算出方法に改善の余地が
表 3 小林東山極性辞書の「各感情の含有率」と「元極性」との相関係数

ある.

## 2.3 分析 2 ：ロジスティック回帰

小林東山極性辞書における「各感情の含有率」を独立変数, 「元極性」を従属変数に設定し, 6 割を学習データとしてロジスティック回帰分析を実施した.ただし，極性情報のラベルが“e”の単語は除き， “ポジ”と“p”を 1 ，“ネガ”と“n”を 0 として元極性に設定した. 結果は, 表 4 のとおりである.

表 4 ロジスティック回帰分析における学習評価

表 4 より, 極性情報であるポジティブ/ネガティブ分類としての学習はできていると判断できる.

回帰式から得た出現確率をポジティブ〜ネガティブの範囲 1.0〜-1.0 に変更して, 予測値を算出した.両極性辞書へ変数「各感情含有率から予測した極性」を追加し, 標準化の処理をした。（分析による変数拡張の概要は, 表 1 を参照.) また, 小林東山極性辞書における「元極性」を，極性情報のラベルが“ポジ”と“p”を 1.0, “ネガ”と“n”を-1.0, “e”を 0.0 として設定した。

## 3 感情カテゴリによる単語極性の性能評価

2.2 節と 2.3 節の分析より, 感情カテゴリと単語極性には一定の互換性があることを示した. 両極性辞書の「元極性」と比べ, 「カテゴリによる極性」は感情カテゴリの情報を追加で考慮している. よって，文書内にあるポジティブ語・ネガティブ語によって文書の感情極性が推定できるという報告 [14]に従い, 文書の感情推定の性能が向上していると予想される.このことを分析的に示す.

## 3.1 データセット

“Amazon Customer Reviews Dataset”[15] より, マー ケットプレイスを日本に限定し, 星評価（星 1 5: 5 に近いほど高評価, 1 に近いほど低評価）にもとづいて under-sampling したのち, 層化抽出をして 5,250件を性能評価に使用した。年代は 2000～2015 年である.

## 3.2 性能評価

ポジティブな文書/ネガティブな文書への分類性能をみるため, 各極性辞書が付与する「レビュー平均極性値」について, 正解ラベルが「星 1 のレビュー 群」と「星 5 のレビュー群」との差を性能評価の指標とした。まず，両極性辞書の「元極性」および 「カテゴリによる極性」それぞれを用いて, Amazon レビューの各単語に極性值を付与した。そして,レビューの極性値としてレビュー内の単語の極性値の平均を計算して, 標準化の処理をして, 正解ラベルが 「星 1 のレビュー群」と「星 5 のレビュー群」との平均極性値の差（表 5）を算出した。

また, 予測したレビューの極性值を縦軸, レビュー 文の年月日を横軸, マーカーを正解ラベル (星評価) として, 分布図（図 1）も作成した。なお, 横軸はプロットの見やすさを重視したため, 伸縮が生じている.

表 5 極性辞書による星 1 と星 5 のレビュー平均極性値の差

表 5 から, 両極性辞書ともに「元極性」より「カテゴリによる極性」を付与したほうが, 差の広がりを確認できる. すなわち, 両極性辞書の「元極性」をそのまま使用する場合と比較して, ロジスティック回帰分析による予測値（=感情カテゴリの情報を考慮した単語極性）である「カテゴリによる極性」のほうが, 単語極性を利用したポジティブ文書/ネガティブ文書の分類性能を向上しているといえる。ロジスティック回帰の学習に用いた小林東山極性辞書の元極性は, 感情カテゴリではなく構文情報を利用して単語極性を決定している. よって今回の結果は, 構文情報から得た単語極性とほぼ同等の法則性を, 感情カテゴリにあたる「各感情の含有率」, および, その組み合わせによっても再現できることを意味している.

また, 図 1 は, 5,250 件のレビューをプロットしたものであり, マーカーは正解ラベル (星評価: 5 に近いほど高評価, 1 に近いほど低評価）,プロット場所は予測したレビュー極性のスコア（縦軸方向に, 正方向ほど高評価, 負方向ほど低評価）を示している.

年月日

図 1 小林東山極性辞書によってレビュー極性を付与した様子 (上：元極性,下：カテゴリによる極性)

星 5 のレビューはスコアがより正方向にあり, 星 1 のレビューはスコアがより負方向にあり,星 2〜 4 は星 1 と 5 の間に段階的に分布することが望ましい.小林東山極性辞書の「元極性」も「カテゴリによる極性」も,図 1 を横切る「星 1 5 のレビュー平均極性値」は縦軸方向に段階的な値であり, 期待した結果である.一方で, プロットをみると星評価間で分布範囲が被っているため, 文書ごとの極性決定には改善の余地がある. 高村極性辞書の両者も同様である.

## 4 おわりに

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応していて, 両者が調べ
たい対象「感情」は同じであるという考え方にもとづいて, 感情カテゴリと単語極性とに関連があることを相関分析で, 感情カテゴリから単語極性を説明できることをロジスティック回帰分析で, 認めることができた. また, カテゴリによる極性（=感情カテゴリを考慮した単語極性）を用いると,元極性と比べて, 文書極性の分類性能を向上することも示した.

今回は日本語学習済みモデル [13]を用いて単語同士の類似度計算をしているため, 形態素が 1 つの単語のみを分析対象にしている. 今後は, 複数の形態素からなる単語を分析対象に含めることで, より広範囲な感情表現がもつ各々の特徴を調査したい.

## 参考文献

[1] 江間勇希, 鳥海不二夫. 映画脚本デー夕における感情分析. 人工知能学会全国大会論文集第 34 回, 2020.

[2] 大平英樹 (編). 感情心理学・入門. 有斐閣アルマ, 2010.

[3] Ekman, P., \& Friesen, W.V. Unmasking the face. Prentice Hall, 1975.

[4] Izard, C. E. Human emotions. Plenum Press, 1977.

[5] Plutchik, R. Emotion. Harper \& Row, 1980.

[6] Russell, J. A. A circumplex model of affect. Journal of Personality and Social Psychology, Vol. 39, No. 6, pp. 1161-1178, 1980

[7] Watson, D., \& Tellegen, A. Toward a consensual structure of mood. Psychological Bulletin, Vol. 98, No. 3, pp. 219-235, 1985.

[8] Russell, J. A., \& Feldman-Barrett, L. Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant. Journal of Personality and Social Psychology, Vol. 76, No. 5, pp. 805-819, 1999.

[9] 中村明. 感情表現辞典. 東京堂出版, 1993.

[10] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌ジャーナル, Vol. 47, No. 02, pp. 627-637, 2006.

[11] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 03, pp. 203-222, 2005.

[12] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会論文集, pp. 584-587, 2008.

[13] facebookresearch. fastText. https://github.com/ facebookresearch/fastText. 最終閲覧日：2021 年 12 月 7 日。

[14] $\mathrm{Hu}, \mathrm{M}$. and Liu, B. Mining and summarizing customer reviews. Proc. 2004 ACM SIGKDD international conference on Knowledge discovery and data mining (KDD-2004), pp. 168-177, 2004.

[15] Amazon.com, Inc. Amazon Customer Reviews Dataset. https://s3. amazonaws. com/amazon-reviews-pds/ readme.html. 最終閲覧日：2021 年 12 月 10 日.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語レビューに対するレーティング予測の精度比較

森廣 勇樹 1 南條 浩輝 2 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m005@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では多言語 amazon レビューコーパスを用い，日本語のレビュー文から評価点（レーティング）がどの程度正確に予測できるかを調査した。 BERT と RoBERTa に対し合計 360 通りのハイパー パラメータの組み合わせでグリッドサーチを行った. 得られたハイパーパラメータで予測を行うと， BERT より RoBERTa の方が精度がよいことがわかった. 英語レビューへのレーティング予測の関連研究の結果に比べ，精度があまり高くはないがレーティング予測の傾向自体の学習はできていると考える.

## 1 はじめに

本稿では，日本語の商品レビュー文に対し星数のような評価点（レーティング）がどの程度正確に予測できるかの調査について述べる.

商品レビューは消費者の正直な感想であるため広告より信頼性が高いが，ヤラセ・サクラなど，レビューの悪用や利用者増加に伴う役に立たないレビューの増加で，真に有用なレビューが埋もれている. 推薦・推薦文においてこのようなレビュー等が主に使われており，それらの結果に疑問が残るのではないかと考える. それに比べ, Twitter のツイートなどの生の声は，レビュー文よりも実際の気持ちを表していると予想される.

本研究では Twitter のツイートデータを用いた推薦文（及びその根拠文）の生成することを目標としている. 第一歩として, Twitter のツイートなどレビューそのものを目的としていない生のユーザの声 （テキスト）が，商品に対してどの程度のお勧め度を表しているか (レーティング)を予測する必要がある.しかしながら，ツイートデータには正解が付いていないため学習に用いるのが困難である. 多言語 amazon レビューコーパスに正解データが付いて
おり，最終的にツイートデータに対するレーティング予測を行うとしても，その予測に用いる機械学習の学習データとしては使えると考える。 そこで本研究ではまず，多言語 amazonレビューコーパスを用い，日本語でのレビューのレーティング予測を調査した.

## 2 関連研究

Liu [1] は英語レビューのレーティング予測を機械学習と深層学習を用いて行っている.コーパスはレビュー文と星数のラベルのペアとなっており，レビュー文に対してのレーティング（整数値）を予測するタスクとなっている. この研究では, Naive Bayes, Logistic Regression, Random Forest, Linear Support Vector Machine の 4 つの機械学習モデルと BERT, DistilBERT, RoBERTa, XLNet 94 つの transformer ベースの深層学習モデルを使用し，モデル間での精度の比較やモデルの学習時間の比較も行っている。一方, 日本語レビューのレーティング予測についての研究は見当たらない.

## 3 手法

Liu の研究では， 4 つの機械学習モデルと 4 つの transformer ベースの深層学習モデルを使用している. その実験結果から機械学習モデルの予測精度が低いことがわかったため, 本研究では 4 つの深層学習モデルのうち，まずBERT [2] と RoBERTa [3]を用いることにした.

BERT のモデルとして, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル (cltohoku/bert-base-japanese-v2) [4] を使用した. BERT による分類モデルの入出力例を図 1 に示す.

図 1 のように文 (文章) を入力し, 出力 $\mathrm{C}$ トークンから全結合層の分類器 1 層（classifier）を通して 5 クラス分類を行う.
表 1 データセットの星評価の内訳

## Prediction

図 1 BERTによる分類モデルの入出力例

RoBERTa のモデルは, xlm-roberta-base を Language Identification データセットに基づいて fine-tuning した RoBERTa モデル (papluca/xlm-roberta-base-languagedetection）[5]を使用した.

## 4 実験

## 4.1 データセット

多言語 amazon レビューコーパス [6] と呼ばれるデータセットを用いて実験を行った. データセッ卜には，英語，日本語，ドイツ語，フランス語，中国語，スペイン語の合計 6 言語のレビューが含まれておりその中で日本語のみのレビューを使用した. データセットの各レコードには，レビューテキスト, レビュータイトル, 星評価, 匿名のレビュアーが含まれている. 各言語ごとに合計 210,000 のレコードがあり，185,000を学習データ，20,000を検証データ，5,000をテストデータとした。すべてのレビューは 2,000 文字を超えると切り捨てられ，表 2 モデルのハイパーパラメータ

すべてのレビューは少なくとも 20 文字の長さである. 本研究で使用するデータセットの星評価の内訳を表 1 に示す.

表 1 よりコーパスは星評価（星 1～星 5）でバランスが取れているため, 各星評価は各言語のレビュー の $20 \%$ で構成されている.

## 4.2 ハイパーパラメータの決定

各モデルに対して適切なハイパーパラメータを決定するためにグリッドサーチを行った. ハイパーパラメータとして最適化アルゴリズム, 学習率, バッチサイズ，エポック数の 4 つのパラメータを可変としグリッドサーチを行った. 最適化アルゴリズムは, AdamW, SGD, RMSProp の 3 種類, 学習率は各モデル，各最適化アルゴリズムによって変わるが 3 種類ずつ行い, バッチサイズは $32,16,8,4$ の 4 種類, エポック数は 1 から 10 の 10 種類, 合計 360 通りのハイパーパラメータの組み合わせでグリッドサーチを行った．検証データはハイパーパラメータを決定するために使用し, 決定後は学習データと合わせて実験の学習に使用する.この組み合わせの中で最も検証データでの正答率が高いパラメータを最適なものとしハイパーパラメータを決定した. 得られた八イパーパラメータと RoBERTa でのグリッドサーチの結果の一部を表 2 , 表 3 に示す.

表 2 の条件の通り BERT の最適化アルゴリズムは RMSProp, 学習率は 1e-05, バッチサイズは 8, エポック数は 2 としたとき検証データでの精度
表 3 RoBERTa のグリッドサーチの結果（一部）

(Accuracy) が 0.5531 と 360 通りのパラメータの中で一番高い結果であったためこのハイパーパラメータで決定し, RoBERTa の最適化アルゴリズムは RMSProp，学習率は 5e-06，バッチサイズは 16 , エポック数は 3 としたとき検証データでの精度 (Accuracy) が 0.5852 と一番高い結果であったためこのハイパーパラメータで決定した.

表 3 は RoBERTa の最適化アルゴリズムが RMSProp，バッチサイズが 16 のときのグリッドサーチの結果である. グリッドサーチを行って気づいたこととして，よりよいパラメータは学習率の值が小さいときエポック数が大きくなり，学習率の值が大きいときエポック数が小さくなる傾向にあった.

## 4.3 実験結果

4.2 節で可変にしたパラメータ以外を固定にして精度比較を行った. データセットは多言語 amazon レビューコーパスを使用し，205,000を学習データ， 5,000をテストデータとし精度の算出を行った. その条件をもとに学習を行った際のテストデータでの精度を表 4 に示す.

表 4 の各モデルの精度を比較すると BERT では Accuracy が $0.5624, \mathrm{~F}$ score が 0.5612 に対し RoBERTa では Accuracy が 0.5956 , F score が 0.5893 となり RoBERTa の方がより精度がよいことがわかる. 各モデルの Confusion Matrix（混同行列）を表 5 と表 6 に示す.

表 4 の精度は Liu の英語に関する先行研究の 0.6-0.7 より低かったが，レーティング予測は人手評価からそれほどかけ離れていないことが表 5 と表 6 の Confusion Matrix からわかる。すなわち，レー表 4 各モデルの Accuracy と F score

表 5 BERT の Confusion Matrix レーティング予測クラス

表 6 RoBERTa の Confusion Matrix レーティング予測クラス

ティング予測の傾向自体の学習はある程度できていると考える。

## 5 おわりに

本研究では多言語 amazon レビューコーパスを用い，日本語のレビュー文に対しレーティングがどの程度正確に予測できるかを調査した. BERT と RoBERTa に対し合計 360 通りのハイパーパラメー タの組み合わせでグリッドサーチを行った.グリッドサーチを行った結果，BERT のハイパーパラメー 夕は，最適化アルゴリズムが RMSProp，学習率が 1e-05, バッチサイズが 8, エポック数が 2 で決定し， RoBERTaのハイパーパラメータは，最適化アルゴリズムが RMSProp，学習率が 5e-06，バッチサイズが 16 , エポック数が 3 で決定した. これらの八イパーパラメータでレーティング予測を行った結果， BERT では Accuracy が 0.5624 , F score が 0.5612 に対し, RoBERTa では Accuracy が 0.5956, F score が 0.5893 となり，RoBERTa の方がより精度がよいことがわかった. 精度は Liu の英語レビューに関する先行研究の 0.6-0.7 より低かったが，レーティング予測が人手評価からそれほどかけ離れていないことか

ら，レーティング予測の傾向自体の学習はある程度

できていると考える.

次のステップとして, amazon の日本語レビュー コーパスで学習した BERT と RoBERTaを用い，ツイートデータのレーティング予測を行う予定である.

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたものです.

## 参考文献

[1] Zefang Liu. Yelp review rating prediction: Machine learning and deep learning models. arXiv, 2020. https: //arxiv.org/abs/2012.06690.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018. http: //arxiv.org/abs/1810.04805.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, 2019. http: //arxiv.org/abs/1907.11692.

[4] 東北大学乾・鈴木研究室 bert モデル. cltohoku/bert-base-japanese-v2. https://huggingface. $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.

[5] RoBERTa モデル. papluca/xlm-roberta-base-languagedetection. https://huggingface.co/papluca/ xlm-roberta-base-language-detection.

[6] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.


# 属性に対する極性判定を対象とした領域適応

LU Binghan 白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110196,kshirai\}@jaist.ac.jp

## 概要

属性に対する極性判定は教師あり機械学習に基づく手法が主流だが，属性によって有効な素性は異なると考えられる。本論文では，属性をドメインとみなし，ある属性に関する(ソースドメインの) ラベル付きデータから別の属性の (ターゲットドメインの)極性判定のモデルを学習する領域適応の手法を提案する. ターゲットドメインのラベル付きデータを自動構築するために，ソースドメインのデータから学習した BERTを用いて自動ラベル付けを行う手法と, ソースドメインの文に出現する感情語や特徴語をターゲットドメインのそれに置換する手法を組み合わせて用いる。

## 1 はじめに

属性に対する感情分析 (極性判定) は，製品などの評価対象の属性に対して表明された意見が肯定的か否定的かを判定するタスクである。教師あり機械学習の手法が用いられることが多いが，訓練データとテストデータでドメインが異なると極性判定の性能が低下する問題が知られている。ドメインとは一般にテキストのジャンルや媒体を指すが，属性に対する極性判定では異なる属性に対して同様の問題が起こりうる．例えば，レストランの属性として「料理」と「価格」があり「「料理」に対するラベル付きデータしか存在しないとき, これから学習した分類器を「価格」に対する極性判定に適用しても高い正解率が得られない.

領域適応は，十分なラベル付きデータが存在するソースドメイン (訓練データのドメイン) から得られた知識を，ラベル付きデータが全くあるいは少量しか存在しないターゲットドメイン (テストデータのドメイン)の分類器の学習に転移する技術である。本研究では, ドメインを属性とみなし, ある属性のラベル付きデータを利用して別の属性の極性を判定
することを目的とする．そのため，ソースドメインのラベル付きデータから夕ーゲットドメインのラベル付きデー夕を自動的に生成する手法を提案する.

## 2 関連研究

感情分析を対象とした領域適応の手法は多くの先行研究がある. Rietzler らは，ソースドメインのラベル付きデータでBERT[1]を fine-tuning する前に, ターゲットドメインのラベルなしテキストを用いて BERT の事前学習を再度行うことで領域適応を行う手法を提案した [2]. 白らは, BERTの最上位層の埋め込み表現ではなく，一つ下の層の埋め込み表現をドメインに特化されていない単語の特徴べクトルとみなし, この平均ベクトルを入力とする 3 層のニューラルネットワークを学習することで領域適応を行う手法を提案した [3]. Yu らは, Cross-Domain Review Generation(CDRG) という手法を提案した [4]. ソースドメインにおけるラベル付きレビューの属性語・感情語をターゲットドメインのそれに変換することで，夕ーゲットドメインのラベル付きレビュー文を自動生成し，これを BERT の fine-tuning に用いた。

上記の先行研究ではレビューのジャンルをドメインとした領域適応の手法が提案されていたが，本研究では属性をドメインとした領域適応を扱う。

## 3 提案手法

## 3.1 概要

提案手法の概要を図 1 に示す.ラベル付きデー夕が存在する属性をソースドメイン, 存在しない属性をターゲットドメインとする。図中の (S),(T) はそれぞれソースドメイン，夕ーゲットドメインのデー 夕を表す。

ターゲットドメインのラベル付きデータを $2 \supset$ の手法で自動生成する。ひとつは自動ラベル付け

図 1 提案手法の概要

による手法 (図 1 (A))である。詳細は 3.2 項で述べる。もうひとつは, $\mathrm{CDRG}[4]$ を拡張し，ソースドメインのレビュー文から新たにターゲットドメインのラベル付きデー夕を自動生成する手法 (図 1 (B)) である. 本研究ではこれを Cross-Aspect Review Generation (CARG) と呼び，その詳細を 3.3 項で述べる. 最後にターゲットドメインの極性判定モデルを学習する。詳細は 3.4 項で述べる.

## 3.2 自動ラベル付けによる訓練データ構築

ソースドメインの訓練データから事前学習済みの BERT を fine-tuning し, 極性判定の分類器 (図 1 の $\operatorname{BERT}(\mathrm{S})$ )を得る。次に，これを用いてターゲットドメインの文の極性を判定し，ラベルを付与する。この際, 極性の予測確率が $T_{p}$ 以下のレビュー文は除外する。

## 3.3 Cross-Aspect Review Generation

## 3.3.1 感情語と特徵語の抽出

ソースドメインとターゲットドメインのそれぞれについて，そのドメイン (属性) のレビューで使われる感情語を抽出する。感情語とは “excellent”, “bad” など書き手の感情や評価を表す単語である. 感情語の抽出には SentiWordNet[5] を用いる. SentiWordNet は，単語のそれぞれの語義について，肯定のスコアと否定のスコア (ともに 0 1 の値) が付与されている. また, 語義は出現頻度の順にランク付けされている。単語 $w$ の感情語スコア $S S(w)$ を式 (1) のように定義する。

$
S S(w)=\sum_{i=1}^{n} \frac{1}{n} \cdot|\operatorname{pos}(w, i)-n e g(w, i)|
$

$i$ は語義の出現頻度のランク, $\operatorname{pos}(w, i)$ と $n e g(w, i)$ はそれぞれ単語 $w$ の $i$ 番目の語義の肯定と否定のス
コア, $n$ は単語 $w$ の語義の総数を表す. $S S(w)$ が閾値 $T_{s}$ 以上の単語をドメイン固有の感情語として抽出する.

次に，特定のドメインだけによく使われる単語を「特徵語」と定義し，これを抽出する，例えばドメイン (属性)が food のときには “dinner” や“dessert” などが， serviceのときは “staff” ゃ “waiter”などがそのドメインの特徴語となる。いま，いくつかの属性について，その属性について言及されたレビュー集合があると仮定する，各属性のレビュー集合を仮想的にひとつの文書とみなし, 属性 $a$ における単語 $w$ の TF-IDF を計算する．あるドメイン $a$ のレビュー 集合のみに出現し, かつ TF-IDF の上位 $T_{d}$ 件の単語をドメインの特徴語として抽出する。

## 3.3.2 レビュー文の生成

ソースドメインのラベル付きデータにおける感情語もしくは特徵語をターゲットドメインの感情語もしくは特徵語に置き換えることにより，ターゲットドメインのラベル付き文を新たに生成する．単語の置き換えには BERT の Masked Language Model (MLM) を利用する。あらかじめ, 事前学習済みの BERT の MLM を初期のパラメ夕とし，大量のラべルなしレビュー文の集合を用いて MLM を再学習する。

レビュー文生成の手続きを以下に示す.

1. ラベル付きのソースドメインの文について，その中にソースドメインの感情語と特徴語が出現していれば，それを [MASK]に置換する。

2. [MASK] に対して左から順に以下の処理を実行する。

(a) MLM によって [MASK] によって埋めるべき単語を予測する。元の単語が感情語ならターゲットドメインの感情語, 特徴語ならターゲットドメインの特徴語のうち， MLM による予測確率が大きい $T_{k}$ 個の単語を得る。 [MASK] をその単語に置換し， $T_{k}$個の新しい文を得る。

(b) 文の数が組み合わせ的に増大することを避けるため，2 個目以降の [MASK] を置換するときは， $T_{k} \times T_{k}$ 個の文のうちスコア ${ }^{1)}$ が高い $T_{k}$ 個の文を選択し，次の [MASK] の処理に移る。この処理は最後の [MASK] の

1）文のスコアは，複数箇所の [MASK] を置換した単語の MLM による予測確率の和とする。

ときには行わず, 最終的に最大で $T_{k} \times T_{k}$ 個の文を得る。

上記の文生成手法は CDRG[4] を元にしているが， CDRG では属性語を置換するのに対し, 本研究では特徴語を置換する点, CDRG では 1 つの文からター ゲットドメインの文を 1 つ生成するのに対し本研究では最大で $T_{k} \times T_{k}$ 個の文を生成する点が異なる.

## 3.3.3 生成文のフィルタリング

生成された文の自然さを擬似対数尤度スコア PLL(pseudo-log-likelihood score)[6] によって測る. PLL は, 文中の各単語 $w_{t}$ を BERT の MLM で予測した確率の対数尤度の和である。

$
\log P_{M L M}(W)=\sum_{t=1}^{|W|} \log P_{M L M}\left(w_{t} \mid W_{\backslash t}\right)
$

自動生成されたレビュー文のうち, $\log P_{M L M}(W)$ が閾値 $T_{f}$ より小さい文を削除する.

## 3.4 極性判定モデルの学習

3.2 項と 3.3 項で生成したラベル付きレビューを用いて BERT を fine-tuning し， ターゲットドメインの極性判定モデル (図 1 の BERT(T))を得る.

後述する実験で用いるデータセットには，極性ラベルの分布に偏りが見られる。この問題に対処するため, 本研究では Focal Loss[7] を損失関数として使用する。二値分類のときの Focal Loss の定義を式 (3) に示す.

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \cdot \log \left(p_{t}\right)
$

ここで $\gamma$ はハイパーパラメタである. データセットの中で小さな割合しか占めないデータのクラスは, その予測確率 $p_{t}$ は小さくなる傾向がある。通常の cross entropy の式に $\left(1-p_{t}\right)^{\gamma}$ を加えることにより，少数の極性クラスについては損失が大きく見積もられ，その分類エラーが大きく評価される。

## 4 評価実験

## 4.1 実験設定

評価実験には 2 つのデータセットを使用する。 ひとつは SemEval-2014 Task 4 Aspect Based Sentiment Analysis のレストランのデータセット [8] である. レストランに関するレビュー文に対し, 属性のカテゴリとそれに対する極性クラスが付与されている。属性は “service", "food”, "price”, “ambience”, “anecdotes” の 5 つであり, 本実験ではこれをドメインとする。極性クラスは “positive”, “negative”, "conflict", "neutral" の4つである. データセットの詳細を表 1 に示す. positiveのレビューが多く, conflict や neutral (ただし “anecdotes”を除く) は少ない.

表 1 レストラン・データセットの詳細

もう一つは Laptop ACOS(Aspect-Category-OpinionSentiment) のデータセット [9] である. Amazon に投稿されたラップトップパソコンに関するレビューに対し, 評価対象の属性と極性が付与されている。極性カテゴリは “postive”, "negative”, "neutral” の 3 つである. 本実験では，付与されている属性を “general”, “design”, "performance", “quality” の 4 つに人手で分類し，これを属性のドメインとみなした。データセットの詳細を表 2 に示す。このデータも neutral のレビューが極端に少ないという極性クラスの偏りが見られる。

表 2 ラップトップ・データセットの詳細

全ての属性の組について，一方をソースドメイン，もう一方をターゲットドメインとして，後者のデータセットに対する極性判定の正解率を測る．以下の 5 つの手法を比較する。

ベースライン 1 (BL1) ソースドメインのラベル付きデータを用いて BERTを fine-tuning する手法. 領域適用をしない手法である.

ベースライン 1 (BL2) 3.2 項で述べた手法で得られたターゲットドメインの擬似ラベルを用いて BERT を fine-tuning する手法.

CARG1 BL2 の擬似ラベル文と CARGによって生成されたレビュー文を訓練データとして BERT を fine-tuningする手法.

CARG2 CARG1 に加え, 3.3.3で述べた生成文のフィリタリングを行う手法。

CARG3 CARG2に加え， 3.4 で述べた Focal Loss を使って BERT を fine-tuning する手法.
表 3 レストラン・データセットにおける極性判定の正解率

S: service, F: food, P: price, Am: ambience, An: anecdotes.

*,+は，それぞれ BL1, BL2 と比べて，マクネマー検定によって $p<0.05$ で有意差があることを表す.

表 4 ラップトップ・データセットにおける極性判定の正解率

G: general, Q: quality, P: performance, D: design *,+は表 3 と同じ.

レストラン・データセットについては，CARGを用いる際, BERT の MLM を再学習するために 3 万件の Yelp のレストランレビュー[10]を使用した。 ラップトップ・データセットについては事前学習済みの BERT の MLMをそのまま用いた。実験パラメ夕の詳細を付録 A に示す。

## 4.2 実験結果と考察

レストラン・データセットの実験結果を表 3 に示す.太字はそれぞれのドメインの組において正解率が最も高いことを表す。ベースライン手法 (BL1,BL2) と提案手法 (CARG1 3) を比較すると, 20 のドメインの組のうち 17 組について, 提案手法の方が優れている。このことから，夕ーゲットドメインのラベル付きデータを自動生成する CARG の有効性が確認できる. CARG1 と CARG2 を比較すると，全 20 組のうち 12 組について CARG2 の正解率が高いことから, 自動生成された文のうち生成確率の低い文をフィルタリングする手法はある程度有効であると言える. CARG2 と CARG3を比較すると, 全 20 組のうち 15 組については $\mathrm{CARG} 3$ の正解率が同じもしくは高い. 今回の実験では Focal Loss の導入が効果的であった。

ラップトップ・データセットの実験結果を表 4 に示す.レストラン・データセットの結果と同様に, ベースラインよりも提案手法の方が優れている。た
だし，統計的に有意差があるドメインの組はレストラン・データセットに比べて少ない. レストランの実験では Yelp のレビューを用いて MLM を再学習したのに対し，ラップトップでは事前学習した MLM をそのまま用いたことが原因のひとつとして考えられる。また, CARG1 よりも CARG2 の方が正解率が高い傾向にあることが確認できるが，CARG3 は CARG2 と比べて同等もしくはやや劣る. 2 つ異なるデータセットでおおよそ同様の結果が得られたことから, 提案手法がどのようなジャンルのレビュー にも適用できるという意味での汎用性を有することが示唆される。

CARG による文生成の例を付録 B に示す。

## 5 おわりに

本論文は，属性に対する極性判定において，異なる属性のラベル付きデータを利用して極性判定の分類器を学習する領域適応の手法を提案した。評価実験では, 全体的には提案手法はべースラインを上回ったが，属性の組によっては極性判定の正解率が向上しなかった.今後の課題として, この原因を精査し, 任意のドメインの組において自動生成する文の品質を向上させる手法を探究したい. 例えば, 属性に関連する語として特徴語を抽出しているが，属性の特徴を明示的に示す単語だけでなく暗黙的に示す語も抽出することを検討する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), pp. 4933-4941, 2020.

[3] 白静, 田中裕隆, 曹類, 馬ブン, 新納浩幸. Bert の下位階層の単語埋め込み表現列を用いた感情分析の教師なし領域適応. 情報処理学会研究報告, Vol. 2019-NL-240, No. 17, pp. 1-6, 2019.

[4] Jianfei Yu, Chenggong Gong, and Rui Xia. Cross-domain review generation for aspect-based sentiment analysis. In Findings of the Association for Computational Linguistics, pp. 4767-4777, 2021.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. SentiWordNet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), pp. 2200-2204, 2010.

[6] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[7] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. arXiv:1708.02002, 2017.

[8] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. Association for Computational Linguistics, Vol. Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 27-35, 2014.

[9] Hongjie Cai, Rui Xia, and Jianfei Yu. Aspect-categoryopinion-sentiment quadruple extraction with implicit aspects and opinions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 340-350, 2021.

[10] Yelp dataset, (2022 年 12 月閲覧). https://www.yelp. com/dataset.

## A 実験時のパラメタ

実験時に設定したパラメ夕は以下の通りである。
- 自動ラベル付けにおける予測確率の閾値 $T_{p}$ を 0.8(レストラン)または 0.5 (ラップトップ) に設定した。
- 感情語抽出の極性スコアの間値 $T_{s}$ を 0.3 に設定した。

・特徵語抽出の際の件数 $T_{d}$ を 100 に設定した.
- CARG における文生成数のパラメ夕 $T_{k}$ を 100 に設定した。

・生成文のフィルタリングの閾値 $T_{f}$ を -30 に設定した。

・ Focal Loss のハイパーパラメ夕 $\gamma$ を 2 に設定した.

## B CARG による文生成の例

CARGによって生成された文の例を表 5 に示す。下線は置換された単語を表す。評価語が“good” や “great”など food の評価に良く使われるものに置換され，また“service”が “food”に置換されており， ターゲットドメイン (food) のレビューらしい文が生成されている.

表 5 CARGによる生成文の例

 &  \\


# Subspace representation for text classification with limited training data

Erica K. Shimomoto ${ }^{1}$, Edison Marrese-Taylor ${ }^{1}$, Hiroya Takamura ${ }^{1}$ Ichiro Kobayashi $^{1,2}{ }^{1,}$ Yusuke Miyao $^{1,3}$
National Institute of Advanced Industrial Science and Technology ${ }^{1}$
Ochanomizu University $^{2}$, The University of Tokyo ${ }^{3}$
\{kidoshimomoto.e, edison.marrese, takamura.hiroya\}@aist.go.jp
koba@is.ocha.ac.jp, yusuke@is.s.u-tokyo.ac.jp
}

\begin{abstract}
Using large pre-trained language models (PLM), such as BERT, to tackle natural language processing downstream tasks has become a common practice, where it is often necessary to fine-tune the PLM to achieve the best results. However, these PLMs require large training data to fine-tune the desired task properly. To solve this problem, we propose using subspace-based methods to explore the geometrical structure of embeddings extracted from a PLM, effectively performing text classification when limited training data is available. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. While our results are limited to sentiment analysis, they showcase a less data-hungry strategy that could be applied in other limited resource contexts.
\end{abstract
## 1 Introduction

With the development of the transformer architecture [1], it has become a common practice to use pretrained large language models (PLM), such as BERT [2] and GPT3 [3], to tackle downstream tasks in natural language processing.

While there are strategies to use these PLMs without further training, through prompting, and/or training in a parameter-efficient manner by using adapters, fine-tuning these models for the desired task by adding a simple head to the language model is still a standard strategy.

Fine-tuning language models have been shown to lead state-of-the-art results in several downstream tasks in NLP, but struggle to deliver good performance when there is lim- ited training data. Nevertheless, fine-tuning can be tricky as results can highly vary depending on the choice of random seed for hyper-parameter initialization and training data order [4].

In light of this issue, in this paper, we offer a simple alternative to PLM fine-tuning, based on the subspace representation, and demonstrate its effectiveness when there is limited training data in the task of text classification.

Such representation comes from computer vision, based on the empirical evidence that patterns of the same entity (e.g., pictures of the same person) tend to cluster in highdimensional space [5, 6]. Moreover, it has been shown to hold also for traditional word embeddings of texts, being extensively explored in several NLP downstream tasks, such as word compositionality [7], word polysemy [8], text summarization [9], and text classification [10].

In this setting, each text input is represented as a set of embeddings, which are modeled as low-dimensional linear subspaces in a high-dimensional embedding space. When modeled using the principal components analysis (PCA), the subspace compactly represents the distribution of the features in a set based on the directions of the highest variance. This subspace discards irrelevant information, such as noise, while effectively representing variations, making it a powerful tool when there is limited training data.

We extend these studies to showcase the capabilities of the subspace representation when limited training data is available to fine-tune a PLM. We specifically target the task of sentiment analysis, performing tests on the Movie Review and IMDB datasets. We chose these two datasets as they contain samples from the same domain but significantly differ in size. We compared the subspace-based methods' performance to a standard classifier built on top

Figure 1: Process of modeling a text as a subspace. Words from the text are extracted and then translated to word vectors by using a word embedding model. Then, the set of word vectors is modeled as a word subspace by using PCA

of BERT, and our results show that the subspace-based methods using pre-trained BERT embeddings can outperform fine-tuned BERT in a low training data regime.

## 2 Subspace theory overview

In this section, we lay down the foundations of subspace representation and how it is applied to textual data. Then, we discuss the main subspace-based methods used to tackle the text classification task.

## 2.1 Subspace representation for texts

In this formulation, each text is represented by a set of $n$ embedding vectors organized as the columns in an embedding matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of the embedding vectors. This set of vectors is then modeled as a set of basis vectors spanning a linear subspace. To obtain a consistent subspace representation that can be applied to sets of different numbers of embedding vectors, we apply the principal components analysis (PCA) without data-centering.

This representation retains most of the variability of the original embeddings in the set [11,12], and, consequently, can effectively and compactly represent the context of the corresponding text. Each direction given by the basis vectors of this subspace represents the directions with the highest variance of the text embeddings and can be regarded as the main semantic meanings [9].

Figure 1 shows our approach to model a subspace from a text. To model the word subspace for this set of embeddings, we first need to compute the following autocorrelation matrix, $\boldsymbol{R}=\boldsymbol{X} \boldsymbol{X}^{\top}$. The orthonormal basis vectors of the $m$-dimensional subspace $\mathcal{Y}$ are obtained as the eigenvectors with the $m$ largest eigenvalues $\left.\{\lambda_{l}\right.\}_{l=1}^{m}$ of the matrix $\boldsymbol{R}$. The subspace $\mathcal{Y}$ is then represented by the matrix $\boldsymbol{Y} \in \mathbb{R}^{p \times m}$, which has the corresponding orthonormal basis vectors as its column vectors.
For details on choosing the subspace dimension $m$, we refer the readers to the Appendix A. In addition, we will refer to the subspaces by their basis vectors' matrices for simplicity.

## 2.2 Subspace-based methods for text classification

This section discusses the main subspace-based methods used for text classification, specifically for sentiment analysis. We formulate our problem as a single-label classification problem. Given a set of training texts and their respective labels denoted as $\left.\{\left(\boldsymbol{X}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$, where $\boldsymbol{X}_{i} \in \mathbb{R}^{p \times n_{i}}$ are the text's embeddings, $l_{i} \in(1,2)$ is its class label, and $d$ is the number of texts in the dataset; we wish to classify an input text $\boldsymbol{X}_{i n}$ into one of the classes. In the case of sentiment analysis, we consider only two different classes, i.e., positive and negative sentiment.

## 2.2.1 MSM

The application of mutual subspace method (MSM) [13] to text classification comes from the observation that a subspace spanned by important words representing a class, i.e., class subspace, can also be derived from a single text or a combination of all texts in the class. Furthermore, a subspace modeled from a text, i.e., text subspace, that also belongs to this class should be almost the same as the class subspace [10].

Given an input text subspace $\boldsymbol{Y}_{\text {in }} \in \mathbb{R}^{p \times m_{i n}}$ and the $c$-th class subspace $\boldsymbol{Y}_{c} \in \mathbb{R}^{p \times m_{i}}$, we measure their similarity based on their canonical angles [14], computed using the singular value decomposition (SVD) [15].

We first calculate the SVD, $\boldsymbol{Y}_{i n}^{\top} \boldsymbol{Y}_{c}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\top}$, where $\boldsymbol{\Sigma}=$ $\operatorname{diag}\left(\kappa_{1}, \ldots, \kappa_{m_{i n}}\right),\left.\{\kappa_{j}\right.\}_{j=1}^{m_{i n}}$ represents the set of singular values, and $\left(\kappa_{1} \geq \ldots \geq \kappa_{m_{i n}}\right)$. The similarity can then be calculated as $S^{i n, c}(t)=\frac{1}{t} \sum_{j=1}^{t} \kappa_{j}^{2}$, where $1 \leq t \leq m_{i n}$, and is equivalent to taking the average of the squared cosine of $t$ canonical angles. Finally, the input text is assigned to the class with the highest similarity.

## 2.2.2 GSM

The Grassmann Subspace Method (GSM) increases the abstraction level by representing each text subspace $\boldsymbol{Y}$ as a point $\boldsymbol{y}$ on the Grassmann manifold, where each sentiment class can then be modeled by the distribution of the subspaces it contains. Classification is performed by comparing a set of reference points on the Grassmann manifold,

Figure 2: Subspace representation on a Grassmann manifold

modeled as a subspace $\boldsymbol{S}_{c}$, with an input point $\boldsymbol{y}_{i n}$.

The Grassmann manifold $\mathcal{G}(m, p)$ is defined as a set of $m$-dimensional linear subspaces of $\mathbb{R}^{p}[16]$. This manifold can be embedded in a reproducing kernel Hilbert space by using a Grassmann kernel [17]. In this work, we use the projection kernel, $k_{p}\left(\boldsymbol{Y}_{1}, \boldsymbol{Y}_{2}\right)=\frac{1}{m} \sum_{j=1}^{m} \cos ^{2} \theta_{j}$, which is homologous to the subspace similarity.

Then, a text subspace $\boldsymbol{Y}$ can be represented as a point on the Grassmann manifold with regards to a reference subspace dictionary $\left.\{\boldsymbol{Y}_{q}\right.\}_{q=1}^{N}$ as:

$
\begin{aligned}
\boldsymbol{y} & =k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{q}\right) \\
& =\left[k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{1}\right), k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{2}\right), \ldots, k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{N}\right)\right] \in \mathbb{R}^{N}
\end{aligned}
$

Figure 2 shows a conceptual diagram of the subspace representation on a Grassmann manifold. Consider the set of training subspaces $T=\left.\{\left(\boldsymbol{Y}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to the texts in the training set. We obtain a set of points $\left.\{\left(\boldsymbol{y}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to each training text subspace by using equation 1 with respect to $T$. Through the kernel trick using the projection kernel, we now have a set of points on the Grassmann manifold corresponding to each sentiment class. GSM models the sentiment class subspaces $S_{c}$ based on the set of points corresponding to each class.

We measure the similarity between a sentiment class subspace $\boldsymbol{S}_{c}$ and an input point $\boldsymbol{y}_{i n}$ by $S^{i n, c}=\boldsymbol{y}^{\top} \boldsymbol{P}_{c} \boldsymbol{y}$, where $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$ is the projection matrix onto the subspace $S_{c}$.

Although this method is not suitable for tasks with a large number of training samples, due to the kernel matrix calculation, it is very effective to generalize the local distribution of subspaces on the Grassmann manifold when there is limited training data.

## 2.2.3 GOSM

Word embeddings extracted from models trained based on the co-occurrence of words do not necessarily carry sentiment information, i.e., opposite sentiment words might have very close embedding representations because they often occur in the same context. Based on this observation, previous work [10] has shown that using discriminative versions of the subspace-based methods, such as the Grassmann Orthogonal Subspace Method (GOSM), to be effective in solving sentiment analysis.

GOSM applies the whitening process to the sentiment class subspaces $S_{c}$ on the Grassmann manifold, maximizing the distance between them, and alleviating the lack of sentiment information, i.e., it increases the distance between opposite sentiment word embeddings.

First, we need to calculate the whitening matrix $\boldsymbol{O}$. We define their projection matrices as $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$, and then calculate the total projection matrix, $\boldsymbol{G}=\sum_{c=1}^{|C|} \boldsymbol{P}_{c}$, where $|C|$ is the number of classes.

The whitening matrix $\boldsymbol{O}$ can be obtained based on the eigenvalues and eigenvectors of the matrix $\boldsymbol{G} \in \mathbb{R}^{v \times p}$ as $\boldsymbol{O}=\mathbf{\Lambda}^{-1 / 2} \boldsymbol{E}^{\top}$, where $v=|C| \times m, \boldsymbol{\Lambda} \in \mathbb{R}^{v \times v}$ is the diagonal matrix with the $j$-th highest eigenvalue of the matrix $G$ as the $j$-th diagonal component, and $\boldsymbol{E} \in \mathbb{R}^{p \times v}$ is a matrix whose $j$-th column vector is the eigenvector of $\boldsymbol{G}$ corresponding to the $j$-th highest eigenvalue.

Classification under this framework is very similar to GSM; however, we compute a whitening transformation matrix during the training stage. In the classification stage, we first apply this whitening transformation to all reference subspaces $\boldsymbol{S}_{c}$ and input point $\boldsymbol{y}_{\text {in }}$ following:

$
\begin{aligned}
S_{c}^{o} & =O S_{c} \\
\boldsymbol{y}_{i n}^{o} & =O \boldsymbol{y}_{i n}
\end{aligned}
$

Then, classification follows as described in GSM.

## 3 Experiments and Results

In this section, we describe the experiments performed to assess the effectiveness of the discussed subspace-based methods in low training data regimes and compare them against a transformer-based language model using full finetuning. More specifically, we compare against BERT [2], using the HuggingFace library [18] implementation and the "bert-base-uncased" pre-trained model.

In our experiments, we used two different datasets:
- Movie review (MR) dataset $\mathbf{\text { 2.0 }}{ }^{1)}$, proposed by [19], containing 2000 reviews extracted from the IMDB website, with 1000 positive sentiment review, and 1000 negative sentiment reviews.
- IMDB dataset ${ }^{2)}$, proposed by [20], containing 50000 reviews also extracted from the IMDB website, where half of the reviews express positive sentiment, and half express negative sentiment.

We specifically chose these two datasets because they contain samples from the same domain but significantly differ in size. For both datasets, we used the standard traintest sets.

Classification using subspaces followed the methods explained in Section 2.2. When using BERT, we added a classification head that consists of a linear layer on top of the pooled output. We will refer to this method as "standard" as this is one of the standard ways to perform classification when using BERT ${ }^{3}$.

While there are several ways to extract embeddings from BERT, in our experiments, we considered the following: Given a text $t$ with $n$ tokens ${ }^{4}$, we extracted $n$ embeddings. For each token, we considered the sum of the token's representation taken from the last four layers in BERT. Therefore, each text can be represented as a matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of BERT's hidden layers (i.e., 768).

We first compared their performances on the larger IMDB dataset. Due to this dataset's size, we did not test the Grassmann variations of the subspace-based methods.

Results are shown in Table 1. When using the pretrained BERT, we can see that although the standard classifier can perform relatively well, MSM could outperform it. However, once we fine-tune BERT, the standard classifier achieves the best performance, although the difference with MSM is smaller than with pre-trained BERT. These results indicate that the subspace-based methods can be helpful when fine-tuning is not feasible.

We then assessed their performance in the smaller MR dataset. Results are shown in Table 2. We can see that without fine-tuning, the standard classifier performs poorly. On the other hand, MSM shows a performance consistent with the IMDB dataset. Furthermore, we can see results further

Table 1: Results on the IMDB dataset, comparing the MSM with standard classifier when using pre-trained BERT and fine-tuned BERT on the IMDB training set

Table 2: Results on the Movie Review dataset, comparing the subspace-based methods with the standard classifier when using pre-trained BERT and fine-tuned BERT on the MR and IMDB training set

improve with GSM and GOSM.

In addition, we can observe that when we fine-tune BERT on the MR dataset, the standard classifier's performance significantly improves; However, we can see it achieves about the same performance as GSM with pretrained BERT embeddings. Fine-tuning BERT on IMDB helps improve its performance on the MR dataset, but it is still far below the performance it achieved for IMDB.

## 4 Conclusions

We presented a subspace-based alternative for finetuning large transformer language models when there is limited training data for text classification. When modeled using PCA, the subspace representation can compactly represent the distribution of the features in a set, making it a powerful tool in low training data regimes. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. Although limited, our results show that subspace-based methods can offer an effective alternative for fine-tuning in text classification.

## Acknowledgments

This paper is based on results obtained from the project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877-1901, 2020.

[4] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020.

[5] Satosi Watanabe and Nikhil Pakvasa. Subspace method of pattern recognition. In Proc. 1st. IJCPR, pages 25-32, 1973.

[6] Taizo Iijima, Hiroshi Genchi, and Ken-ichi Mori. A theory of character recognition by pattern matching method. In Learning systems and intelligent robots, pages 437-450. Springer, 1974.

[7] Hongyu Gong, Suma Bhat, and Pramod Viswanath. Geometry of compositionality. In Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[8] Jiaqi Mu, Suma Pallathadka Bhat, and Pramod Viswanath. Geometry of polysemy. In 5th International Conference on Learning Representations, ICLR 2017, 2019.

[9] Hongyu Gong, Tarek Sakakini, Suma Bhat, and JinJun Xiong. Document similarity for texts of varying lengths via hidden topics. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2341-2351, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Erica K Shimomoto, François Portet, and Kazuhiro Fukui. Text classification based on the word subspace representation. Pattern Analysis and Applications, 24(3):1075-1093, 2021.

[11] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Represent- ing sentences as low-rank subspaces. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 629-634, 2017.

[12] Erica K Shimomoto, Lincon S Souza, Bernardo B Gatto, and Kazuhiro Fukui. Text classification based on word subspace with term-frequency. In 2018 International Joint Conference on Neural Networks (IJCNN), pages 1-8. IEEE, 2018.

[13] Kazuhiro Fukui and Atsuto Maki. Difference subspace and its generalization for subspace-based methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(11):2164-2177, 2015.

[14] Françoise Chatelin. Eigenvalues of Matrices: Revised Edition. SIAM, 2012.

[15] Kazuhiro Fukui and Osamu Yamaguchi. Face recognition using multi-viewpoint patterns for robot vision. Robotics Research, The Eleventh International Symposium, ISRR, pages 192-201, 2005.

[16] Yasuko Chikuse. Statistics on special manifolds. Springer, Lecture. Notes in Statistics, 174, 2013.

[17] Jihun Hamm and Daniel D Lee. Grassmann discriminant analysis: a unifying view on subspace-based learning. In Proceedings of the 25th international conference on Machine learning, pages 376-383. ACM, 2008.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pages 38-45, 2020.

[19] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. In Proceedings of the 42nd annual meeting on Association for Computational Linguistics, page 271. Association for Computational Linguistics, 2004.

[20] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pages 142-150, 2011.

## A Subspace dimension

In general, the dimension $m$ of each subspace is empirically determined. For sentences, about four dimensions should suffice to retain most of the sentence embeddings' variance [11]. However, for texts or sets of texts, more dimensions will likely be necessary. The amount of variance retained by the basis vectors of the subspace can be determined by using the cumulative contribution rate $\mu(m)$. Considering that we want to keep a minimum of $\mu_{\text {min }}$ of the text variance, we can determine $m$ by ensuring that $\mu(m)_{d} \geq \mu_{\text {min }}$, where:

$
\mu(m)_{d}=\frac{\sum_{l=1}^{m}\left(\lambda_{l}\right)}{\sum_{l=1}^{p}\left(\lambda_{l}\right)} .
$


# Prompt-based Fine-tuning for Emotion Recognition in Conversation

Zikai Chen 鶴岡 慶雅
東京大学大学院
\{chen, tsuruoka\}@logos.t.u-tokyo.ac.jp
}

\begin{abstract}
Emotion Recognition in Conversation (ERC) is an important task in Natural Language Processing. However, few studies on ERC have fully exploited the knowledge within pre-trained language models (PLMs), or investigated ERC in low-resource settings. In this paper, we propose a Prompt-based fine-tuning method for ERC tasks (PERC), which leverages the knowledge of large PLMs to improve the performance of ERC in low-resource settings. We conduct experiments on four widely-used ERC benchmarks and show that our method outperforms or is comparable to current state-of-the-art (SOTA) methods. We also run experiments in the few-shot setting and demonstrate that our method greatly outperforms SOTA baselines.
\end{abstract
## 1 Introduction

Emotion Recognition in Conversation (ERC) is a task aiming at identifying the emotions of each utterance in a dialogue. ERC has garnered growing attention in recent years due to its potential applications in various fields, such as empathetic dialogue systems [1], opinion mining in social media [2], and healthcare [3].

In ERC, the emotions of an utterance are often influenced by the dialogue context. This distinguishes ERC from traditional emotion recognition techniques, which typically operate on individual sentences. Such dependencies can be further classified into two categories: the intra-speaker dependency and the inter-speaker dependency. The intraspeaker dependency refers to the emotion flow within a single speaker, where the current emotion of a speaker may be strongly influenced by his/her previous emotional states. In contrast, the inter-speaker dependency occurs when the emotions of one speaker are affected by other speakers within a conversation. An example of such dependencies can be seen in Figure 1, which shows a dialogue snippet from the MELD [4] dataset.

Figure 1 A dialogue snippet from MELD. Intra- and inter-speaker dependencies are represented by blue and orange arrows, respectively.

In previous literature, there has been significant research modeling both intra-speaker and inter-speaker dependencies in ERC with Recurrent Neural Networks (RNNs), Graph Neural Networks (GNNs), or Transformers $[5,6,7,8,9,10,11,12,13]$. However, there are two main limitations on such research. Firstly, many previous studies rely on Pre-trained Language Models (PLMs) to obtain the embeddings of utterances. Some of them directly use PLMs with frozen parameters, which limits the capability of these models. Others fine-tune PLMs during training, but as fine-tuning introduces extra layers on top of PLMs and has a different objective from the pre-training phase, such fine-tuning is prone to overfit the dataset, and knowledge learned during pre-training is not effectively utilized [14].

Secondly, despite the extensive research on ERC, few studies have focused on low-resource settings. This is a critical issue, as it can be challenging to obtain large
dialogue corpora with well-annotated emotion labels. The ability to perform ERC effectively in a low-resource setting is therefore of great importance.

Recently, prompt-based fine-tuning methods have been proposed for various Natural Language Processing (NLP) tasks $[15,16,17]$. In classification tasks, these methods transform the task into a blank-filling problem and predict the labels using a Masked Language Model (MLM) loss function. This aligns with the MLM pre-training objective of PLMs, allowing for better utilization of the knowledge within these models. Prompt-based fine-tuning methods have also shown excellent performance in few-shot learning settings.

We propose a Prompt-based fine-tuning method for ERC tasks (PERC). Our approach involves designing a template that focuses on both intra- and inter-dependencies in dialogues, and using a simple verbalizer to make the process easy to generalize to different ERC tasks.

We conduct experiments on four widely-used ERC datasets, and the results show that our method can achieve better or comparable performance to current state-of-theart (SOTA) methods. In addition, we evaluate our model in the few-shot setting, and find that it greatly outperforms SOTA baselines.

## 2 Related Works

## 2.1 Emotion Recognition in Conversation

ERC has been intensively studied in recent years. In the relatively early stages, techniques such as GRU and LSTM were commonly used to model dependencies between utterances in a dialogue. For example, Wang et al. [6] used general and personalized LSTMs to capture the dependencies within the dialogue. Ghosal et al. [7] employed GRU and common knowledge to update various types of states representing different aspects of the speakers in a conversation. Hu et al. [8] used different LSTMs to obtain the contextual information on each utterance, and then employed a recursive reasoning module to obtain the final representation.

More recently, GNNs and Transformer-based approaches have gained popularity in ERC. For example, Shen et al. [9] built an acyclic graph network to model dependencies among utterances, and fine-tuned a RoBERTalarge model on ERC datasets to obtain utterance representa- tions. Lee et al. [10] transformed ERC tasks into dialoguebased relation extraction (RE) tasks, and solved these RE tasks with a graph-based network. Liang et al. [11] applied different masks to the sentence-level attention of a Transformer to model various dependencies in a dialogue, and combined this approach with GNNs to model the distance between speakers. Li et al. [12] used a BART-based encoder and used sentence-level attention to model the dependencies. They also combined emotion prediction with contrastive learning and next sentence generation to facilitate training. Lee et al. [5] employed a RoBERTalarge model to encode the entire dialogue context while also maintained a GRU-based memory network for each speaker.

Other tactics that have been proposed for ERC include adding Conditional Random Fields (CRFs) on top of the model layers to faciliate the modeling of the transition of speakers' emotions [6,11], and using common knowledge from an external knowledge base [7, 13].

## 2.2 Prompt-based Fine-tuning

Since GPT-3 [18], prompt-based methods have achieved impressive results on a variety of NLP tasks, particularly in few-shot and even zero-shot settings. However, with no gradient updates, such methods require extremely large model sizes to work well, which is not practical in many real-world scenarios [16]. As an alternative, prompt-based fine-tuning has been proposed. By reformulating various tasks as cloze tasks and use an MLM loss function to finetune the language model (LM), this approach allows for a smooth transition between pre-training and fine-tuning. Additionally, prompt-based fine-tuning does not introduce any new parameters to the model, making it particularly effective in few-shot settings [15, 16, 17]. In this paper, we apply this approach to the task of emotion classification for each utterance in a dialogue.

## 3 Method

## 3.1 Task Definition

In ERC, the dataset $D$ consists of multiple conversations. Each conversation $C$ consists of $n$ utterances $\left.\{u_{1}, u_{2}, \ldots, u_{n}\right.\}$, where each utterance $u_{i}$ is spoken by speaker $s_{i}$ and annotated with an emotion label $y_{i}$ from a pre-defined label set $Y$. In this paper, we consider the

Figure 2 Our proposed prompt template $T$. $x_{i}$ and $u_{i}$ represent speaker $s_{i}$ 's index and utterance, respectively. In the Memory section, the past utterances of $s_{i}$ are denoted as $\left.\{u_{m_{1}}, u_{m_{2}}, \ldots, u_{m_{j}}\right.\}$, where $m_{1}<m_{2}<\cdots<m_{j}=i$.

real-time setting, in which the emotion of an utterance $u_{i}$ is predicted using only the preceding utterances $u_{\leq i}$ and their labels/predictions. This mirrors real-world scenarios, such as emotion prediction in a dialogue system. We only consider the text modal in this paper.

## 3.2 Prompt Template

We propose a Prompt-based fine-tuning approach for ERC tasks (PERC). First we manually design a template function $T$ that maps each utterance (along with its context information) to its corresponding prompt.

To ensure compatibility across datasets that may not include speaker names, we assign each speaker an index. If speaker $s_{i}$ is the $x$-th person to speak in the conversation, we define $x_{i}=x-1$. This always makes $x_{1}=0$. Then in the prompt, we simply refer to speaker $s_{i}$ as Speaker $x_{i}$.

As illustrated in Figure 2, our prompt template $T$ consists of three parts: Context, Memory and Question, separated by $[S E P]$ tokens. The Context section includes all the dialogue history up to the current utterance, $u_{i}$. For each past utterance $u_{k}$, we include Speaker $x_{k}: u_{k}$ in the prompt. We expect the LM to learn the inter-speaker dependencies through the Context section.

The Memory section has the same format as the Context section, but only includes the conversation of current speaker $s_{i}$. We expect the LM to learn intra-speaker de- pendencies through the Memory section.

The final part of the template is the Question section, where the LM is asked to predict the emotion of $s_{i}$ in the utterance $u_{i}$. The format of Question is How is Speaker $x_{i}$ ? [MASK]. Here, Speaker $x_{i}$ appears again to draw the model's attention to the information related to $s_{i}$, and we use a question mark to elicit the answer at the [MASK] position.

## 3.3 Prompt Answer

In the previous literature, researchers often use a verbalizer $V$ to map label categories to prompt answer words/phrases $[15,19]$. Instead of manually design the answer for each label in each dataset, we adopt a simple rule to automatically perform the mapping. For each category label $y$, we define $V(y)$ as the first sub-word in the tokenized, capitalized label. For example, using the RoBERTa-large language model, $V$ (anger) = Anger, while $V$ (sadness) $=$ Sad because "Sadness" is tokenized into Sad and \#\#ness. We capitalize the label word first because we place a question mark immediately before the [MASK] token, and we want the prompt to be more natural language-like.

## 3.4 Training Objective

To fine-tune the model for utterance $u_{i}$ with label $y_{i}$, we maximize the probability of $V\left(y_{i}\right)$ at the [MASK] position with a MLM loss. As there is only one masked position, the MLM loss reduces to a simple cross-entropy loss.

## 4 Full-shot Experiments

## 4.1 Datasets

We evaluate our proposed method on four widelyused benchmark datasets: MELD [4], IEMOCAP [20], EmoryNLP (EMORY) [21], and DailyDialog (DD) [22]. Details of these datasets are in Appendix A. Following previous studies, we report the micro-F1 score (ignoring the neutral label) on DailyDialog, and the weighted-F1 scores on the other datasets.

## 4.2 Results

We conduct full-shot experiments with PERC. Experiment details can be found in Appendix B.1. We compare our results with several SOTA baselines, includ-

Table 1 Full-shot results. Results for ablation studies can be found in the bottom of the table.

ing COSMIC [7], TODKAT [13], DAG-ERC [9], and CoMPM [5].

From Table 1, we see that PERC sets up new SOTA F1 scores on IEMOCAP, EmoryNLP, and DailyDialog. In particular, on IEMOCAP, our performance is 4 points higher than the highest baseline. On MELD, our score is also competitive with the current SOTA, CoMPM.

## 4.3 Ablation Studies

We also conduct ablation studies on our model. We modify the prompt template by removing the Context section (PERC w/o Context) or the Memory section (PERC w/o Memory). We also investigate the impact of model size by replacing the PLM with the RoBERTa-base model.

The result of ablation studies are shown in the bottom of Table 1. In all cases except for PERC w/o Memory on MELD, performances decrease when the corresponding component is removed. Removing the Context section significantly deteriorates the performance on IEMOCAP, indicating the importance of inter-speaker information in this dataset. Removing the Memory section also slightly hurts the performance on all datasets except MELD. The reason why the performance increases on MELD when the Memory section is removed may be that the MELD is taken from the script of the TV show Friends, and a conversation may contain multiple scenes, resulting in incoherence in the same speaker's utterances. As a result, adding the Memory section to the prompt may be ineffective for MELD. As to the model size, decreasing the model size from large to base consistently degrades the performance by 2 to 4 points on all datasets, indicating that the amount of knowledge in the PLM is critical and using a larger model is beneficial.

Table 2 Few-shot results for $K=16$.

## 5 Few-shot Experiments

## 5.1 Few-shot settings

To create a few-shot setting, following Gao et al. [17], we assume that for each class in the dataset, only $K$ instances are available in the train set and the development set, respectively. Each instance consists of an utterance with its speaker information and emotion label annotation, as well as its full context (all preceding utterances and speaker information), but the emotional labels for preceding utterances are not provided.

## 5.2 Results

We use the datasets described in Section 4.1. Experiment details can be found in Appendix B.2. We conduct few-shot experiments with DAG-ERC, CoMPM, and our PERC. The results for $K=16$ are presented in Table 2. Our method achieves significantly better results than the baselines on all datasets.

## 6 Conclusion

In this paper, we proposed a prompt-based fine-tuning method for Emotion Recognition in Conversation. By designing a template that focuses on both intra- and interspeaker dependencies and using a simple verbalizer to map emotional labels to prompt answers, our method is able to achieve better or comparable performance to current state-of-the-art methods on four widely-used datasets. In addition, our method also greatly outperforms baselines in the few-shot setting.

## References

[1] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

[2] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. SemEval-2019 task 3: EmoContext contextual emotion detection in text. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 39-48, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[3] Francisco A. Pujol, Higinio Mora, and Ana Martínez. Emotion recognition to improve e-healthcare systems in smart cities. In Anna Visvizi and Miltiadis D. Lytras, editors, Research \& Innovation Forum 2019, pp. 245-254, Cham, 2019. Springer International Publishing.

[4] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. MELD: A multimodal multi-party dataset for emotion recognition in conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 527-536, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Joosung Lee and Wooin Lee. CoMPM: Context Modeling with Speaker's Pre-trained Memory Tracking for Emotion Recognition in Conversation, April 2022. arXiv:2108.11626 [cs] version: 3.

[6] Yan Wang, Jiayu Zhang, Jun Ma, Shaojun Wang, and Jing Xiao. Contextualized Emotion Recognition in Conversation as Sequence Tagging. p. 10

[7] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion Identification in Conversations, October 2020. arXiv:2010.02795 [cs].

[8] Dou Hu, Lingwei Wei, and Xiaoyong Huai. DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations. arXiv:2106.01978 [cs], June 2021. arXiv: 2106.01978 .

[9] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed Acyclic Graph Network for Conversational Emotion Recognition. arXiv:2105.12907 [cs], September 2021. arXiv: 2105.12907.

[10] Bongseok Lee and Yong Suk Choi. Graph Based Network with Contextualized Representations of Turns in Dialogue. arXiv:2109.04008 [cs], September 2021. arXiv: 2109.04008

[11] Chen Liang, Chong Yang, Jing Xu, Juyang Huang, Yongliang Wang, and Yang Dong. S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation, December 2021. arXiv:2112.12389 [cs, eess].

[12] Shimin Li, Hang Yan, and Xipeng Qiu. Contrast and Generation Make BART a Good Dialogue Emotion Rec- ognizer, January 2022. arXiv:2112.11202 [cs] version: 2.

[13] Lixing Zhu, Gabriele Pergola, Lin Gui, Deyu Zhou, and Yulan He. Topic-Driven and KnowledgeAware Transformer for Dialogue Emotion Detection. arXiv:2106.01071 [cs], June 2021. arXiv: 2106.01071.

[14] Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi Tan, Fei Huang, Luo Si, and Huajun Chen. KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction. In Proceedings of the ACM Web Conference 2022, pp. 2778-2788, April 2022. arXiv:2104.07650 [cs].

[15] Timo Schick and Hinrich Schütze. Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, January 2021. arXiv:2001.07676 [cs].

[16] Timo Schick and Hinrich Schütze. It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners, April 2021. arXiv:2009.07118 [cs].

[17] Tianyu Gao, Adam Fisch, and Danqi Chen. Making Pretrained Language Models Better Few-shot Learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online, August 2021. Association for Computational Linguistics.

[18] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners, July 2020. arXiv:2005.14165 [cs].

[19] Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang. PPT: Pre-trained prompt tuning for few-shot learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8410-8423, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[20] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower Provost, Samuel Kim, Jeannette Chang, Sungbok Lee, and Shrikanth Narayanan. Iemocap: Interactive emotional dyadic motion capture database. Language Resources and Evaluation, Vol. 42, pp. 335-359, 122008.

[21] Sayyed M. Zahiri and Jinho D. Choi. Emotion detection on tv show transcripts with sequence-based convolutional neural networks, 2017.

[22] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. Dailydialog: A manually labelled multiturn dialogue dataset, 2017.

## A Dataset Details

Statistics of MELD, IEMOCAP, EmoryNLP (EMORY), and DailyDialog (DD) are shown in Table 3.

Table 3 Statistics of ERC datasets. Numbers of dialogues (\#Dlg) and utterances (\#Utt) in train/dev/test sets are listed.

MELD: The Multimodal EmotionLines Dataset is a multimodal dataset collected from the TV show Friends. In our experiments, we only use the text modality. 7 emotion labels are included: neutral, joy, surprise, sadness, anger, disgust, and fear.

IEMOCAP: The Interactive Emotional Dyadic Motion Capture is a multimodal dataset collected from a scripted dialogue between two actors. In our experiments, we only use the text modality. It contains 6 emotion labels: neutral, happiness, sadness, anger, frustration, and excitement.

EmoryNLP (EMORY): The EmoryNLP dataset is also collected from the TV show Friends, but it only includes the text modality. The dataset uses a different emotion set: mad, scared, neutral, joyful, sad, peaceful, and powerful.

DailyDialog (DD): The DailyDialog corpus consists of communications from English learners. This dataset includes 7 emotion labels: neutral, happiness, surprise, sadness, anger, disgust, and fear.

## B Experiment Details

## B. 1 Full-shot Experiments

In full-shot experiments, we use the RoBERTa-large as our PLM and $</ s></ s>$ as the [SEP] token accordingly. We use the AdamW optimizer and a linear learning rate schedule strategy, with the maximum learning rate set to 1e-5. We train for 2 to 5 epochs depending on the dataset size and convergence speed, with 1 epoch for warmup. The batch size is 8 , with gradient being accumulated every 4 steps, resulting in an equivalent batch size of 32 . We run the experiment on 3 random seeds and report the average scores.

## B. 2 Few-shot Experiments

For each dataset, we first sample $K$ instances for the train set and the development set for each class, and then run the same training process as in Section B.1. Finally, we evaluate our model on the full test set. Because few-shot training can be unstable, we repeat the sample, training, and evaluation process 5 times and report the average score.

## C Prompt Example

Figure 3 shows an example of the emotion recognition for $u_{4}$ in Figure 1.

Figure 3 A prompt example of the emotion recognition for $u_{4}$ in Figure 1.


# 公的なメールに対する BERT を用いたセンチメント分析

菊池理紗 1 大関洋平 1
1 東京大学大学院総合文化研究科
rs.kikuchi.11@gmail.com oseki@g.ecc.u-tokyo.ac.jp

## 概要

本研究は，公的な場面で書かれたメールを対象に，読み手の抱く感情と，それに影響を与えるだろう文章的特徴を明らかにすることを目的とした。はじめに，コーパスや心理実験から収集したメールを，WRIMEで再訓練した BERTを用いて，ネガティブ群・ニュートラル群・ポジティブ群に分類した.次に，各群のメールに対して形態素解析を行い，特徵量を算出した. 分析の結果，ネガティブ群は断りのメールが多く，他の 2 群よりも総文字数や名詞出現率，カタカナ形態素の出現率が低く, 動詞・助動詞の出現率，ひらがな形態素の出現率が高かった. また，ニュートラル群は，記号の出現率が高く，動詞出現率やひらがな形態素の出現率が低かった.

## 1 はじめに

日常生活において，文章は重要なコミュニケー ション手段の一つである。それは手書きのメモや手紙に始まり，インターネットの発達を背景に開発された，電子メール（以下，メール）やTwitter， Facebook, Instagram, Slack といった様々なツールでも書かれている. これらのツールを媒介として産出される文章は，文章を通して読み手とコミュニケー ションを行うことを目的としている.

文章は，書き手と読み手の相互作用の結果と捉えることができる [1]. 特に，コミュニケーションを前提とした文章では，書き手は，読み手の立場や自分と読み手の現在や未来の関係性，読み手の感情に対する推測を理由に，文章表現を選択している $[2,3,4]$. 一方で，読み手は，略語の使用や言葉遣い，文章から推測される書き手の感情などの影響を受けて，様々な感情・印象を抱く [5, 6, 7]. すなわち，書き手と読み手の相互的な影響によって，文章とそれに伴う感情が生み出されているといえる。

しかし，日本語の文章を対象としたこれまでの研究では，コミュニケーションを前提として産出され
た文章を対象とした研究は少なく, 読み手との関係性に着目した研究や読み手の抱く印象 - 感情と文章的特徵の関係を検討した研究はさらに限られる. そこで，本研究では，コミュニケーションを前提とした日本語の文章の中でも，公私共に用いることができるメールを対象に，読み手の抱く感情と，それに影響を与える可能性のある文章的特徴を明らかにすることを目的とする。なお，本研究においては，書き手と読み手の関係性は, 大学教員と学生, 大学事務職員と学生といった公的な関係性に限定する。 メールは大学の初年次教育でも取り上げられる媒体であり $[8,9]$, その一方で，大学生の書く公的なメールには不備があるという指摘もある $[10,11]$.本研究の成果は，今後の初年次教育における指導やメールの産出に対する一助となるだろう。

## 2 BERT によるセンチメント分析

## 2.1 カテゴリー個数の設定

センチメント分析とは，ある文章に含まれた感情極性を推測する分析手法であり，この場合，推測されるのは，書き手の感情と考えられる．しかし，ある文章を読んだとき，読み手の感情は，その読み手が書き手の感情だと推測したものと対応して生じる [6]. すなわち，文章に含まれる感情極性を分析することにより，それを読んだ際の読み手の感情を間接的に推測することが可能であるといえる.

英語においては，The Enron Email Dataset ${ }^{11}$ を用いたメールのセンチメント分析が存在する $[12,13,14,15]$. これらの研究から，メールは，ネガティブ・ニュートラル・ポジティブの 3 種類に分類できると明らかになった。したがって，本研究においても，感情極性が 3 種類であることを前提に分析を行った。

## 2.2 分析のモデル

センチメント分析には，極性辞書を用いて単語に感情極性を付与する [12,13]，TF-IDF 値をもとに k-means 法でグループ化する [14]，単語の極性をまとめたデータセットを用いて Support Vector Machine で分類する [15] といった様々な分析手法がある. しかし，極性辞書は単語の極性ラベルであり，文章全体を包括したラベルではない。 また，k-means 法を用いた分類は，後続の研究 [15] でクラスタとラべルの間の関連が不明であるという指摘がある. そこで，本研究では，文章の特徴量と極性ラベルの関係性を BERTに学習させ，それを用いてメールを分類した. 具体的には，「WRIME：主観と客観の感情分析データセット ver.2 2 ㄱ $^{2}$ [16] を用いて事前学習済み BERT モデルを再訓練し，分類を行った。

WRIME は，日本語の文章の感情分析を行うためのデータセットであり，35,000 件の SNS の投稿について，投稿者と 3 名の読み手が 8 種類の基本感情の強度 $(0$ : 無〜 3 : 強の 4 段階) と感情極性 ( -2 : 強いネガティブ〜 2 : 強いポジティブの 5 段階）のラベルを付与したものである. 本データセットを学習データとして採用した理由は，ラベルが文章全体に対して付与されており，かつ，SNS の投稿を使用しているためである. SNS は，コミュニケーションを目的として用いられるツールであり，「話し言葉の要素を多く含む新しい書き言葉」[17] と定義される 「打ち言葉」を用いている点が, 本研究の分析対象であるメールと共通している。加えて, 既に Twitter のセンチメント分析を行う際の学習データセットとして利用されている $[18,19]$. したがって, WRIME で再訓練を行うことで，より的確にセンチメント分析が行えると考えた。

また，読み手が付与したラベルを BERT に学習させた場合に，書き手の感情を最も正しく判断することが指摘されているため [16], 本研究では, 3 名の読み手が付与した感情極性の平均値をラベルとして採用した. さらに，前節で述べたように，メールは 3 種類に分類できることから，5 段階の感情極性のうち，強いネガティブと弱いネガティブは「ネガティブ」, 強いポジティブと弱いポジティブは「ポジティブ」としてまとめ，ニュートラルを含めた 3 段階のラベルとして扱うこととした．なお，ラベル数は，ネガティブが 12,155 件，ニュートラルが 11,462件，ポジティブが 11,383 件である.

BERT モデルは，事前学習済みモデル bert-basejapanese-v2 ${ }^{3}$ )を用いた. BERT モデルの実装には， Hugging Face Transformers ${ }^{4}$ )を使用し, 先行研究を参考に，学習率やバッチサイズ，エポック数を検討した. その中で最も accuracy が高かった設定を用い,学習率を $2 \mathrm{e}-5$ ，バッチサイズを 32 ，ドロップアウ卜率を 01，最適化手法を AdamW [20] として， 3 エポックの訓練を行った $($ accuracy $=0.674)$.

## 2.3 分析対象

現在，日本では，The Enron Email Dataset のような大規模なメールデータセットは存在しない。そのため，2 種類のメールコーパスと第一著者が心理実験 [21,22]を通して収集したメール（計 358 通）を分析対象とした。使用したコーパスは，金澤（2014）の 「日本語教育のためのタスク別書き言葉コーパス」 [23] と東（2020）の「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」[24]である.これらのコーパスには，日本語母語話者と中国語母語話者，韓国語母語話者の作成したメールが収録されている. 本研究では，その中から日本語母語話者が産出したメールのみを使用した。

また，「日本語教育のためのタスク別書き言葉コーパス」には，公的なメール以外の文章も含まれていたため，「メール」と明記され，かつ，読み手が大学教員であるタスク 1 ，タスク 4，タスク 7，タスク 10 のメール（計 120 通）のみを使用した。同様に，「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」においても，読み手が教員であるタスク 1 ，タスク 3 ，タスク 4，タスク 7 ，夕スク8のメール（計 145 通）のみを使用した。

心理実験では, 計 93 名の参加者に対して, 同じ課題内容で 2 回メールを書かせた。これについては,上述の 2 種類のメールコーパスと条件を合わせるため，1 回目に書かれたメール（93 通）のみを使用した。なお，上述のコーパスを含めた各メールの読み手と課題内容を表 1 に示した. 課題内容の「依頼」「断り」「意見」などの分類は，元のコーパスにおけるタスク内容の説明から引用した。

2) https://github.com/ids-cv/wrime
表 1 各コーパスのタスク内容とセンチメント分析の結果

## 2.4 分析結果

358 通のメールは，45 通がネガティブ， 149 通がニュートラル，164 通がポジティブに分類された (表 1 の「感情極性」を参照).メールの内訳を検討したところ，ネガティブに分類されたメールが特定のタスクに偏っている可能性が考えられた. そのため, 同じ読み手に対して異なる内容のメールを書いている東（2020）の「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」のタスク 3，タスク 4，タスク 7，タスク 8 の計 116 通について，対数線形モデルを適用して検討した. 読み手との親踈 (親密, 疎遠), 課題内容 (依頼, 断り)，感情極性（ネガティブ，ニュートラル，ポジティブ）という三つの要因が，各感情極性に分類されたメールの通数に影響を及ぼすと仮定して分析を行った結果，課題内容と感情極性の 1 次の交互作用とそれぞれの主効果を含んだ飽和モデルが適切であった $\left(\mathrm{x}^{2}(4)=3.920, d f=6, p=.69\right)$. また, 交互作用のうち, 課題内容が「断り」の場合に「ネガティブ」に分類されたメールが多かった（ $u=4.22, z=3.96, p<.01)$. したがって, 感情極性とメールの文章的特徵の関係を検討する際には，メー ルの内容も考慮に入れて考える必要がある.

## 3 各感情極性の文章的特徵量の算出

各感情極性に分類されたメールの特徴を検討するため，件名を除いたメールの総文字数と下記の項目を算出した (表 2 を参照).これらの特徴量は，テキスト分類や著者推定，文章の難易度判定を行う際に用いられることの多い指標であり $[25,26,27]$, ウェ
ブサイト「文体診断ロゴーン」5) でも診断の根拠として算出されるものである.

(1-a) 平均文長 : 句点（総文字数 $\div$ 区点の数）

（1-b）平均文長 : 記号（総文字数 $\div$ 句点 - 疑問符 $\cdot$感嘆符・改行で区切られた回数）

(2) 平均句読点間隔（総文字数 $\div$ 句読点の数）

(3) 特殊語出現率（記号の数 $\div$ 総形態素数）

（4）名詞出現率（名詞の数 $\div$ 総形態素数）

（5）動詞出現率（動詞の数 $\div$ 総形態素数）

（6）助詞出現率（助詞の数 $\div$ 総形態素数）

(7) 助動詞出現率 (助動詞の数 $\div$ 総形態素数)

（8）ひらがな出現率（ひらがなのみで構成される形態素の数 $\div$ 総形態素数)

（9）カタカナ出現率（カタカナのみで構成される形態素の数 $\div$ 総形態素数 $)$

（10）異なり形態素比率（頻度 1 の形態素の数 $\div$総形態素数)

なお，平均文長は 2 種類を算出した.メールでは，宛名や署名が書かれることが多く, それらの末尾には句点を使用しないためである. 本研究では, 宛名や署名，メールアドレス，電話番号などは改行を基準に各 1 文と数え，かつ，疑問符や感嘆符が使用された文も 1 文と数えた場合の平均文長も算出した.

算出した各特徴量について，感情極性を要因とした 1 要因 3 水準の参加者間分散分析を行い，有意差がみられた場合は，Shaffer 法を用いた多重比較を行った. 分析の結果, 総文字数は, ネガティブ群が他の群に比べて有意に少なく $(\mathrm{F}(2,355)=23.22, \mathrm{p}$ <.01), 平均文長は, 句点のみで計算した場合にのみ，ネガティブ群が最も短く, ニュートラル群が最も長いという結果がえられた $(\mathrm{F}(2,355)=13.60$,

4) https://huggingface.co/docs/transformers/index

5) http://logoon.org/
表 2 各感情極性に分類されたメールの文章的特徴量

注：表の数字は平均值. ( ) は標準偏差.

$\mathrm{p}<.01$ ） 記号や改行も含めて計算した場合の平均文長，また，平均句読点間隔では，群間に差はみられなかった（平均文長：記号： $\mathrm{F}(2,355)=1.93$, n.s.,平均句読点間隔： $\mathrm{F}(2,355)=0.63$, n.s.). これらに加えて, 特殊語出現率は, ネガティブ群が最も低く, ニュートラル群が最も高かった $(\mathrm{F}(2,355)=9.47, \mathrm{p}$ <.01). すなわち，ネガティブ群は，文章全体の長さが短く, 句点で文を区切ることが多いと推察できる. 一方で，ニュートラル群は，ポジティブ群と比較すると，より多くの記号を用いており，文の区切りでも句点を使うことがより少ないと考えられる.

続いて，各形態素の出現率をみると，名詞出現率は，ネガティブ群が他の 2 群よりも低く $(\mathrm{F}(2,355)=$ $13.79, \mathrm{p}<.01)$, 動詞出現率は, ニュートラル群が最も低く，ネガティブ群が最も高かった $(\mathrm{F}(2,355)=$ $18.36, \mathrm{p}<.01$ ). 助詞出現率は, 有意差がみられなかった $(\mathrm{F}(2,355)=2.85$, n.s.). しかし, 助動詞出現率は, ポジティブ群が最も低く, ネガティブ群が最も高かった $(\mathrm{F}(2,355)=26.30, \mathrm{p}<.01)$. 前章の対数線形モデルの結果をるまえると，ネガティブ群は断りのメールが多かったために「〜できない」といった「動詞十助動詞：ない」といった組み合わせがみられた可能性が推察される. 対照的に，ニュートラル群やポジティブ群には, 金澤（2014）の「日本語教育のためのタスク別書き言葉コーパス」のタスク 7 で書かれた，故郷の観光地や名物を説明するメー ルが含まれるため, 名詞の数が多くなったと考えられる. この点については, 今後, 各群で使用されている語彙を詳しく検討することで確認したい。

最後に，表記については，ひらがな出現率は， ニュートラル群が最も低く, ネガティブ群が最も高かった $(\mathrm{F}(2,355)=19.07, \mathrm{p}<.01)$. カタカナ出現率は，ネガティブ群が他の 2 群より低かった（ $\mathrm{F}(2,355)$ $=3.59, \mathrm{p}<.01)$. 加えて, 頻度 1 の形態素の割合を示す，異なり形態素比率は，ネガティブ群が他の 2群よりも高かった $(\mathrm{F}(2,355)=42.50, \mathrm{p}<.01)$. これらについても，どのような語彙が使用されていたのかを中心に, 今後の研究で改めて検討したい.

## 4 おわりに

本研究で得られた結果からは，「断り」を目的とするメールがネガティブ群に多く分類されたことから，内容と感情極性の関係性が示唆された。また， ネガティブ群に分類されたメールは，他の 2 群とは異なり，総文字数や句点のみを用いた平均文長が少なく, 特殊語出現率, 名詞出現率, カタカナ出現率が低く, 動詞出現率, 助動詞出現率, ひらがな出現率が高かった. 一方で，ニュートラル群に分類されたメールは, ポジティブ群と比較して, 句点のみを用いた平均文長が長く, 特殊語出現率と助動詞出現率が高く, 動詞出現率とひらがな出現率が低かった. 今後, 具体的な使用語彙も加えて, 更なる検討を行う必要があるが，感情極性と文章の特徴量との関係について，一定の法則性を示すことができた。

先行研究では, 名詞出現率が高い文章は, 低い文章よりもわかりやすいという指摘がある [28]. また，語彙の選び方や，ひらがな出現率・カタカナ出現率は，文章の難易度判定にも用いられる指標である $[29,30]$ ことから, 今後の研究として, 文章難易度と感情極性の関連を検討することもできるだろう。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 および JSPS 科研費 JP21H05061 の支援を受けたものです.

## 参考文献

[1] Martin Nystrand. A social-interactive model of writing. Written Communication, Vol. 6, No. 1, pp. 66-85, 1986.

[2] Lee Odell and Dixie Goswami. Writing in a non-academic setting. Research in the Teaching of English, Vol. 26, No. 3, pp. 201-223, 1982.

[3] 大浦理恵子, 安永悟. 読み手を特定することが文章産出におよぼす効果. 久留米大学心理学研究, Vol. 6, pp. 11-20, 2007.

[4] 菊池理紗. 好ましいメールの産出において考慮される要因の関係. 読書科学, Vol. 62, No. 1, pp. 26-42, 2021.

[5] WGaray Lewandowski Jr. and Samantha Harrington. The influence of phonetic abbreviations on evaluation of student performance. Current Research in Social Psychology, Vol. 11, No. 15, pp. 215-226, 2006.

[6] 加藤尚吾加藤由樹, 杉村和枝, 赤堀㑆司. テキストコミュニケーションにおける受信者の感情面に及ぼす感情特性の影響一電子メールを用いた実験による検討一. 日本教育工学会論文誌, Vol. 31, No. 4, pp. 403-414, 2008.

[7] 坂本真樹紺野倭人. メールの印象を考慮した文章提案システムの構築に関する研究. 人工知能学会第 31 回全国大会論文集, pp. 1-2, 2017.

[8] 高松正毅. 初年次教育におけるアカデミック・リテラシー教育の位置と大学教育の問題点. 高崎経済大学論集, Vol. 51, No. 3, pp. 51-65, 2008.

[9] 杉本あゆみ. 初年次教育におけるアクティブラー ニング実践報告ーグローバルキャンパスでの試行一. 千葉経済大学短期大学部研究紀要, Vol. 14, pp. 105-117, 2018.

[10] 布川博士佐藤究. リアリティのある環境の中に埋め込んだ大学生のメールリテラシ教育の実験一研究室の事例第 2 報 (2014 年度実験)一. 情報処理学会研究報告, Vol. 2015, pp. 26-42.

[11] 太田陽子. 依頼メール作成タスクに見る大学生のポライトネス意識. 相模国文, Vol. 42, pp. 125-136, 2015.

[12] Sudheendra Hangal and Monica S Lam. Sentiment analysis on personal email archives. Proceedings of the 24th annual ACM symposium on User interface software and technology, 2011.

[13] Saif M Mohammad and Wenda Tony Yang. Tracking sentiment in mail: How fgenders differ on emotional axes. Proceedings of the ACL 2011 Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 70-79, 2013.

[14] Sisi Liu and Ickjai Lee. Email sentiment analysis through k-means labeling and support vector machine classification. Cybernetics Systems, Vol. 49, No. 3, pp. 181-199, 2018 .

[15] Salah Hag Rayan Ali and Neamat El Gayer. Sentiment analysis using unlabeled email data. 2019 International Conference on Computational Intelligence and Knowledge Economy, pp. 328-333, 2019.

[16] Noriko Takemura Yuta Nakashima Tomoyuki Kajiwara, Chenhui Chu and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[17] 文化審議会国語分科会.(編). 分かり合うための言語コミュニケーション（報告）

[18] Hidetsugu Nanba Satoshi Fukuda and Hiroko Shoji. Analysis of international public emotional responses toward the covid-19 vaccine. 2022 12th International Congress on Advanced Applied Informatics., 2022.

[19] Kongmeng Liew Eiji Aramaki Partick Ramos, Kiki Ferawati and Shoko Wakamiya. Emotion analysis of writers and readers of japanese tweet on vaccinations. Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 95-103, 2022

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[21]菊池理紗. 文章を用いたやり取りにおける好ましさの解明一公的な電子メールを対象として一. 2021.

[22] 菊池理紗. 提示情報がメールの産出に与える影響一好ましさと特徵語に着目して一。日本教育心理学会第 64 回総会発表論文集, 2022. https://www.jstage.jst.go.jp/article/ pamjaep/64/0/64_163/_article/-char/ja/.

[23] 金澤裕之. 日本語教育のためのタスク別書き言葉コーパス. 2014.

[24] 東会娟. 中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス. 2020. http: //emailtest.sakura.ne.jp/data/.

[25] 浅石卓真. テキストの特徴を計量する指標の概観.日本図書館情報学会誌, Vol. 63, No. 3, pp. 159-169, 2017.

[26] 野松道子久野高志上田修一石田栄美. 文体からみた学術的文献の特徴分析. 2004 年度三田図書館情報学会研究大会発表論文集, pp. 33-36, 2004.

[27] 亀田雅之. 石岡恒憲.コンピュータによる日本語小論文の自動採点システム. 日本計算機統計学会シンポジウム論文集, pp. 153-156, 2002.

[28] 蓮見陽子. 同一情報に基づく文章表現の印象・評価の差異について. 学習院大学人文科学論集, Vol. 2, pp. 43-67, 1993.

[29] 山田尚勇建石由佳. 日本文の読みやすさの評価式.文書処理とヒューマンインターフェース, Vol. 18, pp. 1-8, 1988 .

[30] Suguru Matsuyosyi Satoshi Sato and Yohsuke Kondoh. Automatic assessment of japanese text readability based on a textbook corpus. Proceedings of the International Conference on Language Resources and Evaluation, Vol. 8, pp. 654-660, 2008.


# zero-shot cross-lingual transfer における言語の多様性の効果

佐藤 匠真 ${ }^{1}$ 新納 浩幸 ${ }^{2}$
1 茨城大学工学部情報工学部 2 茨城大学大学院理工学研究科情報科学領域
19t4035n@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

mBERT のような多言語の事前学習済みモデルでは，あるタスクに対して言語 A で学習したモデルが別の言語 X の同じタスクに対してそのまま利用できる，いわゆる zero-shot cross-lingual transfer が可能である. 本論文では上記の言語 $\mathrm{A}$ に当たる部分を複数の言語を組み合わせた場合の効果について調査する.タスクは Amazon レビューの評判分析とし，モデルを学習する言語を英語，ドイツ語，フランス語の各組み合わせとした。そしてテストデー タは日本語の Amazon レビューの 2000 文書とし, zero-shot cross-lingual transfer を行った. 実験の結果,訓練データに言語の多様性を含める効果があることが判明した。

## 1 はじめに

近年, mBERT[1], XLM[2], XLM-RoBERTa-XL[3] など多言語間の汎用的な特徴表現を学習する多言語の事前学習済みモデルが提案されている.このようなモデルの応用の一つとして zero-shot cross-lingual transfer がある. zero-shot cross-lingual transfer は，あるタスクに対して言語 A で fine-tunining したモデルを別の言語 X の同じタスクに対してそのまま利用する手法である [4]. 通常，言語 Aを英語などのメジャーな言語，言語 $\mathrm{X}$ をリースが少ない，あるいはないようなマイナーな言語に設定することで，低資源言語の学習の問題解決に利用される.

一方, zero-shot cross-lingual transfer を行う場合，もとのモデルは単言語のモデルであっても可能であることが示されており [5], 多言語の言語モデルにおける言語の多様性が zero-shot cross-lingual transfer に影響を与えているのかどうかがはっきりしていない. 本研究では評判分析をタスクに設定して，この点に対する調査を行う.

zero-shot cross-lingual transfer を行う際に，言語 A の訓練データの他に, 言語 $\mathrm{B}$ や言語 $\mathrm{C}$ の訓練データも利用することで言語に多様性のある訓練データから学習する場合と，それと同サイズの言語 A(あるいは B やC)の言語に多様性のない訓練データから学習する場合とどちらが zero-shot cross-lingual transfer において効果があるのかを調べる。

実験ではタスクを Amazon レビューの評判分析とし，上記言語 $\mathrm{A}, \mathrm{B}, \mathrm{C}$ を英語，ドイツ語，フランス語，言語 $\mathrm{X}$ を本語とした。つまりテストデータは日本語の Amazon レビュー文書である. 実験の結果，訓練データに言語の多様性を含める効果があることが判明した。

## 2 関連研究

## 2.1 Multilingual BERT

mBERT(Multilingual BERT) は BERT と同じモデルアーキテクチャと学習方法を持っている多言語の事前学習済みモデルである [1]. mBERT が事前学習に用いる Wikipedia のデータには 104 の言語が含まれている. mBERT では WordPiece モデリングにより， モデルが言語間で埋め込み表現を共有することが出来ている。語彙には様々な言語のキャラクタが入っており，語彙数は約 12 万 token ある. 日本語の漢字は 1 文字で 2 文字の漢字単語はない. 日本語のの 2 文字以上の token は約 1000 個ほどで，「になっている」，「となっていた」などの長いものもある.

cross-lingual な表現学習をしたモデルとして Goyal らの XLM-R がある [6]. XLM-R は様々なクロスリンガルベンチマークにおいて mBERT より大幅に優れている。また，XLM-R は低リソース言語において特に優れた性能を示している。従来の XLM モデルと比較して XNLI の精度がスワヒリ語やウルドゥー語で向上している。このような，結果を得るためには

・正の伝達と容量の希薄化

・高リソース言語と低リソース言語のスケール

のトレードオフが性能に関係している。さらに， XLM-R は GLUE と XLNI において強力な単言語モデルと非常に高い競争力を有している.

## 2.2 zero-shot cross-lingual transfer

zero-shot cross-lingual transfer $は$ single-source transfer とも呼ばれ，ソース言語 (多くの場合，高リソース言語) でモデルを訓練し，その後ターゲット言語へ直接転送する手法である [4].

近年の BERT 等の事前学習済みモデルは，言語をまたいだ転移学習が可能であることが知られている. 例えば英語やフランス語などの間には, 似た語彙も多く, 英語で学習した知識がフランス語のタスクに有用なのは当然のことである. さらに，この転移学習は事前学習用の言語 (L1) と微調整用の言語 (L2) との間に，共通の語彙が全く無くても可能である.この結果から，言語をまたいだ転移学習には人間の言語の何らかの構造的特徴が関連していると考えられている。

Li らの事前学習された言語モデルにおける新たな cross-lingual 構造 [7] によると, 多言語エンコー ダの最上層に共有パラメータが存在するため, 単言語コーパス間で共有する語彙がない場合やテキストが非常に異なる領域のものであっても zero-shot cross-lingual transfer が可能であると示されている.

Artexte らの単言語表現の言語伝達可能性について [5] では, 言語 L1 で事前学習された単言語モデルを言語 L2コーパスを利用し新しいトークンの埋め込みを学習することにより新しい言語 L2 転送した (共有サブワードの概念がない) モデルは最先端の多言語モデルと zero-shot cross-lingual transfer ベンチマークで同等に機能した.これは，多言語モデルでは語彙の共有も共同事前トレーニングも必要ないことを示している.

## 3 訓練データの言語の多様性

図 1のように英語のデータ 3300 文から訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ作りそれぞれ E1，E2，E3とした。 ドイツ語も同様に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3つ作りそれぞれ D1，D2，D3 とした. フランス後も同様に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ作りそれぞれ F1，F2， F3 とした.

図 11100 文の訓練データ

図 2 言語の多様性を持たせた 3300 文の訓練データ

さらに，訓練データに言語の多様性の違いを持たせるために図 2のように，図 1で作成したデータを 3 つ合わせて訓練データ 3000 文, 検証データ 300 文の新たな組を作った. 1 つの言語から構成される言語の多様性を持っていない E1E2E3，D1D2D3，F1F2F3 の 3 組，2つの言語から構成される言語の多様性を持っているE1E2F1, E1E2D1, D1D2E1, D1D2F1, F1F2E1，F1F2D1の 6 組, 3つの言語から構成される最も言語の多様性を持っている E1D1F1，E2D2F2， E3D3F3 の 3 組, 計 12 組を作成した.

zero-shot cross-lingual transfer を行うため訓練デー タには日本語を含んでいない。

## 4 実験

Google が公開している mBERT を用いた文書分類タスクで zero-shot cross-lingual transfer を行うときに，訓練データに言語の多様性を持たせた場合の識別精度と持たせなかった場合の識別精度を比較し，

図 3 実験結果の平均値のグラフ

訓練データに言語の多様性を持たせる効果を確認した.

## 4.1 事前学習済みモデル

Google で公開されているモデル (BERT-Base, Multilingual Cased) を使用した。これは Hugging Face 社の Transformers ライブラリから，モデル名'bertbase-multilingual-cased' で利用できるモデルである. The lagest Wikipedias 内でトップ 104 の言語のデータが事前学習コーパスに利用されている.

## 4.2 実験用データセット

実験には Webis-CLS-10 データセット1を用いた. このデータセットには日本語，英語，ドイツ語，フランス語が収録されている．ラベルはレビューの星の数であり，1 から 5 までの 5 段階評価である. ただし，ラベルが 3 のデータは存在しない. 本実験ではラベルが 1，2 のデータを negative，4，5 のデータを positive として評判分析 (2 值分類)を行った.

このデータセットには日本語, 英語, ドイツ語, フランス語それぞれに books，dvd， music の 3 つの領域がある．各言語の各領域に訓練データ 2000 文, テストデータ 2000 文がある. 本実験ではすべて music の領域のデータを用いた.

## 4.3 文書分類器の作成

作成した訓練データ 3000 文，検証データ 300 文の 12 組で BERT-Base, Multilingual Cased に対して 10epoch の fine-tuning を行った.

## 4.4 実験結果

訓練データの言語の多様性で作成した訓練データを用いて fine-tuning を行ったモデルで評判分析を解いた.すべて日本語のテストデータ 2000 で評価した. 単言語の訓練データで fine-tuning を行い評価を行った場合の結果を表 1 ，訓練データの言語比 $2: 1$ で fine-tuning を行い評価を行った場合の結果を表 2に，訓練データの言語比 $1: 1: 1$ で fine-tuning を日本語で評価を行った結果を表3に示す。また，実験結果の平均値のグラフを図3に示す.

表 1 単言語での学習

表 2 言語比 2:1 での学習

表 3 言語比 1:1:1 での学習

実験結果より， mBERT を用いて zero-shot crosslingual transferを行う場合の訓練データは言語の多様性を含ませた場合の結果が最も良く, 単言語の場合の結果が最も悪いことがわかった.

## 5 考察

3節で作成した訓練データ 1000 文，検証データ 100 文の組を用いて fine-tuning を行ったモデルで 4節同様に日本語のテストデータを用いた zero-shot cross-lingual transfer を行った. 結果を表4に示す.

表 4 単言語の訓練データ 1000 文訓練データ日本語で評価

E1 0.6940

E2 $\quad 0.7315$

E3 $\quad 0.7000$

D1 0.7660

D2 0.7005

D3 0.7480

F1 $\quad 0.6625$

F2 $\quad 0.7080$

英語，ドイツ語，フランス語の中で最も精度が良かった E2，D1，F3 を用いて新たな組を作り，その組で fine-tuning を行ったモデルで実験した. 精度は 0.7490 だった. これは，精度が良い訓練データを合わせても精度が向上するわけではないことを示している.

さらに， zero-shot cross-lingual transfer ではない日本語の訓練データを用いた評判分析を解く場合に言語の多様性を持たせる効果を確認するために実験を行った. 日本語の訓練データ 1000 文，検証データ 100 文の組 $\mathrm{J} 1$ を作成した。そして，J1を用いて 4節で使用したモデルに対して fine-tuning を行い日本語のテストデータ 2000 文で評価した. 実験結果を表 5に示す.表 5 日本語 1000 文で fine-tuning

表5より日本語を含む訓練データで fine-tuning する場合も zero-shot cross-lingual transfer $の$ 場合と同様に訓練データに言語の多様性を含ませた結果が多様性を含ませなかった場合より良くなった。しかし，J1の 1000 文だけで fine-tuning した結果は $\mathbf{0 . 8 2 6 5}$ だった. この結果は訓練データに目的言語データが含まれている場合 (つまり zero-shot cross-lingual transfer ではない場合) は，訓練データに別言語のデータを含ませない方ががよいことを示している. この点についてはさらに調査をする必要がある.

## 6 おわりに

本研究では mBERT を用いた zero-shot cross-lingual transfer を行うときに，訓練データとして 3 種類の言語を含むデータ 3 組と 2 種類の言語を含むデー タ 6 組と単言語のデータ 3 組を作成し，それぞれで fine-tuning を行い評判分析で精度を比較した. 言語の多様性を最も持たせた場合の精度が最もよく，単言語の場合の精度が最も悪かった。

また，zero-shot cross-lingual transfer ではない場合の訓練データに言語の多様性を含めることの効果について調べることを今後の課題とする.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同

研究（22FC04）の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining, 2019.

[3] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling, 2021.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 46234637, Online, July 2020. Association for Computational Linguistics.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.