# 基盤モデルを用いたフェイスアクト分類

櫻井大雅 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{hsakurai, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では二つの仮説に基づき，人間関係に関 する欲求のフェイスに影響を及ぼす発話行為で あるフェイスアクトを，基盤モデルの一つである GPT-3 を用いて分類する。まず，GPT-3がフェイス アクトが何であるかを把握していると仮定し，そ の能力を few-shot 学習によって引き出せるか否か を検証する。次に，事前学習がフェイスアクト分類に有益であると仮定し, fine-tuning した GPT-3を 先行研究のモデルと比較する. few-shot 学習による フェイスアクト分類は困難な一方で， fine-tuning し た GPT-3 は先行研究を上回る分類精度を発揮した。

## 1 はじめに

ポライトネス理論は，人間関係を円滑にするため に用いられる言語的配慮を説明する理論である. 今日広く知られているものは，ブラウンとレヴィンソ ン $(\mathrm{B} \& \mathrm{~W})$ がフェイスと呼ばれる概念を援用して定義した [1]. フェイスとは，抑圧からの解放や自尊心といった人間の生来的な欲求であり，フェイス に影響を与える発話行為をフェイスアクトと呼ぶ. フェイスやフェイスアクトは, 社会言語学や語用論 の分野で確立された概念であり，最近では説得対話 システムの開発においても注目されている $[2,3]$.

フェイスアクト分類は，ある発話が持つフェイス アクトの種類を判定するタスクである. 先行研究 [3] は階層型ニューラルネットワークによる教師あ り学習を用いたが，このようなモデルは特定のドメ インでの学習が必要であり汎化性に欠ける.

本研究では基盤モデルのフェイスアクト分類に 対する有用性について, 基盤モデルの一つである GPT-3[4] を用いて二つの仮説を検証する。一つ目 は，GPT-3がフェイスアクトに関する知識を獲得 しているという仮説である.これを検証するため，発話とフェイスアクトのペアを正解例としてテス トデータと共に与える few-shot 学習を行うことで，
フェイスアクト分類が可能になることを確認する. few-shot 学習は教師あり学習よりもドメインに対す る依存性が低いため，より汎用的な分類が可能にな ると考えられる。二つ目は，GPT-3 はフェイスアク トに関する知識を持たないとしても，事前学習を通 じて分類に有用な知識を得ているという仮説であ る.これを検証するため，発話とフェイスアクトの ペアを訓練データとする教師あり学習を行ったモデ ルを用いてフェイスアクトを分類する。

実験により, few-shot 学習ではフェイスアクト の分類が困難であることが判明した. すなわち， GPT-3 はフェイスアクトの知識を有していないか,知識を有しているとしても今回の実験では活用 できなかった可能性がある。一方，fine-tuning した GPT-3 は先行研究を上回る分類精度を発揮し, 訓練 データを $25 \%$ 程度に減らして fine-tuning を行った場合に先行研究と同程度の精度が得られることを確認した. 加えて fine-tuning した GPT-3 の出力を精査 し，分類性能向上における課題を分析した.

## 2 背景

## 2.1 フェイスとフェイスアクト

他者との人間関係に関連する欲求であるフェイ スの概念はゴッフマン [5] によって導入され，B\&W のポライトネス理論でポジティブフェイスとネガ ティブフェイスの二種類に分類された. 前者は他者 から認められたり，好かれたりしたいといった欲求 である一方で，後者は自身の自由や領域を他人に侵 されたくないといった欲求である.

フェイスアクトは，話者や聴者のフェイスに影響 を与える発話行為である. 先行研究 [3] は以下の三基準を用いてフェイスアクトを八種類に分類した。

・フェイスアクトが話者(s)に向けられたものか, それとも聴者 $(\mathbf{h})$ に向けられたものか

・フェイスアクトがポジティブフェイス (pos) に
表 1 フェイスアクトが付与された会話の一部 [3]. 二人 の会話参与者のうち，一人は説得者 ER，もう一人は被説得者 $\mathrm{EE}$ の役割を持ち，ERはEEに寄付を促す。

話者 発話 1 ラベル

ER Would you be interested today in making a do- hnegnation to a charity?

EE I've seen a lot of commercials about them, but hpos+ never did a lot of research about them.

ER They are actually really great.

spos+

向けられたものか，それともネガティブフェイ ス(neg)に向けられたものか

・フェイスが守られたのか (+)，それとも攻撃さ れたのか (-)

## 2.2 フェイスアクト分類

本研究は, 先行研究 [3] の定式化を踏襲している.会話 $D$ を構成する $n$ 個の発話 $D=\left[u_{1}, u_{2}, \ldots, u_{n}\right]$ に 対し，フェイスアクト $y_{1}, y_{2} \ldots, y_{n}$ をつずつ割り当 てる. ラベル $y_{i} \in Y$ は八種類のフェイスアクト，ま たは other（フェイスに影響しない挨拶やフィラー，会話の本題と無関係な発話等）のいずれかである.

フェイスアクト分類に用いられる代表的なデー タセットは, Save the Children (STC) という慈善団体 への募金活動に関する二者間での説得対話 [6] フェイスアクトをアノテーションしたものである [3]. 表 1 にデータセット中の会話の例を示す.この データセット中の発話は，データセットに現れない sneg-を除く七つのラベルに, other（フェイスアク 卜なし）を加えた八つのいずれかに分類される.

## 2.3 GPT-3

GPT-3 は基盤モデルの一つであり，分類，質問応答，翻訳など様々なタスクに適用可能である [4]. GPT-3 の能力を引き出すには，自然言語で書かれた クエリのプロンプトを用いることが多い $[7,4]$. 頻繁に用いられるプロンプトの形式に質問応答形式 $[8,9,10]$ がある. 要約や感情分析などのタスクが対象とする文章を質問形式で GPT-3 に入力し, 出力を タスクの答えとみなす形式である. 先行研究では， プロンプトにタスクの指示を含めることで無効なラ ベルの生成が抑制されると報告されている [11].

プロンプトを用いて GPT-3 の言語理解能力を発揮する基本的な方法の一つが few-shot 学習である. few-shot 学習では，プロンプトはタスクに関する説明と数個の正解例, さらにテストデータから構成さ れる。また, few-shot 学習以外で GPT-3を活用する 方法は，対象とするタスクに関する十分な訓練デー タを用いて, 教師あり学習でモデルを訓練する手法 (fine-tuning) が考えられる. fine-tuning した GPT-3 に推論のためのテストデータのみをプロンプトとし て与え，モデルの出力を分類結果とみなす.

## 3 手法

本研究ではまず，few-shot 学習を用いたフェイス アクト分類を行う。次に， fine-tuning したGPT-3を 用いてフェイスアクト分類を行う．最後に，訓練 データの量を元の $25 \% ， 50 \% ， 75 \%$ にそれぞれ減ら して fine-tuning したモデルを用いてフェイスアクト 分類を行い，分類精度が変化する様子を確認する.

## 3.1 プロンプト

2.3 節で述べた先行研究に基づいてプロンプトを 設計する. 本研究では，表 2 に示す「タスクの説明・発話履歴・ラベル」の三つ組をデモンストレーショ ンと呼ぶ. デモンストレーションは，分類タスクで 頻繁に用いられる質問応答形式を骨子としている.本研究で用いるラベルは, Yes/No, Positive/Negative, True/False などの一般的な選択肢ではないため，無効なラベルの生成抑止を目的として，有効なラベル の一覧をデモンストレーション中に含めた.

few-shot 学習ではデモンストレーションを複数並 べたものを用意し, その末尾にデモンストレーショ ンの形式に従ったテストデータを加えたものを一つ のプロンプトとみなす. 一方 fine-tuning では, 正解 ラベルを除いたデモンストレーションをプロンプト とし，正解ラベルを生成するように訓練を行う。

また, 先行研究 [3] では，過去の発話を考慮する ことがフェイスアクト分類に有効と主張している. そこで本実験では発話履歴の長さを変え，その効果 を検証する．履歴の長さは，フェイスアクト分類の 対象となる発話のみをデモンストレーションに入れ る場合を長さ 1 とし，それに加えて過去の発話を一 つ，または二つ含める場合の計三種類を検証する。

## 3.2 データ分割とその扱い

本研究では 2.2 節で述べたデータセットを用 いる. 内訳は付録 A の表 6 に記載する. GPT-3 の fine-tuning を行うため，データセットの $80 \%$ を訓練 データに，残りの $20 \%$ をストデータに分割する.
表 2 発話履歴の長さが 3 の場合のデモンストレーションを示す. 灰色で網掛けされた部分は発話に応じて変更され，そ れ以外の部分は実験全体を通じて固定される。テストデータでは “Answer:”の直後を空欄とする．GPT-3 はその空欄を埋 めるトークン列（図中では枠線で囲まれた hpos-が該当する）を出力し，それが分類結果と見なされる.

デモンストレーション (プロンプトの一部)

Question: Read the following script, and classify EE 's last utterance of the script " Not really, please tell me anything! " based on whether its face act is spos+, spos-, hpos+, hpos-, sneg+, hneg+, or hneg-. If there is no corresponding face act, then classify it as other. Note that "STC" stands for "Save the Children."

Script:

ER: I'd like to tell you about an organization called Save the Children.

ER: Have you heard about them?

EE: Not really, please tell me anything!

Answer: hpos-

なお，few-shot 学習では，訓練データはプロンプト に含めるデモンストレーションを作成するためにの み使用し，テストデータの分類結果を報告する。 few-shot 学習では, データセット中の八種類のラ ベルについて, 訓練データから発話を二つずつ無作為に抽出してデモンストレーションを作成する。ま た，プロンプト内のデモンストレーションの内容や 順序などの影響を抑えるために，中身が異なる三種類のプロンプトを用意し，それらを用いた場合の分類結果の平均をとる。一方 fine-tuning においては，訓練データ中のフェイスアクトの分布の偏りを軽减 するためにオーバーサンプリングを適用する.

## 4 結果

各設定における実験結果を表 3 に記載する。まず few-shot 学習では, 分類性能は全体として先行研究 よりも低くなった. また, 発話履歴を長くすること で無効な出力が増えると同時に性能が低下する傾向 が見られた.これは分類対象の発話に焦点が当て難 くなったためであると考えられる。一方で spos+や hneg-, other などは他のラベルと比較して F1 ス コアが高くなっており,未知のタスクであっても few-shot 学習によりフェイスアクトの傾向を把握し,分類を行うことは不可能ではないことが窥える.

一方で fine-tuning では全ての設定で先行研究を上回る精度を得た. 加えて，履歴が長いほど各フェイ スアクトのF1 スコアが向上した. 訓練データが少 ないラベル (spos-, hpos-, sneg+, hneg+) の予測 は，訓練データが豊富にあるものと比べて分類性能 が落ちた. 図 1 に示す通り，訓練データを $25 \%$ 程度 に減らしたとしても先行研究と同程度の性能が維持 されたが，データを増やすことによる性能向上の恩恵はそれほど大きくはない.これは全体の性能向上 にはデータ数が僅少なラベルの分類性能を向上させ

図 1 訓練データの量を変えてモデルを fine-tuning した場合の分類結果を示す. 赤波線は先行研究 [3] で得られた F1 スコアのマクロ平均である. 左端の点群は訓練データ を用いない場合（zero-shot 学習）の結果を示している.

る必要があり，データ数そのものを増やすよりも， ラベルの偏りを減らす必要があると示唆している。

## 5 考察

few-shot 学習と比較した fine-tuning の利点と, fine-tuning を行っても分類が困難な実例を考察する。

## 5.1 fine-tuning $の$ 利点

一つのフェイスアクトに対して二つの例のみ与 える few-shot 学習に比べ, fine-tuning では様々なパ ターンの発話を提供できる。そのためフェイスアク トの類型化に成功した可能性があり, few-shot 学習 と比べて分類精度が向上した. また, fine-tuning $の$方が few-shot 学習よりも履歴を意識した分類が可能 となった。その効果は，F1 スコアのマクロ平均の向上に関係した spos-の分類を通じて見てとれる. 要求を拒否する発話は一文が短く，また遠回しに言わ れることも多いため, 過去の履歴を参照する必要が ある。例えば表 4 の最後の発話は，EE が ER の要求
表 3 それぞれの設定におけるフェイスアクト分類の結果を示す. Dutt は先行研究 [3] で得られた結果を示しており, “Few” は few-shot 学習における結果，“Fine” は fine-tuning の結果を示している. “Few”と “Fine” の右横の数字は発話履歴 の長さを示している。“Acc”は accuracy，“F1”はそれぞれのラベルに対する F1 スコアのマクロ平均，そして “\#Inv”は，全 2174 件のテストデータのうち，出力が有効なフェイスアクトではなかったものの数を示す. フェイスアクトの列にあ るそれぞれのセルは，特定の実験設定における precision，recall，そして F1 スコア（p/r/f1）を示している. few-shot 学習 の結果は 3 回の試行の平均を取ったものである.

 & - & - &  &  & .69 & .60 & \\

表 4 最後の発話が spos-に分類される会話の例.

表 5 fine-tuning した GPT-3 では分類できなかった発話の 例. 予測の列は発話履歴の長さが 3 であった時の GPT-3 の予測を示している。

 & sneg+ hpos+ \\

を拒否する発話であるため spos-に分類される.こ のように短い発話は同じ発話であってもフェイスア クトが一意に定まらず，発話履歴はその曖昧性を解消するために有用な情報を与えうる。

## 5.2 fine-tuning では対応が難しい事例

表 5 で最初に挙げる二つのパターンは，高度な自然言語理解が必要で，現在の手法では本質的に解決困難な問題である．後者の二つのパターンは，デー タセットの性質に関連するものである.

第一の問題は婉曲表現に対する弱さである．表 5 の最初の例は，「よく知らない団体には寄付できな い」という躊躇を含意している．話者が自身の都合を述べる発話は間接的に伝えられることが多く， フェイスアクトの分類が困難な場合がある。

第二の問題は，GPT-3 が話者の立場を正確に把握 できないことである．表 5 の二番目の例のように， EEが他の団体（Make-A-Wish）に寄付する意思を示
した場合，EE は ER の要求よりも自分の意志を優先 しているために spos+と分類される。一方で EE が 「STC に寄付する」と言えば，ER の願望に合致し， ER の面目を保てるためhpos+に分類される. この ように，同じ「寄付」という行動であっても話者の 立場によってフェイスアクトは変化しうる。

第三の問題は，未来の発話が参照できないため に，完了していない発話が分類し難い点である．元 データの正解ラベルは会話全体を見ることで付与さ れる場合があり，特に短い発話は前後の発話と同じ ラベルが付与される。例えば表の三番目の例は，そ れだけでは spos+に分類されないが，直後の ER の 発話が「STC はお金を有効に使っている」と主張し ているため，連続する会話を踏まえて STC の正当性 を支持するものと見なされ，spos+に分類される。

第四の問題は，類似した特徴を持つフェイスア クトが判別しにくいことである。例えば表 5 の例 4-a と 4-b は，ER が EE に善行を促す発話（hpos+） と，ER が寄付の負担を減らすことを目的とした発話（hneg+）の 2 通りの解釈が可能であるため，似 た内容の発話であってもラベルが一致していない.

## 6 おわりに

本研究では，GPT-3 を用いた few-shot 学習による フェイスアクト分類が現状では困難であると明らか にした一方で，fine-tuning を用いることで従来のモ デルよりも性能が向上することを確認した。また，訓練データを $25 \%$ 程度に減らしても先行研究と同程度の性能を維持することを確認した. 今後は他の説得対話データセットにアノテーションを施し，汎用的なフェイスアクト分類に基盤モデルが有効である かを検討したい.また，より高度なプロンプトの設計手法を採用することも有望な方針である.

## 謝辞

理化学研究所の吉野 幸一郎氏には，本研究を始め るにあたり貴重なご助言を賜りました。ここに感謝 の意を表します。本研究は JSPS 科研費 JP19H05692 の助成を受けたものです.

## 参考文献

[1] Penelope Brown and Stephen C Levinson. Universals in language usage: Politeness phenomena. In Questions and politeness: Strategies in social interaction, pp. 56-311. Cambridge University Press, 1978.

[2] Ritam Dutt, Sayan Sinha, Rishabh Joshi, Surya Shekhar Chakraborty, Meredith Riggs, Xinru Yan, Haogang Bao, and Carolyn P. Rosé. Resper: Computationally modelling resisting strategies in persuasive conversations. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 23, 2021, pp. 78-90. Association for Computational Linguistics, 2021.

[3] Ritam Dutt, Rishabh Joshi, and Carolyn P. Rosé. Keeping up appearances: Computational modeling of face acts in persuasion oriented discussions. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 7473-7485. Association for Computational Linguistics, 2020.

[4] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[5] Erving Goffman. Interaction Ritual: Essays in Face to Face Behavior. AldineTransaction, 1967.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Anna Korhonen, David R. Traum, and Lluís Màrquez, editors, Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 5635-5649. As- sociation for Computational Linguistics, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[8] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, Vol. 139 of Proceedings of Machine Learning Research, pp. 12697-12706. PMLR, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[10] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 8086-8098. Association for Computational Linguistics, 2022.

[11] Ke-Li Chiu and Rohan Alexander. Detecting hate speech with GPT-3. CoRR, Vol. abs/2103.12407, , 2021.
表 6 左から八列はデータ中のラベルの分布を示しており, 最右列は会話の数を示している. 発話は一つのフェイスアク トがアノテーションされたテキストを指し，会話は特定の二人の会話参与者がやりとりする発話の全体を指す.

## A データセットの分割

表 6 に，本実験における訓練データとテストデー タの内訳を示す.ドナー会話は EE が募金に賛同し た会話を示し，非ドナー会話は EE が募金に賛同し なかった会話を示す. 本実験では，ドナー会話と非 ドナー会話のうちそれぞれの $80 \%$ 無作為に抽出 したものを訓練データとし，残りをテストデータと した.

## B モデルと推論時の設定

本実験では四種類の GPT-3 のモデル（Ada, Babbage, Curie, Davinci) のうち, Curie と Davinciを 採用した. few-shot 学習では, 1750 億のパラメータ を持つ最も強力な Davinci モデル (text-davinci-002) を採用した。一方で fine-tuning では，二番目に性能の良いモデルである 130 億のパラメータを持つ Curie モデル（text-curie-001）を採用した. モデルの 学習や推論をさせる際には, OpenAI の API ${ }^{1)}$ を利用した. また, fine-tuning のハイパーパラメータは OpenAI の API のデフォルトの設定を利用した.

推論に関するモデルのパラメータには「温度」と 「出力トークン数」がある. 本実験では, 出力のラ ンダム性を排するために温度を 0 に設定した.ま た, 出力トークン数は 3 とした. GPT-3 のトークナ イゼーションでは other が 1 トークンであり，他の フェイスアクトは全て 3 トークンである. そのた め，フェイスアクトに無関係なトークンはなるべく 出力しないようにするために, 最大 3 トークンまで しか出力しない設定とした.

 櫻井大雅 ${ }^{1}$ 宮尾祐介 ${ }^{1}$ 1 東京大学 \{hsakurai, yusuke\}@is.s.u-tokyo.ac.jp  