# 対話行為の分布を利用した雑談対話システムの評価指標

榮田亮真 井手竜也 村田栄樹 河原大輔
早稲田大学理工学術院
\{s.ryoma6317@akane., t-ide@toki. , eiki.1650-2951@toki. , dkw@\}waseda.jp

## 概要

本論文では，雑談対話システムのふるまい全体を 考慮して評価を行うための新たな指標として，発話 が持つ役割である対話行為の分布を利用することを 提案する。人間とシステムの各発話に対話行為が付与された対話コーパスの分析から，人間は多様な対話行為を使い分けていること，また，対話相手の発話を踏まえて対話行為を決定していることがわかっ た. 分析に基づき, 対話行為のエントロピーと, 発話の対話行為が，対応する応答の対話行為の決定に 与える相互情報量で雑談対話システムを評価する。提案指標を様々な雑談対話システムに適用した評価実験によって，指標の妥当性が確認された。

## 1 はじめに

現在の雑談対話システムの評価方法は課題が残っ たまま利用されている. 評価は人手評価と自動評価 に分けることができ，人手評価はクラウドソーシン グによるもの，自動評価は BLEU [1], Distinct [2] な どの指標によるものが一般的である. さらに近年で は，BERT [3] などの事前学習モデルを人手評価デー タで Fine-tuning したモデルが提案されている $[4,5]$.

既存の評価指標の多くは，雑談対話システムの 1 ターンや 1 対話の応答を評価するものである.この ような評価指標はシステムのふるまい全体を見てい ないため，決まった数パターンの応答しか返すこと ができないシステムを高く評価することがある。ま た，Distinct はるるまい全体を評価する指標だが，表面的な語彙の多様性をはかるだけである。

本論文では，既存手法の問題点に鑑み，雑談対話 システムのふるまい全体を見て，Distinct よりも適切に，システムを評価することのできる評価指標を 提案する. 新たな評価指標は, 対話における各発話 の役割を表す対話行為 [6] の分布に注目したもので ある. 指標の考案のためまず，人間とシステムの発話に対話行為が付与された対話コーパスを構築し，分析を行う.コーパスの分析により，システムと比 べて人間は対話行為を多様に使い分けていること， また，対話相手の発言を踏まえて，対話行為を決定 していることがわかった. 分析に基づき, 対話行為 の多様性を表すエントロピー $(\mathrm{DAE})^{1)}$ と，どれだけ 相手の発言の対話行為を考慮しているかを表す相互情報量 $(\mathrm{DAMI})^{2}$ )に注目することで，システムを評価 することを提案する。DAE は Distinct とは異なり， おうむ返しばかりをするシステムに低いスコアを与 える. DAMI は応答だけでなく, その直前の発話に も注目したもので，対話の評価として Distinct より も適切であると考えられる. DAE，DAMI の算出に は発話に対話行為を付与することが必要だが，付与方法として，人手付与と対話行為分類モデルによる 自動付与の両方を検討する。

提案指標の妥当性検証のため, 様々な雑談対話シ ステムに対して，提案指標を算出する実験を行っ た. 実験から，提案指標の DAE，DAMI が対話シス テムの性能を反映した指標であることがわかった.

## 2 関連研究

既存の雑談対話システムの評価方法の多くが，1 つのユーザ発話とそれに対応するシステム応答を見 て評価を行うターンレベルの評価である。ターンレ ベルの関連度の人手評価 [7] は，おうむ返しやあり きたりでつまらない応答についても高い評価を与え る.これは，おうむ返しやありきたりな応答を多く 返すことで知られている深層学習による雑談対話シ ステム $[8]$ の評価指標として不適切である.

対話行為（Dialog Act）とは，対話において各発話 が持つ役割である. Stolcke ら [6] は 42 種類の対話行為を提案し，対話行為を付与した対話コーパス である SwDAを構築した. 対話行為が付与された 他のコーパスとしては，日常的な対話を収集した DailyDialog [9] などが存在する. また，深層学習モ

図 1: 対話行為の体系 (Inform、Question、Directive は DailyDialog で提案されたもの)

表 1: 対話行為の分布（太字は各対話行為について 人間とシステムのどちらが多いかを示している)

デルによって対話行為を分類することを目指した研究も存在する $[10,11,12]$.

## 3 対話行為データセットの構築

雑談対話システムの評価指標の考案のため，人間 とシステムの各発話に対話行為が付与された対話 コーパスを構築する.このコーパスを対話行為デー タセットと呼ぶ.

## 3.1 対話行為の体系

本論文では， 10 種類の対話行為で構成される体系 を提案する (図 1). 能動的な発言は、DailyDialog [9] で提案された対話行為をもとに分類した。

## 3.2 応答生成モデル

対話システムによる発話の対話行為を収集する ために，T5 [13] の日本語版3)を Fine-tuning したシス
テムを用いてシステム発話を得る. Fine-tuning に用 いるデータセットは Twitter から Twitter API を用い て収集したツイートリプライ対で，800,000 ペアで ある。

## 3.3 対話行為のアノテーション

3.1 節に示した対話行為の体系に基づき，クラ ウドソーシングでアノテーションを行う.アノテー ションの対象は，ある発話に対する人間の応答とシ ステムの応答それぞれ 6,820 文である. 発話と人間 による応答は Twitter から TwitterAPI を用いて収集 したマルチターン対話で，システムによる応答は 3.2 節の応答生成モデルから得たものである. 対話 をクラウドワーカに見せ，最後の発話に関して，当 てはまる対話行為を全て選択してもらう.1つの発話につき 5 人に尋ね， 2 票以上かつ最多の票を集め た対話行為を採用する. 複数の対話行為が採用対象 になった場合，それらの中からランダムに 1 つ選択 する. 収集したデータセットの分布を表 1 に示す. 人間の方が多様に対話行為を使い分けていることがわ かる.

## 3.4 対話行為の遷移

対話においては，ある対話行為の後には特定の対話行為が現れやすいといった傾向が存在すると考え られる。その傾向における人間とシステムの違いを 見るため，構築したデータセットにおいて対話行為 の遷移を分析する。遷移を示したヒートマップを図 2 に示す. ヒートマップの各行は，その行名の対話行為の後にどの対話行為が来るかの条件つき確率分布を, 事前確率分布で補正した值 $\frac{P\left(a_{t+1} \mid a_{t}\right)}{P\left(a_{t+1}\right)}$ を表して いる. $a_{t}$ は対話における $\mathrm{t}$ 番目の発話の対話行為を 表す。事前確率分布による補正をすることで，それ 以外の状況と比較したときに，特定の状況下で，あ る対話行為が現れやすいことを表現した値となる。 ヒートマップから，人間はシステムに比べて，対話相手の対話行為を踏まえてどんな対話行為を返すべ きかを決定しているという傾向がわかる。

## 4 対話行為分布を利用した雑談対話 システムの評価

3 節の対話行為データセットの分析を踏まえて,雑談対話システムを評価するための 2 つの指標を提案する.

3) Hugging Face Hub: sonoisa/t5-base-japanese

(a) 人間の発話の対話行為遷移

(b) システムの発話の対話行為遷移

図 2: 対話行為遷移を示したヒートマップ

表 2: 人手付与された対話行為に基づく評価指標に よる評価結果と Distinct（太字はそれぞれの比較対象についてスコアが最大のものを示している）

## 4.1 エントロピー (DAE)

3.3 節による分析から，人間は対話の中で，さま ざまな対話行為を使い分けていることがわかる. そ のため，対話システムの評価指標としてシステム発話の対話行為の多様性が利用できると考えられる。分布の多様性は，エントロピー4)で計算される.

## 4.2 相互情報量 (DAMI)

3.4 節の分析から人間は，相手の発言の内容に応 じて対話行為を使い分けていることがわかる. この ことは，直前の発話の対話行為が対象発話の対話行為の決定に与える相互情報量 ${ }^{5}$ を用いて定量的に表現することができる.

## 5 評価指標の検証

対話行為を付与する方法として人手付与と対話行為分類モデルによる自動付与の 2 つがあり，それぞ れにおける評価指標の妥当性を検証する。

4）定義は付録に示す。

5）定義は付録に示す.

## 5.1 人手付与による評価

## 5.1.1 実験設定

本実験では，対話行為を 3.3 節と同様に，クラウ ドソーシングで収集する．評価指標算出のためのシ ステム発話は 6,000 文であり，3.3 節でシステム発話を得た Twitter上のマルチターン対話 6,820 文の うち，6,000 文の応答として得たものである. 対話 システムの構築は事前学習モデルである T5）[13], $\mathrm{mT5}^{7)}$ [14] を Fine-tuning して行う. Fine-tuning に用 いるデータセットは，3.2 節で用いたものと同じツ イートリプライ対である. 日本語 $\mathrm{T} 5$ は単一のモデ ルサイズしか公開されていないため，学習データ 量をシステムの性能とみなし，提案指標の比較を 行う.データセット全量を用いたシステムに加え て，8,000 ペア, 80,000 ペア, 400,000 ペアを使用して Fine-tuning したシステムも構築する. なお，データ セット全量を用いたシステムとはすなわち，3.2 節 のシステムである. mT5 については，モデルパラ メータの多さをシステムの性能とみなす。また，入力をそのまま返すおうむ返しシステムと人間による 発話についても提案指標を算出する.

## 5.1 .2 実験結果

実験結果を表 2 に示す. T5 について，Fine-tuning に用いたデータ量が多いシステムの方が高いスコア を得た。また， $\mathrm{mT5}$ について，パラメータ数が多い base モデルの方が高いスコアを得た. これらの結果 から，提案指標は妥当なものであると言える. さら に，人間はどちらの指標においても最も高いスコア

6) Hugging Face Hub: sonoisa/t5-base-japanese

7) Hugging Face Hub: google/mt5-small, mt5-base

図 3: バッチサイズに対する比較結果の変化

表 3: 自動付与された対話行為に基づく対話 システムの評価結果

を得た．Distinct はおうむ返しだけを返すシステム に対しても高いスコアを与えたが，提案指標の値は 0 である.

## 評価に一貫性はあるか

評価指標においては，異なるテストコーパスを用 いても一貫した結果であることが重要であるため,検証を行う. 比較したい 2 つのシステムについて， クラウドソーシングで収集した 6,000 発話からバッ チサイズ分の発話をサンプリングし，エントロピー を計算する、サンプリングを繰り返し，エントロ ピーの大小が一貫しているかを確認する. サンプリ ング時には, 同一の発話に対応する 2 つのシステム の発話をサンプリングすることに注意する．比較は 以下の 3 ペアに関して行う.
- mT5-base vs mT5-small
- T5-800k vs T5-400k
- human vs T5-800k

バッチサイズを $500,1000,1500,2000$ と変更させる. サンプリングの繰り返し回数は 20,000 回とする. 実験結果を図 3 に示す. 2,000 文のテストコーパスを 用いれば，一貫した結果が得られることがわかる.

## 5.2 自動付与による評価

発話の対話行為の分類モデルを構築し，5.1 節と 同様の実験を行う.

## 5.2.1 実験設定

モデルの構築は事前学習モデル $\mathrm{BERT}^{8}$ を Finetuning して行う. 学習コーパスは対話行為データ セットで，人間の発話とシステムの発話の両方を用 いる. 表 1 から，学習データ数は対話行為ごとに偏 りがある．データ数の偏りは学習に悪影響であると 考えられるため，各対話行為のデータ数を，最多の 対話行為である「意見」に合わせるアップサンプリ ングを行う。学習用と検証用にデータセットを $4: 1$ に分割し，検証用のデータセットに対してクロスエ ントロピーロスが最小であったエポックを採用す る. テストコーパスは Twitter 上のマルチターン対話を各対話システムに入力して得た応答で，学習に 用いたデータセットとは異なる 3,880 文である.

## 5.2.2 実験結果

自動付与した対話行為を利用して評価指標を計算 した結果を表 3 に示す. $\mathrm{T} 5$ と人間については妥当 な結果が得られているのに対し， mT5 は正しく評価できなかったことがわかる。これは学習データの 発話が $\mathrm{T} 5$ と人間によるものであることが原因と考 えられる. 自動付与による評価を実用化するために は，分類モデルの改善が必要である.

## 6 おわりに

本論文では，雑談対話システムのふるまい全体を 評価することのできる指標を提案した. 提案指標 は，システム発話の対話行為の分布から算出される エントロピーと相互情報量であり，データセットの 分析によって得た人間とシステムの発話の特徵に基 づくものである. 様々な対話システムを対象に提案指標を算出する実験によって，提案指標がシステム の良さを反映した妥当な指標であることがわかっ た. 提案指標は応答の対話行為だけを見ており，内容の質を見ていない. 応答がその対話行為の応答と して質が高いかを評価する手法を確立し，統合する ことが今後の課題である.

8) HuggingFace Hub: cl-tohoku/bert-base-japanese-whole-wordmasking

## 謝辞

本研究は 2022 年度国立情報学研究所 CRIS 委託研究の助成を受けて実施した。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[5] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 82-89, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[7] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.
[8] Shaojie Jiang and Maarten de Rijke. Why are sequenceto-sequence models so dull? understanding the lowdiversity problem of chatbots. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 81-86, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[10] Ji Young Lee and Franck Dernoncourt. Sequential shorttext classification with recurrent and convolutional neural networks. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 515-520, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2012-2021, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Vipul Raheja and Joel Tetreault. Dialogue Act Classification with Context-Aware Self-Attention. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.
表 4: 意見の分布

## A 意見の細分化

表 1 から，人間とシステムどちらにおいても，「意見」の発話が多いことがわかる.そこで，「意見」を 細分化して，さらなる特徴の違いを見る。「意見」を，「意見の対象」と，「意見の属性」によって 6 種類に 分類する. 分類の詳細を表 4 に示す.アノテーション の対象は 3.3 節の収集で「意見」の対話行為が付与 されたものである.マルチターンの対話をクラウド ワーカに見せ，最後の発話に関して，6種類の選択肢から1つを選択してもらう. 1 つの発話に関して 5 人に尋ね，2 票以上かつ最多の票を集めた対話行為 を採用する. 複数の対話行為が採用対象になった場合，ランダムに 1 つの対話行為を選択する. 収集し たデータセットの分布を表 4 に示す.システムは対話相手に対するポジティブな意見を多く生成するこ とがわかる.これはシステムからは同意の発話が多 いことを示している.また，システムが対話相手以外に対する意見を生成することは少ないことがわか る.これは，対話相手以外に対する意見を生成する には，直前の発話に含まれないが対話相手との間で 共有している知識や，世界知識が必要であるためと 考えられる. 意見という 1 つの対話行為を詳細に見 ても，人間の方が対話行為に多様性があることがわ かる.

## B 対話行為遷移の例

図 2a に示したヒートマップにおける，頻出の遷移の会話例を以下に示す.

(1) 質問 $\rightarrow$ 質問

a.なんか小さい頃公園で飲んだ水道みたいな味し ました

b.鉄の味するってやつすか (質問)

c.カルキなんですかね.ネバっとする感じの (質問)

お互いがわからないことについて話している状況表 5: 対話行為分類モデルの性能

(2) 提案 $\rightarrow$ 提案

a. 音声録音して送ってくれ

b.土日飯行くならその時にでも (提案)

c.土曜は無理だから日曜なら (提案)

お互いに提案を繰り返し，約束を決めているような 状況

（3）命令・お願い $\rightarrow$ 命令・お願い

a. 久しぶりのお休みだから娘達にご飯行こうっ て誘ってもフラれてしまった私。. あちこち生誕隼備買いにいこ

b. たまにはご馳走して (命令・お願い)

c.じゃあ今すぐ日本橋に来てください (命令・お

願い)

お願いされたことについて交換条件を提示している ような状況

## C 評価指標の数学的定義

DAE は以下で定義される。

$
D A E=-\sum p\left(a_{u}\right) \log p\left(a_{u}\right)
$

DAMI は以下で定義される.

$H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)=-\sum p\left(a_{u_{t}}\right) \sum p\left(a_{u_{t+1}} \mid a_{u_{t}}\right) \log p\left(a_{u_{t+1}} \mid a_{u_{t}}\right)$

$
D A M I=H\left(a_{u_{t+1}}\right)-H\left(a_{u_{t+1}} \mid a_{u_{t}}\right)
$

## D 対話行為分類モデルの性能

5.2.1 節で構築した対話行為分類モデルの性能を 表 5 に示す.


# フォローアップ発話を用いた日本語対話の自動評価

川本 稔己 ${ }^{1,2}$ 岡野 裕紀 $^{1}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 ${ }^{2}$ 船越 孝太郎 ${ }^{1}$ 奥村 学 $^{1}$
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, okano, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

対話の人手評価には時間とコストがかかるため,人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である. 本稿では,フォ ローアップ発話が生成される尤度を利用して対話を 評価する FED と FULLという自動評価指標に着目 し検証と改善を行う. 日本語対話データを利用した 実験の結果, FED と FULL は人手評価との相関があ まり見られなかったが, 我々の改善した手法の相関係数は 0.58 で最も高い値となった. また, 我々の改善した手法を用い, 対話データから対話システムの 順位を予測した結果, 高い相関を示し, 特にオープン ドメインの対話は正解の順位と完全に一致した.

## 1 はじめに

近年の事前学習済み言語モデルによる性能向上に 伴い, 年々優れた対話システム $[1,2,3,4]$ が発表され ているが, 対話システムの優劣を評価するためには 最終的に人手評価を行うことが一般的である [5]. し かし, 人手評価には時間とコストがかかるため, 開発段階では自動評価を利用して評価できれば効率的で ある. 本研究では, 対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.

対話の自動評価指標には正解の応答が必要な指標 と不要な指標がある. 正解の応答が必要な指標とし ては BLEU [6], FBD [7] 等が挙げられ, 正解の応答が 不要な指標としては Perplexity や USR [8] 等が挙げ られる. 正解の応答が必要な指標は, 多様な応答が許容される対話の性質上適切に評価ができなかった り, 正解の応答を作成するための時間とコストがか かるという問題がある. よって本稿では, 正解の応答 が不要な指標の 1 つであり, 人手評価との相関が高 いことが報告されている [5], FED [9] と, FEDを発展 させた FULL [10] に着目する. FED と FULL が日本語対話に利用できるか検証し, 先行研究から考えら
れる問題点（3 節参照）を改善することを試みる. 実験の結果, 我々の改善した手法は先行研究より人手評価との相関が高いことを確認した. さらに, 対話 データから対話システムの順位を予測したところ， オープンドメインの対話とシチュエーションに特化 した対話それぞれで高い相関を示し, 特に,オープン ドメインの対話は正解の順位と完全に一致した.

## 2 先行研究

本節では, 対話の自動評価指標である FED と, FED を発展させた FULL について説明する. FED は, 対話履歴が与えられたときに, それに続くフォローアッ プ発話の対数尤度を測ることによって評価を行う指標である. FED の評価項目とフォローアップ発話の 例を図 1 に示す. 評価項目は大きく分けてターンレ ベルと対話レベルの 2 種類があり, ターンレベルで は, 対話において評価したい話者の発話の後にフォ ローアップ発話を付与し対数尤度を算出する。一方，対話レベルでは, 対話の最後にフォローアップ発話 を付与し対数尤度を算出する. 各レベルごとに評価項目は複数あり, ターンレベルでは 8 個, 対話レベル では 10 個, 計 18 個の評価項目が使われている. 各評価項目には, 平均 4.05 個のフォローアップ発話が 設定されており,フォローアップ発話は, ポジティ ブとネガティブの 2 種類に分けられる. 図 1 に示す ように, フォローアップ発話の例として, Interesting の項目に当てはまるポジティブの発話は”Wow that is really interesting., といった, 前の発話が面白い場合 に尤度が上がる発話を利用し, ネガティブの発話 は”That's really boring."といった, 前の発話が面白く ない場合に尤度が上がる発話が利用されている. 対数尤度の計算には, 公開されている DialoGPT [11] を使用している. 追加でデータの準備やモデルの 訓練をする必要がないため,他の対話自動評価指標 $[12,13]$ と比べて比較的手軽に評価を行うことが できる. また, Tianbo ら [5] が行った自動評価と人手

図 1 FED の評価項目と各項目に設定されているフォ ローアップ発話の例. フォローアップ発話のうち, ポジ ティブを青色, ネガティブを赤色で示している. ネガティ ブ発話しか表示されていない評価項目はポジティブ発話 が定義されていないことを示す.

評価の相関を測る実験で FED と人手評価の相関が 0.59 と報告されており, 彼らの論文中で使われた自動評価指標の中では最も高い相関を得ている.

FULL は FED を発展させた指標であり, FED との 差分としては, (1) FEDでは対話履歴とフォローアッ プ発話を含めた対数尤度を算出していたが, 対話履歴が与えられた場合のフォローアップ発話の条件付き対数尤度に変更したこと, (2) 各評価項目を撤廃し, 5 つのフォローアップ発話のみに限定したこ と, (3) 複数の言語モデルで比較を行い, DialoGPT か ら BlenderBot [14] に変更したことである. FED デー タセットで人手評価との相関係数を計った結果, state-of-the-art となる 0.69 が報告されている.

## 3 先行研究の問題点と調査

本節では, FED・FULL から考えられる問題点と,問題点を改善するための手法を説明する. 2 節で述 べたように FED は, 18 個の評価項目を用いている が, Semantically Appropriate, Understandable, Fluent の 3 つの項目のポジティブのフォローアップ発話は全く同じ発話が使用されている.それ以外にもフォ ローアップ発話が同一である評価項目が存在し, 全 ての評価項目が独立した項目として測れているか疑 わしい. そのため, 我々は対話評価を行う際に, 18 項目全てを用いるよりも，一部の評価項目を用いたほ うが優れているのではないかと仮説を立てた. 具体的には, 検証データで最も高かった評価項目の組み 合わせのみを選択し, その組み合わせを使ってテス トデータで相関係数の評価を行った.

一方, FULL で限定された 5 個のフォローアップ発話は, FED データセットで相関が高かった発話が選 ばれており, 別のデータセットでも適切なフォロー アップ発話なのか不明であるため, FULL で 5 発話に 限定しない手法も比較する. さらに, 限定された 5 発話は全てネガティブのフォローアップ発話なので， ポジティブの発話のみや, ネガティブの発話のみを 使って評価を行う. それ以外にも, GPT [15]のような 基盤モデル [16] を用いて対数尤度を算出するため， フォローアップのテキストが発話である必要はない 可能性があり, 評価項目名をそのままフォローアッ プとした手法の評価も行う。

## 4 実験

## 4.1 実験設定

本実験では, 対話ごとにつけられた人手評価と各手法によって得られる自動評価の相関係数を比較 することで自動評価指標を評価する。評価データ には, 対話システムライブコンペティション 3 [17] (以降, 対話コンペ 3)で行われた予選のデータ1)を 使用する. 対話コンペ 3 にはオープントラックとシ チュエーショントラックの 2 種類のトラックがあ り,オープントラックではオープンドメインの対話, シチュエーショントラックではシチュエーション に沿った対話が行われている. どちらのトラックも ワーカとシステムがチャットベースで対話を行って おり, 人手評価は対話を行ったワーカが行う. オープ ントラックの評価指標は以下の 3 つでそれぞれ 5 段階で評価している.

・自然性：対話が自然かどうか

・話題追随：システムはユーザが選択した話題に 関して適切に応答できたかどうか

・話題提供：システムはユーザが選択した話題に

1) https://dialog-system-live-competition.github.io/ dslc3/data.html
表 1 対話コンペ 3データセットのサイズ.

関して新たな情報を提供できたかどうか

これら 3 指標の平均点を各対話における人手評価の スコアとした. シチュエーショントラックの評価指標は以下の 1 項目で, 同様に 5 段階で評価している.

・どれくらいシチュエーションに適しており、か つ、人らしい会話か

データセットのサイズを表 1 に示す. 対話コンペ 3 に参加した一部のチームのデータは公開されておら ず, 公開されているデータのみを実験の対象とした.

尤度を計算するための言語モデルは日本語で学習された $\mathrm{GPT}^{2}$ を利用した. フォローアップ発話は FED・FULL のフォローアップ発話を第一著者が人手で日本語に翻訳した. 対話ごとの人手評価と自動評価の相関は Spearman の順位相関係数と Pearson の 相関係数を利用し算出する. 2 分割交差検証を行い 2 つの相関係数の平均を最終的な結果とする。

## 4.2 手法

実験では以下の手法を比較する。

FED FEDを日本語に適応した手法.

FULL FULLを日本語に適応した手法.

FED-Cond FED に 2 節で説明した FULL との差分, (1) 条件付き対数尤度を適用した手法.

FED-Cond-Pos FED-Cond のポジティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Neg FED-Cond のネガティブのフォ ローアップ発話のみを用いた手法.

FED-Cond-Tag FED-Cond のフォローアップとし て, 発話の代わりに評価項目名を用いた手法.

FED-Selected FED の評価項目から検証データで 選ばれた項目のみを用いた手法.

FED-Cond-Selected FED-Cond の評価項目から 検証データで選ばれた項目のみを用いた手法.

## 4.3 実験結果

実験結果を表 2 に示す. 先行研究である FED と FULL の相関係数は,オープントラックではマイナ

2) https://huggingface.co/rinna/japanese-gpt-1b表 2 実験結果. Spear. は Spearman の順位相関係数, Pear. は Pearson の相関係数を示す

スで相関がないこと,シチュエーショントラックで は, Spearman の順位相関係数が 0.27 と多少の相関は あることがわかったが, 英語対話の評価結果とは大 きく乘離があることを確認した. 先行研究をそのま ま日本語対話の評価に適用することは難しいことが わかった。

FEDを条件付き対数尤度に変更した FED-Cond は， FED より高い相関を得ていることから, 2 節で説明 した FULL との差分である, (1) の条件付き対数尤度 は効果的であることを示しており, FULL より高い 相関を得ていることから, (2) の 5 発話に絞ることは 日本語対話の評価に悪影響を与えていることを示し ている. FED-Cond-Pos と FED-Cond-Neg を比較する と,オープントラックにおいては, ポジティブのフォ ローアップ発話のほうが効果的であるが, シチュ エーショントラックにおいては, ネガティブのフォ ローアップ発話のほうが効果的であった. 効果的な 発話が 2 つのトラックで異なったのは, シチュエー ショントラックの設定が”先輩からの「同窓会の幹事の依頼」を断りたい状況”であるため, システムの 発話がネガティブに当てはまる場合が多かったこと が理由として考えられる. その上で, FED-Cond の方 が高い相関係数を得ていることから, ポジティブと ネガティブどちらの発話も使ったほうが効果がある と考えられる. FED-Cond-Tag は, どちらのトラック でも相関は見られず, 基盤モデルで実験を行う場合 も評価項目名をフォローアップとして与えるより，評価項目の意図を反映するような発話を用いたほう が良いことがわかる. その上で, 検証データを用いて 評価項目を選ぶ FED-Cond-Selected は他の手法と比較してどちらのトラックでも最も高い相関係数を得 た. よって, 18 個の評価項目から一部の項目を使用 することで相関係数が向上することを確認した.
表 3 オープントラックのランキング結果. 結果は”チー ム名 (スコア)" で表記する. 赤が正しく順位を予測できた チーム, 青が誤って順位を予測したチームを示す.

## 4.4 ランキング

本稿で提案した手法 FED-Cond-Selected は最も高 い相関があることを確認したが, 今回使用したデー タセットである対話コンペ 3 予選の本来の目的は, チームのランキングを決めることである. よって, 対話それぞれの自動評価スコアをチームごとに平均す ることでチームのランキングを試みる.

ランキング結果とその Spearman の順位相関係数 を, オープントラックは表 3 に, シチュエーショント ラックは表 4 に示す. チーム名はわかりやすさのた めに順位の高い方からアルファベット順で表記し た. オープントラックで, FED・FULLが正しく順位 を予測したのはそれぞれ 1,2チームだけであったが, FED-Cond-Selected は正解の順位と完全に一致した.一方で, シチュエーショントラックでは, どの手法も 正しく順位を予測したのは数チームであり, 相関係数は FULL が最も高かったが, FED-Cond-Selected も 0.77 と高い相関を示した。

## 4.5 考察

実験結果から, オープントラックで行われたオー プンドメイン対話に関しては比較的高い相関が見ら れ, ランキングが正解と一致したことから, 本稿で提案した手法は対話の自動評価を行える可能性がある ことを示唆している. 一方, シチュエーショントラッ クに関してはオープントラックと比べて相関係数が 低く,ランキングが一致するチーム数も少なかった. これは, シチュエーショントラックの指標である”ど れくらいシチュエーションに適しており、かつ、人 らしい会話か” の前半部分であるシチュエーション に適しているかを今回使用したフォローアップ発話 では測れなかった可能性があり,シチュエーション に特化した評価項目とそのフォローアップ発話を新 たに作成することで対応できる可能性がある.

また, FED-Cond-Selected において, 2 分割交差検証 で最も高い相関係数を得た評価項目の組み合わせ は,オープントラックでは Specific, Relevant, Fluent の 3 項目と Interesting, Specific, Correct, Fluent $の 4$ 項目, シチュエーショントラックでは Interesting, Engaging, Specific, Fluent, Depth $の 5$ 項目と Specific, Relevant, Semantically Appropriate, Depth, Understand $\sigma 5$ 項目 であった. 評価する対話の性質や目的, 状況により必要な項目は変化すると考えられるが, 今回使われた 項目数は最大で 5 項目であることから, 18 項目全て を利用する必要はないことを確認した. 選ばれた評価項目で互いのトラックを評価すると,オープント ラックの組み合わせを使用したシチュエーショント ラックの Spearman の順位相関係数は 0.320 , シチュ エーショントラックの組み合わせを使用したオープ ントラックの Spearman の順位相関係数は 0.529 とな り,性能の劣化はあまり見られなかった.

## 5 おわりに

本稿では, 対話の自動評価指標である FED・FULL が日本語対話の評価に利用できるか検証した結果，人手評価とはほとんど相関がないことを確認した が, 一方で 18 個の評価項目からいくつかの項目だけ を選んで利用することで相関係数が向上することを 示した. その上で, 選んだ項目のみを用いる手法でシ ステムの順位を予測したところ, オープンドメイン の対話とシチュエーションに特化した対話のどちら も高い相関を示した. 今後の展望としては, 今回提案した手法をさらに発展させて, 使用するフォロー アップ発話を対話ごとに動的に選んで自動評価を行 う枠組みを構築したい. また, 今回選ばれた評価項目 を他の対話データに適用したときに, 同様の結果を 得られるか検証を行っていきたい。

## 参考文献

[1] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. Lamda: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022.

[5] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Jiannan Xiang, Yahui Liu, Deng Cai, Huayang Li, Defu Lian, and Lemao Liu. Assessing dialogue systems with distribution distances. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2192-2198, Online, August 2021. Association for Computational Linguistics.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[9] Shikib Mehri and Maxine Eskenazi. Unsupervised evaluation of interactive dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 225-235, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[10] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-domain dialog evaluation using follow-ups likelihood. In Proceedings of the 29th
International Conference on Computational Linguistics, pp. 496-504, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[11] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[12] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Conversations are not flat: Modeling the dynamic information flow across dialogue utterances. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 128-138, Online, August 2021. Association for Computational Linguistics.

[13] Chen Zhang, Yiming Chen, Luis Fernando D'Haro, Yan Zhang, Thomas Friedrichs, Grandee Lee, and Haizhou Li. DynaEval: Unifying turn and dialogue level evaluation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5676-5689, Online, August 2021. Association for Computational Linguistics.

[14] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[16] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[17]東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス. 対話システムライブコンペ ティション 3. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 90, p. 23, 2020.


# Decoder ベースの大規模言語モデルに基づく テキスト生成の自動評価指標

笠原智仁 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{tomo_k@ruri.,dkw@\}waseda.jp
\{takato.yamazaki,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

テキスト生成の自動評価はタスクの精度を向上 させる上で欠かせないものである。本研究では、 Decoder ベースの言語モデルの大規模化が進む動向 を踏まえ、それらに基づくテキスト生成の自動評価指標を提案する。翻訳評価と意味的類似度計算の 2 種類の日本語のタスクで実験を行い、Encoder ベー スの言語モデルと比較して、同等かそれ以上の精度 を出すことが可能であることを示す。

## 1 はじめに

ニューラルネットワークによるテキスト生成モデ ルは機械翻訳、対話システム、文章要約など、様々 なタスクで用いられる。しかし、モデルからの出力 はオープンエンドであり、正解も 1 つとは限らない ため、生成結果の評価は難しい。人手による評価は 精度が高く、よく用いられるが、時間的、金銭的コ ストが高いという問題がある。そのため、テキスト 生成モデルを迅速に開発するためには自動評価が必要不可欠となる。

テキスト生成の自動評価手法として、かつては BLEU [1] や ROUGE [2] などのような、生成テキスト と正解とされるテキストとの間の表層的な単語の重複による評価が主流であった。近年では、BERT [3] や BART [4] などの自己教師有り学習モデルの発展 に伴い、それらを活用したより精度の高い自動評価手法が提案されている $[5,6,7,8,9,10]$ 。これら の手法では主に Transformer [11] アーキテクチャの Encoder ベースのモデルや Encoder-Decoder ベースの モデルが用いられるが、Decoder ベースのモデルを 利用した手法の研究はなされていない。

しかしながら、自己教師有り学習モデルは
Decoder ベースのモデルの大規模化が顕著であり、 GPT3 [12]、Megatron-Turing [13]、PaLM [14] などが 開発されている。以降、Transformer の Decoder ベー スの自己教師有り学習された大規模言語モデルを LLM と呼ぶ。一方で、Encoder ベースのモデルは Decoder ベースのモデルと比較するとそこまで大規模化が進んでいない。

これらを踏まえ、本論文では LLM を用いたテキ スト生成の自動評価手法を提案する。翻訳評価と意味的類似度計算 (Semantic Textual Similarity, STS) の 2 種類の日本語のタスクで実験を行い、既存のテキス 卜生成自動評価手法と同等かそれ以上の精度を出 すことが可能であることを示す。LLMを 3 種類の Tuning 手法でそれぞれ学習し、Fine-Tuning よりも低 コストな学習手法である LoRA-Tuning [15] において 最も高い精度を出すことが可能であることを示す。 また、本手法ではテキストの埋め込みも得られるた め、テキスト間の意味的比較なども可能であり、応用範囲が広い。

## 2 関連研究

## 2.1 テキスト生成の自動評価指標

テキスト生成を自動評価する際に必要となるも のは、モデルによって生成されたテキストと正解と されるテキストである。古典的な自動評価指標であ る、BLEU や ROUGE、METEOR [16]、CIDEr [17] な どではこれら 2 つのテキスト間で N-gram がどれほ ど重複するかに基づいて評価する。これらの手法で は N-gram が完全に一致していなければスコアが上 がらないため、類義語が含まれている場合でもスコ アが上がらないという久点がある。編集距離に基づ いて評価を行う TER [18] なども同様の欠点を持つ。

METEOR については類義語辞書を利用することで この欠点を克服することを目指したが、文脈を考慮 した類義語判定までは行うことができない。

自己教師有り学習モデルの埋め込みを利用するこ とで、文脈を考慮した上で類義語を似ていると判断 することが可能となる。BERTScore [5] は生成テキ ストと正解テキストをそれぞれ BERTによって埋め 込み、その類似度でスコアを計算する手法である。 BARTScore [6] では Encoderに 1 つ目のテキストを、 Decoderに2つ目のテキストを入力し、2つ目のテキ ストの生起確率に基づいてスコアを計算する。

テキストペアとその類似度ラベルのデータセッ トを用いて自己教師有り学習モデルを Fine-Tuning することで精度を上げる手法もある。翻訳評価の データセットで学習したモデルとして BLEURT [7] COMET [8] などが、STS データセットで学習した モデルとして Sentence-BERT [9] などが挙げられる。 SimCSE [10]のように自然言語推論データセットを 用いて Contrastive Learning を行うことにより文の埋 め込みを学習し、それをテキストペアの類似度計算 に利用する手法も存在する。これらの自己教師有り 学習を利用する手法は Encoder モデルが用いられる ことが多く、Decoder モデルを使用する手法の研究 はなされていない。

## 2.2 自己教師有り学習モデルのチューニン グ手法

自己教師有り学習モデルをタスクへ適応させる 手法として最も主流なものは、モデルのパラメータ 全てをチューニングする Fine-Tuning である。しか し、大規模なモデルの Fine-Tuning はコストが高い ため、一切パラメータをチューニングせずに複数の 例 (Prompt) だけをモデルに入力してタスクを解く Few-Shot Learning [12] や、少数のパラメータのみを チューニングする Prompt-Tuning や LoRA-Tuning な どの手法が提案されている。Prompt-Tuning は学習 によって Promptを最適化する手法であり、離散的な 語彙の中から最適な単語を選択する手法 [19] と、連続的な埋め込みべクトルを用意してそれを最適化す る手法 $[20,21,22,23,24]$ が存在する。LoRA-Tuning は Transformerアーキテクチャの各層に含まれる重 み行列に対して階数分解を行ったパラメータを追加 し、そのパラメータのみを学習する手法である。

図 1 提案モデルのアーキテクチャと入出力関係

## 3 提案手法

本論文では LLM を用いたテキスト生成の自動評価指標を提案する。具体的には、テキストペアと その類似度ラベルのデータセットを用いてLLMを LoRA-Tuning することによって自動評価システムを 構築する。

## 3.1 アーキテクチャと入出力関係

提案モデルのアーキテクチャと入出力関係を図 1 に示す。テキストのペアをモデルに入力し、その 類似度を出力する。類似度の算出は以下の手順で 行う。

1. テキストペアをそれぞれ LLM に入力

2. EOSトークンの 1 つ前の文末のトークンに対応 する埋め込みをそれぞれ得る
3. 2 つの埋め込み間の $\cos$ 類似度を計算
4. 1 層の $\mathrm{FNN}$ 層に $\cos$ 類似度を入力し、その出力 をテキストペアの類似度とする

なお、 1 層の FNN 層を通す理由は $\cos$ 類似度の値 をデータセットのラベル分布に変換するためであ る。また、予備実験の結果から EOS トークンでは なく文末のトークンの埋め込みを利用することとし た。本手法では手順 2 で得られた埋め込みをテキス トの埋め込みべクトルとして利用することも可能で ある。

## 3.2 学習方法

データセットの正解ラベルはあらかじめ $0 \sim 1$ の 間に正規化する。 3.1 節の手順通りにテキストペア の類似度を算出し、その値とラベルとの間の平均二乗誤差に基づいて、LoRA-Tuning のために新たにモ デルに追加したパラメータと FNN のパラメータの みを更新する。なお、FNN の初期値は weight を 1、 bias を 0 に設定する。
表 1 自動評価指標による評価と正解ラベルとの相関係数 (WMT20 en-ja)

## 4 実験

実験に使用する GPU は 40GB の GPU メモリを搭載している NVIDIA A100 SXM4 である。

## 4.1 データセット

実験に使用するデータセットは WMT20 [25] の 英語から日本語への翻訳タスク (WMT20 en-ja) の データセットと、日本語言語理解ベンチマーク JGLUE [26] に含まれる JSTS である。WMT20 のデー タセットには人手による翻訳文、機械翻訳モデル による翻訳文とその評価ラベル (Direct Assessment) が含まれる。JSTS は日本語の STS データセットで あり、文ペアとその類似度ラベルからなる。なお、 WMT20 についてはデータセットが Train、Valid、 Test にあらかじめ分けられていないため、ランダム に 8:1:1 の割合で分割した。

## 4.2 実験設定

実験には、日本語のコーパスで事前学習がなさ れた GPT2-xsmall (37M) ${ }^{1)}$ 、 small $(110 \mathrm{M})^{2) 3}$ ) , medium $\left.(336 \mathrm{M})^{4}\right)$ と、LINE 社が開発した HyperCLOVA [27] と 呼ばれる GPT3 ライクなモデルのパラメータ数 $6.9 \mathrm{~B}$ のモデルを用いる。 4.1 節の 2 種類のデータセット に対してそれぞれモデルを学習させる。

1) https://huggingface.co/rinna/japanese-gpt2-xsmall

2) https://huggingface.co/nlp-waseda/

gpt2-small-japanese

3) https://huggingface.co/rinna/japanese-gpt2-small

4) https://huggingface.co/rinna/japanese-gpt2-medium
LoRA-Tuning $の$ 他に Prompt-Tuning $と$ Fine-Tuning も比較対象として実験する。Prompt-Tuning ではテ キストをトークン列に変換する際、文末のトーク ンの後ろに新たに追加した特殊トークンを配置し、 そのトークンの埋め込みと FNN のパラメータのみ を最適化する。Fine-Tuning では図1のアーキテク チャを用いた上で、モデルのすべてのパラメータと FNN のパラメータを更新する。なお、HyperCLOVA の Fine-Tuning については GPUメモリの不足により 実験することができなかった。

また、ベースラインとして、RoBERTa-large (337M) $[28]^{5}$ の Fine-Tuning、BERTScore $\left.{ }^{6}\right)$ BLEURT $^{7)}$ と比較する。BERTScore では Train データを用いて 埋め込みを得るための最適な出力層を選択した。 BLEURT では追加の学習はしておらず、日本語を含 む多言語で学習された BLEURT-20 [29]を利用した。学習時のハイパーパラメータを付録 A に示す。

## 4.3 実験結果・議論

WMT20 en-ja とJSTS における、自動評価指標 による評価と正解ラベルとの相関係数を表 1 、表 2 に示す。どちらのデータセットにおいても 3 種類の Tuning 手法の全てにおいてモデルサイ ズが大きくなるほど精度が上がることが分かる。 WMT20 en-ja によって LoRA-Tuning した GPT2-xsmall

表 2 自動評価指標による評価と正解ラベルとの相関係数 (JSTS)

表 3 LoRA-Tuning した rinna GPT2-xsmall と HyperCLOVA 6.9B による自動評価例 (WMT20 en-ja)

 &  & 0.52 & 0.74 & 0.51 \\

と HyperCLOVA による自動評価例を表 3 に示す。 GPT2-xsmall に対して HyperCLOVA による自動評価 の方が、正解ラベルとの相関が強いことが分かる。 WMT20 en-ja で は Prompt-Tuning、Fine-Tuning、 LoRA-Tuning の順に精度が上がっていく傾向が 見られ、HyperCLOVA を LoRA-Tuning したモデルが 最も精度が高くなった。一方で JSTS では、PromptTuning、LoRA-Tuning、Fine-Tuning $の$ 順に精度が上 がっていく傾向が見られたが、RoBERTa-large を Fine-Tuning したモデルが最も精度が高くなった。た だし、HyperCLOVAを LoRA-Tuning したモデルも人間 (Human) と同等の精度になっている。テキストペ アの類似度に関するタスクに真の正解は無いため、 Human の精度に近い値が出ていればそれ以上の精度向上に意味は無いと考える。すなわち、JSTS にお いてはモデルにとってタスクが容易すぎるために、手法の比較が正しく行えていない可能性がある。
3 種類の Tuning 手法の Epoch 数を揃えた上での 学習時間の比は Prompt:LoRA:Fine $=0.89: 1: 1.24$ と なり、GPUメモリ使用率の比は Prompt:LoRA:Fine = 0.96:1:1.33 となった。なお、Prompt-Tuning は他の Tuning 手法と比較して学習が収束しにくい傾向があ るため、収束に必要な Epoch 数は大きくなる。

## 5 おわりに

本論文ではLLMを用いたテキスト生成の自動評価手法を提案した。LLM のモデルサイズが大きい 場合には、Encoder モデルを用いた自動評価指標よ りも高い精度を出すことが可能である。3 種類の Tuning 手法を比較し、Fine-Tuning よりもコストの低 い LoRA-Tuning において、Fine-Tuning と同等かそれ 以上の精度を達成できることを示した。今後、LLM のモデルサイズが大きくなるにつれて、それらを用 いた本手法の精度も向上していくと考えられる。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL2002, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT2019, pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL2020, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. ICLR2020, 2020.

[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. NeurIPS2021, Vol. 34, pp. 27263-27277, 2021.

[7] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In ACL2020, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[8] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP2020, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[9] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In EMNLPIJCNLP2019, pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In EMNLP2021, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS2017, 2017.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS2020, Vol. 33, pp. 1877-1901, 2020.

[13] Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, et al. Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model. arXiv, 2022. abs/2201.11990

[14] Aakanksha Chowdhery, Sharan Narang, and Jacob Devlin et al. Palm: Scaling language modeling with pathways. arXiv, 2022. abs/2204.02311.

[15] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora:
Low-rank adaptation of large language models. arXiv, 2021. abs/2106.09685

[16] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[17] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[18] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA2006, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[19] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In EMNLP2020, pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[20] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In NAACL-HLT2021, pp. 5203-5212, Online, June 2021. Association for Computational Linguistics.

[21] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP2021, pp. 4582-4597, Online, August 2021. Association for Computational Linguistics.

[22] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP2021, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[23] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. Gpt understands, too. arXiv, 2021. abs/2103.10385

[24] Tu Vu, Brian Lester, Noah Constant, Rami Al-Rfou', and Daniel Cer. SPoT: Better frozen model adaptation through soft prompt transfer. In ACL2022, pp. 5039-5059, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[25] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong Ma, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[26] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC2022, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[27] Boseop Kim, HyoungSeok Kim, and Sang-Woo Lee et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In EMNLP2021, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[28] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[29] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning compact metrics for MT. In EMNLP2021, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics

## A ハイパーパラメータ

モデルの学習時に設定したハイパーパラメータを表 4 に示す。

表 4 モデルの学習時に設定したハイパーパラメータ

 &  &  &  \\

Epoch Num & 10 & 10 & 30 & 10 \\
LoRA Dim & - & 4 & - & - \\
LoRA Alpha & - & 32 & - & - \\
LoRA Dropout & - & 0.1 & - & - \\


# A Frustratingly Simple Conditional Likelihood-based Method for Dialogue Orientation Estimation

Yin Jou Huang, Sadao Kurohashi
Kyoto University
\{huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
During a conversation, the participants constantly switch between strategies of different orientations. A participant can either adopt a forward strategy to advance the conversation toward a desirable direction, or a backward strategy to address previous conversation contents. In this work, we use dialogue orientation as a measure of an utterance's intention to change the conversational topic and propose a conditional likelihood-based method for dialogue orientation estimation. We performed experiments in both Japanese and English and verified the effectiveness of our proposed method.
\end{abstract
## 1 Introduction

During a conversation, an interlocutor can choose to direct the conversation towards a new direction (forward strategy), or simply address what is previously said (backward strategy) [1]. Take Figure 1 as an example. In response to the utterance "I like to read in my spare time.", the utterance "What genre of books do you prefer?" is a forward utterance that prompts the subsequent discussion of book genres. On the other hand, the response "Reading is a good pastime!" is a backward utterance that makes comments on the previous utterance. Dialogue orientation is used to quantify the forward/backward strategies. In this work, we define dialogue orientation as the degree of an utterance's intent to direct the conversation toward a specific topic. By this definition, a typical forward utterance would have a high orientation score, and a backward utterance would have a low orientation score.

A good interlocutor controls the flow of the dialogue by adequately switching between strategies of different dialogue orientations. If the backward strategy is overly dominant, the conversation may be dull. On the other

Figure 1: Forward and backward utterances.

hand, excessive use of the forward strategy may progress the conversation too hastily and make it difficult to build rapport between the interlocutors. Thus, controlling dialogue orientation is critical for building engaging dialogue systems.

Previous work of dialogue orientation focused on counseling dialogues and categorized counselors' utterances into backward utterances that show empathy and forward utterances that guide the patient to a calmer state [1,2]. They use singular value decomposition to acquire utterance representations and calculate the orientation score based on the variance of preceding and following utterances. Inspired by their work, we further improved the dialogue orientation estimation method to be more robust, and also considered the semantic relations of the target utterance and the surrounding context.

In this paper, we propose a simple conditional likelihood-based method for dialogue orientation estimation. We observe that while a forward utterance is semantically related to both its preceding and following contexts, a backward utterance is semantically related only to its preceding context but not its following context. Based on the above characteristics, we calculate the conditional like-
lihood of a target utterance under different contexts and calculate the orientation score of the utterance. After the orientation scores are calculated, we use a heuristic method to decide the threshold value between backward and forward strategies and get the discrete orientation labels.

We conduct experiments in both Japanese and English, using DailyDialog dataset [3] and Kyoto University Hobby Chat Dialogue Corpus (KUHCC) [4] respectively. Evaluations on manually labeled data and showed improved results over previous method. We also perform a thorough analysis of the characteristics of dialogue orientation and verified the effectiveness of our proposed method.

## 2 Dialogue Orientation Estimation

In this section, we introduce our proposed method for dialogue orientation estimation. We train a conditional utterance prediction model and use the model to estimate the dialogue orientation of a given utterance. Also, we propose a heuristic method to deduce discrete orientation labels.

## 2.1 Conditional Utterance Prediction Model

We train a conditional utterance prediction model to capture the semantic relations among utterances. Taking the history and future contexts as input, the model predicts the utterance that fits the given context.

For each utterance $u_{t}$ in the corpus, we take $k$ preceding utterances as history context and $j$ following utterances as future context. The model input is defined as follows:

$
u_{t-k}[\mathrm{SEP}] \ldots u_{t-1}[\mathrm{MASK}] u_{t+1}[\mathrm{SEP}] \ldots u_{t+j}
$

where special token [SEP] indicates the utterance boundaries, and [MASK] indicates the position of the target utterance. Given the above input, the model generates the target utterance $u_{t}$.

## 2.2 Conditional Likelihood-based Dialogue Orientation Score

Based on the conditional utterance prediction model (Section 2.1), we calculate the conditional likelihood-based dialogue orientation score.

The following is the intuition of our proposed method: Since a forward utterance directs the conversation topic toward a specific direction, it imposes semantic constraints on its subsequent utterances. Thus, the future context provides important information for predicting a forward utter- ance. Take the forward utterance in Figure 1 as an example. It is difficult to predict the forward utterance accurately only by looking at the history context. However, if we look at the future context ("I enjoy fantasy and sci-fi the most."), we can get a rough idea that the utterance before it is talking about genres of books.

In contrast, a backward utterance addresses previous conversational contents and does not impose strong additional constraints on its following context. Thus, the future context of a backward utterance often provides little information in the prediction of the backward utterance.

Based on the above observations, we consider the conditional likelihood of a target utterance $u$ given different contexts. For typical forward utterance $u^{f}$ and backward utterance $u^{b}$, we expect the conditional likelihood of $u$ to exhibit the following property:

$
\left.\{\begin{array}{l}
p\left(u^{f} \mid \text { history }, \text { future }\right)>p\left(u^{f} \mid \text { history }\right) \\
p\left(u^{b} \mid \text { history }, \text { future }\right) \approx p\left(u^{b} \mid \text { history }\right)
\end{array}\right.
$

with history and future being the history and future context of $u$.

We use perplexity to measure the conditional likelihood and calculate the dialogue orientation score. Given $k$ preceding utterances and $j$ future utterances of the target utterance $u_{t}$, we calculate the perplexity of $u_{t}$ conditioned on both history and future context ( $\left.p p l_{A L L}\right)$, and the perplexity of $u_{t}$ conditioned on history context alone ( $p p l_{H I S T}$ ):

$
\left.\{\begin{array}{l}
p p l_{A L L}=p p l\left(u_{t} \mid u_{t-k}, \ldots, u_{t+1} ; u_{t+1}, \ldots, u_{t+j}\right) \\
p p l_{H I S T}=p p l\left(u_{t} \mid u_{t-k}, \ldots, u_{t-1}\right)
\end{array}\right.
$

We define the orientation score under this condition as:

$
s_{t}(k, j)=-\left(p p l_{A L L}-p p l_{H I S T}\right)
$

Note that the value of $s_{t}(k, j)$ depends on the length of history and future context ( $k$ and $j$ ). To calculate the orientation score of $u_{t}$, we fix the history context size to $k=3$ and take the future context size $j$ that gives the highest $s_{t}(k, j)$ :

$
s_{t}=\max _{j \in[1,5]} s_{t}(k, j)
$

Multi-sentence utterances An utterance can contain more than one sentence, and different sentences could exhibit different orientation strategies. Thus, in addition to the utterance-level orientation scores $\left(u_{t}\right)$, we also calculate the sentence-level orientation scores. Replace $u_{t}$ with its constituent sentence in equation (3) gives the sentencelevel orientation score.

(a) DailyDialog.

(b) KUHCC.

Figure 2: Distribution of the forward and backward utterances.

## 2.3 Discrete Orientation Label

The scores calculated in Section 2.2 provide a measure of dialogue orientation, but how large/small does a score have to be to suggest a forward/backward strategy? In this section, we introduce a heuristic method to decide a threshold value between forward and backward utterances.

In dialogues between human interlocutors, a speaker tends to first address the previous conversational content (backward) and then advance to some new topic (forward), but not vice versa. We focus on utterances with multiple sentences, and calculate the orientation score of the first and the last sentence. If the last utterance exhibits a higher orientation score than the first utterance, then the utterance is likely to exhibit the 'backward-then-forward' pattern. Figure 2 shows the distribution of orientation score of the first and last sentences in multi-sentence utterances (DailyDialog dataset). Here, we view the first sentence as a backward utterance and the last sentence as a forward utterance.

Next, we fit Gaussian distributions to the orientation scores of the last sentences (forward) and first sentences (backward), respectively. We use the intersection of the two Gaussian curves as the threshold value $\delta$ between forward and backward orientation scores. Using this threshold value, we classify utterances with an orientation score larger than $\delta$ as forward utterances, and the ones with an orientation score smaller than $\delta$ as backward utterances.

## 3 Experiments

In this section, we conduct experiments to verify the effectiveness of our proposed orientation estimation method.

Table 1: Orientation prediction accuracy of different orientation estimation methods.

## 3.1 Experimental Settings

In this work, we conduct experiments in English and Japanese. For English, we use the general-purpose DailyDialog dataset [3]. The dataset contains 13,118 dialogues of 10 different categories. For Japanese, we use the KUHCC [4] corpus. The corpus contains 4, 911 dialogues collected with crowdsourcing. In each dialogue, the two participants talk about their hobbies.

We use the pretrained BART base model [5] for the conditional utterance prediction model. For each target utterance, we take the previous $k=3$ utterances as the history context and randomly use $j=5$ utterances as the future context. The threshold value obtained by the discrete label deduction method method in Section is $\delta_{e n}=0.209$ for English and $\delta_{j p}=0.053$ for Japanese corpus.

## 3.2 Evaluation

We perform quantitative analysis with manually labeled samples. We manually labeled 158 utterances in the KUHCC corpus with orientation labels (forward or backward). Similarly, for the DailyDialog corpus, 160 labeled utterances are collected as the evaluation set.

Table 1 shows the accuracy score of our proposed method (Proposed) and the orientation estimation method
$\mathrm{S}_{1}$ : I love watching baseball. However, I haven't watched any game since last year. $S_{2}$ : You haven't been to even one game?
$S_{1}$ : I really want to go, but the tickets are difficult to come by due to the restrictions.

B $\quad \mathrm{F}$

$\mathrm{S}_{1}$ : I love watching soccer.

$S_{2}$ : You go watch the game in person?

F

$S_{1}$ : I got into the habit only several years ago, I haven't got the chance to watch in person.

$\mathrm{S}_{1}: \mathrm{I}$ am the fan of the baseball player Martin

$S_{2}$ : I don't know much about baseball, but I have heard of him!

$\mathrm{S}_{1}$ : I just went to a game in Makuhari last weekend.

B

$S_{2}$ : You go watch the game in person?

$\mathrm{S}_{1}$ : Yeah, it was really exciting!

Table 2: Case analysis. The target utterance is in bold font and the correct label is highlighted in bold. The correct orientation label is highlighted in bold. Examples from the KUHCC corpus are translated into English.

proposed by Zhang et al. [1] (Baseline). The proposed method outperformed the baseline method by 21.3 points for DailyDialog, and 4.3 points for KUHCC corpus.

## 3.3 Case Study

We perform a case study of the predicted orientation labels (Table 2).

Indirect utterance The first row of Table 2 shows an example of indirect utterance whose surface form differs from its intent. The target utterance is in the interrogative form, but its intent is confirmation rather than asking for information. Since typical questions are followed by corresponding answers to fulfill the turn-taking rules of communication [6, 7], they lean towards the forward end of the orientation spectrum. However, a question could have intents other such as confirmation or irony [8], which indicates a backward strategy. Our proposed method classified this utterance as backward correctly, while the baseline method classified it as forward. We speculate that the baseline method is influenced by the textual indicators of questions ${ }^{1)}$ and has the tendency to classify the utterance with question form as forward. This example shows that our proposed method predicts the orientation not only based on the surface form but also on the semantic relations between the target utterance and the surrounding context.

Context dependency The second and third rows in Table 2 illustrate that an utterance could have a different orientation depending on the context. In the first sample, the utterance "You go watch a game in person?" is

1) Many languages have textual indicators of questions, such as question marks, interrogative words such as the 5W1H in English, the $k a$ in Japanese, to name a few. a forward utterance and leads to further discussion about different ways of watching soccer games. However, in the second sample, the same utterance is a backward utterance that aims to express the emotion of surprise. The proposed orientation estimation method correctly predicts both samples. The above examples illustrate that our proposed method can adequately reflect the difference in context when predicting the orientation.

## 4 Conclusion

In this work, we studied dialogue orientation, which is an important dialogue characteristic indicating the forward strategy and backward strategy of conversation. We proposed a simple conditional likelihood-based method for estimating dialogue orientation. We applied our proposed dialogue orientation estimation method to Japanese and English corpora and conducted a thorough analysis. The analysis illustrated the robustness of our model in handling cases of misleading surface forms. Also, the proposed model adequately captures the context-dependent nature of dialogue orientation.

For future work, we consider downstream applications of dialogue orientation. We expect the dialogue orientation measure to be helpful in dialogue analysis, such as dialogue breakdown detection, quality control of crowdsourced dialogue data, etc. Also, incorporating and controlling dialogue orientation to a dialogue agent can lead to more engaging conversations.

## Acknowledgement

This work was supported by project JPNP20006, commissioned by New Energy and Industrial Technology Development Organization (NEDO). Also, this work was supported by JST, CREST Grant Number JPMJCR20D2, Japan.

## References

[1] Justine Zhang and Cristian Danescu-Niculescu-Mizil. Balancing objectives in counseling conversations: Advancing forwards or looking backwards. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5276-5289, Online, July 2020. Association for Computational Linguistics.

[2] Brian L Mishara, François Chagnon, Marc Daigle, Bogdan Balan, Sylvaine Raymond, Isabelle Marcoux, Cécile Bardon, Julie K Campbell, and Alan Berman. Which helper behaviors and intervention styles are related to better shortterm outcomes in telephone crisis intervention? results from a silent monitoring study of calls to the us 1-800-suicide network. Suicide and Life-Threatening Behavior, Vol. 37, No. 3, pp. 308-321, 2007.

[3] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[4] Takashi Kodama, Frederic Bergeron, Hayato Atarashi, Ribeka Tanaka, Wataru Sakata, and Sadao Kurohashi. Japanese Dialogue Collection Platform Available in Crowdsourcing. In Proceedings of the 27th Annual Conference of the Association for Natural Language Processing (In Japanese), pp. 859-864, 2021.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Emanuel A Schegloff and Harvey Sacks. Opening up closings. 1973.

[7] Silvia Pareti and Tatiana Lando. Dialog intent structure: A hierarchical schema of linked dialog acts. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8] John R Searle. Indirect speech acts. In Speech acts, pp. 59-82. Brill, 1975.


# Utilizing Pseudo Dialogue in Conversational Semantic Frame Analysis

Shiho Matta, Yin Jou Huang, Hirokazu Kiyomaru, Sadao Kurohashi
Kyoto University
\{matta, huang, kiyomaru, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
Semantic frame analysis aims to extract structural knowledge from unstructured texts. A semantic frame analyzer is usually trained using manually annotated dialogue data. However, it is costly to gather and annotate dialogue data. In this paper, we propose a method to create pseudo data in addition to real training data to improve the performance of semantic frame analysis. Experiments showed that compared to only using real training data, our method successfully improved the performance of semantic frame analysis on a cooking dialogue corpus by incorporating pseudo data.
\end{abstract
## 1 Introduction

When we try to understand what important events are mentioned in a dialogue context, we need to identify words that represent those events. A semantic frame is a knowledge structure that represents a specific event mentioned in the context [1]. The main action of the event is indicated by a trigger, and details about the action are supplemented by arguments.

In this paper, we focus on the task of semantic frame analysis [2] to extract events from dialogues in Japanese. Figure 1 shows an utterance from a dialogue with its semantic frames. In this piece of dialogue, the trigger is “休 ませて,” and it has three arguments: “タルト生地, “最低でも 1 時間,” and “冷蔵庫” with their types labeled respectively. Semantic frame analysis aims at identifying these components in a given context.

One of the main challenges of semantic frame analysis is the paucity of data. However, collecting a large amount of dialogue data costs more money and time compared to monologue and written-style data, not to mention we have to properly label the data with semantic frames to use them as training data.

Figure 1: An example of dialogue annotated with semantic frames.

To solve the aforementioned problem, we propose a method to generate pseudo dialogues with semantic frame annotation as extra training data (Figure 2). Our proposed method contains three key components: the frame analyzer, the pseudo dialogue generator, and the pseudo annotation mechanism. First, the frame analyzer extracts semantic frames from written-style texts. Second, the pseudo dialogue generator is given semantic frames and generates pseudo dialogue based on them. Last, we apply pseudo annotation on the pseudo dialogue by identifying the location of triggers and arguments.

To apply our method, we first train the frame analyzer and the pseudo dialogue generator with a moderate-sized annotated dataset so they could learn how to extract semantic frames from texts and generate pseudo dialogues based on them. Once the models are trained, we feed texts into this pipeline and obtain pseudo annotated data. We refer to this synthesized data as silver data and the data used to initialize the method as gold data.

Experiments show that compared to the baseline model trained only on gold data, a performance gain is achieved by incorporating annotated pseudo dialogues as silver data.

## 2 Related Work

Our method can be seen as a data augmentation method as it increases the number and diversity of training examples without explicitly collecting new data [3]. Dai et al. [4] propose to generate pseudo dialogues as data augmentation

Figure 2: Overview of the proposed method.

for conversational question answering. However, due to the difference in the target tasks, it is not directly applicable to semantic frame analysis. Ding et al. [5] represent labeled data by intertwining words and word-level tags and generate synthetic labeled data for sequence labeling tasks. However, the labeled sequence is drastically different from natural language text, making it difficult to take full advantage of the pre-trained language models [6].

## 3 Proposed Method

As shown in Figure 2, our pipeline for producing silver data consists of three parts: the frame analyzer, the pseudo dialogue generator, and the pseudo annotation mechanism. In this section, we explain how we construct pseudo data using this pipeline, as well as how we use the pseudo data to enhance the frame analyzer's performance.

## 3.1 Semantic Frame Analysis

Semantic frame analysis is the task of locating triggers and arguments in a given text and identifying their types. The semantic frame analysis component, which we refer to as the frame analyzer, takes a piece of text as input. We first locate triggers in the text (trigger detection), then for each trigger, we locate its arguments (argument detection). Both trigger detection and argument detection are formulated as sequence labeling problems with the BIO tagging scheme. For the baseline, we train a RoBERTa [7] base model on gold data in which the dialogues are annotated with triggers and arguments.

Once the frame analyzer has been trained, we feed it with written-style monologue texts, which are abundant, and obtain a large number of semantic frames. These semantic frames serve as seeds for pseudo dialogues.

## 3.2 Pseudo Dialogue Generation

For the pseudo dialogue generation part, we fine-tune a BART model [8] using semantic frame and dialogue pairs from the gold data so it takes semantic frames as the input and outputs pseudo dialogue. As semantic frames are structural data, we serialize them to feed them into the model by a rule-based conversion method. We show an example in Figure 2 (see Natural Language Style Semantic Frames). Once it is fine-tuned, we feed it with the semantic frames extracted by the frame analyzer and generate pseudo dialogues. Note that at this point, the pseudo dialogues are plain text in dialogue form and do not contain any annotation.

## 3.3 Pseudo Label Assignment

We need to apply pseudo annotations to pseudo dialogues to use them as silver data for the frame analyzer. This involves identifying the triggers and arguments present in the dialogues, which are components of the semantic frames used to generate them.

Trigger To align components in semantic frames and tokens in pseudo dialogues, considering the various conjugation forms of Japanese predicates (triggers), we use a two-step method: parsing triggers with a Japanese morphological analyzer and obtaining its base form, then parsing the pseudo dialogue also using the tool and checking if any token's base form matches the trigger's base form. If none match, we discard the semantic frame as the trigger is at the core of a semantic frame.

Argument To locate the arguments of a trigger in the pseudo dialogue that may have undergone slight modifications during the generation process, we perform a string similarity search in a certain span before and after the trigger for each argument. The nearest candidate to the trigger with the highest similarity score will be selected. If the score is below a threshold, the candidate is discarded to avoid matching to something completely irrelevant.

## 3.4 Pseudo Data Construction and Incorporation

To mass-produce silver data, we feed written-style monologue texts into the frame analyzer trained on gold data, generate pseudo dialogues and apply pseudo annotation to them. Instead of feeding an entire dialogue as the input into the frame analyzer, we divide them by utterance for trigger detection. For argument detection, we divide them by the range in which we search for arguments around a trigger. Note that we also divide the gold data into segments using this method.

To utilize silver data to enhance the frame analyzer's performance, we first train it on silver data until the validation loss stops improving, then we continue training it using the gold data.

## 4 Experiment

We conduct experiments on the culinary interview dialogue corpus dataset to investigate the effectiveness of the proposed method.

## 4.1 Dataset

We use the Culinary Interview Dialogue Corpus (CIDC) dataset [9] as gold data. The CIDC dataset contains dialogues between an interviewer and an expert exchanging information on how to make a dish. A piece of data in the dataset contains utterances from both people, and the semantic frames inside it are manually annotated. The CIDC dataset contains 308 dialogues with an average length of 2,061 words. There are 11 types of triggers and 5 types of arguments defined in the dataset.

As an external source to acquire a large number of data for pseudo dialogue generation, we use the Cookpad recipes [10], aiming to produce semantic frames with diversity. Each recipe has the "steps" section that explains how the dish is made. We feed the part into the frame analyzer. Unlike the CIDC dataset containing dialogues, Cookpad recipes are written-style texts. Even though the frame analyzer is trained only on dialogue data, it works with Cookpad recipes without major drawbacks because written texts are usually more straightforward than spoken language. We have up to 1.6 million Cookpad recipes. $100 \mathrm{k}$ recipes can eventually be converted to roughly $493 \mathrm{k}$ pieces of training data for trigger detection and $273 \mathrm{k}$ for argument.

## 4.2 Experimental Settings

We used a Japanese RoBERTa base model ${ }^{1}$ ) as the backbone of the frame analyzer. We split the gold data, which contains 308 dialogues, and used 278 dialogues for training, 15 for validation, and 15 for testing. After being divided into smaller pieces for input (see Section 3.4), the gold training data contains $57 \mathrm{k}$ for trigger detection and 19k for argument detection. We prepared silver data of different sizes, starting from 1 time the size of the gold data up to 16 times to see to what extent the frame analyzer could benefit. For the pseudo dialogue generator, we fine-tuned a Japanese BART ${ }^{2}$ large model on the CIDC dataset. We segmented the dialogues in it using a heuristic method, which resulted in 1,391 dialogue sessions.

We compared the baseline model trained on gold data only and our proposed model that is first trained on silver data, then on gold data. We evaluated them by calculating the weighted f1-score of trigger detection and argument detection.

## 4.3 Result and Analysis

Table 1 and Table 2 show the result of semantic frame analysis using different sizes of silver data. We noticed that incorporating even a small size of silver data can bring

Table 1: Performance of trigger detection.

Table 2: Performance of argument detection.

reasonable performance gain. The best weighted f1-score was achieved when we used silver data 8 times the size of gold data.

## 5 Case Study

We looked into detection results by the frame analyzer.

Improved Cases As shown in Figure 3a, the proposed model predicted the trigger with a proper type label. This example suggests that our model looked further into the context of the sentence.

We found that the proposed model can recognize targets that the baseline model cannot. In Figure 3b, given the context, “入れる” in “包丁を入れる” can be interpreted as "to cut something with a knife," so it does indicate a cooking event. The proposed model also recognizes more instances of argument types TIME, TEMPERATURE, and MANNER.

We noticed that both models struggle and make discontinuous or partially incomplete predictions when it comes to target arguments that have spans of more than three tokens. Nevertheless, our proposed model does slightly better in long-span targets (Figure 3c).

Unsolved Cases An unsolved case of trigger detection is shown in Figure 3d. In this case, although SIMMER is the right type considering the context of the whole dia-

(a) Trigger detection improved case (type correction).

(b) Trigger detection improved case (previously undetected).

(c) Argument detection improved case (span correction).

(d) Trigger detection unsolved case (incorrect type).

(e) Argument detection unsolved case (incorrect type and span).

Figure 3: Improved and unsolved cases. The blue line is the baseline and the orange dotted line is the proposed model. The gray line is the true label.

logue, the input is too short for the frame analyzer to make the right decision since trigger detection is done on the utterance level. We plan to extend the input length for trigger detection to provide further information to the frame analyzer to resolve this problem.

As mentioned above, long-span targets are harder tasks. In the example in Figure 3e, both models could not solve the case perfectly.

## 6 Conclusion

In this paper, we proposed a method to create pseudo data in addition to real data to help improve the performance of semantic frame analysis. Experimental results showed that we successfully enhanced the overall performance of the frame analyzer by incorporating pseudo data. We believe this kind of data augmentation will benefit tasks with low quantity of training materials.

## Acknowledgement

This paper is based on results obtained from a project, JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The Berkeley FrameNet project. In 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 1, pp. 86-90, Montreal, Quebec, Canada, August 1998. Association for Computational Linguistics.

[2] Dipanjan Das, Desai Chen, André F. T. Martins, Nathan Schneider, and Noah A. Smith. Frame-semantic parsing. Computational Linguistics, Vol. 40, No. 1, pp. 9-56, March 2014.

[3] Steven Y. Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for NLP. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 968-988, Online, August 2021. Association for Computational Linguistics.

[4] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In Proceedings of the 39th International Conference on Machine Learning, pp. 4558-4586. PMLR, July 2022.

[5] Bosheng Ding, Linlin Liu, Lidong Bing, Canasai Kruengkrai, Thien Hai Nguyen, Shafiq Joty, Luo Si, and Chunyan Miao. DAGA: Data augmentation with a generation approach for low-resource tagging tasks. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6045-6057, Online, November 2020. Association for Computational Linguistics.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9] Taro Okahisa, Ribeka Tanaka, Takashi Kodama, Yin Jou Huang, and Sadao Kurohashi. Constructing a culinary interview dialogue corpus with video conferencing tool. In Proceedings of the Thirteenth Language Resources and
Evaluation Conference, pp.3131-3139, Marseille, France, June 2022. European Language Resources Association.

[10] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2455-2459, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).


# 基盤モデルを用いたフェイスアクト分類

櫻井大雅 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{hsakurai, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では二つの仮説に基づき，人間関係に関 する欲求のフェイスに影響を及ぼす発話行為で あるフェイスアクトを，基盤モデルの一つである GPT-3 を用いて分類する。まず，GPT-3がフェイス アクトが何であるかを把握していると仮定し，そ の能力を few-shot 学習によって引き出せるか否か を検証する。次に，事前学習がフェイスアクト分類に有益であると仮定し, fine-tuning した GPT-3を 先行研究のモデルと比較する. few-shot 学習による フェイスアクト分類は困難な一方で， fine-tuning し た GPT-3 は先行研究を上回る分類精度を発揮した。

## 1 はじめに

ポライトネス理論は，人間関係を円滑にするため に用いられる言語的配慮を説明する理論である. 今日広く知られているものは，ブラウンとレヴィンソ ン $(\mathrm{B} \& \mathrm{~W})$ がフェイスと呼ばれる概念を援用して定義した [1]. フェイスとは，抑圧からの解放や自尊心といった人間の生来的な欲求であり，フェイス に影響を与える発話行為をフェイスアクトと呼ぶ. フェイスやフェイスアクトは, 社会言語学や語用論 の分野で確立された概念であり，最近では説得対話 システムの開発においても注目されている $[2,3]$.

フェイスアクト分類は，ある発話が持つフェイス アクトの種類を判定するタスクである. 先行研究 [3] は階層型ニューラルネットワークによる教師あ り学習を用いたが，このようなモデルは特定のドメ インでの学習が必要であり汎化性に欠ける.

本研究では基盤モデルのフェイスアクト分類に 対する有用性について, 基盤モデルの一つである GPT-3[4] を用いて二つの仮説を検証する。一つ目 は，GPT-3がフェイスアクトに関する知識を獲得 しているという仮説である.これを検証するため，発話とフェイスアクトのペアを正解例としてテス トデータと共に与える few-shot 学習を行うことで，
フェイスアクト分類が可能になることを確認する. few-shot 学習は教師あり学習よりもドメインに対す る依存性が低いため，より汎用的な分類が可能にな ると考えられる。二つ目は，GPT-3 はフェイスアク トに関する知識を持たないとしても，事前学習を通 じて分類に有用な知識を得ているという仮説であ る.これを検証するため，発話とフェイスアクトの ペアを訓練データとする教師あり学習を行ったモデ ルを用いてフェイスアクトを分類する。

実験により, few-shot 学習ではフェイスアクト の分類が困難であることが判明した. すなわち， GPT-3 はフェイスアクトの知識を有していないか,知識を有しているとしても今回の実験では活用 できなかった可能性がある。一方，fine-tuning した GPT-3 は先行研究を上回る分類精度を発揮し, 訓練 データを $25 \%$ 程度に減らして fine-tuning を行った場合に先行研究と同程度の精度が得られることを確認した. 加えて fine-tuning した GPT-3 の出力を精査 し，分類性能向上における課題を分析した.

## 2 背景

## 2.1 フェイスとフェイスアクト

他者との人間関係に関連する欲求であるフェイ スの概念はゴッフマン [5] によって導入され，B\&W のポライトネス理論でポジティブフェイスとネガ ティブフェイスの二種類に分類された. 前者は他者 から認められたり，好かれたりしたいといった欲求 である一方で，後者は自身の自由や領域を他人に侵 されたくないといった欲求である.

フェイスアクトは，話者や聴者のフェイスに影響 を与える発話行為である. 先行研究 [3] は以下の三基準を用いてフェイスアクトを八種類に分類した。

・フェイスアクトが話者(s)に向けられたものか, それとも聴者 $(\mathbf{h})$ に向けられたものか

・フェイスアクトがポジティブフェイス (pos) に
表 1 フェイスアクトが付与された会話の一部 [3]. 二人 の会話参与者のうち，一人は説得者 ER，もう一人は被説得者 $\mathrm{EE}$ の役割を持ち，ERはEEに寄付を促す。

話者 発話 1 ラベル

ER Would you be interested today in making a do- hnegnation to a charity?

EE I've seen a lot of commercials about them, but hpos+ never did a lot of research about them.

ER They are actually really great.

spos+

向けられたものか，それともネガティブフェイ ス(neg)に向けられたものか

・フェイスが守られたのか (+)，それとも攻撃さ れたのか (-)

## 2.2 フェイスアクト分類

本研究は, 先行研究 [3] の定式化を踏襲している.会話 $D$ を構成する $n$ 個の発話 $D=\left[u_{1}, u_{2}, \ldots, u_{n}\right]$ に 対し，フェイスアクト $y_{1}, y_{2} \ldots, y_{n}$ をつずつ割り当 てる. ラベル $y_{i} \in Y$ は八種類のフェイスアクト，ま たは other（フェイスに影響しない挨拶やフィラー，会話の本題と無関係な発話等）のいずれかである.

フェイスアクト分類に用いられる代表的なデー タセットは, Save the Children (STC) という慈善団体 への募金活動に関する二者間での説得対話 [6] フェイスアクトをアノテーションしたものである [3]. 表 1 にデータセット中の会話の例を示す.この データセット中の発話は，データセットに現れない sneg-を除く七つのラベルに, other（フェイスアク 卜なし）を加えた八つのいずれかに分類される.

## 2.3 GPT-3

GPT-3 は基盤モデルの一つであり，分類，質問応答，翻訳など様々なタスクに適用可能である [4]. GPT-3 の能力を引き出すには，自然言語で書かれた クエリのプロンプトを用いることが多い $[7,4]$. 頻繁に用いられるプロンプトの形式に質問応答形式 $[8,9,10]$ がある. 要約や感情分析などのタスクが対象とする文章を質問形式で GPT-3 に入力し, 出力を タスクの答えとみなす形式である. 先行研究では， プロンプトにタスクの指示を含めることで無効なラ ベルの生成が抑制されると報告されている [11].

プロンプトを用いて GPT-3 の言語理解能力を発揮する基本的な方法の一つが few-shot 学習である. few-shot 学習では，プロンプトはタスクに関する説明と数個の正解例, さらにテストデータから構成さ れる。また, few-shot 学習以外で GPT-3を活用する 方法は，対象とするタスクに関する十分な訓練デー タを用いて, 教師あり学習でモデルを訓練する手法 (fine-tuning) が考えられる. fine-tuning した GPT-3 に推論のためのテストデータのみをプロンプトとし て与え，モデルの出力を分類結果とみなす.

## 3 手法

本研究ではまず，few-shot 学習を用いたフェイス アクト分類を行う。次に， fine-tuning したGPT-3を 用いてフェイスアクト分類を行う．最後に，訓練 データの量を元の $25 \% ， 50 \% ， 75 \%$ にそれぞれ減ら して fine-tuning したモデルを用いてフェイスアクト 分類を行い，分類精度が変化する様子を確認する.

## 3.1 プロンプト

2.3 節で述べた先行研究に基づいてプロンプトを 設計する. 本研究では，表 2 に示す「タスクの説明・発話履歴・ラベル」の三つ組をデモンストレーショ ンと呼ぶ. デモンストレーションは，分類タスクで 頻繁に用いられる質問応答形式を骨子としている.本研究で用いるラベルは, Yes/No, Positive/Negative, True/False などの一般的な選択肢ではないため，無効なラベルの生成抑止を目的として，有効なラベル の一覧をデモンストレーション中に含めた.

few-shot 学習ではデモンストレーションを複数並 べたものを用意し, その末尾にデモンストレーショ ンの形式に従ったテストデータを加えたものを一つ のプロンプトとみなす. 一方 fine-tuning では, 正解 ラベルを除いたデモンストレーションをプロンプト とし，正解ラベルを生成するように訓練を行う。

また, 先行研究 [3] では，過去の発話を考慮する ことがフェイスアクト分類に有効と主張している. そこで本実験では発話履歴の長さを変え，その効果 を検証する．履歴の長さは，フェイスアクト分類の 対象となる発話のみをデモンストレーションに入れ る場合を長さ 1 とし，それに加えて過去の発話を一 つ，または二つ含める場合の計三種類を検証する。

## 3.2 データ分割とその扱い

本研究では 2.2 節で述べたデータセットを用 いる. 内訳は付録 A の表 6 に記載する. GPT-3 の fine-tuning を行うため，データセットの $80 \%$ を訓練 データに，残りの $20 \%$ をストデータに分割する.
表 2 発話履歴の長さが 3 の場合のデモンストレーションを示す. 灰色で網掛けされた部分は発話に応じて変更され，そ れ以外の部分は実験全体を通じて固定される。テストデータでは “Answer:”の直後を空欄とする．GPT-3 はその空欄を埋 めるトークン列（図中では枠線で囲まれた hpos-が該当する）を出力し，それが分類結果と見なされる.

デモンストレーション (プロンプトの一部)

Question: Read the following script, and classify EE 's last utterance of the script " Not really, please tell me anything! " based on whether its face act is spos+, spos-, hpos+, hpos-, sneg+, hneg+, or hneg-. If there is no corresponding face act, then classify it as other. Note that "STC" stands for "Save the Children."

Script:

ER: I'd like to tell you about an organization called Save the Children.

ER: Have you heard about them?

EE: Not really, please tell me anything!

Answer: hpos-

なお，few-shot 学習では，訓練データはプロンプト に含めるデモンストレーションを作成するためにの み使用し，テストデータの分類結果を報告する。 few-shot 学習では, データセット中の八種類のラ ベルについて, 訓練データから発話を二つずつ無作為に抽出してデモンストレーションを作成する。ま た，プロンプト内のデモンストレーションの内容や 順序などの影響を抑えるために，中身が異なる三種類のプロンプトを用意し，それらを用いた場合の分類結果の平均をとる。一方 fine-tuning においては，訓練データ中のフェイスアクトの分布の偏りを軽减 するためにオーバーサンプリングを適用する.

## 4 結果

各設定における実験結果を表 3 に記載する。まず few-shot 学習では, 分類性能は全体として先行研究 よりも低くなった. また, 発話履歴を長くすること で無効な出力が増えると同時に性能が低下する傾向 が見られた.これは分類対象の発話に焦点が当て難 くなったためであると考えられる。一方で spos+や hneg-, other などは他のラベルと比較して F1 ス コアが高くなっており,未知のタスクであっても few-shot 学習によりフェイスアクトの傾向を把握し,分類を行うことは不可能ではないことが窥える.

一方で fine-tuning では全ての設定で先行研究を上回る精度を得た. 加えて，履歴が長いほど各フェイ スアクトのF1 スコアが向上した. 訓練データが少 ないラベル (spos-, hpos-, sneg+, hneg+) の予測 は，訓練データが豊富にあるものと比べて分類性能 が落ちた. 図 1 に示す通り，訓練データを $25 \%$ 程度 に減らしたとしても先行研究と同程度の性能が維持 されたが，データを増やすことによる性能向上の恩恵はそれほど大きくはない.これは全体の性能向上 にはデータ数が僅少なラベルの分類性能を向上させ

図 1 訓練データの量を変えてモデルを fine-tuning した場合の分類結果を示す. 赤波線は先行研究 [3] で得られた F1 スコアのマクロ平均である. 左端の点群は訓練データ を用いない場合（zero-shot 学習）の結果を示している.

る必要があり，データ数そのものを増やすよりも， ラベルの偏りを減らす必要があると示唆している。

## 5 考察

few-shot 学習と比較した fine-tuning の利点と, fine-tuning を行っても分類が困難な実例を考察する。

## 5.1 fine-tuning $の$ 利点

一つのフェイスアクトに対して二つの例のみ与 える few-shot 学習に比べ, fine-tuning では様々なパ ターンの発話を提供できる。そのためフェイスアク トの類型化に成功した可能性があり, few-shot 学習 と比べて分類精度が向上した. また, fine-tuning $の$方が few-shot 学習よりも履歴を意識した分類が可能 となった。その効果は，F1 スコアのマクロ平均の向上に関係した spos-の分類を通じて見てとれる. 要求を拒否する発話は一文が短く，また遠回しに言わ れることも多いため, 過去の履歴を参照する必要が ある。例えば表 4 の最後の発話は，EE が ER の要求
表 3 それぞれの設定におけるフェイスアクト分類の結果を示す. Dutt は先行研究 [3] で得られた結果を示しており, “Few” は few-shot 学習における結果，“Fine” は fine-tuning の結果を示している. “Few”と “Fine” の右横の数字は発話履歴 の長さを示している。“Acc”は accuracy，“F1”はそれぞれのラベルに対する F1 スコアのマクロ平均，そして “\#Inv”は，全 2174 件のテストデータのうち，出力が有効なフェイスアクトではなかったものの数を示す. フェイスアクトの列にあ るそれぞれのセルは，特定の実験設定における precision，recall，そして F1 スコア（p/r/f1）を示している. few-shot 学習 の結果は 3 回の試行の平均を取ったものである.

 & - & - &  &  & .69 & .60 & \\

表 4 最後の発話が spos-に分類される会話の例.

表 5 fine-tuning した GPT-3 では分類できなかった発話の 例. 予測の列は発話履歴の長さが 3 であった時の GPT-3 の予測を示している。

 & sneg+ hpos+ \\

を拒否する発話であるため spos-に分類される.こ のように短い発話は同じ発話であってもフェイスア クトが一意に定まらず，発話履歴はその曖昧性を解消するために有用な情報を与えうる。

## 5.2 fine-tuning では対応が難しい事例

表 5 で最初に挙げる二つのパターンは，高度な自然言語理解が必要で，現在の手法では本質的に解決困難な問題である．後者の二つのパターンは，デー タセットの性質に関連するものである.

第一の問題は婉曲表現に対する弱さである．表 5 の最初の例は，「よく知らない団体には寄付できな い」という躊躇を含意している．話者が自身の都合を述べる発話は間接的に伝えられることが多く， フェイスアクトの分類が困難な場合がある。

第二の問題は，GPT-3 が話者の立場を正確に把握 できないことである．表 5 の二番目の例のように， EEが他の団体（Make-A-Wish）に寄付する意思を示
した場合，EE は ER の要求よりも自分の意志を優先 しているために spos+と分類される。一方で EE が 「STC に寄付する」と言えば，ER の願望に合致し， ER の面目を保てるためhpos+に分類される. この ように，同じ「寄付」という行動であっても話者の 立場によってフェイスアクトは変化しうる。

第三の問題は，未来の発話が参照できないため に，完了していない発話が分類し難い点である．元 データの正解ラベルは会話全体を見ることで付与さ れる場合があり，特に短い発話は前後の発話と同じ ラベルが付与される。例えば表の三番目の例は，そ れだけでは spos+に分類されないが，直後の ER の 発話が「STC はお金を有効に使っている」と主張し ているため，連続する会話を踏まえて STC の正当性 を支持するものと見なされ，spos+に分類される。

第四の問題は，類似した特徴を持つフェイスア クトが判別しにくいことである。例えば表 5 の例 4-a と 4-b は，ER が EE に善行を促す発話（hpos+） と，ER が寄付の負担を減らすことを目的とした発話（hneg+）の 2 通りの解釈が可能であるため，似 た内容の発話であってもラベルが一致していない.

## 6 おわりに

本研究では，GPT-3 を用いた few-shot 学習による フェイスアクト分類が現状では困難であると明らか にした一方で，fine-tuning を用いることで従来のモ デルよりも性能が向上することを確認した。また，訓練データを $25 \%$ 程度に減らしても先行研究と同程度の性能を維持することを確認した. 今後は他の説得対話データセットにアノテーションを施し，汎用的なフェイスアクト分類に基盤モデルが有効である かを検討したい.また，より高度なプロンプトの設計手法を採用することも有望な方針である.

## 謝辞

理化学研究所の吉野 幸一郎氏には，本研究を始め るにあたり貴重なご助言を賜りました。ここに感謝 の意を表します。本研究は JSPS 科研費 JP19H05692 の助成を受けたものです.

## 参考文献

[1] Penelope Brown and Stephen C Levinson. Universals in language usage: Politeness phenomena. In Questions and politeness: Strategies in social interaction, pp. 56-311. Cambridge University Press, 1978.

[2] Ritam Dutt, Sayan Sinha, Rishabh Joshi, Surya Shekhar Chakraborty, Meredith Riggs, Xinru Yan, Haogang Bao, and Carolyn P. Rosé. Resper: Computationally modelling resisting strategies in persuasive conversations. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 23, 2021, pp. 78-90. Association for Computational Linguistics, 2021.

[3] Ritam Dutt, Rishabh Joshi, and Carolyn P. Rosé. Keeping up appearances: Computational modeling of face acts in persuasion oriented discussions. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 7473-7485. Association for Computational Linguistics, 2020.

[4] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[5] Erving Goffman. Interaction Ritual: Essays in Face to Face Behavior. AldineTransaction, 1967.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Anna Korhonen, David R. Traum, and Lluís Màrquez, editors, Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 5635-5649. As- sociation for Computational Linguistics, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[8] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, Vol. 139 of Proceedings of Machine Learning Research, pp. 12697-12706. PMLR, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[10] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 8086-8098. Association for Computational Linguistics, 2022.

[11] Ke-Li Chiu and Rohan Alexander. Detecting hate speech with GPT-3. CoRR, Vol. abs/2103.12407, , 2021.
表 6 左から八列はデータ中のラベルの分布を示しており, 最右列は会話の数を示している. 発話は一つのフェイスアク トがアノテーションされたテキストを指し，会話は特定の二人の会話参与者がやりとりする発話の全体を指す.

## A データセットの分割

表 6 に，本実験における訓練データとテストデー タの内訳を示す.ドナー会話は EE が募金に賛同し た会話を示し，非ドナー会話は EE が募金に賛同し なかった会話を示す. 本実験では，ドナー会話と非 ドナー会話のうちそれぞれの $80 \%$ 無作為に抽出 したものを訓練データとし，残りをテストデータと した.

## B モデルと推論時の設定

本実験では四種類の GPT-3 のモデル（Ada, Babbage, Curie, Davinci) のうち, Curie と Davinciを 採用した. few-shot 学習では, 1750 億のパラメータ を持つ最も強力な Davinci モデル (text-davinci-002) を採用した。一方で fine-tuning では，二番目に性能の良いモデルである 130 億のパラメータを持つ Curie モデル（text-curie-001）を採用した. モデルの 学習や推論をさせる際には, OpenAI の API ${ }^{1)}$ を利用した. また, fine-tuning のハイパーパラメータは OpenAI の API のデフォルトの設定を利用した.

推論に関するモデルのパラメータには「温度」と 「出力トークン数」がある. 本実験では, 出力のラ ンダム性を排するために温度を 0 に設定した.ま た, 出力トークン数は 3 とした. GPT-3 のトークナ イゼーションでは other が 1 トークンであり，他の フェイスアクトは全て 3 トークンである. そのた め，フェイスアクトに無関係なトークンはなるべく 出力しないようにするために, 最大 3 トークンまで しか出力しない設定とした.


# 語彙と品質を考慮したデータ水増しの言語教育支援への適用

中町 礼文 ${ }^{1}$ 西内 沙恵 ${ }^{2}$ 浅原 正幸 3 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 北海道教育大学 3 国立国語研究所
\{akifumi . nakamachi, toshinori.sato\}@linecorp.com
nishiuchi.sae@a.hokkyodai.ac.jp
masayu-a@ninjal.ac.jp

## 概要

本研究では,テキスト生成のための基盤モデルを 用いて, 語彙と品質を考慮したデータ水増しのシス テムを提案した. 提案手法によるコーパス構築の応用可能性の検証として, 言語教育支援に向けたコー パス構築を行った. 本研究では, 提案手法を用いて,語彙, 難易度, テキストの組からなる約 500 件程度 の元データを, 4 倍以上に拡充した. また, 生成した データのみによる文難易度推定器が, 人手により作成した推定器構築用の学習データを用いた推定器と 同等以上の性能を持つことを確認し, 提案手法によ るコーパスの自動構築の応用可能性を示した.

## 1 はじめに

自動採点や, 問題文の自動生成をはじめとした言語教育支援において, 良質な言語資源が必要不可欠 である.しかし, 人手により,レベル・語彙が制御さ れた例文データを作例する事は非常にコストが高 い. そこで, 教科書や試験問題をはじめとする, 言語教育向けの高品質なリソースから文を抽出して, コーパスを作成することが考えられる. 高品質なり ソースには限りがあり, また, 画一的なリソースから のデータ収集では, 個々の学習者に対しての適切な レベル・語彙を用いた例文の作例に対応できない. コーパス構築の効率化や, 個々の学習状況に応じた 言語学習支援に向けて, 語彙や品質がある程度保証 された言語資源の拡張手法の適用が考えられる。

言語資源の拡張手法として, データ水増し (Data Augumentation, DA) が広く研究されている. 特に, GPT-3 [1]をはじめとする,テキスト生成のための基盤モデルを用いた,スタイルを維持したテキスト生成でデータ水増しを行う手法 $[2,3]$ が存在する.

本研究では, GPT-3 と同等な形式の, 日本語のテキ スト生成のための基盤モデルである HyperCLOVA[4]表 1: JLPT の習熟度の目安

を用いて, 語彙と品質が考慮された文生成システム を提案する. 非母語話者の言語学習支援への適用を 通じて, 提案手法のコーパス自動構築の応用可能性 の検証を行う.テキストの品質については, 日本語能力試験 (JLPT) の習熟度 (表 1) ${ }^{1}$ ) に基づく.まず, 語彙と品質がある程度保証されたコーパスの自動構築 を行い, 語彙を適切に含めた例文が作成できること をを検証する.さらに，作成したコーパスのみによる 文難易度推定の性能を検証する.これらの検証を通 じて, 記述文の自動採点や, 語彙・文法問題などの作問支援への応用可能性を確認する.

図 1: 難易度を考慮した例文生成システム

図 2: 語彙と難易度を考慮した例文生成システム

## 2 関連研究

言語処理において, データ水増しは広く研究され ている. 単純な手法として, テキスト内の語彙を削除・置換・類義語辞書を用いた変換で水増しする EDA[5] がある. EDA は, 機械学習の精度改善のため のデータとしては利用できるが, 単純な単語操作の ため,テキストの文法性が保障されない.

また, 基盤モデルを用いた判別タスク向けのデー タ水増しとして, 小規模な生成型の基盤モデルを ファインチューニングして例を作成し, 生成された テキストを判別器でフィルタする手法 $[6,7,8]$ が存在する. 小規模な生成型の基盤モデルのファイン チューニングによる手法では, ファインチューニン グのためにある程度コーパスが必要である.

ごく小規模な資源による文法性がある程度保たれ たデータ水増しを行う手法として, 大規模な基盤モ デルである GPT-3を用いた Prompt ベースのデータ 水増しがある. GPT3Mix[2] では, テキストとラベル からなる Promptを与えて, テキストとラベルのぺア を作成する. また, Sahu ら [3] は, あるラベルのテキ ストのみで構成した Prompt で, ラベルが考慮された テキストを作成した. 既存の大規模な基盤モデルの Prompt に基づく手法は, 出力したい語彙を考慮する ことや, 出力したテキストの品質評価のフィルタリ ングなどは行われていない.

## 3 語彙と品質を考慮した例文生成

本研究では, 出力したい語彙を含む Prompt に よるデータ生成と, 判別器を用いたフィルタリ ングを組み合わせることで, 語彙表現と品質があ る程度保たれたデータ水増しのフレームワーク (Word-considered GPTDA) を提案する. 本研究では, GPT-3 と同様な形式の日本語の基盤モデルである HyperCLOVA ${ }^{2}$ を用いる. システムの概要は, 図 2 に
$ モデルを用いた.
}

示したように, 出力したい難易度 $N$ と単語を与え, 言語教育支援に向けた Prompt を作成する. 生成結果に 対して, 難易度判別器や語彙の出力の有無によりテ キストをフィルタすることで, 難易度や語彙の制約 を満たしたテキストの生成を促す。

## 3.1 言語教育支援のための Prompt

本研究では, 2 種類の Prompt を提案する. まず, 文難易度判定に向けて, 図 3 で示したデータ水増し の Prompt を検証する.さらに, 語彙や文法問題の問題文の自動生成に向けて, ある語彙表現を含む例文を生成するため, 図 4 に示した, 出現語彙を考慮 した Prompt を検証する. また, 図 3 の基礎 Prompt において, 最後の例文の先頭 4 文字を与える場合 Conditional 設定) と，与えない場合を検証する.

## 3.2 Prompt のための例文データ

Prompt 内で用いる例文として, JLPT の 2018 年の 試験問題 3 ) の全文を書き起こし, 例文データを作成 した. さらに, 作成した難易度推定器の評価のため に, 2012 年の試験問題 3)も同様に書き起こした. ま た, 単語を関連付けた Prompt に向けて, JLPT 向け の学習参考書に付属する単語リスト ${ }^{4)}$ から, 語彙難易度辞書を書き起こした. また, 語彙難易度辞書と 2018 年の試験問題を用いて, (難易度 $N$ の語彙, 難易度 $N$ の例文) となるような語彙と例文の組み合わせ コーパスを作成した。

Prompt の例文の構成の比較として, 3 種類のサン プリングを検証する。

1. Random Level: 全ての難易度のテキスト集合か らサンプリング.

2. Baseline: 難易度 $N$ の Prompt の例文として, 難易度 $N$ のテキスト集合からサンプリング.
^{4)}$ https://www.ask-books.com/jp/jlpt-try/try-wordlist/
}

図 3: Base Prompt

3. Word-considered: 語彙と難易度の組み合わせ コーパスのうち, 難易度 $N$ の事例からサンプリ ング.

それぞれのサンプリングでは, 4 件のデータを重複 なくサンプリングする. 多様な表現を出力するため,生成のたびにサンプリングを再実行する. 単語や文 の件数を, 表 2 に示す。

## 3.3 難易度推定器を用いたフィルタリング

水増しデータの文難易度フィルタリングに向け て, 中町ら [9] と同様の手法で, JLPT の 2018 年の試験問題の書き起こしデータによる, 文難易度の推定器を作成した. JLPT の 2012 年の試験問題の書き起 こしデータを用いて, 作成した推定器を評価した. 評価結果は表 2 に示す。

## 3.4 生成の後制御

no-filter 以外の全ての設定について, 生成例の推定難易度と, 指定した難易度が一致しない水増し データを破棄する事後フィルタリングを行う。ま た, より強く難易度の制約を与えるため, データ作成中にフィルタリングを行い, 与えた難易度 $N$ と, 生成例の推定難易度が一致しない場合再生成を行う， in-filtering 設定を検証する. in-filtering 設定において，与えた語が出力されない場合や, 意図していない難易度のテキストが生成される場合がある. その場合，最大 10 回の再生成を行い, 与えた語彙が含まれてい る例文のうち, 推定難易度と難易度が最小な候補を 出力する. あるいは, 与えた語彙が含まれない場合,再生成したテキストのうち, 推定難易度と難易度が 最小な候補を出力する. さらに, 出力の語彙の含有を 保証するため, 指定した語彙が含まれない生成例を 破棄する word-filtering (wf) の設定を検証する。

## 4 実験

語彙と難易度が考慮された例文生成の検証とし て, 提案手法による出力が通常の GPTDA による出力よりも, 語彙や文難易度を制御できることを確認 する. また, 水増しデータのみを用いた難易度推定器与えられた単語を含む例文を作成してください。

単語: $\left.\{\right.$ 難易度 $N$ の単語 $w_{-}$1 \}例文: \{w_1 を含む難易度 $N$ の例文_1\}

単語: 難易度 N の単語 w_n\}例文: \{w_n を含む難易度 N _ i の例文_n \}単語: $\{$ 難易度 $N$ の単語 $w\}$ 例文:

図 4: Word-considered (W-c) Prompt

を作成し性能評価を行うことで, 難易度推定への応用可能性を検討する。

## 4.1 データ水増しの実験

全てのデータ水増しにおいて, 1 時間以下で 5,000 件のデータを生成している. 表 2 のように, ほぼ全 ての手法で, $40 \%$ 以上 $(5,000$ 件の生成のうち 2,000 件以上) の割合で, 生成したテキストの難易度が考慮されている. 特に, 出力の先頭 4 文字を与えた Conditional GPTDA では, 事後フィルタリングを行っ ても 5,000 件中 4,758 件の出力が意図した難易度で あった. しかし, 出力の多様性の観点からは, 内容の 重複が多くなる傾向があった。

また, 出力の難易度制御能力の検証として, 全て の難易度の例文からランダムにサンプリングし た Random Level 設定と, 難易度を考慮した通常の GPTDA を比較した。それぞれの設定による水増 しデータに対して, 難易度推定器によるフィルタ リングを行うと, 表 2 に示すように Random Level GPTDA では, 与えた難易度以外のデータが多く作成 されていることが確認された. Random Level 設定と， Word-considered 設定を組み合わせた手法では, 出力 の難易度制御が行えないことが確認された。

さらに, 出力の語彙制御について, 提案手法が, 難易度と語彙をどの程度考慮できているかを確認し た. Word-considered の手法において, 難易度が制御さ れた出力の 8 割以上は語彙も制御されている. 特に, Word-considered GPTDA (in-filtering, wf) では, 元の語彙と例文のデータ 587 件から生成した 5,000 件の データのうち, 2, 636 件のサンプルでは語彙と難易度 が制御された。

## 4.2 水増しデータを用いた文難易度推定

作成したデータのみで難易度推定器を作成し, 2012 年の JLPT の試験問題から作成したデータで性能評価を行った. 実験は, 中町ら [9] による文難易度判別器と同様の実験設定で行った.

表 2 のように，後処理を行わない GPTDA (nofiltered) や, 難易度を考慮しない Random Level GPTDA
表 2: データセットと難易度判定器の評価結果

※ no-filter 以外は, 5,000 件の水増しデータを難易度推定器でフィルタ.

表 3: 単語を考慮した GPTDA の生成例

 \\

は, 全ての指標において試験問題で作成した推定器 より性能が低かった. 水増しデータのみを使用した モデルの大部分が, 水増し元のデータのみを使用し たものと同等かそれ以上の予測精度であった. 難易度の完全一致の観点においては, Accuracy やF1 の指標より, Conditional GPTDA が最も高精度であった。一方で, 単語を考慮した GPTDA は, 誤判別した際で も, 大きく推定を誤る比率が減っているため, Kappa や Pearson などが高い傾向があった. また, 語彙が制御されているため, 語彙や文法表現などのための問題文生成としての活用も可能である.

## 5 終わりに

本研究では, HyperCLOVA を用いて生成的なデー 夕水増しを行い, 水増しデータをフィルタリングす ることで, 言語教育支援に向けた語彙と品質を考慮 できるデータ水増し手法を検証した. 実験の結果, 少数の元データからでも, 語彙と品質がある程度制御 されたデータの自動生成を高速に行えた. 今後, 水増しデータを用いたフィルタを用いることで, フィ ルタのためのコーパスを必要としない手法の検証 や, 生成・フィルタを再帰的に繰り返すことによる表 4: 単語を考慮しない GPTDA の生成例

} & Level & Text \\

精度改善などを検証していく. また, 作成した言語教育向けコーパスに対して, 専門家による難易度のア ノテーションを行い, 言語資源の公開を目指す. さら に, 言語教育支援に向けて, 語彙・文法問題などの演習問題の自動作成に取り組む。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information

Processing Systems, pp. 1877-1901, 2020.

[2] Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo Lee, and Woomyoung Park. GPT3Mix: Leveraging Largescale Language Models for Text Augmentation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2225-2239, 2021.

[3] Gaurav Sahu, Pau Rodriguez, Issam Laradji, Parmida Atighehchian, David Vazquez, and Dzmitry Bahdanau. Data Augmentation for Intent Classification with Off-the-shelf Large Language Models. In Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 47-57, 2022.

[4] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[5] Jason Wei and Kai Zou. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks". In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 6382-6388, 2019.

[6] Ateret Anaby-Tavor, Boaz Carmeli, Esther Goldbraich, Amir Kantor, George Kour, Segev Shlomov, Naama Tepper, and Naama Zwerdling. Do Not Have Enough Data? Deep Learning to the Rescue! Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7383-7390, 2020.

[7] Yufei Wang, Can Xu, Qingfeng Sun, Huang Hu, Chongyang Tao, Xiubo Geng, and Daxin Jiang. PromDA: Promptbased Data Augmentation for Low-Resource NLU Tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 4242-4255, 2022.

[8] Ruibo Liu, Guangxuan Xu, Chenyan Jia, Weicheng Ma, Lili Wang, and Soroush Vosoughi. Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 9031-9041, 2020.

[9] 中町礼文, 佐藤俊紀, 西内沙恵, 浅原正幸, 奥村学. 日本語能力試験に基づく日本語文の難易度推定. 言語処理学会第 28 回年次大会発表論文集, pp. 658-663, 2022.

## A GPTDA (no-filtered) の生成例

表 5: GPTDA (no-filtered) の生成例

 \\

語彙や難易度推定器によるフィルタリングを全く行わない GPTDA の生成例を表 5 に示す. Level は, システ 厶に入力で与えた出力したい難易度で, Pred は 2018 年試験問題で作成した難易度推定器による難易度フィル タリングの予測結果である.

事後フィルタリングでは, 難易度推定器によって, Level と Pred が一致している 16 件のみを出力する. 難易度を考慮する Prompt により, 一定程度, 通常の GPTDA でも, ある程度出力の難易度が考慮されており, さらに 事後フィルタリングを行うことで, 難易度が揃っている.

また, N1 の”お支払い方法...”の出力や, N2 で”A: 1.In Japan...”のように, 試験問題として不適な生成が見られ る. Conditional 設定で実際の試験問題の冒頭 4 文字を与えることでこのような生成を防ぐことができる.