# 生成モデルによる傾聴応答タイミングの推定と 動的 Prompt-Tune を用いた応答スタイルのパラメーター制御

室町俊貴 1 狩野芳伸 1
1 静岡大学大学院 総合科学技術研究科情報学専攻
tmuromachi@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

円滑な音声対話のためには、聞き手は継続的に傾聴行為を行う必要がある。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う 手法を提案する。提案手法は、特徴量から推測す るパラメーターと話し手の発話文とを入力とする 応答生成モデルによって応答タイミングを推定す る。さらに、パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune によって、パラ メーターに適した多様なスタイルの応答を返す。自動評価と人手評価の結果から、提案手法はベースラ インモデルと比較し、より自然なタイミングで応答 が可能となり、よりパラメーターに沿った応答を生成できることを確認した。

## 1 はじめに

人間同士の雑談において、聞き手は相槌や領きと いった傾聴行為を行うことが多い。このような傾聴行為は、コミュニケーションをより円滑にする効果 が期待できるため、人間と音声対話システムにおけ る対話でも、システムが聞き手にまわる際には継続的に傾聴行為を行う必要があると考える。そこで本研究では、聞き手が応答すべきタイミングを推定 し、多様な応答生成を行う音声対話システムの構築 を目的とする。

相槌など聞き手応答タイミングの推定に関して は、音響特徴量からの推定手法 [1] や、節境界や無音区間、母音引き延ばしといった特徵量を使用する手法 [2] など様々な手法が提案されている。また、聞 き手応答タイミングの推定と類似した問題設定とし て、話者交代のタイミング推定が挙げられる。話者交代のタイミング推定においても、音響特徴量や言語特徴量を用いた推測を行う手法が多数提案されて いる $[3,4,5]$ 。近年では対話の文脈を取り入れたモ
デルも提案されており、Ekstedt らは GPT-2[6] ベー スの話者交代予測モデルである、TurnGPT を提案し ている [7]。TurnGPT は先行発話の書き起こしテキ ストを入力とし、直後の話者交代確率を推定する。

本研究では TurnGPT を拡張し、生成モデルによっ て、応答タイミング推定から応答生成まで行う手法 を提案する。応答タイミングは、話し手の発話文を ランダムに途中で切ったサンプルを訓練データに追加するデータ拡張を行って推定する。また、話し手 の話速、前回の聞き手応答からの経過時間、節境界判定モデルの結果といった特徴量から推定する潜在的なパラメーターに沿った応答を生成することで、書き起こしテキスト単体では不足する情報を補う。 パラメーターに沿った応答スタイルの学習時には、 パラメーターから動的に生成される Prompt-Token を 用いた Prompt-Tune を行う。これにより少量のデー タでも効率的な学習ができる。

応答タイミングと生成された応答のパラメーター 反映度との 2 つ観点において自動評価と人手評価 を行った結果、提案手法はベースラインである節境界によって応答タイミングを推定するモデルより も、より高い性能で応答タイミングを推定できた。 また、Fine-Tune、Prompt-Tune を施したモデルより も、与えられたパラメーターに沿った応答を生成で きることを確認した。さらに、パラメーター推定性能についても自動評価と人手評価を行った結果、応答生成時にパラメーター推定結果を用いることで、 より自然な応答ができることを確認した。

## 2 関連研究

## 2.1 Prompt-Tune

BERT[8] や GPT-3[9] のような事前学習済み言語 モデルが多くの自然言語処理タスクで使われるよ うになっている。GPT-3 などの大規模なモデルで

図 1 提案手法の概念図

は、タスクの説明等を記述した Prompt と呼ばれる 文字列を追加で与えることで再学習なしにタスク を解く、Prompt Design が利用されている。しかし、 Prompt Design は Fine-Tune と比較すると性能が劣る 傾向にある。そこで、Soft-Prompt と呼ばれる学習可能なベクトルを入力テキストの埋め込み表現に連結し、Prompt 部分のみを最適化する Prompt-Tune が 提案されている [10]。Soft-Prompt のみを学習する ことで大幅に学習パラメーターを削減できるため、低コストで学習ができるといったメリットがあり、 Fine-Tune と比較して過剩適合を防げることも報告 されている。

Soft-Prompt は、1つのタスクに特化した静的な埋 め込み表現であるが、Prompt-Token 部分に画像を入力するマルチモーダルな Prompt-Tune[11](本稿では Multimodal Prompt-Tune と呼ぶ) や、属性情報等から 動的に生成される Prompt-Token によって、生成テキ ストを特定の方向へ制御する Control-Prefixes[12] な ども提案されている。

## 3 提案手法

提案手法の概要を図 1 に示す。提案モデルは GPT をべースとしたモデルであり、話し手の発話とそれ に対する聞き手応答の組である応答ぺアを学習す る。傾聴対話システムとしての実行時には、特徴量 から推定する 0.0-1.0 までの連続値をとる潜在的な 応答スタイル制御用パラメーターと話し手の発話文 とを入力し、パラメーターに沿ったスタイルの応答生成を行う。

提案手法の詳細について、応答タイミング推定手法、応答スタイルの制御手法、応答スタイル制御用 パラメーターの推定手法の順に記す。

応答タイミング推定 コーパスに表出する発話の 途中で応答を挟むことは不適切であることが多い表 1 応答タイミングの推定結果 (自動評価)

表 2 応答タイミングの推定結果 (人手評価)

と考えられる。そこで何割かの話し手の発話をラン ダムに途中で切り、応答ぺアのうち聞き手応答部分を、聞き手応答不可を表す追加の特殊トークン (<none>) に置き換えるデータ拡張によって聞き手応答タイミングを推定する。

応答スタイルの制御 応答スタイル制御用パラ メーターにより動的に生成される Prompt-Token を 用いて、パラメーターに沿った応答を生成する。提案手法では、Control-Prefixes の静的な部分を除い た動的な Prompt-Token のみを利用する。すなわち、 Prompt-Token-Encoderによって生成された埋め込み 表現を Prompt-Tokenとして使用する。学習時には 3 層の MLP である Prompt-Token-Encoder の学習パラ メーターのみ更新する。

応答スタイル制御用パラメーターの推定 応答ス タイル制御用パラメーターの推定のために、話し手 の話速 (平均モーラ長)、前回の聞き手応答からの経過時間、話し手の発話の最終形態素が節境界 (絶対境界・強境界・弱境界のいずれか)であるか、の 3 つを特徵量として用いる。節境界は丸山らが定義し た節境界ラベル [13] に基づき、品詞・単語の表層形 からルールベースで判定する。これら特徴量から聞 き手応答が可能かどうか学習したモデルの予測値を 応答スタイル制御用パラメーターとする。学習には LightGBM[14] を使用する。
表 3 応答スタイル制御用パラメーター反映度 (自動評価)

表 4 応答スタイル制御用パラメーター反映度 (主観評価)

表 5

## 4 実験

## 4.1 応答タイミング推定と応答生成

データセット TurnGPT を拡張した提案モデルの Fine-Tune には、音声会話コーパスは日本語日常会話コーパス (CEJC)[15] と名大会話コーパス [16] を、 テキスト会話コーパスは JEmpatheticDialogues[17]、 JPersonaChat[17]、独自に収集した日本語ツイート (5,000,000 ペア $)$ を使用した。音声会話コーパスは書 き起こしテキストのみを用いた。すべてのコーパス について、前章で説明したデータ拡張を $10 \%$ のデー タに対して適用した。CEJC 以外のコーパスは全て 訓練に使用し、CEJC については訓練 8: 検証 1: 評価 1 に分割したうえで評価用データに含まれる話し手 の発話 1,000 件を自動評価用データとした。

学習モデル事前学習済み GPT モデルには rinna 社が公開している japanese-gpt-1b ${ }^{1)}$ を使用し、 Tokenizer はモデル付属のものを使用した。japanesegpt-1b は上記データセットで Fine-Tune した。設定詳細は付録に記載する。なお、次節の各種追加的学習を施すことで応答タイミング推定と応答生成も追加的に学習されるため、評価には追加的学習の後の モデルを用いる。

## 4.2 応答スタイルの制御

応答スタイル制御については、前節で Fine-Tune した GPT モデルに対して、Fine-Tune、Prompt-Tune、 Dynamic-Prompt-Tune の 3 種類の追加的学習を施し
たモデルをそれぞれ実験し比較した。

データセット JEmpatheticDialogues からランダ ムに抽出した 1,200 件の話し手の発話文に対して、 $0.0,0.5,1.0$ の三段階の応答スタイル制御用パラメー ターごとに異なるスタイルの応答を独自に付与した データセットを作成した。0.0では応答なし、0.5で は相槌のみ、 1.0 では共感的な応答を付与した。学習データと検証データは、三段階のパラメーターご とに 200 ペアずつ、それぞれ計 600 発話応答ペアか らなる。前章で説明したデータ拡張を全体の $10 \%$ の データに対して適用した。

Fine-Tune モデル 三段階のパラメーターに応じ た追加の特殊トークンを入力末尾に付加し、前節の Fine-Tune に追加してさらに Fine-Tuneを行った。エ ポック数は 3 とした。

Prompt-Tune モデル 上記の Fine-Tune モデルに 対しさらに Prompt-Tuneを行った。Prompt-Token サ イズは 100 とし、エポック数は 50 とした。

Dynamic-Prompt-Tune モデル 上記二つのモデル とは異なり、パラメーターの数值を直接 PromptToken-Encoder に入力する。Prompt-Token サイズは 20 とし、エポック数は 50 とした。

## 4.3 応答スタイル制御用パラメータの推定

日本語話し言葉コーパス (CSJ)[18] の独話形式の 音声の書き起こしテキストのうち、3 名の異なる話者による約 10 分程度の音声ファイル、計 30 分を学習に使用した。このデータセットに対して、人手で 聞き手応答可能か判定した結果を正解ラベルとして 付与し、不均衡なデータのためアンダーサンプリン グを行ったうえで、訓練 8 : 検証 1 : 評価 1 に分割し て用いた。LightGBM の学習パラメータ設定は付録 に記載する。


## 5 実験の評価と結果

## 5.1 応答タイミングの推定

自動評価 評価用データセットの半分のサンプル の話し手の発話をランダムに途中で切ることで、応答すべきタイミングではない話し手の発話を疑似的に作り、発話が切られているかをモデルによっ て当てるタスクで評価する。品詞・単語の表層形 からルールベースで節境界を判定するべースラ インモデルと、Dynamic-Prompt-Tune モデルの比較 を行った。節境界判定モデルの形態素解析器には Juman++[19,20] を用いた。Dynamic-Prompt-Tune モ デルはパラメーター 0.5 で固定した結果を示す (表 1)。評価には CEJC の自動評価用データを使用し、評価指標には Precision, Recall, F1-Score を用いた。実験の結果、Dynamic-Prompt-Tune モデルは節境界判定モデルよりも約 20\%高い F1-Score を示した。

人手評価 応答スタイル制御用パラメーター推定 の学習に用いた CSJ の独話音声と同じデータセッ 卜に対し、アノテーター 3 名が応答タイミングを付与し、アノテーターそれぞれとシステムの推定結果との一致を Precision, Recall, F1-Score で計測して、 その平均値を結果として示した（表 2)。アノテー ター間一致度は Fleiss' Kappa[21] で 0.465 であった。自動評価と同様に、Dynamic-Prompt-Tune モデルは より高い性能で推定できており、品詞や単語の表層形の情報だけでは判定困難な発話についても判定で きていると考えられ、データ拡張による応答タイミ ング推定手法の有効性が確認できた。

## 5.2 応答スタイル制御パラメーター反映度

自動評価 応答スタイル制御用パラメーターの 増加に伴い、応答なし、相槌のみ、共感的な応答の 3 段階で応答スタイルが推移するように学習して いるため、パラメーターの変化に応じた応答の多様性を Distinct-1,2[22] で評価した（表 3)。評価には CEJC の自動評価用データを用いた。パラメーター が 0.0 の場合に Dynamic-Prompt-Tune モデルは応答 が生成されないサンプルが多数あるため、パラメー ターが 0.5 の場合と比較して値が高くなっているが、 Fine-Tune モデルや Prompt-Tume モデルと比較して、 パラメーター間の Distinct の値の変動が大きく、よ り適切に応答スタイルの使い分けができていると考 えられる。人手評価 応答スタイル制御用パラメーター反映度の主観評価には、自動評価に用いた CEJC の評価 データからランダムに取得した 100 サンプルを使用 した。 $0.0,0.5,1.0$ の三段階のパラメーターごとに生成された応答を、流暢さ、関連性、パラメーター反映度の 3 項目について、それぞれ 5 段階評価によっ て評価した（表 4)。Dynamic-Prompt-Tune モデルは 特にパラメーターが 1.0 の場合に 2 つのベースライ ンモデルよりもパラメーター反映度の項目の評価が 高いことからも、よりパラメーターに沿った応答生成できていると考えられる。

## 5.3 応答スタイル制御パラメーターの推定

自動評価 表 5 に Precision, Recall, F1-Score による 自動評価結果を示す。 random はランダムに二値分類を出力するベースラインである。パラメーター推定モデルはランダムな予測より高い性能を示した。

人手評価 応答スタイル制御用パラメーター推定 の自動評価に用いた CSJ 独話音声データセットのう ち、1ファイル (約 10 分) を用いた。パラメーターを 0.5 に固定した場合と、パラメーター推定モデルの 結果を用いた場合とでどちらが自然な応答か比較さ せた。応答生成は形態素ごとに行った。結果、 3 名 の評価者全員が提案手法であるパラメーター推定結果を用いたほうが自然であると回答した。

## 6 おわりに

音声対話における円滑なコミュニケーションのた めには、対話システムが聞き手となる場合に傾聴応答を継続的に行う必要があると考えられる。本研究 では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案した。

提案手法では、特徴量から推定した応答スタイル 制御用パラメーターと発話文とを応答生成モデルに 入力することによって、応答タイミングを推定し、 パラメーターから動的に生成される Prompt-Token に よって、応答の多様性やスタイルを制御した。これ らにより、応答タイミング推定ではテキストチャッ 卜、音声対話問わず多様な形式の対話データを学習 に使用できる一方、応答スタイルの制御は少量の データから効率的に学習できる。

自動評価と人手評価の結果から、提案手法はベー スラインモデルと比較し、より自然なタイミングで 応答が可能となり、与えられたパラメーターに沿っ た応答を生成できることを確認した。

## 謝辞

本研究は JSPS 科研費 JP21K18115, JST AIP 加速課

題 JPMJCR22U4, セコム科学技術財団特定領域研究助成の支援をうけたものです。実験に協力くださっ た研究室メンバーの皆様に感謝します。

## 参考文献

[1] Divesh Lala, Pierrick Milhorat, Koji Inoue, Masanari Ishida, Katsuya Takanashi, and Tatsuya Kawahara. Attentive listening system with backchanneling, response generation and flexible turn-taking. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 127-136, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[2] 神谷優貴, 大野誠寛, 松原茂樹. 音声対話コーパスに基づく あいづち生成タイミングの検出とその評価. 言語処理学会第 17 回年次大会発表論文集, 言語処理学会, pp. 103-106, 2011.

[3] Kohei Hara, Koji Inoue, Katsuya Takanashi, and Tatsuya Kawahara. Prediction of Turn-taking Using Multitask Learning with Prediction of Backchannels and Fillers. In Proceedings of Interspeech 2018, pp. 991-995, 2018.

[4] Shuo-yiin Chang, Bo Li, Tara N Sainath, Chao Zhang, Trevor Strohman, Qiao Liang, and Yanzhang He. Turn-taking prediction for natural conversational speech. arXiv preprint arXiv:2208.13321, 2022

[5] 藤江真也, 横山勝矢, 小林哲則. 音声対話システムのための ユーザの発話権維持状態の逐次推定. 人工知能学会全国大会論文集 第 32 回 (2018), pp. 2N103-2N103, 2018.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Erik Ekstedt and Gabriel Skantze. TurnGPT: a transformer-based language model for predicting turn-taking in spoken dialog. In Findings of the Association for Computational Linguistics: EMNLP 2020, November 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, November 2021.

[11] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Pro- cessing Systems, Vol. 34, pp. 200-212, 2021

[12] Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. arXiv preprint arXiv:2110.08329, 2021.

[13] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 日本語節境界検出プ ログラム CBAP の開発と評価. 自然言語処理, Vol. 11, No. 3, pp. 39-68, 2004

[14] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, , 2017.

[15] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[16] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[17] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), Athens, Greece, May 2000. European Language Resources Association (ELRA).

[19] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[20] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Joseph L Fleiss. Measuring nominal scale agreement among many raters. Psychological bulletin, Vol. 76, No. 5, p. 378, 1971.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 付録

## A. 1 実験条件

Prompt-Token サイズは予備実験の結果から決定した。予備実験では、5, 10, 20, 50, 100 の Prompt-Token サ イズを比較し、応答スタイル制御用パラメーターに沿った応答が生成されたと人手で判定された最小の Prompt-Token サイズを各モデルで使用した。また、Prompt-Token-Encoder の MLP のニューロン数は入力層 は 1、中間層が 10,000 、出力層は 40,960 とした。学習時のバッチサイズは 8 とし、学習率は Fine-Tune では 5e-05、Prompt-Tune と Dynamic-Prompt-Tune では 0.3 とした。optimizer として AdamW を使用し、エポック数 は学習時の loss が収束する値に設定した。LightGBM は評価指標に LogLoss を使用し、learning_rate を 0.01 , num_leavesを 7, max_depth を8, min_data_in_leaf 20 とした。Juman++は Ver.2.0.0-rc3 を使用した。

## A. 2 応答生成例

表 6 と表 7 に Fine-Tune モデル、Prompt-Tune モデル、Dynamic-Prompt-Tune モデルの応答生成例を応答スタ イル制御パラメーターごとに示す。

表 6 応答生成例 1

表 7 応答生成例 2


 室町俊貴 1 狩野芳伸 1 1 静岡大学大学院 総合科学技術研究科情報学専攻 tmuromachi@kanolab.net kano@inf.shizuoka.ac.jp  