# 翻訳言語モデルを中間タスクとするゼロ照応解析

馬越雅人 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{umakoshi, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

日本語と非プロドロップ言語の対訳テキストは,前者で省略されるゼロ代名詞が多くの場合後者では明示的に言及されるため, 日本語ゼロ照応解析の精度を改善する可能性を秘めている．対訳テキストを活用するために機械翻訳を中間タスクとする手法が提案されているが，事前学習タスクとの差異が大きく, 改善の余地がある. 本研究では, より事前学習タスクに近い翻訳言語モデルを中間タスクとする手法を提案する．実験により，翻訳言語モデルを用いた場合の方が精度が向上することを示す。

## 1 はじめに

誰が誰に何をしたかは情報の基本的な単位であり，これを理解することは自然言語理解において必要不可欠である。しかし，日本語や中国語のようなプロドロップ言語では，文脈から推測できる代名詞が省略されることがあり，特に困難な問題となる。

図 1 日本語で省略されたゼロ代名詞が英語では明示されるような対訳文の例. 日本語で省略されたガ格の項 (著者)が英語では明示的に現れている (I).

図 1(a)のように，省略されたゼロ代名詞 ( $\phi$ ) の照応先を特定することをゼロ照応解析と呼ぶ．日本語のゼロ照応解析は BERT の導入により飛躍的に性能が向上したが $[1,2]$, 改善の余地が大きく残されている.

大きな課題の一つは学習データの少なさである. アノテーションが付与されている文の数は数万文規模に留まっており，質の高いアノテーションを付与するには言語学的な専門知識が必要なため，大規模にコーパスを拡張することが現実的ではない [3].

この点に着目し, 大規模に利用可能な, 日本語と非プロドロップ言語である英語との対訳テキストを利用する研究がなされている $[4,5]$. コアとなるアイデアは，日本語におけるゼロ代名詞は英語では明示的に言及されることが多く(図 1(b))，このズレをゼロ代名詞の照応先を解決するための手がかりとできることにある．このアイデアに基づき，Umakoshi らは事前学習とゼロ照応解析の間の中間タスクとして機械翻訳 (MT) を用いることで対訳テキストからゲインが得られることを示した [6].

同手法は一定の有効性は示されたものの，MT が中間タスクとして適しているかは疑問が残る。様々なタスクの組み合わせを調査した先行研究では，中間タスクとして MT を用いるとスコアが下がる傾向が報告されている [7]. 原因として指摘されていることの 1 つは，中間タスクと事前学習との性質の違いが事前学習により得られた知識の忘却を引き起こした可能性である.

そこで本研究では，事前学習に用いられるマスク言語モデル (MLM) により近い翻訳言語モデル (TLM) [8] を中間タスクとする手法を提案する。より乘離の小さいタスクを用いることで効果的に対訳テキストを活用できることを期待する．実験により TLM を用いた場合の方が MT を用いる場合よりも精度が向上することを示す.

## 2 関連研究

事前学習と目的タスクとの間に中間タスクを挟み目的タスクでの精度向上を図る試みがなされてきた $[9,7,10]$. Wang らは MTを中間タスクとした際に自然言語推論や感情分類など様々な目的タスクで精度が悪化したことを報告しており，原因として事前学習と中間タスクとの乘離が破滅的忘却を引き起こした可能性を指摘している [7].

日本語ゼロ照応解析の精度改善のために多言語テキストを活用することを目的に，比較的大規模な日英対訳コーパスを用いる手法が提案されてきた $[4,5,6]$. 従来はパイプライン処理に基づくルー

事前学習

(マスク言語モデル)

中間タスク

(翻訳言語モデル)

目的タスク

(ゼ口照応解析と関連タスク)

図 2 提案手法の概要. 左: モデルを多言語コーパスを用いてマスク言語モデル (MLM)により事前学習を行う. 中央: 事前学習したモデルを翻訳言語モデル (TLM) で訓練する. 右: ゼロ照応解析について訓練する. 一部の特殊トークンは図を簡潔にするために省略した。

ルベースの手法が提案されてきたが，誤り伝搬によりその効果は限定的であった $[4,5]$. Umakoshi らは MT を中間タスクとした場合にゼロ照応解析の精度を改善できることを示し, 特に MLM との同時学習が効果的であることを発見した [6]. MTは事前学習と乘離が大きく中間タスクとして適しているかは疑問であり，本研究ではより乘離の小さい TLMを用いる.

## 3 提案手法

## 3.1 ゼロ照応解析モデル

本研究のゼロ照応解析モデルとして，植田らの CAModel [1] を用いる. 強力な事前学習済みエンコーダーを考慮し, 省略の検出と先行詞の識別は項選択により定式化される (図 2(右)). 文書全体を入力し, モデルはその中から述語の各格を埋める項を選択する。外界照応は，照応先に対応する特殊トー クンを連結してモデルに入力することにより考慮される. 項を持たない場合は，特殊トークン [NULL] を選択する. 文書全体を入力とすることによって，自然に文内ゼロ照応だけでなく文間ゼロ照応も扱うことができることに注意されたい，実際には，エンコーダモデルに入力長による制限があり, 出来るだけ多くの先行文を含めるように分割した. また，この定式化により，述語と項の間に係り受けの関係がある格解析も同じ枠組みで扱われる.

具体的には，トークン $t_{j}$ が述語 $t_{i}$ の格 $c$ の項である確率は次のように定式化される。

$
\begin{aligned}
P\left(t_{j} \mid t_{i}, c\right) & =\frac{\exp \left(s_{c}\left(t_{j}, t_{i}\right)\right)}{\sum_{j^{\prime}} \exp \left(s_{c}\left(t_{j^{\prime}}, t_{i}\right)\right)} \\
s_{c}\left(t_{j}, t_{i}\right) & =\boldsymbol{v}^{\top} \tanh \left(W_{c} \boldsymbol{t}_{j}+U_{c} \boldsymbol{t}_{i}\right)
\end{aligned}
$

ここで, $\boldsymbol{t}_{i}$ はエンコーダにより計算されるコンテキストにおける $t_{i}$ の埋め込み， $W_{c}$ と $U_{c}$ は格ごとの重み行列，vは格の間で共有される重みべクトルである. 最も高い確率を持つ $t_{j}$ を予測とする. 全ての述語・格に対しこの計算を行う。

入力形式外界照応などを扱うための特殊トークンを入力系列の末尾に追加する: [著者], [読者], [不特定: 人]を外界照応のために，[NULL]を項を取らないときのために挿入する。また，次のパラグラフで述べる理由で特殊トークン [NA] も挿入する。 XLM-R [8] を使う際の慣例に従い，特殊トークン $[C L S]$ 及び $[S E P]$ を系列の最初と最後に挿入する.単語が 2 つ以上のサブワードに分割される場合，最初のサブワードを項選択に用いる.

マルチタスク学習植田ら [1] に従い，一つのモデルを用いて用言の述語項構造解析 (VPA), 体言の述語項構造解析 (NPA), 橋渡し照応解析 (BAR),共参照解析 (CR) を同時に行う。これら 4 つのタスクは全て同様に式 (1)として定式化することができる. VPA と NPA については格ごとの重みを共有し，BAR，CRにはそれぞれ別の重みを用いる。エンコーダ部分は共有されるために，関連のあるタスクが学習時に互いに影響し合う。

## 3.2 翻訳言語モデル

MT の代わりに翻訳言語モデル (TLM)[8]を用いることが本研究の提案である. この背景にある直感は，TLMはMTよりもMLM に近いためより中間夕スクに適している可能性を秘めていることである。

TLM は多言語タスクを目的に対訳テキストを用いた事前学習として提案された [8]. 対訳ぺアの文章を連結し，その一部をマスクしてモデルに入力

し，マスクされた単語を予測する (図 2(中央)). マスクされた単語と同じ言語のテキストに加えて対言語のテキストからも予測を行うことで，2 言語の間の対応関係をソフトに学習することを期待する。ここでの狙いは，日本語のゼロ代名詞に対応する英単語を予測するような特徵を捉えられるようになることにある。

Conneau らは原言語と目的言語を同じ割合でランダムにマスクしているが，我々の目的においてはマスクする対象を調整することでより効果的に学習が行える可能性がある１つの戦略として，単純に英語側の単語のマスクの割合を増やすというものが考えられる. TLMによるゲインの大部分が英語トー クンを予測することに起因すると仮定するなら，より多くの英語トークンを予測させることでさらに精度が向上することが期待される. また，日本語のゼ口代名詞に相当する単語の多くは英語では代名詞で現れる点に着目し，英語の代名詞を優先的にマスクする戦略も考えられる. 本研究ではこれら 2 つのマスク戦略についての実験も行う。

## 4 実験

中間タスクを TLM にすることの有効性及びマスクする際の設定を変化させることによる影響を検証する。

## 4.1 設定

モデル大規模な多言語コーパス CC-100で事前学習された大規模事前学習済みモデル XLM$\mathrm{R}_{\text {Large }}$ [11]を用いる.

ゼロ照応解析本研究では京都大学ウェブ文書リードコーパス [12] と京都大学テキストコー パス [13] の2つのコーパスを用いる。それらのジャンルに基づき，それぞれのコーパスをウェブ， ニュースと呼ぶ. これらのコーパスには単語分割,品詞や述語項構造などのアノテーションが付与されている. 公開されている設定に基づき，およそ 0.75:0.1:0.15 の割合で訓練，検証，評価用データに分割した. また，訓練の際のハイパーパラメータは付録 $\mathrm{C}$ に記載した ${ }^{1)}$ ．訓練時は 2 つのコーパスを混ぜ，評価時はそれぞれ別々に評価を行った。

機械翻訳・翻訳言語モデル読売新聞によって配布されている日英対訳コーパスを用いる2)。このコーパスはおよそ 130 万文ぺアから構成される。ゼ口照応解析は文間の関係を捉える必要があるため,連続する文はゼロ照応解析の際のトークン長 (170) を超えないよう連結される。また，翻訳言語モデルの訓練時, ゼロ照応解析で日本語を入力する位置に英語が含まれないよう，英語トークンが 171 番目の位置から始まるように [PAD] トークンを挿入した ${ }^{3}$. 分割の割合は学習，検証，評価でそれぞれ 0.9, 0.05, 0.05 とした. 訓練の際のハイパーパラメー タは付録 D,E の通り。

代名詞の優先的マスキング優先マスク対象とするか否かの判定は spacy 4) を用いて判定した. 詳細なルールは付録に示す．対象とする単語は訓練デー タ中に約 51 万個含まれていた. 優先マスク対象と判定された単語に属するサブワードを全てマスクしてもマスクすべきサブワード数に達しない場合はランダムに選んだサブワードをマスクした.

## 4.2 結果

表 1 及び表 2 にウェブ，ニュースにおける結果

ベースラインのスコアが大幅に向上した. +MT w/ MLM は MT と MLM の同時学習による手法であり, Umakoshi らの提案手法の中で最も高いスコアを達成している [6]. +TLM は TLM を用いるモデル, +TLM w/ PR masking は代名詞を優先的にマスクする TLM にそれぞれ対応する。+MLM はゲインがデータを追加したことに起因する可能性を検証するために，対訳データの日本語テキストを用いて MLM で訓練したモデルである.

中間タスクによるゲインはデータセットにより傾向が異なる。ウェブにおいては+MT w/ MLM, +TLM w/ PR masking が最高精度を達成しているが， そのゲインは非常に限定的である.ニュースではどの中間タスクを用いる場合でも精度の向上が見られたが，+TLM w/ PR masking がもっとも高い精度を達成した. +TLM w/ PR masking はどちらのデータセットでも+MT w/ MLM よりも高いか同等の精度を達成しているため，TLM はより中間タスクに適していると考えられる.

また，カテゴリごとの結果に着目すると，ウェブ

表 1 ウェブのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †：提案手法. MT w/ MLM, TLM w/ PR masking がもっともよいスコアを達成した.

表 2 ニュースのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †: 提案手法. TLM w/ PR masking がもっともよいスコアを達成した.

のデータセットにおいて文間の方が文内よりもスコアが高いことは意外な結果である5），文間の方が文内より探索空間が広く難しいカテゴリであると考えられてきたが，この結果はその直感に反する。

英語のマスク割合による影響英語を復元するタスクがゼロ照応解析に寄与するのであれば，英語のマスク割合を増加させることでより効果的に学習を行うことができるはずである．この仮説を検証するため，英語のマスク割合を変化させた際のニュースにおけるゼロ照応解析の精度の推移を計測した. また，英語側のマスク復元の精度も同時に計算し，これら 2 つの関係を図 3 に示す.

結果から，TLM の精度がマスクの割合が増えるほど一貫して低下していることがわかるが，ゼロ照応解析とのはっきりした関連は見られなかった。これら二つの相関係数を計算したところ 0.567 であり，弱いながらも相関があることがわかった.

## 5 おわりに

本研究では，事前学習と中間タスクとの乘離に着目し，より事前学習に近い TLM を中間タスクとする手法を提案した. 実験により，TLMが MT よりも

5）ニュースでこの傾向が見られないのは KC では長い文書を分割して入力しており，照応先がテキスト中に現れないような事例が多く含まれているためと考えられる.

図 3 英語側のマスク割合を変化させた際のゼロ照応解析及び TLM の精度の変化

よい中間タスクであることを示した. 今後は，対訳テキスト以外のリソースの活用についても考えていきたい.

## 謝辞

対訳コーパスを提供していただいだ読売新聞東京本社に深く感謝いたします。

## 参考文献

[1] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[2] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, $\mathrm{pp}$. 4956-4968, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3] 阿部航平, 河原大輔, 黒橋禎夫. クラウドソーシングを用いた日本語述語項構造タグ付きコーパスの拡張. 言語処理学会第 26 回年次大会, pp. 1547-1550,茨城, 2020.

[4] Hiromi Nakaiwa. Automatic extraction of rules for anaphora resolution of Japanese zero pronouns in Japanese-English machine translation from aligned sentence pairs. Machine Translation, Vol. 14, No. 14, pp. 247-279, 1999.

[5] 古川智雅, 中澤敏明, 柴田知秀, 河原大輔, 黒橋禎夫.対訳コーパスを用いたゼロ照応タグ付きコーパスの自動構築. 言語処理学会第 23 回年次大会, pp. 382-385,つくば, 2017.

[6] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Alex Wang, Jan Hula, Patrick Xia, Raghavendra Pappagari, R. Thomas McCoy, Roma Patel, Najoung Kim, Ian Tenney, Yinghui Huang, Katherin Yu, Shuning Jin, Berlin Chen, Benjamin Van Durme, Edouard Grave, Ellie Pavlick, and Samuel R. Bowman. Can you tell me how to get past sesame street? sentence-level pretraining beyond language modeling. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4465-4476, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Alexis CONNEAU and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Jason Phang, Thibault Févry, and Samuel R. Bowman. Sentence encoders on STILTs: Supplementary training on intermediate labeled-data tasks. arXiv:1811.01088, 2018.

[10] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediatetask transfer learning with pretrained language models: When and why does it work? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online, July 2020. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguis- tics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, Bali, Indonesia, November 2012. Faculty of Computer Science, Universitas Indonesia.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 優先的マスキングのルール

優先マスク対象の単語は spacy (v. 3.2.1) によって付与される POS タグに基づき決定した. 具体的には，

・tag_属性の値が PRP

・pos_属性の値が PRON かつ tag_属性の値が DT のいずれかを満たす単語を優先的なマスク対象とした.

## B 事前学習とファインチューニン グのギャップ

コーパスは基本句単位でアノテーションが付与されている一方，事前学習モデルは単語分割なしで訓練されており, ギャップがある. 出来るだけ事前学習のときの条件に近づけるため, トークナイズの際は単語分割された後の単語に対しトークナイズを行い，文頭に現れる特殊トークンを削除するという前処理を行なった。

## Ｃ ゼロ照応解析におけるハイパー パラメータ

表 3 ゼロ照応解析におけるハイパーパラメータ
D 機械翻訳におけるハイパーパラ xータ

表 4 機械翻訳におけるハイパーパラメータ

## E 翻訳言語モデルのハイパーパラ メータ

表 5 翻訳言語モデルのハイパーパラメータ
6) https://github.com/huggingface/transformers/blob/v2. 10.0/src/transformers/optimization. py\#L47


# 日本語照応解析における深層格推定に基づいた先行詞の同定

伊藤清晃 寺岡丈博
拓殖大学大学院工学研究科
20m301@st.takushoku-u.ac.jp tteraoka@cs.takushoku-u.ac.jp

## 概要

日本語の照応解析において，先行詞の同定は文意を解釈する必要があるため容易ではない. 照応され易い語として，一般的に主語や目的語が挙げられ，深層格に対応づけると動作主格と対象格が多い. そこで，本研究では動詞，名詞，助詞の関係から推定した深層格を用いて先行詞を同定する手法を提案した. 先行研究と同様に, NAIST テキストコーパスにおける先行詞の同定精度を評価した結果，本手法の有用性を確認することができた。

## 1 背景と目的

省略された項をはじめ代名詞や指示詞を照応詞と呼び，照応解析はそれらと照応関係にある先行詞を同定する手法である. 本研究における照応関係とは，同じ内容や対象を示す異なる 2 語間に成立する関係を指す。例えば，「太郎はパンを買った。そして，それを食べた.」においては，1つ目の文の「太郎」が先行詞，2つ目の文の「それ」が照応詞であり，両者の間に照応関係が成立する．また，「太郎は疲れていました。そして眠ってしまいました.」 においては，2つ目の文の「太郎」が先行詞であり， 2つ目の文の「眠ってしまいました」の前に省略された代名詞（ゼロ代名詞）が照応詞となり両者の間に照応関係が成立する. ゼロ代名詞による照応関係を特にゼロ照応と呼ぶ．特にゼロ照応では，照応詞が省略されているものに対してどこに省略部分があるか，何が省略されているかを明らかにする必要がある.とりわけ，人間にとって当たり前である事柄が省略される傾向にあるため, このような表現が含まれる文は理解が困難である。

照応解析は，機械翻訳や対話システムなどの自然言語処理の応用研究において, 文脈を理解するために必要とされる技術である. 日本語において，一般的に言い換えられる語や省略され易い語として，主語や目的語が挙げられる. これらの語を述語と項の意味的な関係（深層格）に当てはめると動作主格と対象格が多い傾向がある．また，照応解析における従来の研究では，大規模な辞書やシソーラスを用いて学習した人工ニューラルネットワーク（ANN）や学習モデルを利用した手法がよくみられる。そこでは, 特徴量に, 格フレームや格要素, 動詞と名詞と助詞の関係性を用いている。これらの研究では，位置関係や格助詞などによって決まる格（表層格）を利用していることが多い.

人は先行詞を見つける際に，文章と知識を照らし合わせて，雑多な手がかりを利用している。その中でも，先行詞を同定しやすくするには，表層格と深層格を組み合わせることが重要だと考える。そこで，表層格と深層格を組み合わせるために，動詞連想概念辞書 [1] と述語項構造シソーラスを利用する.本研究では，照応解析における先行詞の同定において，深層格と表層格を組み合わせて利用する手法の提案と，その有用性を検証することを目的とする。

## 2 関連研究

照応解析の研究として, 笹野らの研究 [2] や西念らの研究 [3], 山城らの研究 [4], 河崎らの研究 [5] が挙げられる. 笹野らの研究では, 比較的小規模の照応関係タグ付きコーパスから獲得した構文的な手がかり，および，大規模なタグなしコーパスから獲得した意味クラスといった語彙的手がかりを素性として用いた対数線形モデルを用いて先行詞を同定している．そして，が格，を格，に格のみを対象としており，本手法と異なり，他の格を考慮していない.また，格フレーム辞書から素性を作成しているため，本手法とは異なり，先行詞と深層格の関係を考慮していない。

西念らの研究では，先行詞候補に対して，概念類似度情報や距離情報などの素性値を取得し，各素性値の正解先行詞としての尤度を求め，ナイーブベイズ法による尤度スコアを求めることにより，先行詞を同定している。西念らは，先行詞の深層格につい

て考慮されているが，本手法では動詞と名詞，助詞の関係から ANNで，先行詞候補の深層格を推定し，先行詞を同定する.

山城らの研究では，分散表現で平均化した格フレームによる解候補削減を用いた日本語文内・文間ゼロ照応モデルを提案している. 述語や格要素の分散表現をはじめとした素性を使用している. 山城らは，格フレームにより述語と格要素の関係を利用することで，先行詞を同定している．対して，本手法では，先行詞候補を深層格により絞り込み，動詞連想概念辞書や述語項構造シソーラスから得られる動詞と名詞の関係や名詞と深層格の関係を用いて，先行詞を同定する.

河崎らの研究では，ANNを使用して深層格を用いた照応解析の手法を提案している。河崎らは，ANN による先行詞の誤割り当てを防ぐために名詞クラスと代名詞の作成と導入を行なった. また，使用した ANN は動詞項シソーラスを使用しており，入力として，動詞と先行詞候補，助詞を入力する．河崎らの手法では，同じ名詞クラスに分類された名詞を区別することが十分ではなかった. 対して，本研究では単語分散表現を利用する事で，この問題の解決を試みた。

## 3 提案手法

図 1 は，提案手法の処理手順を表している. はじめに，文章から名詞を抽出し，文間距離によって先行詞候補の名詞を決定する。このとき，先行詞候補に含める文は対象の文に加えて，対象文の前の 3 文とする.これは，文中のゼロ代名詞が前の 3 文内に 80 \%の割合で出現することを踏まえて決定している.

次に，学習した人工ニューラルネットワーク （ANN）を用いて，先行詞候補の名詞の深層格を求める. ANNの入力には, 動詞と名詞と助詞の特徴をそれぞれ数值化したものを入力する．動詞の特徴量として，述語項構造シソーラスにある大分類 2 に基づいて動詞クラスを 53 クラスに分け, one-hot ベクトルを作成する. 名詞の特徴量として，分類語彙表 [6] の中項目に基づいて名詞クラスを 51 クラスに分け, 1 つの名詞が複数のクラスに割り当てることができるように，ダミ一変数を作成する．助詞の特徵量として，述語項構造シソーラスにある表層格の助詞が 36 種あり，これらの助詞から one-hot ベクトルを作成する。

図 1 提案手法の処理手順

この ANN は複数の深層格が割り当てられるように，全ての深層格に対して割り当てられる確率を算出可能なニューラルネットワークを用いる．割り当てる深層格は述語項構造シソーラスの意味役割から 32 種類にしている. ANN の出力の中で，最も高い出力值の深層格をその先行詞候補の名詞の深層格とする。そしてその出力値を深層格スコアとする.

さらに，動詞と助詞を手がかりに，述語項構造シソーラスから先行詞が取り得る深層格を抽出する。先行詞候補の名詞が割り当てられた深層格が，抽出した深層格と一致しているものを先行詞候補として残す. 残った先行詞候補の名詞の深層格と動詞連想概念辞書の連想課題を対応させる.この動詞連想概念辞書（VACD）は, 連想実験のデータから構築された辞書で, 実際に人間が言葉に対して連想した内容をまとめたものである [1].これを用いることで人間が普段, 文章を読む際に言葉に対して連想する情報をコンピュータが利用することができる。

対応させた連想課題と動詞に対応する連想語を動詞連想概念辞書から抽出する。 そして，抽出した全ての連想語と先行詞候補の名詞の類似度をそれぞれ計算し，得た類似度の最大値を連想スコアとする.また，京都大学格フレーム（CF）[7] と共起概念ベース（共起 GB）から動詞に対応する語を抽出し，先行詞候補の名詞と類似度をそれぞれ計算して得た類似度を動詞スコア，共起スコアとする。これらのスコアを組み合わせて先行詞の同定を行う.

## 4 評価実験

## 4.1 実験設定

NAIST テキストコーパス（NTC）を利用して，評価用データを作成する。評価対象は，条件を満たす
表 1 実験 1 の結果

表 2 実験 2 の結果

事例のみとする．1 つ目は，NTC の述語項構造・共参照タグにおいて，述語と項の関係がゼロ照応の関係であることである。これは，照応に対する先行詞の同定の精度を評価するためである. 2 つ目は，先行詞が文章中に存在することである。これは，文章外に照応詞の照応先が存在する外界照応を，本手法では考慮していないためである．3つ目は，「する」以外の動詞で述語項構造シソーラスに含まれている動詞であることである。これは，本手法において，「勉強する」といった「名詞十する」からなる動詞は考慮していないためである。また，未知語も考慮していない.

作成した評価データに対して，先行詞の同定を行い，提案手法の評価を $\mathrm{N}$ 位正解率で行う. 実験は，各スコア単独で先行詞の同定を行うもの（実験 1) と深層格推定による先行詞候補の絞り込みを行わないANN 単体の手法 (ベースライン) と先行研究をもとに作成した手法，深層格推定による先行詞候補の絞り込みを行なった ANN 単体の手法, 各スコアを組み合わせて先行詞の同定を行うもの（実験 2） からなる.

## 4.2 結果と考察

表 1 では，ANNと 3 つの言語資源から作成したスコアを使用して先行詞の同定を行った結果をまとめている。 1 位正解率では，格フレーム（CF）が 0.235 , 動詞連想概念辞書（VACD）が 0.265 で 2 割を上回る正解率となった. 対して, ANN は 1 位正解率が， 0.185 と 2 割を下回った. また，共起 GB は， 0.090 と 1 割を下回る結果となった.これにより，各スコア単体では，先行詞を 1 つに決めることは，難しいことが確認できる.

対して 10 位正解率をみると，ANN，CF，VACD は 8 割を上回っている。また，共起 GB は 6 割を超えている。これは，各スコア単体では先行詞の候補から先行詞を上位 10 候補までに， 6 割から 8 割ほどの精度で絞り込むことができていると考えられる。 また，共起 GB の正解率をみると，先行詞の同定において，共起 GB 単体では効果が低いことが考えられる。

そして，3位正解率と 5 位正解率をみると，共起 GB 以外のスコアは，5 割を上回っており，特に CF と VACD は ANN の正解率を超えている. これらの結果から先行詞の同定において，各スコア単体でも少なからず効果がみられた。そして，これらのスコアを組み合わせることにより，更なる精度向上の見込みがあると考えられる。

表 2 では，先行詞の同定において，ベースラインと先行研究の手法, 提案手法の結果をまとめている. ベースラインには，深層格推定による先行詞候補の絞り込みを行わずに ANN のみを用いた手法を用いた。提案手法として，深層格推定による先行詞候補の絞り込みを行なった手法 (ANN)，深層格推定による先行詞候補の絞り込みと ANN と動詞連想概念辞書（VACD）を組み合わせた手法（AV）, 深層格推定による先行詞候補の絞り込みと ANN と格フレーム (CF)，VACD，共起 GB を組み合わせた手法 （ACVK）の3つを比較する.

ベースラインと提案手法を比較すると，どの提案手法もべースラインの正解率を上回っている. 深層格推定による先行詞候補の絞り込みが，先行詞の同定における正解率の向上に効果があることが確認で

きる.

先行研究の手法と提案手法の ANNを比較すると， 1 位正解率において提案手法の ANN の方が 15 事例多く正解している. 3 位正解率以降は, 2 つの手法の正解数にほとんど差がみられなかった. 原因として, ANN の違いが挙げられる. 先行研究では, 動詞と名詞の単語分散表現と助詞の one-hot ベクトルを入力していることに対して，提案手法では，動詞クラスと名詞クラス，助詞の one-hot ベクトルを入力している. 提案手法では, 動詞と名詞について, 意味や属性によりクラス分けを行なっているため，名詞が取り得る深層格の傾向が先行研究より学習されているものだと考えられる。

3 つの提案手法をそれぞれ比較すると，AV と ACVK の正解率が，ANN の正解率を上回っている. ANN 単体より，複数のスコアを組み合わせた手法の方が正解率は高くなるが AV の方が ACVK より 1 位正解率が高くなっていた. つまり, 本研究で使用した 3 つのスコアのうち動詞連想概念辞書から得られるスコアが先行詞の同定において，最も効果が高いことがわかる. つまり，動詞連想概念辞書は先行詞の同定に直接的な効果が期待できる. 対して,格フレームと共起 GB からそれぞれ得られるスコアは，先行詞の同定に効果があまりみられなかった。 つまり，これらの情報は先行詞の同定に直接的な効果が期待できない.

本研究では先行詞の同定に使用するスコア以外の要素の影響がないようにしているため, 先行詞候補はスコアの高さによってのみ決定する。 そして，提案手法も 3 位正解率は, 5 割を超えており 10 位正解率になると 8 割を超えていることからスコアのみでの限界がこの正解率であると考えられる。

## 5 まとめ

本研究では，照応解析における先行詞の同定において，深層格と表層格を組み合わせて利用する手法を提案した. ANNにより, 先行詞の候補を絞り込み, 候補の名詞に対して, 動詞連想概念辞書と格フレーム，共起 GB からそれぞれスコアを求めて組み合わせることにより先行詞を同定する. 先行詞の同定において，スコアごとの効果の比較, 組み合わせによる正解率を比較した，スコア単体でみると，格フレームと動詞連想概念辞書は, 先行詞の同定において，ANNより正解率が高いことが確認できた. また，深層格推定による先行詞候補の絞り込みの効果があることが確認できた.

ANN と動詞連想概念辞書を組み合わせた手法が提案手法の中で最も高い正解率を示した. この手法は， 1 位正解率が 0.345 で， 3 位正解率だと $0.610 ， 10$位正解率までみると 0.840 であった. 先行詞の同定において，深層格推定と動詞連想概念辞書の有用性が確認できた. また，この手法は先行詞の候補を 10 個程度までに絞り込むことが確認できたが，1つに絞り込むことは，ほとんどできなかった。

今後の課題として, 深層格推定による先行詞候補の絞り込みの精度向上と新たな先行詞らしさのスコア計算方法が考えられる. 深層格推定による先行詞候補の絞り込みによって先行詞が省かれてしまう事例があったため，構文情報などを利用してより正確な深層格推定，絞り込みを行うこと必要だと考えられる。また，現在の手法は，候補を絞り込んだ後に先行詞を 1 つに同定することがほとんどできていない. 先行詞の候補を 1 つに絞り込むために, 現在考慮していない文中の他の名詞との関連性や構文情報などの情報を取り入れた先行詞らしさのスコアを考えることで，先行詞の同定精度の向上を目指すことが考えられる。

## 謝辞

本研究は JSPS 科研費 JP18K12434 の助成を受けたものです.

## 参考文献

[1] 寺岡丈博, 東中竜一郎, 岡本潤, 石崎俊. 単語間連想関係を用いた換喻表現の自動検出. 人工知能学会論文誌, Vol. 28, No. 3, pp. 335-346, 2013.

[2] 笹野遼平, 黒橋視夫. 大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3328-3337, 2011.

[3] 西念星宝, 谷津元樹, 原田実. 語意類似度を用いた指示代名詞の照応解析システム AnasysD. 知能と情報, Vol. 31, No. 5, pp. 797-807, 2019.

[4] 山城堸太, 西川仁, 徳永健伸. 大規模格フレームによる解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[5] Takumi Kawasaki and Masaomi Kimura. A Novel Japanese Anaphora Resolution Method Using Deep Cases. In International Symposium on Computer Science and Intelligent Controls (ISCSIC), pp. 129-134. IEEE, 2017.

[6] 国立国語研究所. 『分類語彙表増補改訂版データベー ス』(ver.1.0), 2004.

[7] 林部祐太, 河原大輔, 黒橋禎夫. 格パターンの多様性に頑健な日本語格フレーム構築. 研究報告自然言語処理 (NL), Vol. 2015, No. 14, pp. 1-8, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 過去の対話セッションを考慮した雑談対話システム

高﨑 環 1 佐藤 翔悦 ${ }^{2}$ 吉永 直樹 2 豊田 正史 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学 生産技術研究所
\{takasa-m, shoetsu, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

スマートスピーカーの普及が進み，対話システムとユーザとの雑談が継続的に行われるようになりつつある.そのような環境下では，これまでに行った全ての対話の内容を踏まえて，ユーザの知識や情報を把握した上で応答を行うことが望ましい. しかし，現状の深層学習に基づく雑談応答生成では，モデルの系列長に制限があるため，限られた対話履歴しか入力することができない，本研究では，膨大な過去の対話履歴の中から直前の対話履歴と関連度の高い対話や単語を離散的に選択し，入力に加えることの有効性を検証する．実験では，Twitter 上の対話ログを用いて GPT-2をファインチューニングする際に，選択された過去の対話履歴を入力に追加して訓練を行い，未知ユーザ同士の対話において提案システムの有効性を評価する。

## 1 はじめに

スマートスピーカーの普及が進み，雑談対話システムとの会話を継続的に行う機会が増えつつある。 その際に，システムは同一ユーザとの過去の対話の内容を踏まえ，過去の類似した話題に関する情報や，個人特有の知識などを考慮した応答を生成することが望ましい，具体的には，過去の対話内容を踏まえて話題を展開したり（図 1), 過去に話した内容を繰り返さないような応答を生成することが重要であると考えられる。また，言葉遣いや特有の話題など，ユーザの嗜好に即した対話を展開することが期待される。

雑談対話システムにおいて，過去の対話履歴を活用する研究は広く行われてきた. SNS 上の大規模対話ログを模倣するように学習させる深層学習モデルが登場した当初は，直前の 1 文のみを発話履歴として入力する手法 [1] が提案された. その後, 複数文の発話履歴を入力する研究 [2] が登場し，より効果的な学習をするために, 進行中の対話セッション

図 1 過去の対話セッションに手がかりを得た応答生成

の履歴について, 複数の発話をトークン単位・発話単位の 2 階層に分けて処理を行う研究 [3] が提案された。しかし，アーキテクチャの階層化にも限度はあり，対話履歴が膨大な場合は全てを処理することは難しい. また，これまでの研究では，現在の対話セッションを超えるような長い対話履歴をモデルに入力した際に，応答生成に及ぼされる効果について，十分に検証されていない。

本研究では，雑談対話システムの応答生成において，直前までの対話セッションの履歴に加え，過去にそのユーザと話した対話セッションから得られる情報を付与することの有用性を検証する（図 1)。モデルの入力長制限の問題を解決するために，直前の会話履歴をクエリとして関連度の高い過去の対話の選択や，ユーザ特有の単語の抽出を行うことで，大規模な対話セッションの情報から重要な情報を離散的に選択した。

実験では，Twitter から収集された対話ログを使用 ᄂ, GPT-2 [4] のファインチューニングを行なった.訓練データに登場していない未知のユーザ同士の対話を用い，自動評価と人手評価によって提案手法を検証した。

## 2 関連研究

大規模な対話ログからの学習に基づく雑談対話システムでは，運用を通じて獲得できる対話履歴を発話の改善に使用したり $[5,6]$, 対話履歴から知識を獲得したり $[7,8]$ する研究が行われてきた.

Hancock ら [5] は，雑談対話モデルの運用中に収集した対話ログを用いてモデルを再訓練し，応答性能を継続的に改善する研究を行なった.この研究では複数人のユーザからの対話ログを収集するが。対話ログを共有する際は，プライバシーの観点で，使用可能な情報に制限がかかる. 一方，本研究では個人の対話の中で動的に生の対話ログを参照するため，より多くの情報を使用できると考えられる。

現在の対話セッションと異なる対話の情報を利用して応答を生成する研究として，Examplar を用いたものがある，Pandey ら [6] は，学習データから類似した対話を TF-IDFをもとに検索し，応答生成に使用することで，より情報量が多く多様な応答が生成できたと主張した.この研究では，ユーザを制限せず追加する対話セッションを選択するが，本研究では特定ユーザ間での対話セッションに制限する。

Mazumder ら [7] は，知識べースを参照した質問応答において，知識ベースにない情報をユーザに問い, 未知の知識を更新し, 以降の応答生成に使用する手法を提案した。この手法では限られた状況での質疑応答を対象としており, 応答はトリプレットを基に作成される簡潔なものである一方で，本研究で扱うのは雑談応答生成モデルである.

$\mathrm{Wu}$ ら [8] の研究では, 対話履歴から個人特有の情報をトリプレットで獲得する.この研究の知識獲得の対象はユーザ属性のみであるが，継続的にユー ザ特有の知識を蓄積し，動的に参照する対話システ么の研究に有用であると主張している. 本研究においても，継続的に獲得可能な対話履歴から個人に有用な情報を入力する手法をとっており，関連性が高い. 一方で, 本研究の場合は個人情報の使用にとどまらず，話題の繰り返しを避けるなど，より広範な問題をターゲットにしている.

## 3 提案手法

## 3.1 課題

本研究では，雑談対話システムを大規模コーパスで訓練する際に，進行中の対話セッション内の履歴
だけでなく, 過去の対話セッションの履歴も使用する手法を提案する。この手法では，特定の 2 ユーザ間の対話をユーザと雑談対話システムと見做し，その過去の対話を継続的に行われた対話履歴として使用する.

膨大な対話履歴を扱う必要がある一方で，高性能なモデルアーキテクチャには，通常は系列長の制限がある. 入力される系列長に対して線形以上のオ一ダの計算量が必要である以上，長い系列長は短縮して入力しなければならない．また，全ての過去の対話履歴が，現在の対話セッションにおける発話生成に有効ではないため. モデルの最適化が難しくなる可能性がある．そこで，既定の検索手法を用いるなどの帰納バイアスによって，入力長の圧縮を行う手法が考えられる。

## 3.2 対話セッションの選択・圧縮

入力する過去の対話セッションを選択または圧縮するために，本研究では二つの手法を提案する。一つ目は直前の対話履歴をクエリとして，関連する過去の対話セッションを選択する手法（図 2) で，話題の繰り返しを避けるなど，過去の対話を踏まえた対話を行うことを期待する。二つ目は話者特有の情報を抽出する手法（図 3）で，話者の口癖や頻繁に出す話題など，個人特有の情報を考慮することを狙いとしている.

## 3.2.1 現在の対話と関連する過去の対話履歴の選択

継続的な会話を行う際，対話セッションを跨ぐような文脈も考慮し, 同じ話題を繰り返さないなど，長距離文脈を適切に考慮した応答を生成することが望ましい，しかし，膨大な履歴を全て入力するのは困難なため，過去の対話セッションのうち，進行中の対話と関連性の高いものを選択する必要がある. これを実現するために，同じ 2 ユーザ同士の過去の対話セッションをベクトルで表現し，進行中の対話セッションとのコサイン類似度が最も高いものを選択する。対話セッションのベクトルは, 出現単語について，その対話セッション中の出現回数 TF と,同ユーザ間の全対話セッション中での単語の希少性 IDF を計算し掛け合わせることで算出され，語彙毎のスコアを用いて表現される。

過去の対話セッションを選択後，現在の対話セッションの履歴とともにモデルに入力する., 現在の対話セッションの履歴のうち $i$ ターン目の発話を

図 2 過去の対話セッションを選択・入力するモデル $\boldsymbol{u}_{i}=\left(u_{i, 1}, u_{i, 2}, \ldots\right)$, 選択された対話セッションのうち $i$ ターン目の発話を $\boldsymbol{h}_{i}=\left(h_{i, 1}, h_{i, 2}, \ldots\right)$ としたとき，モデルへの入力は,

$[\mathrm{HEAD}] h_{1,1} \ldots h_{m, l_{m}}[\mathrm{EOH}] u_{1,1} \ldots u_{n, l_{n}}$ [EOS]

とした. ここでの $[\mathrm{EOH}]$ トークンは，過去の対話セッション履歴の終了を表すトークン，[EOS]トー クンは，現在の対話セッション履歴の終了を表すトークンとする. また，[HEAD] トークンは二種類存在し，最初の話者がユーザ側かシステム側かによって使い分けることで，過去の対話セッション上の話者情報を提供する。

## 3.2.2 ユーザ特有の重要語の抽出

この手法では，特定ユーザ同士の過去の対話セッションの全てから，話者特有の重要語を抽出し. モデルの入力に加える（図 3). Fikri ら [9] は，生成される応答の多様性を高めるために，ユーザのツイー 卜から抽出される重要語を入力に加えているが，本手法では，過去の対話セッションから抽出された重要語を入力に加えることで，個人特有の話題や語彙を考慮した応答が生成されることを期待する。

そこで，あるユーザの対話履歴の各単語について，重要度を算出する。具体的には，特定の 2 ユー ザ間での対話セッション履歴を全て結合し，一つの文章と考え，訓練データ中での TF-IDF 值を計算する. そして，2 ユーザ間での対話において，TF-IDF 値が高い単語を重要語とみなし, 特定個数選択する.この個数については，対話履歴の単語の $25 \%$ 以下かつ，50 個以下となるようにした。選択された重要語を $\boldsymbol{w}_{i}=\left(w_{i, 1}, w_{i, 2}, \ldots\right)$ とした時，モデルの入力は, $h_{1,1} \ldots h_{m, l_{m}}$ [EOW] $u_{1,1} \ldots u_{n, l_{n}}$ [EOS] とした. ここでの [EOW] トークンは，重要語の終端を表すトークンである.

図 3 ユーザ特有の重要語を入力するモデル

## 4 実験設定

本研究の提案手法とベースラインに対して自動評価と人手評価を行い，応答生成の性能を比較した。

## 4.1 データセット

本研究では，我々の研究室で Twitter $\mathrm{API}^{11}$ を用いて収集した Twitter データセットから対話データセットを構築した. Twitter 上でのリプライツリーを一連の対話セッションとみなし，2 人のユーザが交互に発話する対話のみを使用した。このうち，bot との対話や，画像データや URL を含むものを除外し，同一ツイートから枝分かれしている対話は最長のもののみを使用した。また，対象ユーザは過去の対話セッションが 2〜9 件存在するものに限定した.今回は，2018 年のデータを訓練・検証データ，2019 年のデータを評価データとし，訓練データに出現したユーザを評価データから除外した，最終的に，訓練・検証・評価データの特定のユーザペアの数はそれぞれ 957,799 件，50,411 件，10,901 件であった。最も新しい対話セッションを進行中の対話，それ以外を過去の対話セッションとし，1 組のユーザペアあたり 1 つの発話応答のサンプルを作成した. 人手評価の際には，アノテータが現在の対話セッションから必要な情報を推測しやすいように，未知語を含む対話や，ツイートへのリプライで開始されるものを除外した。また，コストの問題から，評価データのうち対話セッションを抽出した際の類似度が 0.20 以上のサンプルから 100 件，それ未満のサンプルから 100 件選択したデータセットを使用した. 抽出時の類似度別に評価を行い，発話履歴に類似した対話履歴が応答生成により効果的であるかを検証する。

表 1 自動評価の結果

## 4.2 モデル

先述した提案手法をもとに，GPT-2 [4] の日本語版事前学習済みモデルである, rinna/japanesegpt2-small 2) を最大 3 エポック分ファインチュー ニングした. 入力を直前までの対話履歴のみとし, 同様にファインチューニングを行なったモデルをべースラインとした. モデルの実装には， huggingface/transformers [10] ライブラリを用いた.評価時の生成応答を多様にするため, 累積確率を基にした top-p [11] サンプリングを採用した。この時の $\mathrm{p}$ の値は 0.9 とした. また，対話セッションの選択や自動評価の際のトークン化には MeCab [12] を用い，GPT-2 のファインチューニングの際には， rinna/japanese-gpt2-small の事前学習で使用されるトークナイザーによってトークン化を行った.

## 4.3 評価尺度

生成応答に対し，自動評価および人手評価を行う. 自動評価指標としては，参照応答との類似度を測定する BLEU [13], 応答の多様性を測定する dist-n [14]，応答の平均長を用いた.

人手評価では，過去の対話セッションを選択する提案手法とベースライン間での性能比較を行った. 3 人のアノテータ（著者を含まない大学院生）が, 直前までの発話履歴と選択された過去の対話セッション履歴を踏まえた上で，ベースラインと提案手法のどちらの応答が妥当かを選択した. その上で，提案手法による応答が妥当と選択された問題数が，妥当でないと選択された問題数に対してどの程度大きいかを示すゲインを測定し，95\%信頼区間を求めた.

## 5 実験結果

## 5.1 自動評価

表 1 に自動評価による結果を示す. 過去の対話セッションの情報を付与した 2 つの提案手法はべー

表 2 人手評価の結果
スラインに比べ，高い BLEU-2を達成した．提案手法はより参照応答に似た応答を生成すると考えられる. 生成応答の単語の多様性を測定する dist-2 における評価では，いずれの提案手法でもベースラインを若干下回った。また，提案手法が生成する応答はトークン数が若干多かった。これは，過去の対話の情報にのみ登場する，音符や三点リーダなどの語尾やユーザの名前といった追加情報を取り入れ，応答を生成する傾向が観測されたことと，関連があると考えられる。

## 5.2 人手評価

表 2 に人手評価による結果を示す. 表に掲載されている全てのゲインが正であることから．提案手法がべースラインに比べ，妥当な回答だと選択されていることがわかる. また，提案手法において対話セッションを選択した際に，現在の対話との類似度が低いサンプルについての性能に比べ，類似度が高いサンプルの方が性能が高いことがわかる。この結果から，現在の対話に関連した過去の対話の情報が，応答生成に有用な情報を与えていると考えられる. なお，3人のアノテータの評価について，フライスのカッパ係数を用いて相関を測定したところ， 0.3866 とやや低い值となった. これは，挨拶のやりとりなど，過去の対話セッションを用いても応答に差がつきにくく, 妥当性の判断が難しい対話が含まれていたためと考えられる。

## 6 おわりに

本研究では，膨大な過去の対話セッションから有用な情報を離散的に選択し，応答生成を行う雑談対話システムを提案した。進行中の対話セッションの履歴に加え, 過去の対話セッションから関連性の高いものを選択，もしくは重要語を抽出し， GPT-2 のファインチューニングの入力とした. 実験では, Twitter 上の対話ログを用いて訓練を行い，生成された応答に対し自動評価および人手評価によって，過去の対話履歴が発話生成に及ぼす効果を検証した。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けています. また，人手評価にご協力くださった同研究室のメンバーに深く感謝申し上げます.

## 参考文献

[1] Lifeng Shang, Zhengdong Lu, and Hang Li. Neural responding machine for short-text conversation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1577-1586, Beijing, China, July 2015. Association for Computational Linguistics.

[2] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[3] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-toend dialogue systems using generative hierarchical neural network models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 3776-3783. AAAI Press, 2016.

[4] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[5] Braden Hancock, Antoine Bordes, Pierre-Emmanuel Mazare, and Jason Weston. Learning from dialogue after deployment: Feed yourself, chatbot! In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3667-3684, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Gaurav Pandey, Danish Contractor, Vineet Kumar, and Sachindra Joshi. Exemplar encoder-decoder for neural conversation generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1329-1338, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Sahisnu Mazumder, Bing Liu, Shuai Wang, and Nianzu Ma. Lifelong and interactive learning of factual knowledge in dialogues. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pp. 2131, Stockholm, Sweden, September 2019. Association for Computational Linguistics.

[8] Chien-Sheng Wu, Andrea Madotto, Zhaojiang Lin, Peng $\mathrm{Xu}$, and Pascale Fung. Getting to know you: User attribute extraction from dialogues. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 581-589, Marseille, France, May 2020. European Language Resources Association.

[9] Abdurrisyad Fikri, Hiroya Takamura, and Manabu Okumura. Stylistically user-specific response generation. 自然言語処理, Vol. 28, No. 4, pp. 1116-1140, 2021.

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[11] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.


# 知識グラフに基づく応答文生成におけるエンティティ名制約付きデコーディング

佐良和孝 滝口哲也 有木康雄
神戸大学大学院システム情報学研究科
203x110x@gsuite.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

近年，生成ベースの雑談対話システムにおいて，対話履歴のみではなく，検索してきた外部知識を参照することで，情報に富んだ応答文の生成が可能となっている. しかしながら，既存の生成手法では，検索してきた知識を利用せず応答文を生成してしまう場合がある．本研究では，外部知識として知識グラフを用いた応答文生成モデルにおいて，検索してきた知識の利用を促す手法として，エンティティ名制約付きデコーディングを提案する. デコーディングの際に，知識に関する語彙を生成する場合は，検索した知識に含まれるエンティティ名のみを生成するように制約をかけることで，検索した知識の利用を促す. 自動評価の結果，提案手法は既存手法と比較し，検索してきた知識をより多く利用できていることが分かった.

## 1 はじめに

雑談対話 AI の画期的な課題は，ユーザーに対して単に一般的な文章を応答するのではく, より情報や知識に富んだ応答を行うことである。その際に，生成する応答文に含まれる情報や知識が正しいことが求められる. 近年では, 応答生成を学習する際に，対話履歴のみではなく，外部から検索してきた知識を入力しながら学習を行うことで，正しい知識を含んだ，情報に富んだ応答の生成が可能になっている [1]. このような形で学習を行うことで，知識自体をモデルのパラメータに保持するのではなく，検索してきた知識を利用しながら応答文を生成する仕組みをパラメータに保持することができる。これにより，事実知識に反する尤もらしい文を生成しまう「Hallucination」といった問題を軽減することができ [2]，さらには，学習データに含まれていない，表 1 知識グラフに基づく対話の例

知識グラフ

新たな知識を用いた応答文の生成が，モデルの再学習を必要とせず可能になるといった利点がある.

しかしながら，既存の応答文生成モデルは，参照すべき知識が与えられているにも関わらず，その知識を用いることができない，もしくは，間違った使い方をしてしまうといった現象があることが報告されている [3].

本研究では，知識グラフを外部知識として用いる応答生成モデルが，検索してきた知識をより利用するよう促すための手法として，エンティティ名制約付きデコーディング (ENCD: Entity Name Constrained Decoding) を提案する． ENCD は，デコーディング時に，モデルが知識に関する語彙を生成しようとした場合，参照している知識に含まれるエンティティ名のみを生成するように，モデルが出力する確率分布

図 1 Entity Name Constrained Decoding

に対し, 制約を行う. 提案手法は, 学習データに対する簡単な処理と，デコーディング時の処理のみを含んでいるため，多くのモデルに適用可能である.

自動評価を用いた比較実験の結果，提案手法は既存の手法と比較し，より多くの参照知識を利用できていることが分かった. また，提案手法は，既存手法と比較して，より正しい知識の用い方を学習できている可能性があることを示した。

## 2 知識グラフに基づく応答文生成

知識グラフに基づく対話例を表 1 に示す. 知識グラフに基づく応答文生成は, 知識グラフから検索された，応答生成の際に参照する知識トリプル $T=\left(t_{1}, t_{2}, \ldots, t_{n}\right)$, 対話履歴 $D=\left(d_{1}, d_{2}, . ., d_{m}\right)$, 応答文 $r$ を用いて式 1 のように定義できる。 $\theta$ は学習されるパラメータである.

$
P_{\theta}(r \mid D, T)=P\left(r \mid d 1, d 2, . ., d_{m}, t_{1}, t_{2}, . . t_{n}\right)
$

近年では，事前学習済み言語モデルに対して，対話履歴と知識トリプルを繋ぎ合わせ 1 つのテキストとして表現したものを入力し，応答文を生成するようにファインチューニングすることでモデル化を行う手法が広く用いられている. [4,5]. このようにして学習されたモデルは，与えられた知識トリプルを参照しながら応答文を生成することが可能であるため，間違った知識を生成するような現象を防いだ
り，学習データに含まれないような新たな知識を用いた応答文の生成が可能になる。

## 3 提案手法

提案手法である ENCD は「エンティティタグ付き学習」と「エンティティ名制約モジュール (ENCM: Enity Name Constraint Module)」の 2 つの要素で構成される. 1 つ目は学習段階で適用されるものであり，2つ目はデコーディング段階で適用されるものである。それぞれの要素について詳しく述べる。

## 3.1 エンティティタグ付き学習

ENCD はデコーディングの段階で，モデルが知識に関する語彙を生成する場合，参照する知識トリプルに含まれるエンティティの名称のみを出力するように制限する手法である。しかしながら，従来の学習方法で学習されたモデルは，デコーディングのどのタイムステップで知識に関する語彙を生成しようとしているのかを明示的に知ることは難しい. そこで, 本研究では, この問題に対処する手法として, エンティティタグ付き学習を提案する.

この手法は，学習データの応答文において，参照する知識トリプルに含まれるエンティティ名の前後を"["と"]"で囲うようにタグを挿入する。アノテー ションの具体例を表 2 に示す. 学習の際は，挿入したタグも含めて生成を行うように学習を行う。これによって，モデルは知識を参照する際には"["トーク

$d+t_{2}$

$r_{2}$

2. 参照知識の一部を変更したものを入力とし応答文を生成

4. BLEUを用いて類似度を計算

図 2 Entity Replace Sentence Score の算出手順

表 2 エンティティタグの挿入例

 \\

応答文 & in [ 1943 ] called [ A Tree Grows In Brooklyn ] \\

ンを,参照が終わると"]"トークンを生成するようにモデルを学習することが可能になり，デコーディング時に，どのタイムステップで知識に関する語彙を生成しょうとしているかが判別できるようになる。今回の実験では，エンティティタグの挿入処理に，文字列マッチングを用いた。

## 3.2 エンティティ名制約モジュール (ENCM)

先ほど述べた，エンティティタグ付き学習を行うことで，デコーディングの際に，現在のステップで， モデルが知識トリプルを参照しているかどうかが明示的に分かるようになる. そこで，モデルが知識卜リプルを参照している場合は，ENCMを用いて，卜リプル内に含まれるエンティティ名のみを生成できるように, モデルが出力する確率分布に制約を加える. 提案手法の全体図を図 1 に示す.

## 4 実験設定

## 4.1 データセット

学習と評価には, OpendialkG[6]を用いた. 91K のマルチターンの会話からなり，それぞれが，タスク指向 (推薦) の会話，または与えられたトピックに関する雑談の会話である. それぞれの発話は, 話者が発話をする際に、知識グラフ上のどのトリプルを参照したかがアノテーションされている. 知識グラフには freebase[7] のサブセットが用いられてお
り，100,813 個のエンティティ， 1,358 種類のエッジ， $1,190,658$ 個のトリプルで構成されている. データの中には，発話の際に知識を参照していないようなものがあるため，今回の実験ではそれらは前処理として取り除き, $80 \%$ を学習データ, $10 \%$ を開発データ. 10\%をテストデータとして用いた.

## 4.2 評価指標

モデルが知識を用いながら応答を生成できているか, 3 つの自動評価手法を用いて評価を行った。

BLEU[7] モデルが生成した応答文と，真の応答文との間で評価を行う．真の応答文は，モデルが参照する知識グラフと同じものを，人間が参照しながら応答したものである.

Entity Score モデルが生成した応答文の中に，参照した知識トリプルを構成するエンティティが，どれほど含まれているかで評価を行う。

Enity Replaced Sentence Score ただ単に知識を利用するのではなく，モデルがどれほど知識の用い方を学習しているかを評価するため，新たな評価指標として ERSS: Entity Replacement Sentence Score を提案する。モデルが知識をそのまま記憶しているのではなく, 知識の利用方法を学習できている場合,与える対話履歴をそのままにして，与える知識トリプルの一部を変更してモデルに入力すると，変更された知識に対応する部分のみが変化した応答文が生成されるはずである。図 2 に提案する評価手法の全体図を示す。

はじめに，評価対象の学習済み応答文生成モデルに対して, 対話履歴 $d$ と参照する知識トリプル $t 1$ を入力し, 応答文 $r 1$ を生成する. 次に, $d$ と, 知識卜リプル $t 1$ の一部を，別のエンティティに置き換えた $t 2$ を入力とし, 応答文 $r$ を生成する. そして, 置換されたエンティティに対応する $r 1$ 中のスパンを特定し，新たなエンティティに置き換えることで $r 3$ を
表 3 応答文生成例. ENCM を用いることで，間違った知識を用いずに応答を生成することができている.

 \\

生成する。最後に $r 2$ と $r 3$ の一致度を BLEU スコアを用いて算出することで，最終的な評価値を得る。

今回の実験では，エンティティを置換する方法として，2 通りの手法を用いる。1 つ目は，同じ属性を持つエンティティに置き換えるものである．例えば，"Japan"というエンティティを置換する際は, 同じ，国の属性を持つ，"America"や"Germany"といったエンティティに置き換える。 2 つ目は，エンティティの属性を考慮せず，ランダムに置き換える。本研究において, 前者を ERSS-1, 後者を ERSS-2 とする。

## 4.3 ベースライン

応答文生成モデルとして，事前学習済み言語モデル T5[8] の small モデルをファイン・チューニングしたものを用いて，通常のデコーディング手法で応答文を生成するものをベースラインとして用いる.

## 4.4 実装

ベースライン，提案手法ともに，Python の OSS ライブラリ, Transformersを用いて実装を行った.最適化手法は AdamW[9], 学習率 1e-3, バッチサイズ 16 で学習を行い，推論時はビーム幅 3 でビームサー チを行った。

## 5 実験結果

実験結果を表 4 に示す. 表から分かる通り，従来手法 (T5-small) と比較し，全ての指標で提案手法が優れていることが分かる. アブレーション・スタディとして ENCM を用いない場合，すなわち，学習段階でエンティティタグを挿入するが，デコーディング時は通常のデコーディング手法を用いる場合についても評価を行った. その結果，ENCMを用い表 4 実験結果

ない場合でも，従来手法と比較し優れていることが分かり，学習段階でのエンティティタグの挿入が, モデルの学習に大きな影響を与えていることが分かる．詳しい理由はまだ解析できていないが，エンティティタグを挿入することで，応答文生成の際に知識を参照するステップとそれ以外のステップの切り替えをうまく学習できていることが要因であると考えている. この原因特定については今後の課題である．ENCM を用いる場合と用いない場合の比較では，自動評価の観点から見ると，ほぼ同じであるが，表 3 に示す，実際の生成例を見てみると， ENCM を用いることで，エンティティ名を間違って出力することを防ぐことが出来ている．このことが ENCM を用いた場合の Entity Score に表れていると考えられる。

## 6 おわりに

本研究では，知識グラフに基づく応答文生成において，検索してきた知識の利用を促す手法として ENCD を提案した. 自動評価の結果，従来手法と比較し，より多くの検索知識を利用できていることが分かった. また，提案手法は正しい知識の利用方法を学習できている可能性があることを示した.

## 謝辞

本研究の一部は,JSPS 科研費 JP21H00906 の支援を受けたものである.

## 参考文献

[1] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internetaugmented dialogue generation, 2021.

[2] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation, 2021.

[3] Nouha Dziri, Andrea Madotto, Osmar Zaiane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding, 2021.

[4] Yu Li, Baolin Peng, Yelong Shen, Yi Mao, Lars Liden, Zhou Yu, and Jianfeng Gao. Knowledge-grounded dialogue generation with a unified knowledge representation, 2021.

[5] Andrea Madotto, Zhaojiang Lin, Yejin Bang, and Pascale Fung. The adapter-bot: All-in-one controllable conversational model, 2020

[6] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, $\mathrm{ACL}$ ' 02 , USA, 2002. Association for Computational Linguistics.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[9] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2019.


# Graph Neural Network based Speaker Modelling for Emotion Recognition in Conversation

Prakhar Saxena, Yin Jou Huang, Sadao Kurohashi
Kyoto University
\{prakhar, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## Abstract

Each person has a unique personality which affects the way they feel and convey emotions. Hence, speaker modeling is important for the task of emotion recognition in conversation (ERC). In this paper, we propose a novel graph-based ERC model which considers both conversational context and speaker personality. Our model outperforms other graph-based models and achieves a performance comparable to the current state-of-the-art model.

## 1 Introduction

Emotion recognition in conversation (ERC) is a task within the sphere of emotion recognition. The goal of ERC is to predict the emotion of each utterance in a conversation. With the recent advances of dialogue research, ERC has gained popularity due to its potential to support downstream applications such as building affective dialog systems [1] and opinion mining from social media chats [2].

The emotion of an utterance depends on many factors including surrounding context and speaker personality. The same utterance can express different emotions under different contexts. On the other hand, the speaker's personality and background may affect how we interpret the emotion of an utterance. For example, in Figure 1, the utterance "This is great!" can carry either negative sentiment (sarcastic person) or positive sentiment (not sarcastic). This difference can be attributed to the different personalities of speakers.

In speaker modeling, we distinguish between the static and dynamic states of a speaker. The static speaker state refers to the average state of a person that remains unchanged over a long time. On the other hand, the dynamic speaker state refers to the deviation from the static state in presence of external stimuli. External stimuli can dictate and change the speaker's internal state, which in turn affects

Figure 1 The emotion conveyed by the phrase "This is great" can either be negative (sarcasm) or positive (in the case that the person ordered the wrong item). This example is taken from [10].

the emotion displayed by an individual, hence modeling the dynamic state of a speaker is important for ERC.

In the past few years, Graph Neural Networks (GNNs) have been used increasingly in ERC. GNNs provide an intuitive way to model conversations [3] given the inherent structural flexibility of the graph. The graph structure can be used to capture the dependency between utterances and speakers.

Recent works such as DialogGCN [4], RGAT [5], EmoBERTa [6] and DAG-ERC [3] have modelled conversational contexts using various methods, however they do not model speaker state explicitly. Whereas ConGCN [7] and MMGCN [8] models the speaker state explicitly, however, they use random embedding for initialization and model just the static aspect.

In this study, we propose a novel graph-based ERC model which considers both static and dynamic aspects of speaker state. We utilize a graph which includes past utterance nodes and explicit speaker nodes to model the interactions between utterances and speakers in the dialogue. Experimental results on the benchmark MELD dataset [9] verified the effectiveness of our model regarding both context and speaker modeling.

## 2 Related Work

DialogGCN [4] was the first paper to use GNN to model dialogues. Given an input dialogue, a complete graph within a fixed context (past and future) window is built.

Figure 2 Model overview . The target utterance is denoted in yellow color.

Since graph-based neural networks do not take sequential information into account, RGAT [5] uses relational positional encodings to improve upon DialogGCN. DAGERC [3] builds a more intuitive graph structure by considering local and remote information, without using any future utterance.

EmoBERTa [6] models the speaker state and context by prepending the speaker names to utterances and inserting separation tokens between the utterances in a dialogue, and feeding it to RoBERTa. ConGCN [7] explicitly uses speaker nodes, which are initialized randomly. MMGCN [8] also incorporate randomly initialized speaking embeddings in their model.

## 3 Methodology

## 3.1 Problem Definition

In ERC, a conversation is defined as a sequence of utterances $\left.\{U_{1}, U_{2}, \ldots, U_{N}\right.\}$, where $N$ is the number of utterances. Each utterance $U_{i}$ is spoken by a speaker $S_{i}$ and has an emotion label $Y_{i}$. The goal of ERC is to predict the emotion label $Y_{t}$ for a given utterance $U_{t}$.

## 3.2 Model Overview

Our model consists of three components: Feature extractor, Graph encoder, and Prediction layer. Figure 2 shows the overview of our proposed model.

## 3.3 Feature Extraction

We use pretrained RoBERTa [11] as our feature extractor. Inspired by EmoBERTa [6], we feed the following sequence to RoBERTa for each utterance $U_{i}$ with speaker $S_{i}$ (as shown in Figure 2):

$
[C L S] S_{i}: U_{i}[S E P]
$

For each utterance $U_{i}$, we take the output vector of RoBERTa corresponding to the [CLS] token as the utterance embedding $h_{i}^{u}$. In addition, we extract the RoBERTa output vector corresponding to the speaker token $S_{i}{ }^{1)}$ as speaker embedding $h_{i}^{s p}$.

## 3.4 Graph Encoder

## 3.4.1 Graph Construction

For a target utterance $U_{t}$ in the dialogue, we build a graph $G=(V, E)$ to model the information flow in a conversation, where $V$ denotes the set of nodes and $E$ is the set of edges.

The graph $G$ contains two types of nodes:
- Utterance node: We consider the target utterance $U_{t}$ and up to $w$ utterances preceding $U_{t}$ as past utterances.
- Speaker node: We consider the unique speakers of the target and past utterances.

1) We consider the first token after [CLS] as the speaker embedding.

Figure 3 Graph Structure.

The set of nodes can be represented as:

$
V=\left.\{U_{j}\right.\}_{j=t-w}^{j=t} \cup \operatorname{Uniq}\left(\left.\{S_{j}\right.\}_{j=t-w}^{j=t}\right)
$

where the function $\operatorname{Uniq}()$ returns all the unique elements in a set.

Our graph contains two types of edges, given by:
- Utterance-Utterance Edge: We connect each utterance to its previous utterance. These model the effect of past utterance on the present utterance. These are given by $E_{u u}=\left.\{\left(U_{j-1}, U_{j}\right)\right.\}_{j=t-w+1}^{j=t}$
- Utterance-Speaker Edge: We connect each utterance $U_{j}$ to its corresponding speaker $S_{k}$. The set of utterance-speaker edges are denoted as $E_{u s}=$ $\left.\{\left(U_{j}, S_{k}\right)\right.\}_{j=t-w}^{j=t}$. These edges model the effect of speakers on the utterances.

The set of edges can be given by:

$
E=E_{u u} \cup E_{u s},
$

Figure 3 illustrates an example of the constructed graph with a target utterance $U_{4}$ (colored in yellow) and 3 past utterances. $U_{1}$ and $U_{3}$ are spoken by speaker $S_{1}$, while $U_{2}$ and $U_{4}$ are spoken by $S_{2}$.

## 3.4.2 Node Initialization

We initialize the utterance and speaker nodes as follows:
- Utterance node : $u_{i}^{0}=h_{i}^{u} \forall i \in[t-w, t]$
- Speaker node : $s_{j}^{0}=\operatorname{avg}\left(h_{i}^{s p}\right) \forall i$ spoken by $S_{j}$.

Since there is only one speaker node for each unique speaker, we average all the embeddings for each unique speaker and use the averaged embedding to initialize the Speaker node.

## 3.4.3 GCN-based graph encoding layers

After constructing and initializing the graph, we feed it to the Graph Convolutional Network (GCN) [12] based encoding layers, which update node representation considering the graph structure.
For each GCN layer, the layer-wise propagation rule is:

$
H^{l+1}=\sigma\left(A^{*} H^{l} W^{l}\right)
$

where:
- $H^{l}$ : Matrix for layer $l$, with all the node embeddings row wise, of size $N \times D$. ( $N$ : number of nodes, $D$ : embedding size)
- $A^{*}=A+I, A$ is adjacency matrix and $I$ is identity matrix.
- $W^{l}$, are the weights for $l$-th layer.

We use GCN to get the updated representation of the nodes in $G$. After being processed by $L$ layers of GCN, the final utterance and speaker node representations are denoted as: $u_{i}^{l}$ and $s_{j}^{l} . s_{j}^{l}$ models the dynamic speaker state under the current dialog context.

## 3.5 Emotion Classification

Finally, we concatenate the initial and the final node embedding (embedding after the $L$-th GCN layer) of target utterance and feed it through a feed-forward network to classify emotions.

$
\begin{gathered}
P_{t}=\operatorname{softmax}\left(F F N\left(u_{t}^{0} \| u_{t}^{l}\right)\right), \\
Y_{t}^{*}=\operatorname{argmax}\left(P_{t}\right),
\end{gathered}
$

Here, $\|$ denotes the concatenation operation, $F F N$ is the feed-forward neural network layer, and $P_{t}$ is the probability distribution for the predicted emotion.

## 3.6 Training Objective

We use the standard cross-entropy along with L2regularization as the measure of loss $(\ell)$

$
\ell=-\sum_{x=1}^{M} \sum_{t=1}^{N_{x}} \log P_{x, t}\left[Y_{x, t}\right]+\lambda\|\theta\|_{2}
$

Here, $M$ is the total number of training dialogues, $N_{x}$ is the number of utterances in the $x^{t h}$ dialogue, $Y_{x, t}^{*}$ and $Y_{x, t}$ are the predicted probability distribution of emotion labels and the truth label respectively for utterance $j$ of the dialogue $x . \lambda$ is the L2-regularization weight, and $\theta$ is the set of all trainable parameters.

## 4 Experiment

Table 1 Statistics for the MELD dataset.

## 4.1 Dataset

We evaluate our model on the benchmark Multimodal EmotionLines Dataset (MELD) dataset [9]. MELD is a multi-modal dataset collected from the TV show Friends. There are 7 emotion labels including neutral, happiness, surprise, sadness, anger, disgust, and fear. Since this is an imbalanced dataset, weighted $\mathrm{F} 1$ is used as the evaluation metric. The statistics of MELD are shown in Table 1.

## 4.2 Experimental Settings

The feature extractor used is RoBERTa-large[11] The model is trained for 10 epochs, batch-size is set to be 8 , and the learning rate is set at $1 \mathrm{e}-6$. The model with the highest weighted F1 on the validation set is selected for evaluation. The past context is set to be 3 utterances and the number of GCN layers is set to be 2 . The size of hidden features is 1024. Also, we report the average score of 3 random runs on the test set.

## 5 Results and Analysis

Compared Methods We compare our proposed model with several baselines and previous works. The overall results are reported in Table 2.

First, we compare our model to the baseline RoBERTa models. In RoBERTa (no context), the utterance alone is used as input to the pretrained RoBERTa model. In RoBERTa (w/ modified input), we uses inputs as given by Equation 1. Our proposed method performs significantly better than both RoBERTa baselines. This shows the advantage of the graph encoding mechanism.

Next, we compare our model with other GNN-based models: $D A G-E R C, D i a l o g G C N$ and RGAT. For fair comparison, we use the models which use RoBERTa as the feature extractor. The authors of DAG-ERC re-implement DialogGCN and RGAT using RoBERTa as feature extractor, we use the scores reported by the DAG-ERC paper. Our model outperforms all these models, proving the advantage of using explicit speaker nodes to model conversations.

Finally, we compare our results with the state-of-the-art

Table 2 Comparison with other models.

Table 3 Impact of speaker modeling.

model, EmoBERTa. Our model achieves comparable performance with EmoBERTa. However, EmoBERTa uses both past and future utterances as context, whereas we only use the past utterances as context.Under the condition that the past utterances are allowed, the proposed model outperforms EmoBERTa (w/o future context).

Impact of speaker modeling To investigate the impact of the speaker modeling on the performance, we evaluate our model by removing speaker nodes and by randomly initializing speaker nodes. The results are shown in Table 3. Removing speaker nodes reduces the performance significantly, which confirms our hypothesis that, modelling speaker states is important. Whereas randomly initializing speaker nodes results in a performance which is comparable to using utterance nodes only.

## 6 Conclusion

We proposed a novel idea of modeling speaker states explicitly using a graph for emotion recognition in conversation (ERC). Experiments showed that our model achieves comparable results with the state-of-the-art model and outperforms other graph-based models. In addition, empirical results illustrated the effectiveness of explicit speaker modeling.

## References

[1] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

[2] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. SemEval-2019 task 3: EmoContext contextual emotion detection in text. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 39-48, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[3] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed acyclic graph network for conversational emotion recognition. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1551-1560, Online, August 2021. Association for Computational Linguistics.

[4] Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, and Alexander Gelbukh. DialogueGCN: A graph convolutional neural network for emotion recognition in conversation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 154-164, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Taichi Ishiwatari, Yuki Yasuda, Taro Miyazaki, and Jun Goto. Relation-aware graph attention networks with relational position encodings for emotion recognition in conversations. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7360-7370, Online, November 2020. Association for Computational Linguistics.

[6] Taewoon Kim and Piek Vossen. Emoberta: Speaker-aware emotion recognition in conversation with roberta, 2021.

[7] Dong Zhang, Liangqing Wu, Changlong Sun, Shoushan Li, Qiaoming Zhu, and Guodong Zhou. Modeling both context- and speaker-sensitive dependence for emotion detection in multi-speaker conversations. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5415-5421. International Joint Conferences on Artificial Intelligence Organization, 72019

[8] Jingwen Hu, Yuchen Liu, Jinming Zhao, and Qin Jin. Mmgen: Multimodal fusion via deep graph convolution network for emotion recognition in conversation, 2021.

[9] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.

[10] Soujanya Poria, Navonil Majumder, Rada Mihalcea, and
Eduard Hovy. Emotion recognition in conversation: Research challenges, datasets, and recent advances, 2019.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks, 2017.


# 対話での共通基盤構築過程における名付けの分析

齋藤結 1 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学 2 日本電信電話株式会社
s1810274@edu.cc.uec.ac.jp
\{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する共通基盤の構築は重要な課題とされてきたが，その構築過程を分析した研究は少ない. 共通基盤の構築過程が記録されたコーパスを調査したところ，図形配置課題に関する図形オブジェクトへの「名付け」 が多く見られており，この名付けが共通基盤の構築に重要である可能性がある。本研究では，共通基盤構築過程が記録されたコーパスに対する名付けのアノテーション仕様の作成，および，一定規模のデー タに対するアノテーションを実施した. その結果, オブジェクトについての知識を利用する名付けが多く出現したことや課題で使用するオブジェクトごとに使用する名付けの種類が変化することがわかった。

## 1 はじめに

対話において話者が相互理解を行うためには，話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2]$. 対話における共通基盤をモデル化することを目的とし，課題が達成されるまでの過程とその対話を大量に集めモデルを構築する研究が報告されている $[3,4]$. 例えば宇田川ら [3] は，初期状態が互いに異なる複数の点の中から共通する点を選ぶタスクを設計し，対話履歴とタスクの結果を収集した. さらに収集したデータセットに対して，指示語と指示内容を結びつけるアノテーションを実施した [5]. また光田ら [4] は，宇田川らが設計したタスクを参考に初期位置が互いに異なる複数の図形を対話を通して同じ配置にする実験を設計し，課題を達成するまでの対話内容とそれに対応する図形配置が定量的に記録されたデータを収集した.

図 1 に先行研究 [4] で収集された対話例を示す.話者 B が発話 $U_{2}$ で円を「自動車の車輪」と名付け

 & \\

図 1 名付けを通して共通基盤構築が進む対話の例 (数字は発話 ID，A，B は話者を表し，作業画面はそれぞれの話者が見ているものを示している。)

たことで話者 $\mathrm{A}$ は発話 $\mathrm{U}_{3}$ で「トラック」をイメー ジし話している。それに対して話者 $B$ は発話 $\mathrm{U}_{4}$ で四角形を「トラックの運転席」と「荷台の部分」と名付けることでどの位置にどの図形を配置するかの方針が相手にも伝わっている。このようにオブジェクトに対して「トラック」のような名付けをすることで，目標を決定したり，オブジェクトの操作を指示したりしていると考えられる。.このような名付けは共通基盤の構築において重要な役割を持っている可能性がある.

本稿では，名付けに着目して共通基盤の構築過程を明らかにすることを目指し，先行研究 [4] で収集されたデータセット（共同図形配置コーパスと呼ぶ）に対して名付けのアノテーションを行う仕様を作成し，実際にアノテーションを行った結果とその予備的な分析について報告する。

## 2 共同図形配置コーパス

図 2 亿，本研究で名付けの対象として利用する共同図形配置コーパスの作業用ツールについて示し, その概要を述べる.

本コーパスでは作業者 2 名がペアとなり，ツールを通じて図形の配置と対話を行う．各作業者の画面には，同数の図形が異なる図形配置で表示される。作業者は相手と対話をしながらマウスを使用して図形を動かし，2 名で同じ図形配置を作る.このとき各作業者は相手の図形配置を見ることはできない.図形の数は 5 個または 7 個，種類は重複あり，大きさはランダムである. 図形の回転，縮小拡大，削除はできず移動のみが可能である．相手と同じ図形配置を作成すればこの作業は成功となる [4].

図 3 にこの作業で利用される図形を示す. 1つ目が上部に示す三角や四角などの単純図形で，2つ目が下部に示す建物などの前提知識を利用できる建物図形である. それぞれ 10 種類存在する. 共同図形配置コーパスには単純図形を用いた対話が 489 対話，建物図形を用いた対話が 495 対話が含まれ，合計 984 対話である.

## 3 名付けのアノテーション仕様

本節ではまず，本研究のアノテーション対象となる「名付け」と「参照」を定義する. 次に，予備分析の結果，名付けのアノテーションは 2 種類の情報 （図形個個数・配置に関する分類，および，名付けの名称に関する分類）に分けられることがわかったため，その詳細について述べる。 トライアルアノテー ションと仕様の改善を繰り返し行うことで本仕様を作成した.

## 3.1 「名付け」と「参照」の定義

本研究では「名付け」を以下のように定義する。

名付け単純図形または建物図形 1 つまたは複数個と何らかの名前を結びつけること

また，一度名付けた名前を再利用したり，名付けた名前を新たに名付けしたりすることもある。 それらの行為は「参照」とし，以下のように定義する。

参照同一の図形に関連づいている名前を使用すること

共同図形配置コーパス中の名付けを予備分析で分析したところ 2 つの分類に分けられることがわかっ

図 2 共同図形配置コーパスで利用されている作業用ツー ルの画面（片方の作業者に提示される画面）

図 3 共同図形配置コーパスで利用されている単純図形 (上部)，および，建物図形（下部）

た. 1 種類目は「個数・配置に関する分類」である.名付け対象の図形の数と名付けを発話した時点での名付け対象の図形の配置状態でラベル付けを行う. これに注目した理由は，名付けと関連づいている図形の数や図形の配置状態に違いがあることがわかったからである．また，図形の数によって名付けの質も変わり、最終的なゴールに対しての名付けは対話の方向性やタスクの達成の成否に関わり共通基盤の形成に大きくかかわるのではないかと考えたからである。

2 種類目は「名称に関する分類」である。これに注目した理由は名付けた名前の分類が名付けが対象とする図形種などにより変化すると考えたからである. 以降，各々について説明する。

## 3.2 個数・配置に関する分類

表 1 の上部に，個数・配置に関する分類の体系を示す. 名付けの対象となる図形の数と, その図形配置が今あるものかを表す. 図形の個数は 1 つか複数個か，名付けを発話した時点で名付けの対象となる図形の配置がすでにあるかどうかで分けた．分類の数は 3 種類のラベルとし, 1 つの名付けにつき 1 つのラベルを付与する. 図形/建物 1 つの例を図 4 , 図形/建物複数・目標の例を図 5 , 図形建物複数・その他の例を図 6 に示す.

## 3.3 名称に関する分類

表 1 下部に名称に関する分類の体系を示す. 名称に付与される名付けのラベルを 15 種類に分類した.予備分析の結果, 修飾語が含まれている名付けが多数存在したので，修飾語についてのラベルと，名詞についてのラベルを用意した. 1 つの名付けに対して 2 種類の情報がマルチラベルで付与される.

## 4 アノテーションの実施と分析

## 4.1 アノテーションの実施

外部のアノテータ 6 名に依頼しアノテーションを行った. 最初にツールの使い方とアノテーションの仕方に慣れてもらうために，作業の練習を行った.公園は坁役所のとなりじやないですか?

図 4 図形/建物 1 つの例，名付けの対象が 1 つの図形である.

図 5 図形/建物複数・目標の例.「ランプ」の対象は「円」 と「台形」であり，この発話時点で「ランプ」は配置されていない.

図 6 図形/建物の複数・その他の例,「蛇口みたいな形」 は図形全てが対象であり，この発話時点で「蛇口みたいな形」が配置されている。

図 7 名付けをアノテーションした例. 矩形は名付けを表し，エッジは参照を表す。

アノテーションはbrat[6] を用いて実施した，bratでアノテーションを行った例を図 7 に示す.

アノテーション作業では，作業者を 2 グループに分けて作業を実施した. 1 グループ目では， 2 人のアノテータが同じ 20 対話にアノテーションを行った. 2 グループ目では，残りのアノテータ 4 人が分担して重なりのない 160 対話にアノテーションを行った. 前述のアノテーションの結果，単純図形の対話が 89 対話，建物図形の対話が 91 対話の計 180 対話となった。
表 2 一致率および $\kappa$ 值（個数・配置のみは計算可能なもののみが対象）

## 4.2 アノテーター致率

表 2 に 2 人のアノテータのアノテーションについて，名付けスパンの一致率と名称に関する分類のみの $\kappa$ 値，個数・配置に関する分類のみの $\kappa$ 値，2つを組み合わせた $\kappa$ 値と参照の一致率の 5 つを示す. この表から，高い一致率でアノテーションができており，仕様の妥当性が確認できた。

## 4.3 アノテーション結果の分析

各名付けの頻度について調査し，全体的な各名付けの傾向について述べる. アノテーションされた 180 対話には，名付けの数が 3476 個， 1 対話の平均数が約 19 個，異なり名付けの数が 1213 個， 1 対話につき約 8 個存在した. 異なり名付けの総数が名付けの数の半分以下であることから，対話の中で多くの共通の名付けが出現していることがわかる. 名称に関する分類で「登録名」にラベル付けされたものを除いて，上位 5 つを調査した結果，単純図形では，頭 : 19 回，家：18 回，直角三角形 : 14 回，それ: 14 回, これ: 13 回, また, 建物図形では, BAR: 31 回,街 : 30 回，ビル群：16 回，交番：16 回. 警察署：16 回出現した. この結果から, 建物図形で頻出の名付けの回数が単純図形の名付けの回数よりも多いことがわかる. 建物図形の名付けは建物名の名付けが多いが，単純図形はイメージしやすい体に関する多様な名前が利用されている。また指示語である「それ」が比較的多く使用されており，お互いの画面が見えない状況下でも, 指示語が発話される傾向が確認された。

個数・配置に関する分類の出現回数ついても述べると, 図形/建物 1 つが 2366 個, 図形/建物複数・目標が 167 個，図形/建物複数・その他が 943 個となった. 図形/建物複数・目標は 1 対話に 2 回以上出現しない傾向がある. 図形建物 1 つでは，BAR，交番，街, 図形/建物複数・目標では, 街, 顔, 家, 図形/建物複数・その他では，それ，手，街となった。これらの結果から図形/建物複数・目標は他の 2 つのラべルと役割が違うことがわかる. 特に図形建物複数・

図 8 上：名付けの出現回数を時系列で示した図,下：図形建物複数・目標の出現回数を時系列で示した図

目標の名付けは構成要素を多く含む名付けが多い. これより図形/建物複数・目標の名付けの仕方で図形/建物 1 つと図形/建物複数・その他の名付けの仕方が変化すると考えられるので図形建物複数・目標の名付けは重要な要素と考えられる。

図 8 上部に各ターンにおける名付けの出現回数,下部に各ターンにおける図形/建物複数・目標の出現回数を示す。まず上部から，対話の前半での名付けの回数が多いことがわかる. すなわち，対話の前半で名付けを多く行って共通基盤を構築し，対話の後半では構築した共通基盤を利用して対話を進めていると考えられる。次の 2 つのグラフを見比べると，目標設定は対話の早い段階で行われていることがわかる。このことから，名付けを通して最初に目標設定を行うことで共通基盤の構築を効率的に進めている可能性が考えられる。

## 5 おわりに

本稿では，名付けに着目して共通基盤構築の過程を明らかにするため, 名付けのアノテーション仕様の作成，アノテーションの実施，予備的な分析を行った結果について述べた. アノテーションの仕様が妥当であること，分析の結果対話の中で多くの共通する名付けが出現することや名付けに用いた図形によって出現頻度が高い名付けが異なること，目標を決める名付けは他の名付けとは違う役割を持つことがわかった．今後は収集したデータを用いて有効な名付けの仕方や対話中でどのタイミングにどういう名付けがされやすいかなどの分析をさらに進めていきたい.

## 参考文献

[1] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[2] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[3] Takuma Udagawa and Akiko Aizawa. A natural language corpus of common grounding under continuous and partially-observable context. In Proc. of AAAI, pp. 71207127, 2019.

[4] 光田航, 東中竜一郎, 大賀悠平, 杵渕哲也. 共同図形配置課題における対話の共通基盤構築過程の分析. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), pp. 1697-1701, 2021.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proc. of EACL, pp. 102-107, 2012.


# Prompt-Tuning による個性を持った対話システムの構築

笠原智仁 河原大輔
早稲田大学理工学術院
\{tomo_k@ruri., dkw@\}waseda.jp

## 概要

一貫した発話をしない対話システムは魅力的ではない。本研究では、対話システムに一貫性を持たせるため、与えられたキャラクター設定 (ペルソナ)を考慮した応答を行うことが可能な雑談対話システムの構築に取り組む。言語モデルの大規模化が進む動向を踏まえ、学習コストの低い Prompt-Tuningを事前学習済みの大規模言語モデルに施すことによるアプローチを提案する。Fine-Tuning と比較して、学習にかかる時間と計算資源量を抑えた上で、より自然で個性を持つ応答が可能な対話システムが構築できることを自動評価と人手評価によって示した。

## 1 はじめに

ニューラルネットワークモデルを用いた生成ベー スの対話システムでは、様々な話者の発話から成る大規模な対話コーパスをモデルの学習に用いる。そのため、学習したモデルが生成する発話において一貫性に欠けることが多いという久点がある [1]。例えば「私は東京出身です。」と発話した後に、「私は京都出身です。」等といった一貫性のない発話をする可能性がある。

本研究ではこのような一貫性に欠けた発話を減らすことを目的とし、ペルソナをモデルに与え、それを基に応答を行うことができる対話システムの実現を目指す。モデルにペルソナを与える単純な手法として、モデルへの入力にペルソナを自然言語で付加する方法 [2] が考えられる。しかし、この手法ではペルソナ情報が増えれば増えるほど入力文が長くなるため、入力方法として適しているとは考えられない。そこで、入力トークン列の前に固定長の新たなトークン列を付加し、そこにペルソナ情報を埋め込む手法を提案する。具体的には、ペルソナを基に発話がなされたデータセットを用いて、付加されるトークン列の埋め込みべクトルのみを学習によって最適化する。自動評価と人手評価により、ペルソナを活かした自然な応答ができる対話システムの構築が本手法によって可能であることを示す。本手法では事前学習済みモデルのパラメータ更新を行わないため、学習に要する時間と計算資源の削減が可能である。また、数百個の対話ぺアからなる小規模なデータセッ卜を用いたとしても、個性を持った対話システムの構築が可能であることを示す。本手法は対話システムに個性を持たせること以外にも、感情ごとにトー クンを用意することで対話システムに感情に応じた応答をさせること等にも応用が可能である。

## 2 関連研究

## 2.1 Prompt-Tuning

BERT [3] などの事前学習済みモデルの登場により、事前学習したモデルを Fine-Tuning することによって目的タスクに適応させる手法が主流となった。しかし、モデルの大規模化が進む現在、 Fine-Tuning のコストの増大と事前学習済みモデルが持つ知識の増大により、パラメータを更新せずにタスクに適応させる手法が注目を浴びている。

Brown ら [4] は手作業でタスクの説明といくつかの例 (まとめて Prompt と呼ぶ)を作成することでタスクを解くZero/Few-Shot Learningを提案した。これらの改良についての研究 $[5,6]$ があるが、Fine-Tuning と比較すると精度は悪い。

自動的に Prompt を最適化する Prompt-Tuning と呼ばれる手法には、離散的な語彙の中から最適な単語を選択する手法 [7] と、連続的な埋め込みべクトルを用意してそれを最適化する手法 $[8,9,10,11,12]$ が存在する。Prefix-Tuning $[9,10]$ は入力の先頭に Prefix-Token と呼ばれるトークン列を追加して、このトークンの埋め込みベクトルのみを最適化する。画像と自然言語のマルチモーダルな Prompt-Tuning に関する研究 [13] もなされている。

なお、Liu ら [14]によって Prompt 関連の研究がま

とめられ、ウェブ上に公開されている1)。

## 2.2 対話システムの個性

対話システムがより自然な対話を人間と行うためには、一貫した個性を持つこと、知識を持つこと、感情を持ち対話相手に共感すること、の 3 つの観点からの改善が必要であると Roller ら [15] は述べている。本研究ではこの 3 つの観点の中でも、個性に注目する。

Persona-Chat Dataset [2] は対話システムに個性を持たせることを目指して作成されたデータセットである。キャラクター設定が記されたペルソナ文を約 5 文ずつ与えられた 2 人のクラウドワーカー同士のマルチターンの対話で構成されている。ペルソナ文には、実際にワーカーが対話を行う際に使用した Original と、それを言い換えた Revised の 2 種類が存在する。Persona-Chat Dataset の日本語版である JPersonaChat Dataset [16] も存在する。発話者のペルソナ情報が含まれる対話コーパスには、Redditから対話データを抽出することで作成されたもの [17] や、PersonalDialog [18] などがある。Zheng ら [18] は PersonalDialog を用いて、エンコードしたペルソナ情報を入力に付加してから Seq2Seq モデルに入力する手法を提案している。

## 3 提案手法

## 3.1 提案モデル

Transformer のアーキテクチャを用いた事前学習済み言語モデルに、ペルソナ情報を埋め込むトークン用の Embedding 層を追加したモデルを提案する。以降、このトークンを Persona Info Token と呼ぶ。提案モデルのアーキテクチャと入出力関係を図 1 に示す。

## 3.2 データセット

日常生活における会話は必ずしも個人の情報と関連したものばかりではない [19]。そこで、ペルソナと無関係な発話もモデルが行えるようにすることを目的とし、1 種類のペルソナを基に発話が行われた対話データセットと、ペルソナと無関係な対話データセットの 2 種類を混ぜたデータセットを用意する。

図 1 提案モデルのアーキテクチャと入出力関係

## 3.3 学習方法

Persona Info Token を新たに追加した Embedding 層によって、発話と応答のぺア (生成時は発話と生成が完了したところまでの生成文)を事前学習済み言語モデルの Embedding 層によってそれぞれ埋め込む。これらの埋め込みベクトルは結合してからモデルに入力される。学習時、モデルからの出力の応答文にあたる部分で Cross Entropy Loss を計算し、新たに追加した Embedding 層のパラメータのみを更新する。

## 4 実験

3 節の手法に基づいて、個性を持った対話システムを構築する。システムの構築には Hugging Face の Transformers を使用し、計算資源には AI 橋渡しクラウドを利用した。使用した GPU は NVIDIA A100 SXM4 であり、搭載されているGPUメモリサイズは40GBである。

## 4.1 データセットの作成

実験には Persona-Chat Dataset と DailyDialog [20]の 2 種類のデータセットを用いる。

## 4.1.1 学習用データセット

まず、Persona-Chat Dataset の複数ターンの対話を 1 往復の 2 発話ずつに分割する。この 2 発話のペアを以降は対話ペアと呼ぶ。対話ペアの応答側のワー カーに与えられていたペルソナ種類ごとに対話ぺアを集計する。なお、Persona-Chat Dataset には 1,155 種類のペルソナが存在するが、本実験では集められた対話ぺア数の多い上位 3 種類のペルソナのみを用いる。この 3 種類のペルソナを基に発話が行われた対話ぺア数はそれぞれ 185,167, 166 である。実験では 1 つの実験設定につき、 3 種類のペルソナに対応した 3 つのモデルを学習して評価を行う。集計した対話ぺアを学習用と評価用に 9:1 の割合で分割する。 ペルソナとは無関係な一般的対話ペアとして、

DailyDialog の中でも、挨拶などの一般的な発話が多い、Topic ${ }^{2}$ が Relationship の対話ぺアを用いる。その中から、発話と応答の両方の長さが 50 文字以下の対話ぺアを一定の比率で学習用データセットに混ぜる。このような条件を設けた理由は、Persona-Chat Dataset には長さが短い発話やペルソナとは無関係な発話が少ないため、短くて一般的な発話をデータセットに取り入れるためである。DailyDialog から学習用データセットに追加する対話ペアの比率については、Persona-Chat Dataset から取得した対話ペア数に対する比率が 1:0、1:1、1:5 となるような 3 種類の加え方を用意する。以降、この比率を学習用データセットの比率と呼ぶ。

## 4.1.2 評価用データセット

評価用データセットは Persona Eval Dataset と General Eval Dataset の 2 種類を用意した。Persona Eval Dataset は4.1.1 節で述べた 9:1 に分割したうちの 1 割のデータセットである。General Eval Dataset は DailyDialog から 4.1.1 節と同様の条件で取得した 50 個の対話ペアからなる。

## 4.2 実験設定

4.1 節のデータセットを用いて、GPT 系の事前学習済み言語モデルの Fine-Tuning と Prompt-Tuning を行う。モデルのサイズは GPT2-XL と GPT-J-6B の 2 種類とする。なお、GPT-J-6B の Fine-Tuning は GPU メモリサイズの都合上、実験は行っていない。

Prompt-Tuning のハイパーパラメータについては Lester ら [10] の設定にならう。Persona Info Token の長さについては予備実験を実施し、100と 200 で比較したところ、200 の方がより多様性のある生成を行うことができた。そのため、本実験では 200 とする。Persona Info Token 用 Embedding 層の初期化には、Original のペルソナ文を並べた文章を事前学習済み言語モデルの Embedding 層によって埋め込んだベクトルを用いる。その文章のトークン数が 200 に満たない場合には、長さが 200 になるまでペルソナ文を繰り返し並べる。応答文の生成の戦略は Greedy Searchを採用している。Epoch 数は学習時の loss が収束するような値に設定した。

Fine-Tuning は対話ぺアのみを入力する方法と対話ペアの発話の前にペルソナ文を付加してからモデル

2）対話ごとに Topic が付与されており、Attitude \& Emotion, Culture \& Education, Finance, Health, Ordinary Life, Politics, Relationship, School Life, Tourism, Work の 10 種類がある。表 1 Distinct による自動評価. 付加の有無はペルソナ文を入力文に付加しているかどうかを示す。

 & 0.595 \\

に入れる方法の 2 種類を実験した。

## 4.3 実験結果

学習用データセットを用いて学習を行ったモデルに、Persona Eval Dataset と General Eval Dataset の対話ペアの発話を入力する。モデルから生成された応答に対して、多様性を自動評価し、発話に対する応答として自然でペルソナを活かしているかどうかを人手評価する。なお、結果が最も良かった学習用データセットの比率が 1:1 の設定における結果のみを本節に載せ、その他の比率の結果については付録に載せる。

## 4.3.1 自動評価

生成された文の多様性を Distinct [21] によって評価する。Distinct-1 と Distinct-2 の値を表 1 に示す。 なお、評価の値は 3 種類のペルソナに対応するそれぞれのモデルからの Persona Eval Dataset と General Eval Dataset の生成結果全ての平均をとっている。結果から、GPT-J-6B を Prompt-Tuning したモデルが最も多様性のある生成を行うことが分かる。また、 Zhang ら [2] の実験結果と同様に、Fine-Tuning においては入力にペルソナ文を付加しない方が良い結果となることが分かる。

## 4.3.2 人手評価

Amazon Mechanical Turk を利用し、生成文が発話に対する応答として自然で、ペルソナ設定に沿っているかどうかを人手評価する。Zhang ら [2] の手法にならい、応答が文法的に正しいか、魅力的であるか、発話に関連しているか、ペルソナを考慮しているか、の 4 項目を 5 段階評価する。 1 つの応答につき 5 人のワーカーに回答してもらい、平均を取る。 Persona Eval Dataset と General Eval Dataset の人手評価結果をまとめて表 2 に示す。Human のスコアは Zhang ら [2] の結果を引用する。なお、Fine-Tuning において、入力にペルソナ文を付加した場合の自動評価結果が、付加しない場合と比較して悪かったた
表 2 人手評価

表 3 応答の生成例

 \\

表 4 応答生成例で用いたペルソナペルソナ文

i am a retired gym teacher.

i volunteer at a soup kitchen.

i was poor growing up. cheeseburgers are my favorite food. i like watching war documentaries.

め、付加しない場合の人手評価のみを行った。

表 2 から、Persona Eval Dataset を用いた人手評価結果では、すべての項目において GPT-J-6Bを Prompt-Tuning をしたモデルの評価が高いことが分かる。これは、モデルサイズが大きいほど事前学習でモデルに蓄えた知識が多く、その知識を生かしてより自然な応答が行えたためと考えられる。流暢さ、魅力度、関連性については Human スコアに近い値を出すことが出来ている。General Eval Dataset を用いた人手評価では、そこまで大きな差が生まれなかった。これは、General Eval Dataset に含まれる発話には挨拶などの一般的で短いものが多いため、応答も短い簡単な文になったためであると考えられる。

GPUメモリサイズを固定した上で、学習可能な最大サイズのモデル同士で Fine-Tuning と PromptTuning を比較すると、Prompt-Tuning の方がより個性的で自然な応答を行うことのできる対話システムを構築可能であると言える。

最も人手評価の合計スコアが高かった設定である、GPT-J-6B を Prompt-Tuning によって学習したモデルからの生成例を表 3 に示す。なお、生成例は表 4 に示すペルソナのデータセットを用いて学習を行ったモデルからの生成である。数百ペアの小規模学習データセットを用いた学習により、表 3 のような自然で一貫した個性を持つ応答を行えることが分かる。

## 5 おわりに

本論文では、 1 種類のペルソナを基に発話が行われた対話データとペルソナとは無関係な対話データの 2つを用いて、事前学習済み言語モデルを Prompt-Tuning する手法を提案した。Fine-Tuning と比較して、学習にかかる時間と計算資源量を抑えた上で、より自然でペルソナに沿う応答が可能な対話システムの構築ができたことを自動評価と人手評価によって確認した。本実験では数百個の対話ぺアからなる小規模なデータセットを用いたが、よりサイズの大きなモデルとデータセットを用いることで更なる精度向上が見込まれると考えられる。また、本手法は対話システムに個性を持たせることに限らず、 1 種類の感情を基に発話が行われた対話データを用いることで、その感情を持つ対話システムを構築する等にも応用が可能である。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Laria Reynolds and Kyle McDonell. Prompt programming for large language models: Beyond the few-shot paradigm. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-7, 2021.

[6] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1269712706. PMLR, 18-24 Jul 2021.

[7] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[8] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5203-5212, Online, June 2021. Association for Computational Linguistics.

[9] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4582-4597, Online,
August 2021. Association for Computational Linguistics.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too. CoRR, Vol. abs/2103.10385, , 2021.

[12] Tu Vu, Brian Lester, Noah Constant, Rami Al-Rfou, and Daniel Cer. Spot: Better frozen model adaptation through soft prompt transfer. CoRR, Vol. abs/2110.07904, , 2021.

[13] Maria Tsimpoukelli, Jacob Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Processing Systems, Vol. 34, , 2021.

[14] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. CoRR, Vol. abs/2107.13586, , 2021.

[15] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[16] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformerbased japanese chit-chat systems, 2021.

[17] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[18] Yinhe Zheng, Guanyi Chen, Minlie Huang, Song Liu, and Xuan Zhu. Personalized dialogue generation with diversified traits. CoRR, Vol. abs/1901.09672, , 2019.

[19] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training persona-based dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 様々な学習用データセットの比率における評価結果

学習用データセットの比率が 1:0、1:1、1:5 のときの評価結果を載せる。

## A. 1 自動評価

表 5 に Distinct による自動評価結果を示す。太字は同 Ratio 内の最高値で、赤字は Ratio 間をまたいだ最高値である。DailyDialog から取得した対話ぺアの比率が高いほど学習用データセットが大きくなるため、 Distinct のスコアも高くなる傾向にある。また、同サイズの学習用データにおいて学習手法とモデルを比較すると、GPT-J-6B を Prompt-Tuning したモデルが最も多様性のある生成を行うことが可能であることが分かる。

表 5 Distinct による自動評価. 全ての学習用データセットの比率の結果を載せる。

 &  \\

## A. 2 人手評価

人手評価結果を表 6 に示す。

表 6 Persona Eval Dataset の人手評価. 全ての学習用データセットの比率の結果を載せる。


# 遠隔操作アンドロイドを用いた マルチモーダル説得対話コーパスの収集と分析

有岡無敵 ${ }^{1,2}$ 山本賢太 $^{3}$ 井上昂治 ${ }^{3}$ 河原達也 ${ }^{3}$ 中村哲 ${ }^{1}$ 吉野幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学先端科学技術研究科
2 理化学研究所ガーディアンロボットプロジェクト
3 京都大学大学院情報学研究科
koichiro.yoshino at riken.jp

## 概要

対話を通じてユーザに行動変容を促す説得対話システムについての研究を行うため、マルチモーダル情報を含む説得対話コーパスの収録を行った。具体的には、WoZ 法で遠隔操作されたアンドロイドを用いて、ユーザに対してシステムとの対話（ター ンテイキング）を意識させつつ、音声と顔画像から得られる特徴量を含む説得対話コーパスを収集した。収集した音声は書き起こし、対話行為タグの付与を行った。収集したコーパスと合わせて前後にアンケートを行い、各被験者の性格、説得対象ドメインへの意識、説得前後での意識の変化、対話上で説得に応じたかなどのラベル付けを行った。また、各被験者に対して追跡調査を行い、実際に説得によって行動変容が生じたかについても調査した。

## 1 はじめに

対話システムのような言語インタフェースを備えるシステムの多くは、何らかの目的を持って構築される。この目的は、ユーザが要求する情報の検索 [1] や具体的な支援の呼び出し [2] など様々だが、そうした目的の一つにユーザの行動変容が挙げられる。行動変容システムとはユーザの行動や目標の変更を介入によって促すもので、特に自然言語による対話を用いて行動変容を促すシステムを説得対話システムと定義することができる $[3,4]$ 。説得対話システムは、対話を通じて人の行動や目標を、あらかじめ設定されたシステムの目的に合わせて変容させるもので、例えば生活習慣の改善 [5] や、社会問題に対する取り組み [6] などの観点から注目されている。

これまで行われてきた説得対話研究の多くは、対話における言語的な側面、特に対話行為や語彙の選択に着目してきた $[4,7,6,8,9]$ 。しかし実際には、我々は対話の上で表現される多様なモダリティ上の現象に影響を受けており、これらの関係にも着目する必要がある。例えば信頼した人からの説得には応じやすいなど、対話における信頼度・親密度は説得の成功とも相関があるが、こうした信頼度・親密度はマルチモーダル情報に着目することである程度明らかにすることができる [10]。また、ユーザの感情状態 [11] や、嘘をついているかどうか [8] などの情報も、マルチモーダル情報から取得し、説得対話に活用することができる。

そこで本研究では、説得対話における非言語情報の活用を指向して、遠隔操作アンドロイドを用いた WoZ 対話によってマルチモーダル説得対話コー パスの収集を行った。具体的には、先行研究 $[5,6]$ に従って「運動の促し」「インターネット依存の改善」「募金の促し」という 3 通りの説得ドメインを定義し、各ドメイン 20 話者ずつとの音声対話を収録した。この際、被験者と相対するシステムとして人型アンドロイド ERICA[12]を用い、遠隔操作 [13] による WoZ 対話を行った。対話中の被験者からは、音声および正面顔画像から得られる特徵量（Action Unit; AU）を収録した。収録した音声は書き起こしを行い、分析に利用した。書き起こしたコーパスに対して、拡張 ISO-24617-2 対話行為タグ [14] に基づいて対話行為タグの付与を行った。また、被験者の属性や性格 [15]、説得を受けてどう感じたか、対話上で説得に応じたか、実際に説得された通りの行動を取ったかなどについてのラベルを付与した。さらに、対話収録後に追跡調査を行い、実際に行動変容が引き起こされたかどうかについてもラベルを付与した。このデータを用い、説得の成否判定や説得に有効な要素についての分析を行った。

## 2 説得対話の収録

説得対話システムは、説得者をシステム、被説得者をユーザとし、システムが持つ対話目標の状態へユーザを誘導する。対話はユーザが説得に合意する、あるいはユーザが説得に合意しないまま一定時間（または一定ターン）経過することで終了する。今回の収録では、対話時間は最低 5 分から最大 8 分程度と設定し、以下のような設定で収録を行った。

## 2.1 説得対象ドメイン

今回、「運動の促し（運動）」「インターネット依存の改善 (ネット)」、慈善事業団体への募金の促し (慈善事業)」を目的とする説得対話を収録した。運動および慈善事業は先行研究 $[6,5]$ で存在する説得目標で、このうち慈善事業に関しては米国で行われた研究であるため、日米の慈善事業に対する意識の違いから異なる結果が出る可能性があった。そこで、今回集められた被験者に対応しそうなインター ネット依存の改善の説得目標を新たに追加した。

## 2.2 被験者への教示

被験者は、人型アンドロイド ERICA の対話実験として集められた 18 歳から 38 歳までの男女 60 名 （男性 43 名、女性 17 名）である。正しく収録できたのが 58 セッション（男性 41 名、女性 17 名）であった。被験者には今回の対話の目的が説得であること、WoZ 対話であることは伏せ、ERICA で開発された新しいシステムと対話をして貪うという目的で集まって貪った。対話の際の教示としては、ERICA と対話のターンの受け渡しを意識し、発話が被らないようにすることを注意して革った。収録にあたっては、理化学研究所の倫理審査結果に従い、音声と顔画像の特徴量が収録されること、アンケートによって性格などの情報が収集されることについての説明を行い同意を得た。また、今回の運動、ネット、慈善事業のいずれかに興味を持つ者をあらかじめスクリーニングして被験者とした。被験者には後に説明する追跡調査終了後に謝金を支払った。

## 2.3 演者への教示

今回は人型アンドロイド ERICAを演者が遠隔操作で操作した。演者は 2 名で、過去に ERICA の操作経験がある演技経験者から選抜した。演者には被験者へ行った教示に加えて、説得対話を行う際の技術や流れについても説明した。

説得対話を行う際、以下のような戦略が有効であることが知られている [6]。これらの戦略を効果的に利用するようあらかじめ演者に教示を行った。

1. 論理的な説得: 説得に応じた場合のメリット、説得に応じなかった場合のデメリットを具体的に説明する。

2. 感情への訴えかけ: 共感、罪悪感、怒りなど被験者の感情に訴えかける。

3. 信頼性のアピール: 科学的エビデンスや機関・権威などの信頼性をアピールする。

4. 簡単な内容での説得: 簡単な要求から説得を開始し、徐々に難易度を高くする。

5. 個人の経験の開示: 説得に応じることに対する個人のポジティブな経験について語る。

6. 具体的な情報提供: 詳細な行動についての指示を行い、どのように説得に応じるか具体的にイメージさせる。

7. 説得目標を認知しているかどうかの質問: 説得対象となる問題を認知しているか尋ねる。

8. 説得目標に関する質問: 説得対象について知りたいことなど、被説得者の意見や期待を尋ねる。

9. 被説得者に関する質問: 説得対象について、被説得者の個人的な経験を尋ねる。

演者には、以下のような流れで対話を進めるように指示をした。

1. お互いに挨拶をする

2. 会話のテーマ (運動、ネット、または慈善事業) を提示する

3. 会話のテーマに対する被験者の意識を尋ねる (戦略 7)

4. 相手の反応に応じて説得を進める
5. 5 分経過後会話の流れに応じて説得を終了する

演者には演じて貪った対話数に応じて謝金を支払い、対話上説得が成功したと判定された対話の数に応じて追加の謝金を支払う旨を伝えた。

## 2.4 収録環境

収録環境を図 1 に示す。被験者の音声と演者の音声は説話マイク1)を用いてステレオで録音した。顔画像は Web カメラ゙2) で正面から撮影し、OpenFace ${ }^{3)}$

図 1 収録環境

で Action Unit (AU)を抽出した。ERICA は演者の表情に合わせ、Valence-Arousal の二軸を調整しながら対話中の表情を変化させた [16]。収録された音声は書き起こし、さらに訓練された一名のアノテータによって、拡張 ISO-24617-2 対話行為タグ [14] に基づく対話行為タグ付与を行った。

## 2.5 事前・事後アンケート

事前アンケートとして、被験者の性格、意思決定の傾向、説得対象ドメインへの意識や現在の状況についての調査を行った。この調査項目については先行研究 [6] に従った。まず、性格、意思決定の傾向については Big Five [15] を計測するための設問を含めた。各説得対象ドメインへの意識については、「運動」では、現在の運動習慣と生活習慣への自己意識を問う設問を用意した。「ネット」では、現在のインターネットの利用時間とそれに対する自己意識を問う設問を用意した。「慈善事業」では、これまでの慈善事業への参加経験と、参加への意識を問う設問を用意した。詳細な調査項目は付録を参照されたい。

事後アンケートでは先行研究に従い、年齢、性別、学歴、パートナーの有無、政治的見解について問う設問を用意した。また、対話中の ERICAへの印象を尋ねる質問と、対話を通じて意識がどのように変化したか尋ねる質問を用意した。

## 2.6 追跡調査

説得対話では、対話上での合意に加えて、対話後実際にその合意が履行されたかどうかが重要である。そこで今回の研究では、対話上で説得に対して合意した被験者に対して、その合意を履行したかどうか 1 週間後に追跡調査を行った。具体的には、表 1 意識の変容

表 2 行動の変容

表 3 対話上の合意

「運動」では 1 週間の運動時間、「ネット」では 1 週間のインターネット利用時間、「慈善事業」では 1 週間に行った寄付の金額を答えてもらった。

## 3 コーパスの分析

収集されたコーパスの分析を行うため、まず説得の成否について述べる。次に、アンケートで得られた項目が説得成功どのように寄与するか調査するため、ロジスティック回帰によって説得の効果予測器を構築し、各素性に与えられた重みを比較した。

## 3.1 説得の成否

まず、説得の成否について表 $1 、 2 、 3$ に示す。今回、説得の指標としては意識の変容、行動の変容、対話上の合意を用いた。意識の変容は、事後アンケートで説得対象ドメインへの関心が上がったと答えた被験者の人数・割合である。変容値は、アンケートの中でどれくらいの時間について行動変容を起こそうと思うかについて尋ねた値の平均値である。ただし、慈善事業については説得対話中で慈善事業への参加を促したものの、具体的な参加内容については議論しなかったため、行動変容を起こそうと思った人の割合についてだけ示す。行動の変容は、追跡調査の回答で実際に行動変容を行ったと答えた被験者の人数・割合である。変容値は、実際に行動変容を行った際の変容量の平均値である。慈善事業については、実際に慈善事業へ参加した人が 0 人であったため、変容値の記載がない。対話上の合意は、システムとの対話を聴取し説得に合意したと
表 4 運動ドメインで有効な素性

判断できた対話を行った人の人数・割合である。 まず全体を通して見ると、実際の行動の変容や意識の変容に関わらず、多くの人が対話上では説得への合意を行うことがわかる。つまり、実際に説得が有効であったかを対話上の振る舞いから判定することは困難である。説得の有効性については、意識の変容が起こったかどうかについて調査を行うか、実際の行動変容が起こったかを調べる必要がある。また、意識の変容が起こったと答えた人でも、実際に行動変容に至った人はその半分であった。これは、実際に対話を通じて行動変容に行うことに納得したとしても、そこから行動に移すためにはハードルがあることがわかる。効果的に行動変容を促す説得対話システムを構築するためには、即座に行動変容を起こすことができるタイミングでの説得を行うことも重要であることがわかる。

## 3.2 説得に有効な要素

次に、アンケートで取得した個人の属性や性格などから、どの要素が説得に有効化についての調査を行った。この調査のため、アンケートで得られた各項目を入力とし、実際に行動変容を起こしたかどうかを 0/1 で予測するロジスティック回帰（L2 正則化）の学習を行った。なお、慈善事業については行動変容を起こした人がいなかったため、意識の変容を起こした人を予測するタスクとして学習を行った。

今回の事例全てで学習をした結果、いずれの説得対象ドメインでも学習データに対しては $100 \%$ で識別可能な識別器を構築できた。これらの識別器で学習した素性重みのうち、絶対値が大きかったもの （絶対値 0.3 以上）を説得対象ドメインごとに表 4 、 5、6 に示す。

この結果から、まず説得対話を行うエージェントの発言に説得力を持たせる、重要な話をしていると感じさせる、信頼性を持たせる、誠実さを感じさせるなどが重要であることがわかる。またそれ以外にもユーザ側の性質として、指示されることを好む、保守的である、あまり熟慮をせず直観に頼る、などが説得されやすさに関わっていることがわかる。

この結果から、今後説得対話システムを構築するにあたって、システム側の発言にいかに説得力を持たせるかに注力することが重要であることがわかる。具体的には、論理的な説得や、信頼性のアピー ル、具体的な情報提供などの戦略を用い、誠実さ、信頼性などを向上させることが説得の成功に寄与すると考えられる。ユーザの特性を対話の序盤で分析し、それに合わせた戦略を取ることも有望である。

## 4 まとめ

本研究では、対話を通じてユーザに行動変容を促す説得対話システムの研究を行うため、アンドロイドを用いた WoZ 対話によりマルチモーダル情報を含む説得対話コーパスの収録を行った。コーパスを分析した結果、説得の成否判定の方法や説得成功に重要な要素についての示唆が得られた。今後はマルチモーダル情報の分析も進めるとともに、収録したデータを、マルチモーダル情報を用いる説得対話システムの構築に活用する。

## 倫理審査の承認に関する開示事項

本研究課題は理化学研究所研究倫理第三委員会による倫理審査を受け、承認された（承認番号: Wako3 2021-20、承認日: 2021 年 5 月 31 日、研究課題名: 人型ロボットを用いた遠隔操作によるマルチモーダル説得対話収録）。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 05567$ の助成を受けた。

## 参考文献

[1] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gasic. Multiwoz-a large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018), pages 5016-5026, 2018.

[2] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL2021), pages 77-88, 2021.

[3] Pierre Andrews, Suresh Manandhar, and Marco De Boni. Argumentative human computer dialogue for automated persuasion. In Proceedings of the 9th SIGdial Workshop on Discourse and Dialogue (SIGDIAL2008), pages 138147, 2008.

[4] Takuya Hiraoka, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Learning cooperative persuasive dialogue policies using framing. Speech Communication, 84:83-96, 2016.

[5] Sara Asai, Koichiro Yoshino, Seitaro Shinagawa, Sakriani Sakti, and Satoshi Nakamura. Eliciting cooperative persuasive dialogue by multimodal emotional robot. In Proceedings of the 12th International Workshop on Spoken Dialog System Technology (IWSDS2021), 2021.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), pages 5635-5649, 2019.

[7] He He, Derek Chen, Anusha Balakrishnan, and Percy Liang. Decoupling strategy and generation in negotiation dialogues. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018), pages 2333-2343, 2018.

[8] The Tung Nguyen, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura, et al. Dialog management of healthcare consulting system by utilizing deceptive information. Transactions of the Japanese Society for Artificial Intelligence, 35(1):DSI-C_1, 2020.

[9] Weiyan Shi, Xuewei Wang, Yoo Jung Oh, Jingwen Zhang, Saurav Sahay, and Zhou Yu. Effects of persuasive dialogues: testing bot identities and inquiry strategies. In Proceedings of the $2020 \mathrm{CHI}$ Conference on Human Factors in Computing Systems (CHI2020), pages 1-13, 2020.

[10] Yoshihiro Yamazaki, Yuya Chiba, Takashi Nose, and Akinori Ito. Construction and analysis of a multimodal chattalk corpus for dialog systems considering interpersonal closeness. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pages 443-448, 2020

[11] Nurul Lubis, Sakriani Sakti, Koichiro Yoshino, and Satoshi Nakamura. Eliciting positive emotion through affectsensitive dialogue response generation: A neural network approach. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI2018), volume 32, 2018.

[12] Koji Inoue, Pierrick Milhorat, Divesh Lala, Tianyu Zhao, and Tatsuya Kawahara. Talking with erica, an autonomous android. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 212-215, 2016.

[13] Shuichi Nishio, Hiroshi Ishiguro, and Norihiro Hagita. Geminoid: Teleoperated android of an existing person. Humanoid robots: New developments, 14:343-352, 2007.

[14] Koichiro Yoshino, Hiroki Tanaka, Kyoshiro Sugiyama, Makoto Kondo, and Satoshi Nakamura. Japanese dialogue corpus of information navigation and attentive listening annotated with extended iso-24617-2 dialogue act tags. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[15] Oliver P John, Eileen M Donahue, and Robert L Kentle. Big five inventory. Journal of Personality and Social Psychology, 1991.

[16] Arellano D., Perales F.J., and Varona J. Mood and its mapping onto facial expressions. Articulated Motion and Deformable Objects. AMDO 2014. Lecture Notes in Computer Science, 8563, 2014.

## 付録

## 事前アンケート

・あなた自身の性格について、以下にあてはまるかどうか 5 段階で選択して下さい。

一周りに人がいることに居心地の良さを感じる。
- 自分から会話を始める败とが多い。

一会話することが少ない

一乼目を集めるのが好きではない。

一他人に興味を持っている。

一他人の気持ちに共感きる。ことが多い。

一他人にはあまり興味がない

一他人をあまり気遗わない

一指かされることを好む

一仕事敢しい

一物事を適切な場所に戾すのを忘れることが多い。
- 義務的なことと负責任感を感さない。

ーストレスを感じやすい。

一物事が心配になることが多い。

一不機嫌になるらさとか

一想像力豊かである。

一物事を理解夺るらが早い。

一今两での街動などを志く反省する。

・帛なた自身の意思決定の傾向についでどの程度当てはまるかを゙段階で教え

一意思決定をするとき、状況の長所/短所やリスク便益を熟考する時間を

一職る惫決定をするとき、主に自分の直感に頼る。

・あなたが何かの物事の善し悪しを決めるとき、次のことをどの程度考慮して考

えていますか?

一その物事により感情的に苦しんだ人がいたかどうか

その物事が愛国心にもとづくものかどうか

一その物事が権威に対方る敬意を欠いていたかどうか

一その物事に弱者への梿いが含まれているかどうか

その物事が社会の伝統・規範に従っているかどうか

その物事が誰かの権利を侵しているかどうか

一その物事において誰かの自由が制限されたかどうか

-以下の文竞を読み、同意するか同意しないが思いゃ段階で示してください。
-苦しんでいる人要である

何か決まり作るとき、すべての人が公平波われるようにすることが最も重要である

一権威を尊重することは、誰もが学ばなければならない

正義は、社会汇とって最も重要である

何か悪いとされることであっても、家族のためであればよい

一男と殺ではそれぞれ社会で果たすべき役割が違う

一自身の考えが実現されるより、チームの目的が達成される方が重要である

一自分の上司に従う義務があるとき、上司の方針に反対であっても、義務なのでとにかく従う
- 真操は重要で価値のある美徳である、誰もが自分の好きなように自由に行動すべきだ

一伝統が重要で、家族や社会が伝えてきた習慣を守りたいと思っている一周围の人行大切に思っておりり周りの人の健康を気遣っているることをを望

几でいる常に目新しいことを求めており、人生では色々なことを体験したい

一成功したい尊敬を思めて、周りの人が自分の言うことに耳を傾けるょうにな晏全・慾しいが大事であり、これらを务かすような物事を避ける

・あなたが以下の内容についてどの程度同意するか教えて下さい。

一犮人よりも自分の信念の方が大切だも、友人が望む内容を伝えることが最善の場合もある一様子を見るためだけに反対の意見を言うことがある

一他人に頑固だと思われている

・(運動の参加者のみいて最も当てはまると思うものを選んでください（4段階）一健康に運動は必要だと思いますか。(yes/no)

-ここ一週間での毎日の平均運動時間を教えてください。

今後運動量を増やす予定はありますか？もしある場合は目標とする一

楽鑑賞、買い物をする、テレビ・動画鑑賞、ボーっとする、好きなものを食べる、力ラ每運動・スポーツをする、その他)。

一自身の睡眠時間に坟するる充足感を教えてくだ゚さい。
- 朝食を食べていま注意（複数選択; 野菜を多くとる、食事の栄養バランス、食事の量・カロリー、脂肪分の取りすぎ、糖分の取りすぎ、食物繊維を多くそる境 (実家、類と暮らし塩分の取りすぎ

気がつくと思っていたより、長い時間インターネットをしていることがありますか。

ーインターネットをする時間を増やすために、家族での仕事や役割をおろ配偶者や友人と過ごすょりも、インターネットを選ぶことがありま

卞か゚ターネットで新しい仲間を作ることがありますか。

一インターネットをしている時間が長いと周りの人から文句を言われた

こインダムネットてている時間が長くて、学校の成績や学業に支障をき他にやらなければならないことがあっても、まず先に電子メールをチェツクすることがありますか。仕事の能率や成果が下がったことがありま霖加。

人にインターネットで何をしているのか聞かれたとき防御的になった

3、隠そうとしたことがどれくらいありますか。

是々の生活の心配事から心をそらすためにインターネットて心を静め

ることがありますか

とがありますが。をするときのことを考えている自分に気がつくこ

インターネットの無い生活は、退屈でむなしく、つまらないものだろう

と恐ろしく思うことがありますか。

り、怒ったり、大声を出した最中に誰かに邪磨をされると、いらいらしてた

一睡眠時間をけずって、深夜までインターネットをすることがありますか。

焦ジターネットをしていないときでもインターネットのことどかり考ますか。 インターネットをしているとき「あと数分だけ」と言っている自分に気インタニネットを卞る時間を減らそうとしても、できないことがありまインタ
秀が
インタ

イジターネットをしていた時間の長さを隠そうとすることがありま䜅が倠が外出するより、インターネットを選ぶことがありますか。

一インターネットをしていないと憂うつになったりいいらいらかたりして

も、再開すると嫌な気持ちが消えてしまうことがありますか。

一ここ一週間での每日の平均使用時間を教えてください。

一後イシターネット使用量を減らす予定はありますか？もしある場合

$\cdot$ (慈善事業 $の$ 参加者のみ)

金額を教えてください。

## 事後アンケート

・あなたの年齡を教えて下さい

最終学麻们教えて下

・玩在の学年につ有無につて教えて下さ教えて下さい(学生の場合)。

・あなたは今日対話を行ったシステムに対して、どのくらいポジティブな気持ち

・会詰をて通してどのように感じましたか?
- 以下の項目について、ERICA からどのょうな印象を受けましたか? 以下の項目こどの程度あてはまるか答えて下さい。

-発言に説得力があつた感じた

一あなたの行動を変えたいという意図が伝わった

一全体的に同意できる話だった

一あなたに圧力をかけようとした

-不誠実だった

・今のあなたの気分を次の 5 段階で評価してください

一誇り高い

一嶵悪感

一誇らしい

一感銘を受けた

・以下の項見に関しで、ERICAを次の 5 段階で評価してください。

一自信を持つている

一効率的である

一䂠的である゙る

善意がある

一信頼できる

システ允の対話を通して自身の（運動｜インターネットの使用量｜慈善事

・業)に関する関心は上がりましたか）運動｜インターネットの使用量 | 慈善事業参

加) 状涚をどのように感じていますがいと思いますか?

## 追跡調査

・実験旦の翌旦から一週間にかけて、(運動｜インターネット使用時間の削減 |


# 知識源との一対多関係を有する対話コーパスによる発話生成

金田龍平 ${ }^{1}$ 芳賀大地 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{18aj045, 18aj110\}@dendai.ac.jp
h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

End-to-end 発話生成において，発話文脈に加えて外部知識を活用することにより，知識を反映した発話を生成できることが知られている．外部知識に基づく発話生成モデルに用いられる学習コーパスとして，Wizard-of- wikipedia のような，知識を参照しながらユーザに対話させ，その際の発話と知識の対を収集する枠組みが提案されている。しかし，ある文脈において利用可能な知識は一意とは限らず，実際に利用された知識以外にも利用可能な知識は存在する可能性がある．本研究では，旅行代理店における客と店員の対話を題材として対話データを収集し，基準対話データセットとした. 基準対話データセットの一部に対し, 発話文脈から利用可能な外部知識にリンクを付与することで，マルチラベル対話デー タセットを構築した. その結果付与されたリンクの総数は，基準対話データセット 1 に対し，マルチラベル対話データセットが 5.8 であった。このようなマルチラベル対話データを知識選択モデルの評価に用いたところ，知識選択モデルの適切な評価には発話と知識が一対多となるデータセットが良いことがわかった. また，発話生成モデルの生成に用いたところ，多様で適切な応答が可能になることが示唆された.

## 1 はじめに

対話システムにおける発話生成には，対話履歴などの文脈情報に加えて外部知識を利用する手法が提案されている $[1,2,3]$. 発話生成部の学習は, 対話履歴, 知識情報, さらにそれらを利用して生成されるであろう後続発話からなるコーパスが必要になる.

そうした対話コーパスとして，児玉らによる映画推薦タスクにおける対話コーパスがある [4]. このコーパスでは，ある映画における監督名やキャスト名などの構造化された知識に加え，あらすじやレビュー情報といった構造化されていない知識も外部知識源として利用している。そして，これらの外部知識を用いた発話生成を行い，20 ターン以上の約 2,500 件からなる対話データが収集されている.

児玉らの作成したコーパスでは，発話に付与された知識ラベルは，その発話を生成するのに使われたものとして知識候補の中から一意に定まる。すなわち, 児玉らの作成したコーパスにおける発話と知識源の関係は，「先行発話と使用した知識」である。 しかし，先行発話に対する応答が固定されていなければ，利用可能な知識は複数存在するはずであり，「先行発話と利用可能な知識」の関係も利用可能になると期待できる。したがって，このようなコーパスを用いて，知識を選択するモデルを評価することは適切なラベルで評価していないことになる。また，利用可能な知識が少なければ，生成できる応答文の多様性も低下してしまう。

そこで，2021 年に開催された対話ロボットコンぺティション1)のタスクである旅行代理店対話に着目し，外部知識に基づく対話コーパスを作成した. このコーパスは，クラウドソーシングによって作成した基準対話データセット，応答文生成に利用可能な知識に着目して作成されたマルチラベル対話デー タセットなどによって構成される. 作成した旅行代理店対話コーパスの概要図と統計情報を, 図 1 と表 1 にそれぞれ示す.マルチラベル対話データを用いた実験の結果，知識選択モデルを適切に評価するには発話と知識が一対多の関係となる評価データが良いことと，このようなデータセットを用いることで，多様かつ適切な応答が可能になることが示唆された.

1) https://sites.google.com/view/crobotcompetition/home

図 1 旅行代理店対話コーパスの概略図

表 1 旅行代理店対話コーパスの統計情報

## 2 関連研究

まず，日本語の対話コーパスに関する研究として，稲葉らの旅行代理店対話コーパス [5] や田中らのユーザの曖昧な要求に対して適切な応答をするための対話コーパス [6] などがある。稲葉らは，旅行代理店勤務経験者 5 名と 7 歳〜 72 歳の男女 55 名による旅行代理店対話から、音声データやテキストデー タなどを収集した。田中らは，タスク指向型対話において，ユーザが曖昧な要求をしてきたとしても対応できるように，旅行案内のドメインで対話データを収集した。

また，外部知識を用いた対話データとして Wizardof-wikipedia [7]がある。これは， wikipediaを直接検索し，それによって得られた情報を用いて対話を行うことで外部知識と対話がセットになったデータセットを作成した. 質問分類タスクに関する研究として，情報検索（Information Retriever）の分野では， クエリと知識を入力とすることで分類問題を解く手法が提案されている [8]. この手法では，まず，知識候補をコーパス全体から BM25 [9] に従って数千程度に絞りこむ。そして，クエリと知識候補を入力としてクエリと知識候補の類似度を BERT に予測させることで，知識候補をリランキングし，最終的に回答生成モジュールに渡す知識を決定する。

## 3 旅行代理店対話コーパスの構築

図 2 知識情報の概要図

表 2 知識情報の統計情報量

## 3.1 基準対話データセット

クラウドソーシングを活用することで，東京と大阪の観光地 441 件を対象に，観光地に関する対話を合計で約 3,000 対話収集した．観光地には，事前に 12 種類の知識情報が与えられている。知識情報は，名称・概要・所在地・営業時間・アクセス・駐車場・料金・レビュー1～ 5 といった 12 のカテゴリで構成される. 名称・概要・所在地などの基礎情報はじゃらん ${ }^{2}$ からスクレイピングを行い，レビュー情報については Google Map $\mathrm{API}^{3}$ を用いて取得した. 概要図を図 2 に示し，統計情報は表 2 に示す. クラウドワーカー（以下，ワーカー）は，店員の発話と客の発話をそれぞれ 7 発話作成する（以下，店発話，客発話).このとき, 店発話には上記で示した知識情報をなるべく用いて発話を作成してもらった。また，使用できる知識情報源は最大で 2 つとし，相槌などの知識情報を使用しない発話には，知識を使用しなかったという意味で none ラベルを付与した.具体的な作業手順と作業画面は，付録 A.1，付録 A. 2 にて示す.

これらの作業手順に従い，1つの観光地に対して，複数人のワーカーが作成することで合計 2,971 対話収集することが出来た.

} & \multirow{5}{*}{} &  & 全国の隠れた名産品を扱っているんです。 \\

図 3 外部知識を用いて生成した応答文の一例

## 3.2 マルチラベル対話データセット

応答文生成に利用できる知識は，発話と知識が「先行発話と利用可能な知識」という関係においては,複数存在すると考えられる. しかし, 基準対話では，最大二つの知識を用いて応答文を作成している.したがって，ある発話に対して利用可能な知識は，最大二つまでとなってしまい，他の知識は利用できない知識ということになる。この利用できない知識は，本来「利用していない知識」であって 「利用できない知識」ではない. そこで，400 発話対 （店発話十客発話）を用いてアノテーションを行った. アノテーションの対象としたデータは，基準対話データセットから 400 発話対を抽出し，それぞれに知識を付与した形へ整えたものである．ラベルは，ある発話対から次の応答文を生成する際に，付与された知識が利用可能かどうかを意味する.

マルチラベル対話データセットを作成する際に，単に整合性が取れているかだけではなく以下の点にも着目してアノテーションを実施した.
- 機械が対象の知識を用いて適切な応答文に変換できるか
- 客発話が相槌のような場合は知識におすすめポイントが入っているか

・知識の内容がマイナスな内容ではないか

また，生成モデルに渡す知識情報が長くなると，モデルが知識情報を生成文に反映させることが難しくなると考え，概要とレビュー情報に関しては知識情

図 4 基準対話データセットとマルチラベル対話データセットそれぞれにおいて，12 種類の各知識源と関連付けられた発話例の総数.

報を句点で区切る処理を行った. この前処理を施したものに対してもアノテーションをしたが，本稿では発話と知識情報の関係性に着目しているため，詳細は付録 A. 3 にて述べる. アノテーションを実施した結果，利用可能な知識がどの程度増加したかを図 4 に示す. 基準対話データセットの分布とマルチラベル対話データセットの分布を比較すると，多くの知識源が利用可能であることが分かる. すなわち，基準対話データセットでは，正解となる知識以外は利用できない知識となってしまうが，実際は利用できる知識が多く含まれていることを示している.

## 4 実験

## 4.1 実験概要

対話システムでは，外部知識を用いた生成を行う場合に，知識候補から最適な知識を選択する必要があ

る.そこで, BERTを用いて利用可能な知識情報を選択し, Transformer ベースの大規模対話モデル（以下，hobbyist）で，知識情報を用いた応答生成を行う対話システムを構築した. BERT と hobbyist を学習する際に，基準対話データセットを用いた。また， hobbyist は，NTTコミュニケーションシステム基礎科学研究所が構築した [10].

本実験では，知識選択モデルの評価にマルチラベル対話データセットを利用した場合に，基準対話データセットと比較してどのように変化するか確認した. また, 先行発話に対する応答文を作成する際に, 利用した知識から利用可能な知識として用いることのできる知識数を増やすことで，文脈として正しくかつ多様性のある生成が可能であるかも確認した.

## 4.2 実験設定

Laboro 社の提供している日本語版 BERT の事前学習済みモデル4)を用いた． BERT に用いる学習データは，基準対話データセットから以下の手順に従って作成した。

1. 対話データから発話対と知識情報を時系列に抽出（ただし，知識を使用していない発話対は除く)

2. 時刻 $\mathrm{t}$ の店発話と客発話に，12 ある知識情報のうち 1つを結合

3. 店発話, 客発話, 知識情報の間にセパレーショントークン（[SEP]）を挿入

4. 正解ラベルは, 時刻 $\mathrm{t}+1$ の店発話作成に使用した知識情報であれば 0 を，そうでない知識情報であれば 1 を付与

また, 評価時には上記手順によって作成された学習データを 8:2:2 = train:validation:test と分割したものと, マルチラベル対話データセットから上記手順に従って評価データを作成し,これを $1: 1=$ validation:test となるように分割したものを用いた. 基準対話デー タセットから作成した test データをシングル test とし, マルチラベル対話データセットから作成した test データをマルチ test とする. 評価指標には正解率を用い，発話対に対して適切な知識を選択することが出来れば正解となる.

## 4.3 実験結果

まず，BERT を用いた知識選択の結果を示す. 学習したモデルの評価結果はシングル test が 0.46 , マルチ test が 0.90 であった. 本実験では，ある発話対に対して適切な知識を選択することが出来れば正解となる. したがって，マルチラベルであるマルチ test に対する精度がシングルラベルであるシングル test と比較して高いのは妥当である。

次に，シングル test とマルチ test の両方を用いて hobbyist による発話生成を行った. 生成文の一例を図 3 に示す.構築したマルチラベル対話データは人間が，利用可能であると判断したラベルが付与されている. 図 3 にあるように，人が利用可能と判断したものであっても, 生成モデルはすべて文脈として正しく，知識を反映した生成をしている結果となった.

## 4.4 考察

BERT の最適な知識選択において，正解率が 0.46 から 0.90 に上がったことから，シングル test で誤っていると判断された知識は，実際には利用できる知識であるということであり，既存手法における使用した知識という観点での最適な知識では過度に厳しい評価を行っていることが考えられる。また，実際に hobbyist が生成した発話文から, 複数の利用可能な知識を用いて発話を複数生成し，その中から適切な発話をリンランキングなどの処理によって最終的な発話を生成するような手法に, マルチラベル対話データセットのような複数の知識が可能であるデー タセットを用いることで, 多様かつ適切な発話が可能になることが考えられる.

## 5 おわりに

本稿では，発話対と知識源が一対一となる基準対話データセットを作成した. このデータセットを分析したところ，発話対と知識源の関係が，一対多が望ましいことが明らかになった. そこで，発話対と知識源が一対多となるマルチラベル対話データセットを作成し，これらを用いて実験を行った。実験では，BERTを用いた知識情報の選択と，hobbyistを用いた発話生成を行った. その結果, 発話対に対する知識源が複数存在データセットを用いることで, 多様で且つ文脈情報を考慮した発話生成が可能となることが示唆された.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受けた。

## 参考文献

[1] Pavlos Vougiouklis, Jonathon Hare, and Elena Simperl. A neural network approach for Knowledge-Driven response generation. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3370-3380, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[2] Sixing Wu, Minghui Wang, Dawei Zhang, Yang Zhou, Ying Li, and Zhonghai Wu. Knowledge-aware dialogue generation via hierarchical infobox accessing and infoboxdialogue interaction graph network. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, California, August 2021. International Joint Conferences on Artificial Intelligence Organization.

[3] Sixing Wu, Ying Li, Dawei Zhang, Yang Zhou, and Zhonghai Wu. TopicKA: Generating commonsense knowledgeaware dialogue responses towards the recommended topic fact. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, California, July 2020. International Joint Conferences on Artificial Intelligence Organization.

[4] 児玉貴志, 田中リベカ, 黒橋禎夫. 外部知識に基づく発話生成に向けた日本語映画推薦対話データセットの構築. 言語処理学会第 27 回年次大会, 2021 .

[5] 稲葉通将, 東中竜一郎, 千葉祐弥, 駒谷和範, 宮尾祐介, 長井隆行. 多様な年代の話者による旅行代理店タスク対話コーパスの収集と分析. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 192-197, 2021.

[6] 田中翔平, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧な要求と気の利いた応答を含む対話コーパスの収集と分類. 言語処理学会第 27 回年次大会, 2021.

[7] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[8] Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. arXiv [cs.IR], January 2019.

[9] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. September 2021.

## A 付録

## A. 1 対話収集の教示文

対話データ収集のために，ワーカーに示した作業手順と，注意事項を図 5 に示す.

1. 作業について

1.1人で店員と客の二役をこなして対話文を作文

2.「名称」〜「料金」の情報を確認.

3. 各7ターンの対話（店7発話, 客7発話の合計14発話）

4. 対象の観光地をどのような「観点」に沿ってお勧めするか選択.

5. 店員の発話は, 可能な限り与えられた情報を用いて作成.

6. 利用した知識は「利用知識」に記載し，最大で2つまで選択。

2. 注意事項

1. 対話中，客は1回は質問とそれに対する回答を行う。

2. 対話中, 店員は1回は客の興味や経験を尋ね，より客に合ったお勧めをできるようにする。

3. 店員の発話は, 自身の知識や別途検索した結果ではなく, 与えられた情報に基づいて発話を作成する。

4. 概要などの与えられた情報は，あくまで参考にしてコピーしない.

5. 発話数が7ターンになっているか確認する.

6. 観点を選択しているか確認する.

図 5 具体的な作業手順と注意事項

## A. 2 対話収集時の作業画面

対話コーパスを作成するにあたって，クラウドワーカーに依頼した作業ファイルを図 6 に示す。ワーカーは指示書に従って，該当の Excel ファイルに対して，記入する形とした。

図 6 実際の作業画面

## A. 3 文区切りを施したマルチラベル対話データセット

使用した知識情報は，本文で示した通り 12 種類存在する.しかし，概要やレビュー情報にはテキスト長がとても長いものが含まれる。深層学習モデルには，扱えるトークン長があり，発話対に対して知識情報が極端に長いと知識の選択においても，発話生成においても，偏った学習を行ってしまうことが考えられる。したがって，概要とレビュー情報に関しては，句点で文を区切り，区切った後の一文で一つの知識情報として扱った対話データも作成した。これにより，概要とレビュー情報の知識情報が約 1,200 件から約 3,200 件に増加した.