# 対話システムの矛盾応答の生成に対する脆弱性の分析

佐藤 志貴 1 赤間怜奈 ${ }^{1,2}$ 大内啓樹 2 鈴木潤 1,2 乾健太郎 1,2

1 東北大学 2 理化学研究所

\{shiki.sato, reina.a,jun.suzuki, inui\}@ecei.tohoku.ac.jp hiroki.ouchi@riken.jp
## 1 はじめに

人間と自然言語を用いて会話をおこなう対話シ ステムは，深層学習技術の発展を背景に研究が急速 に発展することとなった. 特に近年のニューラル ネットワークを用いたシステムは，文脈の話題に 沿った多様な応答を生成できることが知られている $[1,2,3]$. しかし，これらのシステムであっても，文脈との意味的な適切さを考慮した応答の生成が可能 であるとは言えない．たとえば，Roller らの構築し た大規模システム Blender[1] は，人手評価により従来のシステムを上回る性能を有することが示された ものの，低頻度ながら，対話上にすでに出現してい る情報の問い直しとなる応答や，過去の発話と矛盾 する応答を生成する場合があることが報告されてい る.こうした意味的に不適切な応答のなかでも，過去の発話と矛盾する応答（矛盾応答と呼ぶ）は，会話相手となるユーザに対話の破綻を感じさせること がわかっており [4], 先行研究でも分析や改良が取 り組まれている重要な問題の一つである $[5,6,7,8]$.

このような矛盾応答が生成される背景として, 本研究では，システムが応答生成時に対話文脈との一貫性に関して感度の低い生成確率を算出する，すな わち，算出される生成確率が矛盾の有無に対し鈍感 であることが原因の一つとなっている可能性を考え る. 実際に，矛盾の観点から，Blenderが一つの対話文脈に対し探索幅 100 のビーム探索法で生成した応答を観察すると，図 1 のように，矛盾応答と矛盾を 含まない応答（無矛盾応答と呼ぶ）が探索でのスコ ア上位 100 個の応答のなかに混在していることがわ かる.これは，システムが矛盾応答に対して低い生成確率を付与できていないために，探索時に矛盾応答が候補に残ってしまうためと考えられる.

本論文では，近年のシステムが実際にユーザとの 間で起こりうる会話のなかでも矛盾応答を生成する ことを示し (2 節)，そのうえで，これらシステムが

図 1 Blender[1] の探索幅 100 のビーム探索による応答生成結果. システムに無矛盾応答が"No."となる対話文脈を 与え，探索での上位 100 個の応答を取り出したうえで，各応答を"Yes"から始まる応答と"No"から始まる応答に分類した結果，矛盾応答と無矛盾応答の混在が確認された.

対話文脈との一貫性に対して感度の低い生成確率付与をおこなうことが矛盾応答の生成の原因となりう る可能性があることを実証する（3 節）。

## 2 システムの矛盾に対する脆弱性

Roller らは，Blender が人間との会話では矛盾応答 を高頻度で生成しない理由について，システムの学習データにあたる人間同士の会話中に矛盾が含まれ にくいことから，典型的な対話の流れのなかで学習 データをなぞった応答をするときには矛盾が表出し にくいためであると考察している [1]. こうした考察をふまえると，近年のシステムであっても，学習 データ中に含まれる対話の流れから外れた文脈のも とでは，矛盾応答を生成するという脆弱性を抱えて いる可能性がある．本節の実験では，システムのこ うした脆弱性について検証するために，矛盾応答が 生成されうる状況下においてはシステムが矛盾応答 を生成することを確認した。

## 2.1 実験方法

矛盾応答が生成されうる対話文脈を与えたときの システム応答を人手評価することで，システムが矛
表 1 自然言語推論データを用いた対話文脈作成の例

 & $\longrightarrow$ &  &  \\

盾応答を生成する頻度を調べる. 矛盾応答が生成さ れうる対話文脈については，Saleh ら [7] の方法を拡張し，自然言語推論タスクのデータセットを擬似的 な対話の形式に変換することで用意する．具体的に は，自然言語推論タスクの前提文をシステム側の一 つ目の発話（対話履歴），それに対する仮説文を対話履歴に対するユーザ側の応答（ユーザ発話）とし て，システムにユーザ発話への応答を生成させるよ うな対話文脈を作成する。このとき，自然言語推論 データの仮説文を一般疑問文に変換することで，仮説文が含意ラベルを持つ場合であれば否定を返す ことで矛盾する疑問文，矛盾ラベルを持つ場合であ れば肯定を返すことで矛盾する疑問文となる．表 1 に，自然言語推論データの例と，そこから仮説文を 変換することで作成した対話文脈の例を示す.この ように，自然言語推論のデータを変換することで，会話として不自然ではないかたちでシステムが矛盾応答を生成しうる対話文脈が作成できる。これを入力として生成される応答を評価することで，システ ムの矛盾に関する脆弱性を検証する。

## 2.2 実験設定

検証するシステムとその設定 本実験では，近年構築された高性能な対話システムのうち，モデルパ ラメータが公開されている Zhang ら [2] の DialoGPT と Blenderの 2 種類について検証をおこなった. 各 システムについてはパラメータ数が異なる複数のモ デルパラメータが公開されているため，合計 5 つの システムについて検証した1) . 応答生成時は，すべ てのシステムについて，ビーム幅を 10 とするビー ム探索をおこなった。

検証時の対話文脈対話文脈の作成元とする自然言語推論タスクデータとして，幅広いドメインを取 り扱う大規模かつ高品質なデータとして知られて いる Multi-Genre Natural Language Inference コーパス

1) DialoGPT はパラメータ数 $345 \mathrm{M}, 762 \mathrm{M}$ の 2 種類, Blender については 400M，1B，3B の 3 種類を検証した.表 2150 個の対話文脈に対し矛盾応答を生成した頻度. $\checkmark$ は適切な応答， $x$ は誤りを含む応答を表す.

[9]を用いた.このなかでも，オープンドメインで の会話データを扱っている"TELEPHONE"ドメイン のデータを用いた．仮説文が含意ラベル，矛盾ラベ ルを持つ自然言語推論データからそれぞれ 75 個ず つ，合計 150 個の対話文脈を作成した。

## 2.3 実験結果

表 2 に，各システムが与えられた 150 個の対話文脈に対して適切な応答と，誤りを含む応答，そのう ち矛盾が誤りの原因である応答を生成した頻度をそ れぞれ示す．同表から，検証した全システムが高頻度で矛盾を含む応答を生成したことがわかる。この ことから，人間との典型的な会話では矛盾応答を生成することが少ない近年の高性能なシステムであっ ても，対話文脈によっては矛盾応答を生成するとい う脆弱性を抱えていることが確認された。

## 3 応答生成確率の矛盾に対する感度

2 節の結果から，近年のシステムであっても文脈 によって矛盾応答を生成することがわかった。本節 の実験では，システムが文脈との一貫性に関し感度 の低い生成確率を算出することが，矛盾応答を生成 する原因となりうる可能性があることを確認した。

## 3.1 実験方法

図 1 では，システムが矛盾応答と無矛盾応答に対 し同程度の生成確率を割り当てることで，応答探索 のスコア上位にこれらの応答が混在してしまう例を 示した. このような場合，ビーム探索法における探
索幅の変更など，探索の方法の変化だけで，システ ムの 1-best が矛盾応答と無矛盾応答のどちらとなる か（極性と呼ぶ）が反転する可能性がある。逆に言 えば，探索方法の変化による極性の反転の発生は， システムが対話文脈との一貫性に関して感度の低い 生成確率を算出することを意味する．そこで本実験 では，ビーム探索法の探索幅の変化に伴うシステム 応答の極性の反転を観察することにより，現状のシ ステムが文脈との一貫性に関する感度の低い生成確率を算出することを示す。

## 3.2 実験設定

検証するシステムとその設定 本実験では，2 節 の実験で用いた DialoGPT，Blender の合計 5 つの システムについて，ビーム探索法の探索幅を， $\{1,5,10,15,20,25,30,35,40,45,50\}$ の 11 種類に変化 させたときの応答の変化を分析した.

検証時の対話文脈 分析の容易さの観点から，シ ステムに与える対話文脈は，肯定と否定のどちらか 一方が矛盾応答，他方が無矛盾応答となる 2 節と同様のものを用いた. これによって，応答が肯定と否定どちらに当たるかが分かればその極性が判定可能 となる. 仮説文が含意ラベル，矛盾ラベルを持つ自然言語推論データからそれぞれ 2,000 個ずつ, 合計 4,000 個の対話文脈を作成した。

生成応答の肯定・否定の判定 大量のシステム応答について肯定・否定を人手で判定するにはコスト がかかるため, 自動での判定をおこなった. 判定の 方法や精度については付録 A で詳述する。

極性反転の判定 本実験では，システムは一つの 対話文脈に対し, ビーム幅を変えながら複数の応答 を生成する. 対話文脈 $c$ に対しビーム幅 $i, j$ 間で極性反転が起きたときに 1 となる $\operatorname{inv}(c, i, j)$ を以下の ように定義する.

$
\operatorname{inv}(c, i, j)= \begin{cases}1, & \text { if } \operatorname{pn}(c, i) \cdot \operatorname{pn}(c, j)=1 \\ 0, & \text { otherwise }\end{cases}
$

ここで, $\mathrm{pn}(c, i)$ は対話文脈 $c$ に対するビーム幅 $i$ の 1-best 応答が肯定であれば 1 , 否定であれば -1 , 不明であれば 0 をとる. また，対話文脈集合 $\mathscr{~}$ 対 し, ビーム幅 $i, j(i<j)$ 間で極性反転が生じる頻度 は次式のようになる。

$
N_{\text {inv }}(i, j)=\sum_{c \in \mathscr{C}} \operatorname{inv}(c, i, j)
$

表 3 ビーム幅変化で極性反転が生じた対話文脈の数

図 2 各システムの極性反転のタイミングの分布

## 3.3 実験結果

極性反転の頻度ビーム幅の変化により極性反転が生じる頻度を確認する。本実験では，異なる ビーム幅のもと各対話文脈 $c$ に対し 11 個の応答を 各システムが生成する. 11 個のビーム幅のなかに $\operatorname{inv}(c, i, j)=1$ を満たす $i, j$ が存在する対話文脈を数 え，極性反転が生じた対話文脈の数を求めた．結果 を表 3 に示す. 同表より，各システムとも 1 割を超 える対話文脈で極性の反転が起きたことがわかる.極性反転により対話文脈との一貫性に関わるかたち で応答内容が正反対となることや，肯定・否定の自動判定ができない応答は $\mathrm{pn}(c, i)=0$ となることを考慮すると，この割合は高いと考えられる。このこと から，検証したシステムは，生成確率の算出におけ る対話文脈との一貫性に関する感度が低いために，極性の反転を頻繁に発生させることがわかった。

極性反転が生じるタイミング 表 3 で示した極性 の反転がどのビーム幅の変化のタイミングで生じた のかを確認するために， $N_{\text {inv }}(i, j)$ をグラフ化したも のを図 2 に示す. 同図より, 各システムともビーム 幅が小さいときに極性反転が頻繁に生じている一方 で，ビーム幅が 10 以上の値からさらに大きくなる 際にも極性の反転が起きていることがわかる.もと のビーム幅が十分大きい場合，更にビーム幅を大き くしたときに探索にもたらす影響は小さいことが考 えられる，そのため，こうした例では，矛盾応答と 無矛盾応答の生成確率が特に近い，すなわち対話文

図 3 ビーム幅と対話文脈に対し正しい極性の応答を生成できた割合の関係

脈との一貫性に関する感度が特に低く，わずかな探索の変化で極性が反転すると考えられる。

ビーム幅と極性の関係 極性反転が生じること で，実際に出力されるシステム応答がどのような影響を受けるかを分析する。図 3-a および図 3-bに， それぞれ含意，矛盾ラベルを有する自然言語推論 データから作成した対話文脈 2,000 個ずつに対し,無矛盾応答を生成した割合 ${ }^{2}$ とビーム幅の関係を 示す. また，図 3-c に実験で用いた全ての対話文脈 4,000 個に対し，無矛盾応答を生成した割合を示す.図 3-a および図 3-bでは，各システムともビーム幅 の変化に伴い無矛盾応答を生成する割合が変化して いる.このことから，システムが矛盾応答を生成す る対話文脈の傾向がビーム幅の影響を受けているこ とがわかる. この結果は, 特定のビーム幅のもとで 生成された応答を分析するだけでは, システムの矛盾応答の生成傾向を正確に分析できない可能性があ ることを示唆すると考えられる。また, 図 3-a と図 3-b の関係に注目したとき, 図 3-a で無矛盾応答, す なわち肯定にあたる応答を生成する割合が高い場合において図 3-bでも矛盾応答，すなわち肯定にあ たる応答を生成する割合が高くなっており，その逆 も成立している.このことから，システムが肯定，否定を生成する割合自体もビーム幅により変化し ていることがわかる．これによって，ビーム幅の変化に伴って肯定，否定が生成される割合が図 3-a と 図 3-b の場合で同様に変化し，一方で無矛盾応答の 割合が，他方で矛盾応答の割合が高くなる. その結果，肯定，否定を応答として返すべき対話文脈が同数ずつ含まれる図 3-c では，無矛盾応答を生成する 割合がビーム幅の変化に対し頑健であるように見え てしまう.この結果は，実験に用いる対話文脈集合

2）図 3-a においては肯定応答を生成した割合を, 図 3-bにおい ては否定応答を生成した割合を示す.ラベルが付与できない 応答は割合計算時の分母にカウントしない.
によってはシステム応答の矛盾に関する傾向を正確 に分析できない可能性があることを示唆していると 考えられる。

## 4 まとめ

本論文では，対話システムにおける重要な課題 の一つである矛盾応答に着目し分析をおこなった。我々の分析で得られた知見を改めて以下に示す.

・人間との対話による評価で矛盾応答が確認され ない対話システムであっても対話文脈によって は矛盾応答を生成する脆弱性を抱えている.

・現状のシステムは同じ文脈に対しても探索のゆ れで応答の極性が変化するなど，対話文脈との 一貫性に対し感度の低い生成確率を算出してお り，矛盾応答の原因となりうる可能性がある.

また 3 節の実験では，システムの矛盾応答について 分析するうえで注意すべき以下の示唆が得られた。

・システムが矛盾応答を生成する対話文脈の傾向 が応答の探索方法によって変化しうるため，特定の探索方法のもと生成された応答を分析する だけではシステムの矛盾応答の生成に関する振 る舞いを正確に分析できない可能性がある.

・肯定，否定の割合などシステム応答自体の傾向 も探索方法の影響を受けるため，入力に用いる 対話文脈の傾向によっては正確なシステム分析 ができない可能性がある.

本研究では対話文脈の発話数やユーザ発話の発話行為を限定したうえでの分析をおこなったが，将来的 にはより多様な対話文脈のもとで生成される応答 や，ユーザとの会話のなかで生成される応答に含ま れる矛盾についても分析することを検討している。

謝辞 本研究は, JSPS 科研費 JP19H04425, JP19J21913 の助成を受けたものである.

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. arXiv:2004.13637, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, $\mathrm{pp}$. 270-278, Online, July 2020. Association for Computational Linguistics.

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. arXiv:2001.09977, 2020

[4] 東中竜一郎, 船越孝太郎. Project next nlp 対話タスク：雑談対話データの収集と対話破綻アノテーションお よびその類型化. 言語・音声理解と対話処理研究会,第 72 巻, pp. 45-50, 2014.

[5] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, Y-Lan Boureau, Kyunghyun Cho, and Jason Weston. Don't say that! making inconsistent dialogue unlikely with unlikelihood training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 47154728, Online, July 2020. Association for Computational Linguistics.

[7] Abdelrhman Saleh, Tovly Deutsch, Stephen Casper, Yonatan Belinkov, and Stuart Shieber. Probing neural dialog models for conversational understanding. In Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI, pp. 132-143, Online, July 2020. Association for Computational Linguistics.

[8] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

## A 応答極性の自動判定方法

3 節の実験において，大量のシステム応答に対し肯定・否定かどうかを人手で判定するにはコストがかか るため, 自動での判定をおこなった. 図 1 の例ではモデルの応答が"Yes", "No"で始まる応答はそれぞれ肯定，否定として判定したが，これらの単語から始まらない応答を多く生成するシステムも存在したため，本実験では肯定文，否定文の冒頭に出現する文頭フレーズを収集したうえで，これらのフレーズから始まる応答をそれぞれ肯定, 否定として判定した. 文頭フレーズは, 本実験において生成される応答から収集した.具体的には，生成される全 220,000 個の応答の文頭からフレーズ3)を取り出していき，100 回以上登場するフ レーズについては，「肯定」，「否定」，「どちらともとれない」のいずれかに分類した. "Yes"または"No"で発話が始まるかで応答を分類したとき，ラベルを付与できたのは生成される全応答のうち $28.3 \%$ にとどまった 一方，前述の方法により $39.1 \%$ の応答にラベルを付与することができた. また，2 節の実験で人手評価をし た応答に対して同様に自動ラベリングをおこなったところ，自動ラベリングに成功した応答のうち $92.7 \%$ は 人手ラベルと判断が一致し，"Yes"，"No"で発話が始まるかどうかでラベル付与したときの $92.4 \%$ と同程度の 精度となった.

3）各発話について，「,」または「.」を区切り文字として分割したときの一つ目の単語列を文頭フレーズとした.
 佐藤 志貴 1 赤間怜奈 ${ }^{1,2}$ 大内啓樹 2 鈴木潤 1,2 乾健太郎 1,2  1 東北大学 2 理化学研究所  \{shiki.sato, reina.a,jun.suzuki, inui\}@ecei.tohoku.ac.jp hiroki.ouchi@riken.jp 