# 対話システムの先読み能力を分析可能なタスクの検討

岸波洋介 ${ }^{1}$ 赤間怜奈 ${ }^{1,2}$ 佐藤志貴 1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp,
\{reina.a, shiki.sato, jun.suzuki, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

深層ニューラルネットワークを用いた自然言語文生成技術の進歩と膨大な対話データの存在に支え られ，ニューラル対話応答生成技術は着実に発展を 遂げてきた。近年のニューラル対話応答生成では，対話が持つ時系列データとしての特質を利用し，応答の直前の発話に加えて過去の文脈も考慮するこ とで，生成応答の関連性や一貫性を向上させるアプ ローチが主流となっている $[1,2,3,4]$.

ここで，人間同士の対話を考えてみると，人間の ある時点での発話は，当然ながら過去の文脈に大き く依存するが，それだけではなく，この先で起こり うる或いは自らが望む未来の展開に動機付けられる 場合もしばしばある.未来の展開を考慮することが 重要な対話の例として，交涉や説得などが挙げられ る。他にも，たとえば雑談における意図的な話題の 転換などもこれに含まれると考えられる．未来の展開を先読みし現在の発話に活かすことは，能動的に 対話を進行させるための重要な要素のひとつであ り，これは円滑なコミュニケーションの実現に繋が る. ニューラル対話応答生成の研究領域でも, 未来 の展開を考慮した応答生成に関する議論が始まりつ つあり $[5,6]$ ，この観点は対話応答生成技術のさら なる発展に繋がると考えられる。

本研究では，対話応答生成システムが備える未来 の展開を先読みする能力および能動的に対話を進行 する能力を測定するためのタスクを提案する．提案 タスクは，パーティーゲームのひとつ「NGワード ゲーム」に類似し，未来の展開の正確な予測とそれ に基づく効果的な対話のプランニングがタスク達成 の鍵となる。本タスクへの取り組みにより，システ ムの先読み能力および対話進行能力が醭成されるこ とを狙う．実験では，人間同士でタスクを実施した 場合の結果の分析を通して，提案タスクが人間には 達成できる難易度であること，および，システム側

図 1 提案する「先読み雑談タスク」の概要.

の先読み能力が分析可能であることを確かめる.

## 2 関連研究

説得・交渉対話システム 対話における先読み が有効な場面として，交涉や説得が挙げられる。 Lewis らは交渉対話タスクを設計し，人間同士の対話データを収集することにより，交涉対話システム を End-to-End で学習可能であることを示した [7]. また，Yoshino らは感情表現を含む説得対話コーパ スを作成し，感情を表現しながら説得をおこなうシ ステムを構築した [8]. 説得や交涉を実現する対話 システムの研究は多数存在するが，先読み能力を利用することについての議論はなされていない。

未来の展開を考慮した対話システム Jiang らは タスク指向対話システムにおいて，未来に続く発話 を予測する Looking-Ahead モジュールを構築し，そ れを用いて直後の応答を生成することで効率的な夕 スクの遂行を実現した [5]. また，Kulicov らは，生成モデルで広く用いられる Beam Searchを発話レべ ルで考えることで，対話として適切な発話系列を選 ぶ Multi-Turn Beam Search という手法を提案した [6].

## 3 提案: 先読み雑談タスク

対話システムの先読み能力を分析可能にすること を目的として，我々は「先読み雑談タスク」を提案

する（図 1)。提案タスクは，システムと人間の 1 対 1 の対話を通じて，システムの先読み能力と能動的 な対話進行能力を測定する枠組みとなっている. タ スクに参加するシステムと人間は，それぞれ異なる ゴール感のもとで，決められたターン数 $N$ の対話を おこなう.ここで， $i$ ターン目のシステムの発話を $U_{i}^{\text {sys }}$, 人間の発話を $U_{i}^{\text {hum }}$ とすると, 1 タスク内でお こなわれる対話は $U_{1}^{\text {sys }}, U_{1}^{\text {hum }}, \ldots, U_{N}^{\text {sys }}, U_{N}^{\text {hum }}$ の発話系列で構成される。

・システム側のゴール: システムには，予め 1 ターン目の発話 $U_{1}^{\mathrm{sys}}$ とターゲット単語 $w$ のぺ ア $\left(U_{1}^{\mathrm{sys}}, w\right)$ が与えられる. システムは $U_{1}^{\mathrm{sys}}$ か ら対話を開始し， $N$ ターン以内に人間からター ゲット単語 $w$ を含む発話を引き出すことを目指

ステム側のタスク達成とする。
- 人間側のゴール: 人間には，システムと $N$ ター ンの対話を楽しむようにとだけ伝える。このと き，人間はシステム側のゴールを知らない.

システムがタスクを達成するためには, 自然な対話 のなかで人間にターゲット単語を含む発話をさせる よう望ましい対話の展開を計画し，その展開になる よう対話を進めることが重要である。そのため，本 タスクを通じてシステムの挙動を分析することに より，システムの先読み能力を調査することができ る.また，本タスクの特長として，タスクの達成判定が「ターゲット単語を含む発話をしたかどうか」 という明確な基準に基づくため, 戦略の考察, 達成判定が容易という利点がある. この特長により，た とえば，もっとも単純には同条件下での「タスク達成率」という定量的な尺度のもとで, 複数システム の比較評価をおこなうことも可能となる.

## 4 実験

提案タスクがシステム側の先読み能力の分析に有効な設計となっていることを，人間同士による実際 のタスク実施結果を分析することにより確かめる.

## 4.1 準備: データ作成

本研究では, 日常的な雑談対話における先読み能力の分析を想定する. タスクが適切な難易度となる よう，予めシステムに与える 1 ターン目の発話 $U_{1}^{\text {sys }}$ とターゲット単語 $w$ のペアを作成する. なお, 我々 が目指す適切な難易度とは, 人間は達成可能だが,現在のシステムは苦戦する程度を想定している。

1 ターン目の発話 日常的な雑談対話における自然な話題として, 本研究では日本語 Wikipedia のカ テゴリを参考に「食べ物」「スポーツ」の2つを選定 した.これらの話題について，それぞれ 1 種類ずつ 1 ターン目の発話を用意した. 既存の英語雑談対話 コーパス DailyDialog [9] の1 ターン目の発話を参考 に，話題が食べ物の場合は「お腹が空きましたね。」 を，話題がスポーツの場合は「週末は何をして過ご しますか？」を，本実験における1ターン目の発話 として用いた.

ターゲット単語 本実験では，(1) 品詞:\{名詞, 形容詞 $\} \times(2)$ 出現頻度:\{大, 小 $\}$ の 2 軸 4 パターンでター ゲット単語を用意し，タスクの難易度に与える影響 を調査する。ターゲット単語は，日本語ツイート 約 2.8 億発話からなる対話データ上で出現頻度が 10,000 以上を満たす単語のなかから選定した. 名詞 については，少なくとも適切な対話戦略のもでは夕 スクが達成可能であることを担保するために，日本語 WordNet [10] を利用して食べ物とスポーツにそれ ぞれ関連する単語を選択した. ${ }^{1)}$ 形容詞については,単語感情極性対応表 [11]を利用し，ポジティブまた はネガティブの極性を持つ単語をそれぞれ選択し た. ${ }^{2}$ それぞれの品詞について，上記に該当する単語のうち出現頻度が最大あるいは最小の 2 つの単語 を, 最終的なターゲット単語として獲得した。

ターン数 ターン数 $N=5$ とした. ターン数はタ スクの難易度に影響することが予想されるため，実験結果の分析により適切なターン数を考察する。

以上の手順により，本実験では表 1 に示す合計 12 設定を「先読み雑談タスク」として用意した.

## 4.2 実験: 人間-人間の先読み雑談タスク

実施方法 学生 2 名がペアとなり，システム側と 人間側を交互に担当した.1 ペアあたり設定の異な る 12 タスクを実施し，最終的に 10 ペアから合計 120 対話を収集した. また，各対話が終了するごと に参加者はアンケートに回答した．システム側は 「タスクを楽しむことができたか」「タスクは簡単 だったか」，人間側は「対話を楽しむことができた か」「システム側の発言は自然だったか」について， それぞれ 5 を最高点とした 5 段階で回答した. シス


(a) 達成ターン数（全体）

(a-1) 達成ターン数 (名詞)

(a-2) 達成ターン数 (形容詞)

(b) 対話の自然さ

図 2 タスクの難易度に関する調査結果. (a) はシステムがタスクの達成に要した対話ターン数の分布. (a-1,2) は ターゲット単語の品詞別の同分布. (b) は「システム側の発言は自然だったか」に対する人間側の回答.

テム側には，成功・失敗した理由等を記入する自由記述闌も用意した.

結果 各設定における達成率を，表 1 に示す。な お，本実験では，達成判定に際して，ターゲット単語の本質的でない表記の摇れ（漢字か平仮名か, 形容詞の語尾の活用など）は許容した。

分析 1: ターゲット単語の品詞と難易度 表 1 か ら，ターゲット単語が名詞の設定では，達成率が 80\%（32/40）であった. つまり，人間にとっては達成可能な設定であるといえる. 一方，ターゲット単語が形容詞の設定では，達成率が $32.5 \% （ 26 / 80 ）$ で あった. 特定の形容詞を含む発話を引き出すことは 人間にも難易度が高いタスクであった. タスクを達成できなかった参加者からは，「あと数ターンあれ ば達成できた」という意見もあった。

分析 2: ターゲット単語の出現頻度と難易度 表 1 から，ターゲット単語が名詞の場合，出現頻度によ る達成率の変化はほとんど見られなかった（出現頻度大:15/20, 出現頻度小:17/20）ことから, 出現頻度 が難易度に与える影響は少ないと考えられる。ただ し，本実験では対話データ上の出現頻度 10,000 以上 の単語からターゲット単語を選定したため，閾値を さらに下げることによって難易度が上がる可能性は 残る。一方, ターゲット単語が形容詞の場合, 出現頻度小で達成率が 20\%（8/40）であった. 形容詞か つ出現頻度の小さい単語を含む発話を引き出すこと は人間にとっても特に難しい設定であるといえる. この設定でタスクをおこなう場合は，難易度調整の ためのさらなる工夫が必要となる.

分析 3: ターン数 システム側がタスクの達成に 要した対話ターン数の分布を図 2 (a) に示す. 全体 としては，タスクを達成した対話のうち $80 \%$ 以上 が 2〜4 ターンで達成していることがわかる. ター ゲット単語の品詞別に見ても，概ね傾向に大きな差 はない（図 $2(\mathrm{a}-1),(\mathrm{a}-2)$ ). 本実験における $N=5$ と いう設定は, 妥当な難易度であったことが示唆さ表 1 人間-人間による「先読み雑談タスク」の実施結果. +/-は単語の極性（ポジティブルネガティブ）を表す.

} & \multirow{2}{*}{ 名詞 } & 頻度大「パン」 & $8 / 10$ \\

れる。

分析 4: 自然に対話しながら達成できる設計 「シ ステム側の発言は自然だったか」に関する人間側の 評価結果を図 2 (b) に示す. 全体の $80 \%$ 以上が自然 な対話と評価された（評価点 4 または 5 を獲得）. タスク内でおこなわれた対話を定性的に観察したと ころ， $U_{1}^{\mathrm{sys}}$ の直後に人間が偶然ターゲット単語を発話してしまった例が一つ存在したが，「〜と言いな さい」など強制的にターゲット単語を発話させるこ とで不正にタスクを達成する例はなく，自然な対話 の枠組み内での試行錯誤がおこなわれていた。

分析 5: タスク達成のための戦略 収集した対話 を分析した結果，タスクを達成するための特徴的な 戦略が存在した.これは，システムの先読み能力の 実現に向けた重要な知見となる。ひとつは，表 2 の ように，システム側が自らターゲット単語を発話す ることでターゲット単語が話題となるような対話に 誘導し，人間側から相槌的にターゲット単語を引き 出すという戦略である。この例では $U_{4}^{\mathrm{sys}}$ で「牛肉」 を含む発話をおこなうことで，ターゲット単語であ る「牛肉」を引き出している．Den らが分類した相槌の形態 [12] のひとつに「繰り返し」というものが
存在するが，これを引き出すような戦略に近いと考 えられる。

もうひとつは，表 3 のように，システム側がター ゲット単語に関連するような発話をすることで人間側からターゲット単語を引き出すという戦略であ る.この例では $U_{2}^{\text {sys }}$ で「太る」という単語を発話す ることで，ターゲット単語である「運動」を引き出 している.

いずれの戦略でも，過去の文脈だけでなく，未来 に人間側がどのような発話をするかまで考慮するこ とが必須で，さらにシステム側にとって望ましい展開に対話を進める技術も必要となる。 以上より，本 タスクは，システム側が望ましい対話の展開を計画 し，その展開になるように対話を進めることに成功 すれば達成可能な設計になっていることが示唆さ れる。

分析 6: タスク失敗例 失敗した対話例を表 4 に

「パン」ではなく，「食べる量」に着目されてしま い，ターゲット単語を引き出すことに失敗した.こ れは，人間側が，システム側が望まない箇所に着目 し，対話がシステム側にとって望ましい展開から逸 れてしまったため達成できなかったと考えられる。 この例のように一度システム側が望ましい対話の展開から逸れてしまうと，ターン数の制約もあり，タ スクの達成が難しくなる。

これらの分析結果は対話システムの先読み能力を 実現する，つまり対話システムで提案タスクを達成 するために重要な知見であると考えられるが，実際 にどのようにシステムに取り入れるかについては今後の課題としたい.

## 5 おわりに

本研究では，対話システムの先読み能力および能動的に対話を進行する能力を測定するための「先読 み雑談タスク」を提案した．実際に人間同士でタス クを実施した結果，提案タスクが人間にとって妥当 な難易度であることを確認し，システム側の先読み 能力の分析に有効であることが示唆された.

今後の取り組みとして, 未来の展開を考慮できる ような対話システムについて考え，実際に提案タス クをシステムと人間とで実施することを通して，先読み能力の実現を目指すことを考えている。表 2 達成した対話例 1 （ターゲット単語「牛肉」）

表 3 達成した対話例 2（ターゲット単語「運動」）

$U_{1}^{\mathrm{sys}}:$ 週末は何をして過ごしますか？

$U_{1}^{\text {hum }}:$ 家で過ごしたり，外で買い物をしたりします。

$U_{2}^{\text {sys }}$ : あまり家で過ごしていると太ってしまいますね。

$U_{2}^{\text {hum }}:$ そうですね。運動しないといけないです・・

$U_{3}^{\mathrm{sys}}:$ 運動するとしたらどんなことをしますか？

$U_{3}^{\text {hum }}:$ ランニングとかですかね。

$U_{4}^{\mathrm{sys}}$ : 良いですね。どのくらいの距離を走るのですか?

$U_{4}^{\text {hum }}$ : あまり長いと飽きちゃうので、 4 キロくらい走りま す。

$U_{5}^{\text {sys }}$ : なるほど、継続できる様に頑張ってください。

$U_{5}^{\text {hum }}$ :ありがとうございます!

表 4 失敗した対話例（ターゲット単語「パン」）

$U_{1}^{\text {sys }}:$ お腹が空きましたね。

$U_{1}^{\mathrm{hum}}:$ 実は先ほど夕飯を食べました。

$U_{2}^{\mathrm{sys}}$ : 私も先ほどパンを食べたのですが、今かなりお腹が 空いています。

$U_{3}^{\text {sys }}:$ はい、かなり多くて、先ほどは食パンを 3 切れも食 べてしまいました。

$U_{3}^{\text {hum }}$ :それは多いですね。この後は何を食べるか決まって いますか？

$U_{4}^{\mathrm{sys}}$ : 近くにおいしいパン屋さんがあるので、そこでパン を買ってこようかと思っています。この後、一緒に パンを食べませんか。

$U_{5}^{\text {sys }}$ : 何か食べたいパンはありますか？

$U_{5}^{\text {hum }}:$ 僕はクロワッサンが食べたいです。

## 謝辞

本研究はの一部は，JSPS 科研費 JP19H04162 の助成を受けたものです.また，本研究で提案したタス クの実施にご協力いただいた東北大学乾研究室・松林研究室の皆様に感謝いたします。

## 参考文献

[1] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 196-205, 2015.

[2] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-To-end dialogue systems using generative hierarchical neural network models. In Proceedings of the 30st AAAI Conference on Artificial Intelligence (AAAI), pp. 3776-3784, 2016.

[3] Daniel Adiwardana, Minh Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. In arXiv preprint arXiv:2001.09977, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In aiXiv preprint arXiv:2004.13637, 2020.

[5] Zhuoxuan Jiang, Xian Ling Mao, Ziming Huang, Jie Ma, and Shaochun Li. Towards end-to-end learning for efficient dialogue agent by modeling looking-ahead ability. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL), pp. 133-142, 2019.

[6] Ilia Kulikov, Jason Lee, and Kyunghyun Cho. Multiturn beam search for neural dialogue modeling. In arXiv preprint arXiv:1906.00141, 2019.

[7] Mike Lewis, Denis Yarats, Yann N. Dauphin, Devi Parikh, and Dhruv Batra. Deal or no deal? End-to-end learning for negotiation dialogues. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2443-2453, 2017.

[8] Koichiro Yoshino, Yoko Ishikawa, Masahiro Mizukami, Yu Suzuki, Sakti Sakriani, and Satoshi Nakamura. Dialogue scenario collection of persuasive dialogue with emotional expressions via crowdsourcing. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), 2018.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (IJCNLP), pp. 986-995, 2017.

[10] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (in conjunction with ACL-IJCNLP), pp. 1-8, 2009.

[11] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌, Vol. 47, No. 02, pp. 627-637, 2006.

[12] Yasuharu Den, Nao Yoshida, Katsuya Takanashi, and
Hanae Koiso. Annotation of japanese response tokens and preliminary analysis on their distribution in three-party conversations. In Proceedings of the 2011 International Conference on Speech Database and Assessments (Oriental COCOSDA), pp. 168-173, 2011.

## A アンケート集計結果の詳細

「タスクを楽しむことができたか」「タスクは簡単 だったか」「対話を楽しむことができたか」のそれぞ れに関するの評価結果を図 3 , 図 4 , 図 5 に示す.

図3「タスクを楽しむことができたか」に対するシステ ム側の回答

図4「タスクは簡単だったか」に対するシステム側の 回答

図 5 「対話を楽しむことができたか」に対する人間側の 回答

## B タスク所要時間と満足度

1 回のタスクの所要時間と「対話を楽しむことが できたか」の評価結果との関係を図 6 に示す. 図 6 から，対話にかかる時間が短いほど満足度が高いこ とがわかる.

図 6 タスク所要時間と人間側の満足度の関係

## C その他の対話例

ターゲット単語が形容詞である場合の対話例を 表 5 に示す.この例では, 視力に関する話題で対話 を進行することで，目が「悪い」を引き出している.

表 5 達成した対話例 3（ターゲット単語「悪い」）

$U_{1}^{\text {hum }}$ : 特に何かしている記憶が無いほど、ゆっくり過ごし

ています。強いて言えば勉強とスマホのゲームです かね。

$U_{2}^{\text {sys }}$ : 僕と似ていますね。ですが、僕は主にこの二つで目 が悪くなったような気がしているので、最近は気を つけています。

$U_{2}^{\text {hum }}$ :そうなんですね。私も気をつけなければいけません ね。

$U_{3}^{\mathrm{sys}}$ : まだ視力がある感じの返答ですね。もしそうなら羡 ましい限りです。

$U_{3}^{\text {hum }}$ : 片目は自動車の免許がとれるくらいの視力が残って います。もう片方は一般的な一番上の C が見えるか ギリギリなので、これ以上悪化させたくないです。

$U_{4}^{\text {sys }}$ : 大事にした方が良いですよ。目が悪くて良かったと 思えることに僕はほとんど心当たりがありません。 ちなみに親御さんは眼鏡かけてますか？

$U_{4}^{\text {hum }}$ 父はとても目が悪いのでいつも眼鏡をかけていま す。母の視力自称 2.0 は娘から自慢したいです。

$U_{5}^{\text {sys }}$ : 視力は遺伝すると思っていたのですが、それにして もお母さんすごいですね。胸を張って自慢できるこ とだと思います。

$U_{5}^{\text {hum }}$ : 父と母から片方ずつ遺伝したと思うことにしている ので幸せです。
 岸波洋介 ${ }^{1}$ 赤間怜奈 ${ }^{1,2}$ 佐藤志貴 1 鈴木潤 1,2 乾健太郎 1,2 1 東北大学 2 理化学研究所 yosuke.kishinami.q8@dc.tohoku.ac.jp, \{reina.a, shiki.sato, jun.suzuki, inui\}@ecei.tohoku.ac.jp  