# 大規模因果関係テキストを用いた反論生成手法

鎌倉 まな ${ }^{1,2}$ 飯田 龍 ${ }^{1,2}$ 呉 鍾勲 ${ }^{1}$ 田仲 正弘 ${ }^{1}$
Julien Kloetzer ${ }^{1}$ 淺尾 仁彦 ${ }^{1}$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人 情報通信研究機構 (NICT)
データ駆動知能システム研究センター (DIRECT)
2 奈良先端科学技術大学院大学 先端科学技術研究科
\{kamana, ryu.iida, rovellia,mtnk, julien, asao, torisawa\}@nict.go.jp

## 概要

議論は他者と意見交換を行い意思決定を行う 重要な手段であり、ユーザと議論する対話システ ム $[1,2,3]$ が研究されてきたが、データ構築の困難 さにより適用できる議論は限定的であった。本研究 では、ブレインストーミングが可能な音声対話シス テムの実現を目指し、Webから 7.9 億件の大規模な 因果関係を表すテキストを、テキスト中の省略を補完しつつ収集し、それを活用することで、ユーザの 多様な主張に反論を出力する手法を提案する。ま た、提案手法が出力した反論を人手で評価した結果 を報告し、今後対処すべき課題について論じる。

## 1 はじめに

議論は日常生活と社会生活において、他者との間 でそれぞれの意見を交換し、集団内でより良い意思決定を行うため重要な手段である。特に、他者の意見に対して反論することで、集団による不適切な意思決定を回避したり、より精密な意思決定を行うこ とが可能になる。例えば、ある人が「リニアが奈良 を通ったらいいよね」と言ったとき、他の人が「で も、リニアが奈良を通ると京都の経済力が落ちるか もしれないよ」と、潜在的リスクを挙げて反論を行 えば、より適切な意見、意思決定につながることが 期待できる。本研究では、Walton [4] が論証スキー ムの一つとして挙げた、ネガティブな帰結からの論証 (Argument from Negative Consequences、ANC) 「も し Aを実行すると、Bが起きる。B は悪い結果であ る。ゆえに、Aを実行すべきでない」をべースとし、大量の Web データから反論となるテキストを見つ け出す手法を開発した。上述のリニアに関する反論 は、Aを「奈良にリニアを通す」、Bを「京都の経済力が落ちる」とすれば、まさにこの ANC の典型例
と言える。反論となるテキスト候補としては、Web から抽出した因果関係知識（例えば、原因文「奈良 にリニアを通す」、帰結文「京都の経済力が落ちる」 のように、因果関係を持つ原因文、帰結文の対）を 7.9 億件用いており、多岐にわたる話題に関して反論テキストを発見することが可能である。

NICT DIRECT では、現在、雑談対話システム WEKDA [5] や介護支援用対話システム MICSUS ${ }^{1 \text { ) }}$ $[6,7]$ の開発を行なっている。これらのシステムは Web 情報を用いて雑談を行うが、本研究で開発した 手法は、そうした雑談に反論を導入し、多様な意思決定に関するブレインストーミングを可能にし、こ れらの対話システムの適用範囲をより広げる狙いが ある。

提案手法では、ユーザの主張が入力されると、因果関係知識のデータベースから、BERT ベースのモ デルを複数個使い、ユーザの主張を含意する／に含意される原因文を持つ因果関係で、帰結文がなんら かのトラブルを表しているものを反論として発見す る。手法の評価のため、「リニアが奈良を通る」のよ うな何らかの出来事、行為、施策を表す主張を 500 件作成し、そのうち提案手法が反論候補を出力でき た 452 件について、著者以外の 3 人の作業者の多数決で、それらの反論候補が本当に反論として成立す るかどうか判定した。各々の主張に対して、トラブ ル認識のスコアの最上位の出力が反論として成立し た割合は $50.0 \% 、 3$ 位まで出力した場合、そのうち のどれかが反論として成立した割合は $79.0 \%$ であっ た。この精度は高くはないが、反論生成に特化した データを使っていない初の試みとしてはまずまずの

1）けいはんな $\mathrm{R \& D} フ ェ ア 2021 「$ 高齢者介護支援マル チモーダル音声対話システム MICSUS」https://keihannafair.jp/exhibition/ai/899、YouTube NICTchannel「高齢者向け マルチモーダル音声対話システム“MICSUS”」 https://www.youtube.com/watch?v=gCUrC3f9-Go
結果であると考えている。本論文の最後で、誤りの 原因も分析し、今後の改善策についても言及する。

## 2 関連研究

これまでもユーザと議論する手法がいくつか研究されてきた。Sakai ら $[8,9]$ は、約 2 千件の主張や 根拠を表す文を支持・不支持関係で結びつけた論証構造を手動で作成し、論証構造に基づいてユーザと 議論する対話システムを提案した。また、Reddit 等 のオンラインディベートフォーラムのデータを用 いて、議論のためのテキストを発見したり、生成し たりする研究もある $[2,10,11]$ 。これらの研究の課題は、まず、議論可能なトピックや反論がディベー トフォーラムのデータや人手で作成したデータに よって強く制約されてしまうことである。また、テ キスト生成を行う手法では、根拠のない議論を行っ てしまう可能性がある。加えて、英語ではディベー トフォーラムが盛んであり、中には支持・不支持等 のタグづけがユーザによってなされているものもあ る一方、日本語ではそこまでデータが集まっておら ず、日本語を対象とするシステムでの活用は難しい という問題がある。一方、我々の手法では、対象が 反論に限定されてはいるが、ディベートフォーラム であるか否かを問わず、非常に大量の Webぺージか ら取得した因果関係テキストを使うため、極めて広範な話題に関して反論を出力でき、また、反論は実際に誰かが Webに書いたテキストを元にしている ため、全く根拠のない反論が出力されるリスクはき わめて小さく、優位性があるものと考えている。

## 3 反論を出力するアルゴリズム

提案手法は、ユーザの主張を表す入力文に対して 反論を出力するが、 4 節で述べる大規模な因果関係 に関する知識ベースと、入力文に関して知識ベース を検索した結果をフィルタリングするための各種分類モデル (4 節で述べる含意等認識器、トラブル 認識器）を利用する。因果関係に関する知識べース は、原因と帰結のぺアがそれぞれ文の形式で（例え ば、原因文「これから導入されるマイナンバーは、国だけではなく、一般企業も給与の支払いなどで 使用する」と帰結文「マイナンバーで情報漏えい が起きるリスクが高い」のように）保持している。 Hashimoto らの研究 [12] と異なり、原因文、帰結文 にはそれぞれ名詞 1 個、述語 1 個といった制限はな く、任意の形態の文が含まれる。手続きとしては、入力文に含まれる内容語 (「プロ野球に FA 制度がある」の「プロ野球」や 「FA 制度」）を原因文に含む因果関係を、Lucene を用いて検索し、次に得ら れた原因文・帰結文ぺアの各々に関して、含意等認識器、トラブル認識器を適用し、1) 入力文と含意 （含意の方向は問わない）もしくは等価であると分類された原因文と 2) トラブルを含むと分類された 帰結文からなるぺアのみを選択し、その帰結文を反論として出力する。なお、評価ではトラブル認識器 の分類スコアが最も高い帰結文を最大で 3 個出力し た。なお、後述するように含意等認識器、トラブル 分類器ともに、BERT ベースの二値分類器であり、入力が含意等の性質を持つ確率を分類スコアとして 出力しているが、その確率が 0.5 を上回るものをそ の性質を持つ入力であるとみなした。本手法が出力 した反論の例を表 1 に示す。

## 4 因果関係獲得と含意等文間関係・ トラブル認識処理

3 節のアルゴリズムで利用する知識の獲得は下記 の手順で行う。まず、Webから収集した 7 文からな るテキストパッセージと、そのパッセージに Oh ら [13] の CRFベースの因果関係抽出手法を適用して得 られる因果関係の候補を表すテキストの原因部分と 帰結部分の単語列を入力とし、さらに高精度な因果関係を抽出するため、BERTで重ねて分類を行った。 この BERT モデルの学習のためにアノテータ 3 名の 多数決を実施し、学習用、開発用、評価用データと して、それぞれ 127,240 事例、20,937 事例、20,954 事例を得た。実際には、呉らの因果関係をさらに、解決法、「〜が起きると、〜の可能性が高くなる」等 いくつかのタイプの因果関係に再分類しており、上記学習データはそれらの再分類された因果関係の タイプに関するアノテーションを含んでいるが、本研究では、先述の「可能性が高くなる」因果関係の みを利用するので他の詳細は割愛する。NICT が収集した大規模 Web テキスト 350GB で事前学習した $\mathrm{BERT}_{\text {large }}$ でファインチューニング2) した結果、評価用データに関する上述の「可能性が高くなる」因果関係に関する自動分類の性能は平均精度で $91.7 \%$ と なった。

上述の手法で抽出された因果関係は、ゼロ照応等 による省略が含まれており、原因文、帰結文それぞ れを単独で読んでも意味が通らないことが多い。こ

表 1 入力と反論の例

のため、省略等が補完され原因文、帰結文それぞれ の単体を読んで内容が理解できるような形式で整形された原因と帰結の文の対を生成する課題を設計し、その処理に必要な判定、生成の学習・評価用 データを作成した。先述の BERT 学習用データの原因部分、帰結部分に各事例 1 名のアノテータが元 パッセージからの省略等の補完や文の整形などを 行う編集作業を実施した。また、省略が補完された 原因文、帰結文アノテーション学習用、開発用、評価用データの件数はそれぞれ他の関係と合わせて 113,486 事例、17,216 事例、17,364 事例である3)。こ れをもちいて、上述の $\mathrm{BERT}_{\text {large }}$ をべースとして、さ らに事前学習を行った Transformer Encoder-Decoder モデルをファインチューニングして生成器を作成 し、この性能は評価データの ROUGE- $1 \mathrm{~F}$ 值で 80.0 \%である。これらの因果関係判定器、生成器を Web 約 200 億ページから得た約 35 億パッセージに適用 し、「可能性が高くなる」関係に関しては約 7.9 億件 の知識を獲得した。

また、含意の認識処理についても、類似する文対 をヒューリスティックに獲得し、それらに対して意味的に等価、含意（含意の方向性として、2つの可能性があるので、2 種類の関係)、(本研究では使用 していないが）矛盾の４つの関係をアノテーション した。 5 万件の事例に対し 3 名のアノテータが独立 に判定を行い、多数決でラベルを決定した。この事例を学習用、開発用、評価用データとして 35,000 事例、5,000 事例、 10,000 事例に分割し、上記の関係判別と同様に $\mathrm{BERT}_{\text {large }}$ をファインチューニングし て実験を行った。この結果、等価、含意 (2 種類)、矛盾の判定性能は評価データの平均精度でそれぞ

3）上述の因果関係の判定アノテーションでは複数の因果関係 のタイプに関して判定を行うため 1 事例に対して複数の正例 が得られる場合もあるが、生成のアノテーションではその個別の正例を 1 事例としてアノテーションを行っているため、上記の判定の事例数とはアノテーションの件数が異なってい る。
れ $88.0 \% 、 87.6 \% 、 88.8 \% 、 55.4 \%$ という結果を得て いる。

また、トラブル認識のためにも学習・評価用デー タを作成した。この作成時には、負担・トラブル表現リスト ${ }^{4 ）}[14]$ と活性・不活性辞書 [15] を組み合わ せ、「結核を患う」のようなトラブル名詞と活性述語テンプレートの組み合わせ、また、「出生率が低下する」のような非トラブル名詞と不活性述語テン プレートの組み合わせをトラブル認識の対象となる 核表現とし、その核表現を含む文をその前後文とと もに Web 文書から 4 万件サンプリングした。 3 名の アノテータが文中の核表現がトラブルを表す内容と して記述されているかを判定し、多数決でラベルを 決定した。ただし、3節で述べた提案手法では帰結文全体を入力してトラブルを含むか否かを判定する 必要があるため、核表現に対するアノテーション結果をその核表現が含まれる文に対するアノテーショ ン結果とみなして学習・評価に利用した ${ }^{5}$ )。上述の 4 万事例を学習用、開発用、評価用としてそれぞれ 28,000 事例、4,000 事例、8,000 事例に分割し、上記 の BERT $_{\text {large }}$ でファインチューニングを行った。こ の結果得られた分類器の性能は、評価用の平均精度 で約 $91.0 \%$ である。

## 5 実験

対話システムにユーザが話しかけるとき「マイナ ンバーで役所の手続きが簡単になるといいね」「小学校でプログラミングが必修になるんだって」のよ うにユーザの主張が明示されないか、間接的な言い 方で示されることが想定される。ここでは問題を単純化するために、「マイナンバーを導入する」「小学校でプログラミングを必修にする」のように、ユー

表 2 評価用主張文 500 件に対する反論候補の評価結果

ザ発話中の出来事を取り出し、賛成と反対の両方の 立場が仮定できるシンプルな主張に書き換え、ユー ザが主張に「賛成」「そう願っている」と仮定する。以下では書き換え後の文をユーザの主張として扱 い、提案手法が出力した反論候補が反論として成立 するかどうか評価する。

より具体的には、雑談のための入力発話として、任意のトピックに関してアノテータが作成したユー ザ入力発話の中から、賛成と反対の両方の立場が仮定できるシンプルな主張に書き換え可能なものを 著者の一人が選び、上記のようにシンプルな主張へ の書き換えを行い、ユーザの主張文とした。ユー ザの主張は、開発用、評価用としてそれぞれ 50 事例、500 事例を用意した。提案手法の適用に際して は、含意等認識を適用する因果関係の候補として、 Lucene の検索結果上位 5,000 件を利用した。また、反論候補が複数得られた場合にはトラブル認識の分類スコアが最も高い反論候補を最大 3 つ出力するこ ととした。評価としては、主張文と反論候補の組を 提示し、主張文の内容に対して「賛成」「そう願う」「よい選択だ」のような立場をある人がとったと仮定した場合に、反論候補がその人に対する反論とな るかどうかを、3名の作業者がそれぞれ独立に判定 し、多数決でラベルを決定する。

## 5.1 実験結果

入力となる主張文、開発用 50 事例、評価用 500 事例のうち、反論が出力できたのはそれぞれ 41 事例、 452 事例であった。評価様主張文の人手評価結果を 表 2 に示す。トラブル認識の分類スコアスコア最上位の反論候補が反論になると判定された場合 (P@1) が $50.0 \%$ 、トラブル認識の分類スコア 3 位までの反論候補に、反論になると判定されたものが含まれる 割合(P@3) が 79.0\%となった。Fleiss の $\kappa$ 値は 0.605 であった。特に分類スコア最上位の場合は高精度と は言えないが、特に反論生成に特化した学習データ を作成していないことを考えると、まずまずの結果 であると考えている。

誤りの原因を探るため、評価用データに対して出力された反論について、トラブル認識の分類が最大 の反論候補のうち、反論ではないと判定された事例表 3 反論として成立しなかった要因（合計 100 件）

の中から 100 件サンプリングし、反論が成り立たな い要因を分析した。その要因の分類と事例数を付録表 3 に示す。主な要因は因果関係が迂遠で分かりづ らいことであった。例えば、主張「ホームドアを設置する」に対する反論「事故が起きる可能性があ る」では、「ホームドアが設置されている駅とされ ていない駅が混在することで視覚障害者が混乱し てしまい事故につながる」といった説明があれば反論として成立すると考えられる。また、含意等判定器、因果関係判定器、生成器にも改善の余地がある ことがわかる。今後は、反論に特化した学習データ を作成するとともに、こうした課題に対処していく 予定である。

## 6 おわりに

本論文では、ユーザのブレインストーミングを助 けより良い意思決定を支援する手法の開発を目指 し、因果関係知識を大規模に獲得し、ユーザに対し て帰結に問題を含む因果関係を用いて、反論として 出力する手法を提案した。提案手法による反論は情報源が Web であるため、信頼性に難があったり意見が偏っていたりするものもあり得るが、今後は、 DISAANA [16] 等のデマ検出技術で培ったテキスト 間の矛盾検知技術 [17] 等も活用し、よりバランスの 取れた反論や、因果関係 [12] の連鎖による推論等 も用いてよりクリエイティブな反論や、ユーザや文脈により適合した反論を提供することを目指す。加 えて、深層学習自動並列化ミドルウェア RaNNC[18] を用いて事前学習したより巨大な言語モデルや、そ もそもアーキテクチャの異なる言語モデル、例えば [19] も用いてさらなる高精度化を図る。また、反論 だけではなく、支持のような議論の他の構成要素も 同様の手法で出力が可能だと考えており、これらも 用いて多様な意思決定に関するブレインストーミン グを可能にする対話システムの実現を目指す。

## 参考文献

[1] Ryuichiro Higashinaka, Kazuki Sakai, Hiroaki Sugiyama, Hiromi Narimatsu, Tsunehiro Arimoto, Kiyoaki Matsui, Takaaki Fukutomi, Yusuke Ijima, Hiroaki Ito, Shoko Araki, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Yoshihiro Matsuo. Argumentative dialogue system based on argumentation structures. In Proceedings of the 21st Workshop on the Semantics and Pragmatics of Dialogue, 2017.

[2] Dieu Thu Le, Cam-Tu Nguyen, and Kim Anh Nguyen. Dave the debater: a retrieval-based and generative argumentative dialogue agent. In Proceedings of the 5th Workshop on Argument Mining, pp. 121-130, 2018.

[3] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy BarHaim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, Liat Ein-Dor, Roni Friedman-Melamed, Assaf Gavron, Ariel Gera, Martin Gleize, Shai Gretz, Dan Gutfreund, Alon Halfon, Daniel Hershcovich, Ron Hoory, Yufang Hou, Shay Hummel, Michal Jacovi, Charles Jochim, Yoav Kantor, Yoav Katz, David Konopnicki, Zvi Kons, Lili Kotlerman, Dalia Krieger, Dan Lahav, Tamar Lavee, Ran Levy, Naftali Liberman, Yosi Mass, Amir Menczel, Shachar Mirkin, Guy Moshkowich, Shila Ofek-Koifman, Matan Orbach, Ella Rabinovich, Ruty Rinott, Slava Shechtman, Dafna Sheinwald, Eyal Shnarch, Ilya Shnayderman, Aya Soffer, Artem Spector, Benjamin Sznajder, Assaf Toledo, Orith Toledo-Ronen, Elad Venezian, and Ranit Aharonov. An autonomous debating system. Nature, Vol. 591, No. 7850, pp. 379-384, 2021.

[4] Douglas Walton, Chris Reed, and Fabrizio Macagno. Argumentation Schemes. Cambridge University Press, 2008.

[5] 水野淳太, クロエツェージュリアン, 田仲正弘, 飯田龍, 吳鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源とする質問応答システム を用いた博学対話システム. 人工知能学会第 84 回言語・音声理解と対話処理研究会, pp. 135-142, 2018.

[6] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 653-661, 2020.

[7] 淺尾仁彦, 水野淳太, 呉鍾勲, Julien Kloetzer, 大竹清敬, 福原裕一, 鎌倉まな, 緒形桂, 鳥澤健太郎. 介護支援対話システムのための意味解釈モジュール. 言語処理学会 発表論文集, 2022.

[8] Kazuki Sakai, Akari Inago, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Creating large-scale argumentation structures for dialogue systems. In Proceedings of the 11th International Conference on Language Resources and Evaluation, 2018.

[9] Kazuki Sakai, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Hierarchical argumentation structure for persuasive argumentative dialogue generation. IEICE Transactions on Information and Systems, Vol. E103.D, No. 2, pp. 424-434, 2020.

[10] Xinyu Hua, Zhe Hu, and Lu Wang. Argument generation with retrieval, planning, and realization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2661-2672, 2019.

[11] Khalid Al Khatib, Lukas Trautner, Henning Wachsmuth, Yufang Hou, and Benno Stein. Employing argumentation knowledge graphs for neural argument generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4744-4754, 2021.

[12] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 987-997, 2014.

[13] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 1733-1743, 2013.

[14] Stijn De Saeger, Kentaro Torisawa, and Jun'ichi Kazama. Looking for trouble. In Proceedings of the 22nd International Conference on Computational Linguistics, $\mathrm{pp}$. 185-192, 2008.

[15] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, 2012.

[16] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016: System Demonstrations, pp. 263-267, 2016.

[17] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, 2013.

[18] 田仲正弘, 田浦健次朗, 塙敏博, 鳥澤健太郎. 自動並列化深層学習ミドルウェア RaNNC. 自然言語処理, Vol. 28, No. 4, pp. 1299-1306, 2021.

[19] Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, and Kentaro Torisawa. BERTAC: Enhancing transformer-based language models with adversarially pretrained convolutional neural networks. In Proceedings of the 59th ACL and the 11th IJCNLP, pp. 2103-2115, 2021.


# 後処理ネットワークを用いた強化学習によるタスク指向型対話 システムの最適化

大橋厚元 ${ }^{1}$ 東中竜一郎 1
1 名古屋大学大学院 情報学研究科
ohashi.atsumoto@g.mbox.nagoya-u.ac.jp, higashinaka@i.nagoya-u.ac.jp

## 概要

典型的なタスク指向型対話システムは，複数のモ ジュールが連結したパイプライン型の構成となって いる. 近年では，このパイプライン型システムの対話タスク能力を向上させるため，システムを構成す る複数のモジュールを同時に学習することでシステ 么全体を最適化する手法が多く提案されている。し かしこれら手法では，各モジュールが学習可能な手法で実装されていなければならない。本研究では，強化学習を用い，各モジュールの実装手法に依存せ ずにパイプライン型システム全体を同時に最適化で きる後処理ネットワークを用いた手法を提案する。

## 1 はじめに

タスク指向型対話システムは複数のモジュー ルが連なって構成されるパイプライン型システ ムと End-to-End 型システムの 2 つに分類される $[1,2]$. 典型的なパイプライン型システムは，言語理解 (Natural Language Understanding; NLU), 状態更新 (Dialogue State Tracking; DST), 行動決定 (Policy),言語生成（Natural Language Generation; NLG）とい う 4 つのモジュールで構成され [1], 各モジュール は人手で作成したルールによる手法（ルールベー ス手法）やニューラルネットワークを用いた手法 （ニューラルベース手法）など，任意の手法で実装 することができる， パイプライン型システムは， シ ステム内部の各モジュールの入出力が明確である ので，開発者がシステムを解釈しやすいという利点 がある。しかし，各モジュールが順番に処理される ため，先行するモジュールのエラーが後続するモ ジュールに伝播しやすく，結果として対話タスク能力が低下してしまうという欠点がある.

そこで，パイプライン型システムを構成する複数 のモジュールを同時に学習することでシステム全体
を End-to-End に最適化する手法が多く提案されてい る $[3,4,5,6]$. しかしこれらの手法は，ニューラル ベース手法による学習可能なモジュールでシステム が構成されていることを前提としている. したがっ て，ルールベース手法や Web API 等を用いて実装さ れた学習不可能なモジュールを使用したい場面で は，これら手法は適用することができない.

このような背景から, 本研究ではシステムに含ま れるモジュールがどのような手法で実装されていた としても，システム全体を最適化できる後処理ネッ トワークを用いた手法を提案する。本手法では，シ ステムを構成する各モジュールの出力を後処理する ネットワーク（Post-processing Networks; PPN）を用意する. 各 PPN は，後処理として各モジュールの出力を修正し，システム全体のパイプライン処理を円滑にする。各 PPN の後処理は，強化学習を用いて夕 スク達成などの対話タスク能力を向上できるように 学習される。実際に学習されるのは各 PPN である ため，各モジュール自身が学習可能である必要はな い. MultiWOZ データセット [7] に基づいて実装さ れた複数のパイプライン型システムに PPN を適用 し，本手法の有効性を確認した。

## 2 提案手法

本手法の目的は，PPNの後処理によって各モ ジュールの出力を修正することで，システム全体の 対話性能を向上させることである. 図 1 は，複数の モジュール ( Module A $_{\mathrm{A}} \sim$ Module $_{\mathrm{N}}$ ) からなるパイプラ イン型システムに PPNを適用した際の全体像を示 している.

## 2.1 後処理アルゴリズム

図 1 を用いて, $\mathrm{PPN}_{\mathrm{I}}$ がターン $t$ における Module $\mathrm{I}_{\mathrm{I}}$ の出力 $o_{I}^{t}$ を後処理するアルゴリズムを説明する.

まず，一般的なパイプライン型システムと同様

図 1 PPNを適用したパイプライン型システムのアーキテクチャ. 各 PPN は対象とするモジュールの出力 $o$ を，全モ ジュールの状態 $s_{A l l}$ を考慮しながら後処理する.

に, Module は先行する Module H $_{\mathrm{H}}$ の出力を受け取 り，自身の処理結果 $o_{I}^{t}$ を出力する．またこのとき， Module $_{\text {I }}$ が自身の状態に関する補足的な情報（例え ば， $o_{I}^{t}$ の信頼度スコア）を出力できる場合はそれ を状態べクトル $s_{I}$ として出力する. そしてこれを 用いて，全モジュールの状態ベクトルを結合した $s_{A l l}^{t}=\left[s_{A}^{t} ; \ldots ; s_{I}^{t} ; s_{J}^{t-1} ; \ldots ; s_{N}^{t-1}\right]$ を作成する.

次に， oot ${ }_{I}^{t} \mathrm{PPN}_{\mathrm{I}}$ に入力する. $\mathrm{PPN}_{\mathrm{I}}$ 内では, InAdapter ${ }_{I}$ が $o_{I}^{t}$ のバイナリベクトル表現 $v_{I}^{t}$ を作成 する. $v_{I}^{t}$ の次元数は Module $\mathrm{I}_{\mathrm{I}}$ の出力語彙数であり,各バイナリは Module $_{\text {I }}$ の各出力語彙が $o_{I}^{t}$ に含ま れているか否か」を 1 か 0 で表す. InAdapter $I_{I}$ は， Module $_{\text {I }}$ に定義されている出力語彙セットに基づい て人手で作成する.

ここまでで作成された $v_{I}^{t}$ と $s_{A l l}^{t}$ を結合し, 多層 パーセプトロン $\mathrm{MLP}_{\mathrm{I}}$ に入力する. $\mathrm{MLP}_{\mathrm{I}}$ は $v_{I}^{t}$ と同 じ次元数のバイナリベクトル $v_{I}^{\prime t}$ を出力する. この 時点での $v^{t}$ と $v^{t}$ の変化分が $\mathrm{PPN}_{\mathrm{I}}$ による後処理と なる. 最後に OutAdapter $I_{I} よ っ て, v_{I}^{\prime t}$ の中で 1 と なっている要素が Module I の出力語彙に復元され,最終的な PPN の出力 $o_{I}^{t}$ が作成される. OutAdapter ${ }_{I}$ も InAdapter $I_{I}$ と同様に, Module I $^{2}$ に定義されている 出力語彙セットに基づいて人手で作成する.

## 2.2 強化学習による最適化

本研究では対話シミュレーションを用い，システ ムに含まれる各 PPN の MLP を方策ネットワークと して強化学習を行う. 強化学習で用いる報酬として は，対話タスクの達成に関するものを人手による ルールで設計する. 強化学習アルゴリズムとして は，方策べースの手法であり学習の安定性も高い という理由から, Proximal Policy Optimization (PPO) [8] を用いた. 以下は, PPO に基づいた PPN の学習 ループ 1 回分の手順である. この学習ループは事前 に決められた回数繰り返す。

1. ユーザシミュレータを用いて対話をシミュレー
ションする．対話における各ターン $t$ では，各 PPN が後処理を行い，そこで得られる $s_{A l l}^{t}, v^{t}$, $v^{\prime t}$ ，報酬 $r^{t}$ からなるタプルを行動履歴として 蓄積する. 対話シミュレーションは行動履歴が 事前に決められた量（ホライゾンと呼ぶ）に達 するまで繰り返す。

2. PPN 選択戦略（後述）に基づいて，今回の学習 ループで更新する PPNを選択する。

3. ステップ 1 で得られた行動履歴を用い，事前 に決められたエポック数だけ PPO アルゴリズ ムに基づいて，ステップ 2 で選択した PPN の MLPを更新する.

PPN 選択戦略とは，各学習ループで更新する PPN を選択するためのルールである. システムに 2 つ以上の PPN が含まれる場合，どの PPNをどの順番で 更新するべきかは自明ではない，そこで本研究では ALL（各学習ループで，必ずすべての PPN を選択す る)，RANDOM（各学習ループで，1つ以上の PPNを ランダムに選択する), ROTATION (学習ループごと に，PPNを 1 つずつ順繰りに選択する）の 3 種類を 用意し，最も有効な戦略を実験的に調査する。

## 3 実験

## 3.1 データセットとプラットフォーム

本研究では, MultiWOZデータセット [7] に基づい て実装されたモジュールを用いて複数の異なる対話 システムを構成し, 各システムに PPNを適用するこ とで，本手法の有効性を検証する．MultiWOZ は旅行サポートサービスを行う店員と顧客とのタスク指向型対話コーパスであり， 10,438 対話が含まれる.

実験では，タスク指向型対話システム用プラット フォームである ConvLab2 [9]を用いる. ConvLab2 では，MultiWOZに基づいて実装された各モジュー ルやユーザシミュレータ [10]を用いた対話システム 評価ツール等が提供されている.

図 2 強化学習における PPN 選択戦略ごとの各評価尺度の推移

## 3.2 評価尺度

各対話におけるタスク評価には，ConvLab2 で利用可能であり, 先行研究 $[11,12,13]$ でも一般的に 使用されている，Turn（対話に要したターン数）， Inform F1（ユーザが要求した情報に過不足なく答え たか)，Match Rate（ユーザの条件に合ったエンティ ティ1)を提示したか)，Task Success (20 ターン以内に Inform Recall と Match Rate が同時に 1 になった か）の４つの尺度を用いる。なお本実験では，ユー ザ発話とそれに対するシステムの応答 1 回を 1 ター ンとして定義する. システムの評価時には公正な比較を行うため，異なる 5 種類のランダムシードで 1,000 対話ずつシミュレーションし，その平均スコ アを用いる。

## 3.3 システム構成

本研究では，Takanobu ら [14] の実験に倣い，パイ プライン型システムの一般的なモジュール構成であ る，NLU，DST, Policy, NLGの 4 モジュールから なるシステムを用意する. 各モジュールとしては， ConvLab2 で実装されているモデル2)の中から，古典的なルールベース手法（学習不可能なモデル）と最新のニューラルベース手法（学習可能なモデル）の 両方を含むように選択した. なお，学習可能なモデ ルであってもそのモデル自体は学習せず PPN のみ を学習する. 以下で，モジュール別に，今回利用す るモデルを説明する。

NLU BERT[15] NLU モデルを使用する. 本モデ ルは BERT による埋め込み表現を用い，ユーザ発話文中の各単語が表す意図をクラス分類する [16].

 &  &  & Turn \\
& 64.2 & $\mathbf{7 1 . 9}$ & 76.6 & 9.20 \\

RANDOM & 60.4 & 70.5 & 73.2 & 9.10 \\

DSTRule DST と TRADE [17] の 2 モデルを使用 する. Rule DST は NLU が推定したスロットを用 いて対話状態を更新するモデルであり，更新ルー ルは人手によるルールで作成されている。一方で TRADE はニューラルベース手法のモデルであり， システムとユーザの発話履歴を大力として，対話状態を直接生成する.

Policy Rule Policy, MLE Policy, PPO [8] Policy, LaRL [18]の 4 モデルを使用する. Rule Policy は人手で作成されたルールに従って行動を決定するモデ ルである. MLE Policy は MultiWOZ データセットに おける店員の行動を模倣するように教師あり学習さ れたニューラルベースモデルである. PPO Policy は MLE Policy をべースに PPO アルゴリズム [8] によっ てタスク達成に最適化するように fine-tune されたモ デルである．LaRL は対話状態を元にシステムの発話文を直接生成する RNN ベースのモデルである.

NLG Template NLG と SCLSTM [19] の 2 モデル を使用する。Template NLG は，人手で事前に用意 されている発話テンプレート文の集合から, Policy が出力した行動に合うものを選択する手法である. SCLSTM はRNN ベースのモデルであり, Policy が 出力した行動に合ったシステム発話文を生成する.

## 3.4 結果

本研究では，まずどの PPN 選択戦略が最も有効で あるかを調査し，次に PPNが任意のシステムに適用可能であるかを調査した.
表 2 各システムにおけるモデルの組み合わせと PPN 適用前後での評価尺度の比較

## 3.4.1 PPN 選択戦略の比較

図 2 と表 1 は各 PPN 選択戦略を用いてシステム を学習した場合の学習推移と最終スコアをそれぞ れ示している.なおこの実験では BERT NLU，Rule DST，MLE Policy，Template NLG の組み合わせで構成したシステムに PPNを適用した。このシステム を用いた理由は，PPN 適用前の Task Success が 50\%前後（図 2 左図参照）であるため PPN の適用による 影響がわかりやすく，また MLE Policy はしばしば 強化学習の初期重みとして用いられる [11,12]ため,本研究における初期モデルとして合理的だと考えら れるからである. 結果から，いずれの PPN 選択戦略であっても PPNが有効であることが確認できる. なお，ALL はほかの 2 種類に比べ早く最高スコアに 到達するが，それ以降では学習が不安定になること が分かる。一方 RANDOM と ROTATION は学習が 安定しており, 特に RANDOM は最終的に全 3 種類中最高スコアを達成している.

## 3.4.2 モデルの組み合わせによる影響

表 2 は複数のモデル（3.3 節参照）を用いて実装し た 6 種類のシステムの構成と PPN 適用前後での評価尺度を示している. PPN 選択戦略としては，3.4.1 節の結果から RANDOMを用いた. 表 2 から，ほと んどのシステムにおいて，PPNを適用することに よってその対話タスク能力が改善することがわか る. 一方で特に SYS-RUL など, Rule Policy が含ま れるシステムについては改善が見られない場合も確認できる. Rule Policy は人手ルールによって入念に 作りこまれており元から精度が高いモデルである. したがって, 特に Policy に改善の余地がある場合に PPNによる改善が見込めると考えられる。

## 4 関連研究

本研究は，モジュール構造をとるシステムを End-to-End で最適化するニューラルベース手法と関連している. Lei ら [20] はDST と NLGに相当する 2 つの decoder を sequence-to-sequence モデル [21] に導入した手法を提案している. さらに Policy や NLU に相当する decoder によって Lei らのモデルを拡張 した手法も提案されている $[4,22]$. しかし, これら 手法は End-to-End モデルを教師あり学習により最適化しており，対話全体の教師データ必要とする点が 本研究とは異なる。

本研究は，強化学習によるパイプライン型システ 么の性能向上を目的としている. Liu ら [5] は模倣学習を組み合わせることで，Policyを実ユーザに最適化させる手法を提案している。 また，システム内 の各モジュールを同時に fine-tune するすることで， システム全体の対話能力やエラーに対するロバスト 性を向上させる手法 $[23,24,6]$ が多く提案されてい る.これら手法は，ニューラルベース手法で実装さ れた各モジュールを強化学習によって直接学習する ため，学習不可能なモジュールを含むシステムには 適用できない。一方で本研究で提案する手法は，任意のパイプライン型システムに適用可能である.

## 5 おわりに

本研究では後処理ネットワークと強化学習を用 い，各モジュールの実装手法に依存せずにパイプラ イン型対話システム全体を同時に最適化できる手法 を提案した. MultiWOZ と ConvLab2 における実験 から，多様なモデルで構成された複数のシステムに 対して本手法が有効であることを確認した。

## 謝辞

本研究は科研費「モジュール連動に基づく対話シ ステム基盤技術の構築」（課題番号 19H05692）の支援を受けた。

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. ACM SIGKDD Explorations Newsletter, 19(2):25-35, 2017.

[2] Zheng Zhang, Ryuichi Takanobu, Qi Zhu, MinLie Huang, and XiaoYan Zhu. Recent advances and challenges in task-oriented dialog systems. Science China Technological Sciences, pages $1-17,2020$.

[3] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 438-449, April 2017.

[4] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 9604-9611, Apr. 2020.

[5] Bing Liu, Gokhan Tür, Dilek Hakkani-Tür, Pararth Shah, and Larry Heck. Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 20602069, June 2018

[6] Zichuan Lin, Jing Huang, Bowen Zhou, Xiaodong He, and Tengyu Ma. Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System. arXiv preprint arXiv:2106.04835, 2021.

[7] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 5016-5026, October-November 2018.

[8] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 142-149, July 2020.

[10] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-Based User Simulation for Bootstrapping a POMDP Dialogue System. In Proceedings of Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pages 149-152, April 2007.

[11] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided Dialog Policy Learning: Reward Estimation for Multi-Domain TaskOriented Dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 100-110, November 2019.

[12] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao.
Guided Dialogue Policy Learning without Adversarial Learning in the Loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 2308-2317, November 2020.

[13] Zhengxu Hou, Bang Liu, Ruihui Zhao, Zijing Ou, Yafei Liu, Xi Chen, and Yefeng Zheng. Imperfect also Deserves Reward: Multi-Level and Sequential Reward Modeling for Better Dialog Management. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2993-3001, June 2021.

[14] Ryuichi Takanobu, Qi Zhu, Jinchao Li, Baolin Peng, Jianfeng Gao, and Minlie Huang. Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 297-310, July 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, June 2019.

[16] Qian Chen, Zhu Zhuo, and Wen Wang. Bert for joint intent classification and slot filling. arXiv preprint arXiv:1902.10909, 2019.

[17] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 808-819, July 2019.

[18] Tiancheng Zhao, Kaige Xie, and Maxine Eskenazi. Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1208-1218, June 2019.

[19] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1711-1721, September 2015

[20] Wenqiang Lei, Xisen Jin, Min-Yen Kan, Zhaochun Ren, Xiangnan He, and Dawei Yin. Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1437-1447, July 2018.

[21] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proceedings of Advances in neural information processing systems, pages 3104 3112, 2014 .

[22] Weixin Liang, Youzhi Tian, Chengcai Chen, and Zhou Yu. MOSS: End-to-End Dialog System Framework with Modular Supervision. Proceedings of the AAAI Conference on Artificial Intelligence, 34(05):8327-8335, Apr. 2020.

[23] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. End-to-End Task-Completion Neural Dialogue Systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 733-743, November 2017

[24] Hwaran Lee, Seokhwan Jo, Hyungjun Kim, Sangkeun Jung, and Tae-Yoon Kim. SUMBT+LaRL: Effective Multi-Domain Endto-End Neural Task-Oriented Dialog System. IEEE Access, 9:116133-116146, 2021


# 応答の生成・評価・選択による対話システム

榮田亮真 河原大輔
早稲田大学理工学術院
s.ryoma6317@akane.waseda.jp dkw@waseda.jp

## 概要

本論文では、人間から良い評価が得られる応答を 生成する対話システムを目指し、応答評価モデルを 対話システムに取り入れることを提案する。提案す るシステムは、応答生成モデルが複数生成した応答 を応答評価モデルで評価し、最適な応答を選択して 応答を出力するものである。提案システムによる出力をベースラインシステムの出力と比較する人手評価を行った。人手評価の結果、提案システムの応答 が良いと判断されることが多く、提案手法の有効性 が示された。

## 1 はじめに

対話システムはルールベースのシステムが利用さ れることが多い領域であった。近年では他の自然言語処理タスクと同様に、深層ニューラルネットワー ク (以下、DNN) を利用して、自然な応答を生成する ことができるようになっている。

対話システムの自動評価は、BLEU [1]などの、シ ステムの応答と正解の応答を比較する手法が一般的に用いられている。しかし、そのうえでは、対話 が持つ性質で、 1 つの発話に対して適切な応答が多 く存在することを意味する、one-to-many の性質 [2] が障壁となっている。 1 文もしくは少数の正解応答 との比較では、正解応答とまったく異なる文だが適切な応答を正しく評価できない。そのため、正解応答を用いない評価手法が求められており、その 1 つ が DNNによる評価である。人間やシステムが行う 応答に対する人手評価を正解データとして DNN の 学習を行うことで、人手評価とある程度の相関があ る評価ができるようになる方法が提案されている $[3,4]$ 。

本研究では、DNNによる応答評価モデルの利用法として、独立に研究されていた応答生成モデルと 応答評価モデルを合わせて 1 つの対話システムと することを提案する。応答評価モデルは正解応答を必要としないことから、応答の生成時にも利用でき ることが特徴である。応答評価モデルを対話システ ムに組み込むことで、人からより良いと判断される 応答を生成できるようになることを目指す。具体的 には、生成モデルによって応答を複数生成し、それ らの応答を評価モデルによって評価、もっとも高い 評価を得た応答を選択するという応答生成・評価・選択システムを提案する。応答生成モデルには事前学習モデルの T5 [5]、応答評価モデルには事前学習 モデルの BERT [6] を利用する。それらのモデルは 独立に Fine-tuning する。応答を複数生成するために は、グリーディーサーチ、ビームサーチ [7]、サンプ リング [8] の 3 種類のデコーディング手法を用いる。

提案手法を評価するために、提案システムとべー スラインシステムの出力を比較するクラウドソーシ ングで人手評価を行った。このクラウドソーシング で、提案システムがより良い応答を出力すると判断 されることが多く、提案手法の有効性が示された。

なお、対話システムの既存研究として、複数ター ンの対話を扱うもの、発話以外の知識 [9] や感情 [10]、個性 [11] などを扱うものも存在するが、本研究では、単一の発話のみを入力し、応答を出力する 1 ターンの対話システムを扱う。

## 2 関連研究

対話システムによる応答を評価する手法は、人手評価と自動評価に分けられ、さらに自動評価は 正解文を必要とする評価と必要としない評価に分類できる。人手評価は、関連度、おもしろさ、流暢 さなどの観点を設け、クラウドソーシング等で評価を集めるのが一般的である [12]。しかし、人手評価にはコストと時間が必要という問題がある。一方、自動評価として主に用いられるのは BLEU [1] で、正解文との N-gram の一致度で応答を評価する ものである。しかし、BLEU と人手評価にはまった く相関がないことが示されている [13]。原因の 1 つ は one-to-many [2] として知られる、一つの発話に対

図 1 提案システムの概要図

し、複数の適切な応答が存在する対話の性質にあ る。この性質を考慮したとき、正解文との一致度を 計るような手法は応答の適切な評価手法とはいえな い。そこで、自動かつ、正解文を必要としない評価手法が研究されており、DNNを利用した手法があ る。Zhao ら [3] や Ghazarian ら [4] は、BERT [6] を人手評価のデータセットで学習させることで、人手評価と相関がある自動評価ができるシステムを構築し ている。

## 3 提案手法: 応答生成・評価・選択 システム

対話システムとして、応答を生成するモデルと評価するモデルの 2 つを利用し、応答を複数生成、そ れらの応答を評価、もっとも高い評価を得た応答を 選択して出力するシステムを提案する。提案システ 么の概要図を図 1 に示す。応答を複数生成するため に、グリーディーサーチ、ビームサーチ、サンプリ ングの 3 種類のデコーディング手法を用いる。特に サンプリングを繰り返すことで、多様な応答を得る ことができる [14]。サンプリングは top-50 サンプリ ングを用いる。

応答生成モデルとしては Huggingface Transformers に登録されている sonoisa/t5-base-japaneseを Finetuning したものを利用する。sonoisa/t5-base-japanese は、Raffel ら [5] にならって、日本語で事前学習が行 われたモデルである。Fine-tuning 用の対話コーパス として、Twitter から Twitter APIを用いて我々が収集 したツイートーリプライ対を利用する。学習に用い る対話ぺア数は 800,000 ペアである。表 1 応答評価コーパスのデータ数

応答評価モデルについては 4 節で詳しく述べる。

## 4 応答評価モデルの構築

応答評価モデルの学習に用いるのに適切な日本語 のコーパスは公開されていないため、まず応答評価 コーパスを構築し、そのコーパスを利用して応答評価モデルを作る。

## 4.1 応答評価コーパス

クラウドソーシングを利用して、発話応答ペアに 1 から 5 の評価を付与する。評価観点は、対話シス テムの評価において一般的に用いられている関連度、おもしろさ、会話相手としての魅力の 3 つに、会話相手の感情に寄り添っているかを加えた 4 つで ある。会話相手の感情に寄り添っているか、につい ては、対話システムが生成する応答はユーザの感情 に寄り添うべきもので、それを評価したいため追加 した。各観点は以下のようにして尋ねた。質問に含 まれる A、B はそれぞれ、ある発言をした話者と、 それに対する応答をした話者を表す。

・関連度「B の応答は A の発言に関係したもの ですか」

・おもしろみ 「B の応答はおもしろいですか」

・魅力 「あなたが A だとして、B は会話相手と して魅力的であり、B ともっと会話を続けたい ですか」

・感情「B の応答は $\mathrm{A}$ の感情に寄り添っていま すか」

発話応答ペアとしては、Twitter のツイートーリプ ライ対 (Twitter データセット) と、Twitter のツイー 卜-応答生成モデルの出力対 (モデルデータセット) の 2 種類を利用する。モデルデータセットについて は、 1 つ発話に対して応答生成モデルが出力した、複数の応答に関して評価を集めることで、応答が異 なれば評価が異なる様子を表現したデータセット とする。複数の応答は 3 種類のデコーディング手法 を利用して得た。各観点のデータ数を表 1 に示す。
表 2 応答評価モデルの評価例

表 3 応答評価モデルの性能

表 4 魅力の評価における応答評価モデルの出力と応答の 表層的性質の相関

データセットの例を付録 A に示す。

1 つの発話応答ペアに対して 5 人のクラウドワー カから評価を集め、その平均を評価値とする。

本研究においてクラウドソーシングはすべて、 Yahoo!クラウドソーシングを利用して行った。

## 4.2 応答評価モデル

2 節の Zhao ら [3] にならい、BERTを応答評価 コーパスで Fine-tuning することで、応答評価モデ ルを構築する。モデルは Huggingface Transformers の cl-tohoku/bert-base-japanese-whole-word-masking を 利用する。評価値は BERT の出力の [CLS] に対応 するべクトルを線型層に通してから、Sigmoid 関数 に入力することで、 0 から 1 の值を得て、それをス ケール変換して 1 から 5 の連続値として得ている。

なお、対話システムによる応答の人手評価は複数 の観点を設けるのが一般的であるが、本研究の応答生成・選択・評価システムにおいては、それら複数 の観点の総合といえる、会話相手としての魅力を評価観点とする応答評価モデルを利用する。

## 4.3 応答評価モデルの評価

応答評価モデルの評価には、 5 分割交差検証を行 い、評価指標として、ピアソンの相関係数とスピア表 5 魅力の評価における応答評価モデルと応答の表層的性質による評価の性能比較

マンの順位相関係数を用いた。評価結果を表 3 に 示す。

応答評価モデルが応答の長さ、発話との単語の重複割合のような、表層的な性質に基づいて評価をし ていることが懸念されるため、それら表層的性質と モデルの出力の相関を調べる。テストコーパスは、学習に使ったものとは別に Twitter から収集したツ イートと、そのツイートを応答生成モデルに入力し たときの出力 14,000 ペアであり、評価観点は魅力で ある。ここでは相関係数はピアソンの相関係数であ る。結果を表 4 に示す。相関係数がそれほど高くな いことから、応答評価モデルの評価が、それら表層的性質のみを手がかりにしていないことがわかる。

また、表層的な性質による評価をべースラインと とらえ、人手評価との相関を調べ、応答評価モデル と比較する。テストコーパスは学習に用いたコーパ スと同じ、 4.1 節の対話評価コーパス 8,000 ペアで、評価観点は鬿力である。ここでは相関係数はピアソ ンの相関係数である。応答評価モデルの相関係数 は、 5 分割交差検証によって得たものである。結果 を表 5 に示す。結果から、表層的な性質による単純 なべースラインに比べて、応答評価モデルによる評価がより正確に人間の評価を表現できることがわ かる。

応答評価モデルによる評価の例を表 2 に示す。発話に関連していて、丁寧な応答がより高い評価を得 ており、人間に近い評価ができていることがわか る。
表 6 発話「美味しいですよね。台湾茶。大好き。」に対する提案システムの応答例

 & $\mathbf{3 . 9}$ \\

表 7 提案システムの評価結果

## 5 応答生成・評価・選択システムの 評価

## 5.1 実験設定

提案手法の有効性を確かめるため、クラウドソー シングによる人手評価を行う。ある発話に対する、提案システムの応答とベースラインの対話システム の応答の 2 つをクラウドワーカに見せ、どちらの応答をする相手と会話を続けたいかを尋ねる。1つの 発話応答ペアについて 3 人に尋ね、多数決をとって 結果とする。テストコーパスは応答生成モデルの学習に使ったものと同様の Twitterコーパスで、 2,000 文である。ベースラインとしては以下の 2 種類を用 いる。

・グリーディーシステム

応答生成モデルがグリーディーサーチによる応答だけを生成するシステム

・ランダムシステム

応答生成モデルが生成した複数の応答を評価せ ず、それらからランダムに選択した応答を出力 とするシステム

ランダムシステムと提案システムの応答生成モデル では、グリーディーサーチによる応答 1 つ、ビーム サーチによる応答 1 つ、サンプリングによる応答 5 つの計 7 つの応答を生成して、そこから 1 つを選択 して出力とする。

## 5.2 実験結果

実験結果を表 7 に示す。グリーディーシステム、 ランダムシステムどちらのシステムとの比較におい ても、提案システムが勝利する結果となり、提案手法の有効性が示された。

提案システムによって出力される応答の例を表 6 に示す。発話「美味しいですよね。台湾茶。大好 き。」に対して応答生成モデルから 7 個の応答を得 たが、グリーディーサーチとビームサーチによる応答は同一であった。またサンプリングによる応答は 2 つだけを示している。複数の応答の中で、人間か らの評価が高いと考えられる応答「美味しいですよ ね。味も飲みやすくて、お值段の割にちょっぴり高級感があって良いですよね」を選択できており、提案手法の有効性がわかる。

## 6 おわりに

本研究では、人手評価を学習データとして学習し た応答評価モデルを対話システム内に組み込むこと で、人間からより良いと判断される応答を出力でき る対話システムを構築することを目指した。応答生成モデルが生成した複数の応答を応答評価モデルで 評価し、最適な応答を選択して出力することで、グ リーディーサーチのみを利用するシステムや、複数 の応答からランダムに応答を選択するシステムより 良い応答を出力できることがクラウドソーシングに よる人手評価によって示された。

DNN による応答評価モデルは応答の評価のみな らず、本研究のように応答の生成に応用すること や、対話コーパスのフィルタリングに利用すること などもでき、今後もさらなる研究が求められる。そ のために、評価に関するデータセットが大規模に収集され、公開されることが期待される。

また、本研究では応答生成モデルと応答評価モデ ルは完全に独立して学習しており、本研究の発展と して、応答生成モデルと応答評価モデルの相互作用 を利用して学習するような構造が考えられる。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[4] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 8289, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Yuanlong Shao, Stephan Gouws, Denny Britz, Anna Goldie, Brian Strope, and Ray Kurzweil. Generating high-quality and informative conversation responses with sequence-to-sequence models. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2210-2219, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 889-898, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In Interna- tional Conference on Learning Representations, 2019.

[10] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[11] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[13] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[14] Hannah Rashkin, David Reitter, Gaurav Singh Tomar, and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 704-718, Online, August 2021. Association for Computational Linguistics.
表 8 応答評価コーパスの例

## A 応答評価コーパスの例

応答評価コーパスの例を表 8 に示す。


# 表出感情と経験感情をタグ付けした対話コーパスの構築

井手竜也 河原大輔
早稲田大学理工学術院
\{t-ide@toki . , dkw@\}waseda.jp

## 概要

人間は，対話において相手の感情を認識し，共感 や慰めなどを込めて応答する. 本論文では，このよ うな能力をもつ対話システムの開発に向けて，感情 タグ付き対話コーパスを構築する。ある発話を話し た人が表した感情（表出感情）と，それを聞いた人 が感じた感情（経験感情）を，クラウドソーシング によってタグ付けする. 日本語の感情タグ付き対話 コーパスを構築し，それを統計的に分析した結果，対話における表出・経験感情の特徴および違いが明 らかになった. また表出・経験感情の認識実験を行 い，経験感情の認識がより難しいことや，2 種類の 感情認識が互いの性能を向上させることを示した.

## 1 はじめに

社会のオンライン化に伴って，テキストベースの コミュニケーションは不可欠なものとなっている. Transformer [1] の登場や転移学習 $[2,3]$ の成功を契機 に, 対話システムの性能も急速に向上している. 最近では，人間らしい応答ができるオープンドメイン のチャットボットを目指した研究 $[4,5,6]$ もある.

人間は相手がもつ感情を認識し，それにふさわし い感情（共感や慰めなど）を込めて応答を返すと考 えられる. 対話システムを人間らしくするための鍵 として，相手の感情をふまえて応答を生成すること [7] が挙げられる．感情タグ付き対話コーパスはい くつか存在するが，発話ごとに話者の感情のみを夕 グ付けしているもの $[8,9]$ が多く, 不十分である.

本研究では，相手の感情を認識した上で適切な感情を込めた応答を生成できる対話システムを実現す るための感情タグ付き対話コーパズ1)を構築する。話し手が発話に込めた感情（表出感情）と発話の聞 き手が受けた感情（経験感情）を発話ごとにタグ付 けする。なお本研究ではこれを日本語で構築する

図 1: 表出感情と経験感情のタグ付け

が，手法はどの言語にも適用できる.

手法としては，Twitter から 2 人が交互に話すよう な対話を収集し，対話コーパスとする．Plutchikの 感情の輪 [10]をラベルに採用し，クラウドソーシン グによって各発話における表出感情と経験感情を夕 グ付けする。複数のラベルがタグ付けされることを 許し，投票数に応じて各ラベルに強弱を設ける.

上記の手法によって，3,828 対話（13,806 発話）か らなる対話コーパスを構築した. 統計的な分析か ら，表出感情と経験感情の関係が明らかになった。 さらに表出感情と経験感情を BERT [3] で認識する 実験を行った．各ラベルの強度を回帰させ，相関係数を評価指標として性能を評価した. 実験の結果か ら，表出感情よりも経験感情を認識する方が難しい ことや，それらのマルチタスク学習が認識の性能を 向上させることがわかった. 本研究で構築したコー パスによって，対話における感情の認識および感情 に基づく応答生成の研究が促進されると期待する.

## 2 関連研究

EmoBank [11] はある文を書いた人とそれを読んだ 人の感情を，クラウドソーシングによってタグ付 けしたコーパスである. WRIME [12] は EmoBank と 同様, 主観的と客観的な感情をタグ付けした日本語のコーパスである． EmoInt [13] は怒り・恐れ・喜
表 1: 表出感情と経験感情がタグ付けされた対話の例

び・悲しみの 4 感情について，その強度をタグ付 けしたコーパスである. StoryCommonsense [14] は短 い物語をなす一連の文に，登場人物の Motivation と Emotional Reaction をタグ付けしたコーパスである. しかし，上記のコーパスはどれも対話に関するもの ではない. StoryCommonsense は本研究に似ている が，対象は物語である。

EmpatheticDialogues [7] は 2 人の話者を Speaker と Listener に割り当て, 対話ごとに Speaker の感情とそ の状況をタグ付けした対話コーパスであり，日本語版 [15] も存在する. EmpatheticDialogues は対話ごと に感情をタグ付けしているため，発話ごとの感情を 理解することには向かない. DailyDialog [8] は発話 ごとに感情と意図をタグ付けした対話コーパスであ る. EmotionLines [9] は発話ごとに感情をタグ付け した対話コーパスで，話者が複数人である．本研究 では DailyDialog や EmotionLines と同じく, 発話ご とに感情をタグ付けする。これらの対話コーパスは 発話に込められた感情のみをタグ付けしているが，本研究ではその発話を聞いた相手が抱く感情もタグ 付けする. さらに本研究では複数の感情を許容し， それぞれの感情に強弱を設ける。

## 3 コーパスの構築

## 3.1 対話の収集

対話は Twitter APIによって収集する。2 2 人のユー ザによるツイートとリプライのかけあいを対話と みなし，それを抽出する。ただしハッシュタグや URL，画像を含む対話はすべて除外する．対話あた りの発話数は 2 から 9 までに絞り，いくつかのフィ ルタを施す。まず特殊な記号や絵文字を含む対話は すべて除外する. ほかにも 4 回以上繰り返される文字や単語を含む場合や，発話が 4 文字未満の場合も 除外する.

上記の手法によって，3,828 対話（13,806 発話）を 獲得した. ただしターン数が多い対話ほど，そのサ ンプル数は減る傾向にある.表 2: ラベルごとの発話数

## 3.2 表出感情と経験感情のタグ付け

本研究では Plutchik の感情の輪 [10] をラベルに採用する. ${ }^{2}$ 具体的には $\{$ 怒り, 期待, 喜び, 信頼, 恐れ, 驚 き, 悲しみ, 嫌悪 $\}$ の 8 感情である. 発話ごとにそれ を話した人が抱いていた感情（表出感情）とそれを 聞いた人が抱いた感情（経験感情）をタグ付けす る.つまり発話ごとに主観的な感情と客観的な感情 $[11,12]$ をタグ付けすることになる．表出感情と経験感情を分けてタグ付けすることで，発話間や話者間における感情の変化を捉える。

感情のタグ付けはクラウドソーシングによって行 う. プラットフォームとしては Yahoo!クラウドソー シング3)を用い，クラウドワーカに発話とその履歴 を与え，各感情の有無を問う．複数の感情を選択す ることや，どの感情も選択しないことを許容する。発話ごとに 7 人のクラウドワーカを雇い，半数（4 人）以上が選んだ感情を強ラベル，4 分の 1 （2人）以上が選んだ感情を弱ラベルとする。このタグ付け を表出感情と経験感情のそれぞれについて独立に行 う。タグ付けされた対話の例を表 1 に示す。

ラベルごとの発話数を表 2 に示す。およそ 9 割の 発話がいずれかの弱ラベルを伴っており，その他の

2）感情タグ付きコーパスでは，Ekman の 6 感情 [16] や Plutchik の感情の輪 $[10]$ がよく用いられる．クラウドソーシングを用 いた予備実験の結果，後者の方がより感情タグとして適切で あることが明らかになった．したがって本研究ではそれを採用する.

3) https://crowdsourcing.yahoo.co.jp/

(a) 表出感情と経験感情（特定の発話について）

(b) 経験感情と次の表出感情（特定の話者について）

図 2: 表出感情と経験感情の関係

感情や無感情のラベルが大部分を占める DailyDialog [8] や EmotionLines [9] よりも有効である.

## 4 コーパスの分析

構築した対話コーパスにおける，表出感情と経験感情の関係を分析した. 具体的には，次のような関係が考えられる。

1. 同一の発話に対する表出感情と経験感情（異な る話者)

2. ある発話に対する経験感情と次の発話に対する 表出感情（同一の話者）

強ラベルに関する，それぞれの混同行列を図 2 に 示す. なお各要素の値は行方向に正規化してある.対角成分における値が大きくなっていることから，同一の発話および同一の話者についての関係として は，同じ感情が起こりやすいことが言える．異なる 感情間の関係としては，図 $2 \mathrm{a}$ から，期待・信頼・驚 きの発話に対して喜び，怒りと嫌悪にはそれぞれ嫌悪と悲しみを抱きやすいことがわかる．また図 $2 b$ から，信頼と怒りを抱いたあとはそれぞれ喜びと嫌悪を表しやすいことがわかる. 図 $2 \mathrm{a}$ と図 $2 \mathrm{~b}$ を比較 すると，特に悲しみに対する反応が異なり，特定の 話者においては話者が悲しみを受けたとき次に期待 を表すことがある.これは相手の発話に対して悲し みを抱いた話者が，相手を慰めるために期待感のあ る発話を返していると考えられる。

## 5 感情認識の実験

表 3: モデルごとの相関係数

表 4: ラベルごとの相関係数 (NICT)

## 5.1 モデル

表出感情と経験感情について，それらの認識を実験する. 対象の発話とそれまでの履歴から，各ラべ ルの強度を回帰することを考える．ラベルがない場合に 0 ，弱ラベルと強ラベルにそれぞれ 1 と 2 を充 てる. モデルは平均二乗誤差で学習する。

本研究ではモデルとして BERT [3] を利用する.事前学習済み BERT として，京都大学 [17]の WWM 版と $\mathrm{NICT}^{4)}$ の BPE 版を採用する. 入力は Juman++ [18] によって単語に分割し，さらに BPE [19] によっ てサブワードに分割する。履歴と対象の発話を [SEP] で結合し，[CLS] に対するべクトルを全結合

4) https://alaginrc.nict.go.jp/nict-bert/index.html
表 5: 予測結果の例（NICT，最後の発話に対する表出感情）

 & 強い悲しみ 強い悲しみ \\

表 6: 特定の発話に関するマルチタスク学習

表 7: 特定の話者に関するマルチタスク学習

層に与える. 全結合層から得た 8 次元のベクトルに 関して，各要素を 8 種類のラベルそれぞれの強度に 回帰する。

対話コーパスを 8:1:1 に分割し, それぞれ学習 データ・検証データ・テストデータに充てる。学習 は 3 エポックと定め，テストデータに対して評価を 行う. 評価指標には Pearson と Spearman の相関係数 を採用する。

## 5.2 結果

モデルごとの相関係数を表 3 に示す. モデルとし ては，どの値も NICTがもっとも高い. 表出感情と 経験感情を比較すると，どのモデルも経験感情の値 が低い。つまりある発話を話した人が抱いていた感情よりも，それを聞いた人が抱いた感情を予測する ことの方が難しい．NICT のモデルに関する，ラべ ルごとの相関係数を表 4 に示す. 表 4 と表 2 を比較 すると，ラベルの発話数が多いほど相関係数の値も 高くなっていることがわかる．モデルによる予測結果の例を表 5 に示す.

## 5.3 マルチタスク学習

単一のモデルに表出感情と経験感情の両方を認識 させることを考える. 表出感情と経験感情には相関 があるため，このことはそれぞれの認識に良い影響
があると考えられる．タスクごとに全結合層を用意 し，それらを同時に訓練する。ロスはそれぞれに対 して計算し，その算術平均を全体のロスとしてパラ メータを最適化する。

4 章の関係を踏まえ，特定の発話と特定の話者に 関する表出感情と経験感情をマルチタスク学習 [20] する。また訓練データとテストデータが異なる場合 も実験する、マルチタスク学習の相関係数を表 6 と 表 7 に示す.まず訓練とテストでデータが異なる場合，それらが同じ場合よりも値が低い。これは表出感情と経験感情を分けてタグ付けすることに意味 があることを示している。マルチタスク学習として は，表出感情と経験感情のどちらもそれらを同時に 学習させたときの方が値は高い. つまり表出・経験・次の表出感情は互いに助け合うと言える。

## 6 おわりに

対話システムが話者の感情やその変化を理解する ための，感情タグ付き対話コーパスの構築手法を提案した. クラウドソーシングによって，2人の話者 による対話の発話ごとに，その発話を話した人が抱 いていた感情（表出感情）とそれを聞いた人が抱い た感情（経験感情）をタグ付けする。

上記の感情タグ付き対話コーパスを日本語で構築 し，それを統計的に分析した．感情ごとに頻出な単語の傾向や，特定の発話および話者における表出感情と経験感情の関係が明らかになった。また日本語 の事前学習済み BERT [17]を用いて，表出感情と経験感情の認識を実験した．経験感情の認識がより難 しいことや，表出感情と経験感情のマルチタスク学習が互いの認識に対する性能を向上させることが示 された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Li Zhou, Jianfeng Gao, Di Li, and Heung-Yeung Shum. The design and implementation of XiaoIce, an empathetic social chatbot. Computational Linguistics, Vol. 46, No. 1, pp. 53-93, March 2020.

[5] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[6] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[7] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[9] Chao-Chun Hsu, Sheng-Yeh Chen, Chuan-Chun Kuo, Ting-Hao Huang, and Lun-Wei Ku. EmotionLines: An emotion corpus of multi-party conversations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).
[10] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[11] Sven Buechel and Udo Hahn. EmoBank: Studying the impact of annotation perspective and representation format on dimensional emotion analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 578-585, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[13] Saif Mohammad and Felipe Bravo-Marquez. Emotion intensities in tweets. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics (*SEM 2017), pp. 65-77, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Ekman Paul. An argument for basic emotions. In Cognition and Emotion, Vol. 6(3/4), pp. 169-200, 1992.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 2019.

[18] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

図 3: クラウドソーシングの例

表 8: ラベルごとに頻出な単語の Top-3

## A クラウドソーシング

表出感情をタグ付けするクラウドソーシングの例を図 3 に示す. チェックボックス式のフォーマットを用 いることによって，複数の感情が選ばれることを許容している。

## B感情ごとに頻出な単語

感情ごとの発話がもつ特性を知るため，感情ごとに単語の頻度を求める. 本研究では強ラベルのみを対象 とし, 品詞として動詞と形容詞を採用する. 品詞の解析は Juman++ [18] によって行い, 代表表記を抽出す る.どの感情にも現れる普遍的な単語を除くため，IDFによるフィルタを施す．具体的には IDF が最大値の 半分を下回った単語を無視する。

フィルタを施した，感情ごとに頻出な単語の Top-3を表 8 に示す. 喜びの動詞や喜び・恐れ・嫌悪の形容詞は表出感情と経験感情で等しい，一方で，怒り・嫌悪の動詞や信頼の形容詞は表出感情と経験感情で異な る. 喜びや驚きの動詞に「交じる」があるが，これは形容詞の「マジだ」が誤って識別されたものである.同様に，喜びの形容詞にある「孵る」は「帰る」に対する誤りである。


# ソーシャルメディア上のインタラクションを利用した オープンドメイン対話応答生成

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

人間のような豊かな会話能力を持つオープンドメ イン対話システムの構築は、自然言語生成における 課題の一つである。しかし、近年のこの分野の発展 にもかかわらず、既存のオープンドメイン対話生成 モデルは知識を取り込むことができず、未知の発話 に対して反復的または典型的な応答をすることが 多い。知識に基づく対話応答生成に関する先行研究 は、主にペルソナの組み込みや、Wikipedia のよう な構造化された知識べースの検索に焦点を当てて いる。本研究は、より汎用的かつ単純なアプローチ をとり、SNS に見られる社会的なインタラクショ ンを通じて人間の応答行動を模倣することで、シス テムの雑談能力を向上させることを目的とする。提案手法では、Reddit から抽出されたコメントデータ を大規模な知識源とみなし、ニューラル retriever を 用いて関連文を抽出する。続いて、その関連文を付加文脈として発話文に連結し seq2seq generator に渡 す。このような generator と retriever からなるモデル をオープンドメイン対話データセットを用いて学習 し、自動及び人手評価した結果、提案手法の有効性 を確認した。

## 1 はじめに

Siri、Google Assistant などの音声アシスタントの 生活への浸透に伴い、雑談対話システムの重要性が 増している。そのため、雑談対話における応答生成 は、自然言語処理における主要なタスクの一つと言 える。

しかしながら、既存の雑談対話応答生成モデル は、面白くない、あるいは有益な応答が得られない といった基本的な問題に依然として悩まされてい る $[1,2]$ 。この主な原因は、人間とは異なり、モデル は個性や知識などを持たないためと考えられる。
この問題に対処するために、近年の研究では、ぺ ルソナ $[3,4]$ 、知識ベース [5] などの付加的な文脈情報を考慮することが提案されている。これらに対し て、本研究は、応答生成モデルの雑談能力を向上さ せるという、より一般的な立場からこの問題に取 り組む。特に、人間が会話する実際の環境、すなわ ち、社会的インタラクションを利用することを考 える。そのために、ソーシャルメディア上の多様 な会話からなる外部知識べース SMIkb (Social Media Interactions knowledge base)を構築する。SMIkb は、既存の知識べースと異なり、自然言語で記述されて おり、応答生成において外部知識として利用する。

提案モデルは、 retriever と generator からなる。 retriever は、入力された発話で SMIkb を検索し、関連知識を得る。generator は seq2seq モデルからなり、入力発話の情報に加えて関連知識も踏まえて応答 を生成する。具体的には、Dense Passage Retriever [6] (以下、DPR)を retriever に、BART [7] を generator に 用い、これらを同時に学習する。オープンドメイ ンの対話データセットで generator と retrieverを学習し、Reddit の投稿とコメントからなる SMIkbを retriever の知識源として利用する。

応答生成の実験を行ったところ、提案手法が既存 の seq2seq ベースライン (BART) を自動および人手評価指標のすべてにおいて上回ることがわかった。 SMIkb を利用することで、生成された応答はより魅力的になるだけでなく、より適切かつ自然になるこ とも示され、提案手法の有効性が確認された。

## 2 関連研究

生成モデル 近年、Transformer [8] や BERT [9] に 始まるブレイクスルーにより、自然言語処理研究は 急速に変化した。これらに自己回帰 seq2seq モデル （T5 [10]、BART）が続き、対話システムなどの生成 モデルの性能が大幅に向上した。本研究では BART

を強力なベースラインとして採用する。

知識に基づく応答生成モデル 対話システ ムに文脈や外部知識などを組み込むことが、近年、大いに注目されている。PersonaChat [4] や EmpatheticDialogues [11] では、ペルソナや感情が考慮されている。また、知識べースを利用した研究も 進んでいる $[2,5]$ 。対話以外では、外部知識を様々 な QA タスクで利用する研究がある $[12,13]$ 。応答生成のために検索を行うという点で、本研究に最も 近いのは、retrieverを別途学習し、学習データから 検索した応答候補も generator に入力し生成するア プローチ [14]である。本研究は、retriever 単独の学習を必要とせず、かつ、生成時により大規模な外部知識べースを検索するという点で大きく異なる。ま た、Wikipedia などに基づく retriever を用いた知識対話生成においては、事実との矛盾を調査した研究も なされている [15]。本研究では、応答の内容が事実 に即しているかというよりは、対話システムの雑談能力の向上に焦点を当てる。

## 3 提案手法

本研究では、より自然で人間らしい応答生成のた め、ソーシャルメディア上のインタラクションを外部知識ベース (SMIkb)として導入する。提案モデル は SMIkbを利用した retriever-generator の 2 段構成で ある。

## 3.1 タスク設定

外部知識に基づく応答生成のタスクは、入力発話 $\mathbf{u}$ と関連知識を含む可能性のある文書集合 $D$ が与え られたとき、 $m$ 単語の応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測 するタスクとして定義することができる。本研究で は、入力発話 $\mathbf{u}$ と知識べース Dに対して、モデル が確率 $p\left(r_{i} \mid \mathbf{r}_{<i}, \mathscr{D} ; \theta\right)$ で応答 $\mathbf{r}$ を生成するように学習する（ $\theta$ はモデルパラメータを表す)。

## 3.2 モデル

先行研究 $[12,16]$ における retriever に基づくQA システムにならい、本研究の応答生成タスクにおい ても retriever と generator $の 2$ 段構造を採用する。図 1 に提案モデルの概要を示す。図に示した通り、本 モデルの対話応答生成は、2 段階のプロセスとして 定式化する。(1) retriever はあらかじめ索引付けされ た SMIkb から入力発話に関連する上位 $k$ 文書を検索し、(2) generator は検索された文書と発話が連結

図 1 : 提案モデルの概要

されたものが大力され、応答を生成する。

具体的には、事前学習済みの Dense Passage Retriever (DPR) を retriever とし、大規模コーパスで事前学習済みの seq2seq モデル BARTを generator とし て利用する。DPR は入力クエリ (発話) $\boldsymbol{u}$ に対する上位 $k$ 個の関連文書を検索するように学習された高効率なニューラル retriever である。この効率化は、ク エリと知識ベース全体を独立した 2 個の BERT [9] のエンコーダーに通すことによって実現されている (図の $\boldsymbol{t}$ )。FAISS [17] ライブラリを用いて SMIkb の インデックスとなる埋め込みべクトルを事前に構築 する。事前に構築することで、オフラインでの高速 な検索が可能になる。

3.1 節のタスク設定に従い、発話 $\mathbf{u}$ と知識ベース Dからの上位 $k$ 文書 $d_{j}$ が与えられたときに、モデ ルが応答 $\mathbf{r}$ を生成する確率を次のように定義する。

$p(\mathbf{r} \mid \mathbf{u} ; \theta, \lambda)=\sum_{j}^{k} p_{\lambda}\left(d_{j} \mid \mathbf{u} ; \lambda\right) \prod_{i} p_{\theta}\left(r_{i} \mid \mathbf{u}, \mathbf{r}_{<i}, d_{j} ; \theta\right)$,

ここで、 $\theta$ とは、それぞれ generator と retriever の パラメータを表す。これらは共に end-to-end で学習 される。検索されるSMIkb においては正解の文書 がタグ付けされていないため、関連文書を潜在変数 とみなす。従って、デコーディングの際には、ビー ムサーチを用いて最も確率の高い最良の応答を返す ために、検索された全ての文書に対してこの確率を 周辺化する。

## 4 実験

提案モデルを、様々な外部知識データセットと オープンドメイン対話データセットを用いて比較す る。また、純粋な BARTによる二つのベースライン との比較も行う。
表 1: 対話データセットの規模

## 4.1 SMIkb

本研究では、対話システムの雑談能力を向上させ ることを目的として、人間の会話行動を蓄積した知識ベース SMIkbを構築する。SMIkb は、アメリカの ニュース掲示板サイトである Reddit ${ }^{1}$ ) の 2020 年 (1 月 11 月) における人気スレッドタイトルとその上位 100 件のコメントから構成する。SMIkbを構築す るために、オープンソースの Pushshift API [18]を通 じ、合計 160 万件のデータをスクレイピングした。 SMIkb の一部を付録 A に載せる。

さらに、Reddit のような SNS から構築した SMIkb の有効性を検証するために、他に 2 種類の知識べー スを構築し比較する。一つは、Wikipedia 記事の夕 イトルと冒頭 100 語からなる同サイズ (60万エント リを無作為に抽出) の Wikipedia 知識ベース (以下、「Wiki」)である。もう一つは、上記二つのデータ ベースの半分ずつを $1: 1$ で組み合わせたもの (以下、「Mix」)である。

## 4.2 対話データセット

本研究では様々なオープンドメインの対話データ セットと Reddit からスクレイピングした対話データ セットを用いて、提案モデルの fine-tuning を行う。

オープンドメイン対話データセット 高品質 な日常対話データセットとして DailyDialog [19] と DailyDialog++ [20]、また、映画の台詞で構成された Cornell Movie-Dialogs Corpus [21] の 3 種類をマージ して用いる。

Reddit さらに、SMIkbとは別に Redditから 20 万件のコメントペアを抽出し、擬似的な対話データ セットとして対話データを補完する。

上記のデータセットはマルチターン対話である が、本研究の設定にそぐわないため各シングルター ンを対話として抽出した。使用するデータセットの 規模を表 1 にまとめる。

## 4.3 実験設定

モデル 提案する retriever-generator モデルは、事前学習された Dense Passage Retriever と BART-large (24 層、406M パラメータ) からなり、対話データ セットを用いて fine-tuning する。モデルの学習に は Adam optimizerを用い、バッチサイズ 1、学習率 $3 \times 10^{-5}$ のハイパーパラメータで学習する。 retriever の上位 $k$ 検索には $k=3$ を設定し、生成の戦略とし てビームサイズ 5 のビームサーチを用いる。

ベースライン 提案モデルの有効性を確認するた めに、 retriever なしの BART-large による二つのべー スラインを使用する。一つ目は、4.2 節で述べた データセットのみで学習し、外部知識データベース の SMIkbを用いないものである (以下、「ベースラ イン 1$\lrcorner) 。 二 つ$ 目として、retriever-generator $の 2$ 段構造を通して外部知識を利用することの有効性を 確認するため、SMIkb の全データ (タイトルとその コメント)を学習データに結合し、この新しい拡張 データセットで純粋な BART-large を fine-tuning する (以下、「ベースライン 2」)。

## 4.4 評価

外部知識の影響を確かめるため、生成された対話応答について自動評価と人手評価の両方を行う。そ れらの結果を表 2 にまとめる。

自動評価 関連性の指標である BLEU [22] スコ アに加えて、生成された応答の多様性について、 Distinct-N [1] も算出する。

人手評価 自動評価指標は、生成された対話応答 の実際の質とあまり相関がないことが先行研究で報告されている [23]。本研究では、Amazon Mechanical Turk ${ }^{2}$ を用いてクラウドソーシングを行い、生成結果について以下の三つの評価指標で人手評価も 行う。

・関連性 (Relevance): その応答が発話に関連して いるかどうか

・エンゲージメント (Engagement): その応答をし た相手とさらに会話を継続したいかどうか

・知識 (Knowledge): その応答が知識に富んでいる かどうか

評価者となるクラウドワーカーには、テストデータ から無作為に選んだ 100 個の応答を上記の各指標に

2) Amazon Mechanical Turk: https://www.mturk.com
表 2: 生成された応答の自動評価と人手評価の結果。モデル (テストデータを除く)の中で最もスコアが良いものに「*」 を付与した。ODDは 4.2 節の Open-Domain Dataset の集合である。

} & \multirow[t]{2}{*}{ 知識ベース } & \multicolumn{3}{|c|}{ 自動評価 } & \multicolumn{3}{|c|}{ 人手評価 } \\

Here comes the birthday cake. Wow, what a lovely cake. I'll Wow, what a beautiful cake. It Really? Wow. Happy birthday Thank you. have a piece. must have tasted as good as I to you! You look so healthy. expected.

 &  &  &  & I don't think so. \\

ついて 1～5 の尺度で採点するよう求める。各応答 は 7 人の評価者によって採点し、最終的なスコアは それらの平均値とする。

## 4.5 結果

自動評価では、生成時に retriever を通じて SMIkb を利用する提案手法が、生成される応答の質を向上 させ、より多様な応答を可能にすることが確認され た。また、すべての評価指標において 2 種類のベー スラインより提案手法の方が高性能であることがわ かった。さらに、Redditベースの SMIkb モデルは他 の組み合わせよりも優れており、高品質な応答の生成につながったと考えられる。

クラウドソーシングによる人手評価でも同様の 傾向が見られ、提案モデルの全ての組み合わせに対 するスコアがベースラインよりも高かった。ブート ストラップ法に基づく有意性検定により、全ての観点においてべースライン 2 と提案手法それぞれの 人手評価スコアの差を検証したところ、統計的に有意であることが分かった $(p<0.01)$ 。当初の仮説通 り、SMIkb モデルはエンゲージメントや雑談能力 の面で最も高いスコアを記録した。一方、SMIkbと
Wikipedia の組み合わせ (Mix) は、会話の関連性と 「知識性」のバランスが取れており、関連性のスコ アが人間の応答に対するスコア (Gold) を上回った。 これは、本研究の対象であるシングルターン評価の 場合、SMIkb に Wikipediaを加えた提案手法による 応答はクラウドワーカーの評価者にとってより関連性があるように感じられたためと考えられる。

各モデルによる生成応答の例を表 3 に示す。

## 5 おわりに

本研究では、対話システムの雑談能力を向上させ ることを目的として、SNS 上のインタラクション からなる SMIkbを備えた retriever-generator 2 段モデ ルを提案した。提案手法は、ニューラル retriever と seq2seq 生成モデルを一括で fine-tuning し、生成時に は関連知識を知識ベースから抽出することによっ て、より自然な対話応答を実現する。実験では、本研究で構築した SMIkb に基づく応答生成は、自動評価とクラウドソーシングによる人手評価の両方に よって、より多様で適切、かつ魅力的であることが 示され、ベースラインと比較して性能の改善が確認 された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. arXiv preprint arXiv:1702.01932, 2017

[3] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[6] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[11] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguis- tics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[13] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[14] Jason Weston, Emily Dinan, and Alexander Miller. Retrieve and refine: Improved sequence generation models for dialogue. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 87-92, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[15] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation, 2021 .

[16] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and MingWei Chang. Realm: Retrieval-augmented language model pretraining, 2020.

[17] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[18] Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire, and Jeremy Blackburn. The pushshift reddit dataset. In Munmun De Choudhury, Rumi Chunara, Aron Culotta, and Brooke Foucault Welles, editors, Proceedings of the Fourteenth International AAAI Conference on Web and Social Media, ICWSM 2020, Held Virtually, Original Venue: Atlanta, Georgia, USA, June 8-11, 2020, pp. 830-839. AAAI Press, 2020.

[19] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[20] Ananya B. Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M. Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, p. 810-827, Dec 2020.

[21] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[23] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4: SMIkb の一部

SMIkb

タイトル コメント文

 &  \\

## A SMIkb

Reddit に基づくSNS データベース (SMIkb) の一部を表 4 に示す。検索はタイトルに対して行うが、応答生成の根拠となる付加文脈として本質が会話と近いコメント文を利用する。

## B 人手評価: MTurk

応答生成の人手評価を行うため、Mturk 上タスク支持率 (過去のタスクによるクラウドワーカーの評価値) が 90\%以上の US 在住の英語話者に依頼した。平均報酬は 1 問あたり 1 セントに設定した。


# 対話システムにおけるペルソナ更新の導入とペルソナの数によ る影響分析

吉田快 ${ }^{1}$ 品川政太朗 1,2 須藤 克仁 ${ }^{1,2}$ 中村 哲 1,2
1 奈良先端科学技術大学院大学
2 理化学研究所革新知能統合研究センター
\{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

既存のペルソナ対話システムのペルソナは初めに 条件付けられたもので固定されており，自動的に更新することができない. そのため，応答に含まれる 新たなペルソナを考慮できないという課題がある.本研究ではシステムの応答履歴に応じて自動的にペ ルソナを更新するという新しい問題設定を考え，こ れを実現するために，ペルソナ追加機構を持つペル ソナ対話システムを提案し, その際に起こりうる課題の調査を行った.

## 1 はじめに

ペルソナと呼ばれる複数の記述文によって表現さ れるプロフィール情報をシステムに持たせること で，そのペルソナに沿った一貫性のある応答をする 対話システムとしてペルソナ対話システム [1] があ る. ペルソナ対話システムに対する既存のアプロー チでは，いくつかの文を明示的なシステムのプロ ファイルとして組み込むことが試みられている [2]. しかし, 既存のアプローチではペルソナが初めに条件付けされたもので固定されており，自動的に更新 することができない，例えば，図 1 のように，シス テムに条件付けられていないぺルソナに関しての 質問 (図 1 : ユーザー入力 1) に対しては, “I have two dogs” (システム応答 1)のような新たなぺルソナを含 んだ応答を生成する可能性がある. そのため, シス テムが一貫した対話を行うにはこのような新たな ペルソナも考慮する必要がある. そこで，本研究で は，ペルソナ対話システムが応答履歴に応じて自身 のペルソナを自動で更新するという新たな問題設定 を考え，これを実現するために，ペルソナ追加機構 を持つペルソナ対話システムを提案する. ペルソナ 追加機構はシステムの応答履歴から Mazare らの研

図 1 ペルソナ追加機構を持つ対話システム (提案手法) を用いた会話例

究 [2] と同様に条件を満たす記述をペルソナとして 抽出し，抽出されたペルソナをフィルタリングして 既存のペルソナに追加する機構である.

提案手法では，図 1 のシステム応答 1 のように新 しいペルソナを含む応答をした場合に，条件を満た す記述を新しいペルソナとして追加し，次の応答生成に用いることで，ユーザー入力 2 に “Dogs. They can be so loving. と応答することが期待できる. 提案手法では既存のペルソナに新しいペルソナを随時追加するため，ペルソナの数の変化が応答生成に影響 を及ぼす可能性がある。そこで本研究では，この影響について調査を行い，ペルソナを更新する問題設定における課題について明らかにする。

ペルソナ追加機構のフィルタリングには, 入力さ れた 2 つのペルソナ文が含意・中立・矛盾のいずれ の関係にあるか分類する分類器 [3] を用いる. しか し，文献 [3] では含意のみしか扱っていない。 そこ で本研究では含意・中立・矛盾を含む評価用データ セットである Persona NLI データセットを新たに構築し, 分類器の精度評価を行うことで, この分類器 の精度が本研究に用いる上で十分か確かめる.

## 2 関連研究

明示的なペルソナを用いた応答生成に，含意関係推論を組み合わせることで，限られた規模の対話

データで対話モデルを構築できる BERT-over-BERT (BoB) [4] がある．BoBでは，ペルソナ対話データで 学習された応答生成用のデコーダと, 非対話型推論 データで学習された，生成した応答をペルソナ文に より一貫した表現に再調整するデコーダの 2 つのデ コーダを用いることで，少量の対話データでのペル ソナを含んだ応答生成を可能にしている. しかし， BoB は事前に与えられたペルソナでシステムのペル ソナが固定されているため，長い対話を想定した場合，実際に生成された応答と異なった応答をするこ とが考えられる。

一方で，Transformerを用いて特定のユーザーの過去の対話履歴から暗黙的なペルソナを自動的に学習 する手法 [5] がある. この手法はユーザーの応答履歴を逐次更新するため，実質的にペルソナの更新を 応答ごとに行っているが，ペルソナが暗黙的である ことから，ペルソナを最大限活用できていないこと が考えられる。

本研究では，応答履歴から逐次的に明示的なぺル ソナを更新することで，長い対話における応答の矛盾を削減し，よりペルソナを活用できるシステムが 構築できることを期待する.

## 3 手法

## 3.1 応答生成モデル

本研究では, ペルソナ追加機構の有無による応答生成への影響を検証するために，ベースとなる応答生成モデルとして，BERT-over-BERT (BoB) [4]を用 いる．今回は著者らが公開しているコード1)を用い た. BoB は明示的なペルソナを用いた応答生成に，含意関係推論を組み合わせることで，限られた対話 データで学習を可能にするモデルである．BoB の構造を図 2 に示す. BoB は図に示すようにエンコーダ $E$ と応答デコーダ $D_{1}, D_{2}$ の 3 つの BERT ベースの サブモジュールで構成されている． $D_{1}$ はペルソナ $P$ とクエリ $Q$ から応答ベクトル生成を行うデコーダ である。また， $D_{2}$ は NLIコーパスによって，与え られたペルソナ $P$ に対して，より一貫した応答 $R_{2}$ を生成するように訓練されたデコーダであり， $D_{1}$ の出力である応答ベクトルとペルソナ $P$ から応答を 再調整する。これにより， $D_{2}$ は $D_{1}$ よりもさらにぺ ルソナに対して一貫した応答を生成することができ る. 生成された応答候補群からサンプリングする方

図 $2 \mathrm{BoB}$ の構造

法には，ペルソナの更新による影響を確認するため 先行研究と同様の greedy searchを用いた.

## 3.2 ペルソナ追加機構

システムの応答履歴からペルソナを更新するため に，ペルソナ追加機構を導入する．ペルソナ追加機構は，システムの応答履歴 $H$ から新しいペルソナを 抽出し, 既存のペルソナに追加するために 2 つの段階を踏む．まず初めに，(a) 応答履歴 $H$ から Mazare らの研究 [2] と同様に以下の 3 つの条件を満たす記述をペルソナとして抽出する。
1. 4 から 20 の単語 (句読点を含む) で構成される

2. “I”か“my”という単語を含む

3. 名詞, 代名詞, 形容詞のうち少なくともどれか 1 つを含む

そして，(b) 抽出されたペルソナを NLI モデルを用 いた重複，矛盾フィルタの 2 種類のフィルタによっ て更新の有無を決定する．NLI モデルは，入力され た 2 つの文の関係を含意・中立・矛盾の 3 つのラべ ルに分類する分類器である。本研究における NLI モデルは，事前学習済みの BERTを，ペルソナ対話 データに基づいて構築された Dialogue NLI コーパ ス [3] によって fine-tuning することで作成できる.本研究では，公開されている学習済みモデル [3] を 用いた。このモデルのペルソナの組み合わせにおけ る中立ラベルの予測精度は $94.48 \%$ とされている [3] が，含意や矛盾ラベルにおける予測精度は示されて いないため，独自に Persona NLI データセットの構
築を行い，精度評価を行う。

## 4 実験設定

実験では，まず検証に用いるモデル $(\mathrm{BoB})$ を作成 し, ペルソナ追加機構に用いる NLI モデルの精度を 調査する.これらを踏まえて，ペルソナの数による 応答生成への影響について議論する。

## 4.1 モデル構築

BoB は学習済みモデルを公開しておらず，新たに 学習する必要がある. 本研究では, 応答生成モデル の構築のために，ペルソナが付与された対話データ セットである Persona-Chat [1] と，2つの文章間の含意関係を推測するタスクの, 非対話型推論データ セットである MNLI コーパス [6] を用いた (データ セットの詳細は付録 A に記載した).

## 4.2 NLI モデルの精度調査

ペルソナの含意関係推論における既存の NLI モ デルの精度調査を行うため，新たに評価用のデータ セットを構築し，このデータセットに対する NLI モ デルの分類結果を評価する. 本節では，この評価用 のデータセットである Persona NLI データセットの 構築方法について述べる。

## Persona NLI データセット

Persona NLI データセットはペルソナのペアに対 して，MNLIコーパスと同様に含意 (e), 中立 (n), 矛盾 (c) をラベル付けしたデータセットである. デー タの総数は 401 であり，内訳は含意が 103，中立が 196，矛盾が 102 となっている。データは次のよう にペルソナ文のペアを作り，ラベル付けを行った。

含意 Persona-Chat からペルソナをランダムに選択 し，含意になるようなペルソナを人手で生成 した。例えば，Persona-Chat に含まれている“i love watching superheroes shows”に対して，それ と含意関係になるような “i like superheroes”を 人手で生成しぺアを作った.

中立 Persona-Chat に定義されているぺルソナの中 から，ペルソナを中立になるように選択し組み 合わせた。

矛盾 Persona-Chat からランダムに選択したペルソ ナに対し，2 通りの方法で矛盾したペルソナの ペアを作成した. 1 つ目は, “i work in a veterinary office”を“i work in supermarkets” のように矛盾し
た文に書き換える方法であり，2つ目は否定を 用いて “i love beef”を “i don’t like beef” のように 書き換える手法である. 52 件を 1 つ目の方法 で， 50 件を 2 つ目の方法で作成した.

## 4.3 ペルソナの数による応答生成への影響 の調査

ペルソナの数を変化させ，応答生成への影響を調 べる方法について述べる。まず，定義されているぺ ルソナの数である 5 個より少ない場合は不必要な数 を削除した. 6 個から 20 個の場合は重複や矛盾が無 いように Persona-Chat に定義されているペルソナか らランダムに追加し，20 個より多い場合は重複しな いようにランダムに追加した. その後，数を変化さ せたペルソナと Persona-Chat の入力文を用いて応答生成を行った。

## 評価指標

ペルソナ対話システムにおいては，(a) 多様性があ り，(b) ペルソナに一貫した応答を行うことが望ま しい，そのため，ここでは応答の多様性と，応答と ペルソナの一貫性の 2 つの側面で生成された応答を 評価する。応答の多様性は, distinct 1/2 (Dist.1/2) [7] を用いて評価を行う．Dist は式 (1)のように，生成 された応答に含まれるユニークな n-gram の数を単語数でスケーリングした数によって，どの程度の語彙を含んだ応答なのか評価するものである.

$
\text { distinct-n }=\frac{\mid \text { unique }(\text { n-gram }) \mid}{\mid \text { uni-gram } \mid}
$

応答の一貫性の評価には, Consistency Score (C.Score) [8]を用いる.これはモデルを用いて ペルソナと生成した応答の一貫性を予測するもの で，式 (2)のように生成された応答と応答生成に使用したペルソナを NLI 分類器によって含意，中立，矛盾に分類し，そのスコアの総和で評価を行う。

$
\begin{gathered}
\operatorname{NLI}\left(r, q_{i}\right)= \begin{cases}-1 & r \text { が } p_{i} \text { と矛盾 } \\
0 & r \text { が } p_{i} \text { と中立 } \\
1 & r \text { が } p_{i} \text { と含意 }\end{cases} \\
\operatorname{C.Score}(r)=\sum_{i=1}^{t} \mathbf{N L I}\left(r, p_{i}\right)
\end{gathered}
$

## 5 実験結果

## $5.1 \mathrm{NLI$ モデルの精度}

予測結果の混同行列を表 1 に示す. 分類の結果,

全クラスの予測精度は約 $74 \%$ であった. ラベル別に 見ると, 中立の正解率は約 $97 \%$ と高い結果となった が，含意は $58 \%$ ，矛盾は $45 \%$ という結果となった.矛盾を含意と誤って予測した原因として，語彙がか なり似ている文同士が含意と分類されやすいことが 確認できた. 例えば, “i like apple” と “i hate apple” は 矛盾であるが，含意と予測されてしまった.

## 5.2 ペルソナの数による影響

はじめに，学習時と同じペルソナ 5 個 (再現) の場合とペルソナの更新 (提案手法) を導入した場合の評価を表 2 に示す. 結果, Dist と C.Score の両方で提案手法が既存手法の再現を上回る結果であった.

表 2 再現したモデルと提案手法の評価

次にペルソナの数ごとのスコアを図 3 , 図 4 に示 す. 結果として，C.Score はペルソナの数が増える ほどスコアが下がっていくことが確認できた。ま た，Dist についてはペルソナの数が少ないほどスコ アが高く，増えるにつれてスコアが下がることが確認できた. 生成した応答の内容を確認してみると, ペルソナの数が増えるほど，入力に関わらず，ペル ソナのみに依存した応答をすることが確認できた。

図 3 ペルソナの数による応答の一貫性への影響

図 4

ペルソナの数による応答の多様性への影響

## 6 考察

表 2 の再現したモデルと提案手法では，システム の応答履歴からぺルソナを増やすことで, Dist と C.Score の両方を増加させることが確認できた。一方でペルソナの数を変化させた応答生成において は，ペルソナが増えるにつれて Dist と C.Score は下 がることが確認できている. 原因として，ペルソナ の数による実験では Persona-Chat に定義されている 語彙を多く含むペルソナを追加しているため，モデ ルが機能し，複数のペルソナに沿った応答ができて いるため Dist が下がったことが考えられる。一方 で，提案手法の実験では応答からペルソナを抽出し 追加しているため, Persona-Chat のペルソナに含ま れていない語彙を含んだペルソナが追加される可能性がある. そのためモデルが機能せず Dist が上がっ ていると考えられる。実際に学習データに定義され ているペルソナのサブワードの種類が 3,940である のに対し, 応答生成に使用したペルソナの内 1,567 が学習データに含まれていない語であった.また, ペルソナの数が 20 個程度になるまで Dist が低下し， それ以降はまた増加するのに関しても，同様にモデ ルが機能する限界と考えることができる。次に，ぺ ルソナが 64 個以上の場合にスコアが同じになって しまった現象については，ペルソナ 1 つに含まれる 単語数がおよそ 6,7 個であることから，64 個より 大きいペルソナを設定した場合に，エンコーダの上限に達してしまったと考えられる．C.Score につい ては， ペルソナが増えることで一貫した応答ができ ないことが確認できた. しかし 20 個以上の場合は, ペルソナをランダムで選択しているため，その影響 もあることが考えられる。

## 7 まとめ

本研究では，システムの応答履歴でペルソナを更新することで応答生成に与える影響を分析した。ぺ ルソナの数による応答生成への影響の実験から，学習データに含まれていない語彙を持ったペルソナに 対してはモデルが機能しないことや, ペルソナの数 が膨大だと応答が固定化されることが示唆された. そのため, 今後の課題として, 未知語に対応でき, かつ応答生成に必要なペルソナのみを選択できるモ デル構築が必要だと考えられる.

## 参考文献

[1] Zhang et al. Personalizing dialogue agents: I have a dog, do you have pets too? arXiv preprint arXiv:1801.07243, 2018.

[2] Mazaré et al. Training millions of personalized dialogue agents. arXiv preprint arXiv:1809.01984, 2018.

[3] Welleck et al. Dialogue natural language inference. arXiv preprint arXiv:1811.00671, 2018

[4] Song et al. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proc. ACL-IJCNLP, 2021.

[5] Zhengyi Ma et al. One chatbot per person: Creating personalized chatbots based onimplicit user profiles. In Proc. SIGIR, 2021. ACM, 2021.

[6] Williams et al. A broad-coverage challenge corpus for sentence understanding through inference. arXiv preprint arXiv:1704.05426, 2017

[7] Li et al. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015.

[8] Lin et al. Personalizing dialogue agents via meta-learning. arXiv preprint arXiv:1905.10033, 2019.

[9] Dinan et al. The second conversational intelligence challenge (convai2). arXiv preprint arXiv:1902.00098, 2019.

## A 付録

## Persona-Chat

Conv AI2 Persona-Chat (Dinan et al., 2019) [9] は，大規模なタスク指向ではない大規模なデータセット で，1,155 人の個性的なキャラクターが含まれて おり，それぞれが少なくとも5つのプロフィール 文で構成されている。このデータセットは，Zhang らの作成した Persona-Chat (Zhang et al., 2018) [1] を 応答候補が複数になるよう拡張したものである。 Persona-Chat は Amazon Mechanical Turk で収集され ており，ペアの話者はそれぞれ与えられたプロ フィールを条件に対話を行ったデータが収録されて いる.

本研究ではこのコーパスを 121,880 の学習用に, 9,558 を検証用に，7,504をテスト用に分割して使用 した.

## MNLI コーパス

Multi-Genre Natural Language Inference (MNLI) コー パス (Williams et al., 2018) は文章理解のための機械学習モデルの開発・評価に使用するために設計され たデータセットで，およそ 43 万件の自然言語推論 (文の含意関係の認識) のために利用可能なコーパス である.

データの内訳は, 含意が 130,615, 中立が 130,590,矛盾が 130,590 となっている.


# Minecraft での人間同士の共同作業における対話の分析

市川拓茉 1 東中竜一郎 ${ }^{2}$
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{ichikawa. takuma.wø@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

近年，共同作業が可能な対話システムの構築に向 けた研究が盛んに行われているが，創造的な課題の 遂行に関する研究はほとんどなされていない. 本研究では，創造的な共同作業が可能な対話システムを 目指し，その基礎データとして，Minecraftでの人間同士の共同作業データ 500 対話を収集した. 加え て，質の高い共同作業に重要な対話的要因を調べる ために，質の高い共同作業と対話との関係性を分析 した. その結果，質の高い共同作業のためには，作業者の間で同意を求め, それに対して同意していく プロセスをより多く行うことや，序盤にある程度の イメージを合意したうえで作業を進め，その後，実物を見ながら修正箇所や細かい部分を話し合うこと が重要であることが分かった.

## 1 はじめに

対話システムと会話をする機会の増加に伴い $[1,2]$, 近年では，より高度な対話システムを目指し て，人間と協調的にタスクを遂行する共同作業型の 対話システムの研究が始まっている $[3,4]$.

対話システムにおける共同作業の研究では,

サンドボックス型の 3D ゲームである. プレイヤー はアバターを操作することで Minecraft の世界で自由に活動することができる。また，マルチプレイに 対応しており, 複数のプレイヤーが同一の環境で共同作業をすることが容易である. Minecraft を用いた 研究の多くは所定の問題を解決するタイプの共同作業に関するものであり $[7,8,9]$, 創造的な共同作業 についてはほとんど検討されていない。人間とシス テムが協働する社会の実現のためには，システムは 単に命令されて行動するのではなく, 人間の仲間と して共同で価値を創造していくことが重要である.本研究では，人間とシステムが共同して新しい

ものを作りだす創造的な共同作業を遂行できる対話システムを目指し，その基礎的なデータとして， Minecraft での人間同士の共同作業データを収集し分析した. 具体的には，創造的な共同作業として共同建築タスクを設定し，Minecraft で作業を行う過程 のテキストチャット，行動ログ，作業後のアンケー トを収集した．また，共同作業の質を評価するため に，収集された作品に対して個性と美しさの観点か ら第三者評価を収集した。主観評価および第三者評価の高い共同作業に重要な対話的特徴について分析 した結果，質の高い共同作業のためには，作業者の 間で同意を求め，それに対して同意していくプロセ スをより多く行うことや，序盤にある程度のイメー ジを合意したうえで作業を進め，その後，実物を見 ながら修正箇所や細かい部分を話し合うことが重要 であることが分かった.

## 2 Minecraft 共同作業コーパス

創造的な共同作業が可能な対話システムの実現に 向けて，共同建築タスクの設定および基礎的なデー タの構築を行った.なお，データ収集の実施にあ たっては，倫理的関連において所属組織の承認を得 ている.

## 2.1 共同建築タスク

Minecraft での創造的な共同作業を実現するため に，2名の作業者が協力して個性的かつ美しい庭を 作成する共同建築タスクを設定した。作成対象を庭 とすることで，作業の難易度と作品のバリエーショ ンを両立できると考えた. また，個性や美しさと いった個人の価値観に左右される基準を設けること により，作業者同士の話し合いによって創造的に作業を行えるようにした。

共同建築タスクでは，テキストチャットを用いて 対話をしながらブロックの操作を行い，個性的か つ美しい庭を作成する. 建築可能範囲は縦横 10 マ ス，高さ 4 マスとした. 使用できるブロックは 17

図 1 共同建築タスクにおける共同作業の様子と作品 (実際に収集したデータから抜粋). 番号は表 1 における発話 IDであり，その発話が行われた時点に対応している.

種類に限った. 作業の制限時間は 20 分である. 以降，共同作業 1 回分のことを 1 対話と呼ぶ.

## 2.2 データ収集の手順

データ収集には Minecraft Java Edition 1.16.5を使用し，データ収集基盤には SpigotMC ${ }^{2}$ を使用する。

収集するデータはゲーム内テキストチャット のほか，ブロックの設置，破壊動作およびプレイ ヤーの移動動作であり，いずれもタイムスタンプ が付与されている. 各動作において収集する情報 は，作業者の位置情報 (座標データ (x,y,z), 視点情報 (yaw,pitch))，動作固有の情報 (チャット内容，ブロッ クの種類等)，建築範囲の情報 $(10 \times 10 \times 4$ の範囲 におけるブロックの種類) である.

また，作業者に対し，共同作業の満足度を問うア ンケートを実施する，アンケートでは，対話におけ る主張や合意，作った作品などについて 7 つの質問 を用意し，5 段階のリッカート尺度を用いて集める。

## 2.3 収集されたデータ

表 2 に今回収集した 500 対話の統計量を示す. データ収集実験にはクラウドソーシング3)で募った 79 名が参加し，1 名当たりの作業回数は平均 12.7 回，最大 24 回であった. それぞれの共同作業は異 なるぺアによって実施された. 1 回の作業時間は約

3) https://www. lancers.jp/表 1 図 1 の作業時の対話

 \\

25 分であり，作業報酬は 1 名当たり 585 円であった.

図 1 に収集された対話における作業の様子，表 1 にその対話内容を示す.この対話では，はじめにメ インとなる要素を話し合って決めてから，それに付 け足す形で細かい部分を作り上げている。

アンケート 7 項目のそれぞれのスコアは，平均が 4.34 から 4.65, 標準偏差が 0.67 から 1.02 であり, 質 の高い共同作業のデータが多く得られた.

## 2.4 作品に対する第三者評価

作業者が主観的によい作品ができたと思っていて も，客観的によい作品とは限らない。そこで，クラ ウドソーシング4)を用いて，収集された 500 個の作品に対してより客観的と思われる第三者評価を実施

4) https://crowdworks.jp/

した. 254 名の評価者が参加した. 1 個の作品に対 して 10 名の評価者が評価を行った. 平均作業時間 は約 42 分であり，作業報酬は 1 名あたり 700 円で あった.

評価者は，はじめに，別途実施した予備実験にお いて収集した 30 個の作品を見て，自身の中で評価基準を定め，その後， 20 個の作品に対して個性と美 しさの観点から評価を行った. 個性と美しさの評価 には 7 段階のリッカート尺度を用いた。

10 名による評価値の平均は，個性が平均 4.84 ，標準偏差 0.73 , 美しさが平均 4.32, 標準偏差 0.75 で あった. 第三者評価についても比較的高いスコアが 得られており, 質の高い共同作業が実施できたこと が確認できた。

## 3 共同作業における対話の分析

将来的に共同建築タスクを実施可能な対話システ ムを構築するために，主観評価および第三者評価の 高い共同作業を可能にする対話的要因を分析した.

## 3.1 共同作業に有用な頻出表現

質の高い共同作業に重要な表現を見つけるため に, 単語頻度の分析を行った. 共同作業の優劣は, アンケートによる作業者の主観評価 7 項目の総和 (満足度) および作品の第三者評価 (個性, 美しさ)の 計 3 つの分類基準によって付け，収集された 500 対話すべてを上位 $20 \%$ と下位 $80 \%$ に分類した。

単体である程度の意味を持つ表現が抽出できる ように, 単語の 4-gram に対して分析を行った. 分析の対象となる表現は収集した 16,221 発話に含ま れる頻出上位 300 個の 4-gram とした. 収集した 500 対話に対して，それがある 4-gramを含むか否か，上位の対話に属するか否かをもとに $2 \times 2$ のクロス 表を作成し，それに対してフィッシャーの正確確率検定を行った. 単語の抽出には形態素解析器として Janome ${ }^{5)}$ を使用した. また，4-gramとして助詞およ び助動詞のみで構成される表現については分析対象 から除外した。

表 3 に各分類基準において上位の対話に有意に多 く見られたものを示す. なお，主観評価による分類 では多数の表現が得られたが, 第三者評価による分類では得られた表現は少数であった.

満足度の高い対話に頻出する表現は主に 2 つに分類できる.1つ目は「がいいですか」「(して)みま

5) https://github.com/mocobeta/janome表 3 分類基準 (満足度, 個性, 美しさ) ごとの頻出表現 ( $\mathrm{p}$値はフィッシャーの正確確率検定による。*は $\mathrm{p}<0.05$ ，** は $\mathrm{p}<0.01)$

 \\

しょうか」，「でどうでしょう」等の相手に同意を求 める表現である。これらは，相手にアイデアを提案 する際や作業の方針を決める際の発話に確認され た. 2 つ目は「なんですよ」，「そうですょね」，「い いですよ!」等の相手に好意的な評価を示す表現で ある.これらは，相手の意見や作ったものに対して 好意的な評価を示し, 同意する際の発話に確認さ れた。

第三者評価の高い対話については，頻出表現があ まり得られなかったが，個性による分類では，「の はどうです(か)」と「っぽくなりました」が確認さ れた.これらのうち,「のはどうです(か)」は相手に アイデアを主張し，それに対して同意を求める表現 である. 美しさによる分類では，6つの表現が得ら れた.これらのうち,「しますか？」,「てみてもい い(ですか)」は相手に同意を求める表現であり，「い いかんじですね」，「もいいと思い(ます)」は相手に 好意的な評価を示す表現である。

これらの分析をまとめると，いずれの分類におい ても同意に関する表現が多く見られた。このことか ら, 質の高い共同作業には作業者間で同意を求め, それに対して同意していくプロセスをより多く含む ことが重要であることが定量的に確認できた.

## 3.2 共同作業の流れの分析

どのような流れの対話が質の高い共同作業につな がるかを調査した. まず，共同作業の流れを分析す るため，発話時における作品の完成度を時系列デー タとしてプロットし，それに対してクラスタ分析を
行った.

共同建築タスクでは 2 名の作業者が協力して作品 を完成させるが，最後まで残っていた部分について はすでに両者が納得していると考えられる. これを 作品の完成度と捉え，以下の様に定義した。

$
\text { 作品完成度 }=\frac{\mid \text { Blocks }_{t} \cap \text { Blocks }_{\text {last }} \mid}{\mid \text { Blocks }_{\text {last }} \mid}
$

Blocks $s_{t}$ は時刻 $t$ に設置されているブロックの集合， Blocks last は最終的な作品に使用されているブロッ クの集合を表す. 発話の時点とその時の作品完成度 を時系列データとし，クラスタリングを行った。ク ラスタリングには $\mathrm{k}-S h a p e[10] を$ 使用した。また，光田ら [11] に従い，作品完成度は平均 0 ，分散 1 の正規分布に従うように正規化した. クラスタリングで は，クラスタ内誤差平方和が下げ止まった箇所が複数存在したため，各クラスタ数による結果を著者の 1 人が確認し，類似するクラスタが出現しないクラ スタ数 6 を選択した。

図 2 亿得られたクラスタを示す. 各クラスタが全体に占める割合は，クラスタ 1 が $4.4 \%$ ，クラスタ 2 が $19.6 \%$ ，クラスタ 3 が $16.4 \%$ ，クラスタ 4 が $3.0 \%$ ，

クラスタ 1 とクラスタ 4 では，終盤に作品完成度が 急増している。序盤に何を作るか話し合いによって 決めた後，黙々と作業を続けた対話がここに含まれ る. クラスタ 3 ，クラスタ 5 では，作品完成度が中盤にやや大きく増加している．序盤に話し合った大 まかな内容で作業を進め, 中盤以降は細かい部分に ついて話し合った対話がここに含まれる. クラスタ 2 とクラスタ 6 については，序盤から終盤にかけて 作品完成度がほぼ一定に増加している. 常に話し合 いながら作業を行い，少しずつ合意を重ねて作品を 作った対話がここに含まれる。

## 3.3 共同作業の流れと評価値の関連

よい共同作業がいずれのクラスタのものなのか を把握するために，得られたクラスタに対して質の 高い対話が頻出するかを調べた．対話を質によって 分類するために，主観評価 7 項目それぞれとその総和，第三者評価 2 項目それぞれの計 10 項目を対話 の評価基準として使用し，そのスコアが高い上位 $20 \%$ 質のよい対話，下位 $80 \%$ 質の悪い対話とし て分類した. 収集した 500 対話に対して，それがあ るクラスタに属するか否か，よい対話に属するか否 かをもとに $2 \times 2$ のクロス表を作成し，それに対し

図 2 作品完成度の時系列クラスタリング結果

てフィッシャーの正確確率検定を行った.

クラスタ 3 では, 第三者評価の「個性」および「美 しさ」によって対話を分類した際に，クラスタ 5 で は，主観評価 7 項目の総和によって分類した際に， それぞれ $5 \%$ の有意水準で質の高い対話が有意に多 く出現することが認められた。一方，クラスタ 2 や クラスタ 6では質の高い対話を有意に多く含むこと は認められなかった. 常に話し合い，合意をしなが ら作業をすることがよりよい共同作業につながると 思われがちだが，そうなっていない点は興味深い。

この分析から，序盤にある程度のイメージを合意 したうえで作業を行い，その後，細部について話し 合って作品を完成させるような共同作業が，いずれ の評価においても重要であることが分かった。

## 4 おわりに

本研究では, 創造的な共同作業が可能な対話シス テムを目指し，その基礎データとして，共同建築夕 スクにおける人間同士の作業の様子を Minecraft を 用いて収集した．また，対話に対する評価を作業者 による主観評価と第三者評価によって行い，それら の評価值が高い対話における特徵を分析した。その 結果，質の高い共同作業のためには，作業者の間で 同意を求め，それに対して同意していくプロセスを より多く行うことや，序盤にある程度のイメージを 合意したうえで作業を進め，その後，実物を見なが ら修正箇所や細かい部分を話し合うことが重要であ ることが分かった.

今後は，イメージを合意するための対話手法，実物について評価したり修正を提案する手法などを検討し，実際にユーザと創造的な共同作業を対話を通 して行うシステムを構築したい。

## 謝辞

本研究は科研費「モジュール連動に基づく対話シ ステム基盤技術の構築」(課題番号 19H05692) の支援を受けた。

## 参考文献

[1] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学. 対話システム（自然言語処理シリーズ）.コロナ 社, 2015.

[2] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[3] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying collaborative discourse theory to humancomputer interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[4] James Allen, Nathanael Chambers, George Ferguson, Lucian Galescu, Hyuckchul Jung, Mary Swift, and William Taysom. Plow: A collaborative task learning agent. In Proceedings of the 22nd National Conference on Artificial Intelligence - Volume 2, p. 1514-1519, 2007.

[5] Arthur Szlam, Jonathan Gray, Kavya Srinet, Yacine Jernite, Armand Joulin, Gabriel Synnaeve, Douwe Kiela, Haonan Yu, Zhuoyuan Chen, Siddharth Goyal, et al. Why build an assistant in minecraft? arXiv preprint arXiv:1907.09273, 2019.

[6] Haruna Ogawa, Hitoshi Nishikawa, Takenobu Tokunaga, and Hikaru Yokono. Gamification platform for collecting task-oriented dialogue data. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 7084-7093, 2020.

[7] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[8] Arne Köhn, Julia Wichlacz, Christine Schäfer, Álvaro Torralba, Joerg Hoffmann, and Alexander Koller. MC-saarinstruct: a platform for Minecraft instruction giving agents. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 5356, 2020 .

[9] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1112-1125, 2021.

[10] John Paparrizos and Luis Gravano. k-shape: Efficient and accurate clustering of time series. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, pp. 1855-1870, 2015.

[11] 光田航, 東中竜一郎, 大賀悠平, 杵渕哲也. 共同図形配置課題における対話の共通基盤構築過程の分析. 言語処理学会第 27 回年次大会発表論文集, 2021.


# 対話介入実験による対話の引き継ぎに有用な情報の調査

山下紗苗 東中竜一郎
名古屋大学大学院情報学研究科
xz.51d.7408@s. thers.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

現状のチャットボットやコールセンタの自動応答 では，完全に自律したやり取りは難しく，必要に応 じてオペレータが介入する必要がある. しかし, ど のような情報をオペレータに提示すればスムーズ に引き継げるのかは明らかでない. 本研究では, 2 人のオペレータがメモを引き継ぎながら一定時間 ごとに交代してユーザと対話する実験を行った。そ して，交代時に用いたメモを分析することで，対話 を引き継ぐ際に必要な情報を実験的に調査した. 雑談，相談，接客の対話タスクを対象に，240回のオ ペレータ切り替えを含む 60 対話を収集した結果，対話を引き継ぐ際には，対話の情報を隣接ぺアや属性値対の形式で提示するのがよいという知見が得ら れた.

## 1 はじめに

近年，ニューラルネットワークの適用に基づく 高精度な自律対話システムが多く研究されてい る [1, 2, 3, 4, 5]. しかし, しばしば矛盾 [6] や誤情報 [7] を含む発話が生成され，対話破綻を引き起こ す. そのような場合，人間が適宜対話に介入乙，対話システムから対話を引き継いで応対を進めること が有用だと考えられる [8]. しかしながら，現状，対話を引き継ぐ際にどのような情報があれば対話をス ムーズに引き継げるかは明らかでない.

本研究では，対話を引き継いだオペレータが対話状況を迅速に把握し，スムーズに対話を続けられる ようにするために，どのような情報を提示すればよ いかを明らかにする．具体的には，2人のオペレー タがメモを引き継ぎながら一定時間ごとに交代して ユーザと対話する実験（図 1 参照）を行い，引き継 ぎに使ったメモを分析することで，対話を引き継ぐ 際に必要な情報を実験的に明らかにする．雑談，相談，接客の対話タスクで実験を行い，複数の対話種別の引き継ぎに共通して必要な情報を調査する.

図 1 対話介入実験の模式図. 2 人のオペレータが，メモ をもとに，一定時間ごとに入れ替わりながらアバタを介 してユーザと対話する。

## 2 関連研究

人間による対話の引き継ぎは，コールセンタでの 入電を適切なオペレータに転送するコールルーティ ングの文脈で行われてきた $[9,10]$. しかし，これら の研究では引き継ぎ時に提示すべき情報は扱われて いない.

近年では，河原ら [8] が傾聴対話をオペレータに 引き継ぐ研究を行っている. 河原らは，オペレータ に提示する情報として，音声認識結果とキーワード の強調表示を用いている。 山下ら [11] は，雑談にお いて，オペレータが対話を引き継ぐ際に，対話履歴 の最後の 5 発話を提示することが有用であると報告 している。しかし，これらの情報が対話の引き継ぎ に最適かどうかは明らかではない. 本研究では，引 き継ぎに必要な情報に想定を置かず，オペレータが 作成する引き継ぎ用のメモに着目し，必要な情報を 実験的に調査する。

本研究は，対話内容を即座に把握するための対話の構造化に関するものと言える. 対話の構造化 には，トピックセグメント [12,13]，談話セグメン 卜 [14]，情報状態 [15]，隣接ペア [16,17, 18] などが 利用されてきた. 本研究では，これらの構造化の方法を念頭に置きつつ，オペレータが作成したメモを もとに，対話の引き継ぎにおける，適切な対話の構造化の方法を調査する.

(a) 雑談におけるメモ例

(b) 相談におけるメモ例

(c) 接客におけるメモ例

図 3 実験終盤の，対話終了後のメモの例. (a) (c) オペレータとユーザの発話を左右に分け，隣接ぺアのように発話同士 を矢印で結んでいる。(b) 隣接ぺア形式と属性值対形式で情報をまとめている.

図 2 雑談の対話例. 入れ替わり前のオペレータを $\mathrm{O} 1$,入れ替わり後のオペレータを $\mathrm{O} 2 ＼mathrm{~ ， ユ ー サ ゙ を ~ U ~ て ゙ 示 す . ~}$

## 3 対話介入実験

対話の引き継ぎに必要な情報を調査するために，対話に関するメモを引き継いで対話する実験（対話介入実験）を実施した。

## 3.1 実験の概要

対話介入実験の模式図を図 1 に示す. 本実験で は，2人のオペレータが一定時間ごとに入れ替わっ て 1 人のオペレータとして振る舞い，1 人のユーザ と対話する。なお，一方のオペレータがユーザと対話をしている間，もう一方のオペレータは別のユー ザと対話をしている．切り替えでは，各オペレータ は応対するユーザを交換する。すなわち，この実験 では 2 つの対話がパラレルに実施されている。これ
は主に時間効率のためであるが，直前の対話から次 の対話に即座に切り替えることは認知的負荷が高い と考えられ，そのような状況で作られるメモは対話 を即座に把握できる有用なものになりうる。

オペレータ役として男女 2 名ずつ，合計 4 名を募集し，女性同士（オペレータペア 1)，男性同士（オ ペレータペア 2）の2つのペアに分けた. ユーザ役 として 20 名を募った.

複数の対話タスクを実施することで多様な対話の 引き継ぎに必要となる要素を洗い出すことができ ると考え，雑談，相談，接客という 3 種類の異なる 対話タスクを用意した．雑談では，ユーザが自身の 最近はまっていることについて話した。対話サービ スを意識し，オペレータにはどちらかと言えば聞き 手に回るよう指示した. 相談では，オペレータが旅行代理店店員となってユーザの旅行計画の相談に 乗った．相談にリアリティをもたせるため，旅行地 には，対話の参加者があらかじめ知識を持たない地名としてスロベニアを選んだ。接客では，オペレー タがユーザの要望を聞き，あらかじめ用意された 3 機種の掃除機から 1 機種を推薦した。

各オペレータペアは 10 名のユーザと 3 回ずつ対話（対話タスクをランダムな順番で 1 回ずつ実施） し，実験全体で 60 回の対話を行った.

## 3.2 オペレータの入れ替え

1 つの対話の長さは 10 分とし，対話開始から 2 分， 4 分， 6 分， 8 分が経過した時点でオペレータ を入れ替えた. オペレータが入れ替わることにつ

いて，ユーザには知らせていない。対話は，ウェブ 会議システムの $\mathrm{Zoom}^{1)}$ を用いビデオをオンにして 行った. ただし, ユーザがオペレータの入れ替わり を判別できないように，オペレータはボイスチェン ジャ2)を用い，アバタ3)を介して対話した.

オペレータには，対話を行っている最中に，対話 を引き継ぐためのメモを取るように指示した. 引き 継ぎに際してどのような情報が必要かの予断を持た せないため，メモの書き方は指定しなかった. グラ フィカルな情報が必要になる可能性があるため，メ モは電子的ではなく，A4 サイズの用紙 1 枚の片面 に手書きで記入させた。メモは 1 つの対話につき 1 つとし，入れ替わりのタイミングで次のオペレータ に手渡しで引き継がれるものとした（オペレータ同士は物理的に近いブースに配置した)。入れ替わっ たオペレータは，メモを参考にして対話を引き継 ぎ，必要に応じて新たに情報を追記した。

図 2 に対話例, 図 3 にメモの例を示す. 2 人の才 ペレータのうち，一方のオペレータは黒色でメモを 取り，他方のオペレータは赤色でメモを取ってい た. 各対話の発話，手書きのメモ，ディスカッショ ンで行われた発話の内容を分析するためこれらを書 き起こした。

## 3.3 アンケート

オペレータとユーザは，各対話について，7 段階 リッカート尺度で対話に関する 13 個のアンケート 項目（自然性，目的達成，満足度，文脈理解困難，次発話困難，他メモ有用，自メモ有用，連携，内容理解，個性，一貫性，信頼，注意）について同意の 程度を回答した。

加えて，オペレータとユーザは，3種類の対話夕 スクを終えるごとに，対話タスクのうち最も話しや すかった/話しにくかったものを回答した. オぺ レータについてはさらに，もう一方のオペレータと の連携が最も円滑だと感じた/円滑でないと感じた 対話タスクについても回答した。

オペレータのペアは，対話を終えるごとに，10 分程度で，実施した対話の振り返りやメモの取り方の 改善方法についてのディスカッションを行った.

## 4 対話およびメモの分析

表 1 対話あたりの発話時間，発話回数，文字数，単語数，異なり単語数. 括弧内は発話あたりの文字数. オぺ レータを $\mathrm{O} ＼mathrm{~ ユ ー サ ゙ を U て ゙ 表 す . ~}$

## 4.1 対話の統計量

表 1 にオペレータ/ユーザごとの対話統計量を 示す. 10 分程度の対話の中で，オペレータは 80〜 90 回，ユーザは 70～90 回程度の発話を行った. 対話の傾向は対話タスクごとに異なっていた。具体的 には，相談と接客では，オペレータの 1 発話あたり の文字数が多かった. これらの対話では，対話の主導権がオペレータにあったと考えられる。 それに対 して雑談では，オペレータが聞き手に回ったことか ら，対話の主導権はユーザにあったと考えられる。

## 4.2 メモの統計量

表 2 に，対話タスクごとのメモの文字数，単語数，異なり単語数，矢印の数を示す. メモの文字数と単語数は，ユーザの 1 発話あたりの平均文字数におお むね比例しており，相談，接客，雑談の順に多い.雑談は異なり単語数が多く, 多様な話題が話されて いることが分かる.

図 4 に，対話ごとに取られたメモの文字数の推移 を示す.オペレータペア 1 のメモの文字数は 2 回目 でピークを迎え，その後は文字数を減らして収束傾向にあった。最も序盤のメモを除き，オペレータと ユーザの発話は左右に分けて記載されていた. オぺ レータペア 2 の相談と接客のメモの文字数は，実験 の序盤から終盤まで大きく変化せず，メモのフォー マットも変化しなかった. 全体としてメモの文字数 とフォーマットは，オペレータペアごと，対話タス クごとにほぼ収束した.

図 4 メモの文字数の時系列遷移. 横軸は 2 人のユーザへ の応対を終えた回数を表す。 3.2 節の通り，オペレータは 二人のユーザと入れ替わりながら対話をした. ここでは，並行して行われた 2 つの対話のメモの文字数の平均をプ ロットしている.

## 4.3 メモの分析

雑談や接客のメモでは，図 $2 \mathrm{a}, 2 \mathrm{c}$ のように矢印が 多用された．矢印は「高い？ $\rightarrow 100$ 万円のギター $\rightarrow$ えー！！高い。」ように，ユーザの発話に対する オペレータの反応という隣接ぺアの関係を表してい ると言える．また，オペレータによると，雑談では オペレータとユーザの発話を左右に分けてメモを取 る方法が有用とのことであった. オペレータの発話 をメモしておく理由は，矛盾をなくすためである。雑談の聞き手は，相槌を打つだけでなく，発話内容 に同意したり，聞き手自身の意見や感想を述べたり する。したがって，聞き手であるオペレータが入れ 替わった際に，入れ替わる前と異なる内容の発話を しないようにオペレータ自身についてのメモを取る 必要がある.

相談のメモを図 $2 \mathrm{~b}$ に示す.メモの下半分には隣接ペアの形式でメモが取られているが，メモの上半分には「滞在日数| 3 泊 4 日」のように属性値対形式で情報が記入されている．相談や接客では，オぺ レータがユーザから聞き出すべき情報は決まってい ることが多い，既に聞き出した情報とまだ聞き出し ていない情報がひと目で把握できるという点で，属性値対形式も有用と考えられる。

## 4.4 ディスカッションの分析

あるオペレータはディスカッションで，入れ替わ り直後はメモをじっくり読む時間がないため，メモ
の一番下に記載された，最新の 1 行だけを参照して 発話していたと述べた. そして，何かしら発話した うえで，メモの履歴をさかのぼって内容を確認して いたとのことである．対話の引き継ぎでは，直前の 対話履歴を参照でき，必要に応じて過去の対話履歴 を効率的に参照できるような情報提示が有効である と考えられる。

## 4.5 アンケート結果の分析

アンケートの結果，オペレータは，3 種類の対話 のうち特に雑談について，自然性や満足度の高い対話ができ，メモも有用で，文脈理解や次発話作成 に困難が少なかったと回答した. Bonferroni 補正を 行った Wilcoxon の順位和検定を実施したところ，次発話困難（何を話せばよいか分からないことがあっ た）については雑談-相談間で，他义モ有用（もう 一方のオペレータのメモは役に立った）について は雑談 - 接客間で， $1 \%$ の有意水準で差が見られた. メモにおいて隣接ペアが多用された雑談が引き継 ぎやすいと評価されていることから，隣接ぺア形式 のメモの有効性が示唆された。他のタスクにおいて も他义モ有用の評価は 7 段階中 6 前後と高かった. ユーザのアンケート評価は対話の種類に拠らずどれ も 7 段階中 4 を超えており，オペレータの入れ替わ りがあっても問題なく対話できていることが確認で きた。

なお，3 種類の対話タスクを比較するアンケート では，オペレータは，3種類の対話タスクのうち雑談が最も話しやすく，かつオペレータ間の連携が円滑だったと回答した。相談と接客のような，タスク 遂行の正確性が重要となる課題については，比較的引き継ぎが難しいことが示された.

## 5 おわりに

本稿では，対話の引き継ぎに必要な情報を実験的 に調査した，具体的には，雑談，相談，接客に対し て介入実験を行い，オペレータが作成したメモを分析した。その結果，隣接ペア形式および属性値対形式での情報が引き継ぎに有用であることが分かっ た. 今後は，対話の引き継ぎに適したインタフェー スを実装していきたい．例えば，対話履歴から隣接 ペアを抽出して対話を要約する，対話履歴から属性值対形式で所定の情報を抽出する，などの要素技術 に取り組む予定である。今後は，そうしたインタ フェースの実装を行い，その有用性を検証したい。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Jan Pichl, Petr Marek, Jakub Konrád, Petr Lorenc, Van Duy Ta, and Jan Šedivỳ. Alquist 3.0: Alexa prize bot using conversational knowledge graph. arXiv preprint arXiv:2011.03261, 2020.

[3] Wenjie Ou and Yue Lin. A clarifying question selection system from ntes_along in convai3 challenge. arXiv preprint arXiv:2010.14202, 2020.

[4] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like opendomain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[5] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, 2021.

[6] Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, and Masahiro Mizukami. Integrated taxonomy of errors in chatoriented dialogue systems. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 89-98, 2021.

[7] K Shuster, S Poff, M Chen, D Kiela, and J Weston. Retrieval augmentation reduces hallucination in conversation 2021. arXiv preprint arXiv:2104.07567, 2021

[8] Tatsuya Kawahara, Naoyuki Muramatsu, Kenta Yamamoto, Divesh Lala, and Koji Inoue. Semi-autonomous avatar enabling unconstrained parallel conversations-seamless hybrid of woz and autonomous dialogue systems-. Advanced Robotics, pp. 1-7, 2021.

[9] Allen L Gorin, Giuseppe Riccardi, and Jeremy H Wright. How may I help you? Speech communication, Vol. 23, No. 1-2, pp. 113-127, 1997.

[10] Marilyn Walker, Irene Langkilde, Jerry Wright, Allen L Gorin, and Diane Litman. Learning to predict problematic situations in a spoken dialogue system: experiments with How may I help you? In Proceedings of the 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 210-217, 2000.

[11] 山下紗苗, 東中竜一郎. 雑談に介入する際に必要な対話要約 の調査. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, pp. 86-91, 2021.

[12] Marti A Hearst. Text tiling: Segmenting text into multi-paragraph subtopic passages. Computational linguistics, Vol. 23, No. 1, pp. 33-64, 1997 .

[13] Feng Jiang, Yaxin Fan, Xiaomin Chu, Peifeng Li, Qiaoming Zhu, and Fang Kong. Hierarchical macro discourse parsing based on topic segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13152-13160, 2021.

[14] Barbara Grosz and Candace L Sidner. Attention, intentions, and the structure of discourse. Computational linguistics, Vol. 12, No. 3, pp. 175-204, 1986.

[15] Staffan Larsson and David R Traum. Information state and dialogue management in the trindi dialogue move engine toolkit. Natural language engineering, Vol. 6, No. 3-4, pp. 323-340, 2000.
[16] Emanuel A Schegloff. Sequence organization in interaction: A primer in conversation analysis I, Vol. 1. Cambridge university press, 2007.

[17] Amy BM Tsui. Beyond the adjacency pair. Language in Society, Vol. 18, No. 4, pp. 545-564, 1989.

[18] 榎本美香, 伝康晴, 松坂要佐. 3 人会話における談話行為と 受け手のラベリングとその基礎的分析. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 45, pp. 7-12, 2005.