# 負例を厳選した対話応答選択による対話応答生成システムの評価

佐藤 志貴 $\dagger$ ・赤間 怜奈 $\dagger,+\dagger+$ 大内 啓樹 ${ }^{\dagger,+,+,+\dagger \dagger}$ ・

雑談対話応答生成システムの日々の改良が望ましい方向に効いているか継続的に評価するといった用途として，システムを低コストで評価できる自動評価の枠組みの 確立が求められている。しかし，BLEU など，応答生成の自動評価に広く用いられ ている既存の指標は人間との相関が低いことが報告されている。これは，一つの対話履歴に対し適切な応答が複数存在するという対話の性質に起因する。この性質の 影響を受けにくいシステムの評価方法の一つに対話応答選択が考えられる。対話応答選択は，対話履歴に対し適切な応答を応答候補から選ぶタスクである。このタス クではシステムの応答が候補内の発話に限られるため, 前述した対話の性質の影響 を回避した評価が可能である。一般に対話応答選択では, 対話履歴に対する本来の 応答 (正例) に加え, 誤り候補（負例）を無関係な対話データから無作為抽出し応答候補を構成する。しかし, この方法では, 正例とかけ離れすぎていて応答として不適切と容易に判別できる発話や, 応答として誤りとはいえない発話が負例として候補に混入し, 評価の有効性が低下する可能性がある。本論文では, 負例を厳選する ことで不適切な負例の混入を抑制した対話応答選択テストセットの構築方法を提案 する。構築したテストセットを用いた対話応答選択によるシステム評価が，BLEU など既存の広く用いられている自動評価指標と比べ人手評価と強く相関することを 報告する。

キーワード：対話応答生成, 自動評価, 対話応答選択
## Evaluating Dialogue Response Generation Systems via Response Selection with Well-chosen False Candidates

\author{
Shiki Sato ${ }^{\dagger}$, Reina Akama ${ }^{\dagger, \dagger \dagger}$, Hiroki Ouchi ${ }^{\dagger \dagger, \dagger, \dagger \dagger \dagger}$, \\ Jun SuzukI ${ }^{\dagger, \dagger \dagger}$ and Kentaro InUI ${ }^{\dagger, \dagger \dagger}$
}

Developing an automatic evaluation framework for open-domain dialogue response generation systems that can validate the effects of daily system improvements at a low cost is necessary. However, existing metrics commonly used for automatic response generation evaluation, such as bilingual evaluation understudy (BLEU), correlate poorly with human evaluation. This poor correlation arises from the nature

of dialogue, i.e., several acceptable responses to an input context. To address this issue, we focus on evaluating response generation systems via response selection. In this task, for a given context, systems select an appropriate response from a set of response candidates. Because the systems can only select specific candidates, evaluation via response selection can mitigate the effect of the above-mentioned nature of dialogue. Generally, false response candidates are randomly sampled from other unrelated dialogues, resulting in two issues: (a) unrelated false candidates and (b) acceptable utterances marked as false. General response selection test sets are unreliable owing to these issues. Thus, this paper proposes a method for constructing response selection test sets with well-chosen false candidates. Experiments demonstrate that evaluating systems via response selection with well-chosen false candidates correlates more strongly with human evaluation compared with commonly used automatic evaluation metrics such as BLEU.

Key Words: Dialogue Response Generation, Automatic Evaluation, Response Selection

## 1 はじめに

人間と日常会話などの雑談をおこなう雑談対話応答生成システムは，医療や教育をはじめと した様々な分野で注目され (Litman et al. 2016; Addlesee et al. 2019), 研究開発が活発におこな われている．特に近年，深層学習技術の発展を背景に急速に研究が進行した深層学習べースの 雑談対話応答生成システムは，対話履歴に対して流暢な応答を生成できることが知られている (Zhang et al. 2020b; Adiwardana et al. 2020; Roller et al. 2021). しかし，人間と自然な雑談が 可能なシステムの実現に向けては, さらなる改良の余地がある。たとえば, 近年の雑談対話応答生成システムが生成する応答でさえ自身の直前の発話とは矛盾する主張をするなど，人間同士 の会話では生じないような誤りを含むことがある (Adiwardana et al. 2020; Roller et al. 2021).

システムの改良に取り組むうえで，その性能を費用や時間をかけず低コストで評価する指標の 存在は大きい。たとえば機械翻訳の研究では, システムが生成した翻訳文と参照訳の間の $n$-gram の一致を評価する BLEU (Papineni et al. 2002) という指標がシステム性能の自動評価に用いら れる (Sutskever et al. 2014; Bahdanau et al. 2015; Luong et al. 2015; Vaswani et al. 2017). 機械翻訳の研究において，BLEU は人間による評価に代わるほどの信頼性を持つ評価指標ではな い (Stent et al. 2005; Callison-Burch et al. 2006; Smith et al. 2016)ものの, 人手評価と一定の 相関を持つ評価が可能であることが知られている (Reiter 2018). そこで機械翻訳の研究では, BLEU を用いて一定の精度でコストをかけず評価しながらシステムの改良を繰り返すという効率的な開発プロセスが分野に定着することで，技術が飛躍的に発展した.

一方, 雑談対話応答生成の研究では，機械翻訳研究での BLEU に相当するような分野全体に 共有されている評価指標が存在しているとは現状言い難い。たとえば，雑談対話応答生成シス

テムの自動評価においても BLEU はしばしば用いられる (Sordoni et al. 2015; Wen et al. 2015; Li et al. 2016; Zhang et al. 2020b) が，人手評価との間には相関がまったく認められないことが 報告されている (Liu et al. 2016). この原因として, 対話には一つの対話履歴に対し妥当な応答 が複数存在するという性質が存在することが挙げられる。この性質により, 用意した有限個の 参照応答との $n$-gram の一致を評価する BLEUでは, 参照応答には類似しないが適切な応答が 低く評価される可能性があり，信頼性の高い評価をおこなうことは難しい．たとえば「好きな 果物は？」という対話履歴に対しては「リンゴが好きです。」とい応答も「メロンかな」とい う応答も妥当だが，参照応答が「リンゴが好きなんです。」だった場合，共通した $n$-gram を含 まない後者の応答はスコア 0 として扱われる。雑談対話応答生成システムの自動評価方法の設計にあたっては, この性質への対処が重要となる.

本論文では，この性質の影響を受けにくい雑談対話応答生成システムの自動評価方法として，対話応答選択と呼ばれる選択問題を用いた評価に着目する. 対話応答選択は，与えられた対話履歴に続く適切な応答（以下, 正例と呼ぶ）を選択肢（以下, 応答候補と呼ぶ）から選択する タスクである．雑談対話応答生成システムは応答を生成するためのシステムだが，応答候補中 の各発話の生成確率を計算し, 最も生成確率が高い候補をシステムの選択とみなすことで選択問題を解くことができる。対話応答選択を用いた評価は，次の二つの特長から，分野全体が共有する雑談対話応答生成システムの自動評価指標に適していると考えられる。一つめは, 適切 な応答が複数存在するという対話の性質の影響を回避したシステム評価が可能となる点である.対話応答選択ではシステムの選択する応答が候補内のものに限られるため，適切ではあるが正例と類似しない応答が出力され低く評価されるといった事態を回避できる。 二つめは, システ 么の性能を正解率という統一的な指標で測ることができる点である．BLEU などのシステム応答自体を評価する指標では，単語分割処理などの違いが評価結果に影響を与える可能性がある ため, 先行研究での報告値にもとづいたシステム間の比較が難しい場合がある。一方で, 対話応答選択による評価ではシステムの性能を正解率で測るため, 先行研究の報告値をもとにシス テム性能を比較することが容易である。対話応答選択では，応答生成システムが実際に生成す る応答の質自体を評価することはできないため, 人手評価に代わる評価の枠組みとはなりえな い.しかし, 少なくとも適切な応答を生成可能なシステムであれば適切な応答を選択すること が可能であると仮定すると, システムが適切な応答を生成しうるかを確認することができるた め, 対話応答選択は日々のシステム改良の成果を確認するための継続的な評価への利用に適し た枠組みといえる。

ただし, 従来の対話応答選択の朹組みは負例の獲得方法において改善の余地がある。一般的 に, 対話応答選択の応答候補のうち不正解となる候補 (以下, 負例と呼ぶ) には, 対話履歴や正例 とは無関係な対話データから無作為に抽出してきた発話を用いる (Lowe et al. 2015; Gunasekara et al. 2019) . このとき，無作為抽出により収集された負例には，(a) 正例とかけ離れすぎてい
て容易に負例と判別できる発話や，（b) 応答として誤りとはいえない発話が含まれる可能性があ る.まず (a)について，たとえば「好きな果物は？」という対話履歴に対し「体調が悪いです。」 という発話が負例として抽出されたとする。この発話は対話履歴中の「果物」という単語と明 らかに無関係な「体調」という単語を含む，そのため，単語を比較していくだけで対話履歴と の関連性が低い候補であることがわかり，負例であると推測できてしまう。このような負例の 混入によって, システムが対話の内容を理解していなくとも正解できる選択問題が構築されう る. 次に (b) について, 対話ではある発話が無数の対話履歴に対する応答として成立すること もあるため, 対話履歴や正例と無関係な対話データから負例として無作為抽出した発話が必ず しも応答として不適切であるとは限らない. とりわけ「わかりません」など，さまざまな対話履歴に対して応答として成立し対話データセット中に頻出する発話が, 負例として無作為抽出さ れることが考えられる.このような発話が負例となっている問題については，妥当であるにも 関わらず選択すると不正解と見なされる候補が存在することになり, システムの性能が不当に 低く見積もられるという事態につながる可能性がある。負例を無作為抽出で取得した場合, (a) や (b)のような発話により対話応答選択によるシステム評価の有効性は低下するおそれがある.

本論文では, 雑談対話応答生成システムの自動評価の枠組みとして分野全体で共有される指標の実現に向け，前述した不適切な負例を応答候補から除いた対話応答選択による評価を考え る. 具体的には, 各問題の正例に類似する発話のうち応答として成立しないものたけを厳選し て負例として用いることで, (a)や (b)のような応答候補の混入を抑制した対話応答選択テスト セットの構築方法を提案する。提案する構築方法に従って実際にテストセットを構築し，雑談対話応答生成システムを対話応答選択で評価したところ, 既存の広く用いられている自動評価指標と比べて人手評価と強く相関することを実験により確認した。本論文の主要な貢献は以下 の三点である.
- 雑談対話応答生成システムの評価に適した対話応答選択テストセットの構築方法を提案 した.
- 提案する方法に従い，実際に対話応答選択テストセットを構築し公開した11.
- 提案する方法で構築したテストセットを用いた対話応答選択による雑談対話応答生成シ ステムの評価結果が, 既存の広く用いられている自動評価指標と比べて, 人間による評価結果と強く相関することを実験により確認した.
^{1}$ https://github.com/cl-tohoku/eval-via-selection
}

## 2 関連研究

## 2.1 雑談対話応答生成システムの自動評価

雑談対話応答生成システムは, 医療や教育をはじめとした様々な分野で注目され (Litman et al. 2016; Addlesee et al. 2019), 研究開発が活発におこなわれている. これに伴い, 雑談対話応答生成システムの自動評価の枠組みも多数提案されてきた. 雑談対話応答生成システムの自動評価は, システム応答自体の質を評価する方法と, 適切な応答に高い生成確率を付与可能か測定 する方法が主流である.

システム応答自体の質を評価する方法は，システム応答と参照応答の類似度を評価する指標 (Papineni et al. 2002; Banerjee and Lavie 2005; Lin 2004; Rus and Lintean 2012; Forgues et al. 2014) や，学習したニューラル評価モデルで応答を評価する指標 (Lowe et al. 2017; Tao et al. 2018; Mehri and Eskenazi 2020) が提案されてきた. 前者については，対話では一つの対話履歴 に対して妥当な応答が複数存在しうるため, 適切だが参照応答と類似しない応答が不当に低い 評価を受ける場合があり，人間による評価結果との相関が認められないということが報告され ている (Liu et al. 2016). 後者については, 前者と比較すると人手評価と相関する評価が可能 であることが知られているが, 評価結果の解釈可能性が低いことや, 指標によっては敵対的な 入力に対して誤った評価をする (Sai et al. 2019)ことなどが課題となっている. 以上のような 背景から，どの指標も分野全体に共有される自動評価指標となるには至らず，現時点では，人手評価との相関が認められないものの計算コストが低く先行研究でも報告されてきた (Sordoni et al. 2015; Wen et al. 2015; Li et al. 2016)BLEU が自動評価の参考值として広く用いられてい る (Zhang et al. 2020b; Cai et al. 2020; Zhang et al. 2020a).

適切な応答に高い生成確率を付与可能か測定する方法は, 参照応答に対する雑談対話応答生成 システムの perplexity を計算する方法が広く用いられる (Serban et al. 2016; Parthasarathi and Pineau 2018; Ghandeharioun et al. 2019). システム応答を評価するのではなく, 応答として適切であることがわかっている参照応答がシステムにより生成されやすいかどうかを評価するた め, 対話履歴に対し妥当な応答が複数存在するという対話の性質の影響を受けにくい評価が可能となる。一方で, perplexityの計算はシステムの語彙数などに依存するため, 異なるシステム 同士で値を比較することが難しく，分野で共有する自動評価指標としては適さない.

## 2.2 対話応答選択

対話応答選択は，与えられた対話履歴に続く適切な応答（正例）を応答候補から選択する夕 スクである。たとえば「好きな果物は？」という対話履歴に対し「リンゴが好きです。」と「体調が悪いです。」という二つの応答候補が与えられた場合, 応答として適切な前者を選択すると 正解となる。システムの性能は, 同様の選択問題を複数問解かせたときの正解率によって評価

する。対話応答選択は従来，検索型対話システムの性能評価のためのタスクとして用いられて きた (Zhou et al. 2016; Wu et al. 2017; Zhou et al. 2018). 検索型対話システムは, 応答を生成 するのではなく, 事前に収集しておいた発話の集合のなかから応答として適切な発話を選択す るシステムである。そのため対話応答選択は，検索型対話システムが実際に応答をするときと 同様の問題設定であり，検索型対話システムの評価に適したタスクといえる。

本論文では，対話応答選択を，検索型対話システムではなく応答生成システムの評価に応用 することを考える。

## 2.3 対話応答選択テストセット

対話応答選択テストセットの負例には，対話履歴や正例と無関係な対話データから無作為抽出してきた発話を用いることが一般的である (Lowe et al. 2015; Gunasekara et al. 2019). しか しながら 1 節で述べたように, 無作為抽出された負例は, 正例とかけ離れすぎていて容易に負例と判別できる発話や, 応答として誤りとはいえない発話である可能性があり, 評価の有効性 を低下させうる。

無作為抽出以外の方法で負例を収集した対話応答選択データセットとしては, 検索型対話シ ステムの性能評価のために構築された Douban Conversation Corpus (Wu et al. 2017) が挙げら れる。 Douban Conversation Corpusは，検索型対話システムの運用を想定したかたちで負例を 収集している。具体的には, テストセットの各問題の対話履歴をクエリとして, 対話履歴を取り 出したものとは異なる対話データから検索により集めた発話を応答候補とする，たとえば，あ る問題の対話履歴が「好きな果物は？」であり, 対話履歴をクエリとして「好きな果物はリン ゴです。」という発話が検索された場合，これを応答候補に採用する。この方法は，自身の保持 する発話集合のなかから対話履歴との類似度によって応答候補を絞り达む実際の検索型対話シ ステムの応答選択過程と類似しており，これらのシステムの評価に適したテストセットとなっ ている.

本論文で提案するテストセットの構築方法でも, 対話履歴や正例を取り出したものとは異な る対話データから検索により応答候補を収集するが, Douban Conversation Corpus とは目的や 検索方法が異なる。本論文で構築するテストセットは応答生成システムの性能評価への利用を 前提とするため, Douban Conversation Corpusのように検索型対話システムの応答選択過程と 同様の方法で応答候補を収集する必要がない。そこで, 本論文では, 対話応答選択の問題を構成する正例を直接クエリとして応答候補を収集することで，より確実に適切な応答からかけ離 れた発話が候補に含まれないようにするとともに，5.3.1節で述べるようにシステムの分析にも 有用なテストセットを構築する。

## 3 提案する対話応答選択テストセットの構築方法

する. 図 1 に, 提案するテストセットの構築方法の概要を示す. 本論文では, 次の二つの段階

(b) 応答として誤りとはいえない発話が負例として混入することを抑制したテストセットを構築することを提案する.

（1） 正例に類似する $M$ 個の発話 $\left.\{u_{1}, \ldots, u_{M}\right.\}$ を $\mathcal{U}$ から検索することで負例に用いる発話の候補（以下，負例候補と呼ぶ）を収集する。

（2） $M$ 個の負例候補 $\left.\{u_{1}, \ldots, u_{M}\right.\}$ から応答として成立する発話を人手評価により除いたもの を $\mathcal{R}^{\text {false } と す る . ~}$

(1) 類似発話の検索による負例候補の収集. まず, 正例との類似度にもとづき正例と類似する 発話をリポジトリ $U$ から $M$ 個ずつ検索することで，表層的な手がかりを用いるだけではなく，対話の内容を理解しなければ応答として誤りであると判別できない負例候補を集める。たとえ ば「好きな果物は？」という対話履歴の正例が「リンゴが好きです。」だとすると，これに類似 する「果物が好きです。」という負例は正例と共通して「好き」という単語を含んでおり，単語 の比較だけでは誤りであると識別しにくい。このような負例で応答候補を構成することで，雑談対話応答生成システムが対話履歴や候補の意味を捉えることができるかを評価可能なテスト セットを構築する。実際にテストセットを構築した際に用いた正例との類似度については 4.1 .2 節で述べる。

(2) 応答として成立する発話の人手評価による除去. (1) で検索した負例候補のうち, 応答と

図 1 テストセット構築方法の概要.(1) 正例に類似する発話をリポジトリから検索することで負例候補 を収集し，（2）応答として成立する発話を人手評価により除くことで負例を厳選する。
適切かを高精度で自動評価することは難しいため，除去には人手評価を用いる．各負例候補に ついて 5 人のアノテータに，発話が対話履歴に対する応答として適切かどうかを示すスコアを 付与させる．スコアは 1 から 5 までの 5 段階とする．スコア 5 は発話が与えられた対話履歴に 対する応答として明らかに適切であることを示し， スコア 1 は応答として明らかに不適切であ ることを示す。また, 明らかな文法誤りを含むような発話に対しては，1から 5 までの 5 段階ス コアのかわりにスコア 0 を付与させる． 5 人中 3 人以上のアノテータにより 3 以上のスコアが 付与された, すなわち過半数の評価者によって「応答として適切」または「判別できない」と判断された負例候補は，正例となりうる可能性が一定程度あるものと見なし除去する。また, 本論文ではシステムが文法的に適切な応答を選択可能かどうかを評価することは意図していない ため， 3 人以上 (過半数) のアノテータによりスコア 0 が付与された負例候補は, 文法誤りを含 む可能性が高いと見なして除去する.

## 4 提案法を用いたテストセットの構築

3 節で提案した構築方法をもとに実際に対話応答選択テストセットを構築した。本節では, テストセット構築時の詳細な設定について述べたうえで，構築したテストセットの概要を説明 する。

## 4.1 テストセット構築時の詳細設定

## 4.1.1対話履歴および正例の収集とリポジトリの構成

対話履歴と正例の収集には, DailyDialog (Li et al. 2017)を用いた. DailyDialogは, 英語学習者向けの英会話例を収集した対話データセットであり，幅広いトピックを取り扱っているこ とに加え, 誤字や文法誤りといったノイズが少ないという特徴を持つ. DailyDialog の各対話の 冒頭の 4 発話を冒頭対話として取り出したうえで, 冒頭対話のうち最初の 3 発話を対話履歴, 4 発話目をそれぞれの対話履歴に対する応答の正例として収集した2．DailyDialogには，一部の 単語を除き完全一致するなど極端に類似する対話デー夕同士が含まれているため, Jaccard 係数 により各冒頭対話同士の類似度を計算し，類似する冒頭対話のうち一方を除去した．Jaccard 係数は二つの文書の表層的な類似度を測る指標であり, 文書 $a$ と文書 $b$ の類似度は次式で計算さ れる。

$
J(a, b)=\frac{|\operatorname{set}(a) \cap \operatorname{set}(b)|}{|\operatorname{set}(a) \cup \operatorname{set}(b)|}
$
^{\mathrm{false}}$ から除去するコストが高くなるため, 対話履歴を 3 発話で 固定した。
}

ここで, $\operatorname{set}(a)$ は文書 $a$ に含まれる単語からなる集合である. 各冒頭対話に対し Jaccard 係数 が 0.5 以上の冒頭対話が他に存在した場合，両対話は類似しているとして一方を除去した。さ らに，単語数が 4 以下もしくは 31 以上であるような発話を含む冒頭対話を除去し ${ }^{3} ， 7,393$ 個 の対話履歴および正例が得られた。1,000 問程度の対話応答選択問題からなるテストセットを 構築することを目標とし, ここから 1,006 個の対話履歴および正例を無作為抽出した.

負例候補の検索に用いるリポジトリU の構成には OpenSubtitles2018 (Lison et al. 2018) を用 いた. OpenSubtitles2018 は映画の字幕を収集したデータセットであり，多様な発話が大量に収集可能である。データセットに含まれる発話のうち，単語数が 5 以上かつ 30 以下のものを収集 した 4 . 重複を除き，最終的に約 0.85 億個の発話からなる $\mathcal{U}$ が得られた。

## 4.1.2表層と分散表現にもとづく負例候補の検索

4.1.1 節で抽出した 1,006 個の対話履歴に対し，多様な負例候補を収集するため，表層にもと づく検索と分散表現にもとづく検索の二つの方法を用いて発話を検索した. 各検索方法で 5 発話ずつ検索することで，対話履歴一つあたり合計 10 発話の負例候補を収集した.

表層にもとづく検索では, クエリである正例に含まれている単語とどれだけ同じ単語を含 むかにより，正例に表層的に類似する負例候補を収集した．検索には全文検索エンジンである Lucene ${ }^{5}$ を用いた. U に含まれる発話のインデックスを作成したうえで，正例をクエリとして与 えたときにLucene により計算されるスコアが高い上位 5 発話を $\mathcal{U}$ から取り出した.

分散表現にもとづく検索では，正例との文べクトルの類似度により，正例に意味的に類似す る負例候補を収集した，文べクトルの計算は，少ない計算量で高品質な文べクトルが算出可能 な Arora らの方法 (Arora et al. 2016) を参考にした. 具体的には, 各発話に含まれる単語全て について単語べクトルを計算し, これら単語べクトルの重み付き平均を文べクトルとした. 単語 $w$ の重み $\alpha(w)$ は以下の式により計算した.

$
\alpha(w)=\frac{a}{a+f(w) / N}
$

ここで, $f(w) / N$ は単語 $w$ の出現確率であり, 本論文では $f(w)$ を $\mathcal{U}$ 中に単語 $w$ が出現する回数, $N$ をU に含まれる全単語の数として計算した. $a$ は定数であり, 本論文では $a=10^{-3}$ と した. 文べクトルの計算に必要となる単語べクトルには ELMo (Peters et al. 2018)を用いた6 正例および $\mathcal{U}$ 中の各発話の文ベクトルを計算したうえで，正例の文べクトルとコサイン類似度 が高い文べクトルを持つ上位 5 発話をリポジトリから取り出した.

## 4.1.3人手評価による負例候補除去の実施

1,006 個の対話履歴に対して収集した負例候補から，応答として成立するものを除去するた めに，クラウドソーシングサービス Amazon Mechanical Turkを用いた人手評価を実施した.

図 2 に，実際にアノテータへ見せたスコア付与方法の説明画面を示す。また, 図 3 にスコア 付与の作業画面を示す. アノテータが解くタスクは 7 問 $(\mathrm{Q} 1 \sim \mathrm{Q} 7)$ からなり, 各問が一つの対話応答選択の問題に相当する。アノテータには，一問あたり 11 個の発話それぞれに対し， 3 節 で述べた応答の適切性に関するスコアを付与させた8 8 . スコアを付与する 11 個の発話は, 正例 と，その正例との類似度にもとづき収集された 10 個の負例候補からなる。そのため, アノテー 夕は一問あたり 1 個，タスクあたり合計 7 個の正例にスコアを付与することになる. 正例に対 して低いスコアばかりを付与するアノテータは信頼度が低いとして，夕スクに含まれる 7 個の 正例のうち 4 個以上にスコア 3 以下のスコアを付与した場合はそのタスクを不採用とした。ま た, 信頼性の高い評価を効率的におこなうために, bot や不誠実な作業者がタスクに参加するこ とを防ぐ目的で, Amazon Mechanical Turk 上で過去に解いてきたタスクの不採用率が $5 \%$ 未満 であり，かつ過去に 1,000 回以上タスクを採用されたアノテータのみがタスクに参加できるよ う設定した。

表 1 に，人手評価による負例候補除去の結果を示す. 本論文では表層にもとづく検索と分散表現にもとづく検索の二つの方法を用いて負例候補を検索したが，分散表現にもとづく検索で は，表層にもとづく検索と比べ，負例にあたる発話や文法誤りを含む可能性のある発話の割合 が低く，正例の可能性がある発話の割合が高かった.

## 4.1.4 テストセットに用いる問題の選定

人手評価による負例候補除去の結果を踏まえ, テストセットに用いる問題を選定した. 最初 に対話応答選択一問あたりの負例数を決定したうえで，決定した負例数以上の負例候補が人手評価を経て残っている問題をテストセットに採用した.

4.1.3 節で述べた人手評価の実施後, 1,006 問のうち 876 問については 3 個以上の負例候補が 除去されずに残った。そこでまず負例数を 3 で固定したうえで， 876 問については除去されな

## 4.1.5 テストセットのかさ増し

4.1.4 節でテストセットに採用した問題のうち， 6 個以上の負例候補が除去されず残り，かつ 別の正例が用意可能なものについては, 正例 1 個と負例 3 個からなる応答候補集合を二つ作成

## Instructions

Given the chat between person $\mathbf{A}$ and person B, evaluate the quality of $B$ 's response.

## Task description

First, you are given the chat between person $\mathbf{A}$ and person $\mathbf{B}$.

A: $\mathrm{Hi}$.

B: Hi, how are you?

A: Not bad. How are you?

Then, you are given 11 candidate responses of $\mathbf{B}(\# 1 \sim \# 11)$ to the chat.

. \#1: I'm tired.
- \#2: That's my pen.

...
- \#11: Tired can tired.

The task is to evaluate the quality of each candidate on a six-point scale (score 0-5):

. "good response" means the response fits the chat.
- "wrong response" means the response doesn't fit the chat.
- "maybe" means you think so but some people may have the opposite opinion.
- "unsure" means you can't decide between good and wrong.

In the above example:
- \#1: I'm tired. $\downarrow$ score 5 (\#1 fits the chat)

. \#2: That's my pen. L score 1 (\#2 doesn't fit the chat)

...
- \#11: Tired can tired. 2 score 0 (\#11 contains grammatical errors)

In addition, answer how confident you are in your evaluation.

図 2 スコア付与方法の説明図.

## Q1

A: Are you a wrestler or a boxer?

B: No.Why?

A: Your muscular shoulders and chest impress me so.

\#1. B: I don't know, every day is a bit different, really.

Evaluation of response

$-1$

How confident?

図 3 スコア付与の作業画面.

表 1 人手評価による負例候補除去の結果.

できる。そこで，これらから対話履歴を共有するが応答候補が異なる二つの対話応答選択問題 を作成することで，テストセットをかさ増しした。

具体的には，負例候補のうち人手評価において 5 人全員のアノテータにより 4 以上のスコア を付与されたものは，適切な応答である可能性が高いため, 二つ目の正例とした. 二つ目の正例を有する問題のうち，除去されず残った負例候補がもともと 6 個以上ある場合，一つ目の問

により，876 問から二つ目の対話応答選択問題を合計 143 問構築し, 最終的に 1,019 個の対話応答選択問題からなるテストセットを構築した。

## 4.2 構築したテストセットの概要

## 4.2.1テストセットの統計情報

表 2 に構築したテストセットの統計量を示す。また同表に，人手評価による負例候補除去の 信頼性を確認するために計算した，アノテータ間でのスコア付与の一致率を示す. アノテータ によるスコア付与を 0 から 5 までの 6 クラス分類と考えたとき, Fleiss' kappa は 0.22 となった. また，スコア付与を Douban Conversation Corpus (Wu et al. 2017) で実施した人手評価と同様 に 2 クラス分類と考えると ${ }^{9}$, Fleiss' kappa は 0.63 であり, Doucan Conversation Corpus の 0.41 を上回る結果となった。これらのことから，発話除去に用いる人手評価の信頼性は十分に高い と考えられる。

## 4.2.2 構築したテストセットの例

表 3 に，テストセットに含まれる問題の例を示す。表中の三つの負例は応答として不適切で ある一方で，対話履歴の “camera” という単語に関連する“focus” という単語を正例同様に含ん

表 2 構築したテストセットの基本統計量およびアノテーションの一致率.

## 対話履歴:

話者 A. Excuse me. Could you please take a picture of us with this camera?

話者 B. Sure. Which button do I press to shoot?

話者 A. This one.

## 応答候補:

1. Could he not focus on that?

2. But I do have ninja focus.

3. Do not lose your focus!

4. Do I have to focus it? [正例]

表 3 構築したテストセットの例．各負例が正例同様に対話履歴に関連する単語“focus”を含む．
^{9}$ Douban Conversation Corpus では，収集した応答候補に対して応答として適切かどうかの 2 值を人手評価してい る.これに合わせるため，スコア 4 以上を適切な応答とみなし， スコア 3 以下を適切ではない応答とみなした
}

でいる。この問題のように，対話履歴に関連する単語が負例に含まれている場合，各候補に含ま れる単語のみから対話履歴との関連性を推測し正例を識別することは困難であると考えられる.

## 4.2.3 予備実験：TF-IDF モデルによる本テストの正解率

構築したテストセットが，対話履歴や応答候補の意味を考慮せず応答を選択するシステムに とって，実際に正解しにくいものになっているかを確認した.

対話履歴や応答候補の意味を考慮せず応答を選択するシステムとして, TF-IDF モデル (Lowe et al. 2015）を用意した．TF-IDF モデルは，対話履歴と各候補それぞれに対してTF-IDFべク トルを計算し, 対話履歴の TF-IDF ベクトルとのコサイン類似度が最も高くなる候補を選択す る. TF-IDFベクトルは次元数が語彙数と等しく, 各次元が語彙に含まれる一単語に対応する ような文書（発話）のベクトル表現である。文書 $d$ のベクトルにおいて単語 $w$ にたる次元の 値は次式で計算される。

$
\operatorname{tf}-\operatorname{idf}(w, d, D)=f(w, d) \log \frac{|D|}{\left|\left.\{d^{\prime} \in D: w \in d^{\prime}\right.\}\right|}
$

ここで，D W TF-IDF モデルのモデリングに用いる文書集合 ${ }^{10}, f(w, d)$ は文書 $d$ に単語 $w$ が出現する回数である．TF-IDF モデルは，D上で出現頻度の低い単語が対話履歴と候補の両方に 多数含まれる場合に高いスコアを算出する。そのため，TF-IDF モデルで正解率が高い対話応答選択のテストセットは，対話履歴や各候補の意味を捉えなくとも単語の重複情報だけで負例 が識別できてしまう問題が多いことを意味する.

構築したテストセットにおいて, TF-IDF モデルの対話応答選択の正解率は 0.46 となった.比較のために，構築したテストセットの負例をリポジトリ Uから無作為抽出した発話に置き換 えたところ, 正解率は 0.67 となった. 従来のテストセットの構築方法と同様に負例を無作為抽出で収集した場合に比べ，本テストセットにおける TF-IDF モデルの正解率が大きく低下して いることから，構築したテストセットの負例は単語の重複情報を考慮するだけでは識別するこ とが難しいといえる.

## 5 評価実験

1 節で言及したように，適切な応答が生成可能な雑談対話応答生成システムであれば適切な 応答が選択可能であると仮定すると，対話応答選択はシステムが適切な応答を生成しうるかの 目安として日々のシステム改良に有用な自動評価の枠組みとなる。しかし，この仮定の妥当性

は自明なものではなく，システムが適切な応答を生成可能であるかということと対話応答選択 でのシステム評価の結果が相関するとは限らない。本節では，構築したテストセットを用いた 対話応答選択による雑談対話応答生成システムの自動評価結果が，人間によるシステム応答の 評価結果と相関するかどうかを確認するためにおこなった実験について示す.

## 5.1 実験設定

雑談対話応答生成システムの自動評価は, システムが生成した応答一つ一つにスコアを付与 するという方法が一般的である (Liu et al. 2016; Lowe et al. 2017; Tao et al. 2018). そのため,自動評価と人手評価の結果の相関を確かめる際には，システム応答一つ一つに付与される自動評価指標のスコアと人手評価の相関を調べるという方法が取られる (Liu et al. 2016; Lowe et al. 2017; Tao et al. 2018). 一方, 本論文では, 対話応答選択における正解率によってシステムを評価することを考えるため，システムの応答ではなくシステム自体に対し一つのスコアを付与す ることになり，同様の方法が適用できない.

本実験では，システムに対し一つのスコアを付与する自動評価指標と人手評価の相関を確か める方法として, 複数用意したシステムを性能順に並び替える順位付け問題を考える。順位付 け問題では，自動評価指標によってシステムを性能順で並び替えたとき，どれだけ人手評価を もとに作成するシステムの順位表（以下，参照順位表と呼ぶ）に近いものを作成できるかによっ て，自動評価指標と人手評価の相関を確かめる.

## 5.1.1 並び替えの対象となる雑談対話応答生成システム

順位付け問題において並び替えの対象となる雑談対話応答生成システムを 20 個用意した. シ ステムのアーキテクチャは， GRU (Cho et al. 2014), LSTM (Sutskever et al. 2014), ConvS2S (Gehring et al. 2017), Transformer (Vaswani et al. 2017), DialoGPT (Zhang et al. 2020b) の 5 種類を用いた. 表 4 に, 用意した 20 個のシステムの学習データやハイパーパラメータ等を示す.

システムの学習データには, OpenSubtitles2018を用いて構築した対話ぺアデータと, Selfdialogue Corpus (Krause et al. 2017; Fainberg et al. 2018) を用いて構築した対話ぺアデータの 2 種類を用意した. OpenSubtitles2018について, 4.1.1節でリポジトリの構成に使わなかった字幕データから連続する 4 発話を収集したうえで, 冒頭 3 発話を対話履歴, 4 発話目を応答とした 対話履歴と応答のペアを構築した，最終的に 500 万ぺアの学習デー夕, 5 万ぺアの検証データ を得た． Self-dialogue Corpusについても同様にコーパス中の対話の連続する 4 発話を収集した うえで，対話履歴と応答のペアを構築し， 270,582 ペアの学習データ $, 29,874$ ペアの検証デー 夕を得た。

モデルアーキテクチャが GRU, LSTM, ConvS2S, Transformerであるシステムについては

${ }^{* 1}$ エンコーダに入力する対話履歴の発話の数. 1 は対話履歴のうち応答の直前の発話のみを入力すること を意味し， 3 は応答の直前の過去 3 発話を入力することを意味する.

*22 OpenSubtitles2018を用いて構築した対話ペアデータで学習をおこなった.

*33 OpenSubtitles2018を用いて構築した対話ぺアデータで学習をおこなったのち, Self-dialogue Corpus を 用いて構築した対話ぺアデータで追加学習をおこなった.

${ }^{* 4}$ attention ヘッド数を示す.

*5 公開されているモデルパラメータ  を利用した.

*6 公開されているモデルパラメータを初期パラメータとして Self-dialogue Corpus を用いて構築した対話 ペアデータで追加学習をおこなった.

表 4 並び替えの対象となる雑談対話応答生成システムの学習データとハイパーパラメータ.

fairseq (Ott et al. 2019)の実装を用いた. DialoGPT については Zhang et al. (2020b)らの実装11 を用いた。

## 5.1 .2 評価実験で比較するシステムの順位表

人手評価によるシステムの順位表 (参照順位表). 対話履歴 $c$ に対し 20 個のシステムそれぞ れが生成した応答 $r^{\text {gen }}$ にいて，アノテータにスコアを付与させ，このスコアをもとに参照順

5 段階のスコアを付与させた，スコア 5 は $r^{\text {gen } か ゙ ~} c$ に対する応答として明らかに適切であるこ

のスコア $s_{1}, s_{2}, \ldots, s_{5}$ が得られるため, この平均値 $s^{\text {mean }}=\operatorname{mean}\left(s_{1}, s_{2}, \ldots, s_{5}\right)$ を $r^{\text {gen }}$ の最終的

並び替えて順位表を作成した。人手評価は高コストであるため, $N=56$ とし，構築した対話応答選択テストセットの 1,019 個の対話履歴から 56 個をサンプリングした.

対話応答選択正解率によるシステムの順位表. 構築したテストセットを用いた対話応答選択の 正解率を 20 個のシステムそれぞれについて計算し, 正解率をもとに順位表 (Well-Chosen)を作成した。具体的には，まず学習したシステムが各応答候補 $r \in \mathcal{R}$ を対話履歴 $c$ に対する応答とし て生成するときの cross-entropy loss $\ell_{r}$ を計算した。その後, $\ell_{r}$ が最も低い候補 $\hat{r}=\underset{r \in \mathcal{R}}{\operatorname{argmin}} \ell_{r}$ を システムが選択した候補とみなすことで，システムごとの対話応答選択の正解率を計算した．負例を厳選する効果を検証するために，テストセットの負例を 4.1.1 節のリポジトリから無作為抽出によって取得した発話に置き換えたうえで同様に順位表 (Random) を作成した. Well-Chosen と Random の作成には，構築した対話応答選択テストセットに含まれる 1,019 問全てを用いた.既存の自動評価指標によるシステムの順位表. 比較のために，既存の自動評価指標のうち広 く用いられている BLEU, METEOR (Banerjee and Lavie 2005), ROUGE-L (Lin 2004) によるシ ステムの順位表を作成した。BLEUについては， brevity penaltyを適用しない場合についても 順位表 (BLEU $\left.{ }^{\mathrm{w} / o B P}\right)$ を作成した。これらの評価指標は, 参照応答とシステム応答の間の単語 や $n$-gram の一致を評価することでシステムごとにスコアを算出する．本実験では，構築した 対話応答選択テストセットの各問題の正例を対話履歴に対する参照応答と見なしてスコアを算出し，スコアをもとにシステムの順位表を作成した。各評価指標とも，構築した対話応答選択 テストセットの 876 問を用いた ${ }^{12}$.

## 5.2 実験結果

自動評価指標により作成したシステムの順位表がどれだけ参照順位表に近いかを測るために，両順位表の Spearman の順位相関係数を計算した。結果を表 5 に示す.

最初に，人手評価同士の相関 (Human)を調べた。具体的には，参照順位表の作成のために 5 人のアノテータに付与させた各システム応答のスコア $s_{1}, s_{2}, \ldots, s_{5}$ を無作為に 2 つのグループに 分割していくことで，異なるアノテータが付与したスコアにもとづくシステムの順位表を 2 つ 作成し, 両順位表の順位相関係数を計算した。順位相関係数は 0.94 と高く, 少なくとも人間に

表 5 参照順位表と自動評価により作成した順位表の相関.

とっては本実験の設定で合意の取れるシステムの順位表が作成可能であるといえる.

既存の自動評価指標である BLEU, METEORについては, 順位相関係数において弱い相関が認 められるとされる (Akoglu 2018) 0.20 を下回る結果となった. また, ROUGE-Lと brevity penalty を適用しない BLEUは，順位相関係数においてある程度の相関が認められるとされる 0.40 を超 えるものの，強い相関が認められるとされる 0.70 を下回る結果となった. 一方でWell-Chosen の参照順位表との順位相関係数はこれらの自動評価指標に比べて高く, 強い相関が認められる 0.70 を上回った.この結果から，負例を厳選したテストセットを用いた対話応答選択による雑談対話応答生成システムの評価結果は，既存の広く用いられている評価指標に比べて人手評価 と強く相関するということが確かめられた。

また, Well-Chosenの参照順位表との順位相関係数が Random に比べて高いことから，負例の 厳選によって対話応答選択によるシステムの評価がより強く人手評価と相関するものになった ことが確かめられた。

## 5.3 議論

## 5.3.1 エラー分析における解釈可能性

5.2 節より，対話応答選択による雑談対話応答生成システムの評価で負例を厳選することで,負例を無作為抽出した場合に比べてより人手評価と強い相関を持つ自動評価が可能となること を確認した。このような評価の有効性の向上に加え，負例を厳選したテストセットを用いて自動評価をおこなうことの利点として, エラー分析の解釈可能性の向上が挙げられる.

表 6 に，構築したテストセットの例を示す。無作為抽出によって得られた負例（無作為）は 対話履歴や正例と関連性の無い発話であり, 正例と比較して具体的にどのような点で応答とし て不適切か指摘することが難しい。 そのため, システムがこの発話を誤って応答として選択し たとしても，解消すべきシステムの具体的な問題点について分析することができない。一方で，
同表中の厳選した負例（厳選）は正例に類似しているが，正例と比較すると主語が “I”ではな く“You”となっている点で違いがあり，この点が応答として不適切な発話である原因となって いる。もし評価対象となるシステムがこの負例を選択した場合，システムが対話履歴を踏まえ て応答の主語を適切に考慮することが出来なかったと考えられる。さらに，システムが不適切 な主語を含む同様の負例を他の選択問題でも選択する傾向にある場合, システムは発話の主語 の考慮という点において脆弱性があると考えることができる。このように，提案法で厳選した 負例が正例に類似する発話であることから，正例と比較してどのような点が不適切かを明確に 指摘することが比較的容易であり，雑談対話応答生成システムの傾向や脆弱性についての詳細 な分析に活用できる可能性がある。

本論文で構築したテストセットに，不適切な箇所を具体的に指摘可能な負例がどの程度含ま れているかを調べた。具体的には，構築したテストセットから無作為に取り出した負例 50 発話 について, 具体的な誤りが指摘可能な発話の数と, どのような誤りが含まれているかを調査し た. 調査の結果, 負例 50 発話のうち 22 発話と，高い割合で発話に対して具体的な誤りを指摘可能であることが確認された。また，誤りの種類として (1) 対話履歴の内容と矛盾を含む， (2)対話履歴に対して返すべき情報が不足，(3) 主語が不適切，（4）時制が不適切，の 4 種類が確認 された，表 7 に，各誤りを含む負例の数を示す 13 .また，表 8 に各誤りを含む負例の例を示す.

## 対話履歴:

話者 A. Peter, enough with your computer games. Go do your homework now.

話者 B. Can't I play more?

話者 A. No! Stop playing computer games!

## 応答候補:

正例. Mom, $I^{\prime}$ 'll be finished soon.

無作為. Thats the problem with small towns.

厳選. You are to be finished very soon.

表 6 無作為抽出した負例（無作為）と厳選した負例（厳選）の例.

表 7 テストセットの負例 50 発話のうち各誤りラベルが付与された発話の数.

(1) 対話履歴の内容と矛盾を含む.

## 対話履歴:

話者 A. 911 emergency. What is the problem?

話者 B. I would like to report a break-in.

話者 A. When was this break-in?

## 応答候補:

正例. I believe it happened last night.

負例. I thought that would happen last night.

（2）対話履歴に対して返すべき情報が不足

## 対話履歴:

話者 A. What's the matter with you, Paul?

話者 B. I'm not feeling well. I think I'm having a cold.

話者 A. Looks like it. You need to drink a lot of water and take a good rest.

## 応答候補:

正例. Yeah, I will.

負例. Yeah, yeah, yeah, I...

## (3) 主語が不適切

## 対話履歴:

話者 A. A new film is on. Have you ever seen it?

話者 B. What kind of movie is it?

話者 A. It's a feature film.

## 応答候補:

正例. Oh, I've no interest in such films.

負例. Anyway, he has no interest in movies.

(4) 時制が不適切

## 対話履歴:

話者 A. Hi, charlie, are you busy this evening?

話者 B. Sorry, I'm afraid that I've got plans tonight.

話者 A. What are you doing?

## 応答候補:

正例. I'm going to my parents' house for my father's birthday.

負例. We were at my sister's house for my nephew's birthday by 2 p.m.

表 8 ラベルを付与できた負例の例.

## 5.3.2負例を厳選した対話応答選択を用いた評価手法の制限

評価可能な観点 本評価方法はシステムが生成する応答の適切性に関する評価を想定している. そのため, 適切性以外の観点, たとえば応答の多様性などについては, 本方法論によって評価 することを想定していないことに留意されたい.

評価可能なシステム 本評価方法は負例を厳選した対話応答選択テストセットを用いた評価で ある。そのため, 用意したテストセットとドメイン等が合致しないシステムについては, 本方法論によって評価することを想定していないことに留意されたい.

## 6 おわりに

本論文では, 雑談対話応答生成システムの自動評価の枠組みとして分野全体で共有される指標の実現に向け，不適切な負例の混入を抑制したテストセットを用いた対話応答選択による評価を検討した。

具体的には，まず，正例に類似するが応答として成立しない発話のみを負例として厳選する 対話応答選択テストセットの構築方法を提案した (3 節). 応答生成システムを対話応答選択で 評価することの利点には, 適切な応答が複数存在するという対話の性質の影響を回避可能であ ること, 正解率という統一的な指標でシステム性能を定量化可能であることが挙げられる。対話応答選択ではシステムが生成する応答の質自体は評価しないため, 人手評価に代わる評価の 枠組みとはなりえないが，適切な応答を生成可能なシステムであれば適切な応答を選択するこ とが可能であると仮定すると，システムが適切な応答を生成しうるかを確認することができる ため，日々のシステム改良の成果を確認するための評価に適した枠組みといえる，たたし，従来のように対話応答選択の負例を無作為抽出する場合, 正例とかけ離れすぎていて容易に負例 と判別できる発話や, 応答として誤りとはいえない発話が負例として応答候補に混入し, システ ム評価の有効性が低下するおそれがある。本論文で提案した方法によって, これらの不適切な 負例の混入を抑制した対話応答選択テストセットが構築可能であることを, 定性的 (4.2.2 節),定量的（4.2.3 節）に確認した。

また，提案した方法に従って実際に公開可能な対話応答選択テストセットを構築したうえで (4 節)，構築したテストセットを用いた対話応答選択によるシステム評価が，人間によるシステ ム応答の評価と相関するかどうかを実験により確認した（5 節）．実験結果から，負例を厳選し たテストセットを用いた対話応答選択による雑談対話応答生成システムの評価結果は, BLEU など既存の広く用いられている評価指標に比べて人手評価と強く相関するということが確かめ られた (5.2 節). 加えて, 本論文で提案する方法により厳選した負例は, 正例と類似するとい う性質を持つため正例と比べて具体的にどのような誤りを含むか指摘しやすく, 厳選した負例 を選択したシステムの傾向や脆弱性について詳細な分析ができる可能性があることについて議
論した (5.3.1 節).

本論文で提案したテストセットの構築方法や公開したテストセットが, 雑談対話応答生成シ ステムの自動評価の枠組みの一つとして分野全体に共有されることで，対話応答選択でコスト をかけず評価しながらシステム改良を繰り返す効率的な開発プロセスが利用可能となり，雑談対話応答生成研究がさらに発展することを期待する.

## 謝 辞

本研究の一部は JSPS 科研費 JP19H04162, JP19K20351, JP21J22383 および JST CREST（課題番号：JPMJCR20D2）の支援を受けて行いました，本論文の執筆にあたり，有益なコメント を頂きました査読者, 担当編集委員の皆様に感謝申し上げます.なお, 本研究の内容の一部は, The 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020)で発表 されたものです (Sato et al. 2020).

## 参考文献

Addlesee, A., Eshghi, A., and Konstas, I. (2019). "Current Challenges in Spoken Dialogue Systems and Why They Are Critical for Those Living with Dementia." In Proceedings of the Dialogue for Good Workshop on Speech and Language Technology Serving Society.

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." arXiv preprint arXiv:2001.09977.

Akoglu, H. (2018). "User's Guide to Correlation Coefficients." Turkish Journal of Emergency Medicine, 18 (3), pp. 91-93.

Arora, S., Liang, Y., and Ma, T. (2016). "A Simple but Tough-to-Beat Baseline for Sentence Embeddings." In Proceedings of the 5th International Conference on Learning Representations.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Bird, S. and Loper, E. (2004). "NLTK: The Natural Language Toolkit." In Proceedings of the

ACL Interactive Poster and Demonstration Sessions, pp. 214-217.

Cai, H., Chen, H., Song, Y., Zhang, C., Zhao, X., and Yin, D. (2020). "Data Manipulation: Towards Effective Instance Learning for Neural Dialogue Generation via Learning to Augment and Reweight." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6334-6343.

Callison-Burch, C., Osborne, M., and Koehn, P. (2006). "Re-evaluating the Role of Bleu in Machine Translation Research." In Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 249-256.

Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734.

Fainberg, J., Krause, B., Dobre, M., Damonte, M., Kahembwe, E., Duma, D., Webber, B., and Fancellu, F. (2018). "Talking to Myself: Self-dialogues as Data for Conversational Agents." arXiv preprint arXiv:1809.06641.

Forgues, G., Pineau, J., Larchevêque, J.-M., and Tremblay, R. (2014). "Bootstrapping Dialog Systems with Word Embeddings." In NeurIPS Modern Machine Learning and Natural Language Processing Workshop.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional sequence to sequence learning." In Proceedings of the 34th International Conference on Machine Learning, pp. 1243-1252.

Ghandeharioun, A., Shen, J. H., Jaques, N., Ferguson, C., Jones, N., Lapedriza, A., and Picard, R. (2019). "Approximating Interactive Human Evaluation with Self-play for Open-domain Dialog Systems." In Proceedings of the 33rd Conference on Neural Information Processing System, pp. 13658-13669. Curran Associates, Inc.

Gunasekara, C., Kummerfeld, J. K., Polymenakos, L., and Lasecki, W. (2019). "DSTC7 Task 1: Noetic End-to-End Response Selection." In Proceedings of the 1st Workshop on NLP for Conversational AI, pp. 60-67.

Krause, B., Damonte, M., Dobre, M., Duma, D., Fainberg, J., Fancellu, F., Kahembwe, E., Cheng, J., and Webber, B. (2017). "Edina: Building an Open Domain Socialbot with Selfdialogues." In 1st Proceedings of Alexa Prize.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119.

Li, Y., Su, H., Shen, X., Li, W., Cao, Z., and Niu, S. (2017). "DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset." In Proceedings of the 8th International Joint Conference on Natural Language Processing, Volume 1, pp. 986-995.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Lison, P., Tiedemann, J., and Kouylekov, M. (2018). "OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1742-1748.

Litman, D., Young, S., Gales, M., Knill, K., Ottewell, K., van Dalen, R., and Vandyke, D. (2016). "Towards Using Conversations with Spoken Dialogue Systems in the Automated Assessment of Non-Native Speakers of English." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275.

Liu, C.-W., Lowe, R., Serban, I., Noseworthy, M., Charlin, L., and Pineau, J. (2016). "How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132.

Lowe, R., Noseworthy, M., Serban, I. V., Angelard-Gontier, N., Bengio, Y., and Pineau, J. (2017). "Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, Volume 1, pp. 1116-1126.

Lowe, R., Pow, N., Serban, I., and Pineau, J. (2015). "The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 285-294.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Mehri, S. and Eskenazi, M. (2020). "USR: An Unsupervised and Reference Free Evaluation Metric for Dialog Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, Demonstrations, pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the

Association for Computational Linguistics, pp. 311-318.

Parthasarathi, P. and Pineau, J. (2018). "Extending Neural Generative Conversational Model using External Knowledge Sources." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 690-695.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 2227-2237.

Reiter, E. (2018). "A Structured Review of the Validity of BLEU." Computational Linguistics, 44 (3), pp. 393-401.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Smith, E. M., Boureau, Y.-L., and Weston, J. (2021). "Recipes for Building an Open-Domain Chatbot." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, Main Volume, pp. 300-325.

Rus, V. and Lintean, M. (2012). "A Comparison of Greedy and Optimal Assessment of Natural Language Student Input Using Word-to-Word Similarity Metrics." In Proceedings of the Seventh Workshop on Building Educational Applications Using NLP, pp. 157-162.

Sai, A. B., Gupta, M. D., Khapra, M. M., and Srinivasan, M. (2019). "Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses." In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 6220-6227.

Sato, S., Akama, R., Ouchi, H., Suzuki, J., and Inui, K. (2020). "Evaluating Dialogue Generation Systems via Response Selection." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 593-599.

Serban, I. V., Sordoni, A., Bengio, Y., Courville, A., and Pineau, J. (2016). "Building End-to-end Dialogue Systems using Generative Hierarchical Neural Network Models." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 3776-3783.

Smith, A., Hardmeier, C., and Tiedemann, J. (2016). "Climbing Mont BLEU: The Strange World of Reachable High-BLEU Translations." In Proceedings of the 19th Annual Conference of the European Association for Machine Translation, pp. 269-281.

Sordoni, A., Galley, M., Auli, M., Brockett, C., Ji, Y., Mitchell, M., Nie, J.-Y., Gao, J., and Dolan, B. (2015). "A Neural Network Approach to Context-Sensitive Generation of Conversational Responses." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205.

Stent, A., Marge, M., and Singhai, M. (2005). "Evaluating Evaluation Methods for Generation in the Presence of Variation." In Proceedings of the 6th International Conference on

Computational Linguistics and Intelligent Text Processing, pp. 341-351.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the 27th International Conference on Neural Information Processing Systems, Volume 2, pp. 3104-3112.

Tao, C., Mou, L., Zhao, D., and Yan, R. (2018). "RUBER: An Unsupervised Method for Automatic Evaluation of Open-domain Dialog Systems." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 722-729.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010.

Wen, T.-H., Gašić, M., Mrkšić, N., Su, P.-H., Vandyke, D., and Young, S. (2015). "Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1711-1721.

Wu, Y., Wu, W., Xing, C., Zhou, M., and Li, Z. (2017). "Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-Based Chatbots." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, Volume 1, pp. 496-505.

Zhang, R., Zheng, Y., Shao, J., Mao, X., Xi, Y., and Huang, M. (2020a). "Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 3449-3460.

Zhang, Y., Sun, S., Galley, M., Chen, Y.-C., Brockett, C., Gao, X., Gao, J., Liu, J., and Dolan, B. (2020b). "DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, System Demonstrations, pp. 270-278.

Zhou, X., Dong, D., Wu, H., Zhao, S., Yu, D., Tian, H., Liu, X., and Yan, R. (2016). "Multiview Response Selection for Human-Computer Conversation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 372-381.

Zhou, X., Li, L., Dong, D., Liu, Y., Chen, Y., Zhao, W. X., Yu, D., and Wu, H. (2018). "MultiTurn Response Selection for Chatbots with Deep Attention Matching Network." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Volume 1 , pp. 1118-1127.

## 付録

## A 構築したテストセットの例

表 9 に，本研究で構築したテストセットの例を示す. 同表には， 5 節の実験で Random 作成時 に用いた，負例を無作為抽出した応答候補も示す。

## テストセット例 1

## 対話履歴:

話者 A. You look better today. how did your test go?

話者 B. Much better than it did yesterday.

話者 A. Did you pass?

正例: I not only passed my test, but I aced it! I'm so happy!

## 無作為抽出した負例:

1. Just... see If i can find...

2. I don't know AII of a sudden, my face was there.

3. Why does the wounded gazelle hide from the stealthy jaguar?

## 本テストセットの負例:

1. Yes, I have passed the exam, but I am too confused since you put that thing in.

2. I'm only happy.

3. I guess I didn't pass the test because made me feel about this big.

テストセット例 2

## 対話履歴:

話者 A. Hello, I'm Jack. Are you Christina?

話者 B. Yes I am. Nice to meet you, Jack.

話者 A. Are you from Italy, Christina?

正例: No, I am German. I live in Munich.

無作為抽出した負例:

1. Just ask him what it is.

2. I got to say, uh... put some words together.

3. Where the hell is the shooter?

## 本テストセットの負例:

1. I don't live in Paris, I live in Lyon.

2. You are Swedish, but you live in Copenhagen.

3. Munich, Sunday 7 am.

## テストセット例 3

## 対話履歴:

話者 A. Hey, Ann. Wake up. It's time to get out of bed.

話者 B. Oh, Dad. Do I have to get up right now?

話者 A. Yes, or you'll be late.

正例: Why didn't my alarm go off today?

## 無作為抽出した負例:

1. In my 30 years ofracing I've never witnessed a spectacle quite like this.

2. Let's go to your room and have a talk.

3. I am Duncan MacLeod.

本テストセットの負例:

1. I don't understand, if the alarm went off, why didn't anybody call us?

2. That set off my alarm.

3. If the number reaches 120 , an alarm will go off.

表 9 厳選した負例と, Random 作成時に用いた無作為抽出した負例の例.

## テストセット例 4

## 対話履歴:

話者 A. I'm starving! It would be truly appreciated if you bought me a burrito.

話者 B. I'm a little short. I don't have enough for you.

話者 A. I'm starving, as I didn't eat yet today.

正例: I really don't have enough money.

## 無作為抽出した負例:

1. But this was someone I knew.

2. Come on, Anne.

3. It does not end with you alone.

## 本テストセットの負例:

1. I never had enough money. much confused since you put that thing in.

2. I don't have any money, so I need some pretty cash.

3. He just doesn't have enough money.

テストセット例 5

## 対話履歴:

話者 A. Excuse me, what time is the next train to New York?

話者 B. Half past 11 .

話者 A. Is it a through one?

正例: No, it's an express.

## 無作為抽出した負例:

1. And the look would gradually saturate the 1920 s and ' 30 s, reaching into the remotest corners.

2. Santa's hit list is goddamn selective.

3. I ain't never been ill, and I'm not now.

## 本テストセットの負例:

1. AND IT'S AN EXPRESS!

2. What if another express comes by?

3. Come on, Express!

テストセット例 6

## 対話履歴:

話者 A. You look kind of green.

話者 B. I don't feel so good. I am feeling sick to my stomach.

話者 A. Have you had anything to eat lately?

正例: I had fried shrimp and clams for lunch.

## 無作為抽出した負例:

1. Big shot in Intelligence.

2. Yes, it's Rachel Duncan

3. You got boots or shoes?

## 本テストセットの負例:

1. This is Fried Shrimp?

2. That I had lunch with the guy.

3. I'll have clams, please.

テストセット例 7

## 対話履歴:

話者 A. Good evening. Welcome to our program.

話者 B. Thank you. Good evening, Mr.Dean.

話者 A. Would you tell us your name, please?

## 正例: I'm Helen Baker.

## 無作為抽出した負例:

1. We would have many so-called sweat-box sessions where the writer would turn in a certain number of pages and we would tear it apart and analyse it.

2. You asked me to send you home.

3. So her parents never told her.

## 本テストセットの負例:

1. I'm the baker's wife!

2. I found David Baker

3. She's Helen Gallagher.

表 9 厳選した負例と, Random 作成時に用いた無作為抽出した負例の例（続き）.

## B 評価実験結果の詳細

表 10 に，5 節で述べた評価実験における各評価指標でのシステムのスコアおよび順位を示す. また図 4 に，各自動評価指標でのシステムのスコアと人手評価スコアの散布図を示す.

図 4 評価実験における各自動評価指標でのシステムのスコアと人手評価スコアの散布図。図中の各自動評価指標でのスコアは順位が 1 位だったシステムのスコアで除算している.

## 略歴

佐藤 志貴：2019 年東北大学工学部卒業. 2021 年東北大学大学院情報科学研究科博士前期課程修了. 現在, 東北大学情報科学研究科博士課程取得に向け研究を進めている。2021 年度より日本学術振興会特別研究員 (DC1).

赤間 怜奈：2017 年東北大学工学部卒業. 2018 年東北大学大学院情報科学研究科博士前期課程修了, 2021 年同博士課程修了. 2021 年より東北大学デー夕駆動科学・AI 教育研究センター助教, 理化学研究所 AIP センター客員研究員.

大内 啓樹：2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2018 年同博士後期課程修了. 2018 年から 2021 年まで理化学研究所 AIP センター特別研究員. 2021 年より奈良先端科学技術大学院大学先端科学技術研究科助教, 理化学研究所 AIP センター客員研究員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーショ ン科学基礎研究所研究員 (主任研究員/特別研究員)。2005 年に奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 現在, 東北大学データ 駆動科学・AI 教育研究センター教授.

乾 健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.