# 生成と分類のマルチタスク学習による 感情が考慮された対話応答生成

井手竜也
早稲田大学基幹理工学部
t-ide@toki.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

計算資源などの拡大に伴う、自然言語処理の発展 は著しいものである。翻訳や要約をはじめとするタ スクで、今やコンピュータが人間に劣らない性能を 示すことも珍しくない. 同じような技術のもとで対話システムも進歩し、実用化が期待されつつある.

人間がコンピュータと自然に対話するためには、 コンピュータに人間らしさが必要である。こうした 対話を実現するための方法 [1] はいくつか提案され ている．たとえば知識や常識にもとづいて対話を行 うこと [2] や、自身および相手の個性に触れながら 対話を行うこと [3] である. 中でも本研究は感情と いう要素 [4] に焦点を当てる.

本研究は話者の感情が考慮された対話をマルチタ スク学習によって実現する。また感情の階層的な関係 [5] に目を向け、粒度の異なるいくつかの感情認識を同時に学習させる. なおこのマルチタスク学習 は類似タスクの間で相補的な情報共有を目指すも のではなく、あえて感情認識の精度向上は考慮しな い.またマルチタスク学習における感情認識の比率 が過剩であるという懸念のもと、各ロスに重みづけ を施すことでさらなる品質の改善を求める. 事前学習済みの Transformer [6] モデルである BART [7]をも とにモデルを構築し、応答生成と感情認識のマルチ タスク学習を行う．これは英語を対象に、文脈を伴 わない対話で行う。

自動評価と人手評価から提案手法による応答生成 の有効性を確認した。つまり応答生成と感情認識の マルチタスク学習が、生成される応答をより発話の 感情が考慮されたものにすることがわかった。この ことは感情という側面にかぎらず、流暢さや有益さ といった品質も同時に改善された。またロスの重み づけによるパラメータの制御が、モデルの性能をよ り向上させることがわかった.

## 2 関連研究

感情にもとづく応答生成に関しては、ECM [8] が 代表的である．ECM は Emotion Classifier とともに用 いられ、与えられた感情に依存した応答を生成する ことができる. EmpTransfo [9] は本研究と類似した モデルである．GPT [10]による応答生成に Emotion と Action を適用させ、生成される応答を高品質なも のにしている。

これらのモデルは応答がもつ感情に注目したもの で、発話の感情をふまえて応答を生成するわけでは ない。一方で TG-EACM [11] は、発話に込められた 感情と応答が抱くべき感情の双方を考慮するよう なモデルである. モデルは与えられた発話から発話 と応答の感情をともに推測するような分布を学習 する。

ECM や TG-EACM は感情を理解するためのユ ニットを独立にもつが、本研究はそれを単一のモデ ルで完結させる．それによってパラメータの壳長性 が削減され、より効率的な感情の理解および応答の 生成が実現されることを期待する。

## 3 感情が考慮された応答生成モデル

## $3.1 \quad$ 概要

生成タスクとして応答生成を行い、分類タスクと して感情認識を行う。応答生成と感情認識をマルチ タスク学習によって同時に学習することで、与えら れた発話の感情を理解した上で応答を生成できるよ うになることを狙う。

マルチタスク学習はいくつかの類似したタスクを 対象とすることが多い。これはタスク同士が互いに 情報を共有し、それぞれのタスクが性能を向上する こと期待するためである. しかし今回のマルチタス ク学習はあくまでも応答生成の品質改善が目的であ

図 1 応答生成モデルのアーキテクチャ

り、感情認識の性能を向上することは考えない.こ れは一般的なマルチタスク学習と異なる点である.

モデルは BART [7] をもとに作成する. アーキテ クチャは図 1 のとおりで、モデルは学習されるタス クごとに Head として出力層をもつ. これは応答生成で単語を生成するための LM Head と、分類タスク を解くための線形層である CLS Head からなる.な お CLS Head はたとえば Positive や Negative といっ たラベルを推測することで分類タスクを解く. CLS Head に関しては、分類タスクごとに 1 つを設ける.各タスクの入出力形式は BART と同様である.生成タスクでは Encoder と Decoderにそれぞれ発話と右シフトされた応答を入れ、分類タスクでは Encoder と Decoderに発話と右シフトされた発話を 入れる。

学習のアルゴリズムはおおむね MT-DNN [12] に したがう．学習すべき各タスクはミニバッチごとに 選択される。タスクによって異なるロスを計算し、 ミニバッチごとにパラメータを更新していく.

## 3.2 タスクとロス

与えられる発話を $\boldsymbol{x}=\left(x_{1}, \ldots, x_{M}\right)$ 、モデルのパラ メータを $\boldsymbol{\theta}$ とする．各タスクに対するロスをもとに $\boldsymbol{\theta}$ を更新することによって、モデルは学習される。

生成 $\boldsymbol{x}$ に対する応答を $\boldsymbol{y}=\left(y_{1}, \ldots, y_{N}\right)$ とすれ ば、 $\boldsymbol{x}$ から適切な $\boldsymbol{y}$ を推測できるように学習する。

$
\mathscr{L}_{\text {gen }}=-\sum_{j=1}^{N} \log p\left(y_{j} \mid \boldsymbol{x}, y_{1}, \ldots, y_{j-1} ; \boldsymbol{\theta}\right)
$

分類 $x$ の正解ラベルを $c$ とすれば、モデルは $x$ から $c$ を推測する.

$
\mathscr{L}_{\mathrm{cls}}=-\log p(c \mid \boldsymbol{x} ; \boldsymbol{\theta})
$

## 3.3 ロスの重みづけ

提案のマルチタスク学習は生成と分類のタスクを 同時に学習するものである. しかしそこには分類タ表 1 各データセットのサンプル数

スクに関する学習の比率が過剰である可能性があ る. 一般的な分類タスクを解くとき、学習の終了は Validation データによるロスの収束をもって定めら れることが多い。一方で本研究の対象は生成タスク であり、それに必要なエポック数は分類タスクのも のよりも多い.

そこで各ロスに重みづけを施すことを考える．具体的には応答生成に対する重みを 1 に固定しつつ、感情認識の重みを 0 以上 1 以下で変動させる．それ によりパラメータの更新に際する分類タスクの寄与 を抑える。

## 4 実験

## 4.1 データセット

マルチタスク学習として、応答生成のほかに感情認識の 3 タスクを行う。それぞれは 6 ラベル・2ラ ベル・12 ラベルによる分類タスクで、感情認識・CG 感情認識・FG 感情認識と呼ぶ. なお感情認識の各 データセットは Unify Emotion Datasets [13] を参考に 選択した。

応答生成 応答生成のデータセットとしては DailyDialog [14] を用いる. これはマルチターンによ る対話コーパスであり、2 ターンずつを抽出するこ とによって発話と応答の組を得る。これに収録され ている各発話は感情ラベルを伴うが、本研究ではそ れらを使わない. 付与されている感情ラベルのほぼ すべてが Otherであり、このことは本研究の目的に そぐわないと判断したためである。

感情認識軸となる感情認識のデータセットに は Twitter Emotion Corpus [15]を用いる. Twitter の ハッシュタグをもとに構築されたもので、 Anger, Disgust, Fear, Joy, Sadness, Surprise\}の 6 ラベルから なる.なおこのデータセットには\{Train, Validation, Test\}の区別がない. よって全データセットの $80 \%$

Test にする.

図 2 人手評価として行うクラウドソーシングの例

CG 感情認識 Coarse-Grained な感情認識について はSST-2 [16] を用いる.これは映画のコメントに \{Positive, Negative\}のラベルが付与されたデータセッ トである．感情分類のサンプル数とバランスを保つ ベく、Trainデータのサンプル数を $25 \%$ に減らす。

FG 感情認識 Fine-Grained な感情分類には CrowdFlower が提供する感情ラベル付きコーパスを用い る. Empty というラベルを除外し、\{Anger, Boredom, Enthusiasm, Fun, Happiness, Hate, Love, Neutral, Relief, Sadness, Surprise, Worry\}の 12 ラベルによる分類タ スクとして扱う。なおこれも Twitter Emotion Corpus と同じく\{Train, Validation, Test $\}$ の区別をもたないた め、全体を 8:1:1 に分割する.またSST-2 と同じ理由のもと、全体の 50\%のみを抽出する。

各データセットにおけるサンプル数の内訳を表 1 にまとめる.

## 4.2 モデルの学習

学習に必要となるハイパパラメータは、BART の 論文 [7] や Fairseq の例を参考に設定する. 学習率 は 3e-5 と定め、パラメータは Weight Decay を伴う Adam で最適化する。応答生成に関しては、ロスの Negative Log-Likelihood 0.1 の Label Smoothing を施 す. また入出力のトークン数は最大 64 に決め、学習は 64 エポック行うことにする.

生成時のハイパパラメータに関しても、上記を参考に設定する． 5 ビームによるビームサーチで単語 を選択し、ある $n$-gram が 3 個以上連続する場合を排除する.

学習や生成は $\mathrm{AI}$ 橋渡しクラウド上で行い、GPU として NVIDIA Tesla V100を用いる.

## 4.3 評価手法

モデルの評価として、自動的な評価と人手による 評価を行う。

自動評価 まず出力として得られる応答がどれだ け正解の応答と関連しているかを BLEU [17]によっ て評価する。そして出力される応答が語彙的に多様 であるかどうかを distinct [18] で評価する. distinct に関しては、それぞれ Unigram と Bigram に注目し た distinct-1 と distinct-2 を用いる. さらに出力の応答に含まれる単語数の平均も比較する。これは生成 された応答が長いものであるほど、それが普遍的で ないことを仮定している.

人手評価 人手による評価はクラウドソーシング で行い、プラットフォームとして Amazon Mechanical Turkを用いる。内容は EmpatheticDialogues [4] のそ れにならい、評価すべき観点として感情考慮・流暢 さ・有益さ・発話関連の 4 つを設定する。 それぞれ は生成された応答が発話の感情を考慮しているか、生成の応答が構文的に正しいものか、生成された応答が発話にとって有益な情報を提供しているか、応答の内容が発話と適切に関連しているかを問うも のである. Test データから無作為に抽出された 100 サンプルを対象に、上記の 4 観点を 5 段階で評価し てもらう．ワーカとしてはUS の在住者を指定し、各サンプルの各観点ごとに7 ワーカを要求する. 最終的なスコアは 7 ワーカによる値の平均値として 得る.

$
\text { ワーカに尋ねる質問の例を図 } 2 \text { に示す. }
$

## 4.4 結果

応答生成を R と表し、Twitter Emotion Corpus $\cdot$ SST-2・CrowdFlower のデータセットに関する感情認識をそれぞれ E6・E2・E12と表す。また E6・E2・ E12 のロスに対する重みをそれぞれ $\lambda_{\mathrm{E} 6} \cdot \lambda_{\mathrm{E} 2} \cdot \lambda_{\mathrm{E} 12}$ と表す.
表 4 各モデルによる応答の生成例

 &  &  & I hope I g \\

表 6 ロスに重みづけを施した応答生成の人手評価

マルチタスク学習 自動評価の結果を表 2 に 示す. 表 2 からは R+E6+E2 と R+E6+E12 がそれぞ れ distinct と BLEU を最大化していることがわか る.つまり提案のマルチタスク学習においては、 Coarse-Grained と Fine-Grained な感情認識がそれぞ れ多様性と関連性に効果的である.

人手評価の結果を表 3 に示す. 感情考慮に関して いえば、タスクに感情認識を含すすべてのモデルが 応答生成のみによるモデルを上回るスコアとなって いる．そして 4 観点のすべてを見てみると、とくに R+E6 が高いスコアをもたらしている. 提案のマル チタスク学習は生成される応答をより感情が考慮 されたものにするだけでなく、流暢さや発話関連と いった他観点の品質も改善しうる.

得られたモデルによる生成例を表 4 に示す. R と R+E6を対象に、与えられた発話とその応答を比較 する.なお生成例については、E6をタスクに追加 したことで人手評価の感情考慮が大きく向上した サンプルを選ぶ. 表 4 からは、 $\mathrm{R}$ と比べて R+E6 に "Yeah, yeah, I know." p "good idea." といったより感情に敏感な文が含まれていることがわかる.

ロスの重みづけ自動評価と人手評価の結果を それぞれ表 5 と表 6 に示す. 自動評価では、とく に E12を伴うモデルで重みづけによるスコアの 向上が確認できる。一方で人手評価も重みづけ
がいくつかのスコアを向上させており、中でも $\left(\lambda_{\mathrm{E} 6}, \lambda_{\mathrm{E} 2}, \lambda_{\mathrm{E} 12}\right)=(.5, .5,0)$ のケースがひときわ高い スコアを出している．したがって各ロスに対する重 みづけは生成される応答の品質を改善しうるもの で、今回の条件においては E6 と E2 の影響を半分に 抑えることがもっとも効果的である.

## 5 おわりに

人間とコンピュータによる対話の、ニューラル ネットワークにもとづく応答生成の品質改善に取り 組んだ. 感情という側面に注目し、生成と分類の夕 スクを対象とするマルチタスク学習の応答生成モデ ルを提案した。自動評価と人手評価を行い、提案の モデルが感情をはじめとするいくつかの性能を向上 させることを確かめた．また学習の際に計算される 各ロスに重みづけを施すことで、さらなる品質の改善を図った. 結果として重みづけがいくつかの評価 を向上し、パラメータ更新のバランスも重要である ことがわかった。

本研究は対話の感情に焦点を当て、発話の感情を 考慮した応答の生成を行った. 一方で本研究は応答 の感情に注目しておらず、それは今後の課題であ る. 応答がもつべき感情を推定することや、指定さ れた感情のもと応答を生成することに取り組みた い.また今回の実験はあえて対話の文脈を一切考え ていない. 過去の発話やそれによる感情の変遷を生成する応答に反映させることも必要であり、それも 今後取り組むべき課題である。

## 謝辞

本研究は JSPS 科研費 JP18H03286 の助成を受 けた。

## 参考文献

[1] Eric Michael Smith, Mary Williamson, Kurt Shuster, Jason Weston, and Y-Lan Boureau. Can you put it all to-
gether: Evaluating conversational agents' ability to blend skills. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030, Online, July 2020. Association for Computational Linguistics.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. arXiv preprint arXiv:1811.01241, 2019.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] A. Kumar, A. Ekbal, D. Kawahra, and S. Kurohashi. Emotion helps sentiment: A multi-task model for sentiment and emotion analysis. In 2019 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[8] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[9] Rohola Zandie and Mohammad H. Mahoor. Emptransfo: A multi-head transformer architecture for creating empathetic dialog systems. arXiv preprint arXiv:2003.02958, 2020.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[11] Wei Wei, Jiayi Liu, Xianling Mao, Guibin Guo, Feida Zhu, Pan Zhou, Yuchong Hu, and Shanshan Feng. Target guided emotion aware chat machine. arXiv preprint arXiv:2011.07432, 2020

[12] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Laura-Ana-Maria Bostan and Roman Klinger. An analysis of annotated corpora for emotion classification in text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[14] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[15] Saif Mohammad. \#emotional tweets. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 246-255, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[16] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.


# 逆翻訳とフィルタリングによる擬似対話コーパスの生成と それを用いた対話システムの学習

榮田亮真
早稲田大学基幹理工学部
s.ryoma6317@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

深層ニューラルネットワーク (以下、DNN)を利用 した自然言語処理が盛んになっており、分類、生成 など、様々なタスクで高精度を達成している。大規模なコーパスで DNNを学習することで、どんな言語的情報を特徴量として扱うかを人が指定せずとも 期待の結果が得られるというのが DNN の強みであ り、対話システムについてもこれは同様である。

しかし、日本語の対話システムをDNNを用いて 作ろうとすると、日本語の対話コーパスは規模が 限られており、DNN の学習に十分な量が存在する とは言えない。これを原因の一つとして、現在の ニューラル対話システムは、応答が発話に対して自然なものではない、多様な応答ができないという課題を持っている。特に多様性に関しては、「そうだ ね」などの、どんな発話に対しても破綻はしない が、おもしろみに欠ける応答が多くなってしまうと いう問題が挙げられる。

本研究では、対話コーパスの量の少なさを克服す るため、少量のコーパスで学習したシステムの出力 を学習データとして用いる。ただし、少量のコーパ スで学習したシステムは性能が低く、出力はノイズ を多分に含むため、フィルタリングを行い、コーパ スの質を高める。具体的な手法は以下のとおりであ る。まず、機械翻訳で有効性が示されている逆翻訳 [1]の考え方を対話に応用する。つまり、少量の対話 コーパスで学習した逆対話システムに非対話コーパ スを入力し、その出力を用いて擬似対話コーパスを 生成する。この擬似コーパスは「あー」など、意味 のない表現、同じ表現の無意味な繰り返し、入力と ほとんど同じ出力など、質の悪いぺアが多い。その ため、このコーパスをそのまま学習に用いるのでは なく、いくつかのルールに基づきフィルタリングを 行うことで、コーパスの質を高めてから利用する。
なお、対話システムとして、複数ターンの対話を扱 うもの、発話以外の感情や Persona [2] などを扱うも のも存在するが、本研究では、発話のみを入力し、応答を出力する 1 ターンの対話システムを扱う。

生成した擬似対話コーパスを利用して学習した対話システムをクラウドソーシングにより評価したと ころ、システムの応答が発話に対して関連している と判断される割合が、擬似対話コーパスを利用しな いものより、 8 ポイント向上した。また、フィルタ リングをしないコーパスを用いると、擬似対話コー パスを利用しないものより 2 ポイント低下し、フィ ルタリングの必要性も示された。

## 2 関連研究

対話コーパスではないデータセットを利用して、 ニューラル対話システムの出力を多様にする試みと して、Su ら [3] の研究がある。これは、機械翻訳で 用いられる逆翻訳 [1] の考え方に基づくものである。 Sennrich ら [1] の研究ではまず、少数の対訳コーパ スで、ターゲットとなる言語を入力し、ソースの言語を出力する逆システムを学習する。その逆システ ムにターゲット言語のコーパスを入力して擬似的な 対訳コーパスをつくり、真の対訳コーパスと混ぜて 学習を行うことで、BLEU の向上を達成している。逆翻訳についてはその後、Poncelas ら [4], Edunov ら [5] が、擬似コーパスの生成方法やそのコーパスを 利用した学習方法を研究している。

逆翻訳を受けて、Su ら [3] の研究では、発話を入力すると応答を出力する順対話システムと、応答を 入力すると発話を出力する逆対話システムを用意 し、一方に非対話コーパスを入力したときの出力 を、もう一方のシステムの学習データとすることを 繰り返すことで、Distinct [6] の向上を達成している。 Distinct とは、生成文の全 n-gram 数に対する n-gram の種類数の割合であり、Distinct の向上は生成され
表 1: フィルタリングのルールとその対象

 & 「あー」など、無意味な表現の繰り返し \\

重複数が、短いほうの文長のn\%より多いペア & オウム返し \\

た応答の多様性が向上していることを示している。

## 3 提案手法:逆翻訳の対話への応用 とフィルタリング

提案手法は以下の 2 つの要素で構成される。1つ めの要素は逆翻訳の対話への応用である。これは、応答を入力して発話を生成するように学習したシス テム (以下、逆対話システム) に非対話コーパスを入力して、擬似対話コーパスを得ることを意味してい る。2つ目の要素はルールベースのフィルタリング である。これは、逆対話システムから得た擬似対話 コーパスの質を高めるために行う。

## 3.1 逆翻訳の対話への応用

擬似的な対話コーパスの生成を目的として、 ニューラル逆対話システムの学習を行う。このシス テムに非対話コーパスを入力することで、その入出 カペアが、非対話コーパスを応答とする擬似対話 コーパスとなる。その様子を以下の (1) に示す。文 (1a) が非対話コーパスに含まれる文であり、これを 逆対話システムに入力することで、(1b) の出力を得 る。

(1) a.おかず少ない。

b.今日の晚御飯はカレーです。

この擬似対話コーパスの応答文は自動生成したも のではなく既存の文であるため、質が保証されてい る。このコーパスを利用することで、ニューラル対話システムが、非対話コーパスに含まれるような応答を生成できるようになることが期待される。

## 3.2 フィルタリング

3.1 節で述べた方法で 擬似対話コーパスを生成す ると、「あー」「あああ」など、意味のない言葉の羅表 2: 逆対話システムの学習に利用した対話コーパ Х

列、同じ単語の繰り返しなど、ノイズの多い生成結果が得られる。これは対話システムの学習を行うう えで悪影響をもたらすと考えられる。そこで、表 1 に示すルールを設けてフィルタリングを行うこと で、擬似対話コーパスの質の向上を目指す。

## 4 擬似対話コーパスの生成

## 4.1 逆翻訳

ニューラル対話システムのモデルとして fairseq の MBART [7] を用いる。これは、英語だけではな く、多言語で事前学習された BART [8] である。対話コーパスを用いて、MBART を Fine-tuning する。 ここで用いる対話コーパスは以下の 3 種類である。

・名大会話コーパス [9]

・BTSJ 自然会話コーパス [10]
- Twitter コーパス

Twitterコーパスは、Tweet-Reply 対を、Twitter API を用いて我々が収集したものである。

これらの対話コーパスを用いて、入力が応答、出力が発話になるような学習を行う。利用したコーパ ス量を表 2 にまとめる。学習した逆対話システムに Web コーパス [11]を入力し、擬似対話コーパスを 得た。

生成した擬似対話コーパスの例を表 3 に示す。 3.2 節で述べたように、生成結果はノイズが多い、「お
表 3: 擬似対話コーパスの生成例

表 4: フィルタリングの実行結果の例

はようございます」などのありきたりな表現が多 い、などの問題がある。このコーパスをそのまま利用して対話システムの学習をすることは、対話シス テムの性能を下げると考えられる。

## 4.2 フィルタリング

4.1 節で生成した擬似対話コーパスに対して、3.2 節で述べたルールに基づき、フィルタリングを実行する。発話と応答のサブワードの重複数に関す る条件については、 $\mathrm{n}=50,40$ の 2 パターンを設定し た。フィルタリングの実行により、 $\mathrm{n}=50 \%$ のときは $3.5 \% 、 \mathrm{n}=40 \%$ のとは $2.1 \%$ のペアが残った。フィル タリングを実行した結果の例を表 4 に示す。フィル タリングにより、多くのノイズが取り除けているこ とがわかる。また、ペア中には、「プログラミング」 と「Web」、試合」と「交代」など、関連する単語が 含まれており、対話システムの学習に効果があるこ とが期待できる。ただし、本研究のフィルタリング ルールは意味的な情報は全く扱っていないため、対話ぺアとして不自然なものも残っている。この点の 改善は今後の課題である。表 5: 対話システムの学習に用いた対話コーパス量

## 5 対話システムの学習

## 5.1 擬似対話コーパスを利用した対話シス テムの学習

4.1 節, 4.2 節で生成した擬似対話コーパスと、 3 種の対話コーパスを用いて、fairseq の MBARTを Fine-tuningする。学習は以下の 6 パターンで行った。
- GOLD
- GOLD+MBART-50
- GOLD+MBART-50 $\rightarrow$ GOLD
- GOLD+MBART-40
- GOLD+MBART- $40 \rightarrow$ GOLD
- GOLD+MBART-w/o filter

ここで GOLD は 4.1 節で述べた 3 種の対話コーパ ス、MBART-50、MBART-40 4.1 節, 4.2 節で生成し た擬似対話コーパスのうちそれぞれ、フィルタリン グの $\mathrm{n}$ 动 $=50,40$ と設定したもの、MBART-w/o filter は 4.1 節で生成した擬似対話コーパスをフィルタリ ングせずにそのまま用いたことを表す。また $\rightarrow$ は、矢印の左側のコーパスで学習したのちに、右側の コーパスで再度学習したことを表す。これは、逆翻訳を利用した翻訳タスクにおいて、擬似対訳コーパ スを利用した後、対訳コーパスで再度学習している [5] ことに由来する。

学習に用いた各コーパスの量を表 5 に示す。対話 システムの評価は、BLEU [12], Distinct-N [6] に基づ く自動評価と、クラウドソーシングによる人手評価 で行った。BLEU は翻訳タスクでよく用いられる評価手法であり、応答文と参照文を構成する N-gram の一致度を表す。

## 5.2 対話システムの評価

## 5.2.1 自動評価

テストコーパスは名大会話コーパス 7,172 文、 BTSJ 自然会話コーパス 3,000 文、Twitter コーパス 30,374 文から構成され、計 40,172 文である。 5.1 節
表 6: 対話システムの自動評価結果

で学習した対話システムを、BLEU、Distinct の指標を用いて評価した結果を表 6 に示す。BLEU、 Distinct 共に、ベースラインである GOLD と比べて 上がる事も下がる事もあるという結果であった。し かし、Liu ら [2]によって、BLEU と対話システムの 人手評価には相関がほとんどないことが指摘されて いる。よって、この結果からは、提案手法で対話シ ステムがどう変化したか結論づけることができず、 5.2.2 節で述べる、クラウドソーシングによる人手評価を行った。

## 5.2.2 人手評価

人手評価は Yahoo!クラウドソーシングを用いて 行った。観点は関連度、おもしろさ、流暢さの 3 観点とし、各対話ぺアの各観点を Yes/Noで 3 人に評価 してもらい、多数決をとった。各学習パターンにつ き 400 文を評価した。発話と応答をそれぞれ A と B の発言とし、A の発言に対して B の応答が各観点を 満たしているかを尋ねた。各観点を尋ねる質問は以下である。

1. 関連度 「B の応答は $\mathrm{A}$ の発言に関係したもの ですか」

2. おもしろみ 「B の応答はおもしろいですか」

3. 流暢さ 「B の応答は日本語として自然ですか」

5.1 節で学習した対話システムの人手評価を行っ た結果を表 7 に示す。スコアは、400 文のうち Yes と判断されたものの割合である。

関連度については、GOLDに比べて、提案手法の 評価が高くなった。また、GOLD+MBART-w/o filter では評価が低くなっており、フィルタリングの必要性がわかる。よって、提案手法が対話システムの応答の発話に対する関連度を上げていると言える。

おもしろさについては、提案手法によってどのよ うな影響があるかは一概には言えない結果となっ た。おもしろさの向上には、外部知識の導入、感情 の考慮など、本研究では扱っていない工夫が求めら れると考えられ、今後の課題といえる。表 7: 対話システムの人手評価結果

流暢さについては、提案手法の評価が GOLDより 高くなっているが、GOLD+MBART-w/o filter につい ても高くなっている。GOLD+MBART-w/o filter のど んな対話ぺアが流暢であると評価されているか見て みると、GOLD+MBART-w/o filter の応答のほとんど が「そうだね」という応答であり、流暢であると判断されることが多かった。これはニューラル対話シ ステムの問題点である、どんな発話に対しても、問題はないが、つまらない応答である。よって、流暢 さという評価指標は、対話システムの評価指標とし て適切ではないと考えられ、評価の観点についても 再考が必要である。

## 6 おわりに

本研究では、多様で自然な応答が可能なニューラ ル対話システムを構築するうえで課題となってい る、対話コーパス量の少なさの克服を目指した。逆翻訳とフィルタリングによって生成した擬似対話 コーパスをニューラル対話システムの学習に用いる ことで、発話との関連度が高い応答を生成できるよ うになることがクラウドソーシングによる人手評価 によって示された。

本研究では、逆対話システムは GOLDコーパス で学習しただけであり、工夫はしていない。また、 フィルタリングには表層的な条件しか用いていな い。今後の課題として、逆対話システムの性能の向上、意味的な情報を考慮したフィルタリングが挙げ られる。

本研究を応用することで、大規模な対話コーパス を持たない言語での対話システムの実現や、対話 コーパスに含まれていないドメインをトピックとす る対話への応用が期待される。

1）「GOLD ゚゚ア自体」は、3種類の対話コーパスそのものをク ラウドソーシングで評価したものである。

## 参考文献

[1]Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2]Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[3]Hui Su, Xiaoyu Shen, Sanqiang Zhao, Zhou Xiao, Pengwei Hu, Randy Zhong, Cheng Niu, and Jie Zhou. Diversifying dialogue generation with non-conversational text. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7087-7097, Online, July 2020. Association for Computational Linguistics.

[4]Alberto Poncelas, Dimitar Shterionov, Andy Way, Gideon Maillette De Buy Wenniger, and Peyman Passban. Investigating backtranslation in neural machine translation. EAMT 2018 - Proceedings of the 21st Annual Conference of the European Association for Machine Translation, pp. 249-258. European Association for Machine Translation, 2018.

[5]Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[6]Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7]Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. ArXiv, 2020.

[8]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9]小磯花絵. 『日本語日常会話コーパス』モニター公開版の構築. 計量国語学, Vol. 32, No. 2, pp. 133-142, 2019. [10]宇佐美まゆみ, 宇佐美まゆみ監修 (2020)『BTSJ日本語自然会話コーパス（トランスクリプト・音声）2020年版』、国立国語研究所、機関拠点型基幹研究プロジェ クト「日本語学習者のコミュニケーションの多角的解明」、サブ・プロジェクト「日本語学習者の日本語使用の解明」（リーダー：宇佐美まゆみ）. 2020.

[11]Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.
表 8: 学習で用いたハイパーパラメータ

## A 付録

5.1 節で対話システムの学習に用いた主なハイパーパラメータを表 8 に示す。エポック数としては、検証 データに対するロスが最小となるエポックを採用した。

表 9: 擬似対話コーパスを用いて学習した対話システムによる対話例

 &  \\

5.2 節で評価したテストコーパスの発話応答ぺアの例を表 9 に示す。モデルは GOLD+MBART- $50 \rightarrow$ GOLD である


# 進化論的アプローチによる 人狼ゲームにおけるエージェントの構築に関する調査

関井郁弥
横浜国立大学
sekii@forest.eis.ynu.ac.jp
}

阪本浩太郎
横浜国立大学
sakamoto@forest.eis.ynu.ac.jp
}

渋木英潔
国立情報学研究所
shib@nii.ac.jp
}

森辰則
横浜国立大学
mori@forest.eis.ynu.ac.jp

## 1 はじめに

近年，スマートスピーカーの普及によってコン ピュータとの対話が身近なものとなり，今後は情報検索や家電操作以外にも対話技術が応用されてい くことが予想される. 情報検索や家電操作などでは ユーザの指示に忠実に従うだけで問題ないが，例え ば，商品セールスなどに応用することを考えると， ユーザが当初目的としていなかった商品を売り込む といったユーザの意思決定に大きく影響を与える対話が求められることになる. 我々は，ユーザの意思決定に大きく影響を与える対話を翻意誘導対話と定義する。しかしながら，翻意誘導対話をどのように 実現するかに関する研究はほとんどない. 我々は,自分の目的を達成するために相手の意思決定に影響 を与えるという点で説得も欺瞒も翻意誘導対話の一種1) と考えている。そこで，ゲームにおける勝敗の ように目的が明確であり，かつ，その目的を対話に よって達成するものが，翻意誘導対話の対象として 適切であると考え，人狼ゲームを対象として研究に 取り組むこととした。

人狼ゲームとは，対話を通して「村人」の中に潜伏した「人狼」を見つけ出す対戦型の多人数ゲーム であり2)，近年，人狼知能プロジェクト3)など研究 テーマとしても注目されている. 人狼知能プロジェ クトでは，「人間と自然なコミュニケーションを取 りながら人狼をプレイするエージェント（AI）の構築」を究極の目標としており，エージェント同士の 対戦成績を一つの指標として人工知能の研究開発に 取り組んでいる.また，我々は，これまで人狼ゲーム プラットフォーム LiCOS[1] の開発や人狼エージェ ントの分析 [2]などに取り組んでいる。人狼ゲーム は意思決定の際に相手がどのような行動をとるか分 からない不完全情報ゲームであり，推論に誤謬がな くとも正解を導き出せるとは限らず，ゲーム中の行動が必ずしも論理的に説明できるわけではない。そ のため，エージェントの発話が翻意誘導できたかを 評価するためには，何度もゲームを繰り返して定量的に見積もる必要があり，模索段階で人間を相手に

ゲームを行うことは効率的でない。また，翻意誘導 された過程を調査する上でも，思考過程が透明であ るエージェントを対象とすることが望ましい，以上 の背景から，我々は人狼ゲームにおける翻意誘導の 対象となるエージェントの構築に取り組む. 将来的 に他のプレイヤの発言の理解や，自然言語を用いた 発話といった対話機能を含めた推理・発言の機能を 持つエージェントの構築を検討する。人間の思考過程を模した構築したエージェント相手への翻意誘導 を観察し，人間に対しても同様に翻意誘導ができる かの検証につながる情報を得ることを期待する。

翻意誘導の対象となるエージェントは，誘導され うる知性を備えつつ，エージェントごとにある程度 の多様性があることが望ましい，そのようなエー ジェントを構築する手段として，我々は進化論的ア プローチをとることとした. 人狼ゲームと同じ不完全情報ゲームである繰り返し囚人のジレンマにおい て進化論的アプローチにより最適戦略を求める研究は多くなされている $[3,4,5,6,7]$. しかしながら， ゲームの複雑さが異なるため，そのまま人狼ゲーム に応用できるか自明ではない。それゆえ，本稿で は，進化論的アプローチによるエージェント構築に 関する設計を行う。

## 2 エージェントの設計

エージェントの思考過程を明示的に表現するた めには，エージェントがそれぞれ対戦相手の他エー ジェントの役職をどのように推理しているかという 認識を表現する必要がある. エージェントの多層的 な認識 (例:「エージェント Cは『エージェント Aが エージェント B の役職を村人だと思っている』と認識している」など）という思考を可視化して表現す るために，エージェントがそれぞれ自身の思考を行 う思考空間（メンタルスペース）と，参加している 各プレイヤに対応しメンタルスペース内に存在する 仮想上のエージェント（メンタルエージェント）を 所有しているモデルを導入する。

エージェントの動作は，他のプレイヤからの発言 を受けてエージェントがゲーム状況を把握するため のメンタルスペースの更新と，ゲームを進行させる ためメンタルスペースに対応した発話や投票を行う といった行動の 2 つからなる。

図 1 メンタルスペースの構造

## 2.1 メンタルスペースの構造

図 1 にメンタルスペースの構造を示す。メンタル エージェント内には，そのエージェントが各エー ジェントの役職をどのように認識しているかとい うキャラクタと役職を対応させた表（対応表）を持 つ. 対応表は，プレイヤと役職の表があり，対応は プレイヤがそれぞれの役職である確率 $[0,1]$ として 表される。 エージェントのメンタルスペース内のメ ンタルエージェント 1 人につき， 15 人のプレイヤご とに 6つの役職それぞれの確率の対応表を所有して いることで，「エージェント C は『エージェント A がエージェント B の役職を人狼だと思っている』と 認識している」などという複雑な認識を扱うことが できる.

また，エージェントはたとえ同じ内容の発言で あっても発言者が異なる場合に，その発言の信用具合が変化することが考えられる. エージェント毎の 信用具合の差を表すために，それぞれのメンタル エージェントには各プレイヤの発言をどれほど信用 するかという指標となる信頼度を所有させる．信頼度は各エージェントの発言を信用している度合い $[0,1]$ として表される. 信頼度が高いプレイヤからの 発言は対応表に大きな影響を与え，反対に低いプレ イヤからの発言は対応表に影響しにくくなる. 信頼度も対応表と同様に，メンタルスペース内のメンタ ルエージェント 1 人につき， 15 人のプレイヤ全員へ の信頼度を所有させる。

誰に投票するか，人狼のプレイヤが誰に襲撃する か, 占い師や狩人のプレイヤの能力の使用先を誰に するか，などのゲーム内での意思決定を含む行動を 説明可能にするために，メンタルエージェントには これらの各種意思決定の際に用いる投票意思, 占い 意思，護衛意思，襲撃意思という意思値を所有させ る. 意思値は，あるプレイヤに対して投票，人狼の 襲撃，占い師の占い，狩人の護衛といった行動をし ようという意思の強さ表した値で，基本的に意思値 が最も高いプレイヤに対して投票・襲撃といった各種行動を試みる。各種意思値はメンタルエージェン
トごとに 1 つずつ所有しており，対応表や信頼度の 数值によって変動するほか，CO（カミングアウト：自らの役職を宣言する）などの発言内容にも応じて 変化させる。

対応表，信頼度，各種意思値といった値は，「占い 師 CO をがされたとき，発言者が占い師かもしれな いと考える」「発言内容に矛盾が生じたとき，その発言者が人狼であると疑う」などといった，理性的な プレイヤが人狼ゲームをプレイする際に用いるルー ルに従って変化する。これらを変化させる際に，そ れぞれのルールの持つ影響力の指標として，各エー ジェントにパラメータを持たせる。，パラメータはそ れぞれ村人陣営の役職のときに強く発現するパラ メータ，人狼陣営のときに強く発現するパラメー タ，陣営にかかわらず発現するパラメータの 3 種類 が存在する。表 1 にエージェントの持つパラメータ の一部を記載する。実際のエージェントの構築では このようなパラメータを多数使用するが，ここでは 一部のみ抜粋する。このパラメータの組み合わせに より，エージェントの個性となる推理方法や発言な どの行動が変化する. 本研究では，このパラメータ を遺伝的アルゴリズムにおける学習対象の遺伝子と し，この数値を最適化することによって理性的に推理を行い，行動するエージェントの構成を試みる。

## 2.2 意思決定

エージェントは発言を要求されるたびに，

1. 役職が占い師，霊能者でそのゲーム中にまだ COしていなければ $\mathrm{CO}$ 発言

2. 占い師, 霊能者のときは能力の使用結果を公表

3. 一番投票してほしいエージェント（投票意思が 最も高いプレイヤ）へ投票するように希望する 発言

4. 今自分が誰を人狼だと思っているかなどの役職考察発言

の優先度で発言を行う。このアルゴリズムは第 2 回人狼知能大会のチーム饂飩の発話アルゴリズム [8] を参考にした。

また，エージェントは投票を要求されるたびに，
表 1 エージェントの構築に用いるパラメータ例

 &  & {$[0,1]$} & 土通 \\

表 2 試合ごとに加算される得点

生存している自分以外のプレイヤの中で最も投票意思が高いプレイヤへの投票を行う. 人狼のエージェ ントは. 襲撃先の投票が要求されるたびに，エー ジェントは生存している人狼でないプレイヤの中で 最も襲撃意思の高いプレイヤへ投票を行う.

## 3 エージェント構築の環境

翻意誘導される上で知性を持ったエージェントで ありながら，異なる個性をもったエージェントが多数得られることを期待し，並列分散型遺伝的アルゴ リズム [9](並列分散 GA) によってエージェントを構築する。エージェントの個体が持つパラメータの集 まりを遺伝子としており，人狼ゲームをプレイする 上で最適な遺伝子パラメータの組み合わせを学習す ることを目的とする。

個体の遺伝子に多様性を持たせるために村を $N_{\text {village }}$ 個用意する.また. 勝敗に運要素が絡むた め，信頼できる勝率を得るためにそれぞれの村で $N_{\text {game }}$ 回ずつ対戦を行う.

適者生存を示すスコアは村人陣営としてのスコア と人狼陣営としてのスコアの 2 種類を用意し，役職 が村人陣営（村人, 占い師, 霊能者, 狩人) で参加し た対戦での結果を村人陣営としてのスコア，人狼陣営（人狼，狂人）の役職で参加した対戦での結果を 人狼陣営のスコアとして計算することで，村人とし て優秀な個体，人狼として優秀な個体を判別する。村人陣営，人狼陣営はそれぞれ試合ごとに表 2 の点数を加算する. ここで，得点 $P_{V 1}$ と $P_{V 2}, P_{W 1}$ と $P_{W 2}$ については, 各プレイヤは自身の陣営の勝利を 何より優先させるべきという考えから， $P_{V 1}>P_{V 2}$, $P_{W 1}>P_{W 2}$ となることが想定される. 今回の実験 では, $P_{V 1}=10, P_{V 2}=1, P_{W 1}=10, P_{W 2}=5$ とした.各陣営としてのスコアは, その陣営として参加し たゲームあたりの平均得点となる。(一度も役職を 引かなかった陣営のスコアは 0)

1 世代分の対戦が終わると，遺伝・交叉により，次世代の個体を生成する．今回の実験では，エリート 保存戦略 [10] によって 4 個体，交叉によって 11 個体を生成する。まず，人狼としてのスコアの 1 位， 2 位と村人としてのスコア 1 位，2 位の個体を選出 する. 村人としての 1 位，2 位と人狼としての 1 位, 2 位の個体計 4 個体をそのまま残し，人狼陣営 1 位表 3 遺伝子の交叉方法

図 2 同一エージェント同士の対戦の試合数と勝率

の個体 (w1)，人狼陣営 2 位の個体 (w2), 村人陣営 1 位の個体 (v1)，村人陣営 2 位の個体 (v2) の遺伝子を それぞれに対して表 3 のように，村人としてのスコ アの高かった個体から村人側の遺伝子を，人狼とし てのスコアが高かった個体から人狼側の遺伝子を遺伝させる形で 11 個体を新しく生成する。共通して 発現する遺伝子の v2 or w2 の部分は， v2 か w2 のど ちらかをランダムに遺伝させる。

この遺伝・交叉システムを用いて世代を重ね，学習の局所解への早期収束を防ぐため， $N_{g}$ eneration 世代ごとに一度，遺伝・交叉の後に他の村への個体 の移住を行った。個体の移住では，それぞれの村に ついて村のエージェントのうちランダムに 7 個体を 移住個体として選び，すべての村の移住個体を集め て，ランダムに各村に 7 体ずつ配りなおすという動作を行い，ほかの村のエージェントを交えて次世代 の対戦を行うことで個体の多様性の維持を図る。

また，個体の移住とは別の手段での多様性の維持手段として，これらの遺伝・交叉・個体の移住が終了した後で，特定の変異率による突然変異を行う。今回の実験では，新しい世代の全個体に対してそれ ぞれ変異率 0.01 で遺伝子のうち 1 箇所をランダム
表 4 各世代交叉終了時に最も数の多かった遺伝子の個体

に初期化する突然変異を行った。

## 4 遺伝的アルゴリズムの設定値

今回の実験における各種設定值について，一部 の設定値について妥当な値を調査するため実験を 行った.

## 4.1 ゲームルール

それぞれの村は 15 人人狼を行い，役職の内訳は 占い師 1 ，霊能者 1 ，狩人 1 ，狂人 1 ，人狼 3 ，村人 8 人ずつの 15 人からなる. 他，詳細なルールは人狼 BBS の $\mathrm{G}^{2}$ 国 $^{4}$ における 16 人村（初日の犠牲者が いないため実質同じルールとして働く）を参考に した.

## 4.21 世代あたりの対戦数について

自己対戦において 1 世代の対戦数に必要な対戦数を調査するため，同一エージェント同士の対戦を 行った. 同一エージェント同士の対戦では，まった く同じパラメータの組み合わせをもつエージェント 同士による対戦を無限回に繰り返すことで理論上 エージェントの勝率の分散はどの村でも 0 に収束す るという考えのもと，同一エージェント同士の対戦 100 回を 10 セット行い，勝率の分散値の変化を調査 した.

図 2 は，まったく同じ遺伝子の組み合わせをもつ エージェント同士による対戦を 100 回 10 セットを 行ったときの，試合数に対するエージェントの勝率 の分散である. 対戦数が 10 対戦付近ではまだ村ご との分散が大きく，結果がばらけてしまっている が，30 対戦から 50 対戦で分散が小さくなり，その あと分散は小さくなり続けているものの概ね横ばい

図 3 第 4 世代終了時に最も数の多かった遺伝子の各世代 での個体数変化

の値をとっている.この結果より，エージェント同士の勝率がある程度収束し，個体ごとに優秀な個体 とそうでない個体を判別するのに対戦数は最低限 30 対戦から 50 対戦は必要となることが考えられる。 そこで，本研究では 1 世代あたりの対戦数 $N_{\text {game }}$ を 50 対戦として設定し実験を行った。

## 4.3 並列分散 GA の移住までの世代数

並列分散型遺伝的アルゴリズムによる，移住まで に必要とされる世代数について最適な世代数を調べ るための調査を行った。表 4 は, 1 世代あたりの対戦数を 50 としたとき 12 の村について，各世代後の交叉終了時に最も数が多かった遺伝子の個体名と個体数を示したものである。遺伝子の個体名について は，上 1 桁はその個体がどの世代で初めて生成され たものであるかを示しており，下 3 桁はその世代で 何番目に生成された個体であるかを示している。

表 4 の結果について, 第 4 世代終了時に最多個体数である個体はほとんどが第 3 世代終了時でも最多個体であり，第 3 世代終了時点で過半数を占めてい るものが多いため，第 3 世代終了時の時点で交叉に よって優秀な遺伝子はほとんど完成している可能性を考え，さらに第 4 世代終了時に個体数が最も多 かった個体の各世代終了時の個体数について調査し た. 図 3 は， 1 世代あたりの対戦数を 50 としたとき の第 4 世代目終了後の交叉終了時に最も数が多かっ た遺伝子の各世代での個体数の変化を示したもので ある.この結果より，第 3 世代から第 4 世代にかけ て，最多数個体の個体数は増えているものの，第 3 世代までの結果でどの個体がその後最多数となるか について大勢は決しているものと判断し, 本研究で は個体の移住までの世代数 $N_{\text {generation }} 3$ 世代ごと と設定した。

## 5 まとめ

本稿では，翻意誘導の対象となりえる人狼エー ジェントの構築のため，進化論的アプローチによる エージェント構築に関する設計と，方法の調査を 行った. 今後は発話の意味理解や自然言語による発話の生成を含め，実際にエージェントを構築しエー ジェントに対しての翻意誘導を実現する技術の調査 を行う予定である。

## 参考文献

[1]阪本浩太郎, 永山翔滋, 石下円香, 渋木英潔, 森辰則, and 神門典子. 人狼ゲームプラットフォーム licos を用いた 欺瞞対話コーパスのためのゲームログの収集. 言語処理学会第 25 回年次大会, 32019.

[2]Shoji Nagayama, Jotaro Abe, Kosuke Oya, Kotaro Sakamoto, Hideyuki Shibuki, Tatsunori Mori, and Noriko Kando. Strategies for an autonomous agent playing the "werewolf game" as a stealth werewolf. In Proceedings of the 1st International Workshop of AI Werewolf and Dialog System (AIWolfDial2019), pages 20-24, Tokyo, Japan, October 2019. Association for Computational Linguistics.

[3]Robert Axelrod. Genetic Algorithms and Simulated Annealing, chapter The Evolution of Strategies in the Iterated Prisoner's Dilemma, pages 32-41. Morgan Kaufman, Los Altos, CA, 1987.

[4]Richard Brunauer, Andreas Löcker, Helmut A. Mayer, Gerhard Mitterlechner, and Hannes Payer. Evolution of iterated prisoner' $\mathrm{s}$ dilemma strategies with different history lengths in static and cultural environments. In Yookun Cho, Roger L. Wainwright, Hisham Haddad, Sung Y. Shin, and Yong Wan Koo, editors, Proceedings of the 22nd Symposium on Applied Computing, pages 720-727. ACM, 2007.

[5]Mieko Tanaka-Yamawaki and Taku Murakami. Effect of Reputation on the Formation of Cooperative Network of Prisoners, pages 615-623. Springer Berlin Heidelberg, Berlin, Heidelberg, 2009.

[6]系井良太 and 田中美栄子. 進化型繰り返し囚人のジレ ンマにおける最適戦略の探究. Technical Report 3 , 鳥取大学大学院工学研究科エレクトロニクス専攻, 鳥取大学大学院工学研究科エレクトロニクス専攻, may 2012.

[7]鳥居 拓馬, 日高昇平, and 真隅 暁. 学習あり繰り返し囚人のジレンマにおける協調行動の発生. 人工知能学会全国大会論文集, JSAI2014:4H13-4H13, 2014

[8]狩野芳伸, 大槻恭士, 園田亜斗夢, 中田洋平, 箕輪峻, and 鳥海不二夫. 人狼知能で学ぶ $A I$ プログラミング: 欺䁐・推理・会話で不完全情報ゲームを戦う人工知能の 作り方. マイナビ出版, 2017.

[9]三木光範, 廣安知之, 畠中一幸, and 吉田純一. 並列分散遺伝的アルゴリズムの有効性. 日本計算工学会論文集, 2000:20000038-20000038, 2000.

[10]北野宏明. 遺伝的アルゴリズム. 人工知能学会誌, 7(1):26-37, 1992.


# 関連タスクの予測確率分布を用いる soft-gated BERT による対話印象分類

竹下智章 $\dagger$ 上坦外英剛 \$ 船越孝太郎
}

$\dagger$ 東京工業大学工学院 \
#東京工業大学科学技術創成研究院 §産業技術総合研究所 \{takeshita@lr., kamigaito@lr., funakoshi@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

チャットアプリや SNS における発話内容から対話相手が対話内容に抱く印象を推測することは，状況に応じた適切な応答を選択する上で有用である.対話印象とは，人-チャットボットの対話において， システム (チャットボット) がユーザ (人) とできる だけ長く円滑な対話を続けるための指標である. 本研究における対話印象分類とは，対話文を以下の 2 クラスに分類することを目的とするタスクである.

ポジティブ印象 ユーザ発話から，ユーザが対話 に対し良い印象を持っていると判断される状態 ネガティブ印象 ユーザ発話から，ユーザが対話 に対し悪い印象を持っていると判断される状態対話印象分類のように対話文に対する分類を行う タスクでは，発話内容を表した文のべクトル表現を 用いる他に発話内の単語のもつ感情極性 [1] や単語同士の関係性 [2] などの特徴を利用する手法がある. しかし本研究は日本語対話文を対象にしており，こ のような言語的資源を利用することが難しい.

一方，対話破綻検出は対話印象分類と同じく人チャットボット対話のある文脈において，システム の発話が矛盾している，文脈から唐突である，質問 に答えてないなどの対話上の破綻を起こしているこ とを検出する分類タスクである [3]. 対話破綻検出 データセット [4] の対話文に 4.1.1 節で後述する対話印象データセットと同一の基準で対話印象のア ノテーションを付した際の内訳を表 1 に示す. 表 1 にあるように，対話破綻検出タスクでは，破綻なし (O), 判断し難い (T), 破綻 (X) の 3 クラス分類を行 う. 表 1 から, システムの発言により対話破綻が生 じている対話では，ユーザがネガティブな印象を抱 いていることが多い傾向にあることが分かる.

本研究において我々は，対話内容に持つ印象に とって対話破綻の影響が大きいと推測し, 対話破綻

} \\

検出タスクの予測結果を援用した対話印象分類手法 を提案する. 我々の手法では，発話内容を表した文 のベクトル表現を得るにあたり BERT[5] を用いる が，関連タスクの予想確率分布を用いた soft-gated BERT を新たに提案し分類モデルに利用する. 実験 を通して我々は，関連タスクの学習を援用する既存 の手法と比較して本手法が対話印象分類において高 い分類性能を持つことを示した。

## 2 関連研究

目的となるタスクの性能を高めるために関連する タスクの学習を援用する手法にはマルチタスク学習 や転移学習が存在する. 対話文の分類タスクにおい てはマルチタスク学習が用いられ，関連がある事象 についての分類タスク同士でモデルを一部共有す る. Mcload ら [6] はユーザ意図分類とスロット抽出 とのマルチタスク学習で対話行為分類の精度を向上 させた. Cerisara ら [7] は対話感情分類と対話行為分類のマルチタスク学習で相互的に性能を高めようと 試みたが，2 つのタスクは事象としての関連はある ものの，これらの分類タスク同士の学習過程全体に おける関連性が低いためにマルチタスク学習の効果 が期待されるほど高くなかったことが示唆されてい る. 関連するタスク同士で学習を共有することで相互的に補完しあうことを目的としたこれらの手法に 対し, 我々が提案する手法は, 関連タスク同士の学習はそれぞれ独立して行われ，一方のタスクの予測結果をもう一方のタスクの学習および予測に用いる

図 1 ベースラインモデルおよび対話破綻検出モデル

図 2 提案手法の全体図. 対話破綻検出の事前学習済みモデル (DBD-model) には印象予測を行うユーザ発話の直前 4 発話が入力されて対話破綻の予測確率分布が出力される. Soft-gated BERT はこの確率分布に応じた強度でそれぞれのクラ スに対応したベクトル表現を得る. Soft-gated BERT より上層のレイヤの挙動はベースラインモデルと同一である.

という相違点がある.

## 3 提案手法

## 3.1 ベースとなる手法

本研究で提案するモデルは，杉山による BERT を 用いた対話破綻検出モデル [8]をべースとしている.図 1 のように，対話文内の各発話はトークン単位で 分割され，発話同士は時系列順に [SEP] トークンで 区切られて入力される. BERT を通して出力された ベクトルは発話単位で平均化された後結合される.結合されたべクトルは完全結合層に入力されて最終的な分類の確率分布が出力される. このモデルは対話印象分類のベースライン手法となり，4.1.2 節で後述する比較手法もこのモデルがベースとなる.

## 3.2 Soft-gated モデル

本研究では，ユーザが対話内容に抱く印象にとっ て対話破綻の影響は大きいという仮定のもと，対話破綻検出の予測結果を対話印象分類に援用する手法

図3 関連タスクの予測確率分布を援用した Soft-gated BERT

を提案する。この際に留意しなければならないの は，この 2 つのタスクの関連性である。これについ て検討した結果，我々は，対話印象から対話破綻へ の一方的な依存関係があると仮定した。すなわち，対話破綻が起こっていると対話印象が悪く(=ネガ ティブ印象) なりやすいが，ユーザの対話印象が悪 くなる際に必ずしも対話破綻が起こっているとは限 らない。そのため，モデルの学習を共有することで 相互的に補完し合うマルチタスク学習や転移学習の ような既存の手法では過学習が起こる懸念がある.

そこで本研究では，ベースライン手法で用いられ

る BERT を図 3 のようなモデルに置き換えること で，対話破綻検出の予測確率分布に応じたべクトル 表現を得るモデルを提案する. このモデルは事前学習済の BERT の最上層 (12 層目)を複製し， 3 個のレ イヤ (各レイヤは対話破綻検出の各クラスに対応)を 用意する. 11 層目から出力されたべクトルは分岐 したそれぞれのレイヤに入力され，12 層目の出力は それぞれ対話破綻の予測確率分布 $\left(p_{O}, p_{T}, p_{X}\right)$ 倍の 強度で足し合わされる. 対話破綻検出の確率分布の 予測は事前に対話破綻検出を学習したモデル (ベー スラインモデルと同じ物) によって行われる (図 2).

このような機構を導入するすることで，対話破綻検出のクラスに対応する分岐レイヤには逆伝播する際 の強度の違いによって学習に差異が発生することに なる. 通常 BERT 内の multi-head attention がそれぞ れ異なる表現を自動的に学習することで柔軟な表現 に対応しているが，本手法では先験的に関連タスク に対応したレイヤを用意することで，BERT の学習済み表現を大きく壊すことなく，対話の破綻状態に 応じた適応学習が行われることが期待される.

## 4 実験

## 4.1 実験設定

実験に用いたデータセットおよび比較手法，評価方法について説明する.

## 4.1.1 データセット

対話印象分類データセット 本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティ チュート・ジャパンによる人-チャットボット対話文コーパスにアノテーションを付したデータセッ ト ${ }^{1)}$ の基準に基づく．対話文コーパスはシステム (チャットボット) とユーザ (人) の一対一の対話で構成される．ユーザの各発話には，第三者のアノテー タによるユーザが対話に対し抱く印象のアノテー ションラベルが付され，ポジティブ印象またはネガ ティブ印象で評価される. 各対話には 10 種類のう ちいずれか 1 つのトピックが設定され，システムか らそのトピックに対応する話題をユーザに提示 ${ }^{2}$ す

}} & \multicolumn{2}{|c|}{} \\

ることで，特定のトピックに関する対話を行う。

対話破綻検出データセット 対話破綻検出チャレ ンジ 1[4]，2[9]，3[10]，4[11] のデータセットを用い る. 対話破綻検出では，対話の状態を 3 クラス $(\mathrm{O}:$破綻なし， T:(破綻しているか) 判断し難い，X:破綻) で分類する.

## 4.1.2 比較手法

提案手法の有効性を示すため，関連タスクの学習を利用する既存の学習手法と比較および考察を 行った.

ベースライン手法: baseline 対話印象分類デー タセットでのみ学習を行い，対話破綻検出の学習に よる援用の有効性を検証する．後述する手法では便宜として当モデルを BERT を用いたエンコーダ部お よび分類器部に分けて呼称する。

転移学習: transfer ベースラインモデルで対話破綻検出を学習した後，エンコーダ部のみを流用した ベースラインモデルで対話印象分類の学習を行う。

マルチタスク学習: multi-task ベースラインモデ ルのエンコーダ部は対話印象分類と対話破綻検出で 共有し，分類器部はそれぞれのタスクでのみ学習さ れる。転移学習とは異なり，バッチごとに対話印象分類タスクと対話破綻検出タスクを切り替えて並行 して学習を行う。

特徵量の結合: feature-in 提案手法では，対話破綻検出モデルによる予測確率分布に応じた注目情報 を得ているが，当比較手法ではこの確率分布を特徴量の 1 つとして，そのまま BERT から出力された後 に平均化されたべクトル表現と結合して利用する.

## 4.1.3 実験方法

BERT は Wikipedia 日本語コーパスで事前学習済 みの BERT モデル [12]を利用する。対話破綻検出の クラスは本来， $\mathrm{T}:$ 中立 (判断し難い) のラベルを含ん だ 3クラス分類であるが，この中立ラベルを X:破綻

1）付録に詳細を記す。

2）例えば，「お土産」のトピックが設定された対話ではシステ ムが「旅先で職場の同僚向けの土産を購入するか」といった 話題をユーザに提供する。

と同一として 2 クラス分類 (O:破綻なし，X: 破綻) と する設定でも同様の方法で実験を行った. この際，提案手法モデルの soft-gated BERT 内の分岐レイヤ数 も 2 個になる.

提案手法と feature-in は, 対話破綻検出モデルが 独立しているため, これら 2 つの手法について はこの部分が対話印象分類の学習時に適応学習 (fine-tuning:FT) を行うか否かの比較実験も行った. これは，関連タスク (対話破綻検出) 用に学習された モデルがより目的のタスク (対話印象分類) に適する ように調整されることを期待したためである. それ ぞれのモデルの学習率は [13] を参考に, 印象分類モ デル:破綻検出モデル $=5 e-5: 1 e-6$ とした.

## 4.1.4 評価方法

各モデルの対話印象分類性能の評価は，対話印象 データセット内のトピックごとに算出されたマク 口 F1 スコアの平均值を比較することで行う. これ は各トピックの対話に特有の単語への過学習を防ぐ ことと，クラス比に偏りのあるデータへの交叉検証 を目的としており， 10 個のトピックで分けられた対話文グループのうち, ある 1 つのグループをテスト データとした際，訓練データには残り 9 トピックの 対話文グループが利用される.

## 4.2 実験結果

提案手法と比較手法について対話印象分類の精度 を比較した結果を表 4 に示す. 対話印象分類学習時 に対話破綻検出モデルを適応学習するか否かで比較 を行った結果を表 5 に示す.

ネガティブ印象クラスの分類について ベースラ インと比較してマルチタスク学習では再現率 (Rec.) が上昇するが，適合率 (Pre.) が大きく減少している ために F1 スコアが低下している。これは仮定にも あった通り, 必ずしも破綻しているから印象が悪い とは限らないので, 注目するべき位置を過学習して しまったために適合率が減少したと考えられる. 同様に特徴量の結合手法 (feature-in) では, 適合率が上昇するが再現率が減少しているため F1 スコアが低 くなった.

一方で提案手法では適合率を大きく下げずに再現率を上昇させているため，ベースラインより F1 ス コアが上昇している. 上述した過学習をしなかった ためか, feature-in よりも性能が良い結果となった. また，対話破綻のクラス数は 2 クラスとした方が性表 4 関連タスクの学習を利用する手法との比較

Positive Negative Macro Ave.

表 5 対話破綻検出モデル適応学習の有無による比較

能が良い結果となった.

対話破綻検出モデルに対する適応学習を行った場合は予想に反して，適応学習を行わなかったものよ りも全体的にスコアが下がるという結果となった.

## 5 おわりに

本研究では，対話印象にとって対話破綻の影響は 大きいという調査に基づいた仮定のもと，対話破綻検出を援用した対話印象分類手法を提案し，既存手法との比較を行った. 転移学習やマルチタスク学習 のような，関連タスクの学習を援用する既存の手法 では分類性能が下がるのに対して本手法では性能が 上昇するという有効性を示し，対話破綻の検出結果 を特徵量として用いる手法よりも性能が良いことを 示した.

また, 本研究において提案した soft-gated BERT は,事前学習済モデルの表現を大きく壊すことなく, 関連タスクの予測確率を援用し目的タスクの予測を補助するという性質上，他のタスクにも適用すること が可能と推察される.

## 謝辞

対話印象分類データセットを貸与いただいた株式会社ホンダ・リサーチ・インスティチュート・ジャ パンに感謝いたします.

## 参考文献

[1] Justine Zhang, Jonathan P. Chang, and Cristian DanescuNiculescu-Mizil. Conversations gone awry:detecting early signs of conversational failure. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pp. 1350-1361. Association for Computational Linguistics, 2018.

[2] Peixiang Zhong, Di Wang, and Chunyan Miao. Knowledge-enriched transformer for emotion detection in textual conversations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 165-176. Association for Computational Linguistics, 2019.

[3] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳, 水上雅博. テキストチャットを用いた雑談対話 コーパスの構築と対話破綻の分析. 自然言語処理, Vol. 23, No. 1, 2016.

[4] 東中竜一郎, 船越孝太郎, 小林優佳, 稲葉通将. 対話破綻検出チャレンジ. 言語・音声理解と対話処理研究会第 75 回研究会 (第 6 回対話システムシンポジウ ム), pp. 27-32. 人工知能学会, 2015.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186. Association for Computational Linguistics, 2019.

[6] Sarah McLeod, Ivana Kruijff-Korbayova, and Bernd Kiefer. Multi-task learning of system dialogue act selection for supervised pretraining of goal-oriented dialogue policies. In Proceedings of the SIGDial 2019 Conference, pp. 411-417. Association for Computational Linguistics, 2019.

[7] Christophe Cerisara, Somayeh Jafaritazehjani, Adedayo Oluokun, and Hoa T. Le. Multi-task dialog act and sentiment recognition on Mastodon. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 745-754, 2018.

[8] Hiroaki Sugiyama. Dialogue breakdown detection using BERT with traditional dialogue features. In DBDC4 WOCHAT workshop, 2019.

[9] 東中竜一郎, 船越孝太郎, 稲葉通将, 荒瀬由紀, 角森唯子. 対話破綻検出チャレンジ 2. 言語・音声理解と対話処理研究会第 78 回研究会 (第 7 回対話システムシ ンポジウム), pp. 64-69. 人工知能学会, 2016.

[10] 角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将. 対話破綻検出チャレンジ 3 における対話破綻検出の評価尺度の選定. 人工知能学会論文誌 35 巻 1 号 DSI-G, pp. 1-10. 人工知能学会, 2020.

[11] Ryuichiro Higashinaka, Luis F. D'Haro, Abu Shawar Bayan, Rafael Banchs, Kotaro Funakoshi, Michimasa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and Joao Sedoc. Overview of the Dialogue Breakdown Detection Challenge 4. In DBDC4 WOCHAT workshop, 2019.

[12] 柴田知秀, 河原大輔, 黒橋禎夫. BERTによる日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208. 言語処理学会, 2019.

[13] Yang Liu and Mirella Lapata. Text Summarization with Pretrained Encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740. Association for Computational Linguistics, 2019.

[14] 中島圭祐, 駒谷和範, 中野幹生. 雑談対話システム構築フレームワーク pychat に基づく特定シチュエー ション向け対話システム. 第 87 回人工知能学会言語・音声理解と対話処理研究会 (第 10 回対話システ ムシンポジウム). 人工知能学会, 2019.

[15] Mikio Nakano and Kazunori Komatani. A framework for building closed-domain chat dialogue systems. Knowledge-Based Systems, Vol. 204, p. 106212, 2020.

[16] Klaus Krippendorff. Reliability in content analysis. Human Communicatuon Research.

## A 付録

## A. 1 対話印象分類データセットの詳細

本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティチュート・ジャパンによる人-チャット ボット対話文コーパスにアノテーションを付したデータセットの基隼に基づく. 対話文コーパスはシステム (チャットボット) とユーザ (人)の一対一の対話で構成される. 本システムは，料理とレストランに関する話題を扱う雑談対話システム [14][15] である. ただし， [15] に記述したバージョンより一つ古いバージョンの システムでのため，知識べースやルールの数が若干異なる.

対話の参加者はクラウドソーシング会社である株式会社クラウドワークス経由で 105 名を募集した. 参加者は, PC やスマートフォンなどの自分の端末の Web ブラウザから対話サーバーにアクセスし, 14 日間で 8 回のセッションに参加した. 参加者には， 14 日間で 8 回のセッションに参加してもらい, 1 日に 2 回以上は 参加しないようにした. 参加者の中には， 8 回以上のセッションに参加した人もいた. また，各セッション で最低 25 回の発話をすることを求めた. 各対話セッションには 10 種類のうちいずれか 1 つのトピックが設定され，システムからそのトピックに対応する話題をユーザに提示することで，特定のトピックに関する対話を行う. 各ユーザの最初のセッションのトピックは「朝食」であった. 残りのセッションでは, セッショ ントピックをランダムに選択したが，10 回以上セッションに参加しない限り，同じセッショントピックでの チャットは重複して行わなかった. 参加者のうち真剣に対話に取り組んだ 96 名 (女性 48 名, 男性 48 名，年齢 19 50 代) の対話についてアノテーションを行った. 96 人のうち 2 人が 5 回, 4 人が 4 回のセッションを 行い，残りの 90 人は 8 回以上のセッションを行ったこととなる.

ユーザの各発話には，第三者のアノテータによってユーザが対話に対し抱く印象のアノテーションが行わ れ，以下の評価基準で 5 段階 (-2:非常に悪い，-1:悪い，0:中立，1:良い，2:非常に良い)のラベルを付した.

・ユーザの発話から，ユーザが対話に対して良い印象を持っており，対話を継続する可能性が高いと推測 され，同じ話題について同じように話を続けることができると判断された場合には，正値のスコアをア ノテーションする.

・ユーザの発話から，ユーザが対話に対して良い印象も悪い印象も持っておらず，このままでは対話を止 める可能性が高いと推測された場合には，0をアノテーションする。

・ユーザの発言から，ユーザが対話に対して悪い印象を持っていること，対話をやめてしまう可能性が高 いことが推測され，話題を変えるか，謝罪する必要があると判断された場合には，負值のスコアをアノ テーションする.

本研究では, 正值 $(1,2)$ のラベルを一律に” ポジティブ” クラスとし, 負值 $(-2,-1)$ のラベルを” ネガティブ” クラスとして利用した.また， 0 :中立のラベルは人手でも前述する 2 クラスとの明確な判別が困難なため今回は利用しなかった.

1 人のアノテータが全対話にアノテーションを行った. アノテーションされたスコアの信頼性を調査する ために， 16 のセッション (無作為に選ばれた 8 人の参加者に対して，少なくとも 25 回のユーザーターンを 含む 2 つのセッションを無作為に選んだ) にもう一人のアノテータがアノテーションを行った. 検証の結果, Krippendorff の $\alpha$ (順序尺度)[16] における 2 人のアノテータ間の一致率は 0.63 であり, 中程度に高い值で あった.


# クラウドソーシングで利用可能な日本語対話収集基盤

児玉 貴志 $\dagger$ Frederic Bergeron ${ }^{\dagger}$ 新隼人 $\dagger$ 田中リベカ $\dagger$ 坂田亘 ${ }^{\dagger}$ 黒橋禎夫 $\dagger$
†京都大学 ‡ LINE 株式会社
\{kodama, bergeron, atarashi, tanaka, kuro\}@nlp.ist.i.kyoto-u.ac.jp
wataru.sakata@linecorp.com

## 1 はじめに

近年の対話システムの研究では, Twitter や Reddit 等の大規模対話データで事前学習を行い，それぞれの タスクに合わせた小規模対話データセットでファイン チューニングを行うという手法が一般的になりつつあ る.この小規模対話データセットは，小規模と言え ど，数万発話程度の規模が必要となるため, クラウド ソーシングを利用して集められることが多い.

英語の対話研究では, Facebook が提供する ParlAI ${ }^{1)}$ において，対話を行うワーカをリアルタイムでマッ チングし，マッチングしたワーカ間の対話を収集・保存するフレームワーク（対話収集基盤）が公開さ れており, Amazon Mechanical Turkで対話収集のタス クを容易に実施できる。また，この対話収集基盤に よって収集されたデータセットも数多く公開されてお り $[1,2,3,4]$, 対話研究の発展に大きく寄与している. しかし, Amazon Mechanical Turk の対応言語は英語の みであり, 日本語の対話を収集するのは難しい. 対話 データは対話研究の礎である. 対話データの分析を積 み重ねることで新たな知見が得られるため，対話デー タ収集の重要度は高い。

そこで，我々はクラウドソーシングで日本語の対話収集を容易に行える対話収集基盤を構築し, 公開し $た^{2)}$. 本対話収集基盤は対話収集用サーバを用意する だけで使用することができる．指定した対話収集用 URL にワーカがアクセスするとぺアのマッチングが 行われ，ワーカがリアルタイムで対話するチャット ルームの生成，およびそこでの対話の保存までを自動 で行うことができる. また， ぺアのマッチングおよび リアルタイム対話の実現という開発コストの高い対話収集システムの基盤部分を提供しており，少量の追加実装のみでタスク実施者が収集したい対話の形式に合 わせてカスタマイズすることも可能である. この対話

収集基盤を用いることで，タスク実施者は収集したい 対話の形式や内容の検討のみに注力することができ る. 一方で，ワーカはURLをクリックするだけで対話収集に参加でき，対話のやりとりのためのアプリ ケーションやツールをインストールする必要がないた め，ワーカ側の負担も少ないツールとなっている。ま た，特定のクラウドソーシングサービスに依存してお らず，汎用的に利用できる。

本稿では，公開した日本語対話収集基盤を利用した 対話収集の流れを説明し，この対話収集基盤を実際に 利用したクラウドソーシングでの対話収集事例を報告 する。

## 2 関連研究

クラウドソーシングを用いた日本語の対話収集はこ れまでにも取り組まれてきたが，「どのようにワーカ 同士のマッチングを行うか」「どのように対話のやり 取りを行う環境を提供するか」の2つが大きな課題と されてきた.

これらの課題に対して，2 者間の対話を，与えられ た対話履歷に対する次の発話を作成するタスクに分解 することで，複数の異なるワーカによって 1 つの対話データを作成する研究がある [5, 6]. 不特定多数の ワーカが並行して作業を進められるため所要時間の削減等のメリットがある一方で，あくまで疑似対話デー タであるため通常の対話とは違った性質を持っている と考えられる。

また，複数のアプリケーションやツールを組み合わ せることで対話を収集するアプローチもある．塚原・内海 [7] はクラウドソーシングサイトで集めたワーカ に Slack ${ }^{3)}$ のチャンネルのアクセス用 URLをメールす ることでワーカのマッチングを行い，対話を収集して いる. 東中ら [8] は誰でも編集可能な Google Drive の スプレッドシートを用い，各ワーカに Skype の ID と 対話可能な時間を記入してもらうことでマッチング及

3) https://slack.com

図 1 クラウドソーシングを利用した対話収集の流れ

び対話収集を実現している。ただ，こうした複数の ツールを使う手法ではワーカ側にはアカウント作成や ツールのインストールの手間が，タスク実施者側には 複数のツールを管理する手間がかかり，負担が大きい と考えられる。

本稿で提案する対話収集基盤では，実際にワーカ 2 人がリアルタイムで対話をするため，疑似ではない通常の対話を収集できることに加え，ワーカのマッチン グ・対話・データ保存までを 1 つのツールで行えるた め，ワーカとタスク実施者両者の負担が少ない.

## 3 対話収集の流れ

まず下準備として対話収集基盤の雛形から対話収集 サイトを作成する，ワーカ同士が雑談をするという最 も基本的な対話収集の設定の場合は設定ファイルを編集するだけで作成することができる．設定ファイル には対話データの保存場所, 各ワーカの最低発話数, マッチングルームでの最大待機時間（後述）などの項目があり，容易に変更ができる．またチャットルーム の HTML ファイルを変更すれば，タスク実施者が収集したい対話の形式に合わせてカスタマイズすること も可能である.

次にクラウドソーシングタスクを設計する ${ }^{4)}$. クラ ウドソーシングタスクには作成した対話収集サイト の URLを掲載しておくのに加え，チャットルーム ID （詳細は後述）の入力欄を準備しておく. ワーカを集

4) 本稿では Yahoo!クラウドソーシング  を使用した
める目的でのみクラウドソーシングを利用するため,非常に簡潔なタスク設計となっており，一般的なクラ ウドソーシングサービスにも適用できる。

続いて実際の対話収集の説明に入る。図 1 にクラウ ドソーシングを利用した対話収集の流れを示す. 対話収集のためのワーカはクラウドソーシングサイトを通 じて集める (1)）、タスク参加するワーカ（ワーカ $\mathrm{X} ＼mathrm{~ ワ ー カ ~ Y ） は タ ス ク に 掲 載 さ れ て い る 対 話 収 集 サ ~}$ イトの URLをクリックし，マッチングルームに入る. マッチングルームには最大で 1 人が待機している. ま だ待機しているワーカがいなければ， ペアとなるワー カが来るまでマッチングルームで待機する (2). 対話収集サイト作成時に最大待機時間を設定することが できる. 最大待機時間を過ぎた場合は「現在，他の ユーザーがいません．後でもう一度試して下さい.」 というメッセージが表示され，マッチングルームから 自動でワーカを退出させる。こうすることで不必要 にワーカを長時間待機させない仕組みとなっている.我々の予備実験では最大待機時間を 120 秒に設定して いるが，参加者が少ない時間帯などにタスクを実施す る場合は調整が必要である. 一方, マッチングルーム に既にワーカが 1 人待機していた場合はマッチング ルームに 2 人のワーカが揃い，マッチング成功となる (3).

マッチングが成功したワーカペアは自動的にチャッ トルームに移され，そのチャットルーム内で対話を行 う (4)．チャットルームのスクリーンショットを図 2 に示す. 対話にはターン制を採用し，1 人のワーカが

船了
A:はじめまして

B:こんにちは。

A: こんにちは、今回はよろしくお願いしますささっそ か?

B: 料理や音楽がしゅみです。

$\mathrm{A}$ : どちらも素敵なご趣味ですね 私はこういう時期で すので、最近は自炊が多くなりましたが料理はまだ 苦手です $\mathrm{W}$ あなたは料理は何年くらいしてらっ しゃるのですか?

B: もう 20 年以上やってますね一

$\mathrm{A}:$ すごいですねー 失礼ですが、レパートリーはどの
くらい・?

B: う〜ん色々作ってますが朝はパスタにしました、パ スタ手間かからないので楽ですよ。

A:私もパスタはときどき作って食べます ソースはレ トルトなんですけど・・W

B: パスタはいいですよ〜いろんな種類買いすぎて今家 に40キロぐらいあります...

A: すごいですねW パスタは保存も効くからいいです よね! 得意な料理のジャンルはございますか？

B: コロナで家にいるので保存食用に箱買してしまいま した、得意は煮込み系でしょうか。

A: 煮込みは良いですね、ごはんにもお酒の看にも コ 吕ナのためにやはりご自宅での炊事は増えました か?

B: 増えましたね〜

A: そうですよね 私も仕方なく自炊するようになりま したし・・W

B: そうですよね、慣れると簡単ですよ！ 学生さんです か?

A:いいえ、社会人です $\mathrm{W}$ 今までほとんど自炊は母に 任せてましたので・.・それでは今回はありがと うございました

B: 実家いいですね〜ありがとうございました！

図 3 趣味雑談対話の例. Aが聞き手，Bが話し手を指す.

## 4.1 趣味雑談対話

まず，趣味についての雑談対話を収集した例につい て紹介する. 図 3 にその対話例を示す. 各ワーカの最低発話数は 8 に設定した.この趣味雑談対話収集では 概ね対話収集基盤をそのまま使用しているが，ワーカ それぞれに追加で役割を割り当てている。具体的に は, 片方のワーカに趣味の「話し手」，もう片方のワー カに趣味の「聞き手」の役割をランダムに割り当てて 対話をしてもらった. 図3の例では Aが聞き手，Bが 話し手である.「聞き手」のワーカは自身の行動など の発話は行わず，相手のワーカの趣味を聞き出すよう にインストラクションされている。この役割はマッチ ングルームに入ってきた順番を利用して割り当ててお り，対話収集基盤の雛形をベースに，役割やインスト ラクションの表示部分のみを追加で実装するだけで実例を 2 つ紹介する.

図 4 映画推薦対話の例

現することができる．このように，本稿で提案する対話収集基盤を用いることでワーカの役割が異なる形式 の対話についても容易に収集することができる．この 対話収集では，ワーカがタスクに 1 度しか参加できな い設定で，50 対話を収集するのに平均約 4 時間程度 かかった.

## 4.2 映画推薦対話

次に映画についての推薦対話 [10] の収集例を紹介 する.この対話も趣味雑談対話と同様にワーカの役割 が異なり, 図 4 の例に示すように映画を勧める推薦者 A と映画を勧められる被推薦者 B に分かれて対話を 行う. 収集方法は Wizard of Wikipedia [2] と近い設定 で，推薦者側は提示された外部知識を参照しながら対話を進めていく.この対話収集の際に使用したサイト も推薦者にのみ外部知識を提示する部分, 及び推薦者 が外部知識にチェックを入れてから発話を送信する機構のみを追加で実装した。

図 5 に映画推薦対話 200 対話を収集するのにかかっ た時間と各時点での累計の対話数の関係を示す. 対話収集タスクは 2020 年 12 月 29 日の午前 11 時より開始 し, 同じワーカが 10 回までタスクに参加できる設定 とした. また, 各ワーカの最低発話数は 10 に設定し た. 図よりタスク開始後，約 3 時間で 100 対話，約 10 時間で 200 対話の収集が完了している. 合計 20 発話以上の比較的長めの対話を非常に高速かつ大量に収集 できていると言える. また，マッチングルームでの待機時間の間に相手とマッチングできた割合は $59 \%$ と なっており，クラウドソーシングを利用したリアルタ イムでのマッチングが実用レベルで成功していること が確認できた.

図 5 対話収集にかかった時間

## 5 おわりに

本稿では日本語の対話収集を容易に行える対話収集基盤を構築した。提案する対話収集基盤を用いること でワーカ間の対話収集をリアルタイムで行えるシステ ムを少ない負担で構築することができる。また，実際 の収集例を通して，本対話収集基盤によって高速かつ 大量に対話を収集できることを示し，タスク実施者の 用途に合わせてカスタマイズできる拡張性の高さにつ いても紹介した. この研究により対話データ収集の研究が増え, 今後の日本語対話研究がさらなる発展を遂 げることを期待している.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受け て行った.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, 2018.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In Proceedings of the International Conference on Learning Representations (ICLR), 2019.

[3] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

[4] Eric Michael Smith, Mary Williamson, Kurt Shuster, Jason Weston, and Y-Lan Boureau. Can you put it all together: Evaluating conversational agents' ability to blend skills. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030, 2020.

[5] Tetsuro Takahashi and Hikaru Yokono. Two persons dialogue corpus made by multiple crowd-workers. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2017.

[6] 池田和史, 帆足啓一郎. クラウドソーシングを利用し た非同期チャットによる対話シナリオ収集方式の提案. 人工知能学会全国大会論文集 第 32 回全国大会, 2018 .

[7] 塚原裕史, 内海慶. オープンプラットフォームとクラ ウドソーシングを活用した対話コーパス構築方法. 言語処理学会第 21 回年次大会, pp. 147-150, 2015.

[8] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話 システム. オーム社, 2020.

[9] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, 2016.

[10] 児玉貴志, 田中リベカ, 黒橋禎夫. 外部知識に基づく発話生成に向けた日本語映画推薦対話データセットの構築. 言語処理学会第 27 回年次大会, 2021.


# 外部知識に基づく発話生成に向けた 日本語映画推薦対話データセットの構築

児玉 貴志† 田中リベカ† 黒橋禎夫 †
$\dagger$ 京都大学 $¥$ 科学技術振興機構 CREST
\{kodama, tanaka, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 1 はじめに

人と自然に話すことができる対話システムは人工知能の究極の目標の一つと言われている. 対話はタ スク指向型対話 [1] と非タスク指向型対話（雑談対話）[2]に大別される [3]が，その両者において，対話外の知識（外部知識）を必要とする場合がほとん どであり [4]，その理解・活用は重要視されている.

そうした背景もあり，外部知識を利用した発話生成の研究は近年注目を集めており，ベンチ マークとなるデータセットも数多く提案されてい る [5,6,2,4,7]. しかしこれらのデータセットは英語または中国語での対話であり，外部知識に基づく 発話生成を目的とした日本語対話データセットは存在しない。 また，外部知識に基づいた，英語の対話 データセットである Wizard of Wikipedia [2] を日本語 に翻訳して活用を試みた研究もあるが，翻訳の誤り によるエラー伝搬が起きると考えられるのに加え，日本人の対話に出てこない話題があることが報告さ れており [8], 対話における言語間の壁は大きい.

そこで本研究では，外部知識に基づく発話生成を 目的とした日本語映画推薦対話データセットを構築 した.この対話データセットはクラウドワーカーに よって作成され，約 2,500 対話からなる. 図 1 に示 すように， 1 人の話者が映画の推薦者，もう 1 人の 話者が被推薦者となり，推薦者が被推薦者に 1 つの 映画を勧める設定である。推薦者だけが映画につい ての知識（＝外部知識）を参照することができ，推薦者はこの外部知識をできるだけ使用して発話を する．発話を行う際には，推薦者自ら，使用した知識を選んでアノテーションを行う。この手続きによ り，対話中の推薦者側の発話すべてに，その発話の 構成に使用された外部知識を紐付けることができ る。また，外部知識である映画についての知識とし て, タイトル, 製作年度などの構造化された知識に加え，あらすじやレビューといった構造化されてい ないテキストも用意することで，様々なタイプの外部知識を活用することを目的としたデータセットに なっている.

本稿では，外部知識の収集方法とその知識に基づ いた対話の収集方法を説明したのち，構築した映画推薦対話データセットを利用して訓練したベースラ インモデルについて報告する.

## 2 映画推薦対話データセットの構築

対話のドメインには万人が興味を持ちやすく対話 が円滑に進みやすいテーマであると考えられるこ とから映画を選んだ。本節では映画推薦対話データ セットの構築手法について説明する。

## 2.1 外部知識の収集

外部知識である映画情報は Wikipedia などのウェ ブテキストを中心に収集する。まず，過去の興行収入ランキング1)を参考に 242 本の映画を選定した. この各映画に対して外部知識となる映画情報を収集 する.

外部知識は図 1 にも示すように基本情報，レ ビュー，あらすじからなる．このうち，基本情報の 大部分（タイトル，製作年度，監督名前，キャスト 1 名前，キャスト 2 名前）及びあらすじは各映画の Wikipedia 記事から取得する（監督は最大 1 名，キャ ストは最大 2 名まで)。また監督説明，キャスト1説明，キャスト 2 説明はそれぞれの人物の Wikipedia 記事の第一段落から取得する. ジャンルについては Yahoo!映画 ${ }^{2)}$ のジャンル分けを使用する．レビュー はクラウドソーシングで収集する（Yahoo!クラウド ソーシング3）を利用），各ワーカは全 242 本からな る映画リストの中から自分が観たことがある映画を

図 1 構築した映画推薦対話データセットの例. 外部知識中の下線部は対話で使用されている知識であることを示す.

選び，その映画の「おすすめポイント」を 3 点に分 けて文章で記入する．結果として 1 映画あたり平均 16.5 件のレビューを収集した。

推薦者に提示する知識が多くなりすぎないように するため，あらすじは冒頭の 10 文のみ（10 文に満 たない場合は全ての文) を文分割して提示する.レ ビューはワーカが記入したレビューを文分割等は行 わずにそのまま使用する．収集したレビューの中か ら 15 文字以上 80 文字未満のレビューを各映画につ き 5 つずつランダムに選び，その 5 つをその映画の レビューとして常に使用する.

## 2.2 クラウドソーシングによる対話収集

## 2.2.1 設定

2 人のワーカは役割が異なり，片方は映画の推薦者，もう片方は被推薦者として対話を行う.

推薦者 被推薦者が映画を見たくなるように映画 を勧める．推薦する映画は映画リストの中から推薦者側が自由に決められる。この際，自分が勧めたい 映画を選んでも，相手の好みを対話で聞き出しなが らその好みにあった映画を選んでも構わない. 推薦者は提示された知識をできる限り使用して映画を推薦し，発話を送信する際にはその発話の構成に使用 した知識のチェックボックスにチェックを入れてか ら送信する（複数選択可）. また，挨拶や相槌など 知識を使用しない発話の場合は別途用意してある 「知識なし」の選択肢を選ぶことができる。

被推薦者 Wizard of Wikipedia [2] の指示と同様に 「より楽しく，勧められる映画のことを知ろうと心 がけて下さい」とだけ指示されている.対話は以下の流れで行われる。

1. 推薦者・被推薦者のどちらから対話を始めても よい.

2. 推薦者が推薦する映画を決める．映画が決まる と，推薦者側の画面にはその映画についての知識が表示される。一方，被推薦者側の画面には チャット画面のみが表示され，映画についての 知識は表示されない。

3. 推薦者は提示された知識の中から選んだ知識に 基づいた発話を行い，被推薦者は推薦者の発話 に対して自由に返答する。

4. 対話は映画が決定されてから最低 20 ターン続 ける. 20 ターンを超えると対話を終了するこ とができる.

## 2.2.2 対話収集システムの構築

対話収集システムは，児玉らの対話収集基盤 [9] をべースとして構築する. この対話収集基盤では指定した対話収集用 URL にワーカがアクセスすると ペアのマッチングが行われ，ワーカがリアルタイム で対話するチャットルームの生成，およびそこでの 対話の保存までを自動で行うことができる．本研究 で使用する対話収集システムでは，ペアとなった ワーカ 2 人にそれぞれ推薦者，被推薦者の役割を与 え，推薦者のみ対話中に外部知識を参照できるよう な機構のみを追加で実装した。付録 A. 1 に対話収集 システムのインターフェースを示す.

## 2.2.3 収集結果

上述の設定，収集システムを利用して対話収集を 行った. 統計情報を表 1 に示す. 全部で 2,565 対話
表 1 映画推薦対話データセットの統計情報. 単語分割に は Juman++ [10]を使用.

図 2 使用された外部知識の分布. キャスト 1 名前と キャスト $2_{2}$ 名前 は「キャスト名」に，キャスト 1 説明と キャスト2説明は「キャスト説明」に集約して表示.

を収集した。推薦者側の 1 発話あたりの平均単語数 は被推薦者側の 2 倍以上になっているが，これは推薦者側が映画を推薦するために，情報を提供するな どより多くのことを話す必要があるためと考えられ る. また， 1 発話につき知識を複数選択することも 許容していたが，平均では 1.3 個となっており，各知識ごとに発話を分けて言及している傾向が見られ た. 1 対話あたりでは 9.1 個の異なる知識が使用さ れており，様々なタイプの外部知識が使用された対話が収集できていることが分かる.

図 2 に使用された外部知識のタイプ別の分布を示 す。知識を使用していない発話は全体の約 2 割ほど に留まっており，多くの発話で何らかの外部知識が 使用されている．また，レビューやあらすじといっ た構造化されていないテキストの使用頻度が高い傾向にあった.

さらに，今回収集した対話の一部（834 対話）に ついては対話終了後に以下に示す 5 段階評価のアン ケート（5 が最高評価， 1 が最低評価）を実施した.

Q1：映画が好きである

Q2: 対話を楽しめた

Q3: 推薦した（された）映画を知っているか

Q4: 上手く映画を推薦できた

Q5: 推薦された映画を見たくなった

Q1，Q2，Q4，Q5 の選択肢は[そう思う/ややそう 思う/どちらとも言えない/ややそう思わないそう思 わない]，Q3 の選択肢は [観たことがあり，内容をよ表 2 アンケート結果

く覚えている/観たことがあり，内容を少し覚えてい る/観たことはないが，あらすじぐらいは知ってい る観たことはないが，タイトルだけ知っている/全 く知らない] である. 推薦者は Q1，Q2，Q3，Q4 の 4 問に，被推薦者は Q1，Q2，Q3，Q5 の 4 問に回答 する.

アンケート結果を表 2 に示す. Q1 より多くの ワーカが映画というテーマに対して高い興味を持っ ていることが，Q2より最低 20 ターンという比較的長めの対話ながら，推薦者・被推薦者ともに対話を 楽しんでいることが分かった. また， Q3 より推薦者は自分が観たことがある映画を推薦する映画とし て選ぶ傾向が見られた. 最後に $\mathrm{Q} 4 ， \mathrm{Q} 5$ より，収集 した対話が映画推薦の目的を十分に達成しているこ とを確認できた。

## 3 実験

構築した映画推薦対話データセットでベースライ ンモデルを訓練した. 本節ではベースラインモデル の外部知識の使用の有無による出力の違いを評価 する。

## 3.1 モデル

ベースラインモデルには， Wizard of Wikipedia の 論文でベースラインとして提案された生成べース のモデルである, Generative End-to-End Transformer Memory Network [2] を用いる。このモデルは，対話履歴と外部知識の候補文を別々にエンコードし，対話履歴と各外部知識の候補のアテンションを計算し て使用する外部知識を選択する。そして対話履歷と 選んだ知識を連結してデコーダに渡すことで返答 を生成する. このモデルの実装は ParlAI ${ }^{4}$ で公開さ れているが，本研究では我々で再実装したものを用 いる.

## 3.2 実験設定

データセットは学習データ：開発データ：テスト データ $=90 \%: 5 \%: 5 \%$ の割合で分割する. 対話お よび外部知識は全て Juman++ [10]を使用して形態

4) https://github.com/facebookresearch/ParlAI
表 3 生成した応答に対する自動評価

素に分割し，BPE [11]を適用する ${ }^{5)}$.モデルのハ イパーパラメータは基本的に Dinan ら [2] の設定に 従っているが，語彙数のみ 10,000 に変更した.

対話履歴はその対話中の全ての過去の発話を新し い方から順に最大 64 トークンまで入力する．外部知識の候補はその対話中で推薦している映画につい ての知識全てとし，「知識なし」も候補に含める.こ の候補数は各映画によって差があるが，平均 24.9 個 であった. Generative End-to-End Transformer Memory Network では使用する知識を 1 つだけ選んでいる。 これに合わせ，知識が複数アノテーションされてい る発話については以下の式で表されるトークン重な り率を計算し, 值が最も高い知識 1 つのみを正解の 知識として用いる.

$
\text { トークン重なり率 }=\frac{\text { 発話と当該知識の共通トークン数 }}{\text { 当該知識のトーク数 }}
$

外部知識の各候補は, 「知識ラベル $<$ KNOWLEDGE>知識内容」の形式でモデルに入力する (<KNOWLEDGE>は特殊トークン). 知識ラベルは その知識の種類を表したもので，監督名前・監督説明は「監督」，キャスト1名前・キャスト1説明・ キャスト 2 名前・キャスト 2 説明は「キャスト」とし， タイトル・製作年度・ジャンル・レビュー・あらすじ についてはそのまま使用する（ただし，トークナイ ズは行う），例えば，図 1 の例の製作年度の場合，「製作年度 <KNOWLEDGE> 1990 年 6 月 23 日」 となる.「知識なし」の場合は知識ラベル，知識内容 の部分をともに特殊トークン<NO_KNOWLEDGE> に置き換えたものを入力とする。

## 3.3 結果

知識予測の正解率は $28.2 \%$ であり，ランダムベー

表 3 に生成した応答の自動評価の結果を示す.「知識なし応答」は生成時に使用された知識が「知識なし」だった応答，「知識あり応答」は「知識な し」以外の具体的な外部知識を使用して生成された 応答である．また，「(予測知識)」はモデルが選択し
た知識を「(正解知識 $)\rfloor$ は正解の知識を使用して 生成した結果である。評価には unigram F1 (F1) [2], BLEU-1/2/3/4 [12]を使用した. 予測知識と正解知識 のどちらを使用した場合でも「知識あり応答」の方 が「知識なし応答」の場合を全ての評価指標で大き く上回っており，具体的な外部知識を使用した発話 では，より実際の発話と近い発話ができていること が分かる. 実際「製作年度」を知識として使用した 時には「製作年度は 2008 年です」といった発話が 生成されるなど，使用した知識を発話に反映できて いるケースが多かった。一方で「監督名前」が「ピ エール・コフィン」である知識を与えたときに「監督は、ジェームズ・キャメロンです。」というよう な知識とは異なる発話が生成されるケースも散見さ れた。

一方，「知識なし応答」はその殆どが「こんにち は」などのつまらない応答になっていた。これは学習データ数の不足が主な原因として考えられる。

## 4 おわりに

本研究では，外部知識に基づく発話生成を目的と した日本語映画推薦対話データセットを構築した.本研究は我々の知る限り, 外部知識に基づいた日本語対話データセットを構築した初めての研究であ り, 日本語による，外部知識に基づく発話生成の研究に取り組むための足がかりとなることが期待され る. 今後はデータセットの公開に向けて準備を進め るとともに，事前学習モデルを導入し，ベースライ ンモデルの精度向上に努める予定である.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成及 び科学技術振興機構 CREST「知識と推論に基づい て言語で説明できる AI システム」の支援のもとで 行われた。

## 参考文献

[1] Antoine Bordes, Y-Lan Boureau, and Jason Weston. Learning end-to-end goal-oriented dialog. arXiv preprint arXiv:1605.07683, 2016.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[3] 中野幹生, 駒谷和範, 船越孝太郎. 対話システム. 自然言語処理シリーズ. コロナ社, 2015.

[4] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive human-machine conversation with explicit conversation goal. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3794-3804, 2019.

[5] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 708-713, 2018.

[6] Nikita Moghe, Siddhartha Arora, Suman Banerjee, and Mitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2322-2332, 2018.

[7] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, and Xiaoyan Zhu. KdConv: A Chinese multi-domain dialogue dataset towards multi-turn knowledge-driven conversation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7098-7108, 2020.

[8] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モ デルによる趣味雑談システムの構築. SIG-SLUD, No. 02, pp. 104-109, 2020

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リベカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会第 27 回年次大会, 2021.

[10] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphological analyzer toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

## A. 1 対話収集システムのインターフェース

図 3,4 にそれぞれ映画決定前後の推薦者側のチャットルームのスクリーンショットを示す. 映画決定前は 画面左部に映画を決定するための簡単な検索機能が表示されており，推薦者はこの検索機能を利用して映画 を決定する。映画決定後は画面左部に決定した映画についての知識が表示される．発話を送信するときには 各知識の先頭にあるチェックボックスにチェックを入れてから送信する。なお，被推薦者側の画面には推薦者側の画面左部は表示されず，画面右部のチャット画面のみ表示される.

図 3 映画決定前のチャットルームのスクリーンショット（推薦者側）

図 4 映画決定後のチャットルームのスクリーンショット（推薦者側）


# 潜在変数の投機的サンプリングに基づく多様な雑談応答生成

佐藤 翔悦 *1
*1 東京大学大学院 情報理工学系研究科
}

喜連川優 $* 2,3$
*2 東京大学 生産技術研究所
*3 国立情報学研究所
}

\{shoetsu, kitsure\}@tkl.iis.u-tokyo.ac.jp
## 1 はじめに

会話データからの学習に基づく対話モデルは人手 によるパターンの作り込みを必要とせず，比較的低 コストで対話システムの構築が可能であるという 点から，近年の対話応答タスクにおける主流なアプ ローチである。しかしそうした対話モデルでは，発話のオウム返しや典型的なパターン（例: “私もそう 思います”) など，“safe response”と呼ばれる応答が 頻出し，多様性の低さが問題となっている $[1,2,3]$. その原因の一つに，対話データとモデルの性質の乘離がある．多くの場合，対話においてある 発話に対する適切な応答は一意ではない。一方 で，近年の応答生成において標準的に用いられる Encoder-Decoder モデルでは，対話タスクを発話から 応答への一対一の写像とみなして解くため, 対話 データに対するモデルの最適化は困難なものとな る. 結果, 学習データ中で頻出する単語やパターン を単純に模倣することが目的関数を最適化するため の有効な手段となり， safe response が頻出する.

この問題に対し，条件付き変分オートエンコーダ (Conditioned Variational Autoencoder, CVAE) に基づく 対話モデルは有望な手法の一つである $[4,5]$. 対話 タスクにおける CVAE は，発話・応答から推定した 事前・事後分布よりサンプルした潜在変数を用いて 応答の生成を行う，そのため，潜在変数の違いに よって同じ発話に対し複数の応答が成立する，対話 データの多対多性を考慮した手法である。

しかしながら，こうしたモデルを用いたとしても 期待通りの効果が発揮されず，応答の多様性につい て依然大きな改善が得られない場合がある [6]. 本研究ではその一因が学習時に用いる潜在変数のサン プリングにあると考え，投機的サンプリングという 極めてシンプルな提案手法によりその解決を図る.具体的には学習時に複数の潜在変数をサンプルし，
それぞれについて損失を計算し，最も損失が小さい 潜在変数を最適化に用いる.

実験では，Twitter から収集した対話データを用い た応答生成により提案手法を評価する。生成された 応答に対して自動評価および人手評価を行い，提案手法の有効性を確認した。

## 2 提案手法

## 2.1 事前知識: T-CVAE

提案手法の説明の前に，本研究におけるべー スラインとして採用した, Transformer-based CVAE (T-CVAE) [7] の概要を述べる。T-CVAE は Variational Hierarchical Recurrent Encoder-Decoder (VHRED) [8] な どのモデルと同様，CVAE に基づくモデルである.従来のモデルがエンコーダおよびデコーダとして再帰型ニューラルネットワークを用いていたのに対 し， T-CVAE は Transformer [9] を採用している。

対話タスクにおいてある発話 $x$ および応答 $y$ が与えられた際，T-CVAE は発話から事前分布 $p(z \mid x) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を，発話と応答から事後分布 $q(z \mid x, y) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を推定する. その後, 分布か らサンプルした潜在変数 $z$ を用いて生成を行う．具体的な分布の推定としては発話・応答をエンコード したべクトルによって，以下のように分布の平均 $\mu$,偏差 $\sigma$ を計算する。

$
\begin{aligned}
h_{p} & =\operatorname{Attn}_{p}\left(c, E_{\text {out }}^{L}(x), E_{\text {out }}^{L}(x)\right) \\
{\left[\begin{array}{c}
\mu_{p} \\
\log \left(\sigma_{p}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{p}\left(h_{p}\right) \\
h_{q} & =\operatorname{Attr}_{q}\left(c, E_{\text {out }}^{L}(x ; y), E_{\text {out }}^{L}(x ; y)\right) \\
{\left[\begin{array}{c}
\mu_{q} \\
\log \left(\sigma_{q}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{q}\left(h_{q}\right)
\end{aligned}
$
$\operatorname{Attn}(\cdot)$, MLP* (.) はそれぞれ注意機構 $[10]$, 多層 パーセプトロンによる演算を示す. $c$ は注意機構の クエリとなるべクトルであり, タスクを通して学習 される。 $E_{\text {out }}^{L}(\cdot)$ はエンコーダの最終層である.

訓練時は, 以下の式で示される Evidence Lower Bound (ELBO) を最大化することによって，モデル の最適化を行う． $D_{K L}$ は分布間の Kullback-Leibler divergence (KL divergence)を意味する。

$
\begin{aligned}
\log p(y \mid x) & =\log \int_{z} p(y \mid x, z) p(z \mid x) d z \\
& \geq \mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& -D_{K L}(q(z \mid x, y) \| p(z \mid x))
\end{aligned}
$

この最適化により, 発話・応答の両方から推定し た事後分布と発話のみから推定した事前分布は近づ く. その結果, テスト時においても, 発話から適切 な事前分布を推定した上で応答生成が可能となる.

## 2.2 潜在変数の投機的サンプリング

1 節で述べたように，CVAEに基づく対話モデル を用いたとしても，多様性の高い応答が得られない 場合がある. そうした状況においては，モデルは注意機構などによって計算されるべクトルのみに頼 り, 多様な応答を生み出すために導入された潜在変数 $z$ を無視して生成を行ってしまう。結果，潜在変数の応答への影響を考慮せずに事前・事後分布間の KL divergence について過度な最適化が行われること から，この問題は KL vanishing と呼称される.

我々は KL vanishing の一因は，分布からサンプリ ングされた潜在変数と与えられた訓練例の不一致に あると考えた. 学習過程の初期においては推定され た分布の質は低く，与えられた応答を生成するにあ たり，サンプルされた潜在変数が必ずしも適切では ない場合がある [11].

加えて，我々は十分訓練が進んだ後もこの問題は発生すると考える. 事前分布と事後分布は KL-divergence の最適化によって互いに近くなる. そのため訓練例として与えられた応答とは異なる応答に対応した，ある時点のモデルにとって訓練時に サンプルすべきではない潜在変数を選んでしまう可能性が存在する. いずれの場合も，その時点のモデ ルにおける潜在変数空間にそぐわない最適化が行わ れ，学習を困難にする。

そこで本研究ではこの問題を解決するため，潜在変数の投機的サンプリング (Speculative sampling)を提案する. 提案手法は学習時にのみ潜在変数を $K$ 個 サンプルし，そのそれぞれについて損失を計算した 後, 最も小さな損失に繋がる潜在変数のみを最適化 の対象とする．具体的には，以下の式における $L(\hat{z})$ を最小化する。

$
\begin{aligned}
L(z) & =-\mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& +D_{K L}(q(z \mid x, y) \| p(z \mid x)) \\
\hat{z} & =\underset{z_{k}}{\operatorname{argmin}} L\left(z_{k}\right)
\end{aligned}
$

## 3 実験設定

## 3.1 モデル

本研究では，T-CVAE [7] を基本となる対話モデ ルとする. 各手法はすべて fairseq (v0.8.0) [12] 上に 自ら実装を行った。主要なハイパーパラメータは Transformer-base [9] に倣い，最大 250,000 ステップ 訓練を行った. 学習の安定のため, 事前学習した CBoW [13] ベクトルによってモデルの埋め込み層の 初期化を行った。

実験では T-CVAE および，以下の手法を T-CVAE に対して適用したモデルを比較する。

Monotonic annealing [14]: 式 (5) における第二項, KL divergence に対し変数 $\beta$ によるアニーリングを行う. $\beta$ は 0 から始まり, 学習の進行とともに 1 へ線形 に増加する。アニーリングの期間は 1 エポックと した.

Cyclical annealing [11]: KL divergence $の$ 項に対し，変数 $\beta$ による周期的なアニーリングを行う. 本研究 では 1 周期を 1 エポックとした. $\beta$ は前半の 0.5 エ ポックの間は 0 から 1 へと線形に増加し, 後半の 0.5 エポックの間は 1 を取る.

BoW loss [5]: 潜在変数と応答に含まれる単語との関連性を強めるため，学習時に与えられた応答に含ま れる単語の集合を潜在変数から推定するタスクを加 え，対話タスクとの同時最適化を行う。

Speculative sampling: 2.2 節参照. 潜在変数のサンプ ル数 $K$ は開発データから 5 に決定した。

## 3.2 データセット

本稿における実験のために，我々の研究室にお いて継続的に収集している Twitter データ上で行わ れたツイート・メンションの組を 1 ターンの対話

表 1 自動評価の結果．各評価尺度ごとに，参照応答に 最も近いものをハイライトした。

としてみなした上で，対話データセットの構築を 行った. 訓練・開発データには 2017 年および 2018 年のもの，評価データには 2019 年のものを用い た. 訓練・開発・評価データのサイズはそれぞれ 18,116,756 件，191,890 件，96,276 件である．またコ ストの問題から，人手評価を全ての例に対して行う 事は困難である. そこで実際に行われた発話・応答 のみを見て，人手評価が比較的容易な 100 件の会話 をテストデータから抽出し，人手評価用のデータと した.

データの前処理としては簡単なフィルタリングに よってリツイートや botによるメンションなど，対話として不適切なものを除いた後， $\mathrm{MeCab}^{1)}$ を用い て形態素解析を行った. その後, SentencePiece ${ }^{2)}$ を 用いてサブワード分割モデルの学習および発話・応答のサブワードへの分割を行った.

## 3.3 評価尺度

生成された応答に対し, 自動評価および人手評価 を行う．自動評価の尺度としては標準的に用いられ る, BLEU [15], dist- $n$ [1], 応答の平均長を採用す る. 人手評価では Adiwardana らの研究 [16] を参考 に, 1 . 応答の明快さ - 発話との関連性 (Sensibleness) と, 2. 応答の独特さ - 面白さ (Specificity) について, 5 段階の点数付けを行うことで，提案手法が意図し た効果を得られているかを定量的に確認する。

## 4 実験結果

## 4.1 自動評価

表 1 に自動評価による結果を示す. BoW loss を 除き，追加の手法を適用したモデルはどれも純粋 な T-CVAE と比べて若干高い BLEU スコアを達成 した. しかし目標である応答の多様化が達成された としても, 生成された応答が参照応答と類似すると

表 2 人手評価の結果 (相関係数 $\rho=0.602$ ).

は限らないことから, 直接的な BLEU スコアの改善 には繋がりにくい. そのため, この結果は各手法に よってモデルの学習が改善されたことで，ノイジー な出力が減った事による副次的な効果であると考 えられる. 加えて，T-CVAE 9 応答平均長が最も長 く, 他のモデルではいずれも減少していることも同 じ言葉の反復などのノイズの抑制を示唆している. dist-1/2 については BoW loss および提案手法であ る Speculative sampling が他のモデルと比較して高 い値を達成した. BLEU スコア及び後述する 4.2 節 における結果も示すように，BoW loss がその代償と して発話との関連性を損なっているのに対し，提案手法は高い BLEU スコアを保ちつつ，多様な単語を 含む応答を生成出来ている。

## 4.2 人手評価

表 2 に人手評価による応答の Sensibleness, Specificity, およびその平均値を示す. 全体としては，自動評価と概ね類似する傾向であった. Monotonic annealing および Cyclical annealing による大きな改善は確認されず，BoW loss と Speculative sampling を適用したモデルが高いSpecificityを示した。また， BoW loss の Sensibleness は低く, 出力の多様化の代償に応答の明快さが損なわれている。

一方で，提案手法である Speculative sampling は Sensibleness, Specificity が共に高く, 潜在変数空間に ついての学習手法を改善することで応答生成の性能向上が果たされたと言える.

## 4.3 分析

訓練の結果，各モデルの分布にどのような変化が 見られるかを確認するため，表 3 に開発データに対 する KL divergence, 事前分布の平均 $\mu_{p}$ および偏差 $\sigma_{p}$ のノルムについて，それぞれ平均を示す.

まず, Monotonic annealing および Cyclic annealing について，T-CVAE と比較して KL divergence の值は 若干上昇した. しかし, 自動・人手評価の結果と同様大きな変化は見られず，十分に訓練を行った後

表 3 KL-divergence および事前分布の平均 $\mu_{p}$ ，偏差 $\sigma_{p}$ のノルム.

表 4 生成された応答例.

は，KL vanishing が発生している.

BoW loss の分布は大きく異なる性質を示した. KL divergence および分布の平均・偏差のノルムは,他のモデルと比べ非常に大きな値となっている.

BoW loss における潜在変数から応答に含まれる全て の単語を推定する，というタスクはモデルに潜在変数空間を個々の応答の意味に対応させる非常に強い 制約として働いており，KL vanishing は発生してい ない.しかしこの制約を満たす潜在変数空間を学習 するのはモデルにとって非常に困難である. そのた め事前分布の範囲が大きく拡大した結果，発話との 関連性が薄い応答に対応した潜在変数が頻繁にサン プルされるようになり，文脈に沿わない応答を生成 しがちになったと考える（表 4).

提案手法について，4.1 節，4.2 節で評価した $K=5$ のモデルの他に，異なる $K$ の值で訓練した時の各統計量も示した. どの $K$ の値を設定した場合におい ても KL divergence は T-CVAE，つまり $K=1$ の場合 と比較して高い値を示し，提案手法の狙い通り KL vanishing の抑制が行われたと考える.

興味深いことに $K$ の值を増やすほど，KLdivergence の值も増加した. 提案手法では $K$ の増加 とともに訓練時に潜在変数の候補は増えるため，与 えられた応答に対しより適切な潜在変数の選択が 可能になる. そのため，これは与えられた訓練例と サンプルされた潜在変数との不一致が学習の妨げ となっているという，我々の仮説を裏付ける結果に なったと考える。

## 5 関連研究

対話応答における応答の多様化のためのアプロー チは以下の 3 つに大別される. 1. 個人適応に代表される，対話における発話外の情報を用いる手法 $[17,18,19,20] ， 2$. 生成時または学習時の目的関数によって応答を多様化する手法 $[1,21]$, 3. 応答の 生成過程にランダム性を導入する，変分オートエン コーダに基づく手法 $[14,5,22,11,3,23]$ である.

提案手法は 3 つ目の区分に該当し，特に CVAE に おける KL vanishing の解決を目的とした手法であ る. 同様の試みのうち, Bowman ら [14] や Fu ら [11] は，学習初期の信頼性の低いモデル上で推定され た分布の最適化が性能低下に繋がると考え，KL divergenceの重みのスケジューリングを行った. He らも同様の考えから，エンコーダの最適化を優先し て行うことでその解決を試みた [24].

一方，Zhao らの研究は，潜在変数に対して追加の 損失によってより直接的な制約を与えることで KL vanishing を抑制するものである [5]. Gao らの研究 も潜在変数空間に対する制約によって，応答との対応付けを行うという点で類似している [3, 23].

提案手法は前者のスケジューリングによって学習を安定させる試みに近い。しかし我々は，潜在変数と訓練例の不一致は KL divergence の最適化の影響により常に発生し得ると考え，学習の進行度を問 わず適用可能な手法を提案した. また，提案手法は モデルの構造や目的関数に変更を加えない。そのた め，既存手法との併用が可能である.

## 6 おわりに

本研究では対話タスクにおける応答生成の多様化のため，変分オートエンコーダの学習時に生じる KL vanishing の解決のための手法を提案した. KL vanishing の一因は学習時の訓練例とサンプルされた 潜在変数の不一致にあると考え，その解決を図るべ く潜在変数の投機的サンプリングを提案した. 生成 された応答に対し自動評価および人手評価を行い，提案手法による効果を確認した.

## 謝辞

本研究の一部は JSPS 科研費 19J14522 の支援を受 けたものである。また，本研究で用いた Twitter 対話 データセットは，同研究室の豊田正史教授の支援を 受けて構築した。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of NAACL 2016, pp. 110-119, 2016.

[2] Ruqing Zhang, Jiafeng Guo, Yixing Fan, Yanyan Lan, Jun $\mathrm{Xu}$, and Xueqi Cheng. Learning to control the specificity in neural response generation. In Proceedings of ACL 2018, pp. 1108-1117, 2018.

[3] Xiang Gao, Sungjin Lee, Yizhe Zhang, Chris Brockett, Michel Galley, Jianfeng Gao, and Bill Dolan. Jointly optimizing diversity and relevance in neural response generation. In Proceedings of NAACL 2019, pp. 1229-1238, 2019 .

[4] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues, 2017.

[5] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of ACL 2017, pp. 654-664, 2017.

[6] Xiaoyu Shen, Hui Su, Shuzi Niu, and Vera Demberg. Improving variational encoder-decoders in dialogue generation. In Proceedings of AAAI 2018, pp. 5456-5463, 2018.

[7] Tianming Wang and Xiaojun Wan. T-cvae: Transformerbased conditioned variational autoencoder for story completion. In Proceedings of IJCAI 2019, pp. 5233-5239, 2019.

[8] Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of AAAI 2016, 2016.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in NIPS 2017 , pp. 5998-6008, 2017.

[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR 2015, 2015.

[11] Hao Fu, Chunyuan Li, Xiaodong Liu, Jianfeng Gao, Asli Celikyilmaz, and Lawrence Carin. Cyclical annealing schedule: A simple approach to mitigating KL vanishing. In Proceedings of NAACL 2019, pp. 240-250, 2019.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL 2019 (Demonstrations), pp. 4853, 2019 .

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of NIPS 2013, pp. 3111-3119, 2013.

[14] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sen- tences from a continuous space. In Proceedings of CoNLL 2016, pp. 10-21, 2016.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of ACL 2002, pp. 311-318, 2002.

[16] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[17] Shoetsu Sato, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120-127, 2017.

[18] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of ACL 2018, pp. 2204-2213, 2018.

[19] Pierre-Emmanuel Mazare, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of EMNLP 2018, pp. 2775-2779, 2018.

[20] Eric Chu, Prashanth Vijayaraghavan, and Deb Roy. Learning personas from dialogue with attentive memory networks. In Proceedings of EMNLP 2018, pp. 2638-2646, 2018.

[21] Ashutosh Baheti, Alan Ritter, Jiwei Li, and Bill Dolan. Generating more interesting responses in neural conversation models with distributional constraints. In Proceedings of EMNLP 2018, pp. 3970-3980, 2018.

[22] Xiaodong Gu, Kyunghyun Cho, Jung-Woo Ha, and Sunghun Kim. Dialogwae: Multimodal response generation with conditional wasserstein auto-encoder. arXiv preprint arXiv:1805.12352, 2018.

[23] Xiang Gao, Yizhe Zhang, Sungjin Lee, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. Structuring latent spaces for stylized response generation. In Proceedings of EMNLP-IJCNLP 2019, pp. 1814-1823, 2019.

[24] Junxian He, Daniel Spokoyny, Graham Neubig, and Taylor Berg-Kirkpatrick. Lagging inference networks and posterior collapse in variational autoencoders. 2019.


# 事前学習済み Transformerを用いた Data-to-text における入力順序の影響分析

矢野祐貴須藤克仁 中村哲
奈良先端科学技術大学院大学
\{yano.yuki.ytø, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

Data-to-text は構造化データを入力として非構造化データである自然言語文を生成するタスクであ る [1]. 具体的に，構造化データは表や知識グラフ などの様々な形式で与えられ，出力はこれらの入力 を説明あるいは要約する自然言語文である。また,構造化データはいずれの形式においてもレコードの 集合として定式化する事ができる.

近年では，ニューラルネットワークを用いた モデルが高い性能を発揮しており, 特に，知識グ ラフを入力形式とするデータセットにおいては， Transformer [2] の事前学習済みモデルである T5 [3] を用いた研究が state-of-the-art の精度を達成し, 強力なベースラインとなっている $[4,5]$. 一方で，ス コアボードの表のような複雑な表形式の構造化デー タを入力とするデータセットにおいては，レコード の順序やそのコンテンツのプランニングおよび選択 が生成の精度に大きく寄与することが示され，注目 を集めている [6].

これまでの知識グラフを入力形式とする T5を用 いた研究では，知識グラフを線形化によってコンテ ンツの系列として入力する. ここで構造化データを 構成するレコードの順序は考慮されておらず，文献 [6] のような順序のプランニングも行われず，頒布されたデータセットにおける順序がそのまま利用 されている．そこで本研究では， $\mathrm{T} 5$ を用いた知識 グラフを扱う Data-to-text モデルに対し, 入力レコー ドの順序が生成文に及ぼす影響を調査する。

実験では，Data-to-text で標準的に用いられる 知識グラフとその説明文のデータセットである WebNLG [7] を用いて，T5を用いた最初の Data-totext モデル [4] に対し, 学習用およびテスト用デー タのレコードを「そのままの順序」／「シャッフル した順序」の 2 パターンで Fine-tuning および生成を行う。それぞれのパターンの生成結果を BLEU [8] などの自動評価指標で評価し，レコード順序による 生成文への影響を分析する。また，生成結果の入力 レコード数ごとの BLEU 值を比較し，その傾向につ いて考察する。評価実験の結果，レコード順序をそ のままで Fine-tuning したモデルに，レコード順序 をシャッフルしたテストデータで生成すると，そ のままの順序で生成した結果よりも，BLEU 値が低下することが分かった. 対して，レコードの順序 をシャッフルして Fine-tuning すると，既知ドメイ ンのテストデータの BLEU 值が向上することが分 かった．また，レコード数ごとの解析では，順序の シャッフルによって，少ないレコード数の入力に対 して，BLEU 值が向上することが分かった。これら の評価実験の結果を通して，T5を用いたべースラ インに対しても，入力順序のプランニングが必要で あることが分かった.

## 2 関連研究

近年複数の Data-to-text のデータセットで，Textto-text transfer Transformer (T5) が state-of-the-art の精度を達成している $[4,5]$. T5 自体は，言語生成タス ク（機械翻訳や自動要約，質問応答生成など）を Text-to-text のフレームワークで解く Transformer [2] を用いたアーキテクチャであり，Colossal Clean Crawled Corpus (C4) で事前学習したモデルを下流夕 スクである各言語生成タスクに適応することで高い 精度を示している。

文献 [4] は，Data-to-textを T5 の下流タスクとして 解くための手法を調査している．構造化データを線形化しコンテンツの系列とした入力で Fine-tuning す るだけで，従来の語彙化やその解除，レコードごと の素性の設計などの作業を必要としない，完全な End-to-end で Data-to-text を解くことができる．結果 として, WebNLG, MultiWoz, ToTToの 3 つのデータ

\begin{abstract}
Amdavad ni Gufa location Gujarat Amdavad ni Gufa location Ahmedabad Amdavad ni Gufa country India India leaderName Narendra Modi
\end{abstract}

Amdavad ni Gufa location Ahmedabad India leaderName Narendra Modi Amdavad ni Gufa country India Amdavad ni Gufa location Gujarat

図 1 レコードのシャッフルと線形化

セットで state-of-the-art の精度を達成した。

また，この調査結果を踏まえて文献 [5] では， WebNLG などのグラフを入力形式とするデータに対 して，明示的にグラフ構造を与えることでさらなる 性能向上が出来ることを示した. 具体的には，線形化の際に各コンテンツの先頭に<Head>, <Relation>, <Tail>といったグラフを示すための特殊トークンを 挿入して Fine-tuningを行う.

これらの T5による精度向上が報告されている データセットの特徴として，参照文が入力レコード のほぼすべての情報について言及している点が挙げ られる。一方で，スコアボードの表のような複雑な 表データを入力とする場合，参照文で言及されない レコードが多くなるため, 生成内容の取捨選択を含 むプランニングが有効であるとされている [6].

本研究は，ほぼすべての入力情報への言及が必要 な WebNLG データにおける，レコードの入力順序 の影響を明らかにするものである.

## 3 実験

実験では，事前学習済み Transformer である T5を 用いた Data-to-text モデルに対しても，入力レコード の順序のプランニングが必要であるかを検証する。具体的には， 入力の構造化データを図 1 に示すよう に，レコードを構成するコンテンツはそのままで，順序をシャッフルしてから線形化を行い，T5 モデ ルへの入力とする. Fine-tuning 時の学習データと,生成時のテストデータに対して, 以下の 3 つの組み 合わせで実験を行う.

・もとのレコード順序で Fine-tuning したモデル を，もとのレコード順序で生成 (def-def)

・もとのレコード順序で Fine-tuning したモデ ルを，シャッフルしたレコード順序で生成 (def-shuf)
・シャッフルしたレコード順序で Fine-tuning した モデルを，シャッフルしたレコード順序で生成 (shuf-shuf)

ここで，もとのレコード順序とは，データセット の配布ファイルに記述されているそのままのレコー ド順序である．多くの場合，その整列について明記 されていないが，例えば図 1 の左上のように，主語 でソートされていたり，目的語が “India” のレコー ド次は，主語が “India” のレコードであるなど，人為的な整列が見受けられる。

実験の結果に対して，def-def をべースラインと し, def-shuf と比較することで，モデルがデータセッ トの順序を学習しているかどうかを検証する。ま た, shuf-shuf と比較することで，人為的な整列を崩 した入力を $\mathrm{T} 5$ モデルが学習できるかどうかを検証 する．今回の実験では，shuf-shuf の Fine-tuning 時の レコードのシャッフルは，データの読み込み時に 一度のみ行い, エポックごとのシャッフルは行わ ない.

## 3.1 データセット

実験には WebNLG [7] データセットを用いる. WebNLG は, DBpedia1)から抽出された Resource Description Framework トリプル（主語，述語，目的語の 3 つ組）の集合で表現される知識グラフと，ク ラウドソーシングによって収集された対応する知識 グラフの説明文から構成されている。学習, 開発お よびテストデータはそれぞれ，18,102 対，2,268 対， 4,928 対に分かれており，さらにテストデータは，学習，開発データに含まれている既知ドメインのデー タ（2,495 対）と含まれない未知ドメインのデータ (2,433 対）に分けられている.

1) DBpedia: https://wiki.dbpedia.org/
表 1 自動評価結果. 太字は同一事前学習モデルに対するスコアの最大值を示す.

} & \multirow[b]{2}{*}{ Testset } & \multicolumn{5}{|c|}{ 既知ドメイン } & \multicolumn{5}{|c|}{ 末知ドメイン } \\

## 3.2 実験設定

先行研究 $[3,4]$ に倣い, バッチサイズを 512 , 学習率を 0.001 として，学習データによる Fine-tuning を 行う．最適化には Adafactor [9]を使用する．T5 モデ ルの語彙は，SentencePiece [10] を用いてテキストを WordPiece トークン $[11,12]$ ヘエンコードし, 語彙 サイズは 3 万 2 千としている. 事前学習された $\mathrm{T} 5$ モデルのパラメータ数は，60万（T5-Small），220万 （T5-Base）および 770 万（T5-Large）の 3 種類を使用 する.

評価には，開発データに対して BLEU 値が最も高 いエポックのモデルパラメータを用いて，テスト データに対する生成を行った結果で比較する。ま た，学習は開発データに対する BLEU の最大値が 3 回更新されなかったエポックで早期終了する. 自動評価指標には，言語生成で用いられる，BLEU, NIST, METEOR, ROUGE-L, CIDEr を使用する.

## 3.3 実験結果

実験結果を表 1 に示す. まず，既知ドメインの結果について，モデルのすべてのパラメータサイズ， すべての自動評価指標で, shuf-shuf が def-def の結果を上回っている. 反対に，モデルのすべてのパラ メータサイズ，すべての自動評価指標で，def-shuf が def-def の結果を下回っている.

次に，未知ドメインの結果について，モデルのパ ラメータサイズが T5-Small および T5-Base の場合, def-def もしくは def-shuf の結果が shuf-shuf の結果を 上回っている. 一方, モデルのパラメータサイズが T5-Large の場合には， METEOR 以外の評価指標で， shuf-shuf の生成結果が def-def および def-shuf を上回っている.

全体の結果として，既知ドメインで最も良い精度を達成したのは，モデルのパラメータサイズ T5-Base に対する shuf-shuf の生成結果であり，未知 ドメインで最も良い性能を示したのは，モデルのパ ラメータサイズ T5-Large に対する shuf-shuf の生成結果である。これらのことから，レコード順序を シャッフルして Fine-tuning することが生成文の精度向上に効果的であることが分かる.

## 3.4 考察

前節で示した結果について，既知ドメインの結果 では，シャッフルした順序で Fine-tuning することに より，順序に依存せず，各ドメインごとの汎化した 文生成を行う能力を得ることが出来たといえる.

未知ドメインの場合では，モデルのパラメータサ イズ T5-Small と T5-Base で各指標の向上が見られな かったが，これは学習したドメイン外の知識につ いて，このパラメータサイズでは，事前学習およ び Fine-tuning 時に獲得することが出来ていなかっ たといえる. そのため，もともとの人為的な順序で Fine-tuning した def-def が，生成時にもその人為的な 順序を手がかりとして生成した結果，shuf-shuf より も高い精度を示したと考えられる。

一方で，モデルのパラメータサイズ T5-Large で は，METEOR を除いて shuf-shuf が高い精度を達成 している。これは T5-small および T5-Base とは反対 に，パラメータサイズの大きい T5-Large では，事前学習および Fine-tuning の時点で未知ドメインへの 表現能力を獲得したため, 既知ドメインと同様に， シャッフルすることで順序に依存しない汎化した文生成が出来たと考えられる。
表 2 レコード数 $(n)$ ごとの BLEU 值

## 3.4.1 レコード数ごとの比較

各生成文を入力レコード数ごとに分け，個別に BLEU を計算した。表 2 に，その計算した BLEU 值 を示す。また，学習用データおよびテストデータの レコード数ごとの件数と, その平均レコード数を 表 3 に示す.

既知ドメインのレコード数 $n \leq 5$ のデータに対し て，すべての設定において，shuf-shuf は def-def あ るいは def-shuf よりも高い精度を示す傾向がみられ た. 一方で, 既知ドメインのレコード数 $n=6,7$ で は，def-def および def-shuf に対する shuf-shuf の有効性は陽に見られなかった.このことから，シャッフ ルして学習するだけでは, 学習データの平均値の倍以上のレコード数をもつ入力に対しての表現方法 を獲得することが出来ず，未知ドメインにおける T5-Small や T5-Base と同様に，もとの順序情報が生成の手助けをしたことで def-def の生成が高い精度 を示したと考えられる。

未知ドメインのレコード数 $2 \leq n \leq 4$ では，表 1 の未知ドメインの結果に対する考察と同様の事が 言える. しかし, レコード数 $n=1$ では, T5-Small および T5-Base においても shuf-shuf が高い精度を示 している.この結果から，もとのレコード順序で
Fine-tuning することは，単一レコードに対する文生成の精度を犠牲にした上で複数レコードを持つ入力を学習していると考えられる. 反対に，レコード 数 $n=5$ では, T5-Large においても shuf-shuf による 精度向上が見られない. 加えてレコード数 $n=4$ に ついても， $1 \leq n \leq 3$ の精度向上に比べて低い.これ らは，学習データの平均レコード数 $n=2.97$ を中心 にシャッフルによる汎化性能を獲得したため，既知 ドメインのレコード数 $n=6,7$ と同様に，レコード 数をもつ入力に対してはレコードの順序情報が文生成に大きく影響していると考える.

実験全体を通した結果から，レコード順序を シャッフルして入力することがデータ拡張になって いるとも考えられ，今後さらに検証が必要である。

## 4 おわりに

本稿では，T5を用いた Data-to-text モデルに対し，入力レコードの順序が生成文に及ぼす影響について 検証した。自動評価指標による評価実験を通じて， T5 モデルが Fine-tuning 時にレコード順序も同時に 学習することを確認し，モデルのパラメータサイズ が十分大きい場合，レコード順序をシャッフルして Fine-tuning すると生成文の精度が向上することを確認した. 今後は, Fine-tuning 時にエポックごとでレ コード順序をシャッフルした場合の T5 モデルの挙動の検証や，T5 モデルおよび知識グラフを入力形式とする場合の適切な順序のプランニング手法の考案などをしていきたい。

## 謝辞

本稿の研究は，株式会社ウェザーマップの助成を 受けた。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building Natural Language Generation Systems. Cambridge University Press, 2000.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of NIPS 2017, pp. 5998-6008, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. In Proc. of INLG 2020, pp. 97-102, 2020.

[5] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. arXiv:2007.08426, 2020.

[6] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proc. of AAAI 2019, pp. 6908-6915, 2019.

[7] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. The WebNLG challenge: Generating text from RDF data. In Proc. of INLG 2017, pp. 124-133, 2017.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of ACL 2002, pp. 311-318, 2002.

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In Proc. of ICML 2018, Vol. 80, pp. 4603-4611, 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP 2018, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of ACL 2016, pp. 1715-1725, 2016.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL 2018, pp. 66-75, 2018.


# QA Lab-Polilnfo-3 における質問と答弁の対応付け

小川泰弘
名古屋大学
yasuhiro@is.nagoya-u.ac.jp
秋葉友良
豊橋技術科学大学
}

木村 泰知

小樽商科大学

渋木 英潔
国立情報学研究所
}

kimura@res.otaru-uc.ac.jp

横手 健一

日立製作所

石下円香
国立情報学研究所

## 1 はじめに

近年，政治にまつわるフェイクニュースが社会的 な問題とされてきている. 2016 年のアメリカ大統領選挙の頃から，信憑性の低い情報がソーシャルメ ディアを介して拡散され，民意の形成に偏りを生じ させることが懸念されている. また，政治家の発言自体も信憑性や根拠に欠ける場合があり，それらの 発言に対するファクトチェックも求められている.

また日本においても，新型コロナウイルスへの対策について，国会や地方議会で検討され，その内容 が報道されるが，取り上げられる内容は限られてい る.そのため,「○○について議論していない」の ような事実に反する批判が起きたりする。

こうした状況を踏まえ，政治に関わる自然言語処理研究が注目されてきており, EuroParl Corpus[1] や UK Hansard Corpus ${ }^{1}$ などが，言語資源として利用さ れている. しかしながら，日本語を対象とした研究 データが少ないことに加えて，議会における議員の 発言を対象とした研究や，議会における政策形成の ための議論を対象とした研究は進んでいない.

これらの問題を解決することを目指して，我々 は評価型ワークショップ $\mathrm{NTCIR}^{2}$ において QA Lab-PoliInfo を実施してきた. 2018 年から 2019 年に は，NTCIR-14 QA Lab-PoliInfoを，2019 年から 2020 年にかけては，NTCIR-15 QA Lab-PoliInfo-2を開催し た. 2021 年から始まる NTCIR-16においても，引き 続き QA Lab-PoliInfo-3 を提案している.

QA Lab-PoliInfo-3 においては, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサブタスクをを提案しているが，本稿においては，会議録中の質問と答弁を対応付ける

QA Alignment について紹介する.

本稿では，まず第 2 節で NTCIR における QA Lab タスクの背景について述べた上で，第 3 節で QA Alignment の提案理由を述べる. 第 4 節以降では, QA Alignment のデータフォーマット，参加者のタス ク，正解データの作成方法，評価方法について，そ れぞれ述べる。第 8 節は，本稿のまとめである.

## 2 QA Lab-Polilnfo タスク

QA Lab-PoliInfo は，政治情報を対象としたサブ タスクを質問応答の枠組みで捉えたものとして， NTCIR-14 において開催した。地方議会会議録コー パス [2]を対象に，議会発言における議員の意見や その根拠，立場などを抽出し，議論の構造を明確に して，関係性などを理解しやすいように整理して提示することを最終的な目標としている。

NTCIR-14 においては, Segmentation, Summarization, Classification の三つのサブタスクを実施した. Segmentation は，要約して引用された議会中の発言 に対して，会議録の引用元の範囲を特定することを 目指したサブタスクである. Summarization は，会議録中の特定の範囲から，発言者の意図が誤解され ないように指定された文字数の範囲内で要約文を 生成するサブタスクである. Classification は，議会 における発言に，政治課題に対する意見が含まれる か，意見に対する事実検証可能な根拠が示されてい るかを分類するサブタスクである．QA Lab-PoliInfo タスクには，15 組のチームが参加した [3][4].

NTCIR14 QA Lab-PoliInfo の成果と問題点を踏ま えて，NTCIR-15 においては，QA Lab-PoliInfo-2 とし $\tau$, 当初は Stance Classification, Dialog Summarization, Entity Linking の三つのサブタスクを実施し，追加 で Topic Detection のサブタスクを実施した. Stance Classification は，各議案に対する議員の発言から，

その所属会派の議案への賛否を推定するサブタスク である. Dialog Summarization は，一括質問一括答弁 の形式の会議録の内容を, 質問と答弁の対応を考慮 して要約するサブタスクである. Entity Linking は，会議録中の発言から，表記摇れや瞹昧性の問題を解決しながら，法律名を抽出するサブタスクである。 Topic Detection は，会議録から質疑応答のトピック を抽出するものである. QA Lab-PoliInfo-2 の本テス トには， 14 組のチームが参加した [5].

我々は，これまでの成果と問題点を踏まえ， NTCIR-16 において QA Lab-PoliInfo-3 を提案して いる.これは, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサ ブタスクを含んでいる. Question Answering は, 会議録の質問の要約が与えられたとき，対応する答弁の 要約を生成するサブタスクである. Budget Argument Mining は，予算項目や金額が与えられたときに，会議録中からそれについて議論している部分を抽出す るとともに，その内容の議論ラベル（決定事項，例示，事実など）を判定するサブタスクである．Fact Verification は，要約と会議録が与えられたとき，そ の要約の内容が本当に会議録中に存在するかを判定 し，存在する場合はその範囲を特定するサブタスク である. QA Alignment は一括質問一括答弁の形式に おける質問と答弁を対応付けるものであり，本稿に おいて説明する。

## 3 QA Alignment $の$ 提案理由

本節では，QA Alignment の前提となるDialog Summarization と Topic Detection について述べた後, QA Alignment の提案理由を述べる.

## 3.1 Dialog Summarization

政治家の発言の信憑性を判断するためには，政治課題に関する議論がどのように行われているのか 知る必要があり，議論をしている相手の発言や文脈 を考慮しなければならない. 政治課題に関する議論 は議会において行われており, 議会会議録として質問や答弁が残されている. しかしながら，議会会議録は発言を書き起こした文書であり，まとめられて おらず読みづらいという問題がある. 特に，東京都議会をはじめとする多くの地方議会では，一問一答形式ではなく，一括質問一括答弁形式がとられてお り, 質問と答弁が離れた位置に存在する。また, 質問に対して，知事だけでなく，総務部長や教育長の
ような他の出席者が答弁する場合がある.

そうした問題点を解消し，「議員の質問」と「知事側の答弁」という対話構造を考慮しながら要約する ことを目標とした, Dialog Summarization のサブタス クを QA Lab-PoliInfo-2 では実施した.

## 3.2 Topic Detection

議会においては様々なテーマについて議論され るが，そのすべてが報道される訳ではない，そのた め，実際には議会で扱われているのにもかかわら ず，議論されてないといった批判が起きることがあ る. 例えば昨年は，「野党は新型コロナについて議論せず，云々」といったデマが流れたが，これも一種のフェイクニュースと言える。

そうした問題を解決するために，議会においてど のようなトピックが扱われたのかを検出する Topic Detection のサブタスクを，QA Lab-PoliInfo-2 では追加で実施した。このタスクはパイロットタスクとい う位置付けであり，トピックの定義についてはタス クオーガナイザ側で定義せず，参加者それぞれが考 えるものとした. 特にトピックの粒度は大きな課題 である。このタスクでは，令和 2 年度東京都議会会議録からのトピック抽出を実施したが，ほとんどの 質疑応答は，「新型コロナ」に関連するものである. そのため，トピックを単に「新型コロナ」とするだ けでは不充分であり，その中に含まれるサブトピッ クの検出も必要になる. その場合, 最も基本となる サブトピックの粒度は何かという点が問題になる. それに対して，ここでは一つの質疑応答には一つの 基本トピックが含まれると考える。一つの質疑応答 に複数のトピックが含まれる場合は例外とする。

その際に問題となるのは，何をもって一つの質疑応答と定義するかである.ここで注目するのは，会議録の答弁の冒頭において頻出する「○点のご質問 にお答えいたします。」という定型表現である。東京都議会会議録において，知事以外の答弁者が複数 の質問に回答する場合，冒頭でこの発言をすること が多い. すなわち，答弁者が質問の個数を認識した 上で回答していると言える。

## 3.3 QA Alignment

以上のように，Dialog Summarization および Topic Detection のサブタスクにおいては，一括質問一括答弁形式の構造を解析し, 質問と答弁を対応付ける前処理が必要になると考えられる。しかし，実際に
表 1 会議録の形式 (JSON 形式のキー)

は，タスクの参加者は質問と答弁を対応付けをする ことなく，各タスクに取り組んだ。

その理由としては, end-to-end な手法が現在の主流であること，対応付けをしなくてもそれなりの性能が得られたこと, 対応付けの正解が与えられてい ないことが考えられる. しかし最後に関しては，夕 スク参加者からの指摘で，東京都議会の「本会議 ネットリポート3)」の存在が判明した.これは都議会会議録とは別に公開されており，その中で質問と 答弁が対応付けられている．そこで今回は，この ネットリポートを正解とし，質問と答弁を対応付け を自動的に実行するタスクを提案する.

## 4 データ形式

表 1 は，過去の QA Lab-PoliInfo および QA LabPoliInfo-2において，都議会会議録のデータとして提供した JSON 形式のデータの形式である. 今回の正解データは，表 1 のデータに，以下の三つのキーを 追加したものである.

QuestionerID: 質問および答弁が，どの質問者に関 するものかを示す. 一括質問一括答弁形式のた め，ある議員が質問した場合，その議員の発言 とそれに対するすべての答弁で同じ值になる。

QorA：值は $\mathrm{Q}, \mathrm{A}, \mathrm{O}$ であり，発言者が質問者か，答弁者か，それ以外 (議長など) かをそれぞれ示 す. 発言内容は問わない。

QAID: 值は非負整数. 対応する質問と答弁に同じ 值を付与する．なお，0 は特別な值であり，質問でも答弁でもない発言を示す.

QAIDが 0 になるのは，以下のような場合である.

まず，答弁者の冒頭にある「○点のご質問にお答 えいたします。」などの発言. これは，特定の質問 に対応する答弁ではなく，対応する質問がないた め，QAID の值を 0 とする。なお，こうした発言は ネットリポートには掲載されていない。

3) https://www.gikai.metro.tokyo.jp/netreport/次に，質問者の発言に，質問でないものが含まれ る場合．例えば，以下のような発言がある。

なお、売電を目的とする大規模な天然ガス発電所の新規建設に当たっては、… 都は土地の提供程度にとどめておくべきであると、この場で 申し上げておきます。

これは意見を述べているだけであり，対応する答弁 は存在しない。なお，ネットリポートでは，こうし た発言は質問のタグが付かずに掲載されている.

## 5 参加者のタスク

テストデータにおいては，上記のキーのうち， QAID 以外はすべてタスクオーガナイザ側から提供 する。これは，今回新規に追加した QuestionerID お よび QorA の值については，発言者の役職などの情報から容易に特定でき，本タスクの本質ではないた めである．よって，参加者のタスクは一括質問一括答弁を適切に分割し，対応付けをすることである。

タスクとしては，質問数が少なく，答弁者も一人 であれば比較的容易であるが，質問数が多くなり， さらに答弁者の人数も多くなると難易度が上がる.東京都議会では，代表質問と一般質問があり，代表質問は一般質問よりも多くの質問がなされる.

実際の対応付けの例を表 2 に示す.これは，平成 23 年第 2 回定例会での山下太郎議員の代表質問への 対応付けの例である. 山下議員の質問は 42 個あり, それに対応する答弁者は知事を含め全部で 12 人で あった. QAID は，各答弁者がどの質問に回答した のかを示している. 表 2 から分かる通り，答弁は必 ずしも連続する質問に対応する訳ではない．特に知事の答弁は飛び飛びの質問に対応する傾向がある.

## 6 正解データの作成

正解データは，タスクオーガナイザ側で，都議会会議録のデータとネットリポートのデータを突合す ることで作成した. 基本的には，ネットリポートの 内容は会議録の発言を並び替えただけであるため，突合は容易であった．ただし，会議録の答弁の冒頭 に「次に、○○についてでございますが」という発言がある場合，ネットリポートでは「次に、の部分が削除されていた. また，一部に全角半角の相違 がみられた．そのため，単純な完全一致で対応する 発言が見つからない場合，ルーズなマッチにより対
表 2 質問と答弁の対応付け

表 4 表 3 をalignment に変換した結果

表 3 対応付けの正解と出力結果の例

応付けを実施した。なお，第 4 節で述べたように，「○点のご質問にお答えいたします。」といったネッ トリポートで省かれている発言や，対応する答弁が ない質問については，QAIDを 0 とした。

## 7 評価方法

タスクの評価には文献 [6] などで提案される単語

して説明する。

表 3 は 19 文からなる質疑応答がどのように対応 しているかを示した例であり，QAID の值で対応付 けが示されている。ここで，正解データと評価対象 となるシステム出力では，異なる対応付けを行って いる. 正解データでは質問は 4 個であり，例えば文 1, 2, 3 で一つの質問を形成し，それに対応する答弁 が文 $12,13,14$ であることを示している。一方，シ ステム出力では，質問は 5 個であり，正解データ
の最初の質問が二つに分割されている. システム 出力を正解データと比較するために alignment を以下のように考える。例えば，システム出力の文 1,2 の 2 文と文 12,13 の 2 文が対応しているが，この 場合, alignment としては，1-12, 2-12, 1-13, 2-13で,合計 4 個 $(2 \times 2)$ あると考える. 正解データの最初 の質問は， 3 文と 3 文が対応しているので，計 9 個 の alignment ができる. 表 3 の対応付けから変換で きる alignment をすべて示したものが表 4 である. alignment に変換することにより，正解データとシス テム出力で異なる QAID が付与された場合にも対処可能となる．実際，表 3 の例では，正解データの文 10, 19 の QAID が 4 であるのに対して，システム出力では 5 であるが，表 4 に示す alignment では同じ 10-19として検出されている.

この alignment を元に適合率，再現率，F 值を計算 し, 評価に用いる。この例では, 適合率 $78.5 \%(11 / 14)$,再現率 $64.7 \%(11 / 17), \mathrm{F}$ 值 $71.0 \%$ となる.

## 8 おわりに

本稿では，NTCIR-16において提案している QA Lab-PoliInfo-3 におけるQA Alignment タスクの概要及び，データセット，評価方法について述べた.

QA Lab-PoliInfo-3 が採用された場合は，2021 年 7 月にデータのリリースを行い, 予備テスト (Dry Run)，本テスト (Formal Run)を実施後，2022 年 6 月 に本会議を開催する予定である。公式サイトでは， リーダーボードを用いて参加者の結果を随時掲載す るだけでなく，TOチームによる実行プログラムな どを公開していく予定である.

## 参考文献

[1] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In MT summit, Vol. 5, pp. 79-86. Citeseer, 2005.

[2] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, 2016.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Testbeds and Community for Information Access Research - 14th International Conference, NTCIR 2019, Tokyo, Japan, June 10-13, 2019, Revised Selected Papers, pp. 122135,2019

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[5] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 2020.

[6] Rada Mihalcea and Ted Pedersen. An evaluation exercise for word alignment. In Proceedings of the HLT-NAACL 2003 Workshop on Building and using parallel texts: data driven machine translation and beyond, pp. 1-10, 2003.