# 生成と分類のマルチタスク学習による 感情が考慮された対話応答生成

井手竜也
早稲田大学基幹理工学部
t-ide@toki.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

計算資源などの拡大に伴う、自然言語処理の発展は著しいものである。翻訳や要約をはじめとするタスクで、今やコンピュータが人間に劣らない性能を示すことも珍しくない. 同じような技術のもとで対話システムも進歩し、実用化が期待されつつある.

人間がコンピュータと自然に対話するためには、 コンピュータに人間らしさが必要である。こうした対話を実現するための方法 [1] はいくつか提案されている．たとえば知識や常識にもとづいて対話を行うこと [2] や、自身および相手の個性に触れながら対話を行うこと [3] である. 中でも本研究は感情という要素 [4] に焦点を当てる.

本研究は話者の感情が考慮された対話をマルチタスク学習によって実現する。また感情の階層的な関係 [5] に目を向け、粒度の異なるいくつかの感情認識を同時に学習させる. なおこのマルチタスク学習は類似タスクの間で相補的な情報共有を目指すものではなく、あえて感情認識の精度向上は考慮しない.またマルチタスク学習における感情認識の比率が過剩であるという懸念のもと、各ロスに重みづけを施すことでさらなる品質の改善を求める. 事前学習済みの Transformer [6] モデルである BART [7]をもとにモデルを構築し、応答生成と感情認識のマルチタスク学習を行う．これは英語を対象に、文脈を伴わない対話で行う。

自動評価と人手評価から提案手法による応答生成の有効性を確認した。つまり応答生成と感情認識のマルチタスク学習が、生成される応答をより発話の感情が考慮されたものにすることがわかった。このことは感情という側面にかぎらず、流暢さや有益さといった品質も同時に改善された。またロスの重みづけによるパラメータの制御が、モデルの性能をより向上させることがわかった.

## 2 関連研究

感情にもとづく応答生成に関しては、ECM [8] が代表的である．ECM は Emotion Classifier とともに用いられ、与えられた感情に依存した応答を生成することができる. EmpTransfo [9] は本研究と類似したモデルである．GPT [10]による応答生成に Emotion と Action を適用させ、生成される応答を高品質なものにしている。

これらのモデルは応答がもつ感情に注目したもので、発話の感情をふまえて応答を生成するわけではない。一方で TG-EACM [11] は、発話に込められた感情と応答が抱くべき感情の双方を考慮するようなモデルである. モデルは与えられた発話から発話と応答の感情をともに推測するような分布を学習する。

ECM や TG-EACM は感情を理解するためのユニットを独立にもつが、本研究はそれを単一のモデルで完結させる．それによってパラメータの壳長性が削減され、より効率的な感情の理解および応答の生成が実現されることを期待する。

## 3 感情が考慮された応答生成モデル

## $3.1 \quad$ 概要

生成タスクとして応答生成を行い、分類タスクとして感情認識を行う。応答生成と感情認識をマルチタスク学習によって同時に学習することで、与えられた発話の感情を理解した上で応答を生成できるようになることを狙う。

マルチタスク学習はいくつかの類似したタスクを対象とすることが多い。これはタスク同士が互いに情報を共有し、それぞれのタスクが性能を向上すること期待するためである. しかし今回のマルチタスク学習はあくまでも応答生成の品質改善が目的であ

図 1 応答生成モデルのアーキテクチャ

り、感情認識の性能を向上することは考えない.これは一般的なマルチタスク学習と異なる点である.

モデルは BART [7] をもとに作成する. アーキテクチャは図 1 のとおりで、モデルは学習されるタスクごとに Head として出力層をもつ. これは応答生成で単語を生成するための LM Head と、分類タスクを解くための線形層である CLS Head からなる.なお CLS Head はたとえば Positive や Negative といったラベルを推測することで分類タスクを解く. CLS Head に関しては、分類タスクごとに 1 つを設ける.各タスクの入出力形式は BART と同様である.生成タスクでは Encoder と Decoderにそれぞれ発話と右シフトされた応答を入れ、分類タスクでは Encoder と Decoderに発話と右シフトされた発話を入れる。

学習のアルゴリズムはおおむね MT-DNN [12] にしたがう．学習すべき各タスクはミニバッチごとに選択される。タスクによって異なるロスを計算し、 ミニバッチごとにパラメータを更新していく.

## 3.2 タスクとロス

与えられる発話を $\boldsymbol{x}=\left(x_{1}, \ldots, x_{M}\right)$ 、モデルのパラメータを $\boldsymbol{\theta}$ とする．各タスクに対するロスをもとに $\boldsymbol{\theta}$ を更新することによって、モデルは学習される。

生成 $\boldsymbol{x}$ に対する応答を $\boldsymbol{y}=\left(y_{1}, \ldots, y_{N}\right)$ とすれば、 $\boldsymbol{x}$ から適切な $\boldsymbol{y}$ を推測できるように学習する。

$
\mathscr{L}_{\text {gen }}=-\sum_{j=1}^{N} \log p\left(y_{j} \mid \boldsymbol{x}, y_{1}, \ldots, y_{j-1} ; \boldsymbol{\theta}\right)
$

分類 $x$ の正解ラベルを $c$ とすれば、モデルは $x$ から $c$ を推測する.

$
\mathscr{L}_{\mathrm{cls}}=-\log p(c \mid \boldsymbol{x} ; \boldsymbol{\theta})
$

## 3.3 ロスの重みづけ

提案のマルチタスク学習は生成と分類のタスクを同時に学習するものである. しかしそこには分類タ表 1 各データセットのサンプル数

スクに関する学習の比率が過剰である可能性がある. 一般的な分類タスクを解くとき、学習の終了は Validation データによるロスの収束をもって定められることが多い。一方で本研究の対象は生成タスクであり、それに必要なエポック数は分類タスクのものよりも多い.

そこで各ロスに重みづけを施すことを考える．具体的には応答生成に対する重みを 1 に固定しつつ、感情認識の重みを 0 以上 1 以下で変動させる．それによりパラメータの更新に際する分類タスクの寄与を抑える。

## 4 実験

## 4.1 データセット

マルチタスク学習として、応答生成のほかに感情認識の 3 タスクを行う。それぞれは 6 ラベル・2ラベル・12 ラベルによる分類タスクで、感情認識・CG 感情認識・FG 感情認識と呼ぶ. なお感情認識の各データセットは Unify Emotion Datasets [13] を参考に選択した。

応答生成応答生成のデータセットとしては DailyDialog [14] を用いる. これはマルチターンによる対話コーパスであり、2 ターンずつを抽出することによって発話と応答の組を得る。これに収録されている各発話は感情ラベルを伴うが、本研究ではそれらを使わない. 付与されている感情ラベルのほぼすべてが Otherであり、このことは本研究の目的にそぐわないと判断したためである。

感情認識軸となる感情認識のデータセットには Twitter Emotion Corpus [15]を用いる. Twitter のハッシュタグをもとに構築されたもので、 Anger, Disgust, Fear, Joy, Sadness, Surprise\}の 6 ラベルからなる.なおこのデータセットには\{Train, Validation, Test\}の区別がない. よって全データセットの $80 \%$

Test にする.

図 2 人手評価として行うクラウドソーシングの例

CG 感情認識 Coarse-Grained な感情認識についてはSST-2 [16] を用いる.これは映画のコメントに \{Positive, Negative\}のラベルが付与されたデータセットである．感情分類のサンプル数とバランスを保つベく、Trainデータのサンプル数を $25 \%$ に減らす。

FG 感情認識 Fine-Grained な感情分類には CrowdFlower が提供する感情ラベル付きコーパスを用いる. Empty というラベルを除外し、\{Anger, Boredom, Enthusiasm, Fun, Happiness, Hate, Love, Neutral, Relief, Sadness, Surprise, Worry\}の 12 ラベルによる分類タスクとして扱う。なおこれも Twitter Emotion Corpus と同じく\{Train, Validation, Test $\}$ の区別をもたないため、全体を 8:1:1 に分割する.またSST-2 と同じ理由のもと、全体の 50\%のみを抽出する。

各データセットにおけるサンプル数の内訳を表 1 にまとめる.

## 4.2 モデルの学習

学習に必要となるハイパパラメータは、BART の論文 [7] や Fairseq の例を参考に設定する. 学習率は 3e-5 と定め、パラメータは Weight Decay を伴う Adam で最適化する。応答生成に関しては、ロスの Negative Log-Likelihood 0.1 の Label Smoothing を施す. また入出力のトークン数は最大 64 に決め、学習は 64 エポック行うことにする.

生成時のハイパパラメータに関しても、上記を参考に設定する． 5 ビームによるビームサーチで単語を選択し、ある $n$-gram が 3 個以上連続する場合を排除する.

学習や生成は $\mathrm{AI}$ 橋渡しクラウド上で行い、GPU として NVIDIA Tesla V100を用いる.

## 4.3 評価手法

モデルの評価として、自動的な評価と人手による評価を行う。

自動評価まず出力として得られる応答がどれだけ正解の応答と関連しているかを BLEU [17]によって評価する。そして出力される応答が語彙的に多様であるかどうかを distinct [18] で評価する. distinct に関しては、それぞれ Unigram と Bigram に注目した distinct-1 と distinct-2 を用いる. さらに出力の応答に含まれる単語数の平均も比較する。これは生成された応答が長いものであるほど、それが普遍的でないことを仮定している.

人手評価人手による評価はクラウドソーシングで行い、プラットフォームとして Amazon Mechanical Turkを用いる。内容は EmpatheticDialogues [4] のそれにならい、評価すべき観点として感情考慮・流暢さ・有益さ・発話関連の 4 つを設定する。 それぞれは生成された応答が発話の感情を考慮しているか、生成の応答が構文的に正しいものか、生成された応答が発話にとって有益な情報を提供しているか、応答の内容が発話と適切に関連しているかを問うものである. Test データから無作為に抽出された 100 サンプルを対象に、上記の 4 観点を 5 段階で評価してもらう．ワーカとしてはUS の在住者を指定し、各サンプルの各観点ごとに7 ワーカを要求する. 最終的なスコアは 7 ワーカによる値の平均値として得る.

$
\text { ワーカに尋ねる質問の例を図 } 2 \text { に示す. }
$

## 4.4 結果

応答生成を R と表し、Twitter Emotion Corpus $\cdot$ SST-2・CrowdFlower のデータセットに関する感情認識をそれぞれ E6・E2・E12と表す。また E6・E2・ E12 のロスに対する重みをそれぞれ $\lambda_{\mathrm{E} 6} \cdot \lambda_{\mathrm{E} 2} \cdot \lambda_{\mathrm{E} 12}$ と表す.
表 4 各モデルによる応答の生成例

 &  &  & I hope I g \\

表 6 ロスに重みづけを施した応答生成の人手評価

マルチタスク学習自動評価の結果を表 2 に示す. 表 2 からは R+E6+E2 と R+E6+E12 がそれぞれ distinct と BLEU を最大化していることがわかる.つまり提案のマルチタスク学習においては、 Coarse-Grained と Fine-Grained な感情認識がそれぞれ多様性と関連性に効果的である.

人手評価の結果を表 3 に示す. 感情考慮に関していえば、タスクに感情認識を含すすべてのモデルが応答生成のみによるモデルを上回るスコアとなっている．そして 4 観点のすべてを見てみると、とくに R+E6 が高いスコアをもたらしている. 提案のマルチタスク学習は生成される応答をより感情が考慮されたものにするだけでなく、流暢さや発話関連といった他観点の品質も改善しうる.

得られたモデルによる生成例を表 4 に示す. R と R+E6を対象に、与えられた発話とその応答を比較する.なお生成例については、E6をタスクに追加したことで人手評価の感情考慮が大きく向上したサンプルを選ぶ. 表 4 からは、 $\mathrm{R}$ と比べて R+E6 に "Yeah, yeah, I know." p "good idea." といったより感情に敏感な文が含まれていることがわかる.

ロスの重みづけ自動評価と人手評価の結果をそれぞれ表 5 と表 6 に示す. 自動評価では、とくに E12を伴うモデルで重みづけによるスコアの向上が確認できる。一方で人手評価も重みづけ
がいくつかのスコアを向上させており、中でも $\left(\lambda_{\mathrm{E} 6}, \lambda_{\mathrm{E} 2}, \lambda_{\mathrm{E} 12}\right)=(.5, .5,0)$ のケースがひときわ高いスコアを出している．したがって各ロスに対する重みづけは生成される応答の品質を改善しうるもので、今回の条件においては E6 と E2 の影響を半分に抑えることがもっとも効果的である.

## 5 おわりに

人間とコンピュータによる対話の、ニューラルネットワークにもとづく応答生成の品質改善に取り組んだ. 感情という側面に注目し、生成と分類の夕スクを対象とするマルチタスク学習の応答生成モデルを提案した。自動評価と人手評価を行い、提案のモデルが感情をはじめとするいくつかの性能を向上させることを確かめた．また学習の際に計算される各ロスに重みづけを施すことで、さらなる品質の改善を図った. 結果として重みづけがいくつかの評価を向上し、パラメータ更新のバランスも重要であることがわかった。

本研究は対話の感情に焦点を当て、発話の感情を考慮した応答の生成を行った. 一方で本研究は応答の感情に注目しておらず、それは今後の課題である. 応答がもつべき感情を推定することや、指定された感情のもと応答を生成することに取り組みたい.また今回の実験はあえて対話の文脈を一切考えていない. 過去の発話やそれによる感情の変遷を生成する応答に反映させることも必要であり、それも今後取り組むべき課題である。

## 謝辞

本研究は JSPS 科研費 JP18H03286 の助成を受けた。

## 参考文献

[1] Eric Michael Smith, Mary Williamson, Kurt Shuster, Jason Weston, and Y-Lan Boureau. Can you put it all to-
gether: Evaluating conversational agents' ability to blend skills. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030, Online, July 2020. Association for Computational Linguistics.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. arXiv preprint arXiv:1811.01241, 2019.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] A. Kumar, A. Ekbal, D. Kawahra, and S. Kurohashi. Emotion helps sentiment: A multi-task model for sentiment and emotion analysis. In 2019 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[8] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[9] Rohola Zandie and Mohammad H. Mahoor. Emptransfo: A multi-head transformer architecture for creating empathetic dialog systems. arXiv preprint arXiv:2003.02958, 2020.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[11] Wei Wei, Jiayi Liu, Xianling Mao, Guibin Guo, Feida Zhu, Pan Zhou, Yuchong Hu, and Shanshan Feng. Target guided emotion aware chat machine. arXiv preprint arXiv:2011.07432, 2020

[12] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Laura-Ana-Maria Bostan and Roman Klinger. An analysis of annotated corpora for emotion classification in text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[14] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[15] Saif Mohammad. \#emotional tweets. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 246-255, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[16] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.


# 逆翻訳とフィルタリングによる擬似対話コーパスの生成と それを用いた対話システムの学習

榮田亮真
早稲田大学基幹理工学部
s.ryoma6317@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

深層ニューラルネットワーク (以下、DNN)を利用した自然言語処理が盛んになっており、分類、生成など、様々なタスクで高精度を達成している。大規模なコーパスで DNNを学習することで、どんな言語的情報を特徴量として扱うかを人が指定せずとも期待の結果が得られるというのが DNN の強みであり、対話システムについてもこれは同様である。

しかし、日本語の対話システムをDNNを用いて作ろうとすると、日本語の対話コーパスは規模が限られており、DNN の学習に十分な量が存在するとは言えない。これを原因の一つとして、現在のニューラル対話システムは、応答が発話に対して自然なものではない、多様な応答ができないという課題を持っている。特に多様性に関しては、「そうだね」などの、どんな発話に対しても破綻はしないが、おもしろみに欠ける応答が多くなってしまうという問題が挙げられる。

本研究では、対話コーパスの量の少なさを克服するため、少量のコーパスで学習したシステムの出力を学習データとして用いる。ただし、少量のコーパスで学習したシステムは性能が低く、出力はノイズを多分に含むため、フィルタリングを行い、コーパスの質を高める。具体的な手法は以下のとおりである。まず、機械翻訳で有効性が示されている逆翻訳 [1]の考え方を対話に応用する。つまり、少量の対話コーパスで学習した逆対話システムに非対話コーパスを入力し、その出力を用いて擬似対話コーパスを生成する。この擬似コーパスは「あー」など、意味のない表現、同じ表現の無意味な繰り返し、入力とほとんど同じ出力など、質の悪いぺアが多い。そのため、このコーパスをそのまま学習に用いるのではなく、いくつかのルールに基づきフィルタリングを行うことで、コーパスの質を高めてから利用する。
なお、対話システムとして、複数ターンの対話を扱うもの、発話以外の感情や Persona [2] などを扱うものも存在するが、本研究では、発話のみを入力し、応答を出力する 1 ターンの対話システムを扱う。

生成した擬似対話コーパスを利用して学習した対話システムをクラウドソーシングにより評価したところ、システムの応答が発話に対して関連していると判断される割合が、擬似対話コーパスを利用しないものより、 8 ポイント向上した。また、フィルタリングをしないコーパスを用いると、擬似対話コー パスを利用しないものより 2 ポイント低下し、フィルタリングの必要性も示された。

## 2 関連研究

対話コーパスではないデータセットを利用して、 ニューラル対話システムの出力を多様にする試みとして、Su ら [3] の研究がある。これは、機械翻訳で用いられる逆翻訳 [1] の考え方に基づくものである。 Sennrich ら [1] の研究ではまず、少数の対訳コーパスで、ターゲットとなる言語を入力し、ソースの言語を出力する逆システムを学習する。その逆システムにターゲット言語のコーパスを入力して擬似的な対訳コーパスをつくり、真の対訳コーパスと混ぜて学習を行うことで、BLEU の向上を達成している。逆翻訳についてはその後、Poncelas ら [4], Edunov ら [5] が、擬似コーパスの生成方法やそのコーパスを利用した学習方法を研究している。

逆翻訳を受けて、Su ら [3] の研究では、発話を入力すると応答を出力する順対話システムと、応答を入力すると発話を出力する逆対話システムを用意し、一方に非対話コーパスを入力したときの出力を、もう一方のシステムの学習データとすることを繰り返すことで、Distinct [6] の向上を達成している。 Distinct とは、生成文の全 n-gram 数に対する n-gram の種類数の割合であり、Distinct の向上は生成され
表 1: フィルタリングのルールとその対象

 & 「あー」など、無意味な表現の繰り返し \\

重複数が、短いほうの文長のn\%より多いペア & オウム返し \\

た応答の多様性が向上していることを示している。

## 3 提案手法:逆翻訳の対話への応用 とフィルタリング

提案手法は以下の 2 つの要素で構成される。1つめの要素は逆翻訳の対話への応用である。これは、応答を入力して発話を生成するように学習したシステム (以下、逆対話システム) に非対話コーパスを入力して、擬似対話コーパスを得ることを意味している。2つ目の要素はルールベースのフィルタリングである。これは、逆対話システムから得た擬似対話コーパスの質を高めるために行う。

## 3.1 逆翻訳の対話への応用

擬似的な対話コーパスの生成を目的として、 ニューラル逆対話システムの学習を行う。このシステムに非対話コーパスを入力することで、その入出カペアが、非対話コーパスを応答とする擬似対話コーパスとなる。その様子を以下の (1) に示す。文 (1a) が非対話コーパスに含まれる文であり、これを逆対話システムに入力することで、(1b) の出力を得る。

(1) a.おかず少ない。

b.今日の晚御飯はカレーです。

この擬似対話コーパスの応答文は自動生成したものではなく既存の文であるため、質が保証されている。このコーパスを利用することで、ニューラル対話システムが、非対話コーパスに含まれるような応答を生成できるようになることが期待される。

## 3.2 フィルタリング

3.1 節で述べた方法で擬似対話コーパスを生成すると、「あー」「あああ」など、意味のない言葉の羅表 2: 逆対話システムの学習に利用した対話コーパ Х

列、同じ単語の繰り返しなど、ノイズの多い生成結果が得られる。これは対話システムの学習を行ううえで悪影響をもたらすと考えられる。そこで、表 1 に示すルールを設けてフィルタリングを行うことで、擬似対話コーパスの質の向上を目指す。

## 4 擬似対話コーパスの生成

## 4.1 逆翻訳

ニューラル対話システムのモデルとして fairseq の MBART [7] を用いる。これは、英語だけではなく、多言語で事前学習された BART [8] である。対話コーパスを用いて、MBART を Fine-tuning する。 ここで用いる対話コーパスは以下の 3 種類である。

・名大会話コーパス [9]

・BTSJ 自然会話コーパス [10]
- Twitter コーパス

Twitterコーパスは、Tweet-Reply 対を、Twitter API を用いて我々が収集したものである。

これらの対話コーパスを用いて、入力が応答、出力が発話になるような学習を行う。利用したコーパス量を表 2 にまとめる。学習した逆対話システムに Web コーパス [11]を入力し、擬似対話コーパスを得た。

生成した擬似対話コーパスの例を表 3 に示す。 3.2 節で述べたように、生成結果はノイズが多い、「お
表 3: 擬似対話コーパスの生成例

表 4: フィルタリングの実行結果の例

はようございます」などのありきたりな表現が多い、などの問題がある。このコーパスをそのまま利用して対話システムの学習をすることは、対話システムの性能を下げると考えられる。

## 4.2 フィルタリング

4.1 節で生成した擬似対話コーパスに対して、3.2 節で述べたルールに基づき、フィルタリングを実行する。発話と応答のサブワードの重複数に関する条件については、 $\mathrm{n}=50,40$ の 2 パターンを設定した。フィルタリングの実行により、 $\mathrm{n}=50 \%$ のときは $3.5 \% 、 \mathrm{n}=40 \%$ のとは $2.1 \%$ のペアが残った。フィルタリングを実行した結果の例を表 4 に示す。フィルタリングにより、多くのノイズが取り除けていることがわかる。また、ペア中には、「プログラミング」 と「Web」、試合」と「交代」など、関連する単語が含まれており、対話システムの学習に効果があることが期待できる。ただし、本研究のフィルタリングルールは意味的な情報は全く扱っていないため、対話ぺアとして不自然なものも残っている。この点の改善は今後の課題である。表 5: 対話システムの学習に用いた対話コーパス量

## 5 対話システムの学習

## 5.1 擬似対話コーパスを利用した対話シス テムの学習

4.1 節, 4.2 節で生成した擬似対話コーパスと、 3 種の対話コーパスを用いて、fairseq の MBARTを Fine-tuningする。学習は以下の 6 パターンで行った。
- GOLD
- GOLD+MBART-50
- GOLD+MBART-50 $\rightarrow$ GOLD
- GOLD+MBART-40
- GOLD+MBART- $40 \rightarrow$ GOLD
- GOLD+MBART-w/o filter

ここで GOLD は 4.1 節で述べた 3 種の対話コーパス、MBART-50、MBART-40 4.1 節, 4.2 節で生成した擬似対話コーパスのうちそれぞれ、フィルタリングの $\mathrm{n}$ 动 $=50,40$ と設定したもの、MBART-w/o filter は 4.1 節で生成した擬似対話コーパスをフィルタリングせずにそのまま用いたことを表す。また $\rightarrow$ は、矢印の左側のコーパスで学習したのちに、右側のコーパスで再度学習したことを表す。これは、逆翻訳を利用した翻訳タスクにおいて、擬似対訳コーパスを利用した後、対訳コーパスで再度学習している [5] ことに由来する。

学習に用いた各コーパスの量を表 5 に示す。対話システムの評価は、BLEU [12], Distinct-N [6] に基づく自動評価と、クラウドソーシングによる人手評価で行った。BLEU は翻訳タスクでよく用いられる評価手法であり、応答文と参照文を構成する N-gram の一致度を表す。

## 5.2 対話システムの評価

## 5.2.1 自動評価

テストコーパスは名大会話コーパス 7,172 文、 BTSJ 自然会話コーパス 3,000 文、Twitter コーパス 30,374 文から構成され、計 40,172 文である。 5.1 節
表 6: 対話システムの自動評価結果

で学習した対話システムを、BLEU、Distinct の指標を用いて評価した結果を表 6 に示す。BLEU、 Distinct 共に、ベースラインである GOLD と比べて上がる事も下がる事もあるという結果であった。しかし、Liu ら [2]によって、BLEU と対話システムの人手評価には相関がほとんどないことが指摘されている。よって、この結果からは、提案手法で対話システムがどう変化したか結論づけることができず、 5.2.2 節で述べる、クラウドソーシングによる人手評価を行った。

## 5.2.2 人手評価

人手評価は Yahoo!クラウドソーシングを用いて行った。観点は関連度、おもしろさ、流暢さの 3 観点とし、各対話ぺアの各観点を Yes/Noで 3 人に評価してもらい、多数決をとった。各学習パターンにつき 400 文を評価した。発話と応答をそれぞれ A と B の発言とし、A の発言に対して B の応答が各観点を満たしているかを尋ねた。各観点を尋ねる質問は以下である。

1. 関連度 「B の応答は $\mathrm{A}$ の発言に関係したものですか」

2. おもしろみ 「B の応答はおもしろいですか」

3. 流暢さ 「B の応答は日本語として自然ですか」

5.1 節で学習した対話システムの人手評価を行った結果を表 7 に示す。スコアは、400 文のうち Yes と判断されたものの割合である。

関連度については、GOLDに比べて、提案手法の評価が高くなった。また、GOLD+MBART-w/o filter では評価が低くなっており、フィルタリングの必要性がわかる。よって、提案手法が対話システムの応答の発話に対する関連度を上げていると言える。

おもしろさについては、提案手法によってどのような影響があるかは一概には言えない結果となった。おもしろさの向上には、外部知識の導入、感情の考慮など、本研究では扱っていない工夫が求められると考えられ、今後の課題といえる。表 7: 対話システムの人手評価結果

流暢さについては、提案手法の評価が GOLDより高くなっているが、GOLD+MBART-w/o filter についても高くなっている。GOLD+MBART-w/o filter のどんな対話ぺアが流暢であると評価されているか見てみると、GOLD+MBART-w/o filter の応答のほとんどが「そうだね」という応答であり、流暢であると判断されることが多かった。これはニューラル対話システムの問題点である、どんな発話に対しても、問題はないが、つまらない応答である。よって、流暢さという評価指標は、対話システムの評価指標として適切ではないと考えられ、評価の観点についても再考が必要である。

## 6 おわりに

本研究では、多様で自然な応答が可能なニューラル対話システムを構築するうえで課題となっている、対話コーパス量の少なさの克服を目指した。逆翻訳とフィルタリングによって生成した擬似対話コーパスをニューラル対話システムの学習に用いることで、発話との関連度が高い応答を生成できるようになることがクラウドソーシングによる人手評価によって示された。

本研究では、逆対話システムは GOLDコーパスで学習しただけであり、工夫はしていない。また、 フィルタリングには表層的な条件しか用いていない。今後の課題として、逆対話システムの性能の向上、意味的な情報を考慮したフィルタリングが挙げられる。

本研究を応用することで、大規模な対話コーパスを持たない言語での対話システムの実現や、対話コーパスに含まれていないドメインをトピックとする対話への応用が期待される。

1）「GOLD ゚゚ア自体」は、3種類の対話コーパスそのものをクラウドソーシングで評価したものである。

## 参考文献

[1]Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2]Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[3]Hui Su, Xiaoyu Shen, Sanqiang Zhao, Zhou Xiao, Pengwei Hu, Randy Zhong, Cheng Niu, and Jie Zhou. Diversifying dialogue generation with non-conversational text. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7087-7097, Online, July 2020. Association for Computational Linguistics.

[4]Alberto Poncelas, Dimitar Shterionov, Andy Way, Gideon Maillette De Buy Wenniger, and Peyman Passban. Investigating backtranslation in neural machine translation. EAMT 2018 - Proceedings of the 21st Annual Conference of the European Association for Machine Translation, pp. 249-258. European Association for Machine Translation, 2018.

[5]Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[6]Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7]Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. ArXiv, 2020.

[8]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9]小磯花絵. 『日本語日常会話コーパス』モニター公開版の構築. 計量国語学, Vol. 32, No. 2, pp. 133-142, 2019. [10]宇佐美まゆみ, 宇佐美まゆみ監修 (2020)『BTSJ日本語自然会話コーパス（トランスクリプト・音声）2020年版』、国立国語研究所、機関拠点型基幹研究プロジェクト「日本語学習者のコミュニケーションの多角的解明」、サブ・プロジェクト「日本語学習者の日本語使用の解明」（リーダー：宇佐美まゆみ）. 2020.

[11]Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.
表 8: 学習で用いたハイパーパラメータ

## A 付録

5.1 節で対話システムの学習に用いた主なハイパーパラメータを表 8 に示す。エポック数としては、検証データに対するロスが最小となるエポックを採用した。

表 9: 擬似対話コーパスを用いて学習した対話システムによる対話例

 &  \\

5.2 節で評価したテストコーパスの発話応答ぺアの例を表 9 に示す。モデルは GOLD+MBART- $50 \rightarrow$ GOLD である

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 進化論的アプローチによる 人狼ゲームにおけるエージェントの構築に関する調査

関井郁弥
横浜国立大学
sekii@forest.eis.ynu.ac.jp
}

阪本浩太郎
横浜国立大学
sakamoto@forest.eis.ynu.ac.jp
}

渋木英潔
国立情報学研究所
shib@nii.ac.jp
}

森辰則
横浜国立大学
mori@forest.eis.ynu.ac.jp

## 1 はじめに

近年，スマートスピーカーの普及によってコンピュータとの対話が身近なものとなり，今後は情報検索や家電操作以外にも対話技術が応用されていくことが予想される. 情報検索や家電操作などではユーザの指示に忠実に従うだけで問題ないが，例えば，商品セールスなどに応用することを考えると， ユーザが当初目的としていなかった商品を売り込むといったユーザの意思決定に大きく影響を与える対話が求められることになる. 我々は，ユーザの意思決定に大きく影響を与える対話を翻意誘導対話と定義する。しかしながら，翻意誘導対話をどのように実現するかに関する研究はほとんどない. 我々は,自分の目的を達成するために相手の意思決定に影響を与えるという点で説得も欺瞒も翻意誘導対話の一種1) と考えている。そこで，ゲームにおける勝敗のように目的が明確であり，かつ，その目的を対話によって達成するものが，翻意誘導対話の対象として適切であると考え，人狼ゲームを対象として研究に取り組むこととした。

人狼ゲームとは，対話を通して「村人」の中に潜伏した「人狼」を見つけ出す対戦型の多人数ゲームであり2)，近年，人狼知能プロジェクト3)など研究テーマとしても注目されている. 人狼知能プロジェクトでは，「人間と自然なコミュニケーションを取りながら人狼をプレイするエージェント（AI）の構築」を究極の目標としており，エージェント同士の対戦成績を一つの指標として人工知能の研究開発に取り組んでいる.また，我々は，これまで人狼ゲームプラットフォーム LiCOS[1] の開発や人狼エージェントの分析 [2]などに取り組んでいる。人狼ゲームは意思決定の際に相手がどのような行動をとるか分からない不完全情報ゲームであり，推論に誤謬がなくとも正解を導き出せるとは限らず，ゲーム中の行動が必ずしも論理的に説明できるわけではない。そのため，エージェントの発話が翻意誘導できたかを評価するためには，何度もゲームを繰り返して定量的に見積もる必要があり，模索段階で人間を相手に

ゲームを行うことは効率的でない。また，翻意誘導された過程を調査する上でも，思考過程が透明であるエージェントを対象とすることが望ましい，以上の背景から，我々は人狼ゲームにおける翻意誘導の対象となるエージェントの構築に取り組む. 将来的に他のプレイヤの発言の理解や，自然言語を用いた発話といった対話機能を含めた推理・発言の機能を持つエージェントの構築を検討する。人間の思考過程を模した構築したエージェント相手への翻意誘導を観察し，人間に対しても同様に翻意誘導ができるかの検証につながる情報を得ることを期待する。

翻意誘導の対象となるエージェントは，誘導されうる知性を備えつつ，エージェントごとにある程度の多様性があることが望ましい，そのようなエー ジェントを構築する手段として，我々は進化論的アプローチをとることとした. 人狼ゲームと同じ不完全情報ゲームである繰り返し囚人のジレンマにおいて進化論的アプローチにより最適戦略を求める研究は多くなされている $[3,4,5,6,7]$. しかしながら， ゲームの複雑さが異なるため，そのまま人狼ゲームに応用できるか自明ではない。それゆえ，本稿では，進化論的アプローチによるエージェント構築に関する設計を行う。

## 2 エージェントの設計

エージェントの思考過程を明示的に表現するためには，エージェントがそれぞれ対戦相手の他エー ジェントの役職をどのように推理しているかという認識を表現する必要がある. エージェントの多層的な認識 (例:「エージェント Cは『エージェント Aがエージェント B の役職を村人だと思っている』と認識している」など）という思考を可視化して表現するために，エージェントがそれぞれ自身の思考を行う思考空間（メンタルスペース）と，参加している各プレイヤに対応しメンタルスペース内に存在する仮想上のエージェント（メンタルエージェント）を所有しているモデルを導入する。

エージェントの動作は，他のプレイヤからの発言を受けてエージェントがゲーム状況を把握するためのメンタルスペースの更新と，ゲームを進行させるためメンタルスペースに対応した発話や投票を行うといった行動の 2 つからなる。

図 1 メンタルスペースの構造

## 2.1 メンタルスペースの構造

図 1 にメンタルスペースの構造を示す。メンタルエージェント内には，そのエージェントが各エー ジェントの役職をどのように認識しているかというキャラクタと役職を対応させた表（対応表）を持つ. 対応表は，プレイヤと役職の表があり，対応はプレイヤがそれぞれの役職である確率 $[0,1]$ として表される。 エージェントのメンタルスペース内のメンタルエージェント 1 人につき， 15 人のプレイヤごとに 6つの役職それぞれの確率の対応表を所有していることで，「エージェント C は『エージェント A がエージェント B の役職を人狼だと思っている』と認識している」などという複雑な認識を扱うことができる.

また，エージェントはたとえ同じ内容の発言であっても発言者が異なる場合に，その発言の信用具合が変化することが考えられる. エージェント毎の信用具合の差を表すために，それぞれのメンタルエージェントには各プレイヤの発言をどれほど信用するかという指標となる信頼度を所有させる．信頼度は各エージェントの発言を信用している度合い $[0,1]$ として表される. 信頼度が高いプレイヤからの発言は対応表に大きな影響を与え，反対に低いプレイヤからの発言は対応表に影響しにくくなる. 信頼度も対応表と同様に，メンタルスペース内のメンタルエージェント 1 人につき， 15 人のプレイヤ全員への信頼度を所有させる。

誰に投票するか，人狼のプレイヤが誰に襲撃するか, 占い師や狩人のプレイヤの能力の使用先を誰にするか，などのゲーム内での意思決定を含む行動を説明可能にするために，メンタルエージェントにはこれらの各種意思決定の際に用いる投票意思, 占い意思，護衛意思，襲撃意思という意思値を所有させる. 意思値は，あるプレイヤに対して投票，人狼の襲撃，占い師の占い，狩人の護衛といった行動をしようという意思の強さ表した値で，基本的に意思値が最も高いプレイヤに対して投票・襲撃といった各種行動を試みる。各種意思値はメンタルエージェン
トごとに 1 つずつ所有しており，対応表や信頼度の数值によって変動するほか，CO（カミングアウト：自らの役職を宣言する）などの発言内容にも応じて変化させる。

対応表，信頼度，各種意思値といった値は，「占い師 CO をがされたとき，発言者が占い師かもしれないと考える」「発言内容に矛盾が生じたとき，その発言者が人狼であると疑う」などといった，理性的なプレイヤが人狼ゲームをプレイする際に用いるルー ルに従って変化する。これらを変化させる際に，それぞれのルールの持つ影響力の指標として，各エー ジェントにパラメータを持たせる。，パラメータはそれぞれ村人陣営の役職のときに強く発現するパラメータ，人狼陣営のときに強く発現するパラメー タ，陣営にかかわらず発現するパラメータの 3 種類が存在する。表 1 にエージェントの持つパラメータの一部を記載する。実際のエージェントの構築ではこのようなパラメータを多数使用するが，ここでは一部のみ抜粋する。このパラメータの組み合わせにより，エージェントの個性となる推理方法や発言などの行動が変化する. 本研究では，このパラメータを遺伝的アルゴリズムにおける学習対象の遺伝子とし，この数値を最適化することによって理性的に推理を行い，行動するエージェントの構成を試みる。

## 2.2 意思決定

エージェントは発言を要求されるたびに，

1. 役職が占い師，霊能者でそのゲーム中にまだ COしていなければ $\mathrm{CO}$ 発言

2. 占い師, 霊能者のときは能力の使用結果を公表

3. 一番投票してほしいエージェント（投票意思が最も高いプレイヤ）へ投票するように希望する発言

4. 今自分が誰を人狼だと思っているかなどの役職考察発言

の優先度で発言を行う。このアルゴリズムは第 2 回人狼知能大会のチーム饂飩の発話アルゴリズム [8] を参考にした。

また，エージェントは投票を要求されるたびに，
表 1 エージェントの構築に用いるパラメータ例

 &  & {$[0,1]$} & 土通 \\

表 2 試合ごとに加算される得点

生存している自分以外のプレイヤの中で最も投票意思が高いプレイヤへの投票を行う. 人狼のエージェントは. 襲撃先の投票が要求されるたびに，エー ジェントは生存している人狼でないプレイヤの中で最も襲撃意思の高いプレイヤへ投票を行う.

## 3 エージェント構築の環境

翻意誘導される上で知性を持ったエージェントでありながら，異なる個性をもったエージェントが多数得られることを期待し，並列分散型遺伝的アルゴリズム [9](並列分散 GA) によってエージェントを構築する。エージェントの個体が持つパラメータの集まりを遺伝子としており，人狼ゲームをプレイする上で最適な遺伝子パラメータの組み合わせを学習することを目的とする。

個体の遺伝子に多様性を持たせるために村を $N_{\text {village }}$ 個用意する.また. 勝敗に運要素が絡むため，信頼できる勝率を得るためにそれぞれの村で $N_{\text {game }}$ 回ずつ対戦を行う.

適者生存を示すスコアは村人陣営としてのスコアと人狼陣営としてのスコアの 2 種類を用意し，役職が村人陣営（村人, 占い師, 霊能者, 狩人) で参加した対戦での結果を村人陣営としてのスコア，人狼陣営（人狼，狂人）の役職で参加した対戦での結果を人狼陣営のスコアとして計算することで，村人として優秀な個体，人狼として優秀な個体を判別する。村人陣営，人狼陣営はそれぞれ試合ごとに表 2 の点数を加算する. ここで，得点 $P_{V 1}$ と $P_{V 2}, P_{W 1}$ と $P_{W 2}$ については, 各プレイヤは自身の陣営の勝利を何より優先させるべきという考えから， $P_{V 1}>P_{V 2}$, $P_{W 1}>P_{W 2}$ となることが想定される. 今回の実験では, $P_{V 1}=10, P_{V 2}=1, P_{W 1}=10, P_{W 2}=5$ とした.各陣営としてのスコアは, その陣営として参加したゲームあたりの平均得点となる。(一度も役職を引かなかった陣営のスコアは 0)

1 世代分の対戦が終わると，遺伝・交叉により，次世代の個体を生成する．今回の実験では，エリート保存戦略 [10] によって 4 個体，交叉によって 11 個体を生成する。まず，人狼としてのスコアの 1 位， 2 位と村人としてのスコア 1 位，2 位の個体を選出する. 村人としての 1 位，2 位と人狼としての 1 位, 2 位の個体計 4 個体をそのまま残し，人狼陣営 1 位表 3 遺伝子の交叉方法

図 2 同一エージェント同士の対戦の試合数と勝率

の個体 (w1)，人狼陣営 2 位の個体 (w2), 村人陣営 1 位の個体 (v1)，村人陣営 2 位の個体 (v2) の遺伝子をそれぞれに対して表 3 のように，村人としてのスコアの高かった個体から村人側の遺伝子を，人狼としてのスコアが高かった個体から人狼側の遺伝子を遺伝させる形で 11 個体を新しく生成する。共通して発現する遺伝子の v2 or w2 の部分は， v2 か w2 のどちらかをランダムに遺伝させる。

この遺伝・交叉システムを用いて世代を重ね，学習の局所解への早期収束を防ぐため， $N_{g}$ eneration 世代ごとに一度，遺伝・交叉の後に他の村への個体の移住を行った。個体の移住では，それぞれの村について村のエージェントのうちランダムに 7 個体を移住個体として選び，すべての村の移住個体を集めて，ランダムに各村に 7 体ずつ配りなおすという動作を行い，ほかの村のエージェントを交えて次世代の対戦を行うことで個体の多様性の維持を図る。

また，個体の移住とは別の手段での多様性の維持手段として，これらの遺伝・交叉・個体の移住が終了した後で，特定の変異率による突然変異を行う。今回の実験では，新しい世代の全個体に対してそれぞれ変異率 0.01 で遺伝子のうち 1 箇所をランダム
表 4 各世代交叉終了時に最も数の多かった遺伝子の個体

に初期化する突然変異を行った。

## 4 遺伝的アルゴリズムの設定値

今回の実験における各種設定值について，一部の設定値について妥当な値を調査するため実験を行った.

## 4.1 ゲームルール

それぞれの村は 15 人人狼を行い，役職の内訳は占い師 1 ，霊能者 1 ，狩人 1 ，狂人 1 ，人狼 3 ，村人 8 人ずつの 15 人からなる. 他，詳細なルールは人狼 BBS の $\mathrm{G}^{2}$ 国 $^{4}$ における 16 人村（初日の犠牲者がいないため実質同じルールとして働く）を参考にした.

## 4.21 世代あたりの対戦数について

自己対戦において 1 世代の対戦数に必要な対戦数を調査するため，同一エージェント同士の対戦を行った. 同一エージェント同士の対戦では，まったく同じパラメータの組み合わせをもつエージェント同士による対戦を無限回に繰り返すことで理論上エージェントの勝率の分散はどの村でも 0 に収束するという考えのもと，同一エージェント同士の対戦 100 回を 10 セット行い，勝率の分散値の変化を調査した.

図 2 は，まったく同じ遺伝子の組み合わせをもつエージェント同士による対戦を 100 回 10 セットを行ったときの，試合数に対するエージェントの勝率の分散である. 対戦数が 10 対戦付近ではまだ村ごとの分散が大きく，結果がばらけてしまっているが，30 対戦から 50 対戦で分散が小さくなり，そのあと分散は小さくなり続けているものの概ね横ばい

図 3 第 4 世代終了時に最も数の多かった遺伝子の各世代での個体数変化

の値をとっている.この結果より，エージェント同士の勝率がある程度収束し，個体ごとに優秀な個体とそうでない個体を判別するのに対戦数は最低限 30 対戦から 50 対戦は必要となることが考えられる。 そこで，本研究では 1 世代あたりの対戦数 $N_{\text {game }}$ を 50 対戦として設定し実験を行った。

## 4.3 並列分散 GA の移住までの世代数

並列分散型遺伝的アルゴリズムによる，移住までに必要とされる世代数について最適な世代数を調べるための調査を行った。表 4 は, 1 世代あたりの対戦数を 50 としたとき 12 の村について，各世代後の交叉終了時に最も数が多かった遺伝子の個体名と個体数を示したものである。遺伝子の個体名については，上 1 桁はその個体がどの世代で初めて生成されたものであるかを示しており，下 3 桁はその世代で何番目に生成された個体であるかを示している。

表 4 の結果について, 第 4 世代終了時に最多個体数である個体はほとんどが第 3 世代終了時でも最多個体であり，第 3 世代終了時点で過半数を占めているものが多いため，第 3 世代終了時の時点で交叉によって優秀な遺伝子はほとんど完成している可能性を考え，さらに第 4 世代終了時に個体数が最も多かった個体の各世代終了時の個体数について調査した. 図 3 は， 1 世代あたりの対戦数を 50 としたときの第 4 世代目終了後の交叉終了時に最も数が多かった遺伝子の各世代での個体数の変化を示したものである.この結果より，第 3 世代から第 4 世代にかけて，最多数個体の個体数は増えているものの，第 3 世代までの結果でどの個体がその後最多数となるかについて大勢は決しているものと判断し, 本研究では個体の移住までの世代数 $N_{\text {generation }} 3$ 世代ごとと設定した。

## 5 まとめ

本稿では，翻意誘導の対象となりえる人狼エー ジェントの構築のため，進化論的アプローチによるエージェント構築に関する設計と，方法の調査を行った. 今後は発話の意味理解や自然言語による発話の生成を含め，実際にエージェントを構築しエー ジェントに対しての翻意誘導を実現する技術の調査を行う予定である。

## 参考文献

[1]阪本浩太郎, 永山翔滋, 石下円香, 渋木英潔, 森辰則, and 神門典子. 人狼ゲームプラットフォーム licos を用いた欺瞞対話コーパスのためのゲームログの収集. 言語処理学会第 25 回年次大会, 32019.

[2]Shoji Nagayama, Jotaro Abe, Kosuke Oya, Kotaro Sakamoto, Hideyuki Shibuki, Tatsunori Mori, and Noriko Kando. Strategies for an autonomous agent playing the "werewolf game" as a stealth werewolf. In Proceedings of the 1st International Workshop of AI Werewolf and Dialog System (AIWolfDial2019), pages 20-24, Tokyo, Japan, October 2019. Association for Computational Linguistics.

[3]Robert Axelrod. Genetic Algorithms and Simulated Annealing, chapter The Evolution of Strategies in the Iterated Prisoner's Dilemma, pages 32-41. Morgan Kaufman, Los Altos, CA, 1987.

[4]Richard Brunauer, Andreas Löcker, Helmut A. Mayer, Gerhard Mitterlechner, and Hannes Payer. Evolution of iterated prisoner' $\mathrm{s}$ dilemma strategies with different history lengths in static and cultural environments. In Yookun Cho, Roger L. Wainwright, Hisham Haddad, Sung Y. Shin, and Yong Wan Koo, editors, Proceedings of the 22nd Symposium on Applied Computing, pages 720-727. ACM, 2007.

[5]Mieko Tanaka-Yamawaki and Taku Murakami. Effect of Reputation on the Formation of Cooperative Network of Prisoners, pages 615-623. Springer Berlin Heidelberg, Berlin, Heidelberg, 2009.

[6]系井良太 and 田中美栄子. 進化型繰り返し囚人のジレンマにおける最適戦略の探究. Technical Report 3 , 鳥取大学大学院工学研究科エレクトロニクス専攻, 鳥取大学大学院工学研究科エレクトロニクス専攻, may 2012.

[7]鳥居拓馬, 日高昇平, and 真隅暁. 学習あり繰り返し囚人のジレンマにおける協調行動の発生. 人工知能学会全国大会論文集, JSAI2014:4H13-4H13, 2014

[8]狩野芳伸, 大槻恭士, 園田亜斗夢, 中田洋平, 箕輪峻, and 鳥海不二夫. 人狼知能で学ぶ $A I$ プログラミング: 欺䁐・推理・会話で不完全情報ゲームを戦う人工知能の作り方. マイナビ出版, 2017.

[9]三木光範, 廣安知之, 畠中一幸, and 吉田純一. 並列分散遺伝的アルゴリズムの有効性. 日本計算工学会論文集, 2000:20000038-20000038, 2000.

[10]北野宏明. 遺伝的アルゴリズム. 人工知能学会誌, 7(1):26-37, 1992.


# 関連タスクの予測確率分布を用いる soft-gated BERT による対話印象分類

竹下智章 $\dagger$ 上坦外英剛 \$ 船越孝太郎
}

$\dagger$ 東京工業大学工学院 \
#東京工業大学科学技術創成研究院 §産業技術総合研究所 \{takeshita@lr., kamigaito@lr., funakoshi@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

チャットアプリや SNS における発話内容から対話相手が対話内容に抱く印象を推測することは，状況に応じた適切な応答を選択する上で有用である.対話印象とは，人-チャットボットの対話において， システム (チャットボット) がユーザ (人) とできるだけ長く円滑な対話を続けるための指標である. 本研究における対話印象分類とは，対話文を以下の 2 クラスに分類することを目的とするタスクである.

ポジティブ印象ユーザ発話から，ユーザが対話に対し良い印象を持っていると判断される状態ネガティブ印象ユーザ発話から，ユーザが対話に対し悪い印象を持っていると判断される状態対話印象分類のように対話文に対する分類を行うタスクでは，発話内容を表した文のべクトル表現を用いる他に発話内の単語のもつ感情極性 [1] や単語同士の関係性 [2] などの特徴を利用する手法がある. しかし本研究は日本語対話文を対象にしており，このような言語的資源を利用することが難しい.

一方，対話破綻検出は対話印象分類と同じく人チャットボット対話のある文脈において，システムの発話が矛盾している，文脈から唐突である，質問に答えてないなどの対話上の破綻を起こしていることを検出する分類タスクである [3]. 対話破綻検出データセット [4] の対話文に 4.1.1 節で後述する対話印象データセットと同一の基準で対話印象のアノテーションを付した際の内訳を表 1 に示す. 表 1 にあるように，対話破綻検出タスクでは，破綻なし (O), 判断し難い (T), 破綻 (X) の 3 クラス分類を行う. 表 1 から, システムの発言により対話破綻が生じている対話では，ユーザがネガティブな印象を抱いていることが多い傾向にあることが分かる.

本研究において我々は，対話内容に持つ印象にとって対話破綻の影響が大きいと推測し, 対話破綻

} \\

検出タスクの予測結果を援用した対話印象分類手法を提案する. 我々の手法では，発話内容を表した文のベクトル表現を得るにあたり BERT[5] を用いるが，関連タスクの予想確率分布を用いた soft-gated BERT を新たに提案し分類モデルに利用する. 実験を通して我々は，関連タスクの学習を援用する既存の手法と比較して本手法が対話印象分類において高い分類性能を持つことを示した。

## 2 関連研究

目的となるタスクの性能を高めるために関連するタスクの学習を援用する手法にはマルチタスク学習や転移学習が存在する. 対話文の分類タスクにおいてはマルチタスク学習が用いられ，関連がある事象についての分類タスク同士でモデルを一部共有する. Mcload ら [6] はユーザ意図分類とスロット抽出とのマルチタスク学習で対話行為分類の精度を向上させた. Cerisara ら [7] は対話感情分類と対話行為分類のマルチタスク学習で相互的に性能を高めようと試みたが，2 つのタスクは事象としての関連はあるものの，これらの分類タスク同士の学習過程全体における関連性が低いためにマルチタスク学習の効果が期待されるほど高くなかったことが示唆されている. 関連するタスク同士で学習を共有することで相互的に補完しあうことを目的としたこれらの手法に対し, 我々が提案する手法は, 関連タスク同士の学習はそれぞれ独立して行われ，一方のタスクの予測結果をもう一方のタスクの学習および予測に用いる

図 1 ベースラインモデルおよび対話破綻検出モデル

図 2 提案手法の全体図. 対話破綻検出の事前学習済みモデル (DBD-model) には印象予測を行うユーザ発話の直前 4 発話が入力されて対話破綻の予測確率分布が出力される. Soft-gated BERT はこの確率分布に応じた強度でそれぞれのクラスに対応したベクトル表現を得る. Soft-gated BERT より上層のレイヤの挙動はベースラインモデルと同一である.

という相違点がある.

## 3 提案手法

## 3.1 ベースとなる手法

本研究で提案するモデルは，杉山による BERT を用いた対話破綻検出モデル [8]をべースとしている.図 1 のように，対話文内の各発話はトークン単位で分割され，発話同士は時系列順に [SEP] トークンで区切られて入力される. BERT を通して出力されたベクトルは発話単位で平均化された後結合される.結合されたべクトルは完全結合層に入力されて最終的な分類の確率分布が出力される. このモデルは対話印象分類のベースライン手法となり，4.1.2 節で後述する比較手法もこのモデルがベースとなる.

## 3.2 Soft-gated モデル

本研究では，ユーザが対話内容に抱く印象にとって対話破綻の影響は大きいという仮定のもと，対話破綻検出の予測結果を対話印象分類に援用する手法

図3 関連タスクの予測確率分布を援用した Soft-gated BERT

を提案する。この際に留意しなければならないのは，この 2 つのタスクの関連性である。これについて検討した結果，我々は，対話印象から対話破綻への一方的な依存関係があると仮定した。すなわち，対話破綻が起こっていると対話印象が悪く(=ネガティブ印象) なりやすいが，ユーザの対話印象が悪くなる際に必ずしも対話破綻が起こっているとは限らない。そのため，モデルの学習を共有することで相互的に補完し合うマルチタスク学習や転移学習のような既存の手法では過学習が起こる懸念がある.

そこで本研究では，ベースライン手法で用いられ

る BERT を図 3 のようなモデルに置き換えることで，対話破綻検出の予測確率分布に応じたべクトル表現を得るモデルを提案する. このモデルは事前学習済の BERT の最上層 (12 層目)を複製し， 3 個のレイヤ (各レイヤは対話破綻検出の各クラスに対応)を用意する. 11 層目から出力されたべクトルは分岐したそれぞれのレイヤに入力され，12 層目の出力はそれぞれ対話破綻の予測確率分布 $\left(p_{O}, p_{T}, p_{X}\right)$ 倍の強度で足し合わされる. 対話破綻検出の確率分布の予測は事前に対話破綻検出を学習したモデル (ベー スラインモデルと同じ物) によって行われる (図 2).

このような機構を導入するすることで，対話破綻検出のクラスに対応する分岐レイヤには逆伝播する際の強度の違いによって学習に差異が発生することになる. 通常 BERT 内の multi-head attention がそれぞれ異なる表現を自動的に学習することで柔軟な表現に対応しているが，本手法では先験的に関連タスクに対応したレイヤを用意することで，BERT の学習済み表現を大きく壊すことなく，対話の破綻状態に応じた適応学習が行われることが期待される.

## 4 実験

## 4.1 実験設定

実験に用いたデータセットおよび比較手法，評価方法について説明する.

## 4.1.1 データセット

対話印象分類データセット本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティチュート・ジャパンによる人-チャットボット対話文コーパスにアノテーションを付したデータセット ${ }^{1)}$ の基準に基づく．対話文コーパスはシステム (チャットボット) とユーザ (人) の一対一の対話で構成される．ユーザの各発話には，第三者のアノテー タによるユーザが対話に対し抱く印象のアノテー ションラベルが付され，ポジティブ印象またはネガティブ印象で評価される. 各対話には 10 種類のうちいずれか 1 つのトピックが設定され，システムからそのトピックに対応する話題をユーザに提示 ${ }^{2}$ す

}} & \multicolumn{2}{|c|}{} \\

ることで，特定のトピックに関する対話を行う。

対話破綻検出データセット対話破綻検出チャレンジ 1[4]，2[9]，3[10]，4[11] のデータセットを用いる. 対話破綻検出では，対話の状態を 3 クラス $(\mathrm{O}:$破綻なし， T:(破綻しているか) 判断し難い，X:破綻) で分類する.

## 4.1.2 比較手法

提案手法の有効性を示すため，関連タスクの学習を利用する既存の学習手法と比較および考察を行った.

ベースライン手法: baseline 対話印象分類デー タセットでのみ学習を行い，対話破綻検出の学習による援用の有効性を検証する．後述する手法では便宜として当モデルを BERT を用いたエンコーダ部および分類器部に分けて呼称する。

転移学習: transfer ベースラインモデルで対話破綻検出を学習した後，エンコーダ部のみを流用したベースラインモデルで対話印象分類の学習を行う。

マルチタスク学習: multi-task ベースラインモデルのエンコーダ部は対話印象分類と対話破綻検出で共有し，分類器部はそれぞれのタスクでのみ学習される。転移学習とは異なり，バッチごとに対話印象分類タスクと対話破綻検出タスクを切り替えて並行して学習を行う。

特徵量の結合: feature-in 提案手法では，対話破綻検出モデルによる予測確率分布に応じた注目情報を得ているが，当比較手法ではこの確率分布を特徴量の 1 つとして，そのまま BERT から出力された後に平均化されたべクトル表現と結合して利用する.

## 4.1.3 実験方法

BERT は Wikipedia 日本語コーパスで事前学習済みの BERT モデル [12]を利用する。対話破綻検出のクラスは本来， $\mathrm{T}:$ 中立 (判断し難い) のラベルを含んだ 3クラス分類であるが，この中立ラベルを X:破綻

1）付録に詳細を記す。

2）例えば，「お土産」のトピックが設定された対話ではシステムが「旅先で職場の同僚向けの土産を購入するか」といった話題をユーザに提供する。

と同一として 2 クラス分類 (O:破綻なし，X: 破綻) とする設定でも同様の方法で実験を行った. この際，提案手法モデルの soft-gated BERT 内の分岐レイヤ数も 2 個になる.

提案手法と feature-in は, 対話破綻検出モデルが独立しているため, これら 2 つの手法についてはこの部分が対話印象分類の学習時に適応学習 (fine-tuning:FT) を行うか否かの比較実験も行った. これは，関連タスク (対話破綻検出) 用に学習されたモデルがより目的のタスク (対話印象分類) に適するように調整されることを期待したためである. それぞれのモデルの学習率は [13] を参考に, 印象分類モデル:破綻検出モデル $=5 e-5: 1 e-6$ とした.

## 4.1.4 評価方法

各モデルの対話印象分類性能の評価は，対話印象データセット内のトピックごとに算出されたマク口 F1 スコアの平均值を比較することで行う. これは各トピックの対話に特有の単語への過学習を防ぐことと，クラス比に偏りのあるデータへの交叉検証を目的としており， 10 個のトピックで分けられた対話文グループのうち, ある 1 つのグループをテストデータとした際，訓練データには残り 9 トピックの対話文グループが利用される.

## 4.2 実験結果

提案手法と比較手法について対話印象分類の精度を比較した結果を表 4 に示す. 対話印象分類学習時に対話破綻検出モデルを適応学習するか否かで比較を行った結果を表 5 に示す.

ネガティブ印象クラスの分類についてベースラインと比較してマルチタスク学習では再現率 (Rec.) が上昇するが，適合率 (Pre.) が大きく減少しているために F1 スコアが低下している。これは仮定にもあった通り, 必ずしも破綻しているから印象が悪いとは限らないので, 注目するべき位置を過学習してしまったために適合率が減少したと考えられる. 同様に特徴量の結合手法 (feature-in) では, 適合率が上昇するが再現率が減少しているため F1 スコアが低くなった.

一方で提案手法では適合率を大きく下げずに再現率を上昇させているため，ベースラインより F1 スコアが上昇している. 上述した過学習をしなかったためか, feature-in よりも性能が良い結果となった. また，対話破綻のクラス数は 2 クラスとした方が性表 4 関連タスクの学習を利用する手法との比較

Positive Negative Macro Ave.

表 5 対話破綻検出モデル適応学習の有無による比較

能が良い結果となった.

対話破綻検出モデルに対する適応学習を行った場合は予想に反して，適応学習を行わなかったものよりも全体的にスコアが下がるという結果となった.

## 5 おわりに

本研究では，対話印象にとって対話破綻の影響は大きいという調査に基づいた仮定のもと，対話破綻検出を援用した対話印象分類手法を提案し，既存手法との比較を行った. 転移学習やマルチタスク学習のような，関連タスクの学習を援用する既存の手法では分類性能が下がるのに対して本手法では性能が上昇するという有効性を示し，対話破綻の検出結果を特徵量として用いる手法よりも性能が良いことを示した.

また, 本研究において提案した soft-gated BERT は,事前学習済モデルの表現を大きく壊すことなく, 関連タスクの予測確率を援用し目的タスクの予測を補助するという性質上，他のタスクにも適用することが可能と推察される.

## 謝辞

対話印象分類データセットを貸与いただいた株式会社ホンダ・リサーチ・インスティチュート・ジャパンに感謝いたします.

## 参考文献

[1] Justine Zhang, Jonathan P. Chang, and Cristian DanescuNiculescu-Mizil. Conversations gone awry:detecting early signs of conversational failure. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pp. 1350-1361. Association for Computational Linguistics, 2018.

[2] Peixiang Zhong, Di Wang, and Chunyan Miao. Knowledge-enriched transformer for emotion detection in textual conversations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 165-176. Association for Computational Linguistics, 2019.

[3] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳, 水上雅博. テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析. 自然言語処理, Vol. 23, No. 1, 2016.

[4] 東中竜一郎, 船越孝太郎, 小林優佳, 稲葉通将. 対話破綻検出チャレンジ. 言語・音声理解と対話処理研究会第 75 回研究会 (第 6 回対話システムシンポジウム), pp. 27-32. 人工知能学会, 2015.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186. Association for Computational Linguistics, 2019.

[6] Sarah McLeod, Ivana Kruijff-Korbayova, and Bernd Kiefer. Multi-task learning of system dialogue act selection for supervised pretraining of goal-oriented dialogue policies. In Proceedings of the SIGDial 2019 Conference, pp. 411-417. Association for Computational Linguistics, 2019.

[7] Christophe Cerisara, Somayeh Jafaritazehjani, Adedayo Oluokun, and Hoa T. Le. Multi-task dialog act and sentiment recognition on Mastodon. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 745-754, 2018.

[8] Hiroaki Sugiyama. Dialogue breakdown detection using BERT with traditional dialogue features. In DBDC4 WOCHAT workshop, 2019.

[9] 東中竜一郎, 船越孝太郎, 稲葉通将, 荒瀬由紀, 角森唯子. 対話破綻検出チャレンジ 2. 言語・音声理解と対話処理研究会第 78 回研究会 (第 7 回対話システムシンポジウム), pp. 64-69. 人工知能学会, 2016.

[10] 角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将. 対話破綻検出チャレンジ 3 における対話破綻検出の評価尺度の選定. 人工知能学会論文誌 35 巻 1 号 DSI-G, pp. 1-10. 人工知能学会, 2020.

[11] Ryuichiro Higashinaka, Luis F. D'Haro, Abu Shawar Bayan, Rafael Banchs, Kotaro Funakoshi, Michimasa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and Joao Sedoc. Overview of the Dialogue Breakdown Detection Challenge 4. In DBDC4 WOCHAT workshop, 2019.

[12] 柴田知秀, 河原大輔, 黒橋禎夫. BERTによる日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208. 言語処理学会, 2019.

[13] Yang Liu and Mirella Lapata. Text Summarization with Pretrained Encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740. Association for Computational Linguistics, 2019.

[14] 中島圭祐, 駒谷和範, 中野幹生. 雑談対話システム構築フレームワーク pychat に基づく特定シチュエー ション向け対話システム. 第 87 回人工知能学会言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジウム). 人工知能学会, 2019.

[15] Mikio Nakano and Kazunori Komatani. A framework for building closed-domain chat dialogue systems. Knowledge-Based Systems, Vol. 204, p. 106212, 2020.

[16] Klaus Krippendorff. Reliability in content analysis. Human Communicatuon Research.

## A 付録

## A. 1 対話印象分類データセットの詳細

本研究で扱う対話印象は，株式会社ホンダ・リサーチ・インスティチュート・ジャパンによる人-チャットボット対話文コーパスにアノテーションを付したデータセットの基隼に基づく. 対話文コーパスはシステム (チャットボット) とユーザ (人)の一対一の対話で構成される. 本システムは，料理とレストランに関する話題を扱う雑談対話システム [14][15] である. ただし， [15] に記述したバージョンより一つ古いバージョンのシステムでのため，知識べースやルールの数が若干異なる.

対話の参加者はクラウドソーシング会社である株式会社クラウドワークス経由で 105 名を募集した. 参加者は, PC やスマートフォンなどの自分の端末の Web ブラウザから対話サーバーにアクセスし, 14 日間で 8 回のセッションに参加した. 参加者には， 14 日間で 8 回のセッションに参加してもらい, 1 日に 2 回以上は参加しないようにした. 参加者の中には， 8 回以上のセッションに参加した人もいた. また，各セッションで最低 25 回の発話をすることを求めた. 各対話セッションには 10 種類のうちいずれか 1 つのトピックが設定され，システムからそのトピックに対応する話題をユーザに提示することで，特定のトピックに関する対話を行う. 各ユーザの最初のセッションのトピックは「朝食」であった. 残りのセッションでは, セッショントピックをランダムに選択したが，10 回以上セッションに参加しない限り，同じセッショントピックでのチャットは重複して行わなかった. 参加者のうち真剣に対話に取り組んだ 96 名 (女性 48 名, 男性 48 名，年齢 19 50 代) の対話についてアノテーションを行った. 96 人のうち 2 人が 5 回, 4 人が 4 回のセッションを行い，残りの 90 人は 8 回以上のセッションを行ったこととなる.

ユーザの各発話には，第三者のアノテータによってユーザが対話に対し抱く印象のアノテーションが行われ，以下の評価基準で 5 段階 (-2:非常に悪い，-1:悪い，0:中立，1:良い，2:非常に良い)のラベルを付した.

・ユーザの発話から，ユーザが対話に対して良い印象を持っており，対話を継続する可能性が高いと推測され，同じ話題について同じように話を続けることができると判断された場合には，正値のスコアをアノテーションする.

・ユーザの発話から，ユーザが対話に対して良い印象も悪い印象も持っておらず，このままでは対話を止める可能性が高いと推測された場合には，0をアノテーションする。

・ユーザの発言から，ユーザが対話に対して悪い印象を持っていること，対話をやめてしまう可能性が高いことが推測され，話題を変えるか，謝罪する必要があると判断された場合には，負值のスコアをアノテーションする.

本研究では, 正值 $(1,2)$ のラベルを一律に” ポジティブ” クラスとし, 負值 $(-2,-1)$ のラベルを” ネガティブ” クラスとして利用した.また， 0 :中立のラベルは人手でも前述する 2 クラスとの明確な判別が困難なため今回は利用しなかった.

1 人のアノテータが全対話にアノテーションを行った. アノテーションされたスコアの信頼性を調査するために， 16 のセッション (無作為に選ばれた 8 人の参加者に対して，少なくとも 25 回のユーザーターンを含む 2 つのセッションを無作為に選んだ) にもう一人のアノテータがアノテーションを行った. 検証の結果, Krippendorff の $\alpha$ (順序尺度)[16] における 2 人のアノテータ間の一致率は 0.63 であり, 中程度に高い值であった.


# クラウドソーシングで利用可能な日本語対話収集基盤

児玉 貴志 $\dagger$ Frederic Bergeron ${ }^{\dagger}$ 新隼人 $\dagger$ 田中リベカ $\dagger$ 坂田亘 ${ }^{\dagger}$ 黒橋禎夫 $\dagger$
†京都大学 ‡ LINE 株式会社
\{kodama, bergeron, atarashi, tanaka, kuro\}@nlp.ist.i.kyoto-u.ac.jp
wataru.sakata@linecorp.com

## 1 はじめに

近年の対話システムの研究では, Twitter や Reddit 等の大規模対話データで事前学習を行い，それぞれのタスクに合わせた小規模対話データセットでファインチューニングを行うという手法が一般的になりつつある.この小規模対話データセットは，小規模と言えど，数万発話程度の規模が必要となるため, クラウドソーシングを利用して集められることが多い.

英語の対話研究では, Facebook が提供する ParlAI ${ }^{1)}$ において，対話を行うワーカをリアルタイムでマッチングし，マッチングしたワーカ間の対話を収集・保存するフレームワーク（対話収集基盤）が公開されており, Amazon Mechanical Turkで対話収集のタスクを容易に実施できる。また，この対話収集基盤によって収集されたデータセットも数多く公開されており $[1,2,3,4]$, 対話研究の発展に大きく寄与している. しかし, Amazon Mechanical Turk の対応言語は英語のみであり, 日本語の対話を収集するのは難しい. 対話データは対話研究の礎である. 対話データの分析を積み重ねることで新たな知見が得られるため，対話デー タ収集の重要度は高い。

そこで，我々はクラウドソーシングで日本語の対話収集を容易に行える対話収集基盤を構築し, 公開し $た^{2)}$. 本対話収集基盤は対話収集用サーバを用意するだけで使用することができる．指定した対話収集用 URL にワーカがアクセスするとぺアのマッチングが行われ，ワーカがリアルタイムで対話するチャットルームの生成，およびそこでの対話の保存までを自動で行うことができる. また， ぺアのマッチングおよびリアルタイム対話の実現という開発コストの高い対話収集システムの基盤部分を提供しており，少量の追加実装のみでタスク実施者が収集したい対話の形式に合わせてカスタマイズすることも可能である. この対話

収集基盤を用いることで，タスク実施者は収集したい対話の形式や内容の検討のみに注力することができる. 一方で，ワーカはURLをクリックするだけで対話収集に参加でき，対話のやりとりのためのアプリケーションやツールをインストールする必要がないため，ワーカ側の負担も少ないツールとなっている。また，特定のクラウドソーシングサービスに依存しておらず，汎用的に利用できる。

本稿では，公開した日本語対話収集基盤を利用した対話収集の流れを説明し，この対話収集基盤を実際に利用したクラウドソーシングでの対話収集事例を報告する。

## 2 関連研究

クラウドソーシングを用いた日本語の対話収集はこれまでにも取り組まれてきたが，「どのようにワーカ同士のマッチングを行うか」「どのように対話のやり取りを行う環境を提供するか」の2つが大きな課題とされてきた.

これらの課題に対して，2 者間の対話を，与えられた対話履歷に対する次の発話を作成するタスクに分解することで，複数の異なるワーカによって 1 つの対話データを作成する研究がある [5, 6]. 不特定多数のワーカが並行して作業を進められるため所要時間の削減等のメリットがある一方で，あくまで疑似対話デー タであるため通常の対話とは違った性質を持っていると考えられる。

また，複数のアプリケーションやツールを組み合わせることで対話を収集するアプローチもある．塚原・内海 [7] はクラウドソーシングサイトで集めたワーカに Slack ${ }^{3)}$ のチャンネルのアクセス用 URLをメールすることでワーカのマッチングを行い，対話を収集している. 東中ら [8] は誰でも編集可能な Google Drive のスプレッドシートを用い，各ワーカに Skype の ID と対話可能な時間を記入してもらうことでマッチング及

3) https://slack.com

図 1 クラウドソーシングを利用した対話収集の流れ

び対話収集を実現している。ただ，こうした複数のツールを使う手法ではワーカ側にはアカウント作成やツールのインストールの手間が，タスク実施者側には複数のツールを管理する手間がかかり，負担が大きいと考えられる。

本稿で提案する対話収集基盤では，実際にワーカ 2 人がリアルタイムで対話をするため，疑似ではない通常の対話を収集できることに加え，ワーカのマッチング・対話・データ保存までを 1 つのツールで行えるため，ワーカとタスク実施者両者の負担が少ない.

## 3 対話収集の流れ

まず下準備として対話収集基盤の雛形から対話収集サイトを作成する，ワーカ同士が雑談をするという最も基本的な対話収集の設定の場合は設定ファイルを編集するだけで作成することができる．設定ファイルには対話データの保存場所, 各ワーカの最低発話数, マッチングルームでの最大待機時間（後述）などの項目があり，容易に変更ができる．またチャットルームの HTML ファイルを変更すれば，タスク実施者が収集したい対話の形式に合わせてカスタマイズすることも可能である.

次にクラウドソーシングタスクを設計する ${ }^{4)}$. クラウドソーシングタスクには作成した対話収集サイトの URLを掲載しておくのに加え，チャットルーム ID （詳細は後述）の入力欄を準備しておく. ワーカを集

4) 本稿では Yahoo!クラウドソーシングを使用した
める目的でのみクラウドソーシングを利用するため,非常に簡潔なタスク設計となっており，一般的なクラウドソーシングサービスにも適用できる。

続いて実際の対話収集の説明に入る。図 1 にクラウドソーシングを利用した対話収集の流れを示す. 対話収集のためのワーカはクラウドソーシングサイトを通じて集める (1)）、タスク参加するワーカ（ワーカ $\mathrm{X} ＼mathrm{~ ワ ー カ ~ Y ） はタスクに掲載されている対話収集サ ~}$ イトの URLをクリックし，マッチングルームに入る. マッチングルームには最大で 1 人が待機している. まだ待機しているワーカがいなければ， ペアとなるワー カが来るまでマッチングルームで待機する (2). 対話収集サイト作成時に最大待機時間を設定することができる. 最大待機時間を過ぎた場合は「現在，他のユーザーがいません．後でもう一度試して下さい.」 というメッセージが表示され，マッチングルームから自動でワーカを退出させる。こうすることで不必要にワーカを長時間待機させない仕組みとなっている.我々の予備実験では最大待機時間を 120 秒に設定しているが，参加者が少ない時間帯などにタスクを実施する場合は調整が必要である. 一方, マッチングルームに既にワーカが 1 人待機していた場合はマッチングルームに 2 人のワーカが揃い，マッチング成功となる (3).

マッチングが成功したワーカペアは自動的にチャットルームに移され，そのチャットルーム内で対話を行う (4)．チャットルームのスクリーンショットを図 2 に示す. 対話にはターン制を採用し，1 人のワーカが

船了
A:はじめまして

B:こんにちは。

A: こんにちは、今回はよろしくお願いしますささっそか?

B: 料理や音楽がしゅみです。

$\mathrm{A}$ : どちらも素敵なご趣味ですね私はこういう時期ですので、最近は自炊が多くなりましたが料理はまだ苦手です $\mathrm{W}$ あなたは料理は何年くらいしてらっしゃるのですか?

B: もう 20 年以上やってますね一

$\mathrm{A}:$ すごいですねー 失礼ですが、レパートリーはどの
くらい・?

B: う〜ん色々作ってますが朝はパスタにしました、パスタ手間かからないので楽ですよ。

A:私もパスタはときどき作って食べますソースはレトルトなんですけど・・W

B: パスタはいいですよ〜いろんな種類買いすぎて今家に40キロぐらいあります...

A: すごいですねW パスタは保存も効くからいいですよね! 得意な料理のジャンルはございますか？

B: コロナで家にいるので保存食用に箱買してしまいました、得意は煮込み系でしょうか。

A: 煮込みは良いですね、ごはんにもお酒の看にもコ吕ナのためにやはりご自宅での炊事は増えましたか?

B: 増えましたね〜

A: そうですよね私も仕方なく自炊するようになりましたし・・W

B: そうですよね、慣れると簡単ですよ！ 学生さんですか?

A:いいえ、社会人です $\mathrm{W}$ 今までほとんど自炊は母に任せてましたので・.・それでは今回はありがとうございました

B: 実家いいですね〜ありがとうございました！

図 3 趣味雑談対話の例. Aが聞き手，Bが話し手を指す.

## 4.1 趣味雑談対話

まず，趣味についての雑談対話を収集した例について紹介する. 図 3 にその対話例を示す. 各ワーカの最低発話数は 8 に設定した.この趣味雑談対話収集では概ね対話収集基盤をそのまま使用しているが，ワーカそれぞれに追加で役割を割り当てている。具体的には, 片方のワーカに趣味の「話し手」，もう片方のワー カに趣味の「聞き手」の役割をランダムに割り当てて対話をしてもらった. 図3の例では Aが聞き手，Bが話し手である.「聞き手」のワーカは自身の行動などの発話は行わず，相手のワーカの趣味を聞き出すようにインストラクションされている。この役割はマッチングルームに入ってきた順番を利用して割り当てており，対話収集基盤の雛形をベースに，役割やインストラクションの表示部分のみを追加で実装するだけで実例を 2 つ紹介する.

図 4 映画推薦対話の例

現することができる．このように，本稿で提案する対話収集基盤を用いることでワーカの役割が異なる形式の対話についても容易に収集することができる．この対話収集では，ワーカがタスクに 1 度しか参加できない設定で，50 対話を収集するのに平均約 4 時間程度かかった.

## 4.2 映画推薦対話

次に映画についての推薦対話 [10] の収集例を紹介する.この対話も趣味雑談対話と同様にワーカの役割が異なり, 図 4 の例に示すように映画を勧める推薦者 A と映画を勧められる被推薦者 B に分かれて対話を行う. 収集方法は Wizard of Wikipedia [2] と近い設定で，推薦者側は提示された外部知識を参照しながら対話を進めていく.この対話収集の際に使用したサイトも推薦者にのみ外部知識を提示する部分, 及び推薦者が外部知識にチェックを入れてから発話を送信する機構のみを追加で実装した。

図 5 に映画推薦対話 200 対話を収集するのにかかった時間と各時点での累計の対話数の関係を示す. 対話収集タスクは 2020 年 12 月 29 日の午前 11 時より開始し, 同じワーカが 10 回までタスクに参加できる設定とした. また, 各ワーカの最低発話数は 10 に設定した. 図よりタスク開始後，約 3 時間で 100 対話，約 10 時間で 200 対話の収集が完了している. 合計 20 発話以上の比較的長めの対話を非常に高速かつ大量に収集できていると言える. また，マッチングルームでの待機時間の間に相手とマッチングできた割合は $59 \%$ となっており，クラウドソーシングを利用したリアルタイムでのマッチングが実用レベルで成功していることが確認できた.

図 5 対話収集にかかった時間

## 5 おわりに

本稿では日本語の対話収集を容易に行える対話収集基盤を構築した。提案する対話収集基盤を用いることでワーカ間の対話収集をリアルタイムで行えるシステムを少ない負担で構築することができる。また，実際の収集例を通して，本対話収集基盤によって高速かつ大量に対話を収集できることを示し，タスク実施者の用途に合わせてカスタマイズできる拡張性の高さについても紹介した. この研究により対話データ収集の研究が増え, 今後の日本語対話研究がさらなる発展を遂げることを期待している.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けて行った.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, 2018.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In Proceedings of the International Conference on Learning Representations (ICLR), 2019.

[3] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

[4] Eric Michael Smith, Mary Williamson, Kurt Shuster, Jason Weston, and Y-Lan Boureau. Can you put it all together: Evaluating conversational agents' ability to blend skills. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030, 2020.

[5] Tetsuro Takahashi and Hikaru Yokono. Two persons dialogue corpus made by multiple crowd-workers. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2017.

[6] 池田和史, 帆足啓一郎. クラウドソーシングを利用した非同期チャットによる対話シナリオ収集方式の提案. 人工知能学会全国大会論文集第 32 回全国大会, 2018 .

[7] 塚原裕史, 内海慶. オープンプラットフォームとクラウドソーシングを活用した対話コーパス構築方法. 言語処理学会第 21 回年次大会, pp. 147-150, 2015.

[8] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[9] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, 2016.

[10] 児玉貴志, 田中リベカ, 黒橋禎夫. 外部知識に基づく発話生成に向けた日本語映画推薦対話データセットの構築. 言語処理学会第 27 回年次大会, 2021.


# 外部知識に基づく発話生成に向けた 日本語映画推薦対話データセットの構築

児玉 貴志† 田中リベカ† 黒橋禎夫 †
$\dagger$ 京都大学 $¥$ 科学技術振興機構 CREST
\{kodama, tanaka, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 1 はじめに

人と自然に話すことができる対話システムは人工知能の究極の目標の一つと言われている. 対話はタスク指向型対話 [1] と非タスク指向型対話（雑談対話）[2]に大別される [3]が，その両者において，対話外の知識（外部知識）を必要とする場合がほとんどであり [4]，その理解・活用は重要視されている.

そうした背景もあり，外部知識を利用した発話生成の研究は近年注目を集めており，ベンチマークとなるデータセットも数多く提案されている [5,6,2,4,7]. しかしこれらのデータセットは英語または中国語での対話であり，外部知識に基づく発話生成を目的とした日本語対話データセットは存在しない。 また，外部知識に基づいた，英語の対話データセットである Wizard of Wikipedia [2] を日本語に翻訳して活用を試みた研究もあるが，翻訳の誤りによるエラー伝搬が起きると考えられるのに加え，日本人の対話に出てこない話題があることが報告されており [8], 対話における言語間の壁は大きい.

そこで本研究では，外部知識に基づく発話生成を目的とした日本語映画推薦対話データセットを構築した.この対話データセットはクラウドワーカーによって作成され，約 2,500 対話からなる. 図 1 に示すように， 1 人の話者が映画の推薦者，もう 1 人の話者が被推薦者となり，推薦者が被推薦者に 1 つの映画を勧める設定である。推薦者だけが映画についての知識（＝外部知識）を参照することができ，推薦者はこの外部知識をできるだけ使用して発話をする．発話を行う際には，推薦者自ら，使用した知識を選んでアノテーションを行う。この手続きにより，対話中の推薦者側の発話すべてに，その発話の構成に使用された外部知識を紐付けることができる。また，外部知識である映画についての知識として, タイトル, 製作年度などの構造化された知識に加え，あらすじやレビューといった構造化されていないテキストも用意することで，様々なタイプの外部知識を活用することを目的としたデータセットになっている.

本稿では，外部知識の収集方法とその知識に基づいた対話の収集方法を説明したのち，構築した映画推薦対話データセットを利用して訓練したベースラインモデルについて報告する.

## 2 映画推薦対話データセットの構築

対話のドメインには万人が興味を持ちやすく対話が円滑に進みやすいテーマであると考えられることから映画を選んだ。本節では映画推薦対話データセットの構築手法について説明する。

## 2.1 外部知識の収集

外部知識である映画情報は Wikipedia などのウェブテキストを中心に収集する。まず，過去の興行収入ランキング1)を参考に 242 本の映画を選定した. この各映画に対して外部知識となる映画情報を収集する.

外部知識は図 1 にも示すように基本情報，レビュー，あらすじからなる．このうち，基本情報の大部分（タイトル，製作年度，監督名前，キャスト 1 名前，キャスト 2 名前）及びあらすじは各映画の Wikipedia 記事から取得する（監督は最大 1 名，キャストは最大 2 名まで)。また監督説明，キャスト1説明，キャスト 2 説明はそれぞれの人物の Wikipedia 記事の第一段落から取得する. ジャンルについては Yahoo!映画 ${ }^{2)}$ のジャンル分けを使用する．レビュー はクラウドソーシングで収集する（Yahoo!クラウドソーシング3）を利用），各ワーカは全 242 本からなる映画リストの中から自分が観たことがある映画を

図 1 構築した映画推薦対話データセットの例. 外部知識中の下線部は対話で使用されている知識であることを示す.

選び，その映画の「おすすめポイント」を 3 点に分けて文章で記入する．結果として 1 映画あたり平均 16.5 件のレビューを収集した。

推薦者に提示する知識が多くなりすぎないようにするため，あらすじは冒頭の 10 文のみ（10 文に満たない場合は全ての文) を文分割して提示する.レビューはワーカが記入したレビューを文分割等は行わずにそのまま使用する．収集したレビューの中から 15 文字以上 80 文字未満のレビューを各映画につき 5 つずつランダムに選び，その 5 つをその映画のレビューとして常に使用する.

## 2.2 クラウドソーシングによる対話収集

## 2.2.1 設定

2 人のワーカは役割が異なり，片方は映画の推薦者，もう片方は被推薦者として対話を行う.

推薦者被推薦者が映画を見たくなるように映画を勧める．推薦する映画は映画リストの中から推薦者側が自由に決められる。この際，自分が勧めたい映画を選んでも，相手の好みを対話で聞き出しながらその好みにあった映画を選んでも構わない. 推薦者は提示された知識をできる限り使用して映画を推薦し，発話を送信する際にはその発話の構成に使用した知識のチェックボックスにチェックを入れてから送信する（複数選択可）. また，挨拶や相槌など知識を使用しない発話の場合は別途用意してある 「知識なし」の選択肢を選ぶことができる。

被推薦者 Wizard of Wikipedia [2] の指示と同様に 「より楽しく，勧められる映画のことを知ろうと心がけて下さい」とだけ指示されている.対話は以下の流れで行われる。

1. 推薦者・被推薦者のどちらから対話を始めてもよい.

2. 推薦者が推薦する映画を決める．映画が決まると，推薦者側の画面にはその映画についての知識が表示される。一方，被推薦者側の画面にはチャット画面のみが表示され，映画についての知識は表示されない。

3. 推薦者は提示された知識の中から選んだ知識に基づいた発話を行い，被推薦者は推薦者の発話に対して自由に返答する。

4. 対話は映画が決定されてから最低 20 ターン続ける. 20 ターンを超えると対話を終了することができる.

## 2.2.2 対話収集システムの構築

対話収集システムは，児玉らの対話収集基盤 [9] をべースとして構築する. この対話収集基盤では指定した対話収集用 URL にワーカがアクセスするとペアのマッチングが行われ，ワーカがリアルタイムで対話するチャットルームの生成，およびそこでの対話の保存までを自動で行うことができる．本研究で使用する対話収集システムでは，ペアとなったワーカ 2 人にそれぞれ推薦者，被推薦者の役割を与え，推薦者のみ対話中に外部知識を参照できるような機構のみを追加で実装した。付録 A. 1 に対話収集システムのインターフェースを示す.

## 2.2.3 収集結果

上述の設定，収集システムを利用して対話収集を行った. 統計情報を表 1 に示す. 全部で 2,565 対話
表 1 映画推薦対話データセットの統計情報. 単語分割には Juman++ [10]を使用.

図 2 使用された外部知識の分布. キャスト 1 名前とキャスト $2_{2}$ 名前は「キャスト名」に，キャスト 1 説明とキャスト2説明は「キャスト説明」に集約して表示.

を収集した。推薦者側の 1 発話あたりの平均単語数は被推薦者側の 2 倍以上になっているが，これは推薦者側が映画を推薦するために，情報を提供するなどより多くのことを話す必要があるためと考えられる. また， 1 発話につき知識を複数選択することも許容していたが，平均では 1.3 個となっており，各知識ごとに発話を分けて言及している傾向が見られた. 1 対話あたりでは 9.1 個の異なる知識が使用されており，様々なタイプの外部知識が使用された対話が収集できていることが分かる.

図 2 に使用された外部知識のタイプ別の分布を示す。知識を使用していない発話は全体の約 2 割ほどに留まっており，多くの発話で何らかの外部知識が使用されている．また，レビューやあらすじといった構造化されていないテキストの使用頻度が高い傾向にあった.

さらに，今回収集した対話の一部（834 対話）については対話終了後に以下に示す 5 段階評価のアンケート（5 が最高評価， 1 が最低評価）を実施した.

Q1：映画が好きである

Q2: 対話を楽しめた

Q3: 推薦した（された）映画を知っているか

Q4: 上手く映画を推薦できた

Q5: 推薦された映画を見たくなった

Q1，Q2，Q4，Q5 の選択肢は[そう思う/ややそう思う/どちらとも言えない/ややそう思わないそう思わない]，Q3 の選択肢は [観たことがあり，内容をよ表 2 アンケート結果

く覚えている/観たことがあり，内容を少し覚えている/観たことはないが，あらすじぐらいは知っている観たことはないが，タイトルだけ知っている/全く知らない] である. 推薦者は Q1，Q2，Q3，Q4 の 4 問に，被推薦者は Q1，Q2，Q3，Q5 の 4 問に回答する.

アンケート結果を表 2 に示す. Q1 より多くのワーカが映画というテーマに対して高い興味を持っていることが，Q2より最低 20 ターンという比較的長めの対話ながら，推薦者・被推薦者ともに対話を楽しんでいることが分かった. また， Q3 より推薦者は自分が観たことがある映画を推薦する映画として選ぶ傾向が見られた. 最後に $\mathrm{Q} 4 ， \mathrm{Q} 5$ より，収集した対話が映画推薦の目的を十分に達成していることを確認できた。

## 3 実験

構築した映画推薦対話データセットでベースラインモデルを訓練した. 本節ではベースラインモデルの外部知識の使用の有無による出力の違いを評価する。

## 3.1 モデル

ベースラインモデルには， Wizard of Wikipedia の論文でベースラインとして提案された生成べースのモデルである, Generative End-to-End Transformer Memory Network [2] を用いる。このモデルは，対話履歴と外部知識の候補文を別々にエンコードし，対話履歴と各外部知識の候補のアテンションを計算して使用する外部知識を選択する。そして対話履歷と選んだ知識を連結してデコーダに渡すことで返答を生成する. このモデルの実装は ParlAI ${ }^{4}$ で公開されているが，本研究では我々で再実装したものを用いる.

## 3.2 実験設定

データセットは学習データ：開発データ：テストデータ $=90 \%: 5 \%: 5 \%$ の割合で分割する. 対話および外部知識は全て Juman++ [10]を使用して形態

4) https://github.com/facebookresearch/ParlAI
表 3 生成した応答に対する自動評価

素に分割し，BPE [11]を適用する ${ }^{5)}$.モデルのハイパーパラメータは基本的に Dinan ら [2] の設定に従っているが，語彙数のみ 10,000 に変更した.

対話履歴はその対話中の全ての過去の発話を新しい方から順に最大 64 トークンまで入力する．外部知識の候補はその対話中で推薦している映画についての知識全てとし，「知識なし」も候補に含める.この候補数は各映画によって差があるが，平均 24.9 個であった. Generative End-to-End Transformer Memory Network では使用する知識を 1 つだけ選んでいる。 これに合わせ，知識が複数アノテーションされている発話については以下の式で表されるトークン重なり率を計算し, 值が最も高い知識 1 つのみを正解の知識として用いる.

$
\text { トークン重なり率 }=\frac{\text { 発話と当該知識の共通トークン数 }}{\text { 当該知識のトーク数 }}
$

外部知識の各候補は, 「知識ラベル $<$ KNOWLEDGE>知識内容」の形式でモデルに入力する (<KNOWLEDGE>は特殊トークン). 知識ラベルはその知識の種類を表したもので，監督名前・監督説明は「監督」，キャスト1名前・キャスト1説明・ キャスト 2 名前・キャスト 2 説明は「キャスト」とし， タイトル・製作年度・ジャンル・レビュー・あらすじについてはそのまま使用する（ただし，トークナイズは行う），例えば，図 1 の例の製作年度の場合，「製作年度 <KNOWLEDGE> 1990 年 6 月 23 日」 となる.「知識なし」の場合は知識ラベル，知識内容の部分をともに特殊トークン<NO_KNOWLEDGE> に置き換えたものを入力とする。

## 3.3 結果

知識予測の正解率は $28.2 \%$ であり，ランダムベー

表 3 に生成した応答の自動評価の結果を示す.「知識なし応答」は生成時に使用された知識が「知識なし」だった応答，「知識あり応答」は「知識なし」以外の具体的な外部知識を使用して生成された応答である．また，「(予測知識)」はモデルが選択し
た知識を「(正解知識 $)\rfloor$ は正解の知識を使用して生成した結果である。評価には unigram F1 (F1) [2], BLEU-1/2/3/4 [12]を使用した. 予測知識と正解知識のどちらを使用した場合でも「知識あり応答」の方が「知識なし応答」の場合を全ての評価指標で大きく上回っており，具体的な外部知識を使用した発話では，より実際の発話と近い発話ができていることが分かる. 実際「製作年度」を知識として使用した時には「製作年度は 2008 年です」といった発話が生成されるなど，使用した知識を発話に反映できているケースが多かった。一方で「監督名前」が「ピエール・コフィン」である知識を与えたときに「監督は、ジェームズ・キャメロンです。」というような知識とは異なる発話が生成されるケースも散見された。

一方，「知識なし応答」はその殆どが「こんにちは」などのつまらない応答になっていた。これは学習データ数の不足が主な原因として考えられる。

## 4 おわりに

本研究では，外部知識に基づく発話生成を目的とした日本語映画推薦対話データセットを構築した.本研究は我々の知る限り, 外部知識に基づいた日本語対話データセットを構築した初めての研究であり, 日本語による，外部知識に基づく発話生成の研究に取り組むための足がかりとなることが期待される. 今後はデータセットの公開に向けて準備を進めるとともに，事前学習モデルを導入し，ベースラインモデルの精度向上に努める予定である.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成及び科学技術振興機構 CREST「知識と推論に基づいて言語で説明できる AI システム」の支援のもとで行われた。

## 参考文献

[1] Antoine Bordes, Y-Lan Boureau, and Jason Weston. Learning end-to-end goal-oriented dialog. arXiv preprint arXiv:1605.07683, 2016.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[3] 中野幹生, 駒谷和範, 船越孝太郎. 対話システム. 自然言語処理シリーズ. コロナ社, 2015.

[4] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive human-machine conversation with explicit conversation goal. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3794-3804, 2019.

[5] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 708-713, 2018.

[6] Nikita Moghe, Siddhartha Arora, Suman Banerjee, and Mitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2322-2332, 2018.

[7] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, and Xiaoyan Zhu. KdConv: A Chinese multi-domain dialogue dataset towards multi-turn knowledge-driven conversation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7098-7108, 2020.

[8] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モデルによる趣味雑談システムの構築. SIG-SLUD, No. 02, pp. 104-109, 2020

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リベカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会第 27 回年次大会, 2021.

[10] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphological analyzer toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

## A. 1 対話収集システムのインターフェース

図 3,4 にそれぞれ映画決定前後の推薦者側のチャットルームのスクリーンショットを示す. 映画決定前は画面左部に映画を決定するための簡単な検索機能が表示されており，推薦者はこの検索機能を利用して映画を決定する。映画決定後は画面左部に決定した映画についての知識が表示される．発話を送信するときには各知識の先頭にあるチェックボックスにチェックを入れてから送信する。なお，被推薦者側の画面には推薦者側の画面左部は表示されず，画面右部のチャット画面のみ表示される.

図 3 映画決定前のチャットルームのスクリーンショット（推薦者側）

図 4 映画決定後のチャットルームのスクリーンショット（推薦者側）


# 潜在変数の投機的サンプリングに基づく多様な雑談応答生成

佐藤 翔悦 *1
*1 東京大学大学院 情報理工学系研究科
}

喜連川優 $* 2,3$
*2 東京大学 生産技術研究所
*3 国立情報学研究所
}

\{shoetsu, kitsure\}@tkl.iis.u-tokyo.ac.jp
## 1 はじめに

会話データからの学習に基づく対話モデルは人手によるパターンの作り込みを必要とせず，比較的低コストで対話システムの構築が可能であるという点から，近年の対話応答タスクにおける主流なアプローチである。しかしそうした対話モデルでは，発話のオウム返しや典型的なパターン（例: “私もそう思います”) など，“safe response”と呼ばれる応答が頻出し，多様性の低さが問題となっている $[1,2,3]$. その原因の一つに，対話データとモデルの性質の乘離がある．多くの場合，対話においてある発話に対する適切な応答は一意ではない。一方で，近年の応答生成において標準的に用いられる Encoder-Decoder モデルでは，対話タスクを発話から応答への一対一の写像とみなして解くため, 対話データに対するモデルの最適化は困難なものとなる. 結果, 学習データ中で頻出する単語やパターンを単純に模倣することが目的関数を最適化するための有効な手段となり， safe response が頻出する.

この問題に対し，条件付き変分オートエンコーダ (Conditioned Variational Autoencoder, CVAE) に基づく対話モデルは有望な手法の一つである $[4,5]$. 対話タスクにおける CVAE は，発話・応答から推定した事前・事後分布よりサンプルした潜在変数を用いて応答の生成を行う，そのため，潜在変数の違いによって同じ発話に対し複数の応答が成立する，対話データの多対多性を考慮した手法である。

しかしながら，こうしたモデルを用いたとしても期待通りの効果が発揮されず，応答の多様性について依然大きな改善が得られない場合がある [6]. 本研究ではその一因が学習時に用いる潜在変数のサンプリングにあると考え，投機的サンプリングという極めてシンプルな提案手法によりその解決を図る.具体的には学習時に複数の潜在変数をサンプルし，
それぞれについて損失を計算し，最も損失が小さい潜在変数を最適化に用いる.

実験では，Twitter から収集した対話データを用いた応答生成により提案手法を評価する。生成された応答に対して自動評価および人手評価を行い，提案手法の有効性を確認した。

## 2 提案手法

## 2.1 事前知識: T-CVAE

提案手法の説明の前に，本研究におけるべー スラインとして採用した, Transformer-based CVAE (T-CVAE) [7] の概要を述べる。T-CVAE は Variational Hierarchical Recurrent Encoder-Decoder (VHRED) [8] などのモデルと同様，CVAE に基づくモデルである.従来のモデルがエンコーダおよびデコーダとして再帰型ニューラルネットワークを用いていたのに対し， T-CVAE は Transformer [9] を採用している。

対話タスクにおいてある発話 $x$ および応答 $y$ が与えられた際，T-CVAE は発話から事前分布 $p(z \mid x) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を，発話と応答から事後分布 $q(z \mid x, y) \sim N\left(\mu, \sigma^{2} \mathrm{I}\right)$ を推定する. その後, 分布からサンプルした潜在変数 $z$ を用いて生成を行う．具体的な分布の推定としては発話・応答をエンコードしたべクトルによって，以下のように分布の平均 $\mu$,偏差 $\sigma$ を計算する。

$
\begin{aligned}
h_{p} & =\operatorname{Attn}_{p}\left(c, E_{\text {out }}^{L}(x), E_{\text {out }}^{L}(x)\right) \\
{\left[\begin{array}{c}
\mu_{p} \\
\log \left(\sigma_{p}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{p}\left(h_{p}\right) \\
h_{q} & =\operatorname{Attr}_{q}\left(c, E_{\text {out }}^{L}(x ; y), E_{\text {out }}^{L}(x ; y)\right) \\
{\left[\begin{array}{c}
\mu_{q} \\
\log \left(\sigma_{q}^{2}\right)
\end{array}\right] } & =\operatorname{MLP}_{q}\left(h_{q}\right)
\end{aligned}
$
$\operatorname{Attn}(\cdot)$, MLP* (.) はそれぞれ注意機構 $[10]$, 多層パーセプトロンによる演算を示す. $c$ は注意機構のクエリとなるべクトルであり, タスクを通して学習される。 $E_{\text {out }}^{L}(\cdot)$ はエンコーダの最終層である.

訓練時は, 以下の式で示される Evidence Lower Bound (ELBO) を最大化することによって，モデルの最適化を行う． $D_{K L}$ は分布間の Kullback-Leibler divergence (KL divergence)を意味する。

$
\begin{aligned}
\log p(y \mid x) & =\log \int_{z} p(y \mid x, z) p(z \mid x) d z \\
& \geq \mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& -D_{K L}(q(z \mid x, y) \| p(z \mid x))
\end{aligned}
$

この最適化により, 発話・応答の両方から推定した事後分布と発話のみから推定した事前分布は近づく. その結果, テスト時においても, 発話から適切な事前分布を推定した上で応答生成が可能となる.

## 2.2 潜在変数の投機的サンプリング

1 節で述べたように，CVAEに基づく対話モデルを用いたとしても，多様性の高い応答が得られない場合がある. そうした状況においては，モデルは注意機構などによって計算されるべクトルのみに頼り, 多様な応答を生み出すために導入された潜在変数 $z$ を無視して生成を行ってしまう。結果，潜在変数の応答への影響を考慮せずに事前・事後分布間の KL divergence について過度な最適化が行われることから，この問題は KL vanishing と呼称される.

我々は KL vanishing の一因は，分布からサンプリングされた潜在変数と与えられた訓練例の不一致にあると考えた. 学習過程の初期においては推定された分布の質は低く，与えられた応答を生成するにあたり，サンプルされた潜在変数が必ずしも適切ではない場合がある [11].

加えて，我々は十分訓練が進んだ後もこの問題は発生すると考える. 事前分布と事後分布は KL-divergence の最適化によって互いに近くなる. そのため訓練例として与えられた応答とは異なる応答に対応した，ある時点のモデルにとって訓練時にサンプルすべきではない潜在変数を選んでしまう可能性が存在する. いずれの場合も，その時点のモデルにおける潜在変数空間にそぐわない最適化が行われ，学習を困難にする。

そこで本研究ではこの問題を解決するため，潜在変数の投機的サンプリング (Speculative sampling)を提案する. 提案手法は学習時にのみ潜在変数を $K$ 個サンプルし，そのそれぞれについて損失を計算した後, 最も小さな損失に繋がる潜在変数のみを最適化の対象とする．具体的には，以下の式における $L(\hat{z})$ を最小化する。

$
\begin{aligned}
L(z) & =-\mathbb{E}_{q(z \mid x, y)}[\log p(y \mid x, z)] \\
& +D_{K L}(q(z \mid x, y) \| p(z \mid x)) \\
\hat{z} & =\underset{z_{k}}{\operatorname{argmin}} L\left(z_{k}\right)
\end{aligned}
$

## 3 実験設定

## 3.1 モデル

本研究では，T-CVAE [7] を基本となる対話モデルとする. 各手法はすべて fairseq (v0.8.0) [12] 上に自ら実装を行った。主要なハイパーパラメータは Transformer-base [9] に倣い，最大 250,000 ステップ訓練を行った. 学習の安定のため, 事前学習した CBoW [13] ベクトルによってモデルの埋め込み層の初期化を行った。

実験では T-CVAE および，以下の手法を T-CVAE に対して適用したモデルを比較する。

Monotonic annealing [14]: 式 (5) における第二項, KL divergence に対し変数 $\beta$ によるアニーリングを行う. $\beta$ は 0 から始まり, 学習の進行とともに 1 へ線形に増加する。アニーリングの期間は 1 エポックとした.

Cyclical annealing [11]: KL divergence $の$ 項に対し，変数 $\beta$ による周期的なアニーリングを行う. 本研究では 1 周期を 1 エポックとした. $\beta$ は前半の 0.5 エポックの間は 0 から 1 へと線形に増加し, 後半の 0.5 エポックの間は 1 を取る.

BoW loss [5]: 潜在変数と応答に含まれる単語との関連性を強めるため，学習時に与えられた応答に含まれる単語の集合を潜在変数から推定するタスクを加え，対話タスクとの同時最適化を行う。

Speculative sampling: 2.2 節参照. 潜在変数のサンプル数 $K$ は開発データから 5 に決定した。

## 3.2 データセット

本稿における実験のために，我々の研究室において継続的に収集している Twitter データ上で行われたツイート・メンションの組を 1 ターンの対話

表 1 自動評価の結果．各評価尺度ごとに，参照応答に最も近いものをハイライトした。

としてみなした上で，対話データセットの構築を行った. 訓練・開発データには 2017 年および 2018 年のもの，評価データには 2019 年のものを用いた. 訓練・開発・評価データのサイズはそれぞれ 18,116,756 件，191,890 件，96,276 件である．またコストの問題から，人手評価を全ての例に対して行う事は困難である. そこで実際に行われた発話・応答のみを見て，人手評価が比較的容易な 100 件の会話をテストデータから抽出し，人手評価用のデータとした.

データの前処理としては簡単なフィルタリングによってリツイートや botによるメンションなど，対話として不適切なものを除いた後， $\mathrm{MeCab}^{1)}$ を用いて形態素解析を行った. その後, SentencePiece ${ }^{2)}$ を用いてサブワード分割モデルの学習および発話・応答のサブワードへの分割を行った.

## 3.3 評価尺度

生成された応答に対し, 自動評価および人手評価を行う．自動評価の尺度としては標準的に用いられる, BLEU [15], dist- $n$ [1], 応答の平均長を採用する. 人手評価では Adiwardana らの研究 [16] を参考に, 1 . 応答の明快さ - 発話との関連性 (Sensibleness) と, 2. 応答の独特さ - 面白さ (Specificity) について, 5 段階の点数付けを行うことで，提案手法が意図した効果を得られているかを定量的に確認する。

## 4 実験結果

## 4.1 自動評価

表 1 に自動評価による結果を示す. BoW loss を除き，追加の手法を適用したモデルはどれも純粋な T-CVAE と比べて若干高い BLEU スコアを達成した. しかし目標である応答の多様化が達成されたとしても, 生成された応答が参照応答と類似すると

表 2 人手評価の結果 (相関係数 $\rho=0.602$ ).

は限らないことから, 直接的な BLEU スコアの改善には繋がりにくい. そのため, この結果は各手法によってモデルの学習が改善されたことで，ノイジー な出力が減った事による副次的な効果であると考えられる. 加えて，T-CVAE 9 応答平均長が最も長く, 他のモデルではいずれも減少していることも同じ言葉の反復などのノイズの抑制を示唆している. dist-1/2 については BoW loss および提案手法である Speculative sampling が他のモデルと比較して高い値を達成した. BLEU スコア及び後述する 4.2 節における結果も示すように，BoW loss がその代償として発話との関連性を損なっているのに対し，提案手法は高い BLEU スコアを保ちつつ，多様な単語を含む応答を生成出来ている。

## 4.2 人手評価

表 2 に人手評価による応答の Sensibleness, Specificity, およびその平均値を示す. 全体としては，自動評価と概ね類似する傾向であった. Monotonic annealing および Cyclical annealing による大きな改善は確認されず，BoW loss と Speculative sampling を適用したモデルが高いSpecificityを示した。また， BoW loss の Sensibleness は低く, 出力の多様化の代償に応答の明快さが損なわれている。

一方で，提案手法である Speculative sampling は Sensibleness, Specificity が共に高く, 潜在変数空間についての学習手法を改善することで応答生成の性能向上が果たされたと言える.

## 4.3 分析

訓練の結果，各モデルの分布にどのような変化が見られるかを確認するため，表 3 に開発データに対する KL divergence, 事前分布の平均 $\mu_{p}$ および偏差 $\sigma_{p}$ のノルムについて，それぞれ平均を示す.

まず, Monotonic annealing および Cyclic annealing について，T-CVAE と比較して KL divergence の值は若干上昇した. しかし, 自動・人手評価の結果と同様大きな変化は見られず，十分に訓練を行った後

表 3 KL-divergence および事前分布の平均 $\mu_{p}$ ，偏差 $\sigma_{p}$ のノルム.

表 4 生成された応答例.

は，KL vanishing が発生している.

BoW loss の分布は大きく異なる性質を示した. KL divergence および分布の平均・偏差のノルムは,他のモデルと比べ非常に大きな値となっている.

BoW loss における潜在変数から応答に含まれる全ての単語を推定する，というタスクはモデルに潜在変数空間を個々の応答の意味に対応させる非常に強い制約として働いており，KL vanishing は発生していない.しかしこの制約を満たす潜在変数空間を学習するのはモデルにとって非常に困難である. そのため事前分布の範囲が大きく拡大した結果，発話との関連性が薄い応答に対応した潜在変数が頻繁にサンプルされるようになり，文脈に沿わない応答を生成しがちになったと考える（表 4).

提案手法について，4.1 節，4.2 節で評価した $K=5$ のモデルの他に，異なる $K$ の值で訓練した時の各統計量も示した. どの $K$ の値を設定した場合においても KL divergence は T-CVAE，つまり $K=1$ の場合と比較して高い値を示し，提案手法の狙い通り KL vanishing の抑制が行われたと考える.

興味深いことに $K$ の值を増やすほど，KLdivergence の值も増加した. 提案手法では $K$ の増加とともに訓練時に潜在変数の候補は増えるため，与えられた応答に対しより適切な潜在変数の選択が可能になる. そのため，これは与えられた訓練例とサンプルされた潜在変数との不一致が学習の妨げとなっているという，我々の仮説を裏付ける結果になったと考える。

## 5 関連研究

対話応答における応答の多様化のためのアプロー チは以下の 3 つに大別される. 1. 個人適応に代表される，対話における発話外の情報を用いる手法 $[17,18,19,20] ， 2$. 生成時または学習時の目的関数によって応答を多様化する手法 $[1,21]$, 3. 応答の生成過程にランダム性を導入する，変分オートエンコーダに基づく手法 $[14,5,22,11,3,23]$ である.

提案手法は 3 つ目の区分に該当し，特に CVAE における KL vanishing の解決を目的とした手法である. 同様の試みのうち, Bowman ら [14] や Fu ら [11] は，学習初期の信頼性の低いモデル上で推定された分布の最適化が性能低下に繋がると考え，KL divergenceの重みのスケジューリングを行った. He らも同様の考えから，エンコーダの最適化を優先して行うことでその解決を試みた [24].

一方，Zhao らの研究は，潜在変数に対して追加の損失によってより直接的な制約を与えることで KL vanishing を抑制するものである [5]. Gao らの研究も潜在変数空間に対する制約によって，応答との対応付けを行うという点で類似している [3, 23].

提案手法は前者のスケジューリングによって学習を安定させる試みに近い。しかし我々は，潜在変数と訓練例の不一致は KL divergence の最適化の影響により常に発生し得ると考え，学習の進行度を問わず適用可能な手法を提案した. また，提案手法はモデルの構造や目的関数に変更を加えない。そのため，既存手法との併用が可能である.

## 6 おわりに

本研究では対話タスクにおける応答生成の多様化のため，変分オートエンコーダの学習時に生じる KL vanishing の解決のための手法を提案した. KL vanishing の一因は学習時の訓練例とサンプルされた潜在変数の不一致にあると考え，その解決を図るべく潜在変数の投機的サンプリングを提案した. 生成された応答に対し自動評価および人手評価を行い，提案手法による効果を確認した.

## 謝辞

本研究の一部は JSPS 科研費 19J14522 の支援を受けたものである。また，本研究で用いた Twitter 対話データセットは，同研究室の豊田正史教授の支援を受けて構築した。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of NAACL 2016, pp. 110-119, 2016.

[2] Ruqing Zhang, Jiafeng Guo, Yixing Fan, Yanyan Lan, Jun $\mathrm{Xu}$, and Xueqi Cheng. Learning to control the specificity in neural response generation. In Proceedings of ACL 2018, pp. 1108-1117, 2018.

[3] Xiang Gao, Sungjin Lee, Yizhe Zhang, Chris Brockett, Michel Galley, Jianfeng Gao, and Bill Dolan. Jointly optimizing diversity and relevance in neural response generation. In Proceedings of NAACL 2019, pp. 1229-1238, 2019 .

[4] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues, 2017.

[5] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of ACL 2017, pp. 654-664, 2017.

[6] Xiaoyu Shen, Hui Su, Shuzi Niu, and Vera Demberg. Improving variational encoder-decoders in dialogue generation. In Proceedings of AAAI 2018, pp. 5456-5463, 2018.

[7] Tianming Wang and Xiaojun Wan. T-cvae: Transformerbased conditioned variational autoencoder for story completion. In Proceedings of IJCAI 2019, pp. 5233-5239, 2019.

[8] Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of AAAI 2016, 2016.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in NIPS 2017 , pp. 5998-6008, 2017.

[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR 2015, 2015.

[11] Hao Fu, Chunyuan Li, Xiaodong Liu, Jianfeng Gao, Asli Celikyilmaz, and Lawrence Carin. Cyclical annealing schedule: A simple approach to mitigating KL vanishing. In Proceedings of NAACL 2019, pp. 240-250, 2019.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL 2019 (Demonstrations), pp. 4853, 2019 .

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of NIPS 2013, pp. 3111-3119, 2013.

[14] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sen- tences from a continuous space. In Proceedings of CoNLL 2016, pp. 10-21, 2016.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of ACL 2002, pp. 311-318, 2002.

[16] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[17] Shoetsu Sato, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120-127, 2017.

[18] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of ACL 2018, pp. 2204-2213, 2018.

[19] Pierre-Emmanuel Mazare, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of EMNLP 2018, pp. 2775-2779, 2018.

[20] Eric Chu, Prashanth Vijayaraghavan, and Deb Roy. Learning personas from dialogue with attentive memory networks. In Proceedings of EMNLP 2018, pp. 2638-2646, 2018.

[21] Ashutosh Baheti, Alan Ritter, Jiwei Li, and Bill Dolan. Generating more interesting responses in neural conversation models with distributional constraints. In Proceedings of EMNLP 2018, pp. 3970-3980, 2018.

[22] Xiaodong Gu, Kyunghyun Cho, Jung-Woo Ha, and Sunghun Kim. Dialogwae: Multimodal response generation with conditional wasserstein auto-encoder. arXiv preprint arXiv:1805.12352, 2018.

[23] Xiang Gao, Yizhe Zhang, Sungjin Lee, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. Structuring latent spaces for stylized response generation. In Proceedings of EMNLP-IJCNLP 2019, pp. 1814-1823, 2019.

[24] Junxian He, Daniel Spokoyny, Graham Neubig, and Taylor Berg-Kirkpatrick. Lagging inference networks and posterior collapse in variational autoencoders. 2019.


# 事前学習済み Transformerを用いた Data-to-text における入力順序の影響分析

矢野祐貴須藤克仁 中村哲
奈良先端科学技術大学院大学
\{yano.yuki.ytø, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

Data-to-text は構造化データを入力として非構造化データである自然言語文を生成するタスクである [1]. 具体的に，構造化データは表や知識グラフなどの様々な形式で与えられ，出力はこれらの入力を説明あるいは要約する自然言語文である。また,構造化データはいずれの形式においてもレコードの集合として定式化する事ができる.

近年では，ニューラルネットワークを用いたモデルが高い性能を発揮しており, 特に，知識グラフを入力形式とするデータセットにおいては， Transformer [2] の事前学習済みモデルである T5 [3] を用いた研究が state-of-the-art の精度を達成し, 強力なベースラインとなっている $[4,5]$. 一方で，スコアボードの表のような複雑な表形式の構造化デー タを入力とするデータセットにおいては，レコードの順序やそのコンテンツのプランニングおよび選択が生成の精度に大きく寄与することが示され，注目を集めている [6].

これまでの知識グラフを入力形式とする T5を用いた研究では，知識グラフを線形化によってコンテンツの系列として入力する. ここで構造化データを構成するレコードの順序は考慮されておらず，文献 [6] のような順序のプランニングも行われず，頒布されたデータセットにおける順序がそのまま利用されている．そこで本研究では， $\mathrm{T} 5$ を用いた知識グラフを扱う Data-to-text モデルに対し, 入力レコー ドの順序が生成文に及ぼす影響を調査する。

実験では，Data-to-text で標準的に用いられる知識グラフとその説明文のデータセットである WebNLG [7] を用いて，T5を用いた最初の Data-totext モデル [4] に対し, 学習用およびテスト用デー タのレコードを「そのままの順序」／「シャッフルした順序」の 2 パターンで Fine-tuning および生成を行う。それぞれのパターンの生成結果を BLEU [8] などの自動評価指標で評価し，レコード順序による生成文への影響を分析する。また，生成結果の入力レコード数ごとの BLEU 值を比較し，その傾向について考察する。評価実験の結果，レコード順序をそのままで Fine-tuning したモデルに，レコード順序をシャッフルしたテストデータで生成すると，そのままの順序で生成した結果よりも，BLEU 値が低下することが分かった. 対して，レコードの順序をシャッフルして Fine-tuning すると，既知ドメインのテストデータの BLEU 值が向上することが分かった．また，レコード数ごとの解析では，順序のシャッフルによって，少ないレコード数の入力に対して，BLEU 值が向上することが分かった。これらの評価実験の結果を通して，T5を用いたべースラインに対しても，入力順序のプランニングが必要であることが分かった.

## 2 関連研究

近年複数の Data-to-text のデータセットで，Textto-text transfer Transformer (T5) が state-of-the-art の精度を達成している $[4,5]$. T5 自体は，言語生成タスク（機械翻訳や自動要約，質問応答生成など）を Text-to-text のフレームワークで解く Transformer [2] を用いたアーキテクチャであり，Colossal Clean Crawled Corpus (C4) で事前学習したモデルを下流夕スクである各言語生成タスクに適応することで高い精度を示している。

文献 [4] は，Data-to-textを T5 の下流タスクとして解くための手法を調査している．構造化データを線形化しコンテンツの系列とした入力で Fine-tuning するだけで，従来の語彙化やその解除，レコードごとの素性の設計などの作業を必要としない，完全な End-to-end で Data-to-text を解くことができる．結果として, WebNLG, MultiWoz, ToTToの 3 つのデータ

\begin{abstract}
Amdavad ni Gufa location Gujarat Amdavad ni Gufa location Ahmedabad Amdavad ni Gufa country India India leaderName Narendra Modi
\end{abstract}

Amdavad ni Gufa location Ahmedabad India leaderName Narendra Modi Amdavad ni Gufa country India Amdavad ni Gufa location Gujarat

図 1 レコードのシャッフルと線形化

セットで state-of-the-art の精度を達成した。

また，この調査結果を踏まえて文献 [5] では， WebNLG などのグラフを入力形式とするデータに対して，明示的にグラフ構造を与えることでさらなる性能向上が出来ることを示した. 具体的には，線形化の際に各コンテンツの先頭に<Head>, <Relation>, <Tail>といったグラフを示すための特殊トークンを挿入して Fine-tuningを行う.

これらの T5による精度向上が報告されているデータセットの特徴として，参照文が入力レコードのほぼすべての情報について言及している点が挙げられる。一方で，スコアボードの表のような複雑な表データを入力とする場合，参照文で言及されないレコードが多くなるため, 生成内容の取捨選択を含むプランニングが有効であるとされている [6].

本研究は，ほぼすべての入力情報への言及が必要な WebNLG データにおける，レコードの入力順序の影響を明らかにするものである.

## 3 実験

実験では，事前学習済み Transformer である T5を用いた Data-to-text モデルに対しても，入力レコードの順序のプランニングが必要であるかを検証する。具体的には， 入力の構造化データを図 1 に示すように，レコードを構成するコンテンツはそのままで，順序をシャッフルしてから線形化を行い，T5 モデルへの入力とする. Fine-tuning 時の学習データと,生成時のテストデータに対して, 以下の 3 つの組み合わせで実験を行う.

・もとのレコード順序で Fine-tuning したモデルを，もとのレコード順序で生成 (def-def)

・もとのレコード順序で Fine-tuning したモデルを，シャッフルしたレコード順序で生成 (def-shuf)
・シャッフルしたレコード順序で Fine-tuning したモデルを，シャッフルしたレコード順序で生成 (shuf-shuf)

ここで，もとのレコード順序とは，データセットの配布ファイルに記述されているそのままのレコー ド順序である．多くの場合，その整列について明記されていないが，例えば図 1 の左上のように，主語でソートされていたり，目的語が “India” のレコー ド次は，主語が “India” のレコードであるなど，人為的な整列が見受けられる。

実験の結果に対して，def-def をべースラインとし, def-shuf と比較することで，モデルがデータセットの順序を学習しているかどうかを検証する。また, shuf-shuf と比較することで，人為的な整列を崩した入力を $\mathrm{T} 5$ モデルが学習できるかどうかを検証する．今回の実験では，shuf-shuf の Fine-tuning 時のレコードのシャッフルは，データの読み込み時に一度のみ行い, エポックごとのシャッフルは行わない.

## 3.1 データセット

実験には WebNLG [7] データセットを用いる. WebNLG は, DBpedia1)から抽出された Resource Description Framework トリプル（主語，述語，目的語の 3 つ組）の集合で表現される知識グラフと，クラウドソーシングによって収集された対応する知識グラフの説明文から構成されている。学習, 開発およびテストデータはそれぞれ，18,102 対，2,268 対， 4,928 対に分かれており，さらにテストデータは，学習，開発データに含まれている既知ドメインのデー タ（2,495 対）と含まれない未知ドメインのデータ (2,433 対）に分けられている.

1) DBpedia: https://wiki.dbpedia.org/
表 1 自動評価結果. 太字は同一事前学習モデルに対するスコアの最大值を示す.

} & \multirow[b]{2}{*}{ Testset } & \multicolumn{5}{|c|}{ 既知ドメイン } & \multicolumn{5}{|c|}{ 末知ドメイン } \\

## 3.2 実験設定

先行研究 $[3,4]$ に倣い, バッチサイズを 512 , 学習率を 0.001 として，学習データによる Fine-tuning を行う．最適化には Adafactor [9]を使用する．T5 モデルの語彙は，SentencePiece [10] を用いてテキストを WordPiece トークン $[11,12]$ ヘエンコードし, 語彙サイズは 3 万 2 千としている. 事前学習された $\mathrm{T} 5$ モデルのパラメータ数は，60万（T5-Small），220万 （T5-Base）および 770 万（T5-Large）の 3 種類を使用する.

評価には，開発データに対して BLEU 値が最も高いエポックのモデルパラメータを用いて，テストデータに対する生成を行った結果で比較する。また，学習は開発データに対する BLEU の最大値が 3 回更新されなかったエポックで早期終了する. 自動評価指標には，言語生成で用いられる，BLEU, NIST, METEOR, ROUGE-L, CIDEr を使用する.

## 3.3 実験結果

実験結果を表 1 に示す. まず，既知ドメインの結果について，モデルのすべてのパラメータサイズ， すべての自動評価指標で, shuf-shuf が def-def の結果を上回っている. 反対に，モデルのすべてのパラメータサイズ，すべての自動評価指標で，def-shuf が def-def の結果を下回っている.

次に，未知ドメインの結果について，モデルのパラメータサイズが T5-Small および T5-Base の場合, def-def もしくは def-shuf の結果が shuf-shuf の結果を上回っている. 一方, モデルのパラメータサイズが T5-Large の場合には， METEOR 以外の評価指標で， shuf-shuf の生成結果が def-def および def-shuf を上回っている.

全体の結果として，既知ドメインで最も良い精度を達成したのは，モデルのパラメータサイズ T5-Base に対する shuf-shuf の生成結果であり，未知ドメインで最も良い性能を示したのは，モデルのパラメータサイズ T5-Large に対する shuf-shuf の生成結果である。これらのことから，レコード順序をシャッフルして Fine-tuning することが生成文の精度向上に効果的であることが分かる.

## 3.4 考察

前節で示した結果について，既知ドメインの結果では，シャッフルした順序で Fine-tuning することにより，順序に依存せず，各ドメインごとの汎化した文生成を行う能力を得ることが出来たといえる.

未知ドメインの場合では，モデルのパラメータサイズ T5-Small と T5-Base で各指標の向上が見られなかったが，これは学習したドメイン外の知識について，このパラメータサイズでは，事前学習および Fine-tuning 時に獲得することが出来ていなかったといえる. そのため，もともとの人為的な順序で Fine-tuning した def-def が，生成時にもその人為的な順序を手がかりとして生成した結果，shuf-shuf よりも高い精度を示したと考えられる。

一方で，モデルのパラメータサイズ T5-Large では，METEOR を除いて shuf-shuf が高い精度を達成している。これは T5-small および T5-Base とは反対に，パラメータサイズの大きい T5-Large では，事前学習および Fine-tuning の時点で未知ドメインへの表現能力を獲得したため, 既知ドメインと同様に， シャッフルすることで順序に依存しない汎化した文生成が出来たと考えられる。
表 2 レコード数 $(n)$ ごとの BLEU 值

## 3.4.1 レコード数ごとの比較

各生成文を入力レコード数ごとに分け，個別に BLEU を計算した。表 2 に，その計算した BLEU 值を示す。また，学習用データおよびテストデータのレコード数ごとの件数と, その平均レコード数を表 3 に示す.

既知ドメインのレコード数 $n \leq 5$ のデータに対して，すべての設定において，shuf-shuf は def-def あるいは def-shuf よりも高い精度を示す傾向がみられた. 一方で, 既知ドメインのレコード数 $n=6,7$ では，def-def および def-shuf に対する shuf-shuf の有効性は陽に見られなかった.このことから，シャッフルして学習するだけでは, 学習データの平均値の倍以上のレコード数をもつ入力に対しての表現方法を獲得することが出来ず，未知ドメインにおける T5-Small や T5-Base と同様に，もとの順序情報が生成の手助けをしたことで def-def の生成が高い精度を示したと考えられる。

未知ドメインのレコード数 $2 \leq n \leq 4$ では，表 1 の未知ドメインの結果に対する考察と同様の事が言える. しかし, レコード数 $n=1$ では, T5-Small および T5-Base においても shuf-shuf が高い精度を示している.この結果から，もとのレコード順序で
Fine-tuning することは，単一レコードに対する文生成の精度を犠牲にした上で複数レコードを持つ入力を学習していると考えられる. 反対に，レコード数 $n=5$ では, T5-Large においても shuf-shuf による精度向上が見られない. 加えてレコード数 $n=4$ についても， $1 \leq n \leq 3$ の精度向上に比べて低い.これらは，学習データの平均レコード数 $n=2.97$ を中心にシャッフルによる汎化性能を獲得したため，既知ドメインのレコード数 $n=6,7$ と同様に，レコード数をもつ入力に対してはレコードの順序情報が文生成に大きく影響していると考える.

実験全体を通した結果から，レコード順序をシャッフルして入力することがデータ拡張になっているとも考えられ，今後さらに検証が必要である。

## 4 おわりに

本稿では，T5を用いた Data-to-text モデルに対し，入力レコードの順序が生成文に及ぼす影響について検証した。自動評価指標による評価実験を通じて， T5 モデルが Fine-tuning 時にレコード順序も同時に学習することを確認し，モデルのパラメータサイズが十分大きい場合，レコード順序をシャッフルして Fine-tuning すると生成文の精度が向上することを確認した. 今後は, Fine-tuning 時にエポックごとでレコード順序をシャッフルした場合の T5 モデルの挙動の検証や，T5 モデルおよび知識グラフを入力形式とする場合の適切な順序のプランニング手法の考案などをしていきたい。

## 謝辞

本稿の研究は，株式会社ウェザーマップの助成を受けた。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building Natural Language Generation Systems. Cambridge University Press, 2000.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of NIPS 2017, pp. 5998-6008, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. In Proc. of INLG 2020, pp. 97-102, 2020.

[5] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. arXiv:2007.08426, 2020.

[6] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proc. of AAAI 2019, pp. 6908-6915, 2019.

[7] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. The WebNLG challenge: Generating text from RDF data. In Proc. of INLG 2017, pp. 124-133, 2017.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of ACL 2002, pp. 311-318, 2002.

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In Proc. of ICML 2018, Vol. 80, pp. 4603-4611, 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP 2018, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of ACL 2016, pp. 1715-1725, 2016.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL 2018, pp. 66-75, 2018.


# QA Lab-Polilnfo-3 における質問と答弁の対応付け

小川泰弘
名古屋大学
yasuhiro@is.nagoya-u.ac.jp
秋葉友良
豊橋技術科学大学
}

木村 泰知

小樽商科大学

渋木 英潔
国立情報学研究所
}

kimura@res.otaru-uc.ac.jp

横手 健一

日立製作所

石下円香
国立情報学研究所

## 1 はじめに

近年，政治にまつわるフェイクニュースが社会的な問題とされてきている. 2016 年のアメリカ大統領選挙の頃から，信憑性の低い情報がソーシャルメディアを介して拡散され，民意の形成に偏りを生じさせることが懸念されている. また，政治家の発言自体も信憑性や根拠に欠ける場合があり，それらの発言に対するファクトチェックも求められている.

また日本においても，新型コロナウイルスへの対策について，国会や地方議会で検討され，その内容が報道されるが，取り上げられる内容は限られている.そのため,「○○について議論していない」のような事実に反する批判が起きたりする。

こうした状況を踏まえ，政治に関わる自然言語処理研究が注目されてきており, EuroParl Corpus[1] や UK Hansard Corpus ${ }^{1}$ などが，言語資源として利用されている. しかしながら，日本語を対象とした研究データが少ないことに加えて，議会における議員の発言を対象とした研究や，議会における政策形成のための議論を対象とした研究は進んでいない.

これらの問題を解決することを目指して，我々は評価型ワークショップ $\mathrm{NTCIR}^{2}$ において QA Lab-PoliInfo を実施してきた. 2018 年から 2019 年には，NTCIR-14 QA Lab-PoliInfoを，2019 年から 2020 年にかけては，NTCIR-15 QA Lab-PoliInfo-2を開催した. 2021 年から始まる NTCIR-16においても，引き続き QA Lab-PoliInfo-3 を提案している.

QA Lab-PoliInfo-3 においては, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサブタスクをを提案しているが，本稿においては，会議録中の質問と答弁を対応付ける

QA Alignment について紹介する.

本稿では，まず第 2 節で NTCIR における QA Lab タスクの背景について述べた上で，第 3 節で QA Alignment の提案理由を述べる. 第 4 節以降では, QA Alignment のデータフォーマット，参加者のタスク，正解データの作成方法，評価方法について，それぞれ述べる。第 8 節は，本稿のまとめである.

## 2 QA Lab-Polilnfo タスク

QA Lab-PoliInfo は，政治情報を対象としたサブタスクを質問応答の枠組みで捉えたものとして， NTCIR-14 において開催した。地方議会会議録コー パス [2]を対象に，議会発言における議員の意見やその根拠，立場などを抽出し，議論の構造を明確にして，関係性などを理解しやすいように整理して提示することを最終的な目標としている。

NTCIR-14 においては, Segmentation, Summarization, Classification の三つのサブタスクを実施した. Segmentation は，要約して引用された議会中の発言に対して，会議録の引用元の範囲を特定することを目指したサブタスクである. Summarization は，会議録中の特定の範囲から，発言者の意図が誤解されないように指定された文字数の範囲内で要約文を生成するサブタスクである. Classification は，議会における発言に，政治課題に対する意見が含まれるか，意見に対する事実検証可能な根拠が示されているかを分類するサブタスクである．QA Lab-PoliInfo タスクには，15 組のチームが参加した [3][4].

NTCIR14 QA Lab-PoliInfo の成果と問題点を踏まえて，NTCIR-15 においては，QA Lab-PoliInfo-2 とし $\tau$, 当初は Stance Classification, Dialog Summarization, Entity Linking の三つのサブタスクを実施し，追加で Topic Detection のサブタスクを実施した. Stance Classification は，各議案に対する議員の発言から，

その所属会派の議案への賛否を推定するサブタスクである. Dialog Summarization は，一括質問一括答弁の形式の会議録の内容を, 質問と答弁の対応を考慮して要約するサブタスクである. Entity Linking は，会議録中の発言から，表記摇れや瞹昧性の問題を解決しながら，法律名を抽出するサブタスクである。 Topic Detection は，会議録から質疑応答のトピックを抽出するものである. QA Lab-PoliInfo-2 の本テストには， 14 組のチームが参加した [5].

我々は，これまでの成果と問題点を踏まえ， NTCIR-16 において QA Lab-PoliInfo-3 を提案している.これは, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサブタスクを含んでいる. Question Answering は, 会議録の質問の要約が与えられたとき，対応する答弁の要約を生成するサブタスクである. Budget Argument Mining は，予算項目や金額が与えられたときに，会議録中からそれについて議論している部分を抽出するとともに，その内容の議論ラベル（決定事項，例示，事実など）を判定するサブタスクである．Fact Verification は，要約と会議録が与えられたとき，その要約の内容が本当に会議録中に存在するかを判定し，存在する場合はその範囲を特定するサブタスクである. QA Alignment は一括質問一括答弁の形式における質問と答弁を対応付けるものであり，本稿において説明する。

## 3 QA Alignment $の$ 提案理由

本節では，QA Alignment の前提となるDialog Summarization と Topic Detection について述べた後, QA Alignment の提案理由を述べる.

## 3.1 Dialog Summarization

政治家の発言の信憑性を判断するためには，政治課題に関する議論がどのように行われているのか知る必要があり，議論をしている相手の発言や文脈を考慮しなければならない. 政治課題に関する議論は議会において行われており, 議会会議録として質問や答弁が残されている. しかしながら，議会会議録は発言を書き起こした文書であり，まとめられておらず読みづらいという問題がある. 特に，東京都議会をはじめとする多くの地方議会では，一問一答形式ではなく，一括質問一括答弁形式がとられており, 質問と答弁が離れた位置に存在する。また, 質問に対して，知事だけでなく，総務部長や教育長の
ような他の出席者が答弁する場合がある.

そうした問題点を解消し，「議員の質問」と「知事側の答弁」という対話構造を考慮しながら要約することを目標とした, Dialog Summarization のサブタスクを QA Lab-PoliInfo-2 では実施した.

## 3.2 Topic Detection

議会においては様々なテーマについて議論されるが，そのすべてが報道される訳ではない，そのため，実際には議会で扱われているのにもかかわらず，議論されてないといった批判が起きることがある. 例えば昨年は，「野党は新型コロナについて議論せず，云々」といったデマが流れたが，これも一種のフェイクニュースと言える。

そうした問題を解決するために，議会においてどのようなトピックが扱われたのかを検出する Topic Detection のサブタスクを，QA Lab-PoliInfo-2 では追加で実施した。このタスクはパイロットタスクという位置付けであり，トピックの定義についてはタスクオーガナイザ側で定義せず，参加者それぞれが考えるものとした. 特にトピックの粒度は大きな課題である。このタスクでは，令和 2 年度東京都議会会議録からのトピック抽出を実施したが，ほとんどの質疑応答は，「新型コロナ」に関連するものである. そのため，トピックを単に「新型コロナ」とするだけでは不充分であり，その中に含まれるサブトピックの検出も必要になる. その場合, 最も基本となるサブトピックの粒度は何かという点が問題になる. それに対して，ここでは一つの質疑応答には一つの基本トピックが含まれると考える。一つの質疑応答に複数のトピックが含まれる場合は例外とする。

その際に問題となるのは，何をもって一つの質疑応答と定義するかである.ここで注目するのは，会議録の答弁の冒頭において頻出する「○点のご質問にお答えいたします。」という定型表現である。東京都議会会議録において，知事以外の答弁者が複数の質問に回答する場合，冒頭でこの発言をすることが多い. すなわち，答弁者が質問の個数を認識した上で回答していると言える。

## 3.3 QA Alignment

以上のように，Dialog Summarization および Topic Detection のサブタスクにおいては，一括質問一括答弁形式の構造を解析し, 質問と答弁を対応付ける前処理が必要になると考えられる。しかし，実際に
表 1 会議録の形式 (JSON 形式のキー)

は，タスクの参加者は質問と答弁を対応付けをすることなく，各タスクに取り組んだ。

その理由としては, end-to-end な手法が現在の主流であること，対応付けをしなくてもそれなりの性能が得られたこと, 対応付けの正解が与えられていないことが考えられる. しかし最後に関しては，夕スク参加者からの指摘で，東京都議会の「本会議ネットリポート3)」の存在が判明した.これは都議会会議録とは別に公開されており，その中で質問と答弁が対応付けられている．そこで今回は，このネットリポートを正解とし，質問と答弁を対応付けを自動的に実行するタスクを提案する.

## 4 データ形式

表 1 は，過去の QA Lab-PoliInfo および QA LabPoliInfo-2において，都議会会議録のデータとして提供した JSON 形式のデータの形式である. 今回の正解データは，表 1 のデータに，以下の三つのキーを追加したものである.

QuestionerID: 質問および答弁が，どの質問者に関するものかを示す. 一括質問一括答弁形式のため，ある議員が質問した場合，その議員の発言とそれに対するすべての答弁で同じ值になる。

QorA：值は $\mathrm{Q}, \mathrm{A}, \mathrm{O}$ であり，発言者が質問者か，答弁者か，それ以外 (議長など) かをそれぞれ示す. 発言内容は問わない。

QAID: 值は非負整数. 対応する質問と答弁に同じ值を付与する．なお，0 は特別な值であり，質問でも答弁でもない発言を示す.

QAIDが 0 になるのは，以下のような場合である.

まず，答弁者の冒頭にある「○点のご質問にお答えいたします。」などの発言. これは，特定の質問に対応する答弁ではなく，対応する質問がないため，QAID の值を 0 とする。なお，こうした発言はネットリポートには掲載されていない。

3) https://www.gikai.metro.tokyo.jp/netreport/次に，質問者の発言に，質問でないものが含まれる場合．例えば，以下のような発言がある。

なお、売電を目的とする大規模な天然ガス発電所の新規建設に当たっては、… 都は土地の提供程度にとどめておくべきであると、この場で申し上げておきます。

これは意見を述べているだけであり，対応する答弁は存在しない。なお，ネットリポートでは，こうした発言は質問のタグが付かずに掲載されている.

## 5 参加者のタスク

テストデータにおいては，上記のキーのうち， QAID 以外はすべてタスクオーガナイザ側から提供する。これは，今回新規に追加した QuestionerID および QorA の值については，発言者の役職などの情報から容易に特定でき，本タスクの本質ではないためである．よって，参加者のタスクは一括質問一括答弁を適切に分割し，対応付けをすることである。

タスクとしては，質問数が少なく，答弁者も一人であれば比較的容易であるが，質問数が多くなり， さらに答弁者の人数も多くなると難易度が上がる.東京都議会では，代表質問と一般質問があり，代表質問は一般質問よりも多くの質問がなされる.

実際の対応付けの例を表 2 に示す.これは，平成 23 年第 2 回定例会での山下太郎議員の代表質問への対応付けの例である. 山下議員の質問は 42 個あり, それに対応する答弁者は知事を含め全部で 12 人であった. QAID は，各答弁者がどの質問に回答したのかを示している. 表 2 から分かる通り，答弁は必ずしも連続する質問に対応する訳ではない．特に知事の答弁は飛び飛びの質問に対応する傾向がある.

## 6 正解データの作成

正解データは，タスクオーガナイザ側で，都議会会議録のデータとネットリポートのデータを突合することで作成した. 基本的には，ネットリポートの内容は会議録の発言を並び替えただけであるため，突合は容易であった．ただし，会議録の答弁の冒頭に「次に、○○についてでございますが」という発言がある場合，ネットリポートでは「次に、の部分が削除されていた. また，一部に全角半角の相違がみられた．そのため，単純な完全一致で対応する発言が見つからない場合，ルーズなマッチにより対
表 2 質問と答弁の対応付け

表 4 表 3 をalignment に変換した結果

表 3 対応付けの正解と出力結果の例

応付けを実施した。なお，第 4 節で述べたように，「○点のご質問にお答えいたします。」といったネットリポートで省かれている発言や，対応する答弁がない質問については，QAIDを 0 とした。

## 7 評価方法

タスクの評価には文献 [6] などで提案される単語

して説明する。

表 3 は 19 文からなる質疑応答がどのように対応しているかを示した例であり，QAID の值で対応付けが示されている。ここで，正解データと評価対象となるシステム出力では，異なる対応付けを行っている. 正解データでは質問は 4 個であり，例えば文 1, 2, 3 で一つの質問を形成し，それに対応する答弁が文 $12,13,14$ であることを示している。一方，システム出力では，質問は 5 個であり，正解データ
の最初の質問が二つに分割されている. システム出力を正解データと比較するために alignment を以下のように考える。例えば，システム出力の文 1,2 の 2 文と文 12,13 の 2 文が対応しているが，この場合, alignment としては，1-12, 2-12, 1-13, 2-13で,合計 4 個 $(2 \times 2)$ あると考える. 正解データの最初の質問は， 3 文と 3 文が対応しているので，計 9 個の alignment ができる. 表 3 の対応付けから変換できる alignment をすべて示したものが表 4 である. alignment に変換することにより，正解データとシステム出力で異なる QAID が付与された場合にも対処可能となる．実際，表 3 の例では，正解データの文 10, 19 の QAID が 4 であるのに対して，システム出力では 5 であるが，表 4 に示す alignment では同じ 10-19として検出されている.

この alignment を元に適合率，再現率，F 值を計算し, 評価に用いる。この例では, 適合率 $78.5 \%(11 / 14)$,再現率 $64.7 \%(11 / 17), \mathrm{F}$ 值 $71.0 \%$ となる.

## 8 おわりに

本稿では，NTCIR-16において提案している QA Lab-PoliInfo-3 におけるQA Alignment タスクの概要及び，データセット，評価方法について述べた.

QA Lab-PoliInfo-3 が採用された場合は，2021 年 7 月にデータのリリースを行い, 予備テスト (Dry Run)，本テスト (Formal Run)を実施後，2022 年 6 月に本会議を開催する予定である。公式サイトでは， リーダーボードを用いて参加者の結果を随時掲載するだけでなく，TOチームによる実行プログラムなどを公開していく予定である.

## 参考文献

[1] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In MT summit, Vol. 5, pp. 79-86. Citeseer, 2005.

[2] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, 2016.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Testbeds and Community for Information Access Research - 14th International Conference, NTCIR 2019, Tokyo, Japan, June 10-13, 2019, Revised Selected Papers, pp. 122135,2019

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[5] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 2020.

[6] Rada Mihalcea and Ted Pedersen. An evaluation exercise for word alignment. In Proceedings of the HLT-NAACL 2003 Workshop on Building and using parallel texts: data driven machine translation and beyond, pp. 1-10, 2003.