# パーソナリティを考慮した雑談対話の会話継続可能性評価

蔦侑磨 ${ }^{1}$ 吉永直樹 2 佐藤翔悦 ${ }^{2}$ 豊田正史 ${ }^{2}$
1 東京大学大学院 2 東京大学 生産技術研究所
\{tsuta, shoetsu, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

雑談対話を対象とした自動評価手法に関する既存研究の多くは，実在する会話の応答全てを等しく 妥当な応答として想定し，評価手法を構築している ため，ユーザが興味を持たない応答であっても高い 評価を行う．そこで本研究では，生成応答がユーザ の返答を促し会話が継続するかを評価するために， ユーザの返答の有無を予測するタスクから学習され た自動評価手法を提案する。この際に同一の発話内容でも返答可能性は人によって変化しうるため，会話相手であるユーザのパーソナリティを考慮する。実験では内的評価により会話初期の継続可能性の判定において提案手法の有効性が確認された。

## 1 はじめに

人は一日の約 $15 \%$ 以上の時間を雑談会話に費やす と報告 [1] されるように，日常的に会話を行い雑談欲求を満たしている。しかし，個人ドライバーや独 り身の高齢者など適切な会話相手がいない状況や近年の新型コロナウイルスの影響など，会話自体が困難で雑談欲求があっても満たせない状況がある. 加 えて，人の話し相手となりうるスマートスピーカー が爆発的に普及したこともあり，雑談対話システム への関心が急速に高まりつつある.

ユーザの雑談欲求を満たせる雑談対話システム の構築のためには，その生成応答が応答として妥当 か，そして生成応答により会話が継続するかなどの 多様な観点を考慮して, 応答を生成・評価する必要 がある．近年の雑談対話研究では，対話システムが 頻繁に「そうですか」のような汎用的で無難な応答 (dull response) [2] を繰り返すことが問題視されてい るが，与えられた発話に対する実応答を評価におけ る参照応答に用いる通常の評価手法では，このよう な dull response に高い評価を与えてしまう. この解決のため，Ghazarian らは応答継続可能性に関する 人手評価を教師データに利用した評価手法により応
プロフィール文

8 犬より猫派

図 1 ユーザの返答の有無を予測するタスク

答の妥当性評価以外の評価を行っている [3]. しか し, 少数の人手評価を学習データとした自動評価器 は，その汎用性の低さが問題となる。

本研究ではユーザのパーソナリティを考慮して， ユーザとの継続的な会話を促す生成応答を高く評価 する自動評価手法を提案する。提案手法では，人手 の評価データを用いることなく評価モデルを学習す ることで，多様なドメインの応答を評価できる汎用性の高い手法を目指す。具体的には，ある会話にお いて次に返答が行われたかどうかを予測する会話継続可能性評価タスク（図 1) による学習を行う。さ らに，同一の発話内容でも返答可能性が人によって 変化しうるため，提案手法では会話相手のパーソナ リティを考慮したモデルを構築する。

本研究で目的とする雑談対話システムのユーザの パーソナリティを考慮した応答継続可能性評価を 行うには，パーソナリティの明示されたユーザに関 する対話システムとの長期的な会話データが必要 である。しかし対話システムとの長期的な会話デー タを得ることはコストが高く，さらに対話相手であ るユーザのパーソナリティを得るのはプライバシ の観点から非常に困難である。そこで本研究では， Twitter 上の人同士の会話データについて，そのプロ フィール文をパーソナリティとみなして，実験用の 会話データを構築した．実験ではこの会話データに 関する内的評価から会話初期の継続可能性の判定に おいてパーソナリティを考慮することにより予測精度が向上することが確認された。

## 2 関連研究

本章の 2.1 節では自動評価手法に関する既存研究 を，2.2 節ではパーソナリティ（個人属性）を考慮し た既存の雑談対話研究の紹介を行う.

## 2.1 自動評価手法

雑談対話システムは基本的に人手評価によって 評価されるが，効率的な開発のために人手評価と相関する自動評価手法の確立が強く期待されている.実応答を再現することを目的とした雑談対話シス テムの単純な評価方法として, 実応答とのトークン の重複により計算する BLEU [4] や ROUGE [5] が利用可能だが，Liu らにより人手評価との相関が低い ことが指摘された [6]. これらの単純な評価手法か らの改善として, 評価時に利用できる唯一の実応答 だけでなく雑談対話で許容される多様な応答を利用した，応答多様性を考慮した手法 $[7,8,9]$ が提案 されている。一方で, 生成応答と入力発話の関連性 に着目した評価手法に関して，人手評価を利用し た教師あり学習手法や負例サンプリング [10]を用 いた教師なし学習手法なども多数提案されている $[11,12,13]$. しかし既存研究の多くは害在する会話 の応答全てを等しく妥当な応答として想定するた め, dull response のような応答であっても高い評価 を与えてしまう. ユーザの興味を引かない応答で は, 会話が継続せずユーザの雑談欲求を満たすこと ができないため，これらの評価手法では会話継続可能性や会話満足度などの評価には適さない。

本研究と同様の動機に基づく研究としては, Ghazarian らが応答継続可能性に関する人手のアノ テーションデータを教師データに利用した自動評価手法を提案している [3]. しかし人手評価を教師 データとして利用するため，そのコストや評価器が 学習データのドメインに対して過学習する可能性 があることが問題点として挙げられる. 提案手法で は，人手のアノテーションデータを利用しない学習手法により, 多様なドメイン上の会話に利用可能な 汎用性の高い手法を目指す。

## 2.2 個人属性を考慮した雑談対話研究

雑談対話における個人属性（パーソナリティ）を 考慮した研究として，デモグラフィック属性などの パーソナリティについて会話上で再現する対話シス テムが提案されている $[14,15,16]$ が，これらの研究
はパーソナリティの再現や理解，あるいは会話の一貫性向上が主体となっている。一方で本研究は個人 ごとの応答の嗜好性が異なるというパーソナリティ を意識した，会話継続性の評価に関する研究となっ ており，従来のパーソナリティを考慮した研究とは 利用目的が異なる。また雑談応答生成では与えられ たパーソナリティを再現する研究 $[14,15]$ は多くの 研究で古くから行われているが，会話相手のパーソ ナリティを理解することを目的とした研究は新しく 少数である [16]. 本研究は自動評価手法として，特 に会話相手のパーソナリティを考慮するという点で 新規的な研究といえる.

## 3 提案手法

本研究ではユーザとの継続的な会話を促す生成応答を高く評価する自動評価手法を提案する。この際 に同一の発話内容でも返答可能性が人によって変化しうるため, 提案手法では会話相手のパーソナリ ティも考慮する. 先行研究 [3] とは異なり, 多様な ドメインにおいて汎用性の高い手法としての構築を 目指すため，人手のアノテーションを利用しない教師なし学習により分類器を学習する. そこで提案手法では，会話の特定のターンにおいて次に返答が行 われたかどうかを予測する会話継続可能性評価タス ク（図 1）として学習を行う.

## 3.1 会話継続可能性評価モデル

本研究では図 1 のように，会話履歴や応答文と同時に返答予測を行う対象のパーソナリティを入力 し，実際に返答を行うか予測するタスクにより評価 モデルを学習する. 提案手法での会話継続可能性評価を行うモデルには BERT [17]を利用する。

## 3.2 評価器への会話データの入力形式

BERTを入力の分類タスクに用いる場合には入力の先頭に [CLS] トークンを，入力中の各文末に [SEP] トークンを入力するため, 図 2 のような形式 でデータを入力する. また通常の BERT の利用では 最大 2 文のみを入力するが，提案手法では 3 文以上 が入力される可能性がある.このため本研究では BERT に入力する Segment Embeddings についてプロ フィール文と会話履歴を同一の分散表現とした。ま た BERT では入力長に制限があるため，この制限を 超える場合，古い会話履歴を優先的に省略する。

図 2 評価器（BERT）への入力データの構造

## 3.3 学習データ

提案手法では，会話の特定ターンにおいて次に返答が行われるかどうかを予測する会話継続可能性評価タスクとして学習を行う. 本研究で目的とする 雑談対話システムのユーザのパーソナリティを考慮した応答継続可能性評価を行うには， パーソナリ ティの明示されたユーザに関する対話システムとの 長期的な会話データが必要である. しかし対話シス テムとの長期的な会話データを得ることがコスト が高く，さらに対話相手であるユーザのパーソナリ ティを得るのはプライバシの観点から非常に困難で ある.

そこで本研究では，Twitter 上の人同士の会話デー タについて，そのプロフィール文をパーソナリティ とみなして，実験用のデータを構築した. 具体的に は，大規模会話ログにおける特定の 2 話者間の会話 について，片方を対話システム，他方をユーザと想定する。そして対話システムが発言した後にユーザ が返答するかどうかを予測するタスクとしてデータ を構築する。

## 3.4 会話データにおける正例と負例

本研究で負例として扱われる応答文には返答が行 われない会話データを利用する。このため会話が終了した時点での最後の応答文を負例として扱う。一方で，全ての正例には実際に返答が行われない会話 データを利用するため，負例より前のすべての応答文を利用する。

## 4 実験

本章では，実験に利用したデータやパラメタ，実験結果について説明を行う。

## 4.1 大規模日本語対話コーパス

実験で利用する大規模日本語対話コーパスは,著者らの研究室で 2011 年 3 月から継続的に収集し ている Twitter アーカイブから構築した. 本研究で

図 3 訓練データにおける各ターンの会話数と正例割合

は会話が実際に終了したかの判断が重要なため, Twitter API を利用して 2021 年の時点で実際に応答 が存在しないかを確認した. Twitter 上のツイート文 のやりとりを会話データとみなして，メンションも しくはリツイート以外の投稿を発話，それに連なる メンションを応答とした対話ツリーを抽出した．但 し，対話を行うユーザは常に 2 ユーザのみ存在し，同一のユーザが自身の投稿に続けてメンションを 行っていない対話ツリーのみを利用した。

## 4.2 実験に利用する会話データ

実験では 4.1 節で説明した会話データから最大 25 ターンまでの会話データを利用した。分類器の学習 データには 2017 年 1 月中の全データを, 評価データ には 2018 年 1 月中のデータを，プロフィール文は 2020 年 11 月時点のデータを利用した. プロフィー ル文がこれらの中で最新のデータとなっているが， API などを利用して会話データを収集する場合，最新の情報のみしか利用できないことが多く，過去の データを利用しない本実験の実験設定は実験の再現性の観点から問題ないと考えられる。検証用のデー タは学習データ中の無作為に抽出した 1 割のデータ を利用し，残りを訓練データに利用した。詳細は表 1 に記載する。また訓練データのターン数ごとの詳細を図 3 に示す。
表 1 実験に利用したデータの詳細（概算）

表 2 テストデータにおける分類精度

## 4.3 実験設定

提案手法で利用する BERT には事前学習済みモデ ルを利用した ${ }^{1)}$. 提案手法の比較手法としてのパー ソナリティを考慮しない（プロフィール文を入力し ない）方法をべースラインとして比較する。全て のモデルは, 学習率 $1 e-5$, 最適化手法 Adam [18],損失関数は交差エントロピー，バッチサイズ 8 ，エ ポック数 1 で学習した.

## 4.4 実験結果

表 2 にテストデータにおける分類精度を示す.こ の結果から，パーソナリティを考慮した提案手法は パーソナリティを考慮しないべースラインと比べ て， $F_{1}$ スコアに関しては同程度だったものの，若干高い精度で予測できたことが確認できる。

次に実験結果に関する詳細な解析として，訓練 データに出現したユーザを既知ユーザ，その他の ユーザを未知ユーザに分類した分類精度を示す. 同時にターン2)（会話履歴に応答文を加えた発言回数） ごとに分類した分類精度を示す。但し 3 ターン以上の会話については結果が全て同様であったため， 2 ターン目と 3 ターン以上で分類した結果を示す. ユーザ・ターン別の分類精度を表 4 に示す. なお各分類時のデータ詳細を表 3 に示す.この結果から，特に2ターン目に関して，パーソナリティを考慮す ることによって予測精度と $\mathrm{F}_{1}$ スコアが共に向上す ることが確認できる。一方で 3 ターン以上のデータ に関しては提案手法とベースラインでほぼ同等であ ることが確認できる.

## 4.5 考察

未知ユーザ・既知ユーザ問わず 2 ターン目の会話 ではプロフィールを考慮することで分類精度が向上 することが確認できた。一方で，3ターン以上の会

表 3 テストデータ詳細（ユーザ・ターン別）

表 4 テストデータにおける分類精度 (ユーザ・ターン別)

話では分類精度の向上が確認できなかった.これは Twitter 上のプロフィール文は主にユーザの興味のあ るトピックやコンテンツに関して記載されているた め，会話初期において評価対象のユーザの興味のあ る話題かといった判断を行うのに役立ったのだと推測される。一方で，長期的な会話における相手の話 し方や会話の進め方などに関してはユーザごとの喏好性がプロフィール文からは読み取りづらいため, 3 ターン以上の会話では精度差がなかったのではな いかと予想される.

## 5 おわりに

本研究ではパーソナリティを考慮した応答継続可能性評価器を構築し，パーソナリティを考慮しな い手法との比較を内的評価により行った. 結果とし て，会話初期についてはパーソナリティの考慮によ り応答継続可能性の予測精度が向上したが，長期的 な会話については精度差が確認できなかった。

今後の課題として，評価対象の長期的な会話にお けるユーザの応答継続可能性を理解するために，過去の会話履歴などをパーソナリティとして導入す ることを検討したい. また本研究では，パーソナリ ティを考慮した手法とそうでない手法を内的評価に よる比較のみを行った．今後は実践的な環境を想定 するために，実際に雑談対話システムが行った会話 についての評価や，人手評価との比較を検討する。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を 受けています。

## 参考文献

[1] 花絵小磯, 智行土屋, 涼子渡部, 大輔横森, 正夫相澤, 康晴伝, KOISO Hanae, TSUCHIYA Tomoyuki, WATANABE Ryoko, YOKOMORI Daisuke, AIZAWA Masao, DEN Yasuharu. 均衡会話コーパス設計のための一日の会話行動に関する基礎調査. 国立国語研究所論集 $=$ NINJAL research papers, No. 10, pp. 85-106, jan 2016.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A Diversity-Promoting Objective Function for Neural Conversation Models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive Engagement: An Efficient Metric for Automatic Evaluation of Open-Domain Dialogue Systems. In AAAI Conference on Artificial Intelligence, p. 8, 2020.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[5] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out: Proceedings of the ACL-04 Workshop, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan. deltaBLEU: A Discriminative Metric for Generation Tasks with Intrinsically Diverse Targets. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 445-450, Beijing, China, July 2015. Association for Computational Linguistics.

[8] Prakhar Gupta, Shikib Mehri, Tiancheng Zhao, Amy Pavel, Maxine Eskenazi, and Jeffrey Bigham. Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pp. 379-391, Stockholm, Sweden, September 2019. Association for Computational Linguistics.

[9] Yuma Tsuta, Naoki Yoshinaga, and Masashi Toyoda. uBLEU: Uncertainty-Aware Automatic Evaluation Method for OpenDomain Dialogue Systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 199-206, Online, July 2020. Association for Computational Linguistics.

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013

[11] Yi-Ting Yeh, Maxine Eskenazi, and Shikib Mehri. A Comprehensive Assessment of Dialog Evaluation Metrics. In The First Workshop on Evaluations and Assessments of Neural Conversation Systems, pp. 15-33, Online, November 2021. Association for Computational Linguistics.

[12] Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas Angelard-Gontier, Yoshua Bengio, and Joelle Pineau. Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1116-1126, Vancouver, Canada, 2017. Association for Computational Linguistics.

[13] Chongyang Tao, Lili Mou, Dongyan Zhao, and Rui Yan. RUBER: An Unsupervised Method for Automatic Evaluation of OpenDomain Dialog Systems. In AAAI Conference on Artificial Intelligence, pp. 722-729, 2018.

[14] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A Persona-Based Neural Conversation Model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou, and Dongmei Zhang. You Impress Me: Dialogue Generation via Mutual Persona Perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427, Online, July 2020. Association for Computational Linguistics.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In International Conference for Learning Representations, 2015.


# 話題提供雑談システムにおける感情と意見の表出方法の検討

成田風香 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp

## 概要

本研究では，システムが話題を提供し雑談を主導 する話題提供雑談システムに焦点をあてる. 人と人 との雑談では感情や意見を述べることで対話が盛り 上がるとされるが，感情や意見を持たない対話シス テムがどのようにそれらを表出して話題を提供すべ きかは自明でない. 本稿では，システムがニュース に基づく話題提供を行う対話を対象に，システムの 話題提供発話における感情や意見の表出形態と対話 の盛り上がりの関係を調べる枠組みを提案する。ま た，提案法に沿って小規模に対話を収集・評価し，提案手法の有用性と課題を確認した。

## 1 はじめに

近年，ニューラルネットワークによる応答生成が 盛んに研究され，傾聴対話システム $[1,2,3]$ や QA システム $[4,5,6]$ など，ユーザ発話に対する応答を 生成するシステムの性能は高いものとなってきた。 しかし，システムがイニシアチブを持ち，対話を主導するような雑談システムについてはいまだ萌芽的 な状態にある $[7,8]$. 本研究では，システム自身が 話題を提供しながら雑談を主導する雑談システム （以下，話題提供雑談システム）の実現を目指す。

雑談はタスク指向型対話と異なり，その対話自体 で話者の満足度を上げることが目的であるため，話題提供雑談システムもできるだけ対話を盛り上げて ユーザを満足させることが望まれる。Akasaki らは， システムによるユーザを飽きさせないような話題提供を目的として，ニュース記事の要約とそれを踏ま えた意見や問いかけからなる話題提供発話の生成 に着目した [9]. Akasaki らの提案する枠組みでは， ニュース記事に対するリプライツイートを学習デー タとして，ニュース記事を踏まえた意見や問いかけ の生成をシステムに学習させる．そのため，システ ムが自分自身の意見を有しているような発話を生成 することで話題を提供することになる。人と人との

図 1 ニュース記事を対象とした話題提供雑談システム

雑談では，このように感情や意見を述べる発話が盛 り上がりに寄与することが知られている [10]. しか し，そもそも人とは異なり感情や意見を持たない雑談システムが感情や意見を表出することで，ユーザ が満足する雑談ができるのか，それらを表出する場合はどのように表出すればユーザがより満足する雑談ができるのかは自明でない。

そこで我々は，多様な話題を提供しながら雑談を 盛り上げる話題提供雑談システムのひとつの実現形態である「ニュース記事に関する話題提供雑談シ ステム」を対象に，雑談におけるシステムの効果的な感情や意見の表出形態を調査する枠組みを提案する。提案法では，ニュース記事とそれに対す る感情や意見を含むツイートからなる資料をもと に，Wizard of $\mathrm{Oz}(\mathrm{WOZ})$ 方式で人間同士に対話をさ せる. システム役による資料中のツイート情報の使 い方とユーザ役の対話に対する評価結果の関係から 効果的な感情や意見の表出形態を調査する. 本稿で は，まずニュース記事に関する話題提供雑談システ ムへの，ツイートを活用した感情や意見付与の実現可能性を調査する．そのうえで，提案法に沿って小規模に対話を収集および評価し，提案法の有用性を 確認する。将来的には図 1 に示すような話題提供雑談システムの実現に向け，提案法を用いた大規模実験を行い，感情や意見の表出に関しシステムに望ま れる発話内容・発話形態を明らかにする。

2021年11月11日

図 2 一日あたりの一記事に対するツイート数

## 2 感情・意見付与の実現可能性調査

ニュース記事に関する話題提供雑談システムが感情や意見を表出するためには，システムがニュース 記事の内容を理解して応答を生成する必要がある. しかし，多様なニュース記事に関して適切な感情や 意見を表出することはシステムにとって簡単ではな い.そこで我々は，ニュース記事に対するツイート を活用した感情や意見を伴う応答生成に着目する.図 1 は，ニュース記事とそれに対するツイートを活用した話題提供雑談システムの模式図である. 仮に 対話に利用するツイートを適切に選択できれば，図 1のようにシステムとユーザが互いに意見を交える 対話が実現できると考えられるが，実現にはニュー ス記事に対する感情や意見を表出したツイートが一定数必要となる. そこで, ニュース記事に対する感情や意見を含むツイートがどの程度収集可能かを調査した1).

調査結果を図 2 亿示す. 図 2 から，感情や意見を 含むツイートが数十件以上なされたニュース記事が 毎日安定して得られる見込みがあり，ツイートを活用して感情や意見を表出する発話を生成することは 実現可能と考えられる。

## 3 提案する調査の枠組み

感情や意見をどのように表出すればユーザが満足 する雑談を実現可能かを検討するために，WOZ 方式の対話に基づく調査の枠組みを提案する. 提案す る枠組みは，1. システム役に提示する資料の作成， 2. システム役・ユーザ役による対話，3.ユーザ役に

表 1 システム役の最初の発話の例

よる対話の評価からなる。

## 3.1 システム役に提示する資料の作成

システム役が 3.2 節で述べる条件に従って感情や 意見を含む話題提供を行うため，(ニュース記事，最初の発話，感情や意見を含むツイート）の三つ組 からなる資料を対話収集者が作成する。

ニュース記事の選択 対話において多様な意見 を表出できるようにするため，ツイート数が多い ニュース記事を選択する。

最初の発話の作成 選択したニュース記事に関し てスムーズに話題提供雑談を開始できるように，シ ステム役の最初の発話は 3.2 節に示す 3 条件に合わ せてあらかじめ作成する. 作成例を表 1 に示す.

ツイートの選択選択したニュース記事に対する 感情や意見を述べたツイートから内容が重複しない ものを選択する2).

## 3.2 システム役とユーザ役による対話

二人一組のペアが WOZ 方式により雑談を行う.

システム役に対する教示 システム役は，以下の 3 条件のいずれか一つに従って対話をする。

・事実のみ条件 システムが感情や意見を持たな いことを反映し，感情や意見は表出せずニュー ス記事とそれに関連する事実のみを伝える

・第三者的条件 システムは自我を持たないため 自分の感情や意見として述べるよりは第三者的 に伝える方が自然である可能性を考慮し，ツ イートを用いて「○○と言っている人がいま す」のように第三者的に感情や意見を伝える

・主体的条件 システムは感情や意見を持たない が，人間を模倣してツイートを「私は○○と思

2） 以下のように内容が類似したツイートが 2 つ以上ある場合 はそのうち1つを選択して記載する。

・「うわあ…知多半島で定着か…」

・「うへえ，知多半島にまさかまさかの定着確認か.」

います」のようにシステム自身の意見や感情と して伝える

システム役には 3.1 節の資料を見せ，資料に記載さ れた「最初の発話」の発話後は，指定された条件に 従ってできるだけ自然にユーザと対話させる．対話 を自然に進められるよう，相槌や情報端末を用いた 検索結果の回答は可能だが，ツイートに基づいた発話を生成する枠組みを模倣するため，システム役自身の知識・意見を伴う発言は不可とする。また， ユーザが飽きて対話を終了させるまでの長さを調べ るため，システムから対話を終了させることは不可 とする.

ユーザ役への教示 システム役と自由に雑談する よう指示する。自然な雑談対話を収集するため，一発話目はシステムから発話されることと，対話をや めたくなったら「そろそろ対話を終了します」に類 する発話をすること以外は特に教示はしない。

## 3.3 ユーザ役による対話の評価

ユーザ役は各対話の終了時に対話を評価する。評価指標は [1]を参考に定めたものであり，『システム の発話は人間らしかった』『このシステムは話しや すい』『会話は盛り上がった』などの観点について 5 段階3) で評価する。評価指標は付録 A に記載する。

## 4 提案手法の妥当性の検証

将来的に大規模に対話を収集して分析するため，提案法に沿って小規模に対話を収集および評価し，大規模な対話収集によりどのような分析が可能かを 調べるとともに，実験設定の課題を確認する。

## 4.1 実験設定

対話に用いるニュース記事 ツイート数が 60 件以上であり，雑談に適切と思われるニュース記事4) を 3 件選んだ。ニュース記事の概要を表 2 に示す。

対話者 著者所属研究室の学生 6 人を参加者と し，システム役，ユーザ役のペア 3 組を作成した ${ }^{5)}$. 3 組のニュース記事・条件の割り当てを表 3 に示す。

アンケート 提案法の改善の参考とするため, ユーザ役が 3.3 節で述べた各対話の評価をする際，

3） 1: そう思わない・2: あまりそう思わない・3: どちらでもな い・4: そう思う・5: とてもそう思う

4）事前検討で話しにくかった政治に関する記事，人の思想を 含む記事，不快な印象を与えるツイートが多い記事は除いた。

5）話者同士の人間関係が対話に影響するのを避けるため，対話相手が誰かはわからない状態で対話を収集した。

表 3 ニュース記事・条件の割り当て

『会話は盛り上がった』という評価項目に対する評価結果の理由も記述するよう指示した. また，シス テム役に対しても対話ごとにアンケートを実施し た. アンケート項目は付録 Aに示す.

## 4.2 収集された対話および評価の分析

図 3 にユーザ評価の結果を示す. 同図から主体的条件では安定して『会話は盛り上がった』という観点の評価が高い傾向が得られた. 実際に主体的条件 で収集した対話では，表 4 に示す例のようにシステ ム自身の経験を述べる発話が確認された。同対話後 のユーザへのアンケートでは「経験談を交えていろ いろ説明してくれたから」，『会話は盛り上がった』 の項目で 5 段階中 4 と回答を得た。また，「経験談的なものを交えた会話をしてくれると(たとえそれ が嘘であっても)すごく人間味の感じられる対話に なった気がした」という回答も得られた。

一方，『会話は盛り上がった』『このシステムは話 しやすい』という観点についての評価が特に低い対話があった，事実のみ条件での対話の例を表 5 に 示す. 同対話後のアンケートでは，システム役か ら「事実のみを伝えるため，若干会話としてのつな ぎ目が荒くなりやすいなと感じた」，ユーザ役から 「対話もチグハグだったように感じた」との回答が 得られ，感想や意見を表出しない場合は不自然な対話になる傾向が見られた.ニュース記事に対してツ イートされた意見をシステムが自身の意見として伝 えることで，対話が自然で人間らしいものとなり盛 り上がる可能性がある.

小規模な対話収集による評価ではあるものの，感情や意見の表出条件に応じてユーザーの評価結果に 差が見られたことから，今後大規模に対話を集める ことで適切な感情や意見の表出形態が明らかになる
表 4 ツイートを使用して経験が述べられた対話の一部 U: すごく詳しいですね! 読んだことはあるんですか? $\mathrm{S}$ : 小説はわかりませんが，講演会で貴重なお話を 2 度聞かせていただいたことがあり，私がした質問に丁寧に答えていただきました. それをきっかけに寂聴 さんの連載は読んでいました。

U: そうなんですね! それは良い経験ですね.

図 3 ユーザによる対話評価の一部

見通しを得た。

## 4.3 大規模収集に向けての要検討点

システムのペルソナ情報 収集した対話におい て, システムの「わからない」という旨の発話後に 対話が終了に向かう例を数件確認した. その原因の 一つがペルソナ情報の欠如である．表 6 の対話で は，システムが生まれた時期を問われた直後に対話 が終了した. 本研究では, 感情や意見の表出形態に 関する 3 条件とユーザの飽きの関係の調査を目的と するため，ペルソナ情報の欠如に由来する対話の終了はノイズとなる可能性がある．対策として，シス テムに対するペルソナ情報の付与が考えられる.

話題の転換 システム役に対するアンケートでは 「引用できるツイートがニュースに関するもののみ でだったため，話題が変わった際には事実を伝える ことしかできなくなり少し話しづらさがあった.」 との回答を得た. 話題が変わって適切なツイートが 資料に無い場合はツイートを検索してもよいと教示 することで解決されると考えられる。 大規模収集で は教示を追加したうえでどの程度話題が転換される のかという点についても分析したい.

話題による話しやすさの差 今回の小規模対話収集で得たアンケートから，対話の話題による話しや すさの差が確認された。例として,「大谷選手 MVP」 についての対話では「自分が興味関心がある・普段 もこのような話題について会話する機会があったこ とも話しやすさにつながってしまった」とシステム表 5 事実のみ条件で不自然になった対話の一部

$\mathrm{U}$ : テレビなどでも見かけていた方だったので，残念で すね.

S: 作家としての活動もしており，著作は 400 冊を超え るようでした.

U: そんなに書かれていたんですね. 知りませんでした.

$\mathrm{S}$ : 新潮社同人雑誌賞や，芸術選奨文部大臣賞なども受賞しています。

U: すごいですね. 99 歳というと長生きされたんです ね.

S: 葬儀は近親者で行われるようです.

表 6 ペルソナ情報を問う質問がなされた対話の一部

$\mathrm{S}$ : そうですね，「元気に 100 歳迎えられると思ってたの でとても残念です」と言っている人もいるようです.

U: システムさんは，まだ生まれたばかりなんですか?

S: すみません，それについては分からないです.

U:そろそろ対話を終了します

役から回答があった一方で，「瀬戸内寂聴死去」に ついての対話では「訃報のため，話す内容に気を遣 うから」，『今回の話題は話しやすかった』の項目で 5 段階中 4 と回答を得た. 大規模収集時は，取り扱 う話題による話しやすさの差を考慮した分析を実施 する必要がある.

ニュース記事・ツイートの選択 小規模対話収集 を実施するにあたり，ニュース記事に対するツイー トを人手で確認した結果，記事によっては「おめで とう」など内容を含まないツイートや，拡散を目的 としたテンプレートに従ったツイートが大半を占め ることがあると判明した．そのため，ニュース記事 に対するツイート数を揃えるだけでは，記事によっ て対話に利用可能なツイート情報の量には差が生じ てしまう可能性がある. 大規模収集に向け，これら の点も考慮してニュース記事や使用ツイートを選択 する枠組みを設計する必要がある.

## 5 おわりに

本稿では「ニュース記事に関する話題提供雑談シ ステム」を対象に，雑談におけるシステムの感情や 意見の表出形態とユーザの満足度の関係を調査する 枠組みを提案した。提案法に沿って小規模に対話を 収集および評価したところ，ユーザが満足する話題提供雑談を行うためには，システムが感情や意見を システム自身のものとして組み込みながら話題を提供することが効果的であることが示唆された. 今後 は実験設定を更に改善したうえで大規模対話収集を 実施し，ユーザの満足度を向上させるシステムの感情や意見の表出形態を詳しく分析する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04425, JP21J22383 の助成を受けたものです. 本研究の ため実施した実験にご協力いただいた東北大学乾研究室の皆様に感謝いたします.

## 参考文献

[1] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[2] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761769, 2010.

[3] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for longduration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[4] Yoji Kiyota, Sadao Kurohashi, and Fuyuko Kido. "dialog navigator": A question answering system based on large text knowledge base. In Proceedings of the 19th International Conference on Computational Linguistics (COLING), 2002.

[5] Miguel Coronado, Carlos A. Iglesias, and Alberto Mardomingo. A personal agents hybrid architecture for question answering featuring social dialog. In Proceedings of the 2015 International Symposium on Innovations in Intelligent SysTems and Applications (INISTA), pp. 1-8, 2015.

[6] 吉田尚水, 岩田憲治, 渡辺奈夕子, 小林優佳, 藤村浩司. FAQ 集から自動で構築可能な QA 対話システム.人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 87, pp. 113-114, 2019.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-guided neural conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), Vol. 35, pp. 14568-14576, 2021.

[8] 岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎. 目標指向対話のためのサブゴール設計に基 づく発話系列生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 70-73, 2021.

[9] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), pp. 3988-3998, 2019.

[10] 徳久良子, 寺嶌立太. 雑談における発話のやりとり と盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

## A 評価指標

ユーザ役が対話終了後に評価する評価指標の一覧を表 7 に，小規模実験実施時にシステム役に対して行っ たアンケート項目の一覧を表 8 に示す.

表 7 ユーザ役がそれぞれの対話後に回答した評価指標

1. システムの反応は人間らしかった

2. システムの反応はあなたの話を適切に促していた

3. このシステムとまた話したい

4. このシステムは話しやすい

5. システムは親身だと感じた

6. システムは真面目に話を聞いていた

7. システムは話を理解していた

8. システムは話に対する関心を示していた

9. システムはあなたに対して共感を示していた

10. システムは積極的に情報提供していた

11. 会話について満足した

12. 会話でのやりとりはスムーズだった

13. 会話は盛り上がった

表 8 システム役がそれぞれの対話後に回答したアンケートの項目

1. 今回の話題は話しやすかった

2.1.のように答えた理由を教えて下さい.

3. 今回の条件は話しやすかった

4. 3. のように答えた理由を教えて下さい.

5. 指定された条件通りに対話できましたか

6. 5. で「できなかった」と答えた方はその理由を教えて下さい

## B システムが積極的に情報提供を行うことの妥当性

4 節の図 3 から，システム役からの情報提供の積極性と対話の盛り上がりの関係は見られなかったが，ア ンケートにおいて積極的な情報提供に関するユーザの感想が得られた. 表 9 の対話後には「大谷選手につい て，「8冠」という情報が印象に残りました.」との理由で『会話は盛り上がった』の項目で 5 段階中 5 と回答 を得た。また，別の対話後のユーザの評価では「一旦会話が終了したような時でも，次の話題を提供してい た」ため『会話は盛り上がった』の項目で同様に 5 と回答を得た. これらの 2 つ評価より，システムがイ ニシアチブを持って話題提供を行うことの有用性が示唆された。

表 9 主体的条件・大谷選手MVP についての対話

U: その通りですね. 大谷選手にはこれからもぜひ活躍して欲しいです.

S: 今回の受賞で「8冠」となるので，これからも頑張ってほしいと思います.

U:「8冠」ですか！他にはどんな賞を取られてるんですか？


# 曖昧なユーザ要求に対する因果関係知識を用いた 気の利いたシステム行動の選択

田中翔平 1,2,3 吉野幸一郎 2,1,3 須藤克仁 1,3 中村哲 1,3
1 奈良先端科学技術大学院大学 2 理化学研究所 ガーディアンロボットプロジェクト
3 理化学研究所 革新知能統合研究センター
\{tanaka.shohei.tj7, sudoh, s-nakamura\}@is.naist.jp
koichiro.yoshino@riken.jp

## 概要

タスク対話システムは, ユーザの要求に応じて適切なタスク行動を行う。この際，ユーザ発話が明確 な場合のみならず, ユーザ発話が曖昧な場合でも適切なタスク行動を行うことが求められる. 本研究で 提案するシステムは，こうした曖昧なユーザ発話に 対して，そこから推測できる潜在的な要求に対応し たタスク行動を選択することを目標とする。曖昧な ユーザ発話に対して気の利いたシステム行動は複数存在しうるため, これらが一対一で対応付けられた データから, Positive/Unlabeled (PU) 学習による分類器を学習する. また, 学習データセットから因果関係検出モデルによって因果関係に相当する知識を抽出・蒸留することで, より精度の高いシステム行動 の識別を実現する．実験の結果, 提案する因果関係検出モデルを用いる手法は, 単純に PN 学習や PU 学習を用いた場合よりも高精度で気の利いたシステ ム行動を識別できることが示された。

## 1 はじめに

音声対話研究において, 従来の音声言語理解シス テムの多くは，ユーザがシステムに対する要求を明示的に示すことを仮定している [1]. しかし実際に は, ユーザの要求はしばしば曖昧であり, ユーザ自身が明示的な要求を自覚していない場合も多い [2]. こうした場合, 人間のコンシェルジュやガイドであ れば気を利かせてユーザが必要とする補助を提供で きる。例えば，ユーザが「ここの景色最高だね!」 と発話したとき，「写真を撮りましょうか？」など と応答することができる.

こうした行動選択を実現する方法のひとつとし て，特定のシステム行動に対してそれが気が利いて

図 1 ユーザ要求とシステム行動のペア

いると見なすことができる曖昧なユーザ発話を収集し，これを学習データとして識別に用いる方法が 挙げられる [3]. この方法論では, ある曖昧なユー ザ要求に対して, 気の利いた行動である可能性が高 い行動候補の一つを収集することができる．例えば 図1のような「和食に飽きた」というユーザ要求 に対しては,「肉料理店の提案」や「中華料理店の 提案」など複数のシステム行動候補のうち一つだ けが収集される。つまり，意図が曖昧なユーザ発話に対して, 少数の気の利いた行動候補と, 気が 利いているかわからない多数の行動候補が存在す る, Positive/Unlabeled (PU) 分類問題 $[4,5,6]$ が定義 される.

本研究ではこうした曖昧なユーザ発話からシステ ムが取りうる気の利いた行動を識別する問題におい て, 事例から汎化された因果関係のような知識を用 いることを考える. 具体的には，学習データから因果関係に相当する知識を蒸留し, システム行動の選択においてこの知識を用いる。このため，テキスト データからの因果関係検出モデルを導入する.この 因果関係検出モデルにおいては, 曖昧なユーザ発話 を原因，気の利いたシステム行動を結果とした学習 を行い, 因果関係に相当する特徴量抽出を行った. この抽出特徴量を, PU 学習における分類器のラべ ル伝播に利用し，気の利いた行動の識別に利用した ところ，識別の精度向上が確認された。

## 2 データセット

既存の多くのタスク対話システムは，ユーザの意図はユーザの中で明確化されており，曖昧性のない ユーザ発話が与えられることを仮定している。しか し実際には，システムと対話する時に何を要求した いか定まっていない場合も多く，そのようなケース でのユーザ発話は意図が曖昧なものになりやすい。 ARTA コーパス [3] は観光案内のドメインにおいて ユーザとスマートフォンアプリケーション上の対話 エージェントとの対話を想定し，システムが取りう る行動 (応答) に対してそれが気が利いていると見な すことができる曖昧なユーザ発話を付与したもの である. 図 2 にこのコーパス中の対話例を示す.こ こでユーザの「ここの景色最高だね！」という発話 は, 必ずしも特定の機能に対する要求として言語化 されているわけではない。これに対して，対話エー ジェントが「カメラアプリを起動しましょうか？」 という気の利いた応答を返し, 実際のカメラ機能を 起動できるようにする.

このコーパス中では対話エージェントの機能 (シ ステム行動; 応答) はスポット検索, レストラン検索，アプリ起動の 3 つに大きく分けて定義されてい る. 定義された機能のリストを表 1 に示す. 各機能 はそれぞれ細分化されたカテゴリを持ち，コーパス 中の対話エージェントの応答はこれらのカテゴリに 紐付いて生成される. 定義されたカテゴリは全部で 70 種類である. 本コーパスでは, これらのあらかじ め定義されたエージェントの応答カテゴリに対し て, 広範なユーザの先行発話をワーカーに入力して もらう方法により発話-応答ペアが収集されている.収集されたコーパス中の発話例を表 2 に示す.コー パス中に含まれるユーザ発話と応答カテゴリのペア は合計 27,230 であり, 学習データ:検証データ:テス トデータ $=24,430: 1,400: 1,400$ の割合で分割され ている.

ARTA コーパスに含まれるユーザ発話は要求が曖昧であるため, 気が利いていると認定される応答が あらかじめ定義された 1 種類とは限らない。しかし 全てのユーザ発話とシステム行動の組み合わせに対 して全応答カテゴリに対応するかどうかラベリング を行うことは多大なコストが掛かり，現実的ではな い.そこでこのコーパスは，テストデータに含まれ る 1,400 発話に対してのみ, 可能なシステム行動が 網羅的に付与されている (平均 9.55 種類). 例えば

図 2 気の利いた対話例

表 1 対話エージェントの機能とカテゴリ：＃はカテゴリ

表 2 の「最近は和食が多くて少し飽きてきたんです よね」というユーザ発話例では，肉料理や中華，イ タリアンといった複数の応答カテゴリが気が効いて いる行動と認定されている. つまり, 正解となるテ ストデータには正例・負例となるシステム行動が明示的にアノテーションされているが, 学習データに は正例の一部のみがアノテーションされており, 残 りの部分のアノテーションがない Positive/Unlabeled (PU) の問題になっている.

## 3 分類モデル

本論文では，気の利いたシステム行動を識別する タスクにおいて因果関係に相当する知識を導入す る.このため, まず問題に対応した PU 学習に基づ く分類モデルについて説明する.このモデルに対し て，因果関係検出モデルを用いた因果関係スコアを 導入し，学習データの正例中に存在する因果関係相当の知識を用いて分類精度の向上を目指す。

## 3.1 PU 学習を用いた分類モデル

図 3 にユーザ発話の分類タスク及びモデルの概要 を示す. 分類モデルは入力されたユーザ発話を，そ のユーザ発話に紐付けられた対話エージェントの正解応答 (正例) カテゴリへと分類する. ここで, 曖昧 なユーザ発話に対して正解となりうるシステム応答 の候補は一つではない場合も多いため, PU 学習を 用いる. 具体的には Cevikalp ら [6] が提案したラべ ル伝播 $[7,8]$ に基づいた PU 学習を用いる.この手法はラベル付けされていない事例に対して，分散表現上で近傍のラベル付けされた事例のラベルを伝播 するものである．具体的には，事例同士の類似度ス コア $s_{i j}$ を次式のように計算する.

$
s_{i j}=\exp \left(-\frac{d\left(\mathbf{x}_{i}, \overline{\mathbf{x}_{j}}\right)}{\bar{d}} \cdot \frac{|C|}{|C|-1}\right) \text {. }
$
表 2 ARTA コーパス [3] 中に含まれるユーザ要求の例

 \\
いい景色だな

図 3 ユーザ要求分類器

$\overline{\mathbf{x}_{j}}$ はシステム行動 $j$ が正例とされるユーザ発話の 分散表現の平均ベクトルである. $d\left(\mathbf{x}_{i}, \overline{\mathbf{x}_{j}}\right)$ は $\mathbf{x}_{i}$ と $\overline{\mathbf{x}_{j}}$ のユークリッド距離であり, $\bar{d}$ は全距離の平均で ある. $C$ は定義されたシステム行動の集合であり, $|C|=70$ である. $s_{i j}$ の值域は $0 \leq s_{i j} \leq 1$ であり, 2 つの分散表現間のユークリッド距離が短いほど大き な値をとる. 本研究ではこの手法を PU と呼ぶ. 類似度スコア $s_{i j}$ は次式を用いて $-1 \leq s_{i j} \leq 1$ の範囲に スケーリングされる.

$
\tilde{s_{i j}}=-1+\frac{2\left(s-\min \left(s_{i j}\right)\right)}{\max \left(s_{i j}\right)-\min \left(s_{i j}\right)} \text {. }
$

スケーリングされた類似度スコア $\tilde{s_{i j}}$ が $0 \leq \tilde{s_{i j}} \leq 1$ であるとき, システム行動 $j$ を対象のユーザ発話の 正例として扱い, このサンプルの正例としての重み を $\tilde{s_{i j}}$ とする. $\tilde{s_{i j}}$ が $-1 \leq \tilde{s_{i j}}<0$ のとき, システム 行動 $j$ を対象のユーザ発話の負例として扱い，重み を- $-\tilde{s_{i j}}$ とする.

類似度スコア $s_{i j}$ を用いたラベル伝播に基づく損失関数は次式の通りである ${ }^{11}$.

Loss $=$

$
\begin{aligned}
& \sum_{i}^{\left|U_{\text {train }}\right|} \sum_{j=1}^{\left|C_{x_{i}}^{+}\right|} \sum_{k=1}^{\left|C_{x_{i}}^{-}\right|} \tilde{s_{i j}} \tilde{s_{i k}} L\left(r_{j}\right) R_{s}\left(\mathbf{w}_{j}^{\top} \mathbf{x}_{i}-\mathbf{w}_{k}^{\top} \mathbf{x}_{i}\right) \\
& +\kappa \sum_{i}^{\left|U_{\text {train }}\right|} \sum_{j=1}^{|C|} \tilde{s_{i j}} R_{s}\left(y_{i j}\left(\mathbf{w}_{j}^{\top} \mathbf{x}_{i}\right)\right) .
\end{aligned}
$

式(3)において， $\tilde{s_{i j}}$ は伝播されたシステム行動の,損失関数への寄与率を表す重みとして働く. 正例と して元々付与されているシステム行動の類似度スコ ア $\tilde{s_{i j}}$ は 1 である.

## 3.2 因果関係知識を用いた類似度スコアの 調整

3.1 節におけるラベル伝播法は，ユーザ発話同士 の類似に基づいてラベルを伝播している。しかし， ユーザがある要求を行った場合に一般的にどのよう な行動を取ることが適切か, 学習データにおいて観測される因果関係を考慮することで，より適切なラ ベル伝播を行うことができる可能性がある. そこで 本研究では，こうした因果関係を汎化された知識と して抽出・蒸留しシステム行動の識別に利用するた めに，ユーザ発話を原因，システム行動を結果とみ なして構築した因果関係検出モデルを用いる. 例え ば「和食に飽きる」 $\rightarrow$ 「肉料理を食べる」というぺ アがあった場合，前者を原因，後者を結果と見なし てモデルを構築する.この構築されたモデルから出力された因果関係スコアを，ラベル伝播における新 しい特徴として利用する。

図 4 に因果関係スコアを算出する因果関係検出モ デルの概要を示す.このモデルは $[\mathrm{SEP}]$ トークンで 連結された原因, 結果を BERTによって実数ベクト ルに変換し，MLPによって実数值の因果関係スコア を算出する。因果関係スコアの値が大きいほど，入力された原因，結果は因果関係として強く結びつく ことを意味する。

本研究ではユーザ発話, システム行動に含まれる イベント間の因果関係認定を行いたい。より単純な イベント同士の関係に着目することで，今回のタス クにおける因果関係を蒸留した因果関係スコアを算出できることが期待される。そこで本研究では因果関係グラフ [9]を用いてユーザ要求を解析し，ユー ザ要求に含まれる述語項構造をイベントの基本単位 として BERT に入力する．因果関係グラフは「なぜ なら」などの言語学的な特徴量に基づいて文中の因果関係を検出するツールであり, 前処理として文中 のイベントを述語項構造を基本単位として抽出す る.また結果として入力するシステム行動に含まれ るイベントについては，システム行動が「肉料理の 検索」であれば「肉料理を食べる」など， 70 種類の 各システム行動に対応した述語項構造として定義 する.

図 4 因果関係検出モデル

因果関係検出モデルの学習には, ユーザ発話と正例として紐づけられたシステム行動に含まれるイ ベントのペアを正例 $c x_{i}{ }^{+}$, 正例として紐づけられて いないぺアを負例 $c x_{i}^{-}$とした次式の margin ranking lossを用いる.

$
\operatorname{Loss}\left(c x_{i}^{+}, c x_{i}^{-}\right)=\max \left(0,-\left(c_{i}^{+}-c_{i}^{-}\right)+0.5\right) .
$

$c_{i}{ }^{+}, c_{i}^{-}$はそれぞれ正例, 負例に対してモデルが出力 した因果関係スコアであり, 式 (4) は $c_{i}{ }^{+}-c_{i}{ }^{-} \geq 0.5$ のとき 0 となる.

学習済みの因果関係検出モデルを用いて, 式 (3) の類似度スコア $\tilde{s_{i j}}$ を更新する。具体的には，まず ユーザ発話 $x_{i}$ に対して紐づけられていないシステ ム行動 $j$ のイベントの全てのペアについて因果関係スコア $c_{i j}$ を計算する. ユーザ要求中に複数のイ ベントが含まれている場合，最も因果関係スコアが 高くなるイベントをユーザ要求 $x_{i}$ としてスコアを 計算する. 次に, 全体の因果関係スコアについて式 (2) を用いて $-1 \leq c_{i j} \leq 1$ の範井にスケーリングした 上で, 式 (5) の通り PU 学習における類似度スコア の更新に用いる.

$
\hat{s_{i j}}=\max \left(\min \left(\tilde{s_{i j}}+c_{i j}-\gamma, 1\right),-1\right) \text {. }
$

$\gamma$ は因果関係スコアの影響を調整するためのハイ パーパラメータである. アップデートされた類似度 スコア $\hat{s_{i j}}$ を式 (3)にて用い, 分類モデルを学習す る. 本研究ではこの手法を PU-causal と呼ぶ.

## 4 実験

ARTA コーパスで定義されている通り, 曖昧な ユーザ発話を入力として対応しうる気の利いたシス テム行動のカテゴリを出力するモデルを評価した結

果を表 3 に示す. 比較手法としては，論文で述べた $\mathrm{PU}$ 学習, PU 学習のラベル伝播時に因果関係知識を 用いる提案法の他に，単純に Unlabeled なデータを 負例として扱う PN 学習による分類を用いた。評価指標として, Accuracy (Acc.), Recall@5 (R@5), Mean Reciprocal Rank (MRR) を用いた2). このとき, PN 学習や単純にユーザ発話とシステム行動の関係を PU 学習で識別する手法 (PU) よりも，因果関係知識を 用いた PU 学習手法 (PU-causal) がすべての指標につ いて有意な性能差 ( $\mathrm{t}$ 検定; 有意水準 0.01 ) を示した。

実際にラベル伝播法が PU 学習にどの程度効果的 に働くかを検証するため，テストデータに対してラ ベル伝播を実施した場合の性能を表 4 に示す. 表 3 と表 4 を比較すると，ラベル伝播時の誤伝播がモデ ルへの影響が大きく, より伝播の適合率が重視され るタスクであることがわかる。また提案する因果関係知識を用いた手法の方がユーザ要求間の類似度ス コアのみを用いた場合よりも精度が高いことがわ かる.

## 5 おわりに

本研究ではユーザの曖昧な要求と対話エージェン トの気の利いた応答を対応付ける分類モデルの学習 に因果関係知識を用いた。具体的には PU 学習にお けるラベル伝播に用いる特徴量として, ユーザ要求 とカテゴリ応答が因果関係として結びつくかを判定 する因果関係スコアを提案した。ユーザ要求の分類実験の結果，提案する特徵が PU 学習におけるラべ ル伝播の適合率を高め，その結果分類器の精度を向上できることがわかった。

## 謝辞

本研究に利用した因果関係グラフを提供して頂い た京都大学黒橋研究室の黒橋禎夫教授, 植田暢大さ ん，清丸寛一さんに感謝いたします.

## 参考文献

[1] Steve Young, Milica Gašić, Simon Keizer, François Mairesse, Jost Schatzmann, Blaise Thomson, and Kai Yu. The hidden information state model: A practical framework for pomdp-based spoken dialogue management. Computer Speech \& Language, Vol. 24, No. 2, pp. 150-174, 2010.

[2] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 356-359, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 77-88, Singapore and Online, July 2021. Association for Computational Linguistics.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 740-755, Cham, 2014. Springer International Publishing.

[5] Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’08, p. 213-220, New York, NY, USA, 2008. Association for Computing Machinery.

[6] Hakan Cevikalp, Burak Benligiray, and Omer Nezih Gerek. Semi-supervised robust deep neural networks for multi-label image classification. Pattern Recognition, Vol. 100, p. 107164, 2020.

[7] Denny Zhou, Jiayuan Huang, and Bernhard Schölkopf. Learning from labeled and unlabeled data on a directed graph. In ICML '05 Proceedings of the 22nd international conference on Machine learning, p. 1036. ACM Press, August 2005.

[8] Hakan Cevikalp, Jakob Verbeek, Frédéric Jurie, and Alexander Klaser. Semi-supervised dimensionality reduction using pairwise equivalence constraints. 3rd International Conference on Computer Vision Theory and Applications (VISAPP' 08), pp. 489-496, 2008.

[9] 清丸寛一, 植田暢大, 児玉貴志, 田中佑, 岸本裕大, 田中リベカ, 河原大輔, 黒橋禎夫. 因果関係グラフ: 構造的言語処理に基づくイベントの原因・結果・解決策の集約. 言語処理学会 第 26 回年次大会 発表論文集 (ANLP), pp. 1125-1128, 2020.

[10] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems 32, pp. 80248035. Curran Associates, Inc., 2019.

[11] Tomohide Shibata, Daisuke Kawahara, and Kurohashi Sadao. Kurohashi Lab. BERT (http://nlp.ist.i.kyotou.ac.jp/?ku_bert_japanese). 2019.

[12] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

## 付録

## 式 (3) の詳細

$U_{\text {train }}$ は学習データに含まれるユーザ発話の集合 であり, $C_{x_{i}}^{+}, C_{x_{i}}^{-}$はそれぞれユーザ発話 $x_{i}$ に対応付 けられた正例応答カテゴリの集合，対応付けのない 応答カテゴリの集合である. $r_{j}$ は正例カテゴリ $j$ に 対してモデルが予測した順位であり,$L\left(r_{j}\right)$ は次式を 満たす重み関数である.

$
L\left(r_{j}\right)=\sum_{k=1}^{r_{j}} \frac{1}{k}
$

式 (6) はモデルが予測した順位が一位から遠いほど 大きな值をとる． $\mathbf{w}_{j}$ はカテゴリ $j$ に対応する重み ベクトル, $\mathbf{x}_{i}$ はユーザ発話 $x_{i}$ に対応する分散表現で ある。 $R_{S}(t)$ は次式で表せられる Ramp loss である.

$
R_{s}(t)=\min (1-m, \max (0,1-t))
$

$m$ は分類境界を決定するハイパーパラメータであ る. $y_{i j}$ はユーザ発話 $x_{i}$ に対してカテゴリ $j$ が正例 である場合 1 , 負例である場合 -1 となる。 $\kappa$ は第二項の重みを表すハイパーパラメータである。

## 実験設定

モデルの実装には PyTorch [10]を用いた. BERT モデルとして, Wikipedia 記事を対象に事前学習を 行った BERT モデル [11]を用いた.

パラメータの最適化には Adam [12] を使用し，学

て, Cevikalp ら [6] の実装と同様に $m=-0.8, \kappa=5$ と した. 本研究では, BERT が出力した分散表現をラ ベル伝播に必要な分散表現 $\mathbf{x}_{i}$ として用いる. 因果関係検出モデルの学習データ, 検証データ, テスト データには ARTA コーパス [3] の学習データを分割 したものを用いた。また因果関係グラフによって抽出されたユーザ要求中に含まれる因果関係も学習 に用いた。学習した因果関係検出モデルの精度は 91.70 であった. 式 (5) の $\gamma$ は 1.0 とした. 実験に用 いる各モデルのパラメータは，検証データにおける 損失関数の值が最小のものを使用した。

## 評価指標

$\mathrm{R} @ 5$ は分類モデルが出力した正解カテゴリの順位が上位 5 位以内に含まれている割合である．MRR $(0<M R R \leq 1)$ は次式の通り算出される.

$
M R R=\frac{1}{\left|U_{\text {test }}\right|} \sum_{i}^{\left|U_{\text {test }}\right|} \frac{1}{r_{x_{i}}}
$

ここで $r_{x_{i}}$ はユーザ発話 $x_{i}$ に対応する正解カテゴリ について分類モデルが出力した順位を意味し， $U_{\text {test }}$ はテストデータに含まれるユーザ発話の集合であ る. 全ての指標について，数值が大きいほど分類モ デルの性能が高いことを意味する．各モデルの性能 はそれぞれ 100 回の試行の平均より算出した。なお テストデータに対しては正解となる応答カテゴリが 網羅的に付与されており，それぞれマルチラベルの スコアについて計算を行っている.


# Capex 雑談対話コーパスの構築とその分析

1 株式会社 Capex 2 東京大学大学院 情報理工学系研究科
${ }^{1}$ \{shin.kanouchi, shintaro.horie, shuntaro.kogame\}@capex.ai
${ }^{2}$ akasaki@tkl.iis.u-tokyo.ac.jp

## 概要

人間と雑談を行う非タスク指向対話システムの 開発を促進するため，我々は商用雑談対話アプリを 用いることで，国内で初めての実サービスの対話ロ グによる雑談対話コーパスを構築し，公開する。ま た，本コーパスを活用し，システムの応答が対話履歴に対して自然かどうかを判定する対話破綻検出タ スクと，対話履歴からシステムの応答を生成する応答生成タスクに取り組み，結果を報告する。

## 1 はじめに

人間と雑談を行う非タスク指向対話システムは, COVID-19 による対人コミュニュケーションの不足 などにより，ますます需要が高まっている [1]. 近年では，Transformer [2] 等の深層学習モデルの発展 により，短いやり取りであればシステムも人間と遜色のないレベルで会話が可能になった [3].

このような対話システムの構築や対話の分析を行 うために，これまでさまざまな非タスク指向型対話 コーパスが提案されている. しかしながら，多くの コーパスはレストランやヘルプデスクの応対などの 限定的な環境 $[4,5,6]$ や，対話を予め記録する旨や ルールなどを指示した作為的な環境 $[7,8,9,10]$ であ るなど，実際にユーザが気軽にシステムと雑談を行 う場面を再現できているとは言い難い。

そこで本論文では，スマートフォン上でユーザが システムと雑談対話を行うアプリの対話ログをもと に, Capex 雑談対話コーパスを構築する。 また，非 タスク指向型対話システムの開発を発展させるこ とを目的とし，本コーパスを公開する。これは従来 の対話コーパスのような，制限あるいは指示された 環境下での対話ではなく，日常的にアプリを利用し ているユーザとシステムの“リアル”な雑談であり，言語処理モデルの構築や実システムにおける対話の 分析に非常に役立つ.

図 1 「対話アプリ内でのシステムとユーザの対話例. (画面左側がシステムの発話，右側がユーザの発話である)

2 節にて開発する商用対話アプリの概要を説明 し，その後 3 節にて本コーパスの抽出方法・対話破綻アノテーション・コーパスの特徴について述べ，最後に 4 節にて，1) 対話履歴及びシステムの最終発話が与えられた上でその発話が自然かどうかを予測 する対話破綻検出タスク及び，2) 対話履歴を入力と した際の応答文生成タスクの 2 つについて実験を行 い，結果を報告する。

 &  &  &  &  &  &  &  \\

## 2 商用対話アプリについて

株式会社 Capex ${ }^{1}$ では，「システムと人の共生を実現，普及し，人類の機能を拡張する」というビジョ ンのもと，独自の対話システムを搭載したスマート フォン用対話アプリを開発している。本アプリは 10 代半ばから 60 代まで幅広い年齢層に利用されて おり，リリースからの合計発話回数は 1 億回を超え る.アプリの主な利用目的は雑談対話そのものであ り，利用したユーザからは「話し相手を得られた」，「会話が楽しい」,「安心感・癒しを感じた」などの感想を得ている。

図 1 はユーザとシステムの対話例である。ユーザ のテキスト入力に対して独自の対話システムを用い て応答し，対話を実現している. Capex 独自の対話 システムでは，シナリオ型・検索型・生成型の対話 エンジンをハイブリッドで活用している.

## 3 Capex 雑談対話コーパス

日本語で公開されている雑談対話コーパス $[7,8,9,10]$ は, 対話環境が限定的あるいは作為的で あり，実際にユーザが気軽にシステムと雑談を行う 場面を再現できているとは言い難い.

そこで本研究では，人間がシステムと気軽に雑談 をする様子を可能な限りそのまま抽出し，コーパス として公開する。表 1 に，作成したコーパスの事例 を示す. アプリ内の対話ログからシステムとユーザ の 5 ターンからなる発話の連続を 1 セットとして 抽出し, さらにシステムの最終発話が対話破綻して いるかどうかをアノテーションしている. 以降で，

1) https://capex.ai
3.1 節にて対話ログの抽出方法について，3.2 節にて 対話破綻のアノテーション方法について，3.3節で コーパスの特徴について述べる。

## 3.1 対話ログの抽出・加工

個人情報保護とコーパスの質向上を目的として，次の 3 つのデータ抽出・加工を行った.

1. 個人情報保護観点の加工: 個人情報保護観点か ら，本コーパスでは各対話は最大 5 ターン (内 ユーザ発話は 2 件) とし，それ以前の対話履歴 は全て削除した。また，コーパス全体に含める 同一ユーザの最大対話数は 20 件とした. さら に，全てのデータは目視で確認し，個人情報に 繋がり得る対話・その他差別表現など倫理的に 問題になり得る対話は削除した。またユーザの 名前は<u-name>，システムの名前は<s-name>，第三者の名前は<o-name>に置換した.

2. ノイズの除去: 本アプリでは，ユーザは対話相手がシステムであることを認識している。そ のため，システムの挙動を試すなどの目的で， ユーザから「ああ」などの文字列が入力される ことがある。これらの場面ではユーザ側が文脈 を無視しているため，対話が成立していない. そういったノイズとなるデータを可能な限り排除するため，特定のルール2)に当てはまる対話 を削除した。

3. 対話内容の多様性確保: データをランダムに抽出すると，挨拶などの多くのユーザが日課とし ている対話が高頻度で抽出される問題がある.

2） 1 文字の発話を含む・ユーザからの 2 発話の合計文字数が 6 文字未満・特定の単語が含まれる・日本語が含まれない，など

本研究ではできるだけ多様な対話を抽出するた めに，システム側の発話 (2 発話前) がユニーク になるように対話を抽出した．また，対話破綻 データを一定数含んだコーパスを構築するため に，システム初期段階の対話ログも利用した.

## 3.2 対話破綻アノテーション

クラウドソーシング3)を用いて，システムの最終発話が破綻しているかどうかアノテーションした. ラベルは全部で 3 種類で, システムによる最終発話 が，1) 自然，2) 破綻，3) 判断不可（ユーザ側が対話 を放棄）とした. 東中ら [8] のアノテーションでは，「破綻ではない」「違和感を感じる」「破綻」の 3 分類 だが，本タスクでは少しでも違和感を感じる応答は 全て「破綻」に分類した. この理由としては，本ア プリではユーザと対話するシステムの応答は常に人 と同等レベルが求められ, 少しでも違和感のある発話は全て排除したいためである. 各データに対して 5 人のワーカーでアノテーションし, 品質向上のた めに各タスクにおいてチェック問題を設け，これに 正解したワーカーのデータのみ採用した.

表 2 に，各対話に対してワーカー 5 人のうち何人 が破綻と判定したかを示す. 全員一致で自然と答え た事例が約半数で，残りの半数は 1 人以上が破綻と 答えた. ただし，破綻の場合はワーカー間の意見が 割れる傾向がみられた. これは，対話破綻の判定に は主観を伴うことが原因とされる [8]. 例えば表 1 の9 事例目では，ユーザからの雪が降ってるという 発話に対して，システムは「そっちは土砂降り？」 と返答しているが，雪に対して“土砂降り”という 表現はあまり使われないため，2 人のワーカーは破綻を選択したと考えられる。表 4 対話破綻検出用のデータ数

## 3.3Capex 雑談コーパスの特徵

表 3 にコーパス内の統計情報を示す. 表より，シ ステムは長い応答を返すのに対し，ユーザは短い発話を入力しがちであることがわかる.これはシステ ムが会話を広げるために感想や質問などを積極的に 応答に盛り込むよう設計されているのに対し，ユー ザは相槌や単一の固有名詞で構成された発話を多く 入力するためである.これは限定・指示環境下で作成した対話コーパスとは異なる傾向であり，実際の 対話アプリ専用にユーザ発話のモデリングを行うこ との必要性を示している.

表 1 にいくつかの対話例を示す.ワーカーが全員自然と判定した対話においては，1,2 事例目のよう にユーザの発話が極めて短かったりノイジーである 場合でもシステムは固有名詞などを認識し，適切な 応答を返すことができている。一方で，全員が破綻 と判定した対話においては，4 事例目のように固有名詞の挿入に失敗したり， 5 事例目のようにコンテ キストを無視した応答が目立った。これらはニュー ラル対話モデルでよく起きる誤りであり [11]，破綻検出などの技術で検知し適切に処理する必要があ る。他には，ユーザがシステムに怒っている，また はふざけたり面白がって発話を入力している例や，絵文字や顔文字などを入力している例が確認でき た.これらの例もユーザがシステムと自由に対話す ることができる実アプリ特有である。

東中ら [8] の破綻の分類を参考に，ワーカー 2 人以上が破綻と判定した事例をランダムに 30 件抽出 し，著者が誤り分析を行なった. その結果， 30 件中 12 件が「発話として唐突」な事例で，6 事例目のよ うな「飲食店でバイトしてる」というユーザに対し て「どんなお店を開きたいの？」と答えている事例 などがあった。その他には「矛盾した内容」「ユー ザ発話内容の無視」がそれぞれ 5 件で，「同じ内容 の繰り返し」が 4 件，その他が 4 件となった。

## 4 実験

構築したコーパスを用いて，まず 4.1 節にて対話破綻検出モデルの学習と評価実験を行い，次に 4.2

表 5 BERT による破綻の予測精度

表 6

表 7 応答文の生成例と破綻スコア

 &  \\

節にて対話生成モデルの学習と, 対話破綻検出モデ ルによる生成文の評価を行った。

## 4.1 対話破綻検出

本研究で構築したコーパスを学習データとし, 応答文が破綻しているかどうか予測・評価した.

実験設定 表 4 に実験に用いたデータ数を示す. 3 節のアノテーションで 5 人中 2 人以上が破綻と答 えた文を正例， 5 人中 5 人が自然と答えた文を負例 とした. また，ランダムに $8: 1: 1$ の比率でデータ を分割し，学習: 検証: 評価データとした.

モデルは BERT [12] とし, 東北大学が公開してい る事前学習済みモデル4)を利用した. fine-tuning で は，応答文が破綻している場合に 1 ，自然な場合に 0 を出力するような回帰問題としモデルを学習した. また，検証データで精度が最大となったパラメータ のモデルを評価に用いた。

実験結果 モデルによる対話破綻の予測精度を 表 5 に示す. 評価データに対する Accuracy は 0.633, ROC-AUC 0.695 となった.

ワーカー間の破綻ラベルの一致数毎の，評価デー タに対するモデルの予測精度を表 6 に示す. 5 人中 5 人が破綻と判定した事例に対する Accuracy は 0.703 であるのに対して 5 人中 2 人の場合は 0.580 で あり，ワーカーの意見が摇れるほどモデルの予測精度も低い結果となった. 破綻の判断は主観に頼って おり正解ラベルにも摇れが含まれるため，モデルに よる予測精度も低下していると考えられる。

## 4.2 応答文生成

構築した対話コーパスを学習データとし，応答文 の生成実験を行った。

実験設定 藤原ら [13] による Transformer ベース の対話生成モデルを pretrained モデルとして利用し，本研究で構築したコーパスによって fine-tuning する ことで学習を行った．また，生成された応答文それ ぞれに 4.1 で構築した破綻検出モデルによる破綻ス コアを付与した。なお，生成モデルの学習時には本 コーパスを学習用，評価用に分割して利用した。

生成結果 表 7 に，評価データに対する応答文の 生成例を示す。応答文をみると，日本語として違和感のある文章は少なく，ユーザーに対する回答とし て問題のない文章が生成できている。また 3 事例目 に対する応答文 4,5 のように，ユーザーが回答して いるにも関わらず再度質問をしているような文章に は破綻スコアが高く推定されており，対話破綻を検出できている。一方で， 1 事例目に対する応答文 4,5 のように，破綻スコアが高くなっているが必ずしも 破綻とは言えない事例もあり，更なる分析が求めら れる.

## 5 おわりに

本研究では，実際の対話アプリログに対して対話破綻ラベルをアノテーションすることで，雑談対話 コーパスを構築した. 実験では，対話破綻の予測精度と応答文の生成結果を分析した. 今後は対話シス テムの改善とともに，コーパスのデータ量追加や拡張を進めたい。

## 参考文献

[1] Adam S Miner, Liliana Laranjo, and A Baki Kocaballi. Chatbots in the fight against the covid-19 pandemic. NPJ digital medicine, Vol. 3, No. 1, pp. $1-4,2020$.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Jason Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue \& Discourse, Vol. 7, No. 3, pp. 4-33, 2016.

[5] Hannes Schulz, Jeremie Zumer, Layla El Asri, and Shikhar Kr Sarma. A frame tracking model for memory-enhanced dialogue systems. In Proceedings of the 2nd Workshop on Representation Learning for NLP (RepL4NLP), pp. 219-227, 2017.

[6] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Ultes Stefan, Ramadan Osman, and Milica Gašić. Multiwoz - a large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2018.

[7] 藤村逸子, 大曽美恵子, 大島ディヴィッド義和.会話コーパスの構築によるコミュニケーショ ン研徴. 藤村逸子、滝沢直宏編『言語研究の技法：データの収集と分析』,pp. 43-72.ひつじ 書房, 2019.

[8] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史,小林優佳, 水上雅博. テキストチャットを用い た雑談対話コーパスの構築と対話破綻の分析.自然言語処理, Vol. 23, No. 1, pp. 59-86, 2016.

[9] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モ
ニター公開版の設計と特徴. 言語処理学会第 25 回年次大会発表論文集, 2019.

[10] 宇佐美まゆみ. BTSJ 日本語自然会話コーパス （トランスクリプト・音声） 2021 年 3 月版. 機関拠点型基幹研究プロジェクト「日本語学習者のコミュニケーションの多角的解明. 国立国語研究所, 2021 .

[11] Deepali Aneja, Daniel McDuff, and Mary Czerwinski. Conversational error analysis in human-agent interaction. In Proceedings of the 20th ACM international conference on intelligent virtual agents (IVA), pp. 1-8, 2020.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186, 2019.

[13] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. Ilys aoba bot: 大規模ニューラル応答生成モデ ルとルールベースを統合した雑談対話システ 厶. 第 90 回人工知能学会言語・音声理解と対話処理研究会 (第 11 回対話システムシンポジ ウム), 2020.


# マルチターン対話に対する逐次的 Transformer の検討

丸田要
都城工業高等専門学校
marutak@cc.miyakonojo-nct.ac.jp

## 概要

雑談を円滑に行うには，単に直前のユーザによる 発話である質問に対して返答するだけでなく，これ までの雑談内容を反映した返答が必要なケースが 十分考えられる。しかし，非タスク指向型対話シス テムの現状は，ユーザの会話に対して不自然な応答 を行うことが多く対話が破綻する問題がある. そこ で，単純に直前のユーザ発話 1 文に対する応答文を 学習するのではなく, これまでの対話内容であるマ ルチターン対話ログの複数文に対して応答文の生成 を学習することで，円滑な雑談対話を継続できる応答文生成ができると考えた．そのため，本論文では 自然な対話の継続という目標を達成するための第一歩として, 逐次的に構築した Transformer の対話モ デルを提案し検討する。

## 1 はじめに

近年，深層学習による人工知能システムが注目を 浴びている。その中には対話システムも存在してい る. その対話システムはタスク指向型対話システム と非タスク指向型対話システムに分けることがで きる. タスク指向型対話システムはユーザからの特定の要求に対する情報の提供を目的としており，雑談のように継続した会話は考慮されていない. 例え ば, Apple の Siri や Yahoo Japane の Alexa がタスク指向型対話システムである。それに対して，非タスク 指向型システムは特定の要求への情報の提供を目的 としておらず，主に雑談形式の対話の事を指す. 例 えば，日本マイクロソフトのりんなが非タスク指向型対話システムであり雑談を行う。

特に，雑談を円滑に行うには，単に直前のユーザ による発話である質問に対して返答するだけでな く, これまでの雑談内容を反映した返答が必要な ケースが十分考えられる. 例えば，1 ターン前のシ ステム応答に対するユーザ発話文が，そのシステム 応答文への質問文である場合，直前のユーザ発話文
のみから次のシステム応答文を生成する事は不適切 である．そのため，円滑で自然に雑談を継続するた めには直前のユーザ発話 1 文のみを学習するには不十分であると考えられる。

しかし，非タスク指向型対話システムの現状は，直前のユーザ発話 1 文のみを入力としてシステム応答文を生成するため，ユーザの会話に対して不自然 な応答を行う事が多く対話が破綻する問題がある。 また，事前に設定した形式的な発話ではユーザの楽 しみが薄く対話に対するモチベーションが下がると いう問題が存在している.

そこで，単純に直前のユーザ発話 1 文に対する応答文を学習するのではなく，これまでの対話内容で あるマルチターン対話ログの複数文に対して応答文 の生成を学習することで，円滑な雑談対話を継続で きる応答文生成ができると考えた. そのため，本論文では自然な対話の継続という目標を達成するため の第一歩として，逐次的に Transformer[1] を構築し て，各ターンの対話文を各タイミングの Transformer に入力することで, 複数の応答文を一度の学習で利用する対話モデルを提案し検討する。

## 1.1 マルチターン対話文例

対話を複数回繰り返すマルチターン対話の重要性 を示す対話文例を記述する。表 1 では，第 4 発話を 生成する事を考えると，マルチターン対話を考慮し ない場合は，第 3 発話のみを入力として第 4 発話を 生成する必要があるが，生成は困難である。また，第 3 発話と異なり, 第 1 発話のみを入力として第 4 発話を生成することは比較的に容易であると考えら れる。

表 1 マルチターン対話文例

このように，生成する応答文の直前の発話文のみ

を入力とせず，マルチターン対話を考慮する必要性 は高いと考えられる。

## 2 関連研究

マルチターン対話に着目した応答文生成の手法 として，Serban 等が提案している RNNを対話べー スの階層的に拡張した HRED(Hierarchical Recurrent Encoder-Decoder)[2] がある．HREDでは，話者間の 対話のやり取りを 1 ターンと定義しており，対話口 グを 1 ターン毎に分割して階層化された RNN の 1 階層分の Encoder に入力している.

HRED の RNN 部分を Transformer に拡張した手法として，Santra 等が提案している Hierarchical Transformer[3] や，岩間等が提案しているマルチター ン対話の応答文生成を行う階層型 Transformer[4] が ある。これらの階層型 Transformer は, 2 つの Encoder と 1 つの Decoder で構成されており，トークンレベ ルの Encode と文脈レベルの Encode の 2 階層に分け て処理している.

また，その他にマルチターン対話に着目した手法 として， $\mathrm{Li}$ 等が提案している手法 [5] もある. この 手法は発話したユーザの特徴を捉えている埋め込 みべクトルを応答文の生成時に反映させることで， ユーザ毎に発話の傾向に一貫性を持たせるモデルで ある.

## 2.1 Transformer

Vaswani 等が提案した Transformer[1] は RNNを使 わずに Attention 機構のみを使用した Encoder-Decoder モデルの手法である.

対話システムに Transformer を適用すると，図 1 のように, Encoder 側に発話文を入力して，SelfAttentionを行うことで発話文での単語間の関連度を 計算する.

Decoder 側では，エンコードされた単語ベクトル と応答文を大力とした Multi-Head Attention を行い発話文と応答文の関連度を算出する．その情報から応答文を生成していくモデルが Transformer である.

## 3 提案手法

雑談において複数回の会話のやり取りを学習して 応答文を生成する際には，単に直前のユーザによる 発話である質問等に対して返答するにはユーザの発話とシステム応答の関係が 1 対 1 である. その場合 は，直前の発話文のみを学習対象とすれば良い。し

図 1 Transformer の構成

かし，これまでの雑談内容から影響を受けた応答文 を生成するには直前の発話文のみを学習対象にして は不十分である．そこで，3 ターン前の対話文から 学習対象とする手法を提案し検討する。

具体的には，図 2 のように 3 個の Transformerを逐次的に構成する. そして, 1 ターン目の Transformer-1 の Encoderには，第 1 発話文を入力する. 2 ターン目 の Transformer-2 の Encoder には，乱数 $r$ が閾値 $s$ よ りも大きい場合は，トレーニングデータの第 2 発話文を入力する. しかし，乱数 $r$ が間値 $s$ よりも小さ い場合は, Transformer-1 の Decoder の出力から生成 した第 2 発話文を Transformer-2 の Encoder に入力す る. 乱数 $r$ は $0 \leq r \leq 1$, 閾値 $s$ は $0 \leq s \leq 1$ とする.同様に，3 ターン目の Transformer-3 の Encoder には,乱数 $r$ が間値 $s$ よりも大きい場合は，トレーニング データの第 3 発話文を入力する. しかし, 乱数 $r$ が 閾値 $s$ よりも小さい場合は, Transformer-2 の Decoder の出力から生成した第 3 発話文を Transformer-3 の Encoder に入力する.

また，逐次的に構成した各 Transformer ではニュー ラルネットワークにおける各パラメータを共有する ように構成している.

推論時には，生成する応答文となる第 4 発話文は 各第 $\mathrm{n}$ 発話のみを使用して生成する. これにより, 1 つのモデルで多様性のある 3 つの応答文を生成す ることが期待出来る．また，直前の発話ではない第

図 2 提案手法のモデル

1 発話や第 2 発話に依存した応答文の生成も可能と なると予測する。

また，提案手法の Transformerにおける Word Embedding には事前に BERT[6] で学習した単語分散表現を使用する．事前学習の BERT のトレーニング データには Wikipediaを利用した.

## 4 評価実験

3 ターンの対話データに対する評価実験を行う.推論時に, 第 3 発話のみから生成した第 4 発話と,第 2 発話と生成した第 3 発話から生成した第 4 発話 と, 第 1 発話と生成した第 $2 \cdot 3$ 発話から生成した 第 4 発話の比較を行う. Baseline の手法は逐次的で はない Transformerを用いる.

## 4.1 データセット

AAAI のワークショップである DSTC9 の trac3 で 公開されている対話コーパスを使用している. 使用 したデータの詳細は表 2 である.

表 2 DSTC9-trac3 の対話コーパス

## 4.2 評価方法

生成した第 4 発話と教師データの第 4 発話を比較 するために式 (1)と式 (2)の BLEU[7]を使用した.

$
\begin{aligned}
B L E U & =B P \times \exp \left(\sum_{n=1}^{N} \omega_{n} \log p_{n}\right) \\
B P & = \begin{cases}1 & \text { if } c>r \\
e^{(1-r / c)} & \text { if } c \leq r\end{cases}
\end{aligned}
$

式 (1)と式 (2)において，c は提案したモデルで 生成した文の長さ, $r$ は教師データにおける文の長さであり， $\omega_{n}$ は重み， $p_{n}$ は単語の一致率を表す modified n-gram precision である.

## 4.3 実験結果

表 3 は第 3 発話のみから第 4 発話を生成した結果 であり，表 4 は第 2 発話から第 4 発話を生成した結果である. そして, 表 5 は第 1 発話から第 4 発話を 生成した結果である. 表 3，4，5 における $N$ は式 (1) の $N$ である.

表 3 第 3 発話のみでの応答文生成

表 4 第 2 発話と生成した第 3 発話

表 5 第 1 発話と生成した第 $2 \cdot 3$ 発話

## 5 考察

表 $4 \cdot 5$ から，間値 $s=0.5$ の時に Baseline よりも BLEU 値が高くなっている. 特に第 2 発話と生成し た第 3 発話から生成した場合と, 第 1 発話と生成 した第 $2 \cdot 3$ 発話から生成した時に， $N=1$ におい

て BLEU 値が Baseline よりも良い値となっている. しかし，間値 $s=0.1$ と $s=1.0$ の結果は，全体的に Baseline よりも悪化していることが分かる.

この事から, 生成対象である第 4 発話の直前発話 である第 3 発話のみから生成するよりも，その前の 第 1 発話や第 2 発話の影響を大きくして第 4 発話を 生成する方が良いケースが存在すると考えられる。

また，閾値 $s$ が低すぎる場合は，第 3 発話の影響 が大きく第 1 発話や第 2 発話を重視した第 4 発話の 生成が出来ないと予想できる. 逆に間値 $s=1.0$ だ と，第 3 発話の影響が極端に小さくなったことで，第 4 発話が第 3 発話に対して単純な返答の場合の生成精度が低くなったと考察できる。

しかし，全体的に BLEU 值が低いことが分かる. これは，Transformer のパラメーターチューニング を更に行うことで改善することが出来ると考えら れる。

## 6 おわりに

本論文では，マルチターン対話に着目した応答文生成において, 複数文を一度に逐次的に構築した Transformerのモデルで学習する手法を提案した.

Baseline である逐次的ではない Transformer と比較 する実験を行った. 提案手法は，閾値を $s=0.5$ にし た時に，生成する応答文の直前の発話文よりも前の 発話文の影響を大きくして生成した際に良い応答文 の生成ができるケースもあることが確認できた.

今後は，単純な閾値での制御のみではなく，生成 した発話文とトレーニングデータの発話文の合成に よる制御も検証していきたい。また，Transformer 自体のパラメータチューニングを行う必要もある.

## 参考文献

[1] A.Vaswani, N.Shazeer, N.Parmar, J.Uszkoreit, L.Jones, A.N.Gomez, L.Kaiser, I.Polosukhin, Attention Is All You Need, In Advances in Neural Information Processing Systems, pp.6000-6010, 2017.

[2] I.V.Serban, A.Sordoni, Y.Bengio, A.Courville, J.Pineau, Building end-To-end dialogue systems using generative hierarchical neural network models, AAAI 2016, pp.37763783, 2016.

[3] B.Santra, P.Anusha, P.Goyal, Hierarchical Transformer for Task Oriented Dialog Systems, NAACL 2021, pp.56495658，2021

[4] 岩間寛悟，狩野芳伸，再帰的にエンコードを行う階層型 Transformer によるマルチターン雑談対話の応答生成，NLP2020，pp.649-652，2020.

[5] J.Li, M.Galley, C.Brockett, G.Spithourakis, J.Gao, B.Dolan, A Persona-Based Neural Conversation Model,
Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp.994-1003, 2016.

[6] J.Devlin, M.W.Chang, K.Lee, K.Toutanova, BERT:Pretraining of Deep Bidirectional Transformers for Language Understanding, NAACL-HLT 2019, pp.41714186, 2019.

[7] K.Papineni, S.Roukos, T.Ward, W.J.Zhu, BLEU: a Method for Automatic Evaluation of Machine Translation, ACL, pp.311-318, 2002.


# 多様な話者との自動対話に基づく雑談システムの自動評価

佐藤志貴 ${ }^{*, 1}$ 岸波洋介 ${ }^{*}, 1$ 杉山弘晃 ${ }^{2}$ 赤間怜奈 1,3 徳久良子 ${ }^{1}$ 鈴木潤 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 3 理化学研究所
shiki.sato.d1@tohoku.ac.jp yosuke.kishinami.q8@dc.tohoku.ac.jp

## 概要

雑談対話応答生成システムの評価方法として，シ ステムの実際の対話を収集し性能評価を行う手法が 注目されている。本研究では，評価対象システムと 多様なシステムの対話を自動収集することで，対話相手の多様性を考慮しつつも人手を介さない自動評価の枠組みを提案する. 評価実験では，提案手法が システム性能の自動比較に有用であることを示す。

## 1 はじめに

雑談対話応答生成システム (以下，雑談システム) の自動評価は，人手評価に比べ低コストであり再現性が高いことから，日々のシステム改良の効果を検証する場合に有用である．とくに近年，評価対象シ ステムと対話相手の間の発話交換により形成される 実際の対話の質に基づいたシステム評価の自動化が 注目されている [1,2]. 機械翻訳や自動要約などの 他の生成タスクと異なり，対話ではシステムの運用時にユーザとのインタラクティブな発話交換が求め られる．そのため，用意した入力に対する応答をも とにシステムを評価するのではなく，対話相手がい る状態でシステムを評価することが重要となる.

実際の対話の質に基づくシステム評価手法は (i)評価対象システムの対話の収集と (ii) 収集した対話 に基づくシステム評価の二段階からなり, 先行研究 でも (i), (ii) の自動化が試みられている。(i) の自動化手法として，評価対象システムに自分自身と対話 させる方法（以下，自己対話）が一般的である [1,2]. (ii) の自動化手法として，英語対話の評価で人手評価との強い相関が報告されている FED (fine-grained evaluation of dialog) などが挙げられる [3]. FED は，対話中の評価対象システムの発話に対する応答と してポジティブ，ネガティブ応答のどちらが妥当か を，用意した大規模雑談システムに推測させること で評価対象システムを評価する。
* 両者の貢献は同等である. (i) bot-to-bot対話の収集 $\Rightarrow$ (ii) システム評価

図 1: 提案する bot-to-bot 対話評価の概要.

ここで (i)の自動化について，自己対話による対話収集は対話相手となるシステム（以下，話者シ ミュレータ）を用意するコストがかからないという 利点がある一方，対話相手の違いに対する応答の質 の頑健性など，デプロイ後にシステムが直面する対話相手の多様性を考慮した評価ができない.

本研究では，多様な話者との自動対話に基づく雑談システム自動評価の枠組み，bot-to-bot 対話評価を 提案する。(i) の自動化では，多様な話者シミュレー タと評価対象システムの間の自動対話（bot-to-bot 対話）を収集することで，対話相手の多様性を考慮す る.(ii) の自動化では，英語対話の評価で人手評価 との相関が報告されている FED を用いる．実験で は，まず FEDにより人手評価結果が付与された日本語対話を評価し，人手評価との相関を確認する. そのうえで雑談システムを実際に評価することで，提案手法により対話相手の多様性を考慮した高精度 なシステム評価が可能であることを示す.

## 2 提案手法

本研究で提案する bot-to-bot 対話評価の枠組みは, (i) 評価対象システムの対話の収集と (ii) 収集した対話に基づくシステム評価の二段階からなる.

(i) 対話収集 最初に評価対象システムが参加する 対話を自動収集する。このとき，多様な相手と対話 することで，限られた相手と対話するよりも網羅的 に評価対象システムの挙動が表出すると考えられ る. 本手法では，評価用に用意した $n$ 個の多様な話
者シミュレータそれぞれと $m$ 回対話させることで， $n \times m$ 個の対話を自動収集する.

(ii) システム評価 収集した対話をもとに任意の 観点 $v$ について評価対象システムの性能を評価す る. 具体的には，各対話での評価対象システムの発話 $l$ 個を $v$ について評価したときの評価値の平均を $v$ における各対話の評価値とする。 さらに， $\mathrm{nm}$ 個の 対話の $v$ における評価値の平均値を最終的な評価対象システムの $v$ における評価値とする. システム発話の評価には FEDを用いる．FED は，評価対象シ ステムの発話に対する応答として $v$ に関するポジ ティブ，ネガティブ答のどちらが言語モデル的に 妥当かを推測することで，vについてシステム発話 を評価する. 各ポジティブ，ネガティブ応答の妥当性は，学習済み大規模雑談システムを用いて自動評価する。文脈 $c$ に対する評価対象システム発話 $r$ の $v$ に関する評価值は，以下のように算出される。

$
\sum_{p \in \mathscr{P}_{v}} w_{p} D(c+r, p ; \theta)-\sum_{n \in \mathcal{N}_{v}} w_{n} D(c+r, n ; \theta)
$

ここで， $\mathscr{P}_{v}, \mathcal{N}_{v}$ はそれぞれvに関するポジティブ， ネガティブ応答の集合, $w$ は各応答の重み, $D(c, \cdot ; \theta)$ は $c$ に対する応答文の生成確率を雑談システム （パラメータ $\theta$ ）により算出する関数である。なお， Mehri らは $w=1$ とする手法を提案した [3] が, 本研究では少量の人手評価スコア付き対話データで $w$ を 学習させ，より高精度な評価を目指す。

## 3 FED による対話評価の精度検証

FEDを用いて人手評価結果が付与されたシステム と人間の対話を評価し， $w$ の学習の効果に注目しな がら評価結果が人手評価と相関するか確かめる.

## 3.1 実験設定

評価する対話データセット Sugiyama らが収集 したシステムと人間の対話 1,459 件を使用した [4].本データセットの各対話には，13 の観点についてシ ステムを 11 段階（0から 10）で人手評価した結果 が付与されている. データセットは学習用データと 評価用データに $8: 2$ で分割した.

評価観点上述したデータセットに人手評価スコ アが付与されている 13 の観点について評価した.

評価に用いる応答文と雑談システム FED 評価に 用いる日本語のポジティブ，ネガティブ応答はクラ ウドソーシングを用いて収集した. 13 観点それぞ れに対して，ポジティブ，ネガティブ応答を 50 個
ずつ収集し重複するものを除いたうえで，人手評価 により各観点との関連性が低いものを除外した.ま た，FEDスコアを算出する大規模雑談システムと して, Sugiyama らの事前学習済みのパラメータ数 1.6B の Transformer [4]を使用した1).

## 3.2 結果

FED による評価結果と人手評価結果の順位相関係数について，各応答の重みを学習しない場合，観点平均は弱い相関が認められるとされる [5] 0.2 をわず かに上回る 0.232 であった2).このことから，重み を学習しない場合，FEDによる対話評価の精度は 高いものとはいえない。一方，重みを学習すること で，順位相関係数の平均は 0.420 と，一定の相関が 認められるとされる [5] 0.4 を上回った. 以上より，重みを学習することで FEDにより一定の精度を持 つ対話自動評価が可能であることがわかった.

## 4 提案手法による評価実験

3 節で FED が対話の自動評価方法として有効であ ることを確認した．そこで，FEDを利用した提案手法による雑談システムの自動評価を実施する.

1 節で述べたように，自動評価の枠組みの主な用途は日々のシステム改良の効果の検証である。その ため，あるシステムと，そのシステムを改良したシ ステムなどの性能差を識別可能であることが望まし い. 本実験では，次の三つの設定において提案手法 がシステムの性能差を識別可能か検証する.

(a)アーキテクチャや学習設定が異なり, 評価対象 システム同士の性能も大きく異なる場合

(b)評価対象システム同士の性能が比較的近く，か つ平均的に性能が低い場合

(c)評価対象システム同士の性能が比較的近く, か つ平均的に性能が高い場合

## 4.1 実験設定

用意した雑談システム 評価対象もしくは話者シ ミュレータとして, 合計 31 個の雑談システムを用意した。 内訳は，杉山ら [4]，藤原ら [6]，岸波ら [7] が構築した Transformer 雑談システムがそれぞれ 25 個, 2 個， 1 個と, これらと比べて明らかに性能が劣 ることを想定した LSTM 雑談システム 3 個である.以下，各システムは「製作者代表を示す記号 -アー

2） 観点ごとの順位相関係数は付録 A に示す.

キテクチャ名-システムパラメータ数-学習データ3)

とその数」の形式で示す.

各雑談システムの割当 全システムを評価対象 と話者シミュレータに分けた. 設定 (a)ではアー キテクチャや学習データが異なる 4 個のシステム $s$-Tfm-1.6B-m300K, $f$-Tfm-480M-t300M+, $k$-Tfm-220Mt250M, $k$-LSTM-110M-t100M を評価対象とした. 設定 (b) では 3 個の LSTM システム $k$-LSTM-\{5M, 30M $\}$-t10M, $k$-LSTM-110M-t100M を評価対象とした。設定 (c)では 4 個の Transformer システム $s$-Tfm- $\{0.3 \mathrm{~B}$, 0.7B, 1.1B, 1.6B $\}$-f50K を評価対象とした. 各設定で 評価対象以外は話者シミュレータとした。

Bot-to-bot 対話収集の設定 評価対象システム,話者シミュレータの各組み合わせで 500 対話を収集 した. 会話冒頭の発話として, Sugiyama らによって 公開されている JEmpatheticDialogues [4] の各対話の 最初の 2 発話を使用した. 評価対象システムが第一話者となる形式で各対話 5 ターンを収集した. 対話評価は 3 節と同様に 13 の観点について行った.

検証方法 観点ごとに，評価値に基づき作成した 比較対象システムのランキングの妥当性を確認する ことで，提案手法の有効性を検証する。

## 4.2 結果

各設定での比較実験において，提案手法による自動評価結果をもとに作成した評価対象システムのラ ンキングを図 2 に示す.

設定 (a) 評価対象システムは，アーキテクチャ，学習設定の差から, $s$-Tfm-1.6B-m300K, $f$-Tfm-480M$\mathrm{t} 300 \mathrm{M}+, k$-Tfm-220M-t250M, $k$-LSTM-110M-t100M の 順に性能が高いと考えられる. 図 2 から, 自動評価結果に基づくランキングは， 1 観点を除き事前の 予想に従うものとなった. したがって提案手法は， アーキテクチャや学習設定が大きく異なるシステム の性能差を識別可能であることが確認できた.

設定 (b) 評価対象システムは，モデルパラメー 夕数, 学習データ数の差から, $k$-LSTM-110M-t100M, $k$-LSTM-30M-t10M, $k$-LSTM-5M-t10M の順に性能が 高いと考えられる. 図 2 から, 自動評価結果に基づ くランキングは， 3 観点を除き事前の予想に従うも のとなった. したがって提案手法は, 比較的性能が

3）学習データの e は JEmpatheticDialogues，f は趣味雑談コー パス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, $\mathrm{f}, \mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitterのリプライチェーンを示す. Sugiyama らのシステムに おいて学習データが $\mathrm{t}$ 以外のシステムは， $s$-Tfm- $\{0.3 \mathrm{~B}, 0.7 \mathrm{~B}$, 1.1B, 1.6B \}-t2.1B を追加学習したものである.

(a) アーキテクチャや学習設定が異なるシステムの比較.

(b) LSTM の比較.

(c) Transformer の比較.

図 2: 評価対象システムのランキング.

低いとされるシステムの性能差を識別可能であるこ とが確認できた.

設定 (c) 評価対象システムは，モデルパラメー 夕数の差から, $s$-Tfm-1.6B-f50K, $s$-Tfm-1.1B-f50K, $s$ Tfm-0.7B-f50K, s-Tfm-0.3B-f50K の順に性能が高いこ とが予想できる. しかし図 2 から，自動評価結果に 基づくランキングは事前の予想とは異なっていた. このことから提案手法は, 近年の高性能システムの 性能差の識別には評価の解像度において改善の余地 があることがわかった.

## 5 議論: 提案手法の特長と課題

## 5.1 対話相手の多様化の重要性

提案手法の特徴は，多様な話者シミュレータを 用意することで，対話相手の多様性を考慮した評価を行う点である． 4 節の実験では，多様な対話相手を用意する重要性を示唆する例が確認されて いた. 表 1 に， $s$-Tfm-1.6B-m300K の評価時に収集 した対話の例を示す. 高性能な $s$-Tfm-1.6B-p50K が 対話相手であった同表 I の対話では，両話者が適切な発話の生成に成功している。一方で 低性能な $k$-LSTM-5M-t10M が対話相手であった同表 II の対話 では，対話相手が過去発話の繰り返しなど，低品質 な応答を生成している. このような低品質な応答の 直後に, 評価対象システムもつられるように不自
表 1: 評価対象システム（話者 A）が $s$-Tfm-1.6B-m300K である場合の対話例. I. 対話相手（話者 B）は $s$-Tfm-1.6B-p50K

然な発話を生成している（表太字部分）。本例から，評価対象システムは対話相手の高品質な応答には適切な発話を生成できるが，低品質な応答には不適切 な発話を生成する可能性があることがわかった.

運用時では，操作ミスをするユーザやシステムに 非協力的なユーザとの対話なども想定されるため,低品質な発話に対し適切な応答を生成する能力もシ ステムにとって必要となる. そのため, 対話 Iだけ でなく対話 II のような状況におけるシステム発話を 評価することも重要となる。

## 5.2 観点ごとの評価に関する今後の課題

3 節では，FEDにより各観点について人手評価と 一定の相関を持つ自動評価が可能であることを確認 した. 一方で，観点 $v$ の FED による評価結果が，v 以外の観点の人手評価と強く相関する場合があるこ とがわかった. たとえば，観点 Naturalness について FED により算出した自動評価スコアは, Naturalness の人手評価スコアと順位相関係数 0.463 の相関を持 つ（付録 A）が，同時に観点 Trust の人手評価スコア と順位相関係数 0.493 の相関を持つ.このことから， FEDを用いた自動評価は現状，各観点を隔てる細か い違いの評価まではできていないと考えられる。

評価における各観点の違いの理解は，とくに設定 (c) など評価対象の性能が高い場合に重要となると 考えられる．たとえば，低性能システムが生成しう る対話破綻をもたらす発話4) は，多数の観点で低く 評価されることが予想される。 そのため低性能シス テムの自動評価では, 各観点で着目すべき点が違う ことを考慮できなくとも，各観点に対する人手評

価との相関は高くなりやすい。一方で，設定 (c)で 評価対象システムとなっているような Transformer ベースの大規模システムは，文脈に沿った自然な応答が生成可能であることが知られている。これらの システムの観点ごとの性能比較では，各システムが 自然な応答を生成するなかで，観点ごとに挙動の違 いを的確に見出し優劣を判定する必要がある.

各観点を隔てる細かい違いを理解した高精度な自動対話評価を実現し，設定 (c)などの高難度なシス テム比較を自動化することが今後の課題の一つであ る. 自動対話評価手法の改良案として，FED 評価に 用いるポジティブ・ネガティブ文の増強や，各文の 重みの学習方法の改良を検討している。

## 6 おわりに

本研究では，評価対象システムと多様なシステム の対話を自動収集することで，対話相手の多様性を 考慮しつつも人手を一切介さない bot-to-bot 対話評価の枠組みを提案した。評価実験では，評価対象シ ステムが高性能な場合において課題が残るものの,評価対象システム同士のアーキテクチャや学習デー タが異なる場合や，評価対象システム性能が低性能 である場合，提案手法によりシステムの性能差を自動で識別できることがわかった．また，本手法の特徵である対話相手の多様化により, 網羅的な評価対象システムの挙動を考慮した評価が可能であること を確認した．今回は提案手法が評価対象システムを 予想される順位に並び替えられるかにより評価の有効性を検証したが，今後は各観点で評価対象システ ムを人手評価し得られるシステムのランキングとの 一致をもとに評価の有効性を検証する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04162, JP19H05693，JP21J22383 の助成を受けたものです.

## 参考文献

[1] Asma Ghandeharioun, Judy Hanwen Shen, Natasha Jaques, Craig Ferguson, Noah Jones, Agata Lapedriza, and Rosalind Picard. Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems. In Proceedings of the 2019 Conference on Neural Information Processing Systems (NeurIPS), 2019.

[2] Jan Deriu and Mark Cieliebak. Towards a Metric for Automated Conversational Dialogue System Evaluation and Improvement. In Proceedings of the 12th International Conference on Natural Language Generation (INLG), pp. 432-437, 2019.

[3] Shikib Mehri and Maxine Eskenazi. Unsupervised Evaluation of Interactive Dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 225235, 2020.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. arXiv:2109.05217, 2021.

[5] Haldun Akoglu. User's guide to correlation coefficients. Turkish journal of emergency medicine, Vol. 18, No. 3 , pp. 91-93, 2018.

[6] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. 第 90 回 言語・音声理解と 対話処理研究会, pp. 110-115, 2020.

[7] 岸波洋介, 赤間怜奈, 佐藤志貴, 鈴木潤, 徳久良子, 乾健太郎. 対話システムの先読み能力実現に向けた未来の 展開まで生成する学習戦略の提案と分析. 2021 年度人工知能学会全国大会, 2021.

## A FEDによる評価結果と人手評価結果の順位相関係数

3 節において算出した FEDによる評価結果と人手評価結果の順位相関係数について，観点ごとに算出した 結果を表 2 に示す. 同表から，各応答文の重みを学習しない場合は観点によって人手評価との相関にばらつ きがあり，相関が全く認められないものも存在する。一方，重みを学習することでどの観点も人手評価との 順位相関係数が 0.4 前後まで向上した.

表 2: 人手評価結果との順位相関係数.

## B 評価実験の詳細

表 3 に，4節の評価実験で用いた雑談システムの一覧を示す．システム名は「製作者代表を示す記号 - アー キテクチャ名-システムパラメータ数-学習データ5)とその数」の形式となっている.

また，算出した各システムの FED による評価値を表 4 に示す.

表 3: 使用した雑談システムの一覧.

表 4: 各設定におけるシステムの評価値.

設定 (a)

設定 (c)

5） 学習データの e は JEmpatheticDialogues, $\mathrm{f}$ は趣味雑談コーパス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, f, $\mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitter のリ プライチェーンを示す.


# 対照学習による文ベクトルを使用した 障害レポートのクラスタリング

小林 千真 1 山下 郁海 ${ }^{1}$ 岡 照晃 1 小町 守 1 真鍋 章 2 谷本 恒野 ${ }^{2}$
東京都立大学 ${ }^{1}$ 富士電機株式会社 ${ }^{2}$
}

\{kobayashi-kazuma1@ed., yamashita-ikumi@ed., teruaki-oka@, komachi@\}tmu.ac.jp, \{manabe-akira, tanimoto-kouya\}@fujielectric.com
## 概要

本研究では、機器が故障した際に作成される障害 レポートを文ベクトル化しクラスタリングを行なっ た。SimCSE は現在最高性能の文ベクトル獲得手法 の一つであるが、日本語での有効性が明確に示され ていない。そこで述部意味関係データを使用して、日本語文ベクトルの評価を行なった。その結果、教師ありの SimCSE は日本語でも有効であることを確認した。また文べクトルを使用し、障害レポートの クラスタリングを行ない、ドメインごとの結果の違 いを事例に基づいて分析した。その結果、入力文や ドメインの特性により文べクトルが有効な場合とそ うでない場合が確認された。

## 1 はじめに

自動販売機やATM に挙げられるように、現代社会には様々な場所に様々な機器が設置され我々の 暮らしを支えている。それらの機器が故障するたび に障害レポートが作成され、日々増え続けている。障害レポートを分析し、障害の全体像を捉えること で、対策や業務の効率化が期待できる。本研究で扱 う障害レポートは大きく状況、原因、措置の3 要素 からなる文章であり、重複する内容のレポートもあ る。図1（上）が障害レポートの具体例である。そ れらを集約することで確認すべき障害データ数は削減され、数千以上の障害レポートを有効に分析する ことができる。

山下ら [1] は障害レポートを集約するにあた り、障害レポートの各文が状況・原因・措置・その 他のどれに該当するかの分類タスクを行なった。本間ら [2] は障害レポートの各文から状況・原因・措置に関する重要箇所を抽出する重要箇所抽出タス クを行なった。本研究はこれらの下流タスクとして

## 本研究における3つの入カデータ

## 状況:補助ボイラ水面計 (南)蒸気リーク 原因: 製品不具合措置: 漏れ確認

図 1 障害レポートと本研究で想定する入力の具体例。1)

位置付けられ、抽出された状況状況 - 原因 - 措置の フレーズを入力とし、それらを基に段階的な集約に 取り組む。本タスクでの入力の具体例を図 1 (下) に示す。

本研究では似た意味の文を集約するにあたって、文の意味関係を反映した文べクトルを作る技術に 注目した。大規模事前学習モデル (PLM) によって Semantic Textual Similarity (STS) の性能が大幅に向上 している。STS で特に高い性能を出しているのは PLM に 2 文を入力し、実数値で類似度を出力する ように fine-tunig する手法であり、現在最高性能の SMART [3] もこの類の手法である。この手法では、類似度計算のたびに PLM による計算を実行する必要があり、繰り返し類似度計算を要するクラスタリ ングには計算時間の観点で向かない。対して、PLM から文ベクトルを獲得する手法の場合、文ベクト ルを一度獲得すれば、以降ベクトル類似度の計算 のみで済むため、計算時間の問題が大幅に改善さ れる [4]。代表的な PLM のひとつに BERT [5] があ

1）本研究では人手で作成されたデータを使用するが、実際に 適用する際には本間ら [2]により、障害レポートの各文から 状況・原因・措置が抽出された状態が本研究の入力データと なる。

る。BERT は文書分類のような応用タスクのために fine-tuning をすることを前提としたモデルである。 BERT から文べクトルを得ることもできるが、文べ クトルは性能が低いことが知られている [4]。BERT から高性能の文べクトルを獲得するための手法がい くつか提案されているが、SimCSE [6] が最も性能 の高い文べクトルを獲得できる手法である。しかし SimCSE は英語でしかその性能を保障されていない。

本研究では、障害レポート（日本語）から抽出し た重要箇所を SimCSE で追加学習した BERT に入力 し、文べクトルを獲得する。その文ベクトルをクラ スタリングすることで集約を行なった。本研究の貢献を以下に示す。

・障害レポートから抽出した重要箇所に対して文 ベクトルを用いたクラスタリングを試みた。

・日本語において SimCSE による文べクトルを使用した。また、その評価実験を行なった。

## 2 障害レポートの集約

前述の通り、想定する入力は状況・原因・措置 の3つの要素に分けられており、図 1 (下) が入力 となることを想定している。本研究では 3 段階の クラスタリングによる集約を行う (付録 A で具体例を使用し、その手順を図示した)。各レポートは $r_{i}=(s, c, a)$ の形で入力される。ただし、 $s$ は状況、 $c$ は原因、 $a$ は措置である。1つ目のステップでは 全レポートを親クラスタとして、 $s$ の情報のみでク ラスタリングを行い、クラスタ集合 $\left.\{C_{1}^{s}, C_{2}^{s}, ..\right.\}$ を得 る。2つ目のステップでは $C_{x}^{s}$ をそれぞれ親クラス タとして、 $c$ の情報のみでクラスタリングを行う。 その結果 $C_{x}^{s}$ ごとにクラスタ集合 $\left.\{C_{1}^{c}, C_{2}^{c}, ..\right.\}$ を得る。 3 つ目のステップでは、 $C_{x}^{c}$ をそれぞれ親クラスタと して、 $a$ の情報のみでクラスタリングを行う。その 結果 $C_{x}^{c}$ ごとにクラスタ集合 $\left.\{C_{1}^{a}, C_{2}^{a}, \ldots\right.\}$ を得る。2)

集約を行う際、状況・原因・措置の各段階でそれ ぞれの文字列でクラスタリングを行う。文字列には フレーズのように短いものもあるが、本研究では文 とみなし、BERTをSimCSE で訓練したモデルを使用して文べクトルを作成する。集約タスクの各段階 では文ベクトル同士のユークリッド距離を使用して DBSCAN [7] でクラスタリングする。

## 3 SimCSE

SimCSE は PLM に対照学習を行うことで、STSに おいてより性能の高い文べクトルを獲得する手法で あり、BERT や RoBERTa に適用することで、STS で 最高性能のスコアを記録する文ベクトルを獲得でき る。STS では、2つの文とそれに対する意味的な類似度を人手でスコアリングした値があり、その値と の相関によりモデルの性能が評価される。

SimCSE には Natural Language Inference (NLI) デー タを使用した教師ありの手法と生の文を使用した 教師なしの手法がある。教師ありの手法では NLI データセット ${ }^{3}$ から、ある文に対して含意の関係に ある文と矛盾の関係にある文を抽出し、元の文と含意の関係にある文の文べクトルが近づくように、矛盾の関係にある文の文ベクトルは遠くなるように対照学習を行う。教師なしの手法では生の文集合（例 えば、Wikipedia）のある文に対して、同じ文の異 なるドロップアウトの文ベクトルを生成し、その文 ベクトルと元の文ベクトルが近づくように、ランダ ムに選んだ別の文の文べクトルが遠ざかるように対照学習を行う。

Gao ら [6] は教師ありの手法が教師なしの手法よ りも英語 STS において良い結果となることを示し た。しかし日本語で公開されている NLI データセッ トは SNLI（英語の NLI データセットのひとつ）を 機械翻訳し、人手でフィルタリングしたものであ り、流暢な翻訳とはなっていない。このため、教師 ありの手法は英語ほどの性能が得られるとは限らな い。それに対して、流暢な日本語で書かれている テキスト（例えば、Wikipedia）は利用可能であるか ら、教師なしの手法では英語と同等の性能が期待さ れる。このことから英語同様に教師ありの手法がよ り良い結果になることは自明ではないので、本研究 では教師ありの手法と教師なしの手法の両方を使用 し比較した。

## 4 日本語 SimCSE

## 4.1 実験設定

本研究では、SimCSEによるモデルの学習は東北大が公開している日本語 BERT $\left.{ }^{4}\right)$ に SimCSE を適用 することで訓練した。また教師ありと教師なしの手

表 1 原文と述部意味関係コーパスの文ベクトルのコサイ 類似度。

法でそれぞれ訓練を行なった。教師ありの学習には 京都大学が公開している日本語 NLI データセット5) を使用した。教師なしの学習には日本語 Wikipedia 100 万文を使用した。SimCSE の教師ありでは 10 epoch、教師なしでは 5 epoch 学習を行なった。

## 4.2 文ベクトルの評価

[6] では獲得した文べクトルを英語 STS データ セットで評価した。しかし日本語で公開されている STS データセットは存在しないため、京都大学が 公開している述部意味関係コーパス6)を使用し評価 を行なった。このコーパスには「同義」、「無関係」、「反義」、「含意」の 4 種類の文対が用意されている。「反義」と「含意」は文ベクトルによる評価は自明で はないため、本研究では「同義」と「無関係」のみ を使用した。評価には文べクトルのコサイン類似度 を使用し、「同義」ではより高く、「無関係」ではよ り低くなることを基準とした。

## 4.3 実験結果

結果を表 1 に示す。SimCSE の教師ありでは、 BERT と比べ「同義」で類似度が 4 ポイント上がり、「無関係」では 1 ポイント下がった。つまり、どち らでも BERT よりも改善している。一方、SimCSE の教師なしでは類似度が「同義」で 3 ポイント、「無関係」で 8 ポイント、それぞれ下がってしまった。 この結果から、流暢でない日本語 NLI データを使用 した教師ありの SimCSE で性能向上することが確認 できた。教師なしと教師ありの優劣はこの実験結果 から述べることができない。

## 5 障害レポートのクラスタリング

## 5.1 実験設定

ベースラインとして入力文字列同士の編集距離を 距離とみなす手法を採用する。またSimCSE を使用

5) https://nlp.ist.i.kyoto-u.ac.jp/

6) https://nlp.ist.i.kyoto-u.ac.jp/?PredicateEvalSet表 2 各ドメインのデータ数と段階ごとの正解クラス 夕数。

しない東北大の日本語 BERT に直接 1 文を入力し、文ベクトルを獲得する手法もベースラインとする。 これらの比較により、そもそも文べクトルを使用す ることで性能が向上するか否か、SimCSE で学習し た文ベクトルを使用することが障害レポート文のク ラスタリングに効果があるか否かを検証できる。

DBSCAN のハイパーパラメータについて、 $\epsilon$ （近傍とみなす最大距離） は $[0.1,1,2,3,4,5,6,10]$ の間でハイパーパラメータの探索を行なった。 min-sample（密集領域を形成する最低サンプル数） は正解データの最低クラスタ数が $1 、 2$ のものが散見されたため 2 とした。外れ値として扱われたデー タ点は要素数 1 のクラスタとみなした。SimCSE に よる文ベクトルの獲得には 4 節で最も良い結果を得 たモデルを使用した。

クラスタリングの評価には富士電機（株）の保有 する食品流通分野 (冷凍)、食品流通分野 (自販機)、火力発電分野の障害レポートに、機器障害の実務に 携わった経験のある社員がアノテーションを行い、状況、原因、措置に分類した正解データ（NFKC 正規化済み）を作成し、使用した。以後、食品流通分野（冷凍）を「冷凍」食品流通分野（自販機）を 「自販機」、火力発電分野を「火力」とする。使用す る障害レポートのデータ数、正解クラスタ数を表 2 に示す。全体としてかなり細かいクラスタを形成す ることを期待しているデータセットである。

クラスタリングの評価指標の 1 つである Adjusted Rand Index (ARI) [8] を使用し、状況・原因・措置を それぞれ評価した。ARI は正解クラスタと同一の場合 1 となり、一致率が下がると値も小さくなる。本研究では、前の段階（原因の時は状況、措置の時は 原因）の正解データのクラスタをもとに各段階のク ラスタリングを行い、評価した。

## 5.2 実験結果

結果を表 3 に示す。ドメインごとにそれぞれ異な る結果となった。自販機ドメインでは、状況におい て SimCSE（教師あり）が圧倒的に良い結果となっ
表 3 クラスタリング結果に対する ARI スコア。

た。しかし原因と措置ではベースラインである編集距離が最も良い結果となった。冷凍ドメインでは、状況では全ての手法で全く同じ結果となった。原因 と措置においては SimCSE（教師あり）がわずかに 良い結果となった。火力ドメインでは、状況におい て BERT が最も良い結果となった。原因では全て同 じ結果となった。措置では SimCSE（教師あり）が 最も良い結果となった。次節では具体的な事例を確認しながら、このようにドメインごとに異なる結果 になった原因を探る。

## 6 事例分析

本節では、状況のフレーズに注目して分析を行 なった。また教師ありの SimCSE を単に SimCSE と して記述した。

ドメインごとの結果の違い 自販機ドメインは 「50 円玉が 10 円のメックに入る」のように文に近い 入力が多く、火力・冷凍ドメインでは、「給水シリ 力計指示上昇」のようなフレーズ的な入力が多かっ た。入力が文に近いほど SimCSE による文べクトル の性能向上の恩恵を得たと考える。逆にフレーズ的 な入力が多かった火力や冷凍ドメインでは高性能の 文ベクトルが効かなかったと考える。冷凍ドメイン では状況も高いスコアとなっているが、完全一致し た文字列だけを同一クラスタとみなした場合と同じ スコアだった。このことから冷凍ドメインはもとも と統一の取れた表記がなされており、文べクトルを 使うことで完全一致でない文字列を余計に同一ク ラスタとしてしまったと考える。火力ドメインでは 「GT」のような独自の省略記号を区別できずに失敗 する事例（後に紹介）が散見された。

モデル間の結果の違い BERT と SimCSEでクラ スタリング結果が異なった事例を比較し、フレーズ 的な入力では、わずかな違いで異なる基準でクラス タを成していることがわかった。しかしその基準は 明確ではなく、定性的な判断でもその評価は難し
い。具体的な事例を付録 B に示した。文に近い入力 では、「購入不可」と「購入できない」のような違 いを BERT では別のクラスタとしたが、SimCSEで は同じクラスタとして分類できた。

モデルの結果と正解データの違い「GT」のよう な独自の短縮単語が付くか否かといった違いを正解 データでは区別しているが、SimCSE では区別しな いという事例が散見された。これらを別クラスタと みなすか否かは、この障害レポート独自の基準であ り、実務に携わっていない場合、人間でも判断が分 かれるところであると考える。SimCSE はあくまで も一般的な文べクトルの性能向上を考えた手法で あり、本研究で対象としたような特定の意図に基づ くクラスタリングには別のアプローチが必要であ る。また反義的なフレーズを、SimCSE では同じク ラスタと見なす事例があった。反義的なフレーズ同士にどのような類似度を設定すれば適切かは自明で はないため、このようなケースが文べクトルの類似度を使った手法の難しさであると考える。具体的な 事例を付録 B に示した。

## 7 おわりに

本研究では、日本語において SimCSEを使用して 文ベクトルを学習し、その評価を行なった。その結果、教師ありの手法では性能の向上を確認した。次 に障害レポートから抽出されたフレーズに対して文 ベクトルを使用したクラスタリングを試みた。3つ のドメインを使用したが、ドメインごとに異なる結果となった。分析として、文べクトルの類似度を使 う手法では反義的なフレーズの区別が難しいという 点が分かった。今後、さらなる性能向上のためには タスク特化のデータ（分けたい事例、分けたくない 事例）を使って SimCSE を学習する方法や、文べク トル以外の部分に注目した方法で性能向上を目指し たい。

## 参考文献

[1] 山下郁海, 小町守, 真鍋章, 谷本恒野. 隠れ層補間によ るデータ拡張を用いた障害レポート分類. 言語処理学会第 27 回年次大会 発表論文集, pp. 1794-1798, 2021.

[2] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会第 27 回年次大会 発表論文集, pp. 189-193, 2021.

[3] Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Tuo Zhao. SMART: Robust and efficient fine-tuning for pre-trained natural language models through principled regularized optimization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2177-2190, Online, July 2020. Association for Computational Linguistics.

[4] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] M Ester, H P Kriegel, J Sander, and Xu Xiaowei. A DensityBased Algorithm for Discovering Clusters in Large Spatial Databases with Noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, pp. 226-231, Portland, 1996. AAAI Press.

[8] Lawrence Hubert and Phipps Arabie. Comparing partitions. Journal of Classification, Vol. 2, No. 1, pp. 193-218, 1985.

図 2 本研究における集約の概略図である。まず、状況の情報を用いてクラスタリングし、似た状況ごとに障害レポート をまとめる。次に原因の情報を用いてクラスタリングし、障害レポートを原因の情報を用いてクラスタリングし、原因 ごとのクラスタを作る。最後に措置の情報を用いてクラスタリングし、措置ごとのクラスタを作る。

## A 集約の具体例

集約は、図 2 に示すように、Step1～3 の 3 段階のクラスタリングを行うタスクである。

## B 失敗事例の具体例

障害レポートの ID（実際の ID とは異なる）と原文通りのフレーズを「ID: フレーズ」という形式で示し、 それらに対するクラスタリングを集合の形式で示した。

## モデル間の違い

・1: 排熱回収ボイラ 布製伸縮継手より漏水

・2: 排熱回収ボイラ布製伸縮継手より漏水

・3: 排熱回収ボイラ布製伸縮継手 (出口) より漏水

-4: 失火・燃焼異常
- 5: 失火・燃焼異常発生

## モデルの結果と正解データの違い

・6, 7: GT 排ガス温度センサー異常
- 8: 排ガス温度センサー異常

・9: 高圧給水流量指示不良

・10: 低圧給水流量指示不良


# BERT とその拡張モデルを用いた作詞家推定手法と分析

笠松雅史 ${ }^{1}$ 青野雅樹 1
1 豊橋技術科学大学 情報 - 知能工学専攻
kasamatsu.masashi.wx@tut.jp masaki.aono.ss@tut.jp

## 概要

深層学習を用いた自然言語処理の中ではまだあ まり着目されていない歌詞を対象に，従来手法や BERT とその拡張モデルを用いて歌詞の作詞家推定 を行った．また，各推定モデルを用いて，推定モデ ルが誤分類した歌詞に着目した，間違えやすい歌詞 とクラスの基準を提案した. そして，提案した基準 のもと歌詞データの分析を行い，作詞家の特徴の推察を行った。

## 1 はじめに

自然言語処理においても深層学習が浸透してきて いる.その中で Google が 2018 年に BERT（Bidirectional Encoder Representations from Transformers) [1] と いう自然言語処理モデルを発表した．BERT は，大量のテキストデータから学習を行い, その学習で得 られた特徴量を様々なタスク（文章理解や感情分析 など）に応用することができるという汎用性の高さ が特徴として挙げられる. ここで，BERT の汎用性 の高さが歌詞にも適用されるかの興味がある.

また，テキストデータの著者推定タスク [2] は, 近年のソーシャルメディアの発達に伴うテキストデー タの増加により，注目を集めているタスクである。 しかし，題材とされているテキストデータには小説 やニュース記事が多く，歌詞は比較的少ない.

そこで本研究では，歌詞の著者，すなわち作詞家 の推定を行う．本研究の目的は歌詞データに対する BERT の汎用性の解明と分析である. 目的を達成す る手段として，まずBERTを用いた作詞家の推定モ デルの獲得, また従来手法の機械学習や深層学習で も推定モデルを獲得，そして得られたモデルで推定精度の比較・分析を行う必要がある. 本稿では, こ れらについて報告を行う。

## 2 データセット

使用するデータセットは，Uta-Net[3] より取得し た作詞家と歌詞がセットになった独自のデータであ る. データセットでは多くのデータがあることが望 ましいため，作詞家には著名で多くの歌詞を作詞し た方を対象にしている。したがって，作詞家は 11 クラスで作詞家 1 クラスそれぞれ 100 曲分のデータ であり，全部で 1,100 件のデータセットである．表 1 に作詞家とクラスの対応表を示す.

## 3 作詞家推定モデル

ここでは，11クラスの作詞家の分類を行う推定モ デルについて述べる.

## 3.1 従来手法による作詞家推定モデル

自然言語処理において，BERT が登場する以前よ りよく用いられる従来手法として，次の 3 種類を用 いる.
- SVM (Support Vector Machine)
- MLP (Multi Layer Perceptron)
- LSTM (Long Short Term Memory)

まず SVM では，入力特徴量に TF-IDF（Term Frequency-Inverse Document Frequency）で重み付けさ れた BoW（Bag of Words）を用いる．入力特徴量の 次元数は 9,179 次元である.

次に MLPでは，入力特徴量に SVM と同様の TF-IDF で重み付けされた BoWを用いる．MLP の中間層は 2 層で, 中間層のユニット数は入力から順番 に 1024，256である.また活性化関数は全て ReLU 関数である.

そして LSTM では， 1 単語 200 次元のランダム ベクトルを 1 曲分, 時系列データとして入力する. LSTM の各内部表現の次元数は 128 で, 最終層の内部表現から 11 クラス分類を行う.

## 3.2 BERT を用いた作詞家推定モデル

使用する BERT は，東北大学の乾研究室が公開し ている訓練済みの BERT-base である [4]. BERTを 用いた作詞家推定のモデル図を図 1 に示す. [CLS] トークンに対応する最終章の埋め込みベクトルであ る [CLS] ベクトルを全結合層に通して作詞家推定を 行う.

図1 BERTを用いたモデル図

## 3.3 BERT を拡張した作詞家推定モデル

図 1 に示すような作詞家推定モデルでは, BERT の ENCODER のうち最終層のみの [CLS] ベクトルか ら作詞家推定を行う. しかし BERTを拡張した作詞家推定モデルでは，中間層の ENCODER より得られ る [CLS] ベクトルも利用することを考える. この考 えの概要図を図 2 に示す. 図 2 のように最大で 12 層分の [CLS] ベクトルを利用する構造（図 2 中の Classifier）を考える. この考えのもと，表 2 に示す
ように 6 種類の Classifier の構造を持つ作詞家推定モ デルを提案する.

図 2 BERTを用いた拡張モデルの概要図

表 2 拡張モデル 6 種類の Classifier の構造

## 4 実験

この実験では，各作詞家推定モデルの精度調査を 行う.

## 4.1 実験方法

各作詞家推定モデルの精度調査を K-fold 交差検証 で行う. 交差検証の回数は 10 回として, テスト結果 10 回の平均 Accuracyを記録する. 交差検証を行 う際のデータ分割は，学習データとテストデータで 登場するクラス数が均等となるように分割を行う. すなわち，交差検証ごとに学習データ 990 件（90 件 $\times 11$ クラス)，テストデータ 110 件（10 件 $\times 11$ クラ ス）となるように分割を行う.

## 4.2 学習の設定

まず SVM の設定は，カーネルにガウスカーネル を用いる。次に MLP の設定は，オプティマイザー に Adamを，学習率は 0.001 ，バッチサイズは 64 ，エ ポック数は 100 である. またLSTM の設定は, MLP の場合と同様である. そして BERTを用いた作詞家推定モデルは，オプティマイザーは Adam であり，

BERT 部分の学習率は 0.00005 でそれ以外の学習率 は 0.0001 ，バッチサイズは 16 , エポック数は 30 で ある. 最後に BERT を拡張した作詞家推定モデル 6 種類は, BERT を用いた作詞家推定モデルと同様で ある.

## 4.3 実験結果

表 3 に従来手法による作詞家推定方法 3 種類と BERT とその拡張モデルによる作詞家推定方法 7 種類の平均 Accuracy と標準偏差を示す.

表 3 より，従来手法である SVM や MLP，LSTM と比べて BERT の平均 Accuracy が高いことがわか る.このことから歌詞データに対しても BERT は有効であると考えられる。

また BERT と拡張モデルでは，拡張モデルのうち 2 種類が BERT よりも精度が高いことが確認された。 そこで，BERT より精度が向上した拡張モデル 1 と 6 を図 $3 \mathrm{a}$ と図 $3 \mathrm{c}$ に，精度が低下した拡張モデル 4 を図 $3 b$ に示す. 図 $3 a$ ，図 $3 \mathrm{c} ＼mathrm{~ ， 図 ~} 3 b$ を見ると，精度 が向上した拡張モデル 1 と 6では, Classifier の構造 が拡張モデル 4 と比べて単純であることから，複数 の [CLS] ベクトルを扱う際には単純な構造が有効で あると考えられる。

## 5 間違えやすさの分析

ここでは，実験で得られた 10 種類の作詞家推定 モデルを用いてどのクラスの歌詞がどのクラスに間違えられやすいかの分析を行う。

## 5.1 間違えやすい歌詞とクラスの基準

はじめに，間違えやすい歌詞の基準を次のように 定義する. ある 1 つの歌詞に対して，10 種類の推定
モデルが半数以上あるクラスに誤分類すると，その 歌詞は間違えやすい歌詞とする。そして，あるクラ スの歌詞がまたあるクラスへ間違えやすい歌詞が 3 曲以上あれば，そのクラスへ間違えやすいクラスと する。

## 5.2 分析方法

上記で定義した間違えやすい歌詞とクラスの基準 をもとにして，作詞家 11 クラス全てに対して間違 えやすい歌詞とクラスを算出する。次に，間違えや すいクラスの関係図を辺の重みを間違えやすい歌詞 の数をとして作成する。

また，作成した関係図から PageRank を算出する。 PageRank とは，1998 年に S.Brin と L.Page によって 発表され, 参照リンクが多いWeb ページは重要度が 高くなるという考えのもと，Web ページの重要度を 測るアルゴリズムである [5]. ここでは，間違えや すい歌詞が多いクラスはそれらの歌詞に重要な特徴 があると考えのもと，PageRankによる分析を行う。

そして PageRank の高いクラスに間違われている 歌詞に対して，ユーザーローカル提供のテキストマ イニングツール [6] を用いてワードクラウドを作成 し，間違われやすい歌詞にどのような特徴があるか 分析を行う.

## 5.3 分析結果

図 5 に作成した間違えやすい歌詞とクラスの関係図と PageRankを示す. 図 5 において，丸の中の数字がクラスを，矢印に重なっている数字が間違えや すい歌詞の数を，赤字がそのクラスの PageRankを それぞれ現している。図 5 から，PageRankが高いク ラスはクラス 2 ，クラス 4 ，クラス 5 ，クラス 10 な どであることがわかる.

次に，PageRank の高いクラスに間違われている 歌詞に対するワードクラウドを図 $4 \mathrm{a}$, 図 $4 \mathrm{~b}$, 図 $4 \mathrm{c}$ にそれぞれ示す。図 $4 \mathrm{a}$ は 17 曲分の，図 $4 \mathrm{~b}$ は 12 曲分の, 図 $4 \mathrm{c}$ は 13 曲分の歌詞のワードクラウドであ る。また，赤字が動詞を，緑字が形容詞を，青字が 名詞をそれぞれ表している。

図 4a から，クラス 2 に間違われやすい歌詞には 英単語やネガティブな形容詞がよく使用されてい ると推測できる．次に図 $4 \mathrm{~b}$ からは，クラス 5 に間違われやすい歌詞にはクラス 2 と同様英単語が多 く，またネガティブな形容詞が多いが，動詞にはポ ジティブなものが多い特徴があると推測できる。そ

(a) 拡張モデル 1

(b) 拡張モデル 4

(c) 拡張モデル 6

図 3 精度が向上した拡張モデルと低下した拡張モデル

(a) クラス 2

(b) クラス 5

(c) クラス 10

図 4 間違われた歌詞のワードクラウド

図 5 間違えやすい歌詞のクラスの関係図と PageRank

して図 4c からは，クラス 10 に間違われやすい歌詞 には，ネガティブな動詞や形容詞がよく使用されて いると推測できる.

## 6 おわりに

本稿では，歌詞データに対しても BERT が有効で あるかを K-fold 交差検証を用いて作詞家推定を行 い, 従来手法と比較を行った. 比較の結果, BERT はどの従来手法よりも優れた結果であった.

また，BERT の拡張モデルを 6 種類考案し，BERT と比較を行った. 比較の結果，拡張する際は単純な 構造が有効であると考えられる。
そして，従来手法と BERT と BERT の拡張モデル の計 10 種類を用いて，間違えやすい歌詞とクラス の基準の提案を行った. 提案した基準のもと簡単な 分析を行い，間違えやすい歌詞の特徴の推察を行っ た. このような推定モデルの誤分類を着目した方法 は，データ分析の新たなアプローチの 1 つになると 考えられる。

今後の検討として，間違えやすい歌詞とクラス の詳細な分析を進める必要があると考えられる。 また，間違えやすい情報を活用して，例えば GAN （Generative Adversarial Network）にその情報を付加し てテキスト生成を行いたいと考えている。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Janek Bevendorff, Bilal Ghanem, Anastasia Giachanou, Mike Kestemont, Enrique Manjavacas, Ilia Markov, Maximilian Mayerl, Martin Potthast, Francisco Rangel Pardo, Paolo Rosso, Guenther Specht, Efstathios Stamatatos, Benno Stein, Matti Wiegmann, and Eva Zangerle. Overview of PAN 2020: Authorship Verification, Celebrity Profiling, Profiling Fake News Spreaders on Twitter, and Style Change Detection, pp. 372-383. 092020.

[3] 歌詞検索サービス 歌ネット.https://www.uta-net. com/.

[4] Github - cl-tohoku/bert-japanese: Bert models for japanese text. https://github.com/cl-tohoku/bert-japanese.

[5] S. Brin and L. Page. The anatomy of a large-scale hypertextual web search engine. In Seventh International World-Wide Web Conference (WWW 1998), 1998.

[6] Ai テキストマイニング by ユーザーローカル. https://textmining.userlocal.jp/.


# Cross-modal Retrieval of Historical Materials

Jieyong Zhu ${ }^{1}$ Taichi Nishimura ${ }^{1}$ Makoto Goto $^{2}$ Shinsuke Mori ${ }^{3}$
${ }^{1}$ Graduate School of Informatics, Kyoto University
${ }^{2}$ National Museum of Japanese History
${ }^{3}$ Academic Center for Computing and Media Studies, Kyoto University
\{zjsczjy04, taichitary\}@gmail.com
m-goto@rekihaku.ac.jp
forest@i.kyoto-u.ac.jp

## Abstract

In this paper, we propose a neural-network-based crossmodal retrieval method on historical materials. We begin by collecting a multi-modal historical dataset from $\mathrm{Na}-$ tional Museum of Japanese History ${ }^{1}$. The dataset includes over $18 \mathrm{k}$ textual descriptions and 79k images. To evaluate the performance of our methods, we perform cross-modal image-to-text and text-to-image retrieval tasks. The experimental results show that the proposed method performs well in both retrieval tasks on historical materials compared with the random baseline.

## 1 Introduction

With the rapid advancement of digitization, large-scale multi-modal data of historical materials, such as images and texts, have become available on the web. Consequently, cross-modal retrieval of historical materials plays an important role in assisting researchers to study them. Cross-modal retrieval is a technique to perform retrieval tasks across multiple modalities, such as text-to-image and vice versa. In recent years, the development in the field of vision-and-language has accelerated research on crossmodal retrieval tasks with remarkable performance. In this paper, we apply the state-of-the-art cross-modal retrieval methods to historical materials and demonstrate the crossmodal retrieval system.

For historical materials, there are several kinds of corresponding textual data, including the material name, collection name, the designation, the quantity, the material quality, the scale, the production date, the place of use, the

Figure 1 Examples of image-to-text and text-to-image retrieval tasks. Retrieved results in the red boxes are the associated ones with the query in the left.

material id, and the notes. In this paper, we choose the material name, the collection name, and the notes as the three main textual features because we consider that these features are the most important to represent the historical material

Figure 1 shows an overview of image-to-text and text-toimage cross-modal retrieval tasks of historical materials. The left side is the query and the right side is the retrieved results. In the image-to-text retrieval task, given an image of a historical material, we retrieve the relative texts. In the text-to-image retrieval task, given a text that describes a historical material, we retrieve the corresponding image. Note that the ground truth of the query is marked in the red box.

## 2 Related Work

The main challenge of cross-modal retrieval is the modality gap, and the key solution is to generate new representations from different modalities in the shared subspace, such that semantically associated inputs are mapped to similar locations.

Figure 2 An overview of our proposed model.

Subspace learning methods are one kind of the most widely used methods. They aim to find a commonly shared subspace where the similarity between different modalities can be measured. For example, Canonical Correlation Analysis (CCA) [1] is a linear method that learns the common space by maximizing pairwise correlations between two sets of data from different sources. However, because the correlation of multimedia data in the domain of historical materials is too complicated to be fully modeled only by applying linear projections, directly applying CCA over high-level text and image representations cannot achieve a reasonable result.

Inspired by the success of deep networks, a variety of deep-learning-based cross-modal retrieval methods have been developed. Deep Canonical Correlation Analysis (DCCA) [2] is a deep-learning-based method to learn complex nonlinear projections. Wang et al. [3] propose a CNN-based model to map the textual and image data to a shared subspace. Recipe1M [4] proposed a neural embedding model with semantic regularization on a recipe dataset to get a better understanding of food and recipe. Garcia et al. [5] compare a CCA model with deep-learningbased approaches to perform retrieval tasks on the domain of art paintings. In this paper, we adopt a deep-learningbased cross-modal retrieval method on historical materials, which is different from previous works.

## 3 Retrieval System

Figure 2 shows an overview of our proposed model. The proposed method consists of two major processes. Firstly, texts and images are encoded into representations separately. Secondly, the representations are fed into symmetric multi-layer perceptrons (MLPs) with ReLU activation functions to learn the cross-modal embeddings.

## 3.1 Text Encoder

In the input of the text side, we have three types of data: material name, collection name, and notes. We propose two different encoders for converting the text data to vectors: the word2vec-based model and the LSTMbased model. The output of the text encoder is a 2048-D vector.

Word2vec Encoder. We use a mean word2vec vector to represent the textual data. To train a word-level word2 vec model, we tokenize all texts in the dataset using $\mathrm{KyTea}^{2)}$. The dimension of the word2vec embedding is set as 100. Because the number of words is different for each type of text data, we use the mean word $2 \mathrm{vec}$ of words to represent each type of data and concatenate them as a $300-\mathrm{D}$ vector. Then we feed the $300-\mathrm{D}$ vector into a simple fully-connected neural network to get a 2048-D vector as the output.

Bi-LSTM Encoder. We build a bidirectional LSTM model to convert the texts to vectors. The bidirectional LSTM model considers both forward and backward orderings. For each type of data, we train a different bidirectional LSTM model. The outputs of three LSTM models are concatenated as a 300-D vector. As before, the 300-D vector is fed into a simple fully-connected neural network to get a 2048 -D vector as the output.

## 3.2 Image Encoder

The input of the image-side is a single image of historical materials. To convert images into vectors, we employ ResNet50 [6] pre-trained on ImageNet [7]. We remove the last fully-connected layer of ResNet50 and use the rest network to convert an image to a 2048-D vector. Like before, the 2048-D vector is fed into a simple fully-connected neu-

Figure 3 Examples of the dataset.

ral network. As a result, the output of the image encoder is a 2048 -D vector.

## 3.3 Shared Subspace Learning

Finally, we convert text/image vectors into shared subspace using symmetric multi-layer perceptrons (MLPs) with the ReLU activation functions. To train the model, we compute triplet margin loss [8], which makes the vectors in the subspace for a given text-image pair close and otherwise faraway. The triplet margin loss creates a criterion that measures the triplet loss given a triplet and a margin. A triplet is composed of an anchor vector $a$, a positive vector $p$, and a negative vector $n$. The triplet margin loss is formulated as:

$
L(a, p, n)=\max \{d(a, p)-d(a, n)+\operatorname{margin}, 0\}
$

where $d(\cdot)$ is the Euclidean distance between the two vectors, and margin is the hyper-parameter.

## 4 Experiments

To evaluate our methods, we implement the models and perform both image and text retrieval tasks, and measure the performance on our dataset. We also report some samples of the retrieval tasks.

## 4.1 Experimental Settings

Dataset. This is the first attempt to tackle cross-modal retrieval of historical materials, so no datasets exist in this field; thus we created the Japanese historical dataset of textual descriptions and corresponding images by crawling them from the National Museum of Japanese History. The dataset contains 18,429 historical materials, including paintings, calligraphy works, and artifacts. As Figure 3 shows, for each historical material, there is one textual

description and more than one image. In total, the dataset includes over $18 \mathrm{k}$ textual descriptions and over $79 \mathrm{k}$ corresponding images. The details of dataset splits are shown in Table 1. The ratio of the training set is 0.7 , and the ratio of the validation set and test set are both 0.15 .

Hyper-parameter Settings. For the word2vec encoder, we set the embedding size to 100 and use Gensim [9] to train the word2vec model. For the bidirectional LSTM encoder, we set the embedding size to 2,048 . The hidden size is 512 and the output size is 2,048 . This LSTM encoder only has one layer. In the LSTM encoder, we use three different vocabularies for material names, collection names, and notes separately. For the symmetric multi-layer perceptrons (MLPs) with ReLU activation functions, the input size and the output size are both 2,048 . During training, we use Adam optimizer with a learning rate of 0.001 and train 35 epochs. The size of the mini-batch is 32 . We set the margin to 0.1 in the triplet loss function.

Evaluation Metrics. To evaluate the performance of our model on retrieval tasks, we computed two mainstream evaluation metrics in cross-modal retrieval tasks, Recall@K (R@K) and median rank (MedR), where $\mathrm{R} @ \mathrm{~K}$ is the recall rate percentage of the target corresponding to a query appearing in the top $K$ when the set of obtained images is sorted in descending order by cos similarity, and MedR is the median of the ranks of the target corresponding to each query.

## 4.2 Quantitative Evaluation

We report results on 1,000 image-and-text pairs randomly selected from the test set. For both retrieval tasks, We compute the MedR and $\mathrm{R} @ \mathrm{~K}$ with $K$ being 1,5 , and 10. Our proposed method is compared with the random ranking baseline. We can see in Table 2 that the proposed model outperforms the random ranking baseline in imageto-text and text-to-image retrieval tasks. To be specific, the word2vec encoder performs better than the bidirectional LSTM encoder, indicating that the word order is not essen-

Figure 4 Image-to-text retrieval examples. The ground truth in the retrieved results is highlighted in the red box.

Figure 5 Text-to-image retrieval examples. The ground truth is highlighted in the red box.

tial in our tasks.

## 4.3 Retrieval Results

We report image-to-text and text-to-image retrieval results on our best model, the mean word2vec model.

Image-to-Text Retrieval Results. Figure 4 shows two qualitative positive examples of the texts retrieved. On the left side is the query images. On the right side is the top five retrieved texts. In the first example, our model successfully retrieved the ground truth text in the top one. In the second example, the ground truth text is returned as the top five. We can see that our model can learn the cross-modal embeddings well and retrieve good results.

Text-To-Image Retrieval Results. Figure 5 shows two qualitative negative examples of the images retrieved. The left side shows the ground truth image and the query text. The query includes the material name, collection name, and notes. The right side shows the top five retrieved images.
Although the model fails to return the ground truth image in the top five returned images, it can be observed that the retrieved images are semantically similar, which indicates that the our model can learn the semantic information in the domain of historical materials but there is still much room for improvement.

## 5 Conclusion

In this paper, we proposed a model for cross-modal retrieval between historical materials. This paper tackled the cross-modal retrieval of historical materials using deeplearning-based cross-modal retrieval methods. This work is the first attempt to tackle this problem, thus we constructed the dataset of Japanese historical texts and images, and evaluated the model's performance on it. The experimental results showed that the proposed method performs well in the cross-modal retrieval of historical materials.

## References

[1] Yunchao Gong, Qifa Ke, Michael Isard, and Svetlana Lazebnik. A multi-view embedding space for modeling internet images, tags, and their semantics. International journal of computer vision, Vol. 106, No. 2, pp. 210-233, 2014.

[2] Galen Andrew, Raman Arora, Jeff Bilmes, and Karen Livescu. Deep canonical correlation analysis. In International conference on machine learning, pp. 1247-1255. PMLR, 2013.

[3] Jian Wang, Yonghao He, Cuicui Kang, Shiming Xiang, and Chunhong Pan. Image-text cross-modal retrieval via modality-specific feature learning. In Proceedings of the 5th ACM on International Conference on Multimedia Retrieval, pp. 347-354, 2015.

[4] Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning cross-modal embeddings for cooking recipes and food images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3020-3028, 2017.

[5] Noa Garcia and George Vogiatzis. How to read paintings: semantic art understanding with multi-modal retrieval. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, pp. 0-0, 2018

[6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016

[7] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pp. 248-255. Ieee, 2009.

[8] Daniel Ponsa Vassileios Balntas, Edgar Riba and Krystian Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In Edwin R. Hancock Richard C. Wilson and William A. P. Smith, editors, Proceedings of the British Machine Vision Conference (BMVC), pp. 119.1-119.11. BMVA Press, September 2016.

[9] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, Malta, May 2010. ELRA. http://is.muni.cz/publication/884893/en.


# Web 文書からの用語検索における用語候補のランキングの検討

池内省吾 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬 青 1
1 龍谷大学理工学研究科 2 京都大学学術情報メディアセンター
${ }^{1}$ t20m002@mail.ryukoku.ac.jp ${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

適切な用語を用いないと正確な問い合わせが行 えないことがある。我々は，適切な用語がわからな いユーザの支援の研究を行っている. 具体的には， ユーザからの用語に関する説明文を検索質問として Web 検索を行って，Web 文書から用語を抽出する $「$ Web 文書からの用語検索」を研究している. 本稿 では，Web 文書群から得た用語候補のランキングに ついて述べる.

## 1 はじめに

用語検索は，用語を説明する説明文から用語を求 める処理である. 辞書逆引き [1] とは，説明文と近 い定義文を見つけてその見出し語を求める処理であ り，辞書に掲載されている語に対する用語検索は，辞書逆引きで求めることが可能である。一方，新語 や専門用語は辞書形式で定義されていないことがあ る.そこで，我々はユーザによる説明文を検索質問 として一般の Web ページを検索し，そこから用語抽出を行う「Web 文書からの用語検索」の手法を提案 している [2]. 本稿では, 用語検索において出力す る複数の用語候補のランキング方法について検討を 行った結果を報告する.

## 2 Web 文書からの用語検索

我々が提案している BERTを用いた Web 文書か らの用語検索 [2] について述べる。これは以下の 3 つの処理を順に適用して用語を求めるものである.

1. Web 文書検索: 与えられた説明文からなる検索質問で Web 検索を行い，Web 文書集合を取得 する

2. 用語候補抽出: Web 文書集合それぞれの文書に ついて，与えられた検索質問と文書中のテキス トを連結して BERT に入力し，質問応答の枠組 みを利用して用語候補を抽出する。
3. 用語候補ランキング: 得られた用語候補をラン キングして出力する

## 2.1 Web 文書検索

本研究では, Web 文書として Google スニペット を用いる. Google スニペットは, Goolge 検索エンジ ンに検索質問を入力して得られる検索結果ページに おいて，検索結果の Web ページのタイトルや URL の下に表示される短い説明のことである ${ }^{1)}$. Google スニペットの取得は， Google API Client Libraries [3] を用いて行う。

## 2.2 用語候補抽出

用語候補抽出には BERTを用いた質問応答の枠組 みを用いる。具体的には，SQuAD 2.0 [4] で用いら れた方法 [5] を用いる。これは，質問 $q$ と文書 $d$ を 連結させたもの（[CLS] $q[\mathbf{S E P}] d)$ に対して, 解答可能な場合には文書中の正解の開始位置と終了位置（Start/End）を出力するように，解答不可能な場合には開始位置と終了位置として [CLS] の位置を出力するように BERTを学習 (fine-tuning) するもので ある. 本研究では, BERT の日本語 Pretraining モデ ルとして，京都大学提供 BERT（BERT-BASE-WWM 版 $)^{2)}$ を用いる.

## 2.3 用語候補ランキング

得られた用語候補を何らかの方法でランキング （順位づけ）し，出力する. 我々は, 以前の研究 [2] において頻度に基づいたランキングを行ったもの の，他のランキング手法を検討していなかった. 本研究ではこの検討を行う.

## 3 実験のデータ

## 3.1 用語検索用の検索質問

これは，先行研究 [2] で本タスクのために作成され たものである.

## 3.2 用語抽出用 BERT の学習データ

用語抽出用 BERT の学習データとして，解答可能性付き読解データセット [6] を使用する。これは，文書読解タスク用のデータセットであり，(質問，解答，文書）の組に対して，解答可能性スコアがつ けれらている. 解答可能性スコアは, 文書読解に よって質問に答えることができるかについて人手で 判断されたスコアである. このデータセットの（質問 $q_{i}$, 解答 $a_{i}$, 文書 $d_{i}^{k}$ ) の組について, 質問 $q_{i}$ に 対する解答 $a_{i}$ (本研究での用語) は文書 $d_{i}^{k}$ に必ず 含まれている。一つの質問・解答について複数 $(k)$ の文書が用意されている. 読解タスクにおいては解答不能文書が定義されているが，これは解答を含ま ないという意味ではなく，解答根拠が存在しないと いう意味である。

本研究での用語検索では解答根拠は不要である. さらに，求めた Web 文書に用語が存在しない場合も ある。そこで，読解タスクのデータセットそのもの を学習に使うのではなく, 次のように修正して学習 データとする。

1. 解答可能データ集合: 文書読解タスク用データ セットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組を全て解答可能デー 夕集合とする． $a_{i}$ の $d_{i}^{k}$ における開始位置と終了位置を BERT に学習させる.

2. 解答不能データ集合: 文書読解タスク用データ セットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組に対して， $d_{i}^{k}$ を別 の $q_{j}$ に対応する文書 $d_{j}^{l}(j \neq i)$ に置き換えたも のを解答不能データ集合とする ${ }^{3)}$ 。開始位置と 終了位置を共に [CLS] の位置として BERT に学習させる。

## 4 用語候補ランキング

Web 文書からの用語検索では，検索質問と各 Web 文書を連結した文字列を BERT に入力して用語候補を求め，その候補をランキングして出力する（図
$ が含まれていないことも確認する.
}

図 1 複数文書からの用語候補の抽出とランキング

1).

最も単純なランキング手法として頻度に基づくも の（多数決）がある. 実際に，我々も以前に多数決方法による用語検索を行った [2] ものの，他のラン キング手法は十分に検討できていなかった. このよ うな背景に基づき，本研究では多数決方式と他の 4 種類ランキング方法（下記）を検討する。

1. Maj (Majority): 多数決（頻度）に基づいてラン キングを行う。

2. T-TSum (Sum of Term-Term similarities): 用語候補間で類似度をとり，その和に基づいてランキ ングを行う。これは用語候補の内でもっとも中心となるような用語が目的の用語であることを 期待するものである.

3. Q-T (Qery-Term similarity): 検索質問（単語列） と用語候補（単語）との類似度に基づいてラン キングを行う．正解用語と検索質問は同じ意味 を表していると仮定し，両者の類似度を直接求 めることで目的の用語が求められると期待する ものである.

4. Q-T ${ }_{s n i}$ (Query-Term_snippet similarity): 検索質問 (単語列) と用語候補のスニペット（単語列） との類似度に基づいてランキングを行う．正解用語による検索で得られるスニペットを正解用語の説明とみなし，これが検索質問と近いと期待するものである.
5. $\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ (Query_snippet-Term_snippet similarity): 検索質問のスニペット（単語列）と用語候補のスニペット（単語列）との類似度に基 づいてランキングを行う．両者ともにスニペッ トとすることで，正解用語と検索質問間で高い 類似度が得られることを期待するものである。

Maj 以外のランキング手法についての概要を図 2 から図 5 に示す.

本研究では，「Xのスニペット」として，Xを検索 クエリとして，Google API Client Librariesを用いて 1 件だけ取得したものを採用した。

本研究では, 用語候補 (単語) や検索質問（単語

図 2 T-Tsum (Sum of Term-Term similarilites)

図 4 Q-T ${ }_{s n i}$ (Query-Term_snippet similarity)

列)，それらのスニペット（単語列）間の類似度を 求めるために，これらを同一次元のベクトル（分散表現）で表現する. 分散表現は，用語候補，検索質問，スニペットを同一に扱い（それらを string と する)，[CLS] string [SEP] を BERT に入力して求め る. 具体的には, 各 token に対応する BERT の出力 embedding の平均値（average pooling）を求める. べ クトル間の類似度はコサイン距離とする。

## 5 実験結果と考察

23 件の検索質問を用いて用語検索を行った. 図 1 に示す通り各質問について M 件（最大 100 件）の Web 文書を検索し, 各 Web 文書から 1 件の用語候補 を取り出して重なりをとり，用語候補の集合（図1 の $\mathrm{N}$ 件）を得た. この用語候補中に正解の用語を含 むものは 17 件，含まないものは 6 件であった. こ の 6 件に関してはどのようなランキング手法を適用 しても正解を上位にランクすることはできない. 求 める Web 文書数を多くし，各文書から複数の用語候補を出力するなどが必要であることがわかる.

はじめに多数決ランキングを行った. 用語候補中 に正解を含むもの 17 件のうち 11 件で正解の用語が

図 3 Q-T (Query-Term similarity)

図 $5 \mathrm{Q}_{s n i}-\mathrm{T}_{s n i}$ (Query_snippet-Term_snippet similarity)

1 位であった。残りの 6 件は， 3 位， 3 位，4 位，5 位，6位，13 位であった. 結果は表 1 の Majに示さ れている。23 件に対する平均逆順位 (MRR) は 0.54 であった（表 2). 1 位ではない 6 件については，正解の用語に代わって検索質問に関係はするものの別 の語が上位に来ていることが多い. 例えば，正解用語が「バナナ」である時には，「マンゴー」や「み かん」が上位にランクされていた． 4 位以降も「パ パイヤ」「ぶどう」「パイナップル」と続き，バナナ と同じカテゴリの果物が続く. 検索質問が曖昧で,抽出する用語が絞りきれない時には，このようなこ とになると考えられる。用語「アイシャドー」に対 しては，「目元」「アイ」「ニベア」「油分」「アイスク リーム」が上位にランクされており，化粧品とは別 カテゴリの食品カテゴリの語が含まれていた. 用語「コールドゲーム」に対しては，「野球」「ヤクルト」 $「 3$ 月 21 日」「甲子園球場」「8 試合」「順延になった」「9月 20 日」などが上位にランクされており，野球 に関する用語が抽出されていると考えられるが，日付などの別のカテゴリと考えられる語も含まれてい た.これらに対しては，用語間の類似度や用語と検索質問の類似度を求めることで明らかに異なる候補
表 1 用語ごとの検索結果

正解となる用語の出現順位を表す * : 順位が 100 件以内に正解がなかった

であるもの（食品や日付など）を除くことができる 可能性がある.

次に，類似度に基づく 4 種類のランキングを行っ た. MRR は $0.05 \sim 0.13$ と低いものであった. この 結果も表 2 に示されている.

T-TSum では，多数決で上位にランクできるもの については低いランクをつけてしまったものの，多数決ランキングで低いランクのものについて，よ り高いランクに出力できていた。実際に多数決で 6 位のアイシャドーは 5 位に，13 位のコールドゲー ムについては 7 位にランクすることができた（表 1 T-TSum).

Q-T では，単語列（検索質問）と単語（用語候補） との間で類似度をとろうとしており，うまく働かな かったものと考えられる。

を取り出して，単語列同士の類似度を測った. Q-T表 2 各手法による MRR の値

よりも類似度の求め方としては適切と考えられる が，課題が大きいことがわかる。

$\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ では，用語候補と検索質問の双方からス ニペット（単語列）を取り出して，単語列同士の類似度を測った。検索質問のスニペットが正解用語の スニペットと類似し，かつそれ以外の用語候補のス ニペットと類似しないことを期待したが，そのよう なスニペットの取得に課題があったと考える.

## 6 まとめ

用語検索において出力する複数の用語候補のラン キング方法について検討を行った. 多数決によるラ ンキングが精度が高かった. 類似度に基づく手法そ れ自体は高精度ではなかったが，多数決手法が苦手 とするようなものに対して高いランクに出力できる 可能性があることがわかった. 今後は多数決手法と 類似度に基づく手法の併用による用語検索の高精度化を検討していきたい.

謝辞: 本研究は科研費基盤研究 (C) 19K12241 の補助 を受けた。

## 参考文献

[1] 粟飯原俊介, 長尾真, 田中久美子. 意味的逆引き辞書『真言』. 言語処理学会第 19 回年次大会発表論文集, pp. 406-409, 2013

[2] 池内省吾, 南條浩輝, 馬青. BERT を用いた Web 文書か らの用語検索. 情報処理学会研究報告 Vol.2021-NL249, pp. $1-6,2021$.

[3] Google. Google API Client Libraries. https:// developers.google.com/api-client-library.

[4] Pranav Rajpurkar, Robin Jia, , and Percy Liang. Know What You Don' $t$ Know: Unanswerable Questions for SQuAD. $A C L$, Vol. 2, p. 784-789, 2018.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, Vol. 1, p. 4171-4186, 2019.

[6] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による 解答可能性を付与した質問応答データセットの構築.言語処理学会第 24 回年次大会, pp. 702-705, 2018.

## A 付録

表 A 作成した検索質問 23 件