# Minecraft での人間同士の共同作業における対話の分析

市川拓茉 1 東中竜一郎 ${ }^{2}$
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{ichikawa. takuma.wø@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

近年，共同作業が可能な対話システムの構築に向けた研究が盛んに行われているが，創造的な課題の遂行に関する研究はほとんどなされていない. 本研究では，創造的な共同作業が可能な対話システムを目指し，その基礎データとして，Minecraftでの人間同士の共同作業データ 500 対話を収集した. 加えて，質の高い共同作業に重要な対話的要因を調べるために，質の高い共同作業と対話との関係性を分析した. その結果，質の高い共同作業のためには，作業者の間で同意を求め, それに対して同意していくプロセスをより多く行うことや，序盤にある程度のイメージを合意したうえで作業を進め，その後，実物を見ながら修正箇所や細かい部分を話し合うことが重要であることが分かった.

## 1 はじめに

対話システムと会話をする機会の増加に伴い $[1,2]$, 近年では，より高度な対話システムを目指して，人間と協調的にタスクを遂行する共同作業型の対話システムの研究が始まっている $[3,4]$.

対話システムにおける共同作業の研究では,

サンドボックス型の 3D ゲームである. プレイヤー はアバターを操作することで Minecraft の世界で自由に活動することができる。また，マルチプレイに対応しており, 複数のプレイヤーが同一の環境で共同作業をすることが容易である. Minecraft を用いた研究の多くは所定の問題を解決するタイプの共同作業に関するものであり $[7,8,9]$, 創造的な共同作業についてはほとんど検討されていない。人間とシステムが協働する社会の実現のためには，システムは単に命令されて行動するのではなく, 人間の仲間として共同で価値を創造していくことが重要である.本研究では，人間とシステムが共同して新しい

ものを作りだす創造的な共同作業を遂行できる対話システムを目指し，その基礎的なデータとして， Minecraft での人間同士の共同作業データを収集し分析した. 具体的には，創造的な共同作業として共同建築タスクを設定し，Minecraft で作業を行う過程のテキストチャット，行動ログ，作業後のアンケー トを収集した．また，共同作業の質を評価するために，収集された作品に対して個性と美しさの観点から第三者評価を収集した。主観評価および第三者評価の高い共同作業に重要な対話的特徴について分析した結果，質の高い共同作業のためには，作業者の間で同意を求め，それに対して同意していくプロセスをより多く行うことや，序盤にある程度のイメー ジを合意したうえで作業を進め，その後，実物を見ながら修正箇所や細かい部分を話し合うことが重要であることが分かった.

## 2 Minecraft 共同作業コーパス

創造的な共同作業が可能な対話システムの実現に向けて，共同建築タスクの設定および基礎的なデー タの構築を行った.なお，データ収集の実施にあたっては，倫理的関連において所属組織の承認を得ている.

## 2.1 共同建築タスク

Minecraft での創造的な共同作業を実現するために，2名の作業者が協力して個性的かつ美しい庭を作成する共同建築タスクを設定した。作成対象を庭とすることで，作業の難易度と作品のバリエーションを両立できると考えた. また，個性や美しさといった個人の価値観に左右される基準を設けることにより，作業者同士の話し合いによって創造的に作業を行えるようにした。

共同建築タスクでは，テキストチャットを用いて対話をしながらブロックの操作を行い，個性的かつ美しい庭を作成する. 建築可能範囲は縦横 10 マス，高さ 4 マスとした. 使用できるブロックは 17

図 1 共同建築タスクにおける共同作業の様子と作品 (実際に収集したデータから抜粋). 番号は表 1 における発話 IDであり，その発話が行われた時点に対応している.

種類に限った. 作業の制限時間は 20 分である. 以降，共同作業 1 回分のことを 1 対話と呼ぶ.

## 2.2 データ収集の手順

データ収集には Minecraft Java Edition 1.16.5を使用し，データ収集基盤には SpigotMC ${ }^{2}$ を使用する。

収集するデータはゲーム内テキストチャットのほか，ブロックの設置，破壊動作およびプレイヤーの移動動作であり，いずれもタイムスタンプが付与されている. 各動作において収集する情報は，作業者の位置情報 (座標データ (x,y,z), 視点情報 (yaw,pitch))，動作固有の情報 (チャット内容，ブロックの種類等)，建築範囲の情報 $(10 \times 10 \times 4$ の範囲におけるブロックの種類) である.

また，作業者に対し，共同作業の満足度を問うアンケートを実施する，アンケートでは，対話における主張や合意，作った作品などについて 7 つの質問を用意し，5 段階のリッカート尺度を用いて集める。

## 2.3 収集されたデータ

表 2 に今回収集した 500 対話の統計量を示す. データ収集実験にはクラウドソーシング3)で募った 79 名が参加し，1 名当たりの作業回数は平均 12.7 回，最大 24 回であった. それぞれの共同作業は異なるぺアによって実施された. 1 回の作業時間は約

3) https://www. lancers.jp/表 1 図 1 の作業時の対話

 \\

25 分であり，作業報酬は 1 名当たり 585 円であった.

図 1 に収集された対話における作業の様子，表 1 にその対話内容を示す.この対話では，はじめにメインとなる要素を話し合って決めてから，それに付け足す形で細かい部分を作り上げている。

アンケート 7 項目のそれぞれのスコアは，平均が 4.34 から 4.65, 標準偏差が 0.67 から 1.02 であり, 質の高い共同作業のデータが多く得られた.

## 2.4 作品に対する第三者評価

作業者が主観的によい作品ができたと思っていても，客観的によい作品とは限らない。そこで，クラウドソーシング4)を用いて，収集された 500 個の作品に対してより客観的と思われる第三者評価を実施

4) https://crowdworks.jp/

した. 254 名の評価者が参加した. 1 個の作品に対して 10 名の評価者が評価を行った. 平均作業時間は約 42 分であり，作業報酬は 1 名あたり 700 円であった.

評価者は，はじめに，別途実施した予備実験において収集した 30 個の作品を見て，自身の中で評価基準を定め，その後， 20 個の作品に対して個性と美しさの観点から評価を行った. 個性と美しさの評価には 7 段階のリッカート尺度を用いた。

10 名による評価値の平均は，個性が平均 4.84 ，標準偏差 0.73 , 美しさが平均 4.32, 標準偏差 0.75 であった. 第三者評価についても比較的高いスコアが得られており, 質の高い共同作業が実施できたことが確認できた。

## 3 共同作業における対話の分析

将来的に共同建築タスクを実施可能な対話システムを構築するために，主観評価および第三者評価の高い共同作業を可能にする対話的要因を分析した.

## 3.1 共同作業に有用な頻出表現

質の高い共同作業に重要な表現を見つけるために, 単語頻度の分析を行った. 共同作業の優劣は, アンケートによる作業者の主観評価 7 項目の総和 (満足度) および作品の第三者評価 (個性, 美しさ)の計 3 つの分類基準によって付け，収集された 500 対話すべてを上位 $20 \%$ と下位 $80 \%$ に分類した。

単体である程度の意味を持つ表現が抽出できるように, 単語の 4-gram に対して分析を行った. 分析の対象となる表現は収集した 16,221 発話に含まれる頻出上位 300 個の 4-gram とした. 収集した 500 対話に対して，それがある 4-gramを含むか否か，上位の対話に属するか否かをもとに $2 \times 2$ のクロス表を作成し，それに対してフィッシャーの正確確率検定を行った. 単語の抽出には形態素解析器として Janome ${ }^{5)}$ を使用した. また，4-gramとして助詞および助動詞のみで構成される表現については分析対象から除外した。

表 3 に各分類基準において上位の対話に有意に多く見られたものを示す. なお，主観評価による分類では多数の表現が得られたが, 第三者評価による分類では得られた表現は少数であった.

満足度の高い対話に頻出する表現は主に 2 つに分類できる.1つ目は「がいいですか」「(して)みま

5) https://github.com/mocobeta/janome表 3 分類基準 (満足度, 個性, 美しさ) ごとの頻出表現 ( $\mathrm{p}$値はフィッシャーの正確確率検定による。*は $\mathrm{p}<0.05$ ，** は $\mathrm{p}<0.01)$

 \\

しょうか」，「でどうでしょう」等の相手に同意を求める表現である。これらは，相手にアイデアを提案する際や作業の方針を決める際の発話に確認された. 2 つ目は「なんですよ」，「そうですょね」，「いいですよ!」等の相手に好意的な評価を示す表現である.これらは，相手の意見や作ったものに対して好意的な評価を示し, 同意する際の発話に確認された。

第三者評価の高い対話については，頻出表現があまり得られなかったが，個性による分類では，「のはどうです(か)」と「っぽくなりました」が確認された.これらのうち,「のはどうです(か)」は相手にアイデアを主張し，それに対して同意を求める表現である. 美しさによる分類では，6つの表現が得られた.これらのうち,「しますか？」,「てみてもいい(ですか)」は相手に同意を求める表現であり，「いいかんじですね」，「もいいと思い(ます)」は相手に好意的な評価を示す表現である。

これらの分析をまとめると，いずれの分類においても同意に関する表現が多く見られた。このことから, 質の高い共同作業には作業者間で同意を求め, それに対して同意していくプロセスをより多く含むことが重要であることが定量的に確認できた.

## 3.2 共同作業の流れの分析

どのような流れの対話が質の高い共同作業につながるかを調査した. まず，共同作業の流れを分析するため，発話時における作品の完成度を時系列デー タとしてプロットし，それに対してクラスタ分析を
行った.

共同建築タスクでは 2 名の作業者が協力して作品を完成させるが，最後まで残っていた部分についてはすでに両者が納得していると考えられる. これを作品の完成度と捉え，以下の様に定義した。

$
\text { 作品完成度 }=\frac{\mid \text { Blocks }_{t} \cap \text { Blocks }_{\text {last }} \mid}{\mid \text { Blocks }_{\text {last }} \mid}
$

Blocks $s_{t}$ は時刻 $t$ に設置されているブロックの集合， Blocks last は最終的な作品に使用されているブロックの集合を表す. 発話の時点とその時の作品完成度を時系列データとし，クラスタリングを行った。クラスタリングには $\mathrm{k}-S h a p e[10] を$ 使用した。また，光田ら [11] に従い，作品完成度は平均 0 ，分散 1 の正規分布に従うように正規化した. クラスタリングでは，クラスタ内誤差平方和が下げ止まった箇所が複数存在したため，各クラスタ数による結果を著者の 1 人が確認し，類似するクラスタが出現しないクラスタ数 6 を選択した。

図 2 亿得られたクラスタを示す. 各クラスタが全体に占める割合は，クラスタ 1 が $4.4 \%$ ，クラスタ 2 が $19.6 \%$ ，クラスタ 3 が $16.4 \%$ ，クラスタ 4 が $3.0 \%$ ，

クラスタ 1 とクラスタ 4 では，終盤に作品完成度が急増している。序盤に何を作るか話し合いによって決めた後，黙々と作業を続けた対話がここに含まれる. クラスタ 3 ，クラスタ 5 では，作品完成度が中盤にやや大きく増加している．序盤に話し合った大まかな内容で作業を進め, 中盤以降は細かい部分について話し合った対話がここに含まれる. クラスタ 2 とクラスタ 6 については，序盤から終盤にかけて作品完成度がほぼ一定に増加している. 常に話し合いながら作業を行い，少しずつ合意を重ねて作品を作った対話がここに含まれる。

## 3.3 共同作業の流れと評価値の関連

よい共同作業がいずれのクラスタのものなのかを把握するために，得られたクラスタに対して質の高い対話が頻出するかを調べた．対話を質によって分類するために，主観評価 7 項目それぞれとその総和，第三者評価 2 項目それぞれの計 10 項目を対話の評価基準として使用し，そのスコアが高い上位 $20 \%$ 質のよい対話，下位 $80 \%$ 質の悪い対話として分類した. 収集した 500 対話に対して，それがあるクラスタに属するか否か，よい対話に属するか否かをもとに $2 \times 2$ のクロス表を作成し，それに対し

図 2 作品完成度の時系列クラスタリング結果

てフィッシャーの正確確率検定を行った.

クラスタ 3 では, 第三者評価の「個性」および「美しさ」によって対話を分類した際に，クラスタ 5 では，主観評価 7 項目の総和によって分類した際に， それぞれ $5 \%$ の有意水準で質の高い対話が有意に多く出現することが認められた。一方，クラスタ 2 やクラスタ 6では質の高い対話を有意に多く含むことは認められなかった. 常に話し合い，合意をしながら作業をすることがよりよい共同作業につながると思われがちだが，そうなっていない点は興味深い。

この分析から，序盤にある程度のイメージを合意したうえで作業を行い，その後，細部について話し合って作品を完成させるような共同作業が，いずれの評価においても重要であることが分かった。

## 4 おわりに

本研究では, 創造的な共同作業が可能な対話システムを目指し，その基礎データとして，共同建築夕スクにおける人間同士の作業の様子を Minecraft を用いて収集した．また，対話に対する評価を作業者による主観評価と第三者評価によって行い，それらの評価值が高い対話における特徵を分析した。その結果，質の高い共同作業のためには，作業者の間で同意を求め，それに対して同意していくプロセスをより多く行うことや，序盤にある程度のイメージを合意したうえで作業を進め，その後，実物を見ながら修正箇所や細かい部分を話し合うことが重要であることが分かった.

今後は，イメージを合意するための対話手法，実物について評価したり修正を提案する手法などを検討し，実際にユーザと創造的な共同作業を対話を通して行うシステムを構築したい。

## 謝辞

本研究は科研費「モジュール連動に基づく対話システム基盤技術の構築」(課題番号 19H05692) の支援を受けた。

## 参考文献

[1] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学. 対話システム（自然言語処理シリーズ）.コロナ社, 2015.

[2] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[3] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying collaborative discourse theory to humancomputer interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[4] James Allen, Nathanael Chambers, George Ferguson, Lucian Galescu, Hyuckchul Jung, Mary Swift, and William Taysom. Plow: A collaborative task learning agent. In Proceedings of the 22nd National Conference on Artificial Intelligence - Volume 2, p. 1514-1519, 2007.

[5] Arthur Szlam, Jonathan Gray, Kavya Srinet, Yacine Jernite, Armand Joulin, Gabriel Synnaeve, Douwe Kiela, Haonan Yu, Zhuoyuan Chen, Siddharth Goyal, et al. Why build an assistant in minecraft? arXiv preprint arXiv:1907.09273, 2019.

[6] Haruna Ogawa, Hitoshi Nishikawa, Takenobu Tokunaga, and Hikaru Yokono. Gamification platform for collecting task-oriented dialogue data. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 7084-7093, 2020.

[7] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[8] Arne Köhn, Julia Wichlacz, Christine Schäfer, Álvaro Torralba, Joerg Hoffmann, and Alexander Koller. MC-saarinstruct: a platform for Minecraft instruction giving agents. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 5356, 2020 .

[9] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1112-1125, 2021.

[10] John Paparrizos and Luis Gravano. k-shape: Efficient and accurate clustering of time series. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, pp. 1855-1870, 2015.

[11] 光田航, 東中竜一郎, 大賀悠平, 杵渕哲也. 共同図形配置課題における対話の共通基盤構築過程の分析. 言語処理学会第 27 回年次大会発表論文集, 2021.


# 対話介入実験による対話の引き継ぎに有用な情報の調査

山下紗苗 東中竜一郎
名古屋大学大学院情報学研究科
xz.51d.7408@s. thers.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

現状のチャットボットやコールセンタの自動応答では，完全に自律したやり取りは難しく，必要に応じてオペレータが介入する必要がある. しかし, どのような情報をオペレータに提示すればスムーズに引き継げるのかは明らかでない. 本研究では, 2 人のオペレータがメモを引き継ぎながら一定時間ごとに交代してユーザと対話する実験を行った。そして，交代時に用いたメモを分析することで，対話を引き継ぐ際に必要な情報を実験的に調査した. 雑談，相談，接客の対話タスクを対象に，240回のオペレータ切り替えを含む 60 対話を収集した結果，対話を引き継ぐ際には，対話の情報を隣接ぺアや属性値対の形式で提示するのがよいという知見が得られた.

## 1 はじめに

近年，ニューラルネットワークの適用に基づく高精度な自律対話システムが多く研究されている [1, 2, 3, 4, 5]. しかし, しばしば矛盾 [6] や誤情報 [7] を含む発話が生成され，対話破綻を引き起こす. そのような場合，人間が適宜対話に介入乙，対話システムから対話を引き継いで応対を進めることが有用だと考えられる [8]. しかしながら，現状，対話を引き継ぐ際にどのような情報があれば対話をスムーズに引き継げるかは明らかでない.

本研究では，対話を引き継いだオペレータが対話状況を迅速に把握し，スムーズに対話を続けられるようにするために，どのような情報を提示すればよいかを明らかにする．具体的には，2人のオペレー タがメモを引き継ぎながら一定時間ごとに交代してユーザと対話する実験（図 1 参照）を行い，引き継ぎに使ったメモを分析することで，対話を引き継ぐ際に必要な情報を実験的に明らかにする．雑談，相談，接客の対話タスクで実験を行い，複数の対話種別の引き継ぎに共通して必要な情報を調査する.

図 1 対話介入実験の模式図. 2 人のオペレータが，メモをもとに，一定時間ごとに入れ替わりながらアバタを介してユーザと対話する。

## 2 関連研究

人間による対話の引き継ぎは，コールセンタでの入電を適切なオペレータに転送するコールルーティングの文脈で行われてきた $[9,10]$. しかし，これらの研究では引き継ぎ時に提示すべき情報は扱われていない.

近年では，河原ら [8] が傾聴対話をオペレータに引き継ぐ研究を行っている. 河原らは，オペレータに提示する情報として，音声認識結果とキーワードの強調表示を用いている。 山下ら [11] は，雑談において，オペレータが対話を引き継ぐ際に，対話履歴の最後の 5 発話を提示することが有用であると報告している。しかし，これらの情報が対話の引き継ぎに最適かどうかは明らかではない. 本研究では，引き継ぎに必要な情報に想定を置かず，オペレータが作成する引き継ぎ用のメモに着目し，必要な情報を実験的に調査する。

本研究は，対話内容を即座に把握するための対話の構造化に関するものと言える. 対話の構造化には，トピックセグメント [12,13]，談話セグメン卜 [14]，情報状態 [15]，隣接ペア [16,17, 18] などが利用されてきた. 本研究では，これらの構造化の方法を念頭に置きつつ，オペレータが作成したメモをもとに，対話の引き継ぎにおける，適切な対話の構造化の方法を調査する.

(a) 雑談におけるメモ例

(b) 相談におけるメモ例

(c) 接客におけるメモ例

図 3 実験終盤の，対話終了後のメモの例. (a) (c) オペレータとユーザの発話を左右に分け，隣接ぺアのように発話同士を矢印で結んでいる。(b) 隣接ぺア形式と属性值対形式で情報をまとめている.

図 2 雑談の対話例. 入れ替わり前のオペレータを $\mathrm{O} 1$,入れ替わり後のオペレータを $\mathrm{O} 2 ＼mathrm{~ ， ユ ー サ ゙ を ~ U ~ て ゙ 示す . ~}$

## 3 対話介入実験

対話の引き継ぎに必要な情報を調査するために，対話に関するメモを引き継いで対話する実験（対話介入実験）を実施した。

## 3.1 実験の概要

対話介入実験の模式図を図 1 に示す. 本実験では，2人のオペレータが一定時間ごとに入れ替わって 1 人のオペレータとして振る舞い，1 人のユーザと対話する。なお，一方のオペレータがユーザと対話をしている間，もう一方のオペレータは別のユー ザと対話をしている．切り替えでは，各オペレータは応対するユーザを交換する。すなわち，この実験では 2 つの対話がパラレルに実施されている。これ
は主に時間効率のためであるが，直前の対話から次の対話に即座に切り替えることは認知的負荷が高いと考えられ，そのような状況で作られるメモは対話を即座に把握できる有用なものになりうる。

オペレータ役として男女 2 名ずつ，合計 4 名を募集し，女性同士（オペレータペア 1)，男性同士（オペレータペア 2）の2つのペアに分けた. ユーザ役として 20 名を募った.

複数の対話タスクを実施することで多様な対話の引き継ぎに必要となる要素を洗い出すことができると考え，雑談，相談，接客という 3 種類の異なる対話タスクを用意した．雑談では，ユーザが自身の最近はまっていることについて話した。対話サービスを意識し，オペレータにはどちらかと言えば聞き手に回るよう指示した. 相談では，オペレータが旅行代理店店員となってユーザの旅行計画の相談に乗った．相談にリアリティをもたせるため，旅行地には，対話の参加者があらかじめ知識を持たない地名としてスロベニアを選んだ。接客では，オペレー タがユーザの要望を聞き，あらかじめ用意された 3 機種の掃除機から 1 機種を推薦した。

各オペレータペアは 10 名のユーザと 3 回ずつ対話（対話タスクをランダムな順番で 1 回ずつ実施） し，実験全体で 60 回の対話を行った.

## 3.2 オペレータの入れ替え

1 つの対話の長さは 10 分とし，対話開始から 2 分， 4 分， 6 分， 8 分が経過した時点でオペレータを入れ替えた. オペレータが入れ替わることにつ

いて，ユーザには知らせていない。対話は，ウェブ会議システムの $\mathrm{Zoom}^{1)}$ を用いビデオをオンにして行った. ただし, ユーザがオペレータの入れ替わりを判別できないように，オペレータはボイスチェンジャ2)を用い，アバタ3)を介して対話した.

オペレータには，対話を行っている最中に，対話を引き継ぐためのメモを取るように指示した. 引き継ぎに際してどのような情報が必要かの予断を持たせないため，メモの書き方は指定しなかった. グラフィカルな情報が必要になる可能性があるため，メモは電子的ではなく，A4 サイズの用紙 1 枚の片面に手書きで記入させた。メモは 1 つの対話につき 1 つとし，入れ替わりのタイミングで次のオペレータに手渡しで引き継がれるものとした（オペレータ同士は物理的に近いブースに配置した)。入れ替わったオペレータは，メモを参考にして対話を引き継ぎ，必要に応じて新たに情報を追記した。

図 2 に対話例, 図 3 にメモの例を示す. 2 人の才ペレータのうち，一方のオペレータは黒色でメモを取り，他方のオペレータは赤色でメモを取っていた. 各対話の発話，手書きのメモ，ディスカッションで行われた発話の内容を分析するためこれらを書き起こした。

## 3.3 アンケート

オペレータとユーザは，各対話について，7 段階リッカート尺度で対話に関する 13 個のアンケート項目（自然性，目的達成，満足度，文脈理解困難，次発話困難，他メモ有用，自メモ有用，連携，内容理解，個性，一貫性，信頼，注意）について同意の程度を回答した。

加えて，オペレータとユーザは，3種類の対話夕スクを終えるごとに，対話タスクのうち最も話しやすかった/話しにくかったものを回答した. オぺレータについてはさらに，もう一方のオペレータとの連携が最も円滑だと感じた/円滑でないと感じた対話タスクについても回答した。

オペレータのペアは，対話を終えるごとに，10 分程度で，実施した対話の振り返りやメモの取り方の改善方法についてのディスカッションを行った.

## 4 対話およびメモの分析

表 1 対話あたりの発話時間，発話回数，文字数，単語数，異なり単語数. 括弧内は発話あたりの文字数. オぺレータを $\mathrm{O} ＼mathrm{~ ユ ー サ ゙ を U て ゙ 表す . ~}$

## 4.1 対話の統計量

表 1 にオペレータ/ユーザごとの対話統計量を示す. 10 分程度の対話の中で，オペレータは 80〜 90 回，ユーザは 70～90 回程度の発話を行った. 対話の傾向は対話タスクごとに異なっていた。具体的には，相談と接客では，オペレータの 1 発話あたりの文字数が多かった. これらの対話では，対話の主導権がオペレータにあったと考えられる。 それに対して雑談では，オペレータが聞き手に回ったことから，対話の主導権はユーザにあったと考えられる。

## 4.2 メモの統計量

表 2 に，対話タスクごとのメモの文字数，単語数，異なり単語数，矢印の数を示す. メモの文字数と単語数は，ユーザの 1 発話あたりの平均文字数におおむね比例しており，相談，接客，雑談の順に多い.雑談は異なり単語数が多く, 多様な話題が話されていることが分かる.

図 4 に，対話ごとに取られたメモの文字数の推移を示す.オペレータペア 1 のメモの文字数は 2 回目でピークを迎え，その後は文字数を減らして収束傾向にあった。最も序盤のメモを除き，オペレータとユーザの発話は左右に分けて記載されていた. オぺレータペア 2 の相談と接客のメモの文字数は，実験の序盤から終盤まで大きく変化せず，メモのフォー マットも変化しなかった. 全体としてメモの文字数とフォーマットは，オペレータペアごと，対話タスクごとにほぼ収束した.

図 4 メモの文字数の時系列遷移. 横軸は 2 人のユーザへの応対を終えた回数を表す。 3.2 節の通り，オペレータは二人のユーザと入れ替わりながら対話をした. ここでは，並行して行われた 2 つの対話のメモの文字数の平均をプロットしている.

## 4.3 メモの分析

雑談や接客のメモでは，図 $2 \mathrm{a}, 2 \mathrm{c}$ のように矢印が多用された．矢印は「高い？ $\rightarrow 100$ 万円のギター $\rightarrow$ えー！！高い。」ように，ユーザの発話に対するオペレータの反応という隣接ぺアの関係を表していると言える．また，オペレータによると，雑談ではオペレータとユーザの発話を左右に分けてメモを取る方法が有用とのことであった. オペレータの発話をメモしておく理由は，矛盾をなくすためである。雑談の聞き手は，相槌を打つだけでなく，発話内容に同意したり，聞き手自身の意見や感想を述べたりする。したがって，聞き手であるオペレータが入れ替わった際に，入れ替わる前と異なる内容の発話をしないようにオペレータ自身についてのメモを取る必要がある.

相談のメモを図 $2 \mathrm{~b}$ に示す.メモの下半分には隣接ペアの形式でメモが取られているが，メモの上半分には「滞在日数| 3 泊 4 日」のように属性値対形式で情報が記入されている．相談や接客では，オぺレータがユーザから聞き出すべき情報は決まっていることが多い，既に聞き出した情報とまだ聞き出していない情報がひと目で把握できるという点で，属性値対形式も有用と考えられる。

## 4.4 ディスカッションの分析

あるオペレータはディスカッションで，入れ替わり直後はメモをじっくり読む時間がないため，メモ
の一番下に記載された，最新の 1 行だけを参照して発話していたと述べた. そして，何かしら発話したうえで，メモの履歴をさかのぼって内容を確認していたとのことである．対話の引き継ぎでは，直前の対話履歴を参照でき，必要に応じて過去の対話履歴を効率的に参照できるような情報提示が有効であると考えられる。

## 4.5 アンケート結果の分析

アンケートの結果，オペレータは，3 種類の対話のうち特に雑談について，自然性や満足度の高い対話ができ，メモも有用で，文脈理解や次発話作成に困難が少なかったと回答した. Bonferroni 補正を行った Wilcoxon の順位和検定を実施したところ，次発話困難（何を話せばよいか分からないことがあった）については雑談-相談間で，他义モ有用（もう一方のオペレータのメモは役に立った）については雑談 - 接客間で， $1 \%$ の有意水準で差が見られた. メモにおいて隣接ペアが多用された雑談が引き継ぎやすいと評価されていることから，隣接ぺア形式のメモの有効性が示唆された。他のタスクにおいても他义モ有用の評価は 7 段階中 6 前後と高かった. ユーザのアンケート評価は対話の種類に拠らずどれも 7 段階中 4 を超えており，オペレータの入れ替わりがあっても問題なく対話できていることが確認できた。

なお，3 種類の対話タスクを比較するアンケートでは，オペレータは，3種類の対話タスクのうち雑談が最も話しやすく，かつオペレータ間の連携が円滑だったと回答した。相談と接客のような，タスク遂行の正確性が重要となる課題については，比較的引き継ぎが難しいことが示された.

## 5 おわりに

本稿では，対話の引き継ぎに必要な情報を実験的に調査した，具体的には，雑談，相談，接客に対して介入実験を行い，オペレータが作成したメモを分析した。その結果，隣接ペア形式および属性値対形式での情報が引き継ぎに有用であることが分かった. 今後は，対話の引き継ぎに適したインタフェー スを実装していきたい．例えば，対話履歴から隣接ペアを抽出して対話を要約する，対話履歴から属性值対形式で所定の情報を抽出する，などの要素技術に取り組む予定である。今後は，そうしたインタフェースの実装を行い，その有用性を検証したい。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Jan Pichl, Petr Marek, Jakub Konrád, Petr Lorenc, Van Duy Ta, and Jan Šedivỳ. Alquist 3.0: Alexa prize bot using conversational knowledge graph. arXiv preprint arXiv:2011.03261, 2020.

[3] Wenjie Ou and Yue Lin. A clarifying question selection system from ntes_along in convai3 challenge. arXiv preprint arXiv:2010.14202, 2020.

[4] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like opendomain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[5] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, 2021.

[6] Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, and Masahiro Mizukami. Integrated taxonomy of errors in chatoriented dialogue systems. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 89-98, 2021.

[7] K Shuster, S Poff, M Chen, D Kiela, and J Weston. Retrieval augmentation reduces hallucination in conversation 2021. arXiv preprint arXiv:2104.07567, 2021

[8] Tatsuya Kawahara, Naoyuki Muramatsu, Kenta Yamamoto, Divesh Lala, and Koji Inoue. Semi-autonomous avatar enabling unconstrained parallel conversations-seamless hybrid of woz and autonomous dialogue systems-. Advanced Robotics, pp. 1-7, 2021.

[9] Allen L Gorin, Giuseppe Riccardi, and Jeremy H Wright. How may I help you? Speech communication, Vol. 23, No. 1-2, pp. 113-127, 1997.

[10] Marilyn Walker, Irene Langkilde, Jerry Wright, Allen L Gorin, and Diane Litman. Learning to predict problematic situations in a spoken dialogue system: experiments with How may I help you? In Proceedings of the 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 210-217, 2000.

[11] 山下紗苗, 東中竜一郎. 雑談に介入する際に必要な対話要約の調査. 人工知能学会研究会資料言語・音声理解と対話処理研究会, pp. 86-91, 2021.

[12] Marti A Hearst. Text tiling: Segmenting text into multi-paragraph subtopic passages. Computational linguistics, Vol. 23, No. 1, pp. 33-64, 1997 .

[13] Feng Jiang, Yaxin Fan, Xiaomin Chu, Peifeng Li, Qiaoming Zhu, and Fang Kong. Hierarchical macro discourse parsing based on topic segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13152-13160, 2021.

[14] Barbara Grosz and Candace L Sidner. Attention, intentions, and the structure of discourse. Computational linguistics, Vol. 12, No. 3, pp. 175-204, 1986.

[15] Staffan Larsson and David R Traum. Information state and dialogue management in the trindi dialogue move engine toolkit. Natural language engineering, Vol. 6, No. 3-4, pp. 323-340, 2000.
[16] Emanuel A Schegloff. Sequence organization in interaction: A primer in conversation analysis I, Vol. 1. Cambridge university press, 2007.

[17] Amy BM Tsui. Beyond the adjacency pair. Language in Society, Vol. 18, No. 4, pp. 545-564, 1989.

[18] 榎本美香, 伝康晴, 松坂要佐. 3 人会話における談話行為と受け手のラベリングとその基礎的分析. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 45, pp. 7-12, 2005.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 連想情報と時系列を考慮した文章の焦点推定による 対話破綻検出

山﨑翔太寺岡丈博
拓殖大学大学院 工学研究科情報・デザイン工学専攻
20m309@st.takushoku-u.ac.jp tteraoka@cs.takushoku-u.ac.jp

## 概要

現在の対話システムは，人間と円滑に対話できているとは言い難い。それは，人間と対話システム間における発話の意味理解が十分ではないからである. 本研究では，対話中の話題を焦点と定義し，連想情報と時系列を加味した文章べクトルで表した。 この焦点とファインチューニングされた BERT の出力を特徴量として学習し得られた出力の結果, 対話破綻検出において精度の向上を確認し，本研究の有効性を確認した。

## 1 背景と目的

近年，スマートデバイスの高性能化や移動通信技術の発展により，誰もが手軽に IT 技術を利用するようになった。しかし，IT 技術への慣熟度によって利用までのハードルの高さが違い，大きな格差が発生している。そこで，音声アシスタントやチャットボットによる操作案内等, IT 技術に不慣れでも IT 機器を操作できる技術が注目されている。

また，そのような流れの中で，非タスク指向型対話 (いわゆる雑談対話) の対話システム上への実装が模索されている．対話システムと人間との対話は， しばしば継続不可能な状況へ陥ることがある. そういった状況は，対話破綻 [1] と名付けられ，回避の手法が模索されている.

しかし，現状の対話システムはまだ発展途上であり，対話システムが話題の遷移を理解できず，対話破綻が引き起こされることも多い。 そこで本研究では，対話が焦点としている概念の単語ネットワーク上での移動の推移を利用し対話破綻検出を行う.

## 2 先行研究

対話破綻の特徴に応じた回避手法の提案 [2] では，短期的な頻出語を話題と仮定し，それに関連する発話を行うことで対話破綻の回避を試みた。しかし，頻出語では話題推定の精度が低く，対話によっては元の発話よりも破綻感が高まってしまう等の結果が得られた。

松本・藤田らの研究 [3] では, Sugiyama らの研究 [4] の手法の再現性がない点に着目し, 日本語 BERT モデルと他の特徴量を使った手法を再現性を持って実装し比較を行った。日本語 BERT モデルは対話破綻検出を破綻，軽微な破綻，破綻ではないの 3 種類に分類する文書分類タスクとして fine-tuning されている. その BERT モデルからの出力と，各発話の特徴量を結合した。低次元の特徴量を結合することで精度向上が期待できるということを明らかにした。

豊嶋の研究 [5] では，各発話文を Word2Vec によって発話ベクトルに変換し，素性を作成して SVM で対話破綻の検出を行っている. 各発話の発話べクトルの差分から得られたべクトル遷移の方向と大きさを利用したが，話題の遷移が見られた会話にのみ適応している等，課題点も見られる。

## 3 提案手法

## 3.1 概要

本研究では, 出現した単語と, 出現した単語を刺激語とした連想語の単語ベクトルを取得し，単語ネットワークを作成する。処理の流れを図 1 に示す.

作成したシステムは出現単語リストを持ち，それに操作を行うことで焦点を推定する。発話が行われると，発話された文章を分かち書きし，出現単語リストに追加する。また，追加された単語の連想される語を出現単語リストに追加する. この段階で，重み付けを行う．重みは連想されやすさと単語の特殊さを利用して算出する. その後，リスト内の単語の単語ベクトルを，Word2Vecを利用して取得する。
表 1 焦点の推移類似度は焦点との類似度を指す

各単語の重みと取得したべクトルの加重平均を焦点ベクトルとする．また，システムは次の発話を受け取る前に, 出現単語リストに付与された重みの減衰を行う。そして，重みが 0 未満となった単語を出現単語リストから削除し, 発話待ち受け状態となる.単語ベクトルを取得する単語は名詞, 形容詞, 動詞に絞った。なお，「する」などの補助動詞は会話の焦点には関係ないと考え，除外した。ここで得られた加重平均を焦点，Word2Vec のモデル上で最も類似度の高い単語を話題として扱う。類似度は，コサイン類似度とした。

図 1 処理の流れ

## 3.2 焦点ベクトルの抽出

## 3.2.1 単語ベクトルの抽出

発話中の出現単語をリスト化し, リスト内に含まれる単語の単語ベクトルを wikipedia-jumanpp.model から抽出する. wikipedia-jumanpp.model は wikipedia をjuman++で分かち書きし, 出力された結果から学習させた Word2Vec のモデルである. jumanpp は非常に精度が高い形態素解析器であるが，軽量と言われている形態素解析器である MeCab と比べて動作が遅い. そのため, Wikipedia 等の巨大なデータの分かち書きに使われる例は少ない。しかし, MeCabで分かち書きし学習させた Word2Vec モデルよりも高精度が期待できる.

## 3.2.2 興味値

表 2 変数の定義

会話の進行によって，会話中の概念への興味が変動すると推測し，各単語に重み付けを行った．今回の研究では，重みを興味値と定義した．興味値の算出は発話がされる度に行わる. 各数値は，表 2 のように定義した。

人間が会話をする際，一度出現した単語でも会話が進むにつれて忘れられることから，何度も出てきた単語や連想されやすい単語，あまり一般的に利用されない単語が話題の焦点に近いと考えられる. そこで今回，対話中での出現回数，出現した単語との連想距離，日本語 Wikipedia 全文中の出現回数を利用して，以下のような方法で興味値を作成した。 まず，単語の出現 $(\mathrm{N})$ は，日本語 Wikipedia 上での出現回数を Xとした場合に， $\mathrm{N}=1 / \log X$ で計算される.またこの時，出現回数 Xが 10 未満であった場合は，出現回数 $X=10$ として扱う. これは，数ギガバイトの日本語 Wikipedia 上での出現回数は，一定回数以下であれば十分少ないと言えるからである.会話中で出現した単語については，Nをそのまま興味値として扱う。連想距離は，連想概念辞書 [6][7] から抽出する. 出現した単語を刺激語として連想された語は， $\mathrm{N}$ と出現した単語からの連想距離の逆数の積（ $\mathrm{N} /$ 連想距離）を興味値として加算する。これは，出現した単語が連想距離の原点にいると仮定して連想距離が遠いほど加算される重みを小さくするためである。 $\mathrm{N} /$ 連想距離は， $\mathrm{RN}$ とした。

また，興味値は加算が終了した後に減衰し，興味値が 0 未満になった単語は出現単語リストから削除される。興味値の減衰率は SN とした. SN は N/M であり， $\mathrm{M} \leqq \mathrm{N}$ である. 例えば, $\mathrm{N}=3, \mathrm{M}=1$ とした場合， 1 度出現した単語は 3 発話分影響を及ぼすことになる. 今回は， $\mathrm{N}=4, \mathrm{M}=1$ として実験を行なった. これは，後述する BERT の fine-tuning の際，破綻かどうかを判定されるターゲットになる発話を含めた直前 4 発話を利用するからである.

## 3.2.3 出力例

出力例を表 1 に示す. 50 次元の Word2Vec では,海の話が進んでいるが，ターン数 4 の発話に含まれた「嵐」という単語から，焦点が「荒波」に寄ったことがわかる. 次元数が低い場合, 分散表現上の単語同士が近づくことで未出現の単語が話題とされやすい.

200 次元の Word2Vec では，ターン数 4 でも話題は海となっている. これは, 次元数が増えることで,海と荒波の距離が広がり引き起こされたと考えられる.しかし, 焦点との類似度は下がっており, 話題が海から離れかけていることがわかる.

今回, Word $2 \mathrm{Vec}$ の次元数は中間の 150 次元とした.これは，アンケートによって決定した. アンケートの参加人数は 5 名で, いずれも大学生となっている.

## 3.3 対話破綻検出

松本・藤田らの研究 [3] と同様に，対話破綻検出タスクに fine-tuning された BERT モデル [8] から得られた出力に，焦点べクトルを結合することで行う. BERT モデルへの文章の入力は, BERT モデルを事前学習する時に利用したトークナイザでトークン化して行う必要がある. 作成した焦点推定システム内では発話を jumanpp[9] で形態素解析しているため, 同じ形態素解析器で形態素解析を行ってトー クン化したモデルを利用する必要がある. そこで今回利用する BERT モデルは, 黒橋・褚・村脇研究室から公開され日本語 BERT モデル [10] である. 今回は，LARGE-WWM版の BERT モデルを利用した.

## 3.3.1 BERT $の$ fine-tuning

対話破綻検出を回帰問題として BERT の finetuning を行う. 対話破綻検出チャレンジ [11] では，平均二乗誤差が評価指標として取り入れられている

図 2 BERT モデルの概形

ため， fine-tuning 時の損失関数は，一般的にマルチクラス分類に利用されるクロスエントロピー誤差ではなく, 平均二乗誤差を利用した. 正解ラベルは,各発話での付与されたラベルの割合を利用する．例えば， 20 人のアノテータがおり，そのうちの 10 人が破綻であると判断した場合は，破綻を表すラベルは"0.5"となる. 対話破綻検出タスクに fine-tuning するために利用する発話は，ターゲット発話を含む直前 4 発話である. BERT モデルの概形は図 2 に示す.今回利用した BERT モデルは入力できる token 数が 128 に限られている. しかし， 4 発話を用いるため, token 数が 128 を越える可能性がある．そこで，各発話を [CLS]token1つと [SEP]token3つが収まるように，31tokenになるように末尾を切り取った. また，最後の発話の token_type_idを 1 にすることで，ター ゲット発話を明確化した. 学習率は 9.5e-5 であり, epoch は 2000epoch 中で最も検証時の平均二乗誤差が低くなったモデルを利用した. 学習の結果は表 3 である.

表 3 BERT fine-turning

## 3.3.2 誤差予測モデルの作成

誤差予測モデルは，中間層が 3 層，活性化関数が selu，第 3 層を dropout 層とした FFN を対話破綻検出タスクに fine-tuning された BERT モデルからの出力と, BERT モデルに入力した発話の特徴量を concat して学習データとしてトレーニングしたモデルである. 図 3 今回，入力する特徵量を焦点ベクトルとすることで本システムの有効性を検証する。モデ
表 4 特徵量毎の結果 10 回平均

## FFN

## CONCAT

BERT OUTPUT

図 3 誤差予測モデルの概形

ルの概形は図 3 である. 学習率は $6 \mathrm{e}-4$, epoch 数は 20000epoch の中で最も検証時の平均二乗誤差が低くなった epoch のモデルを利用した.

## 3.3.3実験設定

実験設定は DBDC4[12] に準拠した. 学習データは DBDC4 の Development data として公開されているデータと, それ以前の対話破綻検出チャレンジ [11][13][14] の開発用データと検証用データを利用する.この中で，init1046というデータに関してはアノテータが 2 人か 3 人と少なく，平均二乗誤差を損失関数として扱った場合，学習に悪影響を及ぼすため除外してある。検証データは，DBDC4 で検証データとして公開されたデータである, DBDC4_eval を利用した. また，誤差予測モデルの学習結果は学習ごとにかわるため, 今回は 10 回学習を行い各数値の平均を結果として扱う.

## 3.3.4 結果

結果は表 4 のようになった. BertVec は BERT モデルの最終隠れ層の出力を各発話で平均した 768 次元のベクトルである．Word2Vec は，焦点と同じく 150 次元のモデルに単語埋め込みを行い，各発話で平均を計算した。

accuracy，MSELoss,”破綻している” の f 值が共に先行研究で使用された特徵量を上回った。また， ベースラインである BERT fine-tuning モデルを

## 4 考察

焦点を利用した対話破綻検出では，BERT finetuning モデルと比べて，"破綻している"の Recall が下がり，"破綻していない"の Recall が上がった. 破綻した会話であると判定した数が増えたということは，焦点べクトルが破綻していない会話の話題の推移を反映した特徴量であったからと考えられる. またこの結果から，破綻していない会話の焦点には，破綻した会話よりも特徴的な部分がある可能性が示された. しかし，対話破綻検出タスクでは，破綻する可能性が高い発話を確実に見つけられる方が，実際のシステムとして利用しやすい。破綻していない会話を破綻していると判断してしまった場合でも，より破綻していない発話を別で出力することになるだけであるためである. つまり本来は，"破綻している"会話を多く発見する必要がある。その場合は"破綻している"の Recall を向上させる必要があり, 元の BERT の方が Recall が高く, 目的を達成する可能性が高い.

焦点ベクトルを利用した対話破綻検出では，破綻類型によって結果が大きく変わる可能性が考えられる. 例えば，ターゲット発話が非文であった場合の対話破綻は，焦点の推移による特徴量としては現れにくいと考えられる。また，発話の流れによる破綻でも，発話中に名詞，動詞，形容詞のいずれかが含まれない限りは，焦点推定の性質上直前の発話と焦点が大きく変わる可能性は低いため, 特徵量としては現れにくい。

## 5 今後の課題

まず今後の課題として, 焦点推定の精度向上が挙げられる. 焦点推定を行う上でのパラメータがまだ定まっておらず，現状はタスク毎にヒューリスティックに決定している。焦点自体の定量的な評価は難しいため，タスク毎に定量的な評価を行いパラメータを設定するなどが考えられる。

## 謝辞

本研究は JSPS 科研費 JP18K12434, JP18K11514 の

助成を受けたものです.

## 参考文献

[1] 東中竜一郎, 船越孝太郎. Project next nlp 対話タスクにおける雑談対話データの収集と対話破綻アノテー ション. SIG-SLUD, Vol. 4, No. 02, pp. 45-50, 2014.

[2] 山崎翔太, 寺岡丈博. 対話破綻の特徴に応じた回避手法の提案. 第 82 回全国大会講演論文集, Vol. 2020, No. 1, pp. 421-422, 2020.

[3] 松本丈樹, 藤田桂英. Bert と文章の意味的特徴量を用いた誤差予測モデルによる対話破綻検出. Technical Report 8, 東京農工大学工学部, 東京農工大学大学院工学研究院, mar 2020.

[4] Hiroaki Sugiyama. Dialogue breakdown detection using bert with traditional dialogue. In Increasing Naturalness and Flexibility in Spoken Dialogue Interaction: 10th International Workshop on Spoken Dialogue Systems, Vol. 714, p. 419. Springer Nature, 2021.

[5] 豊嶋章宏. 応答の自然性と話題遷移を考慮した雑談対話システムにおける対話破綻の検出. 2018.

[6] 岡本潤, 石崎俊. 概念間距離の定式化と既存電子化辞書との比較. 自然言語処理, Vol. 8, No. 4, pp. 37-54, 2001 .

[7] Takehiro Teraoka, Jun Okamoto, and Shun Ishizaki. An associative concept dictionary for verbs and its application to elliptical word estimation. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[9] 森田一, 黒橋禎夫. Rnn 言語モデルを用いた日本語形態素解析の実用化. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 13-14, mar 2016.

[10] 黒橋・褚・村脇研究室. Bert 日本語 pretrained モデル. https://ja.wikipedia.org.

[11] 東中竜一郎, 船越孝太郎, 小林優佳, 稲葉通将ほか. 対話破綻検出チャレンジ. SIG-SLUD, Vol. 5, No. 02, pp. 27-32, 2015.

[12] Ryuichiro Higashinaka, Luis FD' Haro, Bayan Abu Shawar, Rafael E Banchs, Kotaro Funakoshi, Michimasa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, João Sedoc. Overview of the dialogue breakdown detection challenge 4. In Increasing Naturalness and Flexibility in Spoken Dialogue Interaction, pp. 403-417. Springer, 2021.

[13] 東中竜一郎, 船越孝太郎, 稲葉通将, 荒瀬由紀, 角森唯子ほか. 対話破綻検出チャレンジ 2. SIG-SLUD, Vol. 5, No. 02, pp. 64-69, 2016.

[14] Ryuichiro Higashinaka, Kotaro Funakoshi, Michimasa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and Nobuhiro Kaji. Overview of dialogue breakdown detection challenge 3. 2017.


# パーソナリティを考慮した雑談対話の会話継続可能性評価

蔦侑磨 ${ }^{1}$ 吉永直樹 2 佐藤翔悦 ${ }^{2}$ 豊田正史 ${ }^{2}$
1 東京大学大学院 2 東京大学 生産技術研究所
\{tsuta, shoetsu, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

雑談対話を対象とした自動評価手法に関する既存研究の多くは，実在する会話の応答全てを等しく妥当な応答として想定し，評価手法を構築しているため，ユーザが興味を持たない応答であっても高い評価を行う．そこで本研究では，生成応答がユーザの返答を促し会話が継続するかを評価するために， ユーザの返答の有無を予測するタスクから学習された自動評価手法を提案する。この際に同一の発話内容でも返答可能性は人によって変化しうるため，会話相手であるユーザのパーソナリティを考慮する。実験では内的評価により会話初期の継続可能性の判定において提案手法の有効性が確認された。

## 1 はじめに

人は一日の約 $15 \%$ 以上の時間を雑談会話に費やすと報告 [1] されるように，日常的に会話を行い雑談欲求を満たしている。しかし，個人ドライバーや独り身の高齢者など適切な会話相手がいない状況や近年の新型コロナウイルスの影響など，会話自体が困難で雑談欲求があっても満たせない状況がある. 加えて，人の話し相手となりうるスマートスピーカー が爆発的に普及したこともあり，雑談対話システムへの関心が急速に高まりつつある.

ユーザの雑談欲求を満たせる雑談対話システムの構築のためには，その生成応答が応答として妥当か，そして生成応答により会話が継続するかなどの多様な観点を考慮して, 応答を生成・評価する必要がある．近年の雑談対話研究では，対話システムが頻繁に「そうですか」のような汎用的で無難な応答 (dull response) [2] を繰り返すことが問題視されているが，与えられた発話に対する実応答を評価における参照応答に用いる通常の評価手法では，このような dull response に高い評価を与えてしまう. この解決のため，Ghazarian らは応答継続可能性に関する人手評価を教師データに利用した評価手法により応
プロフィール文

8 犬より猫派

図 1 ユーザの返答の有無を予測するタスク

答の妥当性評価以外の評価を行っている [3]. しかし, 少数の人手評価を学習データとした自動評価器は，その汎用性の低さが問題となる。

本研究ではユーザのパーソナリティを考慮して， ユーザとの継続的な会話を促す生成応答を高く評価する自動評価手法を提案する。提案手法では，人手の評価データを用いることなく評価モデルを学習することで，多様なドメインの応答を評価できる汎用性の高い手法を目指す。具体的には，ある会話において次に返答が行われたかどうかを予測する会話継続可能性評価タスク（図 1) による学習を行う。さらに，同一の発話内容でも返答可能性が人によって変化しうるため，提案手法では会話相手のパーソナリティを考慮したモデルを構築する。

本研究で目的とする雑談対話システムのユーザのパーソナリティを考慮した応答継続可能性評価を行うには，パーソナリティの明示されたユーザに関する対話システムとの長期的な会話データが必要である。しかし対話システムとの長期的な会話デー タを得ることはコストが高く，さらに対話相手であるユーザのパーソナリティを得るのはプライバシの観点から非常に困難である。そこで本研究では， Twitter 上の人同士の会話データについて，そのプロフィール文をパーソナリティとみなして，実験用の会話データを構築した．実験ではこの会話データに関する内的評価から会話初期の継続可能性の判定においてパーソナリティを考慮することにより予測精度が向上することが確認された。

## 2 関連研究

本章の 2.1 節では自動評価手法に関する既存研究を，2.2 節ではパーソナリティ（個人属性）を考慮した既存の雑談対話研究の紹介を行う.

## 2.1 自動評価手法

雑談対話システムは基本的に人手評価によって評価されるが，効率的な開発のために人手評価と相関する自動評価手法の確立が強く期待されている.実応答を再現することを目的とした雑談対話システムの単純な評価方法として, 実応答とのトークンの重複により計算する BLEU [4] や ROUGE [5] が利用可能だが，Liu らにより人手評価との相関が低いことが指摘された [6]. これらの単純な評価手法からの改善として, 評価時に利用できる唯一の実応答だけでなく雑談対話で許容される多様な応答を利用した，応答多様性を考慮した手法 $[7,8,9]$ が提案されている。一方で, 生成応答と入力発話の関連性に着目した評価手法に関して，人手評価を利用した教師あり学習手法や負例サンプリング [10]を用いた教師なし学習手法なども多数提案されている $[11,12,13]$. しかし既存研究の多くは害在する会話の応答全てを等しく妥当な応答として想定するため, dull response のような応答であっても高い評価を与えてしまう. ユーザの興味を引かない応答では, 会話が継続せずユーザの雑談欲求を満たすことができないため，これらの評価手法では会話継続可能性や会話満足度などの評価には適さない。

本研究と同様の動機に基づく研究としては, Ghazarian らが応答継続可能性に関する人手のアノテーションデータを教師データに利用した自動評価手法を提案している [3]. しかし人手評価を教師データとして利用するため，そのコストや評価器が学習データのドメインに対して過学習する可能性があることが問題点として挙げられる. 提案手法では，人手のアノテーションデータを利用しない学習手法により, 多様なドメイン上の会話に利用可能な汎用性の高い手法を目指す。

## 2.2 個人属性を考慮した雑談対話研究

雑談対話における個人属性（パーソナリティ）を考慮した研究として，デモグラフィック属性などのパーソナリティについて会話上で再現する対話システムが提案されている $[14,15,16]$ が，これらの研究
はパーソナリティの再現や理解，あるいは会話の一貫性向上が主体となっている。一方で本研究は個人ごとの応答の嗜好性が異なるというパーソナリティを意識した，会話継続性の評価に関する研究となっており，従来のパーソナリティを考慮した研究とは利用目的が異なる。また雑談応答生成では与えられたパーソナリティを再現する研究 $[14,15]$ は多くの研究で古くから行われているが，会話相手のパーソナリティを理解することを目的とした研究は新しく少数である [16]. 本研究は自動評価手法として，特に会話相手のパーソナリティを考慮するという点で新規的な研究といえる.

## 3 提案手法

本研究ではユーザとの継続的な会話を促す生成応答を高く評価する自動評価手法を提案する。この際に同一の発話内容でも返答可能性が人によって変化しうるため, 提案手法では会話相手のパーソナリティも考慮する. 先行研究 [3] とは異なり, 多様なドメインにおいて汎用性の高い手法としての構築を目指すため，人手のアノテーションを利用しない教師なし学習により分類器を学習する. そこで提案手法では，会話の特定のターンにおいて次に返答が行われたかどうかを予測する会話継続可能性評価タスク（図 1）として学習を行う.

## 3.1 会話継続可能性評価モデル

本研究では図 1 のように，会話履歴や応答文と同時に返答予測を行う対象のパーソナリティを入力し，実際に返答を行うか予測するタスクにより評価モデルを学習する. 提案手法での会話継続可能性評価を行うモデルには BERT [17]を利用する。

## 3.2 評価器への会話データの入力形式

BERTを入力の分類タスクに用いる場合には入力の先頭に [CLS] トークンを，入力中の各文末に [SEP] トークンを入力するため, 図 2 のような形式でデータを入力する. また通常の BERT の利用では最大 2 文のみを入力するが，提案手法では 3 文以上が入力される可能性がある.このため本研究では BERT に入力する Segment Embeddings についてプロフィール文と会話履歴を同一の分散表現とした。また BERT では入力長に制限があるため，この制限を超える場合，古い会話履歴を優先的に省略する。

図 2 評価器（BERT）への入力データの構造

## 3.3 学習データ

提案手法では，会話の特定ターンにおいて次に返答が行われるかどうかを予測する会話継続可能性評価タスクとして学習を行う. 本研究で目的とする雑談対話システムのユーザのパーソナリティを考慮した応答継続可能性評価を行うには， パーソナリティの明示されたユーザに関する対話システムとの長期的な会話データが必要である. しかし対話システムとの長期的な会話データを得ることがコストが高く，さらに対話相手であるユーザのパーソナリティを得るのはプライバシの観点から非常に困難である.

そこで本研究では，Twitter 上の人同士の会話デー タについて，そのプロフィール文をパーソナリティとみなして，実験用のデータを構築した. 具体的には，大規模会話ログにおける特定の 2 話者間の会話について，片方を対話システム，他方をユーザと想定する。そして対話システムが発言した後にユーザが返答するかどうかを予測するタスクとしてデータを構築する。

## 3.4 会話データにおける正例と負例

本研究で負例として扱われる応答文には返答が行われない会話データを利用する。このため会話が終了した時点での最後の応答文を負例として扱う。一方で，全ての正例には実際に返答が行われない会話データを利用するため，負例より前のすべての応答文を利用する。

## 4 実験

本章では，実験に利用したデータやパラメタ，実験結果について説明を行う。

## 4.1 大規模日本語対話コーパス

実験で利用する大規模日本語対話コーパスは,著者らの研究室で 2011 年 3 月から継続的に収集している Twitter アーカイブから構築した. 本研究で

図 3 訓練データにおける各ターンの会話数と正例割合

は会話が実際に終了したかの判断が重要なため, Twitter API を利用して 2021 年の時点で実際に応答が存在しないかを確認した. Twitter 上のツイート文のやりとりを会話データとみなして，メンションもしくはリツイート以外の投稿を発話，それに連なるメンションを応答とした対話ツリーを抽出した．但し，対話を行うユーザは常に 2 ユーザのみ存在し，同一のユーザが自身の投稿に続けてメンションを行っていない対話ツリーのみを利用した。

## 4.2 実験に利用する会話データ

実験では 4.1 節で説明した会話データから最大 25 ターンまでの会話データを利用した。分類器の学習データには 2017 年 1 月中の全データを, 評価データには 2018 年 1 月中のデータを，プロフィール文は 2020 年 11 月時点のデータを利用した. プロフィー ル文がこれらの中で最新のデータとなっているが， API などを利用して会話データを収集する場合，最新の情報のみしか利用できないことが多く，過去のデータを利用しない本実験の実験設定は実験の再現性の観点から問題ないと考えられる。検証用のデー タは学習データ中の無作為に抽出した 1 割のデータを利用し，残りを訓練データに利用した。詳細は表 1 に記載する。また訓練データのターン数ごとの詳細を図 3 に示す。
表 1 実験に利用したデータの詳細（概算）

表 2 テストデータにおける分類精度

## 4.3 実験設定

提案手法で利用する BERT には事前学習済みモデルを利用した ${ }^{1)}$. 提案手法の比較手法としてのパー ソナリティを考慮しない（プロフィール文を入力しない）方法をべースラインとして比較する。全てのモデルは, 学習率 $1 e-5$, 最適化手法 Adam [18],損失関数は交差エントロピー，バッチサイズ 8 ，エポック数 1 で学習した.

## 4.4 実験結果

表 2 にテストデータにおける分類精度を示す.この結果から，パーソナリティを考慮した提案手法はパーソナリティを考慮しないべースラインと比べて， $F_{1}$ スコアに関しては同程度だったものの，若干高い精度で予測できたことが確認できる。

次に実験結果に関する詳細な解析として，訓練データに出現したユーザを既知ユーザ，その他のユーザを未知ユーザに分類した分類精度を示す. 同時にターン2)（会話履歴に応答文を加えた発言回数） ごとに分類した分類精度を示す。但し 3 ターン以上の会話については結果が全て同様であったため， 2 ターン目と 3 ターン以上で分類した結果を示す. ユーザ・ターン別の分類精度を表 4 に示す. なお各分類時のデータ詳細を表 3 に示す.この結果から，特に2ターン目に関して，パーソナリティを考慮することによって予測精度と $\mathrm{F}_{1}$ スコアが共に向上することが確認できる。一方で 3 ターン以上のデータに関しては提案手法とベースラインでほぼ同等であることが確認できる.

## 4.5 考察

未知ユーザ・既知ユーザ問わず 2 ターン目の会話ではプロフィールを考慮することで分類精度が向上することが確認できた。一方で，3ターン以上の会

表 3 テストデータ詳細（ユーザ・ターン別）

表 4 テストデータにおける分類精度 (ユーザ・ターン別)

話では分類精度の向上が確認できなかった.これは Twitter 上のプロフィール文は主にユーザの興味のあるトピックやコンテンツに関して記載されているため，会話初期において評価対象のユーザの興味のある話題かといった判断を行うのに役立ったのだと推測される。一方で，長期的な会話における相手の話し方や会話の進め方などに関してはユーザごとの喏好性がプロフィール文からは読み取りづらいため, 3 ターン以上の会話では精度差がなかったのではないかと予想される.

## 5 おわりに

本研究ではパーソナリティを考慮した応答継続可能性評価器を構築し，パーソナリティを考慮しない手法との比較を内的評価により行った. 結果として，会話初期についてはパーソナリティの考慮により応答継続可能性の予測精度が向上したが，長期的な会話については精度差が確認できなかった。

今後の課題として，評価対象の長期的な会話におけるユーザの応答継続可能性を理解するために，過去の会話履歴などをパーソナリティとして導入することを検討したい. また本研究では，パーソナリティを考慮した手法とそうでない手法を内的評価による比較のみを行った．今後は実践的な環境を想定するために，実際に雑談対話システムが行った会話についての評価や，人手評価との比較を検討する。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けています。

## 参考文献

[1] 花絵小磯, 智行土屋, 涼子渡部, 大輔横森, 正夫相澤, 康晴伝, KOISO Hanae, TSUCHIYA Tomoyuki, WATANABE Ryoko, YOKOMORI Daisuke, AIZAWA Masao, DEN Yasuharu. 均衡会話コーパス設計のための一日の会話行動に関する基礎調査. 国立国語研究所論集 $=$ NINJAL research papers, No. 10, pp. 85-106, jan 2016.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A Diversity-Promoting Objective Function for Neural Conversation Models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive Engagement: An Efficient Metric for Automatic Evaluation of Open-Domain Dialogue Systems. In AAAI Conference on Artificial Intelligence, p. 8, 2020.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[5] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out: Proceedings of the ACL-04 Workshop, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan. deltaBLEU: A Discriminative Metric for Generation Tasks with Intrinsically Diverse Targets. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 445-450, Beijing, China, July 2015. Association for Computational Linguistics.

[8] Prakhar Gupta, Shikib Mehri, Tiancheng Zhao, Amy Pavel, Maxine Eskenazi, and Jeffrey Bigham. Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pp. 379-391, Stockholm, Sweden, September 2019. Association for Computational Linguistics.

[9] Yuma Tsuta, Naoki Yoshinaga, and Masashi Toyoda. uBLEU: Uncertainty-Aware Automatic Evaluation Method for OpenDomain Dialogue Systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 199-206, Online, July 2020. Association for Computational Linguistics.

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013

[11] Yi-Ting Yeh, Maxine Eskenazi, and Shikib Mehri. A Comprehensive Assessment of Dialog Evaluation Metrics. In The First Workshop on Evaluations and Assessments of Neural Conversation Systems, pp. 15-33, Online, November 2021. Association for Computational Linguistics.

[12] Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas Angelard-Gontier, Yoshua Bengio, and Joelle Pineau. Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1116-1126, Vancouver, Canada, 2017. Association for Computational Linguistics.

[13] Chongyang Tao, Lili Mou, Dongyan Zhao, and Rui Yan. RUBER: An Unsupervised Method for Automatic Evaluation of OpenDomain Dialog Systems. In AAAI Conference on Artificial Intelligence, pp. 722-729, 2018.

[14] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A Persona-Based Neural Conversation Model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou, and Dongmei Zhang. You Impress Me: Dialogue Generation via Mutual Persona Perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427, Online, July 2020. Association for Computational Linguistics.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In International Conference for Learning Representations, 2015.


# 話題提供雑談システムにおける感情と意見の表出方法の検討

成田風香 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp

## 概要

本研究では，システムが話題を提供し雑談を主導する話題提供雑談システムに焦点をあてる. 人と人との雑談では感情や意見を述べることで対話が盛り上がるとされるが，感情や意見を持たない対話システムがどのようにそれらを表出して話題を提供すべきかは自明でない. 本稿では，システムがニュースに基づく話題提供を行う対話を対象に，システムの話題提供発話における感情や意見の表出形態と対話の盛り上がりの関係を調べる枠組みを提案する。また，提案法に沿って小規模に対話を収集・評価し，提案手法の有用性と課題を確認した。

## 1 はじめに

近年，ニューラルネットワークによる応答生成が盛んに研究され，傾聴対話システム $[1,2,3]$ や QA システム $[4,5,6]$ など，ユーザ発話に対する応答を生成するシステムの性能は高いものとなってきた。 しかし，システムがイニシアチブを持ち，対話を主導するような雑談システムについてはいまだ萌芽的な状態にある $[7,8]$. 本研究では，システム自身が話題を提供しながら雑談を主導する雑談システム （以下，話題提供雑談システム）の実現を目指す。

雑談はタスク指向型対話と異なり，その対話自体で話者の満足度を上げることが目的であるため，話題提供雑談システムもできるだけ対話を盛り上げてユーザを満足させることが望まれる。Akasaki らは， システムによるユーザを飽きさせないような話題提供を目的として，ニュース記事の要約とそれを踏まえた意見や問いかけからなる話題提供発話の生成に着目した [9]. Akasaki らの提案する枠組みでは， ニュース記事に対するリプライツイートを学習デー タとして，ニュース記事を踏まえた意見や問いかけの生成をシステムに学習させる．そのため，システムが自分自身の意見を有しているような発話を生成することで話題を提供することになる。人と人との

図 1 ニュース記事を対象とした話題提供雑談システム

雑談では，このように感情や意見を述べる発話が盛り上がりに寄与することが知られている [10]. しかし，そもそも人とは異なり感情や意見を持たない雑談システムが感情や意見を表出することで，ユーザが満足する雑談ができるのか，それらを表出する場合はどのように表出すればユーザがより満足する雑談ができるのかは自明でない。

そこで我々は，多様な話題を提供しながら雑談を盛り上げる話題提供雑談システムのひとつの実現形態である「ニュース記事に関する話題提供雑談システム」を対象に，雑談におけるシステムの効果的な感情や意見の表出形態を調査する枠組みを提案する。提案法では，ニュース記事とそれに対する感情や意見を含むツイートからなる資料をもとに，Wizard of $\mathrm{Oz}(\mathrm{WOZ})$ 方式で人間同士に対話をさせる. システム役による資料中のツイート情報の使い方とユーザ役の対話に対する評価結果の関係から効果的な感情や意見の表出形態を調査する. 本稿では，まずニュース記事に関する話題提供雑談システムへの，ツイートを活用した感情や意見付与の実現可能性を調査する．そのうえで，提案法に沿って小規模に対話を収集および評価し，提案法の有用性を確認する。将来的には図 1 に示すような話題提供雑談システムの実現に向け，提案法を用いた大規模実験を行い，感情や意見の表出に関しシステムに望まれる発話内容・発話形態を明らかにする。

2021年11月11日

図 2 一日あたりの一記事に対するツイート数

## 2 感情・意見付与の実現可能性調査

ニュース記事に関する話題提供雑談システムが感情や意見を表出するためには，システムがニュース記事の内容を理解して応答を生成する必要がある. しかし，多様なニュース記事に関して適切な感情や意見を表出することはシステムにとって簡単ではない.そこで我々は，ニュース記事に対するツイートを活用した感情や意見を伴う応答生成に着目する.図 1 は，ニュース記事とそれに対するツイートを活用した話題提供雑談システムの模式図である. 仮に対話に利用するツイートを適切に選択できれば，図 1のようにシステムとユーザが互いに意見を交える対話が実現できると考えられるが，実現にはニュー ス記事に対する感情や意見を表出したツイートが一定数必要となる. そこで, ニュース記事に対する感情や意見を含むツイートがどの程度収集可能かを調査した1).

調査結果を図 2 亿示す. 図 2 から，感情や意見を含むツイートが数十件以上なされたニュース記事が毎日安定して得られる見込みがあり，ツイートを活用して感情や意見を表出する発話を生成することは実現可能と考えられる。

## 3 提案する調査の枠組み

感情や意見をどのように表出すればユーザが満足する雑談を実現可能かを検討するために，WOZ 方式の対話に基づく調査の枠組みを提案する. 提案する枠組みは，1. システム役に提示する資料の作成， 2. システム役・ユーザ役による対話，3.ユーザ役に

表 1 システム役の最初の発話の例

よる対話の評価からなる。

## 3.1 システム役に提示する資料の作成

システム役が 3.2 節で述べる条件に従って感情や意見を含む話題提供を行うため，(ニュース記事，最初の発話，感情や意見を含むツイート）の三つ組からなる資料を対話収集者が作成する。

ニュース記事の選択対話において多様な意見を表出できるようにするため，ツイート数が多いニュース記事を選択する。

最初の発話の作成選択したニュース記事に関してスムーズに話題提供雑談を開始できるように，システム役の最初の発話は 3.2 節に示す 3 条件に合わせてあらかじめ作成する. 作成例を表 1 に示す.

ツイートの選択選択したニュース記事に対する感情や意見を述べたツイートから内容が重複しないものを選択する2).

## 3.2 システム役とユーザ役による対話

二人一組のペアが WOZ 方式により雑談を行う.

システム役に対する教示システム役は，以下の 3 条件のいずれか一つに従って対話をする。

・事実のみ条件システムが感情や意見を持たないことを反映し，感情や意見は表出せずニュー ス記事とそれに関連する事実のみを伝える

・第三者的条件システムは自我を持たないため自分の感情や意見として述べるよりは第三者的に伝える方が自然である可能性を考慮し，ツイートを用いて「○○と言っている人がいます」のように第三者的に感情や意見を伝える

・主体的条件システムは感情や意見を持たないが，人間を模倣してツイートを「私は○○と思

2） 以下のように内容が類似したツイートが 2 つ以上ある場合はそのうち1つを選択して記載する。

・「うわあ…知多半島で定着か…」

・「うへえ，知多半島にまさかまさかの定着確認か.」

います」のようにシステム自身の意見や感情として伝える

システム役には 3.1 節の資料を見せ，資料に記載された「最初の発話」の発話後は，指定された条件に従ってできるだけ自然にユーザと対話させる．対話を自然に進められるよう，相槌や情報端末を用いた検索結果の回答は可能だが，ツイートに基づいた発話を生成する枠組みを模倣するため，システム役自身の知識・意見を伴う発言は不可とする。また， ユーザが飽きて対話を終了させるまでの長さを調べるため，システムから対話を終了させることは不可とする.

ユーザ役への教示システム役と自由に雑談するよう指示する。自然な雑談対話を収集するため，一発話目はシステムから発話されることと，対話をやめたくなったら「そろそろ対話を終了します」に類する発話をすること以外は特に教示はしない。

## 3.3 ユーザ役による対話の評価

ユーザ役は各対話の終了時に対話を評価する。評価指標は [1]を参考に定めたものであり，『システムの発話は人間らしかった』『このシステムは話しやすい』『会話は盛り上がった』などの観点について 5 段階3) で評価する。評価指標は付録 A に記載する。

## 4 提案手法の妥当性の検証

将来的に大規模に対話を収集して分析するため，提案法に沿って小規模に対話を収集および評価し，大規模な対話収集によりどのような分析が可能かを調べるとともに，実験設定の課題を確認する。

## 4.1 実験設定

対話に用いるニュース記事ツイート数が 60 件以上であり，雑談に適切と思われるニュース記事4) を 3 件選んだ。ニュース記事の概要を表 2 に示す。

対話者著者所属研究室の学生 6 人を参加者とし，システム役，ユーザ役のペア 3 組を作成した ${ }^{5)}$. 3 組のニュース記事・条件の割り当てを表 3 に示す。

アンケート提案法の改善の参考とするため, ユーザ役が 3.3 節で述べた各対話の評価をする際，

3） 1: そう思わない・2: あまりそう思わない・3: どちらでもない・4: そう思う・5: とてもそう思う

4）事前検討で話しにくかった政治に関する記事，人の思想を含む記事，不快な印象を与えるツイートが多い記事は除いた。

5）話者同士の人間関係が対話に影響するのを避けるため，対話相手が誰かはわからない状態で対話を収集した。

表 3 ニュース記事・条件の割り当て

『会話は盛り上がった』という評価項目に対する評価結果の理由も記述するよう指示した. また，システム役に対しても対話ごとにアンケートを実施した. アンケート項目は付録 Aに示す.

## 4.2 収集された対話および評価の分析

図 3 にユーザ評価の結果を示す. 同図から主体的条件では安定して『会話は盛り上がった』という観点の評価が高い傾向が得られた. 実際に主体的条件で収集した対話では，表 4 に示す例のようにシステム自身の経験を述べる発話が確認された。同対話後のユーザへのアンケートでは「経験談を交えていろいろ説明してくれたから」，『会話は盛り上がった』 の項目で 5 段階中 4 と回答を得た。また，「経験談的なものを交えた会話をしてくれると(たとえそれが嘘であっても)すごく人間味の感じられる対話になった気がした」という回答も得られた。

一方，『会話は盛り上がった』『このシステムは話しやすい』という観点についての評価が特に低い対話があった，事実のみ条件での対話の例を表 5 に示す. 同対話後のアンケートでは，システム役から「事実のみを伝えるため，若干会話としてのつなぎ目が荒くなりやすいなと感じた」，ユーザ役から 「対話もチグハグだったように感じた」との回答が得られ，感想や意見を表出しない場合は不自然な対話になる傾向が見られた.ニュース記事に対してツイートされた意見をシステムが自身の意見として伝えることで，対話が自然で人間らしいものとなり盛り上がる可能性がある.

小規模な対話収集による評価ではあるものの，感情や意見の表出条件に応じてユーザーの評価結果に差が見られたことから，今後大規模に対話を集めることで適切な感情や意見の表出形態が明らかになる
表 4 ツイートを使用して経験が述べられた対話の一部 U: すごく詳しいですね! 読んだことはあるんですか? $\mathrm{S}$ : 小説はわかりませんが，講演会で貴重なお話を 2 度聞かせていただいたことがあり，私がした質問に丁寧に答えていただきました. それをきっかけに寂聴さんの連載は読んでいました。

U: そうなんですね! それは良い経験ですね.

図 3 ユーザによる対話評価の一部

見通しを得た。

## 4.3 大規模収集に向けての要検討点

システムのペルソナ情報収集した対話において, システムの「わからない」という旨の発話後に対話が終了に向かう例を数件確認した. その原因の一つがペルソナ情報の欠如である．表 6 の対話では，システムが生まれた時期を問われた直後に対話が終了した. 本研究では, 感情や意見の表出形態に関する 3 条件とユーザの飽きの関係の調査を目的とするため，ペルソナ情報の欠如に由来する対話の終了はノイズとなる可能性がある．対策として，システムに対するペルソナ情報の付与が考えられる.

話題の転換システム役に対するアンケートでは 「引用できるツイートがニュースに関するもののみでだったため，話題が変わった際には事実を伝えることしかできなくなり少し話しづらさがあった.」 との回答を得た. 話題が変わって適切なツイートが資料に無い場合はツイートを検索してもよいと教示することで解決されると考えられる。 大規模収集では教示を追加したうえでどの程度話題が転換されるのかという点についても分析したい.

話題による話しやすさの差今回の小規模対話収集で得たアンケートから，対話の話題による話しやすさの差が確認された。例として,「大谷選手 MVP」 についての対話では「自分が興味関心がある・普段もこのような話題について会話する機会があったことも話しやすさにつながってしまった」とシステム表 5 事実のみ条件で不自然になった対話の一部

$\mathrm{U}$ : テレビなどでも見かけていた方だったので，残念ですね.

S: 作家としての活動もしており，著作は 400 冊を超えるようでした.

U: そんなに書かれていたんですね. 知りませんでした.

$\mathrm{S}$ : 新潮社同人雑誌賞や，芸術選奨文部大臣賞なども受賞しています。

U: すごいですね. 99 歳というと長生きされたんですね.

S: 葬儀は近親者で行われるようです.

表 6 ペルソナ情報を問う質問がなされた対話の一部

$\mathrm{S}$ : そうですね，「元気に 100 歳迎えられると思ってたのでとても残念です」と言っている人もいるようです.

U: システムさんは，まだ生まれたばかりなんですか?

S: すみません，それについては分からないです.

U:そろそろ対話を終了します

役から回答があった一方で，「瀬戸内寂聴死去」についての対話では「訃報のため，話す内容に気を遣うから」，『今回の話題は話しやすかった』の項目で 5 段階中 4 と回答を得た. 大規模収集時は，取り扱う話題による話しやすさの差を考慮した分析を実施する必要がある.

ニュース記事・ツイートの選択小規模対話収集を実施するにあたり，ニュース記事に対するツイー トを人手で確認した結果，記事によっては「おめでとう」など内容を含まないツイートや，拡散を目的としたテンプレートに従ったツイートが大半を占めることがあると判明した．そのため，ニュース記事に対するツイート数を揃えるだけでは，記事によって対話に利用可能なツイート情報の量には差が生じてしまう可能性がある. 大規模収集に向け，これらの点も考慮してニュース記事や使用ツイートを選択する枠組みを設計する必要がある.

## 5 おわりに

本稿では「ニュース記事に関する話題提供雑談システム」を対象に，雑談におけるシステムの感情や意見の表出形態とユーザの満足度の関係を調査する枠組みを提案した。提案法に沿って小規模に対話を収集および評価したところ，ユーザが満足する話題提供雑談を行うためには，システムが感情や意見をシステム自身のものとして組み込みながら話題を提供することが効果的であることが示唆された. 今後は実験設定を更に改善したうえで大規模対話収集を実施し，ユーザの満足度を向上させるシステムの感情や意見の表出形態を詳しく分析する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04425, JP21J22383 の助成を受けたものです. 本研究のため実施した実験にご協力いただいた東北大学乾研究室の皆様に感謝いたします.

## 参考文献

[1] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[2] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761769, 2010.

[3] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for longduration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[4] Yoji Kiyota, Sadao Kurohashi, and Fuyuko Kido. "dialog navigator": A question answering system based on large text knowledge base. In Proceedings of the 19th International Conference on Computational Linguistics (COLING), 2002.

[5] Miguel Coronado, Carlos A. Iglesias, and Alberto Mardomingo. A personal agents hybrid architecture for question answering featuring social dialog. In Proceedings of the 2015 International Symposium on Innovations in Intelligent SysTems and Applications (INISTA), pp. 1-8, 2015.

[6] 吉田尚水, 岩田憲治, 渡辺奈夕子, 小林優佳, 藤村浩司. FAQ 集から自動で構築可能な QA 対話システム.人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 87, pp. 113-114, 2019.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-guided neural conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), Vol. 35, pp. 14568-14576, 2021.

[8] 岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎. 目標指向対話のためのサブゴール設計に基づく発話系列生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 70-73, 2021.

[9] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), pp. 3988-3998, 2019.

[10] 徳久良子, 寺嶌立太. 雑談における発話のやりとりと盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

## A 評価指標

ユーザ役が対話終了後に評価する評価指標の一覧を表 7 に，小規模実験実施時にシステム役に対して行ったアンケート項目の一覧を表 8 に示す.

表 7 ユーザ役がそれぞれの対話後に回答した評価指標

1. システムの反応は人間らしかった

2. システムの反応はあなたの話を適切に促していた

3. このシステムとまた話したい

4. このシステムは話しやすい

5. システムは親身だと感じた

6. システムは真面目に話を聞いていた

7. システムは話を理解していた

8. システムは話に対する関心を示していた

9. システムはあなたに対して共感を示していた

10. システムは積極的に情報提供していた

11. 会話について満足した

12. 会話でのやりとりはスムーズだった

13. 会話は盛り上がった

表 8 システム役がそれぞれの対話後に回答したアンケートの項目

1. 今回の話題は話しやすかった

2.1.のように答えた理由を教えて下さい.

3. 今回の条件は話しやすかった

4. 3. のように答えた理由を教えて下さい.

5. 指定された条件通りに対話できましたか

6. 5. で「できなかった」と答えた方はその理由を教えて下さい

## B システムが積極的に情報提供を行うことの妥当性

4 節の図 3 から，システム役からの情報提供の積極性と対話の盛り上がりの関係は見られなかったが，アンケートにおいて積極的な情報提供に関するユーザの感想が得られた. 表 9 の対話後には「大谷選手について，「8冠」という情報が印象に残りました.」との理由で『会話は盛り上がった』の項目で 5 段階中 5 と回答を得た。また，別の対話後のユーザの評価では「一旦会話が終了したような時でも，次の話題を提供していた」ため『会話は盛り上がった』の項目で同様に 5 と回答を得た. これらの 2 つ評価より，システムがイニシアチブを持って話題提供を行うことの有用性が示唆された。

表 9 主体的条件・大谷選手MVP についての対話

U: その通りですね. 大谷選手にはこれからもぜひ活躍して欲しいです.

S: 今回の受賞で「8冠」となるので，これからも頑張ってほしいと思います.

U:「8冠」ですか！他にはどんな賞を取られてるんですか？


# 曖昧なユーザ要求に対する因果関係知識を用いた 気の利いたシステム行動の選択

田中翔平 1,2,3 吉野幸一郎 2,1,3 須藤克仁 1,3 中村哲 1,3
1 奈良先端科学技術大学院大学 2 理化学研究所 ガーディアンロボットプロジェクト
3 理化学研究所 革新知能統合研究センター
\{tanaka.shohei.tj7, sudoh, s-nakamura\}@is.naist.jp
koichiro.yoshino@riken.jp

## 概要

タスク対話システムは, ユーザの要求に応じて適切なタスク行動を行う。この際，ユーザ発話が明確な場合のみならず, ユーザ発話が曖昧な場合でも適切なタスク行動を行うことが求められる. 本研究で提案するシステムは，こうした曖昧なユーザ発話に対して，そこから推測できる潜在的な要求に対応したタスク行動を選択することを目標とする。曖昧なユーザ発話に対して気の利いたシステム行動は複数存在しうるため, これらが一対一で対応付けられたデータから, Positive/Unlabeled (PU) 学習による分類器を学習する. また, 学習データセットから因果関係検出モデルによって因果関係に相当する知識を抽出・蒸留することで, より精度の高いシステム行動の識別を実現する．実験の結果, 提案する因果関係検出モデルを用いる手法は, 単純に PN 学習や PU 学習を用いた場合よりも高精度で気の利いたシステム行動を識別できることが示された。

## 1 はじめに

音声対話研究において, 従来の音声言語理解システムの多くは，ユーザがシステムに対する要求を明示的に示すことを仮定している [1]. しかし実際には, ユーザの要求はしばしば曖昧であり, ユーザ自身が明示的な要求を自覚していない場合も多い [2]. こうした場合, 人間のコンシェルジュやガイドであれば気を利かせてユーザが必要とする補助を提供できる。例えば，ユーザが「ここの景色最高だね!」 と発話したとき，「写真を撮りましょうか？」などと応答することができる.

こうした行動選択を実現する方法のひとつとして，特定のシステム行動に対してそれが気が利いて

図 1 ユーザ要求とシステム行動のペア

いると見なすことができる曖昧なユーザ発話を収集し，これを学習データとして識別に用いる方法が挙げられる [3]. この方法論では, ある曖昧なユー ザ要求に対して, 気の利いた行動である可能性が高い行動候補の一つを収集することができる．例えば図1のような「和食に飽きた」というユーザ要求に対しては,「肉料理店の提案」や「中華料理店の提案」など複数のシステム行動候補のうち一つだけが収集される。つまり，意図が曖昧なユーザ発話に対して, 少数の気の利いた行動候補と, 気が利いているかわからない多数の行動候補が存在する, Positive/Unlabeled (PU) 分類問題 $[4,5,6]$ が定義される.

本研究ではこうした曖昧なユーザ発話からシステムが取りうる気の利いた行動を識別する問題において, 事例から汎化された因果関係のような知識を用いることを考える. 具体的には，学習データから因果関係に相当する知識を蒸留し, システム行動の選択においてこの知識を用いる。このため，テキストデータからの因果関係検出モデルを導入する.この因果関係検出モデルにおいては, 曖昧なユーザ発話を原因，気の利いたシステム行動を結果とした学習を行い, 因果関係に相当する特徴量抽出を行った. この抽出特徴量を, PU 学習における分類器のラべル伝播に利用し，気の利いた行動の識別に利用したところ，識別の精度向上が確認された。

## 2 データセット

既存の多くのタスク対話システムは，ユーザの意図はユーザの中で明確化されており，曖昧性のないユーザ発話が与えられることを仮定している。しかし実際には，システムと対話する時に何を要求したいか定まっていない場合も多く，そのようなケースでのユーザ発話は意図が曖昧なものになりやすい。 ARTA コーパス [3] は観光案内のドメインにおいてユーザとスマートフォンアプリケーション上の対話エージェントとの対話を想定し，システムが取りうる行動 (応答) に対してそれが気が利いていると見なすことができる曖昧なユーザ発話を付与したものである. 図 2 にこのコーパス中の対話例を示す.ここでユーザの「ここの景色最高だね！」という発話は, 必ずしも特定の機能に対する要求として言語化されているわけではない。これに対して，対話エー ジェントが「カメラアプリを起動しましょうか？」 という気の利いた応答を返し, 実際のカメラ機能を起動できるようにする.

このコーパス中では対話エージェントの機能 (システム行動; 応答) はスポット検索, レストラン検索，アプリ起動の 3 つに大きく分けて定義されている. 定義された機能のリストを表 1 に示す. 各機能はそれぞれ細分化されたカテゴリを持ち，コーパス中の対話エージェントの応答はこれらのカテゴリに紐付いて生成される. 定義されたカテゴリは全部で 70 種類である. 本コーパスでは, これらのあらかじめ定義されたエージェントの応答カテゴリに対して, 広範なユーザの先行発話をワーカーに入力してもらう方法により発話-応答ペアが収集されている.収集されたコーパス中の発話例を表 2 に示す.コー パス中に含まれるユーザ発話と応答カテゴリのペアは合計 27,230 であり, 学習データ:検証データ:テストデータ $=24,430: 1,400: 1,400$ の割合で分割されている.

ARTA コーパスに含まれるユーザ発話は要求が曖昧であるため, 気が利いていると認定される応答があらかじめ定義された 1 種類とは限らない。しかし全てのユーザ発話とシステム行動の組み合わせに対して全応答カテゴリに対応するかどうかラベリングを行うことは多大なコストが掛かり，現実的ではない.そこでこのコーパスは，テストデータに含まれる 1,400 発話に対してのみ, 可能なシステム行動が網羅的に付与されている (平均 9.55 種類). 例えば

図 2 気の利いた対話例

表 1 対話エージェントの機能とカテゴリ：＃はカテゴリ

表 2 の「最近は和食が多くて少し飽きてきたんですよね」というユーザ発話例では，肉料理や中華，イタリアンといった複数の応答カテゴリが気が効いている行動と認定されている. つまり, 正解となるテストデータには正例・負例となるシステム行動が明示的にアノテーションされているが, 学習データには正例の一部のみがアノテーションされており, 残りの部分のアノテーションがない Positive/Unlabeled (PU) の問題になっている.

## 3 分類モデル

本論文では，気の利いたシステム行動を識別するタスクにおいて因果関係に相当する知識を導入する.このため, まず問題に対応した PU 学習に基づく分類モデルについて説明する.このモデルに対して，因果関係検出モデルを用いた因果関係スコアを導入し，学習データの正例中に存在する因果関係相当の知識を用いて分類精度の向上を目指す。

## 3.1 PU 学習を用いた分類モデル

図 3 にユーザ発話の分類タスク及びモデルの概要を示す. 分類モデルは入力されたユーザ発話を，そのユーザ発話に紐付けられた対話エージェントの正解応答 (正例) カテゴリへと分類する. ここで, 曖昧なユーザ発話に対して正解となりうるシステム応答の候補は一つではない場合も多いため, PU 学習を用いる. 具体的には Cevikalp ら [6] が提案したラべル伝播 $[7,8]$ に基づいた PU 学習を用いる.この手法はラベル付けされていない事例に対して，分散表現上で近傍のラベル付けされた事例のラベルを伝播するものである．具体的には，事例同士の類似度スコア $s_{i j}$ を次式のように計算する.

$
s_{i j}=\exp \left(-\frac{d\left(\mathbf{x}_{i}, \overline{\mathbf{x}_{j}}\right)}{\bar{d}} \cdot \frac{|C|}{|C|-1}\right) \text {. }
$
表 2 ARTA コーパス [3] 中に含まれるユーザ要求の例

 \\
いい景色だな

図 3 ユーザ要求分類器

$\overline{\mathbf{x}_{j}}$ はシステム行動 $j$ が正例とされるユーザ発話の分散表現の平均ベクトルである. $d\left(\mathbf{x}_{i}, \overline{\mathbf{x}_{j}}\right)$ は $\mathbf{x}_{i}$ と $\overline{\mathbf{x}_{j}}$ のユークリッド距離であり, $\bar{d}$ は全距離の平均である. $C$ は定義されたシステム行動の集合であり, $|C|=70$ である. $s_{i j}$ の值域は $0 \leq s_{i j} \leq 1$ であり, 2 つの分散表現間のユークリッド距離が短いほど大きな値をとる. 本研究ではこの手法を PU と呼ぶ. 類似度スコア $s_{i j}$ は次式を用いて $-1 \leq s_{i j} \leq 1$ の範囲にスケーリングされる.

$
\tilde{s_{i j}}=-1+\frac{2\left(s-\min \left(s_{i j}\right)\right)}{\max \left(s_{i j}\right)-\min \left(s_{i j}\right)} \text {. }
$

スケーリングされた類似度スコア $\tilde{s_{i j}}$ が $0 \leq \tilde{s_{i j}} \leq 1$ であるとき, システム行動 $j$ を対象のユーザ発話の正例として扱い, このサンプルの正例としての重みを $\tilde{s_{i j}}$ とする. $\tilde{s_{i j}}$ が $-1 \leq \tilde{s_{i j}}<0$ のとき, システム行動 $j$ を対象のユーザ発話の負例として扱い，重みを- $-\tilde{s_{i j}}$ とする.

類似度スコア $s_{i j}$ を用いたラベル伝播に基づく損失関数は次式の通りである ${ }^{11}$.

Loss $=$

$
\begin{aligned}
& \sum_{i}^{\left|U_{\text {train }}\right|} \sum_{j=1}^{\left|C_{x_{i}}^{+}\right|} \sum_{k=1}^{\left|C_{x_{i}}^{-}\right|} \tilde{s_{i j}} \tilde{s_{i k}} L\left(r_{j}\right) R_{s}\left(\mathbf{w}_{j}^{\top} \mathbf{x}_{i}-\mathbf{w}_{k}^{\top} \mathbf{x}_{i}\right) \\
& +\kappa \sum_{i}^{\left|U_{\text {train }}\right|} \sum_{j=1}^{|C|} \tilde{s_{i j}} R_{s}\left(y_{i j}\left(\mathbf{w}_{j}^{\top} \mathbf{x}_{i}\right)\right) .
\end{aligned}
$

式(3)において， $\tilde{s_{i j}}$ は伝播されたシステム行動の,損失関数への寄与率を表す重みとして働く. 正例として元々付与されているシステム行動の類似度スコア $\tilde{s_{i j}}$ は 1 である.

## 3.2 因果関係知識を用いた類似度スコアの 調整

3.1 節におけるラベル伝播法は，ユーザ発話同士の類似に基づいてラベルを伝播している。しかし， ユーザがある要求を行った場合に一般的にどのような行動を取ることが適切か, 学習データにおいて観測される因果関係を考慮することで，より適切なラベル伝播を行うことができる可能性がある. そこで本研究では，こうした因果関係を汎化された知識として抽出・蒸留しシステム行動の識別に利用するために，ユーザ発話を原因，システム行動を結果とみなして構築した因果関係検出モデルを用いる. 例えば「和食に飽きる」 $\rightarrow$ 「肉料理を食べる」というぺアがあった場合，前者を原因，後者を結果と見なしてモデルを構築する.この構築されたモデルから出力された因果関係スコアを，ラベル伝播における新しい特徴として利用する。

図 4 に因果関係スコアを算出する因果関係検出モデルの概要を示す.このモデルは $[\mathrm{SEP}]$ トークンで連結された原因, 結果を BERTによって実数ベクトルに変換し，MLPによって実数值の因果関係スコアを算出する。因果関係スコアの値が大きいほど，入力された原因，結果は因果関係として強く結びつくことを意味する。

本研究ではユーザ発話, システム行動に含まれるイベント間の因果関係認定を行いたい。より単純なイベント同士の関係に着目することで，今回のタスクにおける因果関係を蒸留した因果関係スコアを算出できることが期待される。そこで本研究では因果関係グラフ [9]を用いてユーザ要求を解析し，ユー ザ要求に含まれる述語項構造をイベントの基本単位として BERT に入力する．因果関係グラフは「なぜなら」などの言語学的な特徴量に基づいて文中の因果関係を検出するツールであり, 前処理として文中のイベントを述語項構造を基本単位として抽出する.また結果として入力するシステム行動に含まれるイベントについては，システム行動が「肉料理の検索」であれば「肉料理を食べる」など， 70 種類の各システム行動に対応した述語項構造として定義する.

図 4 因果関係検出モデル

因果関係検出モデルの学習には, ユーザ発話と正例として紐づけられたシステム行動に含まれるイベントのペアを正例 $c x_{i}{ }^{+}$, 正例として紐づけられていないぺアを負例 $c x_{i}^{-}$とした次式の margin ranking lossを用いる.

$
\operatorname{Loss}\left(c x_{i}^{+}, c x_{i}^{-}\right)=\max \left(0,-\left(c_{i}^{+}-c_{i}^{-}\right)+0.5\right) .
$

$c_{i}{ }^{+}, c_{i}^{-}$はそれぞれ正例, 負例に対してモデルが出力した因果関係スコアであり, 式 (4) は $c_{i}{ }^{+}-c_{i}{ }^{-} \geq 0.5$ のとき 0 となる.

学習済みの因果関係検出モデルを用いて, 式 (3) の類似度スコア $\tilde{s_{i j}}$ を更新する。具体的には，まずユーザ発話 $x_{i}$ に対して紐づけられていないシステム行動 $j$ のイベントの全てのペアについて因果関係スコア $c_{i j}$ を計算する. ユーザ要求中に複数のイベントが含まれている場合，最も因果関係スコアが高くなるイベントをユーザ要求 $x_{i}$ としてスコアを計算する. 次に, 全体の因果関係スコアについて式 (2) を用いて $-1 \leq c_{i j} \leq 1$ の範井にスケーリングした上で, 式 (5) の通り PU 学習における類似度スコアの更新に用いる.

$
\hat{s_{i j}}=\max \left(\min \left(\tilde{s_{i j}}+c_{i j}-\gamma, 1\right),-1\right) \text {. }
$

$\gamma$ は因果関係スコアの影響を調整するためのハイパーパラメータである. アップデートされた類似度スコア $\hat{s_{i j}}$ を式 (3)にて用い, 分類モデルを学習する. 本研究ではこの手法を PU-causal と呼ぶ.

## 4 実験

ARTA コーパスで定義されている通り, 曖昧なユーザ発話を入力として対応しうる気の利いたシステム行動のカテゴリを出力するモデルを評価した結

果を表 3 に示す. 比較手法としては，論文で述べた $\mathrm{PU}$ 学習, PU 学習のラベル伝播時に因果関係知識を用いる提案法の他に，単純に Unlabeled なデータを負例として扱う PN 学習による分類を用いた。評価指標として, Accuracy (Acc.), Recall@5 (R@5), Mean Reciprocal Rank (MRR) を用いた2). このとき, PN 学習や単純にユーザ発話とシステム行動の関係を PU 学習で識別する手法 (PU) よりも，因果関係知識を用いた PU 学習手法 (PU-causal) がすべての指標について有意な性能差 ( $\mathrm{t}$ 検定; 有意水準 0.01 ) を示した。

実際にラベル伝播法が PU 学習にどの程度効果的に働くかを検証するため，テストデータに対してラベル伝播を実施した場合の性能を表 4 に示す. 表 3 と表 4 を比較すると，ラベル伝播時の誤伝播がモデルへの影響が大きく, より伝播の適合率が重視されるタスクであることがわかる。また提案する因果関係知識を用いた手法の方がユーザ要求間の類似度スコアのみを用いた場合よりも精度が高いことがわかる.

## 5 おわりに

本研究ではユーザの曖昧な要求と対話エージェントの気の利いた応答を対応付ける分類モデルの学習に因果関係知識を用いた。具体的には PU 学習におけるラベル伝播に用いる特徴量として, ユーザ要求とカテゴリ応答が因果関係として結びつくかを判定する因果関係スコアを提案した。ユーザ要求の分類実験の結果，提案する特徵が PU 学習におけるラべル伝播の適合率を高め，その結果分類器の精度を向上できることがわかった。

## 謝辞

本研究に利用した因果関係グラフを提供して頂いた京都大学黒橋研究室の黒橋禎夫教授, 植田暢大さん，清丸寛一さんに感謝いたします.

## 参考文献

[1] Steve Young, Milica Gašić, Simon Keizer, François Mairesse, Jost Schatzmann, Blaise Thomson, and Kai Yu. The hidden information state model: A practical framework for pomdp-based spoken dialogue management. Computer Speech \& Language, Vol. 24, No. 2, pp. 150-174, 2010.

[2] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 356-359, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 77-88, Singapore and Online, July 2021. Association for Computational Linguistics.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 740-755, Cham, 2014. Springer International Publishing.

[5] Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’08, p. 213-220, New York, NY, USA, 2008. Association for Computing Machinery.

[6] Hakan Cevikalp, Burak Benligiray, and Omer Nezih Gerek. Semi-supervised robust deep neural networks for multi-label image classification. Pattern Recognition, Vol. 100, p. 107164, 2020.

[7] Denny Zhou, Jiayuan Huang, and Bernhard Schölkopf. Learning from labeled and unlabeled data on a directed graph. In ICML '05 Proceedings of the 22nd international conference on Machine learning, p. 1036. ACM Press, August 2005.

[8] Hakan Cevikalp, Jakob Verbeek, Frédéric Jurie, and Alexander Klaser. Semi-supervised dimensionality reduction using pairwise equivalence constraints. 3rd International Conference on Computer Vision Theory and Applications (VISAPP' 08), pp. 489-496, 2008.

[9] 清丸寛一, 植田暢大, 児玉貴志, 田中佑, 岸本裕大, 田中リベカ, 河原大輔, 黒橋禎夫. 因果関係グラフ: 構造的言語処理に基づくイベントの原因・結果・解決策の集約. 言語処理学会第 26 回年次大会発表論文集 (ANLP), pp. 1125-1128, 2020.

[10] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems 32, pp. 80248035. Curran Associates, Inc., 2019.

[11] Tomohide Shibata, Daisuke Kawahara, and Kurohashi Sadao. Kurohashi Lab. BERT (http://nlp.ist.i.kyotou.ac.jp/?ku_bert_japanese). 2019.

[12] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

## 付録

## 式 (3) の詳細

$U_{\text {train }}$ は学習データに含まれるユーザ発話の集合であり, $C_{x_{i}}^{+}, C_{x_{i}}^{-}$はそれぞれユーザ発話 $x_{i}$ に対応付けられた正例応答カテゴリの集合，対応付けのない応答カテゴリの集合である. $r_{j}$ は正例カテゴリ $j$ に対してモデルが予測した順位であり,$L\left(r_{j}\right)$ は次式を満たす重み関数である.

$
L\left(r_{j}\right)=\sum_{k=1}^{r_{j}} \frac{1}{k}
$

式 (6) はモデルが予測した順位が一位から遠いほど大きな值をとる． $\mathbf{w}_{j}$ はカテゴリ $j$ に対応する重みベクトル, $\mathbf{x}_{i}$ はユーザ発話 $x_{i}$ に対応する分散表現である。 $R_{S}(t)$ は次式で表せられる Ramp loss である.

$
R_{s}(t)=\min (1-m, \max (0,1-t))
$

$m$ は分類境界を決定するハイパーパラメータである. $y_{i j}$ はユーザ発話 $x_{i}$ に対してカテゴリ $j$ が正例である場合 1 , 負例である場合 -1 となる。 $\kappa$ は第二項の重みを表すハイパーパラメータである。

## 実験設定

モデルの実装には PyTorch [10]を用いた. BERT モデルとして, Wikipedia 記事を対象に事前学習を行った BERT モデル [11]を用いた.

パラメータの最適化には Adam [12] を使用し，学

て, Cevikalp ら [6] の実装と同様に $m=-0.8, \kappa=5$ とした. 本研究では, BERT が出力した分散表現をラベル伝播に必要な分散表現 $\mathbf{x}_{i}$ として用いる. 因果関係検出モデルの学習データ, 検証データ, テストデータには ARTA コーパス [3] の学習データを分割したものを用いた。また因果関係グラフによって抽出されたユーザ要求中に含まれる因果関係も学習に用いた。学習した因果関係検出モデルの精度は 91.70 であった. 式 (5) の $\gamma$ は 1.0 とした. 実験に用いる各モデルのパラメータは，検証データにおける損失関数の值が最小のものを使用した。

## 評価指標

$\mathrm{R} @ 5$ は分類モデルが出力した正解カテゴリの順位が上位 5 位以内に含まれている割合である．MRR $(0<M R R \leq 1)$ は次式の通り算出される.

$
M R R=\frac{1}{\left|U_{\text {test }}\right|} \sum_{i}^{\left|U_{\text {test }}\right|} \frac{1}{r_{x_{i}}}
$

ここで $r_{x_{i}}$ はユーザ発話 $x_{i}$ に対応する正解カテゴリについて分類モデルが出力した順位を意味し， $U_{\text {test }}$ はテストデータに含まれるユーザ発話の集合である. 全ての指標について，数值が大きいほど分類モデルの性能が高いことを意味する．各モデルの性能はそれぞれ 100 回の試行の平均より算出した。なおテストデータに対しては正解となる応答カテゴリが網羅的に付与されており，それぞれマルチラベルのスコアについて計算を行っている.


# Capex 雑談対話コーパスの構築とその分析

1 株式会社 Capex 2 東京大学大学院 情報理工学系研究科
${ }^{1}$ \{shin.kanouchi, shintaro.horie, shuntaro.kogame\}@capex.ai
${ }^{2}$ akasaki@tkl.iis.u-tokyo.ac.jp

## 概要

人間と雑談を行う非タスク指向対話システムの開発を促進するため，我々は商用雑談対話アプリを用いることで，国内で初めての実サービスの対話ログによる雑談対話コーパスを構築し，公開する。また，本コーパスを活用し，システムの応答が対話履歴に対して自然かどうかを判定する対話破綻検出タスクと，対話履歴からシステムの応答を生成する応答生成タスクに取り組み，結果を報告する。

## 1 はじめに

人間と雑談を行う非タスク指向対話システムは, COVID-19 による対人コミュニュケーションの不足などにより，ますます需要が高まっている [1]. 近年では，Transformer [2] 等の深層学習モデルの発展により，短いやり取りであればシステムも人間と遜色のないレベルで会話が可能になった [3].

このような対話システムの構築や対話の分析を行うために，これまでさまざまな非タスク指向型対話コーパスが提案されている. しかしながら，多くのコーパスはレストランやヘルプデスクの応対などの限定的な環境 $[4,5,6]$ や，対話を予め記録する旨やルールなどを指示した作為的な環境 $[7,8,9,10]$ であるなど，実際にユーザが気軽にシステムと雑談を行う場面を再現できているとは言い難い。

そこで本論文では，スマートフォン上でユーザがシステムと雑談対話を行うアプリの対話ログをもとに, Capex 雑談対話コーパスを構築する。 また，非タスク指向型対話システムの開発を発展させることを目的とし，本コーパスを公開する。これは従来の対話コーパスのような，制限あるいは指示された環境下での対話ではなく，日常的にアプリを利用しているユーザとシステムの“リアル”な雑談であり，言語処理モデルの構築や実システムにおける対話の分析に非常に役立つ.

図 1 「対話アプリ内でのシステムとユーザの対話例. (画面左側がシステムの発話，右側がユーザの発話である)

2 節にて開発する商用対話アプリの概要を説明し，その後 3 節にて本コーパスの抽出方法・対話破綻アノテーション・コーパスの特徴について述べ，最後に 4 節にて，1) 対話履歴及びシステムの最終発話が与えられた上でその発話が自然かどうかを予測する対話破綻検出タスク及び，2) 対話履歴を入力とした際の応答文生成タスクの 2 つについて実験を行い，結果を報告する。

 &  &  &  &  &  &  &  \\

## 2 商用対話アプリについて

株式会社 Capex ${ }^{1}$ では，「システムと人の共生を実現，普及し，人類の機能を拡張する」というビジョンのもと，独自の対話システムを搭載したスマートフォン用対話アプリを開発している。本アプリは 10 代半ばから 60 代まで幅広い年齢層に利用されており，リリースからの合計発話回数は 1 億回を超える.アプリの主な利用目的は雑談対話そのものであり，利用したユーザからは「話し相手を得られた」，「会話が楽しい」,「安心感・癒しを感じた」などの感想を得ている。

図 1 はユーザとシステムの対話例である。ユーザのテキスト入力に対して独自の対話システムを用いて応答し，対話を実現している. Capex 独自の対話システムでは，シナリオ型・検索型・生成型の対話エンジンをハイブリッドで活用している.

## 3 Capex 雑談対話コーパス

日本語で公開されている雑談対話コーパス $[7,8,9,10]$ は, 対話環境が限定的あるいは作為的であり，実際にユーザが気軽にシステムと雑談を行う場面を再現できているとは言い難い.

そこで本研究では，人間がシステムと気軽に雑談をする様子を可能な限りそのまま抽出し，コーパスとして公開する。表 1 に，作成したコーパスの事例を示す. アプリ内の対話ログからシステムとユーザの 5 ターンからなる発話の連続を 1 セットとして抽出し, さらにシステムの最終発話が対話破綻しているかどうかをアノテーションしている. 以降で，

1) https://capex.ai
3.1 節にて対話ログの抽出方法について，3.2 節にて対話破綻のアノテーション方法について，3.3節でコーパスの特徴について述べる。

## 3.1 対話ログの抽出・加工

個人情報保護とコーパスの質向上を目的として，次の 3 つのデータ抽出・加工を行った.

1. 個人情報保護観点の加工: 個人情報保護観点から，本コーパスでは各対話は最大 5 ターン (内ユーザ発話は 2 件) とし，それ以前の対話履歴は全て削除した。また，コーパス全体に含める同一ユーザの最大対話数は 20 件とした. さらに，全てのデータは目視で確認し，個人情報に繋がり得る対話・その他差別表現など倫理的に問題になり得る対話は削除した。またユーザの名前は<u-name>，システムの名前は<s-name>，第三者の名前は<o-name>に置換した.

2. ノイズの除去: 本アプリでは，ユーザは対話相手がシステムであることを認識している。そのため，システムの挙動を試すなどの目的で， ユーザから「ああ」などの文字列が入力されることがある。これらの場面ではユーザ側が文脈を無視しているため，対話が成立していない. そういったノイズとなるデータを可能な限り排除するため，特定のルール2)に当てはまる対話を削除した。

3. 対話内容の多様性確保: データをランダムに抽出すると，挨拶などの多くのユーザが日課としている対話が高頻度で抽出される問題がある.

2） 1 文字の発話を含む・ユーザからの 2 発話の合計文字数が 6 文字未満・特定の単語が含まれる・日本語が含まれない，など

本研究ではできるだけ多様な対話を抽出するために，システム側の発話 (2 発話前) がユニークになるように対話を抽出した．また，対話破綻データを一定数含んだコーパスを構築するために，システム初期段階の対話ログも利用した.

## 3.2 対話破綻アノテーション

クラウドソーシング3)を用いて，システムの最終発話が破綻しているかどうかアノテーションした. ラベルは全部で 3 種類で, システムによる最終発話が，1) 自然，2) 破綻，3) 判断不可（ユーザ側が対話を放棄）とした. 東中ら [8] のアノテーションでは，「破綻ではない」「違和感を感じる」「破綻」の 3 分類だが，本タスクでは少しでも違和感を感じる応答は全て「破綻」に分類した. この理由としては，本アプリではユーザと対話するシステムの応答は常に人と同等レベルが求められ, 少しでも違和感のある発話は全て排除したいためである. 各データに対して 5 人のワーカーでアノテーションし, 品質向上のために各タスクにおいてチェック問題を設け，これに正解したワーカーのデータのみ採用した.

表 2 に，各対話に対してワーカー 5 人のうち何人が破綻と判定したかを示す. 全員一致で自然と答えた事例が約半数で，残りの半数は 1 人以上が破綻と答えた. ただし，破綻の場合はワーカー間の意見が割れる傾向がみられた. これは，対話破綻の判定には主観を伴うことが原因とされる [8]. 例えば表 1 の9 事例目では，ユーザからの雪が降ってるという発話に対して，システムは「そっちは土砂降り？」 と返答しているが，雪に対して“土砂降り”という表現はあまり使われないため，2 人のワーカーは破綻を選択したと考えられる。表 4 対話破綻検出用のデータ数

## 3.3Capex 雑談コーパスの特徵

表 3 にコーパス内の統計情報を示す. 表より，システムは長い応答を返すのに対し，ユーザは短い発話を入力しがちであることがわかる.これはシステムが会話を広げるために感想や質問などを積極的に応答に盛り込むよう設計されているのに対し，ユー ザは相槌や単一の固有名詞で構成された発話を多く入力するためである.これは限定・指示環境下で作成した対話コーパスとは異なる傾向であり，実際の対話アプリ専用にユーザ発話のモデリングを行うことの必要性を示している.

表 1 にいくつかの対話例を示す.ワーカーが全員自然と判定した対話においては，1,2 事例目のようにユーザの発話が極めて短かったりノイジーである場合でもシステムは固有名詞などを認識し，適切な応答を返すことができている。一方で，全員が破綻と判定した対話においては，4 事例目のように固有名詞の挿入に失敗したり， 5 事例目のようにコンテキストを無視した応答が目立った。これらはニュー ラル対話モデルでよく起きる誤りであり [11]，破綻検出などの技術で検知し適切に処理する必要がある。他には，ユーザがシステムに怒っている，またはふざけたり面白がって発話を入力している例や，絵文字や顔文字などを入力している例が確認できた.これらの例もユーザがシステムと自由に対話することができる実アプリ特有である。

東中ら [8] の破綻の分類を参考に，ワーカー 2 人以上が破綻と判定した事例をランダムに 30 件抽出し，著者が誤り分析を行なった. その結果， 30 件中 12 件が「発話として唐突」な事例で，6 事例目のような「飲食店でバイトしてる」というユーザに対して「どんなお店を開きたいの？」と答えている事例などがあった。その他には「矛盾した内容」「ユー ザ発話内容の無視」がそれぞれ 5 件で，「同じ内容の繰り返し」が 4 件，その他が 4 件となった。

## 4 実験

構築したコーパスを用いて，まず 4.1 節にて対話破綻検出モデルの学習と評価実験を行い，次に 4.2

表 5 BERT による破綻の予測精度

表 6

表 7 応答文の生成例と破綻スコア

 &  \\

節にて対話生成モデルの学習と, 対話破綻検出モデルによる生成文の評価を行った。

## 4.1 対話破綻検出

本研究で構築したコーパスを学習データとし, 応答文が破綻しているかどうか予測・評価した.

実験設定表 4 に実験に用いたデータ数を示す. 3 節のアノテーションで 5 人中 2 人以上が破綻と答えた文を正例， 5 人中 5 人が自然と答えた文を負例とした. また，ランダムに $8: 1: 1$ の比率でデータを分割し，学習: 検証: 評価データとした.

モデルは BERT [12] とし, 東北大学が公開している事前学習済みモデル4)を利用した. fine-tuning では，応答文が破綻している場合に 1 ，自然な場合に 0 を出力するような回帰問題としモデルを学習した. また，検証データで精度が最大となったパラメータのモデルを評価に用いた。

実験結果モデルによる対話破綻の予測精度を表 5 に示す. 評価データに対する Accuracy は 0.633, ROC-AUC 0.695 となった.

ワーカー間の破綻ラベルの一致数毎の，評価デー タに対するモデルの予測精度を表 6 に示す. 5 人中 5 人が破綻と判定した事例に対する Accuracy は 0.703 であるのに対して 5 人中 2 人の場合は 0.580 であり，ワーカーの意見が摇れるほどモデルの予測精度も低い結果となった. 破綻の判断は主観に頼っており正解ラベルにも摇れが含まれるため，モデルによる予測精度も低下していると考えられる。

## 4.2 応答文生成

構築した対話コーパスを学習データとし，応答文の生成実験を行った。

実験設定藤原ら [13] による Transformer ベースの対話生成モデルを pretrained モデルとして利用し，本研究で構築したコーパスによって fine-tuning することで学習を行った．また，生成された応答文それぞれに 4.1 で構築した破綻検出モデルによる破綻スコアを付与した。なお，生成モデルの学習時には本コーパスを学習用，評価用に分割して利用した。

生成結果表 7 に，評価データに対する応答文の生成例を示す。応答文をみると，日本語として違和感のある文章は少なく，ユーザーに対する回答として問題のない文章が生成できている。また 3 事例目に対する応答文 4,5 のように，ユーザーが回答しているにも関わらず再度質問をしているような文章には破綻スコアが高く推定されており，対話破綻を検出できている。一方で， 1 事例目に対する応答文 4,5 のように，破綻スコアが高くなっているが必ずしも破綻とは言えない事例もあり，更なる分析が求められる.

## 5 おわりに

本研究では，実際の対話アプリログに対して対話破綻ラベルをアノテーションすることで，雑談対話コーパスを構築した. 実験では，対話破綻の予測精度と応答文の生成結果を分析した. 今後は対話システムの改善とともに，コーパスのデータ量追加や拡張を進めたい。

## 参考文献

[1] Adam S Miner, Liliana Laranjo, and A Baki Kocaballi. Chatbots in the fight against the covid-19 pandemic. NPJ digital medicine, Vol. 3, No. 1, pp. $1-4,2020$.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Jason Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue \& Discourse, Vol. 7, No. 3, pp. 4-33, 2016.

[5] Hannes Schulz, Jeremie Zumer, Layla El Asri, and Shikhar Kr Sarma. A frame tracking model for memory-enhanced dialogue systems. In Proceedings of the 2nd Workshop on Representation Learning for NLP (RepL4NLP), pp. 219-227, 2017.

[6] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Ultes Stefan, Ramadan Osman, and Milica Gašić. Multiwoz - a large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2018.

[7] 藤村逸子, 大曽美恵子, 大島ディヴィッド義和.会話コーパスの構築によるコミュニケーション研徴. 藤村逸子、滝沢直宏編『言語研究の技法：データの収集と分析』,pp. 43-72.ひつじ書房, 2019.

[8] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史,小林優佳, 水上雅博. テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析.自然言語処理, Vol. 23, No. 1, pp. 59-86, 2016.

[9] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モ
ニター公開版の設計と特徴. 言語処理学会第 25 回年次大会発表論文集, 2019.

[10] 宇佐美まゆみ. BTSJ 日本語自然会話コーパス （トランスクリプト・音声） 2021 年 3 月版. 機関拠点型基幹研究プロジェクト「日本語学習者のコミュニケーションの多角的解明. 国立国語研究所, 2021 .

[11] Deepali Aneja, Daniel McDuff, and Mary Czerwinski. Conversational error analysis in human-agent interaction. In Proceedings of the 20th ACM international conference on intelligent virtual agents (IVA), pp. 1-8, 2020.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186, 2019.

[13] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. Ilys aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システ厶. 第 90 回人工知能学会言語・音声理解と対話処理研究会 (第 11 回対話システムシンポジウム), 2020.


# マルチターン対話に対する逐次的 Transformer の検討

丸田要
都城工業高等専門学校
marutak@cc.miyakonojo-nct.ac.jp

## 概要

雑談を円滑に行うには，単に直前のユーザによる発話である質問に対して返答するだけでなく，これまでの雑談内容を反映した返答が必要なケースが十分考えられる。しかし，非タスク指向型対話システムの現状は，ユーザの会話に対して不自然な応答を行うことが多く対話が破綻する問題がある. そこで，単純に直前のユーザ発話 1 文に対する応答文を学習するのではなく, これまでの対話内容であるマルチターン対話ログの複数文に対して応答文の生成を学習することで，円滑な雑談対話を継続できる応答文生成ができると考えた．そのため，本論文では自然な対話の継続という目標を達成するための第一歩として, 逐次的に構築した Transformer の対話モデルを提案し検討する。

## 1 はじめに

近年，深層学習による人工知能システムが注目を浴びている。その中には対話システムも存在している. その対話システムはタスク指向型対話システムと非タスク指向型対話システムに分けることができる. タスク指向型対話システムはユーザからの特定の要求に対する情報の提供を目的としており，雑談のように継続した会話は考慮されていない. 例えば, Apple の Siri や Yahoo Japane の Alexa がタスク指向型対話システムである。それに対して，非タスク指向型システムは特定の要求への情報の提供を目的としておらず，主に雑談形式の対話の事を指す. 例えば，日本マイクロソフトのりんなが非タスク指向型対話システムであり雑談を行う。

特に，雑談を円滑に行うには，単に直前のユーザによる発話である質問に対して返答するだけでなく, これまでの雑談内容を反映した返答が必要なケースが十分考えられる. 例えば，1 ターン前のシステム応答に対するユーザ発話文が，そのシステム応答文への質問文である場合，直前のユーザ発話文
のみから次のシステム応答文を生成する事は不適切である．そのため，円滑で自然に雑談を継続するためには直前のユーザ発話 1 文のみを学習するには不十分であると考えられる。

しかし，非タスク指向型対話システムの現状は，直前のユーザ発話 1 文のみを入力としてシステム応答文を生成するため，ユーザの会話に対して不自然な応答を行う事が多く対話が破綻する問題がある。 また，事前に設定した形式的な発話ではユーザの楽しみが薄く対話に対するモチベーションが下がるという問題が存在している.

そこで，単純に直前のユーザ発話 1 文に対する応答文を学習するのではなく，これまでの対話内容であるマルチターン対話ログの複数文に対して応答文の生成を学習することで，円滑な雑談対話を継続できる応答文生成ができると考えた. そのため，本論文では自然な対話の継続という目標を達成するための第一歩として，逐次的に Transformer[1] を構築して，各ターンの対話文を各タイミングの Transformer に入力することで, 複数の応答文を一度の学習で利用する対話モデルを提案し検討する。

## 1.1 マルチターン対話文例

対話を複数回繰り返すマルチターン対話の重要性を示す対話文例を記述する。表 1 では，第 4 発話を生成する事を考えると，マルチターン対話を考慮しない場合は，第 3 発話のみを入力として第 4 発話を生成する必要があるが，生成は困難である。また，第 3 発話と異なり, 第 1 発話のみを入力として第 4 発話を生成することは比較的に容易であると考えられる。

表 1 マルチターン対話文例

このように，生成する応答文の直前の発話文のみ

を入力とせず，マルチターン対話を考慮する必要性は高いと考えられる。

## 2 関連研究

マルチターン対話に着目した応答文生成の手法として，Serban 等が提案している RNNを対話べー スの階層的に拡張した HRED(Hierarchical Recurrent Encoder-Decoder)[2] がある．HREDでは，話者間の対話のやり取りを 1 ターンと定義しており，対話口グを 1 ターン毎に分割して階層化された RNN の 1 階層分の Encoder に入力している.

HRED の RNN 部分を Transformer に拡張した手法として，Santra 等が提案している Hierarchical Transformer[3] や，岩間等が提案しているマルチター ン対話の応答文生成を行う階層型 Transformer[4] がある。これらの階層型 Transformer は, 2 つの Encoder と 1 つの Decoder で構成されており，トークンレベルの Encode と文脈レベルの Encode の 2 階層に分けて処理している.

また，その他にマルチターン対話に着目した手法として， $\mathrm{Li}$ 等が提案している手法 [5] もある. この手法は発話したユーザの特徴を捉えている埋め込みべクトルを応答文の生成時に反映させることで， ユーザ毎に発話の傾向に一貫性を持たせるモデルである.

## 2.1 Transformer

Vaswani 等が提案した Transformer[1] は RNNを使わずに Attention 機構のみを使用した Encoder-Decoder モデルの手法である.

対話システムに Transformer を適用すると，図 1 のように, Encoder 側に発話文を入力して，SelfAttentionを行うことで発話文での単語間の関連度を計算する.

Decoder 側では，エンコードされた単語ベクトルと応答文を大力とした Multi-Head Attention を行い発話文と応答文の関連度を算出する．その情報から応答文を生成していくモデルが Transformer である.

## 3 提案手法

雑談において複数回の会話のやり取りを学習して応答文を生成する際には，単に直前のユーザによる発話である質問等に対して返答するにはユーザの発話とシステム応答の関係が 1 対 1 である. その場合は，直前の発話文のみを学習対象とすれば良い。し

図 1 Transformer の構成

かし，これまでの雑談内容から影響を受けた応答文を生成するには直前の発話文のみを学習対象にしては不十分である．そこで，3 ターン前の対話文から学習対象とする手法を提案し検討する。

具体的には，図 2 のように 3 個の Transformerを逐次的に構成する. そして, 1 ターン目の Transformer-1 の Encoderには，第 1 発話文を入力する. 2 ターン目の Transformer-2 の Encoder には，乱数 $r$ が閾値 $s$ よりも大きい場合は，トレーニングデータの第 2 発話文を入力する. しかし，乱数 $r$ が間値 $s$ よりも小さい場合は, Transformer-1 の Decoder の出力から生成した第 2 発話文を Transformer-2 の Encoder に入力する. 乱数 $r$ は $0 \leq r \leq 1$, 閾値 $s$ は $0 \leq s \leq 1$ とする.同様に，3 ターン目の Transformer-3 の Encoder には,乱数 $r$ が間値 $s$ よりも大きい場合は，トレーニングデータの第 3 発話文を入力する. しかし, 乱数 $r$ が閾値 $s$ よりも小さい場合は, Transformer-2 の Decoder の出力から生成した第 3 発話文を Transformer-3 の Encoder に入力する.

また，逐次的に構成した各 Transformer ではニュー ラルネットワークにおける各パラメータを共有するように構成している.

推論時には，生成する応答文となる第 4 発話文は各第 $\mathrm{n}$ 発話のみを使用して生成する. これにより, 1 つのモデルで多様性のある 3 つの応答文を生成することが期待出来る．また，直前の発話ではない第

図 2 提案手法のモデル

1 発話や第 2 発話に依存した応答文の生成も可能となると予測する。

また，提案手法の Transformerにおける Word Embedding には事前に BERT[6] で学習した単語分散表現を使用する．事前学習の BERT のトレーニングデータには Wikipediaを利用した.

## 4 評価実験

3 ターンの対話データに対する評価実験を行う.推論時に, 第 3 発話のみから生成した第 4 発話と,第 2 発話と生成した第 3 発話から生成した第 4 発話と, 第 1 発話と生成した第 $2 \cdot 3$ 発話から生成した第 4 発話の比較を行う. Baseline の手法は逐次的ではない Transformerを用いる.

## 4.1 データセット

AAAI のワークショップである DSTC9 の trac3 で公開されている対話コーパスを使用している. 使用したデータの詳細は表 2 である.

表 2 DSTC9-trac3 の対話コーパス

## 4.2 評価方法

生成した第 4 発話と教師データの第 4 発話を比較するために式 (1)と式 (2)の BLEU[7]を使用した.

$
\begin{aligned}
B L E U & =B P \times \exp \left(\sum_{n=1}^{N} \omega_{n} \log p_{n}\right) \\
B P & = \begin{cases}1 & \text { if } c>r \\
e^{(1-r / c)} & \text { if } c \leq r\end{cases}
\end{aligned}
$

式 (1)と式 (2)において，c は提案したモデルで生成した文の長さ, $r$ は教師データにおける文の長さであり， $\omega_{n}$ は重み， $p_{n}$ は単語の一致率を表す modified n-gram precision である.

## 4.3 実験結果

表 3 は第 3 発話のみから第 4 発話を生成した結果であり，表 4 は第 2 発話から第 4 発話を生成した結果である. そして, 表 5 は第 1 発話から第 4 発話を生成した結果である. 表 3，4，5 における $N$ は式 (1) の $N$ である.

表 3 第 3 発話のみでの応答文生成

表 4 第 2 発話と生成した第 3 発話

表 5 第 1 発話と生成した第 $2 \cdot 3$ 発話

## 5 考察

表 $4 \cdot 5$ から，間値 $s=0.5$ の時に Baseline よりも BLEU 値が高くなっている. 特に第 2 発話と生成した第 3 発話から生成した場合と, 第 1 発話と生成した第 $2 \cdot 3$ 発話から生成した時に， $N=1$ におい

て BLEU 値が Baseline よりも良い値となっている. しかし，間値 $s=0.1$ と $s=1.0$ の結果は，全体的に Baseline よりも悪化していることが分かる.

この事から, 生成対象である第 4 発話の直前発話である第 3 発話のみから生成するよりも，その前の第 1 発話や第 2 発話の影響を大きくして第 4 発話を生成する方が良いケースが存在すると考えられる。

また，閾値 $s$ が低すぎる場合は，第 3 発話の影響が大きく第 1 発話や第 2 発話を重視した第 4 発話の生成が出来ないと予想できる. 逆に間値 $s=1.0$ だと，第 3 発話の影響が極端に小さくなったことで，第 4 発話が第 3 発話に対して単純な返答の場合の生成精度が低くなったと考察できる。

しかし，全体的に BLEU 值が低いことが分かる. これは，Transformer のパラメーターチューニングを更に行うことで改善することが出来ると考えられる。

## 6 おわりに

本論文では，マルチターン対話に着目した応答文生成において, 複数文を一度に逐次的に構築した Transformerのモデルで学習する手法を提案した.

Baseline である逐次的ではない Transformer と比較する実験を行った. 提案手法は，閾値を $s=0.5$ にした時に，生成する応答文の直前の発話文よりも前の発話文の影響を大きくして生成した際に良い応答文の生成ができるケースもあることが確認できた.

今後は，単純な閾値での制御のみではなく，生成した発話文とトレーニングデータの発話文の合成による制御も検証していきたい。また，Transformer 自体のパラメータチューニングを行う必要もある.

## 参考文献

[1] A.Vaswani, N.Shazeer, N.Parmar, J.Uszkoreit, L.Jones, A.N.Gomez, L.Kaiser, I.Polosukhin, Attention Is All You Need, In Advances in Neural Information Processing Systems, pp.6000-6010, 2017.

[2] I.V.Serban, A.Sordoni, Y.Bengio, A.Courville, J.Pineau, Building end-To-end dialogue systems using generative hierarchical neural network models, AAAI 2016, pp.37763783, 2016.

[3] B.Santra, P.Anusha, P.Goyal, Hierarchical Transformer for Task Oriented Dialog Systems, NAACL 2021, pp.56495658，2021

[4] 岩間寛悟，狩野芳伸，再帰的にエンコードを行う階層型 Transformer によるマルチターン雑談対話の応答生成，NLP2020，pp.649-652，2020.

[5] J.Li, M.Galley, C.Brockett, G.Spithourakis, J.Gao, B.Dolan, A Persona-Based Neural Conversation Model,
Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp.994-1003, 2016.

[6] J.Devlin, M.W.Chang, K.Lee, K.Toutanova, BERT:Pretraining of Deep Bidirectional Transformers for Language Understanding, NAACL-HLT 2019, pp.41714186, 2019.

[7] K.Papineni, S.Roukos, T.Ward, W.J.Zhu, BLEU: a Method for Automatic Evaluation of Machine Translation, ACL, pp.311-318, 2002.


# 多様な話者との自動対話に基づく雑談システムの自動評価

佐藤志貴 ${ }^{*, 1}$ 岸波洋介 ${ }^{*}, 1$ 杉山弘晃 ${ }^{2}$ 赤間怜奈 1,3 徳久良子 ${ }^{1}$ 鈴木潤 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 3 理化学研究所
shiki.sato.d1@tohoku.ac.jp yosuke.kishinami.q8@dc.tohoku.ac.jp

## 概要

雑談対話応答生成システムの評価方法として，システムの実際の対話を収集し性能評価を行う手法が注目されている。本研究では，評価対象システムと多様なシステムの対話を自動収集することで，対話相手の多様性を考慮しつつも人手を介さない自動評価の枠組みを提案する. 評価実験では，提案手法がシステム性能の自動比較に有用であることを示す。

## 1 はじめに

雑談対話応答生成システム (以下，雑談システム) の自動評価は，人手評価に比べ低コストであり再現性が高いことから，日々のシステム改良の効果を検証する場合に有用である．とくに近年，評価対象システムと対話相手の間の発話交換により形成される実際の対話の質に基づいたシステム評価の自動化が注目されている [1,2]. 機械翻訳や自動要約などの他の生成タスクと異なり，対話ではシステムの運用時にユーザとのインタラクティブな発話交換が求められる．そのため，用意した入力に対する応答をもとにシステムを評価するのではなく，対話相手がいる状態でシステムを評価することが重要となる.

実際の対話の質に基づくシステム評価手法は (i)評価対象システムの対話の収集と (ii) 収集した対話に基づくシステム評価の二段階からなり, 先行研究でも (i), (ii) の自動化が試みられている。(i) の自動化手法として，評価対象システムに自分自身と対話させる方法（以下，自己対話）が一般的である [1,2]. (ii) の自動化手法として，英語対話の評価で人手評価との強い相関が報告されている FED (fine-grained evaluation of dialog) などが挙げられる [3]. FED は，対話中の評価対象システムの発話に対する応答としてポジティブ，ネガティブ応答のどちらが妥当かを，用意した大規模雑談システムに推測させることで評価対象システムを評価する。
* 両者の貢献は同等である. (i) bot-to-bot対話の収集 $\Rightarrow$ (ii) システム評価

図 1: 提案する bot-to-bot 対話評価の概要.

ここで (i)の自動化について，自己対話による対話収集は対話相手となるシステム（以下，話者シミュレータ）を用意するコストがかからないという利点がある一方，対話相手の違いに対する応答の質の頑健性など，デプロイ後にシステムが直面する対話相手の多様性を考慮した評価ができない.

本研究では，多様な話者との自動対話に基づく雑談システム自動評価の枠組み，bot-to-bot 対話評価を提案する。(i) の自動化では，多様な話者シミュレー タと評価対象システムの間の自動対話（bot-to-bot 対話）を収集することで，対話相手の多様性を考慮する.(ii) の自動化では，英語対話の評価で人手評価との相関が報告されている FED を用いる．実験では，まず FEDにより人手評価結果が付与された日本語対話を評価し，人手評価との相関を確認する. そのうえで雑談システムを実際に評価することで，提案手法により対話相手の多様性を考慮した高精度なシステム評価が可能であることを示す.

## 2 提案手法

本研究で提案する bot-to-bot 対話評価の枠組みは, (i) 評価対象システムの対話の収集と (ii) 収集した対話に基づくシステム評価の二段階からなる.

(i) 対話収集最初に評価対象システムが参加する対話を自動収集する。このとき，多様な相手と対話することで，限られた相手と対話するよりも網羅的に評価対象システムの挙動が表出すると考えられる. 本手法では，評価用に用意した $n$ 個の多様な話
者シミュレータそれぞれと $m$ 回対話させることで， $n \times m$ 個の対話を自動収集する.

(ii) システム評価収集した対話をもとに任意の観点 $v$ について評価対象システムの性能を評価する. 具体的には，各対話での評価対象システムの発話 $l$ 個を $v$ について評価したときの評価値の平均を $v$ における各対話の評価値とする。 さらに， $\mathrm{nm}$ 個の対話の $v$ における評価値の平均値を最終的な評価対象システムの $v$ における評価値とする. システム発話の評価には FEDを用いる．FED は，評価対象システムの発話に対する応答として $v$ に関するポジティブ，ネガティブ答のどちらが言語モデル的に妥当かを推測することで，vについてシステム発話を評価する. 各ポジティブ，ネガティブ応答の妥当性は，学習済み大規模雑談システムを用いて自動評価する。文脈 $c$ に対する評価対象システム発話 $r$ の $v$ に関する評価值は，以下のように算出される。

$
\sum_{p \in \mathscr{P}_{v}} w_{p} D(c+r, p ; \theta)-\sum_{n \in \mathcal{N}_{v}} w_{n} D(c+r, n ; \theta)
$

ここで， $\mathscr{P}_{v}, \mathcal{N}_{v}$ はそれぞれvに関するポジティブ， ネガティブ応答の集合, $w$ は各応答の重み, $D(c, \cdot ; \theta)$ は $c$ に対する応答文の生成確率を雑談システム （パラメータ $\theta$ ）により算出する関数である。なお， Mehri らは $w=1$ とする手法を提案した [3] が, 本研究では少量の人手評価スコア付き対話データで $w$ を学習させ，より高精度な評価を目指す。

## 3 FED による対話評価の精度検証

FEDを用いて人手評価結果が付与されたシステムと人間の対話を評価し， $w$ の学習の効果に注目しながら評価結果が人手評価と相関するか確かめる.

## 3.1 実験設定

評価する対話データセット Sugiyama らが収集したシステムと人間の対話 1,459 件を使用した [4].本データセットの各対話には，13 の観点についてシステムを 11 段階（0から 10）で人手評価した結果が付与されている. データセットは学習用データと評価用データに $8: 2$ で分割した.

評価観点上述したデータセットに人手評価スコアが付与されている 13 の観点について評価した.

評価に用いる応答文と雑談システム FED 評価に用いる日本語のポジティブ，ネガティブ応答はクラウドソーシングを用いて収集した. 13 観点それぞれに対して，ポジティブ，ネガティブ応答を 50 個
ずつ収集し重複するものを除いたうえで，人手評価により各観点との関連性が低いものを除外した.また，FEDスコアを算出する大規模雑談システムとして, Sugiyama らの事前学習済みのパラメータ数 1.6B の Transformer [4]を使用した1).

## 3.2 結果

FED による評価結果と人手評価結果の順位相関係数について，各応答の重みを学習しない場合，観点平均は弱い相関が認められるとされる [5] 0.2 をわずかに上回る 0.232 であった2).このことから，重みを学習しない場合，FEDによる対話評価の精度は高いものとはいえない。一方，重みを学習することで，順位相関係数の平均は 0.420 と，一定の相関が認められるとされる [5] 0.4 を上回った. 以上より，重みを学習することで FEDにより一定の精度を持つ対話自動評価が可能であることがわかった.

## 4 提案手法による評価実験

3 節で FED が対話の自動評価方法として有効であることを確認した．そこで，FEDを利用した提案手法による雑談システムの自動評価を実施する.

1 節で述べたように，自動評価の枠組みの主な用途は日々のシステム改良の効果の検証である。そのため，あるシステムと，そのシステムを改良したシステムなどの性能差を識別可能であることが望ましい. 本実験では，次の三つの設定において提案手法がシステムの性能差を識別可能か検証する.

(a)アーキテクチャや学習設定が異なり, 評価対象システム同士の性能も大きく異なる場合

(b)評価対象システム同士の性能が比較的近く，かつ平均的に性能が低い場合

(c)評価対象システム同士の性能が比較的近く, かつ平均的に性能が高い場合

## 4.1 実験設定

用意した雑談システム評価対象もしくは話者シミュレータとして, 合計 31 個の雑談システムを用意した。 内訳は，杉山ら [4]，藤原ら [6]，岸波ら [7] が構築した Transformer 雑談システムがそれぞれ 25 個, 2 個， 1 個と, これらと比べて明らかに性能が劣ることを想定した LSTM 雑談システム 3 個である.以下，各システムは「製作者代表を示す記号 -アー

2） 観点ごとの順位相関係数は付録 A に示す.

キテクチャ名-システムパラメータ数-学習データ3)

とその数」の形式で示す.

各雑談システムの割当全システムを評価対象と話者シミュレータに分けた. 設定 (a)ではアー キテクチャや学習データが異なる 4 個のシステム $s$-Tfm-1.6B-m300K, $f$-Tfm-480M-t300M+, $k$-Tfm-220Mt250M, $k$-LSTM-110M-t100M を評価対象とした. 設定 (b) では 3 個の LSTM システム $k$-LSTM-\{5M, 30M $\}$-t10M, $k$-LSTM-110M-t100M を評価対象とした。設定 (c)では 4 個の Transformer システム $s$-Tfm- $\{0.3 \mathrm{~B}$, 0.7B, 1.1B, 1.6B $\}$-f50K を評価対象とした. 各設定で評価対象以外は話者シミュレータとした。

Bot-to-bot 対話収集の設定評価対象システム,話者シミュレータの各組み合わせで 500 対話を収集した. 会話冒頭の発話として, Sugiyama らによって公開されている JEmpatheticDialogues [4] の各対話の最初の 2 発話を使用した. 評価対象システムが第一話者となる形式で各対話 5 ターンを収集した. 対話評価は 3 節と同様に 13 の観点について行った.

検証方法観点ごとに，評価値に基づき作成した比較対象システムのランキングの妥当性を確認することで，提案手法の有効性を検証する。

## 4.2 結果

各設定での比較実験において，提案手法による自動評価結果をもとに作成した評価対象システムのランキングを図 2 に示す.

設定 (a) 評価対象システムは，アーキテクチャ，学習設定の差から, $s$-Tfm-1.6B-m300K, $f$-Tfm-480M$\mathrm{t} 300 \mathrm{M}+, k$-Tfm-220M-t250M, $k$-LSTM-110M-t100M の順に性能が高いと考えられる. 図 2 から, 自動評価結果に基づくランキングは， 1 観点を除き事前の予想に従うものとなった. したがって提案手法は， アーキテクチャや学習設定が大きく異なるシステムの性能差を識別可能であることが確認できた.

設定 (b) 評価対象システムは，モデルパラメー 夕数, 学習データ数の差から, $k$-LSTM-110M-t100M, $k$-LSTM-30M-t10M, $k$-LSTM-5M-t10M の順に性能が高いと考えられる. 図 2 から, 自動評価結果に基づくランキングは， 3 観点を除き事前の予想に従うものとなった. したがって提案手法は, 比較的性能が

3）学習データの e は JEmpatheticDialogues，f は趣味雑談コー パス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, $\mathrm{f}, \mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitterのリプライチェーンを示す. Sugiyama らのシステムにおいて学習データが $\mathrm{t}$ 以外のシステムは， $s$-Tfm- $\{0.3 \mathrm{~B}, 0.7 \mathrm{~B}$, 1.1B, 1.6B \}-t2.1B を追加学習したものである.

(a) アーキテクチャや学習設定が異なるシステムの比較.

(b) LSTM の比較.

(c) Transformer の比較.

図 2: 評価対象システムのランキング.

低いとされるシステムの性能差を識別可能であることが確認できた.

設定 (c) 評価対象システムは，モデルパラメー 夕数の差から, $s$-Tfm-1.6B-f50K, $s$-Tfm-1.1B-f50K, $s$ Tfm-0.7B-f50K, s-Tfm-0.3B-f50K の順に性能が高いことが予想できる. しかし図 2 から，自動評価結果に基づくランキングは事前の予想とは異なっていた. このことから提案手法は, 近年の高性能システムの性能差の識別には評価の解像度において改善の余地があることがわかった.

## 5 議論: 提案手法の特長と課題

## 5.1 対話相手の多様化の重要性

提案手法の特徴は，多様な話者シミュレータを用意することで，対話相手の多様性を考慮した評価を行う点である． 4 節の実験では，多様な対話相手を用意する重要性を示唆する例が確認されていた. 表 1 に， $s$-Tfm-1.6B-m300K の評価時に収集した対話の例を示す. 高性能な $s$-Tfm-1.6B-p50K が対話相手であった同表 I の対話では，両話者が適切な発話の生成に成功している。一方で低性能な $k$-LSTM-5M-t10M が対話相手であった同表 II の対話では，対話相手が過去発話の繰り返しなど，低品質な応答を生成している. このような低品質な応答の直後に, 評価対象システムもつられるように不自
表 1: 評価対象システム（話者 A）が $s$-Tfm-1.6B-m300K である場合の対話例. I. 対話相手（話者 B）は $s$-Tfm-1.6B-p50K

然な発話を生成している（表太字部分）。本例から，評価対象システムは対話相手の高品質な応答には適切な発話を生成できるが，低品質な応答には不適切な発話を生成する可能性があることがわかった.

運用時では，操作ミスをするユーザやシステムに非協力的なユーザとの対話なども想定されるため,低品質な発話に対し適切な応答を生成する能力もシステムにとって必要となる. そのため, 対話 Iだけでなく対話 II のような状況におけるシステム発話を評価することも重要となる。

## 5.2 観点ごとの評価に関する今後の課題

3 節では，FEDにより各観点について人手評価と一定の相関を持つ自動評価が可能であることを確認した. 一方で，観点 $v$ の FED による評価結果が，v 以外の観点の人手評価と強く相関する場合があることがわかった. たとえば，観点 Naturalness について FED により算出した自動評価スコアは, Naturalness の人手評価スコアと順位相関係数 0.463 の相関を持つ（付録 A）が，同時に観点 Trust の人手評価スコアと順位相関係数 0.493 の相関を持つ.このことから， FEDを用いた自動評価は現状，各観点を隔てる細かい違いの評価まではできていないと考えられる。

評価における各観点の違いの理解は，とくに設定 (c) など評価対象の性能が高い場合に重要となると考えられる．たとえば，低性能システムが生成しうる対話破綻をもたらす発話4) は，多数の観点で低く評価されることが予想される。 そのため低性能システムの自動評価では, 各観点で着目すべき点が違うことを考慮できなくとも，各観点に対する人手評

価との相関は高くなりやすい。一方で，設定 (c)で評価対象システムとなっているような Transformer ベースの大規模システムは，文脈に沿った自然な応答が生成可能であることが知られている。これらのシステムの観点ごとの性能比較では，各システムが自然な応答を生成するなかで，観点ごとに挙動の違いを的確に見出し優劣を判定する必要がある.

各観点を隔てる細かい違いを理解した高精度な自動対話評価を実現し，設定 (c)などの高難度なシステム比較を自動化することが今後の課題の一つである. 自動対話評価手法の改良案として，FED 評価に用いるポジティブ・ネガティブ文の増強や，各文の重みの学習方法の改良を検討している。

## 6 おわりに

本研究では，評価対象システムと多様なシステムの対話を自動収集することで，対話相手の多様性を考慮しつつも人手を一切介さない bot-to-bot 対話評価の枠組みを提案した。評価実験では，評価対象システムが高性能な場合において課題が残るものの,評価対象システム同士のアーキテクチャや学習デー タが異なる場合や，評価対象システム性能が低性能である場合，提案手法によりシステムの性能差を自動で識別できることがわかった．また，本手法の特徵である対話相手の多様化により, 網羅的な評価対象システムの挙動を考慮した評価が可能であることを確認した．今回は提案手法が評価対象システムを予想される順位に並び替えられるかにより評価の有効性を検証したが，今後は各観点で評価対象システムを人手評価し得られるシステムのランキングとの一致をもとに評価の有効性を検証する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04162, JP19H05693，JP21J22383 の助成を受けたものです.

## 参考文献

[1] Asma Ghandeharioun, Judy Hanwen Shen, Natasha Jaques, Craig Ferguson, Noah Jones, Agata Lapedriza, and Rosalind Picard. Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems. In Proceedings of the 2019 Conference on Neural Information Processing Systems (NeurIPS), 2019.

[2] Jan Deriu and Mark Cieliebak. Towards a Metric for Automated Conversational Dialogue System Evaluation and Improvement. In Proceedings of the 12th International Conference on Natural Language Generation (INLG), pp. 432-437, 2019.

[3] Shikib Mehri and Maxine Eskenazi. Unsupervised Evaluation of Interactive Dialog with DialoGPT. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 225235, 2020.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. arXiv:2109.05217, 2021.

[5] Haldun Akoglu. User's guide to correlation coefficients. Turkish journal of emergency medicine, Vol. 18, No. 3 , pp. 91-93, 2018.

[6] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. 第 90 回言語・音声理解と対話処理研究会, pp. 110-115, 2020.

[7] 岸波洋介, 赤間怜奈, 佐藤志貴, 鈴木潤, 徳久良子, 乾健太郎. 対話システムの先読み能力実現に向けた未来の展開まで生成する学習戦略の提案と分析. 2021 年度人工知能学会全国大会, 2021.

## A FEDによる評価結果と人手評価結果の順位相関係数

3 節において算出した FEDによる評価結果と人手評価結果の順位相関係数について，観点ごとに算出した結果を表 2 に示す. 同表から，各応答文の重みを学習しない場合は観点によって人手評価との相関にばらつきがあり，相関が全く認められないものも存在する。一方，重みを学習することでどの観点も人手評価との順位相関係数が 0.4 前後まで向上した.

表 2: 人手評価結果との順位相関係数.

## B 評価実験の詳細

表 3 に，4節の評価実験で用いた雑談システムの一覧を示す．システム名は「製作者代表を示す記号 - アー キテクチャ名-システムパラメータ数-学習データ5)とその数」の形式となっている.

また，算出した各システムの FED による評価値を表 4 に示す.

表 3: 使用した雑談システムの一覧.

表 4: 各設定におけるシステムの評価値.

設定 (a)

設定 (c)

5） 学習データの e は JEmpatheticDialogues, $\mathrm{f}$ は趣味雑談コーパス, $\mathrm{p}$ は JPersonaChat [4], $\mathrm{m}$ は e, f, $\mathrm{p}$ の混合コーパス, $\mathrm{t}$ は Twitter のリプライチェーンを示す.


# 対照学習による文ベクトルを使用した 障害レポートのクラスタリング

小林 千真 1 山下 郁海 ${ }^{1}$ 岡 照晃 1 小町 守 1 真鍋 章 2 谷本 恒野 ${ }^{2}$
東京都立大学 ${ }^{1}$ 富士電機株式会社 ${ }^{2}$
}

\{kobayashi-kazuma1@ed., yamashita-ikumi@ed., teruaki-oka@, komachi@\}tmu.ac.jp, \{manabe-akira, tanimoto-kouya\}@fujielectric.com
## 概要

本研究では、機器が故障した際に作成される障害レポートを文ベクトル化しクラスタリングを行なった。SimCSE は現在最高性能の文ベクトル獲得手法の一つであるが、日本語での有効性が明確に示されていない。そこで述部意味関係データを使用して、日本語文ベクトルの評価を行なった。その結果、教師ありの SimCSE は日本語でも有効であることを確認した。また文べクトルを使用し、障害レポートのクラスタリングを行ない、ドメインごとの結果の違いを事例に基づいて分析した。その結果、入力文やドメインの特性により文べクトルが有効な場合とそうでない場合が確認された。

## 1 はじめに

自動販売機やATM に挙げられるように、現代社会には様々な場所に様々な機器が設置され我々の暮らしを支えている。それらの機器が故障するたびに障害レポートが作成され、日々増え続けている。障害レポートを分析し、障害の全体像を捉えることで、対策や業務の効率化が期待できる。本研究で扱う障害レポートは大きく状況、原因、措置の3 要素からなる文章であり、重複する内容のレポートもある。図1（上）が障害レポートの具体例である。それらを集約することで確認すべき障害データ数は削減され、数千以上の障害レポートを有効に分析することができる。

山下ら [1] は障害レポートを集約するにあたり、障害レポートの各文が状況・原因・措置・その他のどれに該当するかの分類タスクを行なった。本間ら [2] は障害レポートの各文から状況・原因・措置に関する重要箇所を抽出する重要箇所抽出タスクを行なった。本研究はこれらの下流タスクとして

## 本研究における3つの入カデータ

## 状況:補助ボイラ水面計 (南)蒸気リーク 原因: 製品不具合措置: 漏れ確認

図 1 障害レポートと本研究で想定する入力の具体例。1)

位置付けられ、抽出された状況状況 - 原因 - 措置のフレーズを入力とし、それらを基に段階的な集約に取り組む。本タスクでの入力の具体例を図 1 (下) に示す。

本研究では似た意味の文を集約するにあたって、文の意味関係を反映した文べクトルを作る技術に注目した。大規模事前学習モデル (PLM) によって Semantic Textual Similarity (STS) の性能が大幅に向上している。STS で特に高い性能を出しているのは PLM に 2 文を入力し、実数値で類似度を出力するように fine-tunig する手法であり、現在最高性能の SMART [3] もこの類の手法である。この手法では、類似度計算のたびに PLM による計算を実行する必要があり、繰り返し類似度計算を要するクラスタリングには計算時間の観点で向かない。対して、PLM から文ベクトルを獲得する手法の場合、文ベクトルを一度獲得すれば、以降ベクトル類似度の計算のみで済むため、計算時間の問題が大幅に改善される [4]。代表的な PLM のひとつに BERT [5] があ

1）本研究では人手で作成されたデータを使用するが、実際に適用する際には本間ら [2]により、障害レポートの各文から状況・原因・措置が抽出された状態が本研究の入力データとなる。

る。BERT は文書分類のような応用タスクのために fine-tuning をすることを前提としたモデルである。 BERT から文べクトルを得ることもできるが、文べクトルは性能が低いことが知られている [4]。BERT から高性能の文べクトルを獲得するための手法がいくつか提案されているが、SimCSE [6] が最も性能の高い文べクトルを獲得できる手法である。しかし SimCSE は英語でしかその性能を保障されていない。

本研究では、障害レポート（日本語）から抽出した重要箇所を SimCSE で追加学習した BERT に入力し、文べクトルを獲得する。その文ベクトルをクラスタリングすることで集約を行なった。本研究の貢献を以下に示す。

・障害レポートから抽出した重要箇所に対して文ベクトルを用いたクラスタリングを試みた。

・日本語において SimCSE による文べクトルを使用した。また、その評価実験を行なった。

## 2 障害レポートの集約

前述の通り、想定する入力は状況・原因・措置の3つの要素に分けられており、図 1 (下) が入力となることを想定している。本研究では 3 段階のクラスタリングによる集約を行う (付録 A で具体例を使用し、その手順を図示した)。各レポートは $r_{i}=(s, c, a)$ の形で入力される。ただし、 $s$ は状況、 $c$ は原因、 $a$ は措置である。1つ目のステップでは全レポートを親クラスタとして、 $s$ の情報のみでクラスタリングを行い、クラスタ集合 $\left.\{C_{1}^{s}, C_{2}^{s}, ..\right.\}$ を得る。2つ目のステップでは $C_{x}^{s}$ をそれぞれ親クラスタとして、 $c$ の情報のみでクラスタリングを行う。 その結果 $C_{x}^{s}$ ごとにクラスタ集合 $\left.\{C_{1}^{c}, C_{2}^{c}, ..\right.\}$ を得る。 3 つ目のステップでは、 $C_{x}^{c}$ をそれぞれ親クラスタとして、 $a$ の情報のみでクラスタリングを行う。その結果 $C_{x}^{c}$ ごとにクラスタ集合 $\left.\{C_{1}^{a}, C_{2}^{a}, \ldots\right.\}$ を得る。2)

集約を行う際、状況・原因・措置の各段階でそれぞれの文字列でクラスタリングを行う。文字列にはフレーズのように短いものもあるが、本研究では文とみなし、BERTをSimCSE で訓練したモデルを使用して文べクトルを作成する。集約タスクの各段階では文ベクトル同士のユークリッド距離を使用して DBSCAN [7] でクラスタリングする。

## 3 SimCSE

SimCSE は PLM に対照学習を行うことで、STSにおいてより性能の高い文べクトルを獲得する手法であり、BERT や RoBERTa に適用することで、STS で最高性能のスコアを記録する文ベクトルを獲得できる。STS では、2つの文とそれに対する意味的な類似度を人手でスコアリングした値があり、その値との相関によりモデルの性能が評価される。

SimCSE には Natural Language Inference (NLI) デー タを使用した教師ありの手法と生の文を使用した教師なしの手法がある。教師ありの手法では NLI データセット ${ }^{3}$ から、ある文に対して含意の関係にある文と矛盾の関係にある文を抽出し、元の文と含意の関係にある文の文べクトルが近づくように、矛盾の関係にある文の文ベクトルは遠くなるように対照学習を行う。教師なしの手法では生の文集合（例えば、Wikipedia）のある文に対して、同じ文の異なるドロップアウトの文ベクトルを生成し、その文ベクトルと元の文ベクトルが近づくように、ランダムに選んだ別の文の文べクトルが遠ざかるように対照学習を行う。

Gao ら [6] は教師ありの手法が教師なしの手法よりも英語 STS において良い結果となることを示した。しかし日本語で公開されている NLI データセットは SNLI（英語の NLI データセットのひとつ）を機械翻訳し、人手でフィルタリングしたものであり、流暢な翻訳とはなっていない。このため、教師ありの手法は英語ほどの性能が得られるとは限らない。それに対して、流暢な日本語で書かれているテキスト（例えば、Wikipedia）は利用可能であるから、教師なしの手法では英語と同等の性能が期待される。このことから英語同様に教師ありの手法がより良い結果になることは自明ではないので、本研究では教師ありの手法と教師なしの手法の両方を使用し比較した。

## 4 日本語 SimCSE

## 4.1 実験設定

本研究では、SimCSEによるモデルの学習は東北大が公開している日本語 BERT $\left.{ }^{4}\right)$ に SimCSE を適用することで訓練した。また教師ありと教師なしの手

表 1 原文と述部意味関係コーパスの文ベクトルのコサイ類似度。

法でそれぞれ訓練を行なった。教師ありの学習には京都大学が公開している日本語 NLI データセット5) を使用した。教師なしの学習には日本語 Wikipedia 100 万文を使用した。SimCSE の教師ありでは 10 epoch、教師なしでは 5 epoch 学習を行なった。

## 4.2 文ベクトルの評価

[6] では獲得した文べクトルを英語 STS データセットで評価した。しかし日本語で公開されている STS データセットは存在しないため、京都大学が公開している述部意味関係コーパス6)を使用し評価を行なった。このコーパスには「同義」、「無関係」、「反義」、「含意」の 4 種類の文対が用意されている。「反義」と「含意」は文ベクトルによる評価は自明ではないため、本研究では「同義」と「無関係」のみを使用した。評価には文べクトルのコサイン類似度を使用し、「同義」ではより高く、「無関係」ではより低くなることを基準とした。

## 4.3 実験結果

結果を表 1 に示す。SimCSE の教師ありでは、 BERT と比べ「同義」で類似度が 4 ポイント上がり、「無関係」では 1 ポイント下がった。つまり、どちらでも BERT よりも改善している。一方、SimCSE の教師なしでは類似度が「同義」で 3 ポイント、「無関係」で 8 ポイント、それぞれ下がってしまった。 この結果から、流暢でない日本語 NLI データを使用した教師ありの SimCSE で性能向上することが確認できた。教師なしと教師ありの優劣はこの実験結果から述べることができない。

## 5 障害レポートのクラスタリング

## 5.1 実験設定

ベースラインとして入力文字列同士の編集距離を距離とみなす手法を採用する。またSimCSE を使用

5) https://nlp.ist.i.kyoto-u.ac.jp/

6) https://nlp.ist.i.kyoto-u.ac.jp/?PredicateEvalSet表 2 各ドメインのデータ数と段階ごとの正解クラス夕数。

しない東北大の日本語 BERT に直接 1 文を入力し、文ベクトルを獲得する手法もベースラインとする。 これらの比較により、そもそも文べクトルを使用することで性能が向上するか否か、SimCSE で学習した文ベクトルを使用することが障害レポート文のクラスタリングに効果があるか否かを検証できる。

DBSCAN のハイパーパラメータについて、 $\epsilon$ （近傍とみなす最大距離） は $[0.1,1,2,3,4,5,6,10]$ の間でハイパーパラメータの探索を行なった。 min-sample（密集領域を形成する最低サンプル数） は正解データの最低クラスタ数が $1 、 2$ のものが散見されたため 2 とした。外れ値として扱われたデー タ点は要素数 1 のクラスタとみなした。SimCSE による文ベクトルの獲得には 4 節で最も良い結果を得たモデルを使用した。

クラスタリングの評価には富士電機（株）の保有する食品流通分野 (冷凍)、食品流通分野 (自販機)、火力発電分野の障害レポートに、機器障害の実務に携わった経験のある社員がアノテーションを行い、状況、原因、措置に分類した正解データ（NFKC 正規化済み）を作成し、使用した。以後、食品流通分野（冷凍）を「冷凍」食品流通分野（自販機）を 「自販機」、火力発電分野を「火力」とする。使用する障害レポートのデータ数、正解クラスタ数を表 2 に示す。全体としてかなり細かいクラスタを形成することを期待しているデータセットである。

クラスタリングの評価指標の 1 つである Adjusted Rand Index (ARI) [8] を使用し、状況・原因・措置をそれぞれ評価した。ARI は正解クラスタと同一の場合 1 となり、一致率が下がると値も小さくなる。本研究では、前の段階（原因の時は状況、措置の時は原因）の正解データのクラスタをもとに各段階のクラスタリングを行い、評価した。

## 5.2 実験結果

結果を表 3 に示す。ドメインごとにそれぞれ異なる結果となった。自販機ドメインでは、状況において SimCSE（教師あり）が圧倒的に良い結果となっ
表 3 クラスタリング結果に対する ARI スコア。

た。しかし原因と措置ではベースラインである編集距離が最も良い結果となった。冷凍ドメインでは、状況では全ての手法で全く同じ結果となった。原因と措置においては SimCSE（教師あり）がわずかに良い結果となった。火力ドメインでは、状況において BERT が最も良い結果となった。原因では全て同じ結果となった。措置では SimCSE（教師あり）が最も良い結果となった。次節では具体的な事例を確認しながら、このようにドメインごとに異なる結果になった原因を探る。

## 6 事例分析

本節では、状況のフレーズに注目して分析を行なった。また教師ありの SimCSE を単に SimCSE として記述した。

ドメインごとの結果の違い自販機ドメインは 「50 円玉が 10 円のメックに入る」のように文に近い入力が多く、火力・冷凍ドメインでは、「給水シリ力計指示上昇」のようなフレーズ的な入力が多かった。入力が文に近いほど SimCSE による文べクトルの性能向上の恩恵を得たと考える。逆にフレーズ的な入力が多かった火力や冷凍ドメインでは高性能の文ベクトルが効かなかったと考える。冷凍ドメインでは状況も高いスコアとなっているが、完全一致した文字列だけを同一クラスタとみなした場合と同じスコアだった。このことから冷凍ドメインはもともと統一の取れた表記がなされており、文べクトルを使うことで完全一致でない文字列を余計に同一クラスタとしてしまったと考える。火力ドメインでは 「GT」のような独自の省略記号を区別できずに失敗する事例（後に紹介）が散見された。

モデル間の結果の違い BERT と SimCSEでクラスタリング結果が異なった事例を比較し、フレーズ的な入力では、わずかな違いで異なる基準でクラスタを成していることがわかった。しかしその基準は明確ではなく、定性的な判断でもその評価は難し
い。具体的な事例を付録 B に示した。文に近い入力では、「購入不可」と「購入できない」のような違いを BERT では別のクラスタとしたが、SimCSEでは同じクラスタとして分類できた。

モデルの結果と正解データの違い「GT」のような独自の短縮単語が付くか否かといった違いを正解データでは区別しているが、SimCSE では区別しないという事例が散見された。これらを別クラスタとみなすか否かは、この障害レポート独自の基準であり、実務に携わっていない場合、人間でも判断が分かれるところであると考える。SimCSE はあくまでも一般的な文べクトルの性能向上を考えた手法であり、本研究で対象としたような特定の意図に基づくクラスタリングには別のアプローチが必要である。また反義的なフレーズを、SimCSE では同じクラスタと見なす事例があった。反義的なフレーズ同士にどのような類似度を設定すれば適切かは自明ではないため、このようなケースが文べクトルの類似度を使った手法の難しさであると考える。具体的な事例を付録 B に示した。

## 7 おわりに

本研究では、日本語において SimCSEを使用して文ベクトルを学習し、その評価を行なった。その結果、教師ありの手法では性能の向上を確認した。次に障害レポートから抽出されたフレーズに対して文ベクトルを使用したクラスタリングを試みた。3つのドメインを使用したが、ドメインごとに異なる結果となった。分析として、文べクトルの類似度を使う手法では反義的なフレーズの区別が難しいという点が分かった。今後、さらなる性能向上のためにはタスク特化のデータ（分けたい事例、分けたくない事例）を使って SimCSE を学習する方法や、文べクトル以外の部分に注目した方法で性能向上を目指したい。

## 参考文献

[1] 山下郁海, 小町守, 真鍋章, 谷本恒野. 隠れ層補間によるデータ拡張を用いた障害レポート分類. 言語処理学会第 27 回年次大会発表論文集, pp. 1794-1798, 2021.

[2] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを用いた障害レポートに対する重要箇所抽出. 言語処理学会第 27 回年次大会発表論文集, pp. 189-193, 2021.

[3] Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Tuo Zhao. SMART: Robust and efficient fine-tuning for pre-trained natural language models through principled regularized optimization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2177-2190, Online, July 2020. Association for Computational Linguistics.

[4] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] M Ester, H P Kriegel, J Sander, and Xu Xiaowei. A DensityBased Algorithm for Discovering Clusters in Large Spatial Databases with Noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, pp. 226-231, Portland, 1996. AAAI Press.

[8] Lawrence Hubert and Phipps Arabie. Comparing partitions. Journal of Classification, Vol. 2, No. 1, pp. 193-218, 1985.

図 2 本研究における集約の概略図である。まず、状況の情報を用いてクラスタリングし、似た状況ごとに障害レポートをまとめる。次に原因の情報を用いてクラスタリングし、障害レポートを原因の情報を用いてクラスタリングし、原因ごとのクラスタを作る。最後に措置の情報を用いてクラスタリングし、措置ごとのクラスタを作る。

## A 集約の具体例

集約は、図 2 に示すように、Step1～3 の 3 段階のクラスタリングを行うタスクである。

## B 失敗事例の具体例

障害レポートの ID（実際の ID とは異なる）と原文通りのフレーズを「ID: フレーズ」という形式で示し、 それらに対するクラスタリングを集合の形式で示した。

## モデル間の違い

・1: 排熱回収ボイラ布製伸縮継手より漏水

・2: 排熱回収ボイラ布製伸縮継手より漏水

・3: 排熱回収ボイラ布製伸縮継手 (出口) より漏水

-4: 失火・燃焼異常
- 5: 失火・燃焼異常発生

## モデルの結果と正解データの違い

・6, 7: GT 排ガス温度センサー異常
- 8: 排ガス温度センサー異常

・9: 高圧給水流量指示不良

・10: 低圧給水流量指示不良