# 常識推論に基づく気の利いた家庭内ロボットの行動選択

山﨑康之介 ${ }^{1,2}$ 田中翔平 1,2 河野誠也 ${ }^{2}$ 湯口彰重 2,1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{yamasaki.konosuke.yi5, tanaka.shohei.tj7\}@is.naist.jp
\{seiya.kawano, akishige.yuguchi,koichiro.yoshino\}@riken.jp

## 概要

日常的にユーザを支援するような家庭内対話口 ボットでは、ユーザが明示的に行動を指示しない場合であっても、気の利いた行動を実行することが 望ましい。例えば、ユーザが食事を食べ終えて「ご ちそうさまでした」と発話した場合、潜在的には 「テーブルに置かれたケチャップを片付ける」のよ うな行動が期待される。こうした気の利いた行動を 行うには、何らかの常識が必要であると考えられ る。そこで本研究では、常識的な知識生成モデルを 用いることで、発話からユーザが持つ潜在的な要求 を推定し、気の利いた行動選択を行う。これにより 行動選択と同時に推論過程を明確にし、提示するこ とで気の利いた行動をユーザに受け入れやすいもの にする。実験の結果、一部の発話では常識推論を用 いることの有効性が示唆された。

## 1 はじめに

対話システム研究の発展によって、今後日常的に ユーザの支援を行う対話ロボットの実現が期待され る。ユーザの支援を行う対話ロボットは、ユーザの 要求に応じて適切な行動を取る必要がある。しかし ながら、人と共に生活し、日常的にユーザの支援を 行う場合には、ユーザによる明示的な指示が無い場合であっても、発話や状況から気の利いた行動を推定し、実施することが期待される。

こうした対話ロボットの実現に向けて田中ら [1] は、非明示的な指示となり得るユーザ発話と周囲の 状況をクラウドソーシングによって収集し、状況の 再現動画を収録しデータセットを構築している。こ のデータでは、対話ロボットが一般的なリビングや キッチンにおいてユーザの家事を手伝うという状況 を想定し、各エントリに対して 40 種類の行動候補 から 1 種類の気の利いた行動が付与されている。田中らの深層学習に基づく行動選択実験の結果では、発話や周辺状況の画像を単に入力する場合の精度 は低いが、周辺状況画像にある物体などをアノテー ションした情報を含めると精度が大きく改善する ことが示された。つまり、気の利いた行動の推定に は、ユーザが手にしている物体の検出といった周辺状況の細かな認識が重要である可能性が高い。

一方で、人間が気を利かせるような場合には、発話と周辺状況の詳細を把握するだけでなく、ユーザ の直前の行動や何らかの背景知識を考慮した上で常識推論に基づき行動を決定することが考えられる。 そこで、本研究では要求が非明示的なユーザ発話か ら常識推論によって背景知識を補完して気の利いた 行動選択を行うシステムを構築する。

気の利いた行動はユーザにとっては飛躍した行動にも見えるため、行動に至った推論過程を同時に 提示することが重要である。常識推論を利用するこ とで行動決定の根拠を明らかにしつつ気の利いた 行動の選択も実現できる。本研究では常識推論モデ ルを導入し、発話に関連する将来のユーザの行動な どのイベントを推論する。常識推論には COMET [2] を再帰的に用い、この推論結果と行動候補の類似度 を計算し、行動を決定する。例えば、ユーザの発話 として「お腹がすいた」という発話があった場合、「“お腹がすいた”と言う-(その後)->食べ物を食べ る-(その前)-> 食べ物を取る」という常識推論が展開 できた場合を考える。この時、常識推論の結果であ る「食べ物を取る」と行動候補である「バナナを取 る」は類似しており、何らかの類似度計算によって 「バナナを取る」という行動が「お腹がすいた」とい う発話に対応する気の利いた行動になるという推論 ができる。

気の利いたロボットの行動選択データセット [1] を用いて実験を行った結果、ベースライン手法の性能を上回ることはできなかったが、一部の発話にお いては、常識推論によって背景知識を用いながら 明確なプロセスで推論を行う有効性が確認された。

また、現在のデータセットの改善の余地が示唆さ れた。

## 2 常識推論に基づく行動選択タスク

本研究では、田中ら [1] が収集した家庭内におけ るロボットの気の利いた行動選択データセットを用 いる。データセットには、400 の発話とその周囲状況が収録されており、発話それぞれに対し、40 の行動カテゴリ（付録表 3）から 1 つの正解行動が付与 されている。例えば、ユーザが食事を終えて「ごち そうさま」と発話したという状況には「ケチャップ を片付ける」という行動が正解として与えられてい る。これは、「ごちそうさま」という発話自体には 要求や行動が明示的に表現されていないが、潜在的 には、ご飯を食べ終えてテーブルの上のケチャップ が不要になったのでロボットが気を利かせて片付 けて欲しい、という要求が暗に存在すると解釈する ものである。この例に対して常識推論を当てはめる と、「“ごちそうさま”と言う」後に「食事に使った ものを片付ける」という常識推論ができれば、シス テムは行動を正しく選択できるということになる。本研究では発話からの推論可能性を模索するため、 ユーザの発話のみを入力とした行動選択を行う。

## 3 推論システム

本研究では、発話から常識推論を行うために常識的知識に基づく推論を生成するモデルである COMET [2] を用いる。ここでは、COMET の利用方法と、推論システムの詳細について述べる。

## 3.1 COMET を用いた常識推論と前処理

COMET は、常識的な知識を表現した知識グラフ （Knowledge Graph; KG）である ATOMIC2020 [2]を用 いて学習された、常識的知識の生成モデルである。 ATOMIC2020 は、CONCEPTNET ${ }^{1)}$ [3] のような既存 の $\mathrm{KG}$ に比べて多様な知識を含んでおり、特に、 イベントに関する知識が含まれている。例えば、「PersonX eats dinner」というイベントと、その後に 起きるイベントを予測するための関係 isBefore を大力すると、「PersonX goes to bed」などの対応する関係を持つであろうイベントを出力する。つまり、発話に関するイベントと関係を入力することで、ユー ザが発話後に取りそうな行動などを出力することが できる。さらに、本研究では COMET の出力を新た

1) https://conceptnet.io/

図 1 関係として [isAfter, isBefore] の 2 種類を使用した場合の推論システムの概要図。COMET は 1 種類の関係に つき 5 つの生成を行い、最大の推論の深さは 2 である。 Depth1 では、発話イベントを入力とした 1 回目の生成、 Depth2では、Depth1 の出力を用いて 2 回目の生成を行う。 Phase2 では、発話イベントを含む全ての生成結果と行動候補の類似度に基づいて行動選択を行う。

な入力とすることで COMET を再帰的に用いる。こ の再帰の数を推論の深さと呼ぶ。

COMET を気の利いた行動選択データセットに適用するため、次の 4 つの前処理を行なう。

・翻訳：COMET の入出力は英語である必要があ るため、気の利いた行動選択データセット中の 発話と行動を英語に翻訳する。

$\cdot$「PersonX says，“発話”」に変換：COMET の入力はイベントの形式であることが望ましいた め、ATOMIC2020で人物を表す「PersonX」を主語に用いたイベント形式に変換する。

-「PersonX 行動」に変換：データセット中の翻訳後の行動は、例えば「put away ketchup」のよう に主語がないため、「Person X puts away ketchup」 のように「PersonX」を主語に用いたイベント形式へ変換する。なお、「持ってくる (bring)」は ユーザ側の行動として「get」に置換する。

・関係にxWant を用いた場合の出力に「PersonX wants」を前置き：関係にxWantを用いた場合、「to go to bed」など to 以降が出力されることが 多いため、「PersonX wants」を前置きし、イベン ト形式へ変換する。

 & 33.50 & 59.00 & 0.3291 & 26.25 & 59.75 & 0.2517 & 12.25 & 53.00 & 0.1209 \\

## 3.2 推論システムの詳細

常識推論に基づく気の利いた行動選択は、以下の 2 段階の処理（Phase1,2）によって実現した。また、図 1 に、推論システムの動作過程の具体例を示す。

Phase1 発話イベントを始まりとして、COMET を再帰的に用い、背景知識として次にとりうる行動 などのイベントを複数生成する。この際、最大の推論の深さや用いる関係はあらかじめ決定しておく。深さが $t$ のとき、COMET の出力 Output $t_{t}^{i_{t}}$ は次のよ うに表すことができる。

$
\text { Output }_{t}^{i_{t}}=\text { COMET }\left(\text { Output }_{t-1}^{i_{t-1}}, \text { Relation }_{j}\right)
$

ここで、用いる関係の種類が $J$ 個、各深さで出力される推論の数が $I_{t}$ 個、最大の深さが $T$ であ り、 $1 \leq i_{t} \leq I_{t}, 1 \leq j \leq J, 1 \leq t \leq T$ となる。なお、 Output $_{0}$ は発話イベントである。図 1 の例では、 $t=1$ の時、Output $1_{1}$ は 10 個生成される。

Phase2 Phase1で得られた全ての出力と気の利 いた行動候補との類似度を計算し、最も高い類似度を持つ行動を予測とする。出力と 40 個の各行動候補との類似度は SentenceTransformers ${ }^{2}$ を用いて 計算する。SentenceTransformers は Sentence-BERT [4] を基として、文同士の意味類似度を計算することが できる。ここで、最も類似度の高い推論結果と行動候補のペアを求め、これを発話に対して選択された 行動とする。行動イベントを Action $k_{k}$ $(1 \leq k \leq 40)$ 、意味類似度の計算を Similarity とす ると、選択される行動 Action と対応する推論過程 は次のように求められる。

$
\left.\hat{i_{t}}, \hat{t}, \hat{k}=\underset{i_{t}, t, k}{\arg \max } \operatorname{Similarity}^{\text {Output }}{ }_{t}^{i_{t}}, \text { Action }_{k}\right)
$

これにより、Output $\hat{t}_{\hat{t}}^{\hat{t}_{t}}$ から遡ることで、発話イベン トからの一連の推論過程を明示することができる。

## 4 実験

実験では提案システムを用い、データセットに含 まれる 400 の発話それぞれに対して、40 の気の利い た行動候補から常識推論に基づく行動選択を行っ た。実験はいくつかの条件に分けて行い、 3 つの評価指標で比較した。

## 4.1 実験設定

推論システムで利用する COMET は BART [5] ベースの demo モデル3)を利用する。用いる関係 は [isBefore]、[isAfter, isBefore]、[xWant, Causes, HasSubEvent, HinderedBy, isAfter, isBefore, xEffect, xReason ]の 3 つの組み合わせを採用した。最大深さは 1 から 3 に設定し、評価指標には Accuracy、予測 の上位 5 クラスまでに正解が含まれるかを反映 した Top5-Accuracy、各カテゴリの F1 Score の平均 （macro-F1）を用いた。SentenceTransformers は高速 な計算が可能な all-MiniLM-L6-v2 モデル4) 利用し た。また、ベースライン手法として、COMET を用 いずに発話イベントのまま、行動候補と類似度を計算して選択する手法を用いた。

## 4.2 結果

実験結果を表 1 に示す。どの指標においても最も 良い性能であったのは、ベースライン手法であっ た。提案手法に注目すると、Accuracy、macro-F1 は [isBefore] のみを用い、最大深さを 1 にしたものが 最も良く、Top5-Accuracy は [isAfter, isBefore] で最大深さ 2 が最大であった。Accuracy、macro-F1 は、用 いる関係によっても違いが確認されたが、最大深 さが大きくなるにつれての悪化が顕著であった。 Top5-Accuracy の良さはいずれの関係でも、最大深 さ $2>1>3$ という順であり、Accuracy、macro-F1 の傾向とは異なった。いずれにしても最大深さを 3 に

表 2 分析結果。C-Sim は正解の場合、W-Sim は不正解の場合の最大類似度の平均。W-Coverage はベースラインでの不正解の発話のうち、提案システムで正解した発話の割合。

HinderedBy, isAfter, isBefore, $x$ Effect, $x$ Reason

ベースライン (発話イベント) 0.69990 .5607

図 2 行動選択の実際の例。上の例は提案システムのみ正解したケースである。下の例は「Personx gets bananas.」が 正解行動であるため不正解であったが妥当な推論であっ たケースである。

設定することは望ましくないが、最大深さ 2 では Accuracy 向上の見込みが示された。

## 5 分析

実験の結果、ベースライン手法は 3 つの評価指標 のもとで最良の結果であった。ここではべースライ ン手法と提案システムの差異について評価指標以外 の観点から分析を行う。

提案システムでは最大類似度のぺアに含まれる 気の利いた行動が選択される。各発話に対する最大類似度について、予測が正解であった場合と不正解 であった場合の平均を表 2 に示す。提案システムは 正解、不正解どちらの場合でもべースラインよりも 類似度が高く、提案システムは意味的な類似度の上 では実際の気の利いた行動とより近いイベントを 推論できている。また、ベースラインを含むどの設定においても正解の場合の方が類似度が高い。つま り、気の利いた行動との類似度が高いイベントが存在する時に正解となる傾向である。提案システムで は不正解の場合にも比較的類似度が高いため、現在 のデータセットでは不正解であるが、実際には妥当な行動が選択されている可能性がある。一方で COMET が発話と破綻した関係にあるイベントを生成している可能性もあり、今後の解析が必要であ
る。次に、ベースラインで不正解であった発話のう ち、提案システムで正解であった割合についても表 2 に示す。最も高い場合は $12.40 \%$ であり、ベースラ インでは不正解となる発話についても提案手法では 正解できるケースが一定数存在することを確認で きた。

図 2 は実際の推論の例である。提案システムのみ 正解できている例において、ベースライン手法では 「phone」という単語に注目した類似度から行動を選択していると考えられるが、提案手法では常識推論 を用いることで次の行動を推論し、気の利いた行動 を選択できている。不正解の例では、「Personx gets bananas.」が正解であるため、予測した行動は不正解 となっているが、尤もらしい常識推論によって気の 利いた行動を選択できているように見受けられる。

類似度の傾向や実際の例からべースライン手法と 提案システムを分析、再評価することにより、常識推論を用いて行動選択を行う提案システムの有効性 や、利用したデータセットに複数の気の利いた行動候補を付与するなどの改善の余地が示唆された。

## 6 終わりに

本稿では、指示が明示的でない発話に対してシス テムが適切な行動選択を行うことが期待される場面 において、常識推論によってその曖昧性を補完し行動選択を行う枠組みを構築した。実験の結果、精度 の課題は残るものの、一部の例では常識推論によっ て気の利いた行動に結びつく推論を実現できてい ることが確認できた。今後は、COMET のような単純な常識推論だけでなく、仮説推論に基づく手法 [6] や典型的な一連の行動を推論する手法 [7] にも着目し、発話の曖昧性の解消を試みる。また、データ セットに付与された正解行動以外にも妥当な行動が ある可能性や、あるいはデータセットに付与された 気の利いた行動の難易度なども考慮しつつ、データ セットについての議論も行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03654$ の助成を受けた。

## 参考文献

[1] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気 の利いた家庭内ロボット開発のための曖昧なユーザ 要求と周囲の状況の収集. 情報処理学会研究報告 Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[2] Jena D Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 63846392, 2021.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI conference on artificial intelligence, 2017.

[4] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Chandra Bhagavatula, Ronan Le Bras, Chaitanya Malaviya, Keisuke Sakaguchi, Ari Holtzman, Hannah Rashkin, Doug Downey, Wen tau Yih, and Yejin Choi. Abductive commonsense reasoning. In International Conference on Learning Representations, 2020.

[7] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2138-2149, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## 付録

表 3 行動カテゴリ一覧

## ■持ってくる

バナナを持ってくる, 充電ケーブルを持ってくる， コップを持ってくる,ケチャップを持ってくる, 宅配便を持ってくる,ペットボトルを持ってくる, リ モコンを持ってくる, スマホを持ってくる, お菓子 を持ってくる,ティッシュ箱を持ってくる, 缶切り を持ってくる,クッキングシートを持ってくる,グ ラスを持ってくる, おろし器を持ってくる, キッチ ンペーパーを持ってくる，レモンを持ってくる，オ リーブオイルを持ってくる, じゃがいもを持って くる, サランラップを持ってくる, 水筒を持ってく

る

## 片付ける

充電ケーブルを片付ける,コップを片付ける,ケ チャップを片付ける, ミニカーを片付ける, ペット ボトルを片付ける, リモコンを片付ける, スマホを 片付ける, お菓子を片付ける, ティッシュ箱を片付 ける, 缶切りを棚にしまう, クッキングシートを棚 にしまう, グラスを棚にしまう, おろし器を棚にし まう, キッチンペーパーを棚にしまう, サランラッ プを棚にしまう,水筒を棚にしまう

## その他

ゴミをゴミ箱に入れる,ペットボトルを冷蔵庫に しまう，タッパーをレンジに入れる, タッパーを冷蔵庫にしまう


# 思考を喚起するロボットと人間の対話の印象に関する研究

周 豪特 ${ }^{1}$ 橋本 敬 ${ }^{1}$ 李 冠宏 ${ }^{2}$
${ }^{1}$ 北陸先端科学技術大学院大学 知識科学系 ${ }^{2}$ 京都外国語大学 国際貢献学部
\{kumaindex, hash\}@jaist.ac.jp gu_li@kufs. ac.jp

## 概要

人工知能やロボットなどが人間の質問や要求に答 えるだけではなく，人間の思考を刺激できるような 対話ができれば，より人々の興味を引き人間との共創的な関係に貢献できるだろう。本研究は, 新しい 概念を生み出す概念融合という思考を元にしたロボ ツトと人間の対話をデザインし，対話を通じたロボ ットへの印象や思考の刺激について探求した。対話後のアンケート回答を主成分分析した結果, 思考力 を持つロボットとの対話を通じて得る思考への動機 づけを表す成分が抽出された。そして，概念の融合 を促す対話，および，概念の共通点を見出すことを 促す対話は，この成分で高い值を示すことを見出し た。すなわち，これらの対話は人間の思考を喚起す る効果があることを示した。

## 1 はじめに

大規模言語モデルの発展により, ChatGPT 等の対話エージェントは人間とかなり自然な対話ができる ようになってきた[1]. 特に, ユーザからの問いに適切に答えられるようになっているものの, エージェ ントからユーザへの働きかけの機能はまだ十分に発達しておらず，人間同士の有意義な対話とは差があ るのが現状である. 人々がチームや組織で共同して 働くときのように, 人工知能やロボットといったエ ージェントが，人間にも刺激を与える会話ができれ ば，人とエージェントの共創的な関係を作ることが 期待できる.

われわれは，人間とロボットの共創に繋がるよう に，ロボットが人間の思考を促したり刺激したりす るような対話のデザインを行う。本研究では，「共創」を「参加する両方が相互作用活動で生まれる物事に対する貢献がある」とする。人間同士は対話な どの相互作用で概念や意図を共有し, 思考を通じて 物事を作ることで共創に至る。一方，ロボットは人間のような思考はできないが，人間の思考を喚起す
ることができれば，ユーザの興味を引き，ユーザと ロボットの対話が続くだろう。

本研究では概念融合という思考[2] に着目する.概念融合は人間が持っている知識や言葉から新しい 概念を生成するメカニズムの一つである．概念融合 は思考の操作であり，人間は既存の概念を融合し新 しい概念を簡単に生成・解釈することができる [3]. たとえば，「酸っぱい」と「信号機」を結合して「酸 つぱい信号機」という概念を生成しその意味を解釈 することができるだろう。

これまでの研究では，概念融合を喚起する対話で 人間のロボットについての印象の改善に役立つこと が示された[4]. ロボットと人間の共創的な関係のた めに，対話が人間の思考にどのような影響を与えら れるか，思考を喚起するうえでなにが要点かを明ら かにする必要がある。本稿では, 人間のロボットと の対話についての印象の分析を進め，対話の違いは 人間とロボットになにをもたらすかを検討する。

## 2 仮説と実験デザイン

本研究では, ロボットが対話相手の人間に対して 概念についての説明や質問をすることを通じて，対話の相手の注意を引き，概念に関する思考を喚起さ せることができるような対話を設計する．特に，わ れわれは, 概念融合理論に従い，概念融合という思考のプロセスに従う流れをロボットと人間の対話で 実現しようとしている。ロボットは人間のように概念融合ができないが，人間の概念融合思考を喚起す る役目を果たす。われわれは以下の仮説を持つ。概念を融合する思考を喚起する対話は，人間が持つ口 ボットの印象を改善し対話する体験の改善に効果が あり，人間の思考の動機づけへの刺激が大きい。

## 2. 1 対話

上記の仮説を検証するための実験デザインとして，概念対話、共通対話、融合対話という 3 種類の対話 を実験条件として設定する．実験で検証する仮説は
以下の通りである.

仮説 1 , 融合対話は, 概念間の繋がりがない思考 を喚起する対話（概念対話）より，人間がロボット の印象がよい，人間の思考の動機づけへの刺激が大 きい.

仮説 2, 融合対話は, 同じ認知コスト, 概念間の 繋がりがある思考を喚起する他の対話（共通対話） より, 人間がロボットの印象がよい，人間の思考へ の刺激への影響が大きい。

各対話は以下のようなものである.

概念対話 概念に関する情報という思考を喚起する 対話である. 概念対話では, ロボットが 3 つの概念 について説明することで, 参加者の入力スペースを 作る思考を喚起する.

共通対話 概念の共通点を見出す思考を喚起する 対話である. 概念融合という思考における総称スペ 一スを作る過程は, 概念の共通点を見出す思考であ る. 共通対話では, ロボットが 3 つの概念について 説明し, 参加者に複数の概念間の共通点を尋衩るこ とで, 参加者が概念間の共通点を探させる思考を喚起する。

融合対話 概念を融合する思考を喚起する対話で ある. 融合対話は, 概念融合という思考における融合スペースの生成と解釈という思考を喚起すること を目指す. 融合対話では, ロボットが 2 つの概念と 融合した概念を含む 3 つの概念について説明し, 参加者に融合した概念の意味を尋ねることで, 参加者 の概念融合思考を喚起する。

## 2. 2 評価

人間とロボットとの対話により人間の思考の刺激 とロボットについての印象が変わるという仮説に応 じたアンケートを行った. 質問は先行研究を参照し て作成した（質問は付録 $\mathrm{A}$ 参照）。ロボットについ ての印象を問う質問は, 人間が感じたロボットの創造性[5], 社会性[6], 擬人化[7], 知性[7], 心[8]という 項目から構成される. 思考への刺激については心理尺度集[9, pp.124-150]参照して作成した. 各項目は 複数の質問から構成される. 今回分析した質問への 回答はすべて 5 段階の Likert 尺度であった.

## 3 実験と結果

## 3. 1 実験参加者と実験の流れ

実験参加者は 52 名大学院生である (年齢: $M=26.3$, $\mathrm{SD}=2.4$ ）を半分ずつ融合対話群（年齢： $\mathrm{M}=26.3$,

$\mathrm{SD}=3.5$ ）と共通対話群（年齢： $\mathrm{M}=26.3, \mathrm{SD}=1.6$ ）に 分け, 前者は概念対話と融合対話に, 後者は概念対話と共通対話に参加した。

対話実験で使うロボットは 2 台の Nao V6 であつ た. 各対話ではロボットが 3 つの概念の説明と説明 の確認を行った（説明する概念については[4]を参照）。対話の最後に，それぞれの思考を喚起するた めに以下に例のような自由回答の質問を行った（自由回答質問については[4]参照）。

各参加者は 2 台のロボットと異なる実験条件の対話を行い，各条件の前後にアンケートに答えた（対話順は群の半分ずっでカウンターバランス）. 各対話は 1 回の練習対話と 3 回の正式対話からなる.

## 3.2 結果

## 3. 2.1 主成分分析

実験後のアンケートの回答に対して主成分分析を 実施し, 表 1 の結果が得られた (平行分析で成分数 $=3$ を決定, varimax 回転). 絶対値が 0.5 を超えた寄与率を太字で表している.

人間がロボットと対話して得た印象を表す軸（合成変数）の解釈について，各成分で高い寄与率を持 つ質問をもとに考察する. 第 1 主成分は，「Q204こ のロボットとの対話を通じて，なにか発想できそう だ」や「Q207このロボットとの対話を通じて, 自分 は複数の事柄を繋げた」など，ロボットとの対話を 通じて発想や思考が生じたかを問うている。 それと ともに,「Q101このロボットは, 複雑な問題を解決 するのが好きだ」「Q102このロボットは，他の人が しないような質問をする」など，対話相手のロボッ トが持つ思考レベルの性質についても問うている.

第 1 主成分で高い寄与率を持つ質問群から全体的に 判断すると, この軸は思考力を持つロボットとの対話を通じて得る思考への動機づけを表すと言える。 すなわち, 仮説 $1 \cdot 2$ における思考への動機づけはこ の第 1 主成分に表現されている.

第 2 主成分は, 「Q502このロボットは, 意識を体験することができる」「Q302このロボットはあなた の言うことを受け入れることができる」など，ロボ ットの擬人化・社会力について問うており，対話す るロボットの人間らしさと言える. すなわち, 仮説 $1 \cdot 2$ におけるロボットの印象として, 人間らしさが この主成分に反映している.
第 3 主成分は，「Q214このロボットとまた対話し てみたい」「Q303このロボットはしつこかった」な どロボット自体についての感想が反映されている.

実験参加者の主成分得点を第 1 ・第 2 主成分空間 における散布図を図 1 に示した. 融合対話（青丸）,共通対話（赤丸）は第 1 主成分が正の領域に分布し ているのに対し, 概念対話（緑丸と灰丸）は負の領域にある.ここから, 融合対話と共通対話は, 本研究が目指したように対話を通じた思考への刺激が実現されていると考えられる. 平均値では, 融合対話 （青 $x$ ）は共通対話（赤 $x$ ）よりも高い位置にある が，3.2.3 節に示すようにこの差は有意ではなかった。

第 2 主成分については, どの対話も平均（X印）

は軸付近にあるが，融合対話と共通対話は, 概念対話にくらべると正負両側に広く分布している.これ らの対話を通じて，ロボットの人間らしさの印象は 参加者によって異なっている. 人間らしい・らしく ないかについて，概念対話よりも強い印象を与える 対話であったようだ。

## 表 1 成分寄与率

## 3. 2. 2 群内での主成分得点の比較

対話間で各成分の平均値の差を $\mathrm{t}$ 検定 (対応あり，両側検定）により検定した（すべて $\mathrm{df}=25 ）$.

仮説 $1 「$ 融合対話は，概念間の繋がりがない思考 を喚起する対話（概念対話）より，人間がロボット の印象がよい，人間の思考の動機づけへの刺激が大 きい」を検証するため, 融合対話と概念対話を比較 した.第 1 主成分では, 融合対話 $(M=0.740, S D=0.722)$ は概念対話 $(\mathrm{M}=-0.583, \mathrm{SD}=0.965)$ より有意に高かっ た $(\mathrm{t}=5.944, \mathrm{p}<.001)$. 第 2 主成分でも, 融合対話 $(\mathrm{M}=0.300, \mathrm{SD}=0.959)$ は概念対話（ $\mathrm{M}=-0.128$, $\mathrm{SD}=0.931 ）$ より有意に高く $(\mathrm{t}=2.164, \mathrm{p}=0.040)$, 第 3 主成分では融合対話（ $\mathrm{M}=0.024, \mathrm{SD}=0.957 ）$ と概念対話（M.=-0.041, SD.=1.098）の間に有意差はなかつ た $(\mathrm{t}=0.326, \mathrm{p}=0.747)$.

## 3. 2.3 群間での主成分得点の比較

仮説 $2 「$ 融合対話は, 同じ認知コスト，概念間の 繋がりがある思考を喚起する他の対話（共通対話） より，人間がロボットの印象がよい，人間の思考へ の刺激への影響が大きい」を検証するため，融合対
話群における融合対話と共通対話群における共通対話を対応のない $\mathrm{t}$ 検定で比較した. その結果, 第 1 主成分で融合対話（ $M=0.740, S D=0.722 ）$ と共通対話 $(\mathrm{M}=0.454, \mathrm{SD}=0.628)$ り有意差はなかった $(\mathrm{t}=1.540$, $\mathrm{p}=0.136$ ）. 第 2 主成分でも, 融合対話（ $\mathrm{M}=0.300$, $\mathrm{SD}=0.959$ ） と共通対話（ $\mathrm{M}=0.060, \mathrm{SD}=1.213 ）$ の間に 有意差はなかった $(\mathrm{t}=.817, \mathrm{p}=0.421)$, 第 3 主成分で も, 融合対話（ $\mathrm{M}=0.024, \mathrm{SD}=0.957 ）$ は共通対話

$(\mathrm{M}=0.172, \mathrm{SD}=0.866)$ の差は有意ではなかった（ $\mathrm{t}=-$ $0.552, \mathrm{p}=0.586$ ) .

## 4 議論

主成分分析により，「思考力を持つロボットとの 対話を通じて得る思考への動機づけ」という成分を 抽出した。これは人間とロボットと対話する際に,人間の思考への動機づけを引き出す重要性を示した.

第 1 主成分に有意差があることから, 仮説 1 の思考の動機づけについては示されたと言える. 融合対話と共通対話は人間の思考の操作がある対話で, 人間の複雑な思考を促した。一方，概念対話は概念に 関する情報を喚起する対話で，捜查エンジンのよう な対話と考えられる. 融合対話と共通対話の優位性 が証明されたことで, ロボットは人間の複雑な操作 がある思考を喚起する有用性と示すことが可能だろ一方, 印象については, 群内の主成分の比較結果 により，融合対話と共通対話は概念対話よりユーザ がロボットや対話について印象が良い。これはこれ までの研究を証左すると言える。また, 融合対話と 共通対話の比較で，優位性が証明されなかったが. しかし，同じ高い認知コストの思考である以上，思考パターンによって，ユーザがロボットと対話につ いて印象は決して同様ではない。共創的な思考や関連される思考を喚起することがユーザはロボットと 対話について印象の変化を明瞭化する必要であり，残る課題になるだろう.

## 5 結論

本研究は，思考を促す対話を導入することで，ロ ボットは人間の概念融合を喚起する対話ができた。 そして, 質問紙調査でロボットに対する印象をとり,主成分を抽出した.その結果, 思考力を持つロボット との対話を通じて得る思考への動機づけという主成分は抽出された。そして，思考をさせる対話が概念 に関する情報を考えた対話より主成分が高く，ロボ ットから人間の思考を喚起する意義を示した。ロボ ットや人工知能は人間のニーズを満たす道具ではな く，人間の思考を喚起し，ヒントを与える意義があ ると言えるだろう。 う.

第1主成分

図 1 対話の主成分得点分布

## 謝辞

本研究は, JSPS 科研費 JP17H06383, JP2OH04256, および JST 次世代研究者挑戦的研究プログラム JPMJSP2102 の支援を受けたものです.

## 参考文献

1. ChatGPT: OptimizingLanguage Models for Dialogue.

(引用 日 : 2023 年 1 月 13 日 .) https://openai.com/blog/chatgpt/

2. Fauconnier G.: Mappings in Thought and Language., Cambridge: Cambridge University Press, 1997 (坂原茂,三藤博, 田窪行則 (訳) : 思考と言語におけるマッピ ングーメンタル・スペース理論の意味構築モデル,岩波書店, 2000)

3. Blending in Language and Communication. Turner M.: In E., Dabrowska, \& D., Divjak (Eds.). Handbook of Cognitive Linguistics, Berlin: De Gruyter Mouton, 211232,2015

4. 概念融合を喚起するロボットと人間の対話に関 する研究. 周 豪特, 橋本 敬, 李 冠宏. HAI シンポ ジウム 2022, 2022

5. A Broad-Bandwidth Public Domain Personality Inventory Measuring the Lower-Level Facets of Several Five-Factor Models. Goldberg L. R.: In I. Mervielde, I. Deary, F. De Fruyt, \& F. Ostendorf (Eds.), Personality Psychology in Europe, Tilburg, The Netherlands: Tilburg University Press, 1999 年, 第 7 巻. 7-28

6. Congruence between Self-Evaluation and OtherEvaluation Based on Social Skills. Naito Y.: Rissho Univ. Annu Rep Psychol, 2013 年,第 4 号, 39-43

7. Measurement Instruments for the Anthropomorphism, Animacy, Likeability, Perceived Intelligence, and Perceived Safety of Robots. Bartneck C., Kulić D., Croft E. et al.: International Journal of Social Robotics, 2009 年,第 1 巻, 71-81

8. Dimensions of Mind Perception. Gray H. M., Gray K., and Wegner D.M.: Science, 2007 年, 第 315 巻, 第 5812 号, 619

9. 堀 洋道, 櫻井 茂男, 松井 豊: 心理測定尺度集 4 子どもの発達を支える “対人関係・適応”, サイエン ス社, 2007

## A 付録

質問番号と質問文

 \\

与えた

Q214

Q215

Q301

Q302

Q303

Q304

Q305

Q306

Q308

Q309

Q310

Q401

Q402

Q403

Q404

Q405

Q406

Q407

Q408

Q501

Q502

Q503

Q504

Q505
․とまた対話してみたい

この対話タスクは難しかった

․の理解度は高い

․あなたの言うことを受け入れることが

できる

․しつこかった

…簡単に対話できた

…協力的だった

‥人々とのあいだでトラブルが起きて

も、それをうまく処理できる

‥、対話のどこに問題があるかすぐに わかることができると思いますか

、矛盾した話を聞いてもうまく処理 できる

‥まわりの人たちが自分とは違った 考えを持っていてもうまくやって いけると思いますか。

‥は、偽物のような 12345 ７自然な

‥は、機械的 $\leftarrow 12345 \rightarrow$ 人間的

․は、意識を持たない $12345 \rightarrow$意識を持っている

․は、人工的 $\leftarrow 12345 \rightarrow$ 生物的

はは、ぎこちない話し方 $\leftarrow 12345 \rightarrow$

洗練された話し方

‥は、無知な $12345 \rightarrow$ 物知りな

‥は、知的でない $12345 \rightarrow$ 知的な

ㅋは、愚かな 12345 5賢明な

․は、自分で個性をもっていると 感じている

․は、意識を体験することができる

․は、自分の記憶をもっていると 感じている

․は、コミュニケーションを体験する ことができる

․は、思考を体験することができる


# タスク指向対話システムの方策学習への Decision Transformer の適用

戸田隆道 1 森村哲郎 2 阿部拳之 ${ }^{2}$
1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{toda_takamichi, morimura_tetsuro,abe_kenshi\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向対話システムにおい て, 行動決定を行う Policy モジュールは設計が非常 に複雑でコストがかかる. シミュレーターを用いて オンライン強化学習で方策を学習させる取り組みも あるが, 学習のためのシミュレーターの実装など多 くの課題が残されている. 我々は Policy モジュール の方策の学習にシミュレーターを必要としないオフ ライン強化学習の手法である Decision Transformerを 適用する. 本稿では Decision Transformerを方策の学習に適用する際の報酬設計について, MultiWOZ 2.1 のデータセットを使い, 学習時と推論時両方で評価 を行う。

## 1 はじめに

パイプライン型のタスク指向対話システムにお けるモジュールの一つである行動決定を行う Policy モジュールは, 現在の対話状態に基づいてシステム が次に行う対話行動を決定する働きをする. Policy モージュールの方策 (以下方策) の設計は対話のス トーリーを設計することと同義と言え, 非常に多く の工数がかかる. そのため工数をかけずデータから 方策を設計するために, 近年強化学習を使った試み が多くなされている [1][2].

一般的な強化学習 (オンライン強化学習) ではエー ジェントは環境との相互作用によって学習を進め る. 対話方策の学習においては, 人間が直接学習に 関わるのは困難であるため,多くの場合対話シミュ レータを使って学習を行っている. しかしシミュ レータは複雑な人間の行動を反映させる必要がある ため,シミュレータを作ること自体に多大な工数が かかってしまうという問題を抱えている. 加えて, シ ミュレータに欠陥があると適切でない学習が行われ てしまう恐れもある. そこで, 我々はシミュレータ
を使わないオフライン強化学習 [3] である Decision Transformer[4] を方策の学習に適用する. オフライ ン強化学習には弊社で運用している AI Messenger Chatbot $^{1)}$ のようなチャットボットと有人チャット を組み合わせた対話システムにおいて, 実環境で溜 まったデータをそのまま学習に使うことができると いった利点もある.

オンライン,オフライン問わず強化学習には 報酬の設計という共通の課題がある. Decision Transformer はそれに加え，推論時にも報酬をモデル に与える必要がある. [4] で実験されていた Atari な どの環境はゲームのスコアなどから現在の状態に対 する報酬が容易に定義できるが, 対話においては現在の状態がタスク達成に対してどの程度良いかを定義することは困難である. 本研究では学習時と推論時の報酬の与え方のパターンを試した結果を共有 する。

本研究の貢献は以下の 2 点である。

・タスク指向対話の方策の学習に Decision Transformer を初めて適用した

・方策の学習と推論における Decision Transformer への報酬の与え方の検証を行なった

## 2 関連研究

本研究に関わる重要な手法に [4] で提案された Decision Transformer がある. 一般的な強化学習は, 環境においてエージェントが試行錯誤することで方策 を改善するが, オフライン強化学習手法の一種であ る Decision Transformer は, 事前に用意されたデータ セットからの学習だけで, 実環境と作用せずに良い 方策を獲得することを目的としている. オフライン 強化学習は実環境での失敗が許容できないドメイン や試行錯誤のコストが高いドメインでの活用が期待 されている. Decision Transformer はモデルのアーキ

テクチャに GPT をベースとしており, 非マルコフ性 の問題,つまり将来が現在の状態だけでなく履歴全体に依存してしまう問題を Transformer の Attention の仕組みで効率よく解くことができるといわれて いる.

方策の学習に Transformerアーキテクチャを利用 する手法として [5] が挙げられる. こちらは異なる ドメイン間の転移を行う継続的な強化学習を行う 際の状態表現として事前に学習された RoBERTaを ベースとして利用しているが, 本研究では状態はバ イナリベクトルで離散的に扱う。

その他対話に特化した方策の学習方法として [1] が挙げられる.こちらは逆強化学習 [6] に基づいて, より人間の対話に近くなるような報酬関数を求める 手法となっている. オンライン強化学習の手法であ り, 学習には対話シミュレーターが必要になる点が 本稿で扱う Decision Transformer と異なっているが,将来的には Decision Transformer で学習済みのモデル をオンラインに適用する際などに組み合わせること が考えられる。

## 3 実験

## 3.1 比較手法

Decision Transformer は, 時刻 $t$ の状態 $s_{t}$, とった行動 $a_{t}$, 得られた報酬 $r_{t}$ の 3 種類の情報をべクトル 化して連結したものを 1 トークンとして, 次の行動 $a_{t+1}$ を予測するように学習する. 学習時は行動軌跡 が全て入力され, mini-batch 内で長さの異なるものは padding される. 本研究では Decision Transformer の入力の一つである報酬の与え方の検証を行う.ここで 報酬は即時的に与えられる即時報酬と, 将来的に得 られる即時報酬の累積値 (return-to-go) の 2 種類に 分けられる. return-to-go は式 1 のように定義される.

$
\widehat{R}_{t}=\sum_{t^{\prime}=t}^{T} r_{t^{\prime}}
$

ここで $T$ は対話における全ターン数, $r_{t^{\prime}}$ は $t^{\prime}$ ター ン目の即時報酬を示している. 状態 $s_{t}$, 行動 $a_{t}$ と共 に return-to-go $\widehat{R}_{t}$ がモデルに与えられる. 具体的に は，各ターン $t$ でモデルは式 2 で定義される行動軌跡 $\tau_{t}$ を入力として受け取り，行動 $a_{t}$ を出力する.

$
\tau_{t}=\left(\widehat{R}_{1}, s_{1}, a_{1}, \widehat{R}_{2}, s_{2}, a_{2}, \ldots, \widehat{R}_{t}, s_{t}\right)
$

ここで注目すべきは，軌跡 $\tau$ に即時報酬ではな く, 今後得られる即時報酬の累積値 return-to-go を 用いていることである，この操作により，Decision Transformer は直近の報酬だけでなく，未来の報酬 も考慮して，行動を選択できるようになる。その ため，推論時に大きい所望の return-to-go を設定す れば，長期的に報酬を大きくするような行動を 選択することが期待される。本稿では以下より return-to-go を報酬と呼び, 学習時の報酬を学習時報酬，推論時の報酬を推論時報酬と定義する。これら を踏まえて，検証する報酬の与え方を以下に示す。

## 1. baseline

対話中は学習時報酬を与えず,対話が成功した 時のみ大きな正の学習時報酬を与える.これは 一般的な強化学習でよく使われる報酬パターン で, 今回は対話成功時は 40 を与えるように設定 する. 推論時報酬は常に 0 とする。

## 2. constant -1

対話中は常に小さな負の学習時報酬を与え, 対話が成功した時のみ大きな正の学習時報酬を与 える. 常に負の学習時報酬が与えられるため, で きるだけ早く目的を達成させるような学習がさ れることを期待している. 今回は対話中は-1, 対話成功時は 40 をとえるように設定する. 推論時報酬は常に-1 とする.

## 3. linear

対話開始時の学習時報酬を 0 , 完了時の学習時報酬を 40 とし, 中間の対話は線形増加させる. 例 えば 5 ターンで完了する対話の場合は $0,10,20$, 30, 40 と増加する. 尚, 小数になった場合は整数 に丸め込む. 推論時報酬について, 1. baseline や 2. constant -1 は一定の報酬を与えればよかった が, 本手法は推論時報酬が変動するため, 何ター ン目に最大となるかを決める必要がある. 著者 が知る限りでは, 終了ターンがわからない状態 での推論時報酬の設計が行われている先行研究 は無いため $1,2,4,8,16$ の範囲で探索する.

## 4. quadratic

考え方としては 3. linear と同様であるが,こち らは二次関数的に学習時報酬を増加させる. 例 えば 5 ターンで完了する対話の場合は $0,6,15$, 26, 40 と増加する. 3. linear と同様, 推論報酬の 最大値を何ターン目に設定するかを $1,2,4,8,16$ の範囲で探索する。
5. $\log$
考え方としては 3. linear と同様であるが,こち らは底を 2 とする対数関数的に学習時報酬を増加させる. 例えば 5 ターンで完了する対話の場合は $0,17,27,34,40$ と増加する. 3. linear と同様, 推論報酬の最大值を何ターン目に設定する かを $1,2,4,8,16$ の範囲で探索する.

これらの手法に加え,シミュレータを用いない他 の方策の学習手法として模倣学習 (Behavior Cloning,以下 $\mathrm{BC})$ を比較する. BC は状態をバイナリで表現 したベクトルから行動をバイナリで表現したベクト ルを予測する 2 層の全結合ニューラルネットワーク で構成される。

## 3.2 評価方法

評価には MultiWOZ 2.1[7] を利用する。こちら は旅行サポートサービスを行う店員と顧客と のタスク指向対話コーパスの MultiWOZ[8] の アノテーションミスを修正したり適切で無い 対話を除外した，より質の良いタスク指向対話コーパスである. 実験には，夕スク指向対話システムの研究開発向けツールキットの ConvLab2[9][10]を用いる. ConvLab2 は NLU(Natural Language Understanding)[11][12] や DST(Dialogue State Tracking)[13] などの Policy 以外のパイプライン型 のタスク指向対話システムのモジュールや Agenda ベースのユーザーシミュレータ [14] などを提供して いる.

パイプライン型のタスク指向対話システムは Policy, NLU, DST, に加えて NLG (Natural Language Generation)[15] の4つのモジュールを組み合わせて 構成される. 本研究では方策の評価を行うために, 残 りのモジュールは以下に固定した.

## - NLU

BERTによる埋め込み表現から発話文中の各単語が表す意図をクラス分類する JointBERT[16]

## - DST

NLU が推定したスロットを用いて人手で作成 されたルールに従って対話状態を更新する Rule DST

## - NLG

発話テンプレート文の集合から, 方策が予測し た行動に合うものを選択する Template NLG

評価指標は方策学習の先行研究 [1][5] で利用され ており,ConvLab2 でも利用可能な以下の 2 指標を利用する.

## - Success Rate

対話の成功率で, ConvLab-2 では”ユーザー要求 がすべて満たされ, かつ予約されたエンティ ティが制約を満たしている割合”と定義されて いる. 高いほどユーザーの満足する対話を行う ことができていると言える.

## - Average Turn

成功した対話の平均ターン数. 小さいほど効率 よく対話を行なっていると言える。

システムの評価時には, 異なる 5 種類のランダム シードで 100 対話をシミュレーションし, その平均 スコアを用いる。

## 3.3 結果

報酬の与え方の比較の実験結果を表 1 に示す. linear, quadratic, $\log$ は推論時の最大報酬設定ターン (Maximum Reward Setting Turn, 以下 MRST) も分けて 評価する. 尚, MultiWoZ 2.1 の学習データの Average Turn は 6.728 であった.

表 1 報酬の与え方の比較

## 4 考察

## 4.1 実験結果について

baseline や constant -1 といった成功した時にのみ報酬を与える手法より, linear や quandratic, $\log$ といっ た, 対話の完了に向けて徐々に報酬が増加する手法の方が Success Rate は高いことがわかった. 徐々 に報酬が増加する手法の中では linear, $\log$ が比較的 Success Rate が高く, 推論時の報酬の与え方は MRST が 4 の時が最も高くなった. この結果は対話の序盤 に高い報酬を与えた方がよいことを示していると考 えている. ただし $\mathrm{MRST}=1$ や MRST $=2$ など, 極端に 短い場合はわずかに Success Rate が下がってしまう. これは最低限必要な対話ターン数が関係していると 想定され, ドメインによって理想的な MRST を調整 する必要があると考えている.

Average Turn に関しては各手法の間で大きな差は 見られなかったが, 若干 MRST が小さい方が小さく なる傾向が見られた. これは, 推論時に与える報酬が 対話完了の目標ターンに影響を与えているのではな いかと考えた。

適切な報酬設計を行えた場合は $\mathrm{BC}$ よりも良い精度を得ていることから, 単純にデータにある行動を 模倣するのではなく, データにある行動からより適切な行動を学習できているといえる. 逆に報酬設計 が適切でないと BC と比べて大きく精度が落ちるこ とから, 報酬設計が方策の学習に重要な影響をあた えることがわかる.

## 4.2 今後の展望

今回推論時の報酬は事前に定義された関数に従っ て与えたが, ユーザー側の肯定的な発言や予約など のスロット抽出完了フラグなどの対話内容に応じて 動的に変化する報酬の与え方も考えられる. また才 フライン強化学習の強みとしてオンライン強化学習 と組み合わせることができることが挙げられるの で, [1] のようなオンライン強化学習手法と組み合わ せることで更なる精度向上が期待できる。

方策学習に関するテーマとして今回扱わなかっ たものの一つに, 異なるドメイン間の転移学習があ る. NLU や NLG のように GPT や BERT などの一般的な文章で学習した事前学習モデルを使った手法を 適用しづらく, また強化学習の転移学習自体が容易 では無いとも言われている [17]. MultiWOZ 2.1 は
レストラン予約やタクシー配車など複数のドメイン を含んでいるので,この部分を分離して学習し,オフ ライン強化学習での転移学習, または少量データで のドメイン適用といった方向性での研究も検討して いる.

MultiWOZ 2.1 は人間同士の対話なので非常に質が 高く,ほぼ 100\%の割合で完了しているといえる.し かし実際の対話プロダクトでは途中でユーザーが離脱してしまうなど対話が失敗してしまうケースも考 えられる。そこでシミュレーター同士で対話させる ことで, 擬似的に失敗した対話を生成し, 学習デー タに一定割合で混ぜて精度変化を比較する実験を 行なった. 擬似的に生成した失敗した対話を混ぜる ことで精度が低下することがわかったが, 失敗した 対話に対する報酬設計に関して，明確な答えを得る ことができなかったので,この部分に関して掘り下 げて研究することも検討している。 尚, 実験結果は Appendix A に記載する.

## 5 おわりに

本稿では, パイプライン型のタスク指向対話シス テムにおけるモジュールの一つである方策の学習 に, オフライン強化学習手法の Decision Transformer を適用し, 報酬設計の検証を MultiWOZ 2.1 のデータ セットを用いて行なった. 学習時は対話の完了に 向けて徐々に増加するように報酬を与え，推論時は 4 ターン目に最大の報酬を設定すると最も Success Rateが高くなった.

今後の取り組みとして，より動的な報酬の与え方 やオンライン強化学習との組み合わせ, ドメイン間 の転移などを検討している. 加えて, 実際の対話を想定して失敗した対話をデータに混ぜた場合の評価も 行なったが, 混合比率が上がるにつれて精度が低下 することがわかったが, 失敗した対話に対する報酬設計をどのようにすれば良いかがまだわかっていな いので,この点に関しても研究を続ける。

## 謝辞

本論文の作成にあたりご協力頂きました, 株式会社 AI Shift の友松祐太氏, 杉山雅和氏, 東佑樹氏, 二宮大空氏, 下山翔氏, 株式会社サイバーエージェントの 邊土名朝飛氏にこの場を借りて厚く御礼申し上げ ます.

## 参考文献

[1] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialog policy learning without adversarial learning in the loop. Findings of EMNLP 2020, 2020.

[2] Pei-Hao Su, Pawe 1 Budzianowski, Stefan Ultes, Milica Gašić, and Steve Young. Sample-efficient actor-critic reinforcement learning with supervised data for dialogue management. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 147157, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Sergey Levine, Aviral Kumar, G. Tucker, and Justin Fu. Offline reinforcement learning: Tutorial, review, and perspectives on open problems. ArXiv, Vol. abs/2005.01643, , 2020.

[4] Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, and Igor Mordatch. Decision transformer: Reinforcement learning via sequence modeling. arXiv preprint arXiv:2106.01345, 2021

[5] Christian Geishauser, Carel van Niekerk, Hsien-chin Lin, Nurul Lubis, Michael Heck, Shutong Feng, and Milica Gašić. Dynamic dialogue policy for continual reinforcement learning. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 266284, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Brian D Ziebart, Andrew L Maas, J Andrew Bagnell, Anind K Dey, et al. Maximum entropy inverse reinforcement learning. In Aaai, Vol. 8, pp. 1433-1438. Chicago, IL, USA, 2008.

[7] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 422-428, Marseille, France, May 2020. European Language Resources Association.

[8] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November
2018. Association for Computational Linguistics.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. Convlab-2: An open-source toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[10] Jiexi Liu, Ryuichi Takanobu, Jiaxin Wen, Dazhen Wan, Hongguang Li, Weiran Nie, Cheng Li, Wei Peng, and Minlie Huang. Robustness testing of language understanding in task-oriented dialog. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[11] François Mairesse, Milica Gasic, Filip Jurcicek, Simon Keizer, Blaise Thomson, Kai Yu, and Steve Young. Spoken language understanding from unaligned data using discriminative classification models. In 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4749-4752. IEEE, 2009.

[12] Stefan Ultes, Lina M. Rojas Barahona, Pei-Hao Su, David Vandyke, Dongho Kim, Iñigo Casanueva, Pawe 1 Budzianowski, Nikola Mrkšić, Tsung-Hsien Wen, Milica Gasic, and Steve Young. PyDial: A Multi-domain Statistical Dialogue System Toolkit. In Proceedings of ACL 2017, System Demonstrations, pp. 73-78, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[13] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable multi-domain state generator for task-oriented dialogue systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2019.

[14] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149-152, Rochester, New York, April 2007. Association for Computational Linguistics.

[15] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1711-1721, Lisbon, Portugal, September 2015. Association for Computational Linguistics

[16] Wen Wang Qian Chen, Zhu Zhuo. Bert for joint intent classification and slot filling. ArXiv, Vol. abs/1902.10909, , 2019 .

[17] Matthew E. Taylor and Peter Stone. Transfer learning for reinforcement learning domains: A survey. J. Mach. Learn. Res., Vol. 10, p. 1633-1685, dec 2009.

## A 失敗対話を加えた実験

失敗した対話に対しても報酬を設計する必要 があるので, 報酬の与え方の比較の実験で最も Success Rate が高く, Average Turn が小さかった linear, MRST=4をRSO 100\%を current best とし,その current bestをベースに以下の 6 パターンを試した.

1. const

常に-1 の報酬を与え, 対話終了 (破綻) 時に-40の 報酬を与える

2. low

-40 から 0 まで線形増加させる

3. middle

-80 から-40 まで線形増加させる

## 4. high

-120 から -80 まで線形増加させる

## 5. steep low

-80 から 0 まで, 2 . low より傾斜をつけて線形増加させる

6. steep middle

-120 から-40まで, 3. middle より傾斜をつけて線形増加させる

7. steep high

-160 から-80まで, 4 . high より傾斜をつけて線形増加させる

シミュレーターの Policy モジュールは ConvLab2 で提供されている MLEを利用し, 元のデータと 3:1 の割合で混ぜる RSO(Ratio of simulator and original data) $25 \%$, 元のデータと $1: 1$ の割合で混ぜる RSO $50 \%$, 元のデータと $1: 3$ の割合で混ぜる RSO 75\%の 3 パターンを試した. 結果を表 2 に示す.

## A. 1 考察

失敗対話を加える割合を増やすほど Success Rate も Average Turn も悪化することがわかった. Success Rate は steep middle が比較的よい結果を得られたが RSO25\%の際は low が最もよい結果となった. 一方 Average Turn に関しては何が効果的だったのかわか らなかった. この結果に関しては今後検証を進め ていきたいと考えている.表 2 失敗対話を加えた実験


# 多様な特徵量を考慮した Twitter ユーザの性別推定

廣田遼 白井清昭
北陸先端科学技術大学院大学 先端科学技術専攻科
s2110142@jaist.ac.jp

## 概要

Twitter ユーザの性別を推定する手法を提案する。従来研究の多くはユーザが投稿するツイートを元 に性別を分類していたのに対し，本研究は，投稿ツ イート，自己紹介文，ユーザ名，プロフィール画像， フォロワーなど，様々な特徴量を考慮する点に特長 がある。また，投稿ツイートのテキストと画像を同時に考慮した複数のモデルを提案する．評価実験の 結果，提案手法の有効性を確認した。

## 1 はじめに

本論文は Twitter ユーザの性別を推定する新しい 手法を提案する. 従来研究の多くがツイートを対象に性別を推定している一方, Twitterでは, 投稿画像, 自己紹介文, プロフィール画像, フォロワーな ど様々な情報が取得できる。本研究では Twitter か ら得られる多角的な情報を元にユーザの性別をより 正確に予測する。また，性別のラベルが付与された Twitter ユーザのデータは作成コストが高いため，ラ ベル付きデータを自動拡張することで性別推定の正解率を向上させることを狙う。

## 2 関連研究

Twitter ユーザのプロフィール推定については多く の先行研究がある. Sakaki らは，ユーザが投稿する ツイートのテキストと画像のそれぞれについて，そ れを素性とする分類器を学習し, 最終的に両者のア ンサンブルモデルによって性別を予測する手法を 提案した [1]. Wang らは, ツイートテキスト，プロ フィール画像, 名前, 紹介文を素性とし, ユーザの 性別, 年齢, 所属, 組織を予測するモデルを提案し た [2]. Liu らは，投稿テキスト，自己紹介文，統計量を素性とし, 機械学習の古典的モデルならびに深層学習モデルによるプロフィール推定の性能を比較 した [3]. Morgan-Lopez らは, 誕生日ツイートなど の Twitter 特有の特徴量を利用することで，ユーザの年齢推定の精度を向上させた [4].

本研究でもツイートのテキストと画像の両方を利用するが，Sakaki らの手法がテキストと画像の分類器を別々に学習しているのに対し, 本研究では両者 の素性を同時に入力とする分類器を学習する点に違 いがある。また，ツイート以外の情報を利用してプ ロフィールを推定する先行研究があるが，本研究で は Twitterから得られるより多くの情報を同時に考慮するモデルを提案する。

## 3 提案手法

Twitter ユーザの性別を「男性」「女性」のいずれ かに分類する。このため, 使用する素性 (特徵量) が 異なる複数の分類器を学習する。 そのうちの 1 つは ユーザのツイートを素性とした分類器である (3.1 項). それ以外に Twitter から得られる様々な情報を 素性とした分類器を学習する (3.2 項). 最後にこれ らの分類器を統合したモデルを学習する (3.3 項).

## 3.1 ツイートによる分類器

ここではユーザによって投稿された複数のツイー トからそのユーザの性別を予測する。特に，ツイー トのテキストと画像の両方を考慮し, これらの組み 合せ方によって複数のモデルを提案する.

性別推定は 2 段階で行う。(1) 個々のツイートに 対し性別スコアを予測する。性別スコアは，1のと きは男性，0のときは女性を表すものとする。(2) ユーザが投稿した複数のツイートの性別スコアから ユーザの性別を決定する。以下の 3 通りの方法を採用する。

1. 性別スコアの平均を求め, 0.5 以上のとき男性, それ未満のとき女性と判定する。以下，この方法を Tw-ave と記す.

2. 性別スコアを Softmax 関数を用いて正規化した 後, 1.の処理を行う. 以下, Tw-soft と記す.

3. Softmax 関数による正規化の後, 性別クラス毎

に性別スコアが 1 または 0 に近い上位 $10 \%$ のツ イート (合計 $20 \%$ ) を選別した後, 1.の処理を行 う. 以下, Tw-sel と記す。

以下, ツイートを対象にした個々の分類器の詳細 について述べる。

Text only model ツイートのテキストのみを用いて 性別を推定する分類器である。具体的には, 訓練 データによって fine-tuning した BERT[5]を用いて性別スコアを得る.

Image only model ツイートに投稿された画像の みを用いて性別を推定する分類器. 具体的には, Vision Transformer [6] を訓練データによって finetuning し，そのモデルを用いて性別スコアを得る. ただし, 画像が含まれていないツイートは, 学習時 には使用せず，テスト時には性別を判定しない。

Early fusion model ツイートのテキストと画像を同時に考慮して性別を判定する．そのアーキテクチャ を図 1(a)に示す。テキストはBERT, 画像はVision Transformerによってそれぞれ埋め込みベクトルに 変換する。ただし，画像がないツイートに対する 画像埋め込みはゼロベクトルとする。次に，これ らを連結したべクトルを全結合層 (Full Connected Layer;FCL) に渡して性別スコアを出力する. 学習時 の損失関数は Log Loss 関数とする。

Late fusion model Early fusion model と同じくツイー トのテキストと画像を同時に考慮するが，両者の埋 め込みを次元圧縮した後で組み合わせる. アーキテ クチャを図 1(b) に示す。テキストと画像を埋め込み を BERT と Vision Transformer で得た後，それぞれを 別々に全結合層に渡して4 次元のべクトルに圧縮す る. 最後にこれらを連結したべクトルを全結合層に 渡して性別スコアを出力する。

Dense fusion model Early fusion model $\varepsilon$ Late fusion

(a) Early fusion

(b) Late fusion

(c) Dense fusion図 1 ツイートに対する性別判定モデル model を組み合わせたモデル，そのアーキテクチヤ を図1(c) に示す. BERTによって得られるテキスト の埋め込みベクトル, Vision Transformerによって得 られる画像の埋め込みベクトル, Late fusion model と同様にこれらを次元圧縮した埋め込みベクトルを 連結して全結合層に渡し，性別スコアを得る。

Caption model ツイートのテキストと画像を同時 に考慮するが，画像からキャプションを生成して から両者を組み合わせる．まず，Clip model [7] を用 いて画像の英語のキャプションを生成する. 次に, Google の翻訳 API [8] によって英語のキャプション を日本語に翻訳する。 そして, ツイートのテキスト と日本語のキャプションを特殊トークン $\langle$ sep $\rangle$ を挟 んで連結し，これを入力テキストとして，BERTを 用いて性別スコアを得る.

Ensemble model Text only model $と$ Early fusion model を組み合わせたモデル．画像のないツイートは Text only model で, 画像付きのツイートは Early fusion model で性別スコアを得る.

## 3.2 Twitter の情報による分類器

Twitter 統計量による分類器 Liu らの研究 [3] を参考に, 表 1 に示す Twitter から得られる統計情報を 素性として分類器を学習する. 学習アルゴリズム として Light Gradient Boosting Machine(Light GBM)[9] を用いる。

表 1 性別推定に使用する Twitter 統計量

ユーザ名による分類器 Twitter ユーザの名前から 性別を予測する，具体的には，ユーザ名の文字の uni-gram, ひらがな表記のユーザ名の文字 bi-gram を 素性として性別推定の分類器を学習する. また, 末尾の文字 uni-gram，ひらがな bi-gram に “end_”とい う特殊記号をつけたものも素性とする。学習アルゴ リズムとして Light GBMを用いる.

## プロフィール画像, ヘッダ画像による分類器 Twitter 上のユーザのプロフィールページに表示され るプロフィール画像 (ユーザの顔写真が多い) とへッ 夕゙画像から性別を判定する。プロフィール画像の み, ヘッダ画像のみ，両方を素性とする 3 つの分類
器を学習する. 分類モデルとして Vision Transformer を用いる。

自己紹介文による分類器 Twitter 上のプロフィール ページに表示される自己紹介文から性別を予測す る。一般に自己紹介は複数の文で書かれるが，本研究では 1 つの文として扱う. 分類モデルとして BERTを用いる。

フォロワーの自己紹介文による分類器 あるユーザ をフォローしている別のユーザをランダムに 100 名選択し，そのユーザの自己紹介文を元に性別を推定 する．自己紹介文を MeCabを用いて形態素解析し，単語を素性, その TF-IDFを値とする素性べクトル を作成する。 さらに, Latest Semantic Indexing (LSI) によってユーザのベクトルを 1000 次元に圧縮する。 これを素性として Light GBMを学習する。

## 3.3 統合モデル

これまで述べてきた分類器を統合した性別判定モ デルを学習する． 3.1 項で述べたツイートを用いる 分類器と, 3.2 項で述べた全ての分類器を組み合わ せる．各分類器が出力する性別スコアを素性とし, Light GBM を用いて最終的な分類器を得る.

## 3.4 訓練データの自動拡張

まず，初期の訓練データから性別の分類器を学習 する．次に，ラベルのない大量の Twitter ユーザの データを用意し，学習した分類器を用いて各ユーザ の性別を判定し，ラベルを付与する。この際，判定 の信頼度の大きい (性別スコアが 0 または 1 に近い)上位 3000 件のユーザのみにラベルを付与する.

## 4 評価実験

## 4.1 実験データ

評価実験のために以下のデータを構築した。

初期データ 主に著名人の Twitterアカウントを対象にラベル付きデー夕を構築する。まず，Twitter 日本フォロワー数総合ランキング [10] から上位 2 万件 のアカウントを収集する。それぞれのアカウントか ら, Twitter API を用いて分類器の学習に必要な情報 を獲得する、ツイートについては, リツイートを除 く最新の投稿を 100 件獲得する。

次に，それぞれのユーザの性別を Twitter 以外の 情報を参照して自動的に判定する，具体的には，各 ユーザ (著名人) の Wikipedia のエントリを参照し，表 2 ツイートによる分類器を用いた性別推定の正解率

そのプロフィール画像を得る。そして，オンライン 顔認識プラットフォーム Face++[11]を用いてユー ザの性別を判定し，それをラベルとして付与する。 Wikipedia のエントリがないとき, Goolge 画像検索 を用いて上位 5 件の画像を取得し，それぞれの画像の性別を Face++を用いて判定し，その多数決に よって性別のラベル付けを行う。

上記の処理によって 5000 人のユーザのラベル付 きデータを獲得した。実験では，これを 8:1:1の割合で訓練, 開発, テストデータに分割して使用した。 ラベルなしデータ 訓練データの自動拡張のため,性別のラベルが付与されていないユーザの集合を 得る。まず，前述のフォロワー数ランキングの順位 2 万から 3 万のユーザを選ぶ. 次に, Twitter API に よって分類器の学習に必要な情報 (ツイートについ ては初期データと同じく最新の 100 件のツイート) の取得を試み，これに成功した 6,845 名のユーザを ラベルなしデータとした。

評価データ 著名人ではない一般ユーザを対象に人手で性別のラベルを付与し, 評価データを構築す る. 初期データの著名人ユーザをフォローしてい るユーザのうち，フォロワー数が 1,000 人以下 ${ }^{11}$ の ユーザを選別する．３名の被験者に，Twitter ユーザ の最新の 20 件のツイートやプロフィール画面を参照し，「男性」「女性」「不明」のいずれかを付与する ことを依頼する．２名以上の被験者が「男性」また は「女性」のラベルを付与した 459 名のユーザを選別し, 評価デー夕とした。

## 4.2 実験結果

## 4.2.1 ツイートによる分類器の評価

3.1 項で述べたツイートのテキストと画像を元に 性別を予測する分類器を評価する．実験結果を表 2

表 3 個々の分類器ならびに統合モデルの評価デー夕に対する性別推定の正解率

Tw-ave, Tw-soft, Tw-sel はツイートに基づく分類器のうち表 2 の初期データの正解率が最も高い Ensemble model である。その他の分類器の略号は次の通り。統計:Twitter の統計量, 画像-P: プロフィール画像, 画像-H: ヘッ ダ画像，画像-PH: プロフィール\&ヘッダ画像，自己: 自己紹介文，フォ自己: フォロワーの自己紹介文

に示す. ave, soft, sel は， 3.1 項の冒頭で述べた個々 のツイートの性別スコアを元にユーザの性別を予測 する方式の違いを表す。

初期データでは， Text only モデルの正解率が，テ キストと画像の両方の情報を用いる Early fusion, Late fusion, Dense fusion の各モデルよりも高い. た だし，画像を含むツイートについては，テキスト・画像を同時に考慮するモデルの精度が高いことが 確認された。結果として, Text only model と Early fusion model を組み合わせた Ensemble model の正解率が最も高かった。なお, ave, soft, sel の優劣はモデ ルによって異なり，どの手法が最適であるかを結論付けることはできなかつた.

一方，評価データでは, Image only model は Text only model よりも正解率が高く, Caption model 以外 のテキストと画像を同時に使用するモデルよりも高 い. 著名人ではない一般ユーザの場合，男女によっ て投稿する画像に顕著な違いがあり，テキストより も画像の方が性別判定の有力な手がかりになってい ると考えられる。例外は Caption モデルで，比較し た分類器の中では最高の成績を収めている.

## 4.2.2 Twitter の情報による分類器の評価

3.2, 3.3 項で述べた分類器によって評価デー夕の 性別を判定したときの正解率を表 3 に示す。初期 データのみ，初期データとそれぞれの分類器によっ て自動拡張したデー夕を使う場合 (表 3 の「拡張」),初期データおよび正解率の一番高い統合モデルに よって推定した性別ラベルを付与して自動拡張した データを使う場合 (表 3 の「拡張 (統合)」)を比較し た. 最後の実験条件は，正解率の高い統合モデルを 用いることで, 質の高い自動拡張データを獲得した ときの効果を確認するためのものである。なお，統合モデルは「拡張」と「拡張 (統合)」の実験条件と で同じモデルが得られる。

初期データを訓練データとしたとき，統合モデ ルの正解率は 0.851 であり, 個々の分類器よりも高
い.ツイートのテキストや画像だけでなく，Twitter から得られる様々な情報を考慮することが性別推定 の正解率の向上に寄与することが確認できる. 個々 の分類器では, プロフィール画像を用いた分類器の 正解率が最も高い. プロフィール画像として本人の 写真が使われている場合, 性別推定の有力な情報と なる。また，ユーザ名を用いた分類器も正解率が高 く, 名前に性差が強く現われていることがわかる.

拡張デー夕を使用することで，個々の分類器では 正解率が向上したものもあるが，統合モデルの正解率は向上しなかった. 特に正解率の高かったプロ フィール画像を用いた分類器の性能が大きく低下し ていることから，統合モデルの正解率が 0.045 ポイ ント下がった。プロフィール画像やへッダ画像を用 いた分類器は, 正解率は高いが，性別のスコアが 0.5 付近の場合が多く，性別推定の信頼度は低いことが 確認された。自動拡張によって信頼度が低い事例が 多く追加されていることが，プロフィール・ヘッダ 画像を用いた分類器の正解率が低下した原因と言え る。自動拡張データを得る手法として，それぞれの モデルよりも統合モデルの判定結果に基づいてラベ ルを決めた方が全体的には正解率が高い。このこと は，自動拡張データの品質が向上すれば，訓練デー 夕の増加が有効である可能性を示唆する．今回の実験では，個々の分類器で追加する事例数を同じにす るために，判定の信頼度の上位 3000 件のデー夕を 追加したが，ある閾値以上の信頼度の事例のみ追加 するなど，自動拡張するデー夕の性別ラベルの誤り を減らす工夫が必要である。

## 5 おわりに

本論文では，Twitter ユーザの性別を予測するため の新しい手法を提案した。評価実験では，統合モデ ルの有効性は確認できたが，自動ラベル付けによる 訓練データの拡張は効果がなかつた。今後の課題と して，拡張データの品質を高めるための手法を考案 することが挙げられる。

## 参考文献

[1] Shigeyuki Sakaki, Yasuhide Miura, Xiaojun Ma, Keigo Hattori, and Tomoko Ohkuma. Twitter user gender inference using combined analysis of text and image processing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 54-61, 2014.

[2] Zijian Wang, Scott A. Hale, David Adelani, Przemyslaw A. Grabowics, Timo Hartmann, Fabian Flöck, and Dacid Jurgens. Demographic inference and representative population estimates from multilingual social media data. In Proceedings of the World Wide Web Conference, pp. 2056-2067, 2019.

[3] Yaguang Liu, Lisa Singh, and Zeina Mneimneh. A comparative analysis of classic and deep learning models for inferring gender and age of Twitter users. In Proceedings of the 2nd International Conference on Deep Learning Theory and Applications, pp. 48-58, 2021.

[4] Antonio A. Morgan-Lopez, Annice E. Kim, Robert F. Chew, and Paul Ruddle. Predicting age groups of Twitter users based on language and metadata features. PLOS ONE, Vol. 12, No. 8, p. e0183537, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[6] Dosovitskiy Alexey, Beyer Lucas, Kolesnikov Alexander, Weissenborn Dirk, Zhai Xiaohua, Unterthiner Thomas, Dehghani Mostafa, Minderer Matthias, Heigold Georg, Gelly Sylvain, Uszkoreit Jakob, and Houlsby Neil. An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations, 2021.

[7] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763, 2021.

[8] Googletrans, (2023-1 閲 覧). https://pypi.org/ project/googletrans/.

[9] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, Vol. 30, , 2017.

[10] Twitter 日本フォロワー数 総合ランキング, (2022-1 閲覧). https://meyou.jp/ranking/follower_allcat.

[11] Face++, (2023-1 閲覧). https://www. faceplusplus. $\mathrm{com} /$.


# タスク指向対話における強化学習を用いた対話方策学習への 敵対的学習の役割の解明

下山翔 1,2 森村哲郎 3 阿部拳之 ${ }^{3}$
${ }^{1}$ AI Shift, Inc. 2 東北大学大学院 理学研究科数学専攻 ${ }^{3}$ CyberAgent, Inc. AI Lab.
shimoyama_sho@ai-shift.jp \{morimura_tetsuro, abe_kenshi\}@cyberagent.co.jp

## 概要

強化学習を用いた対話方策の学習において，報酬関数の設計は重要である。効果的な報酬関数の人手 による設計が困難であるため，データから報酬関数 を推定する手法の 1 つとして敵対的逆強化学習が 注目されている。この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示 すことが報告されている。この理由を明らかにする ため，本研究では，既存手法の 1 つである Guided Dialog Policy Learning に対する分析を行う. 報酬関数の目的関数に対する考察および実験結果から，敵対的学習はループ対話の発生を抑制する効果を持つ ことを示す.

## 1 はじめに

対話方策はタスク指向対話システムの重要な構成要素の一つである $[1,2]$. 近年，強化学習を用い た対話方策の学習に関する研究が注目されてい る $[3,4,5,6,7]$. 強化学習による対話方策の学習は,対話をマルコフ決定過程とみなし，対話方策と環境 （例えば，ユーザシミュレータ $[8,9]$ ）との相互作用 を通じて，得られる対話に対する報酬を最大化する ことで行われる.

報酬関数は対話方策の学習において重要である 一方，適切な報酬関数の人手による設計は困難であ る. 単純な報酬関数として，対話ターンを短くする ために各対話ターンで一定の小さな負の報酬，対話終了時に目的を達成した場合は大きな正の報酬を与 える報酬関数があげられる。しかしながら，各ター ンで選択された行動の良さは対話が終了するまで分 からない（つまり，報酬が疎である）ため対話方策 の学習が適切に進まない場合が存在する。

上述の問題に対処するため，データから報酬関数を推定する方法の 1 つである敵対的逆強化学習 $[10,11]$ を用いた方法が提案されている. 研究 [12] は，エキスパート対話を用い，対話単位の報酬関数と対話方策を敵対的学習を用い交互に学習す る方法を提案している. 研究 [13] は敵対的逆強化学習を用いて報酬関数を推定し，報酬関数を状態行動単位とすることで報酬が疎な問題に対処する手法 Guided Dialog Policy Learning (GDPL) を提案して いる。これらの報酬関数を用いて学習された対話方策は人手で設計した報酬関数を用いて学習された対話方策より良好な性能を示すことが報告されてい る. しかし, 対話方策の学習において, 敵対的学習 を用いた報酬関数の推定が有用であることの理由は 十分に解明されていない。

本研究では，GDPLを対象とし，強化学習を用い た対話方策の学習において，敵対的学習を用いた報酬関数推定が対話方策の学習に与える影響の分析を 行う．報酬関数の目的関数に対し考察を行い，実験 によりその妥当性の評価を行う。

## 2 関連研究

強化学習における人手での報酬関数の設計が困難であるため，データから報酬関数を推定する方法である逆強化学習 [14] がよく用いられる. 特に,近年, 逆強化学習に敵対的学習を用いた手法であ る敵対的逆強化学習 $[10,11]$ が注目されている. 研究 [12] は対話方策の学習と報酬関数の学習を敵対的学習を用いて交互に行う手法を提案している. 報酬関数を識別器とし, エキスパート対話には高い値 を，対話方策が生成した対話には低い値を割り当て るように学習する。対話方策は報酬関数から得られ る報酬が高くなるよう学習される. 研究 [13] は対話方策と状態行動単位の報酬関数を交互に学習する手法である Guided Dialog Policy Learning (GDPL) を提案している. GDPL は各ターン毎に状態行動に対し て報酬を与えることで報酬が疎となる問題に対処し

ており，対話内における話題の転換を柔軟に捉える ことができることが報告されている。研究 [15] は報酬関数の推定と対話方策の学習を交互ではなく逐次的に行う手法を提案している. 敵対的学習を用い,状態行動単位の報酬関数である識別器とノイズを入力とし状態行動対を出力する生成器を学習する. 次 に，上記で学習した報酬関数を固定し，対話方策を 学習する. 報酬関数の学習と対話方策の学習を分け ることで，方策オフ型/オン型どちらにも適用でき， モード崩壊 [16] に対処している. 先行研究と本研究 の違いは敵対的学習が対話方策の学習に及ぼす影響 を詳細に分析している点である。

## 3 前提

本論文では，対話を離散時間有限状態マルコフ連鎖 $\mathcal{M}=\left(\mathcal{S}, \mathcal{A}, P, \pi_{\theta}, v, r, \gamma, T\right)$ として扱う. ここで, $\mathcal{S}$ は dialog state $[17,18]$ 全体からなる集合（状態集合), $\mathcal{A}$ は dialog act [19] 全体からなる集合（行動集合), $P: \mathcal{S} \times \mathcal{A} \rightarrow \Delta(\mathcal{S})$ は状態遷移確率 $(\Delta(\mathcal{S})$ は $\mathcal{S}$上の確率単体 $), \pi_{\theta}: \mathcal{S} \rightarrow \Delta(\mathcal{A})$ は対話方策 $(\Delta(\mathcal{A})$ は $\mathcal{A}$ 上の確率単体， $\theta$ はパラメータ)， $v \in \Delta(\mathcal{S})$ は初期分布, $r$ は報酬関数， $\gamma \in[0,1]$ は減衰定数， $T \in \mathbb{N}$ は最大ターン数を表す. $s_{t} \in \mathcal{S}, a_{t} \in \mathcal{A}$ でそれぞれターン $t \in\{1, \ldots, T\}$ における状態，行動, $\tau=\left.\{s_{0}, a_{0}, s_{1}, a_{1}, \ldots, s_{|\tau|}, a_{|\tau|}\right.\}(|\tau| \leq T)$ で対話を 表す.

## 3.1 Guided Dialog Policy Learning

Guided Dialog Policy Learning (GDPL) [13] は，敵対的学習を用い，報酬関数と対話方策を交互に学習す る手法である. 対話方策が生成した対話に対して低 い報酬，学習データ（例えば人間同士の対話）内の 対話に対して高い報酬を割り当てるように敵対的学習を用いて報酬関数を学習する. 対話方策は報酬関数から得られる報酬が高くなるように学習すること で，人間に近い対話の実現を目指す. GDPLでは，状態 $s$ 行動 $a$ の報酬を $f_{\omega}(s, a)=\log p_{\omega}(s, a)$ (ここ で, $p_{\omega}(s, a)$ は確率モデル， $\omega$ はそのパラメータ $)$ と表し，以下の目的関数 (1), (2) を用いて対話方策 $\pi_{\theta}(a \mid s)$ と報酬関数 $f_{\omega}$ を交互に更新する：

$
\begin{aligned}
& \max _{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}}\left[\sum_{t=t_{0}}^{|\tau|} \gamma^{t-t_{0}} \hat{r}\left(s_{t}, a_{t}\right)\right] \\
& \min _{\omega}\left.\{\mathrm{KL}\left[p_{\mathcal{D}} \mid p_{\omega}\right]-\mathrm{KL}\left[p_{\pi_{\theta}} \mid p_{\omega}\right]\right.\},
\end{aligned}
$

ここで, $\hat{r}=f_{\omega}-\log \pi_{\theta}, p_{\mathcal{D}}(s, a)$ は経験分布， $p_{\pi_{\theta}}$ は $\pi_{\theta}$ に従った際に状態行動 $(s, a)$ が発生する同時確率分布, $\operatorname{KL}\left[q_{1} \mid q_{2}\right]=\sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} q_{1}(s, a) \log \frac{q_{1}(s, a)}{q_{2}(s, a)}$ である. GDPLでは， $p_{\omega}$ を推定する代わりに確率 であるという制約なしで $f_{\omega}$ を直接推定し，対話方策の学習を安定させるために potential-based reward shaping [20] を用いて $\left(s_{t}, a_{t}, s_{t+1}\right)$ に依存する形に $f_{\omega}$ を変換している。

## 4 GDPL に対する考察

本章では，GDPLにおいて，敵対的学習が対話方策の学習に与える影響の考察を行う. 4.1 節でルー プ対話の定義， 4.2 節で敵対的学習の役割の考察を 行い，敵対的学習はループ対話を抑制する効果を有 することを示す.

## 4.1 ループ対話の定義

表 1 ループ対話の例. usr はユーザシミュレータ，sys は 対話方策を表す.

Definition 1 (ループ対話). 対話 $\tau$ において， $\left(s_{t}, a_{t}\right)=$ $\left(s_{t+n}, a_{t+n}\right)$ を満たす $n$ とターン $t$ が存在するとき, $\tau$ をループ対話と呼び，ループ内の状態 $s^{i}:=s_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ状態, 行動 $a^{i}:=a_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ行動と呼ぶ.

ループ対話の例を表 1 に示す. この対話では上か ら2つ目のユーザ発話 $(t=1)$ 以降，ユーザシミュ レータと対話方策がともに同じ内容の発話を繰り返 している. 簡単に述べると，ループ対話とは，特定 の状態行動 $(s, a)$ が複数回出現する対話である.

## 4.2 敵対的学習の役割の考察

マルコフ連鎖 $\mathcal{M}$ において，ある $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ が存在し，次の仮定を満たすとする: 任意の $i \in\{0, \ldots, n-1\}$ に対し $\hat{r}\left(s^{i}, a^{i}\right)$ が $\hat{r}$ の最大値と十分近い.このとき, GDPLにおいて, 敵対的学習は ループ対話の発生を抑制すると推測される.
報酬関数を固定し，式 (1) に基づき対話方策を更新する場合を考える。式 (1) は累積報酬であるか ら，対話方策は生成する対話の累積報酬が高くな るよう学習される。ある 2 つ対話に対し，それ らの対話に含まれる状態行動に対する報酬の差が 十分小さい場合，累積報酬が高くなる対話はター ン数が多い対話である。ここで，そのような対話 の 1 つとして, $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ をループ状態行動に持 ち，あるターン $t$ 以降これらの状態を順に遷移し 続けるループ対話が考えられる（つまり， $\tau=\left.\{s_{0}\right.$, $\left.\left.a_{0}, \ldots, s_{t-1}, a_{t-1}, s^{0}, a^{0}, \ldots, s^{n-1}, a^{n-1}, s^{0}, a^{0}, \ldots\right.\}\right)$. し たがって，式 (1)を最大化して得られる対話方策の 1 つとして，上述のループ対話の発生を促す対話方策 が考えられる。 $\left(s^{i}, a^{i}\right)$ が 1 対話内に複数回出現する ことから，このような対話方策に従った際の $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる.

上述したループ対話の発生を促す対話方策 $\pi_{\theta}$ を 固定し，式 (2) に基づき報酬関数を推定する場合を 考える。式(2) は以下のように書ける：

$
\max _{\omega} \sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} f_{\omega}(s, a)\left.\{p_{\mathcal{D}}(s, a)-p_{\pi_{\theta}}(s, a)\right.\} .
$

上式において,$p_{\mathcal{D}}(s, a)<p_{\pi_{\theta}}(s, a)$ なら,$f_{\omega}(s, a) \rightarrow$一⿻ である. ここで， $(s, a)$ をループ状態行動 $\left(s^{i}, a^{i}\right)$ とすると， $\pi_{\theta}$ はループ対話の発生を促すという仮定から $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる. よっ $\tau, p_{\mathcal{D}}\left(s^{i}, a^{i}\right)<p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ を満たし, $f_{\omega}\left(s^{i}, a^{i}\right) \rightarrow-\infty$ となると考えられる。したがって，このように更新 された報酬関数を用いて対話方策を更新する場合， $\left(s^{i}, a^{i}\right)$ を含む対話は累積報酬が十分小さくなるこ とから, 対話方策は $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ が 低くなるように学習されると考えられる。つまり， GDPL において敵対的学習はループ対話を抑制する と考えられる。

## 5 考察に対する実験的確認

本章では，4 章における考察に関する実験的確認 を行う，確認する内容は以下である：

・GDPL から敵対的学習を取り除いて学習した対話方策はループ対話の発生を促す。

・GDPL において敵対的学習はループ対話を抑制 する。

・敵対的学習を用いずにループ対話を抑制するよ う報酬を設計した手法と GDPL の性能差.

## 5.1 データセットとシミュレータ

本研究では，データセットとして Multiwoz [21]を 用いる. Multiwoz はマルチドメインタスク指向対話 コーパスで， 7 ドメイン，10,483 対話からなる.

強化学習の環境として，対話ゴールを受け取り確率的なルールに基づいて対話を行うアジェンダベー スユーザシミュレータ [8]を用いた. 対話ゴールは，各ドメインに対する，シミュレータが希望するエン ティティが満たすべき制約（例えば，適度な価格帯 のレストラン）と対話方策から聞く必要がある要求情報（例えば，レストランの住所）から成る.

## 5.2 比較手法

本論文では，以下 2 つの方法でそれぞれ学習した 対話方策を GDPL と比較する：
- GDPL w/o AL: 式 (2) から第 2 項を取り除き学習 した $f_{\omega}$ を固定し， $\hat{r}$ を式 (3) で定め，式 (1)を 目的関数として学習した対話方策.
- GDPL restrict loop: GDPL w/o AL と同様の $f_{\omega}$ を 固定し， $\hat{r}$ を式 (4) で定め，式 (1)を目的関数と して学習した対話方策.

$
\begin{aligned}
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)=\frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \\
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)
\end{aligned}
$

$
= \begin{cases}r_{\text {loop }}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \left(\left(s_{t}, a_{t}\right)\right. \text { is loop } \\ \frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \text { (otherwise) }\end{cases}
$

$r_{\text {loop }}=\min _{\left(s_{t}, a_{t}, s_{t+1}\right) \in \mathcal{D}_{\text {train }} \cup \mathcal{D}_{\text {valid }}}\left.\{-\frac{\left|f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)\right|}{2}\right.\}$ ここで， $\mathcal{D}_{\text {train }}, \mathcal{D}_{\text {valid }}$ はそれぞれ学習，検証データで ある. GDPL w/o AL において，学習を安定させるた めに，報酬関数を 10000 で割っているが割らない場合においても同様の結果を確認した.

GDPL の実装には著者らのコード1)を用いた. $T=40$ とし， モデルのパラメータおよび dialog state, dialog act は文献 [13] と同様とした.

## 5.3 評価指標と評価・学習方法

評価指標として success を用いた. success は recall と match rate がともに 1 なら 1 ，そうでないなら 0 と して定める. recall はシミュレータのゴールで指定

1) https://github.com/truthless11/GDPL

された要求情報と実際に対話方策が伝えた情報を 用いて計算する. match rate は予約されたエンティ ティがシミュレータのゴールで指定された制約と完全に一致していたドメインの割合である.

全データの内，8483 対話を学習， 1000 対話を検証に用いた. シードをランダムに 5 つ変更し，各手法をそれぞれ 50 エポック学習した. ここで， 1 エポックは 1024 対話（つまり，環境との相互作用 1024 セッション）とした. 各手法間でシードは同じ ものを用いた。

各エポック終了時に，ユーザシミュレータとの相互作用により評価用対話を 1000 生成し，それらの 対話に対する評価指標の平均を報告する。評価対話 の生成に用いるシードは全てのエポック，手法で共通とした。

## 5.4 結果と分析

図1 各報酬の与え方に対するループ対話数の推移. GDPL w/o AL は GDPL における報酬関数の目的関数か ら敵対的学習項を取り除いたもの，GDPL restrict loop は GDPL w/o AL においてループ状態行動に対し負の報酬を 与えたものを表す.

図 2 各報酬の与え方に対する success rate の推移. 黒の 横線は GDPL に対する平均値の最大値を表す.評価用対話 1000 対話に対するループ対話数の平均とェ標準偏差を図 1 に示す. GDPL w/o AL にお いて，ループ対話数が増加している。一方，GDPL においてループ対話数は減少している. よって, GDPL において，敵対的学習はループ対話の発生を 抑制すると考えられる。

評価用対話 1000 対話に対する各評価指標の平均 と $\pm$ 標準偏差を図 2 に示す. GDPL および GDPL restrict loop は GDPL w/o AL より良好な性能を示し ている.この結果から，タスク指向対話において， ループを抑制することが対話方策の性能向上に寄与すると推測される. 加えて, GDPL restric loop は GDPL より良好な性能を示している. 10 エポック目以降 GDPL の性能が悪化しているが，これは no-offer で終了する対話が増加していることが要因であっ た. no-offer は dialog-act の値の 1 つであり，ユーザ シミュレータは no-offerを含んだ dialog-actを受け 取った時点で対話を終了する. no-offerにより対話 が終了すると, それ以降で聞くはずであった情報が 聞けず，また，それ以降で予約するはずであったエ ンティティが予約できないため評価指標が低下す る. no-offerを含む対話を学習データから取り除き GDPLを学習したところ, 学習途中で性能が悪化し なかったことから, この現象は敵対的学習のモード 崩壊 [16] であると考えられる。なお，モード崩壊と は, 生成モデルの学習に失敗し出力のバリエーショ ンが限られる現象である. GDPL restrict loop は学習 に敵対的学習を用いていないため，GDPLにおける モード崩壊の問題を回避できていると考えられる。

## 6 結論と将来の展望

本研究では, Guided Dialog Policy Learning (GDPL) において，敵対的学習を用いた報酬関数の推定が対話方策の学習に与える影響の分析を行った. 報酬関数の目的関数を状態行動について書き下すこと で，敵対的学習はループ対話の発生を抑制する効果 を有すると推測された. また，アジェンダベース ユーザシミュレータを用いて，上述の考察の実験的確認を行った. 実験において, 敵対的学習を用い ずにループ対話の発生を抑制するよう報酬を与え た方法は GDPL より良好な性能を示した. 今後の 課題として次を挙げる：アジェンダベース以外の シミュレータ（例えば, Variational Hierarchical User Simulator [9]）を用いた実験的分析および敵対的学習を用いた他手法への本分析の適用可能性の調査.

## 謝辞

本論文の作成にあたりご助力頂きました, 株式会社 AI Shift の友松祐太氏，杉山雅和氏，東佑樹氏，二宮大空氏，戸田隆道氏，株式会社サイバーエージェ ントの邊土名朝飛氏にこの場を借りて厚く御礼申し 上げます.

## 参考文献

[1] Wai-Chung Kwan, Hongru Wang, Huimin Wang, and Kam-Fai Wong. A survey on recent advances and challenges in reinforcement learning methods for task-oriented dialogue policy learning, 2022.

[2] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An opensource toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 142-149, 2020.

[3] Mehdi Fatemi, Layla El Asri, Hannes Schulz, Jing He, and Kaheer Suleman. Policy networks with two-stage training for dialogue systems. In In 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 101-110, 2016.

[4] Baolin Peng, Xiujun Li, Lihong Li, Jianfeng Gao, Asli Celikyilmaz, Sungjin Lee, and Kam-Fai Wong. Composite task-completion dialogue policy learning via hierarchical deep reinforcement learning. In Conference on Empirical Methods in Natural Language Processing, 2017.

[5] Baolin Peng, Xiujun Li, Jianfeng Gao, Jingjing Liu, KamFai Wong, and Shang-Yu Su. Deep dyna-q: Integrating planning for task-completion dialogue policy learning, 2018 .

[6] Huimin Wang, Baolin Peng, and Kam-Fai Wong. Learning efficient dialogue policy from demonstrations through shaping. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 63556365, 2020.

[7] Huimin Wang and Kam-Fai Wong. A collaborative multiagent reinforcement learning framework for dialog action decomposition. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7882-7889, 2021.

[8] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149152, 2007.

[9] Izzeddin Gür, Dilek Hakkani-Tür, Gokhan Tür, and Pararth Shah. User modeling for task oriented dialogues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 900-906, 2018.

[10] Jonathan Ho and Stefano Ermon. Generative adversarial imitation learning. In Advances in Neural Information Processing Systems, 2016.

[11] Justin Fu, Katie Luo, and Sergey Levine. Learning robust rewards with adverserial inverse reinforcement learning. In International Conference on Learning Representations, 2018.

[12] Bing Liu and Ian Lane. Adversarial learning of taskoriented neural dialog models. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 350-359, 2018.

[13] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided dialog policy learning: Reward estimation for multidomain task-oriented dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 100-110, 2019.

[14] Brian D. Ziebart, Andrew Maas, J. Andrew Bagnell, and Anind K. Dey. Maximum entropy inverse reinforcement learning. p. 1433-1438, 2008.

[15] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialogue policy learning without adversarial learning in the loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 23082317, 2020.

[16] Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, and Charles Sutton. Veegan: Reducing mode collapse in gans using implicit variational learning. In Advances in Neural Information Processing Systems, 2017.

[17] J. Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue Discourse, pp. 4-33, 2016.

[18] Sungdong Kim, Sohee Yang, Gyuwan Kim, and SangWoo Lee. Efficient dialogue state tracking by selectively overwriting memory. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 567-582, 2020.

[19] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, pp. 339-374, 2000.

[20] Andrew Y. Ng, Daishi Harada, and Stuart J. Russell. Policy invariance under reward transformations: Theory and application to reward shaping. In Proceedings of the Sixteenth International Conference on Machine Learning, p. 278-287, 1999.

[21] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, 2018.


# メタ学習を用いた少量データからの 中国古代思想家のパーソナライズド対話システムの構築

杜 彬 荻野 正樹
関西大学大学院 総合情報学研究科
\{k661612, ogino\}@kansai-u. ac. jp

## 概要

近年，対話的なアプリケーションにおいて， パー ソナライズドチャットボットの普及が進んでいる. パーソナライズドチャットボットを学習させる場合,質問への回答方法を学習させるためには，大量のチ ヤットデータが必要となる. しかし, このデータの 入手は困難な場合が多い. 特に, 特定人物に対して,歴史上に残ったデータが不足している。 また, パー ソナライズド対話データへの獲得は，手作業による アノテーションが必要な場合が多くて，時間とコス トをかかる. 本研究では, これらの問題点を探り,歴史上に残る僅かな少量の対話データから BERT を 基礎として事前学習 UNILM モデルを実装し，ディー プランニングのメタ学習技術により, ロボットが他 の対話タスクを解く際に過去に学習した知識を利用 することで, 中国古代思想家チャットボットのシス テムを構築する手法を提案する. 実験結果によって， チャットボットの中国古代思想家にパソナライド度,語彙の正確性, 応答の多様性, において提案手法の 有効性が示された。

## 1 はじめに

近年，ソーシャルメディアやインスタントメッセ 一ジのアプリケーションにおいて，チャットボット の普及が進んでいる (図 1).チャットボットは人々 がより簡単にコミュニケーションをとるのを助け，情報やサービスを提供する。言語学習モデルによっ てチャットボットを構成する場合, 学習する人間の 会話データの量と質がチャットボットの会話能力の 決め手となる.

特に，パーソナライズドチャットボットを設計す る場合, その傾向が顕著である. パーソナライズド チャットボットは, そのキャラクターの会話履歴や 嗜好に基づいて学習し, 言葉遣いを改善する必要が ある.しかし, 十分なデータがないと, ボットに十

図 1 パーソナライズドチヤットボット対話システム 分な学習機会が与えられず，結果として個人の言葉 や考え方をうまくモデル化することができない.

この問題に対処するため, 本研究では, メタラー ニングの手法を用いて， パーソナライズドチャット ボットの学習を行う.メタ学習とは, 機械が新しい 課題をより速く学習できるようにすることを目的と した機械学習の手法である[1]. 過去のタスクの大量のデータから新しいタスクの解法を学習するメタ 学習アルゴリズムを用いることで，十分なデータが ないにもかかわらず，よりパーソナライズドされた シミュレーションの学習結果を得ることができると 期待される。

中国古代の思想家の思想は, 中国文化の発展に重要な役割を果たしてきた。古代中国語が複雑な文字体系であることも相まって，言語研究には多くの課題がある。そのひとつが, データの不足である。 中国の古文書は保存状態が様々で，多くの古代思想家 の著作があまり残されていない，また，古代中国の 思想家の著作には, 当時は特定の意味を持っていた ものの，現代ではあまり当てはまらない用語や概念 が多く含まれている. 古代思想家にパーソナライズ ドチャットボットと会話することで, ユーザーが古代言葉の意味をより正確に理解することが期待され る.

本研究では, 残された少ない会話データをもとに, メタラーニングの手法により中国古代思想家として

パーソナライズドされたチャットボットを実現する ことを目指す。このようなチャットボットは古代中国語と思想家の研究問題の解決案の一つの手法とし て活用が期待できる.

## 2 関連研究

メタ学習 (Meta Learning) [2]は, 新しい課題をよ り速く学習することを目的とした機械学習の手法で ある. メタ学習アルゴリズムは, 通常, 過去の多数 のタスクから得たデータを用いて，新しいタスクの 解法を学習する. この手法により, 学習効率を向上 させ，新しい環境でも機械がより良いパフォーマン スを発揮できるようになる。一般的なメタ学習アル ゴリズムには, モデル共有, 学習ストラテジー, マ ルチタスク学習などがある.

(1)モデル共有は, 複数の課題を解決するために共通のモデルを用いるメタ学習アプローチである. モ デル共有は, 通常, モデルのパラメータを調整する ことで新しいタスクに適応させるパラメトリックモ デルを使用する.

(2)学習ストラテジーも，学習アルゴリズムを用い て複数の課題を解決するメタ学習手法として一般的 なものである. MAML (Model-Agnostic Meta-Learning) [3], Reptile[4]など, 学習ストラテジーの具体的な実装方法は存在する。

(3)マルチタスク学習も, 複数の課題を同時に解決 するメタ学習手法の一つである. マルチタスク学習法は, 一般的にニューラルネットワークを用い, 複数のタスク間で情報を共有することで学習効率を向上させる.

最近, MAML を自然言語処理の文章生成に適用し，低リソース環境において, 少ない学習例で新しい夕 スクでの文章を生成する手法が提案されている[5]. MAML は, モデルが新しいタスクに素早く適応でき るように，勾配降下アルゴリズムを用いてモデルの パラメータを調整する. 通常, 少量のサンプルデー 夕を使用してモデルを学習するため, 大量のデータ がない場合でも良い結果を得ることが可能である.

MAML $の$ 利点は, 新しいタスクに素早く適応できる ことと，必要なデータが少ないことである.

本研究では, MAML を使って少量学習データから の対話システムを構築した。

## 3 提案手法

現代中国語の対話データをソース会話データとし
て，初期の会話タスクのモデルを作成. 少量の中国古代対話データを用いて，対話システムの作成の方法をモデルに学習させために，パーソナライズドチ ヤットボットの応答スタイルに素早く適応できる対話モデルの初期パラメータを学習することを MAML の目標タスクとして設定する。

言語モデルは BERT[6]を基礎として発展した UNILM (Unified Language Model Pre-training) [7]とい うモデル事前学習方法を用いている. UNILM は，は 多層 Transformer ネットワーク, 事前学習によって自然言語処理タスクのパフォーマンスを向上させるよ うに設計された。言語モデルの事前学習では，大量 のテキストデータを使って言語モデルを事前学習し， そのモデルを他の自然言語処理タスクに使用する。

図 2 UNILM $の$ Seq2seqLM 概要図

UNILM モデルは, マルチタスク学習の概念に基づ き，複数の自然言語処理タスクに同時に対応するも のである. UNILM の事前学習は言語モデリングの単方向 LM, 双方向 LM, Seq2seqLM（図 2）に共有 Transformer ネットワークが最適化された. 予測され る単語の文脈情報を異なるものにするために，異な

る Attention マスクを使用した。このアプローチによ り，UNILM は言語の文脈情報をよりよく捉え，複数 のタスクを解く際によりよいパフォーマンスを発揮 することができる. UNIML モデルを基本的な対話シ ステムとして, パラメータ学習に MAML を用いる.

MAML では現代中国語の対話データをソースデー タとして, 初期の個別タスクの基本モデルを作成. モデル初期化パラメータをゆとし, $\mathrm{n}$ 番目のテスト文字で学習した後のモデルパラメータを $\hat{\theta}^{n}$ と定義し,全損失関数を以下のように定義する.

$
L(\varnothing)=\sum_{n=1}^{N} l^{n}\left(\hat{\theta}^{n}\right)
$

初期化パラメータの更新は：

$
\varnothing \leftarrow \varnothing-\eta \nabla_{\varnothing} L(\varnothing)
$

図 3 システムパラメータの更新初期化時のソース会話データを用いて, タスクご とに対話モデル全体の微調整を行い，目標モジュー ルのパラメータに L-1 正則化を追加します.ここで の L-1 正則化の目的は，パラメータを疎にし，タス ク固有の文の生成に有益なパラメータのみをアクテ イブにすることである. 初期化されたパラメータが 更新された後, メタ学習時のパラメータは, 学習タ スクの各ステップを通じてより強い汎化能力を持つ ようになる。 MAML を利用してパラメータの更新 は図 3 に示す。

## 4 実験

## 4.1 データ

メタ学習のソースデータとして, 既存のオープン ソースの中国語対話データセットを使用した. KdConv[8], 知識領域の会話が含まれる. CrossWOZ[9], 会話の種類や, ユーザーの会話状態の 注記も含まれる. DoubanCorpus[10], 複数ラウンドの 日常会話を含まれる.

目標のデータセットは低リソースの古代中国の年代順に分類された古代中国思想家の中短編文章集,例えば論語, 老子, 戦国策, 孫子兵法などを使用す る, その中でおよそ半分は対話データ, 半分は独白 データとみられる. 古代中国語データを Classical と 表記する.

データの会話文数は表 1 に示す. 現代中国語と古代中国語の両方に, Jiayan というパッケージを使っ て漢字の文をトークン化した. メタ学習のトレーニ ングセットとテストセットの比率は $9: 1$ である.

## 4.2 実験設定

モデルは UNILM をベースに実装し，対話ロボッ トの表現を使用するように改良した。一般化するこ とを確認するために，さまざまなメタ学習のパラメ ータで学習を行なった. 本研究で学習率 $2 \mathrm{e}-5$, バ ッチサイズ 32, ドロップアウトが 0.1 , 重み減衰が 0.0001 , 最大 seq 長さ 128 に固定し, 事前に学習し た中国語モデルを用いて学習を行った。事前学習モ デルは epoch（学習回数）を 10 になった，結果を記録する。ソースタスクの選択の効果を調査するため に, 様々な会話データセットを用いてメタ学習する.各エピソードでは, デフォルトでは, Adamの単一勾配ステップを用いて，メタ勾配を計算するための計算を行っている.

## 4.3 評価手法

本実験で生成応答に対し, 自動評価および人手評価を行う。モデルについて，すべての訓練タスクの データを用いて統一的な対話生成モデルを事前学習 し, その後, テストタスクで直接テストする。 ベー スとなる生成モデル Seq2seq を試した. 各テストタ スクで事前学習を微調整 Finetune して, モデル Seq2seq-F と表記する.コンプリートモデルに対して MAML アルゴリズムを適用し, MAML と表記する.

自動評価指標としては，応答の流暢度を測定する PPL，参照応答との類似度を測定する BLEU[11], 応答の多様性を測定する dist-1[12].

人手評価では古文を読むことができる大学卒業生 3 名を招きた. 各モデルで作成された応答が混ぜ合 わられて採点された. 各応答を正確さ, 流暢さとパ ーソナライズド度 3 つの尺度で独立して採点する。評価範囲は $0 \sim 2$ で, 回答の適切さを測り, 2 を合格 とする，0 は無関係な内容である

正確さ：ロボットが質問に答える際に使用する言葉に，よく使う古代中国語を参照語彙と比較し， 口 ボットが使った語彙のうち，いくつが正しいかを評
価する.

流暢さ : ボットがいかにうまく会話に入り込むか を測定するために，流暢さを評価する。

パーソナ度 : ロボットが質問に答える際に, ど の程度パーソナライズされているかを測定するため に，ボットが応答する際に使用した中国古代思想家 の言葉っぽいかと評価する。

## 5 実験結果

## 5.1 自動評価

モデルの性能は表 2 に自動評価による結果を示す.表 2 自動評価の結果

自動評価の結果によって Finetune の Seq2seq-F は Seq2seq 法より優れている. MAML 法は BLEU ス コアでは Finetune 法に及ばないが，Dist-1 スコアは 比較的高い值を示した. このことから, MAML は 応答の多様性を向上させるのに役立つことが表現さ れた. BLEU の類似度指標は, 生成された応答と参照応答の類似度を比較することを指す。これは， Finetune 法に生成された応答が参照応答との類似度 が高ければ，より朵長性が高いと考えられる。

## 5.2 人手評価

モデルの性能は表 3 に人手評価による結果を示す.表 3 人手評価の結果

異なる学習方法を用いたチャットロボットを比較 した結果, MAML 技術を用いたロボットの方が, 質問に答える際の語彙の正確さが高いことがわかた. これは, メタ学習技術により, ロボットが他のタス クを解く際に過去に学習した知識を利用することで， タスクを解く際に適切な語彙をよりよく選択できる ようになるためと考えられる。また， パーソナライ ズ度を比べて，MAML の性能が高いことがわかる。
この結果から，現在の対話に関連したパーソナライ ズ情報が，応答生成に有用な情報を与えていると考 えられる。

## 5.3 考察

対話システムで現代中国語の対話内容に対して，生成された回答は古代中国語で, 応答の多様性が高 くて, 対話内容との関連で文字通り理解できる程度 であった. しかし, 期待されたレベルに達していな い会話要素も多く見受けられた。たとえば，「毎年七月三十九日」といって時間を答えるという常識の 誤りがあった. また, 経営, 会計, 博士など古今で 意味が変化した漢字の知識も正確さに欠ける. 最後 に, 古代中国語は少ない単語で意味を伝える傾向が あるため, 生成される対話コンテンツは長さが短く なりがちで, 判断文形式の頻度が高い。例えば，そ れはできない，これはいい，それは聞いていない， などである（表 4）。

表 4 古代思想家対話システムの対話案例の一つ

結果を改善するため, いくつかの課題があること を認識した。まず，より性能がいいパーソナライズ ドチャットボットを学習させるためには，高品質な データを使用する必要がある。 さらに, 適切な夕ス クを制定して，学習処理の有効性を上がる必要があ る.また，モデルの汎化能力にも注目する必要があ る. メタ学習技術を用いてパーソナライズドチャッ トボットを訓練する場合，モデルが新しいタスクで より良いパフォーマンスを達成できるようにする必要がある。

## 6 おわりに

本稿では，メタ学習を使用して，少量の対話デー タでパーソナライズド中国古代思想家チャットボッ トの対話システムを提案した. 今後は, 続けて研究 を通じて，機械学習に不可欠なデータ問題に向けた 新しいアイデアや方法を提供したいと考えている.

## 参考文献

[1] Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He.2018.Natural language to structured query generation via metalearning.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 732-738.Association for Computational Linguistics.

[2] Tom Schaul and Juergen Schmidhuber.2010. Metalearning.Scholarpedia, 5(6):4650.

[3] Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017.Model-agnostic meta-learning for fast adaptation of deep networks.In ICML, pages 11261135

[4] Alex Nichol, Joshua Achiam, John Schulman.2018. On First-Order Meta-Learning Algorithms.arXiv preprint arXiv: 1803.02999

[5] Fei Mi, Minlie Huang, Jiyong Zhang, and Boi Faltings. 2019.Meta-learning for low-resource natural language generation in task-oriented dialogue systems . In IJCAI, pages 3151-3157

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding . arXiv preprint arXiv:1810.04805

[7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu,Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon.2019.Unified language model pre-training for natural language understanding and generation.InH.Wallach,H.Larochelle,A.Beygelzim er, F.d'Alché-Buc, E.Fox, and R.Garnett, editors,
Proc.of NeurIPS, Vol.32, pp.13063-13075.Curran Associates, Inc

[8] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, Xiaoyan Zhu.2020. KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation.arXiv preprint arXiv: 2004.04100

[9] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, Minlie Huang.2020.CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset.arXiv preprint arXiv: 2002.11893

[10] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li.2016.Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots.arXiv preprint arXiv: 1612.01627

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. July 2002.Bleu: a method for automatic evaluation of machine translation.In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311318, Philadelphia, Pennsylvania, USA, Association for Computational Linguistics

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. June 2016.A diversitypromoting objective function for neural conversation models.In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.110-119, San Diego, California, Association for Computational Linguistics


# 視覚情報を用いたタスク指向型対話における 人間の応答に対する間違い指摘の検討

大島遼祐 ${ }^{1}$ 品川政太朗 2 綱島秀樹 3 森島繁生 4
1 早稲田大学 先進理工学部 2 奈良先端科学技術大学院大学 先端科学技術研究科
${ }^{3}$ 早稲田大学 先進理工学研究科 4 早稲田大学 理工学術院総合研究所
ryosukeoshima@fuji.waseda.jp sei.shinagawa@is.naist.jp
h.tsunashima@asagi.waseda.jp shigeo@waseda.jp

## 概要

視覚を持つ対話システムが実世界応用される際，対話相手である人間のミスが原因でタスクが失敗 する場合があり，システムには失敗を避けるために 人間を支援することが求められる。そこで本研究で は，視覚情報を用いたタスク指向型対話の一つであ る Guess What?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考 える. 人間が応答に間違えたデータの収集・分析を 行い，間違い指摘モデルの正確性向上への有効的な 学習方法と入力の検証を行った. 実験の結果から,人工的なデータセットによる事前学習と, 応答時刻・質問タイプを加えるという二つが間違い指摘の 正確性向上に部分的に寄与する事が分かった. ${ }^{1)}$

## 1 はじめに

近年，テキスト情報だけでなく，視覚情報も考慮 してチャット形式の対話行うタスクである Visual Dialogue の研究が盛んである [1-4]. 特に, Guess What?! [2]（図 1）は二人で協力して行うゲームと なっており，一方 (Oracle) が参照している画像内の 物体 (以下，正解物体) を，もう一方 (Questioner) が 質問応答を繰り返すことにより推測するという，タ スク指向型対話になっている.

Guess What?!を始めとして, 現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するも う一方の応答は，質問への応答として常に正しい事 が前提になっている [4-7]. しかし, 現実の対話で は，Oracle 側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある。

そこで，本研究では Questioner を対話エージェン
発表した内容と同一の内容を一部含みます.

Questioner

1. Is it a donut?

2. Is it coated with green?

3. A complete donut?

図 1 Guess What?!ゲームの一例. 正解物体は水色枠に囲 われている.この例では，2番目の応答が間違いである。

トが，Oracleを人間が担当する場面を考え，人間が エージェントの質問に対する応答を間違えた場合 に，エージェントがミスを指摘するといった新しい 問題を提案する. 既存研究 [8] でも本研究と同じく,対話相手の応答が間違える場合の重要性を指摘して いるが，こちらは対話相手がタスクを失敗させよう と非協力的にわざと不適切に応答している状況下 で，非協力的であることに気づくという問題設定で ある. 本研究は，対話相手が協力的にも関わらず応答に間違えてしまう状況を想定し，実際に間違いの 応答を指摘するという点で異なる。

人間の応答ミスの指摘は，いつ指摘するかという 視点から大きく 3 つに分けられると考えられる.

1. 対話中に人間の応答ミスに気づき指摘する. 応答ミスによりタスクが失敗の方向に向かってい たが，エージェントがミスに気づき指摘する.

2. 物体の推測に失敗してしまった後に，人間の応答のミスに気づき指摘する. 失敗で終わらせず そこから復帰して，物体の推測を成功させよう というものである.

3. 物体の推測に失敗してしまった後に，人間から 正解物体をエージェントが教えられ，それに基 づいて人間の応答のミスに気づき指摘する。

本研究では，対話相手である人間の応答の間違い を指摘できるようになるための第一歩として， 3 番 の問題設定を考える。この問題設定は，最も容易で あるが，次に全く同じようなタスク指向型対話を 行った際に先ほどの教訓を活かして, 自分の応答に より注意を払うことができるようになり，人間の応答ミスによるタスク失敗の数を減らせるようになる ことが期待できると考える。

本研究では，人間の応答ミスの指摘モデルに望ま しい性質とは何か検証するため, まず人間が応答に ミスをしたデータの収集と分析を行い，続いてその 分析に基づいて，収集したデータから得られる知見 の有効性を実験により検証する。なお，間違い指摘 の問題設定において学習データが少ないという問題 があるため，少ないデータでミスの指摘をより可能 にする人工的なデータセットによる事前学習方法を 提案し，その有効性についても併せて検証する.

## 2 人間の応答ミスの収集と分析

Guess What?!データセット [2] には人間同士によ る対話ゲームの結果が収録されている (約 15 万対話, 82 万個の質問応答ペア, 6.6 万個の画像).また, Questioner が正解物体の予測に成功したもの「status $=$ Success $\lrcorner$, 失敗したもの「status $=$ Failure $\lrcorner$, 途中で 諦めたのもの「status = Incomplete」の 3 つのラベル 付けされている.

## 2.1 応答ミスの含まれるデータの収集

本研究では，実際に人間が Guess What?!ゲームに おいて応答に間違えたデータを集めた (以下，手動 データセット). 具体的には「status = Failure」のラベ ル付けがされたデータセットから 2,300 対話をラン ダムにサンプリングし，人間の応答にミスがないか 手動でチェックすることで構築した. 構築の際，正解物体の大きさが小さすぎるもの，同一の対話に応答ミスが 3 つ以上含まれるものは除外した. ミスが 3 つ以上のものを除外したのは，人間 (Oracle) が最初から適当に答えている可能性が高いと判断したた

図 2 応答時刻と応答ミスの関係性のヒストグラム. 横軸 の数値は正規化されている.

表 1 時刻と応答ミスの関係

めである. その結果， 365 対話からなる応答に間違 いが含まれる手動データセットを構築することがで きた.

## 2.2 応答ミスの含まれるデータの分析

まず，本研究では人間の応答ミスの特徴を見る ために，手動データセットに関して分析を行った.具体的にはデータ収集の際，時刻によって応答を 間違える頻度が異なる印象を受けたため，応答時刻と応答ミスの関係性の分析（2.2.1 項）を行った. また [9,10]において, Oralce モデルが質問タイプに よって応答の正答率が異なることが言及されてるた め，質問タイプと応答ミスの関係性（2.2.2 項）につ いても分析を行った.

## 2.2.1 応答時刻と応答ミスの関係性

図 2 亿応答時刻と応答の間違いの関係性のグラフ を示す. 図 2 の横軸は，以下の計算に基づいて正規化されている.

$
\text { 横軸 }=\frac{\text { 応答時刻 }}{\text { 対話の長さ }}
$

図 2 より，人間の応答ミスは対話の後半部分にいく につれ，多くなっていることがわかる．また，表 1 に最終時刻に応答ミスをしている数と，最終時刻以外に応答ミスをしている数を表す。表 1 から，人間 は最終時刻の応答を間違えやすい傾向にあることが わかる. 図 2 と表 1 のような結果が得られたのは,対話が後半になるほど，細かく物体を識別し正解物体を当てるために，より複雑な質問（例："Is it the man left side from the man wearing a red hat?") が多く なるためであると考えられる.

## 2.2.2 質問タイプと応答ミスの関係性

図 3 各質問タイプにおける間違いの割合. S-category は，Super-category タイプのことを表す.

図 3 に質問タイプと応答ミスの関係性のグラフ を示す。質問タイプのラベル付けは, [9,10] に倣い, キーワードマッチング方式2)で行った。質問はそれ ぞれ, Object (“is it a car?”), Spatial (“on the right side half?"), Color ("is it white?"), Action ("are they wearing jeans?”), Size(“a small one?”), Super-category ("is the object an electronic?"), Texture ("is it made of metal?"), Shape ("is it a round container?") , Others $の 9$ 種類に 分類されている。ここで，括弧内は各質問タイプの 例文である. 図 3 からわかるように, 人間は Spatial, Color, Action, Size のいずれかに分類される質問に 対して，間違えやすいことがわかった. 以上の分析 から，Guess What?!における人間の応答は，応答時刻と質問タイプによって間違えやすい傾向が異なる ことがわかった.

## 3 実験

本研究では，2種類の実験を行った. 1 つ目は，手動データセットの大きさが小規模である問題点に 対し，提案する事前学習方法が有効か検証する実験 （以下，実験 1）である．2つ目は間違い指摘をより 正確に行うには何の入力が重要かを検証する実験 （以下，実験 2）である．2 章で得られた人間の応答 の間違いの傾向が，どのように間違い指摘モデルの 精度向上に寄与するか検証した。

比較モデル 本実験は，学習方法とモデルの入力 を検証する実験のため，実験 1 と実験 2 における比較モデルとして，図 4 のような非常にシンプルなモ デルを構築した. 具体的には, Guess What?! [2] で提案された Oracle モデルに, 間違い指摘のための分類 ヘッドを追加し，モデルの出力に対し閾値を 0.5 と

2）対象の単語が含まれる場合に，特定の質問タイプに分類す る方式. “left'が含まれている質問は Spatial に分類される.

図 4 比較モデルの概要図

表 2 各データセットの利用方法

して，応答が\{間違っているか，合っているか\}を 2 值分類 3 )する.

データセット 手動データセットが小規模である 問題点に対し，「staus = Success」のラベル付けされ たデータセットを用いて，新しく人エデータセッ トを構築した。具体的には，人間の応答の「Yes」 と「No」をランダムに反転することで，人工的に間違いのある応答を作りだし，約 11 万対話の規模の データセットとした.

本実験では上記の人工データセットに加え, Guess What?!データセット [2], 手動データセットを含め た 3 種類のデータセットを用いた. これらデータ セットの利用方法を表 2 に示す. Guess What?!，人 エデータセットは事前学習に，手動データセット は，fine-tuning 時と評価に用いた. 手動データセッ トは，訓練時と同じ画像で構成される seen データ セットと異なる画像で構成される unseen データセッ トに分割した. さらに， seen データセットに関して は fine-tuning 用と評価用に分割した. unseen データ セットは全て評価に用いた。ここで，評価時に用い た seen, unseen データセットは共に，対話テキスト に関しては未知のものである.

本手法では，あえて対話履歴をモデルの入力とし て加えていない。この理由は，人工データセットに 生じる不自然な対話の流れ（付録 A）をモデルが学習することを避けるためであり，本研究における提案手法の一つである人工データセットを用いる上で のモデルへの制約だといえる.

評価指標 間違い指摘の分類性能の評価には， $\mathrm{F}$值を用いた（再現率，適合率は付録 Dを参照).こ の評価指標を用いたのは，人間は応答ミスをあまり せず，テストデータセットは正例数が負例数よりも 少ない不均衡データセットであるためである.

## 3.1 各実験の詳細

実験 1 人間が応答で間違えたデータが少ないと いう問題に対処するため，人工データセットによる 事前学習の有効性の検証実験を行った. 具体的に は，1) 手動データセットのみの学習方法，2) Guess What?!データセットを用いて Oracle モデルとして 学習した後に, 手動データセットによる分類へッ ドの学習 (転移学習) を行う学習方法，3) 人工デー タセットで事前学習し手動データセットを用いて fine-tuning する学習方法の 3 つを比較した.

ここで，人間は応答ミスをあまりしないため，手動データセットは正例の数が負例の数よりも少な い不均衡データセットになっている. したがって, fine-tuning 用の手動データセットは，正例と負例の 数が等しくなるようにオーバーサンプリングした.

実験 22 章の分析結果が人間の応答ミスに対す る指摘の正確性を向上に繋がるかを検証した. 具体的には，応答時刻と質問タイプをそれぞれ新しく入力に加えるモデル（付録 C）を構築し，各モデルの 間違い指摘性能を比較する. その際 fine-tuning 時に 用いるサンプルは，各質問タイプの数が同じになる ようにオーバーサンプリングした.

## 4 実験結果

実験 1 の結果を表 3 に示す. 人工データセットで 事前学習する方法が最も良い $\mathrm{F}$ 値が得られ, 有効的 な学習方法であることがわかる.

実験 2 の結果を表 4 に示す. モデルの構造が事前学習段階から異なるため, 事前学習のみの結果も記載している. 次に，応答時刻を入力に追加したモデ ルにおける，最終時刻の応答とそれ以外の応答での 比較の結果を表 5 に示す.

表 4 から， seen においては追加する入力がないモ表 3 各学習方法における間違い指摘の $\mathrm{F}$ 値比較

表 5 最終時刻の応答と最終時刻以外における応答の モデルの $\mathrm{F}$ 值比較

デルが一番良く，unseen においては応答時刻，質問 タイプのどちらを加えても良い結果となった。ま た, 表 5 より, unseenに対して, 最終時刻以外の応答に対する $\mathrm{F}$ 值を下げることなく, 最終時刻の応答 に対する $\mathrm{F}$ 值を上げることができた。

これらの結果から, seen は既知の画像であるた め，視覚情報を上手く捉えることができ，新しい入力がかえってモデルに不必要な複雑さを与えてしま い，F 值が下がったと考えられる。 unseen では視覚情報を上手く捉えることができず，質問タイプが良 いヒントになったと考えられる。また，応答時刻に 関してもデータの分布をただ学習するのではなく，良いヒントとしてモデルが利用できていることが示唆される。

## 5 おわりに

本研究では, Guess What?!における人間の応答に 含まれる間違いの指摘において，人工データセット による事前学習が有効であること，応答時刻・質問 タイプの追加入力がモデルの精度向上に部分的に貢献することが示唆された. 本研究は Guess What?!と いう限られたドメインにおける間違い指摘のみを 扱ったため, 今後の展望として, 本研究で得られた 知見を他の種類の視覚情報を用いたタスク指向型対話に対しても検証することを考えている.

## 謝辞

本研究は JSPS 科研費 (19H04137，21H05054, 21K17806) の助成を受けたものです.

## 参考文献

[1] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In CVPR, 2017.

[2] Harm de Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. Guesswhat?! visual object discovery through multi-modal dialogue. In CVPR, 2017.

[3] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. Simmc 2.0: A task-oriented dia$\log$ dataset for immersive multimodal conversations. In EMNLP, 2021.

[4] Abhishek Das, Satwik Kottur, Stefan Lee José M. F. Moura, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[5] Abhishek Das, Satwik Kottur, José M.F. Moura, Stefan Lee, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[6] Tao Tu, Qing Ping, Govind Thattai, Gokhan Tur, and Prem Natarajan. Learning better visual dialog agents with pretrained visual-linguistic representation. In CVPR, 2021.

[7] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, 2021.

[8] "Anthony Sicilia, Tristan Maidment, Pat Healy, and Malihe Alikhani". Modeling non-cooperative dialogue: Theoretical and empirical insights. arXiv preprint arXiv:2207.07255, 2022.

[9] Alberto Testoni, Claudio Greco, Tobias Bianchi, Mauricio Mazuecos, Agata Marcante, Luciana Benotti, and Raffaella Bernardi. They are not all alike: Answering different spatial questions requires different grounding strategies. In SpLU, 2020.

[10] Ravi Shekhar, Aashish Venkatesh, Tim Baumgärtner, Elia Bruni, Barbara Plank, Raffaella Bernardi, and Raquel Fernández. Beyond task success: A closer look at jointly learning to see, ask, and guesswhat. In NAACL, 2019.

## A 対話の流れが不自然になる例

図 5 人工データセットにおける対話の流れが不自然にな る例. 1 番目の応答が反転により間違いとなっている.

図 5 は，時刻 1 で「食べ物」であることが確定し ているのにも関わらず，時刻 2 で「Is it a plate?」と 聞くような不自然な対話の流れになっている. 実際 の対話の場合，「Is it a banana?」などといった食べ物 に関する質問が続くはずである.

## B 不均衡データにおける評価指標

正例（陽性）の割合が少ないテストデータにおい て, 正解率（= 正解数 / サンプル数）は適切に評価 できない. 理由は，モデルが単純にサンプル数の多 い負例を予測するように学習すれば，全く正例を予測できないにも関わらず，高い正解率を誇る良いモ デルとして評価されてしまうためである。そこで，不均衡データにおける評価指標の一つとして再現率・適合率により定義される $\mathrm{F}$ 值がある．真陽性 (陽性ラベルを正しく陽性と予測)，真陰性（陰性ラ ベルを正しく陰性と予測), 偽陽性（陰性ラベルを 誤って陽性と予測), 偽陰性（陽性ラベルを誤って 陰性と予測）として，再現率・適合率は以下で計算 される.

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陰性数 }} \\
& \text { 適合率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陽性数 }}
\end{aligned}
$

正例（陽性）の割合が少ないテストデータにおい て，モデルが単純に「正例」と多く予測するように 学習すれば再現率は高く適合率は低くなり, 反対に 「負例」と多く予測するように学習すれば適合率は 高くなり再現率は低くなる.このようなモデルを適切に低く評価するために, 再現率と適合値の調和平均を取った F 值がある。

$
F \text { 值 }=2 \times \frac{\text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## ） 実験 2 における追加入力モデル

実験 2 で用いた，質問タイプと応答時刻を新しく 入力として加えたモデルの概要図を，図 6,7 にそ れぞれ示す.

図 6 質問タイプを入力に新しく加えたモデル

図 7 応答時刻を入力に新しく加えたモデル

## D 実験結果の補足

実験 1，2 の再現率・適合率の結果をそれぞれ表 6,7 に示す.

表 6 各学習方法における, 間違い指摘の精度比較

表 7 モデルの追加入力の $\mathrm{F}$ 值結果


# ツイートテキストデータによるリツイート数予測とその要因分析

増川哲太 ${ }^{1}$ 雨宮正弥 ${ }^{1}$ 仲田明良 ${ }^{1}$ 高須遼 $^{2}$ 狩野芳伸 ${ }^{1,2}$
1 静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
${ }_{1}^{1,2}\{$ tmasukawa, mamemiya, anakada, rtakasu, kano $\}$ kanolab. net

## 概要

SNS 投稿が社会に及ぼす影響は、人々の行動を左右するまでに大きくなった. Twitter に投稿されたツ イートの影響を測る指標の一つはリツイート数であ る. 本研究では投稿テキストのみからリツイート数 の予測を試みた。結果、リツイート数が十分に多い 場合、フォロワー数の貢献は低くテキストのみで予測可能であることを示したうえ、我々が大規模ツイ ートデータで事前学習した RoBERTa が他のモデル より良く、対数正規化したリッイート数に対し絶対平均パーセント誤差で 0.602 の予測性能であった. ツイート文中の各文節の予測への貢献度合いを分析 し、「バズる」ツイートの傾向について示唆を得た。

## 1 はじめに

現代社会において、ソーシャルネットワーキング サービス(Social Networking Service、以下 SNS)は我々 の生活に深く根付いており、経済から政治まで様々 な分野に世界的な影響を及ぼしている。行政機関か ら企業、一個人に至るまでの多様な情報の発信にお いて、SNS を使用することは今やスタンダードなも のとなっている.そのような SNS の中でも、Twitter ${ }^{\mathrm{i}}$ は活発にテキストの投稿が行われていると同時に、 データ取得 API が公開されており、膨大なデータを 収集分析することができる.

Twitter ではリツイート機能により対象のツイー ト（投稿）をフォロワー全員と共有できるため、リ ツイートは情報の拡散において重要な要素である。先行研究の多くはフォロワー数、フォロー数、いい 氶数や文長といった数値的特徴のみを用いてリツイ 一ト数の予測を行っているが、投稿内容を無視した 予測は不正確な可能性が高い. ツイート本文の言語的特徴からリツイート数を予測し、どのような文章 が拡散されやすいかの分析ができれば、予測性能向上のみならずツイートがどのような社会的影響をも ちうるかの分析が可能になる.

そこで本研究では、投稿テキストの特徴量を用い たリツイート数の予測を行った. 予測には我々が大規模ツイートデータで事前学習した JTweetRoBERTa をファインチューニングして使用 しほかの事前学習モデルと比較したところ、最も良 い性能を得た. また、フォロワー数の影響も比較し た結果、リツイート数が十分に多い場合、投稿テキ ストのみほうがよい性能を得ることができた。 さら に文節の Ablation Study により、リツイート予測値 を決定づける要因を分析した。

## 2 関連研究

Sharma ら(2022)[1]は、人間のリツイート行動パタ ーンを把握するために、文字数や単語数などツイー トの本文の数値的特徴と、フォロワー数やフォロー 数などのユーザープロフィールの数值的特徴からリ ツイート数の予測を行った. これら数値的特徴量を 組み合わせた新たな特徴量を提案して、リツイート の予測を行った。

Liu ら (2014)[2]は中国の Twitter に似た SNS である Weiboilについて、同様のユーザープロフィールや投稿に関する情報を用いてリツイート数を予測した。訓練データをリツイート数でいくつかのクラスに分割した後、テキストとユーザーに関する数値的特峌量とクラスラベルを用い、クラス分類タスクとして 学習、推測した。

こうした数値的特徴を用いてリツイート数の予測 を行う手法では、ユーザーの思考や興味を反映させ た予測できているとはいえない. Twitter ユーザーの 思考がもっとも強く映し出されているのはツイート テキストそのものであり、それを用いることでより リツイート数をより正確に予測できると期待する.

Zhang ら(2016)[3]はユーザーのツイートを類似し

ii https://m.weibo.cn/

た単語やトピックでクラスタリングし、それらの注目度と現在のツイートの類似度やツイートの文脈情報、その他特徴量を学習させ、ある特定のツイート をリツイートする可能性を予測している. Wang ら (2020)[4]は Weibo から大量のデータを収集し、ユー ザーの投稿本文、プロフィール、ユーザー間のネッ トワーク情報のベクトルをつなぎ合わせて分類する ことで、ある投稿をリツイートするかどうかの予測 を行っている.これらの先行研究では、Twitter ユー ザーの興味・関心を言語特徴やその他特徴を用いて 取り込んでいるが、ユーザー個別のリツイート行動 を予測することが目的であり、本研究の目的である リツイート数の予測とは異なる。

## 3 提案手法とデータセット

本研究では、我々が独自に 6 億件の日本語ツイー 卜で RoBERTa-base を事前学習した JTweetRoBERTa[5]の利用を提案手法として、東北大学が公開している Wikipedia で事前学習した日本語 BERT[6]の BERT-baseiii，同 BERT-large ${ }^{\mathrm{iv}}$ 、rinna 社の提供する Wikipedia および cc100 で事前学習し たRoBERTa[7]の三つを比較対象として用いた.

これら事前学習済みモデルに対して、以下で説明 する Twitter データセットによるファインチューニ ングを行った. 具体的には、BERT の最終層に回帰分析用の全結合層を追加してファインチューニング を行った. ファインチューニングの各種パラメータ 設定は、付録 $\mathrm{A} 1$ に記載する.

「インフルエンサー」であること自体がリツイー 卜数に影響を及ぼす可能性を分析するために、対象 ツイートを発信したアカウントのフォロワー数のみ での予測と、JTweetRoBERTa の最終全結合層にフ オロワー数も入力した場合の予測を行った.

さらに、ツイートのどの文節がリツイート予測に 重要かの Ablation Study による要因分析を行った.

## 3.1 ファインチューンの変数と損失関数

ファインチューニング時の正解となるリツイート 数 $\boldsymbol{r}$ に幅があり学習が難しくなってしまうため、 $\boldsymbol{x}$ $=\log _{2}(r+1)$ と正規化した值 $\boldsymbol{x}$ を用いた. 以下 $\boldsymbol{x}$ を 対数正規化リツイート数と呼ぶ.

リツイート数のスケールの幅が大きいため、誤差 を比率で表現する損失関数も検討したが、正解値と 予測値によっては簡単に小さい値になりやすくモデ ルの最適化には向かない、そのためモデル学習時の 損失関数としては平均絶対誤差を採用した。

## 3. 2 Twitter データセット

本研究で使用したデータは、Twitter API $\mathrm{v} 2 \mathrm{v}$ の Academic Research アクセスにより取得した. ツイー ト本文がリツイート数にどのくらい影響を及ぼすの かをテキストに焦点をおいて分析するため、リプラ イ、引用リツイート、画像・動画を含むツイートは 除外した．URL や絵文字は削除した。

リツイート数の少ない投稿ほど頻度が高いが、対象投稿のリツイート数が十分に多くないと統計的な 予測が難しい，特にリツイートのない投稿はその理由に特殊な要因が考えられるため、すべて除外した。

ファインチューニング用データセット 日本語 ひらがな五十音を含むツイートを、制限を設けずタ イムライン上から収集するランダムサンプリングで、投稿期間は 2022 年 1 月 1 日 2022 年 10 月 31 日であ る.しかしこの方法のみでは、リツイート数が多い ツイートを十分に取得することが困難だった。その ため、リツイート数が多かった投稿をまとめてさら にリツイートしているアカウントをいくつか収集し、 そこでリツイートされた投稿をすべて収集したもの （以下「まとめアカウントデータ」と呼ぶ）を加え、 リツイート数の多い投稿を補強したものをファイン チューニングに用いた.ただし、ひらがなないしカ タカナが一文字もないツイートは除外した。これら

図 1 ファインチューニング用データセットの リツイート数毎の頻度分布
^{v}$ https://developer.twitter.com/en/docs/twitter-api
}

フィルタ後のリツイート数の分布を図 1 に示す（リ

ツイート数 0 の投稿数も参考に残した）。

要因分析用データセット上記のまとめアカウ ントデータのみを用いた. ファインチューニング時 に用いたツイートと重複するものは除外した。

表 1 にファインチューニング用と要因分析用のデ ータセットの統計を示す.

表 1 各データセットの統計情報

## 4 実験設定と評価

評価に用いた指標は、平均二乗誤差(MSE)、二乗平均平方根誤差(RMSE)、平均絶対誤差(MAE)、平均絶対パーセント誤差(MAPE)、決定係数 $\left(\mathrm{R}^{2}\right)$ 、相関係数 (r)の 6 つである. 評価指標の詳細については付録 A2 に記載する。

## 4. 1 訓練時のデータ分割と評価結果

前章で述べたファインチューニング用データセッ 卜を訓練・検証・評価に分割した。ランダムサンプ リングしたツイートは 38:1:1、まとめアカウントデ 一タは 8:1:1 に分割した. リツイート数が多いもの が訓練・検証・テストそれぞれに適度に含まれるよ うに、それぞれ分割してから結合した。結果、ファ インチューニング用のツイート数は、訓練・検証・評価の件数がそれぞれ $113671 、 3672,3675$ となった。 ファインチューニングの結果、ほぼすべての指標 において JTweetRoBERTaが最も良いスコアを得た （表 2）. 表 2 の follower カラムはフォロワー数の みで予測した結果を、JTweetRoBERTa+follower は
JTweetRoBERTa の最終全結合層にフォロワー数も 入力した場合の予測結果であるが、フォロワー数を 加えた結果、かえって性能が低下している. 次節で その詳細を分析する。

## 4. 2 リッイート数による性能比較

リツイート数の過多によって予測性能が異なる可能性がある．その調査のため、前節のフォロワー数 を使わないモデル間比較で最も良い性能を得た、提案手法である JTweetRoBERTa と、 JTweetRoBERTa+follower , follower $の$ 三つについて テストデータをリツイート数 $1024\left(=2^{10}\right)$ 未満の計 2845 ツイート、2 $2^{10}$ 以上の計 830 ツイートの二つに 分割し、それぞれに対して評価值を算出した。表 3 に結果を示す.

表 3 リツイート分布別の予測性能比較

JTR: JTweet-RoBERTa, f: follower

 & $\mathbf{f}$ & $\mathbf{J T R}$ &  & \multicolumn{1}{|c|}{$\mathbf{f}$} \\

二つのデータセット間でリツイート数のスケール が異なるため、絶対值ではなく比率で評価する MAPE が妥当な指標である. MAPE はリツイート数 $2^{10}$ 未満では follower が、リツイート数 $2^{10}$ 以上では JTweetRoBERTa が最も良い性能であった。

## 4. 3 文節 Ablation Study による要因分析

リツイート数予測に影響の大きい単語や文節を分析するため、オリジナルの入力ツイート文からいず れかひとつの文節を除いて予測を行い比較した。ツ

表 2 対数正規化リツイート数のモデル別予測の評価値

 &  & follower \\

イート本文から削除したときに最も予測值が下がる 文節が最も影響を及ぼしていると考え、要因分析用 のデータセットすべてについてこの分析を行った.

予測にはファインチューニングした JTweetRoBERTaを使うが、ファインチューニングで 用いたものとは別に入力用ツイートデータを用意し た. 文節区切りには日本語構文・格・照応解析シス テム KNPviを用いた. ハッシュタグが KNP の入力に 含まれていると正常に動作しないため、一旦ツイー 卜本文からハッシュタグを抽出し KNP に入力した 後でツイート本文の元の場所に戻し予測を行った.

表 4 に、ツイート本文をすべて入力した際のリツ イート数予測値と、いずれかの文節を抜いた場合の らち最小の予測値とについて、予測値の差上位 10 件 をまとめた。

表 4 文節 Ablation Study の分析結果

 \\

けど。 \\

## 5 考察

表 2 に示した、ファインチューニングしたモデル のうちフォロワー数を使用しないモデル間の性能比較では、提案手法である JTweetRoBERTa が最も高 い性能であった.ツイート文には特有の語彙、文体、構造があるため大規模ツイートテキストによる事前学習が有効であったと考えられる。

表 3 の JTweetRoBERTa の結果を比較すると、リ ツイート数が多い方が性能が良く、内容以外の要因 が相対的に減るであろうこと、リツイート数の多い
ツイートには予想を決定づける要因が多く含まれた ためにより予測を安定させた可能性がある.

リツイート数 1024( $\left.=2^{10}\right)$ 以上のツイートに対する 予測で、フォロワー数が貢献しなかったことは意外 で重要な発見である. フォロワー数が少ないアカウ ントからの発信であっても、ツイート内容が「バズ る」ものであれば他のアカウントの紹介等を介して 最終的にリツイート数が増加するのではないか.

リツイート数 $1024\left(=2^{10}\right)$ 未満のツイートではフォ ロワー数のほうが予測に寄与した. フォロワー数が 多いほど、内容にかかわらずリツイートするユーザ 一群が多いのかもしれない。

表 4 の分析結果で挙がった文節を見ると、「お願 いなのですが、」「言わせて、」といった相手に働 きかけるような文節が上位にみられる。また、トピ ックをあらわす文節が「忍者だった」「飼われた」

【超重要事項】「筋肉注射の」「【拡散希望】脳梗塞って」のようにアピーリングで意外性のある内容であることも重要であるという結果になった。こ のことから提案手法では、ツイート本文中の要点に 関する文節を重要視してリツイート数予測を行って いるのではないかと考えられる。

## 6 おわりに

本研究では、ツイート本文の言語特徴からリツイ 一ト数を予測できるかを試みた.モデル比較の結果、 ツイートデータで事前学習させた提案手法の JTweetRoBERTa が、リツイート数 1024 $\left(=2^{10}\right)$ 以上 の予測において MAPE が 0.602 と最も良い性能を達成した. リツイート数が十分に多い場合フォロワー 数の貢献は低くテキストのみで予測が可能であるう え、Ablation Study の結果からは相手への働きかけ表現やツイート文のトピックを表すアピーリングな文節を重要視しているのではないかという示唆を得た。

今後はファインチューニングに用いたリツイート 数の分布がより均一になるよう収集方法を工夫して データ数を増やし、モデルのさらなる一般化を目指 したい。また、ユーザーのツイート履歴やツイート の前後関係、社会背景とツイートタイミングといっ た時系列の情報など、ツイート本文以外の特徵量も 含めたモデルを構築することで、よりユーザーの特性とツイート拡散過程を反映した予測を試みたい.

## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およ びセコム科学技術財団特定領域研究助成の支援をう けたものです.

## 参考文献

[1] Saurabh Sharma, and Vishal Gupta. Role of twitter user profile features in retweet prediction for big data streams. Multimedia Tools and Applications, Volume 81, pp. 27309-27338. 2022.

[2] Gang Liu, Chuan Shi, Qing Chen, Bin Wu, and Jiayin Qi. A Two-Phase Model for Retweet Number Prediction. Web-Age Information Management. WAIM 2014. Lecture Notes in Computer Science, vol 8485, pp 781792. 2014.

[3] Qi Zhang, Yeyun Gong, Jindou Wu, Haoran Huang and Xuanjing Huang. Retweet Prediction with Attentionbased Deep Neural Network. Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 75-84. 2016.

[4] Chunjia Wang, Yongquan Fan, Yajin Du, and Zefen Sun. Predict Individual Retweet Behavior Based on Multi-feature. IOP Conference Series: Materials Science and Engineering, Volume 790, Number 1, pp. 012046. 2020.

[5] Ryo Takasu, Hironobu Nakamura, Taishiro Kishimoto, and Yoshinobu Kano. Mental Health Classification using Large Scale Tweet Dataset. Proceedings of the 36th Annual Conference of the Japanese Society for Artificial Intelligence. 2022.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.0485v2, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692. 2019.

## A 付録

## A1 ファインチューン時のパラメータ設定

今回学習に使用した最適化アルゴリズムは Adam である.フォロワー数のみで学習した場合は、最終回帰層のみ学習させた。

$\mathrm{Ir}=5 \mathrm{e}-5$ (各言語モデル)、1e-5(最終回帰層)

max_epochs $=100$ (early_stopping 設定により早期終了する可能性もある.)

## A2 評価指標

本研究で用いた評価指標は、平均二乗誤差(MSE: Mean Squared Error)、二乗平均平方根誤差(RMSE:

Root Mean Squared Error)、平均絶対誤差(MAE:

Mean Absolute Error)、平均絶対パーセント誤差 (MAPE: Mean Absolute Percentage Error)、決定係数

$\left(\mathrm{R}^{2}\right) 、$ ピアソンの相関係数 $(\mathrm{r})$ の 6 つである. 以下に それぞれを求める式を示す.

( $y$ : 正解值、 $\hat{y}$ : 予測値、 $\mathrm{n}:$ データ数)

$M S E=\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}$

$R M S E=\sqrt{M S E}$

$M A E=\frac{1}{n} \sum_{i=1}^{n}\left|y_{i}-\hat{y}_{i}\right|$

MAPE $=\frac{1}{n} \sum_{i=1}^{n}\left|\frac{y_{i}-\hat{y}_{i}}{y_{i}}\right|$

$R^{2}=1-\frac{\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}}{\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}}$

$r=\frac{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)\left(\hat{y}_{i}-\overline{\hat{y}}\right)}{\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}} \sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\hat{y}_{i}-\overline{\hat{y}}\right)^{2}}}$


# 対話型質問応答における質問書き換えのためのターン強調

小堀智祥 小林哲則 林良彦
早稲田大学理工学術院
kobori@pcl.cs.waseda.jp

## 概要

質問応答を含む対話システムでは，対話内容に 沿った質問の解釈が重要である. 先行研究では, す べての対話履歴と質問を一つの繋がった文章として 入力し, 対話履歴に依存しない質問へ書き換えるこ とが行われているが，書き換えに関係のあるターン を考慮することが難しい，本研究では，対話中の質問応答における各ターンの重要度を推定し，その重要度に応じて強調した表現を用いて質問書き換えを 行う TurnRewrite モデルを提案する. 質問書き換え の上で重要なターンヘルールによるラベル付けを 行ない，各ターンの重要度を推定するターン強調モ デルを学習する. CANARD データセットを用いた 実験結果により，TurnRewrite モデルの有効性を確認 した.

## 1 はじめに

質問応答モデルの精度が向上し，与えられた文書 に関する単一の質問に答えるタスクは人間の性能を 超えるものも出てきている [1]. 近年，より現実に即 したタスクとして，対話型質問応答 (Conversational Question Answering: CQA) タスクと呼ばれる会話の 中で現れる質問に対する回答を生成するタスクが 提案されている.このタスクは質問内容の解釈が 対話履歴に依存するという点で，単一の質問に答 えるタスクと比較して難しい [2]. このタスクのサ ブタスクとして，対話履歴に依存して解釈の決ま る質問を対話履歴に依存しない質問 (以降，書き換 えられた質問) に書き換える質問書き換え (Question Rewriting) タスクが提案され，CANARD と呼ばれる データセットが構築されている [3].

CANARD におけるデータの例を図 1 に示す.こ の例において $Q_{i}, A_{i}$ はそれぞれ質問と回答のターン を表す. $Q_{1}$ は与えられた文書に対する最初の質問 であり， $Q_{2}$ 以降はそれ以前の対話に依存した質問 になっている. CANARDデータセットでは書き換

図 1 書き換えデータセットの例 [3]

えるべき質問 $Q_{i}$ と，それに先行するすべての対話履歴 $\left.\{Q_{j}, A_{j}\right.\}_{j<i}$ が与えられ, クラウドワーカーに よって対話履歴に依存しない形式に書き換えられた 質問（図 1右）が正解として付与されている.

このタスクに取り組んだ先行研究では, 事前学習済み言語モデル (Pretrained Language Model: PLM) に対話履歴と質問を 1 つの繋がった単語系列として 入力しているため，対話履歴に含まれるターンがそ れぞれ別の内容を持つ文章として区別する表現力が 低いことが考えられる. その結果, ターン単位のト ピック遷移をうまく学習することができず，複雑な 履歴参照が必要な質問の書き換えにおいて誤った エンティティの参照などが発生していると考えら れる。

そこで本研究では, 対話履歴に含まれるそれぞ れのターンの重要度を推定し，この重要度を用い て質問書き換えを行うことを提案する。既存の CANARD データセットには，対話履歴のターン毎 に質問書き換え上の重要度が付与されていないた め, 本研究ではルールによりターンへの重要度のラ ベル付けを行い，ターンの重要度を推定するターン 推定モデルを学習した.

## 2 関連研究

CQA タスクの代表的なデータセットとして，物語についての質問応答系列を収集した CoQA デー

タセット [4] や Wikipedia の記事について収集した $\mathrm{QuAC}$ データセット [5] が存在する。これらの CQA データセットの各データは，a.) 答えを探す根拠に なる文書, b.) 対話履歴, c.) 質問という 3 つの構成要素から成る. 対話履歴を考慮する場合，その解釈 が必要となる (History Modeling [2]) 。 また，質問応答システムへの入力文長の制限が問題となる [6]. これらの課題は, BERTやT5 といった近年の事前学習済み言語モデル (PLM) においても問題となる.

対話履歴の扱いに関する先行研究として，初期に は RNN やAttention 機構を用いたモデルが提案され ており $[4,7]$, またより対話履歴を重視したモデル としては，対話履歴内の前の質問に答えた際のモデ ル内部の潜在表現を次の質問に渡すモデル $[8,9,10]$ が提案されてきた. また別のアプローチとして, 対話履歴とそれに依存している質問から, 対話履歴に 依存しない質問を生成することで CQA タスクを一問一答形式の質問応答タスクに帰着させる研究があ る [3]. これらはモデルが解釈したユーザの質問意図をユーザにフィードバックでき，誤りをユーザが 認識しやすいという点と，単一の質問に答える精度 の高い質問応答システムやデータセットを利用でき る点で他のアプローチよりも優位である。

対話履歴に依存しない質問を生成するタスクを質問書き換え (Question Rewriting: QR) タスクといい,本研究ではこのタスクに取り組む。このタスクを代表するデータセットに CANARD データセット [3] がある.このデータセットを扱った先行研究では， RNN ベースのモデル $[3,11]$ や PLM を利用したモデ ル [12], 共参照解消に着目したモデル [13], CQA と $\mathrm{QR}$ タスクを同時に学習させるモデル [14] などが提案されている. 先行研究が対話履歴と質問を単語系列として処理するのに対し, 本研究では対話履歴に 含まれるそれぞれのターン間の関係性を学習するた めのアーキテクチャを導入する，すなわち，ターン 単位で履歴を扱う点がこれらの先行研究と異なる。

## 3 提案手法: TurnRewrite モデル

本研究が提案する TurnRewrite モデルの構成図を 図 2 に示す. 本モデルは, 複雑な履歴参照が必要な 質問の書き換えに対して，対話履歴に含まれるター ンごとの潜在表現を利用してターン単位の重要度を 考慮することで書き換え精度向上を図る. 具体的に は, 単語単位による処理に加え履歴ターン単位で対話履歴の重要度を評価し，その結果を書き換え質問生成に利用する。

図 2 TurnRewrite モデル構成図

## 3.1 人工的なデータセットの構築

TurnRewrite モデルでは，書き換えられた質問を生成するために必要なターンをすべてのターンから 選択し強調することが必要であるが, 既存のデータ セットではターン毎に質問を書き換える上での重要度でのラベル付けが行われていない。そこで本研究 では，事前に CANARD データセットに含まれる対話履歴と書き換え前後の質問を用いるルールベース により，対話履歴の各ターンに対してそのターンが 書き換え質問の生成において必要か不要かのラベル 付け (必要:1, 不要:0)を行った.

手順としては，まず，CQAデータセットに含まれ る書き換え前と書き換えた質問を比較し，書き換え に使われた単語の集合を求め，事前に決められたス トップワードを取り除くことで対話履歴から導入さ れた単語を求めた. 次に, これらの単語が対話履歴 のどのターンから取り出されたものなのかを割り当 てる. 対話履歴を最も質問に近いターンを調べ，上記の手段により求めた単語が 1 つでもそのターン に含まれていれば，ターンと単語を関連付けてター ンに必要とラベル付けした. 続くターンを調べる際 は，それまで調べたターンと関連付けられた単語を 除く，書き換えで導入された単語がターンに含まれ るかを調べた。この手順を具体例で示したものを付録 $\mathrm{A}$ に示す.

## 3.2 ターン強調モデル

ターン強調モデルの構成を図 3 に示す. ターン 強調モデルは対話履歴と書き換え前の質問を入力 として対話ターンごとに書き換える上での重要度 を出力する．まず，対話履歴のそれぞれのターンの

図 3 ターン強調モデル構成図

文 $h_{1}, \ldots, h_{k}$ と，書き換え前の質問 $Q_{\text {raw }}$ について，文エンコーダを利用して文表現を取得する．各対話 ターンの表現を $h^{\prime}{ }_{i}$ と表す.このべクトル表現に，履歴を扱う上で重要と考えられるターンの番号を表 す学習可能ベクトルを連結し, 履歴ターンのベクト ルを生成する．続いて，対話履歴の前後に質問を付 け足した $\left[Q^{\prime}{ }_{\text {raw }}, h^{\prime}{ }_{1}, \ldots, h^{\prime}{ }_{k}, Q^{\prime}{ }_{\text {raw }}\right]$ を bi-GRU を経由させることでターン間の関係性を取り込んだ内部表現を作る. 最後にその表現を多層パーセプトロン に入力することで，それぞれの履歴ターンに対して $[0,1]$ 範囲の重要度の予測を出力する.

## 3.3 質問書き換えモデル

質問書き換えモデルの構成を図 4 に示す. 本モデ ルは，書き換え前の質問，対話履歴，履歴ターン毎 の必要度ラベルを入力として，対話履歴の文脈なし に質問意図が理解できる質問を出力する.

図 4 質問書き換えモデル構成図

本モデルは，書き換え前の質問と対話履歴を並 べて 1 つの文章として PLM に入力してファイン チューニングするが，モデルの入力となる単語べク トルに対話履歴の重要度に応じたべクトルを加算し ている点が通常の PLMを利用するモデルとは異な
る.この手法は，入力のうち重要な部分にマーカー を引く様子をモデル化した [15] の手法を参照してい る. 加算するべクトル turn_importance_emb はター ン強調モデルが単語の属するターンに対して出力 する重要度である importance $\left(h_{i}\right)$ と学習可能べクト ル $I, U$ を用いて式 1 で計算される. すなわち，同じ ターンに属する単語のべクトルそれぞれに対して常 に一定のベクトルを足し合わせている。なお，I と $U$ はそれぞれ最も重要・非重要なターンであるを示 す学習可能なべクトルである.

turn_importance_emb $\left(h_{i}\right)$

$=$ importance $\left(h_{i}\right) \times I+\left(1-\right.$ importance $\left.\left(h_{i}\right)\right) \times U$

## 3.4 学習過程

TurnRewrite モデルの学習は 2 ステップで行っ た.まず 3.1 節で作成したデータセットを利用し てターン強調モデルがルールで割り当てられたラ ベルを出力するように Binary Cross Entropy ロスで 学習させた. この際，ラベルに不均衡があったた め，バッチ内のラベルの出現回数の逆数の重みをロ スに掛け正規化した。続いて，ターン強調モデル と質問書き換えモデルを接続し，質問書き換えモ デルを teacher forcing しながら次トークンを予測さ せる Cross Entropy ロスを最小化することで提案の TurnRewrite モデル全体を学習させた.

## 4 実験

## 4.1 実験設定

CANARD データセット [3] (統計情報を付録 B に 示す)を用いて質問書き換えの評価実験を行った。対話トピック，書き換えるべき質問，先行する対話履歴を大力とし，対話履歴を見ないで解釈が定まる 質問を出力することがタスクとなる。実験において は文エンコーダとして SimCSE [16]を用いた。また 質問書き換えモデルとして関連研究 [12] で最も良い 精度を達成した PLM である T5 (T5-base) を用いた。 SimCSE および T5 は Hugging Face Transformers ライ ブラリによる実装を利用し，bi-GRU や実験環境は Pytorch を用いて実装した。学習時の学習率，ター ン強調モデルにおける層の深さや幅はグリッドサー チでパラメタチューニングを行い，オプティマイザ は AdamWを利用した。

## 4.2 実験結果

BLEU スコアによる各モデルの書き換え精度の評価結果を表 1 に示す.ここで，Human は [3] にて報告されたクラウドワーカーが書き換えを行った際 の BLEU スコアである. upperbound は, ターン強調 モデルの gold データを利用した場合を示す.すな わち, ターン強調モデルが正解するという設定であ り, TurnRewrite モデルの書き換え精度の上限を与え る.なお，Human 以外のそれぞれのスコアは seed を変えて 3 回平均を取っている。

表 1 の $5^{1}{ }^{1}$ と TurnRewrite モデルの BLEU 値の比較からターン強調の効果が確認できる. TurnRewrite モデルと upperbound の比較からは, 性能向上の余地 があることが示唆される. 基本的にはターン強調モ デルの改善により性能向上が可能であるが，ターン の必要性に関するラベルの品質も問題となる. すな わち今回利用したデータセットである CANARD で は，書き換えられた質問として正解が 1 例しか与え られておらず，クラウドワーカーによる誤りや解釈 の違いが存在すると考えられる。例えば，[3]によ ると $10 \%$ の書き換え質問は履歴参照が残っている.

## 4.3 質問形式ごとの効果

CANARDデータセットにおける質問を大きく「列挙型」と「置換型」に分類し ${ }^{2)}$ ，それぞれの質問種別のデータをもとにモデルを個別に学習させ，複雑 な履歴参照が必要な列挙型質問の書き換えにおける ターン強調モデルの有効性について評価した.

それぞれの質問形式の例を表 2 に示す. 列挙型 は，質問書き換えにおいて対話履歴におけるエン ティティの列挙が必要な質問群である. 本研究で は，"any other"などの特定の語句を含むものを列挙型として扱った. また，列挙型意外の質問を置換型 に分類した. これらの質問の多くは代名詞の参照解

1）[12] の報告では BLEU が 58.1 と報告されているが，実験設定が明記されておらず再現することができなかった.

2) Train/Dev/Test のデータ数はデータ数が最も小さい列挙型 に揃えた。結果，Train, Dev, Test はそれぞれ 5595, 631, 1060 質問からなるデータセットになった.表 2 列挙型，置換型質問の例

質問形式 元質問 $\rightarrow$ 書き換え質問

列挙型 Any others?

$\rightarrow$ Any other \{songs were featured on films besides "Dear Lover", "Walking After You" for the ...\}

置換型 Who did they play in the super bowl? $\rightarrow$ Who did $\{$ the Colts $\}$ play in the super bowl?

表 3 質問種別ごとのモデル性能 (BLEU スコア)

決を必要とする. 4.2 節と同じモデルで学習させた 結果を表 3 に示す. 結果から，より履歴参照が必要 である列挙型ではべースラインである T5を利用し た場合に比べてターン強調モデルを利用した場合の 方が性能が向上することがわかった。これは複雑な 参照を含むデータについては履歴ターンの強調が有効であることを示唆している。一方，置換型の T5 と upperbound を比較すると，置換型の質問種別に対 しては T5 のみで高い精度を出しており，ターン強調モデルによる履歴ターンの強調があまり効果を持 たないことが示された.これは置換型は列挙型に比 べ 1 ターンに含まれる人名などを参照することで 質問を書き換えることができ，対話履歴に含まれる ターンの関係性を考慮したターン強調を行う有効性 が低いためであると考えられる。また履歴強調モデ ルを学習させた TurnRewrite と弱教師データセット を利用した upperbound を比較すると，ターンの誤選択による性能劣化が存在することがわかった. これ は，履歴ターンの強調よりもターンの誤選択による 性能劣化が大きいことを示唆している.

## 5 まとめ

本研究では $\mathrm{CQA}$ タスクのサブタスクである $\mathrm{QR}$ タスクに対してターン単位で履歴から重要なターン を強調することによる書き換え精度向上を目指し た. ターン強調モデルの学習を行うため, 履歴のそ れぞれに対して重要であるか否かのラベル付けを ルールで行ったデータセットを作成した. 評価実験 の結果から，ターン強調をする機構がないモデルに 比較して書き換え精度の向上が見られたことから， ターン強調の有効性が確認できた。

## 参考文献

[1] Hariom A. Pandya and Brijesh S. Bhatt. Question answering survey: Directions, challenges, datasets, evaluation matrices. CoRR, Vol. abs/2112.03572, , 2021.

[2] Gupta Somil, Rawat Bhanu Pratap Singh, and Yu Hong. Conversational machine comprehension: a literature review. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2739-2753, 2020.

[3] Ahmed Elgohary, Denis Peskov, and Jordan Boyd-Graber. Can you unpack that? learning to rewrite questions-incontext. In Empirical Methods in Natural Language Processing, 2019.

[4] Siva Reddy, Danqi Chen, and Christopher Manning. Coqa: A conversational question answering challenge. Transactions of the Association for Computational Linguistics, Vol. 7, No. 0, pp. 249-266, 2019.

[5] Choi Eunsol, He He, Iyyer Mohit, Yatskar Mark, Yih Wen-tau, Choi Yejin, Liang Percy, and Zettlemoyer Luke. QuAC: Question answering in context. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2174-2184, 2018.

[6] Zhao Jing, Bao Junwei, Wang Yifan, Zhou Yongwei, Wu Youzheng, He Xiaodong, and Zhou Bowen. RoR: Read-over-read for long document machine reading comprehension. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1862-1872, 2021.

[7] Chenguang Zhu, Michael Zeng, and Xuedong Huang. Sdnet: Contextualized attention-based deep network for conversational question answering. ArXiv, Vol. abs/1812.03593, , 2018.

[8] Hsin-Yuan Huang, Eunsol Choi, and Wen tau Yih. Flowqa: Grasping flow in history for conversational machine comprehension. ArXiv, Vol. abs/1810.06683, , 2018.

[9] Yeh Yi-Ting and Chen Yun-Nung. FlowDelta: Modeling flow information gain in reasoning for conversational machine comprehension. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 86-90 url =, 2019.

[10] Yu Chen, Lingfei Wu, and Mohammed J. Zaki. Graphflow: Exploiting conversation flow with graph neural networks for conversational machine comprehension. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 12301236, 2020.

[11] Vakulenko Svitlana, Longpre Shayne, Tu Zhucheng, and Anantha Raviteja. Question rewriting for conversational question answering. p. 355-363. Association for Computing Machinery, 2021.

[12] Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng Tsai, Chuan-Ju Wang, and Jimmy Lin. Conversational question reformulation via sequence-to-sequence architectures and pretrained language models. CoRR, Vol. abs/2004.01909, , 2020.

[13] Tseng Bo-Hsiang, Bhargava Shruti, Lu Jiarui, Moniz Joel Ruben Antony, Piraviperumal Dhivya, Li Lin, and
Yu Hong. CREAD: Combined resolution of ellipses and anaphora in dialogues. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3390-3406. Association for Computational Linguistics, 2021.

[14] Kim Gangwoo, Kim Hyunjae, Park Jungsoo, and Kang Jaewoo. Learn to resolve conversational dependency: A consistency training framework for conversational question answering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6130-6141, 2021.

[15] Qu Chen, Yang Liu, Qiu Minghui, Croft W. Bruce, Zhang Yongfeng, and Iyyer Mohit. Bert with history answer embedding for conversational question answering. p. 1133-1136, 2019.

[16] Gao Tianyu, Yao Xingcheng, and Chen Danqi. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910. Association for Computational Linguistics, 2021.

## A 対話履歴のラベル付けルール

対話履歴のラベル付けの手法を図 5 を用いて説明 する。

図 5 ラベル付けの手法

この例では, 図上部に示すようにターン 1 から ターン 3 までの 3 ターンが会話履歴として与えら れ，図下部に示すようにターン4の質問を書き換え る場面を想定している．まず，ラベル付けのために データセットから4ターン目を人手で書き換えられ た質問を用意する (図黄色背景). 次に，4ターン目 の書き換え前後の単語を比べ，書き換えられた質問 に増えた単語を求める (図の例では”daffy”など，中央青枠に示した). ここで, "at" や"the" といった単語も増えているが，これらはストップワードのため 除外されている，続いて，これらの単語を含む対話履歴を「書き換えに必要」とラベル付けしていく が，このとき最も新しいターン（例では 3 ターン目 の"first appeared ..."）から調べる. 例では最も新しい ターン 3 をまず調べ，\{”Porky", "Duck", "Hunt”\}が含 まれるため，必要とラベルされる．続いて 2 ター ン目も同様に調べるが，この際には 3 ターン目に 含まれていた\{"Porky", "Duck", "Hunt”\}以外の単語と マッチングを行う．ここでも\{”Daffy”\}が含まれるた め必要とラベルされる. 1 ターン目も同様に調べる と，確かに”Daffy"や”Duck"が含まれるが，これらは ターン 2, 3 でマッチングされているため，ここでは マッチングが起こらず，ターン 1 は不要とラベルさ れる。

## B CANARD データの統計

CANARD データセットは QuAC データセットの Dev セットと一部の Train セットを利用して作成さ れている. CANARDデータセットの各種統計を表 4 に示す.

表 4 CANARDデータセットの統計

特に，書き換えられた質問の単語数と書き換え前 の質問の単語数の比率を図 6 に示す.

図 6 CANARD Train データセットにおける書き換え前後 の単語数の比率

図 6 より，多くの書き換えた質問の単語長は書き 換え前の単語長の 2 倍を下回るが，それ以上になる 質問書き換えも一定数存在することが確認できる.