# 常識推論に基づく気の利いた家庭内ロボットの行動選択

山﨑康之介 ${ }^{1,2}$ 田中翔平 1,2 河野誠也 ${ }^{2}$ 湯口彰重 2,1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{yamasaki.konosuke.yi5, tanaka.shohei.tj7\}@is.naist.jp
\{seiya.kawano, akishige.yuguchi,koichiro.yoshino\}@riken.jp

## 概要

日常的にユーザを支援するような家庭内対話口 ボットでは、ユーザが明示的に行動を指示しない場合であっても、気の利いた行動を実行することが 望ましい。例えば、ユーザが食事を食べ終えて「ご ちそうさまでした」と発話した場合、潜在的には 「テーブルに置かれたケチャップを片付ける」のよ うな行動が期待される。こうした気の利いた行動を 行うには、何らかの常識が必要であると考えられ る。そこで本研究では、常識的な知識生成モデルを 用いることで、発話からユーザが持つ潜在的な要求 を推定し、気の利いた行動選択を行う。これにより 行動選択と同時に推論過程を明確にし、提示するこ とで気の利いた行動をユーザに受け入れやすいもの にする。実験の結果、一部の発話では常識推論を用 いることの有効性が示唆された。

## 1 はじめに

対話システム研究の発展によって、今後日常的に ユーザの支援を行う対話ロボットの実現が期待され る。ユーザの支援を行う対話ロボットは、ユーザの 要求に応じて適切な行動を取る必要がある。しかし ながら、人と共に生活し、日常的にユーザの支援を 行う場合には、ユーザによる明示的な指示が無い場合であっても、発話や状況から気の利いた行動を推定し、実施することが期待される。

こうした対話ロボットの実現に向けて田中ら [1] は、非明示的な指示となり得るユーザ発話と周囲の 状況をクラウドソーシングによって収集し、状況の 再現動画を収録しデータセットを構築している。こ のデータでは、対話ロボットが一般的なリビングや キッチンにおいてユーザの家事を手伝うという状況 を想定し、各エントリに対して 40 種類の行動候補 から 1 種類の気の利いた行動が付与されている。田中らの深層学習に基づく行動選択実験の結果では、発話や周辺状況の画像を単に入力する場合の精度 は低いが、周辺状況画像にある物体などをアノテー ションした情報を含めると精度が大きく改善する ことが示された。つまり、気の利いた行動の推定に は、ユーザが手にしている物体の検出といった周辺状況の細かな認識が重要である可能性が高い。

一方で、人間が気を利かせるような場合には、発話と周辺状況の詳細を把握するだけでなく、ユーザ の直前の行動や何らかの背景知識を考慮した上で常識推論に基づき行動を決定することが考えられる。 そこで、本研究では要求が非明示的なユーザ発話か ら常識推論によって背景知識を補完して気の利いた 行動選択を行うシステムを構築する。

気の利いた行動はユーザにとっては飛躍した行動にも見えるため、行動に至った推論過程を同時に 提示することが重要である。常識推論を利用するこ とで行動決定の根拠を明らかにしつつ気の利いた 行動の選択も実現できる。本研究では常識推論モデ ルを導入し、発話に関連する将来のユーザの行動な どのイベントを推論する。常識推論には COMET [2] を再帰的に用い、この推論結果と行動候補の類似度 を計算し、行動を決定する。例えば、ユーザの発話 として「お腹がすいた」という発話があった場合、「“お腹がすいた”と言う-(その後)->食べ物を食べ る-(その前)-> 食べ物を取る」という常識推論が展開 できた場合を考える。この時、常識推論の結果であ る「食べ物を取る」と行動候補である「バナナを取 る」は類似しており、何らかの類似度計算によって 「バナナを取る」という行動が「お腹がすいた」とい う発話に対応する気の利いた行動になるという推論 ができる。

気の利いたロボットの行動選択データセット [1] を用いて実験を行った結果、ベースライン手法の性能を上回ることはできなかったが、一部の発話にお いては、常識推論によって背景知識を用いながら 明確なプロセスで推論を行う有効性が確認された。

また、現在のデータセットの改善の余地が示唆さ れた。

## 2 常識推論に基づく行動選択タスク

本研究では、田中ら [1] が収集した家庭内におけ るロボットの気の利いた行動選択データセットを用 いる。データセットには、400 の発話とその周囲状況が収録されており、発話それぞれに対し、40 の行動カテゴリ（付録表 3）から 1 つの正解行動が付与 されている。例えば、ユーザが食事を終えて「ごち そうさま」と発話したという状況には「ケチャップ を片付ける」という行動が正解として与えられてい る。これは、「ごちそうさま」という発話自体には 要求や行動が明示的に表現されていないが、潜在的 には、ご飯を食べ終えてテーブルの上のケチャップ が不要になったのでロボットが気を利かせて片付 けて欲しい、という要求が暗に存在すると解釈する ものである。この例に対して常識推論を当てはめる と、「“ごちそうさま”と言う」後に「食事に使った ものを片付ける」という常識推論ができれば、シス テムは行動を正しく選択できるということになる。本研究では発話からの推論可能性を模索するため、 ユーザの発話のみを入力とした行動選択を行う。

## 3 推論システム

本研究では、発話から常識推論を行うために常識的知識に基づく推論を生成するモデルである COMET [2] を用いる。ここでは、COMET の利用方法と、推論システムの詳細について述べる。

## 3.1 COMET を用いた常識推論と前処理

COMET は、常識的な知識を表現した知識グラフ （Knowledge Graph; KG）である ATOMIC2020 [2]を用 いて学習された、常識的知識の生成モデルである。 ATOMIC2020 は、CONCEPTNET ${ }^{1)}$ [3] のような既存 の $\mathrm{KG}$ に比べて多様な知識を含んでおり、特に、 イベントに関する知識が含まれている。例えば、「PersonX eats dinner」というイベントと、その後に 起きるイベントを予測するための関係 isBefore を大力すると、「PersonX goes to bed」などの対応する関係を持つであろうイベントを出力する。つまり、発話に関するイベントと関係を入力することで、ユー ザが発話後に取りそうな行動などを出力することが できる。さらに、本研究では COMET の出力を新た

1) https://conceptnet.io/

図 1 関係として [isAfter, isBefore] の 2 種類を使用した場合の推論システムの概要図。COMET は 1 種類の関係に つき 5 つの生成を行い、最大の推論の深さは 2 である。 Depth1 では、発話イベントを入力とした 1 回目の生成、 Depth2では、Depth1 の出力を用いて 2 回目の生成を行う。 Phase2 では、発話イベントを含む全ての生成結果と行動候補の類似度に基づいて行動選択を行う。

な入力とすることで COMET を再帰的に用いる。こ の再帰の数を推論の深さと呼ぶ。

COMET を気の利いた行動選択データセットに適用するため、次の 4 つの前処理を行なう。

・翻訳：COMET の入出力は英語である必要があ るため、気の利いた行動選択データセット中の 発話と行動を英語に翻訳する。

$\cdot$「PersonX says，“発話”」に変換：COMET の入力はイベントの形式であることが望ましいた め、ATOMIC2020で人物を表す「PersonX」を主語に用いたイベント形式に変換する。

-「PersonX 行動」に変換：データセット中の翻訳後の行動は、例えば「put away ketchup」のよう に主語がないため、「Person X puts away ketchup」 のように「PersonX」を主語に用いたイベント形式へ変換する。なお、「持ってくる (bring)」は ユーザ側の行動として「get」に置換する。

・関係にxWant を用いた場合の出力に「PersonX wants」を前置き：関係にxWantを用いた場合、「to go to bed」など to 以降が出力されることが 多いため、「PersonX wants」を前置きし、イベン ト形式へ変換する。

 & 33.50 & 59.00 & 0.3291 & 26.25 & 59.75 & 0.2517 & 12.25 & 53.00 & 0.1209 \\

## 3.2 推論システムの詳細

常識推論に基づく気の利いた行動選択は、以下の 2 段階の処理（Phase1,2）によって実現した。また、図 1 に、推論システムの動作過程の具体例を示す。

Phase1 発話イベントを始まりとして、COMET を再帰的に用い、背景知識として次にとりうる行動 などのイベントを複数生成する。この際、最大の推論の深さや用いる関係はあらかじめ決定しておく。深さが $t$ のとき、COMET の出力 Output $t_{t}^{i_{t}}$ は次のよ うに表すことができる。

$
\text { Output }_{t}^{i_{t}}=\text { COMET }\left(\text { Output }_{t-1}^{i_{t-1}}, \text { Relation }_{j}\right)
$

ここで、用いる関係の種類が $J$ 個、各深さで出力される推論の数が $I_{t}$ 個、最大の深さが $T$ であ り、 $1 \leq i_{t} \leq I_{t}, 1 \leq j \leq J, 1 \leq t \leq T$ となる。なお、 Output $_{0}$ は発話イベントである。図 1 の例では、 $t=1$ の時、Output $1_{1}$ は 10 個生成される。

Phase2 Phase1で得られた全ての出力と気の利 いた行動候補との類似度を計算し、最も高い類似度を持つ行動を予測とする。出力と 40 個の各行動候補との類似度は SentenceTransformers ${ }^{2}$ を用いて 計算する。SentenceTransformers は Sentence-BERT [4] を基として、文同士の意味類似度を計算することが できる。ここで、最も類似度の高い推論結果と行動候補のペアを求め、これを発話に対して選択された 行動とする。行動イベントを Action $k_{k}$ $(1 \leq k \leq 40)$ 、意味類似度の計算を Similarity とす ると、選択される行動 Action と対応する推論過程 は次のように求められる。

$
\left.\hat{i_{t}}, \hat{t}, \hat{k}=\underset{i_{t}, t, k}{\arg \max } \operatorname{Similarity}^{\text {Output }}{ }_{t}^{i_{t}}, \text { Action }_{k}\right)
$

これにより、Output $\hat{t}_{\hat{t}}^{\hat{t}_{t}}$ から遡ることで、発話イベン トからの一連の推論過程を明示することができる。

## 4 実験

実験では提案システムを用い、データセットに含 まれる 400 の発話それぞれに対して、40 の気の利い た行動候補から常識推論に基づく行動選択を行っ た。実験はいくつかの条件に分けて行い、 3 つの評価指標で比較した。

## 4.1 実験設定

推論システムで利用する COMET は BART [5] ベースの demo モデル3)を利用する。用いる関係 は [isBefore]、[isAfter, isBefore]、[xWant, Causes, HasSubEvent, HinderedBy, isAfter, isBefore, xEffect, xReason ]の 3 つの組み合わせを採用した。最大深さは 1 から 3 に設定し、評価指標には Accuracy、予測 の上位 5 クラスまでに正解が含まれるかを反映 した Top5-Accuracy、各カテゴリの F1 Score の平均 （macro-F1）を用いた。SentenceTransformers は高速 な計算が可能な all-MiniLM-L6-v2 モデル4) 利用し た。また、ベースライン手法として、COMET を用 いずに発話イベントのまま、行動候補と類似度を計算して選択する手法を用いた。

## 4.2 結果

実験結果を表 1 に示す。どの指標においても最も 良い性能であったのは、ベースライン手法であっ た。提案手法に注目すると、Accuracy、macro-F1 は [isBefore] のみを用い、最大深さを 1 にしたものが 最も良く、Top5-Accuracy は [isAfter, isBefore] で最大深さ 2 が最大であった。Accuracy、macro-F1 は、用 いる関係によっても違いが確認されたが、最大深 さが大きくなるにつれての悪化が顕著であった。 Top5-Accuracy の良さはいずれの関係でも、最大深 さ $2>1>3$ という順であり、Accuracy、macro-F1 の傾向とは異なった。いずれにしても最大深さを 3 に

表 2 分析結果。C-Sim は正解の場合、W-Sim は不正解の場合の最大類似度の平均。W-Coverage はベースラインでの不正解の発話のうち、提案システムで正解した発話の割合。

HinderedBy, isAfter, isBefore, $x$ Effect, $x$ Reason

ベースライン (発話イベント) 0.69990 .5607

図 2 行動選択の実際の例。上の例は提案システムのみ正解したケースである。下の例は「Personx gets bananas.」が 正解行動であるため不正解であったが妥当な推論であっ たケースである。

設定することは望ましくないが、最大深さ 2 では Accuracy 向上の見込みが示された。

## 5 分析

実験の結果、ベースライン手法は 3 つの評価指標 のもとで最良の結果であった。ここではべースライ ン手法と提案システムの差異について評価指標以外 の観点から分析を行う。

提案システムでは最大類似度のぺアに含まれる 気の利いた行動が選択される。各発話に対する最大類似度について、予測が正解であった場合と不正解 であった場合の平均を表 2 に示す。提案システムは 正解、不正解どちらの場合でもべースラインよりも 類似度が高く、提案システムは意味的な類似度の上 では実際の気の利いた行動とより近いイベントを 推論できている。また、ベースラインを含むどの設定においても正解の場合の方が類似度が高い。つま り、気の利いた行動との類似度が高いイベントが存在する時に正解となる傾向である。提案システムで は不正解の場合にも比較的類似度が高いため、現在 のデータセットでは不正解であるが、実際には妥当な行動が選択されている可能性がある。一方で COMET が発話と破綻した関係にあるイベントを生成している可能性もあり、今後の解析が必要であ
る。次に、ベースラインで不正解であった発話のう ち、提案システムで正解であった割合についても表 2 に示す。最も高い場合は $12.40 \%$ であり、ベースラ インでは不正解となる発話についても提案手法では 正解できるケースが一定数存在することを確認で きた。

図 2 は実際の推論の例である。提案システムのみ 正解できている例において、ベースライン手法では 「phone」という単語に注目した類似度から行動を選択していると考えられるが、提案手法では常識推論 を用いることで次の行動を推論し、気の利いた行動 を選択できている。不正解の例では、「Personx gets bananas.」が正解であるため、予測した行動は不正解 となっているが、尤もらしい常識推論によって気の 利いた行動を選択できているように見受けられる。

類似度の傾向や実際の例からべースライン手法と 提案システムを分析、再評価することにより、常識推論を用いて行動選択を行う提案システムの有効性 や、利用したデータセットに複数の気の利いた行動候補を付与するなどの改善の余地が示唆された。

## 6 終わりに

本稿では、指示が明示的でない発話に対してシス テムが適切な行動選択を行うことが期待される場面 において、常識推論によってその曖昧性を補完し行動選択を行う枠組みを構築した。実験の結果、精度 の課題は残るものの、一部の例では常識推論によっ て気の利いた行動に結びつく推論を実現できてい ることが確認できた。今後は、COMET のような単純な常識推論だけでなく、仮説推論に基づく手法 [6] や典型的な一連の行動を推論する手法 [7] にも着目し、発話の曖昧性の解消を試みる。また、データ セットに付与された正解行動以外にも妥当な行動が ある可能性や、あるいはデータセットに付与された 気の利いた行動の難易度なども考慮しつつ、データ セットについての議論も行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03654$ の助成を受けた。

## 参考文献

[1] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気 の利いた家庭内ロボット開発のための曖昧なユーザ 要求と周囲の状況の収集. 情報処理学会研究報告 Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[2] Jena D Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 63846392, 2021.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI conference on artificial intelligence, 2017.

[4] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Chandra Bhagavatula, Ronan Le Bras, Chaitanya Malaviya, Keisuke Sakaguchi, Ari Holtzman, Hannah Rashkin, Doug Downey, Wen tau Yih, and Yejin Choi. Abductive commonsense reasoning. In International Conference on Learning Representations, 2020.

[7] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2138-2149, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## 付録

表 3 行動カテゴリ一覧

## ■持ってくる

バナナを持ってくる, 充電ケーブルを持ってくる， コップを持ってくる,ケチャップを持ってくる, 宅配便を持ってくる,ペットボトルを持ってくる, リ モコンを持ってくる, スマホを持ってくる, お菓子 を持ってくる,ティッシュ箱を持ってくる, 缶切り を持ってくる,クッキングシートを持ってくる,グ ラスを持ってくる, おろし器を持ってくる, キッチ ンペーパーを持ってくる，レモンを持ってくる，オ リーブオイルを持ってくる, じゃがいもを持って くる, サランラップを持ってくる, 水筒を持ってく

る

## 片付ける

充電ケーブルを片付ける,コップを片付ける,ケ チャップを片付ける, ミニカーを片付ける, ペット ボトルを片付ける, リモコンを片付ける, スマホを 片付ける, お菓子を片付ける, ティッシュ箱を片付 ける, 缶切りを棚にしまう, クッキングシートを棚 にしまう, グラスを棚にしまう, おろし器を棚にし まう, キッチンペーパーを棚にしまう, サランラッ プを棚にしまう,水筒を棚にしまう

## その他

ゴミをゴミ箱に入れる,ペットボトルを冷蔵庫に しまう，タッパーをレンジに入れる, タッパーを冷蔵庫にしまう


# メタ学習を用いた少量データからの 中国古代思想家のパーソナライズド対話システムの構築

杜 彬 荻野 正樹
関西大学大学院 総合情報学研究科
\{k661612, ogino\}@kansai-u. ac. jp

## 概要

近年，対話的なアプリケーションにおいて， パー ソナライズドチャットボットの普及が進んでいる. パーソナライズドチャットボットを学習させる場合,質問への回答方法を学習させるためには，大量のチ ヤットデータが必要となる. しかし, このデータの 入手は困難な場合が多い. 特に, 特定人物に対して,歴史上に残ったデータが不足している。 また, パー ソナライズド対話データへの獲得は，手作業による アノテーションが必要な場合が多くて，時間とコス トをかかる. 本研究では, これらの問題点を探り,歴史上に残る僅かな少量の対話データから BERT を 基礎として事前学習 UNILM モデルを実装し，ディー プランニングのメタ学習技術により, ロボットが他 の対話タスクを解く際に過去に学習した知識を利用 することで, 中国古代思想家チャットボットのシス テムを構築する手法を提案する. 実験結果によって， チャットボットの中国古代思想家にパソナライド度,語彙の正確性, 応答の多様性, において提案手法の 有効性が示された。

## 1 はじめに

近年，ソーシャルメディアやインスタントメッセ 一ジのアプリケーションにおいて，チャットボット の普及が進んでいる (図 1).チャットボットは人々 がより簡単にコミュニケーションをとるのを助け，情報やサービスを提供する。言語学習モデルによっ てチャットボットを構成する場合, 学習する人間の 会話データの量と質がチャットボットの会話能力の 決め手となる.

特に，パーソナライズドチャットボットを設計す る場合, その傾向が顕著である. パーソナライズド チャットボットは, そのキャラクターの会話履歴や 嗜好に基づいて学習し, 言葉遣いを改善する必要が ある.しかし, 十分なデータがないと, ボットに十

図 1 パーソナライズドチヤットボット対話システム 分な学習機会が与えられず，結果として個人の言葉 や考え方をうまくモデル化することができない.

この問題に対処するため, 本研究では, メタラー ニングの手法を用いて， パーソナライズドチャット ボットの学習を行う.メタ学習とは, 機械が新しい 課題をより速く学習できるようにすることを目的と した機械学習の手法である[1]. 過去のタスクの大量のデータから新しいタスクの解法を学習するメタ 学習アルゴリズムを用いることで，十分なデータが ないにもかかわらず，よりパーソナライズドされた シミュレーションの学習結果を得ることができると 期待される。

中国古代の思想家の思想は, 中国文化の発展に重要な役割を果たしてきた。古代中国語が複雑な文字体系であることも相まって，言語研究には多くの課題がある。そのひとつが, データの不足である。 中国の古文書は保存状態が様々で，多くの古代思想家 の著作があまり残されていない，また，古代中国の 思想家の著作には, 当時は特定の意味を持っていた ものの，現代ではあまり当てはまらない用語や概念 が多く含まれている. 古代思想家にパーソナライズ ドチャットボットと会話することで, ユーザーが古代言葉の意味をより正確に理解することが期待され る.

本研究では, 残された少ない会話データをもとに, メタラーニングの手法により中国古代思想家として

パーソナライズドされたチャットボットを実現する ことを目指す。このようなチャットボットは古代中国語と思想家の研究問題の解決案の一つの手法とし て活用が期待できる.

## 2 関連研究

メタ学習 (Meta Learning) [2]は, 新しい課題をよ り速く学習することを目的とした機械学習の手法で ある. メタ学習アルゴリズムは, 通常, 過去の多数 のタスクから得たデータを用いて，新しいタスクの 解法を学習する. この手法により, 学習効率を向上 させ，新しい環境でも機械がより良いパフォーマン スを発揮できるようになる。一般的なメタ学習アル ゴリズムには, モデル共有, 学習ストラテジー, マ ルチタスク学習などがある.

(1)モデル共有は, 複数の課題を解決するために共通のモデルを用いるメタ学習アプローチである. モ デル共有は, 通常, モデルのパラメータを調整する ことで新しいタスクに適応させるパラメトリックモ デルを使用する.

(2)学習ストラテジーも，学習アルゴリズムを用い て複数の課題を解決するメタ学習手法として一般的 なものである. MAML (Model-Agnostic Meta-Learning) [3], Reptile[4]など, 学習ストラテジーの具体的な実装方法は存在する。

(3)マルチタスク学習も, 複数の課題を同時に解決 するメタ学習手法の一つである. マルチタスク学習法は, 一般的にニューラルネットワークを用い, 複数のタスク間で情報を共有することで学習効率を向上させる.

最近, MAML を自然言語処理の文章生成に適用し，低リソース環境において, 少ない学習例で新しい夕 スクでの文章を生成する手法が提案されている[5]. MAML は, モデルが新しいタスクに素早く適応でき るように，勾配降下アルゴリズムを用いてモデルの パラメータを調整する. 通常, 少量のサンプルデー 夕を使用してモデルを学習するため, 大量のデータ がない場合でも良い結果を得ることが可能である.

MAML $の$ 利点は, 新しいタスクに素早く適応できる ことと，必要なデータが少ないことである.

本研究では, MAML を使って少量学習データから の対話システムを構築した。

## 3 提案手法

現代中国語の対話データをソース会話データとし
て，初期の会話タスクのモデルを作成. 少量の中国古代対話データを用いて，対話システムの作成の方法をモデルに学習させために，パーソナライズドチ ヤットボットの応答スタイルに素早く適応できる対話モデルの初期パラメータを学習することを MAML の目標タスクとして設定する。

言語モデルは BERT[6]を基礎として発展した UNILM (Unified Language Model Pre-training) [7]とい うモデル事前学習方法を用いている. UNILM は，は 多層 Transformer ネットワーク, 事前学習によって自然言語処理タスクのパフォーマンスを向上させるよ うに設計された。言語モデルの事前学習では，大量 のテキストデータを使って言語モデルを事前学習し， そのモデルを他の自然言語処理タスクに使用する。

図 2 UNILM $の$ Seq2seqLM 概要図

UNILM モデルは, マルチタスク学習の概念に基づ き，複数の自然言語処理タスクに同時に対応するも のである. UNILM の事前学習は言語モデリングの単方向 LM, 双方向 LM, Seq2seqLM（図 2）に共有 Transformer ネットワークが最適化された. 予測され る単語の文脈情報を異なるものにするために，異な

る Attention マスクを使用した。このアプローチによ り，UNILM は言語の文脈情報をよりよく捉え，複数 のタスクを解く際によりよいパフォーマンスを発揮 することができる. UNIML モデルを基本的な対話シ ステムとして, パラメータ学習に MAML を用いる.

MAML では現代中国語の対話データをソースデー タとして, 初期の個別タスクの基本モデルを作成. モデル初期化パラメータをゆとし, $\mathrm{n}$ 番目のテスト文字で学習した後のモデルパラメータを $\hat{\theta}^{n}$ と定義し,全損失関数を以下のように定義する.

$
L(\varnothing)=\sum_{n=1}^{N} l^{n}\left(\hat{\theta}^{n}\right)
$

初期化パラメータの更新は：

$
\varnothing \leftarrow \varnothing-\eta \nabla_{\varnothing} L(\varnothing)
$

図 3 システムパラメータの更新初期化時のソース会話データを用いて, タスクご とに対話モデル全体の微調整を行い，目標モジュー ルのパラメータに L-1 正則化を追加します.ここで の L-1 正則化の目的は，パラメータを疎にし，タス ク固有の文の生成に有益なパラメータのみをアクテ イブにすることである. 初期化されたパラメータが 更新された後, メタ学習時のパラメータは, 学習タ スクの各ステップを通じてより強い汎化能力を持つ ようになる。 MAML を利用してパラメータの更新 は図 3 に示す。

## 4 実験

## 4.1 データ

メタ学習のソースデータとして, 既存のオープン ソースの中国語対話データセットを使用した. KdConv[8], 知識領域の会話が含まれる. CrossWOZ[9], 会話の種類や, ユーザーの会話状態の 注記も含まれる. DoubanCorpus[10], 複数ラウンドの 日常会話を含まれる.

目標のデータセットは低リソースの古代中国の年代順に分類された古代中国思想家の中短編文章集,例えば論語, 老子, 戦国策, 孫子兵法などを使用す る, その中でおよそ半分は対話データ, 半分は独白 データとみられる. 古代中国語データを Classical と 表記する.

データの会話文数は表 1 に示す. 現代中国語と古代中国語の両方に, Jiayan というパッケージを使っ て漢字の文をトークン化した. メタ学習のトレーニ ングセットとテストセットの比率は $9: 1$ である.

## 4.2 実験設定

モデルは UNILM をベースに実装し，対話ロボッ トの表現を使用するように改良した。一般化するこ とを確認するために，さまざまなメタ学習のパラメ ータで学習を行なった. 本研究で学習率 $2 \mathrm{e}-5$, バ ッチサイズ 32, ドロップアウトが 0.1 , 重み減衰が 0.0001 , 最大 seq 長さ 128 に固定し, 事前に学習し た中国語モデルを用いて学習を行った。事前学習モ デルは epoch（学習回数）を 10 になった，結果を記録する。ソースタスクの選択の効果を調査するため に, 様々な会話データセットを用いてメタ学習する.各エピソードでは, デフォルトでは, Adamの単一勾配ステップを用いて，メタ勾配を計算するための計算を行っている.

## 4.3 評価手法

本実験で生成応答に対し, 自動評価および人手評価を行う。モデルについて，すべての訓練タスクの データを用いて統一的な対話生成モデルを事前学習 し, その後, テストタスクで直接テストする。 ベー スとなる生成モデル Seq2seq を試した. 各テストタ スクで事前学習を微調整 Finetune して, モデル Seq2seq-F と表記する.コンプリートモデルに対して MAML アルゴリズムを適用し, MAML と表記する.

自動評価指標としては，応答の流暢度を測定する PPL，参照応答との類似度を測定する BLEU[11], 応答の多様性を測定する dist-1[12].

人手評価では古文を読むことができる大学卒業生 3 名を招きた. 各モデルで作成された応答が混ぜ合 わられて採点された. 各応答を正確さ, 流暢さとパ ーソナライズド度 3 つの尺度で独立して採点する。評価範囲は $0 \sim 2$ で, 回答の適切さを測り, 2 を合格 とする，0 は無関係な内容である

正確さ：ロボットが質問に答える際に使用する言葉に，よく使う古代中国語を参照語彙と比較し， 口 ボットが使った語彙のうち，いくつが正しいかを評
価する.

流暢さ : ボットがいかにうまく会話に入り込むか を測定するために，流暢さを評価する。

パーソナ度 : ロボットが質問に答える際に, ど の程度パーソナライズされているかを測定するため に，ボットが応答する際に使用した中国古代思想家 の言葉っぽいかと評価する。

## 5 実験結果

## 5.1 自動評価

モデルの性能は表 2 に自動評価による結果を示す.表 2 自動評価の結果

自動評価の結果によって Finetune の Seq2seq-F は Seq2seq 法より優れている. MAML 法は BLEU ス コアでは Finetune 法に及ばないが，Dist-1 スコアは 比較的高い值を示した. このことから, MAML は 応答の多様性を向上させるのに役立つことが表現さ れた. BLEU の類似度指標は, 生成された応答と参照応答の類似度を比較することを指す。これは， Finetune 法に生成された応答が参照応答との類似度 が高ければ，より朵長性が高いと考えられる。

## 5.2 人手評価

モデルの性能は表 3 に人手評価による結果を示す.表 3 人手評価の結果

異なる学習方法を用いたチャットロボットを比較 した結果, MAML 技術を用いたロボットの方が, 質問に答える際の語彙の正確さが高いことがわかた. これは, メタ学習技術により, ロボットが他のタス クを解く際に過去に学習した知識を利用することで， タスクを解く際に適切な語彙をよりよく選択できる ようになるためと考えられる。また， パーソナライ ズ度を比べて，MAML の性能が高いことがわかる。
この結果から，現在の対話に関連したパーソナライ ズ情報が，応答生成に有用な情報を与えていると考 えられる。

## 5.3 考察

対話システムで現代中国語の対話内容に対して，生成された回答は古代中国語で, 応答の多様性が高 くて, 対話内容との関連で文字通り理解できる程度 であった. しかし, 期待されたレベルに達していな い会話要素も多く見受けられた。たとえば，「毎年七月三十九日」といって時間を答えるという常識の 誤りがあった. また, 経営, 会計, 博士など古今で 意味が変化した漢字の知識も正確さに欠ける. 最後 に, 古代中国語は少ない単語で意味を伝える傾向が あるため, 生成される対話コンテンツは長さが短く なりがちで, 判断文形式の頻度が高い。例えば，そ れはできない，これはいい，それは聞いていない， などである（表 4）。

表 4 古代思想家対話システムの対話案例の一つ

結果を改善するため, いくつかの課題があること を認識した。まず，より性能がいいパーソナライズ ドチャットボットを学習させるためには，高品質な データを使用する必要がある。 さらに, 適切な夕ス クを制定して，学習処理の有効性を上がる必要があ る.また，モデルの汎化能力にも注目する必要があ る. メタ学習技術を用いてパーソナライズドチャッ トボットを訓練する場合，モデルが新しいタスクで より良いパフォーマンスを達成できるようにする必要がある。

## 6 おわりに

本稿では，メタ学習を使用して，少量の対話デー タでパーソナライズド中国古代思想家チャットボッ トの対話システムを提案した. 今後は, 続けて研究 を通じて，機械学習に不可欠なデータ問題に向けた 新しいアイデアや方法を提供したいと考えている.

## 参考文献

[1] Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He.2018.Natural language to structured query generation via metalearning.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 732-738.Association for Computational Linguistics.

[2] Tom Schaul and Juergen Schmidhuber.2010. Metalearning.Scholarpedia, 5(6):4650.

[3] Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017.Model-agnostic meta-learning for fast adaptation of deep networks.In ICML, pages 11261135

[4] Alex Nichol, Joshua Achiam, John Schulman.2018. On First-Order Meta-Learning Algorithms.arXiv preprint arXiv: 1803.02999

[5] Fei Mi, Minlie Huang, Jiyong Zhang, and Boi Faltings. 2019.Meta-learning for low-resource natural language generation in task-oriented dialogue systems . In IJCAI, pages 3151-3157

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding . arXiv preprint arXiv:1810.04805

[7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu,Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon.2019.Unified language model pre-training for natural language understanding and generation.InH.Wallach,H.Larochelle,A.Beygelzim er, F.d'Alché-Buc, E.Fox, and R.Garnett, editors,
Proc.of NeurIPS, Vol.32, pp.13063-13075.Curran Associates, Inc

[8] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, Xiaoyan Zhu.2020. KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation.arXiv preprint arXiv: 2004.04100

[9] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, Minlie Huang.2020.CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset.arXiv preprint arXiv: 2002.11893

[10] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li.2016.Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots.arXiv preprint arXiv: 1612.01627

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. July 2002.Bleu: a method for automatic evaluation of machine translation.In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311318, Philadelphia, Pennsylvania, USA, Association for Computational Linguistics

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. June 2016.A diversitypromoting objective function for neural conversation models.In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.110-119, San Diego, California, Association for Computational Linguistics

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# タスク指向対話における強化学習を用いた対話方策学習への 敵対的学習の役割の解明

下山翔 1,2 森村哲郎 3 阿部拳之 ${ }^{3}$
${ }^{1}$ AI Shift, Inc. 2 東北大学大学院 理学研究科数学専攻 ${ }^{3}$ CyberAgent, Inc. AI Lab.
shimoyama_sho@ai-shift.jp \{morimura_tetsuro, abe_kenshi\}@cyberagent.co.jp

## 概要

強化学習を用いた対話方策の学習において，報酬関数の設計は重要である。効果的な報酬関数の人手 による設計が困難であるため，データから報酬関数 を推定する手法の 1 つとして敵対的逆強化学習が 注目されている。この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示 すことが報告されている。この理由を明らかにする ため，本研究では，既存手法の 1 つである Guided Dialog Policy Learning に対する分析を行う. 報酬関数の目的関数に対する考察および実験結果から，敵対的学習はループ対話の発生を抑制する効果を持つ ことを示す.

## 1 はじめに

対話方策はタスク指向対話システムの重要な構成要素の一つである $[1,2]$. 近年，強化学習を用い た対話方策の学習に関する研究が注目されてい る $[3,4,5,6,7]$. 強化学習による対話方策の学習は,対話をマルコフ決定過程とみなし，対話方策と環境 （例えば，ユーザシミュレータ $[8,9]$ ）との相互作用 を通じて，得られる対話に対する報酬を最大化する ことで行われる.

報酬関数は対話方策の学習において重要である 一方，適切な報酬関数の人手による設計は困難であ る. 単純な報酬関数として，対話ターンを短くする ために各対話ターンで一定の小さな負の報酬，対話終了時に目的を達成した場合は大きな正の報酬を与 える報酬関数があげられる。しかしながら，各ター ンで選択された行動の良さは対話が終了するまで分 からない（つまり，報酬が疎である）ため対話方策 の学習が適切に進まない場合が存在する。

上述の問題に対処するため，データから報酬関数を推定する方法の 1 つである敵対的逆強化学習 $[10,11]$ を用いた方法が提案されている. 研究 [12] は，エキスパート対話を用い，対話単位の報酬関数と対話方策を敵対的学習を用い交互に学習す る方法を提案している. 研究 [13] は敵対的逆強化学習を用いて報酬関数を推定し，報酬関数を状態行動単位とすることで報酬が疎な問題に対処する手法 Guided Dialog Policy Learning (GDPL) を提案して いる。これらの報酬関数を用いて学習された対話方策は人手で設計した報酬関数を用いて学習された対話方策より良好な性能を示すことが報告されてい る. しかし, 対話方策の学習において, 敵対的学習 を用いた報酬関数の推定が有用であることの理由は 十分に解明されていない。

本研究では，GDPLを対象とし，強化学習を用い た対話方策の学習において，敵対的学習を用いた報酬関数推定が対話方策の学習に与える影響の分析を 行う．報酬関数の目的関数に対し考察を行い，実験 によりその妥当性の評価を行う。

## 2 関連研究

強化学習における人手での報酬関数の設計が困難であるため，データから報酬関数を推定する方法である逆強化学習 [14] がよく用いられる. 特に,近年, 逆強化学習に敵対的学習を用いた手法であ る敵対的逆強化学習 $[10,11]$ が注目されている. 研究 [12] は対話方策の学習と報酬関数の学習を敵対的学習を用いて交互に行う手法を提案している. 報酬関数を識別器とし, エキスパート対話には高い値 を，対話方策が生成した対話には低い値を割り当て るように学習する。対話方策は報酬関数から得られ る報酬が高くなるよう学習される. 研究 [13] は対話方策と状態行動単位の報酬関数を交互に学習する手法である Guided Dialog Policy Learning (GDPL) を提案している. GDPL は各ターン毎に状態行動に対し て報酬を与えることで報酬が疎となる問題に対処し

ており，対話内における話題の転換を柔軟に捉える ことができることが報告されている。研究 [15] は報酬関数の推定と対話方策の学習を交互ではなく逐次的に行う手法を提案している. 敵対的学習を用い,状態行動単位の報酬関数である識別器とノイズを入力とし状態行動対を出力する生成器を学習する. 次 に，上記で学習した報酬関数を固定し，対話方策を 学習する. 報酬関数の学習と対話方策の学習を分け ることで，方策オフ型/オン型どちらにも適用でき， モード崩壊 [16] に対処している. 先行研究と本研究 の違いは敵対的学習が対話方策の学習に及ぼす影響 を詳細に分析している点である。

## 3 前提

本論文では，対話を離散時間有限状態マルコフ連鎖 $\mathcal{M}=\left(\mathcal{S}, \mathcal{A}, P, \pi_{\theta}, v, r, \gamma, T\right)$ として扱う. ここで, $\mathcal{S}$ は dialog state $[17,18]$ 全体からなる集合（状態集合), $\mathcal{A}$ は dialog act [19] 全体からなる集合（行動集合), $P: \mathcal{S} \times \mathcal{A} \rightarrow \Delta(\mathcal{S})$ は状態遷移確率 $(\Delta(\mathcal{S})$ は $\mathcal{S}$上の確率単体 $), \pi_{\theta}: \mathcal{S} \rightarrow \Delta(\mathcal{A})$ は対話方策 $(\Delta(\mathcal{A})$ は $\mathcal{A}$ 上の確率単体， $\theta$ はパラメータ)， $v \in \Delta(\mathcal{S})$ は初期分布, $r$ は報酬関数， $\gamma \in[0,1]$ は減衰定数， $T \in \mathbb{N}$ は最大ターン数を表す. $s_{t} \in \mathcal{S}, a_{t} \in \mathcal{A}$ でそれぞれターン $t \in\{1, \ldots, T\}$ における状態，行動, $\tau=\left.\{s_{0}, a_{0}, s_{1}, a_{1}, \ldots, s_{|\tau|}, a_{|\tau|}\right.\}(|\tau| \leq T)$ で対話を 表す.

## 3.1 Guided Dialog Policy Learning

Guided Dialog Policy Learning (GDPL) [13] は，敵対的学習を用い，報酬関数と対話方策を交互に学習す る手法である. 対話方策が生成した対話に対して低 い報酬，学習データ（例えば人間同士の対話）内の 対話に対して高い報酬を割り当てるように敵対的学習を用いて報酬関数を学習する. 対話方策は報酬関数から得られる報酬が高くなるように学習すること で，人間に近い対話の実現を目指す. GDPLでは，状態 $s$ 行動 $a$ の報酬を $f_{\omega}(s, a)=\log p_{\omega}(s, a)$ (ここ で, $p_{\omega}(s, a)$ は確率モデル， $\omega$ はそのパラメータ $)$ と表し，以下の目的関数 (1), (2) を用いて対話方策 $\pi_{\theta}(a \mid s)$ と報酬関数 $f_{\omega}$ を交互に更新する：

$
\begin{aligned}
& \max _{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}}\left[\sum_{t=t_{0}}^{|\tau|} \gamma^{t-t_{0}} \hat{r}\left(s_{t}, a_{t}\right)\right] \\
& \min _{\omega}\left.\{\mathrm{KL}\left[p_{\mathcal{D}} \mid p_{\omega}\right]-\mathrm{KL}\left[p_{\pi_{\theta}} \mid p_{\omega}\right]\right.\},
\end{aligned}
$

ここで, $\hat{r}=f_{\omega}-\log \pi_{\theta}, p_{\mathcal{D}}(s, a)$ は経験分布， $p_{\pi_{\theta}}$ は $\pi_{\theta}$ に従った際に状態行動 $(s, a)$ が発生する同時確率分布, $\operatorname{KL}\left[q_{1} \mid q_{2}\right]=\sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} q_{1}(s, a) \log \frac{q_{1}(s, a)}{q_{2}(s, a)}$ である. GDPLでは， $p_{\omega}$ を推定する代わりに確率 であるという制約なしで $f_{\omega}$ を直接推定し，対話方策の学習を安定させるために potential-based reward shaping [20] を用いて $\left(s_{t}, a_{t}, s_{t+1}\right)$ に依存する形に $f_{\omega}$ を変換している。

## 4 GDPL に対する考察

本章では，GDPLにおいて，敵対的学習が対話方策の学習に与える影響の考察を行う. 4.1 節でルー プ対話の定義， 4.2 節で敵対的学習の役割の考察を 行い，敵対的学習はループ対話を抑制する効果を有 することを示す.

## 4.1 ループ対話の定義

表 1 ループ対話の例. usr はユーザシミュレータ，sys は 対話方策を表す.

Definition 1 (ループ対話). 対話 $\tau$ において， $\left(s_{t}, a_{t}\right)=$ $\left(s_{t+n}, a_{t+n}\right)$ を満たす $n$ とターン $t$ が存在するとき, $\tau$ をループ対話と呼び，ループ内の状態 $s^{i}:=s_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ状態, 行動 $a^{i}:=a_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ行動と呼ぶ.

ループ対話の例を表 1 に示す. この対話では上か ら2つ目のユーザ発話 $(t=1)$ 以降，ユーザシミュ レータと対話方策がともに同じ内容の発話を繰り返 している. 簡単に述べると，ループ対話とは，特定 の状態行動 $(s, a)$ が複数回出現する対話である.

## 4.2 敵対的学習の役割の考察

マルコフ連鎖 $\mathcal{M}$ において，ある $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ が存在し，次の仮定を満たすとする: 任意の $i \in\{0, \ldots, n-1\}$ に対し $\hat{r}\left(s^{i}, a^{i}\right)$ が $\hat{r}$ の最大値と十分近い.このとき, GDPLにおいて, 敵対的学習は ループ対話の発生を抑制すると推測される.
報酬関数を固定し，式 (1) に基づき対話方策を更新する場合を考える。式 (1) は累積報酬であるか ら，対話方策は生成する対話の累積報酬が高くな るよう学習される。ある 2 つ対話に対し，それ らの対話に含まれる状態行動に対する報酬の差が 十分小さい場合，累積報酬が高くなる対話はター ン数が多い対話である。ここで，そのような対話 の 1 つとして, $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ をループ状態行動に持 ち，あるターン $t$ 以降これらの状態を順に遷移し 続けるループ対話が考えられる（つまり， $\tau=\left.\{s_{0}\right.$, $\left.\left.a_{0}, \ldots, s_{t-1}, a_{t-1}, s^{0}, a^{0}, \ldots, s^{n-1}, a^{n-1}, s^{0}, a^{0}, \ldots\right.\}\right)$. し たがって，式 (1)を最大化して得られる対話方策の 1 つとして，上述のループ対話の発生を促す対話方策 が考えられる。 $\left(s^{i}, a^{i}\right)$ が 1 対話内に複数回出現する ことから，このような対話方策に従った際の $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる.

上述したループ対話の発生を促す対話方策 $\pi_{\theta}$ を 固定し，式 (2) に基づき報酬関数を推定する場合を 考える。式(2) は以下のように書ける：

$
\max _{\omega} \sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} f_{\omega}(s, a)\left.\{p_{\mathcal{D}}(s, a)-p_{\pi_{\theta}}(s, a)\right.\} .
$

上式において,$p_{\mathcal{D}}(s, a)<p_{\pi_{\theta}}(s, a)$ なら,$f_{\omega}(s, a) \rightarrow$一⿻ である. ここで， $(s, a)$ をループ状態行動 $\left(s^{i}, a^{i}\right)$ とすると， $\pi_{\theta}$ はループ対話の発生を促すという仮定から $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる. よっ $\tau, p_{\mathcal{D}}\left(s^{i}, a^{i}\right)<p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ を満たし, $f_{\omega}\left(s^{i}, a^{i}\right) \rightarrow-\infty$ となると考えられる。したがって，このように更新 された報酬関数を用いて対話方策を更新する場合， $\left(s^{i}, a^{i}\right)$ を含む対話は累積報酬が十分小さくなるこ とから, 対話方策は $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ が 低くなるように学習されると考えられる。つまり， GDPL において敵対的学習はループ対話を抑制する と考えられる。

## 5 考察に対する実験的確認

本章では，4 章における考察に関する実験的確認 を行う，確認する内容は以下である：

・GDPL から敵対的学習を取り除いて学習した対話方策はループ対話の発生を促す。

・GDPL において敵対的学習はループ対話を抑制 する。

・敵対的学習を用いずにループ対話を抑制するよ う報酬を設計した手法と GDPL の性能差.

## 5.1 データセットとシミュレータ

本研究では，データセットとして Multiwoz [21]を 用いる. Multiwoz はマルチドメインタスク指向対話 コーパスで， 7 ドメイン，10,483 対話からなる.

強化学習の環境として，対話ゴールを受け取り確率的なルールに基づいて対話を行うアジェンダベー スユーザシミュレータ [8]を用いた. 対話ゴールは，各ドメインに対する，シミュレータが希望するエン ティティが満たすべき制約（例えば，適度な価格帯 のレストラン）と対話方策から聞く必要がある要求情報（例えば，レストランの住所）から成る.

## 5.2 比較手法

本論文では，以下 2 つの方法でそれぞれ学習した 対話方策を GDPL と比較する：
- GDPL w/o AL: 式 (2) から第 2 項を取り除き学習 した $f_{\omega}$ を固定し， $\hat{r}$ を式 (3) で定め，式 (1)を 目的関数として学習した対話方策.
- GDPL restrict loop: GDPL w/o AL と同様の $f_{\omega}$ を 固定し， $\hat{r}$ を式 (4) で定め，式 (1)を目的関数と して学習した対話方策.

$
\begin{aligned}
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)=\frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \\
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)
\end{aligned}
$

$
= \begin{cases}r_{\text {loop }}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \left(\left(s_{t}, a_{t}\right)\right. \text { is loop } \\ \frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \text { (otherwise) }\end{cases}
$

$r_{\text {loop }}=\min _{\left(s_{t}, a_{t}, s_{t+1}\right) \in \mathcal{D}_{\text {train }} \cup \mathcal{D}_{\text {valid }}}\left.\{-\frac{\left|f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)\right|}{2}\right.\}$ ここで， $\mathcal{D}_{\text {train }}, \mathcal{D}_{\text {valid }}$ はそれぞれ学習，検証データで ある. GDPL w/o AL において，学習を安定させるた めに，報酬関数を 10000 で割っているが割らない場合においても同様の結果を確認した.

GDPL の実装には著者らのコード1)を用いた. $T=40$ とし， モデルのパラメータおよび dialog state, dialog act は文献 [13] と同様とした.

## 5.3 評価指標と評価・学習方法

評価指標として success を用いた. success は recall と match rate がともに 1 なら 1 ，そうでないなら 0 と して定める. recall はシミュレータのゴールで指定

1) https://github.com/truthless11/GDPL

された要求情報と実際に対話方策が伝えた情報を 用いて計算する. match rate は予約されたエンティ ティがシミュレータのゴールで指定された制約と完全に一致していたドメインの割合である.

全データの内，8483 対話を学習， 1000 対話を検証に用いた. シードをランダムに 5 つ変更し，各手法をそれぞれ 50 エポック学習した. ここで， 1 エポックは 1024 対話（つまり，環境との相互作用 1024 セッション）とした. 各手法間でシードは同じ ものを用いた。

各エポック終了時に，ユーザシミュレータとの相互作用により評価用対話を 1000 生成し，それらの 対話に対する評価指標の平均を報告する。評価対話 の生成に用いるシードは全てのエポック，手法で共通とした。

## 5.4 結果と分析

図1 各報酬の与え方に対するループ対話数の推移. GDPL w/o AL は GDPL における報酬関数の目的関数か ら敵対的学習項を取り除いたもの，GDPL restrict loop は GDPL w/o AL においてループ状態行動に対し負の報酬を 与えたものを表す.

図 2 各報酬の与え方に対する success rate の推移. 黒の 横線は GDPL に対する平均値の最大値を表す.評価用対話 1000 対話に対するループ対話数の平均とェ標準偏差を図 1 に示す. GDPL w/o AL にお いて，ループ対話数が増加している。一方，GDPL においてループ対話数は減少している. よって, GDPL において，敵対的学習はループ対話の発生を 抑制すると考えられる。

評価用対話 1000 対話に対する各評価指標の平均 と $\pm$ 標準偏差を図 2 に示す. GDPL および GDPL restrict loop は GDPL w/o AL より良好な性能を示し ている.この結果から，タスク指向対話において， ループを抑制することが対話方策の性能向上に寄与すると推測される. 加えて, GDPL restric loop は GDPL より良好な性能を示している. 10 エポック目以降 GDPL の性能が悪化しているが，これは no-offer で終了する対話が増加していることが要因であっ た. no-offer は dialog-act の値の 1 つであり，ユーザ シミュレータは no-offerを含んだ dialog-actを受け 取った時点で対話を終了する. no-offerにより対話 が終了すると, それ以降で聞くはずであった情報が 聞けず，また，それ以降で予約するはずであったエ ンティティが予約できないため評価指標が低下す る. no-offerを含む対話を学習データから取り除き GDPLを学習したところ, 学習途中で性能が悪化し なかったことから, この現象は敵対的学習のモード 崩壊 [16] であると考えられる。なお，モード崩壊と は, 生成モデルの学習に失敗し出力のバリエーショ ンが限られる現象である. GDPL restrict loop は学習 に敵対的学習を用いていないため，GDPLにおける モード崩壊の問題を回避できていると考えられる。

## 6 結論と将来の展望

本研究では, Guided Dialog Policy Learning (GDPL) において，敵対的学習を用いた報酬関数の推定が対話方策の学習に与える影響の分析を行った. 報酬関数の目的関数を状態行動について書き下すこと で，敵対的学習はループ対話の発生を抑制する効果 を有すると推測された. また，アジェンダベース ユーザシミュレータを用いて，上述の考察の実験的確認を行った. 実験において, 敵対的学習を用い ずにループ対話の発生を抑制するよう報酬を与え た方法は GDPL より良好な性能を示した. 今後の 課題として次を挙げる：アジェンダベース以外の シミュレータ（例えば, Variational Hierarchical User Simulator [9]）を用いた実験的分析および敵対的学習を用いた他手法への本分析の適用可能性の調査.

## 謝辞

本論文の作成にあたりご助力頂きました, 株式会社 AI Shift の友松祐太氏，杉山雅和氏，東佑樹氏，二宮大空氏，戸田隆道氏，株式会社サイバーエージェ ントの邊土名朝飛氏にこの場を借りて厚く御礼申し 上げます.

## 参考文献

[1] Wai-Chung Kwan, Hongru Wang, Huimin Wang, and Kam-Fai Wong. A survey on recent advances and challenges in reinforcement learning methods for task-oriented dialogue policy learning, 2022.

[2] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An opensource toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 142-149, 2020.

[3] Mehdi Fatemi, Layla El Asri, Hannes Schulz, Jing He, and Kaheer Suleman. Policy networks with two-stage training for dialogue systems. In In 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 101-110, 2016.

[4] Baolin Peng, Xiujun Li, Lihong Li, Jianfeng Gao, Asli Celikyilmaz, Sungjin Lee, and Kam-Fai Wong. Composite task-completion dialogue policy learning via hierarchical deep reinforcement learning. In Conference on Empirical Methods in Natural Language Processing, 2017.

[5] Baolin Peng, Xiujun Li, Jianfeng Gao, Jingjing Liu, KamFai Wong, and Shang-Yu Su. Deep dyna-q: Integrating planning for task-completion dialogue policy learning, 2018 .

[6] Huimin Wang, Baolin Peng, and Kam-Fai Wong. Learning efficient dialogue policy from demonstrations through shaping. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 63556365, 2020.

[7] Huimin Wang and Kam-Fai Wong. A collaborative multiagent reinforcement learning framework for dialog action decomposition. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7882-7889, 2021.

[8] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149152, 2007.

[9] Izzeddin Gür, Dilek Hakkani-Tür, Gokhan Tür, and Pararth Shah. User modeling for task oriented dialogues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 900-906, 2018.

[10] Jonathan Ho and Stefano Ermon. Generative adversarial imitation learning. In Advances in Neural Information Processing Systems, 2016.

[11] Justin Fu, Katie Luo, and Sergey Levine. Learning robust rewards with adverserial inverse reinforcement learning. In International Conference on Learning Representations, 2018.

[12] Bing Liu and Ian Lane. Adversarial learning of taskoriented neural dialog models. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 350-359, 2018.

[13] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided dialog policy learning: Reward estimation for multidomain task-oriented dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 100-110, 2019.

[14] Brian D. Ziebart, Andrew Maas, J. Andrew Bagnell, and Anind K. Dey. Maximum entropy inverse reinforcement learning. p. 1433-1438, 2008.

[15] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialogue policy learning without adversarial learning in the loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 23082317, 2020.

[16] Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, and Charles Sutton. Veegan: Reducing mode collapse in gans using implicit variational learning. In Advances in Neural Information Processing Systems, 2017.

[17] J. Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue Discourse, pp. 4-33, 2016.

[18] Sungdong Kim, Sohee Yang, Gyuwan Kim, and SangWoo Lee. Efficient dialogue state tracking by selectively overwriting memory. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 567-582, 2020.

[19] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, pp. 339-374, 2000.

[20] Andrew Y. Ng, Daishi Harada, and Stuart J. Russell. Policy invariance under reward transformations: Theory and application to reward shaping. In Proceedings of the Sixteenth International Conference on Machine Learning, p. 278-287, 1999.

[21] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, 2018.


# タスク指向対話システムの方策学習への Decision Transformer の適用

戸田隆道 1 森村哲郎 2 阿部拳之 ${ }^{2}$
1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{toda_takamichi, morimura_tetsuro,abe_kenshi\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向対話システムにおい て, 行動決定を行う Policy モジュールは設計が非常 に複雑でコストがかかる. シミュレーターを用いて オンライン強化学習で方策を学習させる取り組みも あるが, 学習のためのシミュレーターの実装など多 くの課題が残されている. 我々は Policy モジュール の方策の学習にシミュレーターを必要としないオフ ライン強化学習の手法である Decision Transformerを 適用する. 本稿では Decision Transformerを方策の学習に適用する際の報酬設計について, MultiWOZ 2.1 のデータセットを使い, 学習時と推論時両方で評価 を行う。

## 1 はじめに

パイプライン型のタスク指向対話システムにお けるモジュールの一つである行動決定を行う Policy モジュールは, 現在の対話状態に基づいてシステム が次に行う対話行動を決定する働きをする. Policy モージュールの方策 (以下方策) の設計は対話のス トーリーを設計することと同義と言え, 非常に多く の工数がかかる. そのため工数をかけずデータから 方策を設計するために, 近年強化学習を使った試み が多くなされている [1][2].

一般的な強化学習 (オンライン強化学習) ではエー ジェントは環境との相互作用によって学習を進め る. 対話方策の学習においては, 人間が直接学習に 関わるのは困難であるため,多くの場合対話シミュ レータを使って学習を行っている. しかしシミュ レータは複雑な人間の行動を反映させる必要がある ため,シミュレータを作ること自体に多大な工数が かかってしまうという問題を抱えている. 加えて, シ ミュレータに欠陥があると適切でない学習が行われ てしまう恐れもある. そこで, 我々はシミュレータ
を使わないオフライン強化学習 [3] である Decision Transformer[4] を方策の学習に適用する. オフライ ン強化学習には弊社で運用している AI Messenger Chatbot $^{1)}$ のようなチャットボットと有人チャット を組み合わせた対話システムにおいて, 実環境で溜 まったデータをそのまま学習に使うことができると いった利点もある.

オンライン,オフライン問わず強化学習には 報酬の設計という共通の課題がある. Decision Transformer はそれに加え，推論時にも報酬をモデル に与える必要がある. [4] で実験されていた Atari な どの環境はゲームのスコアなどから現在の状態に対 する報酬が容易に定義できるが, 対話においては現在の状態がタスク達成に対してどの程度良いかを定義することは困難である. 本研究では学習時と推論時の報酬の与え方のパターンを試した結果を共有 する。

本研究の貢献は以下の 2 点である。

・タスク指向対話の方策の学習に Decision Transformer を初めて適用した

・方策の学習と推論における Decision Transformer への報酬の与え方の検証を行なった

## 2 関連研究

本研究に関わる重要な手法に [4] で提案された Decision Transformer がある. 一般的な強化学習は, 環境においてエージェントが試行錯誤することで方策 を改善するが, オフライン強化学習手法の一種であ る Decision Transformer は, 事前に用意されたデータ セットからの学習だけで, 実環境と作用せずに良い 方策を獲得することを目的としている. オフライン 強化学習は実環境での失敗が許容できないドメイン や試行錯誤のコストが高いドメインでの活用が期待 されている. Decision Transformer はモデルのアーキ

テクチャに GPT をベースとしており, 非マルコフ性 の問題,つまり将来が現在の状態だけでなく履歴全体に依存してしまう問題を Transformer の Attention の仕組みで効率よく解くことができるといわれて いる.

方策の学習に Transformerアーキテクチャを利用 する手法として [5] が挙げられる. こちらは異なる ドメイン間の転移を行う継続的な強化学習を行う 際の状態表現として事前に学習された RoBERTaを ベースとして利用しているが, 本研究では状態はバ イナリベクトルで離散的に扱う。

その他対話に特化した方策の学習方法として [1] が挙げられる.こちらは逆強化学習 [6] に基づいて, より人間の対話に近くなるような報酬関数を求める 手法となっている. オンライン強化学習の手法であ り, 学習には対話シミュレーターが必要になる点が 本稿で扱う Decision Transformer と異なっているが,将来的には Decision Transformer で学習済みのモデル をオンラインに適用する際などに組み合わせること が考えられる。

## 3 実験

## 3.1 比較手法

Decision Transformer は, 時刻 $t$ の状態 $s_{t}$, とった行動 $a_{t}$, 得られた報酬 $r_{t}$ の 3 種類の情報をべクトル 化して連結したものを 1 トークンとして, 次の行動 $a_{t+1}$ を予測するように学習する. 学習時は行動軌跡 が全て入力され, mini-batch 内で長さの異なるものは padding される. 本研究では Decision Transformer の入力の一つである報酬の与え方の検証を行う.ここで 報酬は即時的に与えられる即時報酬と, 将来的に得 られる即時報酬の累積値 (return-to-go) の 2 種類に 分けられる. return-to-go は式 1 のように定義される.

$
\widehat{R}_{t}=\sum_{t^{\prime}=t}^{T} r_{t^{\prime}}
$

ここで $T$ は対話における全ターン数, $r_{t^{\prime}}$ は $t^{\prime}$ ター ン目の即時報酬を示している. 状態 $s_{t}$, 行動 $a_{t}$ と共 に return-to-go $\widehat{R}_{t}$ がモデルに与えられる. 具体的に は，各ターン $t$ でモデルは式 2 で定義される行動軌跡 $\tau_{t}$ を入力として受け取り，行動 $a_{t}$ を出力する.

$
\tau_{t}=\left(\widehat{R}_{1}, s_{1}, a_{1}, \widehat{R}_{2}, s_{2}, a_{2}, \ldots, \widehat{R}_{t}, s_{t}\right)
$

ここで注目すべきは，軌跡 $\tau$ に即時報酬ではな く, 今後得られる即時報酬の累積値 return-to-go を 用いていることである，この操作により，Decision Transformer は直近の報酬だけでなく，未来の報酬 も考慮して，行動を選択できるようになる。その ため，推論時に大きい所望の return-to-go を設定す れば，長期的に報酬を大きくするような行動を 選択することが期待される。本稿では以下より return-to-go を報酬と呼び, 学習時の報酬を学習時報酬，推論時の報酬を推論時報酬と定義する。これら を踏まえて，検証する報酬の与え方を以下に示す。

## 1. baseline

対話中は学習時報酬を与えず,対話が成功した 時のみ大きな正の学習時報酬を与える.これは 一般的な強化学習でよく使われる報酬パターン で, 今回は対話成功時は 40 を与えるように設定 する. 推論時報酬は常に 0 とする。

## 2. constant -1

対話中は常に小さな負の学習時報酬を与え, 対話が成功した時のみ大きな正の学習時報酬を与 える. 常に負の学習時報酬が与えられるため, で きるだけ早く目的を達成させるような学習がさ れることを期待している. 今回は対話中は-1, 対話成功時は 40 をとえるように設定する. 推論時報酬は常に-1 とする.

## 3. linear

対話開始時の学習時報酬を 0 , 完了時の学習時報酬を 40 とし, 中間の対話は線形増加させる. 例 えば 5 ターンで完了する対話の場合は $0,10,20$, 30, 40 と増加する. 尚, 小数になった場合は整数 に丸め込む. 推論時報酬について, 1. baseline や 2. constant -1 は一定の報酬を与えればよかった が, 本手法は推論時報酬が変動するため, 何ター ン目に最大となるかを決める必要がある. 著者 が知る限りでは, 終了ターンがわからない状態 での推論時報酬の設計が行われている先行研究 は無いため $1,2,4,8,16$ の範囲で探索する.

## 4. quadratic

考え方としては 3. linear と同様であるが,こち らは二次関数的に学習時報酬を増加させる. 例 えば 5 ターンで完了する対話の場合は $0,6,15$, 26, 40 と増加する. 3. linear と同様, 推論報酬の 最大値を何ターン目に設定するかを $1,2,4,8,16$ の範囲で探索する。
5. $\log$
考え方としては 3. linear と同様であるが,こち らは底を 2 とする対数関数的に学習時報酬を増加させる. 例えば 5 ターンで完了する対話の場合は $0,17,27,34,40$ と増加する. 3. linear と同様, 推論報酬の最大值を何ターン目に設定する かを $1,2,4,8,16$ の範囲で探索する.

これらの手法に加え,シミュレータを用いない他 の方策の学習手法として模倣学習 (Behavior Cloning,以下 $\mathrm{BC})$ を比較する. BC は状態をバイナリで表現 したベクトルから行動をバイナリで表現したベクト ルを予測する 2 層の全結合ニューラルネットワーク で構成される。

## 3.2 評価方法

評価には MultiWOZ 2.1[7] を利用する。こちら は旅行サポートサービスを行う店員と顧客と のタスク指向対話コーパスの MultiWOZ[8] の アノテーションミスを修正したり適切で無い 対話を除外した，より質の良いタスク指向対話コーパスである. 実験には，夕スク指向対話システムの研究開発向けツールキットの ConvLab2[9][10]を用いる. ConvLab2 は NLU(Natural Language Understanding)[11][12] や DST(Dialogue State Tracking)[13] などの Policy 以外のパイプライン型 のタスク指向対話システムのモジュールや Agenda ベースのユーザーシミュレータ [14] などを提供して いる.

パイプライン型のタスク指向対話システムは Policy, NLU, DST, に加えて NLG (Natural Language Generation)[15] の4つのモジュールを組み合わせて 構成される. 本研究では方策の評価を行うために, 残 りのモジュールは以下に固定した.

## - NLU

BERTによる埋め込み表現から発話文中の各単語が表す意図をクラス分類する JointBERT[16]

## - DST

NLU が推定したスロットを用いて人手で作成 されたルールに従って対話状態を更新する Rule DST

## - NLG

発話テンプレート文の集合から, 方策が予測し た行動に合うものを選択する Template NLG

評価指標は方策学習の先行研究 [1][5] で利用され ており,ConvLab2 でも利用可能な以下の 2 指標を利用する.

## - Success Rate

対話の成功率で, ConvLab-2 では”ユーザー要求 がすべて満たされ, かつ予約されたエンティ ティが制約を満たしている割合”と定義されて いる. 高いほどユーザーの満足する対話を行う ことができていると言える.

## - Average Turn

成功した対話の平均ターン数. 小さいほど効率 よく対話を行なっていると言える。

システムの評価時には, 異なる 5 種類のランダム シードで 100 対話をシミュレーションし, その平均 スコアを用いる。

## 3.3 結果

報酬の与え方の比較の実験結果を表 1 に示す. linear, quadratic, $\log$ は推論時の最大報酬設定ターン (Maximum Reward Setting Turn, 以下 MRST) も分けて 評価する. 尚, MultiWoZ 2.1 の学習データの Average Turn は 6.728 であった.

表 1 報酬の与え方の比較

## 4 考察

## 4.1 実験結果について

baseline や constant -1 といった成功した時にのみ報酬を与える手法より, linear や quandratic, $\log$ といっ た, 対話の完了に向けて徐々に報酬が増加する手法の方が Success Rate は高いことがわかった. 徐々 に報酬が増加する手法の中では linear, $\log$ が比較的 Success Rate が高く, 推論時の報酬の与え方は MRST が 4 の時が最も高くなった. この結果は対話の序盤 に高い報酬を与えた方がよいことを示していると考 えている. ただし $\mathrm{MRST}=1$ や MRST $=2$ など, 極端に 短い場合はわずかに Success Rate が下がってしまう. これは最低限必要な対話ターン数が関係していると 想定され, ドメインによって理想的な MRST を調整 する必要があると考えている.

Average Turn に関しては各手法の間で大きな差は 見られなかったが, 若干 MRST が小さい方が小さく なる傾向が見られた. これは, 推論時に与える報酬が 対話完了の目標ターンに影響を与えているのではな いかと考えた。

適切な報酬設計を行えた場合は $\mathrm{BC}$ よりも良い精度を得ていることから, 単純にデータにある行動を 模倣するのではなく, データにある行動からより適切な行動を学習できているといえる. 逆に報酬設計 が適切でないと BC と比べて大きく精度が落ちるこ とから, 報酬設計が方策の学習に重要な影響をあた えることがわかる.

## 4.2 今後の展望

今回推論時の報酬は事前に定義された関数に従っ て与えたが, ユーザー側の肯定的な発言や予約など のスロット抽出完了フラグなどの対話内容に応じて 動的に変化する報酬の与え方も考えられる. また才 フライン強化学習の強みとしてオンライン強化学習 と組み合わせることができることが挙げられるの で, [1] のようなオンライン強化学習手法と組み合わ せることで更なる精度向上が期待できる。

方策学習に関するテーマとして今回扱わなかっ たものの一つに, 異なるドメイン間の転移学習があ る. NLU や NLG のように GPT や BERT などの一般的な文章で学習した事前学習モデルを使った手法を 適用しづらく, また強化学習の転移学習自体が容易 では無いとも言われている [17]. MultiWOZ 2.1 は
レストラン予約やタクシー配車など複数のドメイン を含んでいるので,この部分を分離して学習し,オフ ライン強化学習での転移学習, または少量データで のドメイン適用といった方向性での研究も検討して いる.

MultiWOZ 2.1 は人間同士の対話なので非常に質が 高く,ほぼ 100\%の割合で完了しているといえる.し かし実際の対話プロダクトでは途中でユーザーが離脱してしまうなど対話が失敗してしまうケースも考 えられる。そこでシミュレーター同士で対話させる ことで, 擬似的に失敗した対話を生成し, 学習デー タに一定割合で混ぜて精度変化を比較する実験を 行なった. 擬似的に生成した失敗した対話を混ぜる ことで精度が低下することがわかったが, 失敗した 対話に対する報酬設計に関して，明確な答えを得る ことができなかったので,この部分に関して掘り下 げて研究することも検討している。 尚, 実験結果は Appendix A に記載する.

## 5 おわりに

本稿では, パイプライン型のタスク指向対話シス テムにおけるモジュールの一つである方策の学習 に, オフライン強化学習手法の Decision Transformer を適用し, 報酬設計の検証を MultiWOZ 2.1 のデータ セットを用いて行なった. 学習時は対話の完了に 向けて徐々に増加するように報酬を与え，推論時は 4 ターン目に最大の報酬を設定すると最も Success Rateが高くなった.

今後の取り組みとして，より動的な報酬の与え方 やオンライン強化学習との組み合わせ, ドメイン間 の転移などを検討している. 加えて, 実際の対話を想定して失敗した対話をデータに混ぜた場合の評価も 行なったが, 混合比率が上がるにつれて精度が低下 することがわかったが, 失敗した対話に対する報酬設計をどのようにすれば良いかがまだわかっていな いので,この点に関しても研究を続ける。

## 謝辞

本論文の作成にあたりご協力頂きました, 株式会社 AI Shift の友松祐太氏, 杉山雅和氏, 東佑樹氏, 二宮大空氏, 下山翔氏, 株式会社サイバーエージェントの 邊土名朝飛氏にこの場を借りて厚く御礼申し上げ ます.

## 参考文献

[1] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialog policy learning without adversarial learning in the loop. Findings of EMNLP 2020, 2020.

[2] Pei-Hao Su, Pawe 1 Budzianowski, Stefan Ultes, Milica Gašić, and Steve Young. Sample-efficient actor-critic reinforcement learning with supervised data for dialogue management. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 147157, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Sergey Levine, Aviral Kumar, G. Tucker, and Justin Fu. Offline reinforcement learning: Tutorial, review, and perspectives on open problems. ArXiv, Vol. abs/2005.01643, , 2020.

[4] Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, and Igor Mordatch. Decision transformer: Reinforcement learning via sequence modeling. arXiv preprint arXiv:2106.01345, 2021

[5] Christian Geishauser, Carel van Niekerk, Hsien-chin Lin, Nurul Lubis, Michael Heck, Shutong Feng, and Milica Gašić. Dynamic dialogue policy for continual reinforcement learning. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 266284, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Brian D Ziebart, Andrew L Maas, J Andrew Bagnell, Anind K Dey, et al. Maximum entropy inverse reinforcement learning. In Aaai, Vol. 8, pp. 1433-1438. Chicago, IL, USA, 2008.

[7] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 422-428, Marseille, France, May 2020. European Language Resources Association.

[8] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November
2018. Association for Computational Linguistics.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. Convlab-2: An open-source toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[10] Jiexi Liu, Ryuichi Takanobu, Jiaxin Wen, Dazhen Wan, Hongguang Li, Weiran Nie, Cheng Li, Wei Peng, and Minlie Huang. Robustness testing of language understanding in task-oriented dialog. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[11] François Mairesse, Milica Gasic, Filip Jurcicek, Simon Keizer, Blaise Thomson, Kai Yu, and Steve Young. Spoken language understanding from unaligned data using discriminative classification models. In 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4749-4752. IEEE, 2009.

[12] Stefan Ultes, Lina M. Rojas Barahona, Pei-Hao Su, David Vandyke, Dongho Kim, Iñigo Casanueva, Pawe 1 Budzianowski, Nikola Mrkšić, Tsung-Hsien Wen, Milica Gasic, and Steve Young. PyDial: A Multi-domain Statistical Dialogue System Toolkit. In Proceedings of ACL 2017, System Demonstrations, pp. 73-78, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[13] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable multi-domain state generator for task-oriented dialogue systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2019.

[14] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149-152, Rochester, New York, April 2007. Association for Computational Linguistics.

[15] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1711-1721, Lisbon, Portugal, September 2015. Association for Computational Linguistics

[16] Wen Wang Qian Chen, Zhu Zhuo. Bert for joint intent classification and slot filling. ArXiv, Vol. abs/1902.10909, , 2019 .

[17] Matthew E. Taylor and Peter Stone. Transfer learning for reinforcement learning domains: A survey. J. Mach. Learn. Res., Vol. 10, p. 1633-1685, dec 2009.

## A 失敗対話を加えた実験

失敗した対話に対しても報酬を設計する必要 があるので, 報酬の与え方の比較の実験で最も Success Rate が高く, Average Turn が小さかった linear, MRST=4をRSO 100\%を current best とし,その current bestをベースに以下の 6 パターンを試した.

1. const

常に-1 の報酬を与え, 対話終了 (破綻) 時に-40の 報酬を与える

2. low

-40 から 0 まで線形増加させる

3. middle

-80 から-40 まで線形増加させる

## 4. high

-120 から -80 まで線形増加させる

## 5. steep low

-80 から 0 まで, 2 . low より傾斜をつけて線形増加させる

6. steep middle

-120 から-40まで, 3. middle より傾斜をつけて線形増加させる

7. steep high

-160 から-80まで, 4 . high より傾斜をつけて線形増加させる

シミュレーターの Policy モジュールは ConvLab2 で提供されている MLEを利用し, 元のデータと 3:1 の割合で混ぜる RSO(Ratio of simulator and original data) $25 \%$, 元のデータと $1: 1$ の割合で混ぜる RSO $50 \%$, 元のデータと $1: 3$ の割合で混ぜる RSO 75\%の 3 パターンを試した. 結果を表 2 に示す.

## A. 1 考察

失敗対話を加える割合を増やすほど Success Rate も Average Turn も悪化することがわかった. Success Rate は steep middle が比較的よい結果を得られたが RSO25\%の際は low が最もよい結果となった. 一方 Average Turn に関しては何が効果的だったのかわか らなかった. この結果に関しては今後検証を進め ていきたいと考えている.表 2 失敗対話を加えた実験


# 視覚情報を用いたタスク指向型対話における 人間の応答に対する間違い指摘の検討

大島遼祐 ${ }^{1}$ 品川政太朗 2 綱島秀樹 3 森島繁生 4
1 早稲田大学 先進理工学部 2 奈良先端科学技術大学院大学 先端科学技術研究科
${ }^{3}$ 早稲田大学 先進理工学研究科 4 早稲田大学 理工学術院総合研究所
ryosukeoshima@fuji.waseda.jp sei.shinagawa@is.naist.jp
h.tsunashima@asagi.waseda.jp shigeo@waseda.jp

## 概要

視覚を持つ対話システムが実世界応用される際，対話相手である人間のミスが原因でタスクが失敗 する場合があり，システムには失敗を避けるために 人間を支援することが求められる。そこで本研究で は，視覚情報を用いたタスク指向型対話の一つであ る Guess What?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考 える. 人間が応答に間違えたデータの収集・分析を 行い，間違い指摘モデルの正確性向上への有効的な 学習方法と入力の検証を行った. 実験の結果から,人工的なデータセットによる事前学習と, 応答時刻・質問タイプを加えるという二つが間違い指摘の 正確性向上に部分的に寄与する事が分かった. ${ }^{1)}$

## 1 はじめに

近年，テキスト情報だけでなく，視覚情報も考慮 してチャット形式の対話行うタスクである Visual Dialogue の研究が盛んである [1-4]. 特に, Guess What?! [2]（図 1）は二人で協力して行うゲームと なっており，一方 (Oracle) が参照している画像内の 物体 (以下，正解物体) を，もう一方 (Questioner) が 質問応答を繰り返すことにより推測するという，タ スク指向型対話になっている.

Guess What?!を始めとして, 現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するも う一方の応答は，質問への応答として常に正しい事 が前提になっている [4-7]. しかし, 現実の対話で は，Oracle 側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある。

そこで，本研究では Questioner を対話エージェン
発表した内容と同一の内容を一部含みます.

Questioner

1. Is it a donut?

2. Is it coated with green?

3. A complete donut?

図 1 Guess What?!ゲームの一例. 正解物体は水色枠に囲 われている.この例では，2番目の応答が間違いである。

トが，Oracleを人間が担当する場面を考え，人間が エージェントの質問に対する応答を間違えた場合 に，エージェントがミスを指摘するといった新しい 問題を提案する. 既存研究 [8] でも本研究と同じく,対話相手の応答が間違える場合の重要性を指摘して いるが，こちらは対話相手がタスクを失敗させよう と非協力的にわざと不適切に応答している状況下 で，非協力的であることに気づくという問題設定で ある. 本研究は，対話相手が協力的にも関わらず応答に間違えてしまう状況を想定し，実際に間違いの 応答を指摘するという点で異なる。

人間の応答ミスの指摘は，いつ指摘するかという 視点から大きく 3 つに分けられると考えられる.

1. 対話中に人間の応答ミスに気づき指摘する. 応答ミスによりタスクが失敗の方向に向かってい たが，エージェントがミスに気づき指摘する.

2. 物体の推測に失敗してしまった後に，人間の応答のミスに気づき指摘する. 失敗で終わらせず そこから復帰して，物体の推測を成功させよう というものである.

3. 物体の推測に失敗してしまった後に，人間から 正解物体をエージェントが教えられ，それに基 づいて人間の応答のミスに気づき指摘する。

本研究では，対話相手である人間の応答の間違い を指摘できるようになるための第一歩として， 3 番 の問題設定を考える。この問題設定は，最も容易で あるが，次に全く同じようなタスク指向型対話を 行った際に先ほどの教訓を活かして, 自分の応答に より注意を払うことができるようになり，人間の応答ミスによるタスク失敗の数を減らせるようになる ことが期待できると考える。

本研究では，人間の応答ミスの指摘モデルに望ま しい性質とは何か検証するため, まず人間が応答に ミスをしたデータの収集と分析を行い，続いてその 分析に基づいて，収集したデータから得られる知見 の有効性を実験により検証する。なお，間違い指摘 の問題設定において学習データが少ないという問題 があるため，少ないデータでミスの指摘をより可能 にする人工的なデータセットによる事前学習方法を 提案し，その有効性についても併せて検証する.

## 2 人間の応答ミスの収集と分析

Guess What?!データセット [2] には人間同士によ る対話ゲームの結果が収録されている (約 15 万対話, 82 万個の質問応答ペア, 6.6 万個の画像).また, Questioner が正解物体の予測に成功したもの「status $=$ Success $\lrcorner$, 失敗したもの「status $=$ Failure $\lrcorner$, 途中で 諦めたのもの「status = Incomplete」の 3 つのラベル 付けされている.

## 2.1 応答ミスの含まれるデータの収集

本研究では，実際に人間が Guess What?!ゲームに おいて応答に間違えたデータを集めた (以下，手動 データセット). 具体的には「status = Failure」のラベ ル付けがされたデータセットから 2,300 対話をラン ダムにサンプリングし，人間の応答にミスがないか 手動でチェックすることで構築した. 構築の際，正解物体の大きさが小さすぎるもの，同一の対話に応答ミスが 3 つ以上含まれるものは除外した. ミスが 3 つ以上のものを除外したのは，人間 (Oracle) が最初から適当に答えている可能性が高いと判断したた

図 2 応答時刻と応答ミスの関係性のヒストグラム. 横軸 の数値は正規化されている.

表 1 時刻と応答ミスの関係

めである. その結果， 365 対話からなる応答に間違 いが含まれる手動データセットを構築することがで きた.

## 2.2 応答ミスの含まれるデータの分析

まず，本研究では人間の応答ミスの特徴を見る ために，手動データセットに関して分析を行った.具体的にはデータ収集の際，時刻によって応答を 間違える頻度が異なる印象を受けたため，応答時刻と応答ミスの関係性の分析（2.2.1 項）を行った. また [9,10]において, Oralce モデルが質問タイプに よって応答の正答率が異なることが言及されてるた め，質問タイプと応答ミスの関係性（2.2.2 項）につ いても分析を行った.

## 2.2.1 応答時刻と応答ミスの関係性

図 2 亿応答時刻と応答の間違いの関係性のグラフ を示す. 図 2 の横軸は，以下の計算に基づいて正規化されている.

$
\text { 横軸 }=\frac{\text { 応答時刻 }}{\text { 対話の長さ }}
$

図 2 より，人間の応答ミスは対話の後半部分にいく につれ，多くなっていることがわかる．また，表 1 に最終時刻に応答ミスをしている数と，最終時刻以外に応答ミスをしている数を表す。表 1 から，人間 は最終時刻の応答を間違えやすい傾向にあることが わかる. 図 2 と表 1 のような結果が得られたのは,対話が後半になるほど，細かく物体を識別し正解物体を当てるために，より複雑な質問（例："Is it the man left side from the man wearing a red hat?") が多く なるためであると考えられる.

## 2.2.2 質問タイプと応答ミスの関係性

図 3 各質問タイプにおける間違いの割合. S-category は，Super-category タイプのことを表す.

図 3 に質問タイプと応答ミスの関係性のグラフ を示す。質問タイプのラベル付けは, [9,10] に倣い, キーワードマッチング方式2)で行った。質問はそれ ぞれ, Object (“is it a car?”), Spatial (“on the right side half?"), Color ("is it white?"), Action ("are they wearing jeans?”), Size(“a small one?”), Super-category ("is the object an electronic?"), Texture ("is it made of metal?"), Shape ("is it a round container?") , Others $の 9$ 種類に 分類されている。ここで，括弧内は各質問タイプの 例文である. 図 3 からわかるように, 人間は Spatial, Color, Action, Size のいずれかに分類される質問に 対して，間違えやすいことがわかった. 以上の分析 から，Guess What?!における人間の応答は，応答時刻と質問タイプによって間違えやすい傾向が異なる ことがわかった.

## 3 実験

本研究では，2種類の実験を行った. 1 つ目は，手動データセットの大きさが小規模である問題点に 対し，提案する事前学習方法が有効か検証する実験 （以下，実験 1）である．2つ目は間違い指摘をより 正確に行うには何の入力が重要かを検証する実験 （以下，実験 2）である．2 章で得られた人間の応答 の間違いの傾向が，どのように間違い指摘モデルの 精度向上に寄与するか検証した。

比較モデル 本実験は，学習方法とモデルの入力 を検証する実験のため，実験 1 と実験 2 における比較モデルとして，図 4 のような非常にシンプルなモ デルを構築した. 具体的には, Guess What?! [2] で提案された Oracle モデルに, 間違い指摘のための分類 ヘッドを追加し，モデルの出力に対し閾値を 0.5 と

2）対象の単語が含まれる場合に，特定の質問タイプに分類す る方式. “left'が含まれている質問は Spatial に分類される.

図 4 比較モデルの概要図

表 2 各データセットの利用方法

して，応答が\{間違っているか，合っているか\}を 2 值分類 3 )する.

データセット 手動データセットが小規模である 問題点に対し，「staus = Success」のラベル付けされ たデータセットを用いて，新しく人エデータセッ トを構築した。具体的には，人間の応答の「Yes」 と「No」をランダムに反転することで，人工的に間違いのある応答を作りだし，約 11 万対話の規模の データセットとした.

本実験では上記の人工データセットに加え, Guess What?!データセット [2], 手動データセットを含め た 3 種類のデータセットを用いた. これらデータ セットの利用方法を表 2 に示す. Guess What?!，人 エデータセットは事前学習に，手動データセット は，fine-tuning 時と評価に用いた. 手動データセッ トは，訓練時と同じ画像で構成される seen データ セットと異なる画像で構成される unseen データセッ トに分割した. さらに， seen データセットに関して は fine-tuning 用と評価用に分割した. unseen データ セットは全て評価に用いた。ここで，評価時に用い た seen, unseen データセットは共に，対話テキスト に関しては未知のものである.

本手法では，あえて対話履歴をモデルの入力とし て加えていない。この理由は，人工データセットに 生じる不自然な対話の流れ（付録 A）をモデルが学習することを避けるためであり，本研究における提案手法の一つである人工データセットを用いる上で のモデルへの制約だといえる.

評価指標 間違い指摘の分類性能の評価には， $\mathrm{F}$值を用いた（再現率，適合率は付録 Dを参照).こ の評価指標を用いたのは，人間は応答ミスをあまり せず，テストデータセットは正例数が負例数よりも 少ない不均衡データセットであるためである.

## 3.1 各実験の詳細

実験 1 人間が応答で間違えたデータが少ないと いう問題に対処するため，人工データセットによる 事前学習の有効性の検証実験を行った. 具体的に は，1) 手動データセットのみの学習方法，2) Guess What?!データセットを用いて Oracle モデルとして 学習した後に, 手動データセットによる分類へッ ドの学習 (転移学習) を行う学習方法，3) 人工デー タセットで事前学習し手動データセットを用いて fine-tuning する学習方法の 3 つを比較した.

ここで，人間は応答ミスをあまりしないため，手動データセットは正例の数が負例の数よりも少な い不均衡データセットになっている. したがって, fine-tuning 用の手動データセットは，正例と負例の 数が等しくなるようにオーバーサンプリングした.

実験 22 章の分析結果が人間の応答ミスに対す る指摘の正確性を向上に繋がるかを検証した. 具体的には，応答時刻と質問タイプをそれぞれ新しく入力に加えるモデル（付録 C）を構築し，各モデルの 間違い指摘性能を比較する. その際 fine-tuning 時に 用いるサンプルは，各質問タイプの数が同じになる ようにオーバーサンプリングした.

## 4 実験結果

実験 1 の結果を表 3 に示す. 人工データセットで 事前学習する方法が最も良い $\mathrm{F}$ 値が得られ, 有効的 な学習方法であることがわかる.

実験 2 の結果を表 4 に示す. モデルの構造が事前学習段階から異なるため, 事前学習のみの結果も記載している. 次に，応答時刻を入力に追加したモデ ルにおける，最終時刻の応答とそれ以外の応答での 比較の結果を表 5 に示す.

表 4 から， seen においては追加する入力がないモ表 3 各学習方法における間違い指摘の $\mathrm{F}$ 値比較

表 5 最終時刻の応答と最終時刻以外における応答の モデルの $\mathrm{F}$ 值比較

デルが一番良く，unseen においては応答時刻，質問 タイプのどちらを加えても良い結果となった。ま た, 表 5 より, unseenに対して, 最終時刻以外の応答に対する $\mathrm{F}$ 值を下げることなく, 最終時刻の応答 に対する $\mathrm{F}$ 值を上げることができた。

これらの結果から, seen は既知の画像であるた め，視覚情報を上手く捉えることができ，新しい入力がかえってモデルに不必要な複雑さを与えてしま い，F 值が下がったと考えられる。 unseen では視覚情報を上手く捉えることができず，質問タイプが良 いヒントになったと考えられる。また，応答時刻に 関してもデータの分布をただ学習するのではなく，良いヒントとしてモデルが利用できていることが示唆される。

## 5 おわりに

本研究では, Guess What?!における人間の応答に 含まれる間違いの指摘において，人工データセット による事前学習が有効であること，応答時刻・質問 タイプの追加入力がモデルの精度向上に部分的に貢献することが示唆された. 本研究は Guess What?!と いう限られたドメインにおける間違い指摘のみを 扱ったため, 今後の展望として, 本研究で得られた 知見を他の種類の視覚情報を用いたタスク指向型対話に対しても検証することを考えている.

## 謝辞

本研究は JSPS 科研費 (19H04137，21H05054, 21K17806) の助成を受けたものです.

## 参考文献

[1] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In CVPR, 2017.

[2] Harm de Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. Guesswhat?! visual object discovery through multi-modal dialogue. In CVPR, 2017.

[3] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. Simmc 2.0: A task-oriented dia$\log$ dataset for immersive multimodal conversations. In EMNLP, 2021.

[4] Abhishek Das, Satwik Kottur, Stefan Lee José M. F. Moura, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[5] Abhishek Das, Satwik Kottur, José M.F. Moura, Stefan Lee, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[6] Tao Tu, Qing Ping, Govind Thattai, Gokhan Tur, and Prem Natarajan. Learning better visual dialog agents with pretrained visual-linguistic representation. In CVPR, 2021.

[7] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, 2021.

[8] "Anthony Sicilia, Tristan Maidment, Pat Healy, and Malihe Alikhani". Modeling non-cooperative dialogue: Theoretical and empirical insights. arXiv preprint arXiv:2207.07255, 2022.

[9] Alberto Testoni, Claudio Greco, Tobias Bianchi, Mauricio Mazuecos, Agata Marcante, Luciana Benotti, and Raffaella Bernardi. They are not all alike: Answering different spatial questions requires different grounding strategies. In SpLU, 2020.

[10] Ravi Shekhar, Aashish Venkatesh, Tim Baumgärtner, Elia Bruni, Barbara Plank, Raffaella Bernardi, and Raquel Fernández. Beyond task success: A closer look at jointly learning to see, ask, and guesswhat. In NAACL, 2019.

## A 対話の流れが不自然になる例

図 5 人工データセットにおける対話の流れが不自然にな る例. 1 番目の応答が反転により間違いとなっている.

図 5 は，時刻 1 で「食べ物」であることが確定し ているのにも関わらず，時刻 2 で「Is it a plate?」と 聞くような不自然な対話の流れになっている. 実際 の対話の場合，「Is it a banana?」などといった食べ物 に関する質問が続くはずである.

## B 不均衡データにおける評価指標

正例（陽性）の割合が少ないテストデータにおい て, 正解率（= 正解数 / サンプル数）は適切に評価 できない. 理由は，モデルが単純にサンプル数の多 い負例を予測するように学習すれば，全く正例を予測できないにも関わらず，高い正解率を誇る良いモ デルとして評価されてしまうためである。そこで，不均衡データにおける評価指標の一つとして再現率・適合率により定義される $\mathrm{F}$ 值がある．真陽性 (陽性ラベルを正しく陽性と予測)，真陰性（陰性ラ ベルを正しく陰性と予測), 偽陽性（陰性ラベルを 誤って陽性と予測), 偽陰性（陽性ラベルを誤って 陰性と予測）として，再現率・適合率は以下で計算 される.

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陰性数 }} \\
& \text { 適合率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陽性数 }}
\end{aligned}
$

正例（陽性）の割合が少ないテストデータにおい て，モデルが単純に「正例」と多く予測するように 学習すれば再現率は高く適合率は低くなり, 反対に 「負例」と多く予測するように学習すれば適合率は 高くなり再現率は低くなる.このようなモデルを適切に低く評価するために, 再現率と適合値の調和平均を取った F 值がある。

$
F \text { 值 }=2 \times \frac{\text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## ） 実験 2 における追加入力モデル

実験 2 で用いた，質問タイプと応答時刻を新しく 入力として加えたモデルの概要図を，図 6,7 にそ れぞれ示す.

図 6 質問タイプを入力に新しく加えたモデル

図 7 応答時刻を入力に新しく加えたモデル

## D 実験結果の補足

実験 1，2 の再現率・適合率の結果をそれぞれ表 6,7 に示す.

表 6 各学習方法における, 間違い指摘の精度比較

表 7 モデルの追加入力の $\mathrm{F}$ 值結果


# 対話システムのための対話状況を制約とした応答変換の検討

千葉祐弥 ${ }^{1}$ 東中竜一郎 ${ }^{2}$
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 名古屋大学大学院情報学研究科
yuuya.chiba.ax@hco.ntt.co.jp higashinakadi.nagoya-u.ac.jp

## 概要

我々はこれまで，対話状況に応じて対話戦略を適応する対話システムの実現を目標として，日常会話 を対象とした対話状況の推定と状況ごとの対話の 分析を行ってきた. 本研究では，日常会話のように 多様に変化する状況の中で，状況に合わせて応答を 切り替えるための応答変換手法を検討する．本稿で は，検討手法による応答の変換例を示すとともに，応答変換モデルのエンコーダ出力とデコーダ出力を 可視化することで，ネットワークがある程度適切に 対話相手との関係を捉えて応答生成できていること を示す. 最後に人間による応答の評価を行い，検討手法の性能と改善点について議論する.

## 1 はじめに

スマートスピーカやパーソナルアシスタントの ような，日常的に使われる対話システムが一般的に なるつつある。このようなシステムが人間どうしの 日常会話に自然に参与できるようになるためには，単に自然な応答ができるだけではなく，対話の目的 やシステム自身を含む対話参与者間の関係を正確 に理解し，状況に合わせて応答を調整できる必要が ある.

我々はこれまで，日本語日常会話コーパス (CEJC) [1]に含まれる対話を分析し, 日常会話が対話の目的や対話のやり方に相当する 7 つの因子の組み合わ せによって説明でき，かつ状況ごとにそれらの因子 の重みが異なることを示した [2]. 図 1 は CEJC に含 まれる対話場面の例である。分析では，特に対話形式や対話相手との関係が対話に大きな影響を与える ことが示唆された。例えば，家族との雑談において は物語的な会話が多く行われ，同僚や上司との会議 においては丁寧さの度合いが高く問題解決を指向し た対話が行われる傾向がある. したがって，対話シ ステムは，これらの対話状況を考慮した応答生成を 行うことで，より自然にユーザの会話に参与できる

対話形式: 雑談場所: 自宅活動: 食事対話参与者の関係: 家族

対話形式: 用談相談場所: 施設その他活動: 社会参加対話参与者の関係: 社会関係図 1 日本語日常会話コーパスにおける対話場面の例。写真は公開のためマスキングしたものである.

## ようになると考えられる。

状況に合わせた対話制御に関しては，これまでも 様々に検討されてきた。例えば，対話システムラ イブコンペティションでは 2019 年よりシチュエー ショントラックが開催され，設定された状況の中で 適切な対話を行う対話システムが様々に構築されて いる [3]. Utami and Bickmore [4] は，恋人同士のよう な親密な間柄に特有の会話現象を考慮した会話が可能なカウンセリング対話システムを構築している. また，対話相手との物理的距離を認識し，適切な距離を保つように調整するシステム [5] や，周囲の環境について対話を行う車載機器用音声対話システム [6]，与えられたシーンに関する受け答えが可能な対話システム $[7,8,9]$ なども検討されている. しかし ながら，これらの研究はあらかじめ指定された特定 の状況下でシステムが動作することを想定してお り, 日常会話のように多様に変化する状況の中で，適切に応答を調整する対話システムに関してはほと んど検討されてこなかった。

本稿では，何らかの方法で決定されたシステム発話文を，指定された対話の状況に適した発話文へと 変換する応答変換手法を検討する.この手法によ り，発話生成のたびに応答変換を行うことで，逐次変化する対話の状況に合わせた応答が可能となる.近年，文献 $[10,11,12]$ などを筆頭に，大規模対話モ デルの応答の流暢性と自然性が飛躍的に向上してい る.したがって，大規模に学習された対話モデルを
対話状況を表すラベルを付与した対話データで適応 することで，流暢性と自然性が高く，かつ状況に依存した応答が生成できるようになると期待される。

## 2 日本語日常会話コーパス (CEJC)

実験データとして，日本語日常会話コーパス (CEJC) [1]を実験に用いる. CEJC は, 日常生活の中 における様々な活動とともに起こる自然な会話を収録したコーパスである.

音声データは個別の話者が装着した ICレコーダ (Sony ICD-SX734) と場面中央に置かれた IC レコー ダ (Sony ICD-SX1000) によって収録されている.ま た, 屋外や移動シーンに関しては Panasonic HX-A500 によって撮影された映像，その他のシーンに関して は全天球型カメラ (Kodak PIXPRO SP360 4K) と 2 台 の GoPro Hero3+で撮影された映像が含まれている.全ての対話データには書き起こし文が付属してお り, 形態素情報や話者ラベル, 発話時間などが詳細 にアノテーションされている。加えて，各対話デー 夕には，対話形式，対話が行われた場所，対話とと もに行われている活動，対話参与者の関係といった 対話状況を表すラベルも付与されている. 本稿の応答変換では, 書き起こし文と, それに付随する対話状況ラベル，会話や話者の属性を記したメタ情報を 用いる.

コーパスには 152 時間の対話データが収録されて おり, 全体で 1,462 名の話者による 427 対話が含ま れる. 発話とトークンの総数は約 40 万発話, 約 184 万トークンである.

## 3 状況を制約とした応答変換

## 3.1 問題設定

本研究の目的は, 所与のシステム応答発話を，指定した状況に適した応答発話へと変換するモデルを 学習することである. そこで，本稿では対話状況ラ ベルと応答発話文から抽出された内容語を入力とし て, 応答発話文を出力するように応答変換モデルを 学習する. これによって, 入力発話文の内容を極力維持したうえで，状況によって異なる部分のみを変化させるように学習されたモデルが構築されること を期待する。また，指定する対話状況は特に対話へ の影響が大きい対話形式と対話参与者間の関係であ る. 対話形式に関しては，対話に対して付与された 3 種類のラベルを用いる。すなわち，会議会合，用表 1 話者関係行例の例 (会話 ID: T009_020)

談相談，雑談である．対話参与者間の関係には，話者からみた受け手との関係 (e.g.,「親」や「子」な ど)を用いる.

応答変換モデルへの入力は下記の通りである.

[状況 $] s_{i}[\mathrm{SEP}] r_{i}$ [応答 $] c_{1}^{i}[\mathrm{SEP}] c_{2}^{i}[\mathrm{SEP}] \cdots[\mathrm{SEP}] c_{n}^{i}$

ここで， $s_{i}$ は $i$ 番目の発話に付与された対話形式で あり， $r_{i}$ は $i$ 番目の発話における，話者から見た受 け手との関係である. $s_{i}$ と $r_{i}$ は自然言語によって 表現される. $\boldsymbol{c}^{i}=\left(c_{1}^{i}, c_{2}^{i}, \cdots, c_{n}^{i}\right)$ は, 発話から抽出 された内容語の系列である. [状況] や [応答], [SEP] は，状況や内容語の区切りを示す特殊トークンであ る. 例えば，友人同士の用談相談の「ちょっと寒く なってきた」という発話からは，“状況] 用談相談 $[\mathrm{SEP}]$ 友人知人 [応答] ちょっと $[\mathrm{SEP}]$ 寒い $[\mathrm{SEP}]$ な る $[\mathrm{SEP}]$ くる”という入力が構築される. 出力は元 の発話と同一である. 学習時には, CEJC から抽出 された自然発話を用いる。

## 3.2 話者間の関係の認定

対話参与者の関係に関しては，CEJC には情報提供者を中心にした各話者への関係だけが与えられて いる。そこで，会話・話者のメタ情報のうち，会話 の説明や，年齢，職業に基づいて対話参与者間の関係を認定した. この方法で，一部の同僚間の上下関係などを除き，全ての対話参与者間の関係を概ね一意に定めることができる．表 1 に会話 ID T009_020 の対話における対話参与者間の関係の行列を示す.

また，CEJC に収録された対話は多人数対話が多 く含まれるため，必ずしも発話の受け手が明確では ない. そこで，本稿では当該発話の次に発話権を取得した話者を発話の受け手とみなした. 表 2 に対話例と話者間の関係を示す. 表中太字で示したように 一部の発話で認定された関係に誤りがあるが，概ね 正しい受け手が認定できていることがわかる.
表 2 実験に用いる対話の例 (会話 ID: T019_005b).太字 は認定された受け手が誤っている発話を示す.

 \\

## 4 実験条件

## 4.1 実験データ

実験データは, 文献 $[2,13]$ と同様の基準で学習 セット，開発セット，テストセットに分割した. す なわち，状況のラベルの分布がそれぞれのセットで 可能な限り近くなるように分割した. 対話数は，そ れぞれ 299 対話， 84 対話， 44 対話であった. それ ぞれの対話から発話文を抽出し, 学習に用いた. 各発話は UniDic ${ }^{1)}$ を辞書とした $\mathrm{MeCab}^{2}$ を用いて分割 し, 名詞, 代名詞, 形状詞, 副詞, 感動詞, 動詞, 形容詞と解析された単語の原形を内容語とした。

内容語が 3 つ未満の発話と, トークン長が 50 を 越える発話は除外した. 受け手との関係に関して は，学習データ中の出現頻度が $N$ 回未満の関係と,「本人」となる発話を除外した.ここで， $N=1,000$ とした. そのうえで，各関係の出現頻度が概ね 1 万発話となるようにアップサンプリングした.

## 4.2 大規模対話モデルの学習

本稿では NTT が公開する大規模対話モデル [10] のうち，事前学習モデルをベースのモデルとし て用いた. 学習時のバッチサイズは 64 であった.損失関数は Cross Entropy 損失とし, 最適化手法は Adafactor とした. 学習率は 1e-04, warmup steps は 500 とした. また, 最大エポック数は 1,000 と設定 し，開発セットに対する損失が最少となるモデル

2) https://taku910.github.io/mecab/表 3 関係のラベルによる変換結果の例 (入力発話文：「た ぶん世界で一番安い」)

を選択した. モデルのファインチューニングに は fairseq [14] を用いた. 生成時には $k=50$ とした top- $k$ サンプリングを行い，ビーム幅は 80 とした.

## 4.3 人手評価

生成したサンプルに関して人間による評価を行っ た. テストセットのうち，内容語の個数が 3 以上 8 未満となるものからランダムに 100 文選択し, 対話相手との関係のみ変化させて応答を変換した. 変換 には，出現頻度上位 10 位までの関係を用いた。こ の時, 言い直しなどで同じ内容語が 2 回以上出現 するサンプルや，内容語の長さが 1 のものは除外 した.

実験では，5人のワーカが評価を行った. 5 人の ワーカは，「適切性: システムが関係を反映した応答 ができているか」と「自然性: 日本語としての自然性」に関して，5 段階 (1: 全くそう思わない，5: と てもそう思う)で評価した。

## 5 実験結果

## 5.1 生成例

学習されたモデルによる応答変換の例を表 3 に 示す. 入力発話文は「たぶん世界で一番安い」で あり，抽出された内容語は「たぶん」，「世界」，「一番」，「安い」であった。また，対話形式については 用談相談を指定した．表より，この例では，応答変換モデルは入力発話文の内容を維持しつつ受け手と の関係によって異なる応答を生成していることが わかる. 特に受け手が上司や部下，親子の場合は語尾に違いが見られ，それぞれ適切な丁寧さの発話が 生成できている。一方で，店員と客の関係を表す， サービス提供者と受領者の間では同じ発話が生成さ れている。これは，データの中に床屋など，店員も カジュアルな発話を行う対話が含まれている影響で あると考えられる。
表 4 関係ごとの評価値の平均スコア (5 段階). 太字は 4 以上，斜体は 3 以下のスコアを示す.

図 2 主成分分析によるエンコーダ出力の可視化結果. 凡例は話者から見た受け手との関係を示す。

## 5.2 エンコーダ・デコーダ出力の分析

エンコーダとデコーダが関係の違いをどのよう に捉えているかを調査した. テストセットからラン ダムに選択された 500 文に対して，頻度上位 10 位 までの関係を用いて応答を変換した. 各発話から， エンコーダとデコーダの隠れ層の出力を取り出し,可視化した. エンコーダに関しては, 最終層の出力 を系列に対して平均した. ベースモデルの隠れ層の 次元数は 1,920 次元であるため, 抽出される表現べ クトルも 1,920 次元である. 一方で，デコーダに関 しては，最終層の出力についてまずビームに対して 平均をとり，さらに系列に対して平均をとることで 1,920 次元の表現ベクトルを抽出した. また, 内容語が共通の発話間で平均をとり，それを減算するこ とで発話内容の影響を除外した. その後，それぞれ の表現ベクトル集合に対して主成分分析を行い，2 次元に圧縮した.

エンコーダ・デコーダの出力の可視化結果を図 2 , 3 に示す. それぞれの図において，関係によって分布が分かれていることが見て取れる. 特に，家族と 仕事関係者・上司はほぼ同軸上の反対の領域に分布 しており，親しみの違いがある程度捉えられている ことが示唆される。一方で, 図 2 と図 3 を比較する と, エンコーダ出力では差のあった親や子，夫婦や 同級生などはデコーダ出力では重なっており，これ らの関係においては発話の表層的な表現にあまり差 がないことが示唆される. また，友人知人と同僚は その他の関係と直行しており，家族や上下関係のあ る間柄とは異なった発話表現が得られている可能性 が示唆される。

図 3 主成分分析によるデコーダ出力の可視化結果. 凡例 は話者から見た受け手との関係を示す.

## 5.3 人手評価の結果

表 4 に評価の結果を示す. 表中の数值は関係ごと の評価値の平均である. 5 人のワーカの全体の平均值は，適切性が 3.70，自然性が 3.19 であった.

適切性に関しては，仕事関係者と上司が特に低 かった. これらの関係は図 3 上で親しみを表すと考 えられる軸上に存在する。 そのため，モデルは受け 手との親しさの違いを捉えてはいるものの, 丁寧さ や敬語の表出は十分にできていないことが示唆され る. 自然性に関しては友人知人や上司において特に 低かった. 友人知人への発話ではカジュアルな発話 に現れやすいフィラーの断片が不自然な箇所で出現 しやすく，上司への発話では「です」や「っすか」 といった語尾の接続が不自然になりやすかった.

評価者からは，自然性と適切性を切り分けて評価 するのは難しいといった指摘があり, 自然性の改善 が適切性の評価の向上にも貢献すると考えられる.

## 6 おわりに

本研究では，対話状況に合わせた応答生成が可能 な対話システムの構築を目指し，特に対話形式と対話相手との関係を制約とした応答変換モデルを学習 した. 実験では，モデルの変換例を示すとともに， エンコーダ出力とデコーダ出力を可視化すること で，モデルが指定した状況の違いを捉えていること を示した. 人手による評価実験では，ある程度状況 に適した応答ができていることが示唆されたが，自然性については課題が残った。

今後は，発話スタイル変換 $[15,16]$ などの技術を 駆使することで，応答の自然性の向上を目指す.

## 謝辞

本研究は科研費（JP19H05692）の助成を受けたも のである. また，日本語日常会話コーパスの利用を 承諾いただいた国立国語研究所に感謝する。

## 参考文献

[1] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the corpus of everyday Japanese conversation: An interim report. In Proc. LREC, pp. 4259-4264, 2018.

[2] Yuya Chiba and Ryuichiro Higashinaka. Analyzing variations of everyday Japanese conversations based on semantic labels of functional expressions. ACM Transactions on Asian and Low-Resource Language Information Processing, 2022.

[3] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシ ナリオ誘導と HyperCLOVA を利用した応答生成に よるハイブリッド対話システム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 (第 96 回), pp. 124-129, 2022.

[4] Dina Utami and Timothy Bickmore. Collaborative user responses in multiparty interaction with a couples counselor robot. In Proc. HRI, pp. 294-303, 2019.

[5] Dan Bohus, Sean Andrist, and Eric Horvitz. A study in scene shaping: Adjusting F-formations in the wild. In Proc. AAAI Fall Symposium, pp. 1-7, 2017.

[6] Teruhisa Misu. Situated reference resolution using visual saliency and crowdsourcing-based priors for a spoken dialog system within vehicles. Computer Speech \& Language, Vol. 48, pp. 1-14, 2018.

[7] Huda Alamri, Vincent Cartillier, Abhishek Das, et al. Audio visual scene-aware dialog. In Proc. CVPR, pp. 75587567, 2019.

[8] Shachi Kumar, Eda Okur, Saurav Sahay, Jonathan Huang, and Lama Nachman. Leveraging topics and audio features with multimodal attention for audio visual scene-aware dialog. arXiv preprint arXiv:1912.10131, 2019.

[9] Xudong Lin, Gedas Bertasius, Jue Wang, Shih-Fu Chang, Devi Parikh, and Lorenzo Torresani. Vx2Text: End-toend learning of video-based text generation from multimodal inputs. arXiv preprint arXiv:2101.12059, pp. 114, 2021.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of Transformer-based Japanese chit-chat systems. In Proc. SLT, 4-1-17-TLP, 2023.

[11] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Sub- biah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Proc. NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Yuya Chiba and Ryuichiro Higashinaka. Dialogue situation recognition for everyday conversation using multimodal information. In Proc. INTERSPEECH, pp. 241245, 2021.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[15] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[16] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. In Proc. COLING, pp. 242-252, 2022 .


# Monadic Chat :
## テキスト補完 API で文脈を保持するためのフレームワーク

\author{
長谷部 陽一郎 \\ 同志社大学 \\ yhasebe@mail.doshisha.ac.jp
}

## 概要

関数型プログラミングにおけるモナドの概念を応用することで既存のテキスト補完 API に文脈情報を 保持する仕組みを加え，対話形式で利用するための 方法を提案する．対話の各ターンがアキュムレータ ーとリデューサーを備えたモナド的再帰構造を持つ ようプログラムを実装することで，異なる目的のア プリケーションをテンプレートを差し替えるだけで 実現できる。これを示す実例として Monadic Chat を 開発した. OpenAI による GPT-3 ベースのテキスト 補完 API を利用するプログラムであり，インタラク ティブなアプリケーションをユーザー自身で定義す ることができる．その設計は，対話／談話に関する 認知言語学上のモデルとも親和性が高い.

## 1 はじめに

2020 年に OpenAI が GPT-3 を公開して以降, ユー ザーからの入力に対して自然言語テキストでレスポ ンスを返す，いわゆる AI システムが多くの注目を 集めている.また 2022 年後半に発表された ChatGPT はチャット形式で文脈を保持した対話が可能であり [1], 今後こうした汎用 AI システムが様々な領域で 活用されることが期待されている.

OpenAI は GPT-3 をベースにした言語モデルの API サービスを提供しているが，対話の文脈を保持 する仕組みは含まれていない. したがって, ChatGPT のような仕組みや，それに類するアプリケーション を構築するためには OpenAI が提供するテキスト補完（text completion）API を用いて独自のロジックを 組み立てる必要がある。そこで関数型プログラミン グにおけるモナドの概念を応用したコマンドライ

ン・ツール Monadic Chatを開発した。

本ツールでは，関数型プログラミングにおけるモ ナドの概念を用いて，グローバルな変数や外部のス トレージに文脈情報を格納することなく，逐次的な 対話によって文脈を作り出して次々と後の処理に引 き渡すことができる。また，対話の目的，性質，前提などを定型のテンプレートに記述することで，様々な対話アプリケーションをわずかの工数でユー ザーが自ら作ることができる.1)

以下では 2 節で Monadic Chat 基本的な内容を示 す. 3 節では自然言語による談話をモナド的再帰構造としてモデル化することの意義と利点について考察する. 4 節では本ツールによる再帰的な対話処理 の流肮とテンプレートの仕様について述べる. 最後 に 5 節で全体のまとめを行う。

## 2 Monadic Chat について

## 2.1 言語モデルの指定と API アクセス

Monadic Chat は OpenAIによる GPT-3 以降のモデ ルにテキスト補完 APIを通じてアクセスする仕様に なっている.2 ${ }^{2}$ 具体的には現時点で利用できる最大 の汎用モデル davinci - text-003を使用することに なる. OpenAI は特定の目的に特化した様々なモデル を提供しているが(プログラムコード作成用モデル，音声入力テキスト修正用モデルなど），それらを用 いることはできない. 本ツールではテンプレートに 必要事項を記述することで機能を実現するが，テン プレートには自然言語による指示と JSON 形式の才 ブジェクトを含める必要があり，これらを正しく解釈し適切なデータを返すことができるモデルが必要 となる. なお, OpenAI の各種 API の使用は有料であ

2) 現時点では OpenAI のテキスト補完 API を用いる以外 の選択肢はないが, 同様のレベルで汎用的かつ高性能なモ デルが利用可能であれば，それらに対応することは十分可能である.

り，アカウントを作成してアクセス・トークンを取得する必要がある.

## 2.2 プログラムの入手と使用

Monadic Chat は Ruby で作成されている. ${ }^{3)}$ Ruby の バージョン2.6.0 以上が利用可能な環境であれば， gem install monadic_chat というコマンドでイン ストールすることができる.

インストール後は monadic コマンドでプログラ ムを起動する. 初回起動時に OpenAI のアクセスト ークンを入力することが求められる。問題なく API にアクセスできることが確認されると，それ以降は アクセストークンを明示的に入力する必要はない.

本ツールのソースコードやその他の情報は https://github.com/yohasebe/monadic_chat で 公開している.

## 2.3 利用できるテンプレート

Monadic Chat ではテンプレートを記述することで，様々な対話アプリケーションを作成できるが，サン プルとして1) Chat（一般的対話），2）Translate （文章の翻訳），3） Novel（物語の段階的生成）, 4) Code (プログラムコードの作成) という 4 つのテ ンプレートを提供している. いずれの場合でも，ユ ーザーからのテキスト入力に対して, GPT-3 が何ら かの返答を示す. その際, これまでのやりとりで扱 われた内容が文脈として機能する。

なお，コマンドライン上のインタラクティブな対話形式で実行することが基本であるが，あらかじめ 用意したプロンプトのリストを読み込ませて連続処理することも可能である.)

## 3 モナドとしての談話構造

## 3.1 認知言語学の談話モデル

テキスト補完 API を利用して文脈を伴った対話を 実現するに際しては 2 つの方針が考えられる. 1 つ は，特定の目的一例えば自然言語による質疑応答一 に最適化しながらシステムを実装する方針である.

これには，構造よりも機能に主眼をおいて個々のア プリケーションの設計をシンプルに保ち, 使用リソ

一スを最低限にできる利点がある。もう 1 つは，自然言語による談話に参与する話者と聞き手の中でど のような認知プロセスが生じているかについて，理論言語学的モデルを参考にするという方針である.

Monadic Chat の開発にあたっては後者を採用した.

認知言語学の主要な研究者の一人である Ronald Langacker は, リアルタイムで進行する談話展開を 「現在時談話空間（current discourse space, CDS）の 更新」という観点から図 1 のような構造を持つもの として記述・分析している $[3,4]$.

図 1 : 現在時談話空間 (CDS)

Langacker は[5]で示された考え方を受けて，言語の 構造を「CDS を更新するための指示書」として捉え るアプローチを可能性として提案する (“we might think of linguistic structures (of whatever size) as instructions to modify the current discourse space in particular ways" p.151) [3]. 1 つ つの発話事象 (usage event）では，そのような指示書の内容に応じて CDS が更新される。また, 発話事象の中に含まれる話し 手, 聞き手, 話題の事物といった要素はもちろん,文脈や共有知識といった要素を含む対象世界の全体 が後続する発話事象に引き継がれていく.

あくまで数多ある理論言語学上のモデルの 1 つで あるが, 認知言語学の理論的研究の中で多くの実例 と共に示されてきた CDS に基づく談話モデルには，一定の認知的・言語的根拠がみとめられる[4]. また, CDS に基づくモデルは関数型プログラミングにお けるモナドの概念ときわめて親和性が高い[6]. これ らのことは，談話の参与者，文脈，前提知識といっ たものを一種の「環境」と捉え，それを逐次的に引 き回す構造にある種の普遍性があることを示唆する。

(1) ユーザーからのテキスト入カが テンプレート内に記載された JSON の input プロパティに挿入される.

(5) 入力側と同じ構造の JSON を含んだテン プレートが返却される。その内部からユー ザーのテキスト入カに対する返答を取り出す.

図 2 : Monadic Chat による処理の流れ

そこで本ツールでは対話・談話をモナド的な構造と して設計することを選択した.5

## 3.2 モナドについて

関数型プログラミングにおけるモナドはしばしば 「環境に包まれた值」というメタファーで説明され る[2].ここで「環境」をボックスで表記するなら， モナドとしての性質を持つためには次の操作が可能 であることが求められる[8].

(1) unit $:: \mathrm{a} \rightarrow \mathrm{a}$

(2) $\operatorname{map}::(\mathrm{a} \rightarrow \mathrm{b}) \rightarrow(\mathrm{a} \rightarrow \mathrm{b})$

(3) join :: $\mathrm{a} \rightarrow \mathrm{a}$

(1)の unit は対象となる值 a を環境に包む働きをす る。(2)は值 $\mathrm{a}$ から値 $\mathrm{b}$ を得るという手続きを，環境 を伴った值を扱う手続きに変換する.(3)の join は二重になった環境を平坦化する。こうした一連の条件 を満たしたモナドは，環境として与えられた構造を 保持・更新しながら連続的・逐次的に処理を実行で きるという特徴を持つ $[9,10,11]$.

(1)から(3)における a やb といった値を「ユーザー からの問いかけ」や「問いかけに対する返答」と考 えるならば，「環境」はプロンプトに書き込まれた 文脈，前提，対話上の設定といった諸々の要素を総合したものと言うことができる. Monadic Chat では，
^{5)}$ Monadic Chat は関数型プログラミングにおけるモナド の考え方を用いて設計されているが，現時点ではモナド 則（monad laws）を厳密な意味で満たしているわけでは ない[2].
}

このような発想にもとづき，文脈を伴った対話の形式でGPT-3 の言語モデルを利用できるようにするこ とを目指した. ${ }^{6}$

## 4 再帰構造としての対話

## 4.1 処理の流れ

Monadic Chat による処理の流れを図 2 に示す。本 ツールのモナド的構造は, ユーザーによる問いかけ, GPT-3 による返答，そして「環境」としてのテンプ レートによって構成される. (1)は值を環境に包む処理（unit）であり, (2)と(3)は問いかけに対する返答を 得る手続きに環境を伴わせる処理（map）である.こ うした一連の手続きによって最終的に目指すのは，同じ一連の手続きに対する入力となることのできる テンプレートを得るという再帰的プロセスである. また，その際には一連の処理の結果を「文脈」とし て受け渡せるようにしなくてはならない。ただし，結果として得るテンプレートを履歴としてそれ自身 に埋め込むと, 次々に履歴の階層が増すことになる ため, 何らかの平坦化 (join) をかける必要がある.

(4)では，実現したいアプリケーションの性質に応 じて，ユーザーの入力值と GPT-3 からの返答，もし くはその両方をアキュムレーターに書き足していく. このアキュムレーターこそが「文脈」を保持する要素となる，当然ながら対話のターンが積み重なるに

6) 処理に必要となるリソースの観点からするとモナド的 な構造は必ずしも効率的なものではない. 環境（あるい は世界）の引き回しにおいてこの問題が生じ得ることは [7]でも指摘されている.

Make sure the following requirements are all fulfilled:
- set the prompt to the "prompt" property
- create your response to the prompt in accordance with the "conversation_history" and set it to "response"
- create a new pair consisting of the prompt and the newly created response and insert the pair after all the existing pairs in the "conversation_history"
- if the prompt is in a language other than the current value of "language", set the name of the prompt

language to "language" and make sure that "response" is in that language
- make your response in the same language as the prompt
- analyze the topic of the prompt and insert it at the end of the value list of the "topics" property
- program code in the response must be embedded in a code block in the markdown text (4)

Wrap the JSON obiect with "<JSON>\n" and "\n</JSON>" (5)

図 3 : テンプレートの例 (template_chat.mdより，一部省略）

つれて，アキュムレーター内の要素数は増大する。

しかし, 実際の言語運用において談話の最初の要素 から最後の要素までが完全に同じ形で参与者の記憶 に留まっているとは限らない。古い文脈情報は久落 したり, 要点だけにまとめられたり, 何らかの要因 によって書き換えられたりする。こうした現実的な 傾向を反映させるため, Monadic Chat では, Ruby の コードを記述してリデューサーの機能を定義するこ とを可能にしている. 標準では, 先入先出し (FIFO) のキュー構造として指定件数のデータのみが保持さ れる設定になっているが，一定のターンが終了する たびに古い情報をテキスト要約 API を用いて圧縮す るということも可能である[12]. 実際のところ, これ らに一部対応するとみられる認知プロセスは，認知言語学の領域でも議論されてきた[13,14,15].

## 4.2 テンプレートの構造

Monadic Chat のテンプレートの例と基本的な構造 を図 3 に示す. 本ツールではユーザからの問いかけ のテキストをテンプレートに埋め込み，これをプロ ンプトとして GPT-3 のテキスト補完 API に送信す る.ここで重要なことは，テンプレートの中には文脈情報を含んだ JSON データと共に，この JSON の 内容を書き換えるという自己参照的な指示が記載さ れていることである. Monadic Chat のシステムはこ うして得られた JSON に適宜処理を加えた上で元の テンプレート中の JSON と差し替えることで，文脈 の更新と設定の維持を同時に実現している.

## 5 まとめと展望

本稿では関数型プログラミングにおけるモナドの 概念を応用して，GPT-3 を用いたテキスト補完 API を文脈情報を保持しながら対話的に用いる方法を提案した。また, 実例としてのプログラム Monadic Chat とその設計を紹介した。またその背後にある認知言語学的な考え方についても論じた.

OpenAI の GPT-3 や ChatGPT に代表される汎用的 で高性能な言語モデルや対話システムの登場は，自然言語処理の領域にとどまらず，理論言語学の観点 からも興味深い. Monadic Chat のようなツールには,擬似的とはいえ対話や談話の構造に自ら関与して実験的試みを行うプラットフォームとしての利点もあ ると思われる。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 00670$ の助成を受けた 研究の一部として遂行されたものです.

## 参考文献

[1] OpenAI ChatGPT: Optimizing language models for dialogue, 2022.

https://openai.com/blog/chatgpt/ (Retrieved January 11, 2023)

[2] Hutton, Graham. Programming in Haskell. Cambridge: Cambridge University Press, 2nd Edition, 2016.

[3] Langacker, Ronald W. Discourse in Cognitive Grammar. Cognitive Linguistics 12(2), 2001.

[4] Langacker, Ronald W. Cognitive Grammar: A Basic Introduction. Oxford: Oxford University Press, 2008.

[5] Harder, Peter. Functional Semantics: A Theory of Meaning, Structure and Tense in English. Berlin: Mouton de Gruyter, 1996.

[6] Hasebe, Yoichiro. An Integrated Approach to Discourse Connectives as Grammatical Constructions. PhD dissertation, Kyoto University, 2021.

[7] 田中久美子.『記号と再帰 : 記号論の形式・プ ログラムの必然』東京 : 東京大学出版会, 2010

[8] Petricek, Tomas. What we talk about when we talk about monads. The Art, Science, and Engineering of Programming 2(3), 2018.

https://programming-journal.org/2018/2/12/

(Retrieved January 11, 2023)

[9] Wadler, Philip. Monads for functional programming. In Rogardt Heldal, Carsten Kehler Holst, and Philip Wadler, eds., Advanced Functional Programming, pp. 24-52. Dordrecht: Springer, 1995.

[10] Wadler, Philip. Comprehending Monads. Mathematical Structures in Computer Science 2(4), pp. 32-39, 2005.

[11] Parsec: Direct style monadic parser combinators for the real world. Microsoft Research, 2021.

https://www.microsoft.com/en-us/research/ wp - content/uploads/2016/02/parsec - paper letter.pdf (Retrieved January 11, 2023)

[12] OpenAI. API Reference, 2023. https://beta.openai.com/docs/api - reference (Retrieved January 11, 2023)

[13] Chafe, Wallace L. Discourse, Consciousness, and Time: The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: University of Chicago Press, 1994.

[14] Fauconnier, Gilles and Mark Turner. Compression and global insight. Cognitive Linguistics 11(3-4), pp. 283-304, 2000.

[15] Bybee, Joan L. From Usage to Grammar: The Mind's Response to Repetition. Language 82(4), pp.711-733, 2006

## A 付録

※ 網掛部は談話世界を構築するためにテンプレートの 中で初期値として与えているテキストであることを 示す. テンプレートの実例（Chat）は図 3 を参照.

## Chat
- User: Can I ask something? / GPT: Sure.
- User: What is the best place to visit in Texas? / GPT: I would recommend visiting the San Antonio River Walk. It's a great spot for sightseeing, shopping, and dining. Plus, it's a great way to experience the culture of Texas!
- User: What do people say about the place? / GPT: People generally have positive things to say about the San Antonio River Walk. It's a great place to visit and explore, and many people enjoy the atmosphere and culture of the area.
- User: How can I go there from Kansai, Japan? / GPT: The best way to get to the San Antonio River Walk from Kansai, Japan is to fly. There are direct flights from Kansai International Airport to San Antonio International Airport, which is about a 15-minute drive from the River Walk.

## Translate
- Original and translated texts follow. /原文と翻訳文が続きます. / JA

・ワタシは猫なんですけどね. / I'm a cat, you know. / EN
- 名前はまだないんですよ. / I don't have a name yet. / EN
- 誰か良い名前をつけてくれませんかね. / Can someone give me a good name? / EN

## Novel

USER:
- The preface to the novel is presented.
- Tom woke up to the sound of pouring rain.
- He decided to call his old friend first time in many years.
- The voice of the person who spoke back from the other end was an unfamiliar one.

GPT:
- What follows is the story that GPT-3 tells. It is guaranteed that this will be an incredibly realistic and interesting novel.
- Tom stirred in his bed, the sound of the rain pounding against the window panes waking him from his slumber. He opened his eyes, blinking away the sleepiness that had been clinging to him. He could feel the coolness of the rain seeping through the window, and he shivered slightly. He got out of bed and walked to the window, looking out at the grey sky and the sheets of rain cascading down. He smiled to himself, feeling a sense of peace wash over him as he watched the rain.
- Tom felt a wave of nostalgia wash over him as he watched the rain. He thought of his old friend, whom he hadn't spoken to in many years. He was suddenly filled with a desire to reconnect with his old friend, and he decided to call him. He grabbed his phone and dialed the number, his heart pounding in anticipation. After a few rings, his friend picked up and they began to talk, catching up on all the years they had lost.
- Tom was startled to hear an unfamiliar voice on the other end of the line. He had been expecting to hear his old friend's voice, but instead it was someone else. He was about to hang up, but then he heard the voice introduce himself as his friend's son. Tom was surprised, but he was also filled with joy to know that his old friend had a family. They talked for a while, and Tom felt a sense of connection with this stranger that he had never expected.

## Code

- User: I have a request for you. / GPT: Sure. What is that?

- User: Write a command line app that shows the current global IP in Ruby. / GPT: Sure. Here is a command line app written in Ruby that shows the current global IP:

$
\text { require 'socket' }
$

def get_global_ip

Socket.ip_address_list.detect $\{\mid$ intf $\mid$

intf.ipv4_private? $==$ false

\}.ip_address

end

puts get_global_ip

- User: Make the code capable of showing the approximate geographical location from the IP. / GPT: Sure. Here is an updated version of the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

- User: Add a usage example and a sample output to this code. / GPT: Sure. Here is an example of how to use the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

\# Usage example

ip $=$ get_global_ip

puts get_geo_location(ip)

\# Sample output

[37.8267, -122.4233]


# テキスト情報の表現を利用した文献グラフの表現学習

片桐脩那 井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd19027, sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本研究では，論文の文献情報を表す文献グラフを 対象に，高品質な文献グラフの表現の構築に向け て，大規模事前学習モデルから得られるテキストの 表現とグラフ埋め込み手法・グラフニューラルネッ トワークを用いたリンク予測手法の利用可能性を調査する. 文献グラフでは題目や要旨などのテキスト 情報や著者・掲載雑誌などの情報など様々な情報が 引用関係や共通する著者などで繋がっている．実験 では，ACL Anthology に含まれる文献情報を対象に， リンク予測タスクを用いて評価を行い，大規模事前学習モデルから得られる表現のグラフ埋め込み手法 への有効性を示した。

## 1 はじめに

膨大な論文の中から，探したい・関連のある論文 を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要であ る. 従来のキーワード型の検索システムでは，クエ リに一致する論文しか検索できないため，検索のみ で見つけられる論文は限定的である。特に，近年は 出版される論文が日々爆発的に増大しており，大量 の論文から関連する情報に辿り着くための手段への 需要が増大している.

従来の機械学習では，テキストやメディア情報,人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習により に統一的に扱うことが可能となってきている. さら に, BERT (Bidirectional Encoder Representations from Transformers) [1] に代表される自己教師あり学習に より，様々な種類の情報における事前学習モデルが 提案されており，高品質な表現を学習の初期から利用することができる。このような深層表現学習・自己教師あり学習を背景に，へテロな情報をノード， それらの関係をエッジとしたグラフを構築し，グラ フ上での自己教師あり学習により，グラフ上での
ノード間の関係を考慮しながらグラフ情報の埋め込 み表現を獲得するへテロなグラフ埋め込み手法の研究が盛んに行われている [2].

論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込 み手法を適用し，グラフ上のあるノードからそれに 関連するノードを予測するリンク予測を用いるこ とで，様々なへテロな情報を対象とした柔軟な検索 システムを構築する研究が行われている $[3,4]$. こ の研究では，大規模事前学習を用いたモデルは利用 できておらず，このへテロな情報に対する有用性は 評価できていない．また，グラフのノード間の表現 においては，グラフ埋め込みだけではなく，グラ フニューラルネットワーク (Graph Neural Networks; GNNs) [5] を用いたリンク予測手法 [6, 7] など，より 深い構造を利用した表現に関する研究も行われてい るが，このような手法も評価されていない．その他 にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている [2] が，文献情報 の限られた要素を対象としているものがほとんどで ある。

このようなことから，本研究では，文献情報に含 まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込 み手法・GNN を用いたリンク予測手法の利用可能性について調査を行う，具体的には，文献情報であ る題目や要旨などのテキスト情報に事前学習モデル による表現を利用し，リンク予測における性能向上 を図る。また，グラフ埋め込み手法，GNNを用い たリンク予測手法それぞれを用いて，リンク予測で の性能の評価を行い，それぞれの手法の利点・問題点について調査を行う. 本研究の貢献は次の通りで ある.

・グラフ埋め込み手法, GNNを用いたリンク予測手法の文献グラフでのリンク予測性能の評価.

・文献グラフにおけるテキストノードの大規模事前学習モデルによる初期化によるリンク予測性能の改善.

## 2 関連研究

## 2.1 文献情報のベクトル表現による検索シ ステム

論文の文献情報中の様々な要素を考慮して，埋 め込みを行い，検索に利用する研究が行われてい る $[3,4]$. これらの研究では, 著者・題目・要旨・出版年・引用情報を対象に，LINE (Large-scale Information Network Embedding) [8] 及び TransE [9] に基づいて文献情報のベクトル表現を獲得し, 関連する論文要素 の検索を行う手法を提案している。この手法では， テキスト情報である題目・要旨は独立した句の集合 として表現している.

## 2.2 グラフ埋め込み

グラフ埋め込みでは，グラフ構造を始点ノード $h$,終点ノード $t$ とそれらのノード間のエッジの関係 $r$ を用いたトリプル $(h, r, t)$ の集合で表すのが一般的 であり，それらの関係を表現できるように $h, r, t$ の 埋め込み表現とその関係を表すパラメタを学習す る. グラフ埋め込みの代表的な手法に TransE [9] が ある. TransE は，トリプルの要素 $h, r, t$ の埋め込み 表現のみで，トリプルの関係を表現する手法であ る. 式(1)のように，始点ノード $h$ のベクトルを関係 $r$ のベクトルで平行移動させた表現ベクトル $\boldsymbol{h}+\boldsymbol{r}$ と終点ノードのべクトル $\boldsymbol{t}$ が一致するように $h, r, t$ の埋め込み表現を更新する。

$
h+r \approx t
$

この手法により，ノードや関係の埋め込み表現を獲得できるとともに，あるノードにある関係で関連し た別のノードを予測するリンク予測が可能となる.

## 2.3GNNによるリンク予測

グラフ構造を表現する GNN（[5,10]など）を利用 したリンク予測の研究が盛んに行われている $[6,7]$. ここでは，本研究で採用するリンク予測タスクにお いて高い性能を挙げている Graph Inductive Learning (GraIL) [7] について説明する。 GraIL はトリプルの 2 つのノードとその周辺を含むサブグラフからトリプ ルのスコアを計算する. GraIL はサブグラフの抽出， ノードの対象ペアに対する相対位置のラベル付け，
GNN によるスコア計算の 3 ステップでリンク予測 を行う．まず，トリプルの始点・終点の両方のノー ドと一定以下のホップ数で繋がっているノードのみ を含むサブグラフを抽出する。次に，ノードのラべ ル付けではノードに（始点ノードからの距離，終点 ノードからの距離）というラベルをつける．始点・終点ノードのラベルは $(0,1)$ と $(1,0)$ というラベルに なる. 最後に，ラベル付けをしたサブグラフについ て，ノードをラベル表現で初期化し，GNNによる ノード表現を学習し，スコア計算をする。サブグラ フの全てのノードに対応する GNN のノード表現を 平均したサブグラフ全体の表現 $\boldsymbol{h}_{G_{(h, t, r)}}$, 始点・終点ノードの GNN の表現 $\boldsymbol{h}_{h}, \boldsymbol{h}_{t}$, 関係の埋め込み表現 $\boldsymbol{e}_{r}$ を結合した表現に重みをかけて，式 (2)のよう に，トリプルのスコアを計算し，正解のトリプルが 他のトリプルのスコアよりも高くなるように学習を 行う.

$
\operatorname{score}(h, r, t)=\boldsymbol{W}^{\boldsymbol{T}}\left[\boldsymbol{h}_{G_{(h, t, r)}} \oplus \boldsymbol{h}_{h} \oplus \boldsymbol{h}_{t} \oplus \boldsymbol{e}_{r}\right]
$

GraIL の GNNでは，R-GCN [11] に着想を得て，エッ ジの種類ごとに異なるパラメタを利用し，エッジに 対する注意機構を利用してノード情報を集約して いる.

## 3 文献グラフの表現学習

本研究では，高品質な文献グラフの表現の獲得に 向けて，文献情報を文献グラフとしてトリプルを 用いて表現し，SciBERT [12] を用いた大規模事前学習モデルによるテキスト情報の埋め込みの影響と， TransE と GraIL それぞれの表現学習手法の比較を行 う。本研究の流れを図 1 に示す。

事前学習の影響については，TransEを対象に，初期表現にランダムな表現を用いた場合と題目や要旨などのテキストに大規模事前学習モデル SciBERT を用いた埋め込みを行った場合を比較する。 TransE の初期表現において，題目や要旨などのテキスト ノードについて埋め込みを用いることで，ノードが テキスト情報と論文間の関係の両方を考慮した表現 を獲得できると考えられる。

GraIL については GNN によるスコア計算の際に TransE で学習したノード表現をノードの初期表現と してラベル表現に結合して学習を行う. GraILによ るニューラルネットワークで表現を学習すること で，周囲のノードの情報をより考慮した表現を学習 できると期待される。さらに，ノード表現に TransE

図 1 文献グラフの作成と表現学習の流れ

で学習したノード表現を用いることで，TransE のみ による表現学習に比べて，各ノードにおいてその周囲のノードの情報をより考慮した表現が獲得できる と考えられる。

## 3.1 文献グラフの作成

まず，文献グラフを作成し，題目・要旨ノードを BERT で初期化する (図 1(1)). 文献データの中で用 いる文献情報には，題目，要旨，著者，掲載誌など がある. 文献情報の中には，テキストカテゴリ（題目や要旨など）とそれ以外の非テキストカテゴリが ある。テキストカテゴリに対して，初期表現を用い る際は，SciBERT [12]を用いたテキスト情報の埋め 込みを行う。これにより，テキストカテゴリのノー ドがテキスト情報と論文間の関係の両方を考慮した 表現を獲得できると期待される.

## 3.2 グラフ埋め込み

図 1 の (2) のように 3.1 節で作成したトリプルに 対して TransEを用いてべクトル表現を学習する。 TransE の学習により, 各ノードが意味のある情報を 持つようなノード表現を獲得できる.

## 3.3GNN によるリンク予測

GraILを用いた表現学習の手順は, 図 1 の（3)の通 りである．まず，サブグラフの抽出を行う．各トリ プルの $h$ と $t$ を対象ノードとする. 図 1 で，ノード に $h$ と $t$ と書かれているものが対象ノードである. サブグラフは対象ノードのいずれかから $k$ ホップ以内にあり，かつ，対象ノード間のパス上にあるノー ドとその間のエッジで構成する。次に，サブグラフ
のノードのラベル付けを行う．最後に，TransEで学習したノード表現をラベル表現に追加して，GNN に入力し, 2.3 節のスコア関数に基づいて GNN の学習を行う。

## 4 実験設定

データセットには ACL Anthology [13] に掲載さ れている 71,567 件の論文とその文献情報を使用し た. 引用情報は ACL Anthology に含まれないため, Semantic Scholar Academic Graph API [14]を用いて取得した. APIには，時間による回数制限があるため,制限を超えないように時間を空けながらアクセスし た. また，取得した文献情報は BiBTEX 形式となっ ていたため，JSON形式に変換を行った.

本研究では簡単のため，ワークショップの論文を 除いた過去 5 年の論文とその文献情報 (16,916 件) を 使用して文献グラフを作成した。データの統計を付録 A に示す. 文献 ID ・題目・要旨・著者・年・掲載雑誌のノードを持ち，文献 ID のノードと文献情報 のノード間に辺を張るスター型の文献グラフを作成 した。また，引用関係にある文献 ID のノード間に も辺を張った。

文献 IDのノードと著者の関係にあるノードを予測するリンク予測で評価した。 5 回以上掲載されて いる著者とその著者が執筆した文献 ID のトリプル から開発用データ 10,000 件と評価用データ 5,000 件 を用意した。また，開発用データと評価用データに 存在する全てのノードが訓練データに存在するトラ ンスダクティブな設定とした.

評価指標には，[7] で使用されている Hit@N を用 いた。評価データの各トリプルに対して終点ノード

をランダムにサンプリングした不正解のトリプルを 49 個用意する. そして，正解のトリプルの順位が上位 $\mathrm{N}$ 位以内に正解があれば 1 ，なければ 0 として全評価用データで平均した指標である。ただし，終点 ノードのサンプリングの際のノードタイプは正解の トリプルと同一のもの使用した.

本実験では，提案手法で述べたそれぞれの条件で の結果を得るための， 3 種類のモデルを用意した.各モデルの説明は以下の通りである.
- TransE 初期表現にランダムな表現を用いて， TransE で学習するモデル．学習したノード表現 は 768 次元である.
- TransE+BERT テキストカテゴリ（要旨と題目） について，SciBERTによる埋め込みを初期表現 に用いたものを用いて，TransEで学習するモデ ル. 学習したノード表現は 768 次元である.

・GralL サブグラフを 3 ホップ抽出して，サブグ ラフのノードの表現に TransE+BERT で学習し た表現を追加して学習するモデル. グラフ構造 がスター型となっているため，サブグラフとし て抽出されるノード数を考慮して，3 ホップで サブグラフ抽出を行う．サブグラフ抽出時の， サブグラフの平均ノード数は 4.33 個となった.

## 5 結果

4 節の各モデルの評価を表 1 に示す. 参考として，最も良いリンク予測性能が得られた TransE+BERT のモデルについて，ノード表現の近い文献を表示し た結果を付録 B に示す。

## 5.1 TransE と TransE+BERT の比較

まず，TransE と TransE+BERT のモデルを比較す る. TransE+BERT のモデルでは，TransE のモデルに 比べて，Hit@Nが高い値となった. TransE+BERT の モデルが高い性能を示せた理由として，題目と要旨 の情報をもとにした高品質なノード表現を初期表現 に使えたためであると考えられる。また，学習速度 に関しても TransE+BERT のモデルでは，TransE の モデルに比べて半分以下のエポック数で学習を終え ることが可能であった.

このことから，テキストカテゴリのノードの初期表現に大規模事前学習モデルによる埋め込みを用い ることは性能と学習速度の両方において有効である とわかった。表 1 各モデルの著者の正解率

## 5.2 TransE+BERT と GralL の比較

次に，TransE+BERT と GraIL のモデルを比較す る. GraIL のモデルでは, TransE のモデルに比べて, Hit@Nが低い值となった. GraIL のモデルが低い性能となった理由としてサブグラフの構造が考えら れる。今回はグラフをスター型で構築したため，対象ノード間のパスを構成するのに最低必要なホッ プ数が大きくなってしまったと考えらえる。また. GraIL は対象ノードの間に現れるノードしか対象に しないため，文献の周囲の情報を利用できなかった のではないかと考えられる。さらに，出版年など ノード間に頻出して現れるノードも悪影響を及ぼし ている可能性もある. これらのサブグラフの構築方法の調査は今後の課題である.

## 6 おわりに

本研究では, 文献グラフの高品質な埋め込み表現 の獲得のために，大規模事前学習モデルによるテキ スト情報の埋め込み，グラフの埋め込み手法，グラ フニューラルネットワークを用いたリンク予測手法 の利用可能性について，文献グラフ上でのリンク予測を対象に評価を行った. 実験の結果，グラフの埋 め込み手法の初期表現に大規模事前学習モデルによ るテキスト情報の埋め込みを利用した TransE+BERT のモデルが最も良い性能を示した. これより，グラ フ埋め込みにおける大規模事前学習モデルの有効性 を示した。

今後の課題として, 入力とするサブグラフの構造 やリンク予測手法を変更した場合の性能への影響を 検証する。また，高品質な文献グラフの表現を構築 できた際には，柔軟に検索が可能な検索システムの 構築などに繋げていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, Vol. 33, pp. 22118-22133, 2020.

[3] Takuma Yoneda, Koki Mori, Makoto Miwa, and Yutaka Sasaki. Bib2vec: Embedding-based search system for bibliographic information. In Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics, 2017.

[4] 米田拓真, 三輪誠, 佐々木裕. 文献情報の多様な要素 を考慮したべクトル表現獲得. 言語処理学会第 24 回年次大会 発表論文集, pp. 996-998. 言語処理学会, 2018.

[5] Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner, and Gabriele Monfardini. The graph neural network model. IEEE transactions on neural networks, Vol. 20, No. 1, pp. 61-80, 2008.

[6] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[7] Komal K. Teru, Etienne G. Denis, and William L. Hamilton. Inductive relation prediction by subgraph reasoning. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[8] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. LINE: large-scale information network embedding. In WWW, pp. 1067-1077, 2015.

[9] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems, pp. 27872795. Curran Associates, Inc., 2013.

[10] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Mod- eling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

[13] ACL anthology. https://aclanthology.org/ (2023 年 1 月 11 日アクセス).

[14] Semantic scholar academic graph api. https://www.semanticscholar.org/product/api (2023 年 1 月 11 日アクセス)。

## A データセットの統計

実験に用いたデータ数の統計を表 2 , トリプル数の統計を表 3 に示す. 表 3 の文献 ID と文献 ID 以外のト リプル数は双方向の場合の数である.

表 3 トリプルの統計

文献 ID と要旨 29,542

文献 ID と著者 137,780

文献 ID と年 33,832

文献 ID と掲載誌 33,740

文献 ID と文献 ID 246,801

## Bノード表現の評価の例

TransE+BERT のノード表現について，対象文献 ID に対して近傍の文献 ID 上位 5 件を出した例を表 4 に 示す.

表 4 対象文献 ID の近傍の文献 ID の例 (最初の文献 ID は対象を示す)