# 日本語日常対話コーパスの構築

赤間怜奈 1,2 磯部順子 2 鈴木 潤 1,2 乾 健太郎 1,2
1 東北大学 2 理化学研究所
}

\{akama, jun.suzuki, kentaro.inui\}@tohoku.ac.jp, yoriko.isobe@riken.jp
## 概要

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築した. 本稿では，構築したコーパスの概要とその構築方法を説明する。既存対話コーパスとの比較分析により構築したコーパスの特長を明らかにした上で，「規範的」という性質を持つ言語資源の利点について述べる。

## 1 はじめに

昨今の対話システムは, 出力内容に着目した総合的な主観評価の上で着実な性能が改善がなされている $[1,2,3]$. 次におこなうべきは，その性能改善の要因の理解や依然として残る技術的な課題の把握であるが，対話で用いられる言語表現は自由度が非常に高いという性質を持つため（基本語彙以外の語の出現や，基本語順からの逸脱は常である），一定の基準や特定の正解を軸にした分析では，性能改善のための本質的な要因を特定することが困難である.

そこで我々は, 新たに，基本語彙の使用と基本語順の遵守を可能な限り優先した規範的な言語表現で構成されている対話コーパス日本語日常対話コーパス（Japanese Daily Dialogue）を構築した. ${ }^{1)}$ 本コー パスに収録する収録する対話の作成や調整をすべて人手でおこない，ノイズが非常に少なく計算機上での処理がしやすい，かつ，品質が十分に保証されている信頼できる対話データを獲得した. 規範的な対話は，実際の対話データ（たとえば，音声対話の書き起こしやSNS）が持つ人間のリアルな言語活動の表出という特長を失うが，その代わり，ある種形式的で簡潔な問題設定を対話の枠組みで実現しているといえる. 規範的な対話を対象とした対話の意味的・統語的言語理解に関する分析は，一般的な対話，とりわけリアルな対話を対象とする場合に比べて，比較的容易に実行できる可能性がある.本稿では，日本語日常対話コーパスの構築手順を

1） 2023 年 3 月公開予定.表 1 対話データの例. トピック「旅行」.

A: おはようございます。高原の朝は冷えますね。

B: おはようございます。本当ですね。羽織るものが欲しいです。

A: 朝食の前に散歩でもいかがですか？

B: 良いですね。どこを歩きましょうか？

$\mathrm{A}$ : 湖の周りを歩きましょう。林道の先に湖があるそうですよ。

B: それでは、湖を一周しましょう。

$\mathrm{A}$ : 一周するのにどのくらい時間がかかるでしょうか？

B: ロッジのオーナーに聞いてみましょう。

説明し，データの規模や特長を報告する．その上で，本コーパスが有する規範的な性質の利点を，具体的な事例とともに紹介する.

## 2 日本語日常対話コーパス

本稿で我々が構築する日本語日常対話コーパスは，規範的な対話を収録した言語資源である.ここでいう規範的な対話とは，道徳的な内容かつ正しく丁寧な表現で書き表されている対話のことを指す.直感的には，初等から中等教育レベルの言語学習用教材で用いられる表現に近い。くだけた表現が頻発する実際の日常会話で使用するには不自然かもしれないが，基礎的な語彙かつ基本的な語順を可能な限り優先した言語表現である。

収録されている対話の例を表 1 に示す. すべての対話は話者 A，B が交互に発話をする形式であり,基本的には，対話単位でひとまとまりとなるように対話の始まりと終わりが設計されている。 1 対話は 4 発話以上， 1 発話は 1 文以上で構成されている. 日本語日常対話コーパスの統計情報を表 2 に示す。 ${ }^{2)}$本コーパスには，日本語の日常会話に馴染み深いと考えられている 5 つのトピックに関する対話が収録されている. 対話数は，1 トピックあたり 1,000 以

2）トークン分割には，日本語形態素解析機 $\mathrm{MeCab}$ と日本語形態素解析辞書 mecab-ipadic-NEologd を用いた。

} \\

表 3 表現の正規化による各値の変化.

上，コーパス全体で 5,261 である. 発話単位で計数すると， 41,780 発話である. 1 対話あたりの平均発話長は，旅行トピックが他より若干大きい値だが，全体として 8 前後である.

## 3 構築手順

日本語日常対話コーパスの構築手順は以下の通りである.これらすべての工程は，人間の作業者によっておこなわれた. 各工程の詳細は後述する。

1. コーパスに含める対話のトピックの選定

2. 各トピックに関連する対話の作成

3. 倫理的または道徳的に不適切な表現の除去

4. 表記の正規化

トピックの選定基礎的な日本語対話を広く収録するためには, 選定するトピックは, 多くの日本語話者が高度な専門知識を必要とせず容易に対話を展開できるものであることが望ましい。本研究では，基本的には英語日常対話コーパス DailyDialog [4] が採用したトピックを参考にしつつ, 日本語教育学分野の日本語会話における話題の難易度分類 $[5,6]$ を参照することで，日本語話者にとって馴染み深く日本の文化的特性に調和するトピックを優先的に採用するという方針をとり，最終的には，「日常生活」「学校」「旅行」「健康」「媅楽」の 5 つを採用した.

対話の作成対話の作成は, 日本語を母国語とする合計 59 人の作業者によっておこなわれた. 各作業者は，与えられたトピックに関連する対話，すなわち仮想の話者 $A, B$ による一連の発話系列を作成した. 作業者には, 可能な限り多くの一般的な語を含めること, 文法的に正しく丁寧な日本語表現を用
いることなどを指示した. 作業の品質を担保するために，対話作成者とは異なる 1 人以上の作業者が，作成された対話が与えられた指示を満たしていること，および，対話として成立していることを確認した. 作成された対話は，5,454 対話であった.

不適切な表現の除去倫理的あるいは道徳的な問題を含む対話や了解性の低い対話は，コーパスの規範性および品質を損なう可能性がある. 本研究では，国や報道機関が定める言語表現に関するガイドライン3)を参考に以下を「不適切な表現」と定義し，該当する対話はコーパスに収録しないようにした。

・差別や偏見を含む

・特定の属性を誹謗中傷あるいは攻撃する

・第三者に不利益を与えうる事実誤認がある

・倫理的あるいは道徳的でない話題を扱う

・意味不明な発話内容や会話展開を含む

具体的には，作成されたすべての対話について，上述の項目に該当する可能性があるかを著者らが人手で確認し，該当する場合は，対話全体あるいは問題のある一部箇所を削除する，または，問題のある一部箇所を適切な表現に書き改める作業をおこなった. 削除された対話の例を付録 $\mathrm{A}$ 表 7,8 に示す.

表記の正規化対話が規範的であるためには，文法的および意味的に正しく一貫性のある表現で表記されている必要がある. 不適切な表現を除去し終えたすべての対話について，合計 3 人の校正者が校正作業および校閲作業をおこなった。表記は，原則として記者ハンドブック [7] に従った. 誤字脱字の修正や用字の統一などの一般的な校正作業に加え, くだけた話し言葉表現（略語や俗語，撥音便化など） を丁寧な書き言葉表現に変換すること, 文法的に適切な文となるよう省略された語（助詞など）を補完

3）「公用文作成の考え方」について（https://www.bunka.go. jp/seisaku/bunkashingikai/kokugo/hokoku/93650001_01. html, 文化庁), NHK 放送ガイドライン 2020 改訂版 (https://www.nhk.or.jp/info/pr/bc-guideline/, 日本放送協会）など.
表 4 各日本語対話コーパスの統計情報と特長.

 &  &  &  &  &  \\

すること，対話内容に矛盾があれば指摘あるいは矛盾を解消するよう修正することなど，本研究特有の作業も依頼した. 作業例を付録 A の表 9 に示す.表 3 に，校正者が正規化をする前と後の対話データの統計量を示す. 正規化後は, 用字用語の統一の効果か語彙数が約 $3 \%$ 減少した一方, 省略が補完されたためかトークン数と文字数は約 $6 \%$ 増加した.

## 4 分析：コーパスの特長

既存コーパスとの比較により日本語日常対話コー パスの特長を明らかにする. 以下に設定の概要を示す. 詳細は著者らの過去論文 [8] を参照されたい.

## 4.1 設定

比較対象比較対象として次の 5 つのコーパスを採用した: Business Scene Dialogue [9], JPersonaChat, JEmpatheticDialogues [10], Opensubtitles [11], Twitter (長澤ら [12] の前処理を適用)。これらはすべて，日本語日常対話コーパス同様，人によって書かれた雑談対話を収録したコーパスである。

分析の観点と尺度語彙的多様性, 語彙親密性,可読性の 3 つの観点で，コーパスの特長を分析した。語彙的多様性を測定する尺度として，Herdan の $C[13,14]$ 用いる. ${ }^{4} C$ の値は, 総トークン数 $N$ と語彙数 $V$ を用いて以下で算出される:

$
C=\log V / \log N .
$

語彙親密性は，単語親密度データベース $[16,17]$ を用いて，親密性スコア $S_{F}$ を以下の式で算出した:

$
S_{F}=\frac{1}{|\mathscr{D}|} \sum_{v \in \mathscr{D}} \operatorname{fam}(v)
$

ここで， $\operatorname{fam}(\cdot)$ は，データベースに存在する語

4）一般的によく利用される TTR (Type-Token Ratio) [15] はデータサイズ $N$ の影響を受けやすい，それを軽減するように標準化された尺度が $C$ である。

5） 值の範囲は $1 \leq S_{F} \leq 7$ であり，大きいほど親密性が高い.

図1コーパスサイズと語彙の Herdan's C の関係

可読性の算出には，日本語文章難易度判別システム jReadability ${ }^{6)}$ を用いた [18]. コーパスから無作為に抽出した 100 発話リーダビリティスコアの測定を 5 回繰り返し，平均値を可読性スコア $S_{R}$ とした.

## 4.2 分析結果と考察

表 4 に，各コーパスの基本的な統計情報と，各観点についてそれぞれの尺度で算出した値を示す.

多様性日本語日常対話コーパスの語彙的多様性を表す $C$ の値は，Business Scene Dialogue に次いで， 2 番目に大きい値であった. 図 1 の曲線は，各コー パスの $x \%(0 \leq x \leq 100)$ に該当する数の発話で算出された $C$ の値の変化を表す. 日本語日常対話コーパスは， $x$ の増加に伴う $C$ の減少が小さいことから，多様な語彙が豊富に含まれていることがわかる.

親密性日本語日常対話コーパスの親密性スコア $S_{F}$ は，Business Scene Dialogue に次いで 2 番目に

JPersonaChat も，ほぼ同程度の值であった. スコア $S_{F}$ の最大値が 7.0 であることから，これらのコーパスが示した 5.7 8 という值は十分に高いものといえる. したがって，日本語日常対話コーパスを含むこれらのコーパスには, 日本語話者にとって馴染み深い一般的な表現が多数含まれていることがわかる.

可読性日本語日常対話コーパスの可読性スコア $S_{R}$ は，JPersonaChat に次いで 2 番目に大きい値で

6) https://jreadability.net/.

7）付録 B に，語彙親密度の頻度分布を示す.

れも語彙の分割単位が異なること（コーパスは単語単位，言語モデルはサブワード単位）に注意が必要である.

表 6 各コーパスに含まれる差別語・不快語と出現頻度.

あった.これらのコーパスには，多くの人にとって読解しやすい比較的平易な表現で記述された対話が，数多く含まれていることがわかる.

総評以上より，日本語日常対話コーパスは，既存コーパスに匹敵するまたは上回る語彙的多様性,親密性，可読性をバランスよく兼ね備えていることがわかる。一般的で馴染み深い多様な語彙を豊富に含み，正しい日本語表現で記述された平易で読みやすい対話が収録されていることがわかる.

## 5 議論

## 5.1 規範的であることの利点

既存資源の活用表 5 は，各コーパスの語彙のうち, 既存資源（辞書 $[17,19]$, 単語ベクトル [20], 言語モデル ${ }^{899)}$ ）の語彙に登録されている語，つまり，既存資源で分析可能な語彙の割合を示す. ${ }^{10)}$ 日本語日常対話コーパスは，いずれの資源においてもこの値が比較的大きい，一貫して正しく表記された語彙を多く含む日本語日常対話コーパスは，その規範的な性質ゆえに未知語が生じにくく，比較的，既存資源を活用しやすいデータであるといえる.

低攻撃性表 6 は，記者ハンドブック [7] に「差別語・不快語」として掲載されている 170 語のが,各コーパスにどの程度含まれているかとその出現頻度を示す. ${ }^{11)}$ 日本語日常対話コーパスは，語彙に含まれている差別語・不快語の種類数，それらのコー パス全体における出現頻度ともに小さい値であった. 構築時に非倫理的あるいは非道徳的な表現を積極的に排除していることもあり，日本語日常対話コーパスには攻撃的な表現がほとんど出現しない。

## 5.2 他言語対話コーパスとの関係

国内外の雑談対話研究において，DailyDialog [4], Persona-Chat[21], EmpatheticDialogues[22]は近年のデファクトスタンダードといえるデータセットである. 我々が構築した日本語日常対話コーパスは，教材的（規範的）な表現で書かれたマルチターンの高品質な日常対話という特長を持つ DailyDialog の日本語版と見做すこともできる．杉山ら [10] が公開している JPersona-Chat，JEmpatheticDialogues と合わせると，日本語日常対話コーパスの公開によってデファクトスタンダードの日本語版対話データが揃ったことになり，日本語を含む言語横断的な対話研研究のため土台が整備されたといえる.

## 6 おわりに

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築し，その概要と構築手順を紹介した. 既存対話コーパスとの比較分析により，構築したコーパスは，既存のものに匹敵するまたは上回る語彙的多様性，親密性，可読性をバランスよく兼ね備えていることを確認した，将来的には，基礎解析系アノテーションの追加や対訳データ化など補完的な新しいデータセットの構築も視野に入れたいが，まずは，高品質な日本語対話データとして公開された日本語日常対話コーパスを多くの方に利用していただけたらうれしい.

## 謝辞

本研究は JSPS 科研費 JP22K17943，JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu Quoc, and V Le. Towards a Human-like Open-Domain Chatbot. In aiXiv preprint arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL): System Demonstrations, pp. 270-278, 72020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 300-325, 2021.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[5] 山内博之, 橋本直幸. 教育語彙表への応用. 有里子砂川（編）,コーパスと日本語教育, 第 2 章, pp. 35-64.朝倉書店, 2016.

[6] 山内博之, 橋本直幸, 金庭久美子, 田尻由美子. 言語活動・言語素材と話題. 博之山内（編）, 実践日本語教育スタンダード,第 1 章, pp. 5-525. ひつじ書房, 2013.

[7] 一般社団法人共同通信社. 記者ハンドブック第 14 版新聞用字用語集. 2022.

[8] 赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎. 規範的な日本語日常対話コーパスの設計. 言語処理学会第 28 回年次大会発表論文集, pp. 262-267, 2022.

[9] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. In aiXiv preprint arXiv:2109.05217, 2021.

[11] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 1742-
1748, 2018.

[12] 長澤春希, 工藤慧音, 宮脇峻平, 有山知希, 成田風香,岸波洋介, 佐藤志貴, 乾健太郎. aoba_v2 bot: 多様な応答生成モジュールを統合した雑談対話システム.人工知能学会研究会資料言語・音声理解と対話処理研究会, pp. 101-106, 2021.

[13] Gustav Herdan. Type-token mathematics: A textbook of mathmatical linguistics. Mouton, Vol. 4, p. 448, 1960

[14] Gustav Herdan. Quantitative linguistics. Butterworth, 1964.

[15] Mildred C Templin. Certain language skills in children; their development and interrelationships. University of Minnesota Press, 1957.

[16] 藤田早苗, 小林哲生. 単語親密度の再調査と過去のデータとの比較. 言語処理学会第 26 回年次大会発表論文集, pp. 1037-1040, 2020.

[17] 単語親密度 (令和版). NTT 語彙データベース. NTT 印刷, 2021.

[18] Yoichiro Hasebe and Jae-Ho Lee. Introducing a Readability Evaluation System for Japanese Language Education. Proceedings of the 6th International Conference on Computer Assisted Systems for Teaching \& Learning Japanese (CASTEL/J), pp. 19-22, 2015.

[19] Yuriko Sunakawa, Jae-ho Lee, and Mari Takahara. The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, Vol. 2, No. 2, pp. 97-115, 102012.

[20] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning Word Vectors for 157 Languages. In Proceedings of the 11th Edition of its Language Resources and Evaluation Conference (LREC), pp. 3483-3487, 2018.

[21] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018 .

[22] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381,2019

## A 中間データ

日本語日常対話コーパスを構築する過程で生成されたデータの例を示す. 表 7,8 は, 工程 3 「倫理的または道徳的に不適切な表現の除去」で除去した対話，表 9 は，工程 4 「表記の正規化」で校正者がおこなった修正の例である.

表 7 倫理的あるいは道徳的に不適切な表現を含むとして削除された対話の例. トピックは「学校」.

$\mathrm{A}$ : 野木先生、昔と今では子供たちも変わってきていますか。

B: そうです。今の子はみんな真面目になっています。

A: 昔の子は不真面目だということですか？

B: 昔は先生の言うことを聞かない子が多かったので、授業は大変でした。

A: 反抗的な子は確かに今はいません。

B：しかし、静かなだけで何も聞いていない子もいるようです。

A: 昔は話を聞いていない子はすぐわかりましたが、今はそのようなわけにはいきません。

B: 今の方が大変なのかもしれません。

表 8 倫理的あるいは道徳的に不適切な表現を含むとして，一部が削除された対話の例. 打ち消し線の部分が除外された箇所. トピックは「媅楽」.

A：今日はバレンタインデーです。チョコは何個もらえるでしょうか。

B：100 個はもらえると思います。

A：本当ですか？

B: 冗談です。

A：本当は何個くらいもらえる予定ですか？

B: 2 個くらいだと思います。

A：2 個でももらえれば良いですね。

B: 可愛い子からだと嬉しいです。

表 9 表記の正規化の例. 校正者が削除した表現を打ち消し線，追加した表現を太字で示す.トピックは「学校」.

A: 今週最後の授業が、やっとようやく終わりました。明日は、待ちに待った土曜日です。

B: 今週も大変でしたね。中丸さんは何が一番大変でしたか?

A: 私は一昨耳おとといの体育のマラソン授業で行った長距離走がとても大変でした。安藤さんは、ぞうですかいかがでしたか?

B: 私は、今週はそこまで大変ではありませんでした。代わりに来週の小テストが怖いです。ところで、この後、何か食べに行きませんか?

A: 行きましょう。最近美味しいおいしいスイーツのお店を知ったので、そのお店に行ってみましょう。

B: 良いですね。とても楽しみです。

【校正者コメント】マラソン $=42.195$ キロメートル。体育の授業でマラソンをすることは実際にはないかと思い、「ジョギング」に変更しました。「長距離走」などに変更してもいいかもしれません。

## B 語彙親密度の頻度分布

各コーパスについて，語彙親密度の頻度分布を図 2 に示す. 值が大きいほど親密度が高い.

図 2 対話データに含まれる語彙親密度の頻度分布.

## C 差別語・不快語の例

本研究で用いた差別語・不快語リストの中で，各コーパスに含まれていた語を以下に示す. Opensubtitles と Twitter は語数が多いため割愛する.

## - JDailyDialogue:

\{坊主, めくら, 不治の病, 床屋 $\}$

## - Business Scene Dialogue:

\{やばい,あんま \}

## - JEmpatheticDialogues:

\{ジプシー, 肌色, 外人, おし, アル中, 盲目的, 色盲, やばい, 名門, スケバン, あんま, 片親, 連れ子,裸族, 坊主, デカ, 精神病院, 床屋, 浮浪者 $\}$

## - JPersonaChat:

\{町医者, あんま, サツ, ジプシー, 肌色, 片親, スキンヘッド, 外人, おし, デカ, 坊主, やばい, 床屋,片田舎, 浮浪者 \}


# 知識グラフと Wikipedia を用いた雑談対話モデルの構築

郭 恩孚 ${ }^{1}$ 南泰浩 1
1 電気通信大学情報理工学研究科
enfu.guo@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

本研究では，対話モデルがユーザーの提示するエンティティを元に対話をより広げられるように、対話履歴から次の話題となるエンティティとその要約を外部から取得し、モデルの入力文脈に追加する Fine-tune 手法を提案する。学習したモデルを用いて、発話の自然性、エンティティ応答の妥当性、話題提供の適切性を評価する実験を行った結果、提案手法のモデルがベースラインと比べ、自然性スコアが 0.66 ポイント、エンティティ応答の妥当性スコアが 0.52 ポイント、話題提供の適切性スコアが 0.6 ポイントの向上を示し、提案手法の有用性を確認した。

## 1 はじめに

近年、Meta $の$ BlenderBot[1] や Google が発表した Meena[2] など、生成べースの対話システムが盛んに研究されている。対話システムの研究においては、対話履歴のみを入力とするモデルが多く提案されている。しかし、これらのモデルはやや無難な応答を多く生成することが報告されている。[3]。その原因として、学習データ内に、「わからない」や「そうですね」、「いいえ」などの文が多く含まれることが挙げられる。

この問題を解決するため、対話に外部知識トリプルを導入することで、生成べースモデルが学習した対話データ以外の情報を取り込むことができることが報告されている [4][5]。知識トリプルとは、自然言語処理において、人間の認識や知識を表現するために使用される三つの要素（主語、述語、目的語） からなるデータの構造である。例えば「猫は動物である」という文章を（猫、分類、動物）で表す。

外部知識トリプルの導入により、知識をモデルのパラメータとして保持する代わりに、知識を利用した応答生成というプロセスそのものをモデルのパラメータに保持することができる。その結果、モデル
を再学習する必要がなくなり、学習データに出現したことがない知識を用いた応答生成が可能になる。 しかし、これらのモデルは、タスク指向型対話や、一問一答のような対話では有効であるが、複数ター ンの雑談対話では、過去の対話履歴を考慮できない応答の生成や、新たな話題を持ち出せない応答の生成など、知識トリプルの情報をうまく使っていないことが問題点として挙げられている。

そこで、本研究では、対話履歴から、次の話題となるエンティティとその要約を知識グラフと Wikipedia から取得し、モデルの入力文脈に追加する Fine-tune 手法を提案する。実験では、外部知識として知識トリプルのみ使って Fine-tune したべースラインモデルと外部知識として知識トリプルとエンティティの要約を使って Fine-tune した提案モデルの比較を行った。人手による評価を行った結果、提案手法で学習したモデルは知識トリプルのみ使うモデルよりスコアの向上を確認でき、提案手法の有用性を確認できた。

## 2 データ

## 2.1 対話データ

モデルの学習用対話データとして、[6] の 4 つのコーパスを用いた。各コーパスの構築ソースとデー 夕数を表 1 に示す。モデルの学習では、Wikiコーパス、CC-100コーパス、ツイートリプライコーパスを用いて事前学習を行い、ツイート疑似対話コーパスを用いて Fine-tuneを行う。

 \\

図 1 各コーパスの構築ソースとデータ数

## 2.2 知識グラフとエンティティ要約

知識グラフは Wikidata[7] のダンプデータを用いて構築した。Wikidata は共同編集型の知識ベースであり、Wikipedia と同じく Wikimedia Project 群の一つである。Wikidataから（エンティティ1、プロパティ、エンティティ2）のような知識トリプルを抽出することができる。

しかし、Wikidata のデータは膨大であり、扱いが困難であると考えられる。そこで、本研究では、計算量と雑談対話の性質から、知識グラフの構築に以下の制限を付けた。

・エンティティに日本語名が存在するデータ

・雑談対話において、有意義なプロパティを含むデータ

ここでは「雑談対話において、有意義なプロパティ」とは、以下の項目とする。

・人物関連プロパティ

・人物・組織項目用プロパティ

・人物項目用プロパティ

・組織項目用プロパティ

・私生活関連プロパティ

これらのプロパティの探索には [8] を用いた。結果として、1,991,103 個のエンティティ、224 種類のプロパティ、56,552,434 個のトリプルを用いて知識グラフを構築した。構築した知識グラフの例を図 2 に示す。

図 2 構築した知識グラフの例

また、各エンティティの要約情報は、Wikipediaを用いて抽出した。その例を表 1 に示す。表 1 エンティティとその要約例

## 3 提案手法

対話履歴から、直近のユーザー発話やシステム発話の中に含まれるエンティティを抽出する。エンティティの抽出には Ginza[9] を用いた。抽出したエンティティを元に、2.2で構築した知識グラフを用いて、次の話題となるエンティティが存在するかどうかを確認する。次の話題となるエンティティが複数存在する場合、ランダムに一つを選び、そのエンティティの要約を取得する。次の話題となるエンティティが存在しない場合、対話履歴から抽出したエンティティの要約を取得する。取得したエンティティの要約を知識情報とし、対話履歴と共にモデルに入力し、知識応答生成を行う。また、対話履歴からエンティティ抽出できなかった場合、知識情報の部分を空欄にし、対話履歴のみモデルに入力し、一般応答生成を行う。その一連の処理のフローチャー トを図 3 に示す。

図 3 処理のフローチャート

## 4 実験

## 4.1 実験設定

モデルアーキテクチャには、Transformer EncoderDecoderを用いた。モデルの詳細な設定を表 2 に示す。

## 4.2 事前学習

事前学習では、2.1の Wiki コーパス、CC-100コー パス、ツイートリプライコーパスを利用した。また、[6] と同じく3つの学習：ランダムマスク学習、 シングル応答生成学習、固有名詞マスク学習を行った。ランダムマスク学習では、入力トークンの $15 \%$ を [MASK] トークンに置き換え、元の文を復元する。シングル応答生成学習では、入力からターゲッ卜応答を生成する。固有名詞マスク学習では、入力文を事前に Sudachi[10] で形態素解析を行い、入力文にある固有名詞を事前に [MASK] トークンに置き換えた上で、トークン分割し、元の文を復元する。ただし、[6] では固有名詞を全部置き換えるに対して、本研究では 1 つの固有名詞のみ置き換えるようにした。各事前学習の入出力形式を表 3 に示す。学習の Optimizer には Adafactor[11]を用い、学習率を 1e-4、 warmup step を 1000 にそれぞれ設定し、目的関数には label smoothed cross entropy を使用した。

## 4.3 Fine-tune

Fine-tune では、2.1 のツイート疑似対話コーパスを利用した。Encoderへの入力は、話者情報を表す [USER][SYS] トークン、知識情報を表す [KL] トー クンを導入し、先頭に「[SYS] の発話を生成する：」 を付け、過去の全発話を入力する。ユーザーの発話に該当する部分の先頭に [USER]、末尾に [/USER] トークンをつけた。システムの発話に該当する部分の先頭に [SYS] トークン、末尾に [/SYS] トークンをつけた。知識情報に該当する部分の先頭に [KL] トークン、末尾に [/KL]トークンをつけた。また、 Feed-Forward Network および Attention の dropout 率を
0.1 に設定し、学習の Optimizer には Adafactor を使用した。学習率を 1e-4、warmupstep を 2000 にそれぞれ設定し、目的関数には label smoothed cross entropy を用いた。

## 4.3.1 ベースライン

知識情報の部分に知識トリプルを入れ、Fine-tune し応答文を生成するものを、ベースラインとして用いる。その入力例を表 4 に示す。

表 4 ベースラインモデルの Fine-tune 時の入力形式のテンプレート

[SYS] の発話を生成する:[USER] ユ — ザーの発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの発話 $S_{1}[/ \mathrm{SYS}] \ldots[/ \mathrm{USER}][\mathrm{KL}]$ 知識トリプル:T[/KL][SYS]

## 4.3.2 提案モデル

知識情報の部分にエンティティの要約を入れ、 Fine-tune し、応答文を生成するものを提案モデルとして用いる。その入力例を表 5 に示す。

表 5 ベースラインモデルの Fine-tune 時の入力形式のテンプレート

[SYS] の発話を生成する:[USER] ユー ザーの発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの発話 $S_{1}$ [/SYS]...[/USER][KL] エンティティ要約: $E[/ \mathrm{KL}][\mathrm{SYS}]$

## 4.4 評価時の応答生成設定

モデルの応答は自然性と多様性の両方を満たすことが望ましい。そこで、本研究では Beam Searchによりベースラインモデルと提案モデルから応答を生成し、以下の処理を行う。同じ表現が繰り返し出現する応答の生成を防ぐため、生成された系列中にすでに出現した N-gram を出現させないようにした。 さらに、「そうですね」といった無難な発話を繰り返し応答しないように、difflibの SequenceMatcher を用いて、現在の生成候補と過去のモデル応答と比べ、類似度が 0.7 以上の応答は候補から除外した。残りの候補の中、perplexity が比較的小さな応答を選択することで、自然性と多様性を同時に満たす応答を選んだ。応答生成設定のパラメータを表 6 に示す。

表 3 各事前学習学習の入出力形式の例 (トークナイズ後)

## 4.5 実験結果及び分析

ベースラインモデルと提案モデルを比較するため、評価者 5 名でそれぞれ 10 対話について評価した。評価者と異なる実験参加者に 2 つのエンティティを提示し、モデルを使った対話システムと、 10 ターン以上継続した対話となるよう指示した。評価では、下記の軸について 5 段階 (1: とてもそう思わない 5: とてもそう思う) 評価をしてもらった。

・自然性: 対話全体が自然かどうか

・エンティティ応答の妥当性: モデルは実験参加者が提示したエンティティをうまく応答できたか
- 話題提供の適切性: モデルは実験参加者が提示したエンティティから他の話題を提供できたかその評価結果を図 4 に示す。図 4 より、提案モデルはベースラインモデルより自然性スコアが 0.66 ポイント、エンティティ応答スコアが 0.52 ポイント、話題提供スコアが 0.6 ポイント向上している。

図4 モデルの評価結果

ベースラインモデルと提案モデルの生成例を表 5 に示す。ユーザーが提示した「ユニバーサル・スタジオ・ジャパン」というエンティティについて、 ベースラインモデルでは、「ユニバーサル・スタジオ・ジャパンはいいですね」といった知識トリプルを使わずにやや無難な応答を生成した。一方、提案モデルでは知識要約の情報を含んだ「私はスー パー・ニンテンド・ワールドに行ったことがあります」という応答を生成しており、より踏み込んだ対話をしている。以上の結果により、実験参加者が提示したエンティティの情報を入力文脈に挿入することで、よりそのエンティティに近い文が生成され、対話全体の自然性も上がったと考えられる。

また、提案モデルの低評価の生成例を図 6 に示す。対話履歴により、猫と猫砂の話をしているため、ユーザーの発話に出現した「ライオン」は「ラ
イオン (企業)」というエンティティのことを指してると考えるのが妥当である。しかし、システムは知識グラフ上の「ライオン (動物)」というエンティティに紐付けた。その結果、誤った知識を使って、唐突に動物のライオンについて発話してしまい、 ユーザーを困惑させている。対話履歴からユーザー 発話の中に含まれているエンティティを理解し、知識グラフのエンティティに正しく紐付くことが今後の課題である。

図 5 ベースラインモデルと提案モデルの応答文生成例

図 6 低評価の生成例

## 5 おわりに

本研究では、対話履歴から、次の話題となるエンティティとその情報を知識グラフと Wikipedia から取得し、モデルの入力文脈に追加する手法を提案した。人手評価の結果、知識トリプルで学習したモデルと比較し、自然性、エンティティ応答の妥当性、話題提供の適切性スコアがともに向上していることが確認できた。一方、対話履歴から抽出したエンティティを知識グラフの違うエンティティと紐付け、誤った知識を使った応答が生成されるといったことも生じた。前後の文脈などからより正確にエンティティ抽出することが今後の課題である。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. Vol. abs/2004.13637, 2020.

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[3] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation, 2021.

[5] Debanjan Chaudhuri, Md Rashad Al Hasan Rony, and Jens Lehmann. Grounding dialogue systems via knowledge graph aware decoding with pre-trained transformers, 2021.

[6] 郭恩孚, 南泰浩. 固有名詞に注目した transformer による雑談対話モデルの構築. 言語処理学会第 28 回年次大会発表論文集, pp. 1500-1504, 2022.

[7] Wikimedia Foundation. Wikidata downloads. 2022.

[8] Wikidata prop explorer.

[9] Mai Hiroshi and Masayuki. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会, 2019.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[11] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. Vol. abs/1804.04235, 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 情報源のアノテーションによる 外部知識に基づいた応答の魅力度の分析

児玉 貴志 ${ }^{1}$ 清丸 寛一 ${ }^{1}$ Yin-Jou Huang ${ }^{1}$ 岡久太郎 ${ }^{2}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学 2 静岡大学
\{kodama, kiyomaru, huang, kuro\}@nlp.ist. i kyoto-u.ac.jp
okahisa-taro@inf.shizuoka.ac.jp

## 概要

人間は何らかの外部知識を参照しながら話す場合でも，自身の知識や意見を適度に織り交ぜながら魅力的に発話を行う. 本研究ではそういった人間の振る舞いを，既存の外部知識に基づいた対話コーパスに追加で情報源のアノテーションをすることで分析する. 具体的には，発話中の各エンティティに対して，そのエンティティが外部知識に由来する（外部知識由来）か, 話者の知識や意見に由来する（話者由来）かをアノテーションする. 分析の結果, 話者由来情報を含む発話は応答の魅力度が高いことが分かった. また，既存の外部知識に基づく対話応答生成モデルが生成する応答は人間の応答より話者由来情報の割合が少ないことを実験的に確認した。

## 1 はじめに

対話システムに情報性の高い応答を生成させるために外部知識を活用する研究が増加している $[1,2,3,4,5]$. そうした研究では与えられた外部知識を正確に応答に反映させる方法に注目することが多い $[6,7]$.

しかし外部知識に基づく対話において，図 1 に示すように，人間は単に外部知識による情報を相手に知らせるだけでなく, 話者自身が持っている知識や意見を有効に織り交ぜる $[8]$ ことで，発話を魅力的なものにしている．与えられた外部知識を応答に正確に反映することに特化したモデルが，そのような魅力的な振る舞いをどの程度実現できるかはこれまで定量的に確認されていない。

そこで本研究ではまず，外部知識に基づいた対話コーパスの発話に情報源のアノテーションを追加で施すことで, 人間が話者由来情報をどの程度発話に取り込んでいるかを分析する。具体的には，発話
いちばんの見どころはどこですか?

製作年度 : 2003年

レビュー : 世界的にヒットした海賊たちの世界いがテーマの映画の 1 作目見どころですか ? 2003年の古い映画なのですが今見ても古さを感じず見れるとこですかね。海賊の争いがテーマなんですけど裏切りもあるのですがそれを超え絆を深めて行くとこがなんとも大好きです。

図 1 Japanese Movie Recommendation Dialogue [9] の対話例. 推薦者発話中の青字と赤字の箇所がそれぞれ外部知識由来情報と話者由来情報を指す．推薦者発話の上部の四角部分には推薦者が該当発話で使用している外部知識を示す.

中の各エンティティに対して，そのエンティティが外部知識に由来する（外部知識由来）か，話者自身の知識や意見に由来する（話者由来）かをアノテー ションする. アノテーションされたデータセットを分析した結果，魅力的な発話は話者由来情報を多く含むことを確認できた。

次に，パープレキシティを最小化するという一般的な手法で訓練した，BART ベースの応答生成モデルが話者由来情報をどの程度使用できているかを調査した。その結果応答生成モデルは人間ほど頻繁には話者由来情報を使用できていないことが明らかになった．以上の分析と実験結果より，外部知識に基づく応答生成における魅力度を高めるにはパープレキシティを最小化するだけでは不十分であり，学習フレームワークに改善の余地があることが示唆された.

## 2 情報源のアノテーション

本節では情報源ラベルのアノテーション方法とその結果について説明する。

## 2.1 アノテーション方法

外部知識に基づいた対話コーパスである Japanese Movie Recommendation Dialogue (JMRD) [9] に追加で情報源のアノテーションを行う．JMRD は映画推薦

についての日本語対話コーパスで，推薦者は発話を行う際に，参照した映画情報にアノテーションを行っている.この手続きにより推薦者の全ての発話に, 外部知識として映画情報が紐付けられている。各知識は知識タイプ (タイトル, 製作年度, 監督, キャスト，ジャンル，レビュー，あらすじ，知識なしの8つ）と対応する知識コンテンツから構成されている. 表 7 に JMRD の対話例を，表 8 に JMRDで使用されている外部知識の例を示す.

本研究では推薦者の発話中の全ての体言，用言，形容詞をアノテーションの対象とし，これらをエンティティと呼ぶ. エンティティの抽出には, 形態素解析器 Juman++ [10] を使用する. 抽出の際にはエンティティの意味を捉えやすくするため，エンティティを修飾している形容詞や副詞も含めて抽出する. アノテータは抽出されたアノテーション対象を以下に示す情報源のタイプのいずれかに分類する。

外部知識由来：対象のエンティティがその発話で使用されている外部知識に基づいている.

話者由来：対象のエンティティが推薦者が推薦映画について元々持っている知識や意見に基づいている.

その他：上記 2 つに該当しない.

以下に分類の実例を示す.

(1) 発話：アクションシーン (外部知識由来) は

見ごたえ (話者由来) 抜群です

使用されている知識：\{ジャンル,アクション\}

アノテーションはプロのアノテータに依頼した. 1 人のアノテータが 1 つの対話を担当し, アノテー ション後に別のアノテータが内容を確認した。アノテーションにかかった費用は約 140 万円だった.

## 2.2 アノテーション結果

表 1 にアノテーションの統計を示す. 推薦者は外部知識を参照しながら発話をしているため，その性質上外部知識由来のエンティティが多いものの, 話者由来のエンティティも約 6 万個存在した. この結果は，人間は外部知識を伝えるための対話であっても，自身の知識や経験，意見を発話に取り入れていることを示している.表 1 情報源のアノテーションの統計

図 2 アンケート結果と各情報源ラベルとの関係

## 3 人間の応答の分析

本節では人間の発話の魅力度と話者由来情報の関係を対話レベルと発話レベルに分けて分析する。

## 3.1 対話レベルの分析

JMRD の一部の対話（4,317 対話）には対話終了後に取った 5 段階評価のアンケート（5 が最良）が付随している. そのアンケートの中から, 被推薦者側の, 対話魅力度（質問文：「対話を楽しめたか」） と, 推薦成功度（質問文：「推薦された映画を見たくなったか」）の2つのアンケート結果と各情報源ラベルの割合との関係について分析する.

図 2 にアンケートのスコア別に各情報源ラベルの割合を示す.この図より対話魅力度，推薦成功度ともに，評価の低い対話では話者由来情報が少なく （または外部知識由来情報が多く），評価の高い対話では話者由来情報が多い（または外部知識由来情報が少ない）傾向が見て取れる．JMRDではクラウド
表 2 人間の応答に対する発話魅力度 ${ }^{11}$ 。括弧内の数値は応答数を指す.

ワーカーに一定量の外部知識を提示し，その知識を使いながら対話をするように教示している。ただ，対話相手からの評価が高い推薦者は，与えられた外部知識だけではなく，話者由来の知識をある程度 （統計的には約 $25 \%$ 程度）混ぜながら発話をしていることが分かった.

## 3.2 発話レベルの分析

JMRD には発話単位では応答の魅力度が付随していないため，新たにクラウドソーシングで応答の魅力度 (発話魅力度) について評価を行った. まずテストデータの中から 500 個の対話文脈（4 発話）とその文脈に対する応答を抽出し，クラウドワーカー にその応答の発話魅力度（質問文：「この応答をした人と話してみたい」）を 5 段階評価（5が最良）で評価してもらう．各応答につき 3 名のクラウドワー カーに評価してもらい，スコアはその平均とする.

表 2 に結果を示す. 話者由来情報を含む応答の平均スコアが 3.31 であるのに対し，含まない応答の平均スコアは 3.07 であった. この結果より, 話者由来情報を含む応答の方がより魅力的であることが発話レベルでも示された.

## 4 システム応答の分析

本節では一般的な手法で訓練した応答生成モデルが生成した応答中の情報源ラベルの分布を調査する. まず対話文脈と外部知識から応答を生成する応答生成器（4.1 節）を訓練する. 次に応答と外部知識を入力，情報源ラベルの BIO タグを出力とする情報源分類器（4.2 節）を訓練する. 最後に応答生成器が生成した応答（システム応答と呼ぶ）に対して，訓練した情報源分類器によって情報源ラベルを推測して付与し，その分布を確認する.

## 4.1 応答生成器

応答生成器は日本語 Wikipediaを使用して事前学習された BART large $^{\text {[11] }}$ を fine-tuning して作成す

1）情報源ラベルのない 4 発話についてはこの結果から除外している.表 3 情報源分類器による系列ラベリング結果

る2). モデルへの入力は以下のように定める.

$
\begin{aligned}
& {[C L S] u_{t-4}[S E P] u_{t-3}[S E P] u_{t-2}[S E P]} \\
& u_{t-1}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots \\
& {\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{aligned}
$

$t$ は対話ターン, $u_{t}$ は $t$ 番目の発話, $k t^{i}$ と $k c^{i}$ $(1<=i<=M)$ は応答 $u_{t}$ に紐付けられている知識夕イプと知識コンテンツである（ $M$ は応答に紐付けられている知識の最大数). $\left[C L S_{K}\right]$ は特殊トークンである．実運用時は知識選択も行う必要があるが，本研究では知識が応答にどのように反映されているかに注目するため，知識選択タスクは行わず，モデルには常に正解の知識を入力する. モデルは応答 $u_{t}$ のパープレキシティ最小化を目的関数として学習する。

システム応答の評価には SacreBLEU [12] を使用した. 正解の知識を与えているため，BLEU-1/2/3/4 は 81.1/73.5/71.0/69.9 と非常に高いスコアとなった. 3.2 節で行った，発話魅力度の評価をシステム応答に対しても同様に行った. 平均スコアは 3.09 であり，人間と比較するとやや低いスコアとなった.

## 4.2 情報源分類器

情報源分類器は日本語 Wikipedia と CC-100 を使って事前学習された RoBERTa large $^{\text {[13] }}$ を fine-tuning して作成する ${ }^{3}$ ． 情報源分類器は，情報源の BIO ラべルを推定する系列ラベリングタスクを解く．モデルへの入力は以下のように定める.

$
\begin{array}{r}
{[C L S] u_{t}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots} \\
{\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{array}
$

表 3 に各ラベルの適合率 (Prec)，再現率 (Rec)，F1 スコア $(\mathrm{F} 1)$ とそれぞれのマイクロ平均スコアを示す. マイクロ平均 F1 スコアは 90.50 であり，後段の分析に使用するには十分な精度である.

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART\%E6\% $97 \% A 5 \% E 6 \%$ 9C\%AC\%E8\%AA\%9EPretrained\%E3\%83\%A2\%E3\%83\%87\%E3\%83\%AB

3) https://huggingface.co/nlp-waseda/

roberta-large-japanese-seq512

 & \\

表 5 人間とシステム応答の情報源ラベルの分布. gold はアノテータによって付与されたラベルを，pred は情報源分類器で推定したラベルを指す.

表 6 知識タイプ別の話者由来情報の割合

## 4.3 推定ラベルに対する分析

4.2 節で訓練した情報源分類器を用いて，システム応答の情報源ラベルを推定する．表 5 に人間とシステム応答の情報源ラベルの分布を示す. 人間の応答にはアノテーション（2 節）ですでに正解ラベルが付与されている（Human (gold)）が，公平な比較のため人間の応答についても情報源分類器で推定ラベルを付与する (Human (pred)). Human (gold) と Human (pred) は似た分布になっており, 分類器の精度が十分高いことを示している.

推定したラベルが付与されたシステム応答である System (pred) は，Human (pred) と比較すると，外部知識由来の割合が大きく増加 $(66.75 \% \rightarrow 85.48 \%)$ し,話者由来の割合が大きく減少 $(27.49 \% \rightarrow 10.66 \%)$ した. この結果より，一般的な手法で訓練した応答生成モデルは人間より話者由来情報の使用量が減少してしまうことが明らかになった.

表 4 に，人間とシステムの応答例を発話魅力度とともに示す. システムは外部知識を適切に反映しているものの，人間の応答中の「この二人，歌手も
やってます.」のような，話者由来情報を追加するといった振る舞いはできていない.

さらなる分析として，表 6 に知識タイプ別の話者由来情報の割合を示す. 人間の発話と比較すると， システム発話の話者由来情報の量はすべての知識タイプで減少した. 特にレビュー $(31.42 \% \rightarrow 6.32 \%)$ やあらすじ $(13.68 \% \rightarrow 2.32 \%)$ では大きな减少が見られた.レビューやあらすじは誰かの知識や意見を記述した外部知識であり，システムはこうした外部知識を参照することで，他に話者由来情報を追加する必要がなかったためであると考えられる。

話者由来情報が応答の魅力度を向上させるという分析と合わせると，現在の主流のモデルは話者由来情報を効果的に取り込むことができないため，その魅力度が低下してしまっている可能性がある. こうした能力は応答生成のパープレキシティを最小化するようにモデルを最適化するだけではほとんど学習されないため，新たな学習フレームワークが必要であると考えられる。

## 5 おわりに

本研究では，外部知識に基づいた対話における，人間およびシステム応答に含まれる話者由来情報について分析した. 分析の結果，外部知識だけでなく話者由来情報を用いることで，より魅力的な応答が得られることが分かった. また標準的な方法で学習した応答生成モデルは，人間よりも話者由来情報の生成量が少ないことを定量的に確認した。

対話に出現する話者由来情報は多種多様であり，単純に応答のパープレキシティを最小化するだけでは話者由来情報をうまく活用することは困難である. 今回施したアノテーションは公開予定であり, このアノテーション付きコーパスがこの問題に取り組む上での良い出発点となることを期待する.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成, JST，CREST，JPMJCR20D の支援，及び JSPS 科研費 JP22J15317 の助成のもとで行われた。

## 参考文献

[1] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, April 2018.

[2] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 708-713, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Nikita Moghe, Siddhartha Arora, Suman Banerjee, and Mitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2322-2332, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[5] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pre-trained language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 33773390, Online, November 2020. Association for Computational Linguistics.

[6] Byeongchang Kim, Jaewoo Ahn, and Gunhee Kim. Sequential latent knowledge selection for knowledgegrounded dialogue. In International Conference on Learning Representations, 2020.

[7] Haolan Zhan, Hainan Zhang, Hongshen Chen, Zhuoye Ding, Yongjun Bao, and Yanyan Lan. Augmenting knowledge-grounded conversations with sequential knowledge transition. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5621-5630, Online, June 2021. Association for Computational Linguistics.

[8] Hannah Rashkin, David Reitter, Gaurav Singh Tomar, and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
(Volume 1: Long Papers), pp. 704-718, Online, August 2021. Association for Computational Linguistics.

[9] Takashi Kodama, Ribeka Tanaka, and Sadao Kurohashi. Construction of hierarchical structured knowledgebased recommendation dialogue dataset and dialogue system. In Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 83-92, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphological analyzer toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. Vol. abs/1907.11692, , 2019.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.
表 7 JMRD の対話例. 話者列の R と S はそれぞれ推薦者と被推薦者を指し，添字の番号は対話のターン数を示す.「知識なし」は推薦者が外部知識を使用しなかったことを示す.

 \\

表 8 JMRD で使用されている外部知識の一例. 監督とキャストには名前と説明がそれぞれ存在する.

 &  \\

表 9 応答生成器と情報源分類器のハイパーパラメータ


# 対話に基づく常識知識グラフの構築と 対話応答生成に対する適用

井手竜也 ${ }^{1}$ 榮田亮真 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki.,s.ryoma6317@akane., dkw@\}waseda.jp
\{takato.yamazaki, shengzhe.li,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

コンピュータに常識を与えるため，多くの常識知識グラフが提案されているが，文脈を考慮したものは少ない。本論文では対話における文脈に注目し，常識に基づく対話応答生成に向けた対話常識グラフを提案する．カテゴリと時系列，対象といった次元を考慮し，提案するグラフを日本語で構築した. 構築したグラフをもとに対話応答生成を行い，心情に関する推論を明示的に与えることによって生成される応答の特徴が変化することを示した. 日本語で構築した対話常識グラフは公開予定である.

## 1 はじめに

人間は対話において，状況や相手が思うことを暗黙的に推論 [1]する。いわば人間は，対話の常識1)をもつと言える。 それに対して，ニューラル雑談対話システムには対話の常識が足りず，普遍的な応答ばかりを生成するという指摘 [2]がある. コンピュー 夕に常識を与える研究は盛んになされており，その一環として常識知識グラフ [3] が構築されている.

常識に関する推論は状況や文脈によって異なるが，既存の常識知識グラフは文脈を無視 [4] てている.したがって，システムが文脈に依存した常識を推論するための, 文脈を考慮した常識知識グラフが必要となる. 英語にはいくつか存在 $[5,6,7]$ しているが，日本語にはない。

本論文では，より人間らしい対話システムの実現に向けて，対話の常識を集めた対話常識グラフを提案する. カテゴリと時系列, 対象といった次元に注目し，推論すべき関係を定義する．また大規模言語

図 1 発話ごとにタグ付けする推論の例

モデルを用いた対話応答生成に対して，対話常識グラフを適用する手法も提案する。

提案する対話常識グラフを，日本語で構築2)した。 Twitter APIを用いて対話を収集し，Yahoo!クラウドソーシングを用いて発話ごとに推論を付与した. 対話常識グラフの分析では，対話の常識における推論の傾向を明らかにした．さらに，構築したグラフを用いて対話応答生成を行った. HyperCLOVA JP [8] の In-Context Learning [9] において，心情の推論をプロンプトとして明示的に与えた。推論を与えることによって，生成される応答の特徴が変化することを示した.

## 2 関連研究

## 2.1 常識知識グラフ

イベントに関する常識を集めた常識知識グラフに ATOMIC [3] があるが，それぞれのイベントは文脈を伴わない。それに対して PARA-COMET [4] は，物語における一連の文に対して推論を付与する。

2）日本語で構築した対話常識グラフは, https://github. com/nlp-waseda/dcsg-jaにて公開予定である.

(a) 出来事

(b) 心情

図 2 対話常識グラフで推論すべき関係

GLUCOSE [5] は物語の文に関する推論，CIDER [6] は対話における発話同士の推論を扱う. CICERO [7] も対話に関する常識知識グラフだが，テキストを超えた範囲の推論まで考慮する。

ATOMIC の関係は，対象がイベントの当事者かその他かを Xと Others によって区別する。一方で CICERO の次元は, 出来事か心情かと時系列の前後を区別しているが，推論の対象となる話者を区別しない. 本研究では，さらにどの話者に向けた推論かという次元に注目する。

## 2.2 大規模言語モデルと対話応答生成

In-Context Learning [9] では，解くべきタスクの例をいくつかプロンプトとして大規模言語モデルに与え，そのタスクを解かせる. In-Context Learningを用いた対話応答生成 [10] の研究もなされている. 特定の状況に基づく応答を生成する試み [11] や，共感的な応答を生成する試み [12] がある.

大規模言語モデルの生成は，与えられるプロンプ卜に大きく影響を受けること [13] が知られている。 タスクを解くにあたって，その過程をあえてプロンプトに列挙する Chain of Thought Prompting [14] も提案されている。

## 3 対話常識グラフの構築

本研究では，対話の常識に特化したグラフを構築する. テキストに書かれているものから暗黙的なものまで，発話ごとに推論を付与する. 発話ごとの推論は，より人間らしい対話応答生成に役立つと考

(a) 記述

(b) フィルタ図 3 推論を獲得するクラウドソーシングの例える。

## 3.1 マルチターン対話の収集

Twitter $\mathrm{API}^{3}$ を用いて，マルチターン対話のテキストを収集する。あるツイートとそれに対する一連のリプライを対話と見なす. 収集した対話のうち，二人の話者が交互に話す例のみを抽出する。またテキストの品質を保証するため，フィルタ4)を施す.

352 対話（発話にして 2,121）を獲得した. 対話あたりの発話数は平均 6.03 であった.

## 3.2 推論の付与

Yahoo!クラウドソーシング5)を用いて，発話ごとに推論を付与する．推論すべき関係として，次の 3 次元をもとに $2^{3}=8$ 関係を定義する.

1. 発話のまわりで起こったこと（出来事）か，そのとき思ったこと（心情）か

2. 発話の前にあったことか，その後にあったこ

3) https://developer.twitter.com/en/products/ twitter-api

4）Yahoo!クラウドソーシングを用いて，対話の内容が理解できるかを尋ねる．第三者が内容を理解できる対話は，専門用語なども含まず高品質だと仮定する.

5) https://crowdsourcing.yahoo.co.jp/

## とか

3. 発話を言った人（話し手）についてか，それを聞いた人（聞き手）についてか

8 関係はそれぞれ，図 2 のように名付ける. 例えば (出来事, 前, 話し手) の組合せによる関係は原因と呼び，発話の原因となる事象の推論をテキスト形式で付与する.

記述発話とその履歴を与え，ある関係について推論を記述してもらう。関係ごとに 3 人に尋ね， まったく同じ回答は除去する. 動機の推論を記述するタスクの例を図 3(a) に示す. 延べ 5,581 人のクラウドワーカを雇い，177,276円を支払った.

フィルタ記述してもらった推論に対して，クラウドソーシングに基づくフィルタを施す. 発話とその履歴，および発話に対する推論を与え，推論が適切かどうかを判定してもらう．推論ごとに 3 人に尋ね，多数決によって採否を決定する. 動機の関係を評価してもらうタスクの例を図 3(b) に示す. 延べ 4,524 人のクラウドワーカを雇い，171,236 円を支払った。

対話常識グラフの統計を表 1 に示す.このクラウドソーシングを行った結果，時系列や対象の話者に関する誤りが多く見られた。とくに話し手と聞き手のどちらに関する推論かが混同されていることが多かった. これらの解消は，今後の課題である.

## 4 グラフを用いた対話応答生成

大規模言語モデルの In-Context Learning [9]を用いた対話応答生成に対して，構築した対話常識グラフを適用する. In-Context Learning に基づく対話応答生成では，いくつかの対話をショットとしてモデルに与える [12] が，モデルはテキスト上に表れたこと以外を動的に知ることができない6)。一方で人間は，あえてテキストに書かないことも考慮しながら対話を行う．より人間らしい対話応答生成に向けて，テキスト上に表れない常識をあえてモデルに与える。

本研究では，次元のうち心情のみに注目する。 心情に関する推論を明示的に与えることによって，話者が発話を投げかける際の根拠をモデルに教えることができる。すなわち「相手はこう思っただろうし，自分はこう思ったから，こう言おう」といった具合である.これは Chain of Thought Prompting [14]

6）モデルのパラメータには，事前学習で得た潜在的な知識があると考えられるが，それらは静的なものである。鈴木と佐藤の二人が会話している。

佐藤「まってwww服裏表反対でご飯食べに来てたwww」

鈴木「ええなんで笑笑」

佐藤「夕飯行く前に寝てたから服替え直したんだけどその時にミスってwww」鈴木「気づいた時恥ずかしい笑笑」

佐藤「いやほんとはずかしかったwww」

(a) 推論なし

(b) すべての推論

図 4 対話応答生成におけるショットの例とも言える。

## 4.1 問題設定

対話常識グラフに含まれる対話について，最後から二番目までの発話を履歴とし，最後の発話を生成する.この生成について，プロンプトとして心情の推論を与える場合と，とくに推論を与えない場合を比較する.

ショットは生成対象の対話を除いたすべての対話から，ランダムに選択する7)．各ショットは，状況の説明と一連の発話からなる. 状況の説明では,話者の名前 ${ }^{8}$ を紹介する．発話はそれぞれ話者の名前と鉤括弧に挟まれたテキストからなる．生成対象の対話では，最後の発話における開き鉤括弧までを履歴とする。とくに推論を与えない場合におけるショットの例を図 4(a) に示す.

構築した対話常識グラフは，すべての発話が推論を伴う、それらを用いて，ショット中の発話に関する推論を明示的に与える. 最後の発話を言った話者についてのみ，すなわち最後から奇数番目の発話における心情の推論のみを与える。これは人間の対話と同じように，相手の発話に関する相手の推論は知りえないという仮定に基づく. なお前の推論（動機と忖度）は発話の前，後の推論（反省と反応）は発

7） In-Context Learning では，モデルを Finetuning する必要がない. 訓練データとテストデータを区別する必要もないため, リークは発生しない.

8）日本でもっとも多い 20 個の名字から，2 個ずつをランダムに選択する. 名字の一覧はhttps://myoji-yurai.net/ prefectureRanking.htm から引用した.
表 2 グラフを用いた対話応答生成の自動評価

表 3 グラフを用いた対話応答生成の人手評価モデル 1 勝ち負け引き分け

すべての推論 VS 推論なし $40.95 \quad \mathbf{5 2 . 7 0} \quad 6.35$

話の後に插入する. 心情の推論を与える場合におけるショットの例を図 4(b) に示す.

大規模言語モデルには, HyperCLOVA JP 39B モデル [8]を用いる.プロンプトのショット数を 2 とする9). 応答は対話ごとに 3 回ずつ生成する.

## 4.2 評価

生成した応答に対して，モデル自体の絶対評価とモデル同士の相対評価を行う，心情に関するすべての推論を与えるモデルに対して，推論を明示的に与えないベースラインモデルを比較対象とする。また心情に関する推論のうち話し手に対するもの（動機と反省）だけを与えるモデルと，聞き手に対するもの（忖度と反応）だけを与えるモデルも評価する。

自動評価絶対評価として，パープレキシティ （PPL）と BLEU [15]，distinct [2] を計算する。これらは，日本語形態素解析システム Juman++ ${ }^{10)}$ を用いて分かち書きした応答に対して計算する．PPLは GPT-2 日本語 Pretrained モデル ${ }^{11)}$ を用いて計算する。

人手評価 Yahoo!クラウドソーシングを用いて， 2 つの応答どちらを生成するモデルとより会話を続けたいかを相対的に評価する。応答あたり 5 人に尋ね，多数決を行う. 延べ 763 人のクラウドワーカを雇い，15,350 円を支払った。

## 4.3 実験結果

自動評価の結果を表 2 に示す. BLEU と distinct は，推論を明示する方が高くなる傾向がある。つまりあえて推論を明示的に与えた方が，モデルはより人間に近い応答を生成する.人手評価の結果を表 3

9）すべての推論を明示的に与えようとすると，トークン数は大きくなる. 本研究では HyperCLOVA JP の最大系列長に鑑みて，推論の有無にかかわらずショット数を 2 で統一した.

10) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\% 2 B\% 2 B

11) https://huggingface.co/nlp-waseda/gpt2-xl-japanese
に示す. 忖度と反応だけを与えるモデルはベースラインモデルに勝っているが，それ以外は負けている.したがって，聞き手に対する推論を与えるとモデルはより魅力的な応答を生成するが，話し手に対する推論はむしろ与えない方がよい。

表 2 と表 3 を比較すると，正解応答との類似度を表す BLEUでは動機と反省のスコアが高いが，人手評価では忖度と反応の勝ち数が大きい. つまり人間をよく模倣するよりも，より相手を慮った応答を生成させる方が，ユーザのエクスペリエンスは高くなる.また実験に用いた対話が Twitter のテキストに基づくことも，人間に近い応答が魅力的でないと判定される原因と考えられる。

自動評価と人手評価の齯齬は，人手評価が十分でない可能性を議論させる. 人手評価では, 対話の履歴とモデルが生成した応答を，独立に評価した. つまりクラウドワーカは，本来すべきコミュニケー ションのうち一部を切り取って判定している. したがって，自分のことばかりを話したり相手を慮ってばかりだったりするモデルでも，魅力的と思われうる. もっと会話を続けたいと思えるモデルを正しく評価するためには，モデルとの長期的なやりとりに注目するような，よりよい人手評価の開発が求められる。

## 5 おわりに

常識を理解する対話システムの実現に向けて，対話に基づく常識知識グラフを提案した。対話における 3 つの次元に注目し，推論すべき関係を定義した. Twitter API と Yahoo!クラウドソーシングを用いて，対話常識グラフを日本語で構築した.

さらに構築したグラフを，大規模言語モデルを用いた対話応答生成に適用した. HyperCLOVA JP を用いた In-Context Learning において，暗黙的な推論をモデルに与える実験を行った．話し手や聞き手の心情に対する推論を明示的に与えることで，生成される応答の特性が変化した。

本研究で行った対話応答生成の実験は，正解となる推論が手元にある前提のもと行ったが，その前提は実用的でない．推論を行う手順も含めたパイプラインの構築は，今後の課題である.

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[4] Saadia Gabriel, Chandra Bhagavatula, Vered Shwartz, Ronan Le Bras, Maxwell Forbes, and Yejin Choi. Paragraphlevel commonsense transformers with recurrent memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12857-12865, May 2021.

[5] Nasrin Mostafazadeh, Aditya Kalyanpur, Lori Moon, David Buchanan, Lauren Berkowitz, Or Biran, and Jennifer Chu-Carroll. GLUCOSE: GeneraLized and COntextualized story explanations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4569-4586, Online, November 2020. Association for Computational Linguistics.

[6] Deepanway Ghosal, Pengfei Hong, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CIDER: Commonsense inference for dialogue explanation and reasoning. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 301-313, Singapore and Online, July 2021. Association for Computational Linguistics.

[7] Deepanway Ghosal, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CICERO: A dataset for contextualized commonsense inference in dialogues. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5010-5028, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham,
Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Andrea Madotto, Zhaojiang Lin, Genta Indra Winata, and Pascale Fung. Few-shot bot: Prompt-based learning for dialogue systems, 2021.

[11] Chujie Zheng and Minlie Huang. Exploring prompt-based few-shot learning for grounded dialog generation, 2021.

[12] Young-Jun Lee, Chae-Gyun Lim, and Ho-Jin Choi. Does GPT-3 generate empathetic dialogues? a novel in-context example selection method and automatic evaluation metric for empathetic dialogue generation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 669-683, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[13] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8086-8098, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed H. Chi, Quoc V Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Alice $\mathrm{H}$. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Information Processing Systems, 2022.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

 \\

## A 対話常識グラフの詳細

## A. 1 推論の例

3.1 節において，Twitter から収集した対話の例を次に示す.

1. 早く夏終わってくれ頼む

2. 夏がすぐ終わったら宿題おわらないぜ

3. それはそうだけど流石に外暑すぎるんよ

4. それなマジで暑い

5. これは地球温暖化が悪いわ

このうち 3 番目の発話について，3.2 節で付与した推論を表 4 に示す.

## A. 2 グラフの分析

ある発話における動機の推論と直前の発話における反応の推論は，同一の心情を指す. 同様に，ある発話における反省の推論と直後の発話における忖度の推論も, 同一の心情を指す. いわば動機と反省は話し手が実際に思ったことで, 忖度は反省, 反応は動機に対する聞き手からの予測である. 話し手が実際に思ったことと，それらに対する聞き手の予測が，どれくらい一致するかを調べる。

結果として，動機や忖度が対話のテキストに書かれている場合, 忖度と反応のそれぞれは動機と反省に一致しやすいことがわかった。

## B 対話応答生成の詳細

## B. 1 ハイパパラメータ

Twitter に投稿可能なテキストの最大文字数が 140 であることにに鑑みて，生成の最大トークン数を 140 とする. トークンあたりの文字数は 1 以上なので，発話あたりのトークン数は必ず 140 以下と

 \\

図 5 相対評価のためのクラウドソーシングの例

なる. デコードでは Softmax の Temperature を 0.5 , Top-P と Top-Kをそれぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B. 2 応答の例

次に示す対話について，4番目までの発話を履歴， 5 番目の発話を応答として生成する例を考える.

1. まって www 服裏表反対でご飯食べに来てた www

2. ええなんで笑笑

3. 夕飯行く前に寝てたから服替え直したんだけどその時にミスって www

4. 気づいた時恥ずかしい笑笑

5. いやほんとはずかしかった www

このとき, HyperCLOVA JP 39B モデルによって生成された応答を表 5 に示す.

## B. 3 評価

Yahoo!クラウドソーシングに基づく相対評価の例を図 5 に示す。


# 感想付きニュース雑談対話コーパスの構築

成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

本研究では, 日々の話題についてユーザと雑談する対話システムの実現を目指している. 雑談対話システム構築に向けて, 本稿では（ニュース記事， ニュース記事に対するツイート，ニュース記事についての雑談対話）の三つ組からなる感想付きニュー ス雑談コーパスを構築した. 本コーパスの特徵は,話者の雑談に加えて, 雑談の話題となるニュースと，それに対するツイートがセットになっている点にある。なお，対話収集システムおよび感想付きニュース雑談コーパスは, githubで公開している1).

## 1 はじめに

人間同士の雑談では，感想を述べる発話が対話の盛り上がりに寄与することが知られている [1]. また近年では，ニューラルネットワークにより流暢な文の生成が可能になり, 感情を表現する雑談対話システム [2] や人の感情に共感する傾聴対話システム $[3,4,5]$ も提案されている. 一方で, 任意の話題に適切かつ人間らしい感想を生成できるほど技術が熟していないため, 適切でない感情応答を生成した場合に倫理面や安全性の観点で問題がおきる可能性があることも指摘されている $[6,7]$.

上記の問題に配慮しつつ人間らしい感想を表出するシステムの実現方法の一つとして，対象の話題に対する第三者の人間の感想の利用が考えられる.つまり，対話の話題に関する第三者の感想を入力し，状況に応じて適切な第三者の感想を選択して応答生成に利用する，図1のようなシステムが考えられる.こうしたシステムを学習するためには, 話題に対する第三者の感想を与えられた話者が，それらを適宜利用しながら発話する対話コーパスが必要となる.しかし,このような対話コーパスは現状構築されていない.

1) www.github.com/fukanarita/newschat-with-impression表 1 感想付きニュース雑談コーパスの例.

## ニュース記事 : スプリンクラー作動で楽器被害

スプリンクラーが突然作動し、舞台上の楽器が水をかぶる被害が生じた

## 提示したツイート

$\mathrm{T} 1$ : 市が補償した方がいい

T2：さすがにこれはなあ...

T3：一億とかかかる？大丈夫？

T4：ちゃんと原因究明してほしい

対話（S: システム役の発話， $\mathrm{U}$ ：ユーザ役の発話）

S1:[] 「市民文化センター大ホールでスプリンクラー 作動でオーケストラの楽器ずぶぬれ被害額は数億円か」というニュースです.

U2: すみません. そのニュースは知りませんでした. もう少し詳しく教えて下さい.

S3: [] 9 月 24 日午後 1 時ごろ，楽団が，市民文化センター大ホールでスプリンクラーが誤作動し, 楽器ずぶぬれになりました.

U4: そうなんですね. 被害額が数億円とは驚きです. ところで, スプリンクラー作動の原因は何だったのでしょうか.

（中略）

U6: 被害額の数億円の保証はどうなるのでしょうね.楽団が保険に入っていればいいんですけど. その辺の情報はありますか.

S7: [T1,T2] 副市長からお見舞いの電話がありましたが，市から被害の確認や今後の対応についての説明は受けていないようです.「市が補償した方がいい」や「さすがにこれはなあ...」などの意見が出ていますね.

U8: そうなんですか. まっ，いつものことですが，外野は言いたいことを言っているようですね. 最近はクラウドファンディングで資金を集めるといった方法もありますので，検討してみたらいいですね.

S9: [T3]「一億とかかかる？大丈夫？」という意見どおりならクラウドファンディングでも厳しいですね.

本稿では対話システムが人間の感想を適宜利用することで自然かつ盛り上がる対話を行う一例として, Akasaki ら [8] と同様にニュースを利用し, さらに人間の感想として当該ニュースに対するツイートを用いて対話し，コーパスを収集した（表 1)2)。具

2） ツイートはコーパスではツイート ID のみ記載，便宜上こ

図 1 第三者の感想を利用する雑談対話システム.

体的には，まず，話者がニュースとそれに対するツイートを参照しながら対話をするための対話収集システムを構築する。そのうえで，構築した対話収集システムを用いて感想付きニュース雑談コーパスを構築する. さらに，構築したコーパスを分析することで，話題に対するツイートの利用が対話の盛り上がりに寄与するかどうかを分析する.

## 2 感想付きニュース雑談コーパス

## 2.1 概要

本研究で構築した感想付きニュース雑談コーパスは，システム役の話者がニュースに対するツイー 卜を第三者の感想として利用しながら，ニュースについてユーザ役の話者と話す対話を収録したものである。人による自然で理想的な対話を収集するため，対話システムによる発話生成は行わず，Wizard of Oz（WOZ）方式によって人間に対話をさせコー パスを構築した。

本コーパスは，JSON Lines 形式で一対話一行として記述されており，それぞれの対話は，

・対話の話題となったニュース記事の URL

・システム役に提示したツイートのツイート ID

・システム役とユーザ役の二者の発話

からなる。

## 2.2 コーパスの構築

本コーパスの構築手順は次の通りである：

1. 対話収集システムの改変

2. 使用するニュースとツイートの選定

3. 対話収集

## 2.2.1 対話収集システムの改変

対話収集システムは児玉ら [9] のシステムを元に機能を拡張することで構築した。主な改変点は以下の通りである:

・システム役が教示（2.2.3 節）を熟読してからユーザ役とマッチングできるよう，チャットルームに到達する前にシステム役とユーザ役が開くページを分離

・システム役の教示のページとチャットルームのページにはニュースとツイート（ページ上では 「世間のコメント」と記載）を表示

・表示するニュースとツイートは，順にマッチングするワーカー一組ごとに変更

・それぞれの発話で使用したツイートに，システム役がチェックを入れて記録できる機能を追加

## 2.2.2 使用するニュースとツイートの選定

ニュース記事の選択システム役が自然な感想を選択して発話できるよう，ニュース記事一つに対して感想や意見を含むツイートが 15 個以上集まっているニュースを選択した3)．また，話者ができるだけタイムリーな話題について自然に対話できるよう，対話収集の直近 4 ヶ月を目安に記事を収集した。 ただし，東中が述べているように [10]，対話システムの発言内容には倫理的観点から注意する必要があり，組織の利益を損ねるような話題や政治などの議論を呼ぶ話題は避ける方が望ましい。我々は，本コーパスを将来的に対話システムの構築に利用したいと考えている。そこで，コーパス収集においても特定の個人や団体が非難されるような話題や政治の話題は除外した. また，成田ら [11] より訃報は対話者が気を遣うと報告されていたため除外した。これらの結果選択したニュースは, 長さ $2 \mathrm{~cm}$ の細菌発見，スプリンクラーの誤作動による楽器の被害，屋根裏から古いノミ発見などの話題の全 16 記事となった。

提示するツイートの選択一つの記事を引用するツイートは多いもので 150 以上あるが，できるだけスムーズにツイートを対話に利用できるよう，具体的な感想が述べられている 16 文字以上のツイートを 10 から 15 ツイート程度, 記事ごとに選択した。

クラウドソーシングサイト

(5) クラウドンーシングサイトにチャ゙トIDをスカし、クラウドソーシングタスク終了

図 2 対話の収集の流れ。

## 2.2.3 対話収集

対話収集の流れは図 2 の通りである.まず， Yahoo!クラウドソーシング4)にシステム役のタスクとユーザ役のタスクをそれぞれ投稿し，対話参加者はどちらかのタスクを選択する（図2の（1）．システム役とユーザ役の話者はそれぞれ異なる URL から対話収集システムにアクセスし，教示を熟読した後（図 2 の（2），1 対 1 で対話を行う（図 2 の (3)). 対話収集の際はシステムから話題を提供するものとし，システム役にのみ対話開始前にニュース記事とそのニュース記事を引用したツイートを提示した. また, 児玉ら [9] に倣って，一発話ずっ発話者が交互に変わる形式で対話を進行させた ${ }^{5)}$. 対話中，システム役には与えたツイートを適宜使いながら発話させた. なお，自然な対話を行わせるため，ツイート中の表現を自由に変えたうえで発話に取り入れることを許容した。一方でユーザ役には， Dinan ら [12]に倣い，好奇心旺盛な人という設定でシステム役の話に興味を持って対話を進めるように教示した. システム役とユーザ役の発話の合計が 11 発話以上になると終了ボタンが表示され, 任意のタイミングで双方が対話を終了できる. 対話後には，「チャット ID」を対話収集システムに表示し (図2の(4)), Yahoo!クラウドソーシングタスクに入力させ（図 2 の (5)），ワーカー自身のIDとそのチャット ID が付与された対話を結びつけて対話内容を確認し，ホワイトリストを作成した。

ホワイトリスト作成後は，役割ごとのタスクの所要時間を考慮し，システム役には 300 円，ユーザ役には 225 円報酬として支払った。

## 2.3 基本統計

本研究で構築したコーパスは，極端に不適切な発話をするワーカーを除いた一般のワーカーに依頼して収集した感想付きニュース雑談コーパス v1（v1 と呼ぶ）と，v1 の収集で教示に適切に対応したワー カーのみに依頼を絞り収集した感想付きニュース雑談コーパス v2（v2 と呼ぶ）の二つからなる. 感想付きニュース雑談コーパス v1 と v2 の基本統計情報を表 2 に示す. 表 2 に示す通り，一対話あたりの発話数は平均で 11.3 発話であった. また, 一発話あたりに使用されたツイート数は平均で 2.5 ツイートであった. 今回の収集では, システム役の話者が発話に使用したツイートにチェックを入れて記録したため，ツイートを使用した発話でもチェックをし忘れている場合も観察された. 今後，データを整備する予定である. 今後データを整える必要がある.

## 3 分析：ツイート使用の有効性

本コーパスの特徴の一つは，対話の話題に加えて関連するツイートをシステム役に与えて対話に利用させたことである. この情報を与えたことや対話の進め方が，対話の自然さや盛り上がりに寄与するかどうかを分析した. 具体的には, 表 2 の対話収集のうち一部の対話収集において, 対話終了後にワー カー自身に対話の盛り上がりを評価させた. 結果を図 3 に示す. 1 は「まったく盛り上がらなかった」,
表 2 対話データの基本統計情報.

 &  &  &  \\

$\mathrm{~V} 2$ & 213 & 2395 & 11.2 & 13.0 & 206 & 2.9 \\

ロシステム役による評価ロユーザ役による評価

図 3 対話参加者による盛り上がりの評価.

7 は「とても盛り上がった」を意味しており，数字が大きいほど盛り上がりを感じたことを示している. 図 3 の結果から，中央の評価である 4 点よりも高いスコアに回答が集中していることがわかる.このことから，今後ツイートを使用しなかった場合と比較する必要はあるが，ツイートを利用した今回の対話収集では，話者はある程度の対話の盛り上がりを感じていたことが示唆された。

その一因は表 3 の対話例に表れていると分析した.この対話においては U2 の発話で対話が終わってしまう可能性も十分あったと考えられるが，S3でツイート内容を伝えることで，その後の対話につながっている. 具体的には，ツイートでされている問いかけについてユーザに考えさせることで対話の発展につながった.

このことから，本コーパスを利用して，第三者の感想を適切に用いて応答を生成可能なシステムを構築することで，より盛り上がる対話を実現できる可能性がある.

## 4 おわりに

発話の安全性や倫理面を考慮しながら，感想を含めて対話をする雑談対話システムを実現する方法の一つとして，話題に対する第三者の感想を利用することが考えられる。本稿では，こうしたシステムの構築に有用な対話コーパスとして，対話参加者が表 3 ツイートの使用が有効に働いたと見られる例。

ニュース記事 : 国宝の方丈の屋根裏で「ノミ」見
解体工事が行われている国宝の方丈の屋根高
00 年前のものと見られる大工道具の「ノミ」
かった
ツイート
T5 : 意図的な置き忘れだと思う、多分
T6 : こういう話は好き。興味深い
T7 : わざと置いたってこともあるかも
T8: 職人にとって高価で大切なノミをなぜ」

対話（S: システム役の発話，U：ユーザ役の発話）

S1: [] 保存修理が続く国宝の方丈の屋根裏から、約 400 年前のノミが見つかったそうです。

U2: 400 年前のノミですか? それは素晴らしい発見ですね。

S3: [T8] 職人にとって高価で大切なノミを、なぜ、この場所に置き忘れたんでしょうね。

U4: 確かに。おっちょこちょいな職人さんだったのかあるいは何か意味があるのでしょうか？

S5: [T5,T7] 大工さんが意図的にノミを置き忘れた可能性もありますね。

U6: 仰るように職人さんにとって相当大切なものだと思いますので何か意味があるのかもしれないと勘ぐってしまいました。シンプルに置き忘れの可能性もありますよね。

$
\text { （中略） }
$

U10: 本当に素晴らしいと思います。

S11: [T6] こういう話は好きです。

第三者の感想を組み込んだ対話を行う「感想付きニュース雑談コーパス」を構築した．具体的には，話題となるニュースに対する第三者の感想として， ニュースを引用したツイートを利用させながら人同士の対話を収集した. 本コーパス中の対話を分析した結果，ツイートの利用による感想・意見の表出が，収集した対話の盛り上がりに寄与した可能性があることが示唆された。

今後は，今回構築したコーパスを用いて，雑談において効果的な第三者の感想の選択方法や応答生成への利用方法を分析する. その分析結果をもとに，第三者の感想を適宜利用し対話を盛り上げることのできる雑談対話システムの構築を目指す。

## 謝辞

本研究の対話収集では京都大学・児玉貴志氏のグループが開発された Chat Collection Framework を改変したものを用いています. 本システムの開発者の皆様に深謝いたします。また，Yahoo!クラウドソー シングにクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます. 本研究の一部は JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] 徳久良子, 寺嶌立太. 雑談における発話のやりとりと盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[2] Chenyang Huang, Osmar Zaïane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[4] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761-769, 2010.

[5] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for long-duration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[6] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models. CoRR, Vol. abs/2109.06950, , 2021.

[7] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[8] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リべカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会第 27 回年次大会, pp. 859-863, 2021.

[10] 東中竜一郎. 対話システムと倫理. 人工知能, Vol. 31,
No. 5, pp. 626-627, 2016.

[11] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 話題提供雑談システムにおける感情と意見の表出方法の検討.言語処理学会第 28 回年次大会, pp. 1078-1083, 2022.

[12] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. CoRR, Vol. abs/1811.01241, , 2018.


# ディスプレイ操作記録ツールの提案と有効性の検証

壹岐 太一 1,3* 増本 雄斗 2,3 相澤 彰子 $1,2,3$
1 総合研究大学院大学 2 東京大学大学院 3 国立情報学研究所
}

\{iki,masumoto, aizawa\}@nii.ac.jp
## 概要

パーソナルコンピュータのディスプレイを理解・操作する視覚言語モデルの実現に向けて，環境構築やデータ作成の負担軽減を目的に，ディスプレイ操作を記録し，モデル学習用データに変換するツール RecGUIを提案する。有効性を検証するため，人手で操作した 10 時間分のデータを作成し，学習済み視覚言語モデルに基づくモデルを新たに導入する。 ディスプレイ画像からの行動選択に適用し, ベースラインモデルとの比較から有効性を確認する．今後の課題は, タスクの追加によるツールの完成度向上，並びにモデルのタスク成功率の改善である.

## 1 はじめに

コンピュータのディスプレイを人のように理解・操作する人工知能の探究は, 生活にコンピュータが溶け込んだ現代社会における言語の世界接地を考える上で重要であると同時に，複雑な作業の自動化など産業応用も期待できる有望なテーマである. 近年ではブラウザ $[1,2,3,4,5]$ やゲーム [6,7]，スマートフォン環境 [8] を対象に活発に研究されている.

我々は業務作業の自動化への応用を念頭に，特にパーソナルコンピュータ $(\mathrm{PC})$ のディスプレイ1)に焦点を当てる．PCディスプレイを対象とする研究ではブラウザやゲームエミュレータといった単一の応用ソフトに関する研究と, 複数の応用ソフトに関する研究がありえる. 前者に比べて後者の研究が進んでいない. 主な原因として PCディスプレイ上での操作を記録し学習用データを作る標準的な手法の不足がある. 過去には, 複数のアプリケーションを対象とする強化学習プラットフォーム Open AI Universe [9] が存在したが，現在は廃止されている。本稿では，汎用的な PC ディスプレイの操作技術

図 1 RecGUIを用いた学習用データ作成の流れ. RecGUI は環境構築やデータ作成における煩雑さの軽減，手法の統一による研究間でのデータ共有の促進を目的とする.

の実現に向け，PCディスプレイの操作を記録しモデル学習用データに変換するツール RecGUI (図 1) を提案する2).さらに，提案ツールを用いてモデル学習ができることを確認するため，Web タスクセッ卜 MiniWob [1,2] を人手で操作した 10 時間分の記録から試用データを作成する（§2）また，視覚言語モデル ViLT [10] の微調整 (fine-tuning) によって, ディスプレイ画像のみを環境入力として行動生成するモデルを新たに導入する（§3）．RecGUIで作成したデータを用いてモデルを学習し，実環境でのタスク遂行の成功率において，ランダム選択モデル (ベー スライン)を上回ることを確認した。また，分析により成功できるのは基本的なタスクに限られるとわかった (§4). 成功率の向上が今後の課題である.

## 2 操作記録ツール RecGUI

## 2.1 GUI 操作の記録

操作記録はコンテナ技術に基づく． Linux コンテナの中で xvfb [11]を用いて仮想ディスプレイを立ち上げ，RFB (Remote Frame Buffer) プロトコル [12]

2）ツールおよびデータは以下で公開している. https: //github.com/iki-taichi/rec_gui
表 1 行動の表現. フレームごとに汎用的な行動を 6 変数で表現する. Cursor は最終的なカーソル位置, mouse, key は最後のボタン操作に対応する. event の変数値 none は無操作を表し，そのとき target 変数の值は na とする.

で外部から接続し，操作する．画面はスクリーンショットを一定間隔で取得して記録する。マウス・ キーボード操作は RFB 接続にプロキシを挟みログを記録する ${ }^{3)}$ ．さらに， GUI 上で遂行中のタスクの進捗状況 (タスクの開始や終了，報酬など) を取得し記録する. 取得できる進捗状況はタスクにより異なる. なお，RFB を用いる構成は [9] と同様である.

時間分解能 Intel Core i7-6700 CPU (3.40 GHz，4 コア，8スレッド), 49 GBメモリのマシンで RecGUI を起動して SSDへ記録するとき， $800 \times 600$ px の画面解像度で約 $10 \mathrm{~Hz}(0.1$ 秒間隔）での画面の記録が可能であると確認した. この時，操作ログはさらに小さな時間間隔で記録できた.

## 2.2 記録のモデル学習用データへの変換

操作記録からのモデル学習では，周期が固定された画面の記録と非周期的な操作の記録をどのように統合して学習できる形式にするかが課題である. RecGUI は次に述べる手法を実装している。

変換手法画面の記録周期を基準とし，画面とそれを見た後の行動が並んだ系列を作成する．画面の記録直後から次の記録直前まで (フレームと呼称) の操作記録を集計し，ある画面を見た後の行動とみなす. 行動を表 1 のように6変数で表現する.

高速な操作への対応人の操作を記録する場合, フレーム時間を約 0.1 秒に取れば 1 フレームの操作記録はおおむね 1 つとなるが，複数の操作記録が含まれる場合もある。その対応を述べる。

キー操作においては，行動をより前のフレームに移動することで解消する。その理由は行動を間引くと画面と操作の対応が崩れる可能性がある点，行動

図 2 Web タスクベンチマーク MiniWoB [1,2] のタスク画面. 全タスクで上部に指示文が示される. Search ボタンの押下などでタスクが完了し，正誤によらず次のタスクに移動する．クリックやドラッグ，テキスト入力などの単純なものから，メールの受信ボックス風の UI やフライ卜予約画面の操作まで幅広く収録されている。

を後のフレームに移動するとキー操作に伴う画面変化という因果関係が失われる点の 2 点である.

マウスのボタン操作においては，ホイールの回転が問題になりやすい。これは RFB がホイールの回転を複数のクリックとみなすためである。本研究では double_clickと triple_clickを行動として導入することで対応する.この対応で対処できない高速な操作はキー操作と同様に前のフレームに移動する.

## 2.3 学習用データの準備

RecGUIを用いた操作の記録と学習用データの作成を実際に試みた，画面解像度は $800 \times 600 \mathrm{px}$ ，記録周期は $10 \mathrm{~Hz}$ とした. MiniWoB (図 2)を仮想ディスプレイ内の google-chrome ブラウザに読み込んでタスクとして使用した. オリジナルの画面サイズ $(160 \times 210)$ では指示文が小さいため，本研究では 2 倍に拡大して使用した。操作者 (著者の一人) が 6 分間のセッション4)を 100 回行って 10 時間分の記録を得た. 100 セッションで 4,704 タスクに取り組み,成功数は 4,525であった. なお，操作者は MiniWob のタスク内容について事前に十分に知っていた。

## 3 ベースラインモデル

## 3.1 前提とするモデル: ViLT

ViLT は Kim らが提案したテキストと画像を入力とする Transformer [13] エンコーダー型の視覚言語モデルである。事前学習済みの視覚モデル ViT [14] を初期値とし，複数の画像キャプションデータセットを用いて視覚言語について訓練されている。訓練の目的関数はテキストの穴埋めタスク (MLM;

4） セッションではタスクがランダムに表示され，回答する度に次のタスクへと移動する。付録 A でさらに詳しく述べる。

Masked Language Modeling) とテキストと画像の一致判定 (ITM; Image Text Matching) である.ViLT はパッチに分割した画像の画素配列を線形層で埋め込みに変換して直接 Transformerに入力する. 物体認識モデルや他の視覚モデルを使用するモデル $[15,16]$ に比べて，高速に動作するとともに，スクリーンショットのような非写実的な画像への微調整が容易なため本研究に適する。

## 3.2 提案するモデル: ActionViLT

行動生成を離散時間間隔 (ステップ) ごとの行動選択と捉えることで ViLTを応用する. 各ステップでスクリーンショット画像と過去 N ステップの行動履歴を入力し，その出力から次の行動を選択する。

入出カスクリーンショット画像は画素情報として入力する. ViLT の実装に合わせた前処理を施す.行動はテキストとして入出力する. テンプレートを導入し, 表 1 で定義した 1 フレームの行動をテキスト表現に変換する：

position : $\{\mathrm{x}\}\{\mathrm{y}\}$; mouse : \{mouse_event $\}$

\{mouse_target $\} ;$ key : $\{$ key_event $\}$ \{key_target $\}$ \{と\}で囲まれたスロットは行動の変数に対応し， スロット値は表 1 の値から選択する ${ }^{5)}$. 過去 $\mathrm{N}$ ステップの行動それぞれをテキスト表現に変換し，新しい時間の行動が先に来るようソートした上で連結して行動履歴のテキストを得る。さらに，MLM タスクを用いて次の行動を予想するために，行動履歴テキストの先頭に各スロットを [MASK] で埋めたテキストを連結して最終的なテキスト入力とする。 [MASK] に関する各語彙の尤度を計算し, 対応する行動変数の値に関する尤度として出力する。

操作記録を用いた微調整微調整では MLMを目的関数として用いる. 通常 MLM では入力テキストのうちランダムなトークンをマスクする $[10,17]$ が，本研究では入出力で述べた「次の行動」の部分のマスクを固定で学習する。

実環境に接続しての推論まず，入出力で述べた方法で「次の行動」の各変数に関する尤度を計算する. 次に，確率的なサンプリングを用いて尤度から行動を選択する. 各変数の確率分布の計算では, ViLT の全語彙に関する尤度の出力から各変数に関係する語彙の部分だけを取り出し, 温度パラメータ $T$ で割った後 softmax 関数を適用する。

図 3 微調整において入力行動履歴数 $N$ が性能に与える影響. 無操作 MCC は無操作か否かの 2 值分類に関するマシューズ相関係数を示す. 評価值は異なるランダムシー ドで 3 個のモデルを学習し平均した値である.

表 2 タスク遂行での温度の影響. ランダム選択（温度非依存) $, N=0,14,16$ のモデルで特定シードの 10 セッションを行い，取り組んだタスク数と成功数を合計した。正答率 (取り組んだタスク数)

## 4 実験

ViLT の微調整を行い, 得られたモデルを使って実環境におけるタスク遂行を評価する。タスク遂行では， ベースラインとして行動変数の可能な語彙から一様ランダムに選択するモデル (付録 C)を用いる.

## 4.1 学習用データを用いた微調整

教師データ 2.3 節で述べた MiniWob [1] の操作データ 100 ファイルを学習，検証，テスト用に 8： $1: 1$ に分割し，それぞれのファイルからタスクに失敗した部分を除外して用いる。分割に含まれる画面と次の行動の対の数はそれぞれ 255,866, 33,293, 34,152である. ただし，学習・検証用分割では，無操作の学習を抑制するため, 前の行動と同一の行動の対6)を除いた 130,809 対，17,126 対を用いる.

学習条件 Transformers [18] ライブラリを使い事前学習済みの ViLT モデル7)を微調整する．画

表 3 タスク遂行におけるタスク別の性能. () 内の数は取り組んだタスク数を表す. 数値は 1 セクションの結果である. タスク概要は次の通り：(1) 画面中心のボタンをクリックする。 (2) 文章中の特定の単語をクリックする。 (3) パネルを指定の方向にドラッグする。(4) 特定ボタンをクリックする。(5) 簡単な計算の結果を入力し，ボタンを押す. (6) 指定された単語を入力し，ボタンを押す.(7) 指定されたテキストをコピーして入力する．(8)メニューボタンを押して，表示されたボタンをクリックする. (9) 指定された時刻を入力し，ボタンを押す.

像は，ViLTの実装に従い 480×384 px にリサイズし，各画素値を [-1,1]の範囲に標準化する.

Warmup_ratio=0.1, 学習率=5e-5 の下で, ADAM [19] を用いて 5 エポック最適化する. 入力する行動履歴の数 $N$ の值を変えて学習し，影響を調べる。学習, タスク遂行ともに NVIDIA A100 GPUを用いる。

評価指標テストデータとモデルの予想を比較する. カーソル座標の誤差, ボタン操作 (mouse_event, mouse_target, key_event, key_target）についての無操作（none，na）か否かの 2 值分類に関するマシュー ズ相関係数，無操作を除いた一致率を用いる。なお，マシューズ相関係数を用いるのはボタン操作における無操作の割合が $95 \%$ 程度と高いためである。

結果図 3 に結果を示す. 入力する行動履歴の数 $N$ の増加に伴って, ボタン操作に関する性能（マシューズ相関係数，一致率）は上昇した. ボタン操作では次の行動の予想に履歴が役立つ. 一方で, カーソル座標の誤差は $N$ の増加に伴って悪化した.両者のバランスが取れた $N$ の選択は課題である.

## 4.2 実環境におけるタスク遂行

今回はボタン操作とカーソル座標の性能が安定している $N=10,14,16$ のモデルを用いる. 行動のサンプリング温度 $T$ を 0.0 から 1.0 まで変えて影響を確認し, 最適な温度 $T$ の下でタスクの種類別に成功率を分析する. タスクには一回の操作で成功となる基本タスク 4 種類と 2 回の操作が必要な発展タスク 5 種を用いる. タスク概要を付録 Cに掲載する。モデルはセッション開始後, 初画面の start ボタンが押された状態から，人と同じ条件でタスクを遂行する. セッションの制限時間を 360 秒とし, 取り組んだタスクの数と成功したタスクの数を計測する.

結果 1.サンプリングにおける温度 $T$ の影響

まず，NVIDIA A100 GPU を用いた今回の実験では，
モデルは記録時と同じ $10 \mathrm{~Hz}$ で動作した．次に，表 2 に温度による性能変化を示す. 温度が低いとき，モデルはほとんど動かず，タスクを進められなかった. 温度が高まるにつれて, 取り組んだタスク・正答率が増加した. ただし, 正答率は 0.2 程度で頭打ちとなった。適切な温度下では，モデル成功率は一様ランダムモデルを上回ることから，RecGUI で作成したデータによる学習の有効性が確認できた.

## 結果 2. タスクの種類による性能の違い

表 3 にスコアを示す. 温度は表 2 から正答率が最も高いものと, 取り組んだタスク数が 100 超えた物の中で正答率が最も高いものを選んだ。基本タスクの成功率は，ボタンやリンクを押す $(1,2,4)$ では高かったが，ドラッグ操作を含む (3) では芳しくなかった. タスクが進行することからドラッグ操作はできるものの，指示文が理解できないと推測される. 応用タスクでは，テキスト入力を必要とする $(5,6,7,9)$ の成功率が特に低く, キーボード操作に改良の余地があると示唆される. 最後に, 結果 1 で述べた高温での正解率の頭打ちは, 基本的なタスクの所要時間が短縮するが，解けるタスクの種類は変わらないことを示していると考えられる。

## 5 おわりに

PC ディスプレイの操作記録・モデル学習用デー タへの変換を行うツール RecGUI を提案した., ツー ルで作成したデータで学習したモデルが, 実環境でのタスク遂行において，ランダム選択モデルより優れることを確認した. ツールの展望は複数応用ソフトを操作する単一モデルの研究に向けたタスクの追加である. モデルの課題はタスク成功率の向上である. 提案モデルは画像中のテキストの理解が不十分であると推測される．画素値から言語理解するモデル [20]を用いるなど改良を進めたい.

## 謝辞

本研究の一部は JSPS 科研費 21 H03502、JST 次世代研究者挑戦的研究プログラム JPMJSP2104、および 2022 年度国立情報学研究所 CRIS 委託研究の助成を受けたものです.

## 参考文献

[1] Tianlin Shi, Andrej Karpathy, Linxi Fan, Jonathan Hernandez, and Percy Liang. World of bits: An open-domain platform for web-based agents. In ICML 2017, pp. 31353144, 2017.

[2] Evan Zheran Liu, Kelvin Guu, Panupong Pasupat, Tianlin Shi, and Percy Liang. Reinforcement learning on web interfaces using workflow-guided exploration. In ICLR 2018, 2018.

[3] Peter C Humphreys, David Raposo, Tobias Pohlen, Gregory Thornton, Rachita Chhaparia, Alistair Muldal, Josh Abramson, Petko Georgiev, Adam Santoro, and Timothy Lillicrap. A data-driven approach for learning to control computers. In ICML 2022, pp. 9466-9482, 2022.

[4] Taichi Iki and Akiko Aizawa. Do berts learn to use browser user interface? exploring multi-step tasks with unified vision-and-language berts. arXiv preprint arXiv:2203.07828, 2022

[5] Shunyu Yao, Howard Chen, John Yang, and Karthik R Narasimhan. Webshop: Towards scalable real-world web interaction with grounded language agents. In NeurIPS 2022.

[6] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602, 2013.

[7] Bowen Baker, Ilge Akkaya, Peter Zhokov, Joost Huizinga, Jie Tang, Adrien Ecoffet, Brandon Houghton, Raul Sampedro, and Jeff Clune. Video pretraining (vpt): Learning to act by watching unlabeled online videos. In NeurIPS 2022, 2022.

[8] Daniel Toyama, Philippe Hamel, Anita Gergely, Gheorghe Comanici, Amelia Glaese, Zafarali Ahmed, Tyler Jackson, Shibl Mourad, and Doina Precup. Androidenv: a reinforcement learning platform for android. arXiv preprint arXiv:2105.13231, 2021

[9] OpenAI. Openai universe. https://openai .com/blog/ universe/ (2023-01-04 確認), 2016.

[10] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[11] David P. Wiggins. Xvfb. https://www.x.org/ releases/X11R7.6/doc/man/man1/Xvfb.1.xhtml (2023-01-03 確認).

[12] Tristan Richardson and John Levine. The remote framebuffer protocol. https://www.rfc-editor.org/rfc/ rfc6143 (2023-01-03 確認), 2011.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS 2017, 2017.

[14] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR 2020, 2020.

[15] Yen-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. Uniter: Universal image-text representation learning. In ECCV 2020, pp. 104-120, 2020.

[16] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. arXiv preprint arXiv:2004.00849, 2020.

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In EMNLP 2020: system demonstrations, pp. 3845, 2020.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

[20] Geewook Kim, Teakgyu Hong, Moonbin Yim, JeongYeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, and Seunghyun Park. Ocrfree document understanding transformer. In ECCV 2022, pp. 498-517, 2022.

(1) 画面中心のボタンをクリックする。
(2) 文章中の特定の単語をクリックする

(3) パネルを指定の方向にドラッグする.

(4) 特定ボタンをクリックする。

図 4 基本タスク. MiniWoB [1,2] の click-test, click-link, drag-items, click-color を使用.

Submit

## Copy the text from the 2 nd text text input, then press Submit.

Submit

(5) 簡単な計算の結果を入力し，ボタンを押す.

(6) 指定された単語を入力し，ボタンを押す。
(7) 指定されたテキストをコピーして入力する.

(8) メニューボタンを押して，表示されたボタンをクリックする。

（9）指定された時刻を入力し，ボタンを押す。

図 5 発展タスク. MiniWoB [1,2] の simple-arithmetic, enter-text, copy-paste-2, click-menu-2, enter-time を使用.

## A タスクセッションの補足

使用タスク MiniWobの全タスク ${ }^{8)}$ から，flight search タスク，debug タスク，（表示の遅延を解消した）nodelay 版が存在するタスクを除いた 93 タスクを使用した. 各タスクは乱数で内容 (ボタンの位置など）が変化する．タスクは共通の start 画面から始まる. Start 画面をクリックすると画面が移り，特定の操作（submit のクリックなど）でタスクが終わる. タスク画面右の報酬等のメタ情報は非表示とした. タスクごとの制限時間は設定しなかった.

セッション RecGUI に接続すると welcome ペー ジが表示される. そのページの start ボタンを押すとセッションが開始し， 1 種類の MiniWob タスクがランダムに表示される。 タスク終了後，次のタスクがランダムに表示される。これを制限時間（360秒） まで繰り返す. 特に断りがない場合，セッションごとにランダムシードを変えて用いた。

## B ActionViLT の補足

位置埋め込みの延長 ViLT が用意する位置埋め込みは 40 トークン分である. 行動のテキスト表現

8) https://farama-foundation.github.io/ miniwob-plusplus/
は 15 トークン/行動のため $\mathrm{N}$ が 2 以上のとき不足する.その場合は，位置埋め込みを線形補完して入力に十分な数に延長してから微調整を行う。

語彙簡素化のため，行動の表現に用いる語彙は学習済み ViLTの 1 トークンになるよう調整した。まず，Cursorに関して述べる。ViLT の語彙では自然数は 1 から 341 まで連続していた。画面解像度を網羅しないため，画面の縮尺を水平・垂直それぞれ 250 に換算し，その範囲の整数を語彙とした. mouse_event に関しては $\{$ double，triple\}_click を $\{$ double， triple\} とした. mouse_target に関しては scroll_\{up, down \}を $\{$ up, down \}とした.また，デー タに現れなかった scroll_\{left，right \} は定義していない. key_targetに関しては backspace をbsとした。

## C 実環境におけるタスク遂行

一様ランダム選択モデル行動変数の可能な語彙から一様ランダムに選択する。ただし， ctrl キーと他のキーの組み合わせで，進行が困難になる場合 (画面が変わるなど) が多かったため，ctrl キーが押されている間はキー押下は $\mathrm{c}, \mathrm{x} ， \mathrm{v}$ を，マウスボタンの押下，クリック，ダブルクリック，トリプルクリックは left，right のみを許可した。

タスク別評価画面例を図 5，図 4 に示す。


# 大規模言語モデルの活用による効率的なロボット制御の学習

高城 頌太 ${ }^{1}$ 谷口 尚平 ${ }^{1}$ 中野 聡大 ${ }^{1}$
上田 亮 1 松尾 豊 1 谷中 瞳 1
1 東京大学
\{takashiro, taniguchi, nakano.akihiro, matsuo\}@weblab.t.u-tokyo.ac.jp
\{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

GPT-3 や ChatGPT に代表される大規模言語モデルは，様々なタスクで汎用的に高い性能を示し，自然言語処理のみならず様々な領域での応用が広がっている. 本稿では，大規模言語モデルをロボット制御の模倣学習に活用し, その学習効率やサンプル効率の向上への寄与について検証を行う．実験では， RLBench というべンチマークデータセットを用い $\tau$ ，提案手法の有効性を検証する，具体的には，単腕ロボットがモノをゴミ箱に捨てるというタスクをデモンストレーションデータから模倣学習する際に，大規模言語モデルへのプロンプティングを活用して，タスクを解く手順を説明するテキストを生成し，それを補助情報として用いることで，学習効率の向上を図る。

## 1 はじめに

GPT-3 [1] に代表される大規模言語モデルの登場により，自然言語処理の様々なタスク（機械翻訳，質問応答，コードの自動生成・補完 [2]など）を高精度に解くことが可能になりつつある [3]. 特に，昨年秋に公開された ChatGPT [4] はチャット形式のインターフェースと高精度な文章生成性能をもつことから，世界的に注目を集めたことは記憶に新しい。 また，こうした大規模言語モデルの活用は，自然言語処理のみに留まらず，様々な領域まで広がり始めている.近年は，ロボット制御の文脈でも，大規模言語モデルを活用する研究が行われ始めている $[5,6]$. ロボット制御において，大規模言語モデルの活用が注目されている背景として, 強化学習や模倣学習に代表される機械学習ベースのロボット制御のサンプル効率の悪さが挙げられる [7]. インターネット上から大量の学習データを収集することが容易な画像や自然言語などの領域と異なり，ロボット制御はデー タを収集するコストが高く，効率よく学習する方法論の確立が重要である．高い汎用性をもつ大規模言語モデルの活用は，このようなロボット学習の課題を解決する糸口になりうると考えられる。例えば，床に落ちているモノを掴んでゴミ箱に捨てるというタスクを単腕ロボットに学習させることを考えた場合，ロボットは(1) モノにロボットハンドを近づけて，(2)グリッパーを操作してモノを把持し，(3) 八ンドをゴミ箱の上に移動させて (4) グリッパーを開いてモノをゴミ箱の中に落とす，という多段階の操作をデータから学習する必要がある。このような段階的な操作の必要性は，人間であれば常識的に持ち合わせている知識であるが，事前知識を持たない口ボットはこれを一から学習することが要求され，大量のデータと学習時間が必要となってしまう。一方で，大規模言語モデルは，ウェブ上の大量のテキストデータから学習されており，人間が持ち合わせている常識的な知識に関する質問にも非常に精度よく回答できることが知られている $[1,8]$. 特に，大規模言語モデルに対して，タスクの説明や少数の正解例を与えることで，新しいタスクへ適応させるテクニックはプロンプティングと呼ばれ，その有効性が翻訳や文書要約などの様々なタスクで検証されている [3]. そこで，前述のようなロボットにとって複雑なタスクを解くための手順（以下，処理指示文と呼ぶ）を，大規模言語モデルへのプロンプティングを通して獲得し，それを補助情報としてロボットの制御モデルに与えてやることで，学習を促進することが期待できる。

本稿では，このような大規模言語モデルへのプロンプティングを活用したロボット学習の手法を提案し，その有効性を検証する．具体的には，前述のようなモノをゴミ箱に捨てるタスクをデモンストレー ションデータからの模倣学習によって学習する際

(a) モデル

(b) データセット

図 1: (a) 提案手法の概念図. 提案手法では，HiveFormer におけるテキスト入力として，タスクの説明文の代わりに，ChatGPTへのプロンプティングの結果得られるタスクを解く手順の説明文を用いる。 (b) RLBench データセットの PutRubbishInBin タスクのエピソード例. いずれのエピソードも 1 つのゴミ箱，1つのゴミ， 2 つの無関係なオブジェクトから構成される. 配置されるオブジェクトの形状はエピソード間で共通であり，初期の位置関係のみランダムで変化する問題設定である.

に，タスクを解く手順を ChatGPTへのプロンプティングによって獲得し，それをロボットの行動を決定する方策モデルへ補助情報として入力する手法を提案する。実験では，RLBench [9] というシミュレー タ環境でのロボット制御のベンチマークを利用し,学習過程におけるタスクの成功率の推移や, データ効率を従来手法と比較する形で，提案手法の有効性を検証する。

## 2 関連研究

深層学習を用いたロボット制御モデルを学習させる上で，十分な学習データを収集するコストは高い。そのため，より効率の良い学習方法に関して様々な研究が行われている [7]. とりわけ, 複数ステップを要する構成的なタスクにおいて効率的な学習手法の開発は重要である. 構成的なタスクの例として，例えば，家具を組み立てるタスク [10] や積み木を積み上げるタスク $[11,12]$ がある．このようなタスクは，制御モデルを学習する上で特に難しいことが知られており，汎用的な方法論は未だに確立されていない.

一方で，深層学習において言語モデルは，GPT モデルの進展 $[13,14,1,4]$ からも分かるように，デー タセットのサイズとモデルのパラメータをスケールさせることで，より汎用性のあるモデルへと発展してきた. 近年では， GPT-3 [1]をはじめとした大規模言語モデルについて，プロンプティングを行うことで新しいタスクに少ないデータのみで適応できることが検証されている [3]. 検証を通じて，大規模言語モデルは，人間が持ち合わせている一般常識を獲得し，順序立てた手続的な推論も行うことが可能であることが報告されている $[6,15]$.

模倣学習や強化学習などを用いた学習べースのロボット制御においても，画像情報に加えてこうした大規模言語モデルによる観測やタスクに関する言語情報を入力として取り入れることで，性能向上を図る手法が注目を集めている $[5,6,16,17]$. GPT-3のような大規模言語モデルがロボット学習に寄与できる要素としては，学習効率や汎化性能の向上が挙げられる. 人間の一般常識に相当するような知識を持ち合わせる大規模言語モデルからその知識を引き出すことで，新しいタスクを素早く学習し，適応できることが期待できる．しかし，現状では，ロボット学習における大規模言語モデルの活用は，物体の説明文生成のような比較的単純な補助情報の付与のみに留まっており，制御の方策自体を直接ガイドするような枠組みは確立されていない。本稿では，そのような枠組みの確立の第一歩として，デモンストレー ションデータをもとに制御方策を学習する枠組みである模倣学習 $[18,19]$ において，大規模言語モデルを活用して制御モデルの方策を補助する枠組みに関して検討する.

## 3 手法

本稿では，Transformer [20] をべースとした模倣学習手法である HiveFormer [21] をべースラインとして採用する. HiveFormerでは，各時刻における複数視点からの画像とタスクの説明文を，それぞれ U-Net（セグメンテーションを行うのに一般的に使われる畳み込みニューラルネットワーク） [22] と

CLIP（ウェブ上の大量のデータを用いて画像とテキストが対応するように学習させたモデル） [23] の言語エンコーダに入力して，特徴抽出を行い，それらを Transformer に入力して，その出力を再び別の U-Net に入力することで，最終的な行動（グリッパーの位置・回転・状態の制御値）を出力する．長期的なステップ数にわたる行動の予測が必要となるが， keyframe discovery [24]を適用することで，取る行動が大きく変化する時刻を特定し，よりマクロなステップでの予測が可能となっている.

提案手法では, 図 1aのように, HiveFormerに与えるタスクの説明文の代わりに，大規模言語モデルへのプロンプティングを通して得られた，処理指示文 （タスクを解く手順についての説明文）をテキストの入力として与えることで，モデルの学習を促進することを目的とする。本稿では，大規模言語モデルとして, ChatGPT [4]を用いて検証を行う. 図 2 は, ChatGPTへのプロンプティングとその結果の例である.このように，段階的な操作が必要なタスクにおいて, ChatGPT へ適切なプロンプトを与えることで，具体的な手順を説明したテキストを引き出し，制御モデルの学習効率を高めることが期待できる.

## 4 実験

本実験では，大規模言語モデルから生成された処理指示文 (タスクの解き方) によって，どの程度口ボット制御の学習が効率化するかについて実験を行う。具体的には，ロボット制御タスクにおいて， ChatGPT からの処理指示文がありなしの場合を比較してどれほど学習が効率化されたかを比較する。

## 4.1 シミュレーション環境とデータセット

ロボット制御のシミュレーション環境としては，図 $1 \mathrm{~b}$ に示す RLBench データセットの PutRubbishInBin タスクを用いた. RLBench データセットは7次元の自由度を持つ manipulatorを用いた 100 種類のロボット制御タスクを含んだベンチマー クである. 7 次元の自由度は, manipulator のグリッパーの位置を表す 3 次元と，その回転を表す 4 次元ベクトルを指す. PutRubbishInBin タスクはロボット制御タスクの一つであり, 複数の物体からゴミを特定しゴミ箱に入れるタスクである.

本手法では模倣学習を用いるため，エキスパートによるデモンストレーションデータが必要となる. そのため, 100 エピソード分のエキスパートデータ
What are the 4 steps for the robotic arm to place the rubbish in the bin? The instructions must be short, informative, and concise. Please give me the coordinates of where to move it. Coordinates are given by $(\mathrm{x}, \mathrm{y}, \mathrm{z})$.

State: bin $(0.10,0.21,0.85)$, rubbish $(0.23,-0.30,0.77)$, tomato 1 $(0.22,-0.15,0.78)$, tomato2 $(0.16,-0.02,0.78)$

Instruction:

1. Move the robotic arm to the position of the rubbish: $(0.23$, $-0.30,0.77$ )

2. Grip the rubbish with the gripper on the robotic arm.

3. Move the robotic arm to the position of the bin: $(0.10,0.21$, 0.85 )

4. Release the grip on the rubbish.

図 2: ChatGPTへ与えるプロンプト（黒字）と生成された処理指示文（青字）の例.

を作成し，模倣学習に用いた。

## 4.2 大規模言語モデルに与えるプロンプト

ChatGPT は，これまでの GPT-3 などのモデルとは異なり，対話型のインタフェースを介して大規模言語モデルと「会話」することが可能である. 会話のスタイルとして, 質問応答やロールプレイなどの方法も可能だが，今回は，文章補完の形でプロンプティングを行った.

プロンプト文としては様々な文章が考えられるが，Hiveformer の入力として用いるにあたって，(1)処理指示に関する情報のみ生成されること，(2) 生成されるステップ数が固定であること，(3) 各処理指示の文章が冗長でないこと, (4) 実際の現在の状況に対応する処理指示が生成されること，の4つが求められると考えた. 例えば，付録の図 4 に示すように，プロンプト文の情報が不十分だと生成される処理指示文は曖昧かつ冗長になることがある。したがって，これらの要件を満たすようにプロンプト文を指定することで, Hiveformer の入力に適した処理指示文を生成した. 特に，ステップ数は Hiveformer のマクロステップ数と一致させることで画像情報と言語情報がより対応づけられる形で学習が進むように図った.また，エピソードの初期状態をテキストとして表すことで，エピソードに対応した手順の生成を促した. 実際に使用したプロンプトと ChatGPT を通して得られた結果の例を図 2 に示す.

## 4.3 実験設定

本実験では，ベースラインとして HiveFormer [21] を用いた. HiveFormer はカメラからの RGB 画像と，距離センサからの Depth 情報（RGBD），そしてタス

(a) タスクの成功率

(b) アームの位置に関する指標

(c) アームの回転に関する指標

図 3: 学習中の評価指標とタスクの成功率に関する図. 成功率は 30 エピソード中の成功割合. 評価指標は予測値と真の値の誤差がある一定の閾值以下の時に 1 , それ以外は 0 として各イテレーションで平均を取っている.

ク自体の説明文を入力として模倣学習を行うマルチタスク学習のフレームワークであるが，本実験では 1つのタスクのみを解くシングルタスク学習として用いる。また, Hiveformerではタスク自体の説明文 (“Put rubbish in bin.”)を与えているが，本実験では， ChatGPT を用いて生成された処理指示文を与える.

よって, HiveFormerの入力として，

1. RGBD とタスクの説明文を与えた場合 (baseline)

2. RGBD とエピソード毎で固定の指示文を与えた場合 (with fixed instruction)

3. RGBD とエピソード毎で物体の位置によって変化する指示文を与えた場合 (with variable instruction)

の 3 種類を用いて ChatGPT の出力する処理指示文の有効性を検証した。各実験設定における入力文章は, 付録の図 5 に示すように, baseline, fixed instruction, variable instruction の順により具体的な指示になっている.

また, 手法の評価方法としては (1) タスクの成功率の推移,(2) 学習の収束の速さの 2 点を評価した.

## 4.4 結果

図 3aに学習中のタスクの成功率を示す、横軸が学習のイテレーション回数, 縦軸が成功率を示している. 図より，タスクの指示文が具体的になるにつれて, 少ない学習回数で高い成功率を達成していることがわかる.

また, 図 $3 b, 3 c$ に, 各手法における評価指標の値を示している. 図より，ロボットアームの位置に関する指標は各手法で差は見られなかったが，ロボットアームの回転に関する指標では，タスクの指示文
が具体的になるにつれて高い値を示しており，より学習効率が向上しているといえる.

## 4.5 考察

本実験から，提案手法のアプローチは，段階的な手順が必要なタスクにおいて，学習効率の向上に寄与することが確認できた。一方で，エピソードによらず固定のタスク説明文を加えた場合との比較においては，改善の幅は比較的小さい結果となった. この結果から, 制御モデルの学習においては, 物体の位置などのような各エピソードに固有の情報よりも，タスク内で共通する一般的な操作に関する情報が，より学習効率を向上させる上での補助情報として有効に機能しているのではないかと考えられる. また，提案手法が，特にグリッパーの回転角の操作に関して，大きく性能が改善した点については，ChatGPT によるタスクの処理指示文によって， グリッパーの位置の操作に関する補助情報が得られたために，処理指示文にない回転角の制御についての学習が促進されたのではないかと考察できる.

## 5 おわりに

本稿では，深層学習を用いたロボット制御におい $\tau$, ChatGPTへのプロンプティングによって得た言語情報を補助情報として与えた場合の学習効率への影響について実験を行った. RLBench データセットの PutRubbishInBin タスクを用いた実験結果から，言語モデルによるタスクの手順説明は，制御モデルの学習効率の向上に寄与することが確認できた. 今後は，別のタスクにおける実験を加えることで，提案手法の汎用性に関する検証をさらに進めていく。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の助成を受けたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[3] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint arXiv:2107.13586, 2021.

[4] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai.com/blog/chatgpt.

[5] Dhruv Shah, Blazej Osinski, Brian Ichter, and Sergey Levine. Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action. 2022.

[6] Allen Z Ren, Bharat Govil, Tsung-Yen Yang, Karthik R Narasimhan, and Anirudha Majumdar. Leveraging language for accelerated learning of tool manipulation. In Workshop on Language and Robotics at CoRL 2022.

[7] Oliver Kroemer, Scott Niekum, and George Konidaris. A review of robot learning for manipulation: Challenges, representations, and algorithms. The Journal of Machine Learning Research, Vol. 22, No. 1, pp. 13951476, 2021.

[8] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

[9] Stephen James, Zicong Ma, David Rovick Arrojo, and Andrew J. Davison. Rlbench: The robot learning benchmark $\&$ learning environment. IEEE Robotics and Automation Letters, 2020.

[10] Youngwoon Lee, Edward S Hu, and Joseph J Lim. Ikea furniture assembly environment for long-horizon complex manipulation tasks. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 63436349. IEEE, 2021.

[11] Jungtaek Kim, Hyunsoo Chung, Jinhwi Lee, Minsu Cho, and Jaesik Park. Combinatorial 3d shape generation via sequential assembly. arXiv preprint arXiv:2004.07414, 2020.

[12] Seyed Kamyar Seyed Ghasemipour, Satoshi Kataoka, Byron David, Daniel Freeman, Shixiang Shane Gu, and Igor Mordatch. Blocks assemble! learning to assemble with large-scale structured reinforcement learning. In International Conference on Machine Learning, pp. 74357469. PMLR, 2022.

[13] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[14] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[15] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. arXiv preprint arXiv:2205.11916, 2022.

[16] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, et al. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691, 2022.

[17] Oier Mees, Jessica Borja-Diaz, and Wolfram Burgard. Grounding language with visual affordances over unstructured data. arXiv preprint arXiv:2210.01911, 2022.

[18] Faraz Torabi, Garrett Warnell, and Peter Stone. Behavioral cloning from observation. In IJCAI, 2018.

[19] Corey Lynch, Mohi Khansari, Ted Xiao, Vikash Kumar, Jonathan Tompson, Sergey Levine, and Pierre Sermanet. Learning latent plans from play. In Conference on robot learning, pp. 1113-1132. PMLR, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[21] Pierre-Louis Guhur, Shizhe Chen, Ricardo Garcia, Makarand Tapaswi, Ivan Laptev, and Cordelia Schmid. Instruction-driven history-aware policies for robotic manipulations. In CoRL (oral), 2022.

[22] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[24] Stephen James and Andrew J Davison. Q-attention: Enabling efficient learning for vision-based robotic manipulation. IEEE Robotics and Automation Letters, Vol. 7, No. 2, pp. 1612-1619, 2022.

## A ChatGPT を用いたプロンプティ ング例

ChatGPT を用いたプロンプティングを行うにあたって，プロンプト文に十分な情報が含まれていない場合，生成される手順が冗長になる傾向があることが確認された. 例えば，図 4 では，「ロボットアー ムを用いて 4 ステップでゴミをゴミ箱に入れる方法は何か」と聞いており, 実際に生成された手順は図 2 と類似している. しかし，各ステップにおける文に不要な情報 (“This can be done by...”) が含まれてしまっている.

What are the 4 steps to put the rubbish in the bin using an robotic arm?

Instructions:

1. Position the robotic arm in front of the bin: The first step is to move the robotic arm so that it is in front of the bin and in the correct position to pick up the rubbish. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

2. Grab the rubbish: The next step is to use the robotic arm's gripper or other end effector to pick up the rubbish. This can be done by closing the gripper around the rubbish or by using a vacuum system to suck it up.

3. Move the arm to the bin: Once the rubbish has been picked up, the robotic arm needs to be moved over to the bin. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

4. Deposit the rubbish in the bin: The final step is to deposit the rubbish in the bin. This can be done by releasing the gripper or vacuum, allowing the rubbish to fall into the bin. It can also be done by using the robotic arm to place the rubbish carefully in the bin. Once the rubbish has been placed in the bin, the robotic arm can return to its starting position and wait for the next command.

図 4: 不十分なプロンプトを用いたときの, ChatGPT へ与えるプロンプト（黒字）と生成された手順（青字）の例.

## B 各手法における実際の入力文章例の比較 \\ 本実験では 3 つの実験設定を用いて有効性を検証した。各手法において，実際に Hiveformer に入力 した文章例を図 5 に示す. 図より， baseline, fixed instruction, variable instruction $の$ 順に具体的な指示に なっていることが読み取れる。
[baseline]
pick up the rubbish and leave it in the trash can.
[with fixed instruction]
1. Position the arm above the rubbish.
2. Use the arm's gripper to pick up the rubbish.
3. Move the arm to the bin.
4. Release the rubbish into the bin by opening the gripper.
[with variable instruction]
1. Move the robotic arm to the position of the rubbish: $(0.23,-0.30,0.77)$
2. Grip the rubbish with the gripper on the robotic arm.
3. Move the robotic arm to the position of the bin: $(0.10$, $0.21,0.85$ )
4. Release the grip on the rubbish.

図 5: 各実験設定 (baseline, with fixed instruction, with variable instruction) における入力文章例.


# ARKitSceneRefer: 3D 屋内シーンでの参照表現による 小物の位置特定

加藤駿弥 ${ }^{1}$ 栗田 修平 ${ }^{2}$ Chenhui Chu $^{1}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学大学院情報学研究科 2 理化学研究所 AIP
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp shuhei.kurita@riken.jp

## 概要

3D 参照表現理解は 3D シーン上でテキストが表す物体の位置を特定するタスクである。しかし，既存の屋内 3D 参照表現理解データセットは主にサイズが大きく，容易に位置特定できる物体を対象としており，ほとんど小物を扱っていなかった. そこで我々は多様で高解像度な ARKitScenes を基とし，ARKitSceneReferを構築する. ARKitSceneRefer は 1,615 シーン中の，32,300 の屋内で使用する小物から構成され，それぞれ参照表現がアノテーションされている. さらに 2D と 3D の state-of-the-art モデルを用いて実験を行い，その結果，ARKitSceneRefer は挑戦的なタスク設定であることを報告する.

## 1 はじめに

3D 参照表現理解は 3D シーンを理解する上で重要なタスクであり，物探しロボットなどへの応用が期待される. 代表的な 3D 参照表現理解データセットに ScanRefer [1], ReferIt3D [2] が挙げられる。これらのデータセットは机，椅子，ソファーのような屋内の家具クラスなど，比較的に大きい物体を対象にクラスカテゴリが付与されている。しかし，家事などの応用を想定すると，より小さな物体を扱うことが多いと考えられる．例えば，物探しロボットに机の捜索を依頼する人はいない。また料理ロボットは食材や包丁などを扱うことが必要である.

そこで本研究では, ARKitSceneRefer という小物を主な対象とした新しい 3D 参照表現理解データセットを提案する. ARKitSceneRefer は大規模な屋内 3D データセットである ARKitScenes [3] に基づいている. ARKitScenes は ScanRefer と ReferIt3D の基である ScanNet [4] より高解像度で，多様な 3D シー ンデータセットである. ScanRefer と ReferIt3Dでは ScanNet でアノテーションされている物体のみを対

図 1 ARKitSceneRefer のデータの例. 3D シーンと拡大した動画フレームを示す.

象としている。一方で，ARKitScenes には小物の位置がアノテーションされていないので，先行研究とは違い，以下のように小物の位置特定からデータセットを構築する。まず，動画フレームに対して $2 \mathrm{D}$ 物体検出を行うことで，小物を抽出する。次に，抽出された小物を，カメラ視点位置から $3 \mathrm{D}$ シーンへのレイキャスティングによる位置予測とクラスタリングを用いて 3D シーン上にマッピングすることで，3D 上での小物の座標とクラスを得る．最後に， このデータに参照表現をアノテーションする。加えて，物体検出器から得られたクラスは誤っている可能性があるので，その場合はアノテーション時に修正する。最終的に，ARKitSceneRefer は 731 クラスの物体を対象にし，1,615 シーンに 32,300 の参照表現から構成される。図 1 に ARKitSceneRefer の例を示す.

データセット評価のため，2D と 3D の state-ofthe-art モデル $[5,6,1,7]$ を用いた. 実験の結果, ARKitSceneReferにおける小物の位置推定は，2D モデル，3D モデルともに挑戦的であることが示された.また，2D モデルにおいては対象物が写っていない動画フレームに対する検出結果がノイズとなっており，うまく対象物が写っている動画フレームの

図 2 ARKitSceneRefer 構築のパイプライン

みを使用することができれば，精度の向上に繋がることも示された.

## 2 データセット

## 2.1 データセット構築

本節では，ARKitSceneRefer の構築について述べる. $3 \mathrm{D}$ シーンより画像のほうが解像度が高く小物を認識しやすいので，本論文では 3D シーン構築の基となった動画フレームから小物を認識する。また, ARKitSceneRefer は bounding box ではなく物体の中心点を予測するタスクを扱う。

## 2.1.1 物体検出

まず初めに，各シーンを構築する元となった動画を使い，動画のフレームに対して物体検出を行う。物体検出の結果はデータセットの対象となる小物を選別するために利用する. 物体検出モデルには LVIS [8] で事前学習された Detic [9]を用いる. Detic から, $\mathrm{MSCOCO}[10]$ などで学習された従来のモデルより詳細なクラス情報を得ることができる. 時系列的に近い画像にはほとんど同じ物体が写っているため，全フレームに対して物体検出する必要がない. よって 10 フレームごとに物体検出をする.

## 2.1.2 2D から 3D ヘのマッピング

Detic からの bounding box を得た後，中心点を動画フレーム上の座標から 3D シーン上の座標にマッピングする．ここで，カメラと物の距離が未知であることと，複数のフレームから同一物体をマッピン
グしてもカメラパラメータのノイズにより，必ずしも 1 点に収束しないことが問題となる. そこで，我々はレイキャスティングとクラスタリングによってマッピングする。まず，カメラ視点から 3D シー ンに対してレイキャスティングを行い，交点を求める. そして，DBSCAN [11]によってこれらの交点をクラスタリングし，各物体の中心点を表すクラスタを作成する。ここでは，クラスタの距離の最大値を $0.05 \mathrm{~m}$ ，最小構成点数を 3 とした. クラスタリングの結果，検証データセットにおいて平均 68.25 のクラスタが得られる.

## 2.1.3 物体選択

物体選択はクラス選択, シーン選択, 対象物体選択の 3 つのステップからなる. まず，物体検出の結果には色々なサイズの物が混ざっているので，対象となる小物を選択するため，クラス選択を行う．検出されたすべての物体のクラスを見て，両手で掴める程度の大きさ (例: コーヒーメーカー)を目安として，小物となるクラスを選ぶ. この結果，クラス数は 1151 から 794 となる. 次に，シーンの多様性と均等性のため，シーン選択を行う。アノテーションするシーンは同じ部屋ごとに 1 つとし，同じ部屋の中で最も物体が多く，かつ物体が 20 以上あるシー ンをアノテーション対象とする。この結果，シー ン数は 5,047 から 1,615 となる. 最後に，アノテー ションする物を決めるため，対象物体選択を行う。対象物体数は 1 シーンにつき，20 とする．検出回数が少ないクラスの物体の数を増やすため，ランダムに対象物体を選ぶのではなく，検出回数の低いクラ
表 1 3D 参照表現理解データセットの比較

スの物体から順に 1 つずつ選ぶ. この結果，データセット全体のクラス数は 612 となる.

## 2.1.4 アノテーション

上記のプロセスを実行することで，何もアノテー ションされてない $3 \mathrm{D}$ シーンから，小物の位置情報を手に入れることができる. データセット構築の最後のプロセスとして, Amazon Mechanical Turk ${ }^{1)}$ 上でアノテーションを行う．ワーカーは，3D シーン，対象物体の写っている 3 枚の画像，対象物体のクラスを参照できる. 画像は bounding box の面積が大きいものの中からランダムに選ばれており, bounding box 可視化することでワーカーが対象物体の場所を把握しやすくなっている。 さらにワーカーが対象物体と他の物体を明確に認識しやすいように，3D シーン上にあるすべての物体や各タスクのすべての対象物体の位置が可視化できるようになっている.実際のインターフェースは付録を参照されたい。 ワーカーはこれらの情報を参考にしながら，対象物体に対して，明確にそれらが区別できるように，参照表現をアノテーションする. さらに, Detic から得られたクラスは間違っている場合もあるので，ワー カーは，クラスが間違っている場合は正しいクラスを選ぶようにする.このときの語彙はDetic と同様の LVIS を用いる. クラス修正の結果，ワーカーは $40.72 \%$ のクラスを修正し, データセットのクラス数は 731 となった. 間違って Detic に小物と認識されたものがワーカーによって小物ではないクラスに修正されたデータが $4.80 \%$ あるので，すべてのデー タが小物ではないことに注意しなければならない.

## 2.2 データセットの統計

我々は 1,615 の 3D シーンに各 20 ずつ，計 32,300 もの参照表現が付与されている小物を対象としたデータセットを構築した. 各物体には平均で 10.01 語の参照表現が付与されている. 参照表現は屋内の物体の 731 クラスを含んでいる. 表 1 に既存の

1) https://www.mturk.com/

ScanRefer

図 3 ARKitSceneRefer (上) と ScanRefer (下) の頻度の高いクラスの分布

3D 参照表現データセットとの比較を示す. 我々のデータセットは $3 \mathrm{D}$ シーンとクラスの 2 つ点で，既存のデータセットより大規模である．図 3 に ARKitSceneReferr と ScanRefer のクラス分布の比較を示す。例えば，ScanReferでは “table”, “door”など大きい物体のクラスが多くなっている. 一方で, ARKitSceneRefer では, “box”, "jar”など ScanRefer と比べると小物のクラスが多いことがわかる。このクラス分布により，我々のデータセットは小物に焦点を置いていることがわかる.

## 3 実験

## 3.1 実験設定

本研究では, $2 \mathrm{D}$ 手法と $3 \mathrm{D}$ 手法を用いて評価した. $2 \mathrm{D}$ 手法は動画フレームと参照表現を入力とし，参照表現に対応する bounding boxを予測する. bounding box の中心はレイキャスティングによって $3 \mathrm{D}$ シーンにマッピングされ, 各動画フレームごとの 3D シーン上の予測座標が得られる。これらをクラスタリングし, 点数の最も多いクラスタの中心点
表 $22 \mathrm{D}$ モデルと $3 \mathrm{D}$ モデルの比較

を最終的な予測とする。一方, $3 \mathrm{D}$ 手法は点群と参照表現を入力とし，直接参照表現に対応する物体の 3D シーン上の座標を予測する. ARKitSceneRefer では，参照表現に対応する物体の 3D シーン上の中心点を予測するタスクを扱うので，評価指標には点間のユークリッド距離を用いた. Acc@d (\%) では距離が $\mathrm{d}$ 以下であれば正解とみなした．また，参考として距離平均も評価した。

2D モデルとして, RefCOCOg [12] で fine-tuning された MDETR [5] と OFA [6] を用いた。また以下の 2 つの手法で比較した。
- MDETR-random と OFA-random: 動画フレームをランダムに $1 / 10$ だけサンプリングして大力として使用する。

・OFA-Detic: 動画フレームをランダムにサンプリングした後, Deticを用いて物体検出し, 検出クラスが参照表現に含まれる動画フレームのみ入力として使用する.

クラスタリングには DBSCAN [11]を用いた。クラスタの最大距離は $0.02 \mathrm{~m}$ で, 最小構成点数は 1 とした.

3D モデルとして, ScanRefer [1] と 3DVGTransformer [7] を用いた. 点群の頂点数は 200,000とした。言語特徴量には GloVE [13] を用いた.

## 3.2 定量的評価

表 2 に ARKitSceneRefer で $2 \mathrm{D}$ 手法と 3D 手法を評価した結果を示す. OFA-Detic を除いた 2D 手法と 3D 手法を比較すると, Acc@0.1においては MDETR-random が $7.77 \%$, OFA-random が $8.55 \%$ であるのに対し，ScanRefer が 1.88\%，3DVG-Transformer が $2.65 \%$ と 2D 手法のほうが優れていたが，その他の評価指標については, 例えば Acc@0.5においては MDETR-random が $13.22 \%$, OFA-random が 14.05\%であるのに対し, ScanRefer が 19.74\%, 3DVGTransformer が $24.89 \%$ であり，3D 手法のほうが優れていた。これは $3 \mathrm{D}$ 手法は $3 \mathrm{D}$ シーン全体を参照できるので，対象物体が認識できなくてもおおよそ

図 4 モデルの出力例

の位置を当てることができるが，2D 手法は動画フレームに対象物体が写っていない予測がノイズになるからである。また OFA-Detic はその他の手法をかなり上回っていることから，対象物体が写っていると推測される動画フレームのみ入力に使用するとノイズが削減され，精度が向上することが示された。

## 3.3 定性的評価

図 4 に 3DVG-Transformer, OFA-Detic, ground truth の比較結果を示す. 左の 2 つの結果は 3DVGTransformer がグランディングに成功し, OFA-Detic が失敗している例である。前述したように，OFADetic の予測精度は入力動画フレームにかなり依存しており，ノイズが多いと無関係な場所を予測してしまう. 右の結果は OFA が位置特定に成功し, 3DVG-Transformer が失敗している例である. 3DVG-Transformer は “on the corner” は捉えられているものの “near two windows”は失敗している。このように，3D 手法は薄いもの (例: タオル)を捉えることができないことがある．一方で画像であれば，正面から撮ることで物の厚みを考慮せず認識できる。

## 4 おわりに

本論文では，小物の位置特定のための新しい 3D 参照表現理解データセットである, ARKitSceneRefer を紹介した. ARKitSceneReferには，1,615の ARKitScenes の 3D シーンに対して 32,300 の参照表現が付与されている. ARKitSceneRefer では, 3D モデルはあまり精度が良くなかったが，2D モデルは入力の動画フレーム次第では精度が向上することを確認した. 今後の課題として, 3D モデルの精度を改善することが挙げられる.

## 謝辞

本研究は JST さきがけ JPMJPR20C2, JSPS 科研費 22K17983 およびサムスン SDS 株式会社の支援を受けたものである.

## 参考文献

[1] Dave Zhenyu Chen, Angel X Chang, and Matthias Nießner. Scanrefer: 3d object localization in rgb-d scans using natural language. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020.

[2] Panos Achlioptas, Ahmed Abdelreheem, Fei Xia, Mohamed Elhoseiny, and Leonidas J. Guibas. ReferIt3D: Neural listeners for fine-grained 3d object identification in real-world scenes. In Proceedings of the 16th European Conference on Computer Vision (ECCV), 2020.

[3] Gilad Baruch, Zhuoyuan Chen, Afshin Dehghan, Tal Dimry, Yuri Feigin, Peter Fu, Thomas Gebauer, Brandon Joffe, Daniel Kurz, Arik Schwartz, and Elad Shulman. ARKitscenes - a diverse real-world dataset for $3 \mathrm{~d}$ indoor scene understanding using mobile RGB-d data. In Thirtyfifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), 2021.

[4] Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

[5] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1780-1790, October 2021.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[7] Lichen Zhao, Daigang Cai, Lu Sheng, and Dong Xu. 3dvgtransformer: Relation modeling for visual grounding on point clouds. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 2928-2937, 2021.

[8] Agrim Gupta, Piotr Dollar, and Ross Girshick. Lvis: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[9] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.
[10] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015.

[11] Martin Ester, Hans-Peter Kriegel, Jörg Sander, and Xiaowei Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, KDD’96, p. 226-231. AAAI Press, 1996.

[12] Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy. Generation and comprehension of unambiguous object descriptions. In CVPR, 2016

[13] Jeffrey Pennington, Richard Socher, and Christopher D Manning. GloVe: Global vectors for word representation. In Proceeding of Empirical Methods in Natural Language Processing (EMNLP), 2014.
表 3 OFA-oracle と OFA-upperを加えた精度の比較

図 5 水色の bounding box は OFA のグランディング予測結果を表す. 左の例は対象物体を含むが，右の例は含まない.

## A 2D 手法の精度の最大値

入力動画フレームによってどのように精度が変化するのか検証するため，新たに以下の 2 つの設定を加えて実験した。

1. OFA-oracle: 動画フレームをランダムにサンプリングした後，Deticを用いて物体検出し，検出クラスがアノテーションされているクラスと一致するなら入力として使用する.

2. OFA-upper: アノテーション時にワーカーに見せた 3 枚の動画フレームのみ入力として使用する。

表 3 はその実験結果を示している. OFA-oracle は OFA-random と OFA-Detic を上回っている. さらに， OFA-upper は OFA-oracle を大きく上回っている.この結果から，動画フレームに対象物体が写っていないと予測がノイズとなり，精度の低下を招くことがわかる。

## B より詳細な 2D モデルの定性的評価

動画フレームに対象物体が含まれていない場合， OFA がどのような出力をするのか検証する. 図 5 に対象物体を含む結果と含まない結果を示す. 対象物体を含むフレームに対しては正確に予測しているが，対象物体を含まないフレームに対しては関係のない場所を予測している。この誤りがノイズとなり，正確な予測を妨げる。

図 6 アノテーションインターフェース

表 4 ARKitSceneRefer の統計

## C アノテーション

図 6 にアノテーションインターフェースを示す。 1 タスクが 5 つの対象物体を含むように設計し， ワーカーの国をアメリカ，カナダ，イギリス，オー ストラリアに限定して，アノテーションを行った. また，ワーカーは 6 単語以上の参照表現を書かなければならないように設定した。

## D データセットの分割

表 4 に示されるように，データセットを訓練, 検証, テストに分割した.