# 対話に基づく常識知識グラフの構築と 対話応答生成に対する適用

井手竜也 ${ }^{1}$ 榮田亮真 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki.,s.ryoma6317@akane., dkw@\}waseda.jp
\{takato.yamazaki, shengzhe.li,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

コンピュータに常識を与えるため，多くの常識知識グラフが提案されているが，文脈を考慮したもの は少ない。本論文では対話における文脈に注目し，常識に基づく対話応答生成に向けた対話常識グラフ を提案する．カテゴリと時系列，対象といった次元 を考慮し，提案するグラフを日本語で構築した. 構築したグラフをもとに対話応答生成を行い，心情に 関する推論を明示的に与えることによって生成され る応答の特徴が変化することを示した. 日本語で構築した対話常識グラフは公開予定である.

## 1 はじめに

人間は対話において，状況や相手が思うことを暗黙的に推論 [1]する。いわば人間は，対話の常識1)を もつと言える。 それに対して，ニューラル雑談対話 システムには対話の常識が足りず，普遍的な応答ば かりを生成するという指摘 [2]がある. コンピュー 夕に常識を与える研究は盛んになされており，その 一環として常識知識グラフ [3] が構築されている.

常識に関する推論は状況や文脈によって異なる が，既存の常識知識グラフは文脈を無視 [4] ててい る.したがって，システムが文脈に依存した常識を 推論するための, 文脈を考慮した常識知識グラフが 必要となる. 英語にはいくつか存在 $[5,6,7]$ してい るが，日本語にはない。

本論文では，より人間らしい対話システムの実現 に向けて，対話の常識を集めた対話常識グラフを提案する. カテゴリと時系列, 対象といった次元に注目し，推論すべき関係を定義する．また大規模言語

図 1 発話ごとにタグ付けする推論の例

モデルを用いた対話応答生成に対して，対話常識グ ラフを適用する手法も提案する。

提案する対話常識グラフを，日本語で構築2)した。 Twitter APIを用いて対話を収集し，Yahoo!クラウド ソーシングを用いて発話ごとに推論を付与した. 対話常識グラフの分析では，対話の常識における推論 の傾向を明らかにした．さらに，構築したグラフを 用いて対話応答生成を行った. HyperCLOVA JP [8] の In-Context Learning [9] において，心情の推論をプ ロンプトとして明示的に与えた。推論を与えること によって，生成される応答の特徴が変化することを 示した.

## 2 関連研究

## 2.1 常識知識グラフ

イベントに関する常識を集めた常識知識グラフに ATOMIC [3] があるが，それぞれのイベントは文脈 を伴わない。それに対して PARA-COMET [4] は，物語における一連の文に対して推論を付与する。

2）日本語で構築した対話常識グラフは, https://github. com/nlp-waseda/dcsg-jaにて公開予定である.

(a) 出来事

(b) 心情

図 2 対話常識グラフで推論すべき関係

GLUCOSE [5] は物語の文に関する推論，CIDER [6] は対話における発話同士の推論を扱う. CICERO [7] も対話に関する常識知識グラフだが，テキスト を超えた範囲の推論まで考慮する。

ATOMIC の関係は，対象がイベントの当事者か その他かを Xと Others によって区別する。一方で CICERO の次元は, 出来事か心情かと時系列の前後 を区別しているが，推論の対象となる話者を区別し ない. 本研究では，さらにどの話者に向けた推論か という次元に注目する。

## 2.2 大規模言語モデルと対話応答生成

In-Context Learning [9] では，解くべきタスクの例 をいくつかプロンプトとして大規模言語モデルに与 え，そのタスクを解かせる. In-Context Learningを 用いた対話応答生成 [10] の研究もなされている. 特定の状況に基づく応答を生成する試み [11] や，共感的な応答を生成する試み [12] がある.

大規模言語モデルの生成は，与えられるプロンプ 卜に大きく影響を受けること [13] が知られている。 タスクを解くにあたって，その過程をあえてプロン プトに列挙する Chain of Thought Prompting [14] も提案されている。

## 3 対話常識グラフの構築

本研究では，対話の常識に特化したグラフを構築 する. テキストに書かれているものから暗黙的なも のまで，発話ごとに推論を付与する. 発話ごとの推論は，より人間らしい対話応答生成に役立つと考

(a) 記述

(b) フィルタ図 3 推論を獲得するクラウドソーシングの例 える。

## 3.1 マルチターン対話の収集

Twitter $\mathrm{API}^{3}$ を用いて，マルチターン対話のテキ ストを収集する。あるツイートとそれに対する一連 のリプライを対話と見なす. 収集した対話のうち，二人の話者が交互に話す例のみを抽出する。またテ キストの品質を保証するため，フィルタ4)を施す.

352 対話（発話にして 2,121）を獲得した. 対話あ たりの発話数は平均 6.03 であった.

## 3.2 推論の付与

Yahoo!クラウドソーシング5)を用いて，発話ごと に推論を付与する．推論すべき関係として，次の 3 次元をもとに $2^{3}=8$ 関係を定義する.

1. 発話のまわりで起こったこと（出来事）か，そ のとき思ったこと（心情）か

2. 発話の前にあったことか，その後にあったこ

3) https://developer.twitter.com/en/products/ twitter-api

4）Yahoo!クラウドソーシングを用いて，対話の内容が理解で きるかを尋ねる．第三者が内容を理解できる対話は，専門用語なども含まず高品質だと仮定する.

5) https://crowdsourcing.yahoo.co.jp/

## とか

3. 発話を言った人（話し手）についてか，それを 聞いた人（聞き手）についてか

8 関係はそれぞれ，図 2 のように名付ける. 例えば (出来事, 前, 話し手) の組合せによる関係は原因と呼 び，発話の原因となる事象の推論をテキスト形式で 付与する.

記述 発話とその履歴を与え，ある関係につい て推論を記述してもらう。関係ごとに 3 人に尋ね， まったく同じ回答は除去する. 動機の推論を記述す るタスクの例を図 3(a) に示す. 延べ 5,581 人のクラ ウドワーカを雇い，177,276円を支払った.

フィルタ 記述してもらった推論に対して，クラ ウドソーシングに基づくフィルタを施す. 発話とそ の履歴，および発話に対する推論を与え，推論が適切かどうかを判定してもらう．推論ごとに 3 人に尋 ね，多数決によって採否を決定する. 動機の関係 を評価してもらうタスクの例を図 3(b) に示す. 延 べ 4,524 人のクラウドワーカを雇い，171,236 円を支払った。

対話常識グラフの統計を表 1 に示す.このクラウ ドソーシングを行った結果，時系列や対象の話者に 関する誤りが多く見られた。とくに話し手と聞き手 のどちらに関する推論かが混同されていることが多 かった. これらの解消は，今後の課題である.

## 4 グラフを用いた対話応答生成

大規模言語モデルの In-Context Learning [9]を用い た対話応答生成に対して，構築した対話常識グラフ を適用する. In-Context Learning に基づく対話応答生成では，いくつかの対話をショットとしてモデル に与える [12] が，モデルはテキスト上に表れたこ と以外を動的に知ることができない6)。一方で人間 は，あえてテキストに書かないことも考慮しながら 対話を行う．より人間らしい対話応答生成に向け て，テキスト上に表れない常識をあえてモデルに与 える。

本研究では，次元のうち心情のみに注目する。 心情に関する推論を明示的に与えることによって，話者が発話を投げかける際の根拠をモデルに教える ことができる。すなわち「相手はこう思っただろう し，自分はこう思ったから，こう言おう」といった 具合である.これは Chain of Thought Prompting [14]

6）モデルのパラメータには，事前学習で得た潜在的な知識が あると考えられるが，それらは静的なものである。鈴木と佐藤の二人が会話している。

佐藤「まってwww服裏表反対でご飯食べに来てたwww」

鈴木「ええなんで笑笑」

佐藤「夕飯行く前に寝てたから服替え直したんだけどその時にミスってwww」鈴木「気づいた時恥ずかしい笑笑」

佐藤「いやほんとはずかしかったwww」

(a) 推論なし

(b) すべての推論

図 4 対話応答生成におけるショットの例 とも言える。

## 4.1 問題設定

対話常識グラフに含まれる対話について，最後か ら二番目までの発話を履歴とし，最後の発話を生成 する.この生成について，プロンプトとして心情の 推論を与える場合と，とくに推論を与えない場合を 比較する.

ショットは生成対象の対話を除いたすべての対話から，ランダムに選択する7)．各ショットは，状況の説明と一連の発話からなる. 状況の説明では,話者の名前 ${ }^{8}$ を紹介する．発話はそれぞれ話者の名前と鉤括弧に挟まれたテキストからなる．生成対象 の対話では，最後の発話における開き鉤括弧までを 履歴とする。とくに推論を与えない場合における ショットの例を図 4(a) に示す.

構築した対話常識グラフは，すべての発話が推論 を伴う、それらを用いて，ショット中の発話に関す る推論を明示的に与える. 最後の発話を言った話者 についてのみ，すなわち最後から奇数番目の発話に おける心情の推論のみを与える。これは人間の対話 と同じように，相手の発話に関する相手の推論は知 りえないという仮定に基づく. なお前の推論（動機 と忖度）は発話の前，後の推論（反省と反応）は発

7） In-Context Learning では，モデルを Finetuning する必要がな い. 訓練データとテストデータを区別する必要もないため, リークは発生しない.

8）日本でもっとも多い 20 個の名字から，2 個ずつをラン ダムに選択する. 名字の一覧はhttps://myoji-yurai.net/ prefectureRanking.htm から引用した.
表 2 グラフを用いた対話応答生成の自動評価

表 3 グラフを用いた対話応答生成の人手評価 モデル 1 勝ち 負け 引き分け

すべての推論 VS 推論なし $40.95 \quad \mathbf{5 2 . 7 0} \quad 6.35$

話の後に插入する. 心情の推論を与える場合におけ るショットの例を図 4(b) に示す.

大規模言語モデルには, HyperCLOVA JP 39B モデ ル [8]を用いる.プロンプトのショット数を 2 とす る9). 応答は対話ごとに 3 回ずつ生成する.

## 4.2 評価

生成した応答に対して，モデル自体の絶対評価と モデル同士の相対評価を行う，心情に関するすべて の推論を与えるモデルに対して，推論を明示的に与 えないベースラインモデルを比較対象とする。また 心情に関する推論のうち話し手に対するもの（動機 と反省）だけを与えるモデルと，聞き手に対するも の（忖度と反応）だけを与えるモデルも評価する。

自動評価 絶対評価として，パープレキシティ （PPL）と BLEU [15]，distinct [2] を計算する。これ らは，日本語形態素解析システム Juman++ ${ }^{10)}$ を用い て分かち書きした応答に対して計算する．PPLは GPT-2 日本語 Pretrained モデル ${ }^{11)}$ を用いて計算する。

人手評価 Yahoo!クラウドソーシングを用いて， 2 つの応答どちらを生成するモデルとより会話を続 けたいかを相対的に評価する。応答あたり 5 人に尋 ね，多数決を行う. 延べ 763 人のクラウドワーカを 雇い，15,350 円を支払った。

## 4.3 実験結果

自動評価の結果を表 2 に示す. BLEU と distinct は，推論を明示する方が高くなる傾向がある。つま りあえて推論を明示的に与えた方が，モデルはより 人間に近い応答を生成する.人手評価の結果を表 3

9）すべての推論を明示的に与えようとすると，トークン数は 大きくなる. 本研究では HyperCLOVA JP の最大系列長に鑑 みて，推論の有無にかかわらずショット数を 2 で統一した.

10) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\% 2 B\% 2 B

11) https://huggingface.co/nlp-waseda/gpt2-xl-japanese
に示す. 忖度と反応だけを与えるモデルはベースラ インモデルに勝っているが，それ以外は負けてい る.したがって，聞き手に対する推論を与えるとモ デルはより魅力的な応答を生成するが，話し手に対 する推論はむしろ与えない方がよい。

表 2 と表 3 を比較すると，正解応答との類似度を 表す BLEUでは動機と反省のスコアが高いが，人手評価では忖度と反応の勝ち数が大きい. つまり人間 をよく模倣するよりも，より相手を慮った応答を生成させる方が，ユーザのエクスペリエンスは高くな る.また実験に用いた対話が Twitter のテキストに 基づくことも，人間に近い応答が魅力的でないと判定される原因と考えられる。

自動評価と人手評価の齯齬は，人手評価が十分で ない可能性を議論させる. 人手評価では, 対話の履歴とモデルが生成した応答を，独立に評価した. つ まりクラウドワーカは，本来すべきコミュニケー ションのうち一部を切り取って判定している. した がって，自分のことばかりを話したり相手を慮って ばかりだったりするモデルでも，魅力的と思われう る. もっと会話を続けたいと思えるモデルを正しく 評価するためには，モデルとの長期的なやりとりに 注目するような，よりよい人手評価の開発が求めら れる。

## 5 おわりに

常識を理解する対話システムの実現に向けて，対話に基づく常識知識グラフを提案した。対話におけ る 3 つの次元に注目し，推論すべき関係を定義し た. Twitter API と Yahoo!クラウドソーシングを用い て，対話常識グラフを日本語で構築した.

さらに構築したグラフを，大規模言語モデルを用 いた対話応答生成に適用した. HyperCLOVA JP を用 いた In-Context Learning において，暗黙的な推論を モデルに与える実験を行った．話し手や聞き手の心情に対する推論を明示的に与えることで，生成され る応答の特性が変化した。

本研究で行った対話応答生成の実験は，正解とな る推論が手元にある前提のもと行ったが，その前提 は実用的でない．推論を行う手順も含めたパイプラ インの構築は，今後の課題である.

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[4] Saadia Gabriel, Chandra Bhagavatula, Vered Shwartz, Ronan Le Bras, Maxwell Forbes, and Yejin Choi. Paragraphlevel commonsense transformers with recurrent memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12857-12865, May 2021.

[5] Nasrin Mostafazadeh, Aditya Kalyanpur, Lori Moon, David Buchanan, Lauren Berkowitz, Or Biran, and Jennifer Chu-Carroll. GLUCOSE: GeneraLized and COntextualized story explanations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4569-4586, Online, November 2020. Association for Computational Linguistics.

[6] Deepanway Ghosal, Pengfei Hong, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CIDER: Commonsense inference for dialogue explanation and reasoning. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 301-313, Singapore and Online, July 2021. Association for Computational Linguistics.

[7] Deepanway Ghosal, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CICERO: A dataset for contextualized commonsense inference in dialogues. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5010-5028, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham,
Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Andrea Madotto, Zhaojiang Lin, Genta Indra Winata, and Pascale Fung. Few-shot bot: Prompt-based learning for dialogue systems, 2021.

[11] Chujie Zheng and Minlie Huang. Exploring prompt-based few-shot learning for grounded dialog generation, 2021.

[12] Young-Jun Lee, Chae-Gyun Lim, and Ho-Jin Choi. Does GPT-3 generate empathetic dialogues? a novel in-context example selection method and automatic evaluation metric for empathetic dialogue generation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 669-683, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[13] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8086-8098, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed H. Chi, Quoc V Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Alice $\mathrm{H}$. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Information Processing Systems, 2022.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

 \\

## A 対話常識グラフの詳細

## A. 1 推論の例

3.1 節において，Twitter から収集した対話の例を 次に示す.

1. 早く夏終わってくれ頼む

2. 夏がすぐ終わったら宿題おわらないぜ

3. それはそうだけど流石に外暑すぎるんよ

4. それなマジで暑い

5. これは地球温暖化が悪いわ

このうち 3 番目の発話について，3.2 節で付与した 推論を表 4 に示す.

## A. 2 グラフの分析

ある発話における動機の推論と直前の発話におけ る反応の推論は，同一の心情を指す. 同様に，ある 発話における反省の推論と直後の発話における忖度の推論も, 同一の心情を指す. いわば動機と反省 は話し手が実際に思ったことで, 忖度は反省, 反応 は動機に対する聞き手からの予測である. 話し手が 実際に思ったことと，それらに対する聞き手の予測 が，どれくらい一致するかを調べる。

結果として，動機や忖度が対話のテキストに書か れている場合, 忖度と反応のそれぞれは動機と反省 に一致しやすいことがわかった。

## B 対話応答生成の詳細

## B. 1 ハイパパラメータ

Twitter に投稿可能なテキストの最大文字数が 140 であることにに鑑みて，生成の最大トークン数を 140 とする. トークンあたりの文字数は 1 以上な ので，発話あたりのトークン数は必ず 140 以下と

 \\

図 5 相対評価のためのクラウドソーシングの例

なる. デコードでは Softmax の Temperature を 0.5 , Top-P と Top-Kをそれぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B. 2 応答の例

次に示す対話について，4番目までの発話を履歴， 5 番目の発話を応答として生成する例を考える.

1. まって www 服裏表反対でご飯食べに来てた www

2. ええなんで笑笑

3. 夕飯行く前に寝てたから服替え直したんだけど その時にミスって www

4. 気づいた時恥ずかしい笑笑

5. いやほんとはずかしかった www

このとき, HyperCLOVA JP 39B モデルによって生成 された応答を表 5 に示す.

## B. 3 評価

Yahoo!クラウドソーシングに基づく相対評価の例 を図 5 に示す。


# 感想付きニュース雑談対話コーパスの構築

成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

本研究では, 日々の話題についてユーザと雑談す る対話システムの実現を目指している. 雑談対話 システム構築に向けて, 本稿では（ニュース記事， ニュース記事に対するツイート，ニュース記事につ いての雑談対話）の三つ組からなる感想付きニュー ス雑談コーパスを構築した. 本コーパスの特徵は,話者の雑談に加えて, 雑談の話題となるニュース と，それに対するツイートがセットになっている点 にある。なお，対話収集システムおよび感想付き ニュース雑談コーパスは, githubで公開している1).

## 1 はじめに

人間同士の雑談では，感想を述べる発話が対話の 盛り上がりに寄与することが知られている [1]. ま た近年では，ニューラルネットワークにより流暢な 文の生成が可能になり, 感情を表現する雑談対話 システム [2] や人の感情に共感する傾聴対話システ ム $[3,4,5]$ も提案されている. 一方で, 任意の話題に 適切かつ人間らしい感想を生成できるほど技術が熟 していないため, 適切でない感情応答を生成した場合に倫理面や安全性の観点で問題がおきる可能性が あることも指摘されている $[6,7]$.

上記の問題に配慮しつつ人間らしい感想を表出す るシステムの実現方法の一つとして，対象の話題に 対する第三者の人間の感想の利用が考えられる.つ まり，対話の話題に関する第三者の感想を入力し，状況に応じて適切な第三者の感想を選択して応答生成に利用する，図1のようなシステムが考えられ る.こうしたシステムを学習するためには, 話題に 対する第三者の感想を与えられた話者が，それらを 適宜利用しながら発話する対話コーパスが必要とな る.しかし,このような対話コーパスは現状構築さ れていない.

1) www.github.com/fukanarita/newschat-with-impression表 1 感想付きニュース雑談コーパスの例.

## ニュース記事 : スプリンクラー作動で楽器被害

スプリンクラーが突然作動し、舞台上の楽器が水を かぶる被害が生じた

## 提示したツイート

$\mathrm{T} 1$ : 市が補償した方がいい

T2：さすがにこれはなあ...

T3：一億とかかかる？大丈夫？

T4：ちゃんと原因究明してほしい

対話（S: システム役の発話， $\mathrm{U}$ ：ユーザ役の発話）

S1:[] 「市民文化センター大ホールでスプリンクラー 作動でオーケストラの楽器ずぶぬれ 被害額は数億円か」というニュースです.

U2: すみません. そのニュースは知りませんでした. もう少し詳しく教えて下さい.

S3: [] 9 月 24 日午後 1 時ごろ，楽団が，市民文化セン ター大ホールでスプリンクラーが誤作動し, 楽器 ずぶぬれになりました.

U4: そうなんですね. 被害額が数億円とは驚きです. ところで, スプリンクラー作動の原因は何だった のでしょうか.

（中略）

U6: 被害額の数億円の保証はどうなるのでしょうね.楽団が保険に入っていればいいんですけど. その 辺の情報はありますか.

S7: [T1,T2] 副市長からお見舞いの電話がありました が，市から被害の確認や今後の対応についての説明は受けていないようです.「市が補償した方がい い」や「さすがにこれはなあ...」などの意見が出て いますね.

U8: そうなんですか. まっ，いつものことですが，外野 は言いたいことを言っているようですね. 最近は クラウドファンディングで資金を集めるといった 方法もありますので，検討してみたらいいですね.

S9: [T3]「一億とかかかる？大丈夫？」という意見どお りならクラウドファンディングでも厳しいですね.

本稿では対話システムが人間の感想を適宜利用す ることで自然かつ盛り上がる対話を行う一例とし て, Akasaki ら [8] と同様にニュースを利用し, さら に人間の感想として当該ニュースに対するツイート を用いて対話し，コーパスを収集した（表 1)2)。具

2） ツイートはコーパスではツイート ID のみ記載，便宜上こ

図 1 第三者の感想を利用する雑談対話システム.

体的には，まず，話者がニュースとそれに対するツ イートを参照しながら対話をするための対話収集シ ステムを構築する。そのうえで，構築した対話収集 システムを用いて感想付きニュース雑談コーパスを 構築する. さらに，構築したコーパスを分析するこ とで，話題に対するツイートの利用が対話の盛り上 がりに寄与するかどうかを分析する.

## 2 感想付きニュース雑談コーパス

## 2.1 概要

本研究で構築した感想付きニュース雑談コーパ スは，システム役の話者がニュースに対するツイー 卜を第三者の感想として利用しながら，ニュースに ついてユーザ役の話者と話す対話を収録したもの である。人による自然で理想的な対話を収集するた め，対話システムによる発話生成は行わず，Wizard of Oz（WOZ）方式によって人間に対話をさせコー パスを構築した。

本コーパスは，JSON Lines 形式で一対話一行とし て記述されており，それぞれの対話は，

・対話の話題となったニュース記事の URL

・システム役に提示したツイートのツイート ID

・システム役とユーザ役の二者の発話

からなる。

## 2.2 コーパスの構築

本コーパスの構築手順は次の通りである：

1. 対話収集システムの改変

2. 使用するニュースとツイートの選定

3. 対話収集

## 2.2.1 対話収集システムの改変

対話収集システムは児玉ら [9] のシステムを元に 機能を拡張することで構築した。主な改変点は以下 の通りである:

・システム役が教示（2.2.3 節）を熟読してから ユーザ役とマッチングできるよう，チャット ルームに到達する前にシステム役とユーザ役が 開くページを分離

・システム役の教示のページとチャットルームの ページにはニュースとツイート（ページ上では 「世間のコメント」と記載）を表示

・表示するニュースとツイートは，順にマッチン グするワーカー一組ごとに変更

・それぞれの発話で使用したツイートに，システ ム役がチェックを入れて記録できる機能を追加

## 2.2.2 使用するニュースとツイートの選定

ニュース記事の選択システム役が自然な感想を 選択して発話できるよう，ニュース記事一つに対し て感想や意見を含むツイートが 15 個以上集まって いるニュースを選択した3)．また，話者ができるだ けタイムリーな話題について自然に対話できるよ う，対話収集の直近 4 ヶ月を目安に記事を収集した。 ただし，東中が述べているように [10]，対話システ ムの発言内容には倫理的観点から注意する必要が あり，組織の利益を損ねるような話題や政治などの 議論を呼ぶ話題は避ける方が望ましい。我々は，本 コーパスを将来的に対話システムの構築に利用した いと考えている。そこで，コーパス収集においても 特定の個人や団体が非難されるような話題や政治 の話題は除外した. また，成田ら [11] より訃報は対話者が気を遣うと報告されていたため除外した。こ れらの結果選択したニュースは, 長さ $2 \mathrm{~cm}$ の細菌発見，スプリンクラーの誤作動による楽器の被害，屋根裏から古いノミ発見などの話題の全 16 記事と なった。

提示するツイートの選択 一つの記事を引用する ツイートは多いもので 150 以上あるが，できるだけ スムーズにツイートを対話に利用できるよう，具体的な感想が述べられている 16 文字以上のツイート を 10 から 15 ツイート程度, 記事ごとに選択した。

クラウドソーシングサイト

(5) クラウドンーシングサイトにチャ゙トIDをスカし、クラウドソーシングタスク終了

図 2 対話の収集の流れ。

## 2.2.3 対話収集

対話収集の流れは図 2 の通りである.まず， Yahoo!クラウドソーシング4)にシステム役のタスク とユーザ役のタスクをそれぞれ投稿し，対話参加者 はどちらかのタスクを選択する（図2の（1）．シ ステム役とユーザ役の話者はそれぞれ異なる URL から対話収集システムにアクセスし，教示を熟読 した後（図 2 の（2），1 対 1 で対話を行う（図 2 の (3)). 対話収集の際はシステムから話題を提供する ものとし，システム役にのみ対話開始前にニュース 記事とそのニュース記事を引用したツイートを提示した. また, 児玉ら [9] に倣って，一発話ずっ発話者が交互に変わる形式で対話を進行させた ${ }^{5)}$. 対話中，システム役には与えたツイートを適宜使いな がら発話させた. なお，自然な対話を行わせるた め，ツイート中の表現を自由に変えたうえで発話に 取り入れることを許容した。一方でユーザ役には， Dinan ら [12]に倣い，好奇心旺盛な人という設定で システム役の話に興味を持って対話を進めるよう に教示した. システム役とユーザ役の発話の合計 が 11 発話以上になると終了ボタンが表示され, 任意のタイミングで双方が対話を終了できる. 対話後 には，「チャット ID」を対話収集システムに表示し (図2の(4)), Yahoo!クラウドソーシングタスクに 入力させ（図 2 の (5)），ワーカー自身のIDとその チャット ID が付与された対話を結びつけて対話内容を確認し，ホワイトリストを作成した。

ホワイトリスト作成後は，役割ごとのタスクの所要時間を考慮し，システム役には 300 円，ユーザ役 には 225 円報酬として支払った。

## 2.3 基本統計

本研究で構築したコーパスは，極端に不適切な発話をするワーカーを除いた一般のワーカーに依頼し て収集した感想付きニュース雑談コーパス v1（v1 と呼ぶ）と，v1 の収集で教示に適切に対応したワー カーのみに依頼を絞り収集した感想付きニュース雑談コーパス v2（v2 と呼ぶ）の二つからなる. 感想付きニュース雑談コーパス v1 と v2 の基本統計情報 を表 2 に示す. 表 2 に示す通り，一対話あたりの発話数は平均で 11.3 発話であった. また, 一発話あた りに使用されたツイート数は平均で 2.5 ツイートで あった. 今回の収集では, システム役の話者が発話 に使用したツイートにチェックを入れて記録したた め，ツイートを使用した発話でもチェックをし忘れ ている場合も観察された. 今後，データを整備する 予定である. 今後データを整える必要がある.

## 3 分析：ツイート使用の有効性

本コーパスの特徴の一つは，対話の話題に加えて 関連するツイートをシステム役に与えて対話に利用させたことである. この情報を与えたことや対話 の進め方が，対話の自然さや盛り上がりに寄与する かどうかを分析した. 具体的には, 表 2 の対話収集 のうち一部の対話収集において, 対話終了後にワー カー自身に対話の盛り上がりを評価させた. 結果を 図 3 に示す. 1 は「まったく盛り上がらなかった」,
表 2 対話データの基本統計情報.

 &  &  &  \\

$\mathrm{~V} 2$ & 213 & 2395 & 11.2 & 13.0 & 206 & 2.9 \\

ロシステム役による評価ロユーザ役による評価

図 3 対話参加者による盛り上がりの評価.

7 は「とても盛り上がった」を意味しており，数字 が大きいほど盛り上がりを感じたことを示してい る. 図 3 の結果から，中央の評価である 4 点よりも 高いスコアに回答が集中していることがわかる.こ のことから，今後ツイートを使用しなかった場合と 比較する必要はあるが，ツイートを利用した今回の 対話収集では，話者はある程度の対話の盛り上がり を感じていたことが示唆された。

その一因は表 3 の対話例に表れていると分析し た.この対話においては U2 の発話で対話が終わっ てしまう可能性も十分あったと考えられるが，S3で ツイート内容を伝えることで，その後の対話につな がっている. 具体的には，ツイートでされている問 いかけについてユーザに考えさせることで対話の発展につながった.

このことから，本コーパスを利用して，第三者の 感想を適切に用いて応答を生成可能なシステムを構築することで，より盛り上がる対話を実現できる可能性がある.

## 4 おわりに

発話の安全性や倫理面を考慮しながら，感想を含 めて対話をする雑談対話システムを実現する方法 の一つとして，話題に対する第三者の感想を利用す ることが考えられる。本稿では，こうしたシステム の構築に有用な対話コーパスとして，対話参加者が表 3 ツイートの使用が有効に働いたと見られる例。

ニュース記事 : 国宝の方丈の屋根裏で「ノミ」見
解体工事が行われている国宝の方丈の屋根高
00 年前のものと見られる大工道具の「ノミ」
かった
ツイート
T5 : 意図的な置き忘れだと思う、多分
T6 : こういう話は好き。興味深い
T7 : わざと置いたってこともあるかも
T8: 職人にとって高価で大切なノミをなぜ」

対話（S: システム役の発話，U：ユーザ役の発話）

S1: [] 保存修理が続く国宝の方丈の屋根裏から、約 400 年前のノミが見つかったそうです。

U2: 400 年前のノミですか? それは素晴らしい発見で すね。

S3: [T8] 職人にとって高価で大切なノミを、なぜ、こ の場所に置き忘れたんでしょうね。

U4: 確かに。おっちょこちょいな職人さんだったのか あるいは何か意味があるのでしょうか？

S5: [T5,T7] 大工さんが意図的にノミを置き忘れた可能性もありますね。

U6: 仰るように職人さんにとって相当大切なものだと 思いますので何か意味があるのかもしれないと勘 ぐってしまいました。シンプルに置き忘れの可能性もありますよね。

$
\text { （中略） }
$

U10: 本当に素晴らしいと思います。

S11: [T6] こういう話は好きです。

第三者の感想を組み込んだ対話を行う「感想付き ニュース雑談コーパス」を構築した．具体的には，話題となるニュースに対する第三者の感想として， ニュースを引用したツイートを利用させながら人同士の対話を収集した. 本コーパス中の対話を分析 した結果，ツイートの利用による感想・意見の表出 が，収集した対話の盛り上がりに寄与した可能性が あることが示唆された。

今後は，今回構築したコーパスを用いて，雑談に おいて効果的な第三者の感想の選択方法や応答生成 への利用方法を分析する. その分析結果をもとに，第三者の感想を適宜利用し対話を盛り上げることの できる雑談対話システムの構築を目指す。

## 謝辞

本研究の対話収集では京都大学・児玉貴志氏のグ ループが開発された Chat Collection Framework を改変したものを用いています. 本システムの開発者の 皆様に深謝いたします。また，Yahoo!クラウドソー シングにクラウドワーカーとしてご協力いただいた 皆様へ，深く感謝を申し上げます. 本研究の一部は JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] 徳久良子, 寺嶌立太. 雑談における発話のやりとり と盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[2] Chenyang Huang, Osmar Zaïane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[4] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761-769, 2010.

[5] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for long-duration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[6] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models. CoRR, Vol. abs/2109.06950, , 2021.

[7] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[8] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リべカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会 第 27 回年次大会, pp. 859-863, 2021.

[10] 東中竜一郎. 対話システムと倫理. 人工知能, Vol. 31,
No. 5, pp. 626-627, 2016.

[11] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 話題提供雑談システムにおける感情と意見の表出方法の検討.言語処理学会 第 28 回年次大会, pp. 1078-1083, 2022.

[12] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. CoRR, Vol. abs/1811.01241, , 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ディスプレイ操作記録ツールの提案と有効性の検証

壹岐 太一 1,3* 増本 雄斗 2,3 相澤 彰子 $1,2,3$
1 総合研究大学院大学 2 東京大学大学院 3 国立情報学研究所
}

\{iki,masumoto, aizawa\}@nii.ac.jp
## 概要

パーソナルコンピュータのディスプレイを理解・操作する視覚言語モデルの実現に向けて，環境構築 やデータ作成の負担軽減を目的に，ディスプレイ操作を記録し，モデル学習用データに変換するツール RecGUIを提案する。有効性を検証するため，人手 で操作した 10 時間分のデータを作成し，学習済み 視覚言語モデルに基づくモデルを新たに導入する。 ディスプレイ画像からの行動選択に適用し, ベース ラインモデルとの比較から有効性を確認する．今後 の課題は, タスクの追加によるツールの完成度向上，並びにモデルのタスク成功率の改善である.

## 1 はじめに

コンピュータのディスプレイを人のように理解・操作する人工知能の探究は, 生活にコンピュータが 溶け込んだ現代社会における言語の世界接地を考え る上で重要であると同時に，複雑な作業の自動化な ど産業応用も期待できる有望なテーマである. 近年 ではブラウザ $[1,2,3,4,5]$ やゲーム [6,7]，スマート フォン環境 [8] を対象に活発に研究されている.

我々は業務作業の自動化への応用を念頭に，特に パーソナルコンピュータ $(\mathrm{PC})$ のディスプレイ1)に 焦点を当てる．PCディスプレイを対象とする研究 ではブラウザやゲームエミュレータといった単一 の応用ソフトに関する研究と, 複数の応用ソフトに 関する研究がありえる. 前者に比べて後者の研究が 進んでいない. 主な原因として PCディスプレイ上 での操作を記録し学習用データを作る標準的な手法の不足がある. 過去には, 複数のアプリケーショ ンを対象とする強化学習プラットフォーム Open AI Universe [9] が存在したが，現在は廃止されている。本稿では，汎用的な PC ディスプレイの操作技術

図 1 RecGUIを用いた学習用データ作成の流れ. RecGUI は環境構築やデータ作成における煩雑さの軽減，手法の 統一による研究間でのデータ共有の促進を目的とする.

の実現に向け，PCディスプレイの操作を記録しモ デル学習用データに変換するツール RecGUI (図 1) を提案する2).さらに，提案ツールを用いてモデル 学習ができることを確認するため，Web タスクセッ 卜 MiniWob [1,2] を人手で操作した 10 時間分の記録 から試用データを作成する（§2）また，視覚言語モ デル ViLT [10] の微調整 (fine-tuning) によって, ディ スプレイ画像のみを環境入力として行動生成する モデルを新たに導入する（§3）．RecGUIで作成した データを用いてモデルを学習し，実環境でのタスク 遂行の成功率において，ランダム選択モデル (ベー スライン)を上回ることを確認した。また，分析に より成功できるのは基本的なタスクに限られるとわ かった (§4). 成功率の向上が今後の課題である.

## 2 操作記録ツール RecGUI

## 2.1 GUI 操作の記録

操作記録はコンテナ技術に基づく． Linux コンテ ナの中で xvfb [11]を用いて仮想ディスプレイを立 ち上げ，RFB (Remote Frame Buffer) プロトコル [12]

2）ツールおよびデータは以下で公開している. https: //github.com/iki-taichi/rec_gui
表 1 行動の表現. フレームごとに汎用的な行動を 6 変数 で表現する. Cursor は最終的なカーソル位置, mouse, key は最後のボタン操作に対応する. event の変数値 none は無操作を表し，そのとき target 変数の值は na とする.

で外部から接続し，操作する．画面はスクリーン ショットを一定間隔で取得して記録する。マウス・ キーボード操作は RFB 接続にプロキシを挟みログ を記録する ${ }^{3)}$ ．さらに， GUI 上で遂行中のタスクの 進捗状況 (タスクの開始や終了，報酬など) を取得し 記録する. 取得できる進捗状況はタスクにより異な る. なお，RFB を用いる構成は [9] と同様である.

時間分解能 Intel Core i7-6700 CPU (3.40 GHz，4 コア，8スレッド), 49 GBメモリのマシンで RecGUI を起動して SSDへ記録するとき， $800 \times 600$ px の画面解像度で約 $10 \mathrm{~Hz}(0.1$ 秒間隔）での画面の記録が 可能であると確認した. この時，操作ログはさらに 小さな時間間隔で記録できた.

## 2.2 記録のモデル学習用データへの変換

操作記録からのモデル学習では，周期が固定され た画面の記録と非周期的な操作の記録をどのよう に統合して学習できる形式にするかが課題である. RecGUI は次に述べる手法を実装している。

変換手法 画面の記録周期を基準とし，画面とそ れを見た後の行動が並んだ系列を作成する．画面の 記録直後から次の記録直前まで (フレームと呼称) の 操作記録を集計し，ある画面を見た後の行動とみな す. 行動を表 1 のように6変数で表現する.

高速な操作への対応 人の操作を記録する場合, フレーム時間を約 0.1 秒に取れば 1 フレームの操作記録はおおむね 1 つとなるが，複数の操作記録が含 まれる場合もある。その対応を述べる。

キー操作においては，行動をより前のフレームに 移動することで解消する。その理由は行動を間引く と画面と操作の対応が崩れる可能性がある点，行動

図 2 Web タスクベンチマーク MiniWoB [1,2] のタスク画面. 全タスクで上部に指示文が示される. Search ボタン の押下などでタスクが完了し，正誤によらず次のタスク に移動する．クリックやドラッグ，テキスト入力などの 単純なものから，メールの受信ボックス風の UI やフライ 卜予約画面の操作まで幅広く収録されている。

を後のフレームに移動するとキー操作に伴う画面変化という因果関係が失われる点の 2 点である.

マウスのボタン操作においては，ホイールの回転 が問題になりやすい。これは RFB がホイールの回転を複数のクリックとみなすためである。本研究で は double_clickと triple_clickを行動として導入する ことで対応する.この対応で対処できない高速な操作はキー操作と同様に前のフレームに移動する.

## 2.3 学習用データの準備

RecGUIを用いた操作の記録と学習用データの作成を実際に試みた，画面解像度は $800 \times 600 \mathrm{px}$ ，記録周期は $10 \mathrm{~Hz}$ とした. MiniWoB (図 2)を仮想ディ スプレイ内の google-chrome ブラウザに読み込んで タスクとして使用した. オリジナルの画面サイズ $(160 \times 210)$ では指示文が小さいため，本研究では 2 倍に拡大して使用した。操作者 (著者の一人) が 6 分間のセッション4)を 100 回行って 10 時間分の記録 を得た. 100 セッションで 4,704 タスクに取り組み,成功数は 4,525であった. なお，操作者は MiniWob のタスク内容について事前に十分に知っていた。

## 3 ベースラインモデル

## 3.1 前提とするモデル: ViLT

ViLT は Kim らが提案したテキストと画像を入力 とする Transformer [13] エンコーダー型の視覚言語 モデルである。事前学習済みの視覚モデル ViT [14] を初期値とし，複数の画像キャプションデータセッ トを用いて視覚言語について訓練されている。訓練の目的関数はテキストの穴埋めタスク (MLM;

4） セッションではタスクがランダムに表示され，回答する度 に次のタスクへと移動する。付録 A でさらに詳しく述べる。

Masked Language Modeling) とテキストと画像の一致判定 (ITM; Image Text Matching) である.ViLT はパッ チに分割した画像の画素配列を線形層で埋め込み に変換して直接 Transformerに入力する. 物体認識 モデルや他の視覚モデルを使用するモデル $[15,16]$ に比べて，高速に動作するとともに，スクリーン ショットのような非写実的な画像への微調整が容易 なため本研究に適する。

## 3.2 提案するモデル: ActionViLT

行動生成を離散時間間隔 (ステップ) ごとの行動選択と捉えることで ViLTを応用する. 各ステップで スクリーンショット画像と過去 N ステップの行動履歴を入力し，その出力から次の行動を選択する。

入出カ スクリーンショット画像は画素情報とし て入力する. ViLT の実装に合わせた前処理を施す.行動はテキストとして入出力する. テンプレートを 導入し, 表 1 で定義した 1 フレームの行動をテキス ト表現に変換する：

position : $\{\mathrm{x}\}\{\mathrm{y}\}$; mouse : \{mouse_event $\}$

\{mouse_target $\} ;$ key : $\{$ key_event $\}$ \{key_target $\}$ \{と\}で囲まれたスロットは行動の変数に対応し， スロット値は表 1 の値から選択する ${ }^{5)}$. 過去 $\mathrm{N}$ ス テップの行動それぞれをテキスト表現に変換し，新 しい時間の行動が先に来るようソートした上で連結して行動履歴のテキストを得る。さらに，MLM タスクを用いて次の行動を予想するために，行動履歴テキストの先頭に各スロットを [MASK] で埋めた テキストを連結して最終的なテキスト入力とする。 [MASK] に関する各語彙の尤度を計算し, 対応する行動変数の値に関する尤度として出力する。

操作記録を用いた微調整 微調整では MLMを目的関数として用いる. 通常 MLM では入力テキスト のうちランダムなトークンをマスクする $[10,17]$ が，本研究では入出力で述べた「次の行動」の部分のマ スクを固定で学習する。

実環境に接続しての推論 まず，入出力で述べた 方法で「次の行動」の各変数に関する尤度を計算す る. 次に，確率的なサンプリングを用いて尤度か ら行動を選択する. 各変数の確率分布の計算では, ViLT の全語彙に関する尤度の出力から各変数に関係する語彙の部分だけを取り出し, 温度パラメータ $T$ で割った後 softmax 関数を適用する。

図 3 微調整において入力行動履歴数 $N$ が性能に与える 影響. 無操作 MCC は無操作か否かの 2 值分類に関するマ シューズ相関係数を示す. 評価值は異なるランダムシー ドで 3 個のモデルを学習し平均した値である.

表 2 タスク遂行での温度の影響. ランダム選択（温度非依存) $, N=0,14,16$ のモデルで特定シードの 10 セッ ションを行い，取り組んだタスク数と成功数を合計した。正答率 (取り組んだタスク数)

## 4 実験

ViLT の微調整を行い, 得られたモデルを使って実環境におけるタスク遂行を評価する。タスク遂行で は， ベースラインとして行動変数の可能な語彙から 一様ランダムに選択するモデル (付録 C)を用いる.

## 4.1 学習用データを用いた微調整

教師データ 2.3 節で述べた MiniWob [1] の操作 データ 100 ファイルを学習，検証，テスト用に 8： $1: 1$ に分割し，それぞれのファイルからタスクに 失敗した部分を除外して用いる。分割に含まれる画面と次の行動の対の数はそれぞれ 255,866, 33,293, 34,152である. ただし，学習・検証用分割では，無操作の学習を抑制するため, 前の行動と同一の行動 の対6)を除いた 130,809 対，17,126 対を用いる.

学習条件 Transformers [18] ライブラリを使い 事前学習済みの ViLT モデル7)を微調整する．画

表 3 タスク遂行におけるタスク別の性能. () 内の数は取り組んだタスク数を表す. 数値は 1 セクションの結果である. タスク概要は次の通り：(1) 画面中心のボタンをクリックする。 (2) 文章中の特定の単語をクリックする。 (3) パネルを指定の方向にドラッグする。(4) 特定ボタンをクリックする。(5) 簡単な計算の結果を入力し，ボタンを押す. (6) 指定され た単語を入力し，ボタンを押す.(7) 指定されたテキストをコピーして入力する．(8)メニューボタンを押して，表示され たボタンをクリックする. (9) 指定された時刻を入力し，ボタンを押す.

像は，ViLTの実装に従い 480×384 px にリサイズ し，各画素値を [-1,1]の範囲に標準化する.

Warmup_ratio=0.1, 学習率=5e-5 の下で, ADAM [19] を用いて 5 エポック最適化する. 入力する行動履歴 の数 $N$ の值を変えて学習し，影響を調べる。学習, タスク遂行ともに NVIDIA A100 GPUを用いる。

評価指標 テストデータとモデルの予想を比較す る. カーソル座標の誤差, ボタン操作 (mouse_event, mouse_target, key_event, key_target）についての無操作（none，na）か否かの 2 值分類に関するマシュー ズ相関係数，無操作を除いた一致率を用いる。な お，マシューズ相関係数を用いるのはボタン操作に おける無操作の割合が $95 \%$ 程度と高いためである。

結果 図 3 に結果を示す. 入力する行動履歴の数 $N$ の増加に伴って, ボタン操作に関する性能（マ シューズ相関係数，一致率）は上昇した. ボタン 操作では次の行動の予想に履歴が役立つ. 一方で, カーソル座標の誤差は $N$ の増加に伴って悪化した.両者のバランスが取れた $N$ の選択は課題である.

## 4.2 実環境におけるタスク遂行

今回はボタン操作とカーソル座標の性能が安定し ている $N=10,14,16$ のモデルを用いる. 行動のサ ンプリング温度 $T$ を 0.0 から 1.0 まで変えて影響を 確認し, 最適な温度 $T$ の下でタスクの種類別に成功率を分析する. タスクには一回の操作で成功となる 基本タスク 4 種類と 2 回の操作が必要な発展タスク 5 種を用いる. タスク概要を付録 Cに掲載する。モ デルはセッション開始後, 初画面の start ボタンが 押された状態から，人と同じ条件でタスクを遂行す る. セッションの制限時間を 360 秒とし, 取り組ん だタスクの数と成功したタスクの数を計測する.

結果 1.サンプリングにおける温度 $T$ の影響

まず，NVIDIA A100 GPU を用いた今回の実験では，
モデルは記録時と同じ $10 \mathrm{~Hz}$ で動作した．次に，表 2 に温度による性能変化を示す. 温度が低いとき，モ デルはほとんど動かず，タスクを進められなかっ た. 温度が高まるにつれて, 取り組んだタスク・正答率が増加した. ただし, 正答率は 0.2 程度で頭打 ちとなった。適切な温度下では，モデル成功率は一様ランダムモデルを上回ることから，RecGUI で作成したデータによる学習の有効性が確認できた.

## 結果 2. タスクの種類による性能の違い

表 3 にスコアを示す. 温度は表 2 から正答率が最も 高いものと, 取り組んだタスク数が 100 超えた物の 中で正答率が最も高いものを選んだ。基本タスクの 成功率は，ボタンやリンクを押す $(1,2,4)$ では高かっ たが，ドラッグ操作を含む (3) では芳しくなかった. タスクが進行することからドラッグ操作はできるも のの，指示文が理解できないと推測される. 応用タ スクでは，テキスト入力を必要とする $(5,6,7,9)$ の成功率が特に低く, キーボード操作に改良の余地があ ると示唆される. 最後に, 結果 1 で述べた高温での 正解率の頭打ちは, 基本的なタスクの所要時間が短縮するが，解けるタスクの種類は変わらないことを 示していると考えられる。

## 5 おわりに

PC ディスプレイの操作記録・モデル学習用デー タへの変換を行うツール RecGUI を提案した., ツー ルで作成したデータで学習したモデルが, 実環境で のタスク遂行において，ランダム選択モデルより優 れることを確認した. ツールの展望は複数応用ソフ トを操作する単一モデルの研究に向けたタスクの追加である. モデルの課題はタスク成功率の向上であ る. 提案モデルは画像中のテキストの理解が不十分 であると推測される．画素値から言語理解するモデ ル [20]を用いるなど改良を進めたい.

## 謝辞

本研究の一部は JSPS 科研費 21 H03502、JST 次世代研究者挑戦的研究プログラム JPMJSP2104、およ び 2022 年度国立情報学研究所 CRIS 委託研究の助成 を受けたものです.

## 参考文献

[1] Tianlin Shi, Andrej Karpathy, Linxi Fan, Jonathan Hernandez, and Percy Liang. World of bits: An open-domain platform for web-based agents. In ICML 2017, pp. 31353144, 2017.

[2] Evan Zheran Liu, Kelvin Guu, Panupong Pasupat, Tianlin Shi, and Percy Liang. Reinforcement learning on web interfaces using workflow-guided exploration. In ICLR 2018, 2018.

[3] Peter C Humphreys, David Raposo, Tobias Pohlen, Gregory Thornton, Rachita Chhaparia, Alistair Muldal, Josh Abramson, Petko Georgiev, Adam Santoro, and Timothy Lillicrap. A data-driven approach for learning to control computers. In ICML 2022, pp. 9466-9482, 2022.

[4] Taichi Iki and Akiko Aizawa. Do berts learn to use browser user interface? exploring multi-step tasks with unified vision-and-language berts. arXiv preprint arXiv:2203.07828, 2022

[5] Shunyu Yao, Howard Chen, John Yang, and Karthik R Narasimhan. Webshop: Towards scalable real-world web interaction with grounded language agents. In NeurIPS 2022.

[6] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602, 2013.

[7] Bowen Baker, Ilge Akkaya, Peter Zhokov, Joost Huizinga, Jie Tang, Adrien Ecoffet, Brandon Houghton, Raul Sampedro, and Jeff Clune. Video pretraining (vpt): Learning to act by watching unlabeled online videos. In NeurIPS 2022, 2022.

[8] Daniel Toyama, Philippe Hamel, Anita Gergely, Gheorghe Comanici, Amelia Glaese, Zafarali Ahmed, Tyler Jackson, Shibl Mourad, and Doina Precup. Androidenv: a reinforcement learning platform for android. arXiv preprint arXiv:2105.13231, 2021

[9] OpenAI. Openai universe. https://openai .com/blog/ universe/ (2023-01-04 確認), 2016.

[10] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[11] David P. Wiggins. Xvfb. https://www.x.org/ releases/X11R7.6/doc/man/man1/Xvfb.1.xhtml (2023-01-03 確認).

[12] Tristan Richardson and John Levine. The remote framebuffer protocol. https://www.rfc-editor.org/rfc/ rfc6143 (2023-01-03 確認), 2011.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS 2017, 2017.

[14] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR 2020, 2020.

[15] Yen-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. Uniter: Universal image-text representation learning. In ECCV 2020, pp. 104-120, 2020.

[16] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. arXiv preprint arXiv:2004.00849, 2020.

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In EMNLP 2020: system demonstrations, pp. 3845, 2020.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

[20] Geewook Kim, Teakgyu Hong, Moonbin Yim, JeongYeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, and Seunghyun Park. Ocrfree document understanding transformer. In ECCV 2022, pp. 498-517, 2022.

(1) 画面中心のボタンを クリックする。
(2) 文章中の特定の単語 をクリックする

(3) パネルを指定の方向 にドラッグする.

(4) 特定ボタンをクリッ クする。

図 4 基本タスク. MiniWoB [1,2] の click-test, click-link, drag-items, click-color を使用.

Submit

## Copy the text from the 2 nd text text input, then press Submit.

Submit

(5) 簡単な計算の結果を 入力し，ボタンを押す.

(6) 指定された単語を入力し，ボタンを押す。
(7) 指定されたテキスト をコピーして入力する.

(8) メニューボタンを押 して，表示されたボタン をクリックする。

（9）指定された時刻を入力し，ボタンを押す。

図 5 発展タスク. MiniWoB [1,2] の simple-arithmetic, enter-text, copy-paste-2, click-menu-2, enter-time を使用.

## A タスクセッションの補足

使用タスク MiniWobの全タスク ${ }^{8)}$ から，flight search タスク，debug タスク，（表示の遅延を解消し た）nodelay 版が存在するタスクを除いた 93 タスク を使用した. 各タスクは乱数で内容 (ボタンの位置 など）が変化する．タスクは共通の start 画面から 始まる. Start 画面をクリックすると画面が移り，特定の操作（submit のクリックなど）でタスクが終わ る. タスク画面右の報酬等のメタ情報は非表示とし た. タスクごとの制限時間は設定しなかった.

セッション RecGUI に接続すると welcome ペー ジが表示される. そのページの start ボタンを押す とセッションが開始し， 1 種類の MiniWob タスクが ランダムに表示される。 タスク終了後，次のタスク がランダムに表示される。これを制限時間（360秒） まで繰り返す. 特に断りがない場合，セッションご とにランダムシードを変えて用いた。

## B ActionViLT の補足

位置埋め込みの延長 ViLT が用意する位置埋め 込みは 40 トークン分である. 行動のテキスト表現

8) https://farama-foundation.github.io/ miniwob-plusplus/
は 15 トークン/行動のため $\mathrm{N}$ が 2 以上のとき不足す る.その場合は，位置埋め込みを線形補完して入力 に十分な数に延長してから微調整を行う。

語彙 簡素化のため，行動の表現に用いる語彙 は学習済み ViLTの 1 トークンになるよう調整し た。まず，Cursorに関して述べる。ViLT の語彙で は自然数は 1 から 341 まで連続していた。画面解像度を網羅しないため，画面の縮尺を水平・垂直 それぞれ 250 に換算し，その範囲の整数を語彙と した. mouse_event に関しては $\{$ double，triple\}_click を $\{$ double， triple\} とした. mouse_target に関しては scroll_\{up, down \}を $\{$ up, down \}とした.また，デー タに現れなかった scroll_\{left，right \} は定義していな い. key_targetに関しては backspace をbsとした。

## C 実環境におけるタスク遂行

一様ランダム選択モデル 行動変数の可能な語彙 から一様ランダムに選択する。ただし， ctrl キーと 他のキーの組み合わせで，進行が困難になる場合 (画面が変わるなど) が多かったため，ctrl キーが押 されている間はキー押下は $\mathrm{c}, \mathrm{x} ， \mathrm{v}$ を，マウスボタ ンの押下，クリック，ダブルクリック，トリプルク リックは left，right のみを許可した。

タスク別評価 画面例を図 5，図 4 に示す。


# 大規模言語モデルの活用による効率的なロボット制御の学習

高城 頌太 ${ }^{1}$ 谷口 尚平 ${ }^{1}$ 中野 聡大 ${ }^{1}$
上田 亮 1 松尾 豊 1 谷中 瞳 1
1 東京大学
\{takashiro, taniguchi, nakano.akihiro, matsuo\}@weblab.t.u-tokyo.ac.jp
\{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

GPT-3 や ChatGPT に代表される大規模言語モデル は，様々なタスクで汎用的に高い性能を示し，自然言語処理のみならず様々な領域での応用が広がっ ている. 本稿では，大規模言語モデルをロボット制御の模倣学習に活用し, その学習効率やサンプル効率の向上への寄与について検証を行う．実験では， RLBench というべンチマークデータセットを用い $\tau$ ，提案手法の有効性を検証する，具体的には，単腕ロボットがモノをゴミ箱に捨てるというタスクを デモンストレーションデータから模倣学習する際 に，大規模言語モデルへのプロンプティングを活用 して，タスクを解く手順を説明するテキストを生成 し，それを補助情報として用いることで，学習効率 の向上を図る。

## 1 はじめに

GPT-3 [1] に代表される大規模言語モデルの登場 により，自然言語処理の様々なタスク（機械翻訳，質問応答，コードの自動生成・補完 [2]など）を高精度に解くことが可能になりつつある [3]. 特に，昨年秋に公開された ChatGPT [4] はチャット形式のイ ンターフェースと高精度な文章生成性能をもつこと から，世界的に注目を集めたことは記憶に新しい。 また，こうした大規模言語モデルの活用は，自然言語処理のみに留まらず，様々な領域まで広がり始め ている.近年は，ロボット制御の文脈でも，大規模言語モ デルを活用する研究が行われ始めている $[5,6]$. ロ ボット制御において，大規模言語モデルの活用が注目されている背景として, 強化学習や模倣学習に代表される機械学習ベースのロボット制御のサンプル 効率の悪さが挙げられる [7]. インターネット上か ら大量の学習データを収集することが容易な画像や自然言語などの領域と異なり，ロボット制御はデー タを収集するコストが高く，効率よく学習する方法論の確立が重要である．高い汎用性をもつ大規模言語モデルの活用は，このようなロボット学習の課題 を解決する糸口になりうると考えられる。例えば，床に落ちているモノを掴んでゴミ箱に捨てるという タスクを単腕ロボットに学習させることを考えた場合，ロボットは(1) モノにロボットハンドを近づけ て，(2)グリッパーを操作してモノを把持し，(3) 八 ンドをゴミ箱の上に移動させて (4) グリッパーを開 いてモノをゴミ箱の中に落とす，という多段階の操作をデータから学習する必要がある。このような段階的な操作の必要性は，人間であれば常識的に持ち 合わせている知識であるが，事前知識を持たない口 ボットはこれを一から学習することが要求され，大量のデータと学習時間が必要となってしまう。一方 で，大規模言語モデルは，ウェブ上の大量のテキス トデータから学習されており，人間が持ち合わせて いる常識的な知識に関する質問にも非常に精度よく 回答できることが知られている $[1,8]$. 特に，大規模言語モデルに対して，タスクの説明や少数の正解例を与えることで，新しいタスクへ適応させるテク ニックはプロンプティングと呼ばれ，その有効性が 翻訳や文書要約などの様々なタスクで検証されてい る [3]. そこで，前述のようなロボットにとって複雑なタスクを解くための手順（以下，処理指示文と 呼ぶ）を，大規模言語モデルへのプロンプティング を通して獲得し，それを補助情報としてロボットの 制御モデルに与えてやることで，学習を促進するこ とが期待できる。

本稿では，このような大規模言語モデルへのプロ ンプティングを活用したロボット学習の手法を提案 し，その有効性を検証する．具体的には，前述のよ うなモノをゴミ箱に捨てるタスクをデモンストレー ションデータからの模倣学習によって学習する際

(a) モデル

(b) データセット

図 1: (a) 提案手法の概念図. 提案手法では，HiveFormer におけるテキスト入力として，タスクの説明文の代 わりに，ChatGPTへのプロンプティングの結果得られるタスクを解く手順の説明文を用いる。 (b) RLBench データセットの PutRubbishInBin タスクのエピソード例. いずれのエピソードも 1 つのゴミ箱，1つのゴミ， 2 つの無関係なオブジェクトから構成される. 配置されるオブジェクトの形状はエピソード間で共通であり，初期の位置関係のみランダムで変化する問題設定である.

に，タスクを解く手順を ChatGPTへのプロンプティ ングによって獲得し，それをロボットの行動を決定 する方策モデルへ補助情報として入力する手法を提案する。実験では，RLBench [9] というシミュレー タ環境でのロボット制御のベンチマークを利用し,学習過程におけるタスクの成功率の推移や, データ 効率を従来手法と比較する形で，提案手法の有効性 を検証する。

## 2 関連研究

深層学習を用いたロボット制御モデルを学習さ せる上で，十分な学習データを収集するコストは高 い。そのため，より効率の良い学習方法に関して 様々な研究が行われている [7]. とりわけ, 複数ス テップを要する構成的なタスクにおいて効率的な学習手法の開発は重要である. 構成的なタスクの例と して，例えば，家具を組み立てるタスク [10] や積み 木を積み上げるタスク $[11,12]$ がある．このような タスクは，制御モデルを学習する上で特に難しいこ とが知られており，汎用的な方法論は未だに確立さ れていない.

一方で，深層学習において言語モデルは，GPT モ デルの進展 $[13,14,1,4]$ からも分かるように，デー タセットのサイズとモデルのパラメータをスケール させることで，より汎用性のあるモデルへと発展し てきた. 近年では， GPT-3 [1]をはじめとした大規模言語モデルについて，プロンプティングを行うこと で新しいタスクに少ないデータのみで適応できるこ とが検証されている [3]. 検証を通じて，大規模言語モデルは，人間が持ち合わせている一般常識を獲得し，順序立てた手続的な推論も行うことが可能で あることが報告されている $[6,15]$.

模倣学習や強化学習などを用いた学習べースのロ ボット制御においても，画像情報に加えてこうした 大規模言語モデルによる観測やタスクに関する言語情報を入力として取り入れることで，性能向上を図 る手法が注目を集めている $[5,6,16,17]$. GPT-3のよ うな大規模言語モデルがロボット学習に寄与できる 要素としては，学習効率や汎化性能の向上が挙げら れる. 人間の一般常識に相当するような知識を持ち 合わせる大規模言語モデルからその知識を引き出す ことで，新しいタスクを素早く学習し，適応できる ことが期待できる．しかし，現状では，ロボット学習における大規模言語モデルの活用は，物体の説明文生成のような比較的単純な補助情報の付与のみに 留まっており，制御の方策自体を直接ガイドするよ うな枠組みは確立されていない。本稿では，そのよ うな枠組みの確立の第一歩として，デモンストレー ションデータをもとに制御方策を学習する枠組みで ある模倣学習 $[18,19]$ において，大規模言語モデル を活用して制御モデルの方策を補助する枠組みに関 して検討する.

## 3 手法

本稿では，Transformer [20] をべースとした模倣学習手法である HiveFormer [21] をべースラインとし て採用する. HiveFormerでは，各時刻における複数視点からの画像とタスクの説明文を，それぞれ U-Net（セグメンテーションを行うのに一般的に使 われる畳み込みニューラルネットワーク） [22] と

CLIP（ウェブ上の大量のデータを用いて画像とテキ ストが対応するように学習させたモデル） [23] の 言語エンコーダに入力して，特徴抽出を行い，そ れらを Transformer に入力して，その出力を再び別 の U-Net に入力することで，最終的な行動（グリッ パーの位置・回転・状態の制御値）を出力する．長期的なステップ数にわたる行動の予測が必要となる が， keyframe discovery [24]を適用することで，取る 行動が大きく変化する時刻を特定し，よりマクロな ステップでの予測が可能となっている.

提案手法では, 図 1aのように, HiveFormerに与え るタスクの説明文の代わりに，大規模言語モデルへ のプロンプティングを通して得られた，処理指示文 （タスクを解く手順についての説明文）をテキスト の入力として与えることで，モデルの学習を促進す ることを目的とする。本稿では，大規模言語モデル として, ChatGPT [4]を用いて検証を行う. 図 2 は, ChatGPTへのプロンプティングとその結果の例であ る.このように，段階的な操作が必要なタスクにお いて, ChatGPT へ適切なプロンプトを与えること で，具体的な手順を説明したテキストを引き出し，制御モデルの学習効率を高めることが期待できる.

## 4 実験

本実験では，大規模言語モデルから生成された処理指示文 (タスクの解き方) によって，どの程度口 ボット制御の学習が効率化するかについて実験を 行う。具体的には，ロボット制御タスクにおいて， ChatGPT からの処理指示文がありなしの場合を比較してどれほど学習が効率化されたかを比較する。

## 4.1 シミュレーション環境とデータセット

ロボット制御のシミュレーション環境と しては，図 $1 \mathrm{~b}$ に示す RLBench データセットの PutRubbishInBin タスクを用いた. RLBench データ セットは7次元の自由度を持つ manipulatorを用いた 100 種類のロボット制御タスクを含んだベンチマー クである. 7 次元の自由度は, manipulator のグリッ パーの位置を表す 3 次元と，その回転を表す 4 次元 ベクトルを指す. PutRubbishInBin タスクはロボット 制御タスクの一つであり, 複数の物体からゴミを特定しゴミ箱に入れるタスクである.

本手法では模倣学習を用いるため，エキスパート によるデモンストレーションデータが必要となる. そのため, 100 エピソード分のエキスパートデータ
What are the 4 steps for the robotic arm to place the rubbish in the bin? The instructions must be short, informative, and concise. Please give me the coordinates of where to move it. Coordinates are given by $(\mathrm{x}, \mathrm{y}, \mathrm{z})$.

State: bin $(0.10,0.21,0.85)$, rubbish $(0.23,-0.30,0.77)$, tomato 1 $(0.22,-0.15,0.78)$, tomato2 $(0.16,-0.02,0.78)$

Instruction:

1. Move the robotic arm to the position of the rubbish: $(0.23$, $-0.30,0.77$ )

2. Grip the rubbish with the gripper on the robotic arm.

3. Move the robotic arm to the position of the bin: $(0.10,0.21$, 0.85 )

4. Release the grip on the rubbish.

図 2: ChatGPTへ与えるプロンプト（黒字）と生成さ れた処理指示文（青字）の例.

を作成し，模倣学習に用いた。

## 4.2 大規模言語モデルに与えるプロンプト

ChatGPT は，これまでの GPT-3 などのモデルとは 異なり，対話型のインタフェースを介して大規模言語モデルと「会話」することが可能である. 会話の スタイルとして, 質問応答やロールプレイなどの方法も可能だが，今回は，文章補完の形でプロンプ ティングを行った.

プロンプト文としては様々な文章が考えられる が，Hiveformer の入力として用いるにあたって，(1)処理指示に関する情報のみ生成されること，(2) 生成されるステップ数が固定であること，(3) 各処理指示の文章が冗長でないこと, (4) 実際の現在の状況に対応する処理指示が生成されること，の4つが 求められると考えた. 例えば，付録の図 4 に示すよ うに，プロンプト文の情報が不十分だと生成される 処理指示文は曖昧かつ冗長になることがある。した がって，これらの要件を満たすようにプロンプト文 を指定することで, Hiveformer の入力に適した処理指示文を生成した. 特に，ステップ数は Hiveformer のマクロステップ数と一致させることで画像情報と 言語情報がより対応づけられる形で学習が進むよう に図った.また，エピソードの初期状態をテキスト として表すことで，エピソードに対応した手順の生成を促した. 実際に使用したプロンプトと ChatGPT を通して得られた結果の例を図 2 に示す.

## 4.3 実験設定

本実験では，ベースラインとして HiveFormer [21] を用いた. HiveFormer はカメラからの RGB 画像と，距離センサからの Depth 情報（RGBD），そしてタス

(a) タスクの成功率

(b) アームの位置に関する指標

(c) アームの回転に関する指標

図 3: 学習中の評価指標とタスクの成功率に関する図. 成功率は 30 エピソード中の成功割合. 評価指標は予測値と真の値の誤差がある一定の閾值以下の時に 1 , それ以外は 0 として各イテレーションで平均を取ってい る.

ク自体の説明文を入力として模倣学習を行うマルチ タスク学習のフレームワークであるが，本実験では 1つのタスクのみを解くシングルタスク学習として 用いる。また, Hiveformerではタスク自体の説明文 (“Put rubbish in bin.”)を与えているが，本実験では， ChatGPT を用いて生成された処理指示文を与える.

よって, HiveFormerの入力として，

1. RGBD とタスクの説明文を与えた場合 (baseline)

2. RGBD とエピソード毎で固定の指示文を与えた 場合 (with fixed instruction)

3. RGBD とエピソード毎で物体の位置によっ て変化する指示文を与えた場合 (with variable instruction)

の 3 種類を用いて ChatGPT の出力する処理指示文の有効性を検証した。各実験設定における入力文章は, 付録の図 5 に示すように, baseline, fixed instruction, variable instruction の順により具体的な指示になっている.

また, 手法の評価方法としては (1) タスクの成功率の推移,(2) 学習の収束の速さの 2 点を評価した.

## 4.4 結果

図 3aに学習中のタスクの成功率を示す、横軸が 学習のイテレーション回数, 縦軸が成功率を示して いる. 図より，タスクの指示文が具体的になるにつ れて, 少ない学習回数で高い成功率を達成している ことがわかる.

また, 図 $3 b, 3 c$ に, 各手法における評価指標の値 を示している. 図より，ロボットアームの位置に関 する指標は各手法で差は見られなかったが，ロボッ トアームの回転に関する指標では，タスクの指示文
が具体的になるにつれて高い値を示しており，より 学習効率が向上しているといえる.

## 4.5 考察

本実験から，提案手法のアプローチは，段階的な 手順が必要なタスクにおいて，学習効率の向上に寄与することが確認できた。一方で，エピソードによ らず固定のタスク説明文を加えた場合との比較に おいては，改善の幅は比較的小さい結果となった. この結果から, 制御モデルの学習においては, 物体 の位置などのような各エピソードに固有の情報よ りも，タスク内で共通する一般的な操作に関する情報が，より学習効率を向上させる上での補助情報と して有効に機能しているのではないかと考えられ る. また，提案手法が，特にグリッパーの回転角の 操作に関して，大きく性能が改善した点について は，ChatGPT によるタスクの処理指示文によって， グリッパーの位置の操作に関する補助情報が得られ たために，処理指示文にない回転角の制御について の学習が促進されたのではないかと考察できる.

## 5 おわりに

本稿では，深層学習を用いたロボット制御におい $\tau$, ChatGPTへのプロンプティングによって得た言語情報を補助情報として与えた場合の学習効率へ の影響について実験を行った. RLBench データセッ トの PutRubbishInBin タスクを用いた実験結果から，言語モデルによるタスクの手順説明は，制御モデル の学習効率の向上に寄与することが確認できた. 今後は，別のタスクにおける実験を加えることで，提案手法の汎用性に関する検証をさらに進めていく。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の助成を受け たものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[3] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint arXiv:2107.13586, 2021.

[4] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai.com/blog/chatgpt.

[5] Dhruv Shah, Blazej Osinski, Brian Ichter, and Sergey Levine. Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action. 2022.

[6] Allen Z Ren, Bharat Govil, Tsung-Yen Yang, Karthik R Narasimhan, and Anirudha Majumdar. Leveraging language for accelerated learning of tool manipulation. In Workshop on Language and Robotics at CoRL 2022.

[7] Oliver Kroemer, Scott Niekum, and George Konidaris. A review of robot learning for manipulation: Challenges, representations, and algorithms. The Journal of Machine Learning Research, Vol. 22, No. 1, pp. 13951476, 2021.

[8] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

[9] Stephen James, Zicong Ma, David Rovick Arrojo, and Andrew J. Davison. Rlbench: The robot learning benchmark $\&$ learning environment. IEEE Robotics and Automation Letters, 2020.

[10] Youngwoon Lee, Edward S Hu, and Joseph J Lim. Ikea furniture assembly environment for long-horizon complex manipulation tasks. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 63436349. IEEE, 2021.

[11] Jungtaek Kim, Hyunsoo Chung, Jinhwi Lee, Minsu Cho, and Jaesik Park. Combinatorial 3d shape generation via sequential assembly. arXiv preprint arXiv:2004.07414, 2020.

[12] Seyed Kamyar Seyed Ghasemipour, Satoshi Kataoka, Byron David, Daniel Freeman, Shixiang Shane Gu, and Igor Mordatch. Blocks assemble! learning to assemble with large-scale structured reinforcement learning. In International Conference on Machine Learning, pp. 74357469. PMLR, 2022.

[13] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[14] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[15] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. arXiv preprint arXiv:2205.11916, 2022.

[16] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, et al. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691, 2022.

[17] Oier Mees, Jessica Borja-Diaz, and Wolfram Burgard. Grounding language with visual affordances over unstructured data. arXiv preprint arXiv:2210.01911, 2022.

[18] Faraz Torabi, Garrett Warnell, and Peter Stone. Behavioral cloning from observation. In IJCAI, 2018.

[19] Corey Lynch, Mohi Khansari, Ted Xiao, Vikash Kumar, Jonathan Tompson, Sergey Levine, and Pierre Sermanet. Learning latent plans from play. In Conference on robot learning, pp. 1113-1132. PMLR, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[21] Pierre-Louis Guhur, Shizhe Chen, Ricardo Garcia, Makarand Tapaswi, Ivan Laptev, and Cordelia Schmid. Instruction-driven history-aware policies for robotic manipulations. In CoRL (oral), 2022.

[22] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[24] Stephen James and Andrew J Davison. Q-attention: Enabling efficient learning for vision-based robotic manipulation. IEEE Robotics and Automation Letters, Vol. 7, No. 2, pp. 1612-1619, 2022.

## A ChatGPT を用いたプロンプティ ング例

ChatGPT を用いたプロンプティングを行うにあ たって，プロンプト文に十分な情報が含まれていな い場合，生成される手順が冗長になる傾向があるこ とが確認された. 例えば，図 4 では，「ロボットアー ムを用いて 4 ステップでゴミをゴミ箱に入れる方法 は何か」と聞いており, 実際に生成された手順は図 2 と類似している. しかし，各ステップにおける文 に不要な情報 (“This can be done by...”) が含まれて しまっている.

What are the 4 steps to put the rubbish in the bin using an robotic arm?

Instructions:

1. Position the robotic arm in front of the bin: The first step is to move the robotic arm so that it is in front of the bin and in the correct position to pick up the rubbish. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

2. Grab the rubbish: The next step is to use the robotic arm's gripper or other end effector to pick up the rubbish. This can be done by closing the gripper around the rubbish or by using a vacuum system to suck it up.

3. Move the arm to the bin: Once the rubbish has been picked up, the robotic arm needs to be moved over to the bin. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

4. Deposit the rubbish in the bin: The final step is to deposit the rubbish in the bin. This can be done by releasing the gripper or vacuum, allowing the rubbish to fall into the bin. It can also be done by using the robotic arm to place the rubbish carefully in the bin. Once the rubbish has been placed in the bin, the robotic arm can return to its starting position and wait for the next command.

図 4: 不十分なプロンプトを用いたときの, ChatGPT へ与えるプロンプト（黒字）と生成された手順（青字）の例.

## B 各手法における実際の入力文章例の比較 \\ 本実験では 3 つの実験設定を用いて有効性を検証した。各手法において，実際に Hiveformer に入力 した文章例を図 5 に示す. 図より， baseline, fixed instruction, variable instruction $の$ 順に具体的な指示に なっていることが読み取れる。
[baseline]
pick up the rubbish and leave it in the trash can.
[with fixed instruction]
1. Position the arm above the rubbish.
2. Use the arm's gripper to pick up the rubbish.
3. Move the arm to the bin.
4. Release the rubbish into the bin by opening the gripper.
[with variable instruction]
1. Move the robotic arm to the position of the rubbish: $(0.23,-0.30,0.77)$
2. Grip the rubbish with the gripper on the robotic arm.
3. Move the robotic arm to the position of the bin: $(0.10$, $0.21,0.85$ )
4. Release the grip on the rubbish.

図 5: 各実験設定 (baseline, with fixed instruction, with variable instruction) における入力文章例.


# ARKitSceneRefer: 3D 屋内シーンでの参照表現による 小物の位置特定

加藤駿弥 ${ }^{1}$ 栗田 修平 ${ }^{2}$ Chenhui Chu $^{1}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学大学院情報学研究科 2 理化学研究所 AIP
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp shuhei.kurita@riken.jp

## 概要

3D 参照表現理解は 3D シーン上でテキストが表 す物体の位置を特定するタスクである。しかし，既存の屋内 3D 参照表現理解データセットは主にサイ ズが大きく，容易に位置特定できる物体を対象と しており，ほとんど小物を扱っていなかった. そ こで我々は多様で高解像度な ARKitScenes を基と し，ARKitSceneReferを構築する. ARKitSceneRefer は 1,615 シーン中の，32,300 の屋内で使用する小物 から構成され，それぞれ参照表現がアノテーション されている. さらに 2D と 3D の state-of-the-art モデ ルを用いて実験を行い，その結果，ARKitSceneRefer は挑戦的なタスク設定であることを報告する.

## 1 はじめに

3D 参照表現理解は 3D シーンを理解する上で重要 なタスクであり，物探しロボットなどへの応用が期待される. 代表的な 3D 参照表現理解データセット に ScanRefer [1], ReferIt3D [2] が挙げられる。これら のデータセットは机，椅子，ソファーのような屋内 の家具クラスなど，比較的に大きい物体を対象にク ラスカテゴリが付与されている。しかし，家事など の応用を想定すると，より小さな物体を扱うことが 多いと考えられる．例えば，物探しロボットに机の 捜索を依頼する人はいない。また料理ロボットは食材や包丁などを扱うことが必要である.

そこで本研究では, ARKitSceneRefer という小物 を主な対象とした新しい 3D 参照表現理解データ セットを提案する. ARKitSceneRefer は大規模な屋内 3D データセットである ARKitScenes [3] に基づい ている. ARKitScenes は ScanRefer と ReferIt3D の基 である ScanNet [4] より高解像度で，多様な 3D シー ンデータセットである. ScanRefer と ReferIt3Dでは ScanNet でアノテーションされている物体のみを対

図 1 ARKitSceneRefer のデータの例. 3D シーンと拡大し た動画フレームを示す.

象としている。一方で，ARKitScenes には小物の位置がアノテーションされていないので，先行研究と は違い，以下のように小物の位置特定からデータ セットを構築する。まず，動画フレームに対して $2 \mathrm{D}$ 物体検出を行うことで，小物を抽出する。次に，抽出された小物を，カメラ視点位置から $3 \mathrm{D}$ シーン へのレイキャスティングによる位置予測とクラスタ リングを用いて 3D シーン上にマッピングすること で，3D 上での小物の座標とクラスを得る．最後に， このデータに参照表現をアノテーションする。加え て，物体検出器から得られたクラスは誤っている可能性があるので，その場合はアノテーション時に修正する。最終的に，ARKitSceneRefer は 731 クラス の物体を対象にし，1,615 シーンに 32,300 の参照表現から構成される。図 1 に ARKitSceneRefer の例を 示す.

データセット評価のため，2D と 3D の state-ofthe-art モデル $[5,6,1,7]$ を用いた. 実験の結果, ARKitSceneReferにおける小物の位置推定は，2D モ デル，3D モデルともに挑戦的であることが示され た.また，2D モデルにおいては対象物が写ってい ない動画フレームに対する検出結果がノイズとなっ ており，うまく対象物が写っている動画フレームの

図 2 ARKitSceneRefer 構築のパイプライン

みを使用することができれば，精度の向上に繋がる ことも示された.

## 2 データセット

## 2.1 データセット構築

本節では，ARKitSceneRefer の構築について述べ る. $3 \mathrm{D}$ シーンより画像のほうが解像度が高く小物 を認識しやすいので，本論文では 3D シーン構築の 基となった動画フレームから小物を認識する。ま た, ARKitSceneRefer は bounding box ではなく物体の 中心点を予測するタスクを扱う。

## 2.1.1 物体検出

まず初めに，各シーンを構築する元となった動画 を使い，動画のフレームに対して物体検出を行う。物体検出の結果はデータセットの対象となる小物 を選別するために利用する. 物体検出モデルには LVIS [8] で事前学習された Detic [9]を用いる. Detic から, $\mathrm{MSCOCO}[10]$ などで学習された従来のモデ ルより詳細なクラス情報を得ることができる. 時系列的に近い画像にはほとんど同じ物体が写ってい るため，全フレームに対して物体検出する必要がな い. よって 10 フレームごとに物体検出をする.

## 2.1.2 2D から 3D ヘのマッピング

Detic からの bounding box を得た後，中心点を動画フレーム上の座標から 3D シーン上の座標にマッ ピングする．ここで，カメラと物の距離が未知であ ることと，複数のフレームから同一物体をマッピン
グしてもカメラパラメータのノイズにより，必ず しも 1 点に収束しないことが問題となる. そこで，我々はレイキャスティングとクラスタリングによっ てマッピングする。まず，カメラ視点から 3D シー ンに対してレイキャスティングを行い，交点を求め る. そして，DBSCAN [11]によってこれらの交点を クラスタリングし，各物体の中心点を表すクラスタ を作成する。ここでは，クラスタの距離の最大値を $0.05 \mathrm{~m}$ ，最小構成点数を 3 とした. クラスタリング の結果，検証データセットにおいて平均 68.25 のク ラスタが得られる.

## 2.1.3 物体選択

物体選択はクラス選択, シーン選択, 対象物体選択 の 3 つのステップからなる. まず，物体検出の結果 には色々なサイズの物が混ざっているので，対象と なる小物を選択するため，クラス選択を行う．検出 されたすべての物体のクラスを見て，両手で掴める 程度の大きさ (例: コーヒーメーカー)を目安とし て，小物となるクラスを選ぶ. この結果，クラス数 は 1151 から 794 となる. 次に，シーンの多様性と 均等性のため，シーン選択を行う。アノテーション するシーンは同じ部屋ごとに 1 つとし，同じ部屋の 中で最も物体が多く，かつ物体が 20 以上あるシー ンをアノテーション対象とする。この結果，シー ン数は 5,047 から 1,615 となる. 最後に，アノテー ションする物を決めるため，対象物体選択を行う。対象物体数は 1 シーンにつき，20 とする．検出回数 が少ないクラスの物体の数を増やすため，ランダム に対象物体を選ぶのではなく，検出回数の低いクラ
表 1 3D 参照表現理解データセットの比較

スの物体から順に 1 つずつ選ぶ. この結果，データ セット全体のクラス数は 612 となる.

## 2.1.4 アノテーション

上記のプロセスを実行することで，何もアノテー ションされてない $3 \mathrm{D}$ シーンから，小物の位置情報 を手に入れることができる. データセット構築の 最後のプロセスとして, Amazon Mechanical Turk ${ }^{1)}$ 上 でアノテーションを行う．ワーカーは，3D シーン，対象物体の写っている 3 枚の画像，対象物体のクラ スを参照できる. 画像は bounding box の面積が大き いものの中からランダムに選ばれており, bounding box 可視化することでワーカーが対象物体の場所 を把握しやすくなっている。 さらにワーカーが対象物体と他の物体を明確に認識しやすいように，3D シーン上にあるすべての物体や各タスクのすべての 対象物体の位置が可視化できるようになっている.実際のインターフェースは付録を参照されたい。 ワーカーはこれらの情報を参考にしながら，対象物体に対して，明確にそれらが区別できるように，参照表現をアノテーションする. さらに, Detic から得 られたクラスは間違っている場合もあるので，ワー カーは，クラスが間違っている場合は正しいクラス を選ぶようにする.このときの語彙はDetic と同様 の LVIS を用いる. クラス修正の結果，ワーカーは $40.72 \%$ のクラスを修正し, データセットのクラス 数は 731 となった. 間違って Detic に小物と認識さ れたものがワーカーによって小物ではないクラスに 修正されたデータが $4.80 \%$ あるので，すべてのデー タが小物ではないことに注意しなければならない.

## 2.2 データセットの統計

我々は 1,615 の 3D シーンに各 20 ずつ，計 32,300 もの参照表現が付与されている小物を対象とした データセットを構築した. 各物体には平均で 10.01 語の参照表現が付与されている. 参照表現は屋内 の物体の 731 クラスを含んでいる. 表 1 に既存の

1) https://www.mturk.com/

ScanRefer

図 3 ARKitSceneRefer (上) と ScanRefer (下) の頻度の高い クラスの分布

3D 参照表現データセットとの比較を示す. 我々 のデータセットは $3 \mathrm{D}$ シーンとクラスの 2 つ点 で，既存のデータセットより大規模である．図 3 に ARKitSceneReferr と ScanRefer のクラス分布の比較を示す。例えば，ScanReferでは “table”, “door”な ど大きい物体のクラスが多くなっている. 一方で, ARKitSceneRefer では, “box”, "jar”など ScanRefer と 比べると小物のクラスが多いことがわかる。このク ラス分布により，我々のデータセットは小物に焦点 を置いていることがわかる.

## 3 実験

## 3.1 実験設定

本研究では, $2 \mathrm{D}$ 手法と $3 \mathrm{D}$ 手法を用いて評価し た. $2 \mathrm{D}$ 手法は動画フレームと参照表現を入力と し，参照表現に対応する bounding boxを予測する. bounding box の中心はレイキャスティングによって $3 \mathrm{D}$ シーンにマッピングされ, 各動画フレームごと の 3D シーン上の予測座標が得られる。これらをク ラスタリングし, 点数の最も多いクラスタの中心点
表 $22 \mathrm{D}$ モデルと $3 \mathrm{D}$ モデルの比較

を最終的な予測とする。一方, $3 \mathrm{D}$ 手法は点群と参照表現を入力とし，直接参照表現に対応する物体の 3D シーン上の座標を予測する. ARKitSceneRefer で は，参照表現に対応する物体の 3D シーン上の中心点を予測するタスクを扱うので，評価指標には点間 のユークリッド距離を用いた. Acc@d (\%) では距離 が $\mathrm{d}$ 以下であれば正解とみなした．また，参考とし て距離平均も評価した。

2D モデルとして, RefCOCOg [12] で fine-tuning さ れた MDETR [5] と OFA [6] を用いた。また以下の 2 つの手法で比較した。
- MDETR-random と OFA-random: 動画フレームを ランダムに $1 / 10$ だけサンプリングして大力と して使用する。

・OFA-Detic: 動画フレームをランダムにサンプリ ングした後, Deticを用いて物体検出し, 検出ク ラスが参照表現に含まれる動画フレームのみ入力として使用する.

クラスタリングには DBSCAN [11]を用いた。クラ スタの最大距離は $0.02 \mathrm{~m}$ で, 最小構成点数は 1 と した.

3D モデルとして, ScanRefer [1] と 3DVGTransformer [7] を用いた. 点群の頂点数は 200,000と した。言語特徴量には GloVE [13] を用いた.

## 3.2 定量的評価

表 2 に ARKitSceneRefer で $2 \mathrm{D}$ 手法と 3D 手法を 評価した結果を示す. OFA-Detic を除いた 2D 手法と 3D 手法を比較すると, Acc@0.1においては MDETR-random が $7.77 \%$, OFA-random が $8.55 \%$ であ るのに対し，ScanRefer が 1.88\%，3DVG-Transformer が $2.65 \%$ と 2D 手法のほうが優れていたが，そ の他の評価指標については, 例えば Acc@0.5に おいては MDETR-random が $13.22 \%$, OFA-random が 14.05\%であるのに対し, ScanRefer が 19.74\%, 3DVGTransformer が $24.89 \%$ であり，3D 手法のほうが優れ ていた。これは $3 \mathrm{D}$ 手法は $3 \mathrm{D}$ シーン全体を参照で きるので，対象物体が認識できなくてもおおよそ

図 4 モデルの出力例

の位置を当てることができるが，2D 手法は動画フ レームに対象物体が写っていない予測がノイズにな るからである。また OFA-Detic はその他の手法をか なり上回っていることから，対象物体が写っている と推測される動画フレームのみ入力に使用するとノ イズが削減され，精度が向上することが示された。

## 3.3 定性的評価

図 4 に 3DVG-Transformer, OFA-Detic, ground truth の比較結果を示す. 左の 2 つの結果は 3DVGTransformer がグランディングに成功し, OFA-Detic が失敗している例である。前述したように，OFADetic の予測精度は入力動画フレームにかなり依存しており，ノイズが多いと無関係な場所を予測してしまう. 右の結果は OFA が位置特定に成功し, 3DVG-Transformer が失敗している例である. 3DVG-Transformer は “on the corner” は捉えられてい るものの “near two windows”は失敗している。この ように，3D 手法は薄いもの (例: タオル)を捉えるこ とができないことがある．一方で画像であれば，正面から撮ることで物の厚みを考慮せず認識できる。

## 4 おわりに

本論文では，小物の位置特定のための新しい 3D 参照表現理解データセットである, ARKitSceneRefer を紹介した. ARKitSceneReferには，1,615の ARKitScenes の 3D シーンに対して 32,300 の参照表現が 付与されている. ARKitSceneRefer では, 3D モデル はあまり精度が良くなかったが，2D モデルは入力 の動画フレーム次第では精度が向上することを確認 した. 今後の課題として, 3D モデルの精度を改善 することが挙げられる.

## 謝辞

本研究は JST さきがけ JPMJPR20C2, JSPS 科研費 22K17983 および サムスン SDS 株式会社の支援を受 けたものである.

## 参考文献

[1] Dave Zhenyu Chen, Angel X Chang, and Matthias Nießner. Scanrefer: 3d object localization in rgb-d scans using natural language. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020.

[2] Panos Achlioptas, Ahmed Abdelreheem, Fei Xia, Mohamed Elhoseiny, and Leonidas J. Guibas. ReferIt3D: Neural listeners for fine-grained 3d object identification in real-world scenes. In Proceedings of the 16th European Conference on Computer Vision (ECCV), 2020.

[3] Gilad Baruch, Zhuoyuan Chen, Afshin Dehghan, Tal Dimry, Yuri Feigin, Peter Fu, Thomas Gebauer, Brandon Joffe, Daniel Kurz, Arik Schwartz, and Elad Shulman. ARKitscenes - a diverse real-world dataset for $3 \mathrm{~d}$ indoor scene understanding using mobile RGB-d data. In Thirtyfifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), 2021.

[4] Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

[5] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1780-1790, October 2021.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[7] Lichen Zhao, Daigang Cai, Lu Sheng, and Dong Xu. 3dvgtransformer: Relation modeling for visual grounding on point clouds. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 2928-2937, 2021.

[8] Agrim Gupta, Piotr Dollar, and Ross Girshick. Lvis: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[9] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.
[10] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015.

[11] Martin Ester, Hans-Peter Kriegel, Jörg Sander, and Xiaowei Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, KDD’96, p. 226-231. AAAI Press, 1996.

[12] Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy. Generation and comprehension of unambiguous object descriptions. In CVPR, 2016

[13] Jeffrey Pennington, Richard Socher, and Christopher D Manning. GloVe: Global vectors for word representation. In Proceeding of Empirical Methods in Natural Language Processing (EMNLP), 2014.
表 3 OFA-oracle と OFA-upperを加えた精度の比較

図 5 水色の bounding box は OFA のグランディング予測結果を表す. 左の例は対象物体を含むが，右の例は含ま ない.

## A 2D 手法の精度の最大値

入力動画フレームによってどのように精度が変化 するのか検証するため，新たに以下の 2 つの設定を 加えて実験した。

1. OFA-oracle: 動画フレームをランダムにサンプ リングした後，Deticを用いて物体検出し，検出 クラスがアノテーションされているクラスと一致するなら入力として使用する.

2. OFA-upper: アノテーション時にワーカーに見 せた 3 枚の動画フレームのみ入力として使用 する。

表 3 はその実験結果を示している. OFA-oracle は OFA-random と OFA-Detic を上回っている. さらに， OFA-upper は OFA-oracle を大きく上回っている.こ の結果から，動画フレームに対象物体が写っていな いと予測がノイズとなり，精度の低下を招くことが わかる。

## B より詳細な 2D モデルの定性的評価

動画フレームに対象物体が含まれていない場合， OFA がどのような出力をするのか検証する. 図 5 に 対象物体を含む結果と含まない結果を示す. 対象物体を含むフレームに対しては正確に予測している が，対象物体を含まないフレームに対しては関係の ない場所を予測している。この誤りがノイズとな り，正確な予測を妨げる。

図 6 アノテーションインターフェース

表 4 ARKitSceneRefer の統計

## C アノテーション

図 6 にアノテーションインターフェースを示す。 1 タスクが 5 つの対象物体を含むように設計し， ワーカーの国をアメリカ，カナダ，イギリス，オー ストラリアに限定して，アノテーションを行った. また，ワーカーは 6 単語以上の参照表現を書かなけ ればならないように設定した。

## D データセットの分割

表 4 に示されるように，データセットを訓練, 検証, テストに分割した.


# 短歌を読む際の情動に関する脳活動の解析

佐藤 杏奈 1 近添 淳一 ${ }^{2}$ 船井 正太郎 ${ }^{2}$
持橋 大地 ${ }^{3}$ 鹿野 豊 4 浅原 正幸 5 磯 暁 6 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ
3 統計数理研究所 4 群馬大学 5 国立国語研究所 6 高エネルギー加速器研究機構
\{g1920519, koba\}@is.ocha.ac.jp \{chikazoe_junichi, funai_shotaro\}@araya.org
daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp

## 概要

本研究では，詩や短歌といった言語芸術が誘起す る情動がヒト脳内においてどのように表現されるの かを調査する. とくに本研究では短歌を取り上げ， fMRI 内で提示した短歌を読んだ際の被験者の脳活動を観測し，BERT や GPT などの汎用言語モデルを 通じて抽出された言語特徴量を入力として脳内状態 を推定する符号化モデルを構築し脳内状態を推定し た. 被験者が「詩的である」,「詩的でない」と感じ るのはヒト脳内でどのような処理が行われている ことに起因しているのかについて調査を行った結果，GPT を用いた際に，情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた.

## 1 はじめに

近年では, 磁気共鳴装置 (fMRI) や脳磁図 (MEG) などの非侵襲的な脳機能計測技術の発展と, 深層学習に代表される機械学習技術の高度化により, ヒト 脳内の情報処理プロセスの解明や定量的理解を行う 研究が盛んになっている [1]. 論理的な情報処理能力と共に，情動に関する情報処理能力はヒトの知能 を解明する上で重要であり, 本研究ではヒト脳内の 情動に関する処理プロセスの解明を目的とし，統計 モデルを通じた調査を行う。

## 2 関連研究

近年，脳神経科学において脳内に生起する意味表象が知覚カテゴリとしてどのように大脳皮質上 に構成されるかについても明らかにされてきてい る $[2,3]$. とくに自然言語の単語の意味をべクトル として表現する word2vec [4] が出現して以来，ヒト脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状態の推定に利用されるようになっている $[5,6,7]$. Schrimpf ら [5,6] は, 43 個の様々な汎用言語モデル を用いて言語刺激を特徴量として表現し，ヒト脳活動との対応関係を調査した. Caucheteux ら [7] は脳内状態を表現する特徴量として性能が良いとされる GPT-2 [8] について詳細な調査をしている.

ヒト脳活動における情動を対象に解析したもの として，Kim ら [9] は音楽刺激下の被験者の脳活動 を fMRI で観測したデータから感情反応を推定し，人間の感情処理に関連する特定部位の反応が優位 になったことを確認している. Koide-Majima ら [10] は，動画視聴時の脳活動を fMRIを用いて計測し， その刺激となった動画クリップに対して注釈づけさ れた 80 個の感情表現との相関をとり, 脳内における 感情の分布を調べている。また，Satpute ら [11] は，言語が情動にどのような役割を担っているかについ て神経科学の文献をレビューすることによって調査 をしており，言葉の意味処理に関わる脳領域は，と くに情動に関する表現内容を保持するという考えを 示唆する証拠が得られたことを報告している.

このようなアプローチに対して, 本研究では, 自然言語を処理する深層学習モデルを作業モデルとし て利用し，様々な刺激下のヒト脳内に直接の反応と して表出される感情を扱うのではなく，言語芸術で ある短歌によって誘起される感性や感覚に近いヒト 脳内情動活動を対象に調査を行う。

## 3 言語刺激下の脳活動解析

## 3.1 実験概要

本研究の概要を図 1 に示す. 言語モデルの中間層から抽出した表現べクトルを特徴量として使用

図 1: 詩的と感じるまたは感じないときの脳の振る舞いの調査の流れ.

し，符号化モデル (3.3 節参照) を用いて脳活動を推定する。深層学習モデルの各階層が表現できる情報 がどのように遷移するかを調べるため，各階層から 符号化モデルを構築し. 予測された脳活動を用いて RSA(3.4 節参照)を行い，関心領域 (ROI) の振る舞い を表す，ROI $\times$ ROI の $\operatorname{RDM}($ 図 $1(※), 3.4$ 節にて後述) を作成する.

## 3.2 被験者実験

本研究の被検者は 18 歳から 34 歳までの日本人 32 名で，脳画像データは fMRIにより取得した. 実験 では,『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる短歌と, 同じ 31 文字の平文各 150 文を fMRI 内で提示し, それが詩的と感じるかどうかを 手元のボタンで解答させた. 短歌または平文は 3 行 に分けて，それぞれ 3 秒間提示された後，「詩的で あると感じますか？」と記載された質問スライドが 3 秒間提示される (図 1 参照). 1 試行の所要時間は 12 秒であり， 50 試行を 1 セッションとし，6セッ ションを行った. 文は各セッション内で参加者ごと にランダムな順に提示され, 各セッションは短歌 25 首，平文 25 文で構成される。脳画像データは, FreeSurfer ${ }^{1}$ を用いて解析を行い，それにより抽出さ れた大脳皮質のボクセルのみを分析に用いた。ま た，脳領域区分アトラスには FreeSurfer で提供され る Destrieux Atlas [12]を用いた。

## 3.3 符号化モデル

本研究における符号化モデル (Encoding model) の 構築手法は，Naselaris ら [13] によるものを採用し た. 符号化モデルの構築方法として, ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。一般的に線形回帰にはリッジ回帰が適用され, 回帰係数 を観察することでボクセルに対する振る舞いを観察 することなどが可能となる.

## 3.4 表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis, RSA) は, Kriegeskorte ら $[14,15]$ によって提案され た手法である．RSAを用いることにより，比較対象となる二つのパターンの非類似性は，それらの 距離に対応するものとして表現される. 全てのぺ アの表現距離 (または非類似度)を測定すること で, Representational Dissimilarity Matrix(RDM) を作成 でき，また，RDM 同士の相関を計算し様々な表現 を比較することが可能になる。本研究では非類似度 として相関距離 (1-ピアソン相関係数) の值を使用 する。

## 4 実験

## 4.1 符号化モデル作成

ヒト脳に与えられた刺激の特徴量から脳内状態を 推定するために，符号化モデルを構築する． 1 枚の スライドが提示されている間，そこに表示されてい る文で埋めて言語データを構築し, 脳データと対応 づけた。質問スライドが表示されている間は，直前 に表示されていた短歌もしくは平文に，「詩的であ ると感じますか？」という文を加え，言語データと した.

言語モデルの中間層から抽出した言語特徴量を説

1) https://surfer.nmr.mgh.harvard.edu/
明変数として脳活動データを予測する符号化モデ ルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し, fMRI で観測された脳活動データをその 3 9TR2) 前の該当区間全ての言語特徴量から予測する形で回帰を 行う. 全 6 セッションのうち, 1 セッションをテス トデータ，残り 5 セッションを訓練データとし，各 セッションの脳活動データを予測した. また, 訓練 データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 $\alpha$ を $\left[10^{1}, 10^{6}\right]$ におけ る 15 個の値の中から採用した。

## 4.2 実験設定

本研究では，言語特徴量を表現する言語モデルと して BERT [16] と GPT [17]を使用する. 事前学習モ デルとして, $\mathrm{BERT}_{\text {large }}{ }^{3}$ ) と $\mathrm{GPT}_{1 b}{ }^{4}$ (共に 24 層) を 採用し，以下の 2 ステップで Multi-step fine-tuning を 行った.

短歌の学習 それぞれ，BCCWJに含まれる実験 で使用していない短歌 3571 首 (訓練データ $90 \%$ ) で fine-tuning を行った. 学習タスクはそれぞれ事前学習として採用されている, BERT は Masked Language Modeling(15\%), GPT は Causal Language Modeling を 使用した.

詩的感覚の有無の分類 被験者毎に, 実験に使用した短歌平文 300 文を, 被験者が fMRI 実験で 詩的と感じる・感じないと回答した結果に合わせ てラベル付けをし, huggingface $の$ transformers ${ }^{5}$ )で提供されている, BertForSequenceClassification と GPT2ForSequenceClassification を使用し fine-tuning を行った. この時, 符号化モデル構築時に訓練デー タとなる 5 セッションで提示された 250 文を訓練 データとした.

また，解析では被験者間で平均をとるため，符号化モデルの精度が低い被験者のデータがノイズ になってしまうことを鑑み，(1) 短歌もしくは平文, 詩的と感じる・感じないでラベル付けをした とき，マクロ $F_{1}$ スコア >0.85であり，(2) 事前実験 (fine-tuning をしていない事前学習モデルから抽出し た特徵量を使用)での予測脑活動が，実験で計測さ れた脳活動に有意な正の相関がある $(p<0.01)$ 被験
=0.75$ 秒

3) https://huggingface.co/cl-tohoku/ bert-large-japanese

4) https://huggingface.co/rinna/japanese-gpt-1b

5) https://github.com/huggingface/transformers
}

BERT

GPT

図 2: 中間層 $\times$ 中間層の RDM.

者 7 名のみを解析の対象とした。

## 4.3 実験結果

言語モデル各階層の予測脳活動を詩的と感じる (Poetic)もしくは感じない (Unpoetic) に分け，それぞ れで，ROI 毎に時間×時間の RDM を作成する. 本研究では. 実測脳活動と予測脳活動に相関がないと いう帰無仮説のもと. False discovery rate $(\mathrm{q}<0.05)$ 補正を適用する. 帰無仮説が棄却され. かつ. 実測脳活動との相関が正となったボクセルのみを使用して RSAを行う。

ROI 毎に作成された RDM を比較することで ROI $\times \operatorname{ROI}$ の $\operatorname{RDM}($ (図 $1(※))$ を作成する。その RDM を 被験者間で平均をとったのち，各階層で詩的と感じ るもしくは感じないで作成された (階層数 $\times 2$ ) 個の RDM を比較することで，層×層の RDM を作成した (図 2).

さらに上記 2 つの RDM を 1 つにしたRDMを UMAP [18] を用いて 3 次元に次元圧縮をし, 可視化 する (図 3).

次に，他の様々な ROI と類似した情報表現を持 つ，脳内情報のハブとなっている ROIを見つけるた め, PageRank アルゴリズム [19]を用いて解析を行 う。ROI 間の非類似度を表している RDM(図 $1(※))$ を， (1- 非類似度) とすることで相関行列を作成し， この相関行列を遷移確率行列として PageRankアル

図 3: RDM の次元圧縮結果.
(a) 7 層目

(c) 23 層目

図 4: GPT 各階層における PageRank 値の差分 (詩的と感じる (赤) vs. 詩的と感じない (青)).

ゴリズムを適用する。具体的に， $B_{P_{i}}$ は相関行列 $P_{j}$ から遷移する可能性のある相関行列の集合とし，相関行列 $P_{i}$ における PageRank である $r\left(P_{i}\right)$ をべき乗法で以下のように求める.

$
r_{k+1}\left(P_{i}\right)=\sum_{P_{j} \in B_{P_{i}}} \frac{r_{k}\left(P_{j}\right)}{\left|P_{j}\right|}
$

各階層, 詩的と感じる・感じないの各 RDM に 対して上記 PageRank アルゴリズムを適用し, $\left(r\left(P_{\text {poetic }_{i}}\right)-r\left(P_{\text {unpoeti }_{i}}\right)\right)$ として差分を取ったもの を図 4 に示す.ここでは，詩的と感じる・感じない の非類似性が高かった GPT の結果のみを示す.赤 い部分が，減算後値が大きくなった,つまり詩的と 感じる時により PageRank 値が高かった脳領域であ り. 青い部分が詩的と感じない時により PageRank 値が高かった脳領域である。

## 4.4 考察

図 2 において, BERT では各階層同士で Poetic に 対する Unpoetic の非類似度が他層に比べ低くなって いる一方で，GPTではその値の低下は小さい. よっ て，GPT は詩的と感じているときと感じていないと きでは. 各階層でより異なる情報表現を持っている と言える.

図 3 において, BERT と GPT どちらも徐々に情報 が遷移していることから, 深層学習モデルの各階層 が説明できる脳活動は階層が進むに従って変化して いることがわかる.

図 4 では，低層，中層，高層として GPT の 7，16， 23 層目での PageRank 值の差分を可視化している.他の階層や BERT での結果については一部付録 6.3 節で示している。ほとんどの層において，後頭葉 (図 $4 \mathrm{a}$ 参照) で差分後の値が正，つまり，詩的と感 じているときの方がより，後頭葉周辺のハブ性が強 くなっていることがわかった。この値は低層の方が大きく，10 層目あたりをピークに層が進むにつれ て小さくなっていった。また，殆どの層において左島皮質，左中心前溝 (図 $4 \mathrm{a}, 4 \mathrm{c}$ 参照) 周辺の值が大き くなった．島皮質は情動と密接な関係があるとされ る大脳辺縁系の一部であり，BERT の高層でも同様 にハブ性が強くなることが確認できた (付録 6.3 節参照).

中層では，帯状回周辺で值が大きくなる様子が見 られた。帯状回は，大脳辺縁系の各部位を結びつけ る役割があり，感情の形成と処理に関わりを持つ領域と言われている。詩と散文を読んだときの脳活動 を調査した先行研究 [20] では，文の情動性が上がる につれて活性化した脳領域として，帯状回が挙げら れている。また，高層では，情動の処理に重要な役割を果たしているとされている [21], 左眼窩前頭皮質 (OFC) が赤くなる様子が見られた.

## 5 おわりに

本研究では，詩的であるという情動がヒト脳内に おいてどのように表現されるのかを言語モデルの中間層から予測した脳活動に対して，RSAを用いて調査を行った. PageRankを用いて ROI のハブ性を調 べた結果，GPT において情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた。一方で，後頭葉や中心前溝など，情動と関係しているとされて いない領域でもハブ性が見られた。

今後は，解析対象の被験者を増やした時の結果の 考察を行うつもりである。また，短歌を読んだとき のヒト脳内と深層学習モデルでの階層処理について の調査，考察も進めていきたい。

## 参考文献

[1] Daniel L. K. Yamins, Ha Hong, Charles F. Cadieu, Ethan A. Solomon, and James J. Seibert, Darren an d DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, Vol. 111, No. 23, pp. 8619-8624, 2014.

[2] Alexander G Huth, Shinji Nishimoto, An T Vu, and Jack L Gallant. A continuous semantic space describes the representation of thousands of object and action categories across the human brain. Neuron, Vol. 76, No. 6, pp. 12101224, Dec 2012

[3] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Vol. 26, , 2013.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020

[6] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[7] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[9] Hyun-Chul Kim, Peter A. Bandettini, and Jong-Hwan Lee. Deep neural network predicts emotional responses of the human brain from functional magnetic resonance imaging. NeuroImage, Vol. 186, pp. 607-627, 2019.

[10] Naoko Koide-Majima, Tomoya Nakai, and Shinji Nishimoto. Distinct dimensions of emotion in the human brain and their representation on the cortical surface. NeuroImage, Vol. 222, p. 117258, 2020

[11] Ajay B. Satpute and Kristen A. Lindquist. At the neural intersection between language and emotion. Affective Science, Vol. 2, No. 2, pp. 207-220, 2021.

[12] Christophe Destrieux, Bruce Fischl, Anders M. Dale, and Eric Halgren. Automatic parcellation of human cortical gyri and sulci using standard anatomical nomenclature. NeuroImage, Vol. 53, No. 1, pp. 1-15, 2010.

[13] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[14] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008

[15] Nikolaus Kriegeskorte and Rogier A Kievit. Representational geometry: integrating cognition, computation, and the brain. Trends Cogn Sci, Vol. 17, No. 8, pp. 401-412, Aug 2013 .

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. cite arxiv: 1810.04805 Comment: 13 pages.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[18] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[19] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital Library Technologies Project, 1998.

[20] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[21] Junichi Chikazoe, Daniel H Lee, Nikolaus Kriegeskorte, and Adam K Anderson. Population coding of affect across stimuli, modalities and individuals. Nature Neuroscience, Vol. 17, No. 8, pp. 1114-1122, 2014.

## 6 付録 (Appendix)

## 6.1 実験データ

3.2 節にて述べた対象被験者は，男性 15 名，女性 17 名の合計 32 名である. 脳画像データの撮像は,生理学研究所に設置された 3.0 テスラの $\mathrm{MRI}$ (シー メンス社製) を用いて取得された. 解剖学的スキャ ンの撮像条件は，TR0.75 秒，ボクセルサイズ $2.0 \mathrm{~mm}$ $\times 2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm}$ である.

## 6.2 非類似度の可視化

図 2 では, BERT とGPTにおいて, 詩的と感じ る・感じないときの各階層の非類似性を RDM で示 した.このときの Poetic に対する Unpoetic の非類似度を示す (図 5).

layer

図 5: Poetic-Unpoetic 間の各階層における非類似度.
BERT と GPT2 どちらでも，8 層目あたりで非類似度があがり，その後は BERT は徐々に上がり, GPT では下がる様子が見られた。

図3の異なる角度からの可視化結果を示す。

図 6: RDM の次元圧縮結果 (図 3 別角度).

## 6.3 PageRank の差分結果

4.3 節で述べられているように, PageRank アルゴ リズムを用いてハブ性を調査した。本文に掲載でき なかった BERT と GPT の一部階層について，(詩的 と感じる-詩的と感じない)の差分結果を示す.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

24 層目

図 7: BERT 各階層における PageRank 値の差分.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

21 層目

24 層目

図 8: GPT 各階層における PageRank 値の差分.


# 分散的ベイズ推論としての マルチエージェント強化学習と記号創発

江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

人間は会話や文章などの言語 (メッセージ) を通じ て他者とコミュニケーションを取ることで，互いに 協調した行動を学習することができる．ロボット同士が人間と同様のアプローチで協調行動を学習す るためには，ロボット間で互いに理解できる共通言語を創発するモデルが必要となる. 本稿では，エー ジェント自らが創発した記号を用いてコミュニケー ションすることで，協調行動を学習・生成すること ができる確率的生成モデルを提案する．実験では，学習したモデルを実環境のタスクに適用し，2 台の ロボットが創発した記号によるコミュニケーション を通して，環境に適した協調行動を生成できること を示す.

## 1 はじめに

人間は生まれてから未分化な認識世界の中で活動 を始め, 外部の環境との相互作用を通じて様々な概念や言語，行動を獲得することができる. また，獲得した言語を用いて他者とコミュニケーションを取 ることで，互いに協調した行動を学習することがで きる.このように，人間同士が記号を介してコミュ ニケーションを取ることで，両者の間で理解できる 共通言語が形成されていく過程を，コミュニケー ションの創発と呼ぶ.これまでに，コミュニケー ションの創発に基づくアプローチで，エージェント 同士で記号を創発し，タスクを実行する様々な研究 がなされてきた $[1,2]$. さらに，近年ではコミュニ ケーションの創発を深層強化学習に拡張すること で，より複雑なタスクへの応用が可能であることが 示されている $[3,4,5,6]$. 一方で，谷口らによって，人間の言語獲得の基礎となる一部の発達過程を実現 したメトロポリス・ヘイスティングス名付けゲーム

図 1 提案手法のグラフィカルモデル

図 2 M-H 法により分割したモデル

と呼ばれる言語ゲームが提案されている $[7,8]$. 文献 $[7,8]$ では，同ゲームを用いて 2 体のエージェン トがコミュニケーションを取ることで記号を創発 し，物体の概念を形成できることを示している。こ の手法では，確率的生成モデルを用いることでコ ミュニケーションの創発を実現している. しかし, このアプローチで協調行動を学習し，実環境のタス クを遂行できるようなモデルは，未だに確立され ていない，そこで本稿では，メトロポリス・ヘイス ティングス名付けゲームと強化学習と組み合わせる ことで，生成モデル的アプローチでエージェントが 協調行動を学習することができるモデルを提案す る. 実験では，学習したモデルを実環境のタスクに 適用し，2 台のロボットが創発した記号を用いて環境に適した協調行動を選択できるかを検証した。

## 2 提案手法

## 2.1 モデルと生成過程

図 1 に提案手法のグラフィカルモデルを示す. $z$ はエージェントの内部状態を表現する潜在変数で あり， $m$ はエージェント間で生成されるメッセー ジ（共通言語）を表現する潜在変数である. 提案モ デルでは，2 体のエージェント間で共有されたメッ セージ $m$ によって各エージェントの内部状態 $z, z^{\prime}$ を 決定し，協調行動を生成することを仮定している。

$
\begin{gathered}
z \sim P(z \mid m) \\
o \sim P(o \mid m) \\
a \sim P(a \mid z) \\
x \sim P(x \mid z)
\end{gathered}
$

$x, a$ は各エージェントの観測と行動である. 本稿で は，確率的な推論 (Control as Inference [9]) による制御に基づいた, 両エージェントの行動の最適制御問題を考える. そのため，一般の強化学習における報酬の代わりに，最適性変数と呼ばれる二値の確率変数 $o \in\{0,1\}$ を用いる. 最適性変数とは, 両エー ジェントの行動の適切さを評価する変数であり, $o=1$ が最適であることを表し, 行動の最適性を確率 $p(o=1 \mid m)$ で表現する.

## 2.2 メトロポリス・ヘイスティングス名付 けゲームによる $m$ の推論

内部状態 $z, z^{\prime}$ と最適性 $o$ から, 各エージェントの 行動パターンと，それらに対する最適性の関係を表現するメッセージ $m$ を推論する.

$
m \sim p\left(m \mid z, z^{\prime}, o\right)
$

しかし，式 (5)では，自身からは観測できない相手 の内部状態 $z^{\prime}$ が含まれており，直接計算することが できない. そこで，文献 $[7,8]$ と同様に，メトロポ リス・ヘイスティングス名付けゲームを用いる。こ の手法では Metropolis-Hastings (M-H) 法 [10] を用い ることでモデルを図 2 のように分割することがで き，互いに内部状態を知ることなくメッセージ $m$ を 推論することができる．M-H 法では，両者は提案分布からサンプリングした $m^{*}$ を相手に提案し，相手 はそれを受理または棄却することを繰り返すこと で，目標分布からのサンプルを生成することが可能 な手法である。まず，求めたいサンプルは両者の内部状態 $z, z^{\prime}$ と最適性変数 $o$ の関係を表現したメッ
セージ $m$ であるため，目標分布は次式となる。

$
\begin{aligned}
P(m) & =p\left(m \mid z, z^{\prime}, o\right) \\
& \approx p(m \mid z, o) p\left(m \mid z^{\prime}, o\right)
\end{aligned}
$

ただし，この式変形には Product-of-Experts (PoE) 近似を用いた。次に，エージェント A がメッセージを 提案するため，提案分布は次式となる。

$
Q\left(m^{*} \mid m\right)=p(m \mid z, o)
$

この提案分布従い，エージェント Aが新たなサンプ ル $m^{*}$ を生成し，B に提案する。 B は提案された $m^{*}$ を自身の予測に基づき，次式の受理確率に従って，受理または棄却するかを決定する。

$
\begin{aligned}
r & =\frac{P\left(m^{*}\right) Q\left(m \mid m^{*}\right)}{P(m) Q\left(m^{*} \mid m\right)} \\
& =\frac{p\left(m^{*} \mid z, o\right) p\left(m^{*} \mid z^{\prime}, o\right) p(m \mid z, o)}{p(m \mid z, o) p\left(m \mid z^{\prime}, o\right) p\left(m^{*} \mid z, o\right)} \\
& =\frac{p\left(m^{*} \mid z^{\prime}, o\right)}{p\left(m \mid z^{\prime}, o\right)}
\end{aligned}
$

式 (9) は式 (7) と式 (8)を用いることで，式(11)のよ うに変形することができ，エージェント Aから提案された $m^{*}$ の受理確率は，エージェント B のパラ メータのみで計算できる。すなわち，相手の内部状態を知ることなく，M-H 法に基づく受理/棄却を判断することができる。

以上の手順を役割を交代しながら，収束するまで 繰り返し，最適なメッセージ $m$ を推論する。本稿で は，このメッセージ $m$ をやり取りすることがコミュ ニケーションであると考え，このコミュニケーショ ンによってマルチエージェントの最適な行動選択が 可能となる.

## 2.3 エージェントの内部状態 $z$ の推論

2.2 節で学習したメッセージと各エージェントの 観測に基づき，次式のようにエージェントの内部状態 $z$ のパラメータを推論する.

$
z \sim p(z \mid m, a, x)=\frac{p(x, a \mid z) p(z \mid m)}{p(x) p(a)}
$

また，行動予測時にはクロスモーダル推論によって 行動決定する。

$
a \sim p(a \mid m, x)=\int_{z} p(a \mid z) \frac{p(x \mid z) p(z \mid m)}{p(x)} d z
$

本稿では，このような潜在変数の推論とクロス モーダル推論が可能な Multimodal Latent Dirichlet Allocation(MLDA)[11] 拡張した手法 [12]を用いる.

## 2.4 メッセージの創発と行動決定

学習時には 2.2 節のコミュニケーションによる メッセージの推論と，2.3 節の各エージェントの内部状態の推論を Algorithm 1 のように繰り返すこと で，各確率分布のパラメータを更新する. これによ り, 各エージェントの観測 $x, x^{\prime}$ と最適性 $o$ から協調行動を表現するメッセージ $m$ を創発することがで きる.

行動決定時には，学習したパラメータを固定し最適性を $o=1$ として Algorithm 1 を実行し，メッセー ジ $m$ と内部状態 $z, z^{\prime}$ を推論する. 推論されたパラ メータに基づいて，式(13)のクロスモーダル推論に 基づき，行動決定することができる。

## 3 実験

実ロボットを用いたタスクにより，提案手法の有効性を確認した。

## 3.1 実験設定

実験環境を図 3 に示す、ロボットは ROBOTIS 社 の turtlebot3(手前側) と turtlebot2(奥側)を使用した1).障害物 (大) の位置は固定，障害物 (小) は左右どちら かに配置し，両ロボットが衝突せずに障害物を回避

1) https://www. turtlebot.com

図 3 実験環境

するルートの選択が学習可能か検証した。両ロボッ トの頭部には，現在の位置から障害物までの距離を 計測できるレーザーレンジファインダ (LRF) が搭載 されており，これを用いて自己位置を推定し，障害物を回避して移動することができる。ここで問題と なるのが，turtlebot2 の LRF の位置が障害物 (小) よ りも高い位置にあり，障害物 (小)を検知できないと いう点である。これにより， turtlebot2 は障害物 (小) が置かれた方のルートを選択した場合，回避できず に障害物 (小) と衝突する可能性がある。そこで，提案手法を用いてロボット間でコミュニケーション を取ることで，障害物の位置に応じて最適な行動を 選択できるよう，メッセージ $m$ を推論する必要が ある.

観測 $x$ は正面から左右斜め $45^{\circ}$ までの障害物まで の距離を $1^{\circ}$ ずつ計測した長さ 90 のべクトルとし,行動 $a$ は左または右回りの 2 パターンとした.ま た，最適性 $o$ は，互いが干渉せずに障害物を回避す る行動を選択すれば $o=1$, それ以外は $o=0$ とし た. 本実験でのタスクでは，両エージェントは障害物の位置に対して計 8 パターンの行動が考えられ る. よって， $m$ は 8 次元の多項分布とし，各パター ンの行動ペアが 1 つのクラスに分類されるように した.

以降，turtlebot3 をエージェント A， turtlebot2を エージェント B とする.

## 3.2 学習

数パターンの観測 $x$, 行動 $a$, 最適性 $o$ のデータを 計 40 個を生成し，相互更新の回数 $T=20$ としてモ デルを学習した. 学習されたメッセージ $m$ と最適性 $o$ の関係を表 1 に示す. 表より，最適性に基づき メッセージが学習されていることが分かる. $m=1$ では，エージェント A から見て左側に障害物が置か れ，AとBがそれぞれ左回りで移動する行動が表現

図 4 予測時の行動の様子

表 1 メッセージ $m$ と最適性 $o$ の関係

したメッセージであった. $m=7$ では，エージェン ト Aから見て右側に障害物が置かれ，AとBがそれ ぞれ右回りで移動する行動が表現したメッセージで あった。このように，環境・行動・最適性を表現し たメッセージを学習できていることが確認できた。

## 3.3 最適行動の予測

学習済みのモデルを用いて，障害物 (小) を左右ラ ンダム置いた環境で，両エージェントが提案手法を 用いてコミュニケーションすることで, 最適な行動 を予測できるか検証した。予測の際の相互更新の回数は $T=5$ とし，障害物の位置をランダムに変更し 20 回試行した. 両エージェントの行動の一例を図 4 に，各障害物配置における行動の成功回数と生成さ れたメッセージを表 2 に示す. この表より，適切な メッセージを生成することで，障害物を回避し，衝突しない適切なルートを選択できていることが分 かる。

次に，相互更新回数 $T$ ，すなわちコミュニケー ション繰り返す回数を変化させ，M-H 法によるコ ミュニケーションによるメッセージの生成の有効性を確認した. 図 5 が各相互更新回数 $T$ における 最適行動を選択できた確率である. 図より,コミュ ニケーションの回数が増えるにつれて，最適な行動選択ができるようになっていることが分かる. エー ジェント A は障害物をどちらも知覚できるため，コ表 2 予測に基づく行動の成功回数と生成されたメッ セージ

図 5 相互回数 $T$ における最適行動の選択確率

ミュニケーションしなくとも高い確率で最適行動を 選択できている。一方，エージェント B は障害物 (小) を検知できないため，メッセージが内部状態の 推定に反映されない $T=1$ では，自身の観測だけで は最適な行動を選択することはできていない。その 後， $T$ が増加するに従い，メッセージによってエー ジェント B の欠損している障害物 (小) の情報を補 うことができ，最適な行動を選択できている。

## 4 おわりに

本稿では，エージェント間でコミュニケーション を取ることで，協調行動を学習・生成できる確率的生成モデルを提案した．実験では，提案手法を用い て両ロボットがコミュニケーションを取り, 適切な メッセージを学習できることを確認した. また，コ ミュニケーションにより，最適な行動を選択できる ことを確認した。しかし，本稿で扱ったタスクは，最適性変数が即時的に決定するワンショットな意思決定タスクであり，累積報酬を最大化する必要があ るタスクにはそのままでは適用できない。そこで，本手法を時間発展させ，より複雑なロボットタスク へと応用することを今後の課題とする.

## 謝辞

本研究は，JST ムーンショット型研究開発事業

JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Diane Bouchacourt and Marco Baroni, "MissTools and Mr Fruit: Emergent communication in agents learning about object affordances", in Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 3909-3918, 2019

[2] Katrina Evtimova, Andrew Drozdov, Douwe Kiela, and Kyunghyun Cho, "Emergent Communication in a MultiModal, Multi-Step Referential Game", International Conference on Learning Representations, 2018

[3] Jiechuan Jiang, Zongqing Lu, "Learning Attentional Communication for Multi-Agent Cooperation”, arXiv: 1805.07733, 2018

[4] Angeliki Lazaridou, Marco Baroni, "Emergent MultiAgent Communication in the Deep Learning Era", arXiv:2006.02419, 2020

[5] Ryan Lowe, Yi Wu, Aviv Tamar, Jean Harb, Pieter Abbeel, and Igor Mordatch, "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments”, arXiv: 1706.02275, 2020

[6] Rahma Chaabouni et al., "Emergent Communication at Scale", International Conference on Learning Representations, 2022

[7] Tadarhito Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models", arXiv: 2205.12392, 2022.

[8] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022

[9] Sergey Levine, "Reinforcement learning and control as probabilistic inference: Tutorial and review." arXiv preprint arXiv:1805.00909, 2018

[10] Hastings, W. K., "Monte Carlo sampling methods using Markov chains and their applications", Biometrika 57, pp. 97-109, 1970

[11] Tomoaki Nakamura, Takayuki Nagai, and Naoto Iwahashi, "Grounding of Word Meanings in Multimodal Concepts Using LDA", IROS2009, pp.3943-3948, 2009

[12] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi, "Serket: An architecture for connecting stochastic models to realize a large-scale cognitive model", Frontiers in Neurorobotics, vol.12, pp.1-16, 2018.


# ホライゾン・スキャニングの自動化のための言語処理応用

石垣 達也 ${ }^{1}$ 西野 涼子 ${ }^{1,2}$ 鷲野 壮平 ${ }^{1}$ 五十嵐 広希 ${ }^{3}$ 村井 昭彦 ${ }^{1}$ 永井 由佳里 ${ }^{2}$ 鷲田 祐一 4
1 産業技術総合研究所 ${ }^{2}$ 北陸先端科学技術大学院大学 3 東京大学 4 一橋大学
\{ishigaki.tatsuya, s.washino, hk-igarashi, a.murai\}@aist.go.jp
\{suzuko_k, ynagai\}@jaist.ac.jp b101348r@r.hit-u.ac.jp

## 概要

本稿では未来学分野におけるホライゾン・スキャニ ング [1]の自動化を目指し，文書探索，コメント生成問題およびデータセットを提案する。ホライゾン・ス キャニングは未来に起こりうる社会変化を分析する枠組みで，1) 新聞記事等を大量に収集し，2) 重要な記事 には主観的な意見や記事の要約をコメントとして記述 する. 収集された記事とコメントは専門家による社会変化についてのシナリオ記述に活用される. 本研究で はデータセットの分析, 探索およびコメント生成モデ ルを構築し自動評価および未来学の専門家が実際に使用することで評価し, 言語処理技術の応用可能性を検証する.

## 1 はじめに

未来学の分野では, 中長期的な未来に起こりうる大 きな社会変化やリスクについて，シナリオを記述する 取り組みが行われている，例えば，「自動消毒ロボッ トは将来, 駅だけでなくオフィスビルや飲食店など他 の業種にも幅広く適用され，人手不足の深刻な人間の 清掃員の代替となるだろう」というシナリオは, 企業 や政府における意思決定に役立てられる。高品質なシ ナリオを生成するための手法について, 当該分野では 活発に研究 [2] されているが，その多くは専門家によ る情報収集に依存しておりコストが問題となる．言語処理技術の応用はこのような課題の一助になりうる.本研究では代表的なシナリオ作成手法である Systemic Foresight Methodology (SFM) [3] に着目する. この手法は, シナリオ作成を 1) ホライゾン・スキャ ニング，2) プランニングという 2 つの部分問題に分割 して解く，前者は情報収集を行うステップで，社会変化の兆候を示唆する情報を含む新聞記事等を大量に収集し, 各記事にコメントを付与する。後者はシナリオ を記述するステップで, 収集した記事を専門家同士で 議論しながら集約し最終的に数個のシナリオにまとめ
る. 本稿では後段の処理に影響を与えることからより 重要なホライゾン・スキャニングに着目し，1) 未来を 示唆する文書の探索問題, 2) 主観的な意見を含むコメ ント生成という自然言語処理における新たな問題設定 と，3)これらのためのデータセットを提案する.

図 1 に現在専門家により手作業で行われている，ホ ライゾン・スキャニングの手順 $[4,1]$ を示す. 入力は 大規模なテキスト集合で, 本研究では一例として日本語の新聞記事を想定する．出力は事前に定義された フォーマットによる文書で，スキャニングマテリアル と呼ばれる。ホライゾン・スキャニングでは，まず入力記事集合から未来の社会変化を示唆する記事を探索する。例えば，図 1 の記事 2 のような「高輪ゲート ウェイ駅での消毒ロボットの実証実験」についての記事は，鉄道以外の産業にも将来的にロボットが配置さ れるという社会変化を示唆するため，探索されるべき 記事である。一方，記事 4 は天気予報であり，未来に ついての言及を含むが日常的に必要な情報を提示して いるに過ぎず，中長期的な社会変化について示唆しな い.よって，探索されるべきではない，スキャニング マテリアルは未来の社会変化を示唆する各記事に対し 作成され, 記事タイトル, 要約, 主観的なコメントを 含む. コメント部分には記事の短い要約, 主観的な意見, 主張や将来おこりうる社会変化などが記述され る. 探索した新聞記事本文を入力し，主観的なコメン 卜を自動生成する問題を 2 つ目の設定として扱う. 本研究では特にスキャニングマテリアル作成のための記事の探索とコメント作成に着目し, 記事タイトルと要約部分については要約技術等の既存技術を用いる想定 ととし, 研究対象としない.

本研究で提案する文書探索問題は, 将来の社会の変化を示唆するか否かを考慮する点において，既存の文書探索の設定 (例えば [5] など) と異なる。コメント生成問題は言語生成問題の一つとみなすことができる が, 将来起こりうるイベントについて記述する点に特徵がある。

図 1 ホライゾン・スキャニングの手順.

2,266 の未来の社会変化を示唆する新聞記事を SFM の知識のある者が収集し, データセットを作成した.分析より, これらの一般的な新聞記事とは意味的な距離が離れており, 異なる特徴語を持つことがわかっ た.このデータセットから学習した文書探索モデル は，BERT による手法は適合率@100において 70\%の 性能を示し, 専門家による実際のシナリオ作成の実用 において，十分耐えうることを人手評価により確認し た.コメント生成問題では, 要約タスク等において良 い性能を示す BART [6] であっても，主観的なコメン 卜を生成するのが難しく挑戦的な課題であることが分 かった.

## 2 データセット作成

データセットの作成にはSFM に関する専門知識が 必要となる. したがって, 本研究では専門知識を持つ 者が未来の社会変化を示唆する記事を収集することが 望ましい。そこで，ホライゾン・スキャニングに関す る講義を担当する大学教員とその講義を受講し専門知識を持つ学生らが, 2003 年から 2020 年の 17 年間に渡 り講義の一環として収集した記事の提供を受け, デー タセットとした. 合計 33 人が以下の指示の下, 記事収集とコメント付与を行った: 1) 中長期的な未来に起 こりうる社会変化を示唆する多様な記事を Web 上か ら手作業で探索する, 2) タイトル, 要約, コメントを 記述する.コメントには収集者の主観的な意見や将来 に起こりうる中長期的な変化を記述する，3）最後に図 1 に例示するスキャニングマテリアルのフォーマット にまとめる. 最終的に 2,266 記事を収集し, 各記事に 平均 2.8 文のコメントが人手で付与された.

## 3 分析

## 3.1 一般的な新聞記事との意味的な距離

探索されるべき記事は一般的な記事とは意味的 な距離が離れており, 異なる特徴を持つことを定量的に確かめる. 2020 年の朝日新聞コーパス ${ }^{11}$ 中の記事を一般的な記事とし, 各記事中の名詞に対する日本語 word2vec [7] $]^{2}$ の平均ベクトルを記事を表現す る分散表現とする。すべての記事に対し分散表現を 計算し, その中心ベクトル $\mathbf{c}_{g}$ を一般的な新聞記事 を表現したベクトルとみなす. $\mathbf{c}_{g}$ から提案データ セット中の各記事を表現する分散表現 $\mathbf{d} へ$ の距離 を，以下のようにコサイン類似度を用いて定義する: $\operatorname{dist}\left(\mathbf{c}_{g}, \mathbf{d}\right)=1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{d}\right)$. この距離の提案デー タセット中のすべての記事での平均は 0.34 であった.一方，中心ベクトルから朝日新聞コーパス中の記事へ の距離は平均すると 0.30 であった. この差が統計的有意であることを $\mathrm{t}$ 検定を用いて確認した.よって，一般的な新聞記事と意味空間上での距離が離れている 特徴が確かめられた。

## 3.2 特徵語

探索されるべき記事の特徴を使用語彙の観点から 分析する. 具体的には次の式のように単語出現頻度 (TF) の差を用い, 単語 $x$ が探索されるべき記事をど の程度特徴づけるかを表現するスコアを計算する: $\operatorname{diff}(x)=\operatorname{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)-\operatorname{TF}_{G}(x) \operatorname{IDF}_{C+G}(x) . こ こ$ で, $\operatorname{TF}_{C}(x)$ と $\operatorname{TF}_{G}(x)$ はそれぞれ，探索されるべき記事の集合 $C$ と一般的な記事集合 $G$ での $x$ の出現頻度 である. $\mathrm{IDF}_{C+G}$ は $C$ と $G$ 和集合における IDF で，機能語などの多くの文書に出現する一般的な語のスコ アを抑制する. $\operatorname{diff}(x)$ が正の方向に振れると $x$ は探索対象とする記事の特徴語であり, $\operatorname{diff}(x)$ が負の方向に振れると一般的な記事の特徴語である.

結果，正の方向に振れた語には「ツイッターの新機能」「台湾での干ばつ」といったように，稀に起こる イベントについての言及はそれぞれ 22.31，20.88 と高 いスコアを得た。また，「テクノロジー」のスコアは 2.34 であり, 技術分野に関する語も高いスコア得た。一方, 一般的な新聞記事を特徴づける語としては「知事の会見」「容疑者の逮捕」など，日常的に起こりう

表 1 意味ラベルの定義と例.

るイベントについての言及は-0.89, - 0.90 と負の方向 に振れ，一般的な記事に特徴的な語と認識された。よ り詳細な単語-スコア対の一覧は付録に含める.

## 3.3 意味ラベル付与によるコメント分析

次にコメント部分についての分析を行う。提案デー タセットから無作為に 30 コメントを抽出し, 手作業 でコメントに含まれる各文に対し表 1 に定義する, 意味ラベルを付与する. 付与作業においては 1 つの文 に対し, 複数ラベルの付与を許容する. 例えば, 「ト ミーがバイオリンのおもちゃを発売した」という記事 に対し,「様々なおもちゃが近年発売されている.」と いうコメント記述は“背景”とラベル付ける。

結果， $83 \%$ のコメント (30 のうち 25 ) は “要約”もし くは “背景”という事実について言及する文から始ま り，“主張”や“見込み”といった主観的な意見へと続 いた. 30 コメントのうち 4 コメントは事実を含まず，主観的な意見のみ記述された。ただ 1 つ例外的に主観的な意見を含まず，“感想” のみのコメントが存在し た. 客観的な記述と主張などの主観的な記述を含む $83 \%$ 部分である 25 コメントに着目すると，うち $76 \%$ (25 のうち 19) は “要約” から始まり, 24\%(25 のうち 6) は元の記事には含まれない “背景” 情報を提示した。

## 4 モデル

文書探索モデルは記事集合を入力とし，各記事に対 し中長期的な社会変化を示唆するか否か表現するスコ アを計算し，スコアが高い順に並べ替え出力する。ス表 2 文書探索モデルの適合率, 再現率, $\mathrm{F}$ 値.

表 3 文書探索モデルのランキング性能.

コア計算の手法として，1) BERT [8] による二値分類,

2) 一般的な新聞記事からの距離および 3) IDF を用い たヒューリスティックを比較する．BERTによる手法 は提案データセット中の記事を正例, 朝日新聞コーパ スからサンプルした記事を負例として二値分類器を学習する。一般的な記事からの距離は朝日新聞コーパ スからサンプルした記事集合の中心ベクトル $\mathbf{c}_{g}$ とス コアリング対象記事の分散表現 $\mathbf{x}$ を用い，スコアを $1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{x}\right)$ として計算する. ヒューリスティッ クによる手法は，探索されるべき記事には特異な語が 多いと考え，スコアリング対象記事中の名詞のIDF の 平均値をスコアに用いる: $\frac{\sum_{1}^{n} \operatorname{IDF}\left(x_{i}\right)}{n}$.

コメント生成モデルは探索した記事を 1 つ入力し， コメントを出力する. 本研究では単一文書要約におい て良い性能が報告されている BART [6] を提案データ セットコメントを用いてファインチューニングする.

## 5 実験と評価

## 5.1 データとパラメータ

BERT の学習には提案データセットのうち 2020 年 に発行された 320 記事を正例として用い，2020 年に 発行された朝日新聞記事のうち 8000 件を無作為に抽出し負例とする.データセットを $3: 1: 1$ の割合に分割 し, それぞれ学習, 開発, 評価セットとして用いる.二值分類器の出力スコアがしきい值 $\delta$ 以上の場合に分類対象記事を正例であると判定し, $\delta$ は開発セットを 用いて決定する．BARTには京大の配布するモデル 3) を用いる。自動要約においてよく用いられるパラメー タ設定 ${ }^{4)}$ でファインチューニングする.
表 4 被験者が作成したシナリオについての統計.

## 5.2 文書探索の自動評価

表 2 に探索モデルの適合率, 再現率, $\mathrm{F}$ 値を示す. また，表 3 に適合率@ $\mathrm{N}$ を の値を 5 から 100 まで 変化させた値を示す．BERTによる手法は $\mathrm{F}$ 値におい て 58.1 で，意味的な距離による手法の 10.5 や IDF の 13.7 よりも良い。適合率 $@ \mathrm{~N}$ におても， $\mathrm{N}=5$ の設定で BERT による手法は 0.80 を示し，意味的な距離 やIDF による手法の 0.40 よりも高い值を示した。 $N$ の値を大きくすると, 教師あり学習に基づく手法は $N=100$ まで大きくしても值の低下は 0.70 に抑えられ るのに対し, 意味的な距離に基づく手法および IDF に よる手法はそれぞれ 0.02 と 0.09 で，性能が著しく低下する。提案データセットによる教師あり学習は, 適合率 @N の観点からもより頑健なモデルといえる。

## 5.3 自動探索文書の実利用による人手評価

既存評価指標だけでなく, 自動探索記事を専門家に よるシナリオ作成に実際に用いる実験を行い，実利用 での効果を検証する。この実験では，まず，BERTが 高いスコアを与えた 75 記事と人手収集した 75 記事を 無作為に混ぜ合わせ，合計 150 記事からなる記事集合 を作成する. SFM の知識を持つ 17 人に 150 記事を提示し，記事集合を目視しながら一人あたり 5 シナリ 才を作成させ，合計 $85(17$ 人 $\times 5)$ のシナリオを得る。各シナリオは 1 つ以上の記事を基に作成され，シナリ オ作成の際に参考にした記事も併せてアノテーション させた. 結果， 1 つのシナリオは平均して 4.8 個の記事を基に作成された。表 4 に被験者が作成したシナリ オの統計を示す. 85 シナリオのうち 71 シナリオは自動探索した記事と人手収集した記事を組み合わせて作成したものであった。探索文書のみを組み合わせ作成 したシナリオが 11 存在し, これは人手収集記事のみ を組み合わせ作成した 3 つのシナリオよりも多い。こ れらを合計すると， 85 シナリオのうち $96.4 \%$ (82 シナ リオ) という高い割合で, 1 記事以上の自動探索記事 が専門家たちに活用されたことが確かめられた。

表 5 コメント生成問題の自動評価結果。

## 5.4 コメント生成の自動評価

表 5 に ROUGE の値を示す.BART は ROUGE-1と ROUGE-Lにおいてリード 3 よりも高い値を示した.一方，ROUGE-2 においてはリード 3 法よりも低い值 であった。 3.3 節で述べたように人間のコメントの冒頭部分には入力文書の要約が含めらやすく, この要約部分の多くは原文書を言い換えない抽出型の要約と なっている．BART が原文書の言い換えを許容する生成型の要約手法であるのに対し，リード 3 は文抽出型 の手法である。よって，正解コメントとリード 3 法の 出力で単語の重複が多くなり, ROUGE-2 の値が大き くなる。実際の生成コメントは付録に例示する。

## 5.5 コメントの採点による人手評価

人手採点による評価結果を付録の表 6 に示す. 表に 示す値は行に示す手法が列に示す手法より良いと判定 された回数である.上から順に 1) 未来の変化を想起 させるか，2）流暢さ，3) 正しさの 3 つの観点における 值を示す．結果，未来の変化を想起させるかという観点では, BART が 51 回リード 3 よりも良いと判定さ れたのに対し, リード 3 は BART よりも良いと判定さ れたのは 41 回であった.よって, BART の出力には リード 3 と比較し，より未来の変化を想起させる記述 が含まれる。一方，参照コメントは BART よりも 72 回良いと判定されており，BART がより良いと判定さ れた回数はわずか 18 回である. 付録の出力例に示す ように，要約などの客観的な記述と意見などの主観的 な記述を混在させた出力を得るのが難しい，言語生成 モデルには言語の客観性，主観性の制御といた $\mathrm{t}$ 観点 からの拡張が必要である。

## 6 おわりに

ホライゾン・スキャニングを自動化するため，文書探索及び言語生成とデータセットを提案した．BERT による手法は自動および人手評価により，実用的な性能が得られることを確認した。コメント生成は，最先端の言語生成モデルを用いたとしても主観的なコメン 卜を正しく生成するのが難しく挑戦的な課題であるこ とが分かった。主観的な記述と客観的な記述を正しく 制御する新たな言語生成技術が必要であらう。

## 謝辞

本研究の成果は LREC2022 [9] お よ

び KICSS2022(Nishino, Washida, Ishigaki, Washino, Igarashi, Murai, and Nagai 2022) の発表論文を基に した. 本研究は, JST 次世代研究者挑戦的研究プログ ラム JPMJSP2102 の支援を受けたものです. 整備した データセットの元となる記事およびコメントを提供く ださった一橋大学の MBA コース学生の皆様, ワーク ショップの参加者に感謝します. 人手評価における データ収集は, JAIST の倫理審査委員会の承認を得て います. 計算には産総研の AI 橋渡しクラウド (ABCI) を利用しました。実験には朝日新聞コーパスを使用し ました。

## 参考文献

[1] Ziauddin Sardar. The namesake: Futures; futures studies; futurology; futuristic; foresight - what's in a name? Futures, Vol. 42, No. 3, pp. 177-184, 2010.

[2] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. foresight, 2020.

[3] Ozcan Saritas. Systemic foresight methodology. In Science, technology and innovation policy for the future, pp. 83117. Springer, 2013.

[4] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. Foresight, Vol. 23, No. 1, pp. 17-32, 2021.

[5] Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Now Foundations and Trends, 2018.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 7871-7880, Online, 2020. Association for Computational Linguistics.

[7] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 4171-4186, Minnesota, USA, 2019. Association for Computational Linguistics.

[9] Tatsuya Ishigaki, Suzuko Nishino, Sohei Washino, Hiroki Igarashi, Yukari Nagai, Yuichi Washida, and Akihiko Mu- rai. Automating horizon scanning in future studies. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 319-327, Marseille, France, June 2022. European Language Resources Association.

2. 入力記事:

徳島大学発のベンチャー企業グリラスは、食用 コオロギ事業を拡大するため、総額 2 億 3000 万円を調達した。今回の資金調達を機に、株式公開に向けた体制整備を進める予定だ。グリラス は 5 月にジェイテクトと業務提携し、全自動生産 システムを共同開発した。

人間:

最近、日本でも 10 匹と 30 匹のコオロギを使った フィナンシェが発売され、2日で売り切れたそうだ。私はおせんべい以外、コオロギを使った食品を見た ことがないが、いよいよ昆虫食が 社会に浸透していく兆しがあるようだ。 BART:徳島大学発のベンチャー企業グリラスが、食用コオロギの事業拡大のため、ベンチャー キャピタルから総額 2 億 3000 万円の資金調達 を行った。全自動生産システムの共同開発に 取り組んでいる。

表 7 コメントの生成例.