# 日本語日常対話コーパスの構築

赤間怜奈 1,2 磯部順子 2 鈴木 潤 1,2 乾 健太郎 1,2
1 東北大学 2 理化学研究所
}

\{akama, jun.suzuki, kentaro.inui\}@tohoku.ac.jp, yoriko.isobe@riken.jp
## 概要

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築した. 本稿では，構築した コーパスの概要とその構築方法を説明する。既存対話コーパスとの比較分析により構築したコーパスの 特長を明らかにした上で，「規範的」という性質を 持つ言語資源の利点について述べる。

## 1 はじめに

昨今の対話システムは, 出力内容に着目した総合的な主観評価の上で着実な性能が改善がなされてい る $[1,2,3]$. 次におこなうべきは，その性能改善の 要因の理解や依然として残る技術的な課題の把握で あるが，対話で用いられる言語表現は自由度が非常 に高いという性質を持つため（基本語彙以外の語の 出現や，基本語順からの逸脱は常である），一定の 基準や特定の正解を軸にした分析では，性能改善の ための本質的な要因を特定することが困難である.

そこで我々は, 新たに，基本語彙の使用と基本語順の遵守を可能な限り優先した規範的な言語表現で 構成されている対話コーパス日本語日常対話コーパ ス（Japanese Daily Dialogue）を構築した. ${ }^{1)}$ 本コー パスに収録する収録する対話の作成や調整をすべて 人手でおこない，ノイズが非常に少なく計算機上で の処理がしやすい，かつ，品質が十分に保証されて いる信頼できる対話データを獲得した. 規範的な対話は，実際の対話データ（たとえば，音声対話の書 き起こしやSNS）が持つ人間のリアルな言語活動 の表出という特長を失うが，その代わり，ある種形式的で簡潔な問題設定を対話の枠組みで実現して いるといえる. 規範的な対話を対象とした対話の意味的・統語的言語理解に関する分析は，一般的な対話，とりわけリアルな対話を対象とする場合に比べ て，比較的容易に実行できる可能性がある.本稿では，日本語日常対話コーパスの構築手順を

1） 2023 年 3 月公開予定.表 1 対話データの例. トピック「旅行」.

A: おはようございます。高原の朝は冷えますね。

B: おはようございます。本当ですね。羽織るものが欲 しいです。

A: 朝食の前に散歩でもいかがですか？

B: 良いですね。どこを歩きましょうか？

$\mathrm{A}$ : 湖の周りを歩きましょう。林道の先に湖があるそう ですよ。

B: それでは、湖を一周しましょう。

$\mathrm{A}$ : 一周するのにどのくらい時間がかかるでしょうか？

B: ロッジのオーナーに聞いてみましょう。

説明し，データの規模や特長を報告する．その上 で，本コーパスが有する規範的な性質の利点を，具体的な事例とともに紹介する.

## 2 日本語日常対話コーパス

本稿で我々が構築する日本語日常対話コーパス は，規範的な対話を収録した言語資源である.ここ でいう規範的な対話とは，道徳的な内容かつ正しく 丁寧な表現で書き表されている対話のことを指す.直感的には，初等から中等教育レベルの言語学習用教材で用いられる表現に近い。くだけた表現が頻発 する実際の日常会話で使用するには不自然かもしれ ないが，基礎的な語彙かつ基本的な語順を可能な限 り優先した言語表現である。

収録されている対話の例を表 1 に示す. すべての 対話は話者 A，B が交互に発話をする形式であり,基本的には，対話単位でひとまとまりとなるように 対話の始まりと終わりが設計されている。 1 対話は 4 発話以上， 1 発話は 1 文以上で構成されている. 日本語日常対話コーパスの統計情報を表 2 に示す。 ${ }^{2)}$本コーパスには，日本語の日常会話に馴染み深いと 考えられている 5 つのトピックに関する対話が収録 されている. 対話数は，1 トピックあたり 1,000 以

2）トークン分割には，日本語形態素解析機 $\mathrm{MeCab}$ と日本語形態素解析辞書 mecab-ipadic-NEologd を用いた。

} \\

表 3 表現の正規化による各値の変化.

上，コーパス全体で 5,261 である. 発話単位で計数 すると， 41,780 発話である. 1 対話あたりの平均発話長は，旅行トピックが他より若干大きい値だが，全体として 8 前後である.

## 3 構築手順

日本語日常対話コーパスの構築手順は以下の通 りである.これらすべての工程は，人間の作業者に よっておこなわれた. 各工程の詳細は後述する。

1. コーパスに含める対話のトピックの選定

2. 各トピックに関連する対話の作成

3. 倫理的または道徳的に不適切な表現の除去

4. 表記の正規化

トピックの選定 基礎的な日本語対話を広く収録 するためには, 選定するトピックは, 多くの日本語話者が高度な専門知識を必要とせず容易に対話を展開できるものであることが望ましい。本研究では，基本的には英語日常対話コーパス DailyDialog [4] が 採用したトピックを参考にしつつ, 日本語教育学分野の日本語会話における話題の難易度分類 $[5,6]$ を 参照することで，日本語話者にとって馴染み深く日本の文化的特性に調和するトピックを優先的に採用するという方針をとり，最終的には，「日常生活」「学校」「旅行」「健康」「媅楽」の 5 つを採用した.

対話の作成 対話の作成は, 日本語を母国語とす る合計 59 人の作業者によっておこなわれた. 各作業者は，与えられたトピックに関連する対話，すな わち仮想の話者 $A, B$ による一連の発話系列を作成 した. 作業者には, 可能な限り多くの一般的な語を 含めること, 文法的に正しく丁寧な日本語表現を用
いることなどを指示した. 作業の品質を担保するた めに，対話作成者とは異なる 1 人以上の作業者が，作成された対話が与えられた指示を満たしているこ と，および，対話として成立していることを確認し た. 作成された対話は，5,454 対話であった.

不適切な表現の除去 倫理的あるいは道徳的な問題を含む対話や了解性の低い対話は，コーパスの規範性および品質を損なう可能性がある. 本研究で は，国や報道機関が定める言語表現に関するガイド ライン3)を参考に以下を「不適切な表現」と定義し，該当する対話はコーパスに収録しないようにした。

・差別や偏見を含む

・特定の属性を誹謗中傷あるいは攻撃する

・第三者に不利益を与えうる事実誤認がある

・倫理的あるいは道徳的でない話題を扱う

・意味不明な発話内容や会話展開を含む

具体的には，作成されたすべての対話について，上述の項目に該当する可能性があるかを著者らが人手 で確認し，該当する場合は，対話全体あるいは問題 のある一部箇所を削除する，または，問題のある一部箇所を適切な表現に書き改める作業をおこなっ た. 削除された対話の例を付録 $\mathrm{A}$ 表 7,8 に示す.

表記の正規化 対話が規範的であるためには，文法的および意味的に正しく一貫性のある表現で表記 されている必要がある. 不適切な表現を除去し終え たすべての対話について，合計 3 人の校正者が校正作業および校閲作業をおこなった。表記は，原則と して記者ハンドブック [7] に従った. 誤字脱字の修正や用字の統一などの一般的な校正作業に加え, く だけた話し言葉表現（略語や俗語，撥音便化など） を丁寧な書き言葉表現に変換すること, 文法的に適切な文となるよう省略された語（助詞など）を補完

3）「公用文作成の考え方」について（https://www.bunka.go. jp/seisaku/bunkashingikai/kokugo/hokoku/93650001_01. html, 文化庁), NHK 放送ガイドライン 2020 改訂版 (https://www.nhk.or.jp/info/pr/bc-guideline/, 日本放送協会）など.
表 4 各日本語対話コーパスの統計情報と特長.

 &  &  &  &  &  \\

すること，対話内容に矛盾があれば指摘あるいは矛盾を解消するよう修正することなど，本研究特有 の作業も依頼した. 作業例を付録 A の表 9 に示す.表 3 に，校正者が正規化をする前と後の対話データ の統計量を示す. 正規化後は, 用字用語の統一の効果か語彙数が約 $3 \%$ 減少した一方, 省略が補完され たためかトークン数と文字数は約 $6 \%$ 増加した.

## 4 分析：コーパスの特長

既存コーパスとの比較により日本語日常対話コー パスの特長を明らかにする. 以下に設定の概要を示 す. 詳細は著者らの過去論文 [8] を参照されたい.

## 4.1 設定

比較対象 比較対象として次の 5 つのコーパスを 採用した: Business Scene Dialogue [9], JPersonaChat, JEmpatheticDialogues [10], Opensubtitles [11], Twitter (長澤ら [12] の前処理を適用)。これらはすべて，日本語日常対話コーパス同様，人によって書かれた雑談対話を収録したコーパスである。

分析の観点と尺度 語彙的多様性, 語彙親密性,可読性の 3 つの観点で，コーパスの特長を分析し た。語彙的多様性を測定する尺度として，Herdan の $C[13,14]$ 用いる. ${ }^{4} C$ の値は, 総トークン数 $N$ と語彙数 $V$ を用いて以下で算出される:

$
C=\log V / \log N .
$

語彙親密性は，単語親密度データベース $[16,17]$ を用いて，親密性スコア $S_{F}$ を以下の式で算出した:

$
S_{F}=\frac{1}{|\mathscr{D}|} \sum_{v \in \mathscr{D}} \operatorname{fam}(v)
$

ここで， $\operatorname{fam}(\cdot)$ は，データベースに存在する語

4）一般的によく利用される TTR (Type-Token Ratio) [15] は データサイズ $N$ の影響を受けやすい，それを軽減するよう に標準化された尺度が $C$ である。

5） 值の範囲は $1 \leq S_{F} \leq 7$ であり，大きいほど親密性が高い.

図1コーパスサイズと語彙の Herdan's C の関係

可読性の算出には，日本語文章難易度判別システ ム jReadability ${ }^{6)}$ を用いた [18]. コーパスから無作為 に抽出した 100 発話リーダビリティスコアの測定を 5 回繰り返し，平均値を可読性スコア $S_{R}$ とした.

## 4.2 分析結果と考察

表 4 に，各コーパスの基本的な統計情報と，各観点についてそれぞれの尺度で算出した値を示す.

多様性 日本語日常対話コーパスの語彙的多様性 を表す $C$ の値は，Business Scene Dialogue に次いで， 2 番目に大きい値であった. 図 1 の曲線は，各コー パスの $x \%(0 \leq x \leq 100)$ に該当する数の発話で算出 された $C$ の値の変化を表す. 日本語日常対話コーパ スは， $x$ の増加に伴う $C$ の減少が小さいことから，多様な語彙が豊富に含まれていることがわかる.

親密性 日本語日常対話コーパスの親密性スコ ア $S_{F}$ は，Business Scene Dialogue に次いで 2 番目に

JPersonaChat も，ほぼ同程度の值であった. スコア $S_{F}$ の最大値が 7.0 であることから，これらのコーパ スが示した 5.7 8 という值は十分に高いものといえ る. したがって，日本語日常対話コーパスを含むこ れらのコーパスには, 日本語話者にとって馴染み深 い一般的な表現が多数含まれていることがわかる.

可読性 日本語日常対話コーパスの可読性スコ ア $S_{R}$ は，JPersonaChat に次いで 2 番目に大きい値で

6) https://jreadability.net/.

7）付録 B に，語彙親密度の頻度分布を示す.

れも語彙の分割単位が異なること（コーパスは単語単位，言語モデルはサブワード単位）に注意が必要である.

表 6 各コーパスに含まれる差別語・不快語と出現頻度.

あった.これらのコーパスには，多くの人にとって 読解しやすい比較的平易な表現で記述された対話 が，数多く含まれていることがわかる.

総評 以上より，日本語日常対話コーパスは，既存コーパスに匹敵するまたは上回る語彙的多様性,親密性，可読性をバランスよく兼ね備えていること がわかる。一般的で馴染み深い多様な語彙を豊富に 含み，正しい日本語表現で記述された平易で読みや すい対話が収録されていることがわかる.

## 5 議論

## 5.1 規範的であることの利点

既存資源の活用 表 5 は，各コーパスの語彙のう ち, 既存資源（辞書 $[17,19]$, 単語ベクトル [20], 言語モデル ${ }^{899)}$ ）の語彙に登録されている語，つまり，既存資源で分析可能な語彙の割合を示す. ${ }^{10)}$ 日本語日常対話コーパスは，いずれの資源においてもこの 値が比較的大きい，一貫して正しく表記された語彙 を多く含む日本語日常対話コーパスは，その規範的 な性質ゆえに未知語が生じにくく，比較的，既存資源を活用しやすいデータであるといえる.

低攻撃性 表 6 は，記者ハンドブック [7] に「差別語・不快語」として掲載されている 170 語のが,各コーパスにどの程度含まれているかとその出現頻度を示す. ${ }^{11)}$ 日本語日常対話コーパスは，語彙に含 まれている差別語・不快語の種類数，それらのコー パス全体における出現頻度ともに小さい値であっ た. 構築時に非倫理的あるいは非道徳的な表現を積極的に排除していることもあり，日本語日常対話 コーパスには攻撃的な表現がほとんど出現しない。

## 5.2 他言語対話コーパスとの関係

国内外の雑談対話研究において，DailyDialog [4], Persona-Chat[21], EmpatheticDialogues[22]は近年のデ ファクトスタンダードといえるデータセットであ る. 我々が構築した日本語日常対話コーパスは，教材的（規範的）な表現で書かれたマルチターンの高品質な日常対話という特長を持つ DailyDialog の日本語版と見做すこともできる．杉山ら [10] が公開 している JPersona-Chat，JEmpatheticDialogues と合わ せると，日本語日常対話コーパスの公開によってデ ファクトスタンダードの日本語版対話データが揃っ たことになり，日本語を含む言語横断的な対話研研究のため土台が整備されたといえる.

## 6 おわりに

規範的な日本語表現で構成される高品質な日本語日常対話コーパスを構築し，その概要と構築手順を 紹介した. 既存対話コーパスとの比較分析により，構築したコーパスは，既存のものに匹敵するまたは 上回る語彙的多様性，親密性，可読性をバランスよ く兼ね備えていることを確認した，将来的には，基礎解析系アノテーションの追加や対訳データ化など 補完的な新しいデータセットの構築も視野に入れた いが，まずは，高品質な日本語対話データとして公開された日本語日常対話コーパスを多くの方に利用 していただけたらうれしい.

## 謝辞

本研究は JSPS 科研費 JP22K17943，JST ムーン ショット型研究開発事業 JPMJMS2011 の支援を受け たものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu Quoc, and V Le. Towards a Human-like Open-Domain Chatbot. In aiXiv preprint arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL): System Demonstrations, pp. 270-278, 72020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 300-325, 2021.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[5] 山内博之, 橋本直幸. 教育語彙表への応用. 有里子砂川（編）,コーパスと日本語教育, 第 2 章, pp. 35-64.朝倉書店, 2016.

[6] 山内博之, 橋本直幸, 金庭久美子, 田尻由美子. 言語活動・言語素材と話題. 博之山内（編）, 実践日本語教育スタンダード,第 1 章, pp. 5-525. ひつじ書房, 2013.

[7] 一般社団法人共同通信社. 記者ハンドブック第 14 版 新聞用字用語集. 2022.

[8] 赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎. 規範的な日本語日常対話コーパスの設計. 言語処理学会第 28 回年次大会 発表論文集, pp. 262-267, 2022.

[9] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. In aiXiv preprint arXiv:2109.05217, 2021.

[11] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 1742-
1748, 2018.

[12] 長澤春希, 工藤慧音, 宮脇峻平, 有山知希, 成田風香,岸波洋介, 佐藤志貴, 乾健太郎. aoba_v2 bot: 多様な 応答生成モジュールを統合した雑談対話システム.人工知能学会研究会資料 言語・音声理解と対話処理研究会, pp. 101-106, 2021.

[13] Gustav Herdan. Type-token mathematics: A textbook of mathmatical linguistics. Mouton, Vol. 4, p. 448, 1960

[14] Gustav Herdan. Quantitative linguistics. Butterworth, 1964.

[15] Mildred C Templin. Certain language skills in children; their development and interrelationships. University of Minnesota Press, 1957.

[16] 藤田早苗, 小林哲生. 単語親密度の再調査と過去の データとの比較. 言語処理学会第 26 回年次大会発表論文集, pp. 1037-1040, 2020.

[17] 単語親密度 (令和版). NTT 語彙データベース. NTT 印刷, 2021.

[18] Yoichiro Hasebe and Jae-Ho Lee. Introducing a Readability Evaluation System for Japanese Language Education. Proceedings of the 6th International Conference on Computer Assisted Systems for Teaching \& Learning Japanese (CASTEL/J), pp. 19-22, 2015.

[19] Yuriko Sunakawa, Jae-ho Lee, and Mari Takahara. The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, Vol. 2, No. 2, pp. 97-115, 102012.

[20] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning Word Vectors for 157 Languages. In Proceedings of the 11th Edition of its Language Resources and Evaluation Conference (LREC), pp. 3483-3487, 2018.

[21] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018 .

[22] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381,2019

## A 中間データ

日本語日常対話コーパスを構築する過程で生成さ れたデータの例を示す. 表 7,8 は, 工程 3 「倫理的 または道徳的に不適切な表現の除去」で除去した対話，表 9 は，工程 4 「表記の正規化」で校正者がお こなった修正の例である.

表 7 倫理的あるいは道徳的に不適切な表現を含むとして 削除された対話の例. トピックは「学校」.

$\mathrm{A}$ : 野木先生、昔と今では子供たちも変わってきていますか。

B: そうです。今の子はみんな真面目になっています。

A: 昔の子は不真面目だということですか？

B: 昔は先生の言うことを聞かない子が多かったので、授業は 大変でした。

A: 反抗的な子は確かに今はいません。

B：しかし、静かなだけで何も聞いていない子もいるようです。

A: 昔は話を聞いていない子はすぐわかりましたが、今はその ようなわけにはいきません。

B: 今の方が大変なのかもしれません。

表 8 倫理的あるいは道徳的に不適切な表現を含むとし て，一部が削除された対話の例. 打ち消し線の部分が除外された箇所. トピックは「媅楽」.

A：今日はバレンタインデーです。チョコは何個もらえるで しょうか。

B：100 個はもらえると思います。

A：本当ですか？

B: 冗談です。

A：本当は何個くらいもらえる予定ですか？

B: 2 個くらいだと思います。

A：2 個でももらえれば良いですね。

B: 可愛い子からだと嬉しいです。

表 9 表記の正規化の例. 校正者が削除した表現を打ち消 し線，追加した表現を太字で示す.トピックは「学校」.

A: 今週最後の授業が、やっとようやく終わりました。明日 は、待ちに待った土曜日です。

B: 今週も大変でしたね。中丸さんは何が一番大変でしたか?

A: 私は一昨耳おとといの体育のマラソン授業で行った長距離走がとても大変でした。安藤さんは、ぞうですかいかが でしたか?

B: 私は、今週はそこまで大変ではありませんでした。代わり に来週の小テストが怖いです。ところで、この後、何か食 べに行きませんか?

A: 行きましょう。最近美味しいおいしいスイーツのお店を 知ったので、そのお店に行ってみましょう。

B: 良いですね。とても楽しみです。

【校正者コメント】マラソン $=42.195$ キロメートル。体育の授業でマラソンをすることは実際にはないかと思い、「ジョギン グ」に変更しました。「長距離走」などに変更してもいいかもし れません。

## B 語彙親密度の頻度分布

各コーパスについて，語彙親密度の頻度分布を 図 2 に示す. 值が大きいほど親密度が高い.

図 2 対話データに含まれる語彙親密度の頻度分布.

## C 差別語・不快語の例

本研究で用いた差別語・不快語リストの中 で，各コーパスに含まれていた語を以下に示す. Opensubtitles と Twitter は語数が多いため割愛する.

## - JDailyDialogue:

\{坊主, めくら, 不治の病, 床屋 $\}$

## - Business Scene Dialogue:

\{やばい,あんま \}

## - JEmpatheticDialogues:

\{ジプシー, 肌色, 外人, おし, アル中, 盲目的, 色盲, やばい, 名門, スケバン, あんま, 片親, 連れ子,裸族, 坊主, デカ, 精神病院, 床屋, 浮浪者 $\}$

## - JPersonaChat:

\{町医者, あんま, サツ, ジプシー, 肌色, 片親, ス キンヘッド, 外人, おし, デカ, 坊主, やばい, 床屋,片田舎, 浮浪者 \}


# 決算説明会のテキスト特徵と株主資本コストの関連性

真鍋友則 ${ }^{1}$ 黒木裕鷹 1 中川慧 2
${ }^{1}$ Sansan 株式会社 ${ }^{2}$ 野村アセットマネジメント株式会社
\{manabe, kuroki\}@sansan. com k-nakagawa@nomura-am.co.jp

## 概要

決算説明会は，企業が決算状況を説明し，参加者 は質疑応答を通して疑問を解消することができるた め，情報開示の主要な手段に位置付けられている。企業による積極的な情報開示は，情報の非対称性を 緩和し資本コストを下げることが理論的に知られて いる。しかし決算説明会の発言内容に由来する特徵 と資本コストがどのように関連するかについては明 らかではない，そこで本研究では，決算説明会のテ キスト特徴が資本コストとどのような関係にあるか を分析する．結果として，質疑応答セクションが長 いという意味で情報開示に積極的な企業の資本コス トが低い傾向が得られた。

## 1 はじめに

株式会社では所有と経営が制度的に分離されて おり, 企業内部の経営者と企業外部のステークホル ダーとの間では情報の非対称性が存在する. そのた め, 金融商品取引法などの各種の規制によって必要最低限の情報開示 (ディスクロージャー)を企業に要求している. しかし, このような規制に基づくディ スクロージャーだけでは情報の非対称性が十分に 緩和されない [1]. そこで, 多くの企業が株式市場 における適正な株価形成，事業内容の理解の促進，投資家とのリレーションの形成, 社会的認知度の向上などを目的として，追加的な情報をステークホ ルダーに対して適時に発信する IR(Investor Relations)活動を行っている.

IR の代表的な手段の一つに決算説明会がある.決算説明会とは, 決算短信が公表された後に速やか に開催される，企業の業績や計画，戦略などについ て説明が行われる場である。決算説明会は，経営者 によるプレゼンテーション（説明）のセクション と, 参加者と経営者との質疑応答のセクションで構成されることが通常である. 参加者は経営者による 業績についての説明あるいは解釈を直接聞くことが
できるほか，質疑応答を通して業績と見通しに関す る疑問を解消することができる。

前述の通り企業内部の経営者と外部の投資家の間 には情報の非対称性があり，IR 活動はそれを緩和す ることを目的とする. 実際に，[2,3] ではより質の高 い情報開示が市場参加者間の情報の非対称性を低下 させ，その結果資本コストは削減されることが示唆 されている．また，実際に開示の量や質が資本コス 卜と関係があることを実証する研究も数多く存在す る $[4,5,6]$. 情報開示の中でも，米国および日本市場においても，決算説明会を対象にした研究が存在 している $[7,8,9,10]$. また，説明会の内容や発話の テキスト特徴にまで踏み込んだ分析事例もいくつか 存在する. [11] はテキストに感情極性を付与し, 質疑応答セクションの極性が肯定的であった企業の株式は，その後に有意な異常リターンを生むことを示 している。また，国内市場においても，[12] は感情極性と将来業績を, [13] は様々な感情極性とその後 の異常リターンをそれぞれ分析している。

しかし, これらの決算説明会についての先行研究 はいずれも決算説明会のもつ情報価値を投資の観点で，すなわち株価リターンや流動性に対する説明力で測るものである. 決算説明会のどのような特徴 (開示) が理論モデルが示すように情報の非対称を緩和し資本コストを低減するかは未だ明らかではな い. また，コーポレートガバナンス・コードの基本原則 5「株主との対話」でも，資本コストを意識し た経営とその情報開示を意識づけられており，資本 コストに関する分析への社会的なニーズは高い，そ こで本研究では, 決算説明会の書き起こしテキスト 情報と企業の財務情報を用いて，決算説明会のテキ スト特徴が，対応する決算の財務的背景や資本コス トとどのような関係にあるかを分析する．資本コス トと関係する特徴が明らかになれば，どのような情報開示が資本コストを低下させるかへの手がかりと なり得る。

## 2 データ分析

本節では，本研究で扱う決算説明会のテキスト データと分析手法について概説する. 分析の目的 は，決算の内容とそれを受けた決算説明会のテキス ト特徴，さらには資本コストの関係を分析すること である。端的には, 決算説明会テキストデータに対 し，極性辞書を用いた感情極性のスコアリングおよ び文章長に対し，対応する決算の財務的内容を踏ま え資本コストとの相関関係を分析した。

米国の年次業績報告書 (10-K) を対象とした研究で は, その単語数が多くまた難読性が高い，すなわち 複雑で読みにくい (情報コストが高い) 報告書を提出 する企業ほど業績が悪く[14]，小口投資家からの投資量が減少し [15], またその後の高いボラテリティ やアナリスト評価のばらつきにも影響すること [16] が報告されている．なお [16] は，金融文書のような 専門性が高い文章の読み易さを評価する上では Fog Index のような一般的な難読性指標は適切ではなく，難読性の代替指標として単純なファイルサイズがよ り有効な指標であることを指摘している.

これらを踏まえ本研究では，感情極性以外の決算説明会のテキストの特徴として，プレゼンテーショ ン (説明) セクションの文章長と質疑応答セクション の文章長をそれぞれ使用した．特に質疑応答は決算説明会固有の重要な機会であるが，その時間配分や 実際に生じた質問量などは企業によって異なる. 質疑応答文章長は質疑応答の時間的長さや活発さの代替指標と考えられ，そこには情報の非対称性の解消 に向けた企業の姿勢や投資家からの関心の高さが反映されていることが予想される。

## 2.1 決算説明会のテキストデータ

本研究では，ログミー株式会社が提供する金融イ ベントの書き起こしメディアであるログミーファ イナンス1)の決算説明会のテキストを対象に分析を 行った. ログミーファイナンスでは, 決算説明会の ほかに個人投資家向けの説明会や株主総会などが文字起こしされ，記事として提供されている。また， テキストはイベントの音声がそのまま文字起こしさ れるのではなく，ライターや校正の手によって，内容や語彙・ニュアンスを変えることなく成立した文章として書き起こされる.

2022 年 12 月末までに公開された記事は約 5,127

1) https://finance.logmi.jp/件あり，そのうち 4,508 件が決算説明会に関する記事, さらに 666 件が質疑応答セクションの内容も含 まれる記事である。本研究ではそのうち, 2018 年か ら 2022 年に公開された本決算についての記事 254 記事を対象とした。

## 2.2 資本コストの計算

資本コストは Fama-French の 3 ファクターモデル [17]を用いて [18] と同様に算出した. 具体的には,企業 $i$ の月次株価リターン $r_{i t}$ を用いて次の回帰式 によって $\hat{\beta}_{i}, \hat{\delta}_{i}, \hat{\gamma}_{i}$ を推計する.

$r_{i t}-r_{f t}=\beta_{i}\left(r_{M t}-r_{f t}\right)+\delta_{i} S M L_{t}+\gamma_{i} H M L_{t}+\varepsilon_{i t}$.

ここで, $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ は Kenneth French $の$ Web サイト ${ }^{2}$ から取得した. 係数は月毎に，その前月を最終月とした 60 ヶ月のウインドウデータに基 づいて算出した. 推定した係数を用いて時点 $t$ にお ける企業 $i$ の資本コスト $C P_{i t}$ は

$C P_{i t}=\hat{\beta}_{i t} \mathbb{E}\left[\left(r_{M t}-r_{f t}\right)\right]+\hat{\delta}_{i t} \mathbb{E}\left[S M L_{t}\right]+\hat{\gamma}_{i t} \mathbb{E}\left[H M L_{t}\right]$.

と計算できる.ここで各期待値 $\mathbb{E}[\cdot]$ は， $r_{f t}, r_{M t}, S M L_{t}, H M L_{t}$ それぞれの 1990 年 7 月か ら $t$ 時点までの平均値として計算した。

## 2.3 決算説明会テキストへの感情極性 スコアリング

本研究では，本邦における決算説明会のテキスト 分析が少ないこと，より単純で解釈が容易であるこ とから，金融ドメインに特化した日本語の極性辞書 [19]を用いて感情極性の付与を行う．辞書には 1 文字だけの極性表現や，3 文字以内のひらがな・ カタカナのみから構成される極性表現が含まれる が，これらは除いた上で使用した. 辞書では，トー クンに対し連続的な値を取るスコアが付与されて おり，これを用い式 (2)ように極性を付与した.こ こで, 企業 $i$ の決算説明会のテキストは, 企業から の決算説明のセクションと，それに続く質疑応答の セクションからなり，その構成する文字列の系列を $\boldsymbol{d}_{i}=\left.\{\boldsymbol{d}_{i, P T}, \boldsymbol{d}_{i, Q A}\right.\}$ と表すこととする. $s(w)$ は文字列 $w$ が極性辞書に含まれるときその極性の値を，含 まれないとき 0 を返す関数である.

$
\operatorname{TONE}(\boldsymbol{d})=\frac{\sum_{w \in \boldsymbol{d}} s(w)}{\sum_{w \in \boldsymbol{d}}|s(w)|}
$
 french/data_library.html

また，本分析では次の 2 つの極性を定義し，それ ぞれの決算説明会のテキスト $d_{i}$ に対して付与した.

・説明セクションの感情極性：

$
\text { TONE }\left(\boldsymbol{d}_{i, P T}\right)
$

・質疑セクションの感情極性：

$
\operatorname{TONE}\left(\boldsymbol{d}_{i, Q A}\right)
$

## 2.4 決算データ・資本コストとの関連分析

(1) 式の資本コスト $C P_{j t}$ を従属変数とした重回帰分析を行い，決算発表のテキスト特徴との関連を分析する. ここで, $T O N E_{P T, j t}, T O N E_{Q A, j t}$ はプレゼ ンテーションセクションと質疑応答セクションの感情極性スコア, $L E N_{P T, j t}, L E N_{Q A, j t}$ はそれぞれのテ キスト長， $Y D_{t}$ は年のダミ一変数, $S D_{j}$ は所属セク ター（TOPIX11）のダミー変数である．その他の変数 CONTROL $L_{j t}$ には，対数売上高 $(\log (S A L E S))$ や 時価簿価比 $(B M)$, レバレッジ (LEVERAGE), 売上成長率 $(S G)$ などが含まれる $[20,6]$. コントロール 変数は決算発表で言及されている決算の値を用い た.また， $\beta$ はそれぞれの変数に対する係数，Гは コントロール変数に対する係数べクトルを表す。

$C P_{j t}=\beta_{1} T O N E_{P T, j t}+\beta_{2} T O N E_{Q A, j t}+\beta_{3} L E N_{P T, j t}+$

$C P_{j} t, S G, B M$ について，両側 $1 \%$ のウィンソライ ズ処理により異常値の補正を行った. 各変数の要約統計量を表 1 に示す. 全ての変数について欠損がな く，最終的に分析に用いたサンプル数は 211 であっ

は重回帰分析にあたり対数変換を施した。

## 3 結果

重回帰分析の結果を表 2 に示した.

表 2 より，質疑応答文の文字数が多いと資本コス トが低い傾向があることがわかる。これは，決算説明会において，既に発表されている決算の内容や企業が予め用意したスクリプトよりも，投資家からの 要請である質疑応答により長い時間を用意すること が，より良い情報開示になっていることを示唆する 結果である。このことは，情報の非対称性を緩和す る IR 活動，すなわち情報開示の質が良いと資本コ表 1 各変数の要約統計量

表 2 式 (3)の重回帰分析の結果

ストが低くなるとする一連の既存研究の結果とも整合的である.

また，感情極性スコアの回帰係数は，プレゼン テーションセクションも質疑応答セクションも共に 有意水準 $5 \%$ では棄却されなかった。このことから，他の独立変数を条件付け決算の内容を踏まえたと き，決算説明会において論調を変えることは，資本 コストの高低には影響しないことが示唆される。

## 4 まとめ

本研究では，情報の非対称性という観点から IR 活動の一種である決算の内容を踏まえた決算説明会 のテキスト特徴，さらには資本コストの関係を分析 した. 結果として，質疑応答の長い説明会を開催す る企業は，資本コストも低い傾向にあることを明ら かにした.この結果は，決算説明会の質疑応答ひい ては投資家からの要請で情報を開示することが，情報の非対称性を緩和する質の良い IR の要素になっ ていることを示唆する.

本研究の限界として, 決算説明会の書き起こしを 入手できた企業の数が現在ではごく一部に限られ，上場企業全体から見た場合にはバイアスがあること が挙げられる. また時点も直近の数年に限定されて いる. 企業数及び時点のサンプル数を拡大したとき に同様の事象が観測されるとは限らない. 今後, サ ンプル数の拡充と継続した分析が必要になると考 える.

さらに，本研究では資本コストとテキストの表面的な特徴との関連を分析するに留まったが，より内容に踏み込むアプローチとして，質疑応答で言及さ れているトピックを分類し分析することなどが考え られる。また，先行研究を踏まえた場合，ボラテリ ティやリターンなどとの関連分析も興味深い示唆に つながると考える. 今後の研究課題としたい.

## 参考文献

[1] Jeremy Bertomeu and Robert P Magee. Mandatory disclosure and asymmetry in financial reporting. Journal of Accounting and Economics, Vol. 59, No. 2-3, pp. 284-299, 2015.

[2] Douglas W Diamond. Optimal release of information by firms. The journal of finance, Vol. 40, No. 4, pp. 10711094, 1985.

[3] Douglas W Diamond and Robert E Verrecchia. Disclosure, liquidity, and the cost of capital. The journal of Finance, Vol. 46, No. 4, pp. 1325-1359, 1991.

[4] Christine A Botosan. Disclosure level and the cost of equity capital. Accounting review, pp. 323-349, 1997.
[5] Christine A Botosan and Marlene A Plumlee. A reexamination of disclosure level and the expected cost of equity capital. Journal of accounting research, Vol. 40, No. 1, pp. 21-40, 2002.

[6] 内野里美. 自発的な情報開示が自己資本コストに与 える影響. 現代ディスクロージャー研究, Vol. 6, pp. $15-25,2005$.

[7] Stephen Brown, Stephen A Hillegeist, and Kin Lo. Conference calls and information asymmetry. Journal of Accounting and Economics, Vol. 37, No. 3, pp. 343-366, 2004.

[8] Michael D Kimbrough. The effect of conference calls on analyst and market underreaction to earnings announcements. The Accounting Review, Vol. 80, No. 1, pp. 189-219, 2005.

[9] 張潚月, 金奕群. 決算説明会における質疑応答内容 の開示と情報の非対称性との関係. 証券アナリスト ジャーナル, Vol. 59, No. 8, pp. 86-98, 2021.

[10] 真鍋友則, 黒木裕鷹, 指田晋吾, 中川慧. 決算説明会に 関する情報開示の効果検証. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 18-22, 2022.

[11] S McKay Price, James S Doran, David R Peterson, and Barbara A Bliss. Earnings conference calls and stock returns: The incremental informativeness of textual tone. Journal of Banking \& Finance, Vol. 36, No. 4, pp. 9921011, 2012.

[12] 橋本英樹. 国内企業の決算説明会の感情分析. 第 55 回 2021 年度夏季ジャフィー大会, 2021.

[13] 黒木裕鷹, 真鍋友則, 指田晋吾, 中川慧. 決算説明会 テキストデータの感情極性と株式リターンの分析.人工知能学会第 29 回金融情報学研究会, pp. 47-53, 2022.

[14] Feng Li. Annual report readability, current earnings, and earnings persistence. Journal of Accounting and economics, Vol. 45, No. 2-3, pp. 221-247, 2008.

[15] Brian P Miller. The effects of reporting complexity on small and large investor trading. The Accounting Review, Vol. 85, No. 6, pp. 2107-2143, 2010.

[16] Tim Loughran and Bill McDonald. Measuring readability in financial disclosures. the Journal of Finance, Vol. 69, No. 4, pp. 1643-1671, 2014.

[17] Eugene F Fama and Kenneth R French. The cross-section of expected stock returns. the Journal of Finance, Vol. 47, No. 2, pp. 427-465, 1992.

[18] 太田浩司, 斉藤哲朗, 吉野貴晶, 川井文哉. Capm, fama-french 3 ファクターモデル, carhart 4 ファクター モデルによる資本コストの推定方法について. 関西大学商学論集, Vol. 57, No. 2, pp. 1-24, 2012.

[19] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259. Springer, 2018.

[20] Sabino P Kothari, Xu Li, and James E Short. The effect of disclosures by management, analysts, and business press on cost of capital, return volatility, and analyst forecasts: A study using content analysis. The Accounting Review, Vol. 84, No. 5, pp. 1639-1670, 2009.


# トピックモデルによる市場変動要因の抽出

川原一修 1
${ }^{1}$ Japan Digital Design
\{takanobu.kawahara\}@japan-d2.com

## 概要

本稿では日々大量に生じる金融ニュースから市場 の変動に影響を与えたトピックをトピックモデルを 使用して効率的に抽出する手法を考察した。先行研究と比べてトピックの抽出に文章のコンテキストま で用いる点に新規性があり、比較実験でコンテキス トを使用する手法の優位性を示したあと、実際に市場変動に影響を与えたトピックを抽出し人間の目で 見ても違和感のないことを確かめた。

## 1 はじめに

金融アナリストが市場分析を行う際に、過去に あった、類似した環境での市場動向について調査し 将来を予想する上での参考とすることが多々ある。 しかし、金融市場は様々な要素で変動し、市場の値動きだけから過去の相場がどのような要素によって ドライブされていたのか特定することは難しく、金融アナリストは過去の金融ニュースなど多量の文献調査に時間をさくケースがままある。そこで本稿で は、市場関連ニュースのヘッドラインを使用してど のようなニュースが市場の動向に影響を与えていた のか検出する手法について考察した。日々大量に流 れてくるニュースをトピックモデルによって大別 し、その後シンプルな回帰モデルで市場変動に影響 を与えていたトピックを効率的に検出する手法を提案する。時々の市場をドライブしていたトピックを 明らかにすることで、金融アナリストの文献調查の 補助情報として利用することを考えた。

## 2 先行研究

## 2.1 トピックモデル

文章の集合から、これらの文章の生成過程に潜ん でいる潜在トピックを抽出しようとする研究はト ピックモデルとしてこれまで盛んに研究されてき た。とりわけ、Latent Dirichlet Allocation(LDA)[1] や
Non-Negative Matrix Factorization(NMF) [2] は実務で も広く利用されるようになった。これらの手法は大量の文章の中からトピックを効率的に抽出する上 で有用な手法ではあるが、文章中に各単語が何回登場したかを数え上げて作成した行列 (Bag of Words, BoW) をべースとした手法であるため、単語同士の つながりが形成する文章のコンテキストを必ずしも 活用しきれないことが欠点としてあげられる。

これに対して、特に Bidirectional Encoder Representation from Transformers(BERT) [3] の登場以来、文章 の分散表現を使用してトピックの抽出に文章の コンテキストまで活用しようとする研究が行わ れている。節 3.1 で解説する BERTopic[3] の他に も、Sentence-BERT [4] による分散表現と BoW を同時に活用し、Valuational Auto Encoder を用いて潜在 トピックを抽出する Combined Topic Model(CTM)[5] や,Doc2Vec [6] によって事前学習された分散表現か らクラスターを探知することでトピックを抽出する Top2Vec[7] などでは、従来手法である LDA などと 比べてトランスフォーマーベースの手法のパフォー マンスが優位だったとの報告がなされている。

## 2.2 トピックモデルを使用したマーケット 変動要因の抽出

マーケットの変動を説明するトピックを抽出する 研究としては [8] が挙げられる。[8] では、S\&P500 指数の構成銘柄の価格リターンやボラティリティ を説明するトピックを抽出する手法が研究された。手法としては複数の LDA のアンサンブルによるト ピック抽出と相対的なトピックウェイトによるター ゲット変数の回帰であり、アンサンブルの手法に 様々な工夫が凝らされている。トピックのセンチ メントを株価の将来変動の予想に活用した研究と しては [9] や [10] があるが、これらの研究と異なり [8] では、将来の市場変動を予測することを研究の モチベーションにしているのではなく、変動の要因 となっているトピックを検出することをモチベー ションにしている点が本稿に近しい。[8]、本稿とも

に市場変動とテキスト情報で同時点のデータを使用 して分析を進めていることをここで強調する。本稿 との違いについては [8] では LDA ベースの手法を用 いており、文章のコンテキストまで取り入れて分析 を行うことの効果の検証は本稿で新規の観点だと考 える。

## 3 理論

## 3.1 BERTopic

本節では BERTopic[11] について概観する。 BERTopic ではLDA などの従来手法と異なり、文章の生成に特別なモデルを想定しない。BERTopic のトピック抽出方法は要約すると以下の流れに なる。

1. Sentence-BERT[4] による分散表現の抽出

2. UMAP[12] による次元削減

3. HDBSCAN[13] によるクラスタリングとトピッ クの抽出

4. c-TF-IDFによるトピックの代表単語の抽出

c-TF-IDF は通常ドキュメント単位で計算される TF-IDFをクラスター単位に拡張した手法であり、各単語 $t$ のクラスター $c$ 内でのウェイト $W$ は以下の様 に計算される

$
W_{t, c}=t f_{t, c} \cdot \log \left(1+\frac{A}{t f_{t}}\right)
$

右辺第一項はクラスター内での単語の出現頻度 $t f$ であり、通常の TF-IDFで inverse document freaquancy に相当する第 2 項は全クラスターの平均単語数 $A$ を 各々のクラスターに単語 $t$ が登場する頻度で除した 值となっている。このウェイトが高い単語ほどクラ スター内での重要度が高い単語と解釈される。

## 3.2 トピックの評価指標

本稿ではトピックモデルの精度評価に Topic Coherence(TC) と Topic Diversity(TD) の 2 つの指標 を採用した。TC の計算方法にはいくつかのバリ エーションがあるが、本稿では normalized pointwise mutual information(NPMI) [14] 利用した。具体的に は 2 つの単語 $w_{i}, w_{j}$ の NPMI は以下の式で計算さ れる。

$
\begin{gathered}
\operatorname{NPMI}\left(w_{i}, w_{j}\right)=\left(\ln \frac{p\left(w_{i}, w_{j}\right)}{p\left(w_{i}\right) p\left(w_{j}\right)}\right) /-\ln p\left(w_{i}, w_{j}\right) \\
T C_{t}=\frac{2}{k(k-1)} \sum_{i=1}^{k-1} \sum_{j=i}^{k} N P M I\left(w_{i}, w_{j}\right)
\end{gathered}
$

式1の $p($.$) はコーパスの中での単語の出現確率で、$単語ペアが同時に出現する確率が高いほど NPMI の 値は大きくなり、 -1 から 1 の間の値を取る。 $T C_{t}$ はトピック $t$ で上位 $k$ 単語の NPMI の平均値であり、 $\mathrm{TC}$ は全てのトピックについて $T C_{t}$ の平均をとって 計算される。使用する単語数 $\mathrm{k}$ はハイパーパラメー タであり本稿では 10 を用いた。TC は人間の評価し たトピックの精度との相関が高いとの研究 [15] があ ることから広く利用されるようになった。TDは各 トピックにユニークな単語の割合で、 0 から 1 の値 をとる。広範なトピックを探知できていれば值は 1 に近づき、トピックの重複が多ければ值は 0 に近づ $<[16]$ 。

## 4 データ

金融ヘッドラインデータ 本稿では Bloomberg 社 のイベントドリブンフィードサービスから Textile News のヘッドラインを取得して利用する。本デー タセットにはニュースを識別する ID、ニュースが フィードされた時刻、言語、ヘッドラインなどの情報が提供されている。ニュースのへッドラインのみ を分析の対象とし本文は使用しない、また言語が英語のヘッドラインのみ使用する。ニュースによって は事後的にアップデートされるものがあり、同じ ID を持つニュースの中でフィード時刻が最新のレコー ドのみを使用してニュースの重複を回避した。使用 したデータの期間と件数は以下の通りである。

1. トピックモデルの比較
- 期間: 2022 年 12 月 $5-7$ 日、13、14 日
- 件数: 27,937

2. マーケット変動要因の抽出
- 期間：2018年 1 月 1 日 2022年 6 月 30 日
- 件数 : 7,232,088

本稿では以後このデータセットを金融へッドライン データと呼ぶことにする。

市場データ 代表的な市場指数として S\&P500 指数を利用する。日次で終值を Bloomberg から取得し て利用する。

## 5 実験手法

本稿では 2 つ実験を行った。1つ目の実験は金融ヘッドラインニュースに有効なトピックモデルの 探索を行うための比較実験であり、複数のトピック モデルをデータに当てはめて得られたトピックの 品質を比較する。2つ目の実験はトピックモデルに

よって得られたトピックのセンチメントが市場変動 に対して説明力があるのか検証した上で、実際に検出されたトピックを例示する。

## 5.1 トピックモデルの比較

本節では複数のトピックモデルについて金融へッドラインデータでの性能を比較する。比較したモデルは LDA,NMF,CTM,Top2Vec,BERTopicFinBERT,BERTopic の 6 種類である。BERTopicFinBERT については BERTopic のプロセスのう ち 1 番の分散表現の抽出に、FinBERT [17] の [cls] トークンの出力に相当するべクトルを利用した。6 種類の手法の中で、CTM,Top2Vec, 2 種の BERTopic が文章の分散表現を利用した比較的新規の手法であ る。クラスタリングの品質はトピック毎に抽出した 代表単語の TC と TD で計測した。すべてのモデル でトピック数をハイパーパラメータとして与えるこ とができる。本実験では $10,20,30,40,50$ と 5 種類の トピック数について乱数シードを変えながら 3 回実験を繰り返し、全 15 回の試行の精度指標の平均を 報告している。

## 5.2 市場変動の回帰モデル

前出の BERTopic を使用して抽出したトピックが 市場の変動に対して説明力があるか、シンプルな回帰モデルを構築して検証する。

$
\begin{aligned}
r_{t, t-1} & =\beta_{1} r_{t-1, t-2}+\beta_{2} r_{t-1, t-6}+\beta_{3} r_{t-1, t-11} \\
& +\sum_{i=1}^{K} \beta_{i+3} \text { sentiment }_{i, t}
\end{aligned}
$

$r_{t, t-i}$ は $t-i$ 時点の引け值から $t$ 時点の引け值ま での価格リターンであり、最初の 3 項は前日までの 1 日、 5 日、10 日リターンを説明変数として使用し ており、 sentiment $t_{i, t}$ はトピック $i$ の $t$ 時点でのセン チメントである。使用するトピック数 $K$ を 0 とした 場合と 0 より大きな数としたときにモデルの説明力 に違いがあるかを検証する。回帰は Lasso 回帰とし て行い、制約項の係数はハイパーパラメータとして 5fold のクロスバリデーションにより決定する。精度指標としては $R^{2}$ 値、平均絶対誤差、平均 2 乗誤差 を測定する。モデルはデータを3 个月毎に区分し、 それぞれの期間でトピックの抽出と、回帰モデルの 推定を行う。ヘッドラインの取得時間が UTC21 時以降の場合には翌日のニュースとして取り扱う、本表 1 モデル毎のトピックの品質

稿では市場指数として S\&P500 指数を使用してお り、米国での取引が活発となる時間を意識して時間 を区分した。へッドラインのセンチメントの計測に は FinBERT を利用する。FinBERT では入力文章の 極性が positive,neutral,negative の 3 クラスに判定され る共に、クラスに属する可能性をスコアとして出力 する。得られたセンチメントが positive の場合には スコアをセンチメントスコアとして利用し、neutral の場合には 0 、negative の場合にはスコアに-1を乗 じてへッドラインのセンチメントスコアとした。各 トピック $i$ の日次センチメントスコアは、時点 $t$ で 得られたへッドラインのうち、当該トピックに属す るへッドラインのセンチメントスコアの平均として 計算する。

## 6 実験結果

## 6.1 トピックモデルの比較

各モデルにより抽出されたトピックの精度指標を 表 1 にまとめた。TC については BERTopic の精度が 最も良好で次いで BERTopic-FinBERT が良好であっ た。LDA や NMF の様な BoWをべースとした手法 と比較してトピックの精度が高くなっているのは [11] の報告と傾向が一致しており、文章のコンテキ ストを活用することが得られたトピックの精度に有利に働く可能性があるという点は金融へッドライン データに関しても同様であった。TCでみた精度が 最も低いのは Top2Vec であり、複雑な潜在べクトル の分布に対して、クラスターのセントロイドを使用 したトピックの抽出が [11] の指摘通り有効に機能し ていない可能性がある。最後に BERTopic-FinBERT と BERTopic の比較では、直観的には金融コーパス でのファインチューニングが行われた FinBERT と 使用することで精度が向上することが期待された が、結果としては Sentence-BERT を使用したモデル の精度が比較的良好だった。文全体の分散表現を獲
表 2 回帰モデルの精度指標

表 3 各トピックの回帰係数と代表単語

得するように訓練した Sentence-BERT を利用するこ とがへッドラインのクラスター作成には有利だった 可能性があり、金融コーパスで文章全体の分散表現 を獲得するように事前学習したモデルを使用するこ とでさらなる精度の向上を望めることから今後の課題として記載する。

## 6.2 マーケット変動要因の抽出

## 6.2.1 精度指標

金融ヘッドラインデータを用いて、式 2 のモデル を推定し、モデルの精度指標を表 2 にまとめた。使用するトピック数は $K$ を $0,50,100$ と 3 種類実験して いる。表中の数字は、データ期間を 3 ヶ月毎の区分 に分けた 18 セットでそれぞれモデルを推定した結果の平均値である。 $\mathrm{K}$ を 0 として、過去の価格変動 だけで市場変動をモデリングしたケースではマー ケット変動に対する説明力はほどんどなく $R^{2}$ 值も 0 に近い值になっている、使用するトピックの数を 増やすと $R^{2}$ の値は大きくなり、2つの誤差指標も $K=0$ の場合と比べて低下している。トピックのセ ンチメントがマーケットの変動の少なくとも一部を 説明していると考えられる。

## 6.2.2 抽出されたトピック

次に、実際に推定されたモデルと抽出された単語 の具体例を示す。表 3 に 2022 年 4 月 1 日から 6 月 30 日のデータを使用したモデルについて一部のト ピックセンチメントに対する回帰係数と各トピック の代表単語の上位 10 単語を示す。

推定されたモデルでは 24 個の説明変数の係数が 0 と異なった、うち値が正であったものは 7 個も含 め、全てがトピックセンチメントであった。表 3で は紙面に収めるために 4 つのトピックのみについ て記載する。1 番目のトピックは SP500 や NASDAQ などの単語が並び主に米国の株式市場に関する ニュースと思われる。当日の金融市場の動向をタイ ムリーにニュースとして配信するベンダーが存在 し、これらのニュースがトピックとして抽出されて いる。市場動向ニュースを事後的に抽出すること に実務的な意味があるのかは議論の余地があるが、 その他のトピックにも特徵的な単語が並ぶ。 3 番目 のトピックでは”ukraine"、"russia”などの単語が並び ロシアのウクライナ侵攻の情勢に金融市場が敏感 になっていたことが示される。4 番目のトピックに は”ecb","treasuries","curve"、などの金利市場に関わ る単語が並び、各国中央銀行の動向や金利市場の ニュースが株式市場にも影響を与えていた可能性が 示唆される。

## 7 結論

本稿では金融アナリストが過去の市場変動の要因 となった事象を調べる際に、ニューステキストとト ピックモデルを使用して効率的に市場変動の要因と なったトピックを抽出する手法を提案し実証実験を 行った。実験は 2 段階に分けて行われ、 1 つ目の比較実験では金融ニューステキストに複数のトピック モデルを適用し、トランスフォーマーベースの手法 が LDA などの従来手法と比べてトピック抽出のパ フォーマンスが優位であることを明らかにした。2 つ目の実験では BERTopic を使用して実際にトピッ クを抽出し、回帰分析を通じて市場の変動を説明す るトピックが検出できるか検証した。トピックを説明変数として使用したモデルはそうでないモデルと 比べて $R^{2}$ などでみて精度が向上しており、市場の 変動を説明するトピックが検出できていると考え る。実際に検出されたトピックも人間の直観にあう 内容となっており本稿で提案した手法に一定の有用性があると考える。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, No. null, pp. 993-1022, mar 2003.

[2] Cédric Févotte and Jérôme Idier. Algorithms for nonnegative matrix factorization with the $\beta$-divergence. Neural Computation, Vol. 23, No. 9, pp. 2421-2456, 2011.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.

[5] Federico Bianchi, Silvia Terragni, and Dirk Hovy. Pretraining is a hot topic: Contextualized document embeddings improve topic coherence. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 759-766, Online, August 2021. Association for Computational Linguistics.

[6] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188-1196, Bejing, China, 22-24 Jun 2014. PMLR.

[7] Dimo Angelov. Top2vec: Distributed representations of topics. CoRR, Vol. abs/2008.09470, , 2020.

[8] Paul Glasserman, Kriste Krstovski, Paul Laliberte, and Harry Mamaysky. Choosing news topics to explain stock market returns. In Proceedings of the First ACM International Conference on Al in Finance, ICAIF '20, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Thien Hai Nguyen and Kiyoaki Shirai. Topic modeling based sentiment analysis on social media for stock market prediction. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1354-1364, Beijing, China, July 2015. Association for Computational Linguistics.

[10] Jaydeep Soni Ivalio Dimov. Trading esg news using topic codes factors, 2021.

[11] Maarten Grootendorst. Bertopic: Neural topic modeling with a class-based tf-idf procedure. 2022.

[12] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[13] Leland McInnes and John Healy. Accelerated hierarchi- cal density based clustering. In 2017 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE, nov 2017.

[14] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. Proceedings of GSCL, Vol. 30, pp. 31-40, 2009.

[15] Jey Han Lau, David Newman, and Timothy Baldwin. Machine reading tea leaves: Automatically evaluating topic coherence and topic model quality. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 530539, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[16] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[17] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.


# 情報源のアノテーションによる 外部知識に基づいた応答の魅力度の分析

児玉 貴志 ${ }^{1}$ 清丸 寛一 ${ }^{1}$ Yin-Jou Huang ${ }^{1}$ 岡久太郎 ${ }^{2}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学 2 静岡大学
\{kodama, kiyomaru, huang, kuro\}@nlp.ist. i kyoto-u.ac.jp
okahisa-taro@inf.shizuoka.ac.jp

## 概要

人間は何らかの外部知識を参照しながら話す場合 でも，自身の知識や意見を適度に織り交ぜながら魅力的に発話を行う. 本研究ではそういった人間の振 る舞いを，既存の外部知識に基づいた対話コーパス に追加で情報源のアノテーションをすることで分析 する. 具体的には，発話中の各エンティティに対し て，そのエンティティが外部知識に由来する（外部知識由来）か, 話者の知識や意見に由来する（話者由来）かをアノテーションする. 分析の結果, 話者由来情報を含む発話は応答の魅力度が高いことが分 かった. また，既存の外部知識に基づく対話応答生成モデルが生成する応答は人間の応答より話者由来情報の割合が少ないことを実験的に確認した。

## 1 はじめに

対話システムに情報性の高い応答を生成させ るために外部知識を活用する研究が増加してい る $[1,2,3,4,5]$. そうした研究では与えられた外部知識を正確に応答に反映させる方法に注目すること が多い $[6,7]$.

しかし外部知識に基づく対話において，図 1 に示 すように，人間は単に外部知識による情報を相手に 知らせるだけでなく, 話者自身が持っている知識や 意見を有効に織り交ぜる $[8]$ ことで，発話を魅力的 なものにしている．与えられた外部知識を応答に正確に反映することに特化したモデルが，そのような 魅力的な振る舞いをどの程度実現できるかはこれま で定量的に確認されていない。

そこで本研究ではまず，外部知識に基づいた対話 コーパスの発話に情報源のアノテーションを追加 で施すことで, 人間が話者由来情報をどの程度発話 に取り込んでいるかを分析する。具体的には，発話
いちばんの見どころはどこですか?

製作年度 : 2003年

レビュー : 世界的にヒットした海賊たちの 世界いがテーマの映画の 1 作目見どころですか ? 2003年の古い映画なのですが今見ても 古さを感じず見れるとこですかね。海賊の争いがテーマなんですけど裏切りもあるのですが それを超え絆を深めて行くとこがなんとも大好きです。

図 1 Japanese Movie Recommendation Dialogue [9] の対話例. 推薦者発話中の青字と赤字の箇所がそれぞれ外部知識由来情報と話者由来情報を指す．推薦者発話の上部の 四角部分には推薦者が該当発話で使用している外部知識 を示す.

中の各エンティティに対して，そのエンティティが 外部知識に由来する（外部知識由来）か，話者自身 の知識や意見に由来する（話者由来）かをアノテー ションする. アノテーションされたデータセットを 分析した結果，魅力的な発話は話者由来情報を多く 含むことを確認できた。

次に，パープレキシティを最小化するという一般的な手法で訓練した，BART ベースの応答生成モデ ルが話者由来情報をどの程度使用できているかを調査した。その結果応答生成モデルは人間ほど頻繁に は話者由来情報を使用できていないことが明らかに なった．以上の分析と実験結果より，外部知識に基 づく応答生成における魅力度を高めるにはパープレ キシティを最小化するだけでは不十分であり，学習 フレームワークに改善の余地があることが示唆さ れた.

## 2 情報源のアノテーション

本節では情報源ラベルのアノテーション方法とそ の結果について説明する。

## 2.1 アノテーション方法

外部知識に基づいた対話コーパスである Japanese Movie Recommendation Dialogue (JMRD) [9] に追加で 情報源のアノテーションを行う．JMRD は映画推薦

についての日本語対話コーパスで，推薦者は発話を 行う際に，参照した映画情報にアノテーションを 行っている.この手続きにより推薦者の全ての発話 に, 外部知識として映画情報が紐付けられている。各知識は知識タイプ (タイトル, 製作年度, 監督, キャスト，ジャンル，レビュー，あらすじ，知識な しの8つ）と対応する知識コンテンツから構成され ている. 表 7 に JMRD の対話例を，表 8 に JMRDで 使用されている外部知識の例を示す.

本研究では推薦者の発話中の全ての体言，用言，形容詞をアノテーションの対象とし，これらをエン ティティと呼ぶ. エンティティの抽出には, 形態素解析器 Juman++ [10] を使用する. 抽出の際にはエン ティティの意味を捉えやすくするため，エンティ ティを修飾している形容詞や副詞も含めて抽出す る. アノテータは抽出されたアノテーション対象を 以下に示す情報源のタイプのいずれかに分類する。

外部知識由来：対象のエンティティがその発話で使用されている外部知識に基づいている.

話者由来：対象のエンティティが推薦者が推薦映画について元々持っている知識や意見に基づいて いる.

その他：上記 2 つに該当しない.

以下に分類の実例を示す.

(1) 発話：アクションシーン (外部知識由来) は

見ごたえ (話者由来) 抜群です

使用されている知識：\{ジャンル,アクション\}

アノテーションはプロのアノテータに依頼した. 1 人のアノテータが 1 つの対話を担当し, アノテー ション後に別のアノテータが内容を確認した。アノ テーションにかかった費用は約 140 万円だった.

## 2.2 アノテーション結果

表 1 にアノテーションの統計を示す. 推薦者は外部知識を参照しながら発話をしているため，その性質上外部知識由来のエンティティが多いものの, 話者由来のエンティティも約 6 万個存在した. この結果は，人間は外部知識を伝えるための対話であって も，自身の知識や経験，意見を発話に取り入れてい ることを示している.表 1 情報源のアノテーションの統計

図 2 アンケート結果と各情報源ラベルとの関係

## 3 人間の応答の分析

本節では人間の発話の魅力度と話者由来情報の関係を対話レベルと発話レベルに分けて分析する。

## 3.1 対話レベルの分析

JMRD の一部の対話（4,317 対話）には対話終了後に取った 5 段階評価のアンケート（5 が最良）が 付随している. そのアンケートの中から, 被推薦者側の, 対話魅力度（質問文：「対話を楽しめたか」） と, 推薦成功度（質問文：「推薦された映画を見たく なったか」）の2つのアンケート結果と各情報源ラ ベルの割合との関係について分析する.

図 2 にアンケートのスコア別に各情報源ラベル の割合を示す.この図より対話魅力度，推薦成功度 ともに，評価の低い対話では話者由来情報が少なく （または外部知識由来情報が多く），評価の高い対話 では話者由来情報が多い（または外部知識由来情報 が少ない）傾向が見て取れる．JMRDではクラウド
表 2 人間の応答に対する発話魅力度 ${ }^{11}$ 。括弧内の数値は 応答数を指す.

ワーカーに一定量の外部知識を提示し，その知識を 使いながら対話をするように教示している。ただ，対話相手からの評価が高い推薦者は，与えられた外部知識だけではなく，話者由来の知識をある程度 （統計的には約 $25 \%$ 程度）混ぜながら発話をしてい ることが分かった.

## 3.2 発話レベルの分析

JMRD には発話単位では応答の魅力度が付随して いないため，新たにクラウドソーシングで応答の魅力度 (発話魅力度) について評価を行った. まずテ ストデータの中から 500 個の対話文脈（4 発話）と その文脈に対する応答を抽出し，クラウドワーカー にその応答の発話魅力度（質問文：「この応答をし た人と話してみたい」）を 5 段階評価（5が最良）で 評価してもらう．各応答につき 3 名のクラウドワー カーに評価してもらい，スコアはその平均とする.

表 2 に結果を示す. 話者由来情報を含む応答の平均スコアが 3.31 であるのに対し，含まない応答の平均スコアは 3.07 であった. この結果より, 話者由来情報を含む応答の方がより魅力的であることが発話 レベルでも示された.

## 4 システム応答の分析

本節では一般的な手法で訓練した応答生成モデル が生成した応答中の情報源ラベルの分布を調査す る. まず対話文脈と外部知識から応答を生成する応答生成器（4.1 節）を訓練する. 次に応答と外部知識を入力，情報源ラベルの BIO タグを出力とする 情報源分類器（4.2 節）を訓練する. 最後に応答生成器が生成した応答（システム応答と呼ぶ）に対し て，訓練した情報源分類器によって情報源ラベルを 推測して付与し，その分布を確認する.

## 4.1 応答生成器

応答生成器は日本語 Wikipediaを使用して事前学習された BART large $^{\text {[11] }}$ を fine-tuning して作成す

1）情報源ラベルのない 4 発話についてはこの結果から除外し ている.表 3 情報源分類器による系列ラベリング結果

る2). モデルへの入力は以下のように定める.

$
\begin{aligned}
& {[C L S] u_{t-4}[S E P] u_{t-3}[S E P] u_{t-2}[S E P]} \\
& u_{t-1}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots \\
& {\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{aligned}
$

$t$ は対話ターン, $u_{t}$ は $t$ 番目の発話, $k t^{i}$ と $k c^{i}$ $(1<=i<=M)$ は応答 $u_{t}$ に紐付けられている知識夕 イプと知識コンテンツである（ $M$ は応答に紐付けら れている知識の最大数). $\left[C L S_{K}\right]$ は特殊トークンで ある．実運用時は知識選択も行う必要があるが，本研究では知識が応答にどのように反映されているか に注目するため，知識選択タスクは行わず，モデル には常に正解の知識を入力する. モデルは応答 $u_{t}$ のパープレキシティ最小化を目的関数として学習 する。

システム応答の評価には SacreBLEU [12] を使用 した. 正解の知識を与えているため，BLEU-1/2/3/4 は 81.1/73.5/71.0/69.9 と非常に高いスコアとなった. 3.2 節で行った，発話魅力度の評価をシステム応答 に対しても同様に行った. 平均スコアは 3.09 であ り，人間と比較するとやや低いスコアとなった.

## 4.2 情報源分類器

情報源分類器は日本語 Wikipedia と CC-100 を使っ て事前学習された RoBERTa large $^{\text {[13] }}$ を fine-tuning し て作成する ${ }^{3}$ ． 情報源分類器は，情報源の BIO ラべ ルを推定する系列ラベリングタスクを解く．モデル への入力は以下のように定める.

$
\begin{array}{r}
{[C L S] u_{t}[S E P]\left[C L S_{K}\right] k t^{1}[S E P] k c^{1}[S E P] \ldots} \\
{\left[C L S_{K}\right] k t^{M}[S E P] k c^{M}[S E P]}
\end{array}
$

表 3 に各ラベルの適合率 (Prec)，再現率 (Rec)，F1 スコア $(\mathrm{F} 1)$ とそれぞれのマイクロ平均スコアを示 す. マイクロ平均 F1 スコアは 90.50 であり，後段の 分析に使用するには十分な精度である.

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART\%E6\% $97 \% A 5 \% E 6 \%$ 9C\%AC\%E8\%AA\%9EPretrained\%E3\%83\%A2\%E3\%83\%87\%E3\%83\%AB

3) https://huggingface.co/nlp-waseda/

roberta-large-japanese-seq512

 & \\

表 5 人間とシステム応答の情報源ラベルの分布. gold はアノテータによって付与されたラベルを，pred は情報源分類器で推定したラベルを指す.

表 6 知識タイプ別の話者由来情報の割合

## 4.3 推定ラベルに対する分析

4.2 節で訓練した情報源分類器を用いて，システ ム応答の情報源ラベルを推定する．表 5 に人間とシ ステム応答の情報源ラベルの分布を示す. 人間の応答にはアノテーション（2 節）ですでに正解ラベル が付与されている（Human (gold)）が，公平な比較 のため人間の応答についても情報源分類器で推定ラ ベルを付与する (Human (pred)). Human (gold) と Human (pred) は似た分布になっており, 分類器の 精度が十分高いことを示している.

推定したラベルが付与されたシステム応答である System (pred) は，Human (pred) と比較すると，外部知識由来の割合が大きく増加 $(66.75 \% \rightarrow 85.48 \%)$ し,話者由来の割合が大きく減少 $(27.49 \% \rightarrow 10.66 \%)$ し た. この結果より，一般的な手法で訓練した応答生成モデルは人間より話者由来情報の使用量が減少し てしまうことが明らかになった.

表 4 に，人間とシステムの応答例を発話魅力度と ともに示す. システムは外部知識を適切に反映し ているものの，人間の応答中の「この二人，歌手も
やってます.」のような，話者由来情報を追加する といった振る舞いはできていない.

さらなる分析として，表 6 に知識タイプ別の話者由来情報の割合を示す. 人間の発話と比較すると， システム発話の話者由来情報の量はすべての知識 タイプで減少した. 特にレビュー $(31.42 \% \rightarrow 6.32 \%)$ やあらすじ $(13.68 \% \rightarrow 2.32 \%)$ では大きな减少が見 られた.レビューやあらすじは誰かの知識や意見を 記述した外部知識であり，システムはこうした外部知識を参照することで，他に話者由来情報を追加す る必要がなかったためであると考えられる。

話者由来情報が応答の魅力度を向上させるという 分析と合わせると，現在の主流のモデルは話者由来情報を効果的に取り込むことができないため，その 魅力度が低下してしまっている可能性がある. こう した能力は応答生成のパープレキシティを最小化す るようにモデルを最適化するだけではほとんど学習 されないため，新たな学習フレームワークが必要で あると考えられる。

## 5 おわりに

本研究では，外部知識に基づいた対話における，人間およびシステム応答に含まれる話者由来情報に ついて分析した. 分析の結果，外部知識だけでなく 話者由来情報を用いることで，より魅力的な応答が 得られることが分かった. また標準的な方法で学習 した応答生成モデルは，人間よりも話者由来情報の 生成量が少ないことを定量的に確認した。

対話に出現する話者由来情報は多種多様であり，単純に応答のパープレキシティを最小化するだけで は話者由来情報をうまく活用することは困難であ る. 今回施したアノテーションは公開予定であり, このアノテーション付きコーパスがこの問題に取り 組む上での良い出発点となることを期待する.

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成, JST，CREST，JPMJCR20D の支援，及び JSPS 科研費 JP22J15317 の助成のもとで行われた。

## 参考文献

[1] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, April 2018.

[2] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 708-713, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Nikita Moghe, Siddhartha Arora, Suman Banerjee, and Mitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2322-2332, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[5] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pre-trained language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 33773390, Online, November 2020. Association for Computational Linguistics.

[6] Byeongchang Kim, Jaewoo Ahn, and Gunhee Kim. Sequential latent knowledge selection for knowledgegrounded dialogue. In International Conference on Learning Representations, 2020.

[7] Haolan Zhan, Hainan Zhang, Hongshen Chen, Zhuoye Ding, Yongjun Bao, and Yanyan Lan. Augmenting knowledge-grounded conversations with sequential knowledge transition. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5621-5630, Online, June 2021. Association for Computational Linguistics.

[8] Hannah Rashkin, David Reitter, Gaurav Singh Tomar, and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
(Volume 1: Long Papers), pp. 704-718, Online, August 2021. Association for Computational Linguistics.

[9] Takashi Kodama, Ribeka Tanaka, and Sadao Kurohashi. Construction of hierarchical structured knowledgebased recommendation dialogue dataset and dialogue system. In Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 83-92, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphological analyzer toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. Vol. abs/1907.11692, , 2019.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.
表 7 JMRD の対話例. 話者列の R と S はそれぞれ推薦者と被推薦者を指し，添字の番号は対話のターン数を示す.「知識なし」は推薦者が外部知識を使用しなかったことを示す.

 \\

表 8 JMRD で使用されている外部知識の一例. 監督とキャストには名前と説明がそれぞれ存在する.

 &  \\

表 9 応答生成器と情報源分類器のハイパーパラメータ


# 知識グラフと Wikipedia を用いた雑談対話モデルの構築

郭 恩孚 ${ }^{1}$ 南泰浩 1
1 電気通信大学情報理工学研究科
enfu.guo@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

本研究では，対話モデルがユーザーの提示するエ ンティティを元に対話をより広げられるように、対話履歴から次の話題となるエンティティとその要約を外部から取得し、モデルの入力文脈に追加す る Fine-tune 手法を提案する。学習したモデルを用 いて、発話の自然性、エンティティ応答の妥当性、話題提供の適切性を評価する実験を行った結果、提案手法のモデルがベースラインと比べ、自然性スコ アが 0.66 ポイント、エンティティ応答の妥当性ス コアが 0.52 ポイント、話題提供の適切性スコアが 0.6 ポイントの向上を示し、提案手法の有用性を確認した。

## 1 はじめに

近年、Meta $の$ BlenderBot[1] や Google が発表した Meena[2] など、生成べースの対話システムが盛んに 研究されている。対話システムの研究においては、対話履歴のみを入力とするモデルが多く提案されて いる。しかし、これらのモデルはやや無難な応答を 多く生成することが報告されている。[3]。その原因 として、学習データ内に、「わからない」や「そうで すね」、「いいえ」などの文が多く含まれることが挙 げられる。

この問題を解決するため、対話に外部知識トリプ ルを導入することで、生成べースモデルが学習した 対話データ以外の情報を取り込むことができること が報告されている [4][5]。知識トリプルとは、自然言語処理において、人間の認識や知識を表現するた めに使用される三つの要素（主語、述語、目的語） からなるデータの構造である。例えば「猫は動物で ある」という文章を（猫、分類、動物）で表す。

外部知識トリプルの導入により、知識をモデルの パラメータとして保持する代わりに、知識を利用し た応答生成というプロセスそのものをモデルのパラ メータに保持することができる。その結果、モデル
を再学習する必要がなくなり、学習データに出現し たことがない知識を用いた応答生成が可能になる。 しかし、これらのモデルは、タスク指向型対話や、一問一答のような対話では有効であるが、複数ター ンの雑談対話では、過去の対話履歴を考慮できない 応答の生成や、新たな話題を持ち出せない応答の生成など、知識トリプルの情報をうまく使っていない ことが問題点として挙げられている。

そこで、本研究では、対話履歴から、次の話題 となるエンティティとその要約を知識グラフと Wikipedia から取得し、モデルの入力文脈に追加す る Fine-tune 手法を提案する。実験では、外部知識と して知識トリプルのみ使って Fine-tune したべース ラインモデルと外部知識として知識トリプルとエン ティティの要約を使って Fine-tune した提案モデル の比較を行った。人手による評価を行った結果、提案手法で学習したモデルは知識トリプルのみ使うモ デルよりスコアの向上を確認でき、提案手法の有用性を確認できた。

## 2 データ

## 2.1 対話データ

モデルの学習用対話データとして、[6] の 4 つの コーパスを用いた。各コーパスの構築ソースとデー 夕数を表 1 に示す。モデルの学習では、Wikiコーパ ス、CC-100コーパス、ツイートリプライコーパスを 用いて事前学習を行い、ツイート疑似対話コーパス を用いて Fine-tuneを行う。

 \\

図 1 各コーパスの構築ソースとデータ数

## 2.2 知識グラフとエンティティ要約

知識グラフは Wikidata[7] のダンプデータを用い て構築した。Wikidata は共同編集型の知識ベースで あり、Wikipedia と同じく Wikimedia Project 群の一 つである。Wikidataから（エンティティ1、プロパ ティ、エンティティ2）のような知識トリプルを抽出することができる。

しかし、Wikidata のデータは膨大であり、扱いが 困難であると考えられる。そこで、本研究では、計算量と雑談対話の性質から、知識グラフの構築に以下の制限を付けた。

・エンティティに日本語名が存在するデータ

・雑談対話において、有意義なプロパティを含む データ

ここでは「雑談対話において、有意義なプロパ ティ」とは、以下の項目とする。

・人物関連プロパティ

・人物・組織項目用プロパティ

・人物項目用プロパティ

・組織項目用プロパティ

・私生活関連プロパティ

これらのプロパティの探索には [8] を用いた。結果として、1,991,103 個のエンティティ、224 種類の プロパティ、56,552,434 個のトリプルを用いて知識 グラフを構築した。構築した知識グラフの例を図 2 に示す。

図 2 構築した知識グラフの例

また、各エンティティの要約情報は、Wikipediaを 用いて抽出した。その例を表 1 に示す。表 1 エンティティとその要約例

## 3 提案手法

対話履歴から、直近のユーザー発話やシステム発話の中に含まれるエンティティを抽出する。エン ティティの抽出には Ginza[9] を用いた。抽出したエ ンティティを元に、2.2で構築した知識グラフを用 いて、次の話題となるエンティティが存在するかど うかを確認する。次の話題となるエンティティが複数存在する場合、ランダムに一つを選び、そのエン ティティの要約を取得する。次の話題となるエン ティティが存在しない場合、対話履歴から抽出した エンティティの要約を取得する。取得したエンティ ティの要約を知識情報とし、対話履歴と共にモデル に入力し、知識応答生成を行う。また、対話履歴か らエンティティ抽出できなかった場合、知識情報の 部分を空欄にし、対話履歴のみモデルに入力し、一般応答生成を行う。その一連の処理のフローチャー トを図 3 に示す。

図 3 処理のフローチャート

## 4 実験

## 4.1 実験設定

モデルアーキテクチャには、Transformer EncoderDecoderを用いた。モデルの詳細な設定を表 2 に 示す。

## 4.2 事前学習

事前学習では、2.1の Wiki コーパス、CC-100コー パス、ツイートリプライコーパスを利用した。ま た、[6] と同じく3つの学習：ランダムマスク学習、 シングル応答生成学習、固有名詞マスク学習を行っ た。ランダムマスク学習では、入力トークンの $15 \%$ を [MASK] トークンに置き換え、元の文を復元す る。シングル応答生成学習では、入力からターゲッ 卜応答を生成する。固有名詞マスク学習では、入力文を事前に Sudachi[10] で形態素解析を行い、入力文 にある固有名詞を事前に [MASK] トークンに置き換 えた上で、トークン分割し、元の文を復元する。た だし、[6] では固有名詞を全部置き換えるに対して、本研究では 1 つの固有名詞のみ置き換えるようにし た。各事前学習の入出力形式を表 3 に示す。学習の Optimizer には Adafactor[11]を用い、学習率を 1e-4、 warmup step を 1000 にそれぞれ設定し、目的関数に は label smoothed cross entropy を使用した。

## 4.3 Fine-tune

Fine-tune では、2.1 のツイート疑似対話コーパス を利用した。Encoderへの入力は、話者情報を表す [USER][SYS] トークン、知識情報を表す [KL] トー クンを導入し、先頭に「[SYS] の発話を生成する：」 を付け、過去の全発話を入力する。ユーザーの発話 に該当する部分の先頭に [USER]、末尾に [/USER] トークンをつけた。システムの発話に該当する部分 の先頭に [SYS] トークン、末尾に [/SYS] トークン をつけた。知識情報に該当する部分の先頭に [KL] トークン、末尾に [/KL]トークンをつけた。また、 Feed-Forward Network および Attention の dropout 率を
0.1 に設定し、学習の Optimizer には Adafactor を使用 した。学習率を 1e-4、warmupstep を 2000 にそれぞ れ設定し、目的関数には label smoothed cross entropy を用いた。

## 4.3.1 ベースライン

知識情報の部分に知識トリプルを入れ、Fine-tune し応答文を生成するものを、ベースラインとして用 いる。その入力例を表 4 に示す。

表 4 ベースラインモデルの Fine-tune 時の入力形式のテ ンプレート

[SYS] の 発話を生成 す る:[USER] ユ — ザーの 発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの発話 $S_{1}[/ \mathrm{SYS}] \ldots[/ \mathrm{USER}][\mathrm{KL}]$ 知識トリプル:T[/KL][SYS]

## 4.3.2 提案モデル

知識情報の部分にエンティティの要約を入れ、 Fine-tune し、応答文を生成するものを提案モデルと して用いる。その入力例を表 5 に示す。

表 5 ベースラインモデルの Fine-tune 時の入力形式のテ ンプレート

[SYS] の 発話を生成 する:[USER] ユー ザーの発話: $U_{1}[/ \mathrm{USER}]$ [SYS] モデルの 発話 $S_{1}$ [/SYS]...[/USER][KL] エンティティ要約: $E[/ \mathrm{KL}][\mathrm{SYS}]$

## 4.4 評価時の応答生成設定

モデルの応答は自然性と多様性の両方を満たすこ とが望ましい。そこで、本研究では Beam Searchに よりベースラインモデルと提案モデルから応答を生成し、以下の処理を行う。同じ表現が繰り返し出現 する応答の生成を防ぐため、生成された系列中にす でに出現した N-gram を出現させないようにした。 さらに、「そうですね」といった無難な発話を繰り返 し応答しないように、difflibの SequenceMatcher を用 いて、現在の生成候補と過去のモデル応答と比べ、類似度が 0.7 以上の応答は候補から除外した。残り の候補の中、perplexity が比較的小さな応答を選択す ることで、自然性と多様性を同時に満たす応答を選 んだ。応答生成設定のパラメータを表 6 に示す。

表 3 各事前学習学習の入出力形式の例 (トークナイズ後)

## 4.5 実験結果及び分析

ベースラインモデルと提案モデルを比較するた め、評価者 5 名でそれぞれ 10 対話について評価し た。評価者と異なる実験参加者に 2 つのエンティ ティを提示し、モデルを使った対話システムと、 10 ターン以上継続した対話となるよう指示した。評価 では、下記の軸について 5 段階 (1: とてもそう思わ ない 5: とてもそう思う) 評価をしてもらった。

・自然性: 対話全体が自然かどうか

・エンティティ応答の妥当性: モデルは実験参加者が提示したエンティティをうまく応答でき たか
- 話題提供の適切性: モデルは実験参加者が提示 したエンティティから他の話題を提供できたか その評価結果を図 4 に示す。図 4 より、提案モデ ルはベースラインモデルより自然性スコアが 0.66 ポイント、エンティティ応答スコアが 0.52 ポイン ト、話題提供スコアが 0.6 ポイント向上している。

図4 モデルの評価結果

ベースラインモデルと提案モデルの生成例を表 5 に示す。ユーザーが提示した「ユニバーサル・ス タジオ・ジャパン」というエンティティについて、 ベースラインモデルでは、「ユニバーサル・スタジ オ・ジャパンはいいですね」といった知識トリプル を使わずにやや無難な応答を生成した。一方、提案モデルでは知識要約の情報を含んだ「私はスー パー・ニンテンド・ワールドに行ったことがありま す」という応答を生成しており、より踏み込んだ対話をしている。以上の結果により、実験参加者が提示したエンティティの情報を入力文脈に挿入するこ とで、よりそのエンティティに近い文が生成され、対話全体の自然性も上がったと考えられる。

また、提案モデルの低評価の生成例を図 6 に示 す。対話履歴により、猫と猫砂の話をしているた め、ユーザーの発話に出現した「ライオン」は「ラ
イオン (企業)」というエンティティのことを指し てると考えるのが妥当である。しかし、システムは 知識グラフ上の「ライオン (動物)」というエンティ ティに紐付けた。その結果、誤った知識を使って、唐突に動物のライオンについて発話してしまい、 ユーザーを困惑させている。対話履歴からユーザー 発話の中に含まれているエンティティを理解し、知識グラフのエンティティに正しく紐付くことが今後 の課題である。

図 5 ベースラインモデルと提案モデルの応答文生成例

図 6 低評価の生成例

## 5 おわりに

本研究では、対話履歴から、次の話題となるエン ティティとその情報を知識グラフと Wikipedia から 取得し、モデルの入力文脈に追加する手法を提案し た。人手評価の結果、知識トリプルで学習したモデ ルと比較し、自然性、エンティティ応答の妥当性、話題提供の適切性スコアがともに向上しているこ とが確認できた。一方、対話履歴から抽出したエン ティティを知識グラフの違うエンティティと紐付 け、誤った知識を使った応答が生成されるといった ことも生じた。前後の文脈などからより正確にエン ティティ抽出することが今後の課題である。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. Vol. abs/2004.13637, 2020.

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[3] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation, 2021.

[5] Debanjan Chaudhuri, Md Rashad Al Hasan Rony, and Jens Lehmann. Grounding dialogue systems via knowledge graph aware decoding with pre-trained transformers, 2021.

[6] 郭恩孚, 南泰浩. 固有名詞に注目した transformer に よる雑談対話モデルの構築. 言語処理学会第 28 回年次大会 発表論文集, pp. 1500-1504, 2022.

[7] Wikimedia Foundation. Wikidata downloads. 2022.

[8] Wikidata prop explorer.

[9] Mai Hiroshi and Masayuki. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会, 2019.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[11] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. Vol. abs/1804.04235, 2018.


# 大規模言語モデルの活用による効率的なロボット制御の学習

高城 頌太 ${ }^{1}$ 谷口 尚平 ${ }^{1}$ 中野 聡大 ${ }^{1}$
上田 亮 1 松尾 豊 1 谷中 瞳 1
1 東京大学
\{takashiro, taniguchi, nakano.akihiro, matsuo\}@weblab.t.u-tokyo.ac.jp
\{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

GPT-3 や ChatGPT に代表される大規模言語モデル は，様々なタスクで汎用的に高い性能を示し，自然言語処理のみならず様々な領域での応用が広がっ ている. 本稿では，大規模言語モデルをロボット制御の模倣学習に活用し, その学習効率やサンプル効率の向上への寄与について検証を行う．実験では， RLBench というべンチマークデータセットを用い $\tau$ ，提案手法の有効性を検証する，具体的には，単腕ロボットがモノをゴミ箱に捨てるというタスクを デモンストレーションデータから模倣学習する際 に，大規模言語モデルへのプロンプティングを活用 して，タスクを解く手順を説明するテキストを生成 し，それを補助情報として用いることで，学習効率 の向上を図る。

## 1 はじめに

GPT-3 [1] に代表される大規模言語モデルの登場 により，自然言語処理の様々なタスク（機械翻訳，質問応答，コードの自動生成・補完 [2]など）を高精度に解くことが可能になりつつある [3]. 特に，昨年秋に公開された ChatGPT [4] はチャット形式のイ ンターフェースと高精度な文章生成性能をもつこと から，世界的に注目を集めたことは記憶に新しい。 また，こうした大規模言語モデルの活用は，自然言語処理のみに留まらず，様々な領域まで広がり始め ている.近年は，ロボット制御の文脈でも，大規模言語モ デルを活用する研究が行われ始めている $[5,6]$. ロ ボット制御において，大規模言語モデルの活用が注目されている背景として, 強化学習や模倣学習に代表される機械学習ベースのロボット制御のサンプル 効率の悪さが挙げられる [7]. インターネット上か ら大量の学習データを収集することが容易な画像や自然言語などの領域と異なり，ロボット制御はデー タを収集するコストが高く，効率よく学習する方法論の確立が重要である．高い汎用性をもつ大規模言語モデルの活用は，このようなロボット学習の課題 を解決する糸口になりうると考えられる。例えば，床に落ちているモノを掴んでゴミ箱に捨てるという タスクを単腕ロボットに学習させることを考えた場合，ロボットは(1) モノにロボットハンドを近づけ て，(2)グリッパーを操作してモノを把持し，(3) 八 ンドをゴミ箱の上に移動させて (4) グリッパーを開 いてモノをゴミ箱の中に落とす，という多段階の操作をデータから学習する必要がある。このような段階的な操作の必要性は，人間であれば常識的に持ち 合わせている知識であるが，事前知識を持たない口 ボットはこれを一から学習することが要求され，大量のデータと学習時間が必要となってしまう。一方 で，大規模言語モデルは，ウェブ上の大量のテキス トデータから学習されており，人間が持ち合わせて いる常識的な知識に関する質問にも非常に精度よく 回答できることが知られている $[1,8]$. 特に，大規模言語モデルに対して，タスクの説明や少数の正解例を与えることで，新しいタスクへ適応させるテク ニックはプロンプティングと呼ばれ，その有効性が 翻訳や文書要約などの様々なタスクで検証されてい る [3]. そこで，前述のようなロボットにとって複雑なタスクを解くための手順（以下，処理指示文と 呼ぶ）を，大規模言語モデルへのプロンプティング を通して獲得し，それを補助情報としてロボットの 制御モデルに与えてやることで，学習を促進するこ とが期待できる。

本稿では，このような大規模言語モデルへのプロ ンプティングを活用したロボット学習の手法を提案 し，その有効性を検証する．具体的には，前述のよ うなモノをゴミ箱に捨てるタスクをデモンストレー ションデータからの模倣学習によって学習する際

(a) モデル

(b) データセット

図 1: (a) 提案手法の概念図. 提案手法では，HiveFormer におけるテキスト入力として，タスクの説明文の代 わりに，ChatGPTへのプロンプティングの結果得られるタスクを解く手順の説明文を用いる。 (b) RLBench データセットの PutRubbishInBin タスクのエピソード例. いずれのエピソードも 1 つのゴミ箱，1つのゴミ， 2 つの無関係なオブジェクトから構成される. 配置されるオブジェクトの形状はエピソード間で共通であり，初期の位置関係のみランダムで変化する問題設定である.

に，タスクを解く手順を ChatGPTへのプロンプティ ングによって獲得し，それをロボットの行動を決定 する方策モデルへ補助情報として入力する手法を提案する。実験では，RLBench [9] というシミュレー タ環境でのロボット制御のベンチマークを利用し,学習過程におけるタスクの成功率の推移や, データ 効率を従来手法と比較する形で，提案手法の有効性 を検証する。

## 2 関連研究

深層学習を用いたロボット制御モデルを学習さ せる上で，十分な学習データを収集するコストは高 い。そのため，より効率の良い学習方法に関して 様々な研究が行われている [7]. とりわけ, 複数ス テップを要する構成的なタスクにおいて効率的な学習手法の開発は重要である. 構成的なタスクの例と して，例えば，家具を組み立てるタスク [10] や積み 木を積み上げるタスク $[11,12]$ がある．このような タスクは，制御モデルを学習する上で特に難しいこ とが知られており，汎用的な方法論は未だに確立さ れていない.

一方で，深層学習において言語モデルは，GPT モ デルの進展 $[13,14,1,4]$ からも分かるように，デー タセットのサイズとモデルのパラメータをスケール させることで，より汎用性のあるモデルへと発展し てきた. 近年では， GPT-3 [1]をはじめとした大規模言語モデルについて，プロンプティングを行うこと で新しいタスクに少ないデータのみで適応できるこ とが検証されている [3]. 検証を通じて，大規模言語モデルは，人間が持ち合わせている一般常識を獲得し，順序立てた手続的な推論も行うことが可能で あることが報告されている $[6,15]$.

模倣学習や強化学習などを用いた学習べースのロ ボット制御においても，画像情報に加えてこうした 大規模言語モデルによる観測やタスクに関する言語情報を入力として取り入れることで，性能向上を図 る手法が注目を集めている $[5,6,16,17]$. GPT-3のよ うな大規模言語モデルがロボット学習に寄与できる 要素としては，学習効率や汎化性能の向上が挙げら れる. 人間の一般常識に相当するような知識を持ち 合わせる大規模言語モデルからその知識を引き出す ことで，新しいタスクを素早く学習し，適応できる ことが期待できる．しかし，現状では，ロボット学習における大規模言語モデルの活用は，物体の説明文生成のような比較的単純な補助情報の付与のみに 留まっており，制御の方策自体を直接ガイドするよ うな枠組みは確立されていない。本稿では，そのよ うな枠組みの確立の第一歩として，デモンストレー ションデータをもとに制御方策を学習する枠組みで ある模倣学習 $[18,19]$ において，大規模言語モデル を活用して制御モデルの方策を補助する枠組みに関 して検討する.

## 3 手法

本稿では，Transformer [20] をべースとした模倣学習手法である HiveFormer [21] をべースラインとし て採用する. HiveFormerでは，各時刻における複数視点からの画像とタスクの説明文を，それぞれ U-Net（セグメンテーションを行うのに一般的に使 われる畳み込みニューラルネットワーク） [22] と

CLIP（ウェブ上の大量のデータを用いて画像とテキ ストが対応するように学習させたモデル） [23] の 言語エンコーダに入力して，特徴抽出を行い，そ れらを Transformer に入力して，その出力を再び別 の U-Net に入力することで，最終的な行動（グリッ パーの位置・回転・状態の制御値）を出力する．長期的なステップ数にわたる行動の予測が必要となる が， keyframe discovery [24]を適用することで，取る 行動が大きく変化する時刻を特定し，よりマクロな ステップでの予測が可能となっている.

提案手法では, 図 1aのように, HiveFormerに与え るタスクの説明文の代わりに，大規模言語モデルへ のプロンプティングを通して得られた，処理指示文 （タスクを解く手順についての説明文）をテキスト の入力として与えることで，モデルの学習を促進す ることを目的とする。本稿では，大規模言語モデル として, ChatGPT [4]を用いて検証を行う. 図 2 は, ChatGPTへのプロンプティングとその結果の例であ る.このように，段階的な操作が必要なタスクにお いて, ChatGPT へ適切なプロンプトを与えること で，具体的な手順を説明したテキストを引き出し，制御モデルの学習効率を高めることが期待できる.

## 4 実験

本実験では，大規模言語モデルから生成された処理指示文 (タスクの解き方) によって，どの程度口 ボット制御の学習が効率化するかについて実験を 行う。具体的には，ロボット制御タスクにおいて， ChatGPT からの処理指示文がありなしの場合を比較してどれほど学習が効率化されたかを比較する。

## 4.1 シミュレーション環境とデータセット

ロボット制御のシミュレーション環境と しては，図 $1 \mathrm{~b}$ に示す RLBench データセットの PutRubbishInBin タスクを用いた. RLBench データ セットは7次元の自由度を持つ manipulatorを用いた 100 種類のロボット制御タスクを含んだベンチマー クである. 7 次元の自由度は, manipulator のグリッ パーの位置を表す 3 次元と，その回転を表す 4 次元 ベクトルを指す. PutRubbishInBin タスクはロボット 制御タスクの一つであり, 複数の物体からゴミを特定しゴミ箱に入れるタスクである.

本手法では模倣学習を用いるため，エキスパート によるデモンストレーションデータが必要となる. そのため, 100 エピソード分のエキスパートデータ
What are the 4 steps for the robotic arm to place the rubbish in the bin? The instructions must be short, informative, and concise. Please give me the coordinates of where to move it. Coordinates are given by $(\mathrm{x}, \mathrm{y}, \mathrm{z})$.

State: bin $(0.10,0.21,0.85)$, rubbish $(0.23,-0.30,0.77)$, tomato 1 $(0.22,-0.15,0.78)$, tomato2 $(0.16,-0.02,0.78)$

Instruction:

1. Move the robotic arm to the position of the rubbish: $(0.23$, $-0.30,0.77$ )

2. Grip the rubbish with the gripper on the robotic arm.

3. Move the robotic arm to the position of the bin: $(0.10,0.21$, 0.85 )

4. Release the grip on the rubbish.

図 2: ChatGPTへ与えるプロンプト（黒字）と生成さ れた処理指示文（青字）の例.

を作成し，模倣学習に用いた。

## 4.2 大規模言語モデルに与えるプロンプト

ChatGPT は，これまでの GPT-3 などのモデルとは 異なり，対話型のインタフェースを介して大規模言語モデルと「会話」することが可能である. 会話の スタイルとして, 質問応答やロールプレイなどの方法も可能だが，今回は，文章補完の形でプロンプ ティングを行った.

プロンプト文としては様々な文章が考えられる が，Hiveformer の入力として用いるにあたって，(1)処理指示に関する情報のみ生成されること，(2) 生成されるステップ数が固定であること，(3) 各処理指示の文章が冗長でないこと, (4) 実際の現在の状況に対応する処理指示が生成されること，の4つが 求められると考えた. 例えば，付録の図 4 に示すよ うに，プロンプト文の情報が不十分だと生成される 処理指示文は曖昧かつ冗長になることがある。した がって，これらの要件を満たすようにプロンプト文 を指定することで, Hiveformer の入力に適した処理指示文を生成した. 特に，ステップ数は Hiveformer のマクロステップ数と一致させることで画像情報と 言語情報がより対応づけられる形で学習が進むよう に図った.また，エピソードの初期状態をテキスト として表すことで，エピソードに対応した手順の生成を促した. 実際に使用したプロンプトと ChatGPT を通して得られた結果の例を図 2 に示す.

## 4.3 実験設定

本実験では，ベースラインとして HiveFormer [21] を用いた. HiveFormer はカメラからの RGB 画像と，距離センサからの Depth 情報（RGBD），そしてタス

(a) タスクの成功率

(b) アームの位置に関する指標

(c) アームの回転に関する指標

図 3: 学習中の評価指標とタスクの成功率に関する図. 成功率は 30 エピソード中の成功割合. 評価指標は予測値と真の値の誤差がある一定の閾值以下の時に 1 , それ以外は 0 として各イテレーションで平均を取ってい る.

ク自体の説明文を入力として模倣学習を行うマルチ タスク学習のフレームワークであるが，本実験では 1つのタスクのみを解くシングルタスク学習として 用いる。また, Hiveformerではタスク自体の説明文 (“Put rubbish in bin.”)を与えているが，本実験では， ChatGPT を用いて生成された処理指示文を与える.

よって, HiveFormerの入力として，

1. RGBD とタスクの説明文を与えた場合 (baseline)

2. RGBD とエピソード毎で固定の指示文を与えた 場合 (with fixed instruction)

3. RGBD とエピソード毎で物体の位置によっ て変化する指示文を与えた場合 (with variable instruction)

の 3 種類を用いて ChatGPT の出力する処理指示文の有効性を検証した。各実験設定における入力文章は, 付録の図 5 に示すように, baseline, fixed instruction, variable instruction の順により具体的な指示になっている.

また, 手法の評価方法としては (1) タスクの成功率の推移,(2) 学習の収束の速さの 2 点を評価した.

## 4.4 結果

図 3aに学習中のタスクの成功率を示す、横軸が 学習のイテレーション回数, 縦軸が成功率を示して いる. 図より，タスクの指示文が具体的になるにつ れて, 少ない学習回数で高い成功率を達成している ことがわかる.

また, 図 $3 b, 3 c$ に, 各手法における評価指標の値 を示している. 図より，ロボットアームの位置に関 する指標は各手法で差は見られなかったが，ロボッ トアームの回転に関する指標では，タスクの指示文
が具体的になるにつれて高い値を示しており，より 学習効率が向上しているといえる.

## 4.5 考察

本実験から，提案手法のアプローチは，段階的な 手順が必要なタスクにおいて，学習効率の向上に寄与することが確認できた。一方で，エピソードによ らず固定のタスク説明文を加えた場合との比較に おいては，改善の幅は比較的小さい結果となった. この結果から, 制御モデルの学習においては, 物体 の位置などのような各エピソードに固有の情報よ りも，タスク内で共通する一般的な操作に関する情報が，より学習効率を向上させる上での補助情報と して有効に機能しているのではないかと考えられ る. また，提案手法が，特にグリッパーの回転角の 操作に関して，大きく性能が改善した点について は，ChatGPT によるタスクの処理指示文によって， グリッパーの位置の操作に関する補助情報が得られ たために，処理指示文にない回転角の制御について の学習が促進されたのではないかと考察できる.

## 5 おわりに

本稿では，深層学習を用いたロボット制御におい $\tau$, ChatGPTへのプロンプティングによって得た言語情報を補助情報として与えた場合の学習効率へ の影響について実験を行った. RLBench データセッ トの PutRubbishInBin タスクを用いた実験結果から，言語モデルによるタスクの手順説明は，制御モデル の学習効率の向上に寄与することが確認できた. 今後は，別のタスクにおける実験を加えることで，提案手法の汎用性に関する検証をさらに進めていく。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の助成を受け たものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[3] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint arXiv:2107.13586, 2021.

[4] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai.com/blog/chatgpt.

[5] Dhruv Shah, Blazej Osinski, Brian Ichter, and Sergey Levine. Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action. 2022.

[6] Allen Z Ren, Bharat Govil, Tsung-Yen Yang, Karthik R Narasimhan, and Anirudha Majumdar. Leveraging language for accelerated learning of tool manipulation. In Workshop on Language and Robotics at CoRL 2022.

[7] Oliver Kroemer, Scott Niekum, and George Konidaris. A review of robot learning for manipulation: Challenges, representations, and algorithms. The Journal of Machine Learning Research, Vol. 22, No. 1, pp. 13951476, 2021.

[8] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

[9] Stephen James, Zicong Ma, David Rovick Arrojo, and Andrew J. Davison. Rlbench: The robot learning benchmark $\&$ learning environment. IEEE Robotics and Automation Letters, 2020.

[10] Youngwoon Lee, Edward S Hu, and Joseph J Lim. Ikea furniture assembly environment for long-horizon complex manipulation tasks. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 63436349. IEEE, 2021.

[11] Jungtaek Kim, Hyunsoo Chung, Jinhwi Lee, Minsu Cho, and Jaesik Park. Combinatorial 3d shape generation via sequential assembly. arXiv preprint arXiv:2004.07414, 2020.

[12] Seyed Kamyar Seyed Ghasemipour, Satoshi Kataoka, Byron David, Daniel Freeman, Shixiang Shane Gu, and Igor Mordatch. Blocks assemble! learning to assemble with large-scale structured reinforcement learning. In International Conference on Machine Learning, pp. 74357469. PMLR, 2022.

[13] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[14] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[15] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. arXiv preprint arXiv:2205.11916, 2022.

[16] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, et al. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691, 2022.

[17] Oier Mees, Jessica Borja-Diaz, and Wolfram Burgard. Grounding language with visual affordances over unstructured data. arXiv preprint arXiv:2210.01911, 2022.

[18] Faraz Torabi, Garrett Warnell, and Peter Stone. Behavioral cloning from observation. In IJCAI, 2018.

[19] Corey Lynch, Mohi Khansari, Ted Xiao, Vikash Kumar, Jonathan Tompson, Sergey Levine, and Pierre Sermanet. Learning latent plans from play. In Conference on robot learning, pp. 1113-1132. PMLR, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[21] Pierre-Louis Guhur, Shizhe Chen, Ricardo Garcia, Makarand Tapaswi, Ivan Laptev, and Cordelia Schmid. Instruction-driven history-aware policies for robotic manipulations. In CoRL (oral), 2022.

[22] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[24] Stephen James and Andrew J Davison. Q-attention: Enabling efficient learning for vision-based robotic manipulation. IEEE Robotics and Automation Letters, Vol. 7, No. 2, pp. 1612-1619, 2022.

## A ChatGPT を用いたプロンプティ ング例

ChatGPT を用いたプロンプティングを行うにあ たって，プロンプト文に十分な情報が含まれていな い場合，生成される手順が冗長になる傾向があるこ とが確認された. 例えば，図 4 では，「ロボットアー ムを用いて 4 ステップでゴミをゴミ箱に入れる方法 は何か」と聞いており, 実際に生成された手順は図 2 と類似している. しかし，各ステップにおける文 に不要な情報 (“This can be done by...”) が含まれて しまっている.

What are the 4 steps to put the rubbish in the bin using an robotic arm?

Instructions:

1. Position the robotic arm in front of the bin: The first step is to move the robotic arm so that it is in front of the bin and in the correct position to pick up the rubbish. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

2. Grab the rubbish: The next step is to use the robotic arm's gripper or other end effector to pick up the rubbish. This can be done by closing the gripper around the rubbish or by using a vacuum system to suck it up.

3. Move the arm to the bin: Once the rubbish has been picked up, the robotic arm needs to be moved over to the bin. This can be done by programming the arm to move to a specific location or by manually controlling it with a joystick or other input device.

4. Deposit the rubbish in the bin: The final step is to deposit the rubbish in the bin. This can be done by releasing the gripper or vacuum, allowing the rubbish to fall into the bin. It can also be done by using the robotic arm to place the rubbish carefully in the bin. Once the rubbish has been placed in the bin, the robotic arm can return to its starting position and wait for the next command.

図 4: 不十分なプロンプトを用いたときの, ChatGPT へ与えるプロンプト（黒字）と生成された手順（青字）の例.

## B 各手法における実際の入力文章例の比較 \\ 本実験では 3 つの実験設定を用いて有効性を検証した。各手法において，実際に Hiveformer に入力 した文章例を図 5 に示す. 図より， baseline, fixed instruction, variable instruction $の$ 順に具体的な指示に なっていることが読み取れる。
[baseline]
pick up the rubbish and leave it in the trash can.
[with fixed instruction]
1. Position the arm above the rubbish.
2. Use the arm's gripper to pick up the rubbish.
3. Move the arm to the bin.
4. Release the rubbish into the bin by opening the gripper.
[with variable instruction]
1. Move the robotic arm to the position of the rubbish: $(0.23,-0.30,0.77)$
2. Grip the rubbish with the gripper on the robotic arm.
3. Move the robotic arm to the position of the bin: $(0.10$, $0.21,0.85$ )
4. Release the grip on the rubbish.

図 5: 各実験設定 (baseline, with fixed instruction, with variable instruction) における入力文章例.


# 対話に基づく常識知識グラフの構築と 対話応答生成に対する適用

井手竜也 ${ }^{1}$ 榮田亮真 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki.,s.ryoma6317@akane., dkw@\}waseda.jp
\{takato.yamazaki, shengzhe.li,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

コンピュータに常識を与えるため，多くの常識知識グラフが提案されているが，文脈を考慮したもの は少ない。本論文では対話における文脈に注目し，常識に基づく対話応答生成に向けた対話常識グラフ を提案する．カテゴリと時系列，対象といった次元 を考慮し，提案するグラフを日本語で構築した. 構築したグラフをもとに対話応答生成を行い，心情に 関する推論を明示的に与えることによって生成され る応答の特徴が変化することを示した. 日本語で構築した対話常識グラフは公開予定である.

## 1 はじめに

人間は対話において，状況や相手が思うことを暗黙的に推論 [1]する。いわば人間は，対話の常識1)を もつと言える。 それに対して，ニューラル雑談対話 システムには対話の常識が足りず，普遍的な応答ば かりを生成するという指摘 [2]がある. コンピュー 夕に常識を与える研究は盛んになされており，その 一環として常識知識グラフ [3] が構築されている.

常識に関する推論は状況や文脈によって異なる が，既存の常識知識グラフは文脈を無視 [4] ててい る.したがって，システムが文脈に依存した常識を 推論するための, 文脈を考慮した常識知識グラフが 必要となる. 英語にはいくつか存在 $[5,6,7]$ してい るが，日本語にはない。

本論文では，より人間らしい対話システムの実現 に向けて，対話の常識を集めた対話常識グラフを提案する. カテゴリと時系列, 対象といった次元に注目し，推論すべき関係を定義する．また大規模言語

図 1 発話ごとにタグ付けする推論の例

モデルを用いた対話応答生成に対して，対話常識グ ラフを適用する手法も提案する。

提案する対話常識グラフを，日本語で構築2)した。 Twitter APIを用いて対話を収集し，Yahoo!クラウド ソーシングを用いて発話ごとに推論を付与した. 対話常識グラフの分析では，対話の常識における推論 の傾向を明らかにした．さらに，構築したグラフを 用いて対話応答生成を行った. HyperCLOVA JP [8] の In-Context Learning [9] において，心情の推論をプ ロンプトとして明示的に与えた。推論を与えること によって，生成される応答の特徴が変化することを 示した.

## 2 関連研究

## 2.1 常識知識グラフ

イベントに関する常識を集めた常識知識グラフに ATOMIC [3] があるが，それぞれのイベントは文脈 を伴わない。それに対して PARA-COMET [4] は，物語における一連の文に対して推論を付与する。

2）日本語で構築した対話常識グラフは, https://github. com/nlp-waseda/dcsg-jaにて公開予定である.

(a) 出来事

(b) 心情

図 2 対話常識グラフで推論すべき関係

GLUCOSE [5] は物語の文に関する推論，CIDER [6] は対話における発話同士の推論を扱う. CICERO [7] も対話に関する常識知識グラフだが，テキスト を超えた範囲の推論まで考慮する。

ATOMIC の関係は，対象がイベントの当事者か その他かを Xと Others によって区別する。一方で CICERO の次元は, 出来事か心情かと時系列の前後 を区別しているが，推論の対象となる話者を区別し ない. 本研究では，さらにどの話者に向けた推論か という次元に注目する。

## 2.2 大規模言語モデルと対話応答生成

In-Context Learning [9] では，解くべきタスクの例 をいくつかプロンプトとして大規模言語モデルに与 え，そのタスクを解かせる. In-Context Learningを 用いた対話応答生成 [10] の研究もなされている. 特定の状況に基づく応答を生成する試み [11] や，共感的な応答を生成する試み [12] がある.

大規模言語モデルの生成は，与えられるプロンプ 卜に大きく影響を受けること [13] が知られている。 タスクを解くにあたって，その過程をあえてプロン プトに列挙する Chain of Thought Prompting [14] も提案されている。

## 3 対話常識グラフの構築

本研究では，対話の常識に特化したグラフを構築 する. テキストに書かれているものから暗黙的なも のまで，発話ごとに推論を付与する. 発話ごとの推論は，より人間らしい対話応答生成に役立つと考

(a) 記述

(b) フィルタ図 3 推論を獲得するクラウドソーシングの例 える。

## 3.1 マルチターン対話の収集

Twitter $\mathrm{API}^{3}$ を用いて，マルチターン対話のテキ ストを収集する。あるツイートとそれに対する一連 のリプライを対話と見なす. 収集した対話のうち，二人の話者が交互に話す例のみを抽出する。またテ キストの品質を保証するため，フィルタ4)を施す.

352 対話（発話にして 2,121）を獲得した. 対話あ たりの発話数は平均 6.03 であった.

## 3.2 推論の付与

Yahoo!クラウドソーシング5)を用いて，発話ごと に推論を付与する．推論すべき関係として，次の 3 次元をもとに $2^{3}=8$ 関係を定義する.

1. 発話のまわりで起こったこと（出来事）か，そ のとき思ったこと（心情）か

2. 発話の前にあったことか，その後にあったこ

3) https://developer.twitter.com/en/products/ twitter-api

4）Yahoo!クラウドソーシングを用いて，対話の内容が理解で きるかを尋ねる．第三者が内容を理解できる対話は，専門用語なども含まず高品質だと仮定する.

5) https://crowdsourcing.yahoo.co.jp/

## とか

3. 発話を言った人（話し手）についてか，それを 聞いた人（聞き手）についてか

8 関係はそれぞれ，図 2 のように名付ける. 例えば (出来事, 前, 話し手) の組合せによる関係は原因と呼 び，発話の原因となる事象の推論をテキスト形式で 付与する.

記述 発話とその履歴を与え，ある関係につい て推論を記述してもらう。関係ごとに 3 人に尋ね， まったく同じ回答は除去する. 動機の推論を記述す るタスクの例を図 3(a) に示す. 延べ 5,581 人のクラ ウドワーカを雇い，177,276円を支払った.

フィルタ 記述してもらった推論に対して，クラ ウドソーシングに基づくフィルタを施す. 発話とそ の履歴，および発話に対する推論を与え，推論が適切かどうかを判定してもらう．推論ごとに 3 人に尋 ね，多数決によって採否を決定する. 動機の関係 を評価してもらうタスクの例を図 3(b) に示す. 延 べ 4,524 人のクラウドワーカを雇い，171,236 円を支払った。

対話常識グラフの統計を表 1 に示す.このクラウ ドソーシングを行った結果，時系列や対象の話者に 関する誤りが多く見られた。とくに話し手と聞き手 のどちらに関する推論かが混同されていることが多 かった. これらの解消は，今後の課題である.

## 4 グラフを用いた対話応答生成

大規模言語モデルの In-Context Learning [9]を用い た対話応答生成に対して，構築した対話常識グラフ を適用する. In-Context Learning に基づく対話応答生成では，いくつかの対話をショットとしてモデル に与える [12] が，モデルはテキスト上に表れたこ と以外を動的に知ることができない6)。一方で人間 は，あえてテキストに書かないことも考慮しながら 対話を行う．より人間らしい対話応答生成に向け て，テキスト上に表れない常識をあえてモデルに与 える。

本研究では，次元のうち心情のみに注目する。 心情に関する推論を明示的に与えることによって，話者が発話を投げかける際の根拠をモデルに教える ことができる。すなわち「相手はこう思っただろう し，自分はこう思ったから，こう言おう」といった 具合である.これは Chain of Thought Prompting [14]

6）モデルのパラメータには，事前学習で得た潜在的な知識が あると考えられるが，それらは静的なものである。鈴木と佐藤の二人が会話している。

佐藤「まってwww服裏表反対でご飯食べに来てたwww」

鈴木「ええなんで笑笑」

佐藤「夕飯行く前に寝てたから服替え直したんだけどその時にミスってwww」鈴木「気づいた時恥ずかしい笑笑」

佐藤「いやほんとはずかしかったwww」

(a) 推論なし

(b) すべての推論

図 4 対話応答生成におけるショットの例 とも言える。

## 4.1 問題設定

対話常識グラフに含まれる対話について，最後か ら二番目までの発話を履歴とし，最後の発話を生成 する.この生成について，プロンプトとして心情の 推論を与える場合と，とくに推論を与えない場合を 比較する.

ショットは生成対象の対話を除いたすべての対話から，ランダムに選択する7)．各ショットは，状況の説明と一連の発話からなる. 状況の説明では,話者の名前 ${ }^{8}$ を紹介する．発話はそれぞれ話者の名前と鉤括弧に挟まれたテキストからなる．生成対象 の対話では，最後の発話における開き鉤括弧までを 履歴とする。とくに推論を与えない場合における ショットの例を図 4(a) に示す.

構築した対話常識グラフは，すべての発話が推論 を伴う、それらを用いて，ショット中の発話に関す る推論を明示的に与える. 最後の発話を言った話者 についてのみ，すなわち最後から奇数番目の発話に おける心情の推論のみを与える。これは人間の対話 と同じように，相手の発話に関する相手の推論は知 りえないという仮定に基づく. なお前の推論（動機 と忖度）は発話の前，後の推論（反省と反応）は発

7） In-Context Learning では，モデルを Finetuning する必要がな い. 訓練データとテストデータを区別する必要もないため, リークは発生しない.

8）日本でもっとも多い 20 個の名字から，2 個ずつをラン ダムに選択する. 名字の一覧はhttps://myoji-yurai.net/ prefectureRanking.htm から引用した.
表 2 グラフを用いた対話応答生成の自動評価

表 3 グラフを用いた対話応答生成の人手評価 モデル 1 勝ち 負け 引き分け

すべての推論 VS 推論なし $40.95 \quad \mathbf{5 2 . 7 0} \quad 6.35$

話の後に插入する. 心情の推論を与える場合におけ るショットの例を図 4(b) に示す.

大規模言語モデルには, HyperCLOVA JP 39B モデ ル [8]を用いる.プロンプトのショット数を 2 とす る9). 応答は対話ごとに 3 回ずつ生成する.

## 4.2 評価

生成した応答に対して，モデル自体の絶対評価と モデル同士の相対評価を行う，心情に関するすべて の推論を与えるモデルに対して，推論を明示的に与 えないベースラインモデルを比較対象とする。また 心情に関する推論のうち話し手に対するもの（動機 と反省）だけを与えるモデルと，聞き手に対するも の（忖度と反応）だけを与えるモデルも評価する。

自動評価 絶対評価として，パープレキシティ （PPL）と BLEU [15]，distinct [2] を計算する。これ らは，日本語形態素解析システム Juman++ ${ }^{10)}$ を用い て分かち書きした応答に対して計算する．PPLは GPT-2 日本語 Pretrained モデル ${ }^{11)}$ を用いて計算する。

人手評価 Yahoo!クラウドソーシングを用いて， 2 つの応答どちらを生成するモデルとより会話を続 けたいかを相対的に評価する。応答あたり 5 人に尋 ね，多数決を行う. 延べ 763 人のクラウドワーカを 雇い，15,350 円を支払った。

## 4.3 実験結果

自動評価の結果を表 2 に示す. BLEU と distinct は，推論を明示する方が高くなる傾向がある。つま りあえて推論を明示的に与えた方が，モデルはより 人間に近い応答を生成する.人手評価の結果を表 3

9）すべての推論を明示的に与えようとすると，トークン数は 大きくなる. 本研究では HyperCLOVA JP の最大系列長に鑑 みて，推論の有無にかかわらずショット数を 2 で統一した.

10) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\% 2 B\% 2 B

11) https://huggingface.co/nlp-waseda/gpt2-xl-japanese
に示す. 忖度と反応だけを与えるモデルはベースラ インモデルに勝っているが，それ以外は負けてい る.したがって，聞き手に対する推論を与えるとモ デルはより魅力的な応答を生成するが，話し手に対 する推論はむしろ与えない方がよい。

表 2 と表 3 を比較すると，正解応答との類似度を 表す BLEUでは動機と反省のスコアが高いが，人手評価では忖度と反応の勝ち数が大きい. つまり人間 をよく模倣するよりも，より相手を慮った応答を生成させる方が，ユーザのエクスペリエンスは高くな る.また実験に用いた対話が Twitter のテキストに 基づくことも，人間に近い応答が魅力的でないと判定される原因と考えられる。

自動評価と人手評価の齯齬は，人手評価が十分で ない可能性を議論させる. 人手評価では, 対話の履歴とモデルが生成した応答を，独立に評価した. つ まりクラウドワーカは，本来すべきコミュニケー ションのうち一部を切り取って判定している. した がって，自分のことばかりを話したり相手を慮って ばかりだったりするモデルでも，魅力的と思われう る. もっと会話を続けたいと思えるモデルを正しく 評価するためには，モデルとの長期的なやりとりに 注目するような，よりよい人手評価の開発が求めら れる。

## 5 おわりに

常識を理解する対話システムの実現に向けて，対話に基づく常識知識グラフを提案した。対話におけ る 3 つの次元に注目し，推論すべき関係を定義し た. Twitter API と Yahoo!クラウドソーシングを用い て，対話常識グラフを日本語で構築した.

さらに構築したグラフを，大規模言語モデルを用 いた対話応答生成に適用した. HyperCLOVA JP を用 いた In-Context Learning において，暗黙的な推論を モデルに与える実験を行った．話し手や聞き手の心情に対する推論を明示的に与えることで，生成され る応答の特性が変化した。

本研究で行った対話応答生成の実験は，正解とな る推論が手元にある前提のもと行ったが，その前提 は実用的でない．推論を行う手順も含めたパイプラ インの構築は，今後の課題である.

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[4] Saadia Gabriel, Chandra Bhagavatula, Vered Shwartz, Ronan Le Bras, Maxwell Forbes, and Yejin Choi. Paragraphlevel commonsense transformers with recurrent memory. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12857-12865, May 2021.

[5] Nasrin Mostafazadeh, Aditya Kalyanpur, Lori Moon, David Buchanan, Lauren Berkowitz, Or Biran, and Jennifer Chu-Carroll. GLUCOSE: GeneraLized and COntextualized story explanations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4569-4586, Online, November 2020. Association for Computational Linguistics.

[6] Deepanway Ghosal, Pengfei Hong, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CIDER: Commonsense inference for dialogue explanation and reasoning. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 301-313, Singapore and Online, July 2021. Association for Computational Linguistics.

[7] Deepanway Ghosal, Siqi Shen, Navonil Majumder, Rada Mihalcea, and Soujanya Poria. CICERO: A dataset for contextualized commonsense inference in dialogues. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5010-5028, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham,
Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Andrea Madotto, Zhaojiang Lin, Genta Indra Winata, and Pascale Fung. Few-shot bot: Prompt-based learning for dialogue systems, 2021.

[11] Chujie Zheng and Minlie Huang. Exploring prompt-based few-shot learning for grounded dialog generation, 2021.

[12] Young-Jun Lee, Chae-Gyun Lim, and Ho-Jin Choi. Does GPT-3 generate empathetic dialogues? a novel in-context example selection method and automatic evaluation metric for empathetic dialogue generation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 669-683, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[13] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8086-8098, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed H. Chi, Quoc V Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Alice $\mathrm{H}$. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Information Processing Systems, 2022.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

 \\

## A 対話常識グラフの詳細

## A. 1 推論の例

3.1 節において，Twitter から収集した対話の例を 次に示す.

1. 早く夏終わってくれ頼む

2. 夏がすぐ終わったら宿題おわらないぜ

3. それはそうだけど流石に外暑すぎるんよ

4. それなマジで暑い

5. これは地球温暖化が悪いわ

このうち 3 番目の発話について，3.2 節で付与した 推論を表 4 に示す.

## A. 2 グラフの分析

ある発話における動機の推論と直前の発話におけ る反応の推論は，同一の心情を指す. 同様に，ある 発話における反省の推論と直後の発話における忖度の推論も, 同一の心情を指す. いわば動機と反省 は話し手が実際に思ったことで, 忖度は反省, 反応 は動機に対する聞き手からの予測である. 話し手が 実際に思ったことと，それらに対する聞き手の予測 が，どれくらい一致するかを調べる。

結果として，動機や忖度が対話のテキストに書か れている場合, 忖度と反応のそれぞれは動機と反省 に一致しやすいことがわかった。

## B 対話応答生成の詳細

## B. 1 ハイパパラメータ

Twitter に投稿可能なテキストの最大文字数が 140 であることにに鑑みて，生成の最大トークン数を 140 とする. トークンあたりの文字数は 1 以上な ので，発話あたりのトークン数は必ず 140 以下と

 \\

図 5 相対評価のためのクラウドソーシングの例

なる. デコードでは Softmax の Temperature を 0.5 , Top-P と Top-Kをそれぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B. 2 応答の例

次に示す対話について，4番目までの発話を履歴， 5 番目の発話を応答として生成する例を考える.

1. まって www 服裏表反対でご飯食べに来てた www

2. ええなんで笑笑

3. 夕飯行く前に寝てたから服替え直したんだけど その時にミスって www

4. 気づいた時恥ずかしい笑笑

5. いやほんとはずかしかった www

このとき, HyperCLOVA JP 39B モデルによって生成 された応答を表 5 に示す.

## B. 3 評価

Yahoo!クラウドソーシングに基づく相対評価の例 を図 5 に示す。


# ディスプレイ操作記録ツールの提案と有効性の検証

壹岐 太一 1,3* 増本 雄斗 2,3 相澤 彰子 $1,2,3$
1 総合研究大学院大学 2 東京大学大学院 3 国立情報学研究所
}

\{iki,masumoto, aizawa\}@nii.ac.jp
## 概要

パーソナルコンピュータのディスプレイを理解・操作する視覚言語モデルの実現に向けて，環境構築 やデータ作成の負担軽減を目的に，ディスプレイ操作を記録し，モデル学習用データに変換するツール RecGUIを提案する。有効性を検証するため，人手 で操作した 10 時間分のデータを作成し，学習済み 視覚言語モデルに基づくモデルを新たに導入する。 ディスプレイ画像からの行動選択に適用し, ベース ラインモデルとの比較から有効性を確認する．今後 の課題は, タスクの追加によるツールの完成度向上，並びにモデルのタスク成功率の改善である.

## 1 はじめに

コンピュータのディスプレイを人のように理解・操作する人工知能の探究は, 生活にコンピュータが 溶け込んだ現代社会における言語の世界接地を考え る上で重要であると同時に，複雑な作業の自動化な ど産業応用も期待できる有望なテーマである. 近年 ではブラウザ $[1,2,3,4,5]$ やゲーム [6,7]，スマート フォン環境 [8] を対象に活発に研究されている.

我々は業務作業の自動化への応用を念頭に，特に パーソナルコンピュータ $(\mathrm{PC})$ のディスプレイ1)に 焦点を当てる．PCディスプレイを対象とする研究 ではブラウザやゲームエミュレータといった単一 の応用ソフトに関する研究と, 複数の応用ソフトに 関する研究がありえる. 前者に比べて後者の研究が 進んでいない. 主な原因として PCディスプレイ上 での操作を記録し学習用データを作る標準的な手法の不足がある. 過去には, 複数のアプリケーショ ンを対象とする強化学習プラットフォーム Open AI Universe [9] が存在したが，現在は廃止されている。本稿では，汎用的な PC ディスプレイの操作技術

図 1 RecGUIを用いた学習用データ作成の流れ. RecGUI は環境構築やデータ作成における煩雑さの軽減，手法の 統一による研究間でのデータ共有の促進を目的とする.

の実現に向け，PCディスプレイの操作を記録しモ デル学習用データに変換するツール RecGUI (図 1) を提案する2).さらに，提案ツールを用いてモデル 学習ができることを確認するため，Web タスクセッ 卜 MiniWob [1,2] を人手で操作した 10 時間分の記録 から試用データを作成する（§2）また，視覚言語モ デル ViLT [10] の微調整 (fine-tuning) によって, ディ スプレイ画像のみを環境入力として行動生成する モデルを新たに導入する（§3）．RecGUIで作成した データを用いてモデルを学習し，実環境でのタスク 遂行の成功率において，ランダム選択モデル (ベー スライン)を上回ることを確認した。また，分析に より成功できるのは基本的なタスクに限られるとわ かった (§4). 成功率の向上が今後の課題である.

## 2 操作記録ツール RecGUI

## 2.1 GUI 操作の記録

操作記録はコンテナ技術に基づく． Linux コンテ ナの中で xvfb [11]を用いて仮想ディスプレイを立 ち上げ，RFB (Remote Frame Buffer) プロトコル [12]

2）ツールおよびデータは以下で公開している. https: //github.com/iki-taichi/rec_gui
表 1 行動の表現. フレームごとに汎用的な行動を 6 変数 で表現する. Cursor は最終的なカーソル位置, mouse, key は最後のボタン操作に対応する. event の変数値 none は無操作を表し，そのとき target 変数の值は na とする.

で外部から接続し，操作する．画面はスクリーン ショットを一定間隔で取得して記録する。マウス・ キーボード操作は RFB 接続にプロキシを挟みログ を記録する ${ }^{3)}$ ．さらに， GUI 上で遂行中のタスクの 進捗状況 (タスクの開始や終了，報酬など) を取得し 記録する. 取得できる進捗状況はタスクにより異な る. なお，RFB を用いる構成は [9] と同様である.

時間分解能 Intel Core i7-6700 CPU (3.40 GHz，4 コア，8スレッド), 49 GBメモリのマシンで RecGUI を起動して SSDへ記録するとき， $800 \times 600$ px の画面解像度で約 $10 \mathrm{~Hz}(0.1$ 秒間隔）での画面の記録が 可能であると確認した. この時，操作ログはさらに 小さな時間間隔で記録できた.

## 2.2 記録のモデル学習用データへの変換

操作記録からのモデル学習では，周期が固定され た画面の記録と非周期的な操作の記録をどのよう に統合して学習できる形式にするかが課題である. RecGUI は次に述べる手法を実装している。

変換手法 画面の記録周期を基準とし，画面とそ れを見た後の行動が並んだ系列を作成する．画面の 記録直後から次の記録直前まで (フレームと呼称) の 操作記録を集計し，ある画面を見た後の行動とみな す. 行動を表 1 のように6変数で表現する.

高速な操作への対応 人の操作を記録する場合, フレーム時間を約 0.1 秒に取れば 1 フレームの操作記録はおおむね 1 つとなるが，複数の操作記録が含 まれる場合もある。その対応を述べる。

キー操作においては，行動をより前のフレームに 移動することで解消する。その理由は行動を間引く と画面と操作の対応が崩れる可能性がある点，行動

図 2 Web タスクベンチマーク MiniWoB [1,2] のタスク画面. 全タスクで上部に指示文が示される. Search ボタン の押下などでタスクが完了し，正誤によらず次のタスク に移動する．クリックやドラッグ，テキスト入力などの 単純なものから，メールの受信ボックス風の UI やフライ 卜予約画面の操作まで幅広く収録されている。

を後のフレームに移動するとキー操作に伴う画面変化という因果関係が失われる点の 2 点である.

マウスのボタン操作においては，ホイールの回転 が問題になりやすい。これは RFB がホイールの回転を複数のクリックとみなすためである。本研究で は double_clickと triple_clickを行動として導入する ことで対応する.この対応で対処できない高速な操作はキー操作と同様に前のフレームに移動する.

## 2.3 学習用データの準備

RecGUIを用いた操作の記録と学習用データの作成を実際に試みた，画面解像度は $800 \times 600 \mathrm{px}$ ，記録周期は $10 \mathrm{~Hz}$ とした. MiniWoB (図 2)を仮想ディ スプレイ内の google-chrome ブラウザに読み込んで タスクとして使用した. オリジナルの画面サイズ $(160 \times 210)$ では指示文が小さいため，本研究では 2 倍に拡大して使用した。操作者 (著者の一人) が 6 分間のセッション4)を 100 回行って 10 時間分の記録 を得た. 100 セッションで 4,704 タスクに取り組み,成功数は 4,525であった. なお，操作者は MiniWob のタスク内容について事前に十分に知っていた。

## 3 ベースラインモデル

## 3.1 前提とするモデル: ViLT

ViLT は Kim らが提案したテキストと画像を入力 とする Transformer [13] エンコーダー型の視覚言語 モデルである。事前学習済みの視覚モデル ViT [14] を初期値とし，複数の画像キャプションデータセッ トを用いて視覚言語について訓練されている。訓練の目的関数はテキストの穴埋めタスク (MLM;

4） セッションではタスクがランダムに表示され，回答する度 に次のタスクへと移動する。付録 A でさらに詳しく述べる。

Masked Language Modeling) とテキストと画像の一致判定 (ITM; Image Text Matching) である.ViLT はパッ チに分割した画像の画素配列を線形層で埋め込み に変換して直接 Transformerに入力する. 物体認識 モデルや他の視覚モデルを使用するモデル $[15,16]$ に比べて，高速に動作するとともに，スクリーン ショットのような非写実的な画像への微調整が容易 なため本研究に適する。

## 3.2 提案するモデル: ActionViLT

行動生成を離散時間間隔 (ステップ) ごとの行動選択と捉えることで ViLTを応用する. 各ステップで スクリーンショット画像と過去 N ステップの行動履歴を入力し，その出力から次の行動を選択する。

入出カ スクリーンショット画像は画素情報とし て入力する. ViLT の実装に合わせた前処理を施す.行動はテキストとして入出力する. テンプレートを 導入し, 表 1 で定義した 1 フレームの行動をテキス ト表現に変換する：

position : $\{\mathrm{x}\}\{\mathrm{y}\}$; mouse : \{mouse_event $\}$

\{mouse_target $\} ;$ key : $\{$ key_event $\}$ \{key_target $\}$ \{と\}で囲まれたスロットは行動の変数に対応し， スロット値は表 1 の値から選択する ${ }^{5)}$. 過去 $\mathrm{N}$ ス テップの行動それぞれをテキスト表現に変換し，新 しい時間の行動が先に来るようソートした上で連結して行動履歴のテキストを得る。さらに，MLM タスクを用いて次の行動を予想するために，行動履歴テキストの先頭に各スロットを [MASK] で埋めた テキストを連結して最終的なテキスト入力とする。 [MASK] に関する各語彙の尤度を計算し, 対応する行動変数の値に関する尤度として出力する。

操作記録を用いた微調整 微調整では MLMを目的関数として用いる. 通常 MLM では入力テキスト のうちランダムなトークンをマスクする $[10,17]$ が，本研究では入出力で述べた「次の行動」の部分のマ スクを固定で学習する。

実環境に接続しての推論 まず，入出力で述べた 方法で「次の行動」の各変数に関する尤度を計算す る. 次に，確率的なサンプリングを用いて尤度か ら行動を選択する. 各変数の確率分布の計算では, ViLT の全語彙に関する尤度の出力から各変数に関係する語彙の部分だけを取り出し, 温度パラメータ $T$ で割った後 softmax 関数を適用する。

図 3 微調整において入力行動履歴数 $N$ が性能に与える 影響. 無操作 MCC は無操作か否かの 2 值分類に関するマ シューズ相関係数を示す. 評価值は異なるランダムシー ドで 3 個のモデルを学習し平均した値である.

表 2 タスク遂行での温度の影響. ランダム選択（温度非依存) $, N=0,14,16$ のモデルで特定シードの 10 セッ ションを行い，取り組んだタスク数と成功数を合計した。正答率 (取り組んだタスク数)

## 4 実験

ViLT の微調整を行い, 得られたモデルを使って実環境におけるタスク遂行を評価する。タスク遂行で は， ベースラインとして行動変数の可能な語彙から 一様ランダムに選択するモデル (付録 C)を用いる.

## 4.1 学習用データを用いた微調整

教師データ 2.3 節で述べた MiniWob [1] の操作 データ 100 ファイルを学習，検証，テスト用に 8： $1: 1$ に分割し，それぞれのファイルからタスクに 失敗した部分を除外して用いる。分割に含まれる画面と次の行動の対の数はそれぞれ 255,866, 33,293, 34,152である. ただし，学習・検証用分割では，無操作の学習を抑制するため, 前の行動と同一の行動 の対6)を除いた 130,809 対，17,126 対を用いる.

学習条件 Transformers [18] ライブラリを使い 事前学習済みの ViLT モデル7)を微調整する．画

表 3 タスク遂行におけるタスク別の性能. () 内の数は取り組んだタスク数を表す. 数値は 1 セクションの結果である. タスク概要は次の通り：(1) 画面中心のボタンをクリックする。 (2) 文章中の特定の単語をクリックする。 (3) パネルを指定の方向にドラッグする。(4) 特定ボタンをクリックする。(5) 簡単な計算の結果を入力し，ボタンを押す. (6) 指定され た単語を入力し，ボタンを押す.(7) 指定されたテキストをコピーして入力する．(8)メニューボタンを押して，表示され たボタンをクリックする. (9) 指定された時刻を入力し，ボタンを押す.

像は，ViLTの実装に従い 480×384 px にリサイズ し，各画素値を [-1,1]の範囲に標準化する.

Warmup_ratio=0.1, 学習率=5e-5 の下で, ADAM [19] を用いて 5 エポック最適化する. 入力する行動履歴 の数 $N$ の值を変えて学習し，影響を調べる。学習, タスク遂行ともに NVIDIA A100 GPUを用いる。

評価指標 テストデータとモデルの予想を比較す る. カーソル座標の誤差, ボタン操作 (mouse_event, mouse_target, key_event, key_target）についての無操作（none，na）か否かの 2 值分類に関するマシュー ズ相関係数，無操作を除いた一致率を用いる。な お，マシューズ相関係数を用いるのはボタン操作に おける無操作の割合が $95 \%$ 程度と高いためである。

結果 図 3 に結果を示す. 入力する行動履歴の数 $N$ の増加に伴って, ボタン操作に関する性能（マ シューズ相関係数，一致率）は上昇した. ボタン 操作では次の行動の予想に履歴が役立つ. 一方で, カーソル座標の誤差は $N$ の増加に伴って悪化した.両者のバランスが取れた $N$ の選択は課題である.

## 4.2 実環境におけるタスク遂行

今回はボタン操作とカーソル座標の性能が安定し ている $N=10,14,16$ のモデルを用いる. 行動のサ ンプリング温度 $T$ を 0.0 から 1.0 まで変えて影響を 確認し, 最適な温度 $T$ の下でタスクの種類別に成功率を分析する. タスクには一回の操作で成功となる 基本タスク 4 種類と 2 回の操作が必要な発展タスク 5 種を用いる. タスク概要を付録 Cに掲載する。モ デルはセッション開始後, 初画面の start ボタンが 押された状態から，人と同じ条件でタスクを遂行す る. セッションの制限時間を 360 秒とし, 取り組ん だタスクの数と成功したタスクの数を計測する.

結果 1.サンプリングにおける温度 $T$ の影響

まず，NVIDIA A100 GPU を用いた今回の実験では，
モデルは記録時と同じ $10 \mathrm{~Hz}$ で動作した．次に，表 2 に温度による性能変化を示す. 温度が低いとき，モ デルはほとんど動かず，タスクを進められなかっ た. 温度が高まるにつれて, 取り組んだタスク・正答率が増加した. ただし, 正答率は 0.2 程度で頭打 ちとなった。適切な温度下では，モデル成功率は一様ランダムモデルを上回ることから，RecGUI で作成したデータによる学習の有効性が確認できた.

## 結果 2. タスクの種類による性能の違い

表 3 にスコアを示す. 温度は表 2 から正答率が最も 高いものと, 取り組んだタスク数が 100 超えた物の 中で正答率が最も高いものを選んだ。基本タスクの 成功率は，ボタンやリンクを押す $(1,2,4)$ では高かっ たが，ドラッグ操作を含む (3) では芳しくなかった. タスクが進行することからドラッグ操作はできるも のの，指示文が理解できないと推測される. 応用タ スクでは，テキスト入力を必要とする $(5,6,7,9)$ の成功率が特に低く, キーボード操作に改良の余地があ ると示唆される. 最後に, 結果 1 で述べた高温での 正解率の頭打ちは, 基本的なタスクの所要時間が短縮するが，解けるタスクの種類は変わらないことを 示していると考えられる。

## 5 おわりに

PC ディスプレイの操作記録・モデル学習用デー タへの変換を行うツール RecGUI を提案した., ツー ルで作成したデータで学習したモデルが, 実環境で のタスク遂行において，ランダム選択モデルより優 れることを確認した. ツールの展望は複数応用ソフ トを操作する単一モデルの研究に向けたタスクの追加である. モデルの課題はタスク成功率の向上であ る. 提案モデルは画像中のテキストの理解が不十分 であると推測される．画素値から言語理解するモデ ル [20]を用いるなど改良を進めたい.

## 謝辞

本研究の一部は JSPS 科研費 21 H03502、JST 次世代研究者挑戦的研究プログラム JPMJSP2104、およ び 2022 年度国立情報学研究所 CRIS 委託研究の助成 を受けたものです.

## 参考文献

[1] Tianlin Shi, Andrej Karpathy, Linxi Fan, Jonathan Hernandez, and Percy Liang. World of bits: An open-domain platform for web-based agents. In ICML 2017, pp. 31353144, 2017.

[2] Evan Zheran Liu, Kelvin Guu, Panupong Pasupat, Tianlin Shi, and Percy Liang. Reinforcement learning on web interfaces using workflow-guided exploration. In ICLR 2018, 2018.

[3] Peter C Humphreys, David Raposo, Tobias Pohlen, Gregory Thornton, Rachita Chhaparia, Alistair Muldal, Josh Abramson, Petko Georgiev, Adam Santoro, and Timothy Lillicrap. A data-driven approach for learning to control computers. In ICML 2022, pp. 9466-9482, 2022.

[4] Taichi Iki and Akiko Aizawa. Do berts learn to use browser user interface? exploring multi-step tasks with unified vision-and-language berts. arXiv preprint arXiv:2203.07828, 2022

[5] Shunyu Yao, Howard Chen, John Yang, and Karthik R Narasimhan. Webshop: Towards scalable real-world web interaction with grounded language agents. In NeurIPS 2022.

[6] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602, 2013.

[7] Bowen Baker, Ilge Akkaya, Peter Zhokov, Joost Huizinga, Jie Tang, Adrien Ecoffet, Brandon Houghton, Raul Sampedro, and Jeff Clune. Video pretraining (vpt): Learning to act by watching unlabeled online videos. In NeurIPS 2022, 2022.

[8] Daniel Toyama, Philippe Hamel, Anita Gergely, Gheorghe Comanici, Amelia Glaese, Zafarali Ahmed, Tyler Jackson, Shibl Mourad, and Doina Precup. Androidenv: a reinforcement learning platform for android. arXiv preprint arXiv:2105.13231, 2021

[9] OpenAI. Openai universe. https://openai .com/blog/ universe/ (2023-01-04 確認), 2016.

[10] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[11] David P. Wiggins. Xvfb. https://www.x.org/ releases/X11R7.6/doc/man/man1/Xvfb.1.xhtml (2023-01-03 確認).

[12] Tristan Richardson and John Levine. The remote framebuffer protocol. https://www.rfc-editor.org/rfc/ rfc6143 (2023-01-03 確認), 2011.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS 2017, 2017.

[14] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR 2020, 2020.

[15] Yen-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. Uniter: Universal image-text representation learning. In ECCV 2020, pp. 104-120, 2020.

[16] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. arXiv preprint arXiv:2004.00849, 2020.

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In EMNLP 2020: system demonstrations, pp. 3845, 2020.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

[20] Geewook Kim, Teakgyu Hong, Moonbin Yim, JeongYeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, and Seunghyun Park. Ocrfree document understanding transformer. In ECCV 2022, pp. 498-517, 2022.

(1) 画面中心のボタンを クリックする。
(2) 文章中の特定の単語 をクリックする

(3) パネルを指定の方向 にドラッグする.

(4) 特定ボタンをクリッ クする。

図 4 基本タスク. MiniWoB [1,2] の click-test, click-link, drag-items, click-color を使用.

Submit

## Copy the text from the 2 nd text text input, then press Submit.

Submit

(5) 簡単な計算の結果を 入力し，ボタンを押す.

(6) 指定された単語を入力し，ボタンを押す。
(7) 指定されたテキスト をコピーして入力する.

(8) メニューボタンを押 して，表示されたボタン をクリックする。

（9）指定された時刻を入力し，ボタンを押す。

図 5 発展タスク. MiniWoB [1,2] の simple-arithmetic, enter-text, copy-paste-2, click-menu-2, enter-time を使用.

## A タスクセッションの補足

使用タスク MiniWobの全タスク ${ }^{8)}$ から，flight search タスク，debug タスク，（表示の遅延を解消し た）nodelay 版が存在するタスクを除いた 93 タスク を使用した. 各タスクは乱数で内容 (ボタンの位置 など）が変化する．タスクは共通の start 画面から 始まる. Start 画面をクリックすると画面が移り，特定の操作（submit のクリックなど）でタスクが終わ る. タスク画面右の報酬等のメタ情報は非表示とし た. タスクごとの制限時間は設定しなかった.

セッション RecGUI に接続すると welcome ペー ジが表示される. そのページの start ボタンを押す とセッションが開始し， 1 種類の MiniWob タスクが ランダムに表示される。 タスク終了後，次のタスク がランダムに表示される。これを制限時間（360秒） まで繰り返す. 特に断りがない場合，セッションご とにランダムシードを変えて用いた。

## B ActionViLT の補足

位置埋め込みの延長 ViLT が用意する位置埋め 込みは 40 トークン分である. 行動のテキスト表現

8) https://farama-foundation.github.io/ miniwob-plusplus/
は 15 トークン/行動のため $\mathrm{N}$ が 2 以上のとき不足す る.その場合は，位置埋め込みを線形補完して入力 に十分な数に延長してから微調整を行う。

語彙 簡素化のため，行動の表現に用いる語彙 は学習済み ViLTの 1 トークンになるよう調整し た。まず，Cursorに関して述べる。ViLT の語彙で は自然数は 1 から 341 まで連続していた。画面解像度を網羅しないため，画面の縮尺を水平・垂直 それぞれ 250 に換算し，その範囲の整数を語彙と した. mouse_event に関しては $\{$ double，triple\}_click を $\{$ double， triple\} とした. mouse_target に関しては scroll_\{up, down \}を $\{$ up, down \}とした.また，デー タに現れなかった scroll_\{left，right \} は定義していな い. key_targetに関しては backspace をbsとした。

## C 実環境におけるタスク遂行

一様ランダム選択モデル 行動変数の可能な語彙 から一様ランダムに選択する。ただし， ctrl キーと 他のキーの組み合わせで，進行が困難になる場合 (画面が変わるなど) が多かったため，ctrl キーが押 されている間はキー押下は $\mathrm{c}, \mathrm{x} ， \mathrm{v}$ を，マウスボタ ンの押下，クリック，ダブルクリック，トリプルク リックは left，right のみを許可した。

タスク別評価 画面例を図 5，図 4 に示す。