# 感想付きニュース雑談対話コーパスの構築

成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

本研究では, 日々の話題についてユーザと雑談す る対話システムの実現を目指している. 雑談対話 システム構築に向けて, 本稿では（ニュース記事， ニュース記事に対するツイート，ニュース記事につ いての雑談対話）の三つ組からなる感想付きニュー ス雑談コーパスを構築した. 本コーパスの特徵は,話者の雑談に加えて, 雑談の話題となるニュース と，それに対するツイートがセットになっている点 にある。なお，対話収集システムおよび感想付き ニュース雑談コーパスは, githubで公開している1).

## 1 はじめに

人間同士の雑談では，感想を述べる発話が対話の 盛り上がりに寄与することが知られている [1]. ま た近年では，ニューラルネットワークにより流暢な 文の生成が可能になり, 感情を表現する雑談対話 システム [2] や人の感情に共感する傾聴対話システ ム $[3,4,5]$ も提案されている. 一方で, 任意の話題に 適切かつ人間らしい感想を生成できるほど技術が熟 していないため, 適切でない感情応答を生成した場合に倫理面や安全性の観点で問題がおきる可能性が あることも指摘されている $[6,7]$.

上記の問題に配慮しつつ人間らしい感想を表出す るシステムの実現方法の一つとして，対象の話題に 対する第三者の人間の感想の利用が考えられる.つ まり，対話の話題に関する第三者の感想を入力し，状況に応じて適切な第三者の感想を選択して応答生成に利用する，図1のようなシステムが考えられ る.こうしたシステムを学習するためには, 話題に 対する第三者の感想を与えられた話者が，それらを 適宜利用しながら発話する対話コーパスが必要とな る.しかし,このような対話コーパスは現状構築さ れていない.

1) www.github.com/fukanarita/newschat-with-impression表 1 感想付きニュース雑談コーパスの例.

## ニュース記事 : スプリンクラー作動で楽器被害

スプリンクラーが突然作動し、舞台上の楽器が水を かぶる被害が生じた

## 提示したツイート

$\mathrm{T} 1$ : 市が補償した方がいい

T2：さすがにこれはなあ...

T3：一億とかかかる？大丈夫？

T4：ちゃんと原因究明してほしい

対話（S: システム役の発話， $\mathrm{U}$ ：ユーザ役の発話）

S1:[] 「市民文化センター大ホールでスプリンクラー 作動でオーケストラの楽器ずぶぬれ 被害額は数億円か」というニュースです.

U2: すみません. そのニュースは知りませんでした. もう少し詳しく教えて下さい.

S3: [] 9 月 24 日午後 1 時ごろ，楽団が，市民文化セン ター大ホールでスプリンクラーが誤作動し, 楽器 ずぶぬれになりました.

U4: そうなんですね. 被害額が数億円とは驚きです. ところで, スプリンクラー作動の原因は何だった のでしょうか.

（中略）

U6: 被害額の数億円の保証はどうなるのでしょうね.楽団が保険に入っていればいいんですけど. その 辺の情報はありますか.

S7: [T1,T2] 副市長からお見舞いの電話がありました が，市から被害の確認や今後の対応についての説明は受けていないようです.「市が補償した方がい い」や「さすがにこれはなあ...」などの意見が出て いますね.

U8: そうなんですか. まっ，いつものことですが，外野 は言いたいことを言っているようですね. 最近は クラウドファンディングで資金を集めるといった 方法もありますので，検討してみたらいいですね.

S9: [T3]「一億とかかかる？大丈夫？」という意見どお りならクラウドファンディングでも厳しいですね.

本稿では対話システムが人間の感想を適宜利用す ることで自然かつ盛り上がる対話を行う一例とし て, Akasaki ら [8] と同様にニュースを利用し, さら に人間の感想として当該ニュースに対するツイート を用いて対話し，コーパスを収集した（表 1)2)。具

2） ツイートはコーパスではツイート ID のみ記載，便宜上こ

図 1 第三者の感想を利用する雑談対話システム.

体的には，まず，話者がニュースとそれに対するツ イートを参照しながら対話をするための対話収集シ ステムを構築する。そのうえで，構築した対話収集 システムを用いて感想付きニュース雑談コーパスを 構築する. さらに，構築したコーパスを分析するこ とで，話題に対するツイートの利用が対話の盛り上 がりに寄与するかどうかを分析する.

## 2 感想付きニュース雑談コーパス

## 2.1 概要

本研究で構築した感想付きニュース雑談コーパ スは，システム役の話者がニュースに対するツイー 卜を第三者の感想として利用しながら，ニュースに ついてユーザ役の話者と話す対話を収録したもの である。人による自然で理想的な対話を収集するた め，対話システムによる発話生成は行わず，Wizard of Oz（WOZ）方式によって人間に対話をさせコー パスを構築した。

本コーパスは，JSON Lines 形式で一対話一行とし て記述されており，それぞれの対話は，

・対話の話題となったニュース記事の URL

・システム役に提示したツイートのツイート ID

・システム役とユーザ役の二者の発話

からなる。

## 2.2 コーパスの構築

本コーパスの構築手順は次の通りである：

1. 対話収集システムの改変

2. 使用するニュースとツイートの選定

3. 対話収集

## 2.2.1 対話収集システムの改変

対話収集システムは児玉ら [9] のシステムを元に 機能を拡張することで構築した。主な改変点は以下 の通りである:

・システム役が教示（2.2.3 節）を熟読してから ユーザ役とマッチングできるよう，チャット ルームに到達する前にシステム役とユーザ役が 開くページを分離

・システム役の教示のページとチャットルームの ページにはニュースとツイート（ページ上では 「世間のコメント」と記載）を表示

・表示するニュースとツイートは，順にマッチン グするワーカー一組ごとに変更

・それぞれの発話で使用したツイートに，システ ム役がチェックを入れて記録できる機能を追加

## 2.2.2 使用するニュースとツイートの選定

ニュース記事の選択システム役が自然な感想を 選択して発話できるよう，ニュース記事一つに対し て感想や意見を含むツイートが 15 個以上集まって いるニュースを選択した3)．また，話者ができるだ けタイムリーな話題について自然に対話できるよ う，対話収集の直近 4 ヶ月を目安に記事を収集した。 ただし，東中が述べているように [10]，対話システ ムの発言内容には倫理的観点から注意する必要が あり，組織の利益を損ねるような話題や政治などの 議論を呼ぶ話題は避ける方が望ましい。我々は，本 コーパスを将来的に対話システムの構築に利用した いと考えている。そこで，コーパス収集においても 特定の個人や団体が非難されるような話題や政治 の話題は除外した. また，成田ら [11] より訃報は対話者が気を遣うと報告されていたため除外した。こ れらの結果選択したニュースは, 長さ $2 \mathrm{~cm}$ の細菌発見，スプリンクラーの誤作動による楽器の被害，屋根裏から古いノミ発見などの話題の全 16 記事と なった。

提示するツイートの選択 一つの記事を引用する ツイートは多いもので 150 以上あるが，できるだけ スムーズにツイートを対話に利用できるよう，具体的な感想が述べられている 16 文字以上のツイート を 10 から 15 ツイート程度, 記事ごとに選択した。

クラウドソーシングサイト

(5) クラウドンーシングサイトにチャ゙トIDをスカし、クラウドソーシングタスク終了

図 2 対話の収集の流れ。

## 2.2.3 対話収集

対話収集の流れは図 2 の通りである.まず， Yahoo!クラウドソーシング4)にシステム役のタスク とユーザ役のタスクをそれぞれ投稿し，対話参加者 はどちらかのタスクを選択する（図2の（1）．シ ステム役とユーザ役の話者はそれぞれ異なる URL から対話収集システムにアクセスし，教示を熟読 した後（図 2 の（2），1 対 1 で対話を行う（図 2 の (3)). 対話収集の際はシステムから話題を提供する ものとし，システム役にのみ対話開始前にニュース 記事とそのニュース記事を引用したツイートを提示した. また, 児玉ら [9] に倣って，一発話ずっ発話者が交互に変わる形式で対話を進行させた ${ }^{5)}$. 対話中，システム役には与えたツイートを適宜使いな がら発話させた. なお，自然な対話を行わせるた め，ツイート中の表現を自由に変えたうえで発話に 取り入れることを許容した。一方でユーザ役には， Dinan ら [12]に倣い，好奇心旺盛な人という設定で システム役の話に興味を持って対話を進めるよう に教示した. システム役とユーザ役の発話の合計 が 11 発話以上になると終了ボタンが表示され, 任意のタイミングで双方が対話を終了できる. 対話後 には，「チャット ID」を対話収集システムに表示し (図2の(4)), Yahoo!クラウドソーシングタスクに 入力させ（図 2 の (5)），ワーカー自身のIDとその チャット ID が付与された対話を結びつけて対話内容を確認し，ホワイトリストを作成した。

ホワイトリスト作成後は，役割ごとのタスクの所要時間を考慮し，システム役には 300 円，ユーザ役 には 225 円報酬として支払った。

## 2.3 基本統計

本研究で構築したコーパスは，極端に不適切な発話をするワーカーを除いた一般のワーカーに依頼し て収集した感想付きニュース雑談コーパス v1（v1 と呼ぶ）と，v1 の収集で教示に適切に対応したワー カーのみに依頼を絞り収集した感想付きニュース雑談コーパス v2（v2 と呼ぶ）の二つからなる. 感想付きニュース雑談コーパス v1 と v2 の基本統計情報 を表 2 に示す. 表 2 に示す通り，一対話あたりの発話数は平均で 11.3 発話であった. また, 一発話あた りに使用されたツイート数は平均で 2.5 ツイートで あった. 今回の収集では, システム役の話者が発話 に使用したツイートにチェックを入れて記録したた め，ツイートを使用した発話でもチェックをし忘れ ている場合も観察された. 今後，データを整備する 予定である. 今後データを整える必要がある.

## 3 分析：ツイート使用の有効性

本コーパスの特徴の一つは，対話の話題に加えて 関連するツイートをシステム役に与えて対話に利用させたことである. この情報を与えたことや対話 の進め方が，対話の自然さや盛り上がりに寄与する かどうかを分析した. 具体的には, 表 2 の対話収集 のうち一部の対話収集において, 対話終了後にワー カー自身に対話の盛り上がりを評価させた. 結果を 図 3 に示す. 1 は「まったく盛り上がらなかった」,
表 2 対話データの基本統計情報.

 &  &  &  \\

$\mathrm{~V} 2$ & 213 & 2395 & 11.2 & 13.0 & 206 & 2.9 \\

ロシステム役による評価ロユーザ役による評価

図 3 対話参加者による盛り上がりの評価.

7 は「とても盛り上がった」を意味しており，数字 が大きいほど盛り上がりを感じたことを示してい る. 図 3 の結果から，中央の評価である 4 点よりも 高いスコアに回答が集中していることがわかる.こ のことから，今後ツイートを使用しなかった場合と 比較する必要はあるが，ツイートを利用した今回の 対話収集では，話者はある程度の対話の盛り上がり を感じていたことが示唆された。

その一因は表 3 の対話例に表れていると分析し た.この対話においては U2 の発話で対話が終わっ てしまう可能性も十分あったと考えられるが，S3で ツイート内容を伝えることで，その後の対話につな がっている. 具体的には，ツイートでされている問 いかけについてユーザに考えさせることで対話の発展につながった.

このことから，本コーパスを利用して，第三者の 感想を適切に用いて応答を生成可能なシステムを構築することで，より盛り上がる対話を実現できる可能性がある.

## 4 おわりに

発話の安全性や倫理面を考慮しながら，感想を含 めて対話をする雑談対話システムを実現する方法 の一つとして，話題に対する第三者の感想を利用す ることが考えられる。本稿では，こうしたシステム の構築に有用な対話コーパスとして，対話参加者が表 3 ツイートの使用が有効に働いたと見られる例。

ニュース記事 : 国宝の方丈の屋根裏で「ノミ」見
解体工事が行われている国宝の方丈の屋根高
00 年前のものと見られる大工道具の「ノミ」
かった
ツイート
T5 : 意図的な置き忘れだと思う、多分
T6 : こういう話は好き。興味深い
T7 : わざと置いたってこともあるかも
T8: 職人にとって高価で大切なノミをなぜ」

対話（S: システム役の発話，U：ユーザ役の発話）

S1: [] 保存修理が続く国宝の方丈の屋根裏から、約 400 年前のノミが見つかったそうです。

U2: 400 年前のノミですか? それは素晴らしい発見で すね。

S3: [T8] 職人にとって高価で大切なノミを、なぜ、こ の場所に置き忘れたんでしょうね。

U4: 確かに。おっちょこちょいな職人さんだったのか あるいは何か意味があるのでしょうか？

S5: [T5,T7] 大工さんが意図的にノミを置き忘れた可能性もありますね。

U6: 仰るように職人さんにとって相当大切なものだと 思いますので何か意味があるのかもしれないと勘 ぐってしまいました。シンプルに置き忘れの可能性もありますよね。

$
\text { （中略） }
$

U10: 本当に素晴らしいと思います。

S11: [T6] こういう話は好きです。

第三者の感想を組み込んだ対話を行う「感想付き ニュース雑談コーパス」を構築した．具体的には，話題となるニュースに対する第三者の感想として， ニュースを引用したツイートを利用させながら人同士の対話を収集した. 本コーパス中の対話を分析 した結果，ツイートの利用による感想・意見の表出 が，収集した対話の盛り上がりに寄与した可能性が あることが示唆された。

今後は，今回構築したコーパスを用いて，雑談に おいて効果的な第三者の感想の選択方法や応答生成 への利用方法を分析する. その分析結果をもとに，第三者の感想を適宜利用し対話を盛り上げることの できる雑談対話システムの構築を目指す。

## 謝辞

本研究の対話収集では京都大学・児玉貴志氏のグ ループが開発された Chat Collection Framework を改変したものを用いています. 本システムの開発者の 皆様に深謝いたします。また，Yahoo!クラウドソー シングにクラウドワーカーとしてご協力いただいた 皆様へ，深く感謝を申し上げます. 本研究の一部は JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] 徳久良子, 寺嶌立太. 雑談における発話のやりとり と盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[2] Chenyang Huang, Osmar Zaïane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[4] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761-769, 2010.

[5] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for long-duration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[6] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models. CoRR, Vol. abs/2109.06950, , 2021.

[7] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[8] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リべカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会 第 27 回年次大会, pp. 859-863, 2021.

[10] 東中竜一郎. 対話システムと倫理. 人工知能, Vol. 31,
No. 5, pp. 626-627, 2016.

[11] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 話題提供雑談システムにおける感情と意見の表出方法の検討.言語処理学会 第 28 回年次大会, pp. 1078-1083, 2022.

[12] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. CoRR, Vol. abs/1811.01241, , 2018.


# ARKitSceneRefer: 3D 屋内シーンでの参照表現による 小物の位置特定

加藤駿弥 ${ }^{1}$ 栗田 修平 ${ }^{2}$ Chenhui Chu $^{1}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学大学院情報学研究科 2 理化学研究所 AIP
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp shuhei.kurita@riken.jp

## 概要

3D 参照表現理解は 3D シーン上でテキストが表 す物体の位置を特定するタスクである。しかし，既存の屋内 3D 参照表現理解データセットは主にサイ ズが大きく，容易に位置特定できる物体を対象と しており，ほとんど小物を扱っていなかった. そ こで我々は多様で高解像度な ARKitScenes を基と し，ARKitSceneReferを構築する. ARKitSceneRefer は 1,615 シーン中の，32,300 の屋内で使用する小物 から構成され，それぞれ参照表現がアノテーション されている. さらに 2D と 3D の state-of-the-art モデ ルを用いて実験を行い，その結果，ARKitSceneRefer は挑戦的なタスク設定であることを報告する.

## 1 はじめに

3D 参照表現理解は 3D シーンを理解する上で重要 なタスクであり，物探しロボットなどへの応用が期待される. 代表的な 3D 参照表現理解データセット に ScanRefer [1], ReferIt3D [2] が挙げられる。これら のデータセットは机，椅子，ソファーのような屋内 の家具クラスなど，比較的に大きい物体を対象にク ラスカテゴリが付与されている。しかし，家事など の応用を想定すると，より小さな物体を扱うことが 多いと考えられる．例えば，物探しロボットに机の 捜索を依頼する人はいない。また料理ロボットは食材や包丁などを扱うことが必要である.

そこで本研究では, ARKitSceneRefer という小物 を主な対象とした新しい 3D 参照表現理解データ セットを提案する. ARKitSceneRefer は大規模な屋内 3D データセットである ARKitScenes [3] に基づい ている. ARKitScenes は ScanRefer と ReferIt3D の基 である ScanNet [4] より高解像度で，多様な 3D シー ンデータセットである. ScanRefer と ReferIt3Dでは ScanNet でアノテーションされている物体のみを対

図 1 ARKitSceneRefer のデータの例. 3D シーンと拡大し た動画フレームを示す.

象としている。一方で，ARKitScenes には小物の位置がアノテーションされていないので，先行研究と は違い，以下のように小物の位置特定からデータ セットを構築する。まず，動画フレームに対して $2 \mathrm{D}$ 物体検出を行うことで，小物を抽出する。次に，抽出された小物を，カメラ視点位置から $3 \mathrm{D}$ シーン へのレイキャスティングによる位置予測とクラスタ リングを用いて 3D シーン上にマッピングすること で，3D 上での小物の座標とクラスを得る．最後に， このデータに参照表現をアノテーションする。加え て，物体検出器から得られたクラスは誤っている可能性があるので，その場合はアノテーション時に修正する。最終的に，ARKitSceneRefer は 731 クラス の物体を対象にし，1,615 シーンに 32,300 の参照表現から構成される。図 1 に ARKitSceneRefer の例を 示す.

データセット評価のため，2D と 3D の state-ofthe-art モデル $[5,6,1,7]$ を用いた. 実験の結果, ARKitSceneReferにおける小物の位置推定は，2D モ デル，3D モデルともに挑戦的であることが示され た.また，2D モデルにおいては対象物が写ってい ない動画フレームに対する検出結果がノイズとなっ ており，うまく対象物が写っている動画フレームの

図 2 ARKitSceneRefer 構築のパイプライン

みを使用することができれば，精度の向上に繋がる ことも示された.

## 2 データセット

## 2.1 データセット構築

本節では，ARKitSceneRefer の構築について述べ る. $3 \mathrm{D}$ シーンより画像のほうが解像度が高く小物 を認識しやすいので，本論文では 3D シーン構築の 基となった動画フレームから小物を認識する。ま た, ARKitSceneRefer は bounding box ではなく物体の 中心点を予測するタスクを扱う。

## 2.1.1 物体検出

まず初めに，各シーンを構築する元となった動画 を使い，動画のフレームに対して物体検出を行う。物体検出の結果はデータセットの対象となる小物 を選別するために利用する. 物体検出モデルには LVIS [8] で事前学習された Detic [9]を用いる. Detic から, $\mathrm{MSCOCO}[10]$ などで学習された従来のモデ ルより詳細なクラス情報を得ることができる. 時系列的に近い画像にはほとんど同じ物体が写ってい るため，全フレームに対して物体検出する必要がな い. よって 10 フレームごとに物体検出をする.

## 2.1.2 2D から 3D ヘのマッピング

Detic からの bounding box を得た後，中心点を動画フレーム上の座標から 3D シーン上の座標にマッ ピングする．ここで，カメラと物の距離が未知であ ることと，複数のフレームから同一物体をマッピン
グしてもカメラパラメータのノイズにより，必ず しも 1 点に収束しないことが問題となる. そこで，我々はレイキャスティングとクラスタリングによっ てマッピングする。まず，カメラ視点から 3D シー ンに対してレイキャスティングを行い，交点を求め る. そして，DBSCAN [11]によってこれらの交点を クラスタリングし，各物体の中心点を表すクラスタ を作成する。ここでは，クラスタの距離の最大値を $0.05 \mathrm{~m}$ ，最小構成点数を 3 とした. クラスタリング の結果，検証データセットにおいて平均 68.25 のク ラスタが得られる.

## 2.1.3 物体選択

物体選択はクラス選択, シーン選択, 対象物体選択 の 3 つのステップからなる. まず，物体検出の結果 には色々なサイズの物が混ざっているので，対象と なる小物を選択するため，クラス選択を行う．検出 されたすべての物体のクラスを見て，両手で掴める 程度の大きさ (例: コーヒーメーカー)を目安とし て，小物となるクラスを選ぶ. この結果，クラス数 は 1151 から 794 となる. 次に，シーンの多様性と 均等性のため，シーン選択を行う。アノテーション するシーンは同じ部屋ごとに 1 つとし，同じ部屋の 中で最も物体が多く，かつ物体が 20 以上あるシー ンをアノテーション対象とする。この結果，シー ン数は 5,047 から 1,615 となる. 最後に，アノテー ションする物を決めるため，対象物体選択を行う。対象物体数は 1 シーンにつき，20 とする．検出回数 が少ないクラスの物体の数を増やすため，ランダム に対象物体を選ぶのではなく，検出回数の低いクラ
表 1 3D 参照表現理解データセットの比較

スの物体から順に 1 つずつ選ぶ. この結果，データ セット全体のクラス数は 612 となる.

## 2.1.4 アノテーション

上記のプロセスを実行することで，何もアノテー ションされてない $3 \mathrm{D}$ シーンから，小物の位置情報 を手に入れることができる. データセット構築の 最後のプロセスとして, Amazon Mechanical Turk ${ }^{1)}$ 上 でアノテーションを行う．ワーカーは，3D シーン，対象物体の写っている 3 枚の画像，対象物体のクラ スを参照できる. 画像は bounding box の面積が大き いものの中からランダムに選ばれており, bounding box 可視化することでワーカーが対象物体の場所 を把握しやすくなっている。 さらにワーカーが対象物体と他の物体を明確に認識しやすいように，3D シーン上にあるすべての物体や各タスクのすべての 対象物体の位置が可視化できるようになっている.実際のインターフェースは付録を参照されたい。 ワーカーはこれらの情報を参考にしながら，対象物体に対して，明確にそれらが区別できるように，参照表現をアノテーションする. さらに, Detic から得 られたクラスは間違っている場合もあるので，ワー カーは，クラスが間違っている場合は正しいクラス を選ぶようにする.このときの語彙はDetic と同様 の LVIS を用いる. クラス修正の結果，ワーカーは $40.72 \%$ のクラスを修正し, データセットのクラス 数は 731 となった. 間違って Detic に小物と認識さ れたものがワーカーによって小物ではないクラスに 修正されたデータが $4.80 \%$ あるので，すべてのデー タが小物ではないことに注意しなければならない.

## 2.2 データセットの統計

我々は 1,615 の 3D シーンに各 20 ずつ，計 32,300 もの参照表現が付与されている小物を対象とした データセットを構築した. 各物体には平均で 10.01 語の参照表現が付与されている. 参照表現は屋内 の物体の 731 クラスを含んでいる. 表 1 に既存の

1) https://www.mturk.com/

ScanRefer

図 3 ARKitSceneRefer (上) と ScanRefer (下) の頻度の高い クラスの分布

3D 参照表現データセットとの比較を示す. 我々 のデータセットは $3 \mathrm{D}$ シーンとクラスの 2 つ点 で，既存のデータセットより大規模である．図 3 に ARKitSceneReferr と ScanRefer のクラス分布の比較を示す。例えば，ScanReferでは “table”, “door”な ど大きい物体のクラスが多くなっている. 一方で, ARKitSceneRefer では, “box”, "jar”など ScanRefer と 比べると小物のクラスが多いことがわかる。このク ラス分布により，我々のデータセットは小物に焦点 を置いていることがわかる.

## 3 実験

## 3.1 実験設定

本研究では, $2 \mathrm{D}$ 手法と $3 \mathrm{D}$ 手法を用いて評価し た. $2 \mathrm{D}$ 手法は動画フレームと参照表現を入力と し，参照表現に対応する bounding boxを予測する. bounding box の中心はレイキャスティングによって $3 \mathrm{D}$ シーンにマッピングされ, 各動画フレームごと の 3D シーン上の予測座標が得られる。これらをク ラスタリングし, 点数の最も多いクラスタの中心点
表 $22 \mathrm{D}$ モデルと $3 \mathrm{D}$ モデルの比較

を最終的な予測とする。一方, $3 \mathrm{D}$ 手法は点群と参照表現を入力とし，直接参照表現に対応する物体の 3D シーン上の座標を予測する. ARKitSceneRefer で は，参照表現に対応する物体の 3D シーン上の中心点を予測するタスクを扱うので，評価指標には点間 のユークリッド距離を用いた. Acc@d (\%) では距離 が $\mathrm{d}$ 以下であれば正解とみなした．また，参考とし て距離平均も評価した。

2D モデルとして, RefCOCOg [12] で fine-tuning さ れた MDETR [5] と OFA [6] を用いた。また以下の 2 つの手法で比較した。
- MDETR-random と OFA-random: 動画フレームを ランダムに $1 / 10$ だけサンプリングして大力と して使用する。

・OFA-Detic: 動画フレームをランダムにサンプリ ングした後, Deticを用いて物体検出し, 検出ク ラスが参照表現に含まれる動画フレームのみ入力として使用する.

クラスタリングには DBSCAN [11]を用いた。クラ スタの最大距離は $0.02 \mathrm{~m}$ で, 最小構成点数は 1 と した.

3D モデルとして, ScanRefer [1] と 3DVGTransformer [7] を用いた. 点群の頂点数は 200,000と した。言語特徴量には GloVE [13] を用いた.

## 3.2 定量的評価

表 2 に ARKitSceneRefer で $2 \mathrm{D}$ 手法と 3D 手法を 評価した結果を示す. OFA-Detic を除いた 2D 手法と 3D 手法を比較すると, Acc@0.1においては MDETR-random が $7.77 \%$, OFA-random が $8.55 \%$ であ るのに対し，ScanRefer が 1.88\%，3DVG-Transformer が $2.65 \%$ と 2D 手法のほうが優れていたが，そ の他の評価指標については, 例えば Acc@0.5に おいては MDETR-random が $13.22 \%$, OFA-random が 14.05\%であるのに対し, ScanRefer が 19.74\%, 3DVGTransformer が $24.89 \%$ であり，3D 手法のほうが優れ ていた。これは $3 \mathrm{D}$ 手法は $3 \mathrm{D}$ シーン全体を参照で きるので，対象物体が認識できなくてもおおよそ

図 4 モデルの出力例

の位置を当てることができるが，2D 手法は動画フ レームに対象物体が写っていない予測がノイズにな るからである。また OFA-Detic はその他の手法をか なり上回っていることから，対象物体が写っている と推測される動画フレームのみ入力に使用するとノ イズが削減され，精度が向上することが示された。

## 3.3 定性的評価

図 4 に 3DVG-Transformer, OFA-Detic, ground truth の比較結果を示す. 左の 2 つの結果は 3DVGTransformer がグランディングに成功し, OFA-Detic が失敗している例である。前述したように，OFADetic の予測精度は入力動画フレームにかなり依存しており，ノイズが多いと無関係な場所を予測してしまう. 右の結果は OFA が位置特定に成功し, 3DVG-Transformer が失敗している例である. 3DVG-Transformer は “on the corner” は捉えられてい るものの “near two windows”は失敗している。この ように，3D 手法は薄いもの (例: タオル)を捉えるこ とができないことがある．一方で画像であれば，正面から撮ることで物の厚みを考慮せず認識できる。

## 4 おわりに

本論文では，小物の位置特定のための新しい 3D 参照表現理解データセットである, ARKitSceneRefer を紹介した. ARKitSceneReferには，1,615の ARKitScenes の 3D シーンに対して 32,300 の参照表現が 付与されている. ARKitSceneRefer では, 3D モデル はあまり精度が良くなかったが，2D モデルは入力 の動画フレーム次第では精度が向上することを確認 した. 今後の課題として, 3D モデルの精度を改善 することが挙げられる.

## 謝辞

本研究は JST さきがけ JPMJPR20C2, JSPS 科研費 22K17983 および サムスン SDS 株式会社の支援を受 けたものである.

## 参考文献

[1] Dave Zhenyu Chen, Angel X Chang, and Matthias Nießner. Scanrefer: 3d object localization in rgb-d scans using natural language. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020.

[2] Panos Achlioptas, Ahmed Abdelreheem, Fei Xia, Mohamed Elhoseiny, and Leonidas J. Guibas. ReferIt3D: Neural listeners for fine-grained 3d object identification in real-world scenes. In Proceedings of the 16th European Conference on Computer Vision (ECCV), 2020.

[3] Gilad Baruch, Zhuoyuan Chen, Afshin Dehghan, Tal Dimry, Yuri Feigin, Peter Fu, Thomas Gebauer, Brandon Joffe, Daniel Kurz, Arik Schwartz, and Elad Shulman. ARKitscenes - a diverse real-world dataset for $3 \mathrm{~d}$ indoor scene understanding using mobile RGB-d data. In Thirtyfifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), 2021.

[4] Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

[5] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1780-1790, October 2021.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[7] Lichen Zhao, Daigang Cai, Lu Sheng, and Dong Xu. 3dvgtransformer: Relation modeling for visual grounding on point clouds. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 2928-2937, 2021.

[8] Agrim Gupta, Piotr Dollar, and Ross Girshick. Lvis: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[9] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.
[10] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015.

[11] Martin Ester, Hans-Peter Kriegel, Jörg Sander, and Xiaowei Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, KDD’96, p. 226-231. AAAI Press, 1996.

[12] Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy. Generation and comprehension of unambiguous object descriptions. In CVPR, 2016

[13] Jeffrey Pennington, Richard Socher, and Christopher D Manning. GloVe: Global vectors for word representation. In Proceeding of Empirical Methods in Natural Language Processing (EMNLP), 2014.
表 3 OFA-oracle と OFA-upperを加えた精度の比較

図 5 水色の bounding box は OFA のグランディング予測結果を表す. 左の例は対象物体を含むが，右の例は含ま ない.

## A 2D 手法の精度の最大値

入力動画フレームによってどのように精度が変化 するのか検証するため，新たに以下の 2 つの設定を 加えて実験した。

1. OFA-oracle: 動画フレームをランダムにサンプ リングした後，Deticを用いて物体検出し，検出 クラスがアノテーションされているクラスと一致するなら入力として使用する.

2. OFA-upper: アノテーション時にワーカーに見 せた 3 枚の動画フレームのみ入力として使用 する。

表 3 はその実験結果を示している. OFA-oracle は OFA-random と OFA-Detic を上回っている. さらに， OFA-upper は OFA-oracle を大きく上回っている.こ の結果から，動画フレームに対象物体が写っていな いと予測がノイズとなり，精度の低下を招くことが わかる。

## B より詳細な 2D モデルの定性的評価

動画フレームに対象物体が含まれていない場合， OFA がどのような出力をするのか検証する. 図 5 に 対象物体を含む結果と含まない結果を示す. 対象物体を含むフレームに対しては正確に予測している が，対象物体を含まないフレームに対しては関係の ない場所を予測している。この誤りがノイズとな り，正確な予測を妨げる。

図 6 アノテーションインターフェース

表 4 ARKitSceneRefer の統計

## C アノテーション

図 6 にアノテーションインターフェースを示す。 1 タスクが 5 つの対象物体を含むように設計し， ワーカーの国をアメリカ，カナダ，イギリス，オー ストラリアに限定して，アノテーションを行った. また，ワーカーは 6 単語以上の参照表現を書かなけ ればならないように設定した。

## D データセットの分割

表 4 に示されるように，データセットを訓練, 検証, テストに分割した.


# ホライゾン・スキャニングの自動化のための言語処理応用

石垣 達也 ${ }^{1}$ 西野 涼子 ${ }^{1,2}$ 鷲野 壮平 ${ }^{1}$ 五十嵐 広希 ${ }^{3}$ 村井 昭彦 ${ }^{1}$ 永井 由佳里 ${ }^{2}$ 鷲田 祐一 4
1 産業技術総合研究所 ${ }^{2}$ 北陸先端科学技術大学院大学 3 東京大学 4 一橋大学
\{ishigaki.tatsuya, s.washino, hk-igarashi, a.murai\}@aist.go.jp
\{suzuko_k, ynagai\}@jaist.ac.jp b101348r@r.hit-u.ac.jp

## 概要

本稿では未来学分野におけるホライゾン・スキャニ ング [1]の自動化を目指し，文書探索，コメント生成問題およびデータセットを提案する。ホライゾン・ス キャニングは未来に起こりうる社会変化を分析する枠組みで，1) 新聞記事等を大量に収集し，2) 重要な記事 には主観的な意見や記事の要約をコメントとして記述 する. 収集された記事とコメントは専門家による社会変化についてのシナリオ記述に活用される. 本研究で はデータセットの分析, 探索およびコメント生成モデ ルを構築し自動評価および未来学の専門家が実際に使用することで評価し, 言語処理技術の応用可能性を検証する.

## 1 はじめに

未来学の分野では, 中長期的な未来に起こりうる大 きな社会変化やリスクについて，シナリオを記述する 取り組みが行われている，例えば，「自動消毒ロボッ トは将来, 駅だけでなくオフィスビルや飲食店など他 の業種にも幅広く適用され，人手不足の深刻な人間の 清掃員の代替となるだろう」というシナリオは, 企業 や政府における意思決定に役立てられる。高品質なシ ナリオを生成するための手法について, 当該分野では 活発に研究 [2] されているが，その多くは専門家によ る情報収集に依存しておりコストが問題となる．言語処理技術の応用はこのような課題の一助になりうる.本研究では代表的なシナリオ作成手法である Systemic Foresight Methodology (SFM) [3] に着目する. この手法は, シナリオ作成を 1) ホライゾン・スキャ ニング，2) プランニングという 2 つの部分問題に分割 して解く，前者は情報収集を行うステップで，社会変化の兆候を示唆する情報を含む新聞記事等を大量に収集し, 各記事にコメントを付与する。後者はシナリオ を記述するステップで, 収集した記事を専門家同士で 議論しながら集約し最終的に数個のシナリオにまとめ
る. 本稿では後段の処理に影響を与えることからより 重要なホライゾン・スキャニングに着目し，1) 未来を 示唆する文書の探索問題, 2) 主観的な意見を含むコメ ント生成という自然言語処理における新たな問題設定 と，3)これらのためのデータセットを提案する.

図 1 に現在専門家により手作業で行われている，ホ ライゾン・スキャニングの手順 $[4,1]$ を示す. 入力は 大規模なテキスト集合で, 本研究では一例として日本語の新聞記事を想定する．出力は事前に定義された フォーマットによる文書で，スキャニングマテリアル と呼ばれる。ホライゾン・スキャニングでは，まず入力記事集合から未来の社会変化を示唆する記事を探索する。例えば，図 1 の記事 2 のような「高輪ゲート ウェイ駅での消毒ロボットの実証実験」についての記事は，鉄道以外の産業にも将来的にロボットが配置さ れるという社会変化を示唆するため，探索されるべき 記事である。一方，記事 4 は天気予報であり，未来に ついての言及を含むが日常的に必要な情報を提示して いるに過ぎず，中長期的な社会変化について示唆しな い.よって，探索されるべきではない，スキャニング マテリアルは未来の社会変化を示唆する各記事に対し 作成され, 記事タイトル, 要約, 主観的なコメントを 含む. コメント部分には記事の短い要約, 主観的な意見, 主張や将来おこりうる社会変化などが記述され る. 探索した新聞記事本文を入力し，主観的なコメン 卜を自動生成する問題を 2 つ目の設定として扱う. 本研究では特にスキャニングマテリアル作成のための記事の探索とコメント作成に着目し, 記事タイトルと要約部分については要約技術等の既存技術を用いる想定 ととし, 研究対象としない.

本研究で提案する文書探索問題は, 将来の社会の変化を示唆するか否かを考慮する点において，既存の文書探索の設定 (例えば [5] など) と異なる。コメント生成問題は言語生成問題の一つとみなすことができる が, 将来起こりうるイベントについて記述する点に特徵がある。

図 1 ホライゾン・スキャニングの手順.

2,266 の未来の社会変化を示唆する新聞記事を SFM の知識のある者が収集し, データセットを作成した.分析より, これらの一般的な新聞記事とは意味的な距離が離れており, 異なる特徴語を持つことがわかっ た.このデータセットから学習した文書探索モデル は，BERT による手法は適合率@100において 70\%の 性能を示し, 専門家による実際のシナリオ作成の実用 において，十分耐えうることを人手評価により確認し た.コメント生成問題では, 要約タスク等において良 い性能を示す BART [6] であっても，主観的なコメン 卜を生成するのが難しく挑戦的な課題であることが分 かった.

## 2 データセット作成

データセットの作成にはSFM に関する専門知識が 必要となる. したがって, 本研究では専門知識を持つ 者が未来の社会変化を示唆する記事を収集することが 望ましい。そこで，ホライゾン・スキャニングに関す る講義を担当する大学教員とその講義を受講し専門知識を持つ学生らが, 2003 年から 2020 年の 17 年間に渡 り講義の一環として収集した記事の提供を受け, デー タセットとした. 合計 33 人が以下の指示の下, 記事収集とコメント付与を行った: 1) 中長期的な未来に起 こりうる社会変化を示唆する多様な記事を Web 上か ら手作業で探索する, 2) タイトル, 要約, コメントを 記述する.コメントには収集者の主観的な意見や将来 に起こりうる中長期的な変化を記述する，3）最後に図 1 に例示するスキャニングマテリアルのフォーマット にまとめる. 最終的に 2,266 記事を収集し, 各記事に 平均 2.8 文のコメントが人手で付与された.

## 3 分析

## 3.1 一般的な新聞記事との意味的な距離

探索されるべき記事は一般的な記事とは意味的 な距離が離れており, 異なる特徴を持つことを定量的に確かめる. 2020 年の朝日新聞コーパス ${ }^{11}$ 中の記事を一般的な記事とし, 各記事中の名詞に対する日本語 word2vec [7] $]^{2}$ の平均ベクトルを記事を表現す る分散表現とする。すべての記事に対し分散表現を 計算し, その中心ベクトル $\mathbf{c}_{g}$ を一般的な新聞記事 を表現したベクトルとみなす. $\mathbf{c}_{g}$ から提案データ セット中の各記事を表現する分散表現 $\mathbf{d} へ$ の距離 を，以下のようにコサイン類似度を用いて定義する: $\operatorname{dist}\left(\mathbf{c}_{g}, \mathbf{d}\right)=1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{d}\right)$. この距離の提案デー タセット中のすべての記事での平均は 0.34 であった.一方，中心ベクトルから朝日新聞コーパス中の記事へ の距離は平均すると 0.30 であった. この差が統計的有意であることを $\mathrm{t}$ 検定を用いて確認した.よって，一般的な新聞記事と意味空間上での距離が離れている 特徴が確かめられた。

## 3.2 特徵語

探索されるべき記事の特徴を使用語彙の観点から 分析する. 具体的には次の式のように単語出現頻度 (TF) の差を用い, 単語 $x$ が探索されるべき記事をど の程度特徴づけるかを表現するスコアを計算する: $\operatorname{diff}(x)=\operatorname{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)-\operatorname{TF}_{G}(x) \operatorname{IDF}_{C+G}(x) . こ こ$ で, $\operatorname{TF}_{C}(x)$ と $\operatorname{TF}_{G}(x)$ はそれぞれ，探索されるべき記事の集合 $C$ と一般的な記事集合 $G$ での $x$ の出現頻度 である. $\mathrm{IDF}_{C+G}$ は $C$ と $G$ 和集合における IDF で，機能語などの多くの文書に出現する一般的な語のスコ アを抑制する. $\operatorname{diff}(x)$ が正の方向に振れると $x$ は探索対象とする記事の特徴語であり, $\operatorname{diff}(x)$ が負の方向に振れると一般的な記事の特徴語である.

結果，正の方向に振れた語には「ツイッターの新機能」「台湾での干ばつ」といったように，稀に起こる イベントについての言及はそれぞれ 22.31，20.88 と高 いスコアを得た。また，「テクノロジー」のスコアは 2.34 であり, 技術分野に関する語も高いスコア得た。一方, 一般的な新聞記事を特徴づける語としては「知事の会見」「容疑者の逮捕」など，日常的に起こりう

表 1 意味ラベルの定義と例.

るイベントについての言及は-0.89, - 0.90 と負の方向 に振れ，一般的な記事に特徴的な語と認識された。よ り詳細な単語-スコア対の一覧は付録に含める.

## 3.3 意味ラベル付与によるコメント分析

次にコメント部分についての分析を行う。提案デー タセットから無作為に 30 コメントを抽出し, 手作業 でコメントに含まれる各文に対し表 1 に定義する, 意味ラベルを付与する. 付与作業においては 1 つの文 に対し, 複数ラベルの付与を許容する. 例えば, 「ト ミーがバイオリンのおもちゃを発売した」という記事 に対し,「様々なおもちゃが近年発売されている.」と いうコメント記述は“背景”とラベル付ける。

結果， $83 \%$ のコメント (30 のうち 25 ) は “要約”もし くは “背景”という事実について言及する文から始ま り，“主張”や“見込み”といった主観的な意見へと続 いた. 30 コメントのうち 4 コメントは事実を含まず，主観的な意見のみ記述された。ただ 1 つ例外的に主観的な意見を含まず，“感想” のみのコメントが存在し た. 客観的な記述と主張などの主観的な記述を含む $83 \%$ 部分である 25 コメントに着目すると，うち $76 \%$ (25 のうち 19) は “要約” から始まり, 24\%(25 のうち 6) は元の記事には含まれない “背景” 情報を提示した。

## 4 モデル

文書探索モデルは記事集合を入力とし，各記事に対 し中長期的な社会変化を示唆するか否か表現するスコ アを計算し，スコアが高い順に並べ替え出力する。ス表 2 文書探索モデルの適合率, 再現率, $\mathrm{F}$ 値.

表 3 文書探索モデルのランキング性能.

コア計算の手法として，1) BERT [8] による二値分類,

2) 一般的な新聞記事からの距離および 3) IDF を用い たヒューリスティックを比較する．BERTによる手法 は提案データセット中の記事を正例, 朝日新聞コーパ スからサンプルした記事を負例として二値分類器を学習する。一般的な記事からの距離は朝日新聞コーパ スからサンプルした記事集合の中心ベクトル $\mathbf{c}_{g}$ とス コアリング対象記事の分散表現 $\mathbf{x}$ を用い，スコアを $1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{x}\right)$ として計算する. ヒューリスティッ クによる手法は，探索されるべき記事には特異な語が 多いと考え，スコアリング対象記事中の名詞のIDF の 平均値をスコアに用いる: $\frac{\sum_{1}^{n} \operatorname{IDF}\left(x_{i}\right)}{n}$.

コメント生成モデルは探索した記事を 1 つ入力し， コメントを出力する. 本研究では単一文書要約におい て良い性能が報告されている BART [6] を提案データ セットコメントを用いてファインチューニングする.

## 5 実験と評価

## 5.1 データとパラメータ

BERT の学習には提案データセットのうち 2020 年 に発行された 320 記事を正例として用い，2020 年に 発行された朝日新聞記事のうち 8000 件を無作為に抽出し負例とする.データセットを $3: 1: 1$ の割合に分割 し, それぞれ学習, 開発, 評価セットとして用いる.二值分類器の出力スコアがしきい值 $\delta$ 以上の場合に分類対象記事を正例であると判定し, $\delta$ は開発セットを 用いて決定する．BARTには京大の配布するモデル 3) を用いる。自動要約においてよく用いられるパラメー タ設定 ${ }^{4)}$ でファインチューニングする.
表 4 被験者が作成したシナリオについての統計.

## 5.2 文書探索の自動評価

表 2 に探索モデルの適合率, 再現率, $\mathrm{F}$ 値を示す. また，表 3 に適合率@ $\mathrm{N}$ を の値を 5 から 100 まで 変化させた値を示す．BERTによる手法は $\mathrm{F}$ 値におい て 58.1 で，意味的な距離による手法の 10.5 や IDF の 13.7 よりも良い。適合率 $@ \mathrm{~N}$ におても， $\mathrm{N}=5$ の設定で BERT による手法は 0.80 を示し，意味的な距離 やIDF による手法の 0.40 よりも高い值を示した。 $N$ の値を大きくすると, 教師あり学習に基づく手法は $N=100$ まで大きくしても值の低下は 0.70 に抑えられ るのに対し, 意味的な距離に基づく手法および IDF に よる手法はそれぞれ 0.02 と 0.09 で，性能が著しく低下する。提案データセットによる教師あり学習は, 適合率 @N の観点からもより頑健なモデルといえる。

## 5.3 自動探索文書の実利用による人手評価

既存評価指標だけでなく, 自動探索記事を専門家に よるシナリオ作成に実際に用いる実験を行い，実利用 での効果を検証する。この実験では，まず，BERTが 高いスコアを与えた 75 記事と人手収集した 75 記事を 無作為に混ぜ合わせ，合計 150 記事からなる記事集合 を作成する. SFM の知識を持つ 17 人に 150 記事を提示し，記事集合を目視しながら一人あたり 5 シナリ 才を作成させ，合計 $85(17$ 人 $\times 5)$ のシナリオを得る。各シナリオは 1 つ以上の記事を基に作成され，シナリ オ作成の際に参考にした記事も併せてアノテーション させた. 結果， 1 つのシナリオは平均して 4.8 個の記事を基に作成された。表 4 に被験者が作成したシナリ オの統計を示す. 85 シナリオのうち 71 シナリオは自動探索した記事と人手収集した記事を組み合わせて作成したものであった。探索文書のみを組み合わせ作成 したシナリオが 11 存在し, これは人手収集記事のみ を組み合わせ作成した 3 つのシナリオよりも多い。こ れらを合計すると， 85 シナリオのうち $96.4 \%$ (82 シナ リオ) という高い割合で, 1 記事以上の自動探索記事 が専門家たちに活用されたことが確かめられた。

表 5 コメント生成問題の自動評価結果。

## 5.4 コメント生成の自動評価

表 5 に ROUGE の値を示す.BART は ROUGE-1と ROUGE-Lにおいてリード 3 よりも高い値を示した.一方，ROUGE-2 においてはリード 3 法よりも低い值 であった。 3.3 節で述べたように人間のコメントの冒頭部分には入力文書の要約が含めらやすく, この要約部分の多くは原文書を言い換えない抽出型の要約と なっている．BART が原文書の言い換えを許容する生成型の要約手法であるのに対し，リード 3 は文抽出型 の手法である。よって，正解コメントとリード 3 法の 出力で単語の重複が多くなり, ROUGE-2 の値が大き くなる。実際の生成コメントは付録に例示する。

## 5.5 コメントの採点による人手評価

人手採点による評価結果を付録の表 6 に示す. 表に 示す値は行に示す手法が列に示す手法より良いと判定 された回数である.上から順に 1) 未来の変化を想起 させるか，2）流暢さ，3) 正しさの 3 つの観点における 值を示す．結果，未来の変化を想起させるかという観点では, BART が 51 回リード 3 よりも良いと判定さ れたのに対し, リード 3 は BART よりも良いと判定さ れたのは 41 回であった.よって, BART の出力には リード 3 と比較し，より未来の変化を想起させる記述 が含まれる。一方，参照コメントは BART よりも 72 回良いと判定されており，BART がより良いと判定さ れた回数はわずか 18 回である. 付録の出力例に示す ように，要約などの客観的な記述と意見などの主観的 な記述を混在させた出力を得るのが難しい，言語生成 モデルには言語の客観性，主観性の制御といた $\mathrm{t}$ 観点 からの拡張が必要である。

## 6 おわりに

ホライゾン・スキャニングを自動化するため，文書探索及び言語生成とデータセットを提案した．BERT による手法は自動および人手評価により，実用的な性能が得られることを確認した。コメント生成は，最先端の言語生成モデルを用いたとしても主観的なコメン 卜を正しく生成するのが難しく挑戦的な課題であるこ とが分かった。主観的な記述と客観的な記述を正しく 制御する新たな言語生成技術が必要であらう。

## 謝辞

本研究の成果は LREC2022 [9] お よ

び KICSS2022(Nishino, Washida, Ishigaki, Washino, Igarashi, Murai, and Nagai 2022) の発表論文を基に した. 本研究は, JST 次世代研究者挑戦的研究プログ ラム JPMJSP2102 の支援を受けたものです. 整備した データセットの元となる記事およびコメントを提供く ださった一橋大学の MBA コース学生の皆様, ワーク ショップの参加者に感謝します. 人手評価における データ収集は, JAIST の倫理審査委員会の承認を得て います. 計算には産総研の AI 橋渡しクラウド (ABCI) を利用しました。実験には朝日新聞コーパスを使用し ました。

## 参考文献

[1] Ziauddin Sardar. The namesake: Futures; futures studies; futurology; futuristic; foresight - what's in a name? Futures, Vol. 42, No. 3, pp. 177-184, 2010.

[2] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. foresight, 2020.

[3] Ozcan Saritas. Systemic foresight methodology. In Science, technology and innovation policy for the future, pp. 83117. Springer, 2013.

[4] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. Foresight, Vol. 23, No. 1, pp. 17-32, 2021.

[5] Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Now Foundations and Trends, 2018.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 7871-7880, Online, 2020. Association for Computational Linguistics.

[7] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 4171-4186, Minnesota, USA, 2019. Association for Computational Linguistics.

[9] Tatsuya Ishigaki, Suzuko Nishino, Sohei Washino, Hiroki Igarashi, Yukari Nagai, Yuichi Washida, and Akihiko Mu- rai. Automating horizon scanning in future studies. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 319-327, Marseille, France, June 2022. European Language Resources Association.

2. 入力記事:

徳島大学発のベンチャー企業グリラスは、食用 コオロギ事業を拡大するため、総額 2 億 3000 万円を調達した。今回の資金調達を機に、株式公開に向けた体制整備を進める予定だ。グリラス は 5 月にジェイテクトと業務提携し、全自動生産 システムを共同開発した。

人間:

最近、日本でも 10 匹と 30 匹のコオロギを使った フィナンシェが発売され、2日で売り切れたそうだ。私はおせんべい以外、コオロギを使った食品を見た ことがないが、いよいよ昆虫食が 社会に浸透していく兆しがあるようだ。 BART:徳島大学発のベンチャー企業グリラスが、食用コオロギの事業拡大のため、ベンチャー キャピタルから総額 2 億 3000 万円の資金調達 を行った。全自動生産システムの共同開発に 取り組んでいる。

表 7 コメントの生成例.


# 短歌を読む際の情動に関する脳活動の解析

佐藤 杏奈 1 近添 淳一 ${ }^{2}$ 船井 正太郎 ${ }^{2}$
持橋 大地 ${ }^{3}$ 鹿野 豊 4 浅原 正幸 5 磯 暁 6 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ
3 統計数理研究所 4 群馬大学 5 国立国語研究所 6 高エネルギー加速器研究機構
\{g1920519, koba\}@is.ocha.ac.jp \{chikazoe_junichi, funai_shotaro\}@araya.org
daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp

## 概要

本研究では，詩や短歌といった言語芸術が誘起す る情動がヒト脳内においてどのように表現されるの かを調査する. とくに本研究では短歌を取り上げ， fMRI 内で提示した短歌を読んだ際の被験者の脳活動を観測し，BERT や GPT などの汎用言語モデルを 通じて抽出された言語特徴量を入力として脳内状態 を推定する符号化モデルを構築し脳内状態を推定し た. 被験者が「詩的である」,「詩的でない」と感じ るのはヒト脳内でどのような処理が行われている ことに起因しているのかについて調査を行った結果，GPT を用いた際に，情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた.

## 1 はじめに

近年では, 磁気共鳴装置 (fMRI) や脳磁図 (MEG) などの非侵襲的な脳機能計測技術の発展と, 深層学習に代表される機械学習技術の高度化により, ヒト 脳内の情報処理プロセスの解明や定量的理解を行う 研究が盛んになっている [1]. 論理的な情報処理能力と共に，情動に関する情報処理能力はヒトの知能 を解明する上で重要であり, 本研究ではヒト脳内の 情動に関する処理プロセスの解明を目的とし，統計 モデルを通じた調査を行う。

## 2 関連研究

近年，脳神経科学において脳内に生起する意味表象が知覚カテゴリとしてどのように大脳皮質上 に構成されるかについても明らかにされてきてい る $[2,3]$. とくに自然言語の単語の意味をべクトル として表現する word2vec [4] が出現して以来，ヒト脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状態の推定に利用されるようになっている $[5,6,7]$. Schrimpf ら [5,6] は, 43 個の様々な汎用言語モデル を用いて言語刺激を特徴量として表現し，ヒト脳活動との対応関係を調査した. Caucheteux ら [7] は脳内状態を表現する特徴量として性能が良いとされる GPT-2 [8] について詳細な調査をしている.

ヒト脳活動における情動を対象に解析したもの として，Kim ら [9] は音楽刺激下の被験者の脳活動 を fMRI で観測したデータから感情反応を推定し，人間の感情処理に関連する特定部位の反応が優位 になったことを確認している. Koide-Majima ら [10] は，動画視聴時の脳活動を fMRIを用いて計測し， その刺激となった動画クリップに対して注釈づけさ れた 80 個の感情表現との相関をとり, 脳内における 感情の分布を調べている。また，Satpute ら [11] は，言語が情動にどのような役割を担っているかについ て神経科学の文献をレビューすることによって調査 をしており，言葉の意味処理に関わる脳領域は，と くに情動に関する表現内容を保持するという考えを 示唆する証拠が得られたことを報告している.

このようなアプローチに対して, 本研究では, 自然言語を処理する深層学習モデルを作業モデルとし て利用し，様々な刺激下のヒト脳内に直接の反応と して表出される感情を扱うのではなく，言語芸術で ある短歌によって誘起される感性や感覚に近いヒト 脳内情動活動を対象に調査を行う。

## 3 言語刺激下の脳活動解析

## 3.1 実験概要

本研究の概要を図 1 に示す. 言語モデルの中間層から抽出した表現べクトルを特徴量として使用

図 1: 詩的と感じるまたは感じないときの脳の振る舞いの調査の流れ.

し，符号化モデル (3.3 節参照) を用いて脳活動を推定する。深層学習モデルの各階層が表現できる情報 がどのように遷移するかを調べるため，各階層から 符号化モデルを構築し. 予測された脳活動を用いて RSA(3.4 節参照)を行い，関心領域 (ROI) の振る舞い を表す，ROI $\times$ ROI の $\operatorname{RDM}($ 図 $1(※), 3.4$ 節にて後述) を作成する.

## 3.2 被験者実験

本研究の被検者は 18 歳から 34 歳までの日本人 32 名で，脳画像データは fMRIにより取得した. 実験 では,『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる短歌と, 同じ 31 文字の平文各 150 文を fMRI 内で提示し, それが詩的と感じるかどうかを 手元のボタンで解答させた. 短歌または平文は 3 行 に分けて，それぞれ 3 秒間提示された後，「詩的で あると感じますか？」と記載された質問スライドが 3 秒間提示される (図 1 参照). 1 試行の所要時間は 12 秒であり， 50 試行を 1 セッションとし，6セッ ションを行った. 文は各セッション内で参加者ごと にランダムな順に提示され, 各セッションは短歌 25 首，平文 25 文で構成される。脳画像データは, FreeSurfer ${ }^{1}$ を用いて解析を行い，それにより抽出さ れた大脳皮質のボクセルのみを分析に用いた。ま た，脳領域区分アトラスには FreeSurfer で提供され る Destrieux Atlas [12]を用いた。

## 3.3 符号化モデル

本研究における符号化モデル (Encoding model) の 構築手法は，Naselaris ら [13] によるものを採用し た. 符号化モデルの構築方法として, ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。一般的に線形回帰にはリッジ回帰が適用され, 回帰係数 を観察することでボクセルに対する振る舞いを観察 することなどが可能となる.

## 3.4 表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis, RSA) は, Kriegeskorte ら $[14,15]$ によって提案され た手法である．RSAを用いることにより，比較対象となる二つのパターンの非類似性は，それらの 距離に対応するものとして表現される. 全てのぺ アの表現距離 (または非類似度)を測定すること で, Representational Dissimilarity Matrix(RDM) を作成 でき，また，RDM 同士の相関を計算し様々な表現 を比較することが可能になる。本研究では非類似度 として相関距離 (1-ピアソン相関係数) の值を使用 する。

## 4 実験

## 4.1 符号化モデル作成

ヒト脳に与えられた刺激の特徴量から脳内状態を 推定するために，符号化モデルを構築する． 1 枚の スライドが提示されている間，そこに表示されてい る文で埋めて言語データを構築し, 脳データと対応 づけた。質問スライドが表示されている間は，直前 に表示されていた短歌もしくは平文に，「詩的であ ると感じますか？」という文を加え，言語データと した.

言語モデルの中間層から抽出した言語特徴量を説

1) https://surfer.nmr.mgh.harvard.edu/
明変数として脳活動データを予測する符号化モデ ルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し, fMRI で観測された脳活動データをその 3 9TR2) 前の該当区間全ての言語特徴量から予測する形で回帰を 行う. 全 6 セッションのうち, 1 セッションをテス トデータ，残り 5 セッションを訓練データとし，各 セッションの脳活動データを予測した. また, 訓練 データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 $\alpha$ を $\left[10^{1}, 10^{6}\right]$ におけ る 15 個の値の中から採用した。

## 4.2 実験設定

本研究では，言語特徴量を表現する言語モデルと して BERT [16] と GPT [17]を使用する. 事前学習モ デルとして, $\mathrm{BERT}_{\text {large }}{ }^{3}$ ) と $\mathrm{GPT}_{1 b}{ }^{4}$ (共に 24 層) を 採用し，以下の 2 ステップで Multi-step fine-tuning を 行った.

短歌の学習 それぞれ，BCCWJに含まれる実験 で使用していない短歌 3571 首 (訓練データ $90 \%$ ) で fine-tuning を行った. 学習タスクはそれぞれ事前学習として採用されている, BERT は Masked Language Modeling(15\%), GPT は Causal Language Modeling を 使用した.

詩的感覚の有無の分類 被験者毎に, 実験に使用した短歌平文 300 文を, 被験者が fMRI 実験で 詩的と感じる・感じないと回答した結果に合わせ てラベル付けをし, huggingface $の$ transformers ${ }^{5}$ )で提供されている, BertForSequenceClassification と GPT2ForSequenceClassification を使用し fine-tuning を行った. この時, 符号化モデル構築時に訓練デー タとなる 5 セッションで提示された 250 文を訓練 データとした.

また，解析では被験者間で平均をとるため，符号化モデルの精度が低い被験者のデータがノイズ になってしまうことを鑑み，(1) 短歌もしくは平文, 詩的と感じる・感じないでラベル付けをした とき，マクロ $F_{1}$ スコア >0.85であり，(2) 事前実験 (fine-tuning をしていない事前学習モデルから抽出し た特徵量を使用)での予測脑活動が，実験で計測さ れた脳活動に有意な正の相関がある $(p<0.01)$ 被験
=0.75$ 秒

3) https://huggingface.co/cl-tohoku/ bert-large-japanese

4) https://huggingface.co/rinna/japanese-gpt-1b

5) https://github.com/huggingface/transformers
}

BERT

GPT

図 2: 中間層 $\times$ 中間層の RDM.

者 7 名のみを解析の対象とした。

## 4.3 実験結果

言語モデル各階層の予測脳活動を詩的と感じる (Poetic)もしくは感じない (Unpoetic) に分け，それぞ れで，ROI 毎に時間×時間の RDM を作成する. 本研究では. 実測脳活動と予測脳活動に相関がないと いう帰無仮説のもと. False discovery rate $(\mathrm{q}<0.05)$ 補正を適用する. 帰無仮説が棄却され. かつ. 実測脳活動との相関が正となったボクセルのみを使用して RSAを行う。

ROI 毎に作成された RDM を比較することで ROI $\times \operatorname{ROI}$ の $\operatorname{RDM}($ (図 $1(※))$ を作成する。その RDM を 被験者間で平均をとったのち，各階層で詩的と感じ るもしくは感じないで作成された (階層数 $\times 2$ ) 個の RDM を比較することで，層×層の RDM を作成した (図 2).

さらに上記 2 つの RDM を 1 つにしたRDMを UMAP [18] を用いて 3 次元に次元圧縮をし, 可視化 する (図 3).

次に，他の様々な ROI と類似した情報表現を持 つ，脳内情報のハブとなっている ROIを見つけるた め, PageRank アルゴリズム [19]を用いて解析を行 う。ROI 間の非類似度を表している RDM(図 $1(※))$ を， (1- 非類似度) とすることで相関行列を作成し， この相関行列を遷移確率行列として PageRankアル

図 3: RDM の次元圧縮結果.
(a) 7 層目

(c) 23 層目

図 4: GPT 各階層における PageRank 値の差分 (詩的と感じる (赤) vs. 詩的と感じない (青)).

ゴリズムを適用する。具体的に， $B_{P_{i}}$ は相関行列 $P_{j}$ から遷移する可能性のある相関行列の集合とし，相関行列 $P_{i}$ における PageRank である $r\left(P_{i}\right)$ をべき乗法で以下のように求める.

$
r_{k+1}\left(P_{i}\right)=\sum_{P_{j} \in B_{P_{i}}} \frac{r_{k}\left(P_{j}\right)}{\left|P_{j}\right|}
$

各階層, 詩的と感じる・感じないの各 RDM に 対して上記 PageRank アルゴリズムを適用し, $\left(r\left(P_{\text {poetic }_{i}}\right)-r\left(P_{\text {unpoeti }_{i}}\right)\right)$ として差分を取ったもの を図 4 に示す.ここでは，詩的と感じる・感じない の非類似性が高かった GPT の結果のみを示す.赤 い部分が，減算後値が大きくなった,つまり詩的と 感じる時により PageRank 値が高かった脳領域であ り. 青い部分が詩的と感じない時により PageRank 値が高かった脳領域である。

## 4.4 考察

図 2 において, BERT では各階層同士で Poetic に 対する Unpoetic の非類似度が他層に比べ低くなって いる一方で，GPTではその値の低下は小さい. よっ て，GPT は詩的と感じているときと感じていないと きでは. 各階層でより異なる情報表現を持っている と言える.

図 3 において, BERT と GPT どちらも徐々に情報 が遷移していることから, 深層学習モデルの各階層 が説明できる脳活動は階層が進むに従って変化して いることがわかる.

図 4 では，低層，中層，高層として GPT の 7，16， 23 層目での PageRank 值の差分を可視化している.他の階層や BERT での結果については一部付録 6.3 節で示している。ほとんどの層において，後頭葉 (図 $4 \mathrm{a}$ 参照) で差分後の値が正，つまり，詩的と感 じているときの方がより，後頭葉周辺のハブ性が強 くなっていることがわかった。この値は低層の方が大きく，10 層目あたりをピークに層が進むにつれ て小さくなっていった。また，殆どの層において左島皮質，左中心前溝 (図 $4 \mathrm{a}, 4 \mathrm{c}$ 参照) 周辺の值が大き くなった．島皮質は情動と密接な関係があるとされ る大脳辺縁系の一部であり，BERT の高層でも同様 にハブ性が強くなることが確認できた (付録 6.3 節参照).

中層では，帯状回周辺で值が大きくなる様子が見 られた。帯状回は，大脳辺縁系の各部位を結びつけ る役割があり，感情の形成と処理に関わりを持つ領域と言われている。詩と散文を読んだときの脳活動 を調査した先行研究 [20] では，文の情動性が上がる につれて活性化した脳領域として，帯状回が挙げら れている。また，高層では，情動の処理に重要な役割を果たしているとされている [21], 左眼窩前頭皮質 (OFC) が赤くなる様子が見られた.

## 5 おわりに

本研究では，詩的であるという情動がヒト脳内に おいてどのように表現されるのかを言語モデルの中間層から予測した脳活動に対して，RSAを用いて調査を行った. PageRankを用いて ROI のハブ性を調 べた結果，GPT において情動と深く関係していると される大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じ ているとき強くなることが確認できた。一方で，後頭葉や中心前溝など，情動と関係しているとされて いない領域でもハブ性が見られた。

今後は，解析対象の被験者を増やした時の結果の 考察を行うつもりである。また，短歌を読んだとき のヒト脳内と深層学習モデルでの階層処理について の調査，考察も進めていきたい。

## 参考文献

[1] Daniel L. K. Yamins, Ha Hong, Charles F. Cadieu, Ethan A. Solomon, and James J. Seibert, Darren an d DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, Vol. 111, No. 23, pp. 8619-8624, 2014.

[2] Alexander G Huth, Shinji Nishimoto, An T Vu, and Jack L Gallant. A continuous semantic space describes the representation of thousands of object and action categories across the human brain. Neuron, Vol. 76, No. 6, pp. 12101224, Dec 2012

[3] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Vol. 26, , 2013.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020

[6] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[7] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[9] Hyun-Chul Kim, Peter A. Bandettini, and Jong-Hwan Lee. Deep neural network predicts emotional responses of the human brain from functional magnetic resonance imaging. NeuroImage, Vol. 186, pp. 607-627, 2019.

[10] Naoko Koide-Majima, Tomoya Nakai, and Shinji Nishimoto. Distinct dimensions of emotion in the human brain and their representation on the cortical surface. NeuroImage, Vol. 222, p. 117258, 2020

[11] Ajay B. Satpute and Kristen A. Lindquist. At the neural intersection between language and emotion. Affective Science, Vol. 2, No. 2, pp. 207-220, 2021.

[12] Christophe Destrieux, Bruce Fischl, Anders M. Dale, and Eric Halgren. Automatic parcellation of human cortical gyri and sulci using standard anatomical nomenclature. NeuroImage, Vol. 53, No. 1, pp. 1-15, 2010.

[13] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[14] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008

[15] Nikolaus Kriegeskorte and Rogier A Kievit. Representational geometry: integrating cognition, computation, and the brain. Trends Cogn Sci, Vol. 17, No. 8, pp. 401-412, Aug 2013 .

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. cite arxiv: 1810.04805 Comment: 13 pages.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[18] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[19] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital Library Technologies Project, 1998.

[20] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[21] Junichi Chikazoe, Daniel H Lee, Nikolaus Kriegeskorte, and Adam K Anderson. Population coding of affect across stimuli, modalities and individuals. Nature Neuroscience, Vol. 17, No. 8, pp. 1114-1122, 2014.

## 6 付録 (Appendix)

## 6.1 実験データ

3.2 節にて述べた対象被験者は，男性 15 名，女性 17 名の合計 32 名である. 脳画像データの撮像は,生理学研究所に設置された 3.0 テスラの $\mathrm{MRI}$ (シー メンス社製) を用いて取得された. 解剖学的スキャ ンの撮像条件は，TR0.75 秒，ボクセルサイズ $2.0 \mathrm{~mm}$ $\times 2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm}$ である.

## 6.2 非類似度の可視化

図 2 では, BERT とGPTにおいて, 詩的と感じ る・感じないときの各階層の非類似性を RDM で示 した.このときの Poetic に対する Unpoetic の非類似度を示す (図 5).

layer

図 5: Poetic-Unpoetic 間の各階層における非類似度.
BERT と GPT2 どちらでも，8 層目あたりで非類似度があがり，その後は BERT は徐々に上がり, GPT では下がる様子が見られた。

図3の異なる角度からの可視化結果を示す。

図 6: RDM の次元圧縮結果 (図 3 別角度).

## 6.3 PageRank の差分結果

4.3 節で述べられているように, PageRank アルゴ リズムを用いてハブ性を調査した。本文に掲載でき なかった BERT と GPT の一部階層について，(詩的 と感じる-詩的と感じない)の差分結果を示す.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

24 層目

図 7: BERT 各階層における PageRank 値の差分.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

21 層目

24 層目

図 8: GPT 各階層における PageRank 値の差分.


# 食感の物性と言語表現の対応の推定

上原宏 ${ }^{1,2}$ 持橋大地 1
1 総合研究大学院大学統計科学専攻 2 立正大学 データサイエンス学部 3 統計数理研究所
\{uehara,daichi\}@ism.ac.jp

## 概要

レシピ共有サイトに記述される多様な食感表現 は，レシピ材料の硬さ，粘り気などの違いによると ころが大きいが，両者の関係はこのサイトの情報だ けではわからない. 本研究では，材料構成と食感の 物性（レオロジー）との関係を実証した調理科学研究データを収集し，それらとレシピ共有サイト上の 食感表現との対応の推定を試みる。これにより様々 な食感表現が，材料のどのような食感物性から知覚 されるのかについて統計的なモデル化を行う。

## 1 はじめに

大量のレシピに記述される日本語の食感表現は 約 450 種類あるとされ [1]，レシピ共有サイトにも，様々な食感の記述が見られる. 各レシピの食感表現 の違いは，知覚の個人差はあるものの，主にレシピ の材料構成によると考えられる. 調理科学の研究で は，材料濃度構成の違いによる食感の違いを，食感物性（レオロジー）の測定により定量評価する 実証研究が行われている ([2], [3]). しかし，食感物性が，人が知覚する食感としてどのようなものか は、限られた評価者による実証研究にとどまってい る [7]. 本研究では, レシピ共有サイトの食感表現 と材料濃度データにもとづき, 調理科学研究の食感物性データとの対応関係を推定する方法を提案し，食感表現が材料のどのような物性特徴によるものか を推定する。

次章で提案手法を述べ，3 章で適用対象のデータ を説明する。続いて 4 章にてデータの解析結果およ び評価を記述し， 5 章にて結論を述べる.

## 2 提案手法

本研究では, ゼラチン, 寒天, アガーの 3 種類の 凝固剤を用いたレシピ（以降，ゲルレシピ）を対象 として，レシピ共有サイトから対象レシピを収集 し，食感表現トピックと，材料濃度トピックのペア

図 1 食感表現と凝固剤濃度を生成する結合トピックモ デル

からなる食感トピックを結合トピックモデル [4] を 用いて推定する．材料濃度トピックは調理科学の食感物性測定条件と同様なデータ形式であり，食感物性との対応付けが可能となる. 以下，提案手法の詳細を述べる。

## 2.1 対象データの抽出

## 2.1.1 食感の固有表現の抽出

日本語の食感用語を網羅的に調査した “日本語テ クスチャー用語体系1)”を辞書として，レシピ共有 サイトからレシピ毎の食感の固有表現を抽出した。

## 2.1.2 材料濃度ベクトルの収集

レシピ共有サイトの材料リストより，凝固剤の濃度および，エマルション2)の濃度を算出し，レシピ 毎に凝固剤ベクトル，エマルションベクトルを収集 した。なお，濃度の微小な違いが食感に大きく影響 することがあるため, 濃度を情報量 $(-\log )$ に変換し た特徴量を用いている。

## 2.2 食感トピックの推定

## 2.2.1 生成モデル

図 1 のとおり，食感トピックは食感表現語彙の潜在トピック $\mathbf{Z} ＼mathrm{~ ， お よ ひ ゙ そ れ に 対 応 す る 凝 固 剤 の 濃 度 ~}$ ベクトルの潜在トピック $\mathbf{Y}$ のペアで構成する. 食感表現は， $\mathbf{Z}$ のもで， $\operatorname{Dir}(\gamma)$ をディリクレ事前分布

とする多項分布 $\operatorname{Mult}(\mathbf{W} \mid \phi)$ に従うとし，一方，凝固剂濃度ベクトル $\mathbf{g}$ は， $\mathbf{Y}$ のもとで， $\mathcal{N} \mathscr{W}\left(\beta_{g}, v_{g}, S_{g}\right)$ をガウスウィシャート事前分布とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mu, \boldsymbol{\Lambda})$ に従うとする. 調理科学では，凝固剤の みによる食感をべースラインとして，エマルション を混合した場合にどのような変化が顕れるかを実証 したものが多い $[3,5,11]$. そこで，エマルションの 濃度 $\mathbf{e}$ については, 凝固剤の潜在トピック $\mathbf{Y}$ のも とで,NW $\left(\beta_{e}, v_{e}, S_{e}\right)$ をガウスウィシャート事前分布 とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mathbf{m}, \mathbf{L})$ に従うとする. 生成モデ ル，および生成過程を以下に示す.

## 生成モデル

$p(\mathbf{W}, \mathbf{Z}, \theta, \phi, \mathbf{g}, \mathbf{y}, \mu, \boldsymbol{\Lambda}, \mathbf{e}, \mathbf{L})=$

$\operatorname{Dir}(\theta \mid \alpha) \operatorname{Dir}(\phi \mid \gamma) \prod_{n} \operatorname{Mult}\left(z_{d_{n}} \mid \theta_{d}\right) \operatorname{Mult}\left(w_{d_{n}} \mid \emptyset_{\mathbf{k}}, z_{d_{n}}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mu_{\mathbf{0}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \prod \operatorname{Mult}\left(y_{d} \mid \theta_{d}\right) \mathcal{N}\left(\mathbf{g}_{\mathbf{d}} \mid \mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}}, y_{d}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{m}_{\mathbf{0}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right) \prod_{\mathbf{d}}^{\mathbf{d}} \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}}, y_{d}\right)$

## 生成過程

1. For $k \in 1, \ldots, K$ :

(a) $\phi_{\mathbf{k}} \sim \operatorname{Dir}(\gamma)$

(b) $\mu_{\mathbf{k}}, \mathbf{\Lambda}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right)$

(c) $\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{e}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right)$

2. For $d \in 1, \ldots, D$ :

(a) Draw $\theta_{\mathbf{d}} \sim \operatorname{Dir}(\alpha)$

(b) For $n \in 1, \ldots, N_{d}$ :

i. Draw $z_{d_{n}} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

ii. Draw $w_{d_{n}} \sim \operatorname{Mult}\left(\phi_{\mathbf{z}_{\mathbf{d}_{\mathbf{n}}}}\right)$

(c) Draw $y_{d} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

(d) Draw $\mathbf{g}_{\mathbf{d}} \sim \mathcal{N}\left(\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)$

(e) Draw $\mathbf{e}_{\mathbf{d}} \sim \mathcal{N}\left(\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}\right)$

ここで，各変数は以下を意味する。

$\phi_{\mathbf{k}}$ : トピック $k$ 毎の食感表現語彙分布. 事前分布 パラメータ $\gamma$.

$\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のゲル濃度分布. 事前分布パラメー タは, $\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, \nu^{g}, \mathbf{S}^{\mathbf{g}}$

$\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のエマルション濃度分布

$\theta_{\mathbf{d}}$ : 文書 $d$ (レシピ）毎のトピック分布パラメー

タ. 事前分布パラメータは， $\alpha$.

$z_{d_{n}}$ : 食感表現語彙 $w_{d_{n}}$ の潜在トピック.

$y_{d}:$ ゲル濃度 $g_{d}$ の潜在トピック

$\mathbf{g}_{\mathbf{d}}$ : 凝固剂濃度

$\mathbf{e}_{\mathbf{d}}$ : エマルション濃度

## 2.2.2 トピックの推定

Gibbs sampling により, 潜在トピック $z_{d_{n}}, y_{d}$ およ び，トピック毎の分布パラメータ $\phi_{\mathbf{k}}, \mu_{\mathbf{y d}_{\mathrm{d}}}, \Lambda_{\mathbf{y}_{\mathrm{d}}}, \mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathrm{d}}}$ を推定する．収束判定は，perplexity，および， $\phi_{k}$ の 語彙確率の大小関係が一定になることによる.

1. 食感表現の潜在トピック $z_{d_{n}}$

$
\begin{aligned}
& p\left(z_{d_{n}}=k \mid \mathbf{W}, \mathbf{Z}^{-\mathbf{d}_{\mathbf{n}}}, \alpha, \gamma, \mathbf{y}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
& \quad \propto\left(N_{d k}^{-d n}+M_{d k}+\alpha\right) \frac{N_{k, w_{d n}}^{-d n}+\gamma}{N_{k}^{-d n}+\gamma \mathbf{V}}
\end{aligned}
$

ここで，各変数は以下を意味する.

$N_{d k}, M_{d k}: d$ で $k$ に所属する食感表現語彙数および，凝固剤べクトルの数 $N_{k}: k$ に所属する食感表現語彙の数 $N_{d}, M_{d}: d$ の食感表現語彙の数，および凝固剤ベクトルの数 $(=1)$

$N_{k w}: k$ に所属する食感表現語彙別の数

$N_{d k}^{-d n}: d$ において,$d_{n}$ を除き $k$ に所属する

食感表現語彙の数 (以降，左上添え字“-”は 同様な除外を意味する)

2. 凝固剤濃度の潜在トピック $y_{d}$

$
\begin{array}{r}
p\left(y_{d}=k \mid \mathbf{W}, \mathbf{Z}, \alpha, \gamma, \mathbf{y}^{-\mathbf{d}}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \frac{N_{d k}+M_{d k}^{-d}+\alpha_{k}}{N_{d}+M_{d}-1+\sum_{k} \alpha_{k}} \times \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mu_{\mathbf{y}_{\mathbf{d}}}, \mathbf{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)
\end{array}
$

3. 凝固剤濃度のトピック別分布 $\mu_{\mathbf{y}_{\mathrm{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathrm{d}}}$

$
\begin{array}{r}
p\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{g}, \mu^{-\mathbf{k}}, \mathbf{\Lambda}^{-\mathbf{k}}, \mu_{\mathbf{0}}, \beta^{\mathbf{g}}, \nu^{\mathbf{g}}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \mathcal{N}\left(\mu_{\mathbf{k}} \mid \mu_{\mathbf{c}},\left(\beta^{\mathbf{g}} \boldsymbol{\Lambda}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\boldsymbol{\Lambda}_{\mathbf{k}} \mid v_{c}^{g}, \mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)
\end{array}
$

ここで，各変数は以下を意味する。

$
\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}=\left(\mathbf{S}^{\mathbf{g}}\right)^{-1}+\sum_{\mathbf{g}_{\mathbf{d} \in} \in \text { topic k }}\left(\mathbf{g}_{\mathbf{d}}-\overline{\mathbf{g}}\right)\left(\mathbf{x}_{\mathbf{d}}^{\mathbf{g}}-\overline{\mathbf{g}}\right)^{\mathbf{T}}+
$

$
\begin{aligned}
& \frac{N_{k} \beta g}{N_{k}+\beta^{g}}\left(\overline{\mathbf{g}}-\mu_{\mathbf{0}}\right)\left(\overline{\mathbf{g}}-\mu_{0}\right)^{\mathbf{T}} \\
& \overline{\mathbf{g}}=\frac{1}{N_{k}^{g}} \sum_{\mathbf{g}_{\mathbf{d}} \in \text { topick }} \mathbf{g}_{\mathbf{k}}, \mu_{\mathbf{c}}=\frac{N_{k}^{g} \overline{\mathbf{g}}+\beta^{g} \mu_{0}}{N_{k}^{g}+\beta^{g}}
\end{aligned}
$

$\boldsymbol{\Lambda}_{\mathbf{c}}=\left(N_{k}^{g}+\beta^{g}\right) \boldsymbol{\Lambda}_{\mathbf{k}}, v_{c}^{g}=v^{g}+N_{k}^{g}$

$\sum_{\mathbf{g}_{\mathbf{d}} \text { topic } \mathbf{k}}$ : topic $\mathbf{k}$ に所属する $\mathbf{g}_{\mathbf{d}}$ のレシピ数

4. エマルション濃度のトピック別分布 $\mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}$

$
\begin{array}{r}
p\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{e}, \mathbf{m}^{-\mathbf{k}}, \mathbf{L}^{-\mathbf{k}}, m_{0}, \beta^{\mathbf{e}}, v^{\mathbf{e}}, \mathbf{S}^{\mathbf{e}}\right) \\
\propto \mathcal{N}\left(\mathbf{m}_{\mathbf{k}} \mid m_{c},\left(\beta^{\mathbf{e}} \mathbf{L}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\mathbf{L}_{\mathbf{k}} \mid v_{c}^{e}, \mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)
\end{array}
$

ここで， $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)^{-1}$ は，式 (4)の $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}$ で $g$ を $e$ と した式で表す.また， $\sum_{\mathbf{e}_{\mathrm{d}} \in t o p i c \mathbf{k}}=\sum_{\mathbf{g}_{\mathrm{d}} \in \text { topic } \mathbf{k}}$ で ある。

なお，食感表現のトピック別分布パラメータ $\phi_{k}$, およびレシピ毎のトピック分布パラメータ $\theta_{d}$ は,
表 1 調理科学の実証研究 [7-12]にもとづくゲルレシピ の分析データ.

(a) ゲル素材の濃度別食感物性

} & \multicolumn{3}{|c|}{ 凝固剤 } & \multicolumn{3}{|c|}{ 食感物性 (RU) ${ }^{\mathbf{a}}$} \\

(b) ゲル (ゼラチン)・エマルション混合レシピの食感物性. 機器固有の測定単位は Rheology Unit (RU) に統一した. (生ク=生ク リーム)

 & 砂糖 & I &  &  & 牛乳 &  &  \\

以下により求める.

$
\phi_{k v}=\frac{N_{k v}+\gamma}{N_{k}+\gamma V}, \quad \theta_{d k}=\frac{N_{d k}+M_{d k}}{N_{d}+M_{d}+\sum \alpha}
$

## 2.3 食感トピックと食感物性との対応推定

調理科学の食感物性実証での凝固剤濃度条件と,上記の凝固剤濃度トピックとの $\mathrm{KL}$ 情報量から，食感物性と食感表現トピックを対応付ける。なお，エ マルション濃度のトピックは，対応を推定したト ピック中での食感のバリエーションを分析する際に 用いる。詳細は，分析結果と評価にて述べる.

## 3 データ

## 3.1 ゲルレシピの収集

レシピ投稿サイト $\mathrm{Cookpad}^{3)}$ より，タイトル，要約，および作り手によるレビュー（つくれぽ）に食感固有表現が出現するゲルレシピ約 10,000 件を抽出した. 更に， 3 種類の凝固剤のいずれかを含み， かつ材料リストの量表記に欠測等がないものを抽出 した結果，対象データ数は約 3,000 となった.

図 2 食感物性測定機器の動作イメージ.

## 3.2 調理科学実証データの収集

材料と濃度の異なるゲルレシピに関する食感物性の測定結果を, 調理科学実証研究から抽出し た [7-12]. 表 1(a) は， 3 種類の凝固剤について異な る濃度条件での測定結果を, 表 1(b) は， ゼラチンに 異なる濃度のエマルションを混合した場合の測定結果である.いずれも材料濃度条件とそれに対応する 食感物性值を示している。ここで物性値とは，人の 咀嚼を模した測定器具 (図 2) により食品サンプルか ら検出される以下の 3 種類の応力（レオロジー）特徵量である。

硬さ： 1 回目の圧縮時に検出される最大応力 (図 2 の F1), 最初の咀嚼時に感じる硬さに相当する。

凝集性：1回目の圧縮時の総応力に対する 2 回目圧縮時の総応力の割合 (図 2 の $c / a$ ). 凝集性の小ささ は，飲み込みやすさ，もろさに相当する。

粘着性: 1 回目の伸張時に検出される負の総応力 (図 $2 b$ ).

## 4 データ分析結果と評価

## 4.1 食感トピックと食感物性との対応推定

表 2 に食感表現トピック推定結果および，調理科学実証データ (表 1(a)(b)) との対応推定結果を示す.凝固剤，食感表現語彙は，それぞれ濃度，語彙分布確率の降順に小数点 3 位の値を持つものまで表記し た. 各食感表現語彙には，日本語テクスチャー用語体系による類型を () 内に付記した。対応データ欄に は，提案手法により対応付けた，表 1(a)(b) の各デー タ番号および料理名を示した.

例えば，トピック８の食感表現語彙は，変形しや すさを意味する “ふるふる”となっており，対応付け られたデータ 1,2 は比較的低濃度のゼラチンで，食感物性上の硬さは比較的小さい (表 1(a))，これに対 して，トピック 3 では，“硬い”, “むちむち”のよう
表 2 食感表現トピックの検出結果と調理科学レシピとの対応

 \\

図 3 ババロア・ミルクゼリー調理科学レシピと投稿レシピとのエマルション濃度別食感特徴

な噛みごたえに関する語彙および凝集の小ささを意味する“ぽってり”が上位に出現する．対応データ 3,4 は比較的高濃度のゼラチンで，食感物性上の硬 さは比較的大きく，凝集性は比較的小さい (表 1(a)). このように食感トピックは，調理科学にもとづく食感物性特徴から整合的に説明できることを示して いる.

## 4.2 エマルション混合レシピの食感表現と 物性特徴

同一食感卜ピック 3 に所属するババロア，ミルク ゼリーの調理科学データ (表 1(b)) の食感のバリエー ションの特徴を図 3 に示す.これは，トピック 3 に 所属する 38 個のゲルレシピ (表 2 レシピ数)を，そ れぞれに出現する硬さ，および凝集を意味する語彙頻度をもとに平面上にプロットし，更にエマルショ ン濃度のババロア，ミルクゼリーに対する類似度 (KL 情報量) で色分けしたものである．濃い赤色ほ
ど類似度が高いことを示す。ババロアと類似するゲ ルレシピは，より硬くかつ凝集性が高い領域に集中 する一方，ミルクゼリーでは，硬いが，凝集性は平均的な領域に集中する. これらバリエーションの特徵は，ババロア，ミルクゼリーおよびレシピ 3 の物性特徴 (表 1)と一致性を示している。

## 5 結論

本研究では，レシピ共有サイトから推定した食感表現特徴が，材料物性からどのように説明できるか を分析するため，結合トピックモデルを用いてレシ ピ共有サイトの言語データと調理科学実証データ との架橋を試みた。推定結果は，食感表現トピック と，対応する食感物性特徴の一致性を示した。これ は提案手法が，食感の言語表現から食感の物性の予測，もしくはその逆の予測を可能にすることを示し ている.

## 参考文献

[1] 早川文代, “現代日本人の食感表現,” 日本家政学会誌, Vol. 60, No. 1 pp.69-72 ,2009. Other Food Attributes," Food Technology, Vol.17, pp.74-77.1963.

[2] T.Farjamia, and A.Madadloub, "An overview on preparation of emulsion-filled gels and emulsion particulate gels," Trends in Food Science \& Technology, Vol.86, pp.8594,2019 .

[3] 川端晶子, 澤山茂, “低メトキシルペクチンを用い たババロアのテクスチャーについて," 栄養と食糧, Vol.27, pp.55-63,1974.

[4] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP '09, Vol.2, pp.880-889,2009.

[5] 茂木美智子, “ゼリー食品のテクスチャーについて,”調理科学, Vol.1, pp.28-35,1975.

[6] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP' 09, Vol.2, pp.880-889,2009.

[7] 鈴野弘子, 澤山茂, 川端晶子, “愛玉子ゲルのテ クスチャープロフィル,”日本家政学会誌, Vol.43, pp.525-531,1992.

[8] F.Kawamura, and S.Takayanagi, "Properties of Gelatin Gel and Sol Mixed with Whipped Cream," Science of cookery, Vol.13, pp. 284-288,1980.

[9] 大村 公仁子, 赤羽ひろ, 中浜 信子, “寒天ゲルの破断特性について,”家政学会誌, Vol.29, pp.22-27,1978.

[10] 栗本公恵, 森高初惠, 藤井恵子, 大越ひろ, 中濱 信

力学特性,” 日本家政学会誌, Vol.48, pp.885-892,1997

[11] 河村 フジ子, 中島茂代, 幸野礼子, “エマルジョン混合ゼラチンゾルとゲルの特性について," 家政学会誌, Vol.29, pp.356-361,1978.

[12]村山 篤子,“カラギーナンゼリー,”調理科学, Vol.25, pp.353-359,1992.


# 分散的ベイズ推論としての マルチエージェント強化学習と記号創発

江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

人間は会話や文章などの言語 (メッセージ) を通じ て他者とコミュニケーションを取ることで，互いに 協調した行動を学習することができる．ロボット同士が人間と同様のアプローチで協調行動を学習す るためには，ロボット間で互いに理解できる共通言語を創発するモデルが必要となる. 本稿では，エー ジェント自らが創発した記号を用いてコミュニケー ションすることで，協調行動を学習・生成すること ができる確率的生成モデルを提案する．実験では，学習したモデルを実環境のタスクに適用し，2 台の ロボットが創発した記号によるコミュニケーション を通して，環境に適した協調行動を生成できること を示す.

## 1 はじめに

人間は生まれてから未分化な認識世界の中で活動 を始め, 外部の環境との相互作用を通じて様々な概念や言語，行動を獲得することができる. また，獲得した言語を用いて他者とコミュニケーションを取 ることで，互いに協調した行動を学習することがで きる.このように，人間同士が記号を介してコミュ ニケーションを取ることで，両者の間で理解できる 共通言語が形成されていく過程を，コミュニケー ションの創発と呼ぶ.これまでに，コミュニケー ションの創発に基づくアプローチで，エージェント 同士で記号を創発し，タスクを実行する様々な研究 がなされてきた $[1,2]$. さらに，近年ではコミュニ ケーションの創発を深層強化学習に拡張すること で，より複雑なタスクへの応用が可能であることが 示されている $[3,4,5,6]$. 一方で，谷口らによって，人間の言語獲得の基礎となる一部の発達過程を実現 したメトロポリス・ヘイスティングス名付けゲーム

図 1 提案手法のグラフィカルモデル

図 2 M-H 法により分割したモデル

と呼ばれる言語ゲームが提案されている $[7,8]$. 文献 $[7,8]$ では，同ゲームを用いて 2 体のエージェン トがコミュニケーションを取ることで記号を創発 し，物体の概念を形成できることを示している。こ の手法では，確率的生成モデルを用いることでコ ミュニケーションの創発を実現している. しかし, このアプローチで協調行動を学習し，実環境のタス クを遂行できるようなモデルは，未だに確立され ていない，そこで本稿では，メトロポリス・ヘイス ティングス名付けゲームと強化学習と組み合わせる ことで，生成モデル的アプローチでエージェントが 協調行動を学習することができるモデルを提案す る. 実験では，学習したモデルを実環境のタスクに 適用し，2 台のロボットが創発した記号を用いて環境に適した協調行動を選択できるかを検証した。

## 2 提案手法

## 2.1 モデルと生成過程

図 1 に提案手法のグラフィカルモデルを示す. $z$ はエージェントの内部状態を表現する潜在変数で あり， $m$ はエージェント間で生成されるメッセー ジ（共通言語）を表現する潜在変数である. 提案モ デルでは，2 体のエージェント間で共有されたメッ セージ $m$ によって各エージェントの内部状態 $z, z^{\prime}$ を 決定し，協調行動を生成することを仮定している。

$
\begin{gathered}
z \sim P(z \mid m) \\
o \sim P(o \mid m) \\
a \sim P(a \mid z) \\
x \sim P(x \mid z)
\end{gathered}
$

$x, a$ は各エージェントの観測と行動である. 本稿で は，確率的な推論 (Control as Inference [9]) による制御に基づいた, 両エージェントの行動の最適制御問題を考える. そのため，一般の強化学習における報酬の代わりに，最適性変数と呼ばれる二値の確率変数 $o \in\{0,1\}$ を用いる. 最適性変数とは, 両エー ジェントの行動の適切さを評価する変数であり, $o=1$ が最適であることを表し, 行動の最適性を確率 $p(o=1 \mid m)$ で表現する.

## 2.2 メトロポリス・ヘイスティングス名付 けゲームによる $m$ の推論

内部状態 $z, z^{\prime}$ と最適性 $o$ から, 各エージェントの 行動パターンと，それらに対する最適性の関係を表現するメッセージ $m$ を推論する.

$
m \sim p\left(m \mid z, z^{\prime}, o\right)
$

しかし，式 (5)では，自身からは観測できない相手 の内部状態 $z^{\prime}$ が含まれており，直接計算することが できない. そこで，文献 $[7,8]$ と同様に，メトロポ リス・ヘイスティングス名付けゲームを用いる。こ の手法では Metropolis-Hastings (M-H) 法 [10] を用い ることでモデルを図 2 のように分割することがで き，互いに内部状態を知ることなくメッセージ $m$ を 推論することができる．M-H 法では，両者は提案分布からサンプリングした $m^{*}$ を相手に提案し，相手 はそれを受理または棄却することを繰り返すこと で，目標分布からのサンプルを生成することが可能 な手法である。まず，求めたいサンプルは両者の内部状態 $z, z^{\prime}$ と最適性変数 $o$ の関係を表現したメッ
セージ $m$ であるため，目標分布は次式となる。

$
\begin{aligned}
P(m) & =p\left(m \mid z, z^{\prime}, o\right) \\
& \approx p(m \mid z, o) p\left(m \mid z^{\prime}, o\right)
\end{aligned}
$

ただし，この式変形には Product-of-Experts (PoE) 近似を用いた。次に，エージェント A がメッセージを 提案するため，提案分布は次式となる。

$
Q\left(m^{*} \mid m\right)=p(m \mid z, o)
$

この提案分布従い，エージェント Aが新たなサンプ ル $m^{*}$ を生成し，B に提案する。 B は提案された $m^{*}$ を自身の予測に基づき，次式の受理確率に従って，受理または棄却するかを決定する。

$
\begin{aligned}
r & =\frac{P\left(m^{*}\right) Q\left(m \mid m^{*}\right)}{P(m) Q\left(m^{*} \mid m\right)} \\
& =\frac{p\left(m^{*} \mid z, o\right) p\left(m^{*} \mid z^{\prime}, o\right) p(m \mid z, o)}{p(m \mid z, o) p\left(m \mid z^{\prime}, o\right) p\left(m^{*} \mid z, o\right)} \\
& =\frac{p\left(m^{*} \mid z^{\prime}, o\right)}{p\left(m \mid z^{\prime}, o\right)}
\end{aligned}
$

式 (9) は式 (7) と式 (8)を用いることで，式(11)のよ うに変形することができ，エージェント Aから提案された $m^{*}$ の受理確率は，エージェント B のパラ メータのみで計算できる。すなわち，相手の内部状態を知ることなく，M-H 法に基づく受理/棄却を判断することができる。

以上の手順を役割を交代しながら，収束するまで 繰り返し，最適なメッセージ $m$ を推論する。本稿で は，このメッセージ $m$ をやり取りすることがコミュ ニケーションであると考え，このコミュニケーショ ンによってマルチエージェントの最適な行動選択が 可能となる.

## 2.3 エージェントの内部状態 $z$ の推論

2.2 節で学習したメッセージと各エージェントの 観測に基づき，次式のようにエージェントの内部状態 $z$ のパラメータを推論する.

$
z \sim p(z \mid m, a, x)=\frac{p(x, a \mid z) p(z \mid m)}{p(x) p(a)}
$

また，行動予測時にはクロスモーダル推論によって 行動決定する。

$
a \sim p(a \mid m, x)=\int_{z} p(a \mid z) \frac{p(x \mid z) p(z \mid m)}{p(x)} d z
$

本稿では，このような潜在変数の推論とクロス モーダル推論が可能な Multimodal Latent Dirichlet Allocation(MLDA)[11] 拡張した手法 [12]を用いる.

## 2.4 メッセージの創発と行動決定

学習時には 2.2 節のコミュニケーションによる メッセージの推論と，2.3 節の各エージェントの内部状態の推論を Algorithm 1 のように繰り返すこと で，各確率分布のパラメータを更新する. これによ り, 各エージェントの観測 $x, x^{\prime}$ と最適性 $o$ から協調行動を表現するメッセージ $m$ を創発することがで きる.

行動決定時には，学習したパラメータを固定し最適性を $o=1$ として Algorithm 1 を実行し，メッセー ジ $m$ と内部状態 $z, z^{\prime}$ を推論する. 推論されたパラ メータに基づいて，式(13)のクロスモーダル推論に 基づき，行動決定することができる。

## 3 実験

実ロボットを用いたタスクにより，提案手法の有効性を確認した。

## 3.1 実験設定

実験環境を図 3 に示す、ロボットは ROBOTIS 社 の turtlebot3(手前側) と turtlebot2(奥側)を使用した1).障害物 (大) の位置は固定，障害物 (小) は左右どちら かに配置し，両ロボットが衝突せずに障害物を回避

1) https://www. turtlebot.com

図 3 実験環境

するルートの選択が学習可能か検証した。両ロボッ トの頭部には，現在の位置から障害物までの距離を 計測できるレーザーレンジファインダ (LRF) が搭載 されており，これを用いて自己位置を推定し，障害物を回避して移動することができる。ここで問題と なるのが，turtlebot2 の LRF の位置が障害物 (小) よ りも高い位置にあり，障害物 (小)を検知できないと いう点である。これにより， turtlebot2 は障害物 (小) が置かれた方のルートを選択した場合，回避できず に障害物 (小) と衝突する可能性がある。そこで，提案手法を用いてロボット間でコミュニケーション を取ることで，障害物の位置に応じて最適な行動を 選択できるよう，メッセージ $m$ を推論する必要が ある.

観測 $x$ は正面から左右斜め $45^{\circ}$ までの障害物まで の距離を $1^{\circ}$ ずつ計測した長さ 90 のべクトルとし,行動 $a$ は左または右回りの 2 パターンとした.ま た，最適性 $o$ は，互いが干渉せずに障害物を回避す る行動を選択すれば $o=1$, それ以外は $o=0$ とし た. 本実験でのタスクでは，両エージェントは障害物の位置に対して計 8 パターンの行動が考えられ る. よって， $m$ は 8 次元の多項分布とし，各パター ンの行動ペアが 1 つのクラスに分類されるように した.

以降，turtlebot3 をエージェント A， turtlebot2を エージェント B とする.

## 3.2 学習

数パターンの観測 $x$, 行動 $a$, 最適性 $o$ のデータを 計 40 個を生成し，相互更新の回数 $T=20$ としてモ デルを学習した. 学習されたメッセージ $m$ と最適性 $o$ の関係を表 1 に示す. 表より，最適性に基づき メッセージが学習されていることが分かる. $m=1$ では，エージェント A から見て左側に障害物が置か れ，AとBがそれぞれ左回りで移動する行動が表現

図 4 予測時の行動の様子

表 1 メッセージ $m$ と最適性 $o$ の関係

したメッセージであった. $m=7$ では，エージェン ト Aから見て右側に障害物が置かれ，AとBがそれ ぞれ右回りで移動する行動が表現したメッセージで あった。このように，環境・行動・最適性を表現し たメッセージを学習できていることが確認できた。

## 3.3 最適行動の予測

学習済みのモデルを用いて，障害物 (小) を左右ラ ンダム置いた環境で，両エージェントが提案手法を 用いてコミュニケーションすることで, 最適な行動 を予測できるか検証した。予測の際の相互更新の回数は $T=5$ とし，障害物の位置をランダムに変更し 20 回試行した. 両エージェントの行動の一例を図 4 に，各障害物配置における行動の成功回数と生成さ れたメッセージを表 2 に示す. この表より，適切な メッセージを生成することで，障害物を回避し，衝突しない適切なルートを選択できていることが分 かる。

次に，相互更新回数 $T$ ，すなわちコミュニケー ション繰り返す回数を変化させ，M-H 法によるコ ミュニケーションによるメッセージの生成の有効性を確認した. 図 5 が各相互更新回数 $T$ における 最適行動を選択できた確率である. 図より,コミュ ニケーションの回数が増えるにつれて，最適な行動選択ができるようになっていることが分かる. エー ジェント A は障害物をどちらも知覚できるため，コ表 2 予測に基づく行動の成功回数と生成されたメッ セージ

図 5 相互回数 $T$ における最適行動の選択確率

ミュニケーションしなくとも高い確率で最適行動を 選択できている。一方，エージェント B は障害物 (小) を検知できないため，メッセージが内部状態の 推定に反映されない $T=1$ では，自身の観測だけで は最適な行動を選択することはできていない。その 後， $T$ が増加するに従い，メッセージによってエー ジェント B の欠損している障害物 (小) の情報を補 うことができ，最適な行動を選択できている。

## 4 おわりに

本稿では，エージェント間でコミュニケーション を取ることで，協調行動を学習・生成できる確率的生成モデルを提案した．実験では，提案手法を用い て両ロボットがコミュニケーションを取り, 適切な メッセージを学習できることを確認した. また，コ ミュニケーションにより，最適な行動を選択できる ことを確認した。しかし，本稿で扱ったタスクは，最適性変数が即時的に決定するワンショットな意思決定タスクであり，累積報酬を最大化する必要があ るタスクにはそのままでは適用できない。そこで，本手法を時間発展させ，より複雑なロボットタスク へと応用することを今後の課題とする.

## 謝辞

本研究は，JST ムーンショット型研究開発事業

JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Diane Bouchacourt and Marco Baroni, "MissTools and Mr Fruit: Emergent communication in agents learning about object affordances", in Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 3909-3918, 2019

[2] Katrina Evtimova, Andrew Drozdov, Douwe Kiela, and Kyunghyun Cho, "Emergent Communication in a MultiModal, Multi-Step Referential Game", International Conference on Learning Representations, 2018

[3] Jiechuan Jiang, Zongqing Lu, "Learning Attentional Communication for Multi-Agent Cooperation”, arXiv: 1805.07733, 2018

[4] Angeliki Lazaridou, Marco Baroni, "Emergent MultiAgent Communication in the Deep Learning Era", arXiv:2006.02419, 2020

[5] Ryan Lowe, Yi Wu, Aviv Tamar, Jean Harb, Pieter Abbeel, and Igor Mordatch, "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments”, arXiv: 1706.02275, 2020

[6] Rahma Chaabouni et al., "Emergent Communication at Scale", International Conference on Learning Representations, 2022

[7] Tadarhito Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models", arXiv: 2205.12392, 2022.

[8] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022

[9] Sergey Levine, "Reinforcement learning and control as probabilistic inference: Tutorial and review." arXiv preprint arXiv:1805.00909, 2018

[10] Hastings, W. K., "Monte Carlo sampling methods using Markov chains and their applications", Biometrika 57, pp. 97-109, 1970

[11] Tomoaki Nakamura, Takayuki Nagai, and Naoto Iwahashi, "Grounding of Word Meanings in Multimodal Concepts Using LDA", IROS2009, pp.3943-3948, 2009

[12] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi, "Serket: An architecture for connecting stochastic models to realize a large-scale cognitive model", Frontiers in Neurorobotics, vol.12, pp.1-16, 2018.


# 所望の患者データを作る： Variational Auto-Encoder による症例報告生成

清水聖司，矢田竣太郎，荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{shimizu.seiji.so8,s-yada,aramaki\}@is.naist.jp

## 概要

医療言語処理の分野では，患者のプライバシーの 問題から共有可能な医療ドメインコーパスが少な い.そのため，コーパスを自動生成する研究がなさ れている. 現状ではコーパス生成の手法として事前学習済みモデルを用いた，プロンプトを条件として 生成する手法 (prompt-based の手法) が広く用いられ ているが，コントロール性の高い生成が困難であ る. Variational Auto-Encoder (VAE) を使った連続的条件からの生成では, prompt-based にはできないコ ントロール性の高い生成が実現できる可能性があ る. 本論文では VAEベースの症例報告生成モデル を学習し, (1) 医学概念が潜在空間から再構成でき るか，(2) 条件同士の距離関係と，生成される症例報告に含まれる医学概念の類似度の対応関係，の $2 \supset$ の観点から評価する。

## 1 はじめに

自然言語処理研究において，異なる手法の統一的 な比較は，特定のタスクにおける手法の有効性の検証や，それに基づく手法の改善のために必須であ る.よって，そのような比較を可能にする共有可能 なコーパスは，分野発展において重要である。しか し, 医療言語処理の分野では，患者のプライバシー の問題から共有可能な医療ドメインコーパスが少 ない $[1,2]$. そのため，個人情報を削除する匿名化， またはコーパスの言語生成モデルを使った生成, と いったアプローチで共有可能なコーパスを構築する 試みがなされてきた。

生成を使ったアプローチにおいて，現状では事前学習済みモデルを用いたプロンプトを条件として コーパスを生成する手法 (prompt-based の手法) が広 く用いられている. しかし，この手法では，生成の 条件が離散的であり，プロンプトのデザインが恣意的であるため，コントロールが困難である.

一方で，Variational Auto-Encoder (VAE)を使った連続的条件からの生成では，テキストを潜在空間に次元削減し，そこからテキストを再構成することに よって，コーパス全体を一つの連続的なべクトル空間に埋め込むことができる。このような埋め込みが 出来ると, Prompt-based の手法にはできないコント ロール性の高い生成が実現できる可能性がある [3].

そこで，本論文ではVAEベースの症例報告生成 モデルを評価した．具体的には，(1) 入力された症例報告を潜在変数に変換し，変換された潜在変数か ら元の症例報告に含まれる医学概念再構成できる か，(2) 条件同士の距離関係と, 生成される症例報告に含まれる医学概念の類似度が対応するかを評価 した. 評価の結果，医学概念の再構成に関しては疾病、傷害及び死因の統計を国際比較するために用い られる ICD コードの, 頭文字の粒度で可能であるこ とが示された. また，潜在変数の距離関係が，生成 された症例報告に含まれる医学概念の類似度と対応 することが示された。

## 2 関連研究

共有可能な医療コーパス構築において,コーパス を公開することで，患者のプライバシーが危険にさ らされる可能性がある。この問題に対し, 主に匿名化または生成のアプローチが用いられる．匿名化は コーパスから個人情報を消す手法であり [4], 匿名化された有名なコーパスに MIMIC [5] がある。しか し，匿名化には，コーパスのサイズが大きくなるほ ど完全には個人情報を消しきれないという問題が ある。

生成は近年発展を遂げたテキスト生成技術を用い て，人工的なコーパスを生成する手法である.この 手法では，医療コーパスを用いて言語生成モデルを 学習し，学習したモデルから自動的に医療テキスト
表 1 再構成された症例報告の例. 上段が，Optimus に入力された症例報告，下段が潜在変数から生成された症例報告 で，下線は入力された症例報告から再構成されている要素を示す.

を生成することでコーパスを構築する.

## 2.1 医療テキスト生成

現状の医療テキスト生成には主に，Transformer ベースの学習済みモデルにプロンプトを条件として 生成する手法が用いられている.

GPT-3 [6] を用いて病名を条件として，その定義を 生成した手法 [7] や，医療ドメインにおけるファク トイド質問応答のために T5 [8] を用いて疑問文を生成した手法 [9] などが存在する. Amin-Nejad らは, Prompt-based の手法を用いて電子カルテを自動生成 することでコーパスを構築し，構築されたコーパス を下流の分類タスクにおいて評価した [10]. この研究において，下流タスクにおいて，生成されたコー パスのみを用いた時の精度は，実際のコーパスを用 いた時の精度に及ばなかった。

## 2.2 連続的条件からののテキスト生成

望ましい医学概念の分布を持ったコーパスを構築するには，コントロール性の高いテキスト生成が 必要である．例えば，肺がんのあらゆるケースを想定して, 肺がん患者という医学概念を固定して，あ らゆる年齢・性別などの個人特性を表す言語表現を 持ったコーパスを構築できることが望ましい.

Prompt-based の手法を含む，学習済みモデルをそ のまま Fine-tuning する手法は, 汎用的な使用を目的 とした事前学習済みモデルをそのまま用いるため,望ましい医学概念の分布を持ったコーパス構築する という使用目的に適さない可能性がある. 特に, 文書同士のグローバルな関係性を捉えることができ ず，条件に対する操作もプロンプトの入力変更に限 られているという問題がある。

一方で，VAE [11] は，連続的条件からの生成が可能であり，テキスト同士のグローバルな関係もモデ ルの内的表現として得ることができる. Liu らの研究では，潜在空間においてエネジー関数を学習し，学習したエナジー関数をもとに，生成の条件とな る潜在変数数をサンプルすることで，ある特定の 特性を持ったテキストを生成可能なことが示され た [12]. この手法では，様々な初期条件から連続的 に潜在変数を変化させ特定の特性を持ったテキスト を生成可能であり，ある医学概念を固定して，他の 特性を連続的に変化させるといった操作が実現可能 である.

## 3 材料

本研究では，医療テキストデータとして 1975 年 から J-Stage に投稿された論文データに含まれる症例報告論文を使用した. ここから以下の条件で，対象となる症例報告論文を抽出した。

1. タイトルに“症例”を含む

2. アブストラクトが“症例は”から始まる

3. アブストラクトの文字数が 350 文字以下である

以下で使う症例報告は, 上記全ての条件を満たす データ 11,181 件のアブストラクトとし, JST-CR と 呼ぶ.

## 4 生成手法

## 4.1 Optimus

VAE ベースの症例報告生成モデルとして Optimus [13] を用いた. Optimus はVAEをべース として，Encoderに BERT+Linear 層を用い，Decoder に Linear 層+GPT2 を用いたモデルである.

Optimus の学習では，Decode の時に，潜在変数の 情報が無視されて生成される KL collapse を防ぐた めに KL annealing が用いられる. KL annealing では,学習において，ハイパーパラメータ $\beta$ を周期的に変化させる. Optimus の学習の目的関数は以下の通り

である.

$
\begin{aligned}
L_{\beta} & =L_{E}+\beta L_{R} \quad \text { with } \\
L_{E} & =\mathbb{E}_{q_{\phi}(z \mid x)}\left[\log p_{\theta}(\mathbf{x} \mid \mathbf{z})\right] \\
L_{R} & =\operatorname{KL}\left(q_{\theta}(\mathbf{x}) \| p(\mathbf{z})\right)
\end{aligned}
$

$L_{E}$ は入力と出力が同じになるようにする Reconstruction Loss であり， $L_{R}$ は潜在変数の分布を事前分布と近くする KL Divergence Loss である. 症例報告生成のために, Encoder の BERT には UTHBERT [14], Decoder の GPT-2 には日本語コーパスで 事前学習した GPT-2 [15] を用いた. UTH-BERT は東大病院に蓄積された約 1 億 2 千万文の電子カルテ文書を使って学習された BERT モデルである.

## 4.2 生成の流れと例

JST-CR のアブストラクトを入力として，Encoder により入力を潜在変数に変換，そして潜在変数を 再構成し，アブストラクトを生成した. 学習した Optimus によって出力された文章の例を表 1 に示す.下線は入力された症例報告の要素がモデルによって 再構成された部分を示す.この例では，元の症例報告の大部分を再構成できていることがわかる.

## 5 評価実験

潜在変数からの生成には，潜在空間において医学概念の関係性が表現されており, そこから症例報告 の中に特定の医学概念を再構成できることが重要で ある．また，潜在空間での操作を生成に反映させる ためには，ある潜在変数を変化させたときに，それ に対応して，生成される医学概念が変化することが 重要である。そこで，(1) 医学概念が潜在空間から 再構成できるか (2) 条件同士の距離関係と, 生成さ れる症例報告に含まれる医学概念の類似度が対応す るかを評価した。

## 5.1 評価方法

医学概念の再構成は Optimus に入力された症例報告と Optimus から出力された症例報告を比較するこ とにより評価した．潜在空間における条件同士の距離と, 生成される症例報告に含まれる医療概念の類似度が対応するかは，ある潜在変数に異なるノルム の摂動を加え，そこから生成される症例報告と元の 潜在変数から生成される症例報告とを比較すること により評価した。

図 1 EvalCorr での潜在空間における操作．摂動なしは，摄動を加える前の潜在変数を表し，赤い点は様々な大き さのノルムの摂動が加えられた潜在変数を表す. それぞ れの潜在変数から症例報告を生成し，評価した。

## 5.1.1 EvalRecon : 医学概念再構成の評価

医学概念が潜在空間から再構成できていれば，入力された症例報告と出力された症例報告は，その中 に含まれる医学概念が類似するはずである．そこ で，Optimus に入力された症例報告と Optimus から 出力された症例報告の類似度を測ることで，医学概念の再構成の評価とした. 以下ではこの評価を EvalReconとする.

## 5.1.2 EvalCorr : 条件の距離と類似性の対応評価

潜在空間での操作が生成される症例報告に反映さ れるかを，条件同士の距離関係と，症例報告に含ま れる医学概念の類似度が対応するかを基に評価し た. 具体的には，まず，図 1 のように，評価データ 中の症例報告を潜在変数に Encode して，その潜在変数に対して，0.01 から 10 のノルムを持つランダ ムな摂動を加え, 元の潜在変数から生成された症例報告と摂動を加えられた潜在変数から生成された症例報告の類似度を測った. ノルムが大きくなるにつ れ，類似度がそれに対応して下がるかどうかを評価 した．以下ではこの評価を EvalCorr とする。

## 5.2 評価指標

2 文書の症例報告の類似度を定量的に評価する。

そのために，参照文と生成文の n-gram ベースの一致度を測る指標である BLEU と，文中に含まれる医学概念の一致度を測る指標である NER一致度を用 いた. NER 一致度の計算方法は以下の通りである。
1. 2 文書の症例報告に対して, $\mathrm{NE}$ 抽出器の RealMedNLP_CRJJA [16] を使いNER を施す.

2. NER 結果から病名と藏器・部位を抽出する。
表 2 EvalRecon の評価結果 (NER 一致度). Optimus に入力された症例報告と, Optimus から出力された症例報告に NER を施し，一致の Precision と Recall を計算した。

図 2 EvalCorr の結果. 縦軸は評価指標のスコア (F1),横軸は摂動のノルムに対し，常用対数を取ったものを 表す.
3. 2 つの症例報告から抽出された病名と臟器・部位を比較し，Recallと Precisionを計算する。

病名の NER 一致度に関しては，NER の結果得られ た病名を DNorm-Jにより正規化したものと，病名 をICD10コードに変換し，その頭文字をとったもの (ICD) を使って NER 一致度を計算した。

## 6 結果と考察

実験では，JST-CRを 8:1:1 に分割し，それぞれを 学習・検証・評価データとして用いた。学習したモ デルを 5 章で述べた方法と指標で，JST-CR の評価 データを使って評価した. EvalRecon の結果から， ICD の粒度では，医学概念の再構成ができているこ とが示唆される． EvalCorr の結果，ノルムの大きさ に対応して，生成された症例報告に含まれる医学概念の類似度が下がっていることから，条件同士の距離関係と，生成される症例報告に含まれる医学概念 の類似度が対応していることが示唆される。

## 6.1 EvalRecon

入力された症例報告と出力された症例報告に対 して BLEU スコアと NER 一致度を計算した。評価 データ全体の平均の BLEU スコアは 0.315 であった. NER 一致度は表 2 の通りである. ICD の NER 一致度は，Precision が 0.543 , Recall が 0.520 であった。

図 3 JST-CR の評価データにおける ICDコードの 分布 (original) と, Optimus により生成されたコーパス (generated) における ICD コードの分布. 横軸は ICD コー ドの頭文字，縦軸は頻度を表す。

## 6.2 EvalCorr

各症例報告に対して 10 回ランダムな方向の摂動を施し，スコアを平均したものを一つの症例報告 に対するスコアとした。ノルムと各スコアの相関係数は, BLEU が -0.970 , NER 臟器・部位が -0.875 , NER 病名が -0.885, ICD が -0.969 であった. 評価 データ全体のスコアを摂動のノルムごとに平均した 結果を図 2 に示す. 図 2 から臟器・部位以外はスコ アがおおよそノルムと対応し，下がっていることが わかる.

## 6.3 ICD コード分布の比較

生成されたコーパスが，JST-CR 評価データの ICD コード分布をどの程度再現できるかを評価し た. JST-CR の評価データに含まれる ICD コードの 頭文字の分布と，生成された症例報告における ICD コードの頭文字の分布を図 3 に示す. 2 つの分布 の KL Divergence は 0.020 ，分布内の順位相関係数は 0.941 （p 值 $\leq 0.01)$ であった. この結果から，生成さ れたコーパスは，ICD コードの頭文字の分布を再現 できていることが示唆される。

## 7 おわりに

本研究では，VAEベースのモデルである Optimus を使い，症例報告生成を再構成して生成した。実験 の結果，ICD の粒度で医学概念の再構成が可能であ ることと，症例報告に含まれる医学概念を，潜在空間における条件同士の距離に対応させて変化させる ことが可能であることを示した。

## 謝辞

本研究は，JST AIP 日独仏 AI 研究 JPMJCR20G9, JST CREST JPMJCR22N1, 国立情報学研究所 (NII) CRIS の支援を受けたものである.

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural Language Processing: from Bedside to Everywhere. Yearbook of Medical Informatics, June 2022.

[2] Udo Hahn and Michel Oleynik. Medical Information Extraction in the Age of Deep Learning. Yearbook of Medical Informatics, Vol. 29, No. 1, pp. 208-220, August 2020.

[3] Dayiheng Liu, Jie Fu, Yidan Zhang, Chris Pal, and Jiancheng Lv. Revision in continuous space: Unsupervised text style transfer without adversarial learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8376-8383, 2020.

[4] Tawanda Sibanda and Ozlem Uzuner. Role of local context in automatic deidentification of ungrammatical, fragmented text. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 65-73, June 2006.

[5] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 160035, pp. $1-9,2016$.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[7] Bosung Kim and Ndapa Nakashole. Data augmentation for rare symptoms in vaccine side-effect detection. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 310-315, May 2022.

[8] Hermann Bujard, Reiner Gentz, Michael Lanzer, Dietrich Stueber, Michael Mueller, Ibrahim Ibrahimi, MarieTherese Haeuptle, and Bernhard Dobberstein. [26] a t5 promoter-based transcription-translation system for the analysis of proteins in vitro and in vivo. In Methods in enzymology, Vol. 155, pp. 416-433. Elsevier, 1987.

[9] Dimitris Pappas, Prodromos Malakasiotis, and Ion Androutsopoulos. Data Augmentation for Biomedical Factoid Question Answering. arXiv preprint, Vol. arXiv:2204.04711, , 2022.

[10] Ali Amin-Nejad, Julia Ive, and Sumithra Velupillai. Exploring transformer text generation for medical dataset augmentation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4699-4708, 2020.

[11] Diederik P Kingma and Max Welling. Auto-encoding vari- ational bayes. arXiv preprint arXiv:1312.6114, 2013

[12] Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen $\mathrm{Li}$, and Zhiting Hu. Composable text control operations in latent space with ordinary differential equations. arXiv preprint arXiv:2208.00638, 2022.

[13] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. arXiv preprint arXiv:2004.04092, 2020.

[14] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[15] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[16] Tomohiro Nishiyama, Mihiro Nishidani, Aki Ando, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. Naistsoc at the ntcir-16 real-mednlp task.

## A 参考情報

## A. 1 潜在空間の可視化

Optimus によって構築された潜在空間を可視化し たものを図 4 に示す. タイトルに含まれる病名の ICD コードの頭文字 (ICD の軸) ごとに色分けした.

同じ ICD コードをもつ症例報告同士で固まってい るのは $\mathrm{C}, \mathrm{K}, \mathrm{H}$ で，それぞれ腫瘍，消化器系，眼科・耳鼻科系の病気を表すコードである. このこと から，これら 3 つに関する症例報告は，ある程度一貫した言語的特徴を持っていると推測される.

図 4 潜在空間の可視化. UMAPを用いて潜在変数を 2 次元に表現した. アルファベットは ICD コードの頭文字 を表す。


# 実世界における総合的参照解析を目的とした マルチモーダル対話データセットの構築

植田 暢大 ${ }^{1,2}$ 波部 英子 2 湯口 彰重 ${ }^{2,3}$ 河野 誠也 2 川西 康友 2,3 黒橋 禎夫 ${ }^{1,2}$ 吉野 幸一郎 2,3

1 京都大学 大学院情報学研究科 2 理化学研究所 ガーディアンロボットプロジェクト

3 奈良先端科学技術大学院大学 情報科学領域

\{ueda,kuro\}@nlp.ist.i.kyoto-u.ac.jp

\{hideko.habe, akishige.yuguchi, seiya.kawano\}@riken.jp

\{yasutomo.kawanishi,koichiro.yoshino\}@riken.jp
## 概要

実世界で話者同士が視覚情報を共有しながら行う 対話では，物体に対する参照表現が多く出現する。 このような表現の参照先の解決のため, 本研究では マルチモーダル参照解析タスクを提案し，本タスク のためのマルチモーダル対話データセットを構築す る. 本データセットは実世界における対話動画およ び音声を基にしており，対話テキスト中のフレーズ と一人称視点動画におけるフレーム内の物体領域が 紐付けられている.この紐付けには同一のものを指 す関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる。

## 1 はじめに

実世界で人間と対話を通して協働するロボットの 実現には，視覚的文脈を含めた人間の発話理解が不可欠である。例えば「そのコップを取って」という 発話を例にとると，「コップ」のテキスト上の意味 を理解するだけでは不十分であり，実世界において 参照しているコップの実体を知ることが必須とな る.このように，発話中の表現と参照関係を持って いる実世界における物体を特定することは発話理解 の基礎となる。

発話中の表現と視覚情報を紐付けた対話データ セットとして SIMMC 2.0 [1] がある. SIMMC 2.0 は 1,566 枚の CG 画像と 11,244 の対話テキストに対し てテキスト中の名詞句と参照先の画像中の物体を囲 む矩形が紐付けられたデータセットである。規模は 大きいものの, SIMMC 2.0 は話者の写っていない静止画に基づいており, 物体の移動や操作が視覚的に 提示されていない。また，SIMMC 2.0 の参照関係は

図 1 マルチモーダル対話データセットの例. 物体領域 (橙色矩形)，テキスト間照応関係（桃色吹き出し），テキ スト・物体間参照関係（破線）が付与されている. 物体領域にはクラス名とインスタンス ID が付与されている.

テキストとして表出している名詞句にのみ付与され ている。一方，日本語ではゼロ照応とよばれる参照元の表現が省略される現象が頻出する．例えば「そ のコップを持ってきて」という発話では，持ってく る目的地にあたる二格の項が省略されている。この ような省略された表現を SIMMC 2.0 は対象として いない.

本研究では，実世界での物体操作を伴う対話にお いてゼロ照応も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットを構築する. データセット構築のため, まずクラウドソーシング で対話シナリオを収集する，続いて，収集したシナ リオに沿って実世界で対話音声と対話動画を収録

する. 最後に，対話音声の書き起こしと対話動画の フレームに参照関係を付与する。具体的には図 1 の 「スポーツドリンク」のように，対話テキスト中の 名詞句に対して参照している物体を囲む矩形（物体矩形）を紐付ける. 加えて本研究ではゼロ照応も扱 うため，テキスト中に言及がない場合でもテキスト 中の述語からそのガ格やヲ格に対応する物体を紐付 ける.

データセットの評価のため，既存手法 [2] を用い て名詞句のグラウンディングタスクを解いた. 結果, 物体検出の再現率は 0.18 程度であり, 本デー タセットが非常に挑戦的であることが示された. 現在，収録済みデータは 24 対話，フルアノテーショ ン済みデータは 7 対話にとどまるが，今後さらに拡張させる予定である.

## 2 マルチモーダル参照解析

本研究では，実世界での対話的協働を想定したマ ルチモーダル参照解析タスクを提案する. 本タスク では，動画あるいは画像と，対応するテキストが入力として与えられる．そのとき，テキスト中の名詞 や述語における参照関係を，参照先として動画や画像中の物体も含めて解析する。本タスクは，テキス 卜間照応解析，物体検出，テキスト・物体間参照解析の 3 つのサブタスクから構成される.

テキスト間照応解析は，テキスト中の単語や句の 間に存在する照応・共参照関係を解析するタスクで ある. 本研究では先行研究 $[3,4]$ にならい, 述語項構造, 共参照, 橋渡し照応関係を解析する. 述語項構造は述語を中心とし，その述語の「誰が」や「何 を」に相当する項からなる関係である. 図 1 では 「飲む」と「置い」について述語項構造が示されてい る. 共参照関係は実世界において同一の実体を指し 示す名詞間の関係である. 橋渡し照応関係はある名詞（照応詞）と，その必須的な意味を補完する異な る名詞（先行詞）との関係である.

物体検出は，画像中から参照されている物体が存在する領域を特定するタスクである。図 1 において は画像中の物体矩形を推定することに対応する．入力が動画の場合は動画中のそれぞれのフレームに対 して同様の処理を行う.

テキスト・物体間参照解析は, テキスト間照応解析 における照応・共参照の対象を物体検出によって特定された物体領域から選択するタスクである. 図 1 においては単語と物体矩形を結ぶエッジを推定する
ことに対応する．表現が直接参照している対象を画像中から検出するタスクは phrase grounding [2, 5] や referring expression comprehension [6] として知られる が，本研究では述語項構造や橋渡し照応など，ゼロ 照応を含む間接的な関係も扱う。

## 3 マルチモーダル対話データセット

本研究では，マルチモーダル参照解析のためのマ ルチモーダル対話データセットを構築する．本デー タセットは，実世界における 2 者の対話シーンにお いて動画，音声を収録し，音声書き起こし，照応・参照関係アノテーションを付与したデータセットで ある. 対話内容は，人間とお手伝いロボットの対話 を想定する．対話場面は，家庭内のリビングとダイ ニングを模した 2 種類である. 本節ではマルチモー ダル対話データセットの構築方法について順に述 べる.

## 3.1 対話シナリオ収集

多様かつ現実的な対話シナリオを得るため，クラ ウドソーシングを利用してシナリオを収集した. ク ラウドソーシングタスクではワーカーに対話収録に 使用する部屋の状況と使用可能な物体の写真を提示 した.その上で，人間とロボットの発話およびその 際の動作や場面状況を記述してもらった. 発話数は 長すぎず，かつ対話が十分な文脈を持つよう 10-16 発話に制限した. 収集したシナリオを実行可能性,十分な頻度の参照表現，十分な粒度の場面状況説明，の 3 つの観点からフィルタリングし，残ったシ ナリオを自然な対話になるよう修正した. 付録 Aに 修正後のシナリオの例を示す.

## 3.2 対話収録

収集したシナリオに基づいて実際に対話を行い， データを収録した.シナリオは人対ロボットを想定 しているが，今回はロボット役も人間の演者に依頼 した．演者にはできる限りシナリオを暗記してもら い，対話中の振る舞いが自然になるようにした。な お，データセットにおいては実際に行われた発話に 対応するよう，アノテーションの際にシナリオを元 に台詞を修正する。

収録はリビングとダイニングを模した設備が備え 付けられた実験室で行った. 2 人の演者にはそれぞ れピンマイクを付けてもらい，発話を録音した。口 ボット役の演者には頭部にカメラを付けてもらい，
対話中の 1 人称視点動画を撮影した.さらに，実験室に定点カメラを 4 箇所設置し，部屋全体の様子を 撮影した。

## 3.3 アノテーション

収録した対話音声と動画に対してマルチモーダル 参照解析のためのアノテーションを行った. まず対話音声はテキストに書き起こし, 1 人称視点動画は 1 秒ごとにフレームを抽出し画像系列に変換した。以下では，テキスト間照応解析，物体検出，テキス ト・物体間参照解析に対応するアノテーションをそ れぞれテキスト間照応アノテーション，物体領域ア ノテーション,テキスト・物体間参照アノテーショ ンとよぶ.

テキスト間照応アノテーション 書き起こされた 対話テキストに対して述語項構造・共参照・橋渡し 照応関係を付与した. これらはテキストの結束性を 構成するエンティティ間の重要な関係である [4]. アノテーションの基準は京都大学ウェブ文書リード コーパス $[7,8]$ に準拠した.

物体領域アノテーション 動画から抽出された全 フレームについて，物体に物体矩形を付与した。ま た，それぞれの物体矩形に対して物体のクラス名 およびインスタンス IDを付与した. クラス名は物体認識タスクにおいて広く利用される LVIS データ セット [9] に定義されている 1,203 のクラスを使用 した. アノテーションコストを減らすため, 付与対象の物体はゼロ照応も含め対話中で参照された物体 に限定した. また, 一般物体認識器 Detic [10] の学習済みモデル ${ }^{1)}$ と複数物体追跡器 SORT [11] を使用 してシルバーアノテーションを事前付与し, 手作業 で修正した。

テキスト・物体間参照アノテーション テキスト 中の (1) 名詞句および (2) 述語と, 画像中の物体矩形 のすべての組み合わせについて参照関係を付与し た. (1) 名詞句については, 直接参照している物体 および橋渡し照応関係にある物体に矩形を付与し た. (2) 述語についてはその項に対応する物体矩形 を格ごとに付与した。

テキスト・物体間参照アノテーションは付与対象の関係が非常に多くなる。しかし，付与済みの テキスト間照応・共参照関係とインスタンス IDを 利用することで大部分のアノテーションを省くこ

表 1 言語アノテーションの統計情報（24 対話）.

表 2 画像アノテーションの統計情報（12 対話）.

表 3 物体矩形と名詞句・述語の関係数の統計（7 対話）. $\Gamma=」$ は直接の参照関係を表す.

とができる。例えば，ある動画フレーム中の「コッ プ」に対して参照関係を付与した場合を考える.こ のとき，別フレームに同じインスタンス IDを持つ 「コップ」が出現したとしても自動的に参照関係を 付与できる.

実世界対話における特有の現象として「ここ」や 「あそこ」など，場所を指す指示代名詞の使用が挙げ られる．指し示された場所の特定は，人間との協働 において不可欠である. 本研究では，このような名詞を領域参照表現とよび，テキスト・物体間参照ア ノテーションにおいて対応する領域を付与する.こ の領域は物体領域とは異なり矩形が一意に定まらな いため，その位置・大きさはアノテータの主観に依存する。そのため，特殊なクラス名である「region」 を付与し，特殊な物体矩形として扱い，他の物体矩形とは区別する.

表 $1,2,3$ にそれぞれアノテーション済みの対話に おける統計情報を示す. テキスト・画像の両モダリ ティにおいて十分な参照関係が存在することが分 かる. 付録 A にデータセットに含まれる対話数を 示す.

## 4 実験

物体検出とテキスト・物体間参照解析は phrase grounding をサブタスクとして含む. 本節では既存 の phrase grounding モデルを使用した本タスクの難 しさを評価する実験について述べる. 述語項構造や 橋渡し照応に対応する間接的な関係はモデルの性質上扱わない。

## 4.1 タスク設定

phrase grounding は，テキストと画像が与えられた ときテキスト中のフレーズに対応する画像中の物体矩形を推定するタスクである $[2,5]$. マルチモーダ ル対話データセットは画像ではなく動画を元にした 画像系列から構成される. すなわち，1 フレーズに ついてグラウンディング対象の画像が複数存在す る. 本実験では，簡単のためフレーズが含まれる発話区間内の画像に限定する。

## 4.2 実験設定

phrase grounding モデルとして MDETR [2]を使用 した. MDETR は Transformer アーキテクチャ [12] をべースとした, 物体検出と phrase grounding を end-to-end で行うモデルである. MDETR は学習済 みモデル ${ }^{2}$ が公開されているが，英語テキストで学習されたモデルであるため直接利用できない．そこ で我々は，Flickr30k Entities JP データセット [13]を 使用してこのモデルを fine-tuning した. このデータ セットは phrase grounding において標準的に使用さ れる Flickr30k Entities データセット [14]を日本語に 翻訳したものである. なお，マルチモーダル対話 データセットは規模が小さいため fine-tuning には使用しなかった.

評価指標は Recall@ $k$ を使用した．MDETR は，そ れぞれのフレーズについて複数の物体矩形とその予測確率を出力する. Recall@ $k$ は正解の物体矩形の うち, 出力された予測確率上位 $k$ 件の物体矩形に含 まれるものの割合である. ここで, 先行研究 [2] に ならい予測された物体矩形が正解の物体矩形と 0.5 以上の Intersection-over-Union (IoU) を持つ場合に両者が一致すると判断した.

表 4 phrase grounding モデルの精度.

図 2 「こちらに捨てておきますね。」という発話に対す る phrase grounding モデルの解析例. 黄色の物体矩形が正解データを表し，それ以外はシステムの出力である. シ ステム出力にはシステムの予測確率が記載されている.

## 4.3 実験結果

実験結果を表 4 に示す. Flickr30k Entities JP で評価した場合に比べ，マルチモーダル対話データセッ トにおけるRecall@ $k$ のスコアは大幅に低い.この ことから，既存手法では本タスクを解くことが難し いことが分かる.

図 2 にマルチモーダル対話データセットにおける 解析例を示す.「コップ」や「ペットボトル」など具体的な物体名については正しく解析できた事例が多 かったが，図に示した「こちら」等の曖昧な表現に ついては正しい事例が少なかった。これは Flickr30k Entities データセットに出現する物体名の多くが具体的であるためと考えられる。

## 5 おわりに

本研究では，実世界において人間と対話しつつ協働するロボットの実現を目指し，テキスト・画像の マルチモーダル参照解析タスクを提案した. さら に，本タスクを解くためのマルチモーダル対話デー タセットを構築した. 本データセットは実世界にお ける実際の対話を基に作成されており，より実用的 な発話理解システムの実現に役立つと期待される.今後は，データセットの拡張と並行して，本タスク のための解析モデルに取り組む.

## 謝辞

本研究は，京都大学科学技術イノベーション創出 フェローシップ事業の助成を受けたものである．本研究の一部は JSPS 科研費 22 H03654 の支援を受けた ものである.

## 参考文献

[1] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4903-4912, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetrmodulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 17801790, 2021.

[3] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, Jan Kautz, and Derek Hoiem. Contrastive learning for weakly supervised phrase grounding. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 752-768, Cham, 2020. Springer International Publishing.

[6] Yanyuan Qiao, Chaorui Deng, and Qi Wu. Referring expression comprehension: A survey of methods and datasets. IEEE Transactions on Multimedia, Vol. 23, pp. 4426-4440, 2020.

[7] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き 始めに対する意味関係タグ付きコーパスの構築と その分析. 自然言語処理, Vol. 21, No. 2, pp. 213-248, 2014.4.

[8] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation (PACLIC), pp. 535-544, 2012.

[9] Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, 2019.

[10] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision ECCV 2022, pp. 350-368, Cham, 2022. Springer Nature Switzerland.

[11] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. In 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464-3468, 2016.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS2017, pp. 5998-6008. 2017.

[13] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[14] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. IJCV, Vol. 123, No. 1, pp. 74-93, 2017.

## 付録

表 5 収集したシナリオの例. 括弧内は場面状況であり台詞としては使用しない.

 &  \\

表 6 データセットに含まれる対話数.

## A データセットの詳細

表 5 に収集した対話シナリオの例を示す。括弧内のテキストは場面状況を表す。括弧外の発話には「あそ こ」や「それ」などの参照表現が含まれ，視覚情報も含めなければ理解が困難な対話になっている.

表 6 に現在のデータセットに含まれる対話数を示す. 将来的にはシナリオ数も含め，さらに拡張する予定 である.


# 広告文生成タスクの規定とベンチマーク構築

三田 雅人 $1 \quad$ 村上 聡一朗 1 張 培楠 $1^{1}$
1 株式会社サイバーエージェント
\{mita_masato,murakami_soichiro,zhang_peinan\}@cyberagent.co.jp

## 概要

人手による広告文制作の限界を背景に，広告文自動生成に関する研究が盛んに行われている. しか し，分野全体で享受できるベンチマークが存在しな いことに加え，モデルの入出力を含め問題設定とし て十分に既定されていないため，既存研究は手法間 の比較が困難な状況であった. そこで本研究では，広告文生成タスクの既定およびベンチマーク構築 を行う．具体的には，まず広告文生成を応用横断的 なタスクとして規定したうえで，広告文生成におけ る初のベンチマーク CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA呈) を構築する。さらに,構築したベンチマークを用いた評価実験を通して，広告文生成の現状と今後の課題を示す.

## 1 はじめに

インターネット広告の需要拡大に伴い，人手によ る広告制作は限界を迎えつつある. 特に，検索クエ リに関連する広告文を検索結果画面に提示する検索連動型広告（図 1）は，前年比約 $8 \%$ 前後で増加して いる膨大な検索クエリの対応に迫られているため，広告文制作の自動化が喫緊の課題となっている [1].

このような産業的な需要もあり, 広告文の自動生成に関する研究が盛んに取り組まれている [2]. 事前に定義したテンプレートに対して適切なキーワー ドを挿入することで広告文を生成するテンプレート に基づく手法 [3-5] に始まり，近年では機械翻訳や 自動要約などで活用されているエンコーダ・デコー ダ型モデルを用いたニューラル言語生成に基づく手法 [6-8] など数多くの手法が提案されている.

一方で，広告文生成研究の評価には重大な課題が 残っている. 英語や日本語など言語問わず分野全体 が享受できる共通データセット（ベンチマーク）の 欠如により, 既存研究はこれまで独自データを用い た個々の検証に留まっており，手法間の包括的な比較ができていない [2]. また, ベンチマークが存在

図 1 : 検索連動型広告の例.

しないゆえにモデルの入出力形式に関しても合意形成が取られていない。検索キーワードを入力に用い 了研究 [9] もある一方で, 既存の広告文 [7] や広告文 をクリックした遷移先のランディングページ（LP） などを大力に用いる研究 [8] も存在する.このこと は，分野全体としてこれまで広告文生成の問題設定 を十分に規定できていないことを示唆しており，べ ンチマークの欠如と併せて広告文生成技術の一般化 の大きな妨げとなっている. ベンチマークの設計を 通して問題を規定し，研究者間で共有できれば，手法を横並びに評価できる。その結果として，分野全体が取り組むべき本質的に重要な部分が明らかにな り，技術の一般化が進むことが期待される.

そこで本研究では, 広告文生成の学術分野として のさらなる発展を目指し, 広告文生成タスクの規定 およびべンチマークの構築を行う，具体的には，ま ず広告の目的および要件を整理し，広告文生成 (Ad Text Generation）を応用横断的なタスクとして規定 する.このとき，従来タスクとの違いや本タスク特有の課題を提示するとともに，研究題材としての 学術的な意義について示す. 次に, 本研究では日本語における広告文生成ベンチマークのための共通データセット CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA元) を構築する ${ }^{1)}$ ，最後に，事前学習済みモデルの種類やマルチモーダル情報の使用有無といった観点で多様な複数の広告文生成モデ ルを用意し，構築したべンチマークを用いたベース ライン実験を通して，提案ベンチマークの有用性お よび本タスクの現状と今後の課題を示す.

## 2 広告文生成タスクの規定

## 2.1 広告文の要件

広告の目的は，ある商材（取引の対象となる物品 やサービス）があったとき，広告の受け手である消費者（ユーザ）の態度や行動に影響を与えることで ある。したがって，広告文生成の目的は，ユーザの 購買行動を促す文を生成することになる。ここで，広告文とはどのような要件を満たしていれば広告文 として成立するのだろうか. 本研究では，タスクを 既定するにあたり, まず広告文の基本要件として次 の2つを定めた:（1）商材内容と整合がとれている;

（2）商材内容からユーザの潜在的なニーズに応じて 情報が取捨選択されている.

要件 1 は，広告制作現場で実運用するうえでは必要条件ともいえる。また，より具体的には 2 つに大別でき，(a）広告文が入力情報である商材内容に含意される場合は，忠実性 [10] の観点から整合がとれ ており，（b）入力情報に含意されない情報を含むが 世界知識や常識的知識などの外部知識に基づいて いる場合は，事実性 [11] の観点から整合がとれて いる. 要件 2 について, 広告では限られたスペース で商材に関する特徴や魅力を短い文で表し, 即座に ユーザの関心を惹き付けることも同時に要求され る.このことから, 広告文は大力情報からユーザに 訴求できる情報を取捨選択（情報圧縮）されている 必要がある。

## 2.2 広告文生成タスク

2.1 節で整理した広告の目的および要件を踏まえ，広告文生成タスクを次のように定義する:

## タスク定義

商材に関する説明文書を $x 、$ 、ユーザの潜在的 なニーズや関心を反映するユーザ信号を $\boldsymbol{a}$,広告文を $\boldsymbol{y}$ とする。このとき，広告文生成の 目的は $p(y \mid a, x)$ をモデル化することである.

広告文生成タスクは，入力文書の内容との整合を保持しながら情報圧縮を行う点で，従来の文書要約タ スクと関連が深く，特に文書要約の亜種であるクエ リ重視要約（query-focused summarization） [12] とは 入力にユーザからのクエリが用いられるために，問題設定として最も近いといえる. しかし，クエリ重視要約ではユーザが明示的に指定した特定のクエ
リ（顕在化されたニーズ）に対応する要約を返すの に対し，広告文生成ではユーザの潜在的なニーズに 対応する必要がある点で異なる。ここで，広告文生成は広範囲な応用先を想定したタスクであるため， ユーザ信号 $\boldsymbol{a}$ は応用先，すなわち広告の形態に依存 して変動することに注意されたい，例えば，検索連動型広告の場合はユーザ信号 $\boldsymbol{a}$ には，検索クエリや キーワードが考えられるが，ディスプレイ広告 ${ }^{2)}$ や $\mathrm{EC}$ 上の商品広告であれば，ユーザの購買履歴など も考えられる。

広告文生成特有の技術的な課題の一つは，このよ うなユーザ信号をもとにいかにユーザの潜在的な ニーズを捉え，広告効果に繋がるような訴求性のあ る文を生成できるかであるが，広告効果は受け手で あるユーザの心理的特性に大きく依存する。そのた め，より高度な広告文生成の実現には，（究極的に は）認知心理学や社会心理学を基礎とした広告心理学 [13] との接続も必要になってくるだろう. このよ うに，広告文生成タスクは自然言語処理技術をより ユーザ中心にするためのよい題材の一つといえる.

## 3 広告文生成ベンチマークの構築

## 3.1 設計

本研究ではベンチマーク設計方針についてまず次 の2つを定めた:（1）マルチモーダル情報が活用で きる;（2）業種別に評価できる．1つ目の方針につ いて，検索連動型広告を含め多くの広告形態では商材の特徴や訴求ポイントをユーザにより直感的に伝 えるために，テキストだけでなくLP などの視覚情報を併せて用いている．また，LP と関連性の高い 内容をユーザへ訴求することが，クリックを促す重要な役割を果たすと知られている。実際，広告文生成分野においても LP のレイアウト情報などを考慮 することでモデルの生成品質が向上したという報告 もある [14]. このように，広告文生成タスクにおい て，今後マルチモーダル情報の効果的な活用を探究 することは重要である.

2 つ目の方針について，効果的な広告文を作成す るためには具体的な訴求を入れることが重要であ ることが知られている。例えば，価格や割引などか らお得感を訴求するには「送料無料」，「ポイント高還元！」のような訴求表現が用いられ，サービスや

2） Web サイトやアプリの広告枠にテキスト形式やバナー形式で表示される広告

図 2: データセット構築の流れ.

企業の実績を訴求したい場合は，「日本最大級の」，「売上 No.1」などの訴求表現が用いられる. ここで， どのような訴求表現（および訴求軸）を用いれば広告として効果的かは業種ごとに異なることが先行研究 [15] によって報告されている．そのため，より精緻な評価を実施し，頑健なモデルの開発を促進させ るためにも業種別に評価できることは重要である.

## 3.2 データセット構築手順

データセット構築の流れを図 2 に示す. 元データ として，Web 上にある検索連動型広告を用いた。広告データには「(検索) キーワード」,「広告文」,「LP」 がそれぞれ付与されている。ここで，検索連動型広告は，広告見出しと説明文で構成される（図 1). 説明文では見出し文と比較して表示領域が広いため，訴求表現は含まれるものの一般的な自然文で書か れることも多い。一方で，見出し文は表示領域制限 に加え，即時的にユーザの関心を惹き付ける役割を 担っているため，人間が容認できる範囲で故意に文法を崩したり圧縮するなど広告特有の言い回しが多 く含まれる。例えば，あるサービスにおける無料相談に関して訴求を行う場合，「簡単 30 秒！○○で無料相談」のような広告特有の表現が用いられる.こ のような一見非文にも思える広告特有の表現は人間 の理解を妨げるどころか，注意を引く効果があるこ とが広告心理学分野で報告されている [16]. 本研究 では，より広告特有の言語現象に焦点をあてること のできるべンチマークとなるよう広告見出し文のみ を広告文 $\boldsymbol{y}$ として抽出した。

次に，広告に紐づくLPから HTMLを解析し, Web ページの meta descriptionをその商材に関する説明文書（LPテキスト） $x$ として抽出した。また，設計方針 1 を踏まえ，マルチモーダル情報を活用でき るようにするため，LP 全体のスクリーンショット 処理を行い，LP 画像を取得した. さらにその LP 画像を用い, Cloud Vision API の OCR 機能 ${ }^{3}$ により, 矩形領域集合 $\boldsymbol{R}$ に対する画像 $\boldsymbol{I}$, レイアウト $\boldsymbol{C}$,テキス ト $\left.\{x_{i}^{\text {ocr }}\right.\}_{i=1}^{|\boldsymbol{R}|}$ を取得した。

表 1: データセット統計量.

## 3.3 アノテーション

元データにはすでに運用実績のある広告文 (参照広告文）が 1 つ付与されているが，同一商材に対す る妥当な広告文は本質的に多岐にわたると考えられ る. そのため, 本研究では日本語母語話者，かつ広告アノテーションの専門家である 3 名のアノテー タにより，追加で 3 つの参照広告文を作成する。評価アノテーション用のデータを収集する際は，設計方針 2 を考慮して，事前に人手で業種ラベルと対応付けられたキーワードを用いて無作為抽出した. な お，本研究で使用した業種ラベルは，人材，EC，金融，教育の 4 種類である。次に，収集した広告デー 夕に対して，3名が独立的に編集し，各入力につき 3 つの参照を作成した ${ }^{4}$.

本研究で構築したデータセットの基本統計量を 表 1 に示す. 本データセットは広告文生成のベンチ マークを目的に開発しているため，予め訓練/開発/評価に分割しており，訓練（および開発セット）と 評価セットの間でデータに重複がないようフィルタ リング処理を行った，次に，データセットに含まれ る入出力例を表 2 にそれぞれ示す。なお，本データ セットには表 2 に記載の情報以外に，マルチモーダ ル情報（OCR データ・LP 画像）が付与されている.

## 4 実験

本節では，広告文生成の代表的なベースラインモ デルを用意し，構築したベンチマークを用いた評価実験を通して，提案ベンチマークの有用性および広告文生成タスクの現状と今後の課題を示す.

## 4.1 実験設定

ベースラインモデル 広告文自動生成分野で現在主流であるエンコーダ・デコーダ型モデルに基 づく広告文生成モデルを構築した。まず事前学習済みモデルの種類の影響を調査するために, 2 つ の異なるエンコーダ・デコーダ型の事前学習済み モデル（BART [17]，T5 [18]）に基づきベースライ

表 2: CAMERA データセットの基本入出力（評価データセットにおける実例）.

表 3: 実験結果（太字の数値は各列における最高値を表す）.

ンモデルを構築した. さらに，マルチモーダル情報の有用性を調査するため，村上ら [14] に従い， T5 に基づくモデルに対し，LP の画像情報を考慮 した様々な設定を用意した。具体的には，LP の OCR 処理済みテキスト (lp_ocr;o)，LPのレイア ウト情報（lp_layout; l), LP の BBox 画像特徴量 （lp_visual;v）の 3 種類のマルチモーダル情報を素性として用いた。その他の詳細な実験設定は付録 C に記載する。

評価尺度 生成文の品質を評価するために，生成文と参照文の N-gram の一致率に基づく BLEU（B-4） 5) [19] および ROUGE-1（R-1） [20]を使用した.さ らに，LP と広告文の関連性を評価するために，指定キーワードが生成文に含まれる事例の割合を表す キーワード挿入率（Kwd）[7] を用いた。

## 4.2 結果

表 3 に実験結果を示す 6)。まず，事前学習済みモ デルの種類の影響を確認するために，BART およ び T5 の性能に着目する。全体としては，B-4 では BART が，R-1 および Kwd では T5 が高い傾向にあ ることを確認した。一方で，業種別にみてみると，人材では B-4 および R-1 の両方で BART が T5 を上回るなど結果にばらつきが生じている.そのため，妥当な事前学習済みモデルの選択は一概に言えず，評価の目的に応じて適切に選択する必要がある.

次に，マルチモーダル情報の有用性について確認する。全体としては，OCR 処理済みテキスト（+

5) https://github.com/mjpost/sacrebleu

6）マルチリファレンス評価が一般的な BLEU のみ全 4 つの参照広告文を使用し，R-1および Kwd は元データに付与された 運用実績のある参照広告文 1 つをそれぞれ用いて評価した。
\{o\}）やLPのレイアウト情報（+ $\{0, l\} ） を$ 素性とし てモデルに加えることで生成文の品質（B-4 および R-1）が改善することを確認した．しかし，業種別に みていくと，EC および金融における R-1 スコアにお いては LP の画像特徴量（+\{o,l,v $\} ） を$ 素性として 加えることで性能がかえって悪化している．性能低下の要因として考えられるのは，LP 情報を活用す ることで一貫した性能向上を報告した先行研究 [14] では LP ファーストビュー7)のみ用いているのに対 し，本研究では LP 全体を用いているため，LP の画像情報の一部がノイズとして機能してしまった可能性が考えられる。一方で，参照広告文の中には，LP ファーストビューの情報だけでは生成が難しい場合 も存在する ${ }^{8)}$ 。そのため，今後の課題としては，LP 画像などマルチモーダル情報から重要な情報を適応的に取捨選択できるモデルの開発が期待される.

## 5 おわりに

本研究では，広告文生成を応用横断的なタスクと して既定し，初のベンチマークを構築した。さら に，構築したべンチマークを用いた評価実験によ り，広告文生成モデルの性能は業種毎に大きく変動 すること，またマルチモーダル情報をいかに効果的 に活用するかが今後の課題であることを示した．広告文生成は自然言語処理の有望な応用先の一つとし てだけでなく，自然言語処理技術をよりユーザ中心 にするための重要かつ挑戦的な研究題材でもある.本研究が整備した研究基盤により, 広告文生成の研究開発が今後さらに促進されることを期待する.

7）LPをスクロールせずに最初に見える範囲

8）付録 Bにその実例を記載する。

## 謝辞

本研究のアノテーションを実施して頂いた，株式会社シーエー・アドバンスのアノテータ諸氏に感謝 します.

## 参考文献

[1] Ogi Djuraskovic. Google search statistics and facts 2023 (you must know). Technical report, First Site Guide, 2022.

[2] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す 了最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[3] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, p. 1-9. Association for Computing Machinery, 2008.

[4] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, p. 179-188. Association for Computing Machinery, 2010.

[5] Stamatina Thomaidou, Ismini Lourentzou, Panagiotis Katsivelis-Perakis, and Michalis Vazirgiannis. Automated snippet generation for online advertising. CIKM '13, p. 1841-1844. Association for Computing Machinery, 2013.

[6] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '19, p. 2269-2277. Association for Computing Machinery, 2019.

[7] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. CIKM '20, p. 2653-2660. Association for Computing Machinery, 2020.

[8] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262. Association for Computational Linguistics, 2021

[9] 福田宏幸. キーワード条件つき変分 autoencoder によ る広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2019, pp. 2L4J903-2L4J903, 2019.

[10] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919. Association for Computational Linguistics, 2020.

[11] Artidoro Pagnoni, Vidhisha Balachandran, and Yulia
Tsvetkov. Understanding factuality in abstractive summarization with FRANK: A benchmark for factuality metrics. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4812-4829. Association for Computational Linguistics, 2021.

[12] Hoa Trang Dang. Overview of duc 2005. In Proceedings of the 2005 Document Understanding Conference, 2005.

[13] Walter Dill Scott. The theory of advertising. Small, Maynard and Company, 1903.

[14] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也,奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会 第 28 回年次大会, 2022 .

[15] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 69-78. Association for Computational Linguistics, 2022.

[16] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '13, p. 563-571. Association for Computing Machinery, 2013.

[17] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880. Association for Computational Linguistics, 2020.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, 2022.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, 2002.

[20] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics, 2004.

[21] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

## A アノテーションガイドライン

アノテータに与えた主要な指示は次の 3 点である：(1) 検索キーワードをユーザの意図として考慮；（2） LP に記載の商材内容と矛盾しないように広告文を作成;（3）広告文の長さは全角 15 文字以内 ${ }^{9 ）}$.

## BＬP 情報を考慮しないと生成が難しい例

表 4: LP を考慮しないと生成が難しい実例. 赤色下線部は LP 上段部（3a）に, 青色下線部は LP 中段部（3b） にそれぞれ対応した情報の記載がある。

(a) LP 上段部

(b) LP 中段部

## C ベースラインモデル実験設定

本実験で用いた広告文生成モデルは各事前学習済みモデルを CAMERA データの訓練セットを用いて finetuning を行うことで構築した。具体的には，BART に基づくベースラインモデル（以下，BART）は，京都大学が提供している日本語版 BART の事前学習済みモデル ${ }^{10)}$ における japanese_bart_base_2.0を，T5 に基 づくベースラインモデル (以下，T5) は，村上ら [14] と同様に日本語版 T5 の事前学習済みモデル（sonoisa） 11）を使用した．次に，両モデルの学習時のハイパーパラメータを表 5 に示す. ここで，T5 における最大文長 については，LPの BBox 画像特徴量を用いるモデル（+ $\{o, l, v\} ）$ のみ 712 に設定し，それ以外のモデルは 全て 512 に設定している。また，開発セットに対する loss が T5 に関しては 3epoch 連続，BART に関しては 5epoch 連続で劣化した場合には早期終了した.

表 5: モデル学習時のハイパーパラメータ

9） Google レスポンシブ広告の見出し文に関する規定（https://support.google.com/google-ads/answer/12437745）に従った.

10) https://github.com/utanaka2000/fairseq/tree/japanese_bart_pretrained_model

11) https://huggingface.co/sonoisa/t5-base-japanese