# 大規模言語モデルからの知識抽出に基づく 画像からのスクリプト予測の検討

八木 拓真 ${ }^{1}$ 西村 太一 ${ }^{2}$ 清丸 寛一 ${ }^{2}$ 唐井 希 ${ }^{2}$
1 東京大学生産技術研究所 2 京都大学大学院 情報学研究科
tyagi@iis.u-tokyo.ac.jp kiyomaru@i.kyoto-u.ac.jp
\{nishimura.taichi.43x, karai.nozomu.77c\}@st.kyoto-u.ac.jp

## 概要

画像からそれが示す場面で行われるスクリプト （典型的なイベント系列）を予測するタスクを提案 する. 画像が示す状況に対応したスクリプトを想起 することにより，エージェントが状況に応じた適切 な行動理解や支援を行うことが期待できる. 本稿で は，画像からのスクリプト予測の第一歩として少数 の画像にアノテーションを付与し, その要件と課題 の整理を行う．また，学習済みの視覚言語モデルと 大規模言語モデルを組み合わせることによる画像か らのスクリプト予測の可能性を検討する。

## 1 はじめに

人と AI が共存する社会の実現にあたり，ロボッ トなどのエージェントが場の状況に応じて適切に 振る舞うことは重要である。人はある場面に遭遇し た際，その場面に対応したスクリプト（典型的なイ ベント系列） [1]を想起することで現在の状況をス ムーズに理解し，適切に振る舞える。例えば，レス トランでは一般に席に案内され, 料理を注文し食事後会計をすることが期待できる。従来スクリプトは 文章の論理構造を補完するものとして言語に閉じて 扱われてきた [2]. しかし, 家庭用ロボットなどへ の応用を考えれば，状況が詳細に文章で与えられな くとも，視覚などの外界の入力から直接スクリプト を想起し行動に移せることが望ましい。

本稿では，画像からその場面に対応するスクリプ ト [1]を予測する視覚スクリプトモデルの検討を行 う (図 1). スクリプト知識は宣言的知識と比較して 構造があいまいであり，「レストランで食事を取る」 といった典型的な状況であっても場面により多様な バリエーションを持つ. そのため, モデルの訓練の ために幅広い場面に対するスクリプト知識を人手で

図 1 視覚スクリプト予測の問題設定.

網羅的に収集するのは現実的でない。そこで，本研究では大規模言語モデル [3] (Large Language Model; LLM）から知識を抽出する方法を検討する．LLM は様々な常識推論タスクに回答できることが報告さ れており，典型的な状況におけるスクリプト知識を かなりの程度獲得していると思われる. 画像中の状況をテキストで説明する視覚言語モデルと大規模言語モデルを組み合わせることにより画像とスクリプ トを結び付けられれば，スケーラブルな形で訓練用 のデータを収集できることが期待できる.

本稿では，画像からのスクリプト予測の初期検討 として少数の画像にアノテーションを付与し，視覚 スクリプトモデルの実現のための課題と要件を整理 する。また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる素朴なべースラ インモデルを構築し, (i) 画像およびゴールからのス クリプト予測 (ii) 画像からのゴール予測の 2 種類の タスクに関する予測結果の評価を行う。

## 2 関連研究

## 2.1 大規模言語モデル

近年，個別のタスクに対する専用モデルに代わ り，数百〜数千憶のパラメータを持ち，大規模コー パス上で事前学習された汎用の LLM $[4,5,3,6]$ の有効性が実証されている. LLM は様々な常識推論夕 スクにファインチューニングなしで回答できるう え，モデルに与える入力文（プロンプト）を工夫す ることによりさらに性能を向上できることが報告さ れている [7] が，入出力共にテキストに閉じている ため，単体では実世界に接地した推論は行えない。

また，LLM と同様，大量の動画像とテキストの 組によって事前学習を行う視覚言語モデル (Visual Language Model; VLM）も注目されている [8, 9, 10]. VLM は画像に写る事物の説明や質問応答には長け ているものの，画像に直接写らない文脈や手続きの 認識はごく少数の初期検討 [11]があるのみで十分に は検討されていない.

## 2.2 イベント系列の予測

家庭用ロボットなどでは，対話を通じて人の指示 を理解し，自身の行動を実行可能な形で推論する必要がある。そこで，言語指示からのスクリプトの予測 $[12,2]$ やユーザの要求に応じた行動のプランニン グ $[13,14,15]$ 等の研究が行われており, LLM の利用も検討されている $[15,16]$. これらは限定的なシ ナリオで具体的な指示が与えられることを前提とし ているが，本研究では様々な場面における画像から スクリプト知識を想起することを目的とする。

## 3 視覚スクリプト

本節では，画像からその場面の観察者または登場人物から見たスクリプトを予測することを視覚スク リプトと定義し，その要件と課題を整理する。

## 3.1 アノテーション

画像はスクリプトに関して何を伝えるだろうか？画像が示す場所はそこで何をすべきかの第一の手掛 かりになる。画像中の物体やその見た目もその場 の属性を示唆し, 例えば高級レストランと家庭的 なレストランとではその備品や内装は大きく異な り，生起するスクリプトも異なる. 画像中に登場す る人物の役割はその人物の行動を規定する。一方，表 1 アノテーション項目の一覧.画像が示す場所名

表 2 アノテーションの統計（カッコ内は標準偏差）.

スクリプトを行う主体がどのような役割を担うか，何をゴールとして行動するかといった内的な情報は 通常画像には含まれず，実応用では観察者（人，口 ボットなど）の経歴や過去の行動に基づきそれらを 補完する必要がある. オクルージョンのため, 不完全な観測から見えない部分を補完する必要もある.

Schank \& Abelson [1] は，登場人物・物体や完了条件といったスクリプトの構成要素を提案しており，本研究においてもそれらが有用と考えた. そこで 彼らの定義を踏襲し, 表 1 に示す項目について画像に対応するスクリプトのアノテーションを行っ た. 題材としては場所認識用データセットである Places365 [17] データセットを用い，大きく (i) 購買 (ii) 室内 (iii) 交通の 3 つの場面を中心に 26 カテゴリ 40 枚を選定した. 各画像について，3人のアノテー タが 1 枚あたり 1 つ以上のスクリプトを付与した. ただし，場所に関しては原則 Places365に既に付与 されている名前を採用した. スクリプトの記述にあ たっては，アノテータが画像が示す状況において誰 （行為者）が何（ゴール）を達成できるかを類推した うえで，それを達成するイベント列を記述した。

## 3.2 アノテーションの分析

表 2 に統計を示す. スクリプトの系列長は概ね 5-6 程度であり，大半の例において主役以外の脇役 が登場した. 登場物体は最大 7 つ程度であり, ゴー ル達成のための不可欠なイベントを簡潔に記した 例が多くを占めた. また，表 3 に図 1 へのアノテー ション例を示す.この例では, プレゼンの準備をす る/カンファレンスでの発表の準備/会議へ参加/発表 を聞くの 4 つのユニークなゴールが付与され，他の 画像についても主役/主役の動機/ゴールの粒度の違 いによる多様性が見られた。一方，購買を伴う場所
表 3 図 1 の画像に対するアノテーション例.

の画像ではゴールが収れんする傾向にあった.

難しさとしては (i) 画像に見える事物とルールや 慣習との関連の非自明さ (ii) 画像に登場しない役割 や物体の補完があった. 例えば，店舗では購買行動 が行われるが，売り物の見た目自体にその行動が結 び付く必然性はなく，物体の組み合わせとしてどの ような場所かを知識により結び付ける必要がある。 また，物を買う場面では通常会計係，伝票やレジス ターが登場するが，それらが明示的に写ることはま れであり, 多くの場合それらを補完する必要があ る. 見える範囲の即物的に記述は不十分であり，見 える範囲を超えた推論の必要性が示唆された.

## 4 実験

前節の議論で，画像中の情報は生起するスクリプ トを規定する一方その関係は間接的であることが 示された. そのため視覚スクリプト生成において も LLM に含まれる豊富な知識を活用することが望 ましい，画像情報を反映したスクリプトを実際に LLM を用いて生成できるのか？どの要素が正しい 生成に寄与するのか？上記の初期検討として，VLM と LLM を素朴に組み合わせたべースモデルを提案 し 2 種類のタスクによる評価を行った.

## 4.1 画像とゴールからのスクリプト予測

まず，画像とゴールなどの付加情報から LLM を 通じてスクリプトを生成できるかを検証した。

モデル LLM はテキストのみを受け付けるため，画像情報を LLM に入力可能な形に変換する必要が ある. そこで，最新の画像説明文生成モデル [9] に より説明文を生成し LLM の入力として用いるモデ ルを提案する. 図 2 に模式図を示す. まず，入力画像の見える範囲での説明文を画像説明文生成モデ ル [9] を用いて生成し，画像をテキスト情報に変換

する．続いて，前節で付与した情報のうち場所，主役およびゴールを説明文と共に LLM のためのプロ ンプト（入力文）として構成し，それを LLMを通 すことによってスクリプトを得る．入力方法には LLM で一般に用いられる in-context learning [3] を採用し，1 サンプルに関する見本を与えたのちスクリ プトをイベント列として出力させた.

実装と比較条件 画像からの説明文生成には最新のモデルとして BLIP-Large [9]を使用し，LLM は GPT-3（text-davinci-003） [3] と OPT（OPT-175B） [6] の 2 種類を比較した. また，入力情報の種類による 違いを見るため GPT-3 では (a) 場所名のみ (b) ゴー ルのみ (c) 説明文のみの 3 種類の ablation を行った.具体的な予測例は付録表 6 を参照のこと。

評価指標 一場面に対応するスクリプトは多様で あり，自動評価は難しい。そこで前項のアノテー ションのうち類似のゴールを除いた 40 画像 65 サ ンプルに対しスクリプトを生成し，著者らのうち 2 名の人手評価により合理性（スクリプトとして妥当 か)，適切さ（ゴール・画像に照らして適切か）の 3 指標を二値で判定しその平均を取った。

結果 表 4 に結果を示す. 画像説明文およびゴー ルなどの付加情報を与えた LLM はゴール・画像の 両者に対して高い適切さを報告し，GPT-3を用い

図 2 VLM とLLM の結合による画像からのスクリプト予測の模式図. 本稿ではVLM を通して生成した説明文および人手で付与した付加情報を組み合わせてプロンプトを生成し，それをLLM に通してスクリプトを予測する.

図 3 場所名および説明文からのゴール予測.

た場合にはほぼ望ましいスクリプトを生成した。 OPT-175B も概ね同様の挙動を示したものの不自然 な動作を繰り返す，扱う物体や行動を取り違えると いった誤りを示した. 多くのスクリプトは場所に依存するため，場所名のみを与えた場合も $81.3 \%$ と画像に対する高い適切さを示した。しかしながら，路上の市場の画像に対して高級レストランと同様のや りとりを提示するなど，場所名のみからは読み取れ ない文脈において不適切なスクリプトを生成した。 ゴールと説明文をそれぞれ単体で与えた場合も同様 で，前者では店舗で会計しない，後者では目に見え る物体を用いたランダムな行動を行うなどのエラー が見られ，場所情報に画像から得られる情報を加え ることでよい生成ができることを確認した.

## 4.2 画像説明文からのゴール予測

前項はスクリプトの生成に注目し主役およびゴー ルを既知としたが，それらも自動生成できれば場所認識含め全処理を自動化できる。そこで類似の枠組 みで説明文と場所からのゴール予測を評価した。

モデルと評価 前項のモデルと同様の枠組みを採用した. 図 3 にLLM 部のプロンプトと出力の例を 示す. 今回は 3 つのゴールを出力するようなプロン プトを与えた. LLM は GPT-3を使用し，(a) 場所名 のみ (b) 説明文のみ (c) 場所名+説明文の 3 条件を比較した。評価指標としては前項と同様ゴールとして の適切さおよび場所・画像に対する適切さを項目ご とに二值で判定し，その平均を取った。

結果 表 5 に結果を示す. 我々の予想に反し，場所名のみを与えた場合に高い適切さを示した。スク リプト中のイベントより高い抽象度でのゴールは画像の即物的な説明より場所による影響が大きかった からと思われる．失敗例としては，惣菜店でウェイ ターが料理を給仕するなどの不適当な登場人物や,犬がおもちゃで遊ぶといったスクリプトの条件を満 たさない場合等があった. しかしながら，多くのサ ンプルにおいて適切な役割とゴールを生成できたこ とから，指示文や画像説明文の生成方法の工夫次第 でより性能を伸ばせると考えられる。

## 5 結論と将来展望

画像からその場面に対応するスクリプトを予測す る問題に初めて取り組み，アノテーションの付与お よび画像からのスクリプト・ゴール認識の初期検討 を行った。評価を通じて VLM と LLM の素朴な結合モデルが画像に対応したスクリプトを概ね正し く生成できることを確認し，LLM からの知識抽出 の可能性を示した. 今後は (i) より大規模の評価用 コーパスの作成 (ii) 洗練されたプロンプティングに よる制御可能なスクリプト生成 (iii) 陽な説明文を介 さない，VLM とLLMを融合した視覚スクリプト予測モデルの実現を目指す.

## 謝辞

本研究は JST ACT-X JPMJAX22AJ の支援を受けた ものです.

## 参考文献

[1] Roger C Schank and Robert P Abelson. Scripts, plans, goals, and understanding: An inquiry into human knowledge structures. Psychology Press, 1977.

[2] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Proc. Findings of EMNLP, pp. 2138-2149, 2021.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proc. NeurIPS, pp. 1877-1901, 2020.

[4] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171-4186, 2019.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020

[6] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. OPT: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[7] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Proc. NeurIPS, 2022.

[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In Proc. ICML, pp. 8748-8763, 2021.

[9] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified visionlanguage understanding and generation. In Proc. ICML, pp. 12888-12900, 2022 .

[10] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Lijuan Wang. GIT: A generative image-to-text transformer for vision and language. TMLR, 2022

[11] Rowan Zellers, Yonatan Bisk, Ali Farhadi, and Yejin Choi. From recognition to cognition: Visual commonsense reasoning. In Proc. CVPR, pp. 6720-6731, 2019

[12] Qing Lyu, Li Zhang, and Chris Callison-Burch. Goal-oriented script construction. In Proc. INLG, pp. 184-200, 2021.

[13] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander
Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun $\mathrm{Xu}$, Mengyuan Yan, and Andy Zeng. Do as i can and not as i say: Grounding language in robotic affordances. In Proc. CoRL, 2022.

[14] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気の利 いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集. 情報処理学会研究報告, Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[15] Wenlong Huang, Pieter Abbeel, Deepak Pathak, and Igor Mordatch. Language models as zero-shot planners: Extracting actionable knowledge for embodied agents. In Proc. ICML, pp. 9118-9147, 2022.

[16] Ishika Singh, Valts Blukis, Arsalan Mousavian, Ankit Goyal, Danfei Xu, Jonathan Tremblay, Dieter Fox, Jesse Thomason, and Animesh Garg. ProgPrompt: Generating situated robot task plans using large language models. arXiv preprint arXiv:2209.11302, 2022 .

[17] Bolei Zhou, Agata Lapedriza, Aditya Khosla, Aude Oliva, and Antonio Torralba. Places: A 10 million image database for scene recognition. TPAMI, pp. 1452-1464, 2017.
表 6 図 2 の画像に対する VLM とLLM を用いたスクリプトの生成例.

Location: conference center

Role: Speaker

Scene description: Rows of chairs and chairs in a room with chairs and a projection screen.

Task: Present at a conference

Step 1: Greet the moderator and other speakers

Step 2: Check the connection between the computer and the screen and speaker

Step 3: Listen to other speakers' presentations until the stage

Step 4: At your turn, stand in front of the platform and connect your laptop.

## AVVLM とLLM を用いたスクリプトの生成例

図 2 の画像に対して VLM と LLM を組み合わせることにより生成したスクリプト文の具体例を表 6 に示 す. LLMがより望ましい出力を行うよう、一部の用語はプロンプトでは別の単語に置き換えられている場合がある。上段に入力文を，下段にモデルの応答例を示す. 紙面の都合で応答の改行は省略した. GPT-3 はゴール（buy spices）を達成するための行動を適度に列挙し，そのための手順を適切に生成している. OPT-175B はよりシーンの説明（ボウルに入った食べ物）に注目したスクリプトを生成し，やや流暢さには久 けるが適切と言える. 場所名（outdoor market）のみを与えた場合は市場での典型的な行動を反映しているが 具体性には欠ける．説明文のみを与えた場合には目の前の食べ物を用いてゲストをもてなす等のゴールとは 無関係のスクリプトが生成されている。ゴールのみを与えた場合は確かにスパイスを買うための行動が列挙 されているが，今どのような場所にいるかが不明なためインターネット上での購入方法が書かれており，こ れは画像に照らし合わせて適当ではない。このように，場所・説明文・ゴールのいずれも画像の示す場面に 照らし合わせて適当なスクリプトの生成のために必要な情報であることがわかる.
 八木 拓真 ${ }^{1}$ 西村 太一 ${ }^{2}$ 清丸 寛一 ${ }^{2}$ 唐井 希 ${ }^{2}$ 1 東京大学生産技術研究所 2 京都大学大学院 情報学研究科 tyagi@iis.u-tokyo.ac.jp kiyomaru@i.kyoto-u.ac.jp \{nishimura.taichi.43x, karai.nozomu.77c\}@st.kyoto-u.ac.jp  