# 視覚的質問応答における視線情報を利用した 曖昧性解消に向けて

稲積 駿 1,2 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 川西康友 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
inazumi.shun.in6@is.naist.jp
\{seiya.kawano, akishige.yuguchi,yasutomo.kawanishi,koichiro.yoshino\}@riken.jp

## 概要

視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えられた時に回答を導く タスクであり，質問と画像中の情報から回答が一意 に決定する状況を仮定する。しかし，VQAを人間と 実世界対話を行うロボットに応用する場合，主語の 省略や指示語が，視線などのマルチモーダルな補完情報（文脈情報）と共に利用される場合がある. 本研究では画像中の人物が見ている対象の情報を利用 した VQA データセットを構築し, 視線の先の物体名を VQA の曖昧性解消に利用した結果を報告する.

## 1 はじめに

実世界での事物を考慮した人間とロボットの自然 なインタラクションを実現することは，Vision and Langauge 研究の到達点の一つである. この際，ロ ボットは自身が見ている視覚情報と人間が発する 言語情報を統合・理解して，適切な応答を返す能力 を備える必要がある．視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えら れた際に質問に対する回答を導くタスクであり，視覚・言語情報の統合に関する重要なべンチマークが 公開されている $[1,2,3]$.

既存の VQA に含まれる質問は，その意図が明確 であり回答が一意に決まることが多い.しかし，人間同士のインタラクションに見られるように，実際 に人間が行う質問は，指示語や主語の省略によって 曖昧さが生じその回答が一意に決まらない場合があ る [4]. 図 1 上は既存の VQA データセットに含まれ る質問の例であり, 図 1 下は指示語や主語の省略に より曖昧性が生じる質問の例である。

本研究では，VQAにおける質問の曖昧性を解消 するために，視線 [5] に代表されるマルチモーダル

図 1 日本語 VQA データセット [3](図上)と視線情報付き VQA データセット (図下) の例. 図下は，画像，質問，回答に加え視線の視点と終点が付与されている。

な文脈情報を用いることを想定し，視線情報付き VQA データセットおよびタスクを提案する. 視線情報付き VQA タスクは画像内の人物が発するであろ う曖昧な質問に対して，その人物の視線情報を考慮 して回答する．例えば，図 1 の図下に示された曖昧 な質問は，「傘を差している女性」が「赤いジャケッ 卜を着た男性」に注視していることを追加情報とし て用いれば，回答を一意に定めることができる．本研究ではさらに，視線の先の物体が扱えるように既存の VQA モデルの入力を拡張し，視線付き VQA タ スクによるモデルの評価を行った。

## 2 関連研究

視覚的質問応答 VQA は画像処理と自然言語処理の融合分野である Vision and Language のタスクの 一つに位置する $[1,2,3,6]$. VQA のタスク設定は,用意された回答群から回答を選択する設定 (選択型) と回答を生成する設定 (生成型) の二つが存在する.本研究では，生成型の設定を想定して質問と回答を 収集した。VQA では基本的に画像と質問の情報か ら一意に定まる質問・応答ペアが用意されるが，本研究は視線情報を持たない場合に回答が曖昧になる ようなデータセットを構築した。
表 1 日本語 VQA データセット [3] と視線情報付き VQA データセットの統計情報.

注視対象推定 注視対象推定とは，画像に映る 人物を選択し，その人物が注視しているオブジェ クトを推定するタスクである。代表的なデータ セットとして, Gazefollowがある [7]. Gazefollow は, MSCOCO [8] を含む様々な画像データセットから収集した人物を含む画像に対し, 人物の視線元と視線先のアノテーションを付与したものである. 視線付 きVQA データセットの構築は, Gazefollow の画像 と視線情報を利用した。

質問応答における曖昧性言語に生じる曖昧さ の問題は質問応答システムで活発に取り組まれ ており，質問の曖昧性は言い換え $[9,10]$ や質問生成 [11,12] により解消するアプローチが検討されて いる.

VQA においても，曖昧さの議論はなされてい る [13,14]. 選択型の VQA では, 同じ内容に対する 言い換えに対応するべく, 自動評価のために 10 件程度の回答が付与される. しかし, 画像が不鮮明な 場合や質問が曖昧である場合, 全ての回答が一致す るとは限らない [13]. 既存研究では回答が一意にな るように問い返しの質問を生成する [15] ことで選択型 VQA の問題は解消できることが示唆されてい る [14]. 本研究ではこのようなユーザから追加情報 を引き出そうとするアプローチとは異なり, 画像の 状況から得られる追加の文脈情報を利用することで 曖昧性の解消を試みる。

## 3 視線情報付き視覚的質問応答

## 3.1 タスク設定

実験では注視対象推定のタスクを扱わず，視線の 先の物体名が既に与えられていると仮定し, 視線情報付きVQAのタスクを次のように定義する.

視線情報付き VQA 画像, 質問, 視線情報先の物体名が与えられた時，モデルは回答を生成する。

## 3.2 データ収集方法

視線情報付き VQA データセットは，クラウド ソーシング1)によって構築した. Gazefollow [7] に含

まれる画像に対して，人物が見ている対象に関する 質問を作成し，質問に対する回答を与える。視線の 先が物体を差していない場合や画像が不鮮明である 場合は質問・回答作成の対象から除いている.

ワーカに対する教示を以下に示す.

・質問の文字数は 10 文字以上とする.

・視線の先に存在する物体名を直接質問に含め ない.

・画像内の情報のみで回答できる質問を作成 する.

一つ目の項目は，多様な語彙の質問を用意する目的 で設定した。二つ目の項目は，視線情報を持たない 場合に曖昧となる質問を作成する目的で設定した。三つ目の項目は，画像の内容以外で曖昧になる質問 をデータセットに含めない目的で設定した.

## 3.3 統計と分析

既存の日本語 VQA データセット [3] と今回収集 した視線情報付き VQA データセットを比較する。図 2 と図 3 はそれぞれ質問と回答に関する名詞の 分布であり，各データセットから質問・回答ペアを 25,000 件ランダムサンプリングした. 表 1 はそれぞ れの統計情報である.

質問 表 1 より，ユニークな質問の割合は視線情報付き VQA $(39.2 \%)$ より日本語 VQA $(45.2 \%)$ が多 く, 質問の文字長は同程度である. 図 2 より, 視線付き VQA は日本語 VQA より分布がロングテール であり，質問タイプは偏っている．とくに「what」 タイプの質問が多くを占めている。これは，視線の 先の物体を質問作成の対象としたことに起因する。

回答 表 1 より，ユニークな回答の割合は日本語 VQA (17.1\%) より視線情報付き VQA $(29.8 \%)$ が多 く, 回答の文字長は視線情報付き VQA が長い.こ れは，「人物の行動」などを問う質問が多くみられ たことに起因する．結果として一意なフレーズで表現できない回答が収集された. 図 3 より回答の分布 に大きな差は無い. しかし, クラウドソーシング対象とした Gazefollow の画像セットが限定的であるた め，視線付き VQA の回答分布の上位は，「テニス」 など特定のドメインに偏っている。

図 2 質問セットの単語数に関する分布

図4画像エンコーダと言語デコーダによるモデル.

## 4 評価実験

## 4.1 実験設定

事前学習済みの画像エンコーダ・言語デコーダモ デル [16] をベースラインとして視線情報付き VQA の評価実験を行う。モデルの詳細は 4.2 節で述べる. VQAを扱う場合のモデルの性能評価，モデルの入力を変更した場合の ablation 評価を行う.

## 4.2 モデル

図 4 にモデルの概要を示す. モデルは $\mathrm{CNN}$ ベー スの画像エンコーダ，エンコーダの埋め込み系列を 低次元のベクトルへ圧縮する Mapping Network，自己回帰的に回答生成を行う言語デコーダで構成さ れる。

画像エンコーダ 画像エンコーダにより，全体画像を 640 次元の画像特徴量に変換する. Shen ら [17] にならって画像エンコーダは CLIP [18] の RN $\times 4$ を 使用し, Mokady ら [16] にならって画像エンコーダ のパラメータを凍結する.

Mapping Network Mapping Networkを用いて，画像エンコーダから得た画像特徴量を言語デコーダへ 入力可能なべクトルに圧縮する.ここで，Mapping Network は 1 層の MLP 層と 8 層の Transformer 層

図 3 回答セットの単語数に関する分布

で構成されており, 圧縮後のベクトルをPrefix Embeddings (PEs) と呼ぶ.

言語デコーダ 初めに，VQA の質問を含むプ ロンプトから embedding 系列を取得する。この embedding 系列を Prompt Tokens (PTs) と呼ぶ. ここ で，[Q] は質問を示し， $[\mathrm{A}]$ は回答生成の開始位置を 示すラベルである．PEs と PTs を連結したべクトル を言語デコーダ2)に渡す。連結したべクトルの次に 出現するトークン系列を VQA の回答とみなして，学習と評価を進める。なお，今回は VQA の質問に 視線の先の物体名を [objs] として prompting で与え ることで視線の先の物体が認識できている状況のモ デルを構築しようとした.

## 4.3 データセットと評価手法

データセット 日本語 VQA データセットに加 え，日本語画像キャプションデータセット [19]を 言語デコーダの事前学習に使用した. VQA に対す るモデルの精度を評価するため，日本語 $\mathrm{VQA}$ デー タセットからテストセットを 4,000 件確保した。ま た，視線付きVQA データセットの訓練・開発・テ ストセットは 20,899 件，1,400 件，4,000 件とした.

評価手法 抽出型 $\mathrm{QA}$ タスクの評価指標である Exact Match スコア (EM) と F1 スコア (F1) [20] をテ ストデータ全体の評価に用いる。加えて，同義な回答を正しく評価するため，正解トークンと予測トー クンが完全一致していないぺアに対しては，BERT スコア ${ }^{3)}(\mathrm{Bs})[21]$ によって回答フレーズの類似を考慮した評価を行う。

## 4.4 評価結果

VQA によるモデル評価事前学習したモデルを 日本語 VQA と視線付き VQA のテストセットで評

2）事前学習済み GPT-2 モデルを言語デコーダの初期值とす る. https://huggingface.co/rinna/japanese-gpt2-medium 3）多言語 BERT の文ベクトルを評価に用いた. https: //huggingface.co/bert-base-multilingual-cased
表 2 各データセットの評価結果.

表 3 モデルの ablation 評価. PEs は Prefix Embedding, PTs は Prompt Tokens, [objs] は視線の先の物体名を表す.

価した結果を表 2 に示す. 表 2 より，日本語 VQA データセットで学習したモデルは，視線情報付き VQA データセットで fine-tuning せずとも，Bs で一定の性能が保証されることが判明した.

質問または画像の欠落が結果に与える影響 視線付き VQA の訓練セットで fine-tuning したモデルの ablation 評価結果を表 3 に示す. 日本語 VQA データ セットによる事前学習では言語デコーダの入力を,画像情報がエンコードされた PEs, 質問 ([Q]) と回答 の開始位置ラベル $([\mathrm{A}]$ ）がエンコードされた PTs で 構成した. 表 3 より, 言語デコーダの入力から, [Q] または PEs を除いた場合，モデルの性能は著しく低下することが判明した。

視線の先の物体名が結果に与える影響 視線付き VQA データセットに含まれる質問は意図的に視線 の先の物体名 ([objs]) を欠落させているため，PTsへ [objs] を補完して fine-tuning と評価を行った.なお， [objs] は MSCOCO の物体ラベルを使用した. 図 5 は モデルの入出力例であり，「それ」という指示語が 含まれた曖昧な質問の先頭に, [objs] である「ケー キ」の補完を行う. 表 3 より, [objs] を考慮するこ とによる精度向上は見られなかった。

## 5 分析

図 6 は，質問に対する CLIP の画像エンコーダの 画像特徴を Grad-CAM [22] により可視化したヒート マップである。画像右上は視線付き VQA にみられ る曖昧な質問であり，画像左下・右下は曖昧さの原因となる指示語を MSCOCO の物体ラベルで補完し た質問である. 図 6 で示した全ての質問において，「motorcycle」の画像特徴と比べて「bicycle」の画像特徴は強調されていない。モデルの性能は CLIP の 画像エンコーダに依存しているため, [objs] の補完 による言語情報の補正は視線付き VQA の精度に影

Prompt Tokens ([obj] + [Q] + [A])

物体: ケーキ

質問: それの材料は何が入っていますか?回答: チョコレート

Prompt Tokens $([\mathrm{Q}]+[\mathrm{A}])$

質問: それの材料は何が入っていますか?

回答: チーズ ソーセージ トマト

正解ラベル: チョコレート

図 5 モデルの入出力例. 視線の先の物体名を赤字で，生成した回答を青字で示す.

What color is it?

What color is the bicycle? What color is the motorcycle?

図 6 質問ごとの画像エンコーダ（CLIP の RN $\times 4$ ）の特徴量を Grad-CAM により可視化したヒートマップ. RN $\times 4$ の学習設定に合わせて質問を英訳した。

響を与えなかったと考える. 視線が指す領域や物体 の矩形などを用いて画像情報を補正することや，画像エンコーダを言語情報と画像情報を同時に扱うク ロスエンコーダへ変更することで，この問題は解消 できる可能性がある.

## 6 おわりに

本研究では，人間と円滑なインタラクションを行 う対話ロボットの実現を志向し，視線情報で補完さ れる曖昧な質問を含む VQA データセットをクラウ ドソーシングで構築した. 視線の先の物体名をプロ ンプトへ補完した上で視線付きVQA の評価を行っ たが，回答精度の向上は見られなかった. この問題 へ対処すること，および注視対象推定から回答生成 までを end-to-end で処理するシステムを開発するこ とは今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受 けた.

## 参考文献

[1] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, pp. 2425-2433, 2015.

[2] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision, Vol. 123, No. 1, pp. 32-73, 2017.

[3] Nobuyuki Shimizu, Na Rong, and Takashi Miyazaki. Visual question answering dataset for bilingual image understanding: A study of cross-lingual transfer using attention maps. In COLING, pp. 1918-1928, 2018.

[4] Satwik Kottur, José M. F. Moura, Devi Parikh, Dhruv Batra, and Marcus Rohrbach. Visual coreference resolution in visual dialog using neural module networks. In ECCV, pp. 160-178, 2018.

[5] Nathan J. Emery. The eyes have it: the neuroethology, function and evolution of social gaze. Neuroscience \& Biobehavioral Reviews, Vol. 24, No. 6, pp. 581-604, 2000.

[6] Danna Gurari, Qing Li, Chi Lin, Yinan Zhao, Anhong Guo, Abigale Stangl, and Jeffrey P. Bigham. VizWiz-Priv: A dataset for recognizing the presence and purpose of private visual information in images taken by blind people. In CVPR, pp. 939-948, 2019.

[7] Adria Recasens*, Aditya Khosla*, Carl Vondrick, and Antonio Torralba. Where are they looking? In NIPS, Vol. 1, pp. 199-207, 2015.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[9] Sewon Min, Julian Michael, Hannaneh Hajishirzi, and Luke Zettlemoyer. AmbigQA: Answering ambiguous open-domain questions. In EMNLP, pp. 5783-5797, 2020.

[10] Svitlana Vakulenko, Shayne Longpre, Zhucheng Tu, and Raviteja Anantha. Question rewriting for conversational question answering. In WSDM, pp. 355-363, 2021

[11] Vaibhav Kumar and Alan W Black. ClarQ: A large-scale and diverse dataset for clarification question generation. In ACL, pp. 7296-7301, 2020.

[12] Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Pseudo ambiguous and clarifying questions based on sentence structures toward clarifying question answering system. In DialDoc, pp. 31-40, 2022 .

[13] Danna Gurari and Kristen Grauman. Crowdverge: Predicting if people will agree on the answer to a visual question. In CHI, pp. 3511-3522, 2017.

[14] Nilavra Bhattacharya, Qing Li, and Danna Gurari. Why does a visual question have different answers? In ICCV, pp. 4271-4280, 2019.

[15] Yining Li, Chen Huang, Xiaoou Tang, and Chen
Change Loy. Learning to disambiguate by asking discriminative questions. In ICCV, pp. 3419-3428, 2017.

[16] Ron Mokady, Amir Hertz, and Amit H Bermano. ClipCap: CLIP prefix for image captioning. arXiv:2111.09734, 2021.

[17] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP benefit vision-andlanguage tasks? In ICLR, 2022.

[18] Radford, Alec and Kim, Jong Wook and Hallacy, Chris and Ramesh, Aditya and Goh, Gabriel and Agarwal, Sandhini and Sastry, Girish and Askell, Amanda and Mishkin, Pamela and Clark, Jack and Krueger, Gretchen and Sutskever, Ilya. Learning transferable visual models from natural language supervision. In ICML, Vol. 139, pp. 8748-8763, 2021.

[19] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale Japanese image caption dataset. In ACL, pp. 417-421, 2017.

[20] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[21] Tianyi Zhang* and Varsha Kishore* and Felix Wu* and Kilian Q. Weinberger and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In ICLR, 2020.

[22] Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In ICCV, pp. 618-626, 2017.


# 頑健な $\mathrm{FAQ$ 検索に向けた Prompt-Tuning を用いた関連知識の生成
}

1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{ninomiya_hirotaka, hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

チャットボットが提供する機能の一つに，よくあ る質問集（FAQ: Frequently Asked Questions）を用い てユーザの質問に回答する FAQ 検索がある．FAQ 検索では，目的語が欠落しているなど，与えられる 質問が不明瞭なことが多く，検索精度の低下の要因 となり得る。そこで，我々は言語生成モデルを用い て質問の明確化を行い，FAQ 検索に活用する手法 を提案する。質問の明確化のためにモデルが獲得 すべき知識がドメインごとに異なることから，言語生成モデルの学習コストを抑えることができる Prompt-Tuning を用いた. チャットボット事業で収集したデータを用いた実験では 3 ドメインにおいて 提案手法の有効性を検証した。

## 1 はじめに

カスタマーサポートの分野において注目を集め ているチャットボットは，現在多くの企業において ユーザの課題解決を促すツールとして導入されてい る.そして，チャットボットが提供する機能の一つ である FAQ 検索は現在盛んに研究が行われている [1][2].

FAQ 検索では，事前に定義した FAQ の中からユー ザ質問との類似度が高い FAQ を選択する。この時， ユーザ質問と FAQ の間で表記が異なることが多く，質問の意味を考慮する必要があることから，我々 は事前学習済み言語モデルを用いた検索モデルを 構築している．特に，オープンドメイン質問応答 や日本語クイズタスク JAQKET[3][4] において有効性が確認された Dense Passage Retrieval[5] の検索器 （Retriever）を利用している.

FAQ 検索はオープンドメイン質問応答と異なり，検索対象となるテキスト集合が数十件から数百件程度の小規模な FAQ のデータベース（FAQDB）であ
るが，与えられるユーザ質問は比較的短く不明瞭な 傾向にあり，回答が困難なタスクと考えられる。例 えば，「入りたいのに入れません」というユーザ質問は「入りたい」に対する目的語が欠落しているた め一般的には回答不能であるが，FAQ 検索の場合は 検索対象が FAQDB に絞られるため，「マイページに 入れません」といった質問とマッチすれば良いと推察できる。このことから，ユーザ質問を明確化する テキストを補足することができれば，より正確に回答を提示できる可能性がある．そこで，本研究では 与えられたユーザ質問からそれを明確化するテキス トを生成するモデルの学習を目指す。

ただし，FAQ 検索は複数のドメインで導入される ことが多く，大規模な言語生成モデルをドメインご とに学習すると学習コストが膨大になる。そこで言語生成モデルの学習には Prompt-Tuning[6] を用いる. Prompt-Tuning では，質問の明確化に必要な情報を固定長の単語列としてモデルへの入力単語列の前方に 付与し，その埋め込みべクトルを学習によって最適化する。これにより，それらの埋め込みべクトルを 変更するだけで単一の言語生成モデルを複数のド メインに適応可能となるので，学習コストが抑えら れる。

言語モデルの発展に伴い，多くのタスクにおいて 事前学習済みモデルの Fine-Tuning が効果的である ことが確認される一方で，事前学習済みモデルの大規模化により Fine-Tuning が困難な場合がある。そ こで，GPT-3[7] では Prompt と呼ばれるテキストを 与えることで，事前学習済みモデルの重みを更新せ ずに，広範囲のタスクを解くことが可能であるこ とが確認された。さらに，Prompt に関する従来研究 [8][9] によると, Prompt を適切に設定することに よって事前学習済みモデルを用いて事実や常識に 関するテキストを生成することが可能であること が確認されたことから，Prompt が重要な役割を果

たすことがわかる．ただし，タスクの説明等に関す る Prompt は人手で作成する必要があるため, 事前学習済みモデルにとって最適な単語列であるとは 限らない. そこで，先頭に固定長の単語列を付与 し, それらに対する埋め込みべクトルを学習パラメ タとして自動的に最適化する Prompt-Tuning が提案 された [6][10]. これより, 我々は質問の明確化に必要なドメインごとの知識を Prompt に埋め込むよう に学習できる可能性を考慮し, 言語生成モデルを Prompt-Tuning する.

## 2 FAQ 検索

本研究で扱う FAQ 検索の処理を図 1 に示す. FAQ 検索とは，事前に定義された FAQDB から，ユーザ 質問に最も適する FAQを選択するタスクである。例えば図 1 のように，「銀行振り込みの自動更新に ついて教えて欲しい」といったユーザ質問が入力さ れた場合，システムはFAQDB を検索する。ここで FAQDB は (1) 拡張質問 $Q^{\prime}$, (2)FAQ 質問 $Q$, (3)FAQ 回答 $A$ を 1 組とする FAQ の集合である。通常，FAQ は質問と回答のペアで表されるが，質問の複数の言 い換え表現として拡張質問 $Q^{\prime}$ を設定することで検索精度が向上することが知られている [11]. 最終的 に検索結果上位 1 件の拡張質問に対応する FAQ 回答をユーザに提示する。

検索モデルは Retriever と Reranker で構成される. Retriever は与えられたユーザ質問と検索対象とな る拡張質問を個別にベクトルに変換する Bi-Encoder である. さらに，ユーザ質問と FAQ の単語間の Attention 計算が有効であると考え, Retriever の検索結果上位 $K （$ 実験では $K=5 ）$ 件を BERT[12]をべー スとする Rerankerに与え，出力スコアを元にリラ ンキングを行う. 実験では, Retriever の検索結果と Rerankerによるリランキングの結果を比較する.

学習時, Retriever はユーザ質問 $q$ に対する Encoder の出力ベクトルと FAQ 質問 $Q$ に対する Encoder の 出力ベクトルの類似度を式 (1)により算出する.

$
\operatorname{sim}(q, Q)=E_{q}(q)^{T} E_{Q}(Q)
$

ここで $E_{q}, E_{Q}$ はそれぞれユーザ質問 $q$ と $\mathrm{FAQ}$ 質問 $Q$ に対する Encoderを， ${ }^{T}$ は転置を表す。 $i$ 番目の事例において $q_{i}$ をユーザ質問, $Q_{i}^{+}$を正例の $\mathrm{FAQ}$ 質問， $Q_{i, j}^{-}$を $j$ 番目の負例の FAQ 質問， $n$ を負例の FAQ 質問の総数, 訓練データの件数を $m$ とすると,訓練データは $D=\left.\{\left.\langle q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right.\rangle\right.\}_{i=1}^{m}$ と表さ

図 $1 \mathrm{FAQ}$ 検索の処理

れる. Retriever は式 (2)の損失関数が最小になるよ うに学習される. ユーザ質問と正例の FAQ 質問が 類似しているほど損失が小さくなり，負例の FAQ 質問との類似度が高いほど，式 (2) の損失は大きく なる。

$
\begin{aligned}
& L\left(q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right) \\
& \quad=-\log \left(\frac{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q, Q_{i, j}^{-}\right)}}\right)
\end{aligned}
$

推論時はユーザの多様な言い回しに対応するため に，FAQ 質問ではなく拡張質問を用いて検索を行 う. つまり，拡張質問を $Q^{\prime}$ とすると式 (3)により類似度を計算し，最も類似度が高い拡張質問に対応す る FAQ 回答を選択する。

$
\operatorname{sim}\left(q, Q^{\prime}\right)=E_{q}(q)^{T} E_{Q}\left(Q^{\prime}\right)
$

Rerankerを用いる場合，Retriever の検索結果の上位 $K$ 件から “[CLS]（ユーザ質問 $q$ ）[SEP]（拡張質問 $Q^{\prime}$ ）[SEP]”という単語列を $K$ 件作成し，それぞれ Reranker に与えてリランキングスコアを算出する. Reranker は BERT と全結合層 1 層からなり，ユーザ 質問 $q$ と拡張質問 $Q^{\prime}$ が正例のペアかどうかの二値分類を行い，softmax 関数の正例に対する出力値を リランキングスコアとする.

訓練データは Retriever と同様の訓練データを用い て正例を作成し，さらに FAQDB から答え以外の拡
張質問をランダムサンプリングすることで各事例に 対して負例を 2 件作成する。

## 3 提案手法

不明膫なことが多いユーザ質問に対して質問を明確化するようなテキスト（以降，関連知識）を付与 することができれば検索精度が向上する可能性があ る.そこで，我々は言語生成モデルを用いた関連知識の生成を提案する. 生成されたテキストはユーザ 質問に付与して Retriever もしくは Reranker に入力 し，学習と推論に用いる。

## 3.1 Prompt-Tuning

図 2 Prompt-Tuning の概要図

Prompt-Tuning では，入力単語列の前に固定長の単語列を付与し，そのドメインにおける関連知識を埋 め込むこととする．学習時，言語生成モデルの重み は固定され, 付与される単語列の埋め込みベクトル は学習によって最適化される. Prompt-Tuning に関 する概要図を図 2 に示す.

Prompt-Tuning の学習方法として 2 通りを実験す る. まず，FAQ 検索に関する従来研究 [11] では拡張質問と FAQ 質問の対応関係をモデルに学習させる ことで $\mathrm{FAQ}$ 検索システムを構築していることから， これを参考に拡張質問から $\mathrm{FAQ}$ 質問を生成するよ うに言語生成モデルを学習させる $(G L M w / F A Q D B)$. ただし，拡張質問と FAQ 質問は事前に定義される テキストである一方で，ユーザ質問はチャットボッ ト内でユーザが記述したテキストであるため，それ らの間には表記や質問内容の粒度の違いが存在し，言語生成モデルがユーザ質問から関連知識を上手く 生成できない可能性がある。そこで 2 つ目に，訓練 データのユーザ質問からそれに対する正例の FAQ 質問を生成するように学習させる（GLM w/TRAIN）。言語生成モデルとしては，公開されている日本語版の $\mathrm{GPT}-2^{1)}$ と GPT(1b) $)^{2}$ を用いる.

1) https://huggingface.co/rinna/japanese-gpt2-medium

2) https://huggingface.co/rinna/japanese-gpt-1b表 1 ドメイン別のデータセットの事例数

生成されたテキストはユーザ質問に付与する.

Retriever の場合，ユーザ質問に対する $\operatorname{Encoder} E_{q}$ の 入力単語列は，“[CLS]（ユーザ質問 $q$ ）[SEP]（生成 されたテキスト）［SEP]”となる。一方で Reranker の 場合，入力単語列は “[CLS]（ユーザ質問 $q$ ）[SEP] （拡張質問 $Q^{\prime}$ ） [SEP]（生成されたテキスト）[SEP]" となる。

実験では，同様のデータで GPT-2を Fine-Tuning し た場合 [13] と比較する。

## 4 実験

チャットボット3)で収集したデータセットを用い て提案手法の有効性を検証する。データセットは 3 つのドメインからなり，ドメイン $\mathrm{A}, \mathrm{B}, \mathrm{C}$ と表記す る.これらは互いに異なる事業で導入されたチャッ トボットから収集されたデータである. ドメインご とのデータセットの作成方法は従来研究 [14] に倣 い，事例数は表 1 に示す.

## 4.1 実験設定

Retrieverを構成する 2 つの Encoder と Reranker の 重みの初期値には, 公開されている日本語事前学習済み $\mathrm{BERT}^{4}$ の重みを用いる。学習時のパラメタは 付録 A に記載する. 以降, Fine-Tuning された GPT-2, Prompt-Tuning された GPT-2, Prompt-Tuning された GPT(1b) をそれぞれ ftGPT-2, ptGPT-2, ptGPT(1b) と 表記する。また，ベースラインとして利用する BM25 [15] では，FAQDB の拡張質問の集合から IDF 值をドメインごとに計算し，名詞と動詞原型のみ用 いて算出する. Reranker の推論時は，言語生成モデ ルを用いずに Retrieverによる検索を行い，その検索結果の上位 $K$ 件に対して Rerankerによるリランキ ングを行う．評価指標には，検索結果の上位 1 件の 精度である Top1 Accuracy を用いる.

## 4.2 実験結果

実験結果を表 2 に示す. Retriever と Rerankerを比較すると，ドメイン A とドメイン B においては

3) https://www.ai-messenger.jp

4) https://huggingface.co/cl-tohoku/bert-base-japanese

Reranker の検索精度が高い値となった. これはユー ザ質問と拡張質問を連結して Rerankerで単語間の Attention 計算を行っており，この点がリランキング に効果的であったと考えられる。

言語生成モデルで生成されたテキストを付与 したことに対する実験結果によると，ドメイン B では Reranker w/ptGPT(1b) が最も高いことから， Prompt-Tuning によって学習させた言語生成モデル が効果的な関連知識を生成することができたと考え られる。一方で，ドメイン A とドメイン Cではそ れぞれ Reranker,BM25が最も高い結果となった. し たがって，言語生成モデルによる質問の明確化は全 てのドメインにおいて有効であるとは限らないとい える。

次に言語生成モデルの学習手法 2 つそれぞれに ついて述べる. まず $G L M w / F A Q D B$ の場合，ドメイ ン B で ftGPT-2, ptGPT-2, ptGPT(1b) 全てにおいて検索精度が向上した一方で, Reranker の検索精度と比較するといずれも低い。したがって，今回の手法で は質問の明確化よりも，単純に Reranker を利用する ことの方が効果的であるといえる。ただし，ドメイ ン B において Reranker は ptGPT(1b) のみ検索精度が 向上した. これより, モデルサイズが生成される関連知識の質に影響する可能性があることがわかる。次に，GLM w/TRAIN の場合，ドメイン B で Retriever
では ftGPT-2, ptGPT-2, ptGPT(1b)の全てで検索精度 が向上した一方で，Reranker では全て検索精度が低下した。これは Reranker と言語生成モデルの訓練 データが同じであり，生成した関連知識が Reranker にとって不要であったと考えられる。

## 4.3 今後の展望

実験結果によると，ドメイン Cでは BM25 が Retriever と Rerankerを上回った. FAQ 検索ではドメ イン次第で効果的な手法が異なることが経験的にわ かっているため，BM25 のような表層形を用いた検索と Retriever や Reranker のような機械学習モデル を用いた検索を上手く組み合わせることが重要であ る. さらに，今回扱った FAQ 検索特有の問題である 質問の不明瞭さへの対処として質問の明確化を行う ことで頑健な手法を検討したい.

また, 実験結果から ftGPT-2 と ptGPT-2 による学習手法の比較と, ptGPT-2 と ptGPT(1b) によるモデ ルサイズの比較を行った場合でも一貫した傾向は確認されなかった．モデルサイズと関連知識の質に関 して今後の調査を検討中である。

生成されたテキストを確認すると，いずれのモデ ルの場合においても入力単語列がそのまま出力され る場合や意味の通らない単語列が生成される場合が 確認された。言語生成モデルによる安定した関連知識の生成が今後の課題である.

## 5 おわりに

本研究では，FAQ 検索におけるユーザ質問の不明瞭さへの対処として，言語生成モデルで質問の明確化を行い，特定のドメインにおいては検索精度が向上することを示した．今回実験したドメインにおい ては Fine-Tuning が困難である大規模な言語生成モ デルを Prompt-Tuning することで関連知識の生成が 可能であることがわかった. しかし，実験中の全て のドメインにおける一貫した検索精度の向上は確認されなかった. 今後は安定した関連知識の生成を 検討しつつ，より頑健な FAQ 検索手法の構築を目指す.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，下山翔氏にこの場を借りて厚く御礼申し上げ ます。

## 参考文献

[1] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[2] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised FAQ retrieval with question generation and BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 807-812, Online, July 2020. Association for Computational Linguistics.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット の構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ インqaにおける dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[5] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[6] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52035212, Online, June 2021. Association for Computational Linguistics.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[8] Fabio Petroni, Tim Rocktäschel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H. Miller, and Sebastian Riedel. Language models as knowledge bases? CoRR, Vol. abs/1909.01066, , 2019.

[9] Joshua Feldman, Joe Davison, and Alexander M. Rush. Commonsense knowledge mining from pretrained models. CoRR, Vol. abs/1909.00505, , 2019.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Haytham Assem, Sourav Dutta, and Edward Burgin. DTAFA: Decoupled training architecture for efficient FAQ retrieval. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 423-430, Singapore and Online, July 2021. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[14] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用 いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[15] Stephen Robertson, Hugo Zaragoza, et al. The probabilistic relevance framework: Bm 25 and beyond. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

## A 学習時のパラメタ

Retriever と Reranker の Fine-Tuning 時の学習率は $1 \times 10^{-5}$ （warmup rate=10\%）とし, Optimizer は Adam を用いる. Retriever の Fine-Tuning 時の Epoch は 10, バッチサイズは 64 とする. Rerankerの Fine-Tuning 時 の Epochは2，バッチサイズは 32 とし, Cross Entropy Loss を最小化するように学習させる. Retrieverと Reranker の入力最大長はそれぞれ 50 トークン， 100 トークンであり，超過する単語列は削除される。

言語生成モデルである GPT-2 と GPT(1b) は, Prompt-Tuning と Fine-Tuning 両方において学習率 は $1 \times 10^{-5}$, バッチサイズは 8 , Dropout 率は 0.1 , Optimizer は Adam を用いる. 学習時の Epoch はドメ インによって異なり，ドメイン $\{\mathrm{A}, \mathrm{B}, \mathrm{C}\}$ はそれぞ れ GLM w/FAQDB の場合 $\{30,30,100\}$ とし, GLM $w / T R A I N$ の場合 $\{3,5,10\}$ とする. Prompt-Tuning に関しては Prompt に対する埋め込みベクトルのみ 更新され，事前学習済みの言語生成モデルの重みは 固定する. Prompt-Tuning 時の付与される単語列は 20 トークンとする．実装には huggingface を用いて おり, Prompt に対する正解ラベルは-100を設定する ことで関連知識と無関係な損失が計算されないよう に設定している.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語の Math Word Problems に対する深層学習モデルの適用 とデータ拡張の検証

村田夏樹柴田千尋
法政大学 理工学部 創生科学科
natsuki.murata.4d@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

Transformer などの近年の深層学習モデルは，多く の自然言語理解を必要とするタスクで高い性能を 記録している.しかし，数学や物理の文章題などの 定量的な推論が必要なタスクでは，近年の言語モデ ルでも十分な結果を残せていない [1]. 本稿では, Math23Kというデータセットを利用して，日本語 MWP タスクに対して，既存の深層ニューラルネッ トモデルを組み合わせたモデルを適用し，検証を行 う.なお，Math23K データセットの問題文は，中国語で書かれているため，機械翻訳を用いて問題文を 日本語に翻訳しデータとして用いる. モデルの組 み合わせとしては， Goal-driven Tree Structured (GTS) ネットワーク， BERT, および Graph2Tree の 3つを 組み合わせたものを用いる. 特に，BERT - GTS の 組み合わせと， BERT - Graph2Tree - GTS の組み合わ せの比較を行う. 後者は, 問題文中のトークンの BERT の埋め込み表現をノードとして持つ特定のグ ラフを，中間表現として用いて，その後グラフ畳み 込みを行う手法であり，実際に後者のほうが精度が 高くなることを示す. さらに，解答となる数式を表現する木構造の可換ノードの置換や, 問題文中の単語の置き換えによるデータ拡張により，精度の向上 が見込めるかについて，検証を行う。

## 1 はじめに

Transformer に代表される最近のニューラル言語モ デルは，一般的に言って，自然言語理解を必要とす るような多くのタスクにおいて, 高い精度を達成し ているものの, 例えば，数学や物理の文章問題など の定量的な推論が必要なタスクでは，近年の言語モ デルを用いても解答が難しいケースがおおく，未だ 改善の余地が多く残されていることが知られてい る [1]. その中でも, Math Word Problems (MWP) は,文章問題から適切な数式を生成して，数式の演算を 通して解答を求めるタスクである。このタスクで は，文章中にはないが，数式の木構造の中に必要と なる 1 や $\pi, e$ といった推論が必要な問題などがあ るため, 現在も発展中のタスクである。既存の手法 の例として，事前学習済みモデルを使用した手法 や，木構造を取り入れた手法などがある。このタス クが抱える問題の一つに，データ数が十分でなく，推論が必要な問題について，十分に学習できない. Zhang ら [2] は， Math23K という数学に関する文章題のデータセットで， $77.4 \%$ の正解率 (出力された 計算式の計算結果の一致率) を得ている. しかし, Math23K は，中国語の問題文と解答となる式からな るデータセットであり，問題文が日本語の場合にお いて，同様の精度が得られるかについては，検証が 求められる.

そこで，本研究では，Math23Kを機械翻訳サービ スを用いて，中国語を日本語に翻訳してデータと して用い，BERT 及び Graph-to-Tree (Graph2Tree) を 用いて，日本語の数学の問題を解答するタスクを 学習させる. さらに, Graph2Tree に含まれる Graph Convolution Network (GCN) [3] がどのようなグラフ を生成するのかを検証するため，中間表現として構築されるグラフを可視化して検討を行う. 最後に， データ拡張を行うことで，本タスクにおける式の 精度と答えの精度に対し，効果があるのかを検証 する。

## 2 関連研究

## 2.1 BERT

BERT [4] は, Transformer モデルであり, 事前学習済みの BERT モデルを活用することにより，多くの 自然言語処理のタスクで高い精度を期待すること ができる．BERT の事前学習では，Masked Language

Model と Next Sentence Prediction の 2 つの事前学習 を行う，それぞれ行うタスクは，入力したトークン の一部にマスクをし，前後の情報から，マスクした 箇所の内容を予想するタスクと，2つの文章を大力 して，連続した文章かどうかを判定させるタスクで ある. 事前学習を行なった BERT は，入力の文章や トークンに対する，文脈を考慮した一般的な知識が 何らかの形で内部に獲得されていると考えられる ため， fine-tuneを行うことで，特定のタスクに対し て，高い精度を出すことが可能である.

## 2.2 Goal-driven Tree Structured Network

Goal-driven Tree Structured Netowrk (GTS) [5] は，表現木を生成するためのエンド to エンドの手法で，数式を表現する木構造の生成するニューラルネット ワークである. 生成する数式の木は， 2 分木であり, ルートノードから順に，演算記号が入り，左右の子 ノードには，数字あるいは記号が入る構造が再帰的 に取られている. 即ち, 数字または変数が入るノ一 ドは，葉ノードに対応し，演算記号が入るノード は，節ノードに対応する。

GTS のネットワーク構造について概要を説明す る.まず，入力問題文を単語トークンに変換し，各 トークンごとの埋め込み表現にしたのち，双方向 Gated Recurrent Unit (GRU) [6] に入力する. その後, GRU の出力結果から，数式の木を再帰型ニューラ ルネットワークを用いて生成する。 あるノードに対 して，アテンションを用いて文脈ベクトルを得たの ち，そのノードのラベルの確率，つまり，変数また は演算子（+ や×等）の確率を，文脈ベクトルを用 いて計算する. その後, 子ノードの文脈ベクトル を，順伝播型ネットワーク $(\mathrm{FCN})$ に通した結果およ び GRU の出力結果から再帰的に計算することを繰 り返すことで, 最終的に, 正解となる数式全体を生成するように学習する。

## 2.3 Graph-to-Tree

Graph2Tree [2] は， GCN [3] を含むモデルであり， 2 種類のグラフから構成され，数量間の関係や，文章の情報をグラフ構造で捉えることができる.

グラフ内のノードの内，ある量に関連する部分集合を数量セルと定義する. 数量セルが作るグラフ は，数量セルグラフと数量比較グラフを作る. 数量 セルグラフは，情報量の多い単語を数と関連付け，表現を豊かにすることができる．また，数量比較グ
ラフは，数の数值的性質を保持し，数量間の関係を 保持し，数量間の関係の表現を改善することができ る. 2 つのグラフを隣接行列で表し，この隣接行列 と特徴を表す行列（事前にLSTM などで得られた表現）を GCNに入力し，その後，得られた表現を連結した結果に対して，正規化と残差接続，また FCN 等を行うことで，問題文が最終的にエンコードされ た表現を得る。

## 3 提案手法

## 3.1 BERT と Graph2Tree を用いたモデル

本研究で用いるモデルの概要を図 1 に示す.ま ず，事前学習済みの BERTを使用して，文章題を入力し, 得られた埋め込み表現を得る. 次に，その埋 め込み表現から，前章で述べた Graph2Tree を使っ $\tau$ ，中間の埋め込み表現を得る. 最後に，得られた 中間表現から数式の木を生成する.

図 1: 使用するモデルの概要図

## 3.2 データセットの日本語化

## 3.2.1 Math23K

本研究では，Wang らの研究 [7] で提案されたデー タセット，Math $23 \mathrm{~K}^{11}$ を日本語に翻訳したものを使用する。この Math $23 \mathrm{~K}$ は, 中国語で書かれた問題文，式及び答えから構成され，データ数は，23,162 件ある.

## 3.2.2 前処理

まず，日本語のデータセットを作成するため， DeepL ${ }^{2)}$ という機械翻訳サービスを使用して，日本語に翻訳した。翻訳前（中国語）の文章と翻訳後 （日本語）の文章に含まれる数の集合（以後、「数集

1) https://ai.tencent.com/ailab/nlp/dialogue/

2) https://www.deepl.com/translator.html
合」と呼ぶ）を比較して，翻訳後の数集合が不足し ているデータは，削除した．使用したデータと削除 したデータの例をそれぞれ図 2 と図 3 に示す.

図 2: 使用したデータの例

 & \\

図 3: 削除したデータの例

図 2 では，翻訳前では， 2 及び 11 があり，翻訳後 でもこれらの数字があるため，このデータセットは 使用する。一方，図 3では，翻訳前では，5，25，45 及び 450 があるが，翻訳後では，5，25 及び 45 が ないため，削除する．削除したことにより，データ セットは，20,260 件になった.

## 3.3 データ拡張

本研究では，以下の二つのデータ拡張を行い，結果にどのような影響を与えるかを検討する。

一つ目は，正解の数式木に対するデータ拡張であ る. Math23Kで与えられる式は, 各問題分に対し, 1 つの式しか用意されていない. そこで，加法交換法則と乗法交換法則に着目し，交換可能な部分木をラ ンダムに交換することでデータ拡張を行う．拡張前後で，別の木構造について学習させる. ただし，や:だけで構成された式は，データ拡張できない.

表 1: 数式のデータ拡張の例

二つ目は，文章題の単語に一定の割合でマスクを かけるデータ拡張を用いて実験を行う．ただし，マ スクをかける際，数字にはマスクがかからないよう にする。

表 2: マスクの例

## 4 実験

## 4.1 実装

本実験では，BERT の事前学習済みモデルとして，東北大学のもの3）を用いた. また，節 3.1 で述べた モデルを学習する際に用いたハイパーパラメータ を，表 3 に示す。

表 3: 使用した関数及びハイパーパラメータ

 \\

## 4.2 Graph2Tree の有無による精度の比較

まず，Graph2Tree が与える影響を検証するため に，Graph2Treeを用いた場合と用いていない場合の 精度を比較を行う. 式の精度については, 生成した 式 (木構造) と模範解答が一致していない限り不正解 として取り扱う。

表 4: Graph2Tree 有無による精度の比較

表 4 より，BERT - Graph2Tree - GTS では，式の精度は向上しないが，答えの精度については，8\%ほ ど上昇することがわかる. Graph2Treeを用いること で，式の形が違っていても答えに辿り着く可能性が 上がることが分かる.

3) https://huggingface.co/cl-tohoku/bert-large-japanese

## 4.3 GCN のグラフの検討

前節の実験結果から，Graph2Tree を入れること で，精度が上がることが確かめられた。一方で， Math23K 中国語のデータセットに対して報告されて いる精度 (77.4\%) [2] に比較すると精度が低いことが わかる．そこで，この節では，その原因を検証する ために, Graph2Tree に含まれる GCNが，どの程度，意図したグラフを正しく生成できているのかを確認 するために，数量セルグラフと数量比較グラフを可視化を行う. 入力した文章は, 「2 台の車 $\mathrm{A}, \mathrm{B}$ が同時に A, B から反対方向に走り, 2 時間半後に途中 で出会う. 車 $\mathrm{A}$ の速度は $90 \mathrm{~km} / \mathrm{h}$, 車 B の速度は車 A の速度の (4/5) であることが分かっている. A と B の間の距離は何キロメートルくらいか聞いてみて ください.」を入力した. ただし，どちらの図につ いても，エッジがないノードや自己ループは可視化 していない.

(a) 数量セルグラフ

(b) 数量比較グラフ図 4: 例文より得られる Graph2Tree によるグラフ表現

図 $4 \mathrm{a}$ と図 $4 \mathrm{~b}$ は同一の文章から生成している. 図 4a は，単語毎のノードがあり，それを結び，ノード の $0 ， 1$ は，問題文の「2」と「台」に相当する. ま た，表示はしていないが，図 $4 \mathrm{a}$ では，エッジが結べ ていないノードが 92 個ある。つまり，数量セルグ ラフが，日本語における単語間の情報を結ぶエッジ を十分に結べていないことが分かる。

図 $4 \mathrm{~b}$ は，文章中にある数字を使って，数の関係性について学習をし，ノードの $0,23 ， 42$ と 60 は，問題文の $2 ， 2 ， 90 ，(4 / 5)$ に相当する. 図 $4 \mathrm{~b}$ では,数が小さい方から大きい方へ矢印を引いて，数量の 関係性について表現している。

## 4.4 データ拡張

式の精度は，前述の通り，Math23K に用意され ている正答の木と完全一致を見るため，データ拡張 を行う際，使用するモデルは，BERT - Graph2Tree GTS を使用して実験を行う．まず，数式をデータ拡表 5: 数式のデータ抳張

表 6: 単語のマスク

張した実験結果を表 5 に示す. データ拡張後では，式の精度は下がっているものの，答えの精度として は同程度となっている事がわかる。

次に，問題文にマスクをかけた実験では，50\%の 確率で maskをかけた． maskをかける単語について は，エポック毎にランダムで選択させた。単語にマ スクをかけた実験結果を表 6 に示す。単語にマスク をかけた場合も，同様に，式及び答えの精度に大き な差は見られていない.

どちらのデータ拡張の方法についても，本稿で用 いたモデルに対して有効かどうかは，差が僅かであ るため，さらなる検証が必要である.

## 5 おわりに

本研究では，他の言語のデータセットを日本語化 し，BERT や Graph2Tree を用いて，実験を行った. また, 日本語データ入力時における Graph2Tree で得 られるグラフ表現について，検討を行った. 二種類 のデータ拡張を用いた実験では，少なくとも現在の ネットワーク構成においては，式と答えの精度の観点から見て，効果は限定的であるという結果になっ た. 今後の展望として，より数式生成にふさわしい と考えられるグラフ表現の抽出方法，および，グラ フ構造を大きく変えるようなデータ拡張方法を探求 してゆく予定である.

## 謝辞

法政大学大学院理工学研究科システム理工学専攻 の辺見一成氏には，実験を行う際のプログラムの修正などご助言を頂きましたことを深く感謝申し上げ ます. 本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです。

## 参考文献

[1] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models, 2022.

[2] Jipeng Zhang, Lei Wang, Roy Ka-Wei Lee, Yi Bin, Yan Wang, Jie Shao, and Ee-Peng Lim. Graph-to-tree learning for solving math word problems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3928-3937, Online, July 2020. Association for Computational Linguistics.

[3] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhipeng Xie and Shichao Sun. A goal-driven tree-structured neural model for math word problems. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5299-5305. International Joint Conferences on Artificial Intelligence Organization, 72019.

[6] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[7] Yan Wang, Xiaojiang Liu, and Shuming Shi. Deep neural solver for math word problems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 845-854, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020.


# MixLinkBERT: A Language Model pretrained with Multiple Types of Linked Documents for Multi-hop Question Answering

Dongming $\mathrm{Wu}^{1,2}$ Ryu Iida ${ }^{1,2}$ Jong-Hoon $\mathrm{Oh}^{2}$ Kentaro Torisawa ${ }^{1,2}$
${ }^{1}$ Nara Institute of Science and Technology, Graduate School of Science and Technology
${ }^{2}$ National Institute of Information and Communications Technology,
Data-driven Intelligent System Research Center
wu. dongming. wa9@is. naist. jp
\{ryu. iida, rovellia, torisawa\}@nict. go.jp

## Abstract

Multi-hop question answering is the question answering that requires understanding and reasoning over multiple documents to find answers. In this work, we focus on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We develop MixLinkBERT, a language model pretrained with multiple types of linked documents. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA.

## 1 Introduction

Multi-hop question answering (QA) is the question answering that requires finding, understanding and reasoning over multiple documents to find answers. Table 1 shows an example of multi-hop question in HotpotQA [1], a multi-hop QA dataset. To answer the question in this example, we need information of "the auto manufacturer headquarted in Minato, Tokyo, Japan" and "the auto manufacturer that Nissan acquired controlling interest in". These two pieces of information may exist in two different documents separately, such as the two Wikipedia articles shown in Table 1. In this case, finding, understanding and reasoning over these documents are necessary to answer this question.

The prevailing structure of QA systems for both conventional single-hop QA and multi-hop QA in these years mainly consists of two components, a retriever and a reader $[2,3,4]$. Given a question, a retriever first retrieves several candidate documents from a large set of documents, such as all Wikipedia articles, or documents
Table 1: An example of multi-hop question in HotpotQA [1].

collected from the internet. Then a reader extracts the answer from these candidate documents. Like many other NLP tasks, recent works of multi-hop QA [3, 4] fine-tuned pretrained language models (LMs), such as BERT [5], RoBERTa [6], ELECTRA [7], to use them as a retriever and a reader in their QA methods. For example, Xiong et al. [4] fine-tuned a pretrained RoBERTa as their retriever and fine-tuned a pretrained ELECTRA as their reader.

To improve performance of multi-hop QA, new QA system structures or new fine-tuning methods have also been explored [3, 4]. In addition, pretraining LMs suitable for multi-hop reasoning on downstream tasks has been attempted. For example, Yasunaga et al. [8] developed LinkBERT, a LM that learned multi-hop knowledge (the
knowledge that spans across multiple documents) by leveraging hyperlinks in documents. The experimental results showed that LinkBERT achieved a better performance on multi-hop QA than BERT, which was pretrained without hyperlinks and cannot learn multi-hop knowledge.

In this work we develop a new language model pretrained with multiple types of linked documents, called MixLinkBERT. Along with the hyperlinks in the main texts in Wikipedia articles, which were used by LinkBERT, MixLinkBERT additionally uses hyperlinks in infoboxes in Wikipedia. An infobox in Wikipedia is a table often shown in upper right of a Wikipedia article and represents a summary of important information about the subject of an article by a set of attribute-value pairs. For example, Figure 1 shows part of the infobox of "Slam Dunk (manga)". The infobox contains attribute-value pairs like "genre-comedy", "author-Takehiko Inoue", "publisher-Shueisha". An important point here is that infoboxes sometimes contain useful hyperlinks that do not appear in the main texts of Wikipedia articles. Therefore, the text that is reachable via hyperlinks in infoboxes can introduce potentially useful knowledge that cannot be leveraged in LinkBERT.

We compare MixLinkBERT with BERT and LinkBERT on HotpotQA. MixLinkBERT outperforms BERT by $+1.5 \%$ in answer $\mathrm{F} 1$ and $+1.1 \%$ in joint $\mathrm{F} 1$, and outperforms LinkBERT by $+0.8 \%$ in answer $\mathrm{F} 1$ and joint F1. These results suggest that a wider range of hyperlinks helps LMs learn a wider range of multi-hop knowledge.

Figure 1: Part of the infobox of "Slam Dunk (manga)"

## 2 Related Work

## 2.1 LinkBERT

Figure 2: The overview of pretraining of LinkBERT

[8]. (We drew this figure based on [8].)

Levine et al. [9] showed that in training of neural LMs, it is desirable to put a pair of text segments in the same training instance for learning strong dependencies between the pair of text. According to this observation, Yasunaga et al. [8] proposed LinkBERT, a LM that can learn multi-hop knowledge by leveraging hyperlinks in documents. Yasunaga et al. [8] placed text of hyperlinked documents in the same training instances, in addition to text of a single document or random documents as training instances of BERT [5]. Figure 2 shows the pretraining method of LinkBERT. LinkBERT has two training objectives, masked language modeling (MLM) and Document Relation Prediction (DRP). MLM objective is same as the MLM objective in BERT [5]. DRP classifies the relation of the two segments of an input sequence (segment A and segment B in Figure 2) into three classes: contiguous, random and linked. Corresponding to these three classes, there were three types of training instances in LinkBERT. In the following, we call these three types of training instances (1) contiguous-relation instances, (2) random-relation instances and (3) hyperlinked-from-text relation instances. Yasunaga et al. [8] created training instances for LinkBERT from Wikipedia as follows. To create each of their training instances, they first sampled an article from Wikipedia as document A, and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then for each of (1) contiguous-relation instances, they sampled a contiguous
segment of segment A from the same document as segment B. For each of (2) random-relation instances, they randomly sampled another article from Wikipedia as document $B$ and sampled a segment from document $B$ as segment B. For each of (3) hyperlinked-from-text relation instances, they sampled an article that is hyperlinked from the main text of document $A$ as document $B$ and sampled a segment from document $B$ as segment $B$. Then they concatenated segment $A$ and segment $B$ via special tokens to create a training instance: [CLS] Segment A [SEP] Segment B [SEP]. From Wikipedia, they created a set of training instances consists of $33 \%$ contiguous-relation instances, $33 \%$ random-relation instances and $33 \%$ hyperlinked-from-text relation instances.

## 2.2 Previous works using Wikipedia infoboxes

Information inside Wikipedia infoboxes is summarized by human and can be utilized for NLP tasks. Morales et al. [10] created INFOBOXQA, a question answering dataset, utilizing attribute and value information in infoboxes. Herzig et al. [11] used text in infoboxes directly as inputs for LM pretraining and improved the ability of QA over tables. Unlike Herzig et al. [11] using text in infoboxes directly as inputs for LM pretraining, we use text in articles that are hyperlinked via infoboxes as inputs for our LM pretraining since text in infoboxes usually only includes titles of articles or names of objects.

## 3 MixLinkBERT

## 3.1 Pretraining instances

To explore multi-hop knowledge that can be obtained from multiple types of linked documents, we utilize hyperlinks in Wikipedia infoboxes in addition to hyperlinks in the main texts of Wikipedia articles. More precisely, in addition to the three types of training instances used by LinkBERT, we add the fourth type of training instance: hyperlinked-from-infobox relation instance. To create each of hyperlinked-from-infobox relation instances, we first sample an article from Wikipedia as document A and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then we sample an article that is hyperlinked from the infobox of document $\mathrm{A}$ as document $B$ and sample a segment from document B as segment B. The proportion of each kind of training instances of MixLinkBERT is $33 \%$ for contiguous-relation instances, $33 \%$ for random-relation instances, $16.5 \%$ for hyperlinked-from-text relation instances, and $16.5 \%$ for hyperlinked-from-infobox relation instances.

## 3.2 Training objectives

We use the same training objectives of LinkBERT, masked language modeling (MLM) and Document Relation Prediction (DRP), to pretrain MixLinkBERT. For DRP objective, we set that both hyperlinked-fromtext relation instances and hyperlinked-from-infobox relation instances belong to the same linked class.

## 4 Experiments

## 4.1 Setup for pretraining MixLinkBERT

We created pretraining data from English Wikipedia (20220820 version dump). Our pretraining data contains totally $40,960,000$ training instances. We initialized the parameters of our LM with pretrained BERT-base-cased checkpoint released by Devlin et al. [5] and then started pretraining from the parameters.

## 4.2 Baselines

For a fair comparison between MixLinkBERT and other baseline models (BERT and LinkBERT), we also pretrained two baseline models by ourselves with same size of pretraining data of MixLinkBERT. For baseline BERT, we continued pretraining from pretrained BERTbase-cased checkpoint released by Devlin et al. [5] with original BERT's pretraining objectives. The pretraining data consists of $50 \%$ contiguous-relation instances and $50 \%$ random-relation instances. For baseline LinkBERT, we also started pretraining from pretrained BERT-basecased checkpoint released by Devlin et al. [5] but with LinkBERT's [8] pretraining objectives. The only difference from pretraining of MixLinkBERT is that pretraining data of baseline LinkBERT doesn't contain hyperlinked-from-infobox relation instances. Pretraining data of baseline LinkBERT consists of 33\% contiguousrelation instances, $33 \%$ random-relation instances, and $33 \%$ hyperlinked-from-text relation instances. Table 2 shows the difference of pretraining data of MixLinkBERT and the two baselines. We followed hyperparameter settings in Yasunaga et al. [8]. Training steps was 40,000, peak learning rate was $3 \mathrm{e}-4$, batch size was 2,048 , maximum sequence length was 512 tokens. We warmed up the learning rate for the first 5,000 steps and linearly
decayed it. Each pretraining took about 4 days on $832 \mathrm{~GB}$ V100 GPUs with fp16.

Table 2: Pretraining data of MixLinkBERT and the

 &  \\

## 4.3 Evaluation on HotpotQA

We fine-tuned and evaluated MixLinkBERT and the two baselines on HotpotQA [1], a famous multi-hop QA dataset. Since ground-truth answers of test data of HotpotQA are not available, we instead split the development data of HotpotQA into two data sets and use one of the sets (3,702 instances) as our development data and another set (3,703 instances) as our test data. We finetuned with the method and the code ${ }^{i}$ of a recent published multi-hop QA system [4]. We did hyperparameter search using our development data as follows. For retriever, we tried learning rate $=\{2 \mathrm{e}-5,4 \mathrm{e}-5\}$ and batch size $=\{75$, $150,300\}$ and chose the best parameters that achieved the best Recall on top-2 retrieved documents on our development data. For reader, we tried learning rate $=$ $\{3 e-5,5 e-5,1 e-4\}$ and batch size $=\{64,128,256\}$ and chose the best parameters that achieved the best answer exact match on our development data. For rest of the finetuning hyperparameters, we followed the settings in Xiong et al. [4].

Table 3: Performance on our test data.

 &  &  &  &  &  &  \\

## 4.4 Results

Table 3 shows the performance on our test data. MixLinkBERT outperforms baseline BERT notably, especially $+1.5 \%$ on answer F1 and $+1.1 \%$ on Joint F1. MixLinkBERT also outperforms baseline LinkBERT, with $+0.8 \%$ on answer F1 and Joint F1.

As shown in the experimental results, pretraining with both hyperlinked-from-text relation instances and hyperlinked-from-infobox relation instances (MixLinkBERT) achieves better performance than pretraining without hyperlinked-from-infobox relation instances (baseline LinkBERT). This suggests that infoboxes contain useful hyperlinked articles that do not exist in the main texts of Wikipedia articles. In this work, we used $33 \%, 33 \%, 16.5 \%, 16.5 \%$ for contiguous-relation, random-relation, hyperlinked-from-text relation and hyperlinked-from-infobox relation instances respectively, but there is still room for exploring the optimal ratio of the training instance types. So, one of our next challenges is to find the best ratio of the four types of training instances to improve the performance on HotpotQA.

## 5 Conclusion

In this work, we focused on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We developed MixLinkBERT, a language model pretrained with multiple types of linked documents to improve multi-hop reasoning ability on downstream multi-hop QA. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA. As future work, we also plan to incorporate attribute information in infoboxes into LM pretraining to further improve the performance on downstream multihop QA.

## References

[1] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, Christopher D. Manning. HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, 2018.

[2] Danqi Chen, Adam Fisch, Jason Weston, Antoine Bordes. Reading Wikipedia to Answer OpenDomain Questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1870-1879, 2017.

[3] Akari Asai, Kazuma Hashimoto, Hannaneh Hajishirzi, Richard Socher, Caiming Xiong. Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering. The International Conference on Learning Representations, 2020.

[4] Wenhan Xiong, Xiang Lorraine Li, Srini Iyer, Jingfei Du, Patrick Lewis, William Yang Wang, Yashar Mehdad, Wen-tau Yih, Sebastian Riedel, Douwe Kiela, Barlas Oğuz. Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval. The International Conference on Learning Representations, 2021.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. The International Conference on Learning Representations, 2020.
[8] Michihiro Yasunaga, Jure Leskovec, Percy Liang. LinkBERT: Pretraining Language Models with Document Links. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8003-8016, 2022.

[9] Yoav Levine, Noam Wies, Daniel Jannai, Dan Navon, Yedid Hoshen, Amnon Shashua. The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design. The International Conference on Learning Representations, 2022.

[10] Alvaro Morales, Varot Premtoon, Cordelia Avery, Sue Felshin, Boris Katz. Learning to Answer Questions from Wikipedia Infoboxes. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1930-1935, 2016.

[11] Jonathan Herzig, Paweł Krzysztof Nowak, Thomas Müller, Francesco Piccinno, Julian Martin Eisenschlos. TAPAS: Weakly Supervised Table Parsing via Pre-training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4320-4333, 2020.


# 確率生成モデルに基づく連続音声からの 教師なし音素・単語・文法獲得

落合翔馬 ${ }^{1}$ 長野匡隼 ${ }^{1}$ 中村友昭 ${ }^{1}$
1 電気通信大学
o1910151@edu.cc.uec.ac.jp

## 概要

人間は，二重分節構造を持つ連続音声信号を教師 なしで音素や単語に分割し，文法を学習することが できる。ロボットが人間のように言語を獲得するに は，そのような二重分節構造の学習が可能なモデル が必要となる. 本稿では連続音声から音素・単語・文法を学習可能な確率的生成モデルを提案する。こ のモデルは，音素を学習する Gaussian Process Hidden Semi Markov Model (GP-HSMM) と, 単語・文法を学習する Hidden Semi Markov Model (HSMM) で構成さ れた二階層のモデルである. 実験では，提案手法に よって連続音声から音素・単語・文法を学習できる ことを示す.

## 1 はじめに

人間の幼児は正解を与えられなくとも，教師な しで連続音声信号から言語を学習している。言語は二重の分節構造を持っており，連続音声を 分節化することで音素を，音素を分節化するこ とで単語・文法を学習することができる. そのよ うな人間の言語学習能力を持つロボットを実現 するためには，二重分節構造を持つ時系列デー タを教師なしで分節化可能なモデルが必要であ る。音声認識の分野では，大量の音声データやラ ベル付けされたコーパスを用いた教師あり学習に よって，音声を分割して認識する手法が主に用い られている [1][2][3][4]. しかし，人間は音声信号 から音素・単語・文法を学習するために大量のラ ベル付きデータセットやコーパスを用いておら ず，このような手法は人間の言語学習とは異なっ ている。一方, 教師なしで連続音声から音素と単語を学習するモデルとして, Nonparametric Bayesian Double Articulation Analyzer (NPB-DAA) が提案され ている [5].また，我々は Gaussian Process Hidden

図 1 提案手法のグラフィカルモデル

Semi Markov Model (GP-HSMM)[6][7] と Hidden Semi Markov Model (HSMM) を組み合わせることで，二重 の分節構造を持つ連続音声から音素と単語の学習 が可能な確率的生成モデル GP-HSMM-based Double Articulation Analyzer（GP-HSMM-DAA）を提案した [8]. しかしこれらの手法では, 音素と単語の学習に 留まっており文法の学習までは実現できていない.

そこで本稿では二重分節構造を持つ連続音声か ら音素と単語だけでなく，文法も教師なしで学習可能な確率的生成モデルを提案する．提案するモデル は GP-HSMM-DAA と同様に GP-HSMM と HSMM か ら構成されている階層的なモデルである.この階層構造により，教師なしで音声信号の二重分節構造を 学習することが可能である. 実験では日本語の音声 データから，教師なしで音素，単語そして文法を学習可能であることを示す.

## 2 提案手法

図 1 が提案手法のグラフィカルモデルであり，下位の層が GP-HSMM，上位の層が HSMM で構成さ れた確率的生成モデルである．GP-HSMMを用いて 音声信号から音素列を学習し, HSMMを用いて音素
列から単語と文法を学習する。

## 2.1 生成過程

品詞に相当する単語クラス $v_{i}$ は直前のクラス $v_{i-1}$ によって生成される。

$
v_{i} \sim P\left(v \mid v_{i-1}\right)
$

この単語クラスの遷移規則が文法であり, 従来の GP-HSMM-DAA[8] とは異なる部分である. 次に，単語クラス $v_{i}$ に従い単語 $w_{i}$ が生成される.

$
w_{i} \sim P\left(w \mid v_{i}\right)
$

また，単語 $w_{i}$ を構成している音素クラス $c_{j}$ は直前 の音素クラス $c_{j-1}$ と遷移確率 $\pi_{c}$ によって生成さ れる。

$
c_{j} \sim P\left(c \mid c_{j-1}, \pi_{c_{j-1}}, w_{i}\right)
$

遷移確率 $\pi_{c}$ の生成には階層ディリクレ過程 (HDP) を用い，以下のように Stick-breaking Process によって 生成された $\beta$ を基底測度とした Dirichlet process(DP) によって生成される。

$
\begin{array}{r}
\beta \sim \operatorname{GEM}(\gamma) \\
\pi_{c} \sim \operatorname{DP}(\eta, \beta)
\end{array}
$

これによりデータの複雑さに応じて, 自動的に音素 クラスの数を推定することが可能となる. 音素クラ Х $c$ の音声信号 $\boldsymbol{x}_{j}$ はガウス過程から生成される.

$
x_{j} \sim \mathscr{G} P\left(x \mid X_{c}\right)
$

ただし， $\boldsymbol{X}_{c}$ は音素クラス $c$ のガウス過程のパラメー タである. このように生成された各音素の音声信号 を連結することで連続音声信号 $\boldsymbol{S}=\left.\{\boldsymbol{x}_{1}, \cdots \boldsymbol{x}_{J}\right.\}$ は生成される。

## 2.2 ガウス過程

提案手法の下位層では，単位系列 $\boldsymbol{x}$ 内のタイムス テップ $t$ における出力 $x_{t}$ を連続的な軌道として表現 するためにガウス過程回帰を用いる. ガウス過程回帰では同じクラスに属するタイムステップ $t$ におけ る出力 $x_{t}$ の複数のぺア $(\boldsymbol{t}, \boldsymbol{X})$ が得られた時, タイム ステップ $\hat{t}$ おける出力 $\hat{x}$ の予測分布は以下のガウ ス分布となる.

$
p(\hat{x} \mid \hat{t}, \boldsymbol{X}, \boldsymbol{t}) \propto \mathcal{N}\left(\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{X}, k(\hat{t}, \hat{t})-\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{k}\right)
$

ただし， $k(\cdot, \cdot)$ はカーネル関数である. $C$ は， $\boldsymbol{t}$ の $p$番目と $q$ 番目の要素を $t_{p}, t_{q}$ とした時, $p$ 行 $q$ 列の 值が

$
C\left(t_{p}, t_{q}\right)=k\left(t_{p}, t_{q}\right)+\phi^{-1} \delta_{p q},
$

となる行列である。 $\phi$ は観測値に含まれるノイズの 表すハイパーパラメータである。また， $\boldsymbol{k}$ は $k\left(t_{p}, \hat{t}\right)$ を $p$ 番目の要素に持つべクトルである. 本稿では カーネル関数として以下の式を用いる。

$
k\left(t_{p}, t_{q}\right)=\theta_{0} \exp \left(-\frac{1}{2} \theta_{1}\left.\|t_{p}-t_{q}\right.\|^{2}\right)+\theta_{2}+\theta_{3} t_{p} t_{q}
$

$\theta_{*}$ はカーネルのハイパーパラメータである. 出力値 が多次元のべクトル $\boldsymbol{x}_{t}=\left(x_{t}^{(1)}, \cdots, x_{t}^{(d)}, \cdots\right)$ の場合 は各次元が独立に生成されると仮定し, 時刻 $t$ の観測値 $\boldsymbol{x}$ がクラス $c$ に対応するガウス過程から生成さ れる確率 $\mathscr{P}\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)$ を以下のように計算する.

$
\mathscr{S} P\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)=\prod_{d}^{D} p\left(x_{t}^{(d)} \mid t, \boldsymbol{X}_{c}^{(d)}\right)
$

## 2.3 パラメータの推論

提案モデルは二階層のモデルであり，単純にはパ ラメータを推論することが困難である．そこで，各階層を交互に推論することで，モデル全体のパラ メータを最適化する. Algorithm 1 が相互学習を用い たパラメータ推定のアルゴリズムである.

まず下位層において，観測された音声信号 $S$ を GP-HSMM により分節化し音素クラス系列 $C$ をサ ンプリングする．次に，得られた音素クラス系列 を，上位層の HSMM によって分節化することで，単語系列 $W$ と単語クラス系列 $V$ をサンプリングす る. 上位層では分節化された単語 $w$ から音素クラス $c$ が生成される条件付確率 $P(c \mid w)$ を計算し, 下位層 (GP-HSMM) に送る. GP-HSMM では受け取った $P(c \mid w)$ を音素の事前分布として用い，再度音素クラ スのサンプリングを行う. この相互更新を $M$ 回繰 り返すことによってパラメータの最適化をする。

GP-HSMM と HSMM では分節長とクラスを効率的にサンプリングするために Forward Filtering

- Backward Sampling アルゴリズムを用いる. GPHSMM の Frward Filtering では，音声信号のタイムス テップ $t$ を終端とする長さ $k$ の部分系列が音素クラ ス $c$ となる前向き確率は次式のようになる.

$
\begin{array}{r}
\alpha_{p}[t][k][c]=\mathscr{P} P\left(\boldsymbol{x}_{t-k: t} \mid \boldsymbol{X}_{c}\right) P\left(c \mid w_{i}\right) P_{\text {len }}\left(k \mid \lambda_{p}\right) \\
\times \sum_{k^{\prime}=1} \sum_{c^{\prime}=1} P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) \alpha_{p}[t-k]\left[k^{\prime}\right]\left[c^{\prime}\right]
\end{array}
$

ただし， $P_{\text {len }}\left(k \mid \lambda_{p}\right)$ は分節長を決める $\lambda_{p}$ をパラ メータとするポアソン分布であり, 遷移確率の 計算には Product of Experts (PoE) 近似を用いて, $P\left(c \mid c^{\prime}, \pi_{c^{\prime}}, w_{i}\right) \approx P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) P\left(c \mid w_{i}\right)$ とした. $P\left(c \mid w_{i}\right)$ は，上位層で計算された単語から音素クラス $c$ が発生する確率であり，この確率により単語の持つ言語的な制約を，音素の学習に与えることができる。こ の前向き確率から音素クラス系列 $C$ をサンプリング する。

次に上位層では，音素クラス系列 $C$ を分節化す ることで，単語と単語クラスをサンプリングする。

Foward Filtering では, 音素のタイムステップ $j$ を終端として，長さ $k$ の部分系列が単語となり，そのク ラスが $v$ となる確率は次式のようになる。

$
\begin{aligned}
& \alpha_{w}[j][k][v]=P\left(C_{j-k: j} \mid v\right) P_{\text {len }}\left(k \mid \lambda_{w}\right) \\
& \quad \times \sum_{k^{\prime}=1} \sum_{v^{\prime}=1} P\left(v \mid v^{\prime}\right) \alpha_{w}[j-k]\left[k^{\prime}\right]\left[v^{\prime}\right]
\end{aligned}
$

この前向き確率から単語系列 $W$ と単語クラス系列 Vをサンプリングすることができる. サンプリング された $W$ から $P\left(c \mid w_{i}\right)$ を更新し, GP-HSMM の計算 に利用する。

以上のように，以下の手順を繰り返すことで，下位層と上位層が相互に影響しあい，音素・単語・文法を学習することができる.

1. 音声信号 $S$ から音素クラス系列 $C$ のサンプリ ング

2. 音素クラス系列 $C$ から単語系列 $W$ と単語クラ ス系列 $V$ のサンプリング

3. 各単語から音素が発生する確率 $P\left(c \mid w_{i}\right)$ の更新

## 3 実験

提案手法の有効性を確認するために AIOI-dataset ${ }^{1)}$ を改変したデータを用いて実験を行った.

図 2 音素と単語の精度の推移

## 3.1 実験設定

AIOI-dataset は日本語の母音 $\{\mathrm{a}, \mathrm{i}, \mathrm{u}, \mathrm{e}, \mathrm{o}\}$ で構成さ れた単語 $\{$ aioi,aue,ao,ie,uo $\}$ を組み合わせて作られ た文を発話した音声データである。本実験では AIOI-datasetを単語毎に分割し，規則に従って 2 単語を組み合わせた 2 語文を新規に作成した。想定し た文法規則は以下の通りである。

-一単語目の出現単語: ao, uo, ie

-二単語目の出現単語: aioi, aue, ie

すなわち，文は 9 種類 \{ “ao aioi”, “ao aue”, “ao ie”, "uo aioi" , "uo aue" , "uo ie" , "ie aioi" , "ie aue", “ie ie” \} である.これらを読み上げた音声データの 数は 60 となった. 観測系列として音声信号のメル 周波数ケプストラム係数を Deep Sparse Auto encoder によって 3 次元に圧縮した特徴量を使用した.

単語のクラス数を 2, 相互更新の繰り返し回数 $M=20$ として，特徴量を分節化し文字・単語・文法の学習を行った。また，提案モデルは初期値の依存性があるため，学習を初期値を変えて 10 回試行 し，単語の尤度が最も高い試行の結果を評価に用い た. 評価指標には，正解と音素・単語の分類結果の Adjusted Rand Index (ARI) を用いた. ARI は，分類結果が正解に近いほど，1 に近い値となる指標である.

## 3.2 実験結果

図 2 の横軸が相互更新の繰り返し回数, 縦軸が ARI である．また，赤線が単語の ARIであり，緑線 が音素の ARIである. この図からパラメータの相互更新を行うごとに ARI が上昇しており，提案アルゴ リズムが有効に働いていることが分かる.
表 1 各単語クラスに分類された単語. 数字は音素クラス のインデックス，括弧内の文字は対応する音素である.

表 1 は，HSMM で各単語クラス $v$ に分類された単語（音素の部分系列）である. この結果と想定した 文法規則を比べると，単語クラス 1 に一単語目に出現する単語, 単語クラス 2 に二単語に出現する単語 が分類されており，想定した文法規則が学習されて いる.

## 4 結論と今後の課題

本稿では，二重分節構造を持つ連続音声データ から，教師なしで音素・単語・文法を学習するモ デルを提案した. 提案手法は，GP-HSMM と HSMM を組み合わせた二階層のモデルである．実験では AIOI-dataset から作成した文法の規則が存在する データを用いて，音素・単語・文法が学習可能であ ることを示した.

現状の提案手法ではあらかじめ単語のクラス数 を設定する必要があったため，今後は GP-HSMM と 同様にクラス数を自動的に決定可能な，階層ディリ クレ過程を導入する予定である. また，今回用いた データは非常にシンプルな文法規則を想定した二語文であったため，今後はより複雑な文法規則の学習 が可能か検証する予定である.

## 参考文献

[1] Tatsuya Kawahara, Akinobu Lee, Tetsunori Kobayashi, Kazuya Takeda, Nobuaki Minematsu, Shigeki Sagayama, Katsunobu Itou, Akinori Ito, Mikio Yamamoto, Atsushi Yamada, Takehito Utsuro, and Kiyohiro Shikano."Free software toolkit for Japanese large vocabulary continuous speech recognition", 6th International Conference on Spoken Language Processing, ICSLP 2000, 2000.

[2] George E. Dahl, Dong Yu, Li Deng, and Alex Acero. "Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition”, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 1 pp. 30-42, 2011.

[3] Hiroshi Seki, Kazumasa Yamamoto, and Seiichi Nakagawa. "Comparison of syllable-based and phoneme-based dnn-hmm in japanese speech recognition”. 2014 International Conference of Advanced Informatics: Concept, Theory and Application (ICAICTA). pp. 249-254. 2014.

[4] Sei Ueno, Hirofumi Inaguma, Masato Mimura, and Tatsuya Kawahara. "Acoustic-to-word attention-based model complemented with character-level ctc-based model". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). pp. 5804-5808. 2018.

[5] Tadahiro Taniguchi, Ryo Nakashima, Hailong Liu, and Shogo Nagasaka."Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals".Advanced Robotics. Vol. 30, No.11-12, pp. 770-783. 2016.

[6] Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh, and Masahide Kaneko. "Segmenting continuous motions with hidden semi-markov models and gaussian processes", Frontiers in neurorobotics, Vol. 11, p. 67, 2017.

[7] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Masahide Kaneko. "Sequence pattern extraction by segmenting time series data using gp-hsmm with hierarchical dirichlet process", 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), p. 4067-4074, 2018.

[8] 長野匡隼，中村 友昭，“GP-HSMM に基づく二重分節化モデルによる連続音声の教師なし構造学習”,日本ロボット学会誌，2023


# モバイルマニピュレーションタスクにおける 曖昧な指示文からの対象物体選択

森下雅晴 1 長野匡隼 1 中村友昭 ${ }^{1}$
1 電気通信大学
m1910655@edu.cc.uec.ac.jp

## 概要

ロボットが行う基本的なタスクの一つであるモバ イルマニピュレーションタスクは，移動ロボットが ユーザが指示した物体を把持し，別の場所へと持っ ていくタスクである. その際に，ユーザが必ずしも 対象物体を明示的に発話しない場合があり，そのよ うな曖昧な指示発話の理解が必要となる. 本稿では 曖昧なユーザ発話文に加えて環境に存在する物体の 情報を入力とした言語モデル BERT に基づく系列 ラベリングにより，ユーザの意図に沿った物体を選択する手法を提案する．実験では，小規模なデータ セットを作成しモデルの学習を行い，提案手法が学習データに含まれない未知の曖昧なユーザ発話に対応できることを示す.

## 1 はじめに

近年，日常生活を支援する家庭用サービスロボッ トへの期待が高まっている。 そのようなロボットの 基本的なタスクの一つがモバイルマニピュレーショ ンタスクである. モバイルマニピュレーションタス クは，移動ロボットがユーザが指示した対象物体を 把持し, 別の場所へと持っていくタスクである。こ のようなタスクにおいて，ユーザの指示発話はロ ボットが理解しやすい定型文ではなく，日常的に使用している自然言語を用いる方がユーザにとって は望ましい。しかしそのような指示発話では，ユー ザが必ずしも対象物体を明示的に発話しない場合 があり，そのような曖昧な指示発話の理解が必要と なる。

そこで，本稿では物体名が明示的に含まれない ユーザの発話から，環境に存在する物体の情報を利用することで，対象物体を特定する手法を提案す る. 図 1 が想定するタスクであり，ユーザが環境の 中にある物体を持ってくることをロボットに要求

図1想定しているタスクの例

し，ロボットはその発話と環境にある物体から対象物体を特定しユーザに届ける。このようなタスクに おいて，対象物体を選択するためには，ユーザの発話と要求される物体の関係を正しく理解する必要が ある.

提案手法では物体のリストを文字列として 学習済み言語モデル BERT (Bidirectional Encoder Representations from Transformers)[1] に入力し，リス 卜内の各物体が対象物体であるか否かを表すラベル 列を予測する系列ラベリング問題として扱う。これ により，ユーザが対象物体を明示的に発話しない場合や，学習データには含まれない新規の物体が存在 する場合であっても対象物体を特定することがで きる.

関連研究としてユーザが明示的に対象物体を発話 することを想定したモバイルマニピュレーション タスク [2] があるが，本手法のように曖昧な指示文 を想定していない．また，学習済み言語モデルを用 いて，行動や物体を特定する手法 [3][4] も提案され ているが，これらの手法では新規物体を扱うために は，再学習（ファインチューニング）が必要となる.一方，本手法では，物体選択を系列ラベリング問題

図 2 提案手法の概要

とすることで，新規物体に対しても再学習すること なく，対応することができる。

## 2 提案手法

提案手法の概要を図 2 に示す. 物体リストと発話文を BERTへの入力とし，BERT からの出力を線形変換，softmax 関数を通して，各物体が対象物体で あるかどうかを表す確率を出力する。

BERT[1] は Transformers の encoderを使用した言語モデルであり，本稿では事前学習済みの BERTを ファインチューニングして使用した. 事前学習済み のモデルを利用することで，言語モデル内で学習さ れている常識的な知識により，指示文と対象物体の 関係を捉えることが期待できる.

提案手法では BERT の出力を利用した系列ラベリ ングにより物体を選択する。一方，分類タスクによ り物体の選択をすることも可能であるが，対象物体 が複数になった場合への対応が難しいといった問題 がある. また分類タスクでは，分類対象の物体数だ けの出力ノードを用いて学習するため, 事前に決め た物体のみにしか対応できず，新規物体へ対応する ためには出力ノード数を変え再学習する必要がある といった問題がある. これに対し, 系列ラベリング ではリスト内の各物体に対して対象物体か否かの ラベルを出力するため，複数の物体を選択すること ができ，言語モデルに含まれる単語であれば新規物体であっても対応することができる．モデルは，IO 法に基づいた対象物体を表すラベル（“I”)と非対象物体を表すラベル (“O”) を出力するよう学習する. これにより，「オレンジジュース」のように「オレン ジ」と「ジュース」という 2 つのトークンに分かれ表 1 発話文の種類

てしまう単語であっても，それぞれ “I”が出力され るため，トークンを結合して「オレンジジュース」 という単語を選択することができる．なお，物体リ ストは「、」で区切ることで，BIO 法を使わずとも異 なる単語を結合してしまうことはない.

学習時には, 出力された対象物体/非対称物体であ る確率と正解ラベルとのクロスエントロピーを損失関数として用い学習する．テスト時には，それぞれ のラベルの確率を出力し, 確率が高いラベルを予測 ラベルとする.

本稿では東北大学で作成された事前学習済みモデ ル [5] をファインチューニングして使用した. この モデルでは日本語版ウィキペディアを用いて事前学習されている. ファインチューニングに使用した データセットについては 3.1 節で述べる.

## 3 実験

本実験では，食べ物・飲み物・遊具・筆記用具・書物，また食べ物と飲み物で構成される食事，に関連する物体を選択することを想定し，小規模なデー タセットを作成してファインチューニングを行い，提案手法の有効性を確認した。また，より曖昧な表現を含む発話文を用いた場合の結果も確認した.

## 3.1 データセット

モデルのファインチューニングに用いるデータ セットとして，ユーザの発話文と物体のリストの組 を作成した. まずユーザの発話文として具体的な物体名を含まない「食べ物を持ってきて」，「食事を用意して」といったロボットにユーザの要求に沿った 物体を持ってくることを指示する文を 50 個用意し た. 今回想定した，発話文の種類と正解となる対象物体の例を表 1 に示す.この 50 文を学習用 40 文, テスト用 10 文に分割した. すなわち，テスト用の 文は学習用とは異なる文で構成されている。

次に，学習用物体リストとテスト用物体リストの
表 2 「食べ物」に対応した物体リスト

表 3 テストデータによる物体選択の評価

中から 6〜7 個の物体をランダムに取り出し，入力物体リストとした. この入力物体リストはユーザ発話文に合わせて正解となる物体を 1 つ以上含み，そ の他は正解ではない物体で構成されている。この 時, リスト中の単語の位置は物体選択に関係ないた め，単語の並びがランダムになるよう留意した. ま た，学習用物体リストとテスト用物体リストはそれ ぞれ異なる物体で構成されている. 表 2 が，食べ物 に対応した学習用とテスト用の物体リストである. また同時に，IO 法によって入力物体リスト内の各物体に対応した正解ラベルを作成した. この手順を 学習用とテスト用それぞれのユーザ発話文に対して 200 回行い，合計で学習用 8000 個，テスト用 2000 個のデータセットを作成した.

このように，テストデータには学習データには含 まれない物体，発話文を使用した。すなわち，テス トデータで正しく物体を選択するためには，発話文 と物体の関係を正しく学習する必要がある。

## 3.2 テストデータによる評価

表 3 が，テストデータを用いた物体選択の Precision, Recall, F-measure である. テストデータは 学習データに含まれていない物体と発話文で構成さ れていたが，各指標で 0.7 を超えるスコアを得られ た. すなわち，提案手法は学習していない未知の表現・物体に対しても，ある程度対応できると考えら れる。

## 3.3 より曖昧な発話文による物体選択

学習データは「○○を持ってきて」，「○○が欲し い」などの物を要求する文で構成されている. 本実験では，直接的に物を要求しない，より抽象的な表現から物体を選択できるか確認した。学習に使用し た表現と比べてより曖昧で抽象的な表現を含む発話表 4 より曖昧な発話文からの物体選択

 & 何か飲みたいな & オレンジジュース, \\
 & ちょっとメモしたいな & 水 \\

文を入力としたときの結果が，表 4 である．1つ目 では曖昧な表現として「何か飲みたいな」という発話から，2つ目の例では「ちょっとメモしたいな」 という発話から物体を選択した。どちらの場合も物体リスト内の太字で示した正解となる対象物体を正 しく選択できている。この結果は，事前学習済みの 言語モデルにより，ファインチューニング時にはな い「飲む」や「メモ」といった単語と各物体の関連性を捉えられているためだと考えられる.

## 4 おわりに

本稿では，家庭用サービスロボットがユーザの曖昧な発話から，環境内にある物体をユーザの意図に 合わせて選択する手法を提案した．実験では，小規模なデータセットを用いた予備的な実験であった にも関わらず，未知の表現・物体であっても正しく 物体選択できることを確認した．データセットを拡張することで，より曖昧な指示から物体を選択でき るようになると考えられる．そこで今後，クラウド ソーシングを利用してデータセットを拡充し，より 曖昧な指示やより広いドメインへの対応を考えて いる.

また，現時点では複数の正解が物体リストにある とき，それら全てが抽出されるようになっている. そのような場合には，ユーザとの対話を通して物体を選択するような方法を導入することを考えて いる.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language" arXiv:1810.04805, 2019

[2] Takahiro Kobori, Tomoaki Nakamura, Mikio Nakano, Takayuki Nagai, Naoto Iwahashi, Kotaro Funakoshi, and Masahide Kaneko, "Robust Comprehension of Natural Language Instructions by a Domestic Service Robot", Advanced Robotics, Vol. 30, Issue 24, pp. 1530-1543, 2016

[3] 田中翔平，湯口彰重，河野誠也，中村哲，吉野幸一
郎，“気の利いた家庭内ロボット開発のための曖昧 なユーザ要求と周囲の状況の収集”，情報処理学会研究報告, NL-253, 2022

[4] Michael Ahn, et al., "Do as I can, not as I say: Grounding language in robotic affordances." arXiv preprint arXiv:2204.01691, 2022

[5] "Pretrained Japanese BERT models", https://github. com/cl-tohoku/bert-japanese


# Masked Image Modeling を利用した情景画像中のテキスト認識

三ツ井悠翔 宮崎智 大町真一郎
東北大学大学院
yuto.mitsui.s1@dc.tohoku.ac.jp tomo@tohoku.ac.jp
shinichiro.omachi.b5@tohoku.ac.jp

## 概要

既存のテキスト認識手法は実世界におけるデータ セットのサンプル数が少ないため，合成データセッ トを用いて学習がされているが、実世界で発生する 問題に対応できない。そこで，ラベルがない実画像 の利用によってテキスト認識モデルの可能性を引 き出すことが考えられており，テキスト認識に対す る自己教師あり学習手法が検討されている。本研究 では、Masked Image Modeling を利用し、文脈情報を 考慮した新たなマスキング戦略を提案した。実験の 結果，提案するマスキング戦略の有効性が実証さ れた。

## 1 はじめに

情景画像中のテキスト認識は自然なシーンにおけ るテキストの読み取りを目標としており，幅広い応用が存在するため重要なタスクとなっている. 光学式文字認識 (OCR) の分野は大きく発展したが，実世界で発生するフォントや文字の形，撮影環境による 問題によって，情景画像中のテキスト認識は現在も 難しいタスクとなっている．既存のテキスト認識手法の多くは実世界におけるデータセットのサンプル 数が少ないため，大規模な合成データセットを用い て学習がされている。しかし，実データと合成デー タのドメインギャップにより，実世界で発生する問題に対応できない．そこで，アノテーションされて いない実画像の利用によってテキスト認識モデルの 可能性を引き出すことが考えられており，テキスト 認識に対する自己教師あり学習手法が検討されて いる.

これまでの研究では, Contrastive Learning (対照学習）の導入が試みられている. SeqCLR[1]は，テキ スト認識のための sequence-to-sequence 対照学習手法 を提案した. PerSec[2] はテキスト認識のための階層的な対照学習手法を提案した。自然言語処理では，BERT[3] が Masked Language Modeling (MLM) による大きな成功を収めている.画像分野では BERT に触発され，データの一部を削除し，削除した部分を復元する考え方を画像に適用 した Masked Image Modeling (MIM) が提案されてい る. 2 つの手法は類似しており，PIXEL[4] は文をテ キスト画像に変換し，MIM を用いることで BERT と 同程度の結果を出している。

本研究では，MIM をテキスト認識に適用し，単語 の文脈情報を反映した自己教師あり事前学習を行 うことを目的としている. 特に，MIM 手法として Masked AutoEncoder (MAE)[5] を利用し，マスキング 戦略に対して変更を行った。具体的には，横方向に は，ランダムなスパンに対してマスキングを行い，縦方向には一様なマスキングを行う．ランダムマス キングよりも，意味のある単位（文字や複数文字） をマスクすることで，抽象度の高いモデルを作るよ うな効果があると考えられる．提案するスパンマス キングで事前学習を行うとランダムマスキングより も $0.8 \%$ 以上高い正解率が得られた。本論文の貢献 は以下の 3 点である.

1. テキスト認識に対して初めて MAEを利用した 事前学習を行った。

2. 文脈情報を考慮した新たなマスキング戦略を提案した。

3. 提案手法によって事前学習し，テキスト認識で のファインチューニングを行ったところ，事前学習無しの場合よりも $2.7 \%$, 他のマスキング戦略よりも $0.8 \%$ 高い正解率を達成した。

## 2 関連研究

## 2.1 Masked Image Modeling(MIM)

MIM は自然言語処理における MLM の発展とと もに，近年発展している．MIM 手法の一つである

MAE はマスクされていない画像パッチに対しての み動作するエンコーダと潜在表現とマスクトークン から元の画像を構成する軽量なデコーダを用いて，入力画像の $75 \%$ という高い割合でマスクを行うこ とで有効な事前学習ができることを可能にした.

本研究では，自己教師あり学習手法である MIM に着目し, 計算効率と有効性の観点から MAEを事前学習に用いる.

## 2.2 自己教師ありテキスト認識

提案されている自己教師ありテキスト認識手法は, Sequence-to-Sequence モデルに基づいている. SeqCLR[1] は, テキスト認識のための対照学習手法 を提案した。この手法では，順序に関する情報を維持したまま，シーケンスの個々の要素に対照学習を 適用することができる. PerSec[2] もテキスト認識の ための対照学習を提案している. 提案された手法 は, 特徴量の各要素を高レベルと低レベルで比較す る階層的な対照学習を行っている.

このようなテキスト認識における対照学習手法の 成功に対して、本研究では MIM 手法を活用し, そ の有効性について検討している。

## 3 方法

## 3.1 Masked Autoencoder

本研究では，自己教師あり事前学習として MIM 手法である Masked Autoencoder(MAE)[5]を利用して おり, 以下の 4 つの主要な要素から構成されている.

スパンマスキング 画像を非重複パッチに分割 し，一部のパッチをマスクする (除去). マスキン グの方法として本研究で提案するスパンマスキン グと MAE で用いられているランダムマスキングを 用いた. ランダムマスキングは一様分布に従ってラ ンダムなマスクを生成する。一方，スパンマスキン グはテキスト画像が水平方向に対してのみ文脈情報を保持していると仮定し, 文脈情報を考慮して垂直方向と水平方向で異なるマスキングを行う. 垂直方向に関しては文脈情報を持たないため，一様なマ スクを生成する. 水平方向は文脈情報を持つため, PIXEL[4] のマスキング戦略を利用し, 意味のある単位でマスクを生成する，具体的には，スパン間にい くつかのマスクされていないパッチを残しながら，最大 $S=6$ パッチの連続画像スパンに対してマスキ ングを行う，マスクの割合に関しては，それぞれの戦略について 25,50,75\%の值を適用して実験を行っ た. マスク画像の例を図 1 に示す.

(a)Random Masking

(b)Span Masking図 1 マスク画像の例

エンコーダ ViT[6] を利用し，マスクされていな いパッチのみを処理する。これによって必要メモリ を削減して学習速度を上げることに加え, 事前学習 とファインチューニング間のミスマッチを減少させ ている.

デコーダ デコーダには，エンコーダの出力とマ スクトークンが入力され，画像の再構成タスクが実行される. デコーダは，6層のトランスフォーマー ブロックと全結合層によって構成され, 計算量は エンコーダに対して小さくなるように設計されて いる.

再構成ターゲット デコーダの出力は再構成され た画像に再形成され, 再構成画像と元画像の平均二乗誤差（MSE）が損失関数として利用される. 再構成の対象としてマスクされたパッチの画素値を正規化したものを用いることで性能が向上すること がわかっているため [5], この方法を利用する. ま た，テキスト認識時には RGB 画像ではなく白黒画像を利用するため，再構成の対象として白黒画像を 用いる.

## 3.2 テキスト認識

テキスト認識モデルとして Transformer Encoder と予測ヘッドで構成されるViTSTR[7]を用いる. Transformer Encoder 部分で, MAE によって事前学習 されたパラメータを継承し，ファインチューニング を行う。その際，予測へッドは初期化する。

## 4 実験

## 4.1 データセット

合成データセット 代表的な合成データセットで ある MJSynth(MJ)[8] と SynthText(ST)[9]を組み合わ せて使用した. MJは9M 個のテキスト画像で構成 されている. ST は 800k の画像から $8 \mathrm{M}$ のテキスト
表 1 学習設定

画像を切り出したものである.

情景画像中のテキスト認識ベンチマーク 情景画像中テキスト認識ベンチマークで評価した. ベンチ マークはテキストの難易度やテキストのレイアウト によって regular データセットと irregular データセッ 卜に区別することができる.

まず，regular データセットは，文字の感覚が均等 で，水平にレイアウトされた比較的容易なテキスト 画像が含まれる. IIIT5K-Words(IIIT)[10], Street View Text(SVT)[11], ICDAR2013(IC13)[12] が該当する.

次に, irregular データセットには曲がったテ キストや回転, 歪んだテキストなど難しい ケースが含まれている. ICDAR2015(IC15)[13], SVT Perspective(SP)[14], CUTE80(CT)[15] が該当する.

## 4.2 実験詳細

自己教師あり事前学習 MAE のエンコーダとし て ViT-Tinyを用いた. ViT-Tiny は Patch Size が 16, Embedding Size が 192, Head の数が 3 の ViT であ り, 基本的な ViT と比較してパラメータ数が小さ いモデルである. 事前学習には合成データセット （MJSynth と SynthText）の両方を用いた. 計算資源 の都合上，データ量は $50 \%$ とした. MAE の論文と 同様に学習を行い，ハイパーパラメータについても 論文に従った。

テキスト認識でのファインチューニング ViTSTR で用いられていた学習設定をそのまま使用した. (表 1) 学習データとして合成データセッ ト（MJSynthと SynthText）の両方を用いた. テスト データには， 4.1 節で紹介した情景画像中テキスト 認識ベンチマークを用いた。

## 4.3 事前学習におけるマスク画像の再構成

事前学習において一枚のマスク画像を再構成し た際の結果を図 2 に示す. ランダムマスキングの場合，マスクの割合が $75 \%$ という不鮮明な場合でも， ほとんどの場合で文字列を再構成できていた.ここ から，モデルが優れた特徴表現を学習していると考 えられる。一方で，スパンマスキングでは，マスク

(a)Random Mask (75\%)

(b)Span Mask (25\%)

(c)Span Mask (50\%)

(d)Span Mask (75\%)

図 2 マスク画像の再構成結果（左から原画像，マスク画像，出力画像，マスク+出力画像）

の割合が高くなるにつれて成功率が低くなってい た. マスクの割合が $25 \%$ の時はマスク部分の文字を 予測できていることが多かった.ここから，見えな くなっている文字を予測しており，文脈情報を事前学習で獲得していることがわかる. $75 \%$ になると，例のようにマスク部分の文字が不鮮明になってし まっている例が多かった. 隠される文字が多すぎる と，正しい文脈情報を獲得することはできていない と考えられる。

## 4.4 テキスト認識

事前学習したモデルをテキスト認識タスクでファ インチューニングし, 評価を行った. 表 2 に学習 データのすべて（100\%）を使用した結果，表 3 に学習データの $1 \%$ 使用した結果を示す. 評価指標に は Top1 Accuracyを用いた。

学習データ全てによる学習では，スパンマスキン グで 75\%の割合をマスクした時，他の場合よりも $0.8 \%$ 以上高い正解率が得られた. ランダムマスキン グに着目すると，50\%の時に最も良い正解率が得ら れており，MAE による ImageNet での結果 $(75 \%)$ と は異なっていた。通常の画像とテキスト画像では情報の密度が異なっていることが原因と考えられる。 スパンマスキングでは，マスクの割合が高くなるに
表 2 テキスト認識の結果（学習データ $100 \%$ ）

表 3 テキスト認識の結果（学習データ $1 \%$ ）

つれて正解率が上がっている. マスク部分のスパン の長さが長くなり，より意味のある単位でマスクさ れたことによりこの結果になったと考えられる. し かし, 事前学習で復元された画像の品質とは結果 が異なっており，2つの結果に相関がないと考えら れる。

学習データの $1 \%$ で学習では，スパンマスキン グで 50\%の割合をマスクした時にスクラッチやラン ダムマスキングよりも 10\%以上高い正解率が得られ た. スパンマスキングが，MAE で利用されている ランダムマスキングよりも平均 $10 \%$ 以上正解率が高 くなっており，提案手法の有効性が実証された。学習データ全てを用いた時とは傾向が異なっており， マスクの割合が $50 \%$ の時に正解率が最も高くなっ た. 事前学習時に，75\%では文字をはっきりと予測 できていないことが関係していると考えられる.

## 5 結論

本論文ではテキスト認識のための自己教師あり学習として Masked Image Modeling に着目し, 新たな マスキング戦略を提案した. 提案したマスキング戦略は，MAEに用いられているマスキング戦略より も有効であるということが分かった.

今後は事前学習での実世界データセットの利用や モデルサイズの変更，既存手法との比較実験を行い たいと考えている.

## 参考文献

[1] Aviad Aberdam, Ron Litman, Shahar Tsiper, Oron Anschel, Ron Slossberg, Shai Mazor, R Manmatha, and Pietro Perona. Sequenceto-sequence contrastive learning for text recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 15302-15312, 2021.

[2] Hao Liu, Bin Wang, Zhimin Bao, Mobai Xue, Sheng Kang, Deqiang Jiang, Yinsong Liu, and Bo Ren. Perceiving stroke-semantic context: Hierarchical contrastive learning for robust scene text recognition. AAAI, 2022.

[3] Zhimin Bao Mobai Xue Sheng Kang Deqiang Jiang Yinsong Liu Hao Liu, Bin Wang and Bo Ren. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, p. 4171-4186.

[4] Phillip Rust, Jonas F Lotz, Emanuele Bugliarello, Elizabeth Salesky, Miryam de Lhoneux, and Desmond Elliott. Language modelling with pixels. arXiv preprint arXiv:2207.06991, 2022.

[5] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16000-16009, 2022.

[6] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[7] Rowel Atienza. Vision transformer for fast and efficient scene text recognition. In International Conference on Document Analysis and Recognition, pp. 319-334. Springer, 2021.

[8] Max Jaderberg, Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Synthetic data and artificial neural networks for natural scene text recognition. arXiv preprint arXiv:1406.2227, 2014.

[9] Ankush Gupta, Andrea Vedaldi, and Andrew Zisserman. Synthetic data for text localisation in natural images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2315-2324, 2016.

[10] Anand Mishra, Karteek Alahari, and CV Jawahar. Scene text recognition using higher order language priors. In BMVC-British machine vision conference. BMVA, 2012.

[11] Kai Wang, Boris Babenko, and Serge Belongie. End-to-end scene text recognition. In 2011 International conference on computer vision, pp. 1457-1464. IEEE, 2011.

[12] Dimosthenis Karatzas, Faisal Shafait, Seiichi Uchida, Masakazu Iwamura, Lluis Gomez i Bigorda, Sergi Robles Mestre, Joan Mas, David Fernandez Mota, Jon Almazan Almazan, and Lluis Pere De Las Heras. Icdar 2013 robust reading competition. In 2013 12th international conference on document analysis and recognition, pp. 1484-1493. IEEE, 2013.

[13] Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, et al. Icdar 2015 competition on robust reading. In 2015 13th international conference on document analysis and recognition (ICDAR), pp. 1156-1160. IEEE, 2015.

[14] Trung Quy Phan, Palaiahnakote Shivakumara, Shangxuan Tian, and Chew Lim Tan. Recognizing text with perspective distortion in natural scenes. In Proceedings of the IEEE International Conference on Computer Vision, pp. 569-576, 2013.

[15] Anhar Risnumawan, Palaiahankote Shivakumara, Chee Seng Chan, and Chew Lim Tan. A robust arbitrary text detection system for natural scene images. Expert Systems with Applications, Vol. 41, No. 18, pp. 8027-8048, 2014.


# コードネームピクチャーズにおける ヒント決定アルゴリズムの提案と実装

大橋玲音 1 坪倉和哉 2 鈴木丈慈 1 坪井辰馬 1 小林邦和 ${ }^{1}$
1 愛知県立大学情報科学部 2 愛知県立大学大学院 情報科学研究科
\{is211014, im212008, is211046, is211053\}@cis.aichi-pu.ac.jp
kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，不完全情報ゲームの一つであるコー ドネームピクチャーズをプレイするアルゴリズムの 実装を行った.コードネームピクチャーズは, 画像理解と自然言語理解を介した意図の伝達を行うゲー ムである．そのため，アルゴリズムの実装は，挑戦的なタスクであり, 人間の認知行動の理解にも繋が る. 提案手法では, イメージキャプショニングと翻訳により画像を文章に変換する方法を検討した。そ の結果は, 提案手法では人間のプレイ能力に及ばな いことがわかったが，一部人間と同様のプレイ能力 を発揮した. 本成果は, 今後のコードネームピク チャーズの研究に役立ち, 画像と自然言語の融合的理解を進めるものである.

## 1 はじめに

人工知能技術の発展により, 将棋や囲碁といった 完全情報ゲームでは，すでに人間の能力を凌駕する 力を獲得している. そこで, より高度な知能を獲得 することを目指し，より複雑なタスクである不完全情報ゲームを対象とした研究 $[1,2]$ が進められて いる.

完全情報ゲームとは異なり, 不完全情報ゲームで は，ゲームを行う上で必要な情報全てが明らかに なっているわけではない. 不完全情報ゲームの中に は，他プレイヤとコミュニケーションを行い，自身 の持つ情報を伝えたり, 他プレイヤから必要な情報 を引き出すようなゲームもある。例えば，人狼ゲー ムでは, 他プレイヤとの会話に基づき, 交涉や欺瞞 を行う必要がある。 また, Hibana のように, 会話で はなく, ルールに基づく行動によりタスク成功に必要なヒントを伝えるゲームもある。これらのゲーム は，限られた行動の範囲の中で，自身の意図を他プ
レイヤに伝える能力が必要となる．そのため，この ようなコミュニケーションを伴う不完全情報ゲーム の研究を行うことで, 高度なコミュニケーションの 理解につながる.

本研究では, 不完全情報ゲームの中でも, コー ドネームピクチャーズを扱う。コードネームピク チャーズのルールについては 2 章で詳述するが, 絵 が描かれたカードにヒントとなる単語を付与する“ スパイマスター”と，スパイマスターから与えられ た単語からスパイマスターの意図するカードを選択する “諜報員”に分かれて行うゲームである。そ のため，スパイマスターは，カードに描かれた絵か ら適切な言葉を抽出し, 意図するカードを諜報員に 適切に選択してもらう必要がある。一方で, 諜報員 は，スパイマスターの意図を波み取り，適切にカー ドを選択する必要がある。このように，コードネー ムピクチャーズでは, 画像理解と自然言語理解を介 した意図の伝達を行うことが求められる.

コードネームピクチャーズと類似したゲームと して，コードネームと Dixit が挙げられる。コード ネームピクチャーズはコードネームから派生した ゲームである.コードネームピクチャーズはカード に絵が描かれているのに対して，コードネームは， カードに単語が描かれている.コードネームを扱っ た先行研究はいくつか存在するが $[3,4]$, コードネー ムピクチャーズでは, 自然言語理解だけなく, 画像理解も必要となる. また, Dixit はイラストが描か れたカードと言葉によるヒントを用いてゲームを 行うため, Dixit の先行研究 [5] はコードネームピク チャーズの研究にも役立つ. しかし, Dixitにおけ るヒントは，推測者全員にカードを当てられず，一部の推測者のみに当てもらう必要があるため，コー ドネームピクチャーズとはヒントの出し方が異な

図 1 コードネームピクチャーズの場の例

図 2 コードネームピクチャーズの色の割り当ての例 (4 × 5 の各タイルに色が割り当てられており, 各タイルは 図1の各カードに対応している)

る1).コードネームピクチャーズでは, 味方プレイ ヤと協力する必要があるため, 味方のプレイヤに単語を用いて意図を伝える能力が求められる。

これまで，コードネームピクチャーズを扱った 研究は存在しない. そのため, 本研究では, コード ネームピクチャーズの研究の第一歩として，スパイ マスターのヒントに着目し，ヒントを決定するアル ゴリズムのベースライン実装と人間のスパイマス ターにより作成されたヒントとの比較を行う.

以降，2 章では，コードネームピクチャーズの ルールを説明する． 3 章では，スパイマスターのヒ ント決定アルゴリズムについて述べ， 4 章で評価を 行う。最後に本稿をまとめる.

## 2 コードネームピクチャーズの ルール

本章では，コードネームピクチャーズのルールに ついて説明する。コードネームピクチャーズでは, スパイマスター一人と諜報員一人以上からなる 2 チームに分かれる.場には 20 枚の絵（図 1）が書か

れたカードがあり，それらのカードには先攻チーム のカード 8 枚 (青色), 後攻チームのカード 7 枚（赤色), 暗殺者のカード 1 枚 (黒色)，一般人のカード 4 枚（肌色）が割り当てられている (図2). スパイマ スターは上記のカードの色の割り当てを知っている が，諜報員は色の割り当てを知ることはできない. また，カードに描かれた絵はスパイマスターと諜報員の両方から見ることができる．スパイマスターは 自分のチームの諜報員へ向けてヒントを提示，諜報員はスパイマスターから提示されたヒントをもと に自分のチームのカードを推測して選択する。これ をそれぞれのチームで交互に繰り返し，先に自分 のチームのカードをすべて取ったチームが勝ちと なる.

スパイマスターが提示するヒントは正解の絵を連想させ，ヒントとカードの絵柄が意味的に関係する 一語の単語（品詞は問わない）である必要がある.例えば，「あ」から始まる物の絵柄 3 枚のヒントと して「あ」は使用することができない。また，スパ イマスターはヒントのほかに諜報員に取ってほし いカードの枚数を指定できる。諜報員はスパイマス ターが指定した枚数よりもさらに一枚まで多くとる ことができる．これは前のヒントのカードをとり逃 した場合に役に立つ.

諜報員はスパイマスターのヒントを元に，同じ チームの諜報員と相談しながら正解だと思うカード を選ぶ。選んだカードが自分のチームのカードの場合, さらにもう一枚とるか否か選ぶことができる.選んだカードが一般人または相手のチームのカード であった場合，相手にターンを渡す。選んだカード が暗殺者のカードの場合，選んだチームはその時点 で負けとなるため，暗殺者のカードを選ぶことは絶対に避けなければならない、スパイマスターは相手 チームより先に自分のチームの諜報員に自分のチー ムのカードをすべてとらせるために，一つのヒント でなるべく多くのカードを連想させるヒントを出す ことが重要である.

以上のように，スパイマスターはカードに描かれ た絵から関連する語を抽出し, 他のカードとの関係 も考慮した上でカードの推測に効果的なヒントを 提示する。また，諜報員はヒントとなる単語をもと に，単語が示している絵の描かれたカードを選択す る必要がある．そのため，コードネームピクチャー ズは，高度な画像理解と自然言語理解を必要とする ボードゲームであり，ゲーム AI の実装は挑戦的な

画像(イラスト)

(1)イメージキャプショニング

“a picture of a bus”英語のキャプション

(2)翻訳 (英語 $\rightarrow$ 日本語)

“バスの写真” 日本語のキャプション

(3)翻訳文章から単語を選択

“バス” 単語

図 3 ヒント決定アルゴリズムの概要

画像処理と自然言語処理の両方が必要な融合タスク と言える。

## 3 ヒント決定アルゴリズム

この章では，ヒント決定アルゴリズムについて説明する．アルゴリズムの概要を図 3 に示す。はじめ に，コードネームピクチャーズで用いられるカード に対してイメージキャプショニングを行い，その カードを説明する文章を得る，イメージキャプショ ニングとは，画像に対して文章の説明を生成する技術であり，イメージキャプショニングを行う際に用 いたモデルは OFA [6] である. その後, 得られた文章を英語から日本語へ翻訳する。翻訳には Python ライブラリ googletrans ${ }^{2}$ を用いた.

コードネームピクチャーズではヒントとして用い れるのは一語の単語である.そのため, 翻訳された 文章から単語を選択する。まず，日本語形態素解析 エンジンである $\mathrm{MeCab}^{3)}$ を用いて，翻訳文章を単語 に分割する。言語のみを用いるコードネームの研究 において, ヒントとして用いられる単語は名詞が最 も高い (名詞: $74.7 \%$, 動詞: $13.1 \%$, 形容詞: $12.1 \%$ )こ とが報告されている [4]. そのため, 翻訳文章の単語 のうち, 名詞をヒントの候補単語とした。ここで,代名詞はカードを推測するための情報を持たないと 考えられるため, 代名詞は除いている。また，翻訳

2) https://pypi.org/project/googletrans/

3) https://taku910.github.io/mecab/文章を人手で確認したところ,「○○の絵」,「○○ のイラスト」,「○○の写真」といった文章が多かっ た.「絵」,「イラスト」,「写真」の 3 単語は, カード の推測に役立たない $(\bigcirc \bigcirc$ 部分に情報が含まれ る）ため, これらの 3 単語もヒント候補から取り除 いた.このように選択したヒントとなる単語の候補群から単語を無作為に選択することでヒント単語を 決定した.ここで, 上記の方法でヒントの候補群が 空となる場合には，動詞または形容詞から単語を無作為に選択した。動詞または形容詞も含まれない場合は，全単語から 1 つ単語を無作為に選択する。

## 4 評価

本章では, 人間が作成したヒントと前章で述べた 手法で選択されたヒントの比較を行うことで，提案手法の評価を行う。

## 4.1 評価方法

コードネームピクチャーズのカード全 280 枚から 無作為に 50 枚選択し, それらのカードに対して評価を行う．まず，前章で述べた手法により各カード に対してヒント単語を決定する。また, 複数名のヒ ント作成者（大学生 2 名）により, 各カードに対し て, カードの絵を表現するヒント単語を決定した。 その後, 作成者とは別の評価者（大学生 2 名）が, カードとヒント単語を見て，ヒントが適切かを 1 （不適切）から 5 （適切）の 5 段階で評価を行った.

## 4.2 評価結果

人間と提案手法により作成したヒントの両方に対 して，そのヒントがどの程度適切かを 1 (不適切) から 5 (適切) の 5 段階で評価した。その結果, 人間と提案手法が作成したヒントの評価値の平均は, それぞれ 4.90 と 2.22 であった. 度数分布表を図 4 に示す. 図から, 人間によるヒントは大半が適切,提案手法は半数が不適切と評価された。また，人間と提案手法によるヒントの評価をウィルコクソ ンの符号付順位検定を用いて比較すると, $p$ 值は $1.28 \times 10^{-8}$ であった. このことから, 人間が作った ヒントの評価と提案手法によるヒントの評価との間 には，平均值に有意な差があるといえる．したがっ て, 人間が作ったヒントは提案手法によるヒントよ り適切であるといえる. しかしながら, 人間と提案手法が同じ単語である場合も確認されたことから，部分的には提案手法は人間と同様のヒントを作成す

図 4 人間が作成したヒントと提案手法により作成したヒ ントの適切性（1 が不適切, 5 が適切)

図 5 イメージキャプショニング，および翻訳の適切性の 評価 (1 が不適切, 5 が適切)

る能力があることが確認された。提案手法によるヒ ントが人間によるヒントと比較して点数が著しく低 い結果となった理由としては, イメージキャプショ ニング，または翻訳が適切に行われなかったことが 原因だと考えられる。

この原因を調査するため，コードネームピク チャーズの 280 枚のカードに対して，イメージキャ プショニングと翻訳を行って得た説明文章に対し て, 評価者 1 名が説明文の妥当性を 5 段階 (1 が不適切, 5 が適切) で評価した。その結果（図 5), 約 $1 / 4$ の説明文章は適切（5 点）と判断されているが,約半数のカードが不適切（1 点）と判断された.こ の結果から，イメージキャプショニングまたは，翻訳の精度が十分でないことがわかった.

## 5 おわりに

本研究では，コードネームピクチャーズの研究の 第一歩として, スパイマスターのヒントに着目し, ヒントを決定するアルゴリズムを提案した。人間と 提案手法により作成したヒントを人手で評価した 結果, 人間のヒントの方が適切であることがわかっ た. 提案手法が劣る結果となった原因として，イ メージキャプショニング，または翻訳の精度が悪い ことが考えられるため, 今後は，イメージキャプ ショニングと翻訳の精度を向上させる. 具体的に は，コードネームピクチャーズの多義的なイラス 卜に対して, 適切に説明文章を生成できるように， キャプショニングモデルのハイパーパラメータの調整を行うことが挙げられる.

また, 本研究ではタスクの単純化のため, 1 枚の カードのみに対してヒントを作成したが，コード ネームピクチャーズでは複数枚のカードに対して 1 つのヒントを作成することが可能である.そのた め, 複数枚の絵に共通する要素を抽出し, それをヒ ントとして提示する能力が求められる。今後は複数枚の絵に対してヒントを作成する手法の検討も行 う. 将来的には, ヒントからカードを推測するプレ イヤー（諜報員）の実装も行い，人間とゲームをプ レイできる人工知能システムを作成する.

## 参考文献

[1] 片上大輔, 烏海不二夫, 大澤博隆, 稲葉通将, 篠田孝祐,松原仁. 人狼知能プロジェクト (<特集>エンターテイ メントにおける ai). 人工知能, Vol. 30, No. 1, pp. 65-73, 2015.

[2] 大澤博隆. Hanabi コンペティション一不完全情報下における相互協力一. 人工知能, Vol. 35, No. 3, pp. $385-389,2020$.

[3] Catalina Jaramillo, Megan Charity, Rodrigo Canaan, and Julian Togelius. Word Autobots: Using Transformers for Word Association in the Game Codenames. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Vol. 16, No. 1, pp. 231-237, October 2020. Number: 1.

[4] 坪倉和哉, 久保谷空史, 早苗昭尚, 大橋玲音, 堀川裕真,小林邦和. コードネームのゲーム ai 実装に向けたヒ ント行為の分類. 人工知能学会全国大会論文集, Vol. JSAI2022, 2022.

[5] 岩田航季, 鈴木麗需, 有田隆也. 連想カードゲーム Dixit の AI プレイヤー作成による人間の認知への アプローチ. 人工知能学会全国大会論文集, Vol. JSAI2020, 2020.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and
modalities through a simple sequence-to-sequence learning framework, 2022.


# ホッピングマスクを利用した Stable Diffusion Model による連続画像生成

趙 開顔 ${ }^{1}$ Qiyu Wu ${ }^{1}$ 村田 秀樹 2
石川隆一 ${ }^{2}$ 根之木堸亮 ${ }^{2}$ 山本 覚 ${ }^{2}$ 鶴岡 慶雅 ${ }^{1}$
1 東京大学大学院 ${ }^{2}$ 株式会社電通デジタル
\{zhaokaiyan1006, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp
\{murata.h, ishikawa.r, nenoki.s, yamamoto.sato\}@dentsudigital.co.jp

## 概要

Stable Diffusion Model (SDM) のオープンソース化 に伴い，大規模画像生成モデル，特に text-to-image モデルが話題になっている. 既存研究では拡散モデ ルを改善し，制御可能な画像生成や画像編集を目指 している。これらの方法はいずれも有効だが，使わ れるプロンプトに対する制約が大きく，編集した画像の構成を変えられないなどの欠点が存在する. そ れに加え，従来のSDM は，生成した画像の表現力 が足りず，しばしば品質の低い画像が出力されるな どの問題点を抱えている.これらを踏まえて, 本研究では再学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる 手法を提案する ${ }^{1)}$.

## 1 はじめに

近年，拡散モデル（DDPM）[1] の幅広い応用や CLIP [2] などのクロスモーダルモデルの発展に伴 い, Stable Diffusion Model [3], DALLE2 [4], Imagen [5] などの大規模画像生成モデルが話題になってい る.これらのモデルにより，専門知識の有無を問わ ず，誰でも高品質な画像を生成することができるよ うになった. 図 1 に示すように，プロンプト（生成 する画像の内容を示すテキスト）さえあれば，モデ ルが自動的にプロンプトが表す内容を画像で出力す ることが可能である. このようなテキストから画像 を生成する技術は txt2img(text-to-image) と呼ばれて いる.

2022 年の 8 月，SDM のオープンソース化を機に，画像生成への関心はさらに高まった. 画像生成を改善する方向の一つとして，制御可能性を高める方法
 maskで公開されている.

図 1 txt2img の例

が挙げられる. Hertz ら [6] の prompt-to-prompt とい う手法により，プロンプトのテキスト編集だけで 画像を編集することが可能になった。一方，Kawar ら [7] は一枚の画像と一つのプロンプトだけで，複雑な画像編集を可能にする手法を提案した. Stable Diffusion Model (SDM) への関心を踏まえ，本研究に おいても SDM である txt2img モデルを使用した.

しかし, Yang ら [8] によると, 従来の SDM には まだ多くの問題が残っている. まず，SDM は高品質な画像を生成することができるものの，時には学習がうまくいかず，崩れた画像を生成してしまうこ とがよくある [9]. また，図2 に示したように，入力 したプロンプトは「ジョンがバットを振っている」 であるのに，出力された画像は「バットを振ってい る」という動きをうまく把握していない場合が存在 する。これは，生成画像がプロンプトに忠実でない という問題である。そのほかにも，複数の入力（幾 つかのプロンプトを同時に入力する場合）に対して は，プロンプト数を認識する機能がなく，叙事的 な画像生成 (narrative image generation) は不可能であ る.これらの問題を踏まえ，私たちはホッピングマ スクを提案し，CLIP のエンコーダー側で上記の問題点を改善した。

Wu ら [10] と Huang ら [11] は文間の情報 (crosssentence information)を利用し，入力文のセマン ティック情報を強化することで，言語モデルとビデ オローカライゼーションの精度を向上させた. こう

Prompt: John is waving a baseball bat.

図 2 SDM が生成した画像がプロンプトに忠実でない例

した手法から着想を得て、我々の提案手法において も文間の情報を利用することで，高品質，高表現力 の画像連続生成を実現した.

実験では，同じプロンプト，シードで提案手法に より生成した画像と従来の SDM で生成された画像を比較したところ，文節間情報の重要性が示さ れた.

本研究での貢献は以下の通りである：
- 分離符 $<S E P>$ の使用により, 複数のプロンプ トを同時にSDM に入力しても，プロンプト数 を認識することが可能になった。

・ホッピングマスクを提案し，文間の情報を使用 することにより，画像の表現力が向上.
- 提案したホッピングマスクにより，一定の一貫性がある画像を生成することができた。

## 2 関連研究

## 2.1 txt2img 画像生成

テキストから画像の生成という分野は，2016 年 の Reed ら [12] の研究から始まった. テキスト記述に基づいた画像を生成するために従来の GAN [13] を拡張し, 小規模なデータセットと小さな画像解像度で動作することが示された. 以来数年間,主な txt2img モデルは GANのネットワーク構造 (Generator と Discriminator 二つのネットワークを互 いに競争させるような形で学習する) に従い, 生成画像の品質と解像度の両方を向上させたが, 近年話題になっているものは拡散モデルである.

拡散モデル [14] が提唱されたのは数年前に遡るこ とができるが，2020 年，Ho ら [1]が初めて何故拡散 モデルは GANよりも性能が良いのかに関し数値的
な分析を行った. 拡散モデルの仕組みは非常にシン プルで，まず画像にノイズを付与し，テキストなど の他のモダリティからの情報を通し，ノイズを除去 するものである.

しかし，画像をピクセルの配列として直接扱う場合，変数の次元が多くなり，計算量が増加してしま うという問題が存在する。ここで，SDM [3] が提案 された. SDM は，ノイズから画像を生成する代わ りに，ノイズから潜在表現 (latent)をまず生成し，そ れを画像へと戻すという 2 段階のプロセスを経て画像を生成するモデルである。

## 2.2 拡散モデルによる画像編集

従来のSDM はすでに高品質な画像を生成するこ とができるが，画像生成を改善する方向の一つとし て, 制御可能な画像生成と画像編集が挙げられる.

Hertz ら [6] からの prompt-to-prompt 手法により, プロンプトのテキスト編集だけで画像を編集するこ とが可能になった. Prompt-to-prompt のキーポイン トは，ピクセルとトークンの関係を利用し，クロス アテンションマップを拡散過程に埋め込み，生成を 制御することである。他の手法と異なり，学習，微調整，追加データや最適化を必要とせず，単に入力 プロンプトを変更するだけで，画像の背景を変更せ ずに小さな部分を変更することや，画像のスタイル を全体に変更することが可能になった．また，新し い情報を追加することも可能になった. しかし, こ の方法での入力プロンプトに対する制約は大きく， プロンプト間のギャップは数語または数フレーズで なければならない.

一方, Kawar ら [7] は Imagic を提案した. Imagic は，初めて 1 枚の実画像を，テキストのみを用いて 複雑な編集をすることを可能にした. 鮮明な画像 さえあれば，Imagic は犬を座らせ，又は，ジャンプ させる，また，鳥を羽ばたかせることができる．だ が，この方法による編集にも限界があり，編集した 画像の構成を変えることはできない.

これらの方法はいずれも有効だが，画像の表現力 が不十分な点や，画像編集が制約される等の問題は 解決されていない. 本研究において, 私たちは学習 を必要とせず，連続的に生成される画像間の相関性 を改善し，画質や表現力を向上させる手法を提案 する。

## 3 提案手法

## 3.1 SDM による画像生成

提案手法を紹介する前に，従来のSDM による プロンプトから画像への変換の流れについて説明 する.

図 3 左側のように，一つのプロンプトを，まず CLIP [2]のトークナイザー (tokenizer) に入力し，トー クン， $T_{1}, T_{2}, T_{3}, \ldots ＼mathrm{~ へ の 変 換 を 行 う . ~ 次 に ， 式 ~(1) の ~}$通り，CLIPエンコーダーを使用し，トークンを埋め 込みに変換する。

$
e_{i}=\operatorname{Attn}\left(w_{i}\right)
$

ここで， $w_{i}$ は $i$ 個目のトークンの単語埋め込み (word embedding)を示し, $e_{i}$ がアテンションの計算 を行ったトークンの埋め込みである。この変換の中 で、コーザルマスク (causal mask) [15] が SDM に使用されている. 図 4 の左側に示すように，第一列と 第一行は各トークンで，第一列から見ると，青い部分はアテンションを計算する際，計算に含まれる ことを示す. 例えば， $T_{1}$ は，自分のみを考慮し， $T_{2}$ は， $T_{1}$ と自身に基づき，アテンションを計算する。 つまり，トークンがアテンションを計算する際，そ の前のトークンと自身のみを認識できるようにして いる.このような仕組みを使用した原因としては， トークンの後に, 意味のないパディング (padding) が ついているので，意味のあるトークンをパディング を見えないように設定にしている.

続いて，埋め込み $e$ をイズを加えられた潜在表現 (latent) と一緒に U-Net[16] に入力し，埋边みを 基にノイズを除去する:

$
\hat{l}=U N e t(l, e)
$

$l$ はノイズを加えられた潜在表現であり，îはノイズ を除去した潜在表現である。最後に，ノイズが除去 された潜在表現を用い，VAE [17]を通し，ベクトル から画像へ戻す．以下の式で表すことができる。

$
\text { image }=\operatorname{vae}(\hat{l})
$

## 3.2 ホッピングマスクを用いた SDM

文間の情報を利用するために，まず，入力をいく つかの連続プロンプトにする必要がある. モデルが 一連の文を明示的にエンコードできるように、セパ レータ $<S E P>$ を文に埋め込む. この際，提案した

図 3 SDM 及び提案手法の流れ

手法の入力は以下の式で表すことができる：

$
\begin{aligned}
& x=\text { Prompt }_{1}<S E P>\text { Prompt }_{2}<S E P>\ldots, \\
& \text { Prompt }_{1}=T_{1}, \ldots, T_{n}
\end{aligned}
$

トークン化後，複数のプロンプトが存在するた め，トークンが所属するプロンプトの IDを返す関数 $P_{i d}(\cdot)$ を使う．例えば， $T_{8}$ が第三個目のプロンプ 卜 (Prompt ( $_{3}$ ) に属する場合, $P_{i d}(8)$ の値は 3 となる.続いて，我々が提案するホッピングマスクについ て説明する. Prompt $t_{2}$ の埋め込み (embedding)を計算する際，Prompt $t_{1}$ の情報を踏まえて，アテンショ ンを計算していく. そして, Prompt 3 の埋め込みを 計算する際，今回の場合 Prompt $_{2}$ の情報を考慮し， アテンションの計算を行う. 図 4 の右側に示す通 り，例えば， Prompt 3 に所属している $T_{8}$ を考える と, $T_{8}$ のアテンションの計算には, Prompt ${ }_{2}$ のトー クンと Prompt $_{3}$ の中で, $T_{9}$ 自分と自分より前のトー クンを考慮し，Prompt ${ }_{1}$ のトークンは含まれていな い. 定式化すると，以下のように表される：

$
M_{i, j}= \begin{cases}1 & i \leq j, P_{i d}(i)-P_{i d}(j) \leq 1 \\ 0 & \text { ほか }\end{cases}
$

$M_{i, j}$ は，提案したアテンション行列の $i$ 行目， $j$ 列目のマスク値のことであり，青い部分の値は 1 であ る. 分離符として使われた $\langle S E P>$ も計算時に考慮する必要がないため, ゼロに設定している.

次に，式 (1)に従い，CLIP エンコーダーでのアテ ンションの計算結果は以下のようになる：

$
\operatorname{Attn}=\operatorname{Attn}\left(w_{i}\right) * M
$

Causal Attention Mask

Proposed Hopping Attention Mask

図 4 左側はSDM に使われているコーザルマスクで，右側は提案したホッピングマスクである.

## Prompt: John is waving a baseball bat.

SDM

Proposed method

図 5 SDM が生成した画像と提案手法による生成画像の 比較

このようなアテンション計算がエンコーダーの各層で行われ，最終的に得られるのは複数のプロンプ トからホッピングマスクを使用した埋め込みであ る．SDM の手順に従い，次にU-Netを使用し，ノイ ズを除去する際には，入力の各自プロンプトの埋め 込みを抽出し，入力プロンプト数と対応している数 の潜在表現から，別々で画像を生成する：

$
\hat{l}_{i}=\operatorname{vae}\left(l, e_{i}\right), i \in P_{i d}(\cdot)
$

提案手法により，豊富な文脈情報の取得に成功 し，SDM に基づいた生成画像の品質と表現力の向上だけでなく，連続画像生成が可能になった。

## 3.3 分析

$\mathrm{Wu}$ ら [10] と Huang ら [11]によると，文間の情報 は，モデルがトークンとプロンプトの意味を正しく 理解することに非常に役に立っているとされる. 私 たちもホッピングマスクを使用することで，文間の 情報を利用し，プロンプトの埋め込みを改善した。

図 5 の右の画像は,「John throws out a baseball」の後 に生成された 2 番目の画像である. 右の画像は左の 画像と比較し，遥かに表現力があることがわかる. これは，2つ目のプロンプトの埋め込みを計算する 際に，1つ目のプロンプトの情報も考慮することで， より入力プロンプトに適合した画像を生成する可能性を高めているためである。つまり，「John throws out a baseball」と「John is waving a baseball bat」は，関連する或いは同じ活動を記述しているため，画像 2 を生成する際に，ジョンが野球をしているという事実が描写される保証が高くなると考えられる。

さらに，提案手法を用いることにより，連続的に 生成される画像間の一貫性も向上にも繋がる。これ は，異なるプロンプトで同じ名前の人物が現れる場合，後者の名前のトークンは前者のものを参照こと ができるため，類似した人物が生成されやすくなっ たと解釈できる。 その他実験結果については付録を 参照していただきたい.

## 4 まとめ

本研究では再学習を必要とせず，連続的に生成さ れる画像間の相関性を改善し，画質や表現力を向上 させる手法を提案した. 既存の画像編集方法と比較 し，プロンプトの制約が減少し，連続生成した画像 の一貫性の向上に成功した。

## 謝辞

この研究は東京大学 $\mathrm{AI}$ センターと株式会社電通デジタルが推進する共同研究の助成を受けてい ます。

## 参考文献

[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems, Vol. 33, pp. 68406851. Curran Associates, Inc., 2020.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[3] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[4] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022

[5] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding, 2022. URL https://arxiv. org/abs/2205.11487, Vol. 4, .

[6] Amir Hertz, Ron Mokady, Jay Tenenbaum, Kfir Aberman, Yael Pritch, and Daniel Cohen-Or. Prompt-to-prompt image editing with cross attention control. arXiv preprint arXiv:2208.01626, 2022.

[7] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-based real image editing with diffusion models. arXiv preprint arXiv:2210.09276, 2022.

[8] Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022.

[9] Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H Bermano, Gal Chechik, and Daniel CohenOr. An image is worth one word: Personalizing text-toimage generation using textual inversion. arXiv preprint arXiv:2208.01618, 2022 .

[10] Qiyu Wu, Chen Xing, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. Taking notes on the fly helps language pre-training. In International Conference on Learning Representations, 2020.

[11] Jiabo Huang, Yang Liu, Shaogang Gong, and Hailin Jin. Cross-sentence temporal and semantic relations in video activity localisation. In Proceedings of the IEEE/CVF
International Conference on Computer Vision, pp. 7199-7208, 2021.

[12] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In International conference on machine learning, pp. 1060-1069. PMLR, 2016.

[13] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784, 2014.

[14] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pp. 22562265. PMLR, 2015

[15] Xu Yang, Hanwang Zhang, Guojun Qi, and Jianfei Cai. Causal attention for vision-language tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9847-9857, 2021.

[16] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[17] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.

## A 付録 (Appendix)

## A. 1 アテンションマスクの可視化

図 6 提案マスクの可視化表示

## A. 2 実験設定

今回使用した SDM モデルは, stable-diffsuion-v1$4^{2)}$ である. 生成された画像の解像度は 512*512で， U-Net のステップ数は 50 に設定されている.

## A. 3 他の実験結果

実験結果に関しては，比較を行った対象は同じ シードを使った生成結果である.

## A.3.1 表現力向上の例

図 7 の中で，左側のほうは従来の SDM が生成 した画像であり，右側のは提案手法の生成結果 である.上から一組目は John is working in his farm. の次に生成された二番目の画像だ。二組目は John throws out a baseball. $<S E P>$ John is waving a baseball bat. $<S E P>$ John hits a ball with his bat. の次の結果で ある. 三組目は A mountain is tall and steep. の次に生成された二番目の画像.

Prompt: John is spreading seeds in his farm.

Prompt: John wins a baseball game.

Prompt: Sophie is climbing the mountain.

図 7 表現力向上の例

## A.3.2 一貫性向上の例

図 8 一貫性向上の例

図 8 の上列は提案手法により生成した画像であ り，犬の様子は下の SDM が生成した画像より同じ ふうに見える.

2) https://huggingface.co/CompVis/

stable-diffusion-v1-4