# 意味的類似度計算システムによる チャットボット FAQ システムの性能向上

栗原健太郎 ${ }^{1,2}$ 二宮大空 ${ }^{2}$ 友松祐太 ${ }^{2}$
1 早稲田大学理工学術院 2 株式会社 AI Shift
kkurihara@akane.waseda.jp
\{kurihara_kentaro, ninomiya_hirotaka, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

カスタマーサポートや社内ヘルプデスクなどに おける問い合わせ対応に、チャットボットが適用さ れつつある。AI Shift では、各種サービスにおける ユーザの質問に自動回答するシステムとして Dense Retriever [1]を活用したチャットボット FAQ システ ムの構築を検討している。Dense Retriever の学習に 自社の事業で収集している対話ぺアを用いている が、正例と見做している対話ぺアの中には、2 文間 の内容が大きく異なる品質の悪い対話ぺアが存在す る。しかし、顧客の多様さとデータ量の多さ故に人手によるそれらの除去は非常に手間がかかる作業と なっている。本研究では、意味的類似度計算システ ムを用いた学習データの自動フィルタリング手法を 提案する。実験の結果、提案手法による FAQ システ ムの性能向上を確認することができた。

## 1 はじめに

多くの企業や団体が提供するサービスにおける カスタマーサポートなどにおいて、チャットボット が適用されつつある。チャットボットが提供する機能の一つに、各種サービスにおける「よくある質問」などと呼ばれる Frequently Asked Questions (FAQ)検索を用いたユーザ質問への回答機能が存在する。 FAQ 検索では、企業が保持する FAQ のデータベー スに基づき、ユーザ質問に対して最もマッチする回答を得ることができる。

我々は現在構築を検討中のチャットボットの FAQ システムにおける検索手法として、Open-Domain QA で有効とされている Dense Retriever [1] を採用する。 Dense Retriever の学習には、自社のチャットボット 事業で収集しているくユーザ質問, FAQ 質問 >を対

話ペアと見做した対話データを用いる1)。本対話 データにおいて、ユーザ質問とユーザが選択した FAQ 質問の対話ぺアを正例として学習に用いる。

しかし、プロダクトで収集される対話データに は、ユーザが選ぶ FAQ 質問の内容が質問内容とマッ チしていない品質の悪い対話ぺアが含まれていると いう問題がある。これらを正例と見做して学習する ことで、Dense Retriever の学習の際にノイズとなる 恐れがある。品質の悪い正例の例を表 1 に示す。い ずれもユーザ質問と $\mathrm{FAQ}$ 質問の内容が大きく異な るため品質の悪い正例と言える。また、複数顧客の データからランダムサンプリングした対話ぺアに対 して、筆者による品質の良い正例であるか否かにつ いてのアノテーションを実施した結果、品質の \{良 い正例: 455 件, 悪い正例: 328 件 \} となっており、品質の悪い正例が多く含まれている。

一方で、多様な顧客から多数の対話ぺアを収集し ていることから、人手での品質の悪い正例の除去は 大変手間がかかる作業となっている。人手フィル タリング以外の品質の悪い正例を除去する手段と して、FAQ 質問選択後にユーザがさらに選択する フィードバック質問の活用が考えられる。フィー ドバック質問とは、FAQ 選択後に表示される回答 によって課題を解決することができたかを「はい」「いいえ」の 2 択でユーザが回答する質問である。 ここで「はい」が選択されたデータのみを収集する ことで、品質の悪い正例を除去することが可能であ る。しかし、フィードバック質問に回答するユーザ

1）対話データの収集方法の詳細については二宮ら [2]の 4 章 に原則従う。

は少なく、収集できるデータ量も著しく減少してし まう。そのため、学習データのフィルタリング方法 としてはふさわしくない。

そこで本研究では、意味的類似度計算システムを 用いた対話ぺアの類似度付与による品質の悪い正例の自動フィルタリング手法を提案する。実験の結果、提案手法によるフィルタリングを適用したデー タで学習した FAQ システムは、フィルタリング未適用のデータで学習した FAQ システムと比較して性能が向上することを確認することができた。

## 2 関連研究

Open-Domain QA タスクにおける文書検索では、表層情報による文書検索手法として TF-IDF や BM25 [3] が用いられていた。昨今では密なべクト ル表現に基づいた文書検索を行う Dense Retriever が 採用されつつあり、 $\mathrm{QA}$ 分野への適用の流れも生 じている。加藤ら [4] は日本語の Open-Domain QA データセット JAQKET [5] を用いた DPR における Retriever の性能評価を実施しており、一定の性能の 発揮を報告している。また、言語理解モデルの学習 におけるデータの拡張による性能向上の試みも、要約タスク [6] や FAQ タスク [2] などで行われている。 Talukdar ら [7] は学習に用いるデータのフィルタリ ングが言語理解モデルの性能向上に寄与すると報告 しているが、その調査は主に SST などの分類タスク を対象としている。

本研究では、 2 文間の類似度が低い対話ぺアを品質の悪い対話ぺアと見做し、回帰タスクである意味的類似度計算 (Sentence Textual Similarity: STS) タ スクに帰着させることによるデータの自動フィル タリングを提案する。英語の STS-b [8] や日本語の JSTS [9] などはベンチマークに含まれているデータ セットとして言語理解モデルの性能評価に用いられ ている。2つのSTS データセットの正解類似度は 0 （意味が完全に異なる）から 5 （意味が等価）の実数值で定義されており、一般的にSTS タスク全般で同様に定義される。

## 3 意味的類似度計算システムを用い た低品質対話ペアのフィルタリング

検討中のチャットボット FAQ システムにおける Dense Retriever の学習に用いる対話データには、2文間の内容が大きく異なる品質の悪い正例が多く存在 している。これらのデータを学習に用いることで、

図 1 意味的類似度計算システムを用いた学習データの自動フィルタリングのフロー

モデルの学習の際にノイズとなる恐れがある。しか し、顧客の多様さとデータの多さ故に人手フィルタ リングは非常に手間がかかる作業となっている。

本研究では、意味的類似度計算システムを用い た学習データの自動フィルタリング手法を提案す る。提案手法のフローを図 1 に示す。意味的類似度計算システムを用いて類似度（以下 $\delta$ と呼ぶ）を獲得し、 $\delta$ が一定の値以下である対話ぺアを除去する ことによって自動フィルタリングを実施する。その 後フィルタリングしたデータを用いて FAQ システ ムに用いられている Dense Retriever を訓練する。意味的類似度計算システムの構築には、言語理解モデ ル BERT [10] を用いる。具体的には、日本語のSTS データセットである JSTS で BERT の事前学習済み モデルをファインチューニングすることで意味的類似度計算システムを構築する。システムが算出する 類似度 $\delta$ は、JSTS の正解類似度と同様に 0 から 5 の 間の実数値となる。

## 4 FAQ システムの評価実験

## 4.1 実験設定

自社のチャットボット事業で収集した対話ぺア を用いて、チャットボット FAQ システムにおける Dense Retriever の学習・評価を行う。意味的類似度計算システムを用いたデータセットの自動フィルタ リングの有効性検証のため、フィルタリングを適用 した対話データと適用していない対話データそれぞ れで Dense Retrieverの学習を行う。評価には Macro Average Top $\{1,3,5\}$ Accuracy を使用し、各顧客デー タ毎に Top $\{1,3,5\}$ Accuracyを算出した後、全体顧
表 2 学習データのサンプルサイズ

客数で平均することで最終的なスコアを得る。

ベースライン手法 提案手法における JSTS 活用 の妥当性検証のため、ベースラインとして事前学習済みモデル BERT をファインチューニングせずに 意味的類似度計算システムを構築する。本システム は、対話ぺアの各文を独立にモデルに入力し、最終層の出力の [CLS] トークンのベクトルのコサイン類似度を算出して類似度を獲得する。ただしコサイン 類似度は 0 から 1 の実数値で算出される一方、提案手法の類似度計算システムは 0 から 5 の実数値で類似度を算出する。そこで、ベースライン手法では、 コサイン類似度を 5 倍した値を類似度とする。

フィルタリング未適用の Dense Retriever の学習 データ（以下 Raw Data と呼ぶ）と、ベースライン、及び提案手法それぞれによるフィルタリング後の学習データ（それぞれ vanilla-BERT Data, JSTS Data と 呼ぶ）のサンプルサイズを表 2 に示す。

評価データの設計ドメインに依らない汎化性能を評価するため、Dense Retriever の学習に用いた 顧客データで構成した既知ドメイン（以下 KnownDomain と呼ぶ）と、学習に用いていない顧客デー タで構成した未知ドメイン (以下 Unknown-Domain と呼ぶ）の 2 種類の評価データを用意する。評価 データも、学習データと同様にユーザ質問とユーザ が選択した $\mathrm{FAQ}$ 質問の対話ペアを正例として収集 したデータを用いる。しかし、この収集方法では学習データと同様に評価データにも品質の悪い対話ぺ アを含んでしまう。そのため、1節で述べたフィー ドバック質問でユーザが「はい」と回答した対話 ペアのみを抽出したデータでも評価を行う。学習 データと同様に収集した評価データを Normal-Data、 フィードバック質問を用いてフィルタリングを実施 している評価データを Feedback-Data と呼ぶ。各評価データのサンプルサイズを表 3 に示す。

図 2 ランダムサンプリングした対話ぺアの類似度の分布 を示す箱ひげ図 (valid: 品質の良い正例データ, invalid: 品質の悪い正例データに対応している)

除去する対話ぺアの類似度の閥値本実験では、除去する対話ぺアの類似度 $\delta$ の閾値による FAQ シ ステムの性能差を比較するため、各フィルタリング 手法で複数の閾値を設定する。効果的な閾値設定 のため、1 節で述べた人手アノテーションした対話 データの意味的類似度を、ベースライン、提案手法 それぞれで獲得した。アノテーション済みデータの 類似度分布を図 2 に示す。提案手法について、 $\delta$ の 閾値を品質の良い正例 (valid データ) の類似度分布 の第一四分位、および品質の悪い正例 (invalid デー タ) の類似度分布の第三四分位に相当する 1.5 程度 に設定することで、アノテーション済みデータに おいて、valid データを $1 / 4$ 程除去しつつも、invalid データを $3 / 4$ 程除去することができる。以上より、提案手法において $\delta<1.5$ を除去する対話ぺアの類似度の閾值の1つに設定する。しかし、validデータ を除去しすぎることによる意味的類似度計算システ ムの性能低下が懸念される。そこで、validデータを 極力除去することなくinvalid データを除去するた めに $\delta<1.0$ も閾值に設定する。べースライン手法 については valid, invalid データの類似度分布の重な りが大きく、効果的な間値設定が困難である。本実験では、提案手法における閾值設定と同様に、valid データの第一四分位および invalid データの第三四分位に相当する $\delta<3.2, \delta<3.9$ をべースライン手法の 間値に設定する。

その他のハイパーパラメータ 意味的類似度計算 システムの構築に用いる BERT、および FAQ システ ムの構築に用いる Dense Retriever のファインチュー ニングにおけるハイパーパラメータを表 4 に示す。
表 4 意味的類似度計算システム、および FAQ システムの fine-tuning 時のハイパーパラメータ

各評価手法による FAQ システムの性能評価結果 (3つのスコアは左から順に $\operatorname{Top}\{1,3,5\}$ Accuracy を表す)

Normal-Data

## 4.2 結果・考察

Dense Retreiver の推論性能の評価結果を表 5 に示 す。全般的に JSTS Data で学習した Dense Retriever が、Raw Data で学習した場合や、vanilla-BERT Data で 学習した場合のモデルの結果と比較して Accuracyが 高くなっている。JSTS Data $(\mathcal{S}<1.0)$ と Raw Data そ れぞれで学習した結果を比較した場合、Normal-Data, Known-Domain, test において Top $\{1,3,5\}$ Accuracy はそれぞれ $1.5 \%, 2.7 \%, 2.5 \%$ 上回っており、NormalData, Unknown-Domain, test では $3.2 \%, 10.1 \%, 5.1 \%$ 上回っている。一方で、Known-Domain における性能について、vanilla-BERT Data で学習した場合の Accuracy は、Raw Data で学習した場合と同等または それ以下の値という結果になっている。この結果 は、JSTS によるファインチューニングを行なって いない vanilla-BERT を用いた invalid データの効果的 な除去は困難であること、及び JSTS を用いたファ インチューニングによる文ペアの意味的類似度の学習の有用性を示している。

Normal-Data の Known-Domain における評価にお いて、JSTS Data $(\mathcal{S}<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比べて低 い。これは、Raw Data で学習したモデルの Accuracy を上回っている JSTS $\operatorname{Data}(\mathcal{S}<1.0)$ や vanilla-BERT
Data $(\mathcal{S}<3.2)$ と比較して、JSTS Data $(\mathcal{S}<1.5)$ はデー タ数が少なく、validデータが比較的多く除去された ことが原因と考えられる。

一方で、Feedback-Data の Known-Domain における 評価では、JSTS Data $(\delta<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比 べ高い。この結果は、Normal-Data に含まれてい てモデルが正解できなかった invalid データが、 Feedback-Data ではフィルタリングされていることが 原因と考えられる。

## 5 おわりに

本論文では、Dense Retriever ベースの FAQ システ ムの学習データの自動フィルタリング手法として、 JSTS でファインチューニングした BERT ベースの 意味的類似度計算システムの活用を提案した。実験結果は、提案手法による FAQ システムの性能向上を 確認することができたことで、人手フィルタリング による負担の削減に貢献できる可能性を示した。

今後は、T5 [11] や BART [12], などの生成モデル を用いて、FAQに紐づいた回答文章と答えから質問文を生成することなどによって、データセットの拡張をすることを検討する。さらに、データセット拡張とフィルタリングを相互に実施することで FAQ システムの更なる性能向上を目指す。

## 参考文献

[1] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[2] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用 いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[3] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. Okapi at trec-3. In TREC, 1994.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ イン qa における dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. $1403-1407,2021$.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット の構築. 言語処理学会 第 26 回年次大会, pp. 1403 1407, 2020.

[6] Bharath Chintagunta, Namit Katariya, Xavier Amatriain, and Anitha Kannan. Medically aware GPT-3 as a data generator for medical dialogue summarization. In Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, pp. 66-76, Online, June 2021. Association for Computational Linguistics.

[7] Arka Talukdar, Monika Dagar, Prachi Gupta, and Varun Menon. Training dynamic based data filtering may not work for NLP datasets. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 296-302, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2019.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.


# コンテキストの量が質問応答モデルのショートカット推論に与 える影響について

秋元康佑 竹岡邦紘 小山田昌史
NEC データサイエンス研究所
$\{$ kosuke_a,k_takeoka, oyamada\}@nec.com

## 概要

質問応答は近年活発に研究が進められている言語理解タスクであるが, 近年の深層学習を利用した質問応答モデルは訓練データセット中のバイアスを利用したショートカット推論に陥りやすいことが知ら れている.一方この問題に関する既存研究の分析は ショートカット推論を促す情報源文章の特徴に関 するものがほとんどであり, 情報源文章の数（長さ） が変化した場合のショートカット推論の挙動につい ては詳しくわかっていない. 本研究ではオープンド メイン質問応答の設定に注目し, 特に検索によって 得られた情報源文章を利用する retrieve-then-read 方式の質問応答モデルが持つショートカット推論の挙動が情報源文章の数によってどのように変化するか を調べた. 実験の結果, そのような質問応答モデルは 回答に必要ない不要な情報源文章の数が増えるほど ショートカット推論を引き起こしやすくなり,この 問題が主にモデルに悪影響を及ぼす一部の文章に よって引き起こされていることがわかった.

## 1 はじめに

質問応答 (question answering) とは, 利用可能な情報源文章（コンテキスト）を基にユーザーから与えら れた質問文に対する回答を自動的に作成するタスク である. 近年では大規模なベンチマークデータセッ 卜[1]が公開されるなど活発に研究が行われており,大規模言語モデルの利用などによって一部のベンチ マークデータセットに対する性能が人間を超えるな ど性能面での進歩も著しい [2].

一方で質問応答モデルが本来意図されていた言語理解能力ではなく, 訓練に利用したデータセットに 含まれるバイアスなどを利用したショートカット推論 [3] を学習してしまう事例も報告されており,ベン チマークデータセット以外への実応用に向けた課題
となっている. 例えば [4]では質問応答モデルが質問と単語の重複が大きいコンテキスト文に依存して おり,そうした文に正答が含まれない場合に誤答が 増える結果が報告されている。

本研究では特にコンテキストが明示的にシステ ムに与えられないオープンドメイン質問応答の設定に注目し，そのような設定で近年よく用いられる retrieve-then-read 方式 [5] と呼ばれるシステムが持つ ショートカット推論への脆弱性について研究する. retrieve-then-read 方式のシステムは質問文をクエリ としてコンテキストを外部コーパスから検索して得 る. そのため質問文とコンテキストとの単語的・意味的な類似度が大きくなりやすい特徴があり, 前述 した従来研究において指摘されているショートカッ 卜推論に対する脆弱性が大きな課題となりうる.さ らにこうしたシステムでは検索の recall を確保する ため比較的多くの文章 (100 個程度まで) を利用する ことが一般的 [6] であるため, モデルにショートカッ 卜推論を促す文が複数含まれる可能性がある。

しかしショートカット推論に関する従来研究はコ ンテキストに含まれる文章の内容（意味や単語）を 対象に分析を行っており,コンテキストに含まれる 文章の量に関連するショートカット推論の挙動は著者らの知る限り [7] における限定的な実験があるの みである.

さらにコンテキストの量は推論時だけでなく， retrieve-then-read 方式の質問応答モデルを訓練する 際にも性能に影響を与えていることが示されている $[6,8]$. しかし特に質問応答に不要なコンテキストの 量が性能に与える影響が明らかになっていないな ど, 訓練時のコンテキストの量に関する研究もまだ 十分行われているとは言えない。

そこで本研究では retrieve-then-read 方式の質問応答システムの訓練および推論の挙動が,コンテキス ト中の必要な文章 (positive passage) と必要ない文章
(negative passage)の量にどのように影響を受けるか を分析する.この研究は現在進行中であるが, 本稿で は執筆時点で完了している推論時の挙動に関する実験の結果について報告する。

## 2 関連研究

与えられた自然言語文のコンテキストを利用して 質問応答を行う機械読解の分野は近年 SQuAD デー タセット [1] などの大規模なべンチマークが公開 されるなど活発に研究が行われており, 大規模言語モデルを利用した手法 [9] などが提案されてい る.またコンテキストが明に与えられないオープン ドメイン質問応答の分野の研究も盛んに行われて おり, Wikipedia などの外部知識源から質問に関連 する文章を検索してコンテキストとして利用する retrieve-then-read 方式 [5] が現在主流となっている. retrieve-then-read 方式ではコンテキストに含まれる 情報の recallを増やすため比較的多くの文章をコン テキストとして利用することがあり, 効率的に複数 の文章の情報を利用するために RAG[10] や FiD[6] などのモデルが提案されている.

一方で学習された質問応答モデルがデータセット に含まれるバイアスに頼ったショートカット推論 [3]を学習してしまっていることを示唆する事例も 多数報告されている $[11,4,12,13,14,15,16,17,7,18]$.例えば $[11,4,7]$ ではモデルが質問文と単語的な重複 が大きい文に注目して誤答してしまう傾向があるこ とを示す結果が報告されており, [16] では特にモデ ルが注目している質問文中の単語が重複している場合にこの傾向が強いことが示されている. また質問応答モデルはエンティティの型情報も利用してお り,エンティティの型のみを考慮して正答が得られ るバイアス [14]を利用したショートカット推論を学習してしまいうることが示されている [15]. これら の既存研究では主にモデルにショートカット推論を 促しやすいコンテキストの内容に関する分析を行っ ているが,一方でそのようなコンテキストの量に関連した分析も行っている研究は著者らの知る限り [7] のみで比較的少ない. ショートカット推論以外の 分野では, コンテキストに含まれる矛盾した情報の 量による質問応答モデルの挙動を分析した論文がつ い最近発表されている $[19,20]$.

## 3 実験

本章ではまず retrieve-then-read 方式の質問応答モ デルの推論時の性能が, コンテキスト1) 中の回答に 必要な情報を含む文章 (positive passage) と必要ない 文章 (negative passage) の量に依存することを示し (§3.3), この性能低下が特に質問応答モデルに性能低下を促す一部の文章 (hard negative passage) によって 引き起こされていることを示す.

## 3.1 データ

本稿における実験では, オープンドメイン質問応答のベンチマークデータセットである Natural Question[21]を利用した. 本実験では retrieve-thenread 方式の検索部分については分析の対象外とし, Wikipedia から DPR[22] によって検索された文章が 各質問に対するコンテキストとして予め付与されて いる, [6] における前処理済みデータを利用した.こ れらのデータセットにおける各質問のコンテキスト について,アノテーションされている正答を文字列的に完全一致で含む文章を positive passage, 含んでい ない文章を negative passage として取り扱った. 後述 するモデルの学習には train サブセットを利用する こととし ${ }^{2)}$, モデルの性能評価には $\operatorname{dev}$ サブセット を利用した ${ }^{3)}$.

## 3.2 質問応答モデル

本稿における実験では, 質問応答モデル (reader) として近年高い性能を示している FiD[6] と呼ば れる encoder-decoder モデルを対象とした．FiD は text-to-text タスクで利用される T5[23] を拡張したモ デルであり,より効率的な推論を実現するため複数 の入力文 $\left.\{s_{1}, \ldots, s_{n}\right.\}$ をそれぞれ独立に encoder $f_{\text {enc }}$ によってエンコードする ${ }^{4}$ ことが特徴である. 各入力文 $s_{i}$ のエンコード結果 $f_{\mathrm{enc}}\left(s_{i}\right)$ は結合されて decoder $f_{\mathrm{dec}}$ に入力され, 自己回帰的に出力文 $o$ が生成される ${ }^{\text {) }}$.(すなわち $[x ; y]$ をべクトル列 $x$ と $y$ の

1）本稿では個々の情報源文章 (passage) と，それらの集合とし てのコンテキストを用語として区別する。

2）実際に訓練データとして利用されるデータと early stopping のための検証用データの 2 つにさらに分割した.

3）全ての実験で同じ質問集合が評価に利用されるよう,この うち positive passage を 8 個以上, negative passage を 64 個以上持つような質問のみを利用した。

4） T5 と同様に, 大力文中の各トークンごとにベクトルが計算 される.

5） FiD は与える入力文の順序の並べ替えによって出力がほと んど変化しないことが報告されており [8], 著者らの予備実験
結合として, $o=f_{\mathrm{dec}}\left(\left[f_{\text {enc }}\left(s_{i}\right) ; \ldots ; f_{\mathrm{enc}}\left(s_{n}\right)\right]\right)$ である. $)$質問応答モデルとして利用される際は,一般的に質問文 $q$ とコンテキスト中の $i$ 番目の文章 $p_{i}$ を用い て $s_{i}=$ "question: $q$ context: $p_{i}$ "のようなテンプレー 卜に従い入力文 $s_{i}$ を作成し, 出力文 $o$ として正答を 出力させるように学習する ${ }^{6}$. また FiD を初期化す るための T5 モデルとしては, transformers ライブラ リ [24] の t5-base を利用した。

## 3.3 positive, negative passage の量による 性能変化

本節では質問応答モデルの性能がコンテキスト中 の positive passage と negative passage の個数によって どのように変化するかを調べる.

まず実応用に近い自然なコンテキストが入力され た際の挙動を調べるため, 各質問毎に positive passage と negative passage をそれぞれ重複なしで指定した個数サンプルフ)した場合の正答率を測った. 結果は表 1 の上部のようになっており ${ }^{8}$, 以下のような傾向が 観察された。

(1) 同じ positive passage の集合を与えられていて も, negative passage の個数が増えると正答率が 低下する。

(2) (1) の傾向は, positive passage の個数が少なくな るとより顕著となる。

より個数変化のみによる影響を評価するため, あ る 1 つの negative passage を指定した個数だけコピー してコンテキストに加えた場合の正答率も評価した (以後この設定を「重複コピー設定」と呼ぶ $)^{9}$. 結果 は表 1 の下部のように前述した (1)と同様の結果が 得られた. このことから (1) の結果は含まれる情報 の内容に一切の変化が無く個数のみが変化する場合 でも起こることが確認できた.

さらに (1) の結果がどの程度 negative passage 中の 矛盾する情報10) や正答の表記ゆれ由来の効果による

でも同様の結果が確認できたことから, 本実験ではコンテキ スト中の文章の順序については学習時, 推論時共に特に意識 しないこととした

6）本実験ではコンテキスト中の各文章 $p_{i}$ のタイトル $t_{i}$ も用 いて $s_{i}=$ "question: $q$ title: $t_{i}$ context: $p_{i}$ "とした.

7）各質問に対しランダムに 5 通りサンプルして結果を平均し た.

8）各行, 各列はそれぞれ同じ positive, negative passage の集合 に対する実験結果である。

9）各質問ごとに, 全ての negative passage に対して正答率を評価し結果を平均した。

10）例えば正答以外の別解が存在することを示す情報が挙げ られる.このような矛盾を含むコンテキストに対する分析も 行われているが $[19,20]$, そのようなコンテキスト中の矛盾に 対するモデルの望ましい挙動は応用次第で変わりうる. その表 1 positive および negative passage の個数の変化による 質問応答モデルの正答率 (exact match)の変化. all は各質問毎に利用できる positive または negative passage を全て利用 したことを示す.

図 1 negative passage が持つ相対スコアのヒストグラム.

ものなのかを明らかにするため, negative passage の 追加によって回答が変化した事例 ${ }^{11} を 100$ 個サンプ ルして人手評価を行った. その結果, positive passage のみ与えられていた場合にモデルが正解できていた 事例は 87 個存在し, そのうち変化後の回答が正答の 表記ゆれだった事例は 16 個 (18\%), negative passage 中に正答に矛盾する情報が含まれていた事例は 20 個 $(22 \%)$ であった. この結果から, 残りのおよそ半数 の事例については negative passage に矛盾する情報が 含まれないにも関わらずモデルが誤答を出力してし まっていることが確認された.

## 3.4 negative passage ごとの性能変化に及 ぼす程度の違い

本節では 83.3 で確認された negative passage の悪影響が, 個々の negative passage によってどのように 異なるかについて調べる.

## 3.4.1 hard negative passage

ある negative passage がモデルに悪影響を及ぼし ている度合いの指標として,ここでは $\$ 3.3$ の重複コ ピー設定でその negative passage を 64 個コピーして

図 2 ある閾値以下の相対スコアを持つ negative passage のみをコンテキストに追加した際の正答率の変化 (赤実線). 青破線は各閾值について同数の negative passage をラ ンダムに選んで追加した場合の正答率の変化を示す.

コンテキストに追加した場合に正答が出力される対数尤度 ${ }^{12)}$ がどれだけ変化したかの「相対スコア」13) を利用する. negative passage の相対スコア分布は図 1 のヒストグラムのようになっており,ほとんどの negative passage が 0 に近い相対スコアを持ってい る. 一方で一部の negative passage は大きな負の相対 スコアを持っており, モデルが正答を生成すること を強く阻害していることがわかる (以後このような negative passage を hard negative passage と呼ぶ).

そこで $\$ 3.3$ で確認された negative passage が及ぼ す悪影響が実際にはこの一部の hard negative passage の影響で引き起こされたのではないかという仮説を 検証するため, 相対スコアの昇順に negative passage を追加した際に正答率がどのように変化するかを 調べた (図 2). その結果, 相対スコアが昇順になるよ うに negative passage を追加した場合, 20 個程度しか 追加していない状態で全 negative passage を追加した 場合と同程度の正答率低下を再現できることがわ かった. このことから, 相対スコアが 0 に近い大部分 の文章はモデルの推論に大きな影響を与えず、主に hard negative passage が性能低下の原因であると考え られる。

## 3.4.2 hard negative passage の識別可能性

最後に \$3.4.1 でモデルの推論に対する悪影響が明 らかになった hard negative passage を, その文章の内

表 2 各文章特徴量と相対スコアの間の相関係数.

容から識別可能かどうかを調べた. §2 で述べたよう に既存研究においていくつかの文章特徴量にショー トカット推論との関連性が指摘されている.ここで はそれらのうち, 質問と文章の間の最長一致 $n$-gram 長 [11], 共通単語数 [4], および文べクトル間のコサ イン類似度 [14], そして retrieve-then-read システムの 検索システムによる文章の検索順位,の 4 つの特徴量を計算し相対スコアとの間のケンドールの順位相関係数 $\tau_{b}$ [25] によって相関の程度を評価した. 結果 は表 2 のようになっており, 弱い相関の存在は確認 できたものの hard negative passage かどうかの識別が 可能なほどの強い相関は確認できなかった ${ }^{14)}$.

## 4 結言

本稿では retrieve-then-read 方式の質問応答モデル が,コンテキストとして与えられる文章の量によっ てどのような影響を受けるかを調べた. その結果質問応答モデルは質問への回答に不要な文章が多くな るほど正答率が低下すること, そしてこの影響が主 にモデルの推論に悪影響を与えやすい一部の hard negative passage によって引き起こされていることが わかった. さらにある 1 つの不要な文章に注目した とき,コンテキスト中に何度も重複して出現させる ことで正答率を下げることができることも確認さ れた.

今後の課題としては, 本稿における実験結果を踏 まえて hard negative passage に対してよりロバストな 質問応答モデルを学習する方法を検討することが挙 げられる。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[2] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert:

14）特徴量による相対スコアの分布の変化は付録の図も参照 されたい.

A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations, 2019.

[3] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, 2020.

[4] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, 2018.

[5] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, 2017.

[6] Gautier Izacard and Édouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874-880, 2021.

[7] Yichen Jiang and Mohit Bansal. Avoiding reasoning shortcuts: Adversarial evaluation, training, and model development for multi-hop qa. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2726-2736, 2019.

[8] Shujian Zhang, Chengyue Gong, and Xingchao Liu. Passage-mask: A learnable regularization strategy for retriever-reader models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 3931-3943, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[11] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, 2017.

[12] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, 2020.

[13] Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question para- phrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6065-6075, 2019.

[14] Mingzhu Wu, Nafise Sadat Moosavi, Andreas Rücklé, and Iryna Gurevych. Improving qa generalization by concurrent modeling of multiple biases. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 839-853, 2020.

[15] Yuxuan Lai, Chen Zhang, Yansong Feng, Quzhe Huang, and Dongyan Zhao. Why machine reading comprehension models learn shortcuts? In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 989-1002, 2021

[16] Pramod Kaushik Mudrakarta, Ankur Taly, Mukund Sundararajan, and Kedar Dhamdhere. Did the model understand the question? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1896-1906, 2018.

[17] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Which shortcut solution do question answering models prefer to learn? arXiv preprint arXiv:2211.16220, 2022.

[18] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Look to the right: Mitigating relative position bias in extractive question answering. arXiv preprint arXiv:2210.14541, 2022.

[19] Hung-Ting Chen, Michael JQ Zhang, and Eunsol Choi. Rich knowledge sources bring complex knowledge conflicts: Recalibrating models to reflect conflicting evidence. arXiv preprint arXiv:2210.13701, 2022.

[20] Orion Weller, Aleem Khan, Nathaniel Weir, Dawn Lawrie, and Benjamin Van Durme. Defending against poisoning attacks in open-domain question answering. arXiv preprint arXiv:2212.10002, 2022.

[21] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 453-466, 2019.

[22] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, 2020.

[23] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[24] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[25] Maurice G Kendall. The treatment of ties in ranking problems. Biometrika, Vol. 33, No. 3, pp. 239-251, 1945.

## A 実験設定に関する詳細情報

モデルの学習には transformers ライブラリの Seq2SeqTrainer クラスを利用し, 学習率は $5 \times 10^{-5}$, ステップ数は 15000 , バッチサイズは 64 , weight decay の係数は 0.01 , warmup のステップ数は 1000 とした.開発データでの評価は 500 ステップごとに行い, 評価指標としては開発データでの正答率を利用した。学習および評価に利用したデータセットのサイズは 表 3 の通りである.

## B hard negative passage $の$ 普遍性 について

ある相対スコアの negative passage を持つ質問の 割合を調べた結果は図 3 のようになっており, hard negative passage が一部の質問に限らず多くの質問に ついて存在していることがわかる. また異なるシー ド值で学習した 5 つのモデルの相対スコアのばらつ きは図４のようになっており, モデルによってばら つきがあるもののおおむね相関していることが確認 された.

図 3 ある相対スコアの negative passage を持つ質問の 割合.

## C negative passage の特徵量によ る相対スコア分布変化

§3.4.2 の実験における negative passage の各特徴量 による相対スコアの分布の変化は図 5,6のように なっている.ここで青点線, 黒線, 赤破線, 赤点線はそ れぞれ $95,50,20,5 \%$ 分位点である.

図4 異なる seed で学習したモデルによる相対スコア分布. 赤, 青破線はそれぞれ $5,95 \%$ 分位点.

図 5 最長一致 $n$-gram 長および共通単語数による相対ス コア分布変化.

図 6 コサイン類似度および検索順位による相対スコア分布変化.


# 日本語の Math Word Problems に対する深層学習モデルの適用 とデータ拡張の検証

村田夏樹柴田千尋
法政大学 理工学部 創生科学科
natsuki.murata.4d@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

Transformer などの近年の深層学習モデルは，多く の自然言語理解を必要とするタスクで高い性能を 記録している.しかし，数学や物理の文章題などの 定量的な推論が必要なタスクでは，近年の言語モデ ルでも十分な結果を残せていない [1]. 本稿では, Math23Kというデータセットを利用して，日本語 MWP タスクに対して，既存の深層ニューラルネッ トモデルを組み合わせたモデルを適用し，検証を行 う.なお，Math23K データセットの問題文は，中国語で書かれているため，機械翻訳を用いて問題文を 日本語に翻訳しデータとして用いる. モデルの組 み合わせとしては， Goal-driven Tree Structured (GTS) ネットワーク， BERT, および Graph2Tree の 3つを 組み合わせたものを用いる. 特に，BERT - GTS の 組み合わせと， BERT - Graph2Tree - GTS の組み合わ せの比較を行う. 後者は, 問題文中のトークンの BERT の埋め込み表現をノードとして持つ特定のグ ラフを，中間表現として用いて，その後グラフ畳み 込みを行う手法であり，実際に後者のほうが精度が 高くなることを示す. さらに，解答となる数式を表現する木構造の可換ノードの置換や, 問題文中の単語の置き換えによるデータ拡張により，精度の向上 が見込めるかについて，検証を行う。

## 1 はじめに

Transformer に代表される最近のニューラル言語モ デルは，一般的に言って，自然言語理解を必要とす るような多くのタスクにおいて, 高い精度を達成し ているものの, 例えば，数学や物理の文章問題など の定量的な推論が必要なタスクでは，近年の言語モ デルを用いても解答が難しいケースがおおく，未だ 改善の余地が多く残されていることが知られてい る [1]. その中でも, Math Word Problems (MWP) は,文章問題から適切な数式を生成して，数式の演算を 通して解答を求めるタスクである。このタスクで は，文章中にはないが，数式の木構造の中に必要と なる 1 や $\pi, e$ といった推論が必要な問題などがあ るため, 現在も発展中のタスクである。既存の手法 の例として，事前学習済みモデルを使用した手法 や，木構造を取り入れた手法などがある。このタス クが抱える問題の一つに，データ数が十分でなく，推論が必要な問題について，十分に学習できない. Zhang ら [2] は， Math23K という数学に関する文章題のデータセットで， $77.4 \%$ の正解率 (出力された 計算式の計算結果の一致率) を得ている. しかし, Math23K は，中国語の問題文と解答となる式からな るデータセットであり，問題文が日本語の場合にお いて，同様の精度が得られるかについては，検証が 求められる.

そこで，本研究では，Math23Kを機械翻訳サービ スを用いて，中国語を日本語に翻訳してデータと して用い，BERT 及び Graph-to-Tree (Graph2Tree) を 用いて，日本語の数学の問題を解答するタスクを 学習させる. さらに, Graph2Tree に含まれる Graph Convolution Network (GCN) [3] がどのようなグラフ を生成するのかを検証するため，中間表現として構築されるグラフを可視化して検討を行う. 最後に， データ拡張を行うことで，本タスクにおける式の 精度と答えの精度に対し，効果があるのかを検証 する。

## 2 関連研究

## 2.1 BERT

BERT [4] は, Transformer モデルであり, 事前学習済みの BERT モデルを活用することにより，多くの 自然言語処理のタスクで高い精度を期待すること ができる．BERT の事前学習では，Masked Language

Model と Next Sentence Prediction の 2 つの事前学習 を行う，それぞれ行うタスクは，入力したトークン の一部にマスクをし，前後の情報から，マスクした 箇所の内容を予想するタスクと，2つの文章を大力 して，連続した文章かどうかを判定させるタスクで ある. 事前学習を行なった BERT は，入力の文章や トークンに対する，文脈を考慮した一般的な知識が 何らかの形で内部に獲得されていると考えられる ため， fine-tuneを行うことで，特定のタスクに対し て，高い精度を出すことが可能である.

## 2.2 Goal-driven Tree Structured Network

Goal-driven Tree Structured Netowrk (GTS) [5] は，表現木を生成するためのエンド to エンドの手法で，数式を表現する木構造の生成するニューラルネット ワークである. 生成する数式の木は， 2 分木であり, ルートノードから順に，演算記号が入り，左右の子 ノードには，数字あるいは記号が入る構造が再帰的 に取られている. 即ち, 数字または変数が入るノ一 ドは，葉ノードに対応し，演算記号が入るノード は，節ノードに対応する。

GTS のネットワーク構造について概要を説明す る.まず，入力問題文を単語トークンに変換し，各 トークンごとの埋め込み表現にしたのち，双方向 Gated Recurrent Unit (GRU) [6] に入力する. その後, GRU の出力結果から，数式の木を再帰型ニューラ ルネットワークを用いて生成する。 あるノードに対 して，アテンションを用いて文脈ベクトルを得たの ち，そのノードのラベルの確率，つまり，変数また は演算子（+ や×等）の確率を，文脈ベクトルを用 いて計算する. その後, 子ノードの文脈ベクトル を，順伝播型ネットワーク $(\mathrm{FCN})$ に通した結果およ び GRU の出力結果から再帰的に計算することを繰 り返すことで, 最終的に, 正解となる数式全体を生成するように学習する。

## 2.3 Graph-to-Tree

Graph2Tree [2] は， GCN [3] を含むモデルであり， 2 種類のグラフから構成され，数量間の関係や，文章の情報をグラフ構造で捉えることができる.

グラフ内のノードの内，ある量に関連する部分集合を数量セルと定義する. 数量セルが作るグラフ は，数量セルグラフと数量比較グラフを作る. 数量 セルグラフは，情報量の多い単語を数と関連付け，表現を豊かにすることができる．また，数量比較グ
ラフは，数の数值的性質を保持し，数量間の関係を 保持し，数量間の関係の表現を改善することができ る. 2 つのグラフを隣接行列で表し，この隣接行列 と特徴を表す行列（事前にLSTM などで得られた表現）を GCNに入力し，その後，得られた表現を連結した結果に対して，正規化と残差接続，また FCN 等を行うことで，問題文が最終的にエンコードされ た表現を得る。

## 3 提案手法

## 3.1 BERT と Graph2Tree を用いたモデル

本研究で用いるモデルの概要を図 1 に示す.ま ず，事前学習済みの BERTを使用して，文章題を入力し, 得られた埋め込み表現を得る. 次に，その埋 め込み表現から，前章で述べた Graph2Tree を使っ $\tau$ ，中間の埋め込み表現を得る. 最後に，得られた 中間表現から数式の木を生成する.

図 1: 使用するモデルの概要図

## 3.2 データセットの日本語化

## 3.2.1 Math23K

本研究では，Wang らの研究 [7] で提案されたデー タセット，Math $23 \mathrm{~K}^{11}$ を日本語に翻訳したものを使用する。この Math $23 \mathrm{~K}$ は, 中国語で書かれた問題文，式及び答えから構成され，データ数は，23,162 件ある.

## 3.2.2 前処理

まず，日本語のデータセットを作成するため， DeepL ${ }^{2)}$ という機械翻訳サービスを使用して，日本語に翻訳した。翻訳前（中国語）の文章と翻訳後 （日本語）の文章に含まれる数の集合（以後、「数集

1) https://ai.tencent.com/ailab/nlp/dialogue/

2) https://www.deepl.com/translator.html
合」と呼ぶ）を比較して，翻訳後の数集合が不足し ているデータは，削除した．使用したデータと削除 したデータの例をそれぞれ図 2 と図 3 に示す.

図 2: 使用したデータの例

 & \\

図 3: 削除したデータの例

図 2 では，翻訳前では， 2 及び 11 があり，翻訳後 でもこれらの数字があるため，このデータセットは 使用する。一方，図 3では，翻訳前では，5，25，45 及び 450 があるが，翻訳後では，5，25 及び 45 が ないため，削除する．削除したことにより，データ セットは，20,260 件になった.

## 3.3 データ拡張

本研究では，以下の二つのデータ拡張を行い，結果にどのような影響を与えるかを検討する。

一つ目は，正解の数式木に対するデータ拡張であ る. Math23Kで与えられる式は, 各問題分に対し, 1 つの式しか用意されていない. そこで，加法交換法則と乗法交換法則に着目し，交換可能な部分木をラ ンダムに交換することでデータ拡張を行う．拡張前後で，別の木構造について学習させる. ただし，や:だけで構成された式は，データ拡張できない.

表 1: 数式のデータ拡張の例

二つ目は，文章題の単語に一定の割合でマスクを かけるデータ拡張を用いて実験を行う．ただし，マ スクをかける際，数字にはマスクがかからないよう にする。

表 2: マスクの例

## 4 実験

## 4.1 実装

本実験では，BERT の事前学習済みモデルとして，東北大学のもの3）を用いた. また，節 3.1 で述べた モデルを学習する際に用いたハイパーパラメータ を，表 3 に示す。

表 3: 使用した関数及びハイパーパラメータ

 \\

## 4.2 Graph2Tree の有無による精度の比較

まず，Graph2Tree が与える影響を検証するため に，Graph2Treeを用いた場合と用いていない場合の 精度を比較を行う. 式の精度については, 生成した 式 (木構造) と模範解答が一致していない限り不正解 として取り扱う。

表 4: Graph2Tree 有無による精度の比較

表 4 より，BERT - Graph2Tree - GTS では，式の精度は向上しないが，答えの精度については，8\%ほ ど上昇することがわかる. Graph2Treeを用いること で，式の形が違っていても答えに辿り着く可能性が 上がることが分かる.

3) https://huggingface.co/cl-tohoku/bert-large-japanese

## 4.3 GCN のグラフの検討

前節の実験結果から，Graph2Tree を入れること で，精度が上がることが確かめられた。一方で， Math23K 中国語のデータセットに対して報告されて いる精度 (77.4\%) [2] に比較すると精度が低いことが わかる．そこで，この節では，その原因を検証する ために, Graph2Tree に含まれる GCNが，どの程度，意図したグラフを正しく生成できているのかを確認 するために，数量セルグラフと数量比較グラフを可視化を行う. 入力した文章は, 「2 台の車 $\mathrm{A}, \mathrm{B}$ が同時に A, B から反対方向に走り, 2 時間半後に途中 で出会う. 車 $\mathrm{A}$ の速度は $90 \mathrm{~km} / \mathrm{h}$, 車 B の速度は車 A の速度の (4/5) であることが分かっている. A と B の間の距離は何キロメートルくらいか聞いてみて ください.」を入力した. ただし，どちらの図につ いても，エッジがないノードや自己ループは可視化 していない.

(a) 数量セルグラフ

(b) 数量比較グラフ図 4: 例文より得られる Graph2Tree によるグラフ表現

図 $4 \mathrm{a}$ と図 $4 \mathrm{~b}$ は同一の文章から生成している. 図 4a は，単語毎のノードがあり，それを結び，ノード の $0 ， 1$ は，問題文の「2」と「台」に相当する. ま た，表示はしていないが，図 $4 \mathrm{a}$ では，エッジが結べ ていないノードが 92 個ある。つまり，数量セルグ ラフが，日本語における単語間の情報を結ぶエッジ を十分に結べていないことが分かる。

図 $4 \mathrm{~b}$ は，文章中にある数字を使って，数の関係性について学習をし，ノードの $0,23 ， 42$ と 60 は，問題文の $2 ， 2 ， 90 ，(4 / 5)$ に相当する. 図 $4 \mathrm{~b}$ では,数が小さい方から大きい方へ矢印を引いて，数量の 関係性について表現している。

## 4.4 データ拡張

式の精度は，前述の通り，Math23K に用意され ている正答の木と完全一致を見るため，データ拡張 を行う際，使用するモデルは，BERT - Graph2Tree GTS を使用して実験を行う．まず，数式をデータ拡表 5: 数式のデータ抳張

表 6: 単語のマスク

張した実験結果を表 5 に示す. データ拡張後では，式の精度は下がっているものの，答えの精度として は同程度となっている事がわかる。

次に，問題文にマスクをかけた実験では，50\%の 確率で maskをかけた． maskをかける単語について は，エポック毎にランダムで選択させた。単語にマ スクをかけた実験結果を表 6 に示す。単語にマスク をかけた場合も，同様に，式及び答えの精度に大き な差は見られていない.

どちらのデータ拡張の方法についても，本稿で用 いたモデルに対して有効かどうかは，差が僅かであ るため，さらなる検証が必要である.

## 5 おわりに

本研究では，他の言語のデータセットを日本語化 し，BERT や Graph2Tree を用いて，実験を行った. また, 日本語データ入力時における Graph2Tree で得 られるグラフ表現について，検討を行った. 二種類 のデータ拡張を用いた実験では，少なくとも現在の ネットワーク構成においては，式と答えの精度の観点から見て，効果は限定的であるという結果になっ た. 今後の展望として，より数式生成にふさわしい と考えられるグラフ表現の抽出方法，および，グラ フ構造を大きく変えるようなデータ拡張方法を探求 してゆく予定である.

## 謝辞

法政大学大学院理工学研究科システム理工学専攻 の辺見一成氏には，実験を行う際のプログラムの修正などご助言を頂きましたことを深く感謝申し上げ ます. 本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです。

## 参考文献

[1] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models, 2022.

[2] Jipeng Zhang, Lei Wang, Roy Ka-Wei Lee, Yi Bin, Yan Wang, Jie Shao, and Ee-Peng Lim. Graph-to-tree learning for solving math word problems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3928-3937, Online, July 2020. Association for Computational Linguistics.

[3] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhipeng Xie and Shichao Sun. A goal-driven tree-structured neural model for math word problems. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5299-5305. International Joint Conferences on Artificial Intelligence Organization, 72019.

[6] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[7] Yan Wang, Xiaojiang Liu, and Shuming Shi. Deep neural solver for math word problems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 845-854, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020.


# 頑健な $\mathrm{FAQ$ 検索に向けた Prompt-Tuning を用いた関連知識の生成
}

1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{ninomiya_hirotaka, hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

チャットボットが提供する機能の一つに，よくあ る質問集（FAQ: Frequently Asked Questions）を用い てユーザの質問に回答する FAQ 検索がある．FAQ 検索では，目的語が欠落しているなど，与えられる 質問が不明瞭なことが多く，検索精度の低下の要因 となり得る。そこで，我々は言語生成モデルを用い て質問の明確化を行い，FAQ 検索に活用する手法 を提案する。質問の明確化のためにモデルが獲得 すべき知識がドメインごとに異なることから，言語生成モデルの学習コストを抑えることができる Prompt-Tuning を用いた. チャットボット事業で収集したデータを用いた実験では 3 ドメインにおいて 提案手法の有効性を検証した。

## 1 はじめに

カスタマーサポートの分野において注目を集め ているチャットボットは，現在多くの企業において ユーザの課題解決を促すツールとして導入されてい る.そして，チャットボットが提供する機能の一つ である FAQ 検索は現在盛んに研究が行われている [1][2].

FAQ 検索では，事前に定義した FAQ の中からユー ザ質問との類似度が高い FAQ を選択する。この時， ユーザ質問と FAQ の間で表記が異なることが多く，質問の意味を考慮する必要があることから，我々 は事前学習済み言語モデルを用いた検索モデルを 構築している．特に，オープンドメイン質問応答 や日本語クイズタスク JAQKET[3][4] において有効性が確認された Dense Passage Retrieval[5] の検索器 （Retriever）を利用している.

FAQ 検索はオープンドメイン質問応答と異なり，検索対象となるテキスト集合が数十件から数百件程度の小規模な FAQ のデータベース（FAQDB）であ
るが，与えられるユーザ質問は比較的短く不明瞭な 傾向にあり，回答が困難なタスクと考えられる。例 えば，「入りたいのに入れません」というユーザ質問は「入りたい」に対する目的語が欠落しているた め一般的には回答不能であるが，FAQ 検索の場合は 検索対象が FAQDB に絞られるため，「マイページに 入れません」といった質問とマッチすれば良いと推察できる。このことから，ユーザ質問を明確化する テキストを補足することができれば，より正確に回答を提示できる可能性がある．そこで，本研究では 与えられたユーザ質問からそれを明確化するテキス トを生成するモデルの学習を目指す。

ただし，FAQ 検索は複数のドメインで導入される ことが多く，大規模な言語生成モデルをドメインご とに学習すると学習コストが膨大になる。そこで言語生成モデルの学習には Prompt-Tuning[6] を用いる. Prompt-Tuning では，質問の明確化に必要な情報を固定長の単語列としてモデルへの入力単語列の前方に 付与し，その埋め込みべクトルを学習によって最適化する。これにより，それらの埋め込みべクトルを 変更するだけで単一の言語生成モデルを複数のド メインに適応可能となるので，学習コストが抑えら れる。

言語モデルの発展に伴い，多くのタスクにおいて 事前学習済みモデルの Fine-Tuning が効果的である ことが確認される一方で，事前学習済みモデルの大規模化により Fine-Tuning が困難な場合がある。そ こで，GPT-3[7] では Prompt と呼ばれるテキストを 与えることで，事前学習済みモデルの重みを更新せ ずに，広範囲のタスクを解くことが可能であるこ とが確認された。さらに，Prompt に関する従来研究 [8][9] によると, Prompt を適切に設定することに よって事前学習済みモデルを用いて事実や常識に 関するテキストを生成することが可能であること が確認されたことから，Prompt が重要な役割を果

たすことがわかる．ただし，タスクの説明等に関す る Prompt は人手で作成する必要があるため, 事前学習済みモデルにとって最適な単語列であるとは 限らない. そこで，先頭に固定長の単語列を付与 し, それらに対する埋め込みべクトルを学習パラメ タとして自動的に最適化する Prompt-Tuning が提案 された [6][10]. これより, 我々は質問の明確化に必要なドメインごとの知識を Prompt に埋め込むよう に学習できる可能性を考慮し, 言語生成モデルを Prompt-Tuning する.

## 2 FAQ 検索

本研究で扱う FAQ 検索の処理を図 1 に示す. FAQ 検索とは，事前に定義された FAQDB から，ユーザ 質問に最も適する FAQを選択するタスクである。例えば図 1 のように，「銀行振り込みの自動更新に ついて教えて欲しい」といったユーザ質問が入力さ れた場合，システムはFAQDB を検索する。ここで FAQDB は (1) 拡張質問 $Q^{\prime}$, (2)FAQ 質問 $Q$, (3)FAQ 回答 $A$ を 1 組とする FAQ の集合である。通常，FAQ は質問と回答のペアで表されるが，質問の複数の言 い換え表現として拡張質問 $Q^{\prime}$ を設定することで検索精度が向上することが知られている [11]. 最終的 に検索結果上位 1 件の拡張質問に対応する FAQ 回答をユーザに提示する。

検索モデルは Retriever と Reranker で構成される. Retriever は与えられたユーザ質問と検索対象とな る拡張質問を個別にベクトルに変換する Bi-Encoder である. さらに，ユーザ質問と FAQ の単語間の Attention 計算が有効であると考え, Retriever の検索結果上位 $K （$ 実験では $K=5 ）$ 件を BERT[12]をべー スとする Rerankerに与え，出力スコアを元にリラ ンキングを行う. 実験では, Retriever の検索結果と Rerankerによるリランキングの結果を比較する.

学習時, Retriever はユーザ質問 $q$ に対する Encoder の出力ベクトルと FAQ 質問 $Q$ に対する Encoder の 出力ベクトルの類似度を式 (1)により算出する.

$
\operatorname{sim}(q, Q)=E_{q}(q)^{T} E_{Q}(Q)
$

ここで $E_{q}, E_{Q}$ はそれぞれユーザ質問 $q$ と $\mathrm{FAQ}$ 質問 $Q$ に対する Encoderを， ${ }^{T}$ は転置を表す。 $i$ 番目の事例において $q_{i}$ をユーザ質問, $Q_{i}^{+}$を正例の $\mathrm{FAQ}$ 質問， $Q_{i, j}^{-}$を $j$ 番目の負例の FAQ 質問， $n$ を負例の FAQ 質問の総数, 訓練データの件数を $m$ とすると,訓練データは $D=\left.\{\left.\langle q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right.\rangle\right.\}_{i=1}^{m}$ と表さ

図 $1 \mathrm{FAQ}$ 検索の処理

れる. Retriever は式 (2)の損失関数が最小になるよ うに学習される. ユーザ質問と正例の FAQ 質問が 類似しているほど損失が小さくなり，負例の FAQ 質問との類似度が高いほど，式 (2) の損失は大きく なる。

$
\begin{aligned}
& L\left(q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right) \\
& \quad=-\log \left(\frac{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q, Q_{i, j}^{-}\right)}}\right)
\end{aligned}
$

推論時はユーザの多様な言い回しに対応するため に，FAQ 質問ではなく拡張質問を用いて検索を行 う. つまり，拡張質問を $Q^{\prime}$ とすると式 (3)により類似度を計算し，最も類似度が高い拡張質問に対応す る FAQ 回答を選択する。

$
\operatorname{sim}\left(q, Q^{\prime}\right)=E_{q}(q)^{T} E_{Q}\left(Q^{\prime}\right)
$

Rerankerを用いる場合，Retriever の検索結果の上位 $K$ 件から “[CLS]（ユーザ質問 $q$ ）[SEP]（拡張質問 $Q^{\prime}$ ）[SEP]”という単語列を $K$ 件作成し，それぞれ Reranker に与えてリランキングスコアを算出する. Reranker は BERT と全結合層 1 層からなり，ユーザ 質問 $q$ と拡張質問 $Q^{\prime}$ が正例のペアかどうかの二値分類を行い，softmax 関数の正例に対する出力値を リランキングスコアとする.

訓練データは Retriever と同様の訓練データを用い て正例を作成し，さらに FAQDB から答え以外の拡
張質問をランダムサンプリングすることで各事例に 対して負例を 2 件作成する。

## 3 提案手法

不明膫なことが多いユーザ質問に対して質問を明確化するようなテキスト（以降，関連知識）を付与 することができれば検索精度が向上する可能性があ る.そこで，我々は言語生成モデルを用いた関連知識の生成を提案する. 生成されたテキストはユーザ 質問に付与して Retriever もしくは Reranker に入力 し，学習と推論に用いる。

## 3.1 Prompt-Tuning

図 2 Prompt-Tuning の概要図

Prompt-Tuning では，入力単語列の前に固定長の単語列を付与し，そのドメインにおける関連知識を埋 め込むこととする．学習時，言語生成モデルの重み は固定され, 付与される単語列の埋め込みベクトル は学習によって最適化される. Prompt-Tuning に関 する概要図を図 2 に示す.

Prompt-Tuning の学習方法として 2 通りを実験す る. まず，FAQ 検索に関する従来研究 [11] では拡張質問と FAQ 質問の対応関係をモデルに学習させる ことで $\mathrm{FAQ}$ 検索システムを構築していることから， これを参考に拡張質問から $\mathrm{FAQ}$ 質問を生成するよ うに言語生成モデルを学習させる $(G L M w / F A Q D B)$. ただし，拡張質問と FAQ 質問は事前に定義される テキストである一方で，ユーザ質問はチャットボッ ト内でユーザが記述したテキストであるため，それ らの間には表記や質問内容の粒度の違いが存在し，言語生成モデルがユーザ質問から関連知識を上手く 生成できない可能性がある。そこで 2 つ目に，訓練 データのユーザ質問からそれに対する正例の FAQ 質問を生成するように学習させる（GLM w/TRAIN）。言語生成モデルとしては，公開されている日本語版の $\mathrm{GPT}-2^{1)}$ と GPT(1b) $)^{2}$ を用いる.

1) https://huggingface.co/rinna/japanese-gpt2-medium

2) https://huggingface.co/rinna/japanese-gpt-1b表 1 ドメイン別のデータセットの事例数

生成されたテキストはユーザ質問に付与する.

Retriever の場合，ユーザ質問に対する $\operatorname{Encoder} E_{q}$ の 入力単語列は，“[CLS]（ユーザ質問 $q$ ）[SEP]（生成 されたテキスト）［SEP]”となる。一方で Reranker の 場合，入力単語列は “[CLS]（ユーザ質問 $q$ ）[SEP] （拡張質問 $Q^{\prime}$ ） [SEP]（生成されたテキスト）[SEP]" となる。

実験では，同様のデータで GPT-2を Fine-Tuning し た場合 [13] と比較する。

## 4 実験

チャットボット3)で収集したデータセットを用い て提案手法の有効性を検証する。データセットは 3 つのドメインからなり，ドメイン $\mathrm{A}, \mathrm{B}, \mathrm{C}$ と表記す る.これらは互いに異なる事業で導入されたチャッ トボットから収集されたデータである. ドメインご とのデータセットの作成方法は従来研究 [14] に倣 い，事例数は表 1 に示す.

## 4.1 実験設定

Retrieverを構成する 2 つの Encoder と Reranker の 重みの初期値には, 公開されている日本語事前学習済み $\mathrm{BERT}^{4}$ の重みを用いる。学習時のパラメタは 付録 A に記載する. 以降, Fine-Tuning された GPT-2, Prompt-Tuning された GPT-2, Prompt-Tuning された GPT(1b) をそれぞれ ftGPT-2, ptGPT-2, ptGPT(1b) と 表記する。また，ベースラインとして利用する BM25 [15] では，FAQDB の拡張質問の集合から IDF 值をドメインごとに計算し，名詞と動詞原型のみ用 いて算出する. Reranker の推論時は，言語生成モデ ルを用いずに Retrieverによる検索を行い，その検索結果の上位 $K$ 件に対して Rerankerによるリランキ ングを行う．評価指標には，検索結果の上位 1 件の 精度である Top1 Accuracy を用いる.

## 4.2 実験結果

実験結果を表 2 に示す. Retriever と Rerankerを比較すると，ドメイン A とドメイン B においては

3) https://www.ai-messenger.jp

4) https://huggingface.co/cl-tohoku/bert-base-japanese

Reranker の検索精度が高い値となった. これはユー ザ質問と拡張質問を連結して Rerankerで単語間の Attention 計算を行っており，この点がリランキング に効果的であったと考えられる。

言語生成モデルで生成されたテキストを付与 したことに対する実験結果によると，ドメイン B では Reranker w/ptGPT(1b) が最も高いことから， Prompt-Tuning によって学習させた言語生成モデル が効果的な関連知識を生成することができたと考え られる。一方で，ドメイン A とドメイン Cではそ れぞれ Reranker,BM25が最も高い結果となった. し たがって，言語生成モデルによる質問の明確化は全 てのドメインにおいて有効であるとは限らないとい える。

次に言語生成モデルの学習手法 2 つそれぞれに ついて述べる. まず $G L M w / F A Q D B$ の場合，ドメイ ン B で ftGPT-2, ptGPT-2, ptGPT(1b) 全てにおいて検索精度が向上した一方で, Reranker の検索精度と比較するといずれも低い。したがって，今回の手法で は質問の明確化よりも，単純に Reranker を利用する ことの方が効果的であるといえる。ただし，ドメイ ン B において Reranker は ptGPT(1b) のみ検索精度が 向上した. これより, モデルサイズが生成される関連知識の質に影響する可能性があることがわかる。次に，GLM w/TRAIN の場合，ドメイン B で Retriever
では ftGPT-2, ptGPT-2, ptGPT(1b)の全てで検索精度 が向上した一方で，Reranker では全て検索精度が低下した。これは Reranker と言語生成モデルの訓練 データが同じであり，生成した関連知識が Reranker にとって不要であったと考えられる。

## 4.3 今後の展望

実験結果によると，ドメイン Cでは BM25 が Retriever と Rerankerを上回った. FAQ 検索ではドメ イン次第で効果的な手法が異なることが経験的にわ かっているため，BM25 のような表層形を用いた検索と Retriever や Reranker のような機械学習モデル を用いた検索を上手く組み合わせることが重要であ る. さらに，今回扱った FAQ 検索特有の問題である 質問の不明瞭さへの対処として質問の明確化を行う ことで頑健な手法を検討したい.

また, 実験結果から ftGPT-2 と ptGPT-2 による学習手法の比較と, ptGPT-2 と ptGPT(1b) によるモデ ルサイズの比較を行った場合でも一貫した傾向は確認されなかった．モデルサイズと関連知識の質に関 して今後の調査を検討中である。

生成されたテキストを確認すると，いずれのモデ ルの場合においても入力単語列がそのまま出力され る場合や意味の通らない単語列が生成される場合が 確認された。言語生成モデルによる安定した関連知識の生成が今後の課題である.

## 5 おわりに

本研究では，FAQ 検索におけるユーザ質問の不明瞭さへの対処として，言語生成モデルで質問の明確化を行い，特定のドメインにおいては検索精度が向上することを示した．今回実験したドメインにおい ては Fine-Tuning が困難である大規模な言語生成モ デルを Prompt-Tuning することで関連知識の生成が 可能であることがわかった. しかし，実験中の全て のドメインにおける一貫した検索精度の向上は確認されなかった. 今後は安定した関連知識の生成を 検討しつつ，より頑健な FAQ 検索手法の構築を目指す.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，下山翔氏にこの場を借りて厚く御礼申し上げ ます。

## 参考文献

[1] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[2] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised FAQ retrieval with question generation and BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 807-812, Online, July 2020. Association for Computational Linguistics.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット の構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ インqaにおける dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[5] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[6] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52035212, Online, June 2021. Association for Computational Linguistics.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[8] Fabio Petroni, Tim Rocktäschel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H. Miller, and Sebastian Riedel. Language models as knowledge bases? CoRR, Vol. abs/1909.01066, , 2019.

[9] Joshua Feldman, Joe Davison, and Alexander M. Rush. Commonsense knowledge mining from pretrained models. CoRR, Vol. abs/1909.00505, , 2019.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Haytham Assem, Sourav Dutta, and Edward Burgin. DTAFA: Decoupled training architecture for efficient FAQ retrieval. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 423-430, Singapore and Online, July 2021. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[14] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用 いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[15] Stephen Robertson, Hugo Zaragoza, et al. The probabilistic relevance framework: Bm 25 and beyond. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

## A 学習時のパラメタ

Retriever と Reranker の Fine-Tuning 時の学習率は $1 \times 10^{-5}$ （warmup rate=10\%）とし, Optimizer は Adam を用いる. Retriever の Fine-Tuning 時の Epoch は 10, バッチサイズは 64 とする. Rerankerの Fine-Tuning 時 の Epochは2，バッチサイズは 32 とし, Cross Entropy Loss を最小化するように学習させる. Retrieverと Reranker の入力最大長はそれぞれ 50 トークン， 100 トークンであり，超過する単語列は削除される。

言語生成モデルである GPT-2 と GPT(1b) は, Prompt-Tuning と Fine-Tuning 両方において学習率 は $1 \times 10^{-5}$, バッチサイズは 8 , Dropout 率は 0.1 , Optimizer は Adam を用いる. 学習時の Epoch はドメ インによって異なり，ドメイン $\{\mathrm{A}, \mathrm{B}, \mathrm{C}\}$ はそれぞ れ GLM w/FAQDB の場合 $\{30,30,100\}$ とし, GLM $w / T R A I N$ の場合 $\{3,5,10\}$ とする. Prompt-Tuning に関しては Prompt に対する埋め込みベクトルのみ 更新され，事前学習済みの言語生成モデルの重みは 固定する. Prompt-Tuning 時の付与される単語列は 20 トークンとする．実装には huggingface を用いて おり, Prompt に対する正解ラベルは-100を設定する ことで関連知識と無関係な損失が計算されないよう に設定している.


# モバイルマニピュレーションタスクにおける 曖昧な指示文からの対象物体選択

森下雅晴 1 長野匡隼 1 中村友昭 ${ }^{1}$
1 電気通信大学
m1910655@edu.cc.uec.ac.jp

## 概要

ロボットが行う基本的なタスクの一つであるモバ イルマニピュレーションタスクは，移動ロボットが ユーザが指示した物体を把持し，別の場所へと持っ ていくタスクである. その際に，ユーザが必ずしも 対象物体を明示的に発話しない場合があり，そのよ うな曖昧な指示発話の理解が必要となる. 本稿では 曖昧なユーザ発話文に加えて環境に存在する物体の 情報を入力とした言語モデル BERT に基づく系列 ラベリングにより，ユーザの意図に沿った物体を選択する手法を提案する．実験では，小規模なデータ セットを作成しモデルの学習を行い，提案手法が学習データに含まれない未知の曖昧なユーザ発話に対応できることを示す.

## 1 はじめに

近年，日常生活を支援する家庭用サービスロボッ トへの期待が高まっている。 そのようなロボットの 基本的なタスクの一つがモバイルマニピュレーショ ンタスクである. モバイルマニピュレーションタス クは，移動ロボットがユーザが指示した対象物体を 把持し, 別の場所へと持っていくタスクである。こ のようなタスクにおいて，ユーザの指示発話はロ ボットが理解しやすい定型文ではなく，日常的に使用している自然言語を用いる方がユーザにとって は望ましい。しかしそのような指示発話では，ユー ザが必ずしも対象物体を明示的に発話しない場合 があり，そのような曖昧な指示発話の理解が必要と なる。

そこで，本稿では物体名が明示的に含まれない ユーザの発話から，環境に存在する物体の情報を利用することで，対象物体を特定する手法を提案す る. 図 1 が想定するタスクであり，ユーザが環境の 中にある物体を持ってくることをロボットに要求

図1想定しているタスクの例

し，ロボットはその発話と環境にある物体から対象物体を特定しユーザに届ける。このようなタスクに おいて，対象物体を選択するためには，ユーザの発話と要求される物体の関係を正しく理解する必要が ある.

提案手法では物体のリストを文字列として 学習済み言語モデル BERT (Bidirectional Encoder Representations from Transformers)[1] に入力し，リス 卜内の各物体が対象物体であるか否かを表すラベル 列を予測する系列ラベリング問題として扱う。これ により，ユーザが対象物体を明示的に発話しない場合や，学習データには含まれない新規の物体が存在 する場合であっても対象物体を特定することがで きる.

関連研究としてユーザが明示的に対象物体を発話 することを想定したモバイルマニピュレーション タスク [2] があるが，本手法のように曖昧な指示文 を想定していない．また，学習済み言語モデルを用 いて，行動や物体を特定する手法 [3][4] も提案され ているが，これらの手法では新規物体を扱うために は，再学習（ファインチューニング）が必要となる.一方，本手法では，物体選択を系列ラベリング問題

図 2 提案手法の概要

とすることで，新規物体に対しても再学習すること なく，対応することができる。

## 2 提案手法

提案手法の概要を図 2 に示す. 物体リストと発話文を BERTへの入力とし，BERT からの出力を線形変換，softmax 関数を通して，各物体が対象物体で あるかどうかを表す確率を出力する。

BERT[1] は Transformers の encoderを使用した言語モデルであり，本稿では事前学習済みの BERTを ファインチューニングして使用した. 事前学習済み のモデルを利用することで，言語モデル内で学習さ れている常識的な知識により，指示文と対象物体の 関係を捉えることが期待できる.

提案手法では BERT の出力を利用した系列ラベリ ングにより物体を選択する。一方，分類タスクによ り物体の選択をすることも可能であるが，対象物体 が複数になった場合への対応が難しいといった問題 がある. また分類タスクでは，分類対象の物体数だ けの出力ノードを用いて学習するため, 事前に決め た物体のみにしか対応できず，新規物体へ対応する ためには出力ノード数を変え再学習する必要がある といった問題がある. これに対し, 系列ラベリング ではリスト内の各物体に対して対象物体か否かの ラベルを出力するため，複数の物体を選択すること ができ，言語モデルに含まれる単語であれば新規物体であっても対応することができる．モデルは，IO 法に基づいた対象物体を表すラベル（“I”)と非対象物体を表すラベル (“O”) を出力するよう学習する. これにより，「オレンジジュース」のように「オレン ジ」と「ジュース」という 2 つのトークンに分かれ表 1 発話文の種類

てしまう単語であっても，それぞれ “I”が出力され るため，トークンを結合して「オレンジジュース」 という単語を選択することができる．なお，物体リ ストは「、」で区切ることで，BIO 法を使わずとも異 なる単語を結合してしまうことはない.

学習時には, 出力された対象物体/非対称物体であ る確率と正解ラベルとのクロスエントロピーを損失関数として用い学習する．テスト時には，それぞれ のラベルの確率を出力し, 確率が高いラベルを予測 ラベルとする.

本稿では東北大学で作成された事前学習済みモデ ル [5] をファインチューニングして使用した. この モデルでは日本語版ウィキペディアを用いて事前学習されている. ファインチューニングに使用した データセットについては 3.1 節で述べる.

## 3 実験

本実験では，食べ物・飲み物・遊具・筆記用具・書物，また食べ物と飲み物で構成される食事，に関連する物体を選択することを想定し，小規模なデー タセットを作成してファインチューニングを行い，提案手法の有効性を確認した。また，より曖昧な表現を含む発話文を用いた場合の結果も確認した.

## 3.1 データセット

モデルのファインチューニングに用いるデータ セットとして，ユーザの発話文と物体のリストの組 を作成した. まずユーザの発話文として具体的な物体名を含まない「食べ物を持ってきて」，「食事を用意して」といったロボットにユーザの要求に沿った 物体を持ってくることを指示する文を 50 個用意し た. 今回想定した，発話文の種類と正解となる対象物体の例を表 1 に示す.この 50 文を学習用 40 文, テスト用 10 文に分割した. すなわち，テスト用の 文は学習用とは異なる文で構成されている。

次に，学習用物体リストとテスト用物体リストの
表 2 「食べ物」に対応した物体リスト

表 3 テストデータによる物体選択の評価

中から 6〜7 個の物体をランダムに取り出し，入力物体リストとした. この入力物体リストはユーザ発話文に合わせて正解となる物体を 1 つ以上含み，そ の他は正解ではない物体で構成されている。この 時, リスト中の単語の位置は物体選択に関係ないた め，単語の並びがランダムになるよう留意した. ま た，学習用物体リストとテスト用物体リストはそれ ぞれ異なる物体で構成されている. 表 2 が，食べ物 に対応した学習用とテスト用の物体リストである. また同時に，IO 法によって入力物体リスト内の各物体に対応した正解ラベルを作成した. この手順を 学習用とテスト用それぞれのユーザ発話文に対して 200 回行い，合計で学習用 8000 個，テスト用 2000 個のデータセットを作成した.

このように，テストデータには学習データには含 まれない物体，発話文を使用した。すなわち，テス トデータで正しく物体を選択するためには，発話文 と物体の関係を正しく学習する必要がある。

## 3.2 テストデータによる評価

表 3 が，テストデータを用いた物体選択の Precision, Recall, F-measure である. テストデータは 学習データに含まれていない物体と発話文で構成さ れていたが，各指標で 0.7 を超えるスコアを得られ た. すなわち，提案手法は学習していない未知の表現・物体に対しても，ある程度対応できると考えら れる。

## 3.3 より曖昧な発話文による物体選択

学習データは「○○を持ってきて」，「○○が欲し い」などの物を要求する文で構成されている. 本実験では，直接的に物を要求しない，より抽象的な表現から物体を選択できるか確認した。学習に使用し た表現と比べてより曖昧で抽象的な表現を含む発話表 4 より曖昧な発話文からの物体選択

 & 何か飲みたいな & オレンジジュース, \\
 & ちょっとメモしたいな & 水 \\

文を入力としたときの結果が，表 4 である．1つ目 では曖昧な表現として「何か飲みたいな」という発話から，2つ目の例では「ちょっとメモしたいな」 という発話から物体を選択した。どちらの場合も物体リスト内の太字で示した正解となる対象物体を正 しく選択できている。この結果は，事前学習済みの 言語モデルにより，ファインチューニング時にはな い「飲む」や「メモ」といった単語と各物体の関連性を捉えられているためだと考えられる.

## 4 おわりに

本稿では，家庭用サービスロボットがユーザの曖昧な発話から，環境内にある物体をユーザの意図に 合わせて選択する手法を提案した．実験では，小規模なデータセットを用いた予備的な実験であった にも関わらず，未知の表現・物体であっても正しく 物体選択できることを確認した．データセットを拡張することで，より曖昧な指示から物体を選択でき るようになると考えられる．そこで今後，クラウド ソーシングを利用してデータセットを拡充し，より 曖昧な指示やより広いドメインへの対応を考えて いる.

また，現時点では複数の正解が物体リストにある とき，それら全てが抽出されるようになっている. そのような場合には，ユーザとの対話を通して物体を選択するような方法を導入することを考えて いる.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language" arXiv:1810.04805, 2019

[2] Takahiro Kobori, Tomoaki Nakamura, Mikio Nakano, Takayuki Nagai, Naoto Iwahashi, Kotaro Funakoshi, and Masahide Kaneko, "Robust Comprehension of Natural Language Instructions by a Domestic Service Robot", Advanced Robotics, Vol. 30, Issue 24, pp. 1530-1543, 2016

[3] 田中翔平，湯口彰重，河野誠也，中村哲，吉野幸一
郎，“気の利いた家庭内ロボット開発のための曖昧 なユーザ要求と周囲の状況の収集”，情報処理学会研究報告, NL-253, 2022

[4] Michael Ahn, et al., "Do as I can, not as I say: Grounding language in robotic affordances." arXiv preprint arXiv:2204.01691, 2022

[5] "Pretrained Japanese BERT models", https://github. com/cl-tohoku/bert-japanese


# 確率生成モデルに基づく連続音声からの 教師なし音素・単語・文法獲得

落合翔馬 ${ }^{1}$ 長野匡隼 ${ }^{1}$ 中村友昭 ${ }^{1}$
1 電気通信大学
o1910151@edu.cc.uec.ac.jp

## 概要

人間は，二重分節構造を持つ連続音声信号を教師 なしで音素や単語に分割し，文法を学習することが できる。ロボットが人間のように言語を獲得するに は，そのような二重分節構造の学習が可能なモデル が必要となる. 本稿では連続音声から音素・単語・文法を学習可能な確率的生成モデルを提案する。こ のモデルは，音素を学習する Gaussian Process Hidden Semi Markov Model (GP-HSMM) と, 単語・文法を学習する Hidden Semi Markov Model (HSMM) で構成さ れた二階層のモデルである. 実験では，提案手法に よって連続音声から音素・単語・文法を学習できる ことを示す.

## 1 はじめに

人間の幼児は正解を与えられなくとも，教師な しで連続音声信号から言語を学習している。言語は二重の分節構造を持っており，連続音声を 分節化することで音素を，音素を分節化するこ とで単語・文法を学習することができる. そのよ うな人間の言語学習能力を持つロボットを実現 するためには，二重分節構造を持つ時系列デー タを教師なしで分節化可能なモデルが必要であ る。音声認識の分野では，大量の音声データやラ ベル付けされたコーパスを用いた教師あり学習に よって，音声を分割して認識する手法が主に用い られている [1][2][3][4]. しかし，人間は音声信号 から音素・単語・文法を学習するために大量のラ ベル付きデータセットやコーパスを用いておら ず，このような手法は人間の言語学習とは異なっ ている。一方, 教師なしで連続音声から音素と単語を学習するモデルとして, Nonparametric Bayesian Double Articulation Analyzer (NPB-DAA) が提案され ている [5].また，我々は Gaussian Process Hidden

図 1 提案手法のグラフィカルモデル

Semi Markov Model (GP-HSMM)[6][7] と Hidden Semi Markov Model (HSMM) を組み合わせることで，二重 の分節構造を持つ連続音声から音素と単語の学習 が可能な確率的生成モデル GP-HSMM-based Double Articulation Analyzer（GP-HSMM-DAA）を提案した [8]. しかしこれらの手法では, 音素と単語の学習に 留まっており文法の学習までは実現できていない.

そこで本稿では二重分節構造を持つ連続音声か ら音素と単語だけでなく，文法も教師なしで学習可能な確率的生成モデルを提案する．提案するモデル は GP-HSMM-DAA と同様に GP-HSMM と HSMM か ら構成されている階層的なモデルである.この階層構造により，教師なしで音声信号の二重分節構造を 学習することが可能である. 実験では日本語の音声 データから，教師なしで音素，単語そして文法を学習可能であることを示す.

## 2 提案手法

図 1 が提案手法のグラフィカルモデルであり，下位の層が GP-HSMM，上位の層が HSMM で構成さ れた確率的生成モデルである．GP-HSMMを用いて 音声信号から音素列を学習し, HSMMを用いて音素
列から単語と文法を学習する。

## 2.1 生成過程

品詞に相当する単語クラス $v_{i}$ は直前のクラス $v_{i-1}$ によって生成される。

$
v_{i} \sim P\left(v \mid v_{i-1}\right)
$

この単語クラスの遷移規則が文法であり, 従来の GP-HSMM-DAA[8] とは異なる部分である. 次に，単語クラス $v_{i}$ に従い単語 $w_{i}$ が生成される.

$
w_{i} \sim P\left(w \mid v_{i}\right)
$

また，単語 $w_{i}$ を構成している音素クラス $c_{j}$ は直前 の音素クラス $c_{j-1}$ と遷移確率 $\pi_{c}$ によって生成さ れる。

$
c_{j} \sim P\left(c \mid c_{j-1}, \pi_{c_{j-1}}, w_{i}\right)
$

遷移確率 $\pi_{c}$ の生成には階層ディリクレ過程 (HDP) を用い，以下のように Stick-breaking Process によって 生成された $\beta$ を基底測度とした Dirichlet process(DP) によって生成される。

$
\begin{array}{r}
\beta \sim \operatorname{GEM}(\gamma) \\
\pi_{c} \sim \operatorname{DP}(\eta, \beta)
\end{array}
$

これによりデータの複雑さに応じて, 自動的に音素 クラスの数を推定することが可能となる. 音素クラ Х $c$ の音声信号 $\boldsymbol{x}_{j}$ はガウス過程から生成される.

$
x_{j} \sim \mathscr{G} P\left(x \mid X_{c}\right)
$

ただし， $\boldsymbol{X}_{c}$ は音素クラス $c$ のガウス過程のパラメー タである. このように生成された各音素の音声信号 を連結することで連続音声信号 $\boldsymbol{S}=\left.\{\boldsymbol{x}_{1}, \cdots \boldsymbol{x}_{J}\right.\}$ は生成される。

## 2.2 ガウス過程

提案手法の下位層では，単位系列 $\boldsymbol{x}$ 内のタイムス テップ $t$ における出力 $x_{t}$ を連続的な軌道として表現 するためにガウス過程回帰を用いる. ガウス過程回帰では同じクラスに属するタイムステップ $t$ におけ る出力 $x_{t}$ の複数のぺア $(\boldsymbol{t}, \boldsymbol{X})$ が得られた時, タイム ステップ $\hat{t}$ おける出力 $\hat{x}$ の予測分布は以下のガウ ス分布となる.

$
p(\hat{x} \mid \hat{t}, \boldsymbol{X}, \boldsymbol{t}) \propto \mathcal{N}\left(\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{X}, k(\hat{t}, \hat{t})-\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{k}\right)
$

ただし， $k(\cdot, \cdot)$ はカーネル関数である. $C$ は， $\boldsymbol{t}$ の $p$番目と $q$ 番目の要素を $t_{p}, t_{q}$ とした時, $p$ 行 $q$ 列の 值が

$
C\left(t_{p}, t_{q}\right)=k\left(t_{p}, t_{q}\right)+\phi^{-1} \delta_{p q},
$

となる行列である。 $\phi$ は観測値に含まれるノイズの 表すハイパーパラメータである。また， $\boldsymbol{k}$ は $k\left(t_{p}, \hat{t}\right)$ を $p$ 番目の要素に持つべクトルである. 本稿では カーネル関数として以下の式を用いる。

$
k\left(t_{p}, t_{q}\right)=\theta_{0} \exp \left(-\frac{1}{2} \theta_{1}\left.\|t_{p}-t_{q}\right.\|^{2}\right)+\theta_{2}+\theta_{3} t_{p} t_{q}
$

$\theta_{*}$ はカーネルのハイパーパラメータである. 出力値 が多次元のべクトル $\boldsymbol{x}_{t}=\left(x_{t}^{(1)}, \cdots, x_{t}^{(d)}, \cdots\right)$ の場合 は各次元が独立に生成されると仮定し, 時刻 $t$ の観測値 $\boldsymbol{x}$ がクラス $c$ に対応するガウス過程から生成さ れる確率 $\mathscr{P}\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)$ を以下のように計算する.

$
\mathscr{S} P\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)=\prod_{d}^{D} p\left(x_{t}^{(d)} \mid t, \boldsymbol{X}_{c}^{(d)}\right)
$

## 2.3 パラメータの推論

提案モデルは二階層のモデルであり，単純にはパ ラメータを推論することが困難である．そこで，各階層を交互に推論することで，モデル全体のパラ メータを最適化する. Algorithm 1 が相互学習を用い たパラメータ推定のアルゴリズムである.

まず下位層において，観測された音声信号 $S$ を GP-HSMM により分節化し音素クラス系列 $C$ をサ ンプリングする．次に，得られた音素クラス系列 を，上位層の HSMM によって分節化することで，単語系列 $W$ と単語クラス系列 $V$ をサンプリングす る. 上位層では分節化された単語 $w$ から音素クラス $c$ が生成される条件付確率 $P(c \mid w)$ を計算し, 下位層 (GP-HSMM) に送る. GP-HSMM では受け取った $P(c \mid w)$ を音素の事前分布として用い，再度音素クラ スのサンプリングを行う. この相互更新を $M$ 回繰 り返すことによってパラメータの最適化をする。

GP-HSMM と HSMM では分節長とクラスを効率的にサンプリングするために Forward Filtering

- Backward Sampling アルゴリズムを用いる. GPHSMM の Frward Filtering では，音声信号のタイムス テップ $t$ を終端とする長さ $k$ の部分系列が音素クラ ス $c$ となる前向き確率は次式のようになる.

$
\begin{array}{r}
\alpha_{p}[t][k][c]=\mathscr{P} P\left(\boldsymbol{x}_{t-k: t} \mid \boldsymbol{X}_{c}\right) P\left(c \mid w_{i}\right) P_{\text {len }}\left(k \mid \lambda_{p}\right) \\
\times \sum_{k^{\prime}=1} \sum_{c^{\prime}=1} P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) \alpha_{p}[t-k]\left[k^{\prime}\right]\left[c^{\prime}\right]
\end{array}
$

ただし， $P_{\text {len }}\left(k \mid \lambda_{p}\right)$ は分節長を決める $\lambda_{p}$ をパラ メータとするポアソン分布であり, 遷移確率の 計算には Product of Experts (PoE) 近似を用いて, $P\left(c \mid c^{\prime}, \pi_{c^{\prime}}, w_{i}\right) \approx P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) P\left(c \mid w_{i}\right)$ とした. $P\left(c \mid w_{i}\right)$ は，上位層で計算された単語から音素クラス $c$ が発生する確率であり，この確率により単語の持つ言語的な制約を，音素の学習に与えることができる。こ の前向き確率から音素クラス系列 $C$ をサンプリング する。

次に上位層では，音素クラス系列 $C$ を分節化す ることで，単語と単語クラスをサンプリングする。

Foward Filtering では, 音素のタイムステップ $j$ を終端として，長さ $k$ の部分系列が単語となり，そのク ラスが $v$ となる確率は次式のようになる。

$
\begin{aligned}
& \alpha_{w}[j][k][v]=P\left(C_{j-k: j} \mid v\right) P_{\text {len }}\left(k \mid \lambda_{w}\right) \\
& \quad \times \sum_{k^{\prime}=1} \sum_{v^{\prime}=1} P\left(v \mid v^{\prime}\right) \alpha_{w}[j-k]\left[k^{\prime}\right]\left[v^{\prime}\right]
\end{aligned}
$

この前向き確率から単語系列 $W$ と単語クラス系列 Vをサンプリングすることができる. サンプリング された $W$ から $P\left(c \mid w_{i}\right)$ を更新し, GP-HSMM の計算 に利用する。

以上のように，以下の手順を繰り返すことで，下位層と上位層が相互に影響しあい，音素・単語・文法を学習することができる.

1. 音声信号 $S$ から音素クラス系列 $C$ のサンプリ ング

2. 音素クラス系列 $C$ から単語系列 $W$ と単語クラ ス系列 $V$ のサンプリング

3. 各単語から音素が発生する確率 $P\left(c \mid w_{i}\right)$ の更新

## 3 実験

提案手法の有効性を確認するために AIOI-dataset ${ }^{1)}$ を改変したデータを用いて実験を行った.

図 2 音素と単語の精度の推移

## 3.1 実験設定

AIOI-dataset は日本語の母音 $\{\mathrm{a}, \mathrm{i}, \mathrm{u}, \mathrm{e}, \mathrm{o}\}$ で構成さ れた単語 $\{$ aioi,aue,ao,ie,uo $\}$ を組み合わせて作られ た文を発話した音声データである。本実験では AIOI-datasetを単語毎に分割し，規則に従って 2 単語を組み合わせた 2 語文を新規に作成した。想定し た文法規則は以下の通りである。

-一単語目の出現単語: ao, uo, ie

-二単語目の出現単語: aioi, aue, ie

すなわち，文は 9 種類 \{ “ao aioi”, “ao aue”, “ao ie”, "uo aioi" , "uo aue" , "uo ie" , "ie aioi" , "ie aue", “ie ie” \} である.これらを読み上げた音声データの 数は 60 となった. 観測系列として音声信号のメル 周波数ケプストラム係数を Deep Sparse Auto encoder によって 3 次元に圧縮した特徴量を使用した.

単語のクラス数を 2, 相互更新の繰り返し回数 $M=20$ として，特徴量を分節化し文字・単語・文法の学習を行った。また，提案モデルは初期値の依存性があるため，学習を初期値を変えて 10 回試行 し，単語の尤度が最も高い試行の結果を評価に用い た. 評価指標には，正解と音素・単語の分類結果の Adjusted Rand Index (ARI) を用いた. ARI は，分類結果が正解に近いほど，1 に近い値となる指標である.

## 3.2 実験結果

図 2 の横軸が相互更新の繰り返し回数, 縦軸が ARI である．また，赤線が単語の ARIであり，緑線 が音素の ARIである. この図からパラメータの相互更新を行うごとに ARI が上昇しており，提案アルゴ リズムが有効に働いていることが分かる.
表 1 各単語クラスに分類された単語. 数字は音素クラス のインデックス，括弧内の文字は対応する音素である.

表 1 は，HSMM で各単語クラス $v$ に分類された単語（音素の部分系列）である. この結果と想定した 文法規則を比べると，単語クラス 1 に一単語目に出現する単語, 単語クラス 2 に二単語に出現する単語 が分類されており，想定した文法規則が学習されて いる.

## 4 結論と今後の課題

本稿では，二重分節構造を持つ連続音声データ から，教師なしで音素・単語・文法を学習するモ デルを提案した. 提案手法は，GP-HSMM と HSMM を組み合わせた二階層のモデルである．実験では AIOI-dataset から作成した文法の規則が存在する データを用いて，音素・単語・文法が学習可能であ ることを示した.

現状の提案手法ではあらかじめ単語のクラス数 を設定する必要があったため，今後は GP-HSMM と 同様にクラス数を自動的に決定可能な，階層ディリ クレ過程を導入する予定である. また，今回用いた データは非常にシンプルな文法規則を想定した二語文であったため，今後はより複雑な文法規則の学習 が可能か検証する予定である.

## 参考文献

[1] Tatsuya Kawahara, Akinobu Lee, Tetsunori Kobayashi, Kazuya Takeda, Nobuaki Minematsu, Shigeki Sagayama, Katsunobu Itou, Akinori Ito, Mikio Yamamoto, Atsushi Yamada, Takehito Utsuro, and Kiyohiro Shikano."Free software toolkit for Japanese large vocabulary continuous speech recognition", 6th International Conference on Spoken Language Processing, ICSLP 2000, 2000.

[2] George E. Dahl, Dong Yu, Li Deng, and Alex Acero. "Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition”, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 1 pp. 30-42, 2011.

[3] Hiroshi Seki, Kazumasa Yamamoto, and Seiichi Nakagawa. "Comparison of syllable-based and phoneme-based dnn-hmm in japanese speech recognition”. 2014 International Conference of Advanced Informatics: Concept, Theory and Application (ICAICTA). pp. 249-254. 2014.

[4] Sei Ueno, Hirofumi Inaguma, Masato Mimura, and Tatsuya Kawahara. "Acoustic-to-word attention-based model complemented with character-level ctc-based model". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). pp. 5804-5808. 2018.

[5] Tadahiro Taniguchi, Ryo Nakashima, Hailong Liu, and Shogo Nagasaka."Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals".Advanced Robotics. Vol. 30, No.11-12, pp. 770-783. 2016.

[6] Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh, and Masahide Kaneko. "Segmenting continuous motions with hidden semi-markov models and gaussian processes", Frontiers in neurorobotics, Vol. 11, p. 67, 2017.

[7] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Masahide Kaneko. "Sequence pattern extraction by segmenting time series data using gp-hsmm with hierarchical dirichlet process", 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), p. 4067-4074, 2018.

[8] 長野匡隼，中村 友昭，“GP-HSMM に基づく二重分節化モデルによる連続音声の教師なし構造学習”,日本ロボット学会誌，2023


# ホッピングマスクを利用した Stable Diffusion Model による連続画像生成

趙 開顔 ${ }^{1}$ Qiyu Wu ${ }^{1}$ 村田 秀樹 2
石川隆一 ${ }^{2}$ 根之木堸亮 ${ }^{2}$ 山本 覚 ${ }^{2}$ 鶴岡 慶雅 ${ }^{1}$
1 東京大学大学院 ${ }^{2}$ 株式会社電通デジタル
\{zhaokaiyan1006, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp
\{murata.h, ishikawa.r, nenoki.s, yamamoto.sato\}@dentsudigital.co.jp

## 概要

Stable Diffusion Model (SDM) のオープンソース化 に伴い，大規模画像生成モデル，特に text-to-image モデルが話題になっている. 既存研究では拡散モデ ルを改善し，制御可能な画像生成や画像編集を目指 している。これらの方法はいずれも有効だが，使わ れるプロンプトに対する制約が大きく，編集した画像の構成を変えられないなどの欠点が存在する. そ れに加え，従来のSDM は，生成した画像の表現力 が足りず，しばしば品質の低い画像が出力されるな どの問題点を抱えている.これらを踏まえて, 本研究では再学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる 手法を提案する ${ }^{1)}$.

## 1 はじめに

近年，拡散モデル（DDPM）[1] の幅広い応用や CLIP [2] などのクロスモーダルモデルの発展に伴 い, Stable Diffusion Model [3], DALLE2 [4], Imagen [5] などの大規模画像生成モデルが話題になってい る.これらのモデルにより，専門知識の有無を問わ ず，誰でも高品質な画像を生成することができるよ うになった. 図 1 に示すように，プロンプト（生成 する画像の内容を示すテキスト）さえあれば，モデ ルが自動的にプロンプトが表す内容を画像で出力す ることが可能である. このようなテキストから画像 を生成する技術は txt2img(text-to-image) と呼ばれて いる.

2022 年の 8 月，SDM のオープンソース化を機に，画像生成への関心はさらに高まった. 画像生成を改善する方向の一つとして，制御可能性を高める方法
 maskで公開されている.

図 1 txt2img の例

が挙げられる. Hertz ら [6] の prompt-to-prompt とい う手法により，プロンプトのテキスト編集だけで 画像を編集することが可能になった。一方，Kawar ら [7] は一枚の画像と一つのプロンプトだけで，複雑な画像編集を可能にする手法を提案した. Stable Diffusion Model (SDM) への関心を踏まえ，本研究に おいても SDM である txt2img モデルを使用した.

しかし, Yang ら [8] によると, 従来の SDM には まだ多くの問題が残っている. まず，SDM は高品質な画像を生成することができるものの，時には学習がうまくいかず，崩れた画像を生成してしまうこ とがよくある [9]. また，図2 に示したように，入力 したプロンプトは「ジョンがバットを振っている」 であるのに，出力された画像は「バットを振ってい る」という動きをうまく把握していない場合が存在 する。これは，生成画像がプロンプトに忠実でない という問題である。そのほかにも，複数の入力（幾 つかのプロンプトを同時に入力する場合）に対して は，プロンプト数を認識する機能がなく，叙事的 な画像生成 (narrative image generation) は不可能であ る.これらの問題を踏まえ，私たちはホッピングマ スクを提案し，CLIP のエンコーダー側で上記の問題点を改善した。

Wu ら [10] と Huang ら [11] は文間の情報 (crosssentence information)を利用し，入力文のセマン ティック情報を強化することで，言語モデルとビデ オローカライゼーションの精度を向上させた. こう

Prompt: John is waving a baseball bat.

図 2 SDM が生成した画像がプロンプトに忠実でない例

した手法から着想を得て、我々の提案手法において も文間の情報を利用することで，高品質，高表現力 の画像連続生成を実現した.

実験では，同じプロンプト，シードで提案手法に より生成した画像と従来の SDM で生成された画像を比較したところ，文節間情報の重要性が示さ れた.

本研究での貢献は以下の通りである：
- 分離符 $<S E P>$ の使用により, 複数のプロンプ トを同時にSDM に入力しても，プロンプト数 を認識することが可能になった。

・ホッピングマスクを提案し，文間の情報を使用 することにより，画像の表現力が向上.
- 提案したホッピングマスクにより，一定の一貫性がある画像を生成することができた。

## 2 関連研究

## 2.1 txt2img 画像生成

テキストから画像の生成という分野は，2016 年 の Reed ら [12] の研究から始まった. テキスト記述に基づいた画像を生成するために従来の GAN [13] を拡張し, 小規模なデータセットと小さな画像解像度で動作することが示された. 以来数年間,主な txt2img モデルは GANのネットワーク構造 (Generator と Discriminator 二つのネットワークを互 いに競争させるような形で学習する) に従い, 生成画像の品質と解像度の両方を向上させたが, 近年話題になっているものは拡散モデルである.

拡散モデル [14] が提唱されたのは数年前に遡るこ とができるが，2020 年，Ho ら [1]が初めて何故拡散 モデルは GANよりも性能が良いのかに関し数値的
な分析を行った. 拡散モデルの仕組みは非常にシン プルで，まず画像にノイズを付与し，テキストなど の他のモダリティからの情報を通し，ノイズを除去 するものである.

しかし，画像をピクセルの配列として直接扱う場合，変数の次元が多くなり，計算量が増加してしま うという問題が存在する。ここで，SDM [3] が提案 された. SDM は，ノイズから画像を生成する代わ りに，ノイズから潜在表現 (latent)をまず生成し，そ れを画像へと戻すという 2 段階のプロセスを経て画像を生成するモデルである。

## 2.2 拡散モデルによる画像編集

従来のSDM はすでに高品質な画像を生成するこ とができるが，画像生成を改善する方向の一つとし て, 制御可能な画像生成と画像編集が挙げられる.

Hertz ら [6] からの prompt-to-prompt 手法により, プロンプトのテキスト編集だけで画像を編集するこ とが可能になった. Prompt-to-prompt のキーポイン トは，ピクセルとトークンの関係を利用し，クロス アテンションマップを拡散過程に埋め込み，生成を 制御することである。他の手法と異なり，学習，微調整，追加データや最適化を必要とせず，単に入力 プロンプトを変更するだけで，画像の背景を変更せ ずに小さな部分を変更することや，画像のスタイル を全体に変更することが可能になった．また，新し い情報を追加することも可能になった. しかし, こ の方法での入力プロンプトに対する制約は大きく， プロンプト間のギャップは数語または数フレーズで なければならない.

一方, Kawar ら [7] は Imagic を提案した. Imagic は，初めて 1 枚の実画像を，テキストのみを用いて 複雑な編集をすることを可能にした. 鮮明な画像 さえあれば，Imagic は犬を座らせ，又は，ジャンプ させる，また，鳥を羽ばたかせることができる．だ が，この方法による編集にも限界があり，編集した 画像の構成を変えることはできない.

これらの方法はいずれも有効だが，画像の表現力 が不十分な点や，画像編集が制約される等の問題は 解決されていない. 本研究において, 私たちは学習 を必要とせず，連続的に生成される画像間の相関性 を改善し，画質や表現力を向上させる手法を提案 する。

## 3 提案手法

## 3.1 SDM による画像生成

提案手法を紹介する前に，従来のSDM による プロンプトから画像への変換の流れについて説明 する.

図 3 左側のように，一つのプロンプトを，まず CLIP [2]のトークナイザー (tokenizer) に入力し，トー クン， $T_{1}, T_{2}, T_{3}, \ldots ＼mathrm{~ へ の 変 換 を 行 う . ~ 次 に ， 式 ~(1) の ~}$通り，CLIPエンコーダーを使用し，トークンを埋め 込みに変換する。

$
e_{i}=\operatorname{Attn}\left(w_{i}\right)
$

ここで， $w_{i}$ は $i$ 個目のトークンの単語埋め込み (word embedding)を示し, $e_{i}$ がアテンションの計算 を行ったトークンの埋め込みである。この変換の中 で、コーザルマスク (causal mask) [15] が SDM に使用されている. 図 4 の左側に示すように，第一列と 第一行は各トークンで，第一列から見ると，青い部分はアテンションを計算する際，計算に含まれる ことを示す. 例えば， $T_{1}$ は，自分のみを考慮し， $T_{2}$ は， $T_{1}$ と自身に基づき，アテンションを計算する。 つまり，トークンがアテンションを計算する際，そ の前のトークンと自身のみを認識できるようにして いる.このような仕組みを使用した原因としては， トークンの後に, 意味のないパディング (padding) が ついているので，意味のあるトークンをパディング を見えないように設定にしている.

続いて，埋め込み $e$ をイズを加えられた潜在表現 (latent) と一緒に U-Net[16] に入力し，埋边みを 基にノイズを除去する:

$
\hat{l}=U N e t(l, e)
$

$l$ はノイズを加えられた潜在表現であり，îはノイズ を除去した潜在表現である。最後に，ノイズが除去 された潜在表現を用い，VAE [17]を通し，ベクトル から画像へ戻す．以下の式で表すことができる。

$
\text { image }=\operatorname{vae}(\hat{l})
$

## 3.2 ホッピングマスクを用いた SDM

文間の情報を利用するために，まず，入力をいく つかの連続プロンプトにする必要がある. モデルが 一連の文を明示的にエンコードできるように、セパ レータ $<S E P>$ を文に埋め込む. この際，提案した

図 3 SDM 及び提案手法の流れ

手法の入力は以下の式で表すことができる：

$
\begin{aligned}
& x=\text { Prompt }_{1}<S E P>\text { Prompt }_{2}<S E P>\ldots, \\
& \text { Prompt }_{1}=T_{1}, \ldots, T_{n}
\end{aligned}
$

トークン化後，複数のプロンプトが存在するた め，トークンが所属するプロンプトの IDを返す関数 $P_{i d}(\cdot)$ を使う．例えば， $T_{8}$ が第三個目のプロンプ 卜 (Prompt ( $_{3}$ ) に属する場合, $P_{i d}(8)$ の値は 3 となる.続いて，我々が提案するホッピングマスクについ て説明する. Prompt $t_{2}$ の埋め込み (embedding)を計算する際，Prompt $t_{1}$ の情報を踏まえて，アテンショ ンを計算していく. そして, Prompt 3 の埋め込みを 計算する際，今回の場合 Prompt $_{2}$ の情報を考慮し， アテンションの計算を行う. 図 4 の右側に示す通 り，例えば， Prompt 3 に所属している $T_{8}$ を考える と, $T_{8}$ のアテンションの計算には, Prompt ${ }_{2}$ のトー クンと Prompt $_{3}$ の中で, $T_{9}$ 自分と自分より前のトー クンを考慮し，Prompt ${ }_{1}$ のトークンは含まれていな い. 定式化すると，以下のように表される：

$
M_{i, j}= \begin{cases}1 & i \leq j, P_{i d}(i)-P_{i d}(j) \leq 1 \\ 0 & \text { ほか }\end{cases}
$

$M_{i, j}$ は，提案したアテンション行列の $i$ 行目， $j$ 列目のマスク値のことであり，青い部分の値は 1 であ る. 分離符として使われた $\langle S E P>$ も計算時に考慮する必要がないため, ゼロに設定している.

次に，式 (1)に従い，CLIP エンコーダーでのアテ ンションの計算結果は以下のようになる：

$
\operatorname{Attn}=\operatorname{Attn}\left(w_{i}\right) * M
$

Causal Attention Mask

Proposed Hopping Attention Mask

図 4 左側はSDM に使われているコーザルマスクで，右側は提案したホッピングマスクである.

## Prompt: John is waving a baseball bat.

SDM

Proposed method

図 5 SDM が生成した画像と提案手法による生成画像の 比較

このようなアテンション計算がエンコーダーの各層で行われ，最終的に得られるのは複数のプロンプ トからホッピングマスクを使用した埋め込みであ る．SDM の手順に従い，次にU-Netを使用し，ノイ ズを除去する際には，入力の各自プロンプトの埋め 込みを抽出し，入力プロンプト数と対応している数 の潜在表現から，別々で画像を生成する：

$
\hat{l}_{i}=\operatorname{vae}\left(l, e_{i}\right), i \in P_{i d}(\cdot)
$

提案手法により，豊富な文脈情報の取得に成功 し，SDM に基づいた生成画像の品質と表現力の向上だけでなく，連続画像生成が可能になった。

## 3.3 分析

$\mathrm{Wu}$ ら [10] と Huang ら [11]によると，文間の情報 は，モデルがトークンとプロンプトの意味を正しく 理解することに非常に役に立っているとされる. 私 たちもホッピングマスクを使用することで，文間の 情報を利用し，プロンプトの埋め込みを改善した。

図 5 の右の画像は,「John throws out a baseball」の後 に生成された 2 番目の画像である. 右の画像は左の 画像と比較し，遥かに表現力があることがわかる. これは，2つ目のプロンプトの埋め込みを計算する 際に，1つ目のプロンプトの情報も考慮することで， より入力プロンプトに適合した画像を生成する可能性を高めているためである。つまり，「John throws out a baseball」と「John is waving a baseball bat」は，関連する或いは同じ活動を記述しているため，画像 2 を生成する際に，ジョンが野球をしているという事実が描写される保証が高くなると考えられる。

さらに，提案手法を用いることにより，連続的に 生成される画像間の一貫性も向上にも繋がる。これ は，異なるプロンプトで同じ名前の人物が現れる場合，後者の名前のトークンは前者のものを参照こと ができるため，類似した人物が生成されやすくなっ たと解釈できる。 その他実験結果については付録を 参照していただきたい.

## 4 まとめ

本研究では再学習を必要とせず，連続的に生成さ れる画像間の相関性を改善し，画質や表現力を向上 させる手法を提案した. 既存の画像編集方法と比較 し，プロンプトの制約が減少し，連続生成した画像 の一貫性の向上に成功した。

## 謝辞

この研究は東京大学 $\mathrm{AI}$ センターと株式会社電通デジタルが推進する共同研究の助成を受けてい ます。

## 参考文献

[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems, Vol. 33, pp. 68406851. Curran Associates, Inc., 2020.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[3] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[4] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022

[5] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding, 2022. URL https://arxiv. org/abs/2205.11487, Vol. 4, .

[6] Amir Hertz, Ron Mokady, Jay Tenenbaum, Kfir Aberman, Yael Pritch, and Daniel Cohen-Or. Prompt-to-prompt image editing with cross attention control. arXiv preprint arXiv:2208.01626, 2022.

[7] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-based real image editing with diffusion models. arXiv preprint arXiv:2210.09276, 2022.

[8] Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022.

[9] Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H Bermano, Gal Chechik, and Daniel CohenOr. An image is worth one word: Personalizing text-toimage generation using textual inversion. arXiv preprint arXiv:2208.01618, 2022 .

[10] Qiyu Wu, Chen Xing, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. Taking notes on the fly helps language pre-training. In International Conference on Learning Representations, 2020.

[11] Jiabo Huang, Yang Liu, Shaogang Gong, and Hailin Jin. Cross-sentence temporal and semantic relations in video activity localisation. In Proceedings of the IEEE/CVF
International Conference on Computer Vision, pp. 7199-7208, 2021.

[12] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In International conference on machine learning, pp. 1060-1069. PMLR, 2016.

[13] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784, 2014.

[14] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pp. 22562265. PMLR, 2015

[15] Xu Yang, Hanwang Zhang, Guojun Qi, and Jianfei Cai. Causal attention for vision-language tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9847-9857, 2021.

[16] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[17] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.

## A 付録 (Appendix)

## A. 1 アテンションマスクの可視化

図 6 提案マスクの可視化表示

## A. 2 実験設定

今回使用した SDM モデルは, stable-diffsuion-v1$4^{2)}$ である. 生成された画像の解像度は 512*512で， U-Net のステップ数は 50 に設定されている.

## A. 3 他の実験結果

実験結果に関しては，比較を行った対象は同じ シードを使った生成結果である.

## A.3.1 表現力向上の例

図 7 の中で，左側のほうは従来の SDM が生成 した画像であり，右側のは提案手法の生成結果 である.上から一組目は John is working in his farm. の次に生成された二番目の画像だ。二組目は John throws out a baseball. $<S E P>$ John is waving a baseball bat. $<S E P>$ John hits a ball with his bat. の次の結果で ある. 三組目は A mountain is tall and steep. の次に生成された二番目の画像.

Prompt: John is spreading seeds in his farm.

Prompt: John wins a baseball game.

Prompt: Sophie is climbing the mountain.

図 7 表現力向上の例

## A.3.2 一貫性向上の例

図 8 一貫性向上の例

図 8 の上列は提案手法により生成した画像であ り，犬の様子は下の SDM が生成した画像より同じ ふうに見える.

2) https://huggingface.co/CompVis/

stable-diffusion-v1-4


# MixLinkBERT: A Language Model pretrained with Multiple Types of Linked Documents for Multi-hop Question Answering

Dongming $\mathrm{Wu}^{1,2}$ Ryu Iida ${ }^{1,2}$ Jong-Hoon $\mathrm{Oh}^{2}$ Kentaro Torisawa ${ }^{1,2}$
${ }^{1}$ Nara Institute of Science and Technology, Graduate School of Science and Technology
${ }^{2}$ National Institute of Information and Communications Technology,
Data-driven Intelligent System Research Center
wu. dongming. wa9@is. naist. jp
\{ryu. iida, rovellia, torisawa\}@nict. go.jp

## Abstract

Multi-hop question answering is the question answering that requires understanding and reasoning over multiple documents to find answers. In this work, we focus on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We develop MixLinkBERT, a language model pretrained with multiple types of linked documents. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA.

## 1 Introduction

Multi-hop question answering (QA) is the question answering that requires finding, understanding and reasoning over multiple documents to find answers. Table 1 shows an example of multi-hop question in HotpotQA [1], a multi-hop QA dataset. To answer the question in this example, we need information of "the auto manufacturer headquarted in Minato, Tokyo, Japan" and "the auto manufacturer that Nissan acquired controlling interest in". These two pieces of information may exist in two different documents separately, such as the two Wikipedia articles shown in Table 1. In this case, finding, understanding and reasoning over these documents are necessary to answer this question.

The prevailing structure of QA systems for both conventional single-hop QA and multi-hop QA in these years mainly consists of two components, a retriever and a reader $[2,3,4]$. Given a question, a retriever first retrieves several candidate documents from a large set of documents, such as all Wikipedia articles, or documents
Table 1: An example of multi-hop question in HotpotQA [1].

collected from the internet. Then a reader extracts the answer from these candidate documents. Like many other NLP tasks, recent works of multi-hop QA [3, 4] fine-tuned pretrained language models (LMs), such as BERT [5], RoBERTa [6], ELECTRA [7], to use them as a retriever and a reader in their QA methods. For example, Xiong et al. [4] fine-tuned a pretrained RoBERTa as their retriever and fine-tuned a pretrained ELECTRA as their reader.

To improve performance of multi-hop QA, new QA system structures or new fine-tuning methods have also been explored [3, 4]. In addition, pretraining LMs suitable for multi-hop reasoning on downstream tasks has been attempted. For example, Yasunaga et al. [8] developed LinkBERT, a LM that learned multi-hop knowledge (the
knowledge that spans across multiple documents) by leveraging hyperlinks in documents. The experimental results showed that LinkBERT achieved a better performance on multi-hop QA than BERT, which was pretrained without hyperlinks and cannot learn multi-hop knowledge.

In this work we develop a new language model pretrained with multiple types of linked documents, called MixLinkBERT. Along with the hyperlinks in the main texts in Wikipedia articles, which were used by LinkBERT, MixLinkBERT additionally uses hyperlinks in infoboxes in Wikipedia. An infobox in Wikipedia is a table often shown in upper right of a Wikipedia article and represents a summary of important information about the subject of an article by a set of attribute-value pairs. For example, Figure 1 shows part of the infobox of "Slam Dunk (manga)". The infobox contains attribute-value pairs like "genre-comedy", "author-Takehiko Inoue", "publisher-Shueisha". An important point here is that infoboxes sometimes contain useful hyperlinks that do not appear in the main texts of Wikipedia articles. Therefore, the text that is reachable via hyperlinks in infoboxes can introduce potentially useful knowledge that cannot be leveraged in LinkBERT.

We compare MixLinkBERT with BERT and LinkBERT on HotpotQA. MixLinkBERT outperforms BERT by $+1.5 \%$ in answer $\mathrm{F} 1$ and $+1.1 \%$ in joint $\mathrm{F} 1$, and outperforms LinkBERT by $+0.8 \%$ in answer $\mathrm{F} 1$ and joint F1. These results suggest that a wider range of hyperlinks helps LMs learn a wider range of multi-hop knowledge.

Figure 1: Part of the infobox of "Slam Dunk (manga)"

## 2 Related Work

## 2.1 LinkBERT

Figure 2: The overview of pretraining of LinkBERT

[8]. (We drew this figure based on [8].)

Levine et al. [9] showed that in training of neural LMs, it is desirable to put a pair of text segments in the same training instance for learning strong dependencies between the pair of text. According to this observation, Yasunaga et al. [8] proposed LinkBERT, a LM that can learn multi-hop knowledge by leveraging hyperlinks in documents. Yasunaga et al. [8] placed text of hyperlinked documents in the same training instances, in addition to text of a single document or random documents as training instances of BERT [5]. Figure 2 shows the pretraining method of LinkBERT. LinkBERT has two training objectives, masked language modeling (MLM) and Document Relation Prediction (DRP). MLM objective is same as the MLM objective in BERT [5]. DRP classifies the relation of the two segments of an input sequence (segment A and segment B in Figure 2) into three classes: contiguous, random and linked. Corresponding to these three classes, there were three types of training instances in LinkBERT. In the following, we call these three types of training instances (1) contiguous-relation instances, (2) random-relation instances and (3) hyperlinked-from-text relation instances. Yasunaga et al. [8] created training instances for LinkBERT from Wikipedia as follows. To create each of their training instances, they first sampled an article from Wikipedia as document A, and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then for each of (1) contiguous-relation instances, they sampled a contiguous
segment of segment A from the same document as segment B. For each of (2) random-relation instances, they randomly sampled another article from Wikipedia as document $B$ and sampled a segment from document $B$ as segment B. For each of (3) hyperlinked-from-text relation instances, they sampled an article that is hyperlinked from the main text of document $A$ as document $B$ and sampled a segment from document $B$ as segment $B$. Then they concatenated segment $A$ and segment $B$ via special tokens to create a training instance: [CLS] Segment A [SEP] Segment B [SEP]. From Wikipedia, they created a set of training instances consists of $33 \%$ contiguous-relation instances, $33 \%$ random-relation instances and $33 \%$ hyperlinked-from-text relation instances.

## 2.2 Previous works using Wikipedia infoboxes

Information inside Wikipedia infoboxes is summarized by human and can be utilized for NLP tasks. Morales et al. [10] created INFOBOXQA, a question answering dataset, utilizing attribute and value information in infoboxes. Herzig et al. [11] used text in infoboxes directly as inputs for LM pretraining and improved the ability of QA over tables. Unlike Herzig et al. [11] using text in infoboxes directly as inputs for LM pretraining, we use text in articles that are hyperlinked via infoboxes as inputs for our LM pretraining since text in infoboxes usually only includes titles of articles or names of objects.

## 3 MixLinkBERT

## 3.1 Pretraining instances

To explore multi-hop knowledge that can be obtained from multiple types of linked documents, we utilize hyperlinks in Wikipedia infoboxes in addition to hyperlinks in the main texts of Wikipedia articles. More precisely, in addition to the three types of training instances used by LinkBERT, we add the fourth type of training instance: hyperlinked-from-infobox relation instance. To create each of hyperlinked-from-infobox relation instances, we first sample an article from Wikipedia as document A and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then we sample an article that is hyperlinked from the infobox of document $\mathrm{A}$ as document $B$ and sample a segment from document B as segment B. The proportion of each kind of training instances of MixLinkBERT is $33 \%$ for contiguous-relation instances, $33 \%$ for random-relation instances, $16.5 \%$ for hyperlinked-from-text relation instances, and $16.5 \%$ for hyperlinked-from-infobox relation instances.

## 3.2 Training objectives

We use the same training objectives of LinkBERT, masked language modeling (MLM) and Document Relation Prediction (DRP), to pretrain MixLinkBERT. For DRP objective, we set that both hyperlinked-fromtext relation instances and hyperlinked-from-infobox relation instances belong to the same linked class.

## 4 Experiments

## 4.1 Setup for pretraining MixLinkBERT

We created pretraining data from English Wikipedia (20220820 version dump). Our pretraining data contains totally $40,960,000$ training instances. We initialized the parameters of our LM with pretrained BERT-base-cased checkpoint released by Devlin et al. [5] and then started pretraining from the parameters.

## 4.2 Baselines

For a fair comparison between MixLinkBERT and other baseline models (BERT and LinkBERT), we also pretrained two baseline models by ourselves with same size of pretraining data of MixLinkBERT. For baseline BERT, we continued pretraining from pretrained BERTbase-cased checkpoint released by Devlin et al. [5] with original BERT's pretraining objectives. The pretraining data consists of $50 \%$ contiguous-relation instances and $50 \%$ random-relation instances. For baseline LinkBERT, we also started pretraining from pretrained BERT-basecased checkpoint released by Devlin et al. [5] but with LinkBERT's [8] pretraining objectives. The only difference from pretraining of MixLinkBERT is that pretraining data of baseline LinkBERT doesn't contain hyperlinked-from-infobox relation instances. Pretraining data of baseline LinkBERT consists of 33\% contiguousrelation instances, $33 \%$ random-relation instances, and $33 \%$ hyperlinked-from-text relation instances. Table 2 shows the difference of pretraining data of MixLinkBERT and the two baselines. We followed hyperparameter settings in Yasunaga et al. [8]. Training steps was 40,000, peak learning rate was $3 \mathrm{e}-4$, batch size was 2,048 , maximum sequence length was 512 tokens. We warmed up the learning rate for the first 5,000 steps and linearly
decayed it. Each pretraining took about 4 days on $832 \mathrm{~GB}$ V100 GPUs with fp16.

Table 2: Pretraining data of MixLinkBERT and the

 &  \\

## 4.3 Evaluation on HotpotQA

We fine-tuned and evaluated MixLinkBERT and the two baselines on HotpotQA [1], a famous multi-hop QA dataset. Since ground-truth answers of test data of HotpotQA are not available, we instead split the development data of HotpotQA into two data sets and use one of the sets (3,702 instances) as our development data and another set (3,703 instances) as our test data. We finetuned with the method and the code ${ }^{i}$ of a recent published multi-hop QA system [4]. We did hyperparameter search using our development data as follows. For retriever, we tried learning rate $=\{2 \mathrm{e}-5,4 \mathrm{e}-5\}$ and batch size $=\{75$, $150,300\}$ and chose the best parameters that achieved the best Recall on top-2 retrieved documents on our development data. For reader, we tried learning rate $=$ $\{3 e-5,5 e-5,1 e-4\}$ and batch size $=\{64,128,256\}$ and chose the best parameters that achieved the best answer exact match on our development data. For rest of the finetuning hyperparameters, we followed the settings in Xiong et al. [4].

Table 3: Performance on our test data.

 &  &  &  &  &  &  \\

## 4.4 Results

Table 3 shows the performance on our test data. MixLinkBERT outperforms baseline BERT notably, especially $+1.5 \%$ on answer F1 and $+1.1 \%$ on Joint F1. MixLinkBERT also outperforms baseline LinkBERT, with $+0.8 \%$ on answer F1 and Joint F1.

As shown in the experimental results, pretraining with both hyperlinked-from-text relation instances and hyperlinked-from-infobox relation instances (MixLinkBERT) achieves better performance than pretraining without hyperlinked-from-infobox relation instances (baseline LinkBERT). This suggests that infoboxes contain useful hyperlinked articles that do not exist in the main texts of Wikipedia articles. In this work, we used $33 \%, 33 \%, 16.5 \%, 16.5 \%$ for contiguous-relation, random-relation, hyperlinked-from-text relation and hyperlinked-from-infobox relation instances respectively, but there is still room for exploring the optimal ratio of the training instance types. So, one of our next challenges is to find the best ratio of the four types of training instances to improve the performance on HotpotQA.

## 5 Conclusion

In this work, we focused on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We developed MixLinkBERT, a language model pretrained with multiple types of linked documents to improve multi-hop reasoning ability on downstream multi-hop QA. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA. As future work, we also plan to incorporate attribute information in infoboxes into LM pretraining to further improve the performance on downstream multihop QA.

## References

[1] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, Christopher D. Manning. HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, 2018.

[2] Danqi Chen, Adam Fisch, Jason Weston, Antoine Bordes. Reading Wikipedia to Answer OpenDomain Questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1870-1879, 2017.

[3] Akari Asai, Kazuma Hashimoto, Hannaneh Hajishirzi, Richard Socher, Caiming Xiong. Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering. The International Conference on Learning Representations, 2020.

[4] Wenhan Xiong, Xiang Lorraine Li, Srini Iyer, Jingfei Du, Patrick Lewis, William Yang Wang, Yashar Mehdad, Wen-tau Yih, Sebastian Riedel, Douwe Kiela, Barlas Oğuz. Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval. The International Conference on Learning Representations, 2021.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. The International Conference on Learning Representations, 2020.
[8] Michihiro Yasunaga, Jure Leskovec, Percy Liang. LinkBERT: Pretraining Language Models with Document Links. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8003-8016, 2022.

[9] Yoav Levine, Noam Wies, Daniel Jannai, Dan Navon, Yedid Hoshen, Amnon Shashua. The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design. The International Conference on Learning Representations, 2022.

[10] Alvaro Morales, Varot Premtoon, Cordelia Avery, Sue Felshin, Boris Katz. Learning to Answer Questions from Wikipedia Infoboxes. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1930-1935, 2016.

[11] Jonathan Herzig, Paweł Krzysztof Nowak, Thomas Müller, Francesco Piccinno, Julian Martin Eisenschlos. TAPAS: Weakly Supervised Table Parsing via Pre-training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4320-4333, 2020.