# 技術ナレッジ活用に向けた Retriever-Reader モデルの検証

蓬田綾香 ${ }^{1}$ 村瀬文彦 ${ }^{1}$ 平野徹 ${ }^{2}$ 三郤陽 ${ }^{1}$
坂一忠 ${ }^{1}$ 飯田哲也 ${ }^{1}$ 岩堀恵介 ${ }^{1}$ 竹野貴法 ${ }^{1}$
${ }^{1}$ 株式会社デンソー
${ }^{2}$ DENSO INTERNATIONAL AMERICA, INC.
\{ayaka. yomogida. j6n, fumihiko. murase. j6b, akira. mitani. j5g, kazutada. ban. j4x,
tetsuya. iida. j6e, keisuke. iwahori. j7p, takanori. takeno. j5x\}@jp. denso. com
\{toru. hirano\}@na. denso.com

## 概要

社内に蓄積された技術ナレッジを効率的に活用することを目指して，膨大な文書からユーザが必要な回答を簡易に得られるように，質問応答タスクで用いられている Retriever-Reader モデルの検証を実施した. デンソー社内で実際に蓄えられた材料開発業務の文書を対象とした. Retriever では, BERT と Sentence BERT の各々のベクトルに基づくランキング上位の文書に, 必要な回答が含まれる文書があるか否かを評価した. Readerでは, 文書から回答位置を抽出する手法と文書中の各文が回答か否かのラべルを判定する 2 つの手法を評価した. Retriever では Sentence BERT の正解率が高く, Reader ではラベルを判定する手法の方がユーザの質問に対する回答を適切に判断できることが分かった.

## 1 はじめに

日々の業務活動を通して社内には様々な文書が蓄積されており，これらの大規模テキストデータに含まれるのナレッジの効率的な活用によるデジタルトランスフォーメーションの需要が高まっている. 適用事例の一つとして，材料開発業務におけるナレッジ活用を想定している. 自動車部品は様々な材料で構成されており, どの部品に使用されるか, その自動車がどの地域で使用されるかによっても求められる特性が異なるため, 多種多様な材料開発が必要である．材料開発を統括する部署では, 開発から製品量産までの材料に関するデータベースを保有している. 事業部から材料開発に関する問い合わせがくると, 担当者は各種データベースにアクセスし, 検索ワードをもとに文書を絞り込み, 文書の中から得たい技術ナレッジを取得し, 事業部へ回答する. 具体的な事例を図 1 に示す. 質問は材料開発業務関連で
はあるが、材料や製品は多岐に渡る．検索された文書の中からナレッジ記載箇所を特定するために多くの文章に目を通す必要があり, 従来の検索方法では欲しいナレッジにたどり着くまでの負荷が大きいことが問題点であった. そこで，膨大な文書からユー ザの知りたいナレッジを直接特定できるように，質問応答タスクで活用されている Retriever-Reader モデルの検証を実施した.

Retriever-Reader モデルとは, 大量の文書から質問に関連する文書を検索する Retriever と検索された文書から回答を抽出または生成する Reader で構成されているモデルである[1][2]. Retriever として, TFIDF や BM25[3]のように質問文中に存在する単語を用いたマッチングや，質問文や文書を密なベクトルに変換し，類似度を用いて検索する方法が挙げられる.今回は，対象とするデータベースに表記ゆれが多く含まれていたため, 表記ゆれに強いベクトルによる検索方法を用いた。ベクトルへの変換には BERT[4]を用いた. Reader は抽出型と生成型に大別される. 生成型では複数の文書を基に要約した文章や，新たな文章を生成できるが，事実とは異なる意味・内容の誤った回答となる可能性がある. 今回対象とする技術ナレッジの特定において，ユーザに誤った情報を提示することは避けたいため, 情報の正

質問 : [材料名]を使うときの注意点は何？回答 : [材料名]は水分、腐食環境下で著しく劣化が進行する。

質問 : [不良名]が発生した原因と対策は?回答 : キズが入った[部品名]を使用し, 内面にキズを付けた。[部品名]に異常がないか目視検查。

図 1 材料開発業務における具体的事例
確性を重視して抽出型を用いた。

## 2 手法

本研究では，製品開発時の材料に関する懸念事項をまとめたデータベースを対象に実験を行った。

## 2. 1 モデル

汎用の事前学習済みモデルに対して，タスクのドメインに特化したデータで追加学習を行うとタスク精度が向上したとの報告[5]があることから, BERT base Japanese (unidic-lite with whole word masking, jawiki-20200831) iに対して, 対象データベースのテキスト(約 $7 \mathrm{MB})$ で追加学習を行った. 追加学習では Masked Language Model のみで学習を行った. 追加学習したモデルを基に、Retriever および Readerへのフアインチューニングを行った.

Retriever 2 つのベクトル変換手法を比較した. 1 つ目は追加学習済みの BERTに質問文を入力し, BERT の出力ベクトルの平均を用いて Pooling し, 質問文のベクトルとした.データベースの各文書も同様に，出力ベクトルの平均を用いて Pooling し, 各文書のベクトルとした. 2 つ目は効率的に精度の高いべクトル化が行えると報告された Sentence BERT[6] ${ }^{\mathrm{ii}}$用いて質問文および文書のベクトルを得た. ファインチューニングの目的関数には triplet Objective Function を用いた. 基準(anchor)となる文章aに対し，似ている(positive)文章 p または似ていない(negative)文章 $\mathrm{n}$ との埋め込みベクトル $\mathrm{s}$ の差を取り, 式 1 を最小化する目的関数である. anchor-positive, anchornegative の差は文書ベクトル間のコサイン類似度を用いた. Pooling 手法は出力ベクトルの平均を使用した.

$
\max \left(\left(s_{a}-s_{p}\right)-\left(s_{a}-s_{n}\right)+\varepsilon, 0\right)
$

Reader 2 つの抽出手法を比較した. 図 2 にそれぞれのモデルを示す. 1 つ目は位置抽出で, SQuAD 2.0 [7]に対する BERT の既存手法[4]を用いた. 質問文と抽出対象の文書を連結させた入力に対して, 回答可能な文書では回答の開始と終了の位置を, 回答不可能な文書では, 開始と終了が文頭[CLS]の位置を出力するよう学習した. 2 つ目はラベル判定で, 質問文とともに抽出対象の文書の各文をモデルに入力し,質問文に対する回答か否か[CLS]を用いてラベルを

判定させた．各文は，文章を句点で区切った.

## 2. 2 学習データ

表 1 に学習に使用したデータ数を示す. データベ一ス内の文章が回答となるような質問文を人手で作成した.今回はデータベースの中でも特定の材料に関する QA セットを作成した．QA セットの 2 割を評価用として使用した。

Retriever 質問文を anchor、質問に対する回答を含む文書を positive，回答を含まない文書を negative として, 1 件の質問につき, 10 件の triplet データを作成した. negative データは回答を含まない文書の中からランダムに 10 件抽出した.

## Reader

位置抽出では，質問文，回答を含む文書，回答の開始位置および終了位置を 1 セットとしたデータを作成した. ラベル判定では, 質問文, 句点で句切った後の文およびその文が回答か否かのラベルを 1 セットとしたデータを作成した.

(a)

(b)

図 2 Reader モデル(a)開始/終了位置を出力 (b)回答か否かのラベルを出力

ii https://www.sbert.net/
表 1 文書数, QA セットおよび Retriever, Reader の訓練データ数

## 3 評価方法

## 3. 1 Retriever

評価用の質問文に対して，データベースから関連する文書を検索した．質問文のベクトルとデータベ ースの各文書の文書ベクトルとのコサイン類似度を用いて，類似度が高い順に文書をランキングした。上位 1 件または 10 件以内に質問に対する回答を含む文書があるか判定し，正解率で精度を評価した。 1 件の質問につき複数件の正解文書が存在する場合もあるが, 10 位以内の正解文書数やどの文書が上位に来ても評価は変わらないこととした.

## 3. 2 Reader

評価用の質問文に対して, 3.1 の Retriever で類似度上位 10 件以内の回答を含む文書を用いた. 位置抽出では，質問文と回答を含む文書を入力し，回答の開始/終了位置を得た. 抽出部分に回答が含まれているかを判定し, 正解率で精度を評価した. ラベル判定では，回答を含む文書を句読点で句切り，質問文と分割後の各文を入力し, 回答か否かのラベルおよびその確率を得た. 回答である確率が最も高い文書中の 1 文が実際の回答と合っているかを判定し，正解率で精度を評価した。

## 4 結果と考察

## 4. 1 Retriever

Retriever の結果を表 2 に示す. 上位 1 件, 10 件以内の正解率ともに Sentence BERT の精度が高くなった. BERT を用いた検索結果では, 質問文中の重要な単語(材料名, 加工方法など)を見逃している例も多かった. 一方 Sentence BERT では, BERT での検索結果ほど見逃している例は少なく, 質問文と文書で異なる表記で記載されていても類似度上位になる文書も確認された. BERT で得た文書ベクトルは,追加学習後の各トークンの出力ベクトルの平均を取ったものであり, 各トークンのベクトルは Masked
Language Model に適したベクトルであるが，Pooling した場合に文書の特徴が得られるようなべクトルではないことが推測される. そのため, Sentence BERT でファインチューニングをした方が，似ている文書同士の Pooling したベクトルが類似するように各ト一クンのベクトルが出力されるため, 正解率が向上したと考えられる。

表 3 に Sentence BERT のランキング上位 10 件以内で，質問への回答を含まない文書例を示す. 質問ではつェノール樹脂りに対する留意点を尋衩ているが，異なる樹脂である'PBT'の留意点が文書には記載されていた。樹脂材料の留意点という観点では類似文書であるが，今回の質問応答においては，不適切な文書となる。人手で QA セットを作成した関係から訓練データが非常に少なく, 樹脂の留意点としての類似文書の傾向は学習できたが，材料種の違いは学習できなかったと推測される. 回答として不適切な文書を triplet $の$ negative として加え訓練データを拡充することで，類似文書の中でも回答として適切な文書の傾向を学習でき, 精度向上できると考えられる。

表 2 Retriever の結果

 &  \\

表 3 Sentence BERT の類似度上位 10 件以内で回答を含まない文書例

表 4 Reader の結果

## 4. 2 Reader

Reader の結果を表 4 に示す. 4.1 の Sentence BERT のランキング上位 10 件以内で回答を含む文書 50 件に対して評価を行った。位置抽出およびラベル判定どちらも正解率はほぼ同等であった。しかし, 位置抽出では入力した文書がそのまま出力されていた例が多く，必要な部分のみを抽出することができていなかった. ラベル判定による文単位での抽出では,正解した文書で回答でない部分を確実に除外することができており．平均して 50\%以上の文を削減することができた. 回答として抽出した文は，文書からそのまま抽出しているため, 質問には含まれていない製品, 部品, 工程などの固有名詞が含まれている例が見られた. 質問応答の回答として提示する場合,該当箇所の抽出後に固有名詞を取り除くなどの後処理が必要になると考えられる. さらに, 質問への回答として自然な形に文を成形する処理を加えることで，正確性を保った情報かつ適切な回答を提示できると考えられる。

## 5 おわりに

本稿では，技術ナレッジ活用に向けた RetrieverReader モデルの検証を行った. 対象とするデータベースに表記ゆれが多いことから BERTを用いて Retriever および Reader のファインチューニングを実施した．Retrieverでは，質問文と質問への回答を含む文書のベクトルの類似度が高くなるよう

Sentence BERT でファインチューニングすることで，正確率が向上した．Readerでは，回答を含む文書を句点で各文に分割し，回答か否かのラベルの判定を行うことで質問に対する回答を適切に判断できることが分かった.

今後, Retriever では質問中の材料種の違いも考慮できるような訓練データセットの拡充，Reader では, 質問への回答として不要な固有名詞の除外, 回答として自然な語尾への変換という取り組みが必要である.

## 参考文献

1. Kenton Lee, Ming-Wei Chang and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering, In ACL, 6086-6096, 2019.

2. Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen and Wen-tau Yih. Dense Passage Retrieval for OpenDomain Question Answering, In EMNLP, 6769-6781. 2020.

3. S. Robertson and H. Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, 333-389 2009.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, In NAACL, 4171-4186, 2019.

5. Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks, In ACL, 8342-8360. 2020. 6. Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks, In EMNLP-IJCNLP, Association for Computational Linguistics, 3982-3992. 2019.

7. Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD, In ACL, 784-789 2018.


# コンテキストの量が質問応答モデルのショートカット推論に与 える影響について

秋元康佑 竹岡邦紘 小山田昌史
NEC データサイエンス研究所
$\{$ kosuke_a,k_takeoka, oyamada\}@nec.com

## 概要

質問応答は近年活発に研究が進められている言語理解タスクであるが, 近年の深層学習を利用した質問応答モデルは訓練データセット中のバイアスを利用したショートカット推論に陥りやすいことが知られている.一方この問題に関する既存研究の分析はショートカット推論を促す情報源文章の特徴に関するものがほとんどであり, 情報源文章の数（長さ） が変化した場合のショートカット推論の挙動については詳しくわかっていない. 本研究ではオープンドメイン質問応答の設定に注目し, 特に検索によって得られた情報源文章を利用する retrieve-then-read 方式の質問応答モデルが持つショートカット推論の挙動が情報源文章の数によってどのように変化するかを調べた. 実験の結果, そのような質問応答モデルは回答に必要ない不要な情報源文章の数が増えるほどショートカット推論を引き起こしやすくなり,この問題が主にモデルに悪影響を及ぼす一部の文章によって引き起こされていることがわかった.

## 1 はじめに

質問応答 (question answering) とは, 利用可能な情報源文章（コンテキスト）を基にユーザーから与えられた質問文に対する回答を自動的に作成するタスクである. 近年では大規模なベンチマークデータセッ卜[1]が公開されるなど活発に研究が行われており,大規模言語モデルの利用などによって一部のベンチマークデータセットに対する性能が人間を超えるなど性能面での進歩も著しい [2].

一方で質問応答モデルが本来意図されていた言語理解能力ではなく, 訓練に利用したデータセットに含まれるバイアスなどを利用したショートカット推論 [3] を学習してしまう事例も報告されており,ベンチマークデータセット以外への実応用に向けた課題
となっている. 例えば [4]では質問応答モデルが質問と単語の重複が大きいコンテキスト文に依存しており,そうした文に正答が含まれない場合に誤答が増える結果が報告されている。

本研究では特にコンテキストが明示的にシステムに与えられないオープンドメイン質問応答の設定に注目し，そのような設定で近年よく用いられる retrieve-then-read 方式 [5] と呼ばれるシステムが持つショートカット推論への脆弱性について研究する. retrieve-then-read 方式のシステムは質問文をクエリとしてコンテキストを外部コーパスから検索して得る. そのため質問文とコンテキストとの単語的・意味的な類似度が大きくなりやすい特徴があり, 前述した従来研究において指摘されているショートカッ卜推論に対する脆弱性が大きな課題となりうる.さらにこうしたシステムでは検索の recall を確保するため比較的多くの文章 (100 個程度まで) を利用することが一般的 [6] であるため, モデルにショートカッ卜推論を促す文が複数含まれる可能性がある。

しかしショートカット推論に関する従来研究はコンテキストに含まれる文章の内容（意味や単語）を対象に分析を行っており,コンテキストに含まれる文章の量に関連するショートカット推論の挙動は著者らの知る限り [7] における限定的な実験があるのみである.

さらにコンテキストの量は推論時だけでなく， retrieve-then-read 方式の質問応答モデルを訓練する際にも性能に影響を与えていることが示されている $[6,8]$. しかし特に質問応答に不要なコンテキストの量が性能に与える影響が明らかになっていないなど, 訓練時のコンテキストの量に関する研究もまだ十分行われているとは言えない。

そこで本研究では retrieve-then-read 方式の質問応答システムの訓練および推論の挙動が,コンテキスト中の必要な文章 (positive passage) と必要ない文章
(negative passage)の量にどのように影響を受けるかを分析する.この研究は現在進行中であるが, 本稿では執筆時点で完了している推論時の挙動に関する実験の結果について報告する。

## 2 関連研究

与えられた自然言語文のコンテキストを利用して質問応答を行う機械読解の分野は近年 SQuAD デー タセット [1] などの大規模なべンチマークが公開されるなど活発に研究が行われており, 大規模言語モデルを利用した手法 [9] などが提案されている.またコンテキストが明に与えられないオープンドメイン質問応答の分野の研究も盛んに行われており, Wikipedia などの外部知識源から質問に関連する文章を検索してコンテキストとして利用する retrieve-then-read 方式 [5] が現在主流となっている. retrieve-then-read 方式ではコンテキストに含まれる情報の recallを増やすため比較的多くの文章をコンテキストとして利用することがあり, 効率的に複数の文章の情報を利用するために RAG[10] や FiD[6] などのモデルが提案されている.

一方で学習された質問応答モデルがデータセットに含まれるバイアスに頼ったショートカット推論 [3]を学習してしまっていることを示唆する事例も多数報告されている $[11,4,12,13,14,15,16,17,7,18]$.例えば $[11,4,7]$ ではモデルが質問文と単語的な重複が大きい文に注目して誤答してしまう傾向があることを示す結果が報告されており, [16] では特にモデルが注目している質問文中の単語が重複している場合にこの傾向が強いことが示されている. また質問応答モデルはエンティティの型情報も利用しており,エンティティの型のみを考慮して正答が得られるバイアス [14]を利用したショートカット推論を学習してしまいうることが示されている [15]. これらの既存研究では主にモデルにショートカット推論を促しやすいコンテキストの内容に関する分析を行っているが,一方でそのようなコンテキストの量に関連した分析も行っている研究は著者らの知る限り [7] のみで比較的少ない. ショートカット推論以外の分野では, コンテキストに含まれる矛盾した情報の量による質問応答モデルの挙動を分析した論文がつい最近発表されている $[19,20]$.

## 3 実験

本章ではまず retrieve-then-read 方式の質問応答モデルの推論時の性能が, コンテキスト1) 中の回答に必要な情報を含む文章 (positive passage) と必要ない文章 (negative passage) の量に依存することを示し (§3.3), この性能低下が特に質問応答モデルに性能低下を促す一部の文章 (hard negative passage) によって引き起こされていることを示す.

## 3.1 データ

本稿における実験では, オープンドメイン質問応答のベンチマークデータセットである Natural Question[21]を利用した. 本実験では retrieve-thenread 方式の検索部分については分析の対象外とし, Wikipedia から DPR[22] によって検索された文章が各質問に対するコンテキストとして予め付与されている, [6] における前処理済みデータを利用した.これらのデータセットにおける各質問のコンテキストについて,アノテーションされている正答を文字列的に完全一致で含む文章を positive passage, 含んでいない文章を negative passage として取り扱った. 後述するモデルの学習には train サブセットを利用することとし ${ }^{2)}$, モデルの性能評価には $\operatorname{dev}$ サブセットを利用した ${ }^{3)}$.

## 3.2 質問応答モデル

本稿における実験では, 質問応答モデル (reader) として近年高い性能を示している FiD[6] と呼ばれる encoder-decoder モデルを対象とした．FiD は text-to-text タスクで利用される T5[23] を拡張したモデルであり,より効率的な推論を実現するため複数の入力文 $\left.\{s_{1}, \ldots, s_{n}\right.\}$ をそれぞれ独立に encoder $f_{\text {enc }}$ によってエンコードする ${ }^{4}$ ことが特徴である. 各入力文 $s_{i}$ のエンコード結果 $f_{\mathrm{enc}}\left(s_{i}\right)$ は結合されて decoder $f_{\mathrm{dec}}$ に入力され, 自己回帰的に出力文 $o$ が生成される ${ }^{\text {) }}$.(すなわち $[x ; y]$ をべクトル列 $x$ と $y$ の

1）本稿では個々の情報源文章 (passage) と，それらの集合としてのコンテキストを用語として区別する。

2）実際に訓練データとして利用されるデータと early stopping のための検証用データの 2 つにさらに分割した.

3）全ての実験で同じ質問集合が評価に利用されるよう,このうち positive passage を 8 個以上, negative passage を 64 個以上持つような質問のみを利用した。

4） T5 と同様に, 大力文中の各トークンごとにベクトルが計算される.

5） FiD は与える入力文の順序の並べ替えによって出力がほとんど変化しないことが報告されており [8], 著者らの予備実験
結合として, $o=f_{\mathrm{dec}}\left(\left[f_{\text {enc }}\left(s_{i}\right) ; \ldots ; f_{\mathrm{enc}}\left(s_{n}\right)\right]\right)$ である. $)$質問応答モデルとして利用される際は,一般的に質問文 $q$ とコンテキスト中の $i$ 番目の文章 $p_{i}$ を用いて $s_{i}=$ "question: $q$ context: $p_{i}$ "のようなテンプレー 卜に従い入力文 $s_{i}$ を作成し, 出力文 $o$ として正答を出力させるように学習する ${ }^{6}$. また FiD を初期化するための T5 モデルとしては, transformers ライブラリ [24] の t5-base を利用した。

## 3.3 positive, negative passage の量による 性能変化

本節では質問応答モデルの性能がコンテキスト中の positive passage と negative passage の個数によってどのように変化するかを調べる.

まず実応用に近い自然なコンテキストが入力された際の挙動を調べるため, 各質問毎に positive passage と negative passage をそれぞれ重複なしで指定した個数サンプルフ)した場合の正答率を測った. 結果は表 1 の上部のようになっており ${ }^{8}$, 以下のような傾向が観察された。

(1) 同じ positive passage の集合を与えられていても, negative passage の個数が増えると正答率が低下する。

(2) (1) の傾向は, positive passage の個数が少なくなるとより顕著となる。

より個数変化のみによる影響を評価するため, ある 1 つの negative passage を指定した個数だけコピー してコンテキストに加えた場合の正答率も評価した (以後この設定を「重複コピー設定」と呼ぶ $)^{9}$. 結果は表 1 の下部のように前述した (1)と同様の結果が得られた. このことから (1) の結果は含まれる情報の内容に一切の変化が無く個数のみが変化する場合でも起こることが確認できた.

さらに (1) の結果がどの程度 negative passage 中の矛盾する情報10) や正答の表記ゆれ由来の効果による

でも同様の結果が確認できたことから, 本実験ではコンテキスト中の文章の順序については学習時, 推論時共に特に意識しないこととした

6）本実験ではコンテキスト中の各文章 $p_{i}$ のタイトル $t_{i}$ も用いて $s_{i}=$ "question: $q$ title: $t_{i}$ context: $p_{i}$ "とした.

7）各質問に対しランダムに 5 通りサンプルして結果を平均した.

8）各行, 各列はそれぞれ同じ positive, negative passage の集合に対する実験結果である。

9）各質問ごとに, 全ての negative passage に対して正答率を評価し結果を平均した。

10）例えば正答以外の別解が存在することを示す情報が挙げられる.このような矛盾を含むコンテキストに対する分析も行われているが $[19,20]$, そのようなコンテキスト中の矛盾に対するモデルの望ましい挙動は応用次第で変わりうる. その表 1 positive および negative passage の個数の変化による質問応答モデルの正答率 (exact match)の変化. all は各質問毎に利用できる positive または negative passage を全て利用したことを示す.

図 1 negative passage が持つ相対スコアのヒストグラム.

ものなのかを明らかにするため, negative passage の追加によって回答が変化した事例 ${ }^{11} を 100$ 個サンプルして人手評価を行った. その結果, positive passage のみ与えられていた場合にモデルが正解できていた事例は 87 個存在し, そのうち変化後の回答が正答の表記ゆれだった事例は 16 個 (18\%), negative passage 中に正答に矛盾する情報が含まれていた事例は 20 個 $(22 \%)$ であった. この結果から, 残りのおよそ半数の事例については negative passage に矛盾する情報が含まれないにも関わらずモデルが誤答を出力してしまっていることが確認された.

## 3.4 negative passage ごとの性能変化に及 ぼす程度の違い

本節では 83.3 で確認された negative passage の悪影響が, 個々の negative passage によってどのように異なるかについて調べる.

## 3.4.1 hard negative passage

ある negative passage がモデルに悪影響を及ぼしている度合いの指標として,ここでは $\$ 3.3$ の重複コピー設定でその negative passage を 64 個コピーして

図 2 ある閾値以下の相対スコアを持つ negative passage のみをコンテキストに追加した際の正答率の変化 (赤実線). 青破線は各閾值について同数の negative passage をランダムに選んで追加した場合の正答率の変化を示す.

コンテキストに追加した場合に正答が出力される対数尤度 ${ }^{12)}$ がどれだけ変化したかの「相対スコア」13) を利用する. negative passage の相対スコア分布は図 1 のヒストグラムのようになっており,ほとんどの negative passage が 0 に近い相対スコアを持っている. 一方で一部の negative passage は大きな負の相対スコアを持っており, モデルが正答を生成することを強く阻害していることがわかる (以後このような negative passage を hard negative passage と呼ぶ).

そこで $\$ 3.3$ で確認された negative passage が及ぼす悪影響が実際にはこの一部の hard negative passage の影響で引き起こされたのではないかという仮説を検証するため, 相対スコアの昇順に negative passage を追加した際に正答率がどのように変化するかを調べた (図 2). その結果, 相対スコアが昇順になるように negative passage を追加した場合, 20 個程度しか追加していない状態で全 negative passage を追加した場合と同程度の正答率低下を再現できることがわかった. このことから, 相対スコアが 0 に近い大部分の文章はモデルの推論に大きな影響を与えず、主に hard negative passage が性能低下の原因であると考えられる。

## 3.4.2 hard negative passage の識別可能性

最後に \$3.4.1 でモデルの推論に対する悪影響が明らかになった hard negative passage を, その文章の内

表 2 各文章特徴量と相対スコアの間の相関係数.

容から識別可能かどうかを調べた. §2 で述べたように既存研究においていくつかの文章特徴量にショー トカット推論との関連性が指摘されている.ここではそれらのうち, 質問と文章の間の最長一致 $n$-gram 長 [11], 共通単語数 [4], および文べクトル間のコサイン類似度 [14], そして retrieve-then-read システムの検索システムによる文章の検索順位,の 4 つの特徴量を計算し相対スコアとの間のケンドールの順位相関係数 $\tau_{b}$ [25] によって相関の程度を評価した. 結果は表 2 のようになっており, 弱い相関の存在は確認できたものの hard negative passage かどうかの識別が可能なほどの強い相関は確認できなかった ${ }^{14)}$.

## 4 結言

本稿では retrieve-then-read 方式の質問応答モデルが,コンテキストとして与えられる文章の量によってどのような影響を受けるかを調べた. その結果質問応答モデルは質問への回答に不要な文章が多くなるほど正答率が低下すること, そしてこの影響が主にモデルの推論に悪影響を与えやすい一部の hard negative passage によって引き起こされていることがわかった. さらにある 1 つの不要な文章に注目したとき,コンテキスト中に何度も重複して出現させることで正答率を下げることができることも確認された.

今後の課題としては, 本稿における実験結果を踏まえて hard negative passage に対してよりロバストな質問応答モデルを学習する方法を検討することが挙げられる。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[2] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert:

14）特徴量による相対スコアの分布の変化は付録の図も参照されたい.

A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations, 2019.

[3] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, 2020.

[4] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, 2018.

[5] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, 2017.

[6] Gautier Izacard and Édouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874-880, 2021.

[7] Yichen Jiang and Mohit Bansal. Avoiding reasoning shortcuts: Adversarial evaluation, training, and model development for multi-hop qa. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2726-2736, 2019.

[8] Shujian Zhang, Chengyue Gong, and Xingchao Liu. Passage-mask: A learnable regularization strategy for retriever-reader models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 3931-3943, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[11] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, 2017.

[12] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, 2020.

[13] Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question para- phrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6065-6075, 2019.

[14] Mingzhu Wu, Nafise Sadat Moosavi, Andreas Rücklé, and Iryna Gurevych. Improving qa generalization by concurrent modeling of multiple biases. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 839-853, 2020.

[15] Yuxuan Lai, Chen Zhang, Yansong Feng, Quzhe Huang, and Dongyan Zhao. Why machine reading comprehension models learn shortcuts? In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 989-1002, 2021

[16] Pramod Kaushik Mudrakarta, Ankur Taly, Mukund Sundararajan, and Kedar Dhamdhere. Did the model understand the question? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1896-1906, 2018.

[17] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Which shortcut solution do question answering models prefer to learn? arXiv preprint arXiv:2211.16220, 2022.

[18] Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa. Look to the right: Mitigating relative position bias in extractive question answering. arXiv preprint arXiv:2210.14541, 2022.

[19] Hung-Ting Chen, Michael JQ Zhang, and Eunsol Choi. Rich knowledge sources bring complex knowledge conflicts: Recalibrating models to reflect conflicting evidence. arXiv preprint arXiv:2210.13701, 2022.

[20] Orion Weller, Aleem Khan, Nathaniel Weir, Dawn Lawrie, and Benjamin Van Durme. Defending against poisoning attacks in open-domain question answering. arXiv preprint arXiv:2212.10002, 2022.

[21] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 453-466, 2019.

[22] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, 2020.

[23] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[24] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[25] Maurice G Kendall. The treatment of ties in ranking problems. Biometrika, Vol. 33, No. 3, pp. 239-251, 1945.

## A 実験設定に関する詳細情報

モデルの学習には transformers ライブラリの Seq2SeqTrainer クラスを利用し, 学習率は $5 \times 10^{-5}$, ステップ数は 15000 , バッチサイズは 64 , weight decay の係数は 0.01 , warmup のステップ数は 1000 とした.開発データでの評価は 500 ステップごとに行い, 評価指標としては開発データでの正答率を利用した。学習および評価に利用したデータセットのサイズは表 3 の通りである.

## B hard negative passage $の$ 普遍性 について

ある相対スコアの negative passage を持つ質問の割合を調べた結果は図 3 のようになっており, hard negative passage が一部の質問に限らず多くの質問について存在していることがわかる. また異なるシー ド值で学習した 5 つのモデルの相対スコアのばらつきは図４のようになっており, モデルによってばらつきがあるもののおおむね相関していることが確認された.

図 3 ある相対スコアの negative passage を持つ質問の割合.

## C negative passage の特徵量によ る相対スコア分布変化

§3.4.2 の実験における negative passage の各特徴量による相対スコアの分布の変化は図 5,6のようになっている.ここで青点線, 黒線, 赤破線, 赤点線はそれぞれ $95,50,20,5 \%$ 分位点である.

図4 異なる seed で学習したモデルによる相対スコア分布. 赤, 青破線はそれぞれ $5,95 \%$ 分位点.

図 5 最長一致 $n$-gram 長および共通単語数による相対スコア分布変化.

図 6 コサイン類似度および検索順位による相対スコア分布変化.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 意味的類似度計算システムによる チャットボット FAQ システムの性能向上

栗原健太郎 ${ }^{1,2}$ 二宮大空 ${ }^{2}$ 友松祐太 ${ }^{2}$
1 早稲田大学理工学術院 2 株式会社 AI Shift
kkurihara@akane.waseda.jp
\{kurihara_kentaro, ninomiya_hirotaka, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

カスタマーサポートや社内ヘルプデスクなどにおける問い合わせ対応に、チャットボットが適用されつつある。AI Shift では、各種サービスにおけるユーザの質問に自動回答するシステムとして Dense Retriever [1]を活用したチャットボット FAQ システムの構築を検討している。Dense Retriever の学習に自社の事業で収集している対話ぺアを用いているが、正例と見做している対話ぺアの中には、2 文間の内容が大きく異なる品質の悪い対話ぺアが存在する。しかし、顧客の多様さとデータ量の多さ故に人手によるそれらの除去は非常に手間がかかる作業となっている。本研究では、意味的類似度計算システムを用いた学習データの自動フィルタリング手法を提案する。実験の結果、提案手法による FAQ システムの性能向上を確認することができた。

## 1 はじめに

多くの企業や団体が提供するサービスにおけるカスタマーサポートなどにおいて、チャットボットが適用されつつある。チャットボットが提供する機能の一つに、各種サービスにおける「よくある質問」などと呼ばれる Frequently Asked Questions (FAQ)検索を用いたユーザ質問への回答機能が存在する。 FAQ 検索では、企業が保持する FAQ のデータベー スに基づき、ユーザ質問に対して最もマッチする回答を得ることができる。

我々は現在構築を検討中のチャットボットの FAQ システムにおける検索手法として、Open-Domain QA で有効とされている Dense Retriever [1] を採用する。 Dense Retriever の学習には、自社のチャットボット事業で収集しているくユーザ質問, FAQ 質問 >を対

話ペアと見做した対話データを用いる1)。本対話データにおいて、ユーザ質問とユーザが選択した FAQ 質問の対話ぺアを正例として学習に用いる。

しかし、プロダクトで収集される対話データには、ユーザが選ぶ FAQ 質問の内容が質問内容とマッチしていない品質の悪い対話ぺアが含まれているという問題がある。これらを正例と見做して学習することで、Dense Retriever の学習の際にノイズとなる恐れがある。品質の悪い正例の例を表 1 に示す。いずれもユーザ質問と $\mathrm{FAQ}$ 質問の内容が大きく異なるため品質の悪い正例と言える。また、複数顧客のデータからランダムサンプリングした対話ぺアに対して、筆者による品質の良い正例であるか否かについてのアノテーションを実施した結果、品質の \{良い正例: 455 件, 悪い正例: 328 件 \} となっており、品質の悪い正例が多く含まれている。

一方で、多様な顧客から多数の対話ぺアを収集していることから、人手での品質の悪い正例の除去は大変手間がかかる作業となっている。人手フィルタリング以外の品質の悪い正例を除去する手段として、FAQ 質問選択後にユーザがさらに選択するフィードバック質問の活用が考えられる。フィー ドバック質問とは、FAQ 選択後に表示される回答によって課題を解決することができたかを「はい」「いいえ」の 2 択でユーザが回答する質問である。 ここで「はい」が選択されたデータのみを収集することで、品質の悪い正例を除去することが可能である。しかし、フィードバック質問に回答するユーザ

1）対話データの収集方法の詳細については二宮ら [2]の 4 章に原則従う。

は少なく、収集できるデータ量も著しく減少してしまう。そのため、学習データのフィルタリング方法としてはふさわしくない。

そこで本研究では、意味的類似度計算システムを用いた対話ぺアの類似度付与による品質の悪い正例の自動フィルタリング手法を提案する。実験の結果、提案手法によるフィルタリングを適用したデー タで学習した FAQ システムは、フィルタリング未適用のデータで学習した FAQ システムと比較して性能が向上することを確認することができた。

## 2 関連研究

Open-Domain QA タスクにおける文書検索では、表層情報による文書検索手法として TF-IDF や BM25 [3] が用いられていた。昨今では密なべクトル表現に基づいた文書検索を行う Dense Retriever が採用されつつあり、 $\mathrm{QA}$ 分野への適用の流れも生じている。加藤ら [4] は日本語の Open-Domain QA データセット JAQKET [5] を用いた DPR における Retriever の性能評価を実施しており、一定の性能の発揮を報告している。また、言語理解モデルの学習におけるデータの拡張による性能向上の試みも、要約タスク [6] や FAQ タスク [2] などで行われている。 Talukdar ら [7] は学習に用いるデータのフィルタリングが言語理解モデルの性能向上に寄与すると報告しているが、その調査は主に SST などの分類タスクを対象としている。

本研究では、 2 文間の類似度が低い対話ぺアを品質の悪い対話ぺアと見做し、回帰タスクである意味的類似度計算 (Sentence Textual Similarity: STS) タスクに帰着させることによるデータの自動フィルタリングを提案する。英語の STS-b [8] や日本語の JSTS [9] などはベンチマークに含まれているデータセットとして言語理解モデルの性能評価に用いられている。2つのSTS データセットの正解類似度は 0 （意味が完全に異なる）から 5 （意味が等価）の実数值で定義されており、一般的にSTS タスク全般で同様に定義される。

## 3 意味的類似度計算システムを用い た低品質対話ペアのフィルタリング

検討中のチャットボット FAQ システムにおける Dense Retriever の学習に用いる対話データには、2文間の内容が大きく異なる品質の悪い正例が多く存在している。これらのデータを学習に用いることで、

図 1 意味的類似度計算システムを用いた学習データの自動フィルタリングのフロー

モデルの学習の際にノイズとなる恐れがある。しかし、顧客の多様さとデータの多さ故に人手フィルタリングは非常に手間がかかる作業となっている。

本研究では、意味的類似度計算システムを用いた学習データの自動フィルタリング手法を提案する。提案手法のフローを図 1 に示す。意味的類似度計算システムを用いて類似度（以下 $\delta$ と呼ぶ）を獲得し、 $\delta$ が一定の値以下である対話ぺアを除去することによって自動フィルタリングを実施する。その後フィルタリングしたデータを用いて FAQ システムに用いられている Dense Retriever を訓練する。意味的類似度計算システムの構築には、言語理解モデル BERT [10] を用いる。具体的には、日本語のSTS データセットである JSTS で BERT の事前学習済みモデルをファインチューニングすることで意味的類似度計算システムを構築する。システムが算出する類似度 $\delta$ は、JSTS の正解類似度と同様に 0 から 5 の間の実数値となる。

## 4 FAQ システムの評価実験

## 4.1 実験設定

自社のチャットボット事業で収集した対話ぺアを用いて、チャットボット FAQ システムにおける Dense Retriever の学習・評価を行う。意味的類似度計算システムを用いたデータセットの自動フィルタリングの有効性検証のため、フィルタリングを適用した対話データと適用していない対話データそれぞれで Dense Retrieverの学習を行う。評価には Macro Average Top $\{1,3,5\}$ Accuracy を使用し、各顧客デー タ毎に Top $\{1,3,5\}$ Accuracyを算出した後、全体顧
表 2 学習データのサンプルサイズ

客数で平均することで最終的なスコアを得る。

ベースライン手法提案手法における JSTS 活用の妥当性検証のため、ベースラインとして事前学習済みモデル BERT をファインチューニングせずに意味的類似度計算システムを構築する。本システムは、対話ぺアの各文を独立にモデルに入力し、最終層の出力の [CLS] トークンのベクトルのコサイン類似度を算出して類似度を獲得する。ただしコサイン類似度は 0 から 1 の実数値で算出される一方、提案手法の類似度計算システムは 0 から 5 の実数値で類似度を算出する。そこで、ベースライン手法では、 コサイン類似度を 5 倍した値を類似度とする。

フィルタリング未適用の Dense Retriever の学習データ（以下 Raw Data と呼ぶ）と、ベースライン、及び提案手法それぞれによるフィルタリング後の学習データ（それぞれ vanilla-BERT Data, JSTS Data と呼ぶ）のサンプルサイズを表 2 に示す。

評価データの設計ドメインに依らない汎化性能を評価するため、Dense Retriever の学習に用いた顧客データで構成した既知ドメイン（以下 KnownDomain と呼ぶ）と、学習に用いていない顧客デー タで構成した未知ドメイン (以下 Unknown-Domain と呼ぶ）の 2 種類の評価データを用意する。評価データも、学習データと同様にユーザ質問とユーザが選択した $\mathrm{FAQ}$ 質問の対話ペアを正例として収集したデータを用いる。しかし、この収集方法では学習データと同様に評価データにも品質の悪い対話ぺアを含んでしまう。そのため、1節で述べたフィー ドバック質問でユーザが「はい」と回答した対話ペアのみを抽出したデータでも評価を行う。学習データと同様に収集した評価データを Normal-Data、 フィードバック質問を用いてフィルタリングを実施している評価データを Feedback-Data と呼ぶ。各評価データのサンプルサイズを表 3 に示す。

図 2 ランダムサンプリングした対話ぺアの類似度の分布を示す箱ひげ図 (valid: 品質の良い正例データ, invalid: 品質の悪い正例データに対応している)

除去する対話ぺアの類似度の閥値本実験では、除去する対話ぺアの類似度 $\delta$ の閾値による FAQ システムの性能差を比較するため、各フィルタリング手法で複数の閾値を設定する。効果的な閾値設定のため、1 節で述べた人手アノテーションした対話データの意味的類似度を、ベースライン、提案手法それぞれで獲得した。アノテーション済みデータの類似度分布を図 2 に示す。提案手法について、 $\delta$ の閾値を品質の良い正例 (valid データ) の類似度分布の第一四分位、および品質の悪い正例 (invalid デー タ) の類似度分布の第三四分位に相当する 1.5 程度に設定することで、アノテーション済みデータにおいて、valid データを $1 / 4$ 程除去しつつも、invalid データを $3 / 4$ 程除去することができる。以上より、提案手法において $\delta<1.5$ を除去する対話ぺアの類似度の閾值の1つに設定する。しかし、validデータを除去しすぎることによる意味的類似度計算システムの性能低下が懸念される。そこで、validデータを極力除去することなくinvalid データを除去するために $\delta<1.0$ も閾值に設定する。べースライン手法については valid, invalid データの類似度分布の重なりが大きく、効果的な間値設定が困難である。本実験では、提案手法における閾值設定と同様に、valid データの第一四分位および invalid データの第三四分位に相当する $\delta<3.2, \delta<3.9$ をべースライン手法の間値に設定する。

その他のハイパーパラメータ意味的類似度計算システムの構築に用いる BERT、および FAQ システムの構築に用いる Dense Retriever のファインチュー ニングにおけるハイパーパラメータを表 4 に示す。
表 4 意味的類似度計算システム、および FAQ システムの fine-tuning 時のハイパーパラメータ

各評価手法による FAQ システムの性能評価結果 (3つのスコアは左から順に $\operatorname{Top}\{1,3,5\}$ Accuracy を表す)

Normal-Data

## 4.2 結果・考察

Dense Retreiver の推論性能の評価結果を表 5 に示す。全般的に JSTS Data で学習した Dense Retriever が、Raw Data で学習した場合や、vanilla-BERT Data で学習した場合のモデルの結果と比較して Accuracyが高くなっている。JSTS Data $(\mathcal{S}<1.0)$ と Raw Data それぞれで学習した結果を比較した場合、Normal-Data, Known-Domain, test において Top $\{1,3,5\}$ Accuracy はそれぞれ $1.5 \%, 2.7 \%, 2.5 \%$ 上回っており、NormalData, Unknown-Domain, test では $3.2 \%, 10.1 \%, 5.1 \%$ 上回っている。一方で、Known-Domain における性能について、vanilla-BERT Data で学習した場合の Accuracy は、Raw Data で学習した場合と同等またはそれ以下の値という結果になっている。この結果は、JSTS によるファインチューニングを行なっていない vanilla-BERT を用いた invalid データの効果的な除去は困難であること、及び JSTS を用いたファインチューニングによる文ペアの意味的類似度の学習の有用性を示している。

Normal-Data の Known-Domain における評価において、JSTS Data $(\mathcal{S}<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比べて低い。これは、Raw Data で学習したモデルの Accuracy を上回っている JSTS $\operatorname{Data}(\mathcal{S}<1.0)$ や vanilla-BERT
Data $(\mathcal{S}<3.2)$ と比較して、JSTS Data $(\mathcal{S}<1.5)$ はデー タ数が少なく、validデータが比較的多く除去されたことが原因と考えられる。

一方で、Feedback-Data の Known-Domain における評価では、JSTS Data $(\delta<1.5)$ で学習したモデルの Top 1 Accuracy が Raw Data で学習したモデルと比べ高い。この結果は、Normal-Data に含まれていてモデルが正解できなかった invalid データが、 Feedback-Data ではフィルタリングされていることが原因と考えられる。

## 5 おわりに

本論文では、Dense Retriever ベースの FAQ システムの学習データの自動フィルタリング手法として、 JSTS でファインチューニングした BERT ベースの意味的類似度計算システムの活用を提案した。実験結果は、提案手法による FAQ システムの性能向上を確認することができたことで、人手フィルタリングによる負担の削減に貢献できる可能性を示した。

今後は、T5 [11] や BART [12], などの生成モデルを用いて、FAQに紐づいた回答文章と答えから質問文を生成することなどによって、データセットの拡張をすることを検討する。さらに、データセット拡張とフィルタリングを相互に実施することで FAQ システムの更なる性能向上を目指す。

## 参考文献

[1] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[2] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[3] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. Okapi at trec-3. In TREC, 1994.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメイン qa における dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. $1403-1407,2021$.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 1403 1407, 2020.

[6] Bharath Chintagunta, Namit Katariya, Xavier Amatriain, and Anitha Kannan. Medically aware GPT-3 as a data generator for medical dialogue summarization. In Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, pp. 66-76, Online, June 2021. Association for Computational Linguistics.

[7] Arka Talukdar, Monika Dagar, Prachi Gupta, and Varun Menon. Training dynamic based data filtering may not work for NLP datasets. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 296-302, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2019.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.


# 視覚的質問応答における視線情報を利用した 曖昧性解消に向けて

稲積 駿 1,2 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 川西康友 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
inazumi.shun.in6@is.naist.jp
\{seiya.kawano, akishige.yuguchi,yasutomo.kawanishi,koichiro.yoshino\}@riken.jp

## 概要

視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えられた時に回答を導くタスクであり，質問と画像中の情報から回答が一意に決定する状況を仮定する。しかし，VQAを人間と実世界対話を行うロボットに応用する場合，主語の省略や指示語が，視線などのマルチモーダルな補完情報（文脈情報）と共に利用される場合がある. 本研究では画像中の人物が見ている対象の情報を利用した VQA データセットを構築し, 視線の先の物体名を VQA の曖昧性解消に利用した結果を報告する.

## 1 はじめに

実世界での事物を考慮した人間とロボットの自然なインタラクションを実現することは，Vision and Langauge 研究の到達点の一つである. この際，ロボットは自身が見ている視覚情報と人間が発する言語情報を統合・理解して，適切な応答を返す能力を備える必要がある．視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えられた際に質問に対する回答を導くタスクであり，視覚・言語情報の統合に関する重要なべンチマークが公開されている $[1,2,3]$.

既存の VQA に含まれる質問は，その意図が明確であり回答が一意に決まることが多い.しかし，人間同士のインタラクションに見られるように，実際に人間が行う質問は，指示語や主語の省略によって曖昧さが生じその回答が一意に決まらない場合がある [4]. 図 1 上は既存の VQA データセットに含まれる質問の例であり, 図 1 下は指示語や主語の省略により曖昧性が生じる質問の例である。

本研究では，VQAにおける質問の曖昧性を解消するために，視線 [5] に代表されるマルチモーダル

図 1 日本語 VQA データセット [3](図上)と視線情報付き VQA データセット (図下) の例. 図下は，画像，質問，回答に加え視線の視点と終点が付与されている。

な文脈情報を用いることを想定し，視線情報付き VQA データセットおよびタスクを提案する. 視線情報付き VQA タスクは画像内の人物が発するであろう曖昧な質問に対して，その人物の視線情報を考慮して回答する．例えば，図 1 の図下に示された曖昧な質問は，「傘を差している女性」が「赤いジャケッ卜を着た男性」に注視していることを追加情報として用いれば，回答を一意に定めることができる．本研究ではさらに，視線の先の物体が扱えるように既存の VQA モデルの入力を拡張し，視線付き VQA タスクによるモデルの評価を行った。

## 2 関連研究

視覚的質問応答 VQA は画像処理と自然言語処理の融合分野である Vision and Language のタスクの一つに位置する $[1,2,3,6]$. VQA のタスク設定は,用意された回答群から回答を選択する設定 (選択型) と回答を生成する設定 (生成型) の二つが存在する.本研究では，生成型の設定を想定して質問と回答を収集した。VQA では基本的に画像と質問の情報から一意に定まる質問・応答ペアが用意されるが，本研究は視線情報を持たない場合に回答が曖昧になるようなデータセットを構築した。
表 1 日本語 VQA データセット [3] と視線情報付き VQA データセットの統計情報.

注視対象推定注視対象推定とは，画像に映る人物を選択し，その人物が注視しているオブジェクトを推定するタスクである。代表的なデータセットとして, Gazefollowがある [7]. Gazefollow は, MSCOCO [8] を含む様々な画像データセットから収集した人物を含む画像に対し, 人物の視線元と視線先のアノテーションを付与したものである. 視線付きVQA データセットの構築は, Gazefollow の画像と視線情報を利用した。

質問応答における曖昧性言語に生じる曖昧さの問題は質問応答システムで活発に取り組まれており，質問の曖昧性は言い換え $[9,10]$ や質問生成 [11,12] により解消するアプローチが検討されている.

VQA においても，曖昧さの議論はなされている [13,14]. 選択型の VQA では, 同じ内容に対する言い換えに対応するべく, 自動評価のために 10 件程度の回答が付与される. しかし, 画像が不鮮明な場合や質問が曖昧である場合, 全ての回答が一致するとは限らない [13]. 既存研究では回答が一意になるように問い返しの質問を生成する [15] ことで選択型 VQA の問題は解消できることが示唆されている [14]. 本研究ではこのようなユーザから追加情報を引き出そうとするアプローチとは異なり, 画像の状況から得られる追加の文脈情報を利用することで曖昧性の解消を試みる。

## 3 視線情報付き視覚的質問応答

## 3.1 タスク設定

実験では注視対象推定のタスクを扱わず，視線の先の物体名が既に与えられていると仮定し, 視線情報付きVQAのタスクを次のように定義する.

視線情報付き VQA 画像, 質問, 視線情報先の物体名が与えられた時，モデルは回答を生成する。

## 3.2 データ収集方法

視線情報付き VQA データセットは，クラウドソーシング1)によって構築した. Gazefollow [7] に含

まれる画像に対して，人物が見ている対象に関する質問を作成し，質問に対する回答を与える。視線の先が物体を差していない場合や画像が不鮮明である場合は質問・回答作成の対象から除いている.

ワーカに対する教示を以下に示す.

・質問の文字数は 10 文字以上とする.

・視線の先に存在する物体名を直接質問に含めない.

・画像内の情報のみで回答できる質問を作成する.

一つ目の項目は，多様な語彙の質問を用意する目的で設定した。二つ目の項目は，視線情報を持たない場合に曖昧となる質問を作成する目的で設定した。三つ目の項目は，画像の内容以外で曖昧になる質問をデータセットに含めない目的で設定した.

## 3.3 統計と分析

既存の日本語 VQA データセット [3] と今回収集した視線情報付き VQA データセットを比較する。図 2 と図 3 はそれぞれ質問と回答に関する名詞の分布であり，各データセットから質問・回答ペアを 25,000 件ランダムサンプリングした. 表 1 はそれぞれの統計情報である.

質問表 1 より，ユニークな質問の割合は視線情報付き VQA $(39.2 \%)$ より日本語 VQA $(45.2 \%)$ が多く, 質問の文字長は同程度である. 図 2 より, 視線付き VQA は日本語 VQA より分布がロングテールであり，質問タイプは偏っている．とくに「what」 タイプの質問が多くを占めている。これは，視線の先の物体を質問作成の対象としたことに起因する。

回答表 1 より，ユニークな回答の割合は日本語 VQA (17.1\%) より視線情報付き VQA $(29.8 \%)$ が多く, 回答の文字長は視線情報付き VQA が長い.これは，「人物の行動」などを問う質問が多くみられたことに起因する．結果として一意なフレーズで表現できない回答が収集された. 図 3 より回答の分布に大きな差は無い. しかし, クラウドソーシング対象とした Gazefollow の画像セットが限定的であるため，視線付き VQA の回答分布の上位は，「テニス」 など特定のドメインに偏っている。

図 2 質問セットの単語数に関する分布

図4画像エンコーダと言語デコーダによるモデル.

## 4 評価実験

## 4.1 実験設定

事前学習済みの画像エンコーダ・言語デコーダモデル [16] をベースラインとして視線情報付き VQA の評価実験を行う。モデルの詳細は 4.2 節で述べる. VQAを扱う場合のモデルの性能評価，モデルの入力を変更した場合の ablation 評価を行う.

## 4.2 モデル

図 4 にモデルの概要を示す. モデルは $\mathrm{CNN}$ ベー スの画像エンコーダ，エンコーダの埋め込み系列を低次元のベクトルへ圧縮する Mapping Network，自己回帰的に回答生成を行う言語デコーダで構成される。

画像エンコーダ画像エンコーダにより，全体画像を 640 次元の画像特徴量に変換する. Shen ら [17] にならって画像エンコーダは CLIP [18] の RN $\times 4$ を使用し, Mokady ら [16] にならって画像エンコーダのパラメータを凍結する.

Mapping Network Mapping Networkを用いて，画像エンコーダから得た画像特徴量を言語デコーダへ入力可能なべクトルに圧縮する.ここで，Mapping Network は 1 層の MLP 層と 8 層の Transformer 層

図 3 回答セットの単語数に関する分布

で構成されており, 圧縮後のベクトルをPrefix Embeddings (PEs) と呼ぶ.

言語デコーダ初めに，VQA の質問を含むプロンプトから embedding 系列を取得する。この embedding 系列を Prompt Tokens (PTs) と呼ぶ. ここで，[Q] は質問を示し， $[\mathrm{A}]$ は回答生成の開始位置を示すラベルである．PEs と PTs を連結したべクトルを言語デコーダ2)に渡す。連結したべクトルの次に出現するトークン系列を VQA の回答とみなして，学習と評価を進める。なお，今回は VQA の質問に視線の先の物体名を [objs] として prompting で与えることで視線の先の物体が認識できている状況のモデルを構築しようとした.

## 4.3 データセットと評価手法

データセット日本語 VQA データセットに加え，日本語画像キャプションデータセット [19]を言語デコーダの事前学習に使用した. VQA に対するモデルの精度を評価するため，日本語 $\mathrm{VQA}$ デー タセットからテストセットを 4,000 件確保した。また，視線付きVQA データセットの訓練・開発・テストセットは 20,899 件，1,400 件，4,000 件とした.

評価手法抽出型 $\mathrm{QA}$ タスクの評価指標である Exact Match スコア (EM) と F1 スコア (F1) [20] をテストデータ全体の評価に用いる。加えて，同義な回答を正しく評価するため，正解トークンと予測トー クンが完全一致していないぺアに対しては，BERT スコア ${ }^{3)}(\mathrm{Bs})[21]$ によって回答フレーズの類似を考慮した評価を行う。

## 4.4 評価結果

VQA によるモデル評価事前学習したモデルを日本語 VQA と視線付き VQA のテストセットで評

2）事前学習済み GPT-2 モデルを言語デコーダの初期值とする. https://huggingface.co/rinna/japanese-gpt2-medium 3）多言語 BERT の文ベクトルを評価に用いた. https: //huggingface.co/bert-base-multilingual-cased
表 2 各データセットの評価結果.

表 3 モデルの ablation 評価. PEs は Prefix Embedding, PTs は Prompt Tokens, [objs] は視線の先の物体名を表す.

価した結果を表 2 に示す. 表 2 より，日本語 VQA データセットで学習したモデルは，視線情報付き VQA データセットで fine-tuning せずとも，Bs で一定の性能が保証されることが判明した.

質問または画像の欠落が結果に与える影響視線付き VQA の訓練セットで fine-tuning したモデルの ablation 評価結果を表 3 に示す. 日本語 VQA データセットによる事前学習では言語デコーダの入力を,画像情報がエンコードされた PEs, 質問 ([Q]) と回答の開始位置ラベル $([\mathrm{A}]$ ）がエンコードされた PTs で構成した. 表 3 より, 言語デコーダの入力から, [Q] または PEs を除いた場合，モデルの性能は著しく低下することが判明した。

視線の先の物体名が結果に与える影響視線付き VQA データセットに含まれる質問は意図的に視線の先の物体名 ([objs]) を欠落させているため，PTsへ [objs] を補完して fine-tuning と評価を行った.なお， [objs] は MSCOCO の物体ラベルを使用した. 図 5 はモデルの入出力例であり，「それ」という指示語が含まれた曖昧な質問の先頭に, [objs] である「ケー キ」の補完を行う. 表 3 より, [objs] を考慮することによる精度向上は見られなかった。

## 5 分析

図 6 は，質問に対する CLIP の画像エンコーダの画像特徴を Grad-CAM [22] により可視化したヒートマップである。画像右上は視線付き VQA にみられる曖昧な質問であり，画像左下・右下は曖昧さの原因となる指示語を MSCOCO の物体ラベルで補完した質問である. 図 6 で示した全ての質問において，「motorcycle」の画像特徴と比べて「bicycle」の画像特徴は強調されていない。モデルの性能は CLIP の画像エンコーダに依存しているため, [objs] の補完による言語情報の補正は視線付き VQA の精度に影

Prompt Tokens ([obj] + [Q] + [A])

物体: ケーキ

質問: それの材料は何が入っていますか?回答: チョコレート

Prompt Tokens $([\mathrm{Q}]+[\mathrm{A}])$

質問: それの材料は何が入っていますか?

回答: チーズソーセージトマト

正解ラベル: チョコレート

図 5 モデルの入出力例. 視線の先の物体名を赤字で，生成した回答を青字で示す.

What color is it?

What color is the bicycle? What color is the motorcycle?

図 6 質問ごとの画像エンコーダ（CLIP の RN $\times 4$ ）の特徴量を Grad-CAM により可視化したヒートマップ. RN $\times 4$ の学習設定に合わせて質問を英訳した。

響を与えなかったと考える. 視線が指す領域や物体の矩形などを用いて画像情報を補正することや，画像エンコーダを言語情報と画像情報を同時に扱うクロスエンコーダへ変更することで，この問題は解消できる可能性がある.

## 6 おわりに

本研究では，人間と円滑なインタラクションを行う対話ロボットの実現を志向し，視線情報で補完される曖昧な質問を含む VQA データセットをクラウドソーシングで構築した. 視線の先の物体名をプロンプトへ補完した上で視線付きVQA の評価を行ったが，回答精度の向上は見られなかった. この問題へ対処すること，および注視対象推定から回答生成までを end-to-end で処理するシステムを開発することは今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受けた.

## 参考文献

[1] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, pp. 2425-2433, 2015.

[2] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision, Vol. 123, No. 1, pp. 32-73, 2017.

[3] Nobuyuki Shimizu, Na Rong, and Takashi Miyazaki. Visual question answering dataset for bilingual image understanding: A study of cross-lingual transfer using attention maps. In COLING, pp. 1918-1928, 2018.

[4] Satwik Kottur, José M. F. Moura, Devi Parikh, Dhruv Batra, and Marcus Rohrbach. Visual coreference resolution in visual dialog using neural module networks. In ECCV, pp. 160-178, 2018.

[5] Nathan J. Emery. The eyes have it: the neuroethology, function and evolution of social gaze. Neuroscience \& Biobehavioral Reviews, Vol. 24, No. 6, pp. 581-604, 2000.

[6] Danna Gurari, Qing Li, Chi Lin, Yinan Zhao, Anhong Guo, Abigale Stangl, and Jeffrey P. Bigham. VizWiz-Priv: A dataset for recognizing the presence and purpose of private visual information in images taken by blind people. In CVPR, pp. 939-948, 2019.

[7] Adria Recasens*, Aditya Khosla*, Carl Vondrick, and Antonio Torralba. Where are they looking? In NIPS, Vol. 1, pp. 199-207, 2015.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[9] Sewon Min, Julian Michael, Hannaneh Hajishirzi, and Luke Zettlemoyer. AmbigQA: Answering ambiguous open-domain questions. In EMNLP, pp. 5783-5797, 2020.

[10] Svitlana Vakulenko, Shayne Longpre, Zhucheng Tu, and Raviteja Anantha. Question rewriting for conversational question answering. In WSDM, pp. 355-363, 2021

[11] Vaibhav Kumar and Alan W Black. ClarQ: A large-scale and diverse dataset for clarification question generation. In ACL, pp. 7296-7301, 2020.

[12] Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Pseudo ambiguous and clarifying questions based on sentence structures toward clarifying question answering system. In DialDoc, pp. 31-40, 2022 .

[13] Danna Gurari and Kristen Grauman. Crowdverge: Predicting if people will agree on the answer to a visual question. In CHI, pp. 3511-3522, 2017.

[14] Nilavra Bhattacharya, Qing Li, and Danna Gurari. Why does a visual question have different answers? In ICCV, pp. 4271-4280, 2019.

[15] Yining Li, Chen Huang, Xiaoou Tang, and Chen
Change Loy. Learning to disambiguate by asking discriminative questions. In ICCV, pp. 3419-3428, 2017.

[16] Ron Mokady, Amir Hertz, and Amit H Bermano. ClipCap: CLIP prefix for image captioning. arXiv:2111.09734, 2021.

[17] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP benefit vision-andlanguage tasks? In ICLR, 2022.

[18] Radford, Alec and Kim, Jong Wook and Hallacy, Chris and Ramesh, Aditya and Goh, Gabriel and Agarwal, Sandhini and Sastry, Girish and Askell, Amanda and Mishkin, Pamela and Clark, Jack and Krueger, Gretchen and Sutskever, Ilya. Learning transferable visual models from natural language supervision. In ICML, Vol. 139, pp. 8748-8763, 2021.

[19] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale Japanese image caption dataset. In ACL, pp. 417-421, 2017.

[20] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[21] Tianyi Zhang* and Varsha Kishore* and Felix Wu* and Kilian Q. Weinberger and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In ICLR, 2020.

[22] Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In ICCV, pp. 618-626, 2017.


# 頑健な $\mathrm{FAQ$ 検索に向けた Prompt-Tuning を用いた関連知識の生成
}

1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{ninomiya_hirotaka, hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

チャットボットが提供する機能の一つに，よくある質問集（FAQ: Frequently Asked Questions）を用いてユーザの質問に回答する FAQ 検索がある．FAQ 検索では，目的語が欠落しているなど，与えられる質問が不明瞭なことが多く，検索精度の低下の要因となり得る。そこで，我々は言語生成モデルを用いて質問の明確化を行い，FAQ 検索に活用する手法を提案する。質問の明確化のためにモデルが獲得すべき知識がドメインごとに異なることから，言語生成モデルの学習コストを抑えることができる Prompt-Tuning を用いた. チャットボット事業で収集したデータを用いた実験では 3 ドメインにおいて提案手法の有効性を検証した。

## 1 はじめに

カスタマーサポートの分野において注目を集めているチャットボットは，現在多くの企業においてユーザの課題解決を促すツールとして導入されている.そして，チャットボットが提供する機能の一つである FAQ 検索は現在盛んに研究が行われている [1][2].

FAQ 検索では，事前に定義した FAQ の中からユー ザ質問との類似度が高い FAQ を選択する。この時， ユーザ質問と FAQ の間で表記が異なることが多く，質問の意味を考慮する必要があることから，我々は事前学習済み言語モデルを用いた検索モデルを構築している．特に，オープンドメイン質問応答や日本語クイズタスク JAQKET[3][4] において有効性が確認された Dense Passage Retrieval[5] の検索器 （Retriever）を利用している.

FAQ 検索はオープンドメイン質問応答と異なり，検索対象となるテキスト集合が数十件から数百件程度の小規模な FAQ のデータベース（FAQDB）であ
るが，与えられるユーザ質問は比較的短く不明瞭な傾向にあり，回答が困難なタスクと考えられる。例えば，「入りたいのに入れません」というユーザ質問は「入りたい」に対する目的語が欠落しているため一般的には回答不能であるが，FAQ 検索の場合は検索対象が FAQDB に絞られるため，「マイページに入れません」といった質問とマッチすれば良いと推察できる。このことから，ユーザ質問を明確化するテキストを補足することができれば，より正確に回答を提示できる可能性がある．そこで，本研究では与えられたユーザ質問からそれを明確化するテキストを生成するモデルの学習を目指す。

ただし，FAQ 検索は複数のドメインで導入されることが多く，大規模な言語生成モデルをドメインごとに学習すると学習コストが膨大になる。そこで言語生成モデルの学習には Prompt-Tuning[6] を用いる. Prompt-Tuning では，質問の明確化に必要な情報を固定長の単語列としてモデルへの入力単語列の前方に付与し，その埋め込みべクトルを学習によって最適化する。これにより，それらの埋め込みべクトルを変更するだけで単一の言語生成モデルを複数のドメインに適応可能となるので，学習コストが抑えられる。

言語モデルの発展に伴い，多くのタスクにおいて事前学習済みモデルの Fine-Tuning が効果的であることが確認される一方で，事前学習済みモデルの大規模化により Fine-Tuning が困難な場合がある。そこで，GPT-3[7] では Prompt と呼ばれるテキストを与えることで，事前学習済みモデルの重みを更新せずに，広範囲のタスクを解くことが可能であることが確認された。さらに，Prompt に関する従来研究 [8][9] によると, Prompt を適切に設定することによって事前学習済みモデルを用いて事実や常識に関するテキストを生成することが可能であることが確認されたことから，Prompt が重要な役割を果

たすことがわかる．ただし，タスクの説明等に関する Prompt は人手で作成する必要があるため, 事前学習済みモデルにとって最適な単語列であるとは限らない. そこで，先頭に固定長の単語列を付与し, それらに対する埋め込みべクトルを学習パラメタとして自動的に最適化する Prompt-Tuning が提案された [6][10]. これより, 我々は質問の明確化に必要なドメインごとの知識を Prompt に埋め込むように学習できる可能性を考慮し, 言語生成モデルを Prompt-Tuning する.

## 2 FAQ 検索

本研究で扱う FAQ 検索の処理を図 1 に示す. FAQ 検索とは，事前に定義された FAQDB から，ユーザ質問に最も適する FAQを選択するタスクである。例えば図 1 のように，「銀行振り込みの自動更新について教えて欲しい」といったユーザ質問が入力された場合，システムはFAQDB を検索する。ここで FAQDB は (1) 拡張質問 $Q^{\prime}$, (2)FAQ 質問 $Q$, (3)FAQ 回答 $A$ を 1 組とする FAQ の集合である。通常，FAQ は質問と回答のペアで表されるが，質問の複数の言い換え表現として拡張質問 $Q^{\prime}$ を設定することで検索精度が向上することが知られている [11]. 最終的に検索結果上位 1 件の拡張質問に対応する FAQ 回答をユーザに提示する。

検索モデルは Retriever と Reranker で構成される. Retriever は与えられたユーザ質問と検索対象となる拡張質問を個別にベクトルに変換する Bi-Encoder である. さらに，ユーザ質問と FAQ の単語間の Attention 計算が有効であると考え, Retriever の検索結果上位 $K （$ 実験では $K=5 ）$ 件を BERT[12]をべー スとする Rerankerに与え，出力スコアを元にリランキングを行う. 実験では, Retriever の検索結果と Rerankerによるリランキングの結果を比較する.

学習時, Retriever はユーザ質問 $q$ に対する Encoder の出力ベクトルと FAQ 質問 $Q$ に対する Encoder の出力ベクトルの類似度を式 (1)により算出する.

$
\operatorname{sim}(q, Q)=E_{q}(q)^{T} E_{Q}(Q)
$

ここで $E_{q}, E_{Q}$ はそれぞれユーザ質問 $q$ と $\mathrm{FAQ}$ 質問 $Q$ に対する Encoderを， ${ }^{T}$ は転置を表す。 $i$ 番目の事例において $q_{i}$ をユーザ質問, $Q_{i}^{+}$を正例の $\mathrm{FAQ}$ 質問， $Q_{i, j}^{-}$を $j$ 番目の負例の FAQ 質問， $n$ を負例の FAQ 質問の総数, 訓練データの件数を $m$ とすると,訓練データは $D=\left.\{\left.\langle q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right.\rangle\right.\}_{i=1}^{m}$ と表さ

図 $1 \mathrm{FAQ}$ 検索の処理

れる. Retriever は式 (2)の損失関数が最小になるように学習される. ユーザ質問と正例の FAQ 質問が類似しているほど損失が小さくなり，負例の FAQ 質問との類似度が高いほど，式 (2) の損失は大きくなる。

$
\begin{aligned}
& L\left(q_{i}, Q_{i}^{+}, Q_{i, 1}^{-}, \ldots, Q_{i, n}^{-}\right) \\
& \quad=-\log \left(\frac{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q, Q_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q, Q_{i, j}^{-}\right)}}\right)
\end{aligned}
$

推論時はユーザの多様な言い回しに対応するために，FAQ 質問ではなく拡張質問を用いて検索を行う. つまり，拡張質問を $Q^{\prime}$ とすると式 (3)により類似度を計算し，最も類似度が高い拡張質問に対応する FAQ 回答を選択する。

$
\operatorname{sim}\left(q, Q^{\prime}\right)=E_{q}(q)^{T} E_{Q}\left(Q^{\prime}\right)
$

Rerankerを用いる場合，Retriever の検索結果の上位 $K$ 件から “[CLS]（ユーザ質問 $q$ ）[SEP]（拡張質問 $Q^{\prime}$ ）[SEP]”という単語列を $K$ 件作成し，それぞれ Reranker に与えてリランキングスコアを算出する. Reranker は BERT と全結合層 1 層からなり，ユーザ質問 $q$ と拡張質問 $Q^{\prime}$ が正例のペアかどうかの二値分類を行い，softmax 関数の正例に対する出力値をリランキングスコアとする.

訓練データは Retriever と同様の訓練データを用いて正例を作成し，さらに FAQDB から答え以外の拡
張質問をランダムサンプリングすることで各事例に対して負例を 2 件作成する。

## 3 提案手法

不明膫なことが多いユーザ質問に対して質問を明確化するようなテキスト（以降，関連知識）を付与することができれば検索精度が向上する可能性がある.そこで，我々は言語生成モデルを用いた関連知識の生成を提案する. 生成されたテキストはユーザ質問に付与して Retriever もしくは Reranker に入力し，学習と推論に用いる。

## 3.1 Prompt-Tuning

図 2 Prompt-Tuning の概要図

Prompt-Tuning では，入力単語列の前に固定長の単語列を付与し，そのドメインにおける関連知識を埋め込むこととする．学習時，言語生成モデルの重みは固定され, 付与される単語列の埋め込みベクトルは学習によって最適化される. Prompt-Tuning に関する概要図を図 2 に示す.

Prompt-Tuning の学習方法として 2 通りを実験する. まず，FAQ 検索に関する従来研究 [11] では拡張質問と FAQ 質問の対応関係をモデルに学習させることで $\mathrm{FAQ}$ 検索システムを構築していることから， これを参考に拡張質問から $\mathrm{FAQ}$ 質問を生成するように言語生成モデルを学習させる $(G L M w / F A Q D B)$. ただし，拡張質問と FAQ 質問は事前に定義されるテキストである一方で，ユーザ質問はチャットボット内でユーザが記述したテキストであるため，それらの間には表記や質問内容の粒度の違いが存在し，言語生成モデルがユーザ質問から関連知識を上手く生成できない可能性がある。そこで 2 つ目に，訓練データのユーザ質問からそれに対する正例の FAQ 質問を生成するように学習させる（GLM w/TRAIN）。言語生成モデルとしては，公開されている日本語版の $\mathrm{GPT}-2^{1)}$ と GPT(1b) $)^{2}$ を用いる.

1) https://huggingface.co/rinna/japanese-gpt2-medium

2) https://huggingface.co/rinna/japanese-gpt-1b表 1 ドメイン別のデータセットの事例数

生成されたテキストはユーザ質問に付与する.

Retriever の場合，ユーザ質問に対する $\operatorname{Encoder} E_{q}$ の入力単語列は，“[CLS]（ユーザ質問 $q$ ）[SEP]（生成されたテキスト）［SEP]”となる。一方で Reranker の場合，入力単語列は “[CLS]（ユーザ質問 $q$ ）[SEP] （拡張質問 $Q^{\prime}$ ） [SEP]（生成されたテキスト）[SEP]" となる。

実験では，同様のデータで GPT-2を Fine-Tuning した場合 [13] と比較する。

## 4 実験

チャットボット3)で収集したデータセットを用いて提案手法の有効性を検証する。データセットは 3 つのドメインからなり，ドメイン $\mathrm{A}, \mathrm{B}, \mathrm{C}$ と表記する.これらは互いに異なる事業で導入されたチャットボットから収集されたデータである. ドメインごとのデータセットの作成方法は従来研究 [14] に倣い，事例数は表 1 に示す.

## 4.1 実験設定

Retrieverを構成する 2 つの Encoder と Reranker の重みの初期値には, 公開されている日本語事前学習済み $\mathrm{BERT}^{4}$ の重みを用いる。学習時のパラメタは付録 A に記載する. 以降, Fine-Tuning された GPT-2, Prompt-Tuning された GPT-2, Prompt-Tuning された GPT(1b) をそれぞれ ftGPT-2, ptGPT-2, ptGPT(1b) と表記する。また，ベースラインとして利用する BM25 [15] では，FAQDB の拡張質問の集合から IDF 值をドメインごとに計算し，名詞と動詞原型のみ用いて算出する. Reranker の推論時は，言語生成モデルを用いずに Retrieverによる検索を行い，その検索結果の上位 $K$ 件に対して Rerankerによるリランキングを行う．評価指標には，検索結果の上位 1 件の精度である Top1 Accuracy を用いる.

## 4.2 実験結果

実験結果を表 2 に示す. Retriever と Rerankerを比較すると，ドメイン A とドメイン B においては

3) https://www.ai-messenger.jp

4) https://huggingface.co/cl-tohoku/bert-base-japanese

Reranker の検索精度が高い値となった. これはユー ザ質問と拡張質問を連結して Rerankerで単語間の Attention 計算を行っており，この点がリランキングに効果的であったと考えられる。

言語生成モデルで生成されたテキストを付与したことに対する実験結果によると，ドメイン B では Reranker w/ptGPT(1b) が最も高いことから， Prompt-Tuning によって学習させた言語生成モデルが効果的な関連知識を生成することができたと考えられる。一方で，ドメイン A とドメイン Cではそれぞれ Reranker,BM25が最も高い結果となった. したがって，言語生成モデルによる質問の明確化は全てのドメインにおいて有効であるとは限らないといえる。

次に言語生成モデルの学習手法 2 つそれぞれについて述べる. まず $G L M w / F A Q D B$ の場合，ドメイン B で ftGPT-2, ptGPT-2, ptGPT(1b) 全てにおいて検索精度が向上した一方で, Reranker の検索精度と比較するといずれも低い。したがって，今回の手法では質問の明確化よりも，単純に Reranker を利用することの方が効果的であるといえる。ただし，ドメイン B において Reranker は ptGPT(1b) のみ検索精度が向上した. これより, モデルサイズが生成される関連知識の質に影響する可能性があることがわかる。次に，GLM w/TRAIN の場合，ドメイン B で Retriever
では ftGPT-2, ptGPT-2, ptGPT(1b)の全てで検索精度が向上した一方で，Reranker では全て検索精度が低下した。これは Reranker と言語生成モデルの訓練データが同じであり，生成した関連知識が Reranker にとって不要であったと考えられる。

## 4.3 今後の展望

実験結果によると，ドメイン Cでは BM25 が Retriever と Rerankerを上回った. FAQ 検索ではドメイン次第で効果的な手法が異なることが経験的にわかっているため，BM25 のような表層形を用いた検索と Retriever や Reranker のような機械学習モデルを用いた検索を上手く組み合わせることが重要である. さらに，今回扱った FAQ 検索特有の問題である質問の不明瞭さへの対処として質問の明確化を行うことで頑健な手法を検討したい.

また, 実験結果から ftGPT-2 と ptGPT-2 による学習手法の比較と, ptGPT-2 と ptGPT(1b) によるモデルサイズの比較を行った場合でも一貫した傾向は確認されなかった．モデルサイズと関連知識の質に関して今後の調査を検討中である。

生成されたテキストを確認すると，いずれのモデルの場合においても入力単語列がそのまま出力される場合や意味の通らない単語列が生成される場合が確認された。言語生成モデルによる安定した関連知識の生成が今後の課題である.

## 5 おわりに

本研究では，FAQ 検索におけるユーザ質問の不明瞭さへの対処として，言語生成モデルで質問の明確化を行い，特定のドメインにおいては検索精度が向上することを示した．今回実験したドメインにおいては Fine-Tuning が困難である大規模な言語生成モデルを Prompt-Tuning することで関連知識の生成が可能であることがわかった. しかし，実験中の全てのドメインにおける一貫した検索精度の向上は確認されなかった. 今後は安定した関連知識の生成を検討しつつ，より頑健な FAQ 検索手法の構築を目指す.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，下山翔氏にこの場を借りて厚く御礼申し上げます。

## 参考文献

[1] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[2] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised FAQ retrieval with question generation and BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 807-812, Online, July 2020. Association for Computational Linguistics.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメインqaにおける dpr の有効性検証. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[5] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[6] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52035212, Online, June 2021. Association for Computational Linguistics.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[8] Fabio Petroni, Tim Rocktäschel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H. Miller, and Sebastian Riedel. Language models as knowledge bases? CoRR, Vol. abs/1909.01066, , 2019.

[9] Joshua Feldman, Joe Davison, and Alexander M. Rush. Commonsense knowledge mining from pretrained models. CoRR, Vol. abs/1909.00505, , 2019.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Haytham Assem, Sourav Dutta, and Edward Burgin. DTAFA: Decoupled training architecture for efficient FAQ retrieval. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 423-430, Singapore and Online, July 2021. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[14] 二宮大空, 邊土名朝飛, 杉山雅和, 戸田隆道, 友松祐太. チャットボット事業における dense retriever を用いた zero-shot faq 検索. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), 2022.

[15] Stephen Robertson, Hugo Zaragoza, et al. The probabilistic relevance framework: Bm 25 and beyond. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

## A 学習時のパラメタ

Retriever と Reranker の Fine-Tuning 時の学習率は $1 \times 10^{-5}$ （warmup rate=10\%）とし, Optimizer は Adam を用いる. Retriever の Fine-Tuning 時の Epoch は 10, バッチサイズは 64 とする. Rerankerの Fine-Tuning 時の Epochは2，バッチサイズは 32 とし, Cross Entropy Loss を最小化するように学習させる. Retrieverと Reranker の入力最大長はそれぞれ 50 トークン， 100 トークンであり，超過する単語列は削除される。

言語生成モデルである GPT-2 と GPT(1b) は, Prompt-Tuning と Fine-Tuning 両方において学習率は $1 \times 10^{-5}$, バッチサイズは 8 , Dropout 率は 0.1 , Optimizer は Adam を用いる. 学習時の Epoch はドメインによって異なり，ドメイン $\{\mathrm{A}, \mathrm{B}, \mathrm{C}\}$ はそれぞれ GLM w/FAQDB の場合 $\{30,30,100\}$ とし, GLM $w / T R A I N$ の場合 $\{3,5,10\}$ とする. Prompt-Tuning に関しては Prompt に対する埋め込みベクトルのみ更新され，事前学習済みの言語生成モデルの重みは固定する. Prompt-Tuning 時の付与される単語列は 20 トークンとする．実装には huggingface を用いており, Prompt に対する正解ラベルは-100を設定することで関連知識と無関係な損失が計算されないように設定している.


# 日本語の Math Word Problems に対する深層学習モデルの適用 とデータ拡張の検証

村田夏樹柴田千尋
法政大学 理工学部 創生科学科
natsuki.murata.4d@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

Transformer などの近年の深層学習モデルは，多くの自然言語理解を必要とするタスクで高い性能を記録している.しかし，数学や物理の文章題などの定量的な推論が必要なタスクでは，近年の言語モデルでも十分な結果を残せていない [1]. 本稿では, Math23Kというデータセットを利用して，日本語 MWP タスクに対して，既存の深層ニューラルネットモデルを組み合わせたモデルを適用し，検証を行う.なお，Math23K データセットの問題文は，中国語で書かれているため，機械翻訳を用いて問題文を日本語に翻訳しデータとして用いる. モデルの組み合わせとしては， Goal-driven Tree Structured (GTS) ネットワーク， BERT, および Graph2Tree の 3つを組み合わせたものを用いる. 特に，BERT - GTS の組み合わせと， BERT - Graph2Tree - GTS の組み合わせの比較を行う. 後者は, 問題文中のトークンの BERT の埋め込み表現をノードとして持つ特定のグラフを，中間表現として用いて，その後グラフ畳み込みを行う手法であり，実際に後者のほうが精度が高くなることを示す. さらに，解答となる数式を表現する木構造の可換ノードの置換や, 問題文中の単語の置き換えによるデータ拡張により，精度の向上が見込めるかについて，検証を行う。

## 1 はじめに

Transformer に代表される最近のニューラル言語モデルは，一般的に言って，自然言語理解を必要とするような多くのタスクにおいて, 高い精度を達成しているものの, 例えば，数学や物理の文章問題などの定量的な推論が必要なタスクでは，近年の言語モデルを用いても解答が難しいケースがおおく，未だ改善の余地が多く残されていることが知られている [1]. その中でも, Math Word Problems (MWP) は,文章問題から適切な数式を生成して，数式の演算を通して解答を求めるタスクである。このタスクでは，文章中にはないが，数式の木構造の中に必要となる 1 や $\pi, e$ といった推論が必要な問題などがあるため, 現在も発展中のタスクである。既存の手法の例として，事前学習済みモデルを使用した手法や，木構造を取り入れた手法などがある。このタスクが抱える問題の一つに，データ数が十分でなく，推論が必要な問題について，十分に学習できない. Zhang ら [2] は， Math23K という数学に関する文章題のデータセットで， $77.4 \%$ の正解率 (出力された計算式の計算結果の一致率) を得ている. しかし, Math23K は，中国語の問題文と解答となる式からなるデータセットであり，問題文が日本語の場合において，同様の精度が得られるかについては，検証が求められる.

そこで，本研究では，Math23Kを機械翻訳サービスを用いて，中国語を日本語に翻訳してデータとして用い，BERT 及び Graph-to-Tree (Graph2Tree) を用いて，日本語の数学の問題を解答するタスクを学習させる. さらに, Graph2Tree に含まれる Graph Convolution Network (GCN) [3] がどのようなグラフを生成するのかを検証するため，中間表現として構築されるグラフを可視化して検討を行う. 最後に， データ拡張を行うことで，本タスクにおける式の精度と答えの精度に対し，効果があるのかを検証する。

## 2 関連研究

## 2.1 BERT

BERT [4] は, Transformer モデルであり, 事前学習済みの BERT モデルを活用することにより，多くの自然言語処理のタスクで高い精度を期待することができる．BERT の事前学習では，Masked Language

Model と Next Sentence Prediction の 2 つの事前学習を行う，それぞれ行うタスクは，入力したトークンの一部にマスクをし，前後の情報から，マスクした箇所の内容を予想するタスクと，2つの文章を大力して，連続した文章かどうかを判定させるタスクである. 事前学習を行なった BERT は，入力の文章やトークンに対する，文脈を考慮した一般的な知識が何らかの形で内部に獲得されていると考えられるため， fine-tuneを行うことで，特定のタスクに対して，高い精度を出すことが可能である.

## 2.2 Goal-driven Tree Structured Network

Goal-driven Tree Structured Netowrk (GTS) [5] は，表現木を生成するためのエンド to エンドの手法で，数式を表現する木構造の生成するニューラルネットワークである. 生成する数式の木は， 2 分木であり, ルートノードから順に，演算記号が入り，左右の子ノードには，数字あるいは記号が入る構造が再帰的に取られている. 即ち, 数字または変数が入るノ一ドは，葉ノードに対応し，演算記号が入るノードは，節ノードに対応する。

GTS のネットワーク構造について概要を説明する.まず，入力問題文を単語トークンに変換し，各トークンごとの埋め込み表現にしたのち，双方向 Gated Recurrent Unit (GRU) [6] に入力する. その後, GRU の出力結果から，数式の木を再帰型ニューラルネットワークを用いて生成する。 あるノードに対して，アテンションを用いて文脈ベクトルを得たのち，そのノードのラベルの確率，つまり，変数または演算子（+ や×等）の確率を，文脈ベクトルを用いて計算する. その後, 子ノードの文脈ベクトルを，順伝播型ネットワーク $(\mathrm{FCN})$ に通した結果および GRU の出力結果から再帰的に計算することを繰り返すことで, 最終的に, 正解となる数式全体を生成するように学習する。

## 2.3 Graph-to-Tree

Graph2Tree [2] は， GCN [3] を含むモデルであり， 2 種類のグラフから構成され，数量間の関係や，文章の情報をグラフ構造で捉えることができる.

グラフ内のノードの内，ある量に関連する部分集合を数量セルと定義する. 数量セルが作るグラフは，数量セルグラフと数量比較グラフを作る. 数量セルグラフは，情報量の多い単語を数と関連付け，表現を豊かにすることができる．また，数量比較グ
ラフは，数の数值的性質を保持し，数量間の関係を保持し，数量間の関係の表現を改善することができる. 2 つのグラフを隣接行列で表し，この隣接行列と特徴を表す行列（事前にLSTM などで得られた表現）を GCNに入力し，その後，得られた表現を連結した結果に対して，正規化と残差接続，また FCN 等を行うことで，問題文が最終的にエンコードされた表現を得る。

## 3 提案手法

## 3.1 BERT と Graph2Tree を用いたモデル

本研究で用いるモデルの概要を図 1 に示す.まず，事前学習済みの BERTを使用して，文章題を入力し, 得られた埋め込み表現を得る. 次に，その埋め込み表現から，前章で述べた Graph2Tree を使っ $\tau$ ，中間の埋め込み表現を得る. 最後に，得られた中間表現から数式の木を生成する.

図 1: 使用するモデルの概要図

## 3.2 データセットの日本語化

## 3.2.1 Math23K

本研究では，Wang らの研究 [7] で提案されたデー タセット，Math $23 \mathrm{~K}^{11}$ を日本語に翻訳したものを使用する。この Math $23 \mathrm{~K}$ は, 中国語で書かれた問題文，式及び答えから構成され，データ数は，23,162 件ある.

## 3.2.2 前処理

まず，日本語のデータセットを作成するため， DeepL ${ }^{2)}$ という機械翻訳サービスを使用して，日本語に翻訳した。翻訳前（中国語）の文章と翻訳後 （日本語）の文章に含まれる数の集合（以後、「数集

1) https://ai.tencent.com/ailab/nlp/dialogue/

2) https://www.deepl.com/translator.html
合」と呼ぶ）を比較して，翻訳後の数集合が不足しているデータは，削除した．使用したデータと削除したデータの例をそれぞれ図 2 と図 3 に示す.

図 2: 使用したデータの例

 & \\

図 3: 削除したデータの例

図 2 では，翻訳前では， 2 及び 11 があり，翻訳後でもこれらの数字があるため，このデータセットは使用する。一方，図 3では，翻訳前では，5，25，45 及び 450 があるが，翻訳後では，5，25 及び 45 がないため，削除する．削除したことにより，データセットは，20,260 件になった.

## 3.3 データ拡張

本研究では，以下の二つのデータ拡張を行い，結果にどのような影響を与えるかを検討する。

一つ目は，正解の数式木に対するデータ拡張である. Math23Kで与えられる式は, 各問題分に対し, 1 つの式しか用意されていない. そこで，加法交換法則と乗法交換法則に着目し，交換可能な部分木をランダムに交換することでデータ拡張を行う．拡張前後で，別の木構造について学習させる. ただし，や:だけで構成された式は，データ拡張できない.

表 1: 数式のデータ拡張の例

二つ目は，文章題の単語に一定の割合でマスクをかけるデータ拡張を用いて実験を行う．ただし，マスクをかける際，数字にはマスクがかからないようにする。

表 2: マスクの例

## 4 実験

## 4.1 実装

本実験では，BERT の事前学習済みモデルとして，東北大学のもの3）を用いた. また，節 3.1 で述べたモデルを学習する際に用いたハイパーパラメータを，表 3 に示す。

表 3: 使用した関数及びハイパーパラメータ

 \\

## 4.2 Graph2Tree の有無による精度の比較

まず，Graph2Tree が与える影響を検証するために，Graph2Treeを用いた場合と用いていない場合の精度を比較を行う. 式の精度については, 生成した式 (木構造) と模範解答が一致していない限り不正解として取り扱う。

表 4: Graph2Tree 有無による精度の比較

表 4 より，BERT - Graph2Tree - GTS では，式の精度は向上しないが，答えの精度については，8\%ほど上昇することがわかる. Graph2Treeを用いることで，式の形が違っていても答えに辿り着く可能性が上がることが分かる.

3) https://huggingface.co/cl-tohoku/bert-large-japanese

## 4.3 GCN のグラフの検討

前節の実験結果から，Graph2Tree を入れることで，精度が上がることが確かめられた。一方で， Math23K 中国語のデータセットに対して報告されている精度 (77.4\%) [2] に比較すると精度が低いことがわかる．そこで，この節では，その原因を検証するために, Graph2Tree に含まれる GCNが，どの程度，意図したグラフを正しく生成できているのかを確認するために，数量セルグラフと数量比較グラフを可視化を行う. 入力した文章は, 「2 台の車 $\mathrm{A}, \mathrm{B}$ が同時に A, B から反対方向に走り, 2 時間半後に途中で出会う. 車 $\mathrm{A}$ の速度は $90 \mathrm{~km} / \mathrm{h}$, 車 B の速度は車 A の速度の (4/5) であることが分かっている. A と B の間の距離は何キロメートルくらいか聞いてみてください.」を入力した. ただし，どちらの図についても，エッジがないノードや自己ループは可視化していない.

(a) 数量セルグラフ

(b) 数量比較グラフ図 4: 例文より得られる Graph2Tree によるグラフ表現

図 $4 \mathrm{a}$ と図 $4 \mathrm{~b}$ は同一の文章から生成している. 図 4a は，単語毎のノードがあり，それを結び，ノードの $0 ， 1$ は，問題文の「2」と「台」に相当する. また，表示はしていないが，図 $4 \mathrm{a}$ では，エッジが結べていないノードが 92 個ある。つまり，数量セルグラフが，日本語における単語間の情報を結ぶエッジを十分に結べていないことが分かる。

図 $4 \mathrm{~b}$ は，文章中にある数字を使って，数の関係性について学習をし，ノードの $0,23 ， 42$ と 60 は，問題文の $2 ， 2 ， 90 ，(4 / 5)$ に相当する. 図 $4 \mathrm{~b}$ では,数が小さい方から大きい方へ矢印を引いて，数量の関係性について表現している。

## 4.4 データ拡張

式の精度は，前述の通り，Math23K に用意されている正答の木と完全一致を見るため，データ拡張を行う際，使用するモデルは，BERT - Graph2Tree GTS を使用して実験を行う．まず，数式をデータ拡表 5: 数式のデータ抳張

表 6: 単語のマスク

張した実験結果を表 5 に示す. データ拡張後では，式の精度は下がっているものの，答えの精度としては同程度となっている事がわかる。

次に，問題文にマスクをかけた実験では，50\%の確率で maskをかけた． maskをかける単語については，エポック毎にランダムで選択させた。単語にマスクをかけた実験結果を表 6 に示す。単語にマスクをかけた場合も，同様に，式及び答えの精度に大きな差は見られていない.

どちらのデータ拡張の方法についても，本稿で用いたモデルに対して有効かどうかは，差が僅かであるため，さらなる検証が必要である.

## 5 おわりに

本研究では，他の言語のデータセットを日本語化し，BERT や Graph2Tree を用いて，実験を行った. また, 日本語データ入力時における Graph2Tree で得られるグラフ表現について，検討を行った. 二種類のデータ拡張を用いた実験では，少なくとも現在のネットワーク構成においては，式と答えの精度の観点から見て，効果は限定的であるという結果になった. 今後の展望として，より数式生成にふさわしいと考えられるグラフ表現の抽出方法，および，グラフ構造を大きく変えるようなデータ拡張方法を探求してゆく予定である.

## 謝辞

法政大学大学院理工学研究科システム理工学専攻の辺見一成氏には，実験を行う際のプログラムの修正などご助言を頂きましたことを深く感謝申し上げます. 本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです。

## 参考文献

[1] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models, 2022.

[2] Jipeng Zhang, Lei Wang, Roy Ka-Wei Lee, Yi Bin, Yan Wang, Jie Shao, and Ee-Peng Lim. Graph-to-tree learning for solving math word problems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3928-3937, Online, July 2020. Association for Computational Linguistics.

[3] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhipeng Xie and Shichao Sun. A goal-driven tree-structured neural model for math word problems. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5299-5305. International Joint Conferences on Artificial Intelligence Organization, 72019.

[6] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[7] Yan Wang, Xiaojiang Liu, and Shuming Shi. Deep neural solver for math word problems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 845-854, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020.


# MixLinkBERT: A Language Model pretrained with Multiple Types of Linked Documents for Multi-hop Question Answering

Dongming $\mathrm{Wu}^{1,2}$ Ryu Iida ${ }^{1,2}$ Jong-Hoon $\mathrm{Oh}^{2}$ Kentaro Torisawa ${ }^{1,2}$
${ }^{1}$ Nara Institute of Science and Technology, Graduate School of Science and Technology
${ }^{2}$ National Institute of Information and Communications Technology,
Data-driven Intelligent System Research Center
wu. dongming. wa9@is. naist. jp
\{ryu. iida, rovellia, torisawa\}@nict. go.jp

## Abstract

Multi-hop question answering is the question answering that requires understanding and reasoning over multiple documents to find answers. In this work, we focus on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We develop MixLinkBERT, a language model pretrained with multiple types of linked documents. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA.

## 1 Introduction

Multi-hop question answering (QA) is the question answering that requires finding, understanding and reasoning over multiple documents to find answers. Table 1 shows an example of multi-hop question in HotpotQA [1], a multi-hop QA dataset. To answer the question in this example, we need information of "the auto manufacturer headquarted in Minato, Tokyo, Japan" and "the auto manufacturer that Nissan acquired controlling interest in". These two pieces of information may exist in two different documents separately, such as the two Wikipedia articles shown in Table 1. In this case, finding, understanding and reasoning over these documents are necessary to answer this question.

The prevailing structure of QA systems for both conventional single-hop QA and multi-hop QA in these years mainly consists of two components, a retriever and a reader $[2,3,4]$. Given a question, a retriever first retrieves several candidate documents from a large set of documents, such as all Wikipedia articles, or documents
Table 1: An example of multi-hop question in HotpotQA [1].

collected from the internet. Then a reader extracts the answer from these candidate documents. Like many other NLP tasks, recent works of multi-hop QA [3, 4] fine-tuned pretrained language models (LMs), such as BERT [5], RoBERTa [6], ELECTRA [7], to use them as a retriever and a reader in their QA methods. For example, Xiong et al. [4] fine-tuned a pretrained RoBERTa as their retriever and fine-tuned a pretrained ELECTRA as their reader.

To improve performance of multi-hop QA, new QA system structures or new fine-tuning methods have also been explored [3, 4]. In addition, pretraining LMs suitable for multi-hop reasoning on downstream tasks has been attempted. For example, Yasunaga et al. [8] developed LinkBERT, a LM that learned multi-hop knowledge (the
knowledge that spans across multiple documents) by leveraging hyperlinks in documents. The experimental results showed that LinkBERT achieved a better performance on multi-hop QA than BERT, which was pretrained without hyperlinks and cannot learn multi-hop knowledge.

In this work we develop a new language model pretrained with multiple types of linked documents, called MixLinkBERT. Along with the hyperlinks in the main texts in Wikipedia articles, which were used by LinkBERT, MixLinkBERT additionally uses hyperlinks in infoboxes in Wikipedia. An infobox in Wikipedia is a table often shown in upper right of a Wikipedia article and represents a summary of important information about the subject of an article by a set of attribute-value pairs. For example, Figure 1 shows part of the infobox of "Slam Dunk (manga)". The infobox contains attribute-value pairs like "genre-comedy", "author-Takehiko Inoue", "publisher-Shueisha". An important point here is that infoboxes sometimes contain useful hyperlinks that do not appear in the main texts of Wikipedia articles. Therefore, the text that is reachable via hyperlinks in infoboxes can introduce potentially useful knowledge that cannot be leveraged in LinkBERT.

We compare MixLinkBERT with BERT and LinkBERT on HotpotQA. MixLinkBERT outperforms BERT by $+1.5 \%$ in answer $\mathrm{F} 1$ and $+1.1 \%$ in joint $\mathrm{F} 1$, and outperforms LinkBERT by $+0.8 \%$ in answer $\mathrm{F} 1$ and joint F1. These results suggest that a wider range of hyperlinks helps LMs learn a wider range of multi-hop knowledge.

Figure 1: Part of the infobox of "Slam Dunk (manga)"

## 2 Related Work

## 2.1 LinkBERT

Figure 2: The overview of pretraining of LinkBERT

[8]. (We drew this figure based on [8].)

Levine et al. [9] showed that in training of neural LMs, it is desirable to put a pair of text segments in the same training instance for learning strong dependencies between the pair of text. According to this observation, Yasunaga et al. [8] proposed LinkBERT, a LM that can learn multi-hop knowledge by leveraging hyperlinks in documents. Yasunaga et al. [8] placed text of hyperlinked documents in the same training instances, in addition to text of a single document or random documents as training instances of BERT [5]. Figure 2 shows the pretraining method of LinkBERT. LinkBERT has two training objectives, masked language modeling (MLM) and Document Relation Prediction (DRP). MLM objective is same as the MLM objective in BERT [5]. DRP classifies the relation of the two segments of an input sequence (segment A and segment B in Figure 2) into three classes: contiguous, random and linked. Corresponding to these three classes, there were three types of training instances in LinkBERT. In the following, we call these three types of training instances (1) contiguous-relation instances, (2) random-relation instances and (3) hyperlinked-from-text relation instances. Yasunaga et al. [8] created training instances for LinkBERT from Wikipedia as follows. To create each of their training instances, they first sampled an article from Wikipedia as document A, and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then for each of (1) contiguous-relation instances, they sampled a contiguous
segment of segment A from the same document as segment B. For each of (2) random-relation instances, they randomly sampled another article from Wikipedia as document $B$ and sampled a segment from document $B$ as segment B. For each of (3) hyperlinked-from-text relation instances, they sampled an article that is hyperlinked from the main text of document $A$ as document $B$ and sampled a segment from document $B$ as segment $B$. Then they concatenated segment $A$ and segment $B$ via special tokens to create a training instance: [CLS] Segment A [SEP] Segment B [SEP]. From Wikipedia, they created a set of training instances consists of $33 \%$ contiguous-relation instances, $33 \%$ random-relation instances and $33 \%$ hyperlinked-from-text relation instances.

## 2.2 Previous works using Wikipedia infoboxes

Information inside Wikipedia infoboxes is summarized by human and can be utilized for NLP tasks. Morales et al. [10] created INFOBOXQA, a question answering dataset, utilizing attribute and value information in infoboxes. Herzig et al. [11] used text in infoboxes directly as inputs for LM pretraining and improved the ability of QA over tables. Unlike Herzig et al. [11] using text in infoboxes directly as inputs for LM pretraining, we use text in articles that are hyperlinked via infoboxes as inputs for our LM pretraining since text in infoboxes usually only includes titles of articles or names of objects.

## 3 MixLinkBERT

## 3.1 Pretraining instances

To explore multi-hop knowledge that can be obtained from multiple types of linked documents, we utilize hyperlinks in Wikipedia infoboxes in addition to hyperlinks in the main texts of Wikipedia articles. More precisely, in addition to the three types of training instances used by LinkBERT, we add the fourth type of training instance: hyperlinked-from-infobox relation instance. To create each of hyperlinked-from-infobox relation instances, we first sample an article from Wikipedia as document A and a segment from document $\mathrm{A}$ as segment $\mathrm{A}$. Then we sample an article that is hyperlinked from the infobox of document $\mathrm{A}$ as document $B$ and sample a segment from document B as segment B. The proportion of each kind of training instances of MixLinkBERT is $33 \%$ for contiguous-relation instances, $33 \%$ for random-relation instances, $16.5 \%$ for hyperlinked-from-text relation instances, and $16.5 \%$ for hyperlinked-from-infobox relation instances.

## 3.2 Training objectives

We use the same training objectives of LinkBERT, masked language modeling (MLM) and Document Relation Prediction (DRP), to pretrain MixLinkBERT. For DRP objective, we set that both hyperlinked-fromtext relation instances and hyperlinked-from-infobox relation instances belong to the same linked class.

## 4 Experiments

## 4.1 Setup for pretraining MixLinkBERT

We created pretraining data from English Wikipedia (20220820 version dump). Our pretraining data contains totally $40,960,000$ training instances. We initialized the parameters of our LM with pretrained BERT-base-cased checkpoint released by Devlin et al. [5] and then started pretraining from the parameters.

## 4.2 Baselines

For a fair comparison between MixLinkBERT and other baseline models (BERT and LinkBERT), we also pretrained two baseline models by ourselves with same size of pretraining data of MixLinkBERT. For baseline BERT, we continued pretraining from pretrained BERTbase-cased checkpoint released by Devlin et al. [5] with original BERT's pretraining objectives. The pretraining data consists of $50 \%$ contiguous-relation instances and $50 \%$ random-relation instances. For baseline LinkBERT, we also started pretraining from pretrained BERT-basecased checkpoint released by Devlin et al. [5] but with LinkBERT's [8] pretraining objectives. The only difference from pretraining of MixLinkBERT is that pretraining data of baseline LinkBERT doesn't contain hyperlinked-from-infobox relation instances. Pretraining data of baseline LinkBERT consists of 33\% contiguousrelation instances, $33 \%$ random-relation instances, and $33 \%$ hyperlinked-from-text relation instances. Table 2 shows the difference of pretraining data of MixLinkBERT and the two baselines. We followed hyperparameter settings in Yasunaga et al. [8]. Training steps was 40,000, peak learning rate was $3 \mathrm{e}-4$, batch size was 2,048 , maximum sequence length was 512 tokens. We warmed up the learning rate for the first 5,000 steps and linearly
decayed it. Each pretraining took about 4 days on $832 \mathrm{~GB}$ V100 GPUs with fp16.

Table 2: Pretraining data of MixLinkBERT and the

 &  \\

## 4.3 Evaluation on HotpotQA

We fine-tuned and evaluated MixLinkBERT and the two baselines on HotpotQA [1], a famous multi-hop QA dataset. Since ground-truth answers of test data of HotpotQA are not available, we instead split the development data of HotpotQA into two data sets and use one of the sets (3,702 instances) as our development data and another set (3,703 instances) as our test data. We finetuned with the method and the code ${ }^{i}$ of a recent published multi-hop QA system [4]. We did hyperparameter search using our development data as follows. For retriever, we tried learning rate $=\{2 \mathrm{e}-5,4 \mathrm{e}-5\}$ and batch size $=\{75$, $150,300\}$ and chose the best parameters that achieved the best Recall on top-2 retrieved documents on our development data. For reader, we tried learning rate $=$ $\{3 e-5,5 e-5,1 e-4\}$ and batch size $=\{64,128,256\}$ and chose the best parameters that achieved the best answer exact match on our development data. For rest of the finetuning hyperparameters, we followed the settings in Xiong et al. [4].

Table 3: Performance on our test data.

 &  &  &  &  &  &  \\

## 4.4 Results

Table 3 shows the performance on our test data. MixLinkBERT outperforms baseline BERT notably, especially $+1.5 \%$ on answer F1 and $+1.1 \%$ on Joint F1. MixLinkBERT also outperforms baseline LinkBERT, with $+0.8 \%$ on answer F1 and Joint F1.

As shown in the experimental results, pretraining with both hyperlinked-from-text relation instances and hyperlinked-from-infobox relation instances (MixLinkBERT) achieves better performance than pretraining without hyperlinked-from-infobox relation instances (baseline LinkBERT). This suggests that infoboxes contain useful hyperlinked articles that do not exist in the main texts of Wikipedia articles. In this work, we used $33 \%, 33 \%, 16.5 \%, 16.5 \%$ for contiguous-relation, random-relation, hyperlinked-from-text relation and hyperlinked-from-infobox relation instances respectively, but there is still room for exploring the optimal ratio of the training instance types. So, one of our next challenges is to find the best ratio of the four types of training instances to improve the performance on HotpotQA.

## 5 Conclusion

In this work, we focused on improving language model pretraining to achieve better performance on downstream multi-hop question answering. We developed MixLinkBERT, a language model pretrained with multiple types of linked documents to improve multi-hop reasoning ability on downstream multi-hop QA. We show that MixLinkBERT outperforms BERT and LinkBERT on HotpotQA. As future work, we also plan to incorporate attribute information in infoboxes into LM pretraining to further improve the performance on downstream multihop QA.

## References

[1] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, Christopher D. Manning. HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, 2018.

[2] Danqi Chen, Adam Fisch, Jason Weston, Antoine Bordes. Reading Wikipedia to Answer OpenDomain Questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1870-1879, 2017.

[3] Akari Asai, Kazuma Hashimoto, Hannaneh Hajishirzi, Richard Socher, Caiming Xiong. Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering. The International Conference on Learning Representations, 2020.

[4] Wenhan Xiong, Xiang Lorraine Li, Srini Iyer, Jingfei Du, Patrick Lewis, William Yang Wang, Yashar Mehdad, Wen-tau Yih, Sebastian Riedel, Douwe Kiela, Barlas Oğuz. Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval. The International Conference on Learning Representations, 2021.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. The International Conference on Learning Representations, 2020.
[8] Michihiro Yasunaga, Jure Leskovec, Percy Liang. LinkBERT: Pretraining Language Models with Document Links. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8003-8016, 2022.

[9] Yoav Levine, Noam Wies, Daniel Jannai, Dan Navon, Yedid Hoshen, Amnon Shashua. The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design. The International Conference on Learning Representations, 2022.

[10] Alvaro Morales, Varot Premtoon, Cordelia Avery, Sue Felshin, Boris Katz. Learning to Answer Questions from Wikipedia Infoboxes. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1930-1935, 2016.

[11] Jonathan Herzig, Paweł Krzysztof Nowak, Thomas Müller, Francesco Piccinno, Julian Martin Eisenschlos. TAPAS: Weakly Supervised Table Parsing via Pre-training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4320-4333, 2020.


# 確率生成モデルに基づく連続音声からの 教師なし音素・単語・文法獲得

落合翔馬 ${ }^{1}$ 長野匡隼 ${ }^{1}$ 中村友昭 ${ }^{1}$
1 電気通信大学
o1910151@edu.cc.uec.ac.jp

## 概要

人間は，二重分節構造を持つ連続音声信号を教師なしで音素や単語に分割し，文法を学習することができる。ロボットが人間のように言語を獲得するには，そのような二重分節構造の学習が可能なモデルが必要となる. 本稿では連続音声から音素・単語・文法を学習可能な確率的生成モデルを提案する。このモデルは，音素を学習する Gaussian Process Hidden Semi Markov Model (GP-HSMM) と, 単語・文法を学習する Hidden Semi Markov Model (HSMM) で構成された二階層のモデルである. 実験では，提案手法によって連続音声から音素・単語・文法を学習できることを示す.

## 1 はじめに

人間の幼児は正解を与えられなくとも，教師なしで連続音声信号から言語を学習している。言語は二重の分節構造を持っており，連続音声を分節化することで音素を，音素を分節化することで単語・文法を学習することができる. そのような人間の言語学習能力を持つロボットを実現するためには，二重分節構造を持つ時系列デー タを教師なしで分節化可能なモデルが必要である。音声認識の分野では，大量の音声データやラベル付けされたコーパスを用いた教師あり学習によって，音声を分割して認識する手法が主に用いられている [1][2][3][4]. しかし，人間は音声信号から音素・単語・文法を学習するために大量のラベル付きデータセットやコーパスを用いておらず，このような手法は人間の言語学習とは異なっている。一方, 教師なしで連続音声から音素と単語を学習するモデルとして, Nonparametric Bayesian Double Articulation Analyzer (NPB-DAA) が提案されている [5].また，我々は Gaussian Process Hidden

図 1 提案手法のグラフィカルモデル

Semi Markov Model (GP-HSMM)[6][7] と Hidden Semi Markov Model (HSMM) を組み合わせることで，二重の分節構造を持つ連続音声から音素と単語の学習が可能な確率的生成モデル GP-HSMM-based Double Articulation Analyzer（GP-HSMM-DAA）を提案した [8]. しかしこれらの手法では, 音素と単語の学習に留まっており文法の学習までは実現できていない.

そこで本稿では二重分節構造を持つ連続音声から音素と単語だけでなく，文法も教師なしで学習可能な確率的生成モデルを提案する．提案するモデルは GP-HSMM-DAA と同様に GP-HSMM と HSMM から構成されている階層的なモデルである.この階層構造により，教師なしで音声信号の二重分節構造を学習することが可能である. 実験では日本語の音声データから，教師なしで音素，単語そして文法を学習可能であることを示す.

## 2 提案手法

図 1 が提案手法のグラフィカルモデルであり，下位の層が GP-HSMM，上位の層が HSMM で構成された確率的生成モデルである．GP-HSMMを用いて音声信号から音素列を学習し, HSMMを用いて音素
列から単語と文法を学習する。

## 2.1 生成過程

品詞に相当する単語クラス $v_{i}$ は直前のクラス $v_{i-1}$ によって生成される。

$
v_{i} \sim P\left(v \mid v_{i-1}\right)
$

この単語クラスの遷移規則が文法であり, 従来の GP-HSMM-DAA[8] とは異なる部分である. 次に，単語クラス $v_{i}$ に従い単語 $w_{i}$ が生成される.

$
w_{i} \sim P\left(w \mid v_{i}\right)
$

また，単語 $w_{i}$ を構成している音素クラス $c_{j}$ は直前の音素クラス $c_{j-1}$ と遷移確率 $\pi_{c}$ によって生成される。

$
c_{j} \sim P\left(c \mid c_{j-1}, \pi_{c_{j-1}}, w_{i}\right)
$

遷移確率 $\pi_{c}$ の生成には階層ディリクレ過程 (HDP) を用い，以下のように Stick-breaking Process によって生成された $\beta$ を基底測度とした Dirichlet process(DP) によって生成される。

$
\begin{array}{r}
\beta \sim \operatorname{GEM}(\gamma) \\
\pi_{c} \sim \operatorname{DP}(\eta, \beta)
\end{array}
$

これによりデータの複雑さに応じて, 自動的に音素クラスの数を推定することが可能となる. 音素クラ Х $c$ の音声信号 $\boldsymbol{x}_{j}$ はガウス過程から生成される.

$
x_{j} \sim \mathscr{G} P\left(x \mid X_{c}\right)
$

ただし， $\boldsymbol{X}_{c}$ は音素クラス $c$ のガウス過程のパラメー タである. このように生成された各音素の音声信号を連結することで連続音声信号 $\boldsymbol{S}=\left.\{\boldsymbol{x}_{1}, \cdots \boldsymbol{x}_{J}\right.\}$ は生成される。

## 2.2 ガウス過程

提案手法の下位層では，単位系列 $\boldsymbol{x}$ 内のタイムステップ $t$ における出力 $x_{t}$ を連続的な軌道として表現するためにガウス過程回帰を用いる. ガウス過程回帰では同じクラスに属するタイムステップ $t$ における出力 $x_{t}$ の複数のぺア $(\boldsymbol{t}, \boldsymbol{X})$ が得られた時, タイムステップ $\hat{t}$ おける出力 $\hat{x}$ の予測分布は以下のガウス分布となる.

$
p(\hat{x} \mid \hat{t}, \boldsymbol{X}, \boldsymbol{t}) \propto \mathcal{N}\left(\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{X}, k(\hat{t}, \hat{t})-\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{k}\right)
$

ただし， $k(\cdot, \cdot)$ はカーネル関数である. $C$ は， $\boldsymbol{t}$ の $p$番目と $q$ 番目の要素を $t_{p}, t_{q}$ とした時, $p$ 行 $q$ 列の值が

$
C\left(t_{p}, t_{q}\right)=k\left(t_{p}, t_{q}\right)+\phi^{-1} \delta_{p q},
$

となる行列である。 $\phi$ は観測値に含まれるノイズの表すハイパーパラメータである。また， $\boldsymbol{k}$ は $k\left(t_{p}, \hat{t}\right)$ を $p$ 番目の要素に持つべクトルである. 本稿ではカーネル関数として以下の式を用いる。

$
k\left(t_{p}, t_{q}\right)=\theta_{0} \exp \left(-\frac{1}{2} \theta_{1}\left.\|t_{p}-t_{q}\right.\|^{2}\right)+\theta_{2}+\theta_{3} t_{p} t_{q}
$

$\theta_{*}$ はカーネルのハイパーパラメータである. 出力値が多次元のべクトル $\boldsymbol{x}_{t}=\left(x_{t}^{(1)}, \cdots, x_{t}^{(d)}, \cdots\right)$ の場合は各次元が独立に生成されると仮定し, 時刻 $t$ の観測値 $\boldsymbol{x}$ がクラス $c$ に対応するガウス過程から生成される確率 $\mathscr{P}\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)$ を以下のように計算する.

$
\mathscr{S} P\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)=\prod_{d}^{D} p\left(x_{t}^{(d)} \mid t, \boldsymbol{X}_{c}^{(d)}\right)
$

## 2.3 パラメータの推論

提案モデルは二階層のモデルであり，単純にはパラメータを推論することが困難である．そこで，各階層を交互に推論することで，モデル全体のパラメータを最適化する. Algorithm 1 が相互学習を用いたパラメータ推定のアルゴリズムである.

まず下位層において，観測された音声信号 $S$ を GP-HSMM により分節化し音素クラス系列 $C$ をサンプリングする．次に，得られた音素クラス系列を，上位層の HSMM によって分節化することで，単語系列 $W$ と単語クラス系列 $V$ をサンプリングする. 上位層では分節化された単語 $w$ から音素クラス $c$ が生成される条件付確率 $P(c \mid w)$ を計算し, 下位層 (GP-HSMM) に送る. GP-HSMM では受け取った $P(c \mid w)$ を音素の事前分布として用い，再度音素クラスのサンプリングを行う. この相互更新を $M$ 回繰り返すことによってパラメータの最適化をする。

GP-HSMM と HSMM では分節長とクラスを効率的にサンプリングするために Forward Filtering

- Backward Sampling アルゴリズムを用いる. GPHSMM の Frward Filtering では，音声信号のタイムステップ $t$ を終端とする長さ $k$ の部分系列が音素クラス $c$ となる前向き確率は次式のようになる.

$
\begin{array}{r}
\alpha_{p}[t][k][c]=\mathscr{P} P\left(\boldsymbol{x}_{t-k: t} \mid \boldsymbol{X}_{c}\right) P\left(c \mid w_{i}\right) P_{\text {len }}\left(k \mid \lambda_{p}\right) \\
\times \sum_{k^{\prime}=1} \sum_{c^{\prime}=1} P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) \alpha_{p}[t-k]\left[k^{\prime}\right]\left[c^{\prime}\right]
\end{array}
$

ただし， $P_{\text {len }}\left(k \mid \lambda_{p}\right)$ は分節長を決める $\lambda_{p}$ をパラメータとするポアソン分布であり, 遷移確率の計算には Product of Experts (PoE) 近似を用いて, $P\left(c \mid c^{\prime}, \pi_{c^{\prime}}, w_{i}\right) \approx P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) P\left(c \mid w_{i}\right)$ とした. $P\left(c \mid w_{i}\right)$ は，上位層で計算された単語から音素クラス $c$ が発生する確率であり，この確率により単語の持つ言語的な制約を，音素の学習に与えることができる。この前向き確率から音素クラス系列 $C$ をサンプリングする。

次に上位層では，音素クラス系列 $C$ を分節化することで，単語と単語クラスをサンプリングする。

Foward Filtering では, 音素のタイムステップ $j$ を終端として，長さ $k$ の部分系列が単語となり，そのクラスが $v$ となる確率は次式のようになる。

$
\begin{aligned}
& \alpha_{w}[j][k][v]=P\left(C_{j-k: j} \mid v\right) P_{\text {len }}\left(k \mid \lambda_{w}\right) \\
& \quad \times \sum_{k^{\prime}=1} \sum_{v^{\prime}=1} P\left(v \mid v^{\prime}\right) \alpha_{w}[j-k]\left[k^{\prime}\right]\left[v^{\prime}\right]
\end{aligned}
$

この前向き確率から単語系列 $W$ と単語クラス系列 Vをサンプリングすることができる. サンプリングされた $W$ から $P\left(c \mid w_{i}\right)$ を更新し, GP-HSMM の計算に利用する。

以上のように，以下の手順を繰り返すことで，下位層と上位層が相互に影響しあい，音素・単語・文法を学習することができる.

1. 音声信号 $S$ から音素クラス系列 $C$ のサンプリング

2. 音素クラス系列 $C$ から単語系列 $W$ と単語クラス系列 $V$ のサンプリング

3. 各単語から音素が発生する確率 $P\left(c \mid w_{i}\right)$ の更新

## 3 実験

提案手法の有効性を確認するために AIOI-dataset ${ }^{1)}$ を改変したデータを用いて実験を行った.

図 2 音素と単語の精度の推移

## 3.1 実験設定

AIOI-dataset は日本語の母音 $\{\mathrm{a}, \mathrm{i}, \mathrm{u}, \mathrm{e}, \mathrm{o}\}$ で構成された単語 $\{$ aioi,aue,ao,ie,uo $\}$ を組み合わせて作られた文を発話した音声データである。本実験では AIOI-datasetを単語毎に分割し，規則に従って 2 単語を組み合わせた 2 語文を新規に作成した。想定した文法規則は以下の通りである。

-一単語目の出現単語: ao, uo, ie

-二単語目の出現単語: aioi, aue, ie

すなわち，文は 9 種類 \{ “ao aioi”, “ao aue”, “ao ie”, "uo aioi" , "uo aue" , "uo ie" , "ie aioi" , "ie aue", “ie ie” \} である.これらを読み上げた音声データの数は 60 となった. 観測系列として音声信号のメル周波数ケプストラム係数を Deep Sparse Auto encoder によって 3 次元に圧縮した特徴量を使用した.

単語のクラス数を 2, 相互更新の繰り返し回数 $M=20$ として，特徴量を分節化し文字・単語・文法の学習を行った。また，提案モデルは初期値の依存性があるため，学習を初期値を変えて 10 回試行し，単語の尤度が最も高い試行の結果を評価に用いた. 評価指標には，正解と音素・単語の分類結果の Adjusted Rand Index (ARI) を用いた. ARI は，分類結果が正解に近いほど，1 に近い値となる指標である.

## 3.2 実験結果

図 2 の横軸が相互更新の繰り返し回数, 縦軸が ARI である．また，赤線が単語の ARIであり，緑線が音素の ARIである. この図からパラメータの相互更新を行うごとに ARI が上昇しており，提案アルゴリズムが有効に働いていることが分かる.
表 1 各単語クラスに分類された単語. 数字は音素クラスのインデックス，括弧内の文字は対応する音素である.

表 1 は，HSMM で各単語クラス $v$ に分類された単語（音素の部分系列）である. この結果と想定した文法規則を比べると，単語クラス 1 に一単語目に出現する単語, 単語クラス 2 に二単語に出現する単語が分類されており，想定した文法規則が学習されている.

## 4 結論と今後の課題

本稿では，二重分節構造を持つ連続音声データから，教師なしで音素・単語・文法を学習するモデルを提案した. 提案手法は，GP-HSMM と HSMM を組み合わせた二階層のモデルである．実験では AIOI-dataset から作成した文法の規則が存在するデータを用いて，音素・単語・文法が学習可能であることを示した.

現状の提案手法ではあらかじめ単語のクラス数を設定する必要があったため，今後は GP-HSMM と同様にクラス数を自動的に決定可能な，階層ディリクレ過程を導入する予定である. また，今回用いたデータは非常にシンプルな文法規則を想定した二語文であったため，今後はより複雑な文法規則の学習が可能か検証する予定である.

## 参考文献

[1] Tatsuya Kawahara, Akinobu Lee, Tetsunori Kobayashi, Kazuya Takeda, Nobuaki Minematsu, Shigeki Sagayama, Katsunobu Itou, Akinori Ito, Mikio Yamamoto, Atsushi Yamada, Takehito Utsuro, and Kiyohiro Shikano."Free software toolkit for Japanese large vocabulary continuous speech recognition", 6th International Conference on Spoken Language Processing, ICSLP 2000, 2000.

[2] George E. Dahl, Dong Yu, Li Deng, and Alex Acero. "Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition”, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 1 pp. 30-42, 2011.

[3] Hiroshi Seki, Kazumasa Yamamoto, and Seiichi Nakagawa. "Comparison of syllable-based and phoneme-based dnn-hmm in japanese speech recognition”. 2014 International Conference of Advanced Informatics: Concept, Theory and Application (ICAICTA). pp. 249-254. 2014.

[4] Sei Ueno, Hirofumi Inaguma, Masato Mimura, and Tatsuya Kawahara. "Acoustic-to-word attention-based model complemented with character-level ctc-based model". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). pp. 5804-5808. 2018.

[5] Tadahiro Taniguchi, Ryo Nakashima, Hailong Liu, and Shogo Nagasaka."Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals".Advanced Robotics. Vol. 30, No.11-12, pp. 770-783. 2016.

[6] Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh, and Masahide Kaneko. "Segmenting continuous motions with hidden semi-markov models and gaussian processes", Frontiers in neurorobotics, Vol. 11, p. 67, 2017.

[7] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Masahide Kaneko. "Sequence pattern extraction by segmenting time series data using gp-hsmm with hierarchical dirichlet process", 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), p. 4067-4074, 2018.

[8] 長野匡隼，中村友昭，“GP-HSMM に基づく二重分節化モデルによる連続音声の教師なし構造学習”,日本ロボット学会誌，2023


# モバイルマニピュレーションタスクにおける 曖昧な指示文からの対象物体選択

森下雅晴 1 長野匡隼 1 中村友昭 ${ }^{1}$
1 電気通信大学
m1910655@edu.cc.uec.ac.jp

## 概要

ロボットが行う基本的なタスクの一つであるモバイルマニピュレーションタスクは，移動ロボットがユーザが指示した物体を把持し，別の場所へと持っていくタスクである. その際に，ユーザが必ずしも対象物体を明示的に発話しない場合があり，そのような曖昧な指示発話の理解が必要となる. 本稿では曖昧なユーザ発話文に加えて環境に存在する物体の情報を入力とした言語モデル BERT に基づく系列ラベリングにより，ユーザの意図に沿った物体を選択する手法を提案する．実験では，小規模なデータセットを作成しモデルの学習を行い，提案手法が学習データに含まれない未知の曖昧なユーザ発話に対応できることを示す.

## 1 はじめに

近年，日常生活を支援する家庭用サービスロボットへの期待が高まっている。 そのようなロボットの基本的なタスクの一つがモバイルマニピュレーションタスクである. モバイルマニピュレーションタスクは，移動ロボットがユーザが指示した対象物体を把持し, 別の場所へと持っていくタスクである。このようなタスクにおいて，ユーザの指示発話はロボットが理解しやすい定型文ではなく，日常的に使用している自然言語を用いる方がユーザにとっては望ましい。しかしそのような指示発話では，ユー ザが必ずしも対象物体を明示的に発話しない場合があり，そのような曖昧な指示発話の理解が必要となる。

そこで，本稿では物体名が明示的に含まれないユーザの発話から，環境に存在する物体の情報を利用することで，対象物体を特定する手法を提案する. 図 1 が想定するタスクであり，ユーザが環境の中にある物体を持ってくることをロボットに要求

図1想定しているタスクの例

し，ロボットはその発話と環境にある物体から対象物体を特定しユーザに届ける。このようなタスクにおいて，対象物体を選択するためには，ユーザの発話と要求される物体の関係を正しく理解する必要がある.

提案手法では物体のリストを文字列として学習済み言語モデル BERT (Bidirectional Encoder Representations from Transformers)[1] に入力し，リス卜内の各物体が対象物体であるか否かを表すラベル列を予測する系列ラベリング問題として扱う。これにより，ユーザが対象物体を明示的に発話しない場合や，学習データには含まれない新規の物体が存在する場合であっても対象物体を特定することができる.

関連研究としてユーザが明示的に対象物体を発話することを想定したモバイルマニピュレーションタスク [2] があるが，本手法のように曖昧な指示文を想定していない．また，学習済み言語モデルを用いて，行動や物体を特定する手法 [3][4] も提案されているが，これらの手法では新規物体を扱うためには，再学習（ファインチューニング）が必要となる.一方，本手法では，物体選択を系列ラベリング問題

図 2 提案手法の概要

とすることで，新規物体に対しても再学習することなく，対応することができる。

## 2 提案手法

提案手法の概要を図 2 に示す. 物体リストと発話文を BERTへの入力とし，BERT からの出力を線形変換，softmax 関数を通して，各物体が対象物体であるかどうかを表す確率を出力する。

BERT[1] は Transformers の encoderを使用した言語モデルであり，本稿では事前学習済みの BERTをファインチューニングして使用した. 事前学習済みのモデルを利用することで，言語モデル内で学習されている常識的な知識により，指示文と対象物体の関係を捉えることが期待できる.

提案手法では BERT の出力を利用した系列ラベリングにより物体を選択する。一方，分類タスクにより物体の選択をすることも可能であるが，対象物体が複数になった場合への対応が難しいといった問題がある. また分類タスクでは，分類対象の物体数だけの出力ノードを用いて学習するため, 事前に決めた物体のみにしか対応できず，新規物体へ対応するためには出力ノード数を変え再学習する必要があるといった問題がある. これに対し, 系列ラベリングではリスト内の各物体に対して対象物体か否かのラベルを出力するため，複数の物体を選択することができ，言語モデルに含まれる単語であれば新規物体であっても対応することができる．モデルは，IO 法に基づいた対象物体を表すラベル（“I”)と非対象物体を表すラベル (“O”) を出力するよう学習する. これにより，「オレンジジュース」のように「オレンジ」と「ジュース」という 2 つのトークンに分かれ表 1 発話文の種類

てしまう単語であっても，それぞれ “I”が出力されるため，トークンを結合して「オレンジジュース」 という単語を選択することができる．なお，物体リストは「、」で区切ることで，BIO 法を使わずとも異なる単語を結合してしまうことはない.

学習時には, 出力された対象物体/非対称物体である確率と正解ラベルとのクロスエントロピーを損失関数として用い学習する．テスト時には，それぞれのラベルの確率を出力し, 確率が高いラベルを予測ラベルとする.

本稿では東北大学で作成された事前学習済みモデル [5] をファインチューニングして使用した. このモデルでは日本語版ウィキペディアを用いて事前学習されている. ファインチューニングに使用したデータセットについては 3.1 節で述べる.

## 3 実験

本実験では，食べ物・飲み物・遊具・筆記用具・書物，また食べ物と飲み物で構成される食事，に関連する物体を選択することを想定し，小規模なデー タセットを作成してファインチューニングを行い，提案手法の有効性を確認した。また，より曖昧な表現を含む発話文を用いた場合の結果も確認した.

## 3.1 データセット

モデルのファインチューニングに用いるデータセットとして，ユーザの発話文と物体のリストの組を作成した. まずユーザの発話文として具体的な物体名を含まない「食べ物を持ってきて」，「食事を用意して」といったロボットにユーザの要求に沿った物体を持ってくることを指示する文を 50 個用意した. 今回想定した，発話文の種類と正解となる対象物体の例を表 1 に示す.この 50 文を学習用 40 文, テスト用 10 文に分割した. すなわち，テスト用の文は学習用とは異なる文で構成されている。

次に，学習用物体リストとテスト用物体リストの
表 2 「食べ物」に対応した物体リスト

表 3 テストデータによる物体選択の評価

中から 6〜7 個の物体をランダムに取り出し，入力物体リストとした. この入力物体リストはユーザ発話文に合わせて正解となる物体を 1 つ以上含み，その他は正解ではない物体で構成されている。この時, リスト中の単語の位置は物体選択に関係ないため，単語の並びがランダムになるよう留意した. また，学習用物体リストとテスト用物体リストはそれぞれ異なる物体で構成されている. 表 2 が，食べ物に対応した学習用とテスト用の物体リストである. また同時に，IO 法によって入力物体リスト内の各物体に対応した正解ラベルを作成した. この手順を学習用とテスト用それぞれのユーザ発話文に対して 200 回行い，合計で学習用 8000 個，テスト用 2000 個のデータセットを作成した.

このように，テストデータには学習データには含まれない物体，発話文を使用した。すなわち，テストデータで正しく物体を選択するためには，発話文と物体の関係を正しく学習する必要がある。

## 3.2 テストデータによる評価

表 3 が，テストデータを用いた物体選択の Precision, Recall, F-measure である. テストデータは学習データに含まれていない物体と発話文で構成されていたが，各指標で 0.7 を超えるスコアを得られた. すなわち，提案手法は学習していない未知の表現・物体に対しても，ある程度対応できると考えられる。

## 3.3 より曖昧な発話文による物体選択

学習データは「○○を持ってきて」，「○○が欲しい」などの物を要求する文で構成されている. 本実験では，直接的に物を要求しない，より抽象的な表現から物体を選択できるか確認した。学習に使用した表現と比べてより曖昧で抽象的な表現を含む発話表 4 より曖昧な発話文からの物体選択

 & 何か飲みたいな & オレンジジュース, \\
 & ちょっとメモしたいな & 水 \\

文を入力としたときの結果が，表 4 である．1つ目では曖昧な表現として「何か飲みたいな」という発話から，2つ目の例では「ちょっとメモしたいな」 という発話から物体を選択した。どちらの場合も物体リスト内の太字で示した正解となる対象物体を正しく選択できている。この結果は，事前学習済みの言語モデルにより，ファインチューニング時にはない「飲む」や「メモ」といった単語と各物体の関連性を捉えられているためだと考えられる.

## 4 おわりに

本稿では，家庭用サービスロボットがユーザの曖昧な発話から，環境内にある物体をユーザの意図に合わせて選択する手法を提案した．実験では，小規模なデータセットを用いた予備的な実験であったにも関わらず，未知の表現・物体であっても正しく物体選択できることを確認した．データセットを拡張することで，より曖昧な指示から物体を選択できるようになると考えられる．そこで今後，クラウドソーシングを利用してデータセットを拡充し，より曖昧な指示やより広いドメインへの対応を考えている.

また，現時点では複数の正解が物体リストにあるとき，それら全てが抽出されるようになっている. そのような場合には，ユーザとの対話を通して物体を選択するような方法を導入することを考えている.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language" arXiv:1810.04805, 2019

[2] Takahiro Kobori, Tomoaki Nakamura, Mikio Nakano, Takayuki Nagai, Naoto Iwahashi, Kotaro Funakoshi, and Masahide Kaneko, "Robust Comprehension of Natural Language Instructions by a Domestic Service Robot", Advanced Robotics, Vol. 30, Issue 24, pp. 1530-1543, 2016

[3] 田中翔平，湯口彰重，河野誠也，中村哲，吉野幸一
郎，“気の利いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集”，情報処理学会研究報告, NL-253, 2022

[4] Michael Ahn, et al., "Do as I can, not as I say: Grounding language in robotic affordances." arXiv preprint arXiv:2204.01691, 2022

[5] "Pretrained Japanese BERT models", https://github. com/cl-tohoku/bert-japanese