# 記憶装置付きニューラルネットワークモデルによる構造化知識 と演算処理を用いた質問応答

村山友理 小林一郎
お茶の水女子大学
\{murayama.yuri,koba\}@is.ocha.ac.jp

## 概要

3 つの DNC モデル，vanilla DNC, rsDNC, DNC-DMS に知識と演算のためのアーキテクチャを新たに組み 入れ，構造化知識に対する演算処理を含んだ質問文 について正しい答えを生成する能力を向上させるこ とを目指す。rsDNC, DNC-DMS をべースとした提案 モデルはそれぞれ GEO データセットにおいて平均 top-1 accuracy，平均 top-10 accuracy で最も良い結果 を達成した。さらに，rsDNCをべースとした提案手法は拡張した GEO データセットにおいて平均 top-1 accuracy と平均 top-10 accuracy の両方で他のモデル を上回った。

## 1 はじめに

近年, Transformer [1] などのディープニューラル ネットワークはコンピュータビジョンや自然言語処理といったさまざまなタスクの複雑なパターンマッ チングにおいて顕著な発展を遂げてきた. しかし， Transformer には長い文脈情報を固定長の系列に工 ンコードするせいで context fragmentation problem [2] があり，この問題を解くために過去の情報をメモリ 内にキャッシュしておくさまざまな手法 $[2,3,4]$ が 提案されてきたが，Transformer をべースとしたモデ ルは，グラフや木などのデータ構造の表現や変数 の使用，長い系列に対する表現の操作といった抽象的な処理を行う能力には限界があるとされてき た. Neural Turing Machine [5] や Differentiable Neural Computer (DNC) [6] は外部に読み書き可能なメモリ を持つことで，構造化データ上のアルゴリズムタス クを解き，変数の表現や，長い系列の学習を可能に した. 本研究では，DNC と，さらにDNC を改良し た rsDNC [7] と DNC-DMS [8] に対して，質問応答夕 スクにおいて重要な要素である知識利用と演算処理 を新たに組み入れることを試み，構造化知識に対す
る演算処理を含んだ質問文について正しい答えを生成する能力を向上させることを目指す.

## 2 関連研究

Differentiable Neural Computer (DNC) [6] は外部にメ モリ行列 $M \in \mathbb{R}^{N \times W}$ を持つニューラルネットワー クである. メモリ行列 $M$ の $N$ 個の番地に対し，ど の番地について主に読み出す，または書き込むかを 表す重みを定義するのに attention mechanism が用い られる。

読み出し操作では, read vector $\boldsymbol{r}$ はメモリ $M$ に read weighting $\boldsymbol{w}^{r}$ をかけた，メモリ番地に対する重 み付き和として計算される：

$
\boldsymbol{r}=\sum_{i=1}^{N} M[i, \cdot] \boldsymbol{w}^{r}[i]
$

ここで， ‘’は $j=1, \ldots, W$ を表す。

書き込み操作では，メモリ $M$ は write weighting $\boldsymbol{w}^{w}$ を用いてまず erase vector $\boldsymbol{e}$ により不要な番地が 消去され，write vector $v$ を足すことで更新される：

$
M[i, j] \leftarrow M[i, j]\left(1-\boldsymbol{w}^{w}[i] \boldsymbol{e}[j]\right)+\boldsymbol{w}^{w}[i] \boldsymbol{v}[j]
$

重みは内容に基づく番地付け，一時的なメモ リのリンク付け，動的メモリ割り当て，の 3 つの attention mechanism によって定義される。DNC を改良したモデルとして，QA タスクに特化した robust and scalable DNC (rsDNC) [7] や DNC に対して 3 つ の改良 (i.e. de-allocation mechanisms, masked content based addressing, sharpness enhancement)を行なった DNC-DMS [8] などが提案されている.

## 3 提案手法

3 つのモデル，DNC [6], rsDNC [7], DNC-DMS [8] に新たに構造化知識を保存するためのメモリアー キテクチャと，単純な算術演算と論理演算を行うた めのプロセッサアーキテクチャを追加する. 図 1 は

図 1 知識メモリとプロセッサを持つ提案モデルの全体図.

DNC に基づく知識メモリとプロセッサを持つ提案 モデルの全体図を示す. 各タイムステップ $\mathrm{t}$ で行う 処理は以下の通りである：

1. コントローラ $(\mathrm{RNN})$ は大力 $\boldsymbol{x}_{t}$ と, 前タイム ステップで文脈メモリ $M_{t-1}^{c} \in \mathbb{R}^{N \times W}$ から 読み出した R 個のベクトルのセット $\boldsymbol{r}_{t-1}^{c}=$ $\left[\boldsymbol{r}_{t-1}^{c, 1} ; \ldots ; \boldsymbol{r}_{t-1}^{c, R}\right]\left(\boldsymbol{r}_{t-1}^{c}\right.$ は $\boldsymbol{r}_{t-1}^{c, 1}, \ldots, \boldsymbol{r}_{t-1}^{c, R}$ の結合) に 加えて，前タイムステップで知識メモリ $M_{t-1}^{k} \in \mathbb{R}^{N \times W}$ から読み出した $\mathrm{R}$ 個のベクトル のセット $\boldsymbol{r}_{t-1}^{k}=\left[\boldsymbol{r}_{t-1}^{k, 1} ; \ldots ; \boldsymbol{r}_{t-1}^{k, R}\right]$, そして前タイム ステップのプロセッサの演算結果のベクトル $v_{t-1}$ を受け取る。それから隠れべクトル $h_{t}$ を 出力する.
2. $\boldsymbol{h}_{t}$ の線形変換により, 出力 $\boldsymbol{v}_{t}=W_{y} \boldsymbol{h}_{t}$ と, 現夕 イムステップにおける文脈メモリを制御するた めのパラメータを格納したベクトル $\xi_{t}=W_{\xi} \boldsymbol{h}_{t}$,現タイムステップにおける知識メモリを制御す るためのベクトル $\zeta_{t}=W_{\zeta} \boldsymbol{h}_{t}$, そして現タイム ステップのプロセッサに用いられるゲートベク トル $\boldsymbol{g}_{t}=W_{g} \boldsymbol{h}_{t}$ を得る.
3. $\xi_{t}$ によって文脈メモリへの書き込みが行われ, メモリの状態が更新される. 知識メモリへの書 き込みは行われない。

4. プロセッサでの演算処理は $g_{t}$ と, 現タイムス テップで文脈メモリから読み出したべクトルを 結合した $\boldsymbol{r}_{t}^{c}$, 現タイムステップで知識メモリか ら読み出したべクトルを結合した $\boldsymbol{r}_{t}^{k}$ を用いて 行われる。

5. 最後に， $\boldsymbol{r}_{t}^{c}$ と $W_{r}^{c}$ をかけて得られるべクトル と, $\boldsymbol{r}_{t}^{k}$ と $W_{r}^{k}$ をかけて得られるべクトル，及び 現タイムステップのプロセッサからのベクトル $\boldsymbol{v}_{t}$ と $W_{v}$ をかけて得られるべクトルに $\boldsymbol{v}_{t}$ を足 し，出力 $\boldsymbol{y}_{t}$ を計算する.

$
\boldsymbol{y}_{t}=\boldsymbol{v}_{t}+W_{r}^{c} \boldsymbol{r}_{t}^{c}+W_{r}^{k} \boldsymbol{r}_{t}^{k}+W_{v} \boldsymbol{v}_{t}
$

read vector $\boldsymbol{r}_{t}^{c}$ と $\boldsymbol{r}_{t}^{k}$, value vector $\boldsymbol{v}_{t}$ は次タイムス テップの RNNへの入力に追加される.

以上の処理を繰り返すことにより，二つのメモリへ の読み書き操作とプロセッサ操作を行う.

## 3.1 知識メモリ構築

知識メモリは知識ベース $(\mathrm{KB})$ を用いて構築され る. KB のファクトは Resource Description Framework $(R D F)^{1)}$ 形式の三つ組 (主語, 述語, 目的語) で表現 される。例えば，「日本の首都は東京である.」は三 つ組 (日本，首都，東京) で表される．DNC のモデル に三つ組の内どれか 2 つを与え，残りの 1 つを返す ように学習させることで KB ファクトを学習する.例えば，入力が “日本”，“首都” のとき，出力は “東京”である．モデルは KB のすべてのトリプルを用 いて学習し，KB 全体を保存したメモリユニットを 作成する。そして，事前学習したメモリユニットを 提案モデルの知識メモリユニットとして利用する。

## 3.2 プロセッサ処理

プロセッサユニットにおいて単純な算術演算と論理演算を行うために，13 の演算を設定 ᄂ た:Max, Min, More, Less, Major_city, Major_river, Major_lake, Not, Count, Density, Sum, Context, Knowledge. 文脈义 モリからの read vector $\boldsymbol{r}^{c}$ と知識メモリからの read vector $\boldsymbol{r}^{k}$ はオリジナルの語彙トークンのリスト,「文脈リスト」と「知識リスト」にそれぞれ変換さ れる。

Superlatives : Max 演算は知識リストを受け取 り，その最大値を返す. Min 演算は同様に知識リス トを受け取り，その最小値を返す。

Comparatives : More 演算は文脈リストと知識 リストの両方を受け取り, 知識リストの最初の数 より大きい数を文脈リスト中から返す. Less 演算は同様に文脈リストと知識リストの両方を受け 取り，知識リストの最初の数より小さい数を文脈 リスト中から返す. Major_city，Major_river， Major_lake 演算は知識リストを受け取り，それぞ れ“150,000”, “750”, “5,000”より大きい数を返す.

表 1 知識ベースの一部.

type alabama state

capital alabama montgomery

population alabama $3894.0 \mathrm{e}+3$

Negation : Not 演算は文脈リストと知識リスト の両方を受け取り，文脈リストから知識リストを引 いた差を返す。

Calculation : Count 演算は知識リストを受け 取り，その要素数を返す. Density 演算は文脈リス トと知識リストの両方を受け取り, 要素毎に知識リ ストで割られた文脈リストを返す. Sum 演算は知識 リストを受け取り，その要素の和を返す。

No operation : Context 演算は文脈リストを受 け取り，それ自身を返し，Knowledge 演算は知識 リストを受け取り，同様にそれ自身を返す。これら の 2 つの演算は上記の演算がどれも適当でない場合 のために用意した。

13 の演算の出力は gate vector $\boldsymbol{g}$ のソフトマックス 出力と結合し， value vector $\boldsymbol{v}$ を構築する。

## 4 実験

## 4.1 データセット

GEO データセット $[9]^{2}$ はアメリカの地理に関す る 880 の質問文と Prolog 形式のファクトのデータ ベースを含む，質問文の語彙サイズは 280 である.質問文は superlatives, comparatives, negation や count, density, sum といった calculation を含む. GEO データ セットには質問文に対する答えが含まれていなかっ たため，答えを人手でアノテーションを行った. 答 えはデータベースからの地理エンティティのリスト であり，長さは 0 から 386 エンティティである. 例 えば，“Which rivers flow through Alaska?” という質問 は答えがなく，別の質問 “Give me the cities in the U.S. ?"は 386 エンティティというかなり多くの答えを持 つ. 600 サンプルを学習に， 280 サンプルをテストに 用いた.

GEO のデータベースから RDF 形式の三つ組を 作成し, 表 1 に示す. 三つ組 (type， alabama， state) はalabama のtype は stateであると意味する. type リレーションに対するオブジェクト エンティティとして，5つのエンティティ：state， city, river, mountain, lakeを我々のKBに

2) https://cs.stanford.edu/ pliang/software/表 2 GEO データセットと GEO 1380 における平均 Acc@k.

追加した.この KB は地理ドメイン内の 11 リレー ション, 1,275 エンティティ, 2,250トリプルを含む. さらに, 新たな $500 \mathrm{QA}$ ペアを人手で作成し $\mathrm{GEO}$ データセットを拡張した.この拡張したデータセッ トを“GEO 1380” と呼ぶ. 1,000 サンプルを学習に， 380 サンプルをテストに用いた.

## 4.2 結果

表 2 に GEO データセットと GEO 1380 における 全てのモデルのテスト 3 実行分の平均 top-1 accuracy (Acc@1) と top-10 accuracy (Acc@10)を示す.“+KM” と“+P” はそれぞれ提案手法である知識メモリユ ニット (KM) の追加，プロセッサユニット (P) の追加を表す.

GEO データセットにおいて, rsDNC+KM+P は Acc@1 で最も良い結果を達成し，DNC-DMS+KM は Acc@10で最も高いスコアを得た. GEO 1380 デー タセットでは， rsDNC+KM は他のモデルを上回っ た. QA タスクに特化した $\mathrm{rsDNC}$ を基にしたモデル は良い結果になる傾向がある. 提案モデルのほとん どはオリジナルのモデルより低いが，提案手法のポ イントは異なるハイパーパラメータだと上回ること があるため，アーキテクチャによるものだとは考え ていない. すべてのスコアが GEO 1380 で上がった ため，より大きなデータセットはモデルの精度向上 に有効である.

表 3 に，GEO 1380 データセットにおける全ての モデルの各質問タイプのテスト 3 実行分の平均 Acc@10を示す.

Simple : 1Hop は “What states border Texas?” のよ うに質問文が 1 つのリレーションを含むことを意味する. 例えば, “What states border states that border states that border states that border Texas?” は 4 つのリ
表 3 GEO 1380 データセットにおける各質問タイプの平均 Acc@10.

レーションを含むため，この例は4Hop である. 1 Hop は GEO と GEO 1380 の両方の $30 \%$ 以上を占めるた め，このタイプで高いスコアを得ることが全体の良 い結果につながる. 4Hop のポイントが 2Hop のポイ ントより高いのは，4Hop の方が 2 Hop より難しい にも関わらず奇妙に思えるかもしれないが，これ は 4Hop のサンプル数が少ないせいだと考えられ， multi-hop のサンプルを拡張する必要がある.

Superlatives : Argmax は "What is the largest state?”のように質問文が “largest”, "highest”, "longest” などといった単語を含むことを意味する. Argmax と Argminにおいて, rsDNC+KM+Pが最も高いスコアを 得た. superlativesの他のタイプでは, rsDNC+KM+P はトップスコアに届かなかったが，それでもべスト なモデルと比べて遜色ない.

Comparatives : このタイプは “What states high point are higher than that of Colorado?” のように 3 つの 表現：More, Less, Major を扱う. ホップ数が増える と，スコアは下がった.

Negation : Not は “What state has no rivers?” のよ うに質問文が否定表現を含むことを意味する. 我々 の rsDNC+KM は他のモデルを上回った.

Calculation : このタイプは "How many states are in the USA?” のように 3 つの演算: Count, Density, Sumを扱う. Count とSumのポイントは他のタイプ
と比べて比較的高い一方で，Density の結果はとて も低い。

## 4.3 課題

質問タイプ数のバランスを取るためにデータセッ トをより拡張する必要がある。また，GEO データ セットのサイズは僅か 880 であり，拡張を行なって もまだ 1380 であり，ニューラルネットワークの学習には小さすぎるため，WikiTableQuestions [10]のよ うな大規模データセットを用いて学習することが望 まれる。

## 5 おわりに

3 つの DNC モデル，vanilla DNC, rsDNC, DNC-DMS に知識メモリとプロセッサを追加し，実験を行い，背景知識や単純な算術演算と論理演算を必要とす る質問応答タスクに対して効果を分析した. 提案し た rsDNC+KM+P と DNC-DMS+KM はそれぞれ GEO データセットにおいて平均 Acc@1 と平均 Acc@10 で最も良い結果を達成した. さらに，提案モデル rsDNC+KM は GEO 1380 データセットにおいて平均 Acc@1 と平均 Acc@10 の両方で他のモデルを上回っ た. 今後の課題では，提案モデルに順次実行，条件分岐，反復といった制御命令を処理するアーキテク チャを加えて改良したい。

## 謝辞

本研究は JSPS 科研費 JP20J23182 の助成を受けた ものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-XL: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, Florence, Italy, July 2019. Association for Computational Linguistics.

[3] Jack W. Rae, Anna Potapenko, Siddhant M. Jayakumar, and Timothy P. Lillicrap. Compressive transformers for long-range sequence modelling. CoRR, Vol. abs/1911.05507, , 2019.

[4] Pedro Henrique Martins, Zita Marinho, and Andre Martins. $\infty$-former: Infinite memory transformer. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5468-5485, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Alex Graves, Greg Wayne, and Ivo Danihelka. Neural turing machines, 2014. cite arxiv:1410.5401.

[6] Alex Graves, Greg Wayne, Malcolm Reynolds, Tim Harley, Ivo Danihelka, Agnieszka Grabska-Barwińska, Sergio Gómez Colmenarejo, Edward Grefenstette, Tiago Ramalho, John Agapiou, Adrià Puigdomènech Badia, Karl Moritz Hermann, Yori Zwols, Georg Ostrovski, Adam Cain, Helen King, Christopher Summerfield, Phil Blunsom, Koray Kavukcuoglu, and Demis Hassabis. Hybrid computing using a neural network with dynamic external memory. Nature, Vol. 538, No. 7626, pp. 471-476, October 2016.

[7] Jörg Franke, Jan Niehues, and Alex Waibel. Robust and scalable differentiable neural computer for question answering. CoRR, Vol. abs/1807.02658, , 2018.

[8] Róbert Csordás and Jürgen Schmidhuber. Improving differentiable neural computers through memory masking, de-allocation, and link distribution sharpness control. CoRR, Vol. abs/1904.10278, , 2019.

[9] John M. Zelle and Raymond J. Mooney. Learning to parse database queries using inductive logic programming. In Proceedings of the Thirteenth National Conference on Artificial Intelligence - Volume 2, AAAI'96, p. 1050-1055. AAAI Press, 1996.

[10] Panupong Pasupat and Percy Liang. Compositional semantic parsing on semi-structured tables. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 14701480, Beijing, China, July 2015. Association for Computational Linguistics.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[12] T Tieleman and G Hinton. Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. 2012.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[15] M. Stone. Cross-validatory choice and assessment of statistical predictions. Roy. Stat. Soc., Vol. 36, pp. 111-147, 1974.

## A 実験設定

すべてのモデルのハイパーパラメータは主に [6] に基づく；隠れ層サイズ 256 の 1 層 LSTM [11]，バッ チサイズ 2 , 学習率 $1 \times 10^{-4}$, メモリ次元 $256 \times 64$,読み出しへッド数 4 , 書き込みへッド数 1 , モメ ンタム 0.9 の RMSProp オプティマイザ [12]. [7] に 従い rsDNC [7] のドロップアウト率は $10 \%$ とした. HuggingFace ${ }^{3)}$ bert-base-uncased model を隠れ次元 768 の BERT [13] encoder に使用した。数字は [14] を参考に 1 标ずつ分割した. 5 分割交差検証 [15] で 5 エ ポックずつモデルを学習させた. ランダムな初期化 の下で各モデルを 3 回実行し, 平均の結果を報告 する.

知識ベースを用いて知識メモリを構築するため に，3つのオリジナルモデルをメモリ次元 $256 \times 64$ で， 5 分割交差検証で 10 エポックずつ学習させた.他の設定は前述の通りである. DNC, rsDNC, DNCDMS の top-10 accuracy はそれぞれ 78.90\%, 78.39\%， $79.63 \%$ だった. 知識メモリ構築に用いる事前学習モ デルと提案手法に用いる学習モデルは同じ種類で ある。つまり，DNCを用いて学習した知識メモリ が，DNCをべースとした提案モデルで使用される。

## B データセット

GEO データセット [9] と GEO 1380 の各質問タ イプ数を表 4 に示す. Compound タイプは “How many states have a higher point than the highest point of the state with the largest capital city in the U.S.?”のよう に 4 つのタイプ: Superlatives, Comparatives, Negation, Calculationを複合した質問文を扱っており，さまざ まな組み合わせが用意されている。


# 地方自治体の子育て支援事業比較表作成ツールの開発

金田 大海 多田 紘佳 中村 誠
新潟工科大学 工学部
mnakamur@niit.ac.jp

## 概要

近年, 少子高齢化が深刻化しており, それに伴い 総人口が減少傾向にある. 本研究の目的は, 地方自治体（以降，自治体という.)の子育て支援事業の類似事業をまとめ、比較が行なえる表を出力するツー ルの開発である.これにより, 自治体の独自事業の 発見が期待できる. そのために本研究では, 子育て 支援事業の内容を自治体のウェブサイトから取得し， TF-IDF を用いた SVM による文書分類により, 必要項目と不要項目を分類した後, 必要項目についてク ラスタリングを行い，類似する事業をまとめ表を作成し出力するツールを開発する。

## 1 はじめに

近年, 少子高齢化が深刻化しており, 2015 年には 65 歳以上が約 $26.6 \%$ 、 15 歳未満が約 $12.5 \%$ であった のが、2045 年には 65 歳以上が約 $36.8 \%$ に増加、 15 歳未満が約 $10.7 \%$ と減少するとされている。それに 伴い総人口が減少傾向にある [1]. 特に, 少子高齢化 による人口減少は小規模な自治体ほど顕著に表れて いる. また, 少子高齢化により「社会保障分野の負担の増大と手取り収入の減少」や「生産年齢人口減少による経済成長の低下」などの問題が発生してい る [2]. これらの問題に共通する原因は, 生産年齢人口の減少である. このことから, 少子高齢化社会を 改善していくには、人口減少の多い自治体で生産年齢人口の減少を止めていかなければならない. そこ で現在, 少子高齢化対策としてそれぞれ子育て支援事業などを用意して出生率増加を図っており, ウェ ブサイトで確認できる. ところが, 子育て支援事業 は各自治体のウェブサイトで独立して提示されてい るため, 自治体間の比較が難しい. そこで, 子育て 支援事業を 1 つの表にまとめることで比較しやすく なると考えられる。

類似している事業の対応付けを行う手法の研究は すでに行われている [3]. この研究では, 自治体のウ ェブサイトの HTML 内にあるアンカーテキストに着目し，編集距離を用いて対応付けを行っている. ここから, 比較結果として精度は高くないが類似事業の対応付けは有効であると分かる.

したがって，本研究の目的は，各自治体の子育て 支援事業の類似事業の比較表（以降,「比較表」と いう。）を出力するツールの開発である. 利用者は, このツールを開発することで，各自治体が子育て支援事業にどれだけ力を入れているか可視化ができ，他の自治体にはない独自の事業を発見できる.また，各自治体は自身の自治体に足りない事業を発見でき ることから，事業の充実が期待できる。

本研究では，子育て支援事業の内容を自治体のウ エブサイトの HTML から取得し, TF-IDF ベクトル を用いた SVM による文書分類で必要事業と不要事業を分類し，必要事業についてクラスタリングを行 った結果を表にして出力するツールの開発を行う.

## 2 背景

ここでは, 本研究の目的である比較表を出力する ツールの必要性について示す. また, 本研究で使用 しているクローリングと web スクレイピング, SVM，クラスタリングについて説明する。

## 2.1 子育て支援事業

本研究で対象としている子育て支援事業とは, 子育てに関係する行政事業の一群を指す。これらにつ いて，全国の自治体でウェブサイトを用意し提示し ている。図 1 は，柏崎市のウェブサイトである．図 1 のように, 多くの自治体では事業ごとにウェブペ ージを用意しており，そのウェブページに事業の内容などが掲載されている。図 2 は，柏崎市の览童手当のウェブページである. 中には，1つのウェブペ ージに複数の事業をまとめて掲載している自治体も ある.このように，ウェブページに記載されている ため, クローリングを用いることで事業の内容を収集することが可能である.

図 1 柏崎市の事業が提示されている ウェブサイト

図 2 柏崎市の児童手当のウェブページ

## 2.2 比較表

本システムにおける比較用の例を表 1 に示す．新潟県新潟市の「安産教室」や岡山県奈義町の「出産祝金」は独自の事業であることと, 岡山県奈義町に は里親制度の事業が足りないことが一目で分かる.比較表作成における問題の本質は，自治体間におい て類似事業を発見することにある。

表 1 子育て支援事業比較表の例

 &  &  \\

## 2.3 クローリングと web スクレイピング

クローリングとは, ウェブサイトから HTML など の情報を収集することであり，web スクレイピング とは，クローリングにより web サイトから取得した HTML データを解析し, 特定のデータを抽出するこ とである.

本研究では，新潟県内の 23 の自治体と岡山県奈義町を対象に，子育て支援事業に関係すると思われ る「妊娠出産」と「子育て」の 2 つのカテゴリーの 事業を対象にそれらが書かれているウェブページの クローリングを行う。また，内容が書かれているウ ェブページをスクレイピングによってテキストファ イルに書き出す.

## 2.4 SVM

SVM は, 2 クラスのパターン識別器を構成する手法である。学習モデルから，「マージン最大化」と いう基準で線形しきい素子のパラメータを学習し,計算によって 2 值のクラスをつくる [4]。本研究で は分類方法として「ソフトマージン」を用いる.

本研究では, SVM により子育て支援事業に関係し ている事業としていない事業に分類するために用い ている. スクレイピングにより取得したテキストに は，給付金や支援などの事業のみならず，図 3 のよ うにイベント等の一覧しか書かれていないものや表彰関係，おたよりや報告などと子育て支援のための 情報提供には不要な, ウェブページが含まれている.

図 3 不要なウェブページの例

## 2.5 クラスタリング手法

本実験では階層的手法を用いる. 階層的手法とは，最も類似度の高い組み合わせからまとめる手法であ る. 階層的手法には，クラスタ間における距離の求 め方が複数存在する。主な手法は，「群平均法」，

「重心法」，「完全リンク法」，「メジアン法」，「単リンク法」，「ウォード法」，「重み付き平均法」である.
本研究では，各自治体におけるさまざまな子育て 支援事業を対象に, TF-IDF でベクトル化し, それか らコサイン類似度を計算する。その計算結果を用い てメジアン法でクラスタリングを行う。メジアン法 とは，それぞれの重心にクラスタ内の個数に応じた 重み付けを行い、それぞれのクラスタの重み付けし た重心間距離の 2 乗をクラスタ間の距離とする手法 である。

## 2.3 評価手法

比較表の精度については, purity と inverse purity の 2 つから求められる $\mathrm{F}$ 值で評価することが出来る [5]. 図4 に正解クラスタとクラスタリング結果の関係を示す. 同じ図形は類似事業を示している。

図 4 正解クラスタとクラスタリング結果の関係

Purity とは, 図 4 下部の各クラスタにおいて最も よく現れるカテゴリーの出現頻度に注目し, クラス 夕内においてそのカテゴリーが占める割合が大きい ものを高く評価する評価尺度であり, 式 (2) で求ま る.

$
\text { Purity }=\sum_{i} \frac{\left|C_{i}\right|}{n} \text { maxPrecision }\left(C_{i}, L_{j}\right)
$

このとき, C は評価対象とするクラスタ集合， L は 人手で作成したカテゴリー集合, $\mathrm{n}$ はクラスタリン グ対象の文書数である. また, あるカテゴリー $L_{j}$ に 対するクラスタ $C_{i}$ の適合率は式 (3) によって求めら れる。

$
\operatorname{Precision}\left(C_{i}, L_{j}\right)=\frac{\left|C_{I} \cap L_{j}\right|}{\left|C_{i}\right|}
$

Inverse purity とは, 図 4 上部の各カテゴリーに対 して最大の再現率となるクラスタに注目し, クラス 夕内において各カテゴリーで定められた要素を多く 含むクラスタを高く評価する評価尺度であり, 式(4) で求まる.

$
\text { InversePurity }=\sum_{j} \frac{\left|L_{j}\right|}{n} \operatorname{maxRecall}\left(C_{i}, L_{j}\right)
$

このとき，あるカテゴリーに対するクラスタの再現率は式（5）によって求められる.

$
\operatorname{Recall}\left(C_{i}, L_{J}\right)=\frac{\left|C_{i} \cap L_{j}\right|}{\left|L_{j}\right|}
$

また, purity と inverse purity の調和平均 $\mathrm{F}$ は式（6) により定義される。

$
F=\frac{1}{\alpha \frac{1}{\text { Purity }}+(1-\alpha) \frac{1}{\text { InversePurity }}}
$

本研究では $\alpha=0.5$ として評価を行った.

なお、図 4 における purity は 0.6 , inverse purity は 0.65，F 値は 0.62 となる

## 3 提案手法

本研究の各自治体の子育て支援事業の比較表を作成するツールの流れは以下の通りである.

1. あらかじめ各自治体のウェブサイトから，事業内容が書かれている本文を抽出し，テキストフ アイルにする.

2. チェックボックスを用いたユーザーインターフ エースで比較する自治体を選択する

3. 選択した自治体のテキストファイルを参照する

4. 参照したテキストファイルから, 子育て支援事業に必要な項目と不要な項目をSVM を用いて 分類する.

5. 必要項目に分類した方を, TF-IDF でベクトル化 し, $\cos$ 類似度を用いたメジアン法のクラスタリ ングによって比較表を出力する.

このときの、チェックボックスを用いたユーザーイ ンターフェースを図 5 に, 出力結果を図 6 に示す.

類似している事業の対応付けを行う手法の研究 [3]では，「編集距離」を用いているが比較表の精度 は高くなかった. そこで, 本研究では TF-IDFベクト ルを用いた $\cos$ 類似度によりクラスタリングを行う ことで精度の向上を目指す.

図 5 ユーザーインターフェース

図 6 出力結果の一部

## 4 実験

## 4.1 実験の目的

文書分類を用いない比較表作成ツールにより，ク ラスタリングにメジアン法を用いて比較表を作成し たところ, $\mathrm{F}$ 值は 0.371 となった. しかし, この比較表には子育て支援事業と関係のないものも含まれ ていた。そのため, 不要項目を含むか否かで精度は 変わると考えた. また，この比較表は異なる分野の 事業が一緒になっていたため, 分野別で比較表を作成することで見やすい表となり, 精度も向上すると 考えた。そこで，本実験の目的は，文書分類を用い て不要項目を分類し必要項目のみで比較表を作成す ることと, 分野別で作成することで, クラスタリン グの精度が向上するのか検証する．正解データは，不要な項目も考えたデータを新しく用いる.

## 4.2 実験方法

本実験では，新潟県柏崎市，新潟県新潟市，岡山県奈義町の 3 つの自治体を対象とし, 不要項目の分類を行うか否かでモデルの性能を比較する. 分野別 については, 「妊娠出産」と「子育て」の2つの分野を対象とし，それぞれで分類を行ったモデルの性能と文書分類を行ったモデルの性能で比較を行う.性能の比較には, 評価手法を用いた精度の評価を行 う.このとき，カテゴリー集合である正解データ は，人手によって 3 の自治体の子育て支援事業の みを対象に類似事業を対応付け，それ以外を不要な 事業としてまとめた表を用いた。

## 4.3 実験結果

分類の有無について，3つの自治体で作成した比較表の評価結果を表 2 に示す. 1 行目は不要項目の 分類を行っていない場合， 2 行目は行った後のクラ スタリングの結果を表している。

表 3 分野別による評価結果

また, 分野別で作成した比較表の精度の評価結果を 表 3 に示す。

比較表の精度について不要項目の分類を行うか否 かで比較すると, $\mathrm{F}$ 值が約 0.144 向上した. これらに より, 不要な項目がなくなることで, 比較表の精度 が向上したと考えられる。また，このとき作成した 表は，不要な項目がなくなったため類似事業が分か りやすい表となった．参考までに，クローリングや スクレイピングが完全で, 不要項目が存在しない場合の性能を表 2 の 3 行目に示す.

分野別の精度について，表 2 と表 3 の $\mathrm{F}$ 値から，分野別にすることで約 0.029 向上した.この値より,分野別にすることで SVM とクラスタリングの精度 が向上したのではないかと考える.このとき作成さ れた表は, 分野別になっているため, 分野ごとの事業が分かりやすい表となった。

## 5 おわりに

実験から，SVM を用いて分野別に作成することで，不要な項目を無くし，比較表の精度を向上させるこ とが出来た. また, 分野別にしたことで見やすい表 となった。これらにより, 子育て支援事業の比較表作成ツールを開発することが出来た。

今後は，SVM の教師データを増やすことや，比較表の精度のさらなる向上を目指す.

## 謝辞

本研究は, 科学研究費補助金 (19H04427, 代表 :

中村 誠）の助成を受けたものである.

## 参考文献

[1] 河合雅司, 未来の年表 人口減少日本でこれか ら起きること, 講談社現代新書, 2017

[2] 厚生労働省, 少子化の影響と主な対策に関する 整理, (引用日: 2023 年 1 月 5 日.)https://www.mhlw.go. jp/shingi/2002/06/s0614-3a.html

[3] 多田紘佳, 中村誠, 地方自治体ウェブサイトから 得られる子育て支援に関する行政サービスの比較,電子情報通信学会信越支部大会, P-30 (2019)

[4]サポートベクターマシン入門, 栗田多喜夫, 産業技術総合研究所 脳神経情報研究部門, 2002

[5] 杉山一成, 奥村学, 半教師有りクラスタリングを 用いた Web 検索結果における人名の曖昧性解消, 自然言語処理, 16 巻(2009) 5 号


# 算術問題におけるニューラルモデルの構成的推論能力

工藤慧音 1 青木洋一 1 栗林樹生 ${ }^{1,2}$ Ana Brassard ${ }^{3,1}$
吉川将司 1 坂口慶祐 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{keito.kudo.q4, youichi.aoki.p2 \}@dc.tohoku.ac.jp
\{kuribayashi, yoshikawa, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp
ana.brassard@riken.jp

## 概要

未知の問題への汎化を達成する上で，問題の構成要素を捉え既知の知識を組み合わせる能力が重要と なる.しかし，近年の言語モデルがどの程度構成性 を捉えられているかは記号推論の文脈ではまだ明ら かでない. そこで本研究は, 多段算術記号推論デー タセットを用いた実験を行い，構成的推論能力の検証を行なう，具体的には，問題の複雑さを整理した スキルツリーを定義し統制的に分析する. 実験の結果，言語モデルは体系性の習得が最も困難であり，単純な数式の組み合わせに対する汎化でさえ難し かった. また追加の分析から, 入力系列に書かれな い知識へのアクセスが必要な問題で, 体系性に対す る汎化が特に困難である明らかとなった。

## 1 はじめに

近年，ニューラルモデルに関する技術の発展によ り機械による自然言語理解は大きく進歩し, 多くの タスクがニューラルモデルによって解決されるよう になってきた. しかし, 言語処理を行う上で必要な 要素の 1 つである記号推論能力のニューラルモデル との融合については，重要な目標の 1 つとして $[1,2]$調査が進行中である [3]. 現状，ニューラルモデル がどの程記号推論を実現については相反する結果が 報告されている．例えば，ニューラルモデルが多段推論をある程度解くことができると報告する研究も ある一方 [4], 単純な記号演算を行うことさえ困難 であるとするものも存在し [5], どのような観点・条件において, どの程度の推論が実現可能なのかと いった統制的な分析が必要とされている.

本研究では，多段算術記号推論データセットを用 い，問題の複雑さを制御しながらニューラルモデル の多段推論能力を評価する. 特に，未知の問題への

図 1 算術記号推論における構成性の種類

汎化の際に重要となる構成性に焦点を当てて分析を 行う. 具体的には, 図 1 に示すように，(i) 体系性, (ii) 生産性，(iii) 代入可能性という3 3つ構成性を軸 として調査を行い, 単純な問題設定で学習したモデ ルが，そこで学習した要素を組み合わせ一段複雑な 問題を解けるかという，言語モデルの構成的な汎化性能を評価する。

モデルの能力を系統的に調査するために, 図 2 に示すように, 算術記号推論の複雑さを階層的に 定義した構成性に関するスキルツリーを導入する. (スキルツリーは教育学の分野において，段階的な 学習過程を可視化するための手法を示す用語であ る [6]. )この階層を足がかりに，ニューラル言語モ デルの構成的なの限界を明らかにする。主な実験結果は以下の通りである.
- 3 種類の構成性の中で体系性への汎化が最も困難であり, 比較的単純な組み合わせであっても 汎化を達成することが困難である。
- 特に, 入力系列中に明示されていない知識を要 する問題において体系性に対する汎化への困難度が増す。

・本実験の範囲では，途中の推論過程をモデルに 学習させた場合であっても, モデルが体系性を 捉えることは困難であった.

## 2 問題設定

典型的な記号推論（手続き型プログラミング言語，アセンブリ言語など）は，少なくとも3つの基本的な記号操作，代入 $(\mathrm{a}=2)$, 算術演算 $(1+2)$, 参照 (a=?) で構成される. そこで，これら 3 つの基本演算を組み合わせた以下のような多段算術推論問題を 解くことを目標とする。

問題： $A=1, B=2, C=A+2, C=$ ? 答え： 3

最後に特定の変数に代入されている値を問われ る. 答えは必ず一意に定まり，問題設定によって は，最後の問いに直接関わらない数式が含まれる. また，問題は以下の 5 種類の基本的な数式を並べ合 わせることで生成される：(i) $A=1$ （代入），(ii) $A=B$ (参照\&代入), (iii) $A=1+2$ （演算\&代入), (iv) $A=B+2$ (演算\&代入\&参照，参照)，(v) $A=$ ? (参照).

このような算術推論データセットでは，問題文中 の数や推論の複雑さを自由に制御することが可能で あり，統制した実験を行うために適している。自然言語でのモデルの推論能力評価という視点からは,自然言語の表現の多様さといった難しさとは切り分 けて，純粋な算術推論能力を調査する試みと見るこ とができる. また, 本研究で考える算術推論の問題 は，DROP [7] に見られるような自然言語の算術推論問題に自然に変換することが可能である.

## 3 算術推論におけるスキルツリー

## 3.1 多段記号推論における構成性

構成的な汎化を体系性，生産性，代入可能性の 3 つの軸に分解する [8]. これらの軸を基準として， ニューラル言語モデルがどの程度構成に対する汎化 を達成できているかを評価する。

体系性 (systematicity) は，既知の異なる概念を組 み合わせてより複雑な概念を理解する能力であ る.この能力を評価するため, 初めに，数種類 の基本的な処理 (例: 加算 $A=1+2, A=$ ? や選択参照 $A=1, B=2, B=$ ?) の学習を行う. その後, 学習した基本的な処理の組み合わによって構成される問題（例 : $A=1+2, B=2+3, B=$ ?) における性能を測定する.

生産性 (productivity) とは既知の短い問題の解き方 をもとにして，より長い問題や複雑な問題を理解す る能力のことである。この能力を評価するため，初 めに, 短い数式 (例: $A=1+2, B=2+3, B=$ ?) でモデルの学習を行う. その後, 同様の問題形式のより長い問題

図 2 構成的な汎化能力を評価するためのスキルツリー.事前学習に利用した基本演算は灰色，WA を計算するため のファインチューニング用いたデータは水色で示してい る. 各辺に示した“sys” (=体系性) “prod” (=生産性) はそ れぞれ，増加する複雑さの種類を表している。

(例: $A=1+2, B=2+3, C=3+4, C=$ ?) を解いたときの性能 を測定する。

代入可能性 (substitutivity) は，問題中の特定の構成要素が他の (見たことがない) 構成要素に置き換 わった場合であっても，変わらず推論を行うことが できる能力である.この能力を評価するため，学習時に見たことがない語彙が問題文中に現れた時 に，ニューラルモデルは推論することができるかど うかを測定する．具体的には，学習時とテスト時 で問題文に用いる変数名を変えて実験を行う（例： $A=1+2, A=$ ? で学習を行い，その後 $\alpha=1+2, \alpha=$ ? を解 くことができるかを評価する）.

## 3.2 スキルツリー

記号推論の複雑さを（階層的に）整理した構成性に関するスキルツリーを導入し，組み合わせの複雑さが異なる問題を用いて段階的にモデルを評価す ることで，多段記号推論におけるニューラル言語モ デルの弱点を正確に明らかにする。

具体的には，10 種類の記号推論タスクを設計す る. 各設定の概要と設定間の階層的な関係を図 2 の スキルツリーに示す. 各頂点が複雑さの異なるタス ク設定に対応し，各辺が階層的な複雑さの増加を表 す. 各設定のデータについては，図 2 に記述された 例題と同じ式の形式で問題を作成しており，変数 (A，B など) と数字 (1，2など) のみ無作為に変更し てデータセットを作成する（詳細は Appendix C を
表 1 それぞれの設定における正解率を示している. “task” の行は各設定におけるドメイン (学習 $\rightarrow$ 評価)を表 している。それぞれのタスク設定はスキルツリー (図 2) の値に対応している. “type” の行はそれぞれの設定にお いて評価の対象としている構成性の種類 (“sys.” = 体系性 “prod." = 生産性, “subst." = 代入可能性) を表している.

参照）。いずれも，一連の記号推論の後に問われた 変数に格納された数值を出力する問題である.

## 4 実験

## 4.1 実験設定

学習とテストの設定の組み合わせを適切に選択 することにより（例えば，図 2 のタスク $1 ， 2$ を学習ドメイン，4を評価ドメイン)，モデルの構成的 な汎化能力を多面的に評価した。例えば，タスク 1 $(A=1+2, A=?)$ と $2(A=1, B=2, B=$ ? )を学習データ, タス ク $4(A=1+2, B=2+3, B=$ ? を評価データとして, 演算操作 $(a+b)$ と参照操作 ( $A=c, B=d, B=$ ?) に対してモデ ルがどれだけ汎化しているのかを評価できる。

形式的には, $\mathscr{D}_{\text {train }}=\left.\{d_{\text {train1 }}, \cdots d_{\text {traink }}\right.\}$ と $d_{\text {test }}$ がそ れぞれ学習ドメイン集合と評価ドメインを表すもの とする.ここで，「ドメイン」とは，スキルツリー (図 2) の特定の頂点に相当する.

学習設定: 学習用ドメイン $d_{\text {train }}$ の学習データと, 各学習ドメインの問題を解くのに要する基本演算 (代入, 算術演算, 参照) によって構成された学習デー
タの和集合を用いてモデルを学習する． 5 エポック 続けて検証データセットにおける正解率が上がらな い，または正解率が $100 \%$ に到達した時点で学習を 停止する.

評価設定: テストドメイン $d_{\mathrm{test}}$ のテストデータに対 する正解率を計算する．ここでは，学習の効率を測 るために, (i) ゼロショット正解率 (ZA) と (ii) 加重平均正解率 (WA) という 2 つの指標を用いた [9]. WA の測定では，テストドメイン $d_{\text {test }}$ の学習データを用 いてモデルを追加で学習し，モデルのパラメータを 更新する度に検証データにおける正解率を測定し 加重平均を算出した（詳細は Appendix A を参照の こと).

モデルと事前学習: 事前学習済みの系列変換モデル として広く使われている T5 [10] の 3 種類のサイズ （base，large，xl）を使用した. 実験は事前学習した パラメータを初期値として行った。これは，最終的 な目標は自然言語上での数量推移論 (記号推論) 問題 を解くことにあるためである.

## 4.2 実験結果

表 1 の 1 列目に示した 9 つの学習ドメインと評価 ドメインの組み合わせについて実験を行った（学習 ドメイン $\rightarrow$ 評価ドメイン)．6つの設定については 体系性に対して，残り 3 つの設定は生産性に対する 汎化性能を評価した. さらに，各設定において，訓練ドメインで用いた変数名とは異なる変数名（例え ば，Aの代わりに）を用いた評価データを用いて，代入可能性に対する汎化性能の評価を行った.

表 1 に実験結果を示した. 実験の結果以下の 4 つ の傾向が見らた.

・体系性に対する汎化は生産性に対する汎化に比 べて困難であった。
- 単純な基本演算の組み合わせ (例: $1,2 \rightarrow 4$ ) で あっても，少数の学習データからの汎化は困難 であった.

・代入可能性に対する汎化は達成できた.

・モデルサイズによって性能に (特に ZA につい て) 大きな差は見られなかった.

また，意味解析の文脈でニューラルモデルが体系性に対する汎化能力を欠くことが示唆されていた [11]. 今回の結果は算術多段推論の文脈における, この知見を裏付けるものでもある。ここで，体系性 に対する汎化を検証する設定 $(2,3 \rightarrow 5)$ に着目し，

“String” は算術演算の代わりに文字列演算を用いた場合の 結果である. “Step” は途中の推論過程を生成させた場合の 結果である.

ニューラルモデルがなぜこの設定において苦戦する のかを理解するため，この設定における複雑さを分解し，追加のモデルの性能の分析を行った.

体系性に対する汎化の難しさは算術演算に 起因するのか? 四則演算を文字列演算 (詳細は Appendix C を参照のこと) に置き換え，その他は同様の設定で実験を行った. 算術演算と文字列演算の 違いは，文字列演算は入力系列の要素をコピーする だけで実現できるのに対し（例：12+34=1234），算術演算（例：1+2=3） はモデルの内部に格納されて いる算術知識にアクセスする必要がある点である.

実験の結果，モデルサイズが大きい場合には，文字列演算では体系性の弱点を克服する傾向が見ら れた. (例：x-large モデルでのゼロショット精度で $86.9 \%$ ).このことから，入力には示されていない推論中に生成される中間情報へのアクセスが，体系性 に対する汎化の難しさの要因となっていると考えら れる。

## 途中の推論過程を見せることに効果はあるのか?先行研究において, 途中の推論過程をモデルに出力 させることで，ニューラルモデルの多段推論能力が 向上することが示唆されている $[12,13]$. 同様に途中の推論過程を明示的に生成させることで，先の分析で明らかとなった体系性に対する汎化の難しさが 緩和されるかを検証した. 具体的には，学習 (事前学習とWAを測定するための学習）時に途中の推論過程 $(A=1+2, B=2+3, C=4+5, B=? ; B=2+3, B=5)$ を出力す るようにモデルを学習させた. 正解率は，途中の推論過程を含む出力が完全に一致する割合とした. 実験の結果，途中の推論過程の生成による大きな性能向上は見られなかった（表 2). このことから，少 なくともこのような統制された実験環境において は，途中の推論過程を生成させる手法の効果は限定的であることが明らかとなった。

## 5 関連研究

ニューラルモデルの構成的な汎化能力の解析と算術多段推論問題については，個別に研究がなされて きた. 本研究はこれら 2 つの研究の方向性を統合し たものである. ニューラルモデルの構成的な汎化能力については, SCAN [3], COGS [11], CFQ [14] な どのデータセットを用いて分析が行われてきた。こ れらは主に意味解析の文脈での構成性に着目してお り，記号推論における構成的な汎化能力には着目し ていない。算術推論に関しては，DROP [7]などのべ ンチマークを用いてニューラルモデルの能力を分析 することが一般的である。しかし，最近このような データセットにはタスクを解くための表面的な手が かりがあることが報告されている [15]. そのため, ニューラルモデルが実際にどの程度の算術推論を実現しているか不明であった．統制されたデータセッ 卜を用いた本研究は，算術推論でのニューラルモデ ルの弱点を正確に把握することに寄与している.

## 6 おわりに

本研究では，構成的な汎化能力という切り口で，近年のニューラル言語モデルの算術多段推論能力の 分析を行った. ニューラルモデルの能力を体系的に 分析するため，多段記号推論データセットの複雑さ を整理したスキルツリーを定義した. 実験の結果， ニューラルモデルは体系性に対する汎化が弱点で あり，単純な構成要素を組み合わせに対する汎化で あっても達成できないことが明らかとなった。ま た，追加の実験を通して，入力系列に書かれていな いモデルに格納された知識にアクセスする際に，体系性に対する汎化が特に困難となることが明らかと なった. さらに，途中の推論過程も生成させるよう に学習したモデルであっても，体系性を捉えること は困難であった。

今後は，自然言語上での記号推論実現を目指す。 そのために，本研究で明らかとなったような言語モ デルに不足した記号推論能力を，自由に設計できる 特徴がある形式言語で事前学習を行うことで獲得さ せることを目指す. その後，獲得した能力を後段の 自然言語タスクを解くために転移させるという枠組 みを想定している.

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 JP22H00524，21K21343 の助成を受けたものです. また，本研究を進めるにあたり多くの協力を賜り ました Tohoku NLP グループの皆様に感謝申し上げ ます。

## 参考文献

[1] Gary F Marcus. The algebraic mind: Integrating connectionism and cognitive science. MIT press, 2003.

[2] A Garcez and L Lamb. Neurosymbolic AI: The 3rd wave. CoRR, 2020.

[3] Brenden M. Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequenceto-sequence recurrent networks. In ICML, 2018.

[4] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. In Christian Bessiere, editor, IJCAI, pp. 3882-3890. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[5] Jing Qian, Hong Wang, Zekun Li, Shiyang Li, and Xifeng Yan. Limitations of language models in arithmetic and symbolic induction. CoRR, Vol. abs/2208.05051, , 2022.

[6] Gustavo Tondello and Lennart Nacke. A pilot study of a digital skill tree in gameful education. 102019.

[7] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In NAACL, pp. 2368-2378, Minneapolis, Minnesota, June 2019. ACL.

[8] Dieuwke Hupkes, Verna Dankers, Mathijs Mul, and Elia Bruni. Compositionality decomposed: How do neural networks generalise? (extended abstract). In Christian Bessiere, editor, IJCAI, pp. 5065-5069. IJCAI, 72020. Journal track.

[9] Alon Talmor, Yanai Elazar, Yoav Goldberg, and Jonathan Berant. oLMpics-On What Language Model Pre-training Captures. TACL, Vol. 8, pp. 743-758, 122020.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In EMNLP, pp. 9087-9105, Online, November 2020. Association for Computational Linguistics.

[12] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[13] Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, and Augustus Odena. Show your work:
Scratchpads for intermediate computation with language models. In DL4C, 2022.

[14] Daniel Keysers, Nathanael Schärli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, and Olivier Bousquet. Measuring compositional generalization: A comprehensive method on realistic data. In ICLR, 2020.

[15] Hadeel Al-Negheimish, Pranava Madhyastha, and Alessandra Russo. Numerical reasoning in machine reading comprehension tasks: are we there yet? In EMNLP, pp. 9643-9649, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. CoRR, Vol. abs/1804.04235, , 2018.
表 3 文字列演算の詳細.

 & $7873-73=87$ \\

## A WA の計算方法

4 章で述べたように，学習曲線を定量的に評価す るために, 加重平均精度 (WA)を導入した. この指標は, 初期の学習ステップにおける正解率に高い重 みを与えることで，汎化の効率（容易さ）を定量的 に評価するものである. 具体的には, 以下の式で重 み $w_{i}$ （i はモデルの更新回数）を算出した.

$
\begin{aligned}
w_{i} & =-a i+w_{\max } \\
a & =\frac{\left(w_{\max }-w_{\min }\right)}{N} \\
w_{\min } & =\frac{2}{(N+1)(\alpha+1)} \\
w_{\max } & =\alpha w_{\min }
\end{aligned}
$

ここで， $N$ はモデルの更新回数， $\alpha$ は初期の正解率にどれだけ重み付けするかを決めるハイパーパ ラメータである.この時, $\sum_{i=0}^{N} w_{i}=1$ となる. 本論文における，全ての実験では $\alpha=1000, N=100$ と した.

## B 学習設定

事前学習済みモデルとして T5 [10] (v1.1)を使用し た ${ }^{1)}$. モデルのパラメータ数は base, large, x-large それぞれ， 2.5 億， 8 億， 30 億である.

T5 のファインチューニングの設定に従い，最適化器には Adafactor [16] を使用し, 学習率のスケ ジューラは利用していない. 学習率は事前学習時は $1.0 \times 10^{-5}$, ファインチューニング時はで $5.0 \times 10^{-5}$, バッチサイズは 32 とした. 各モデルの学習は, NVIDIA A6000(48GB), A100(80GB) で行った.

事前学習: 事前学習を行うため, 各ドメイン (基本演算) ごとに 100,000 事例のデータを用意し, それ らを結合したデータによってモデルの学習を行っ た。ただし, 生産性に対する汎化能力の評価の際に は評価ドメインの数式よりも短い (構成要素が 1 つ

1) https://huggingface.co/docs/transformers/model_doc/ t5v1. 1少ない) データも含めて事前学習を行った．事前学習は検証データセットにおける正解率が $100 \%$ とな るか， 5 epoch の間正解率の改善が見られなくなる まで続けた。

事前学習の結果，全ての設定において事前学習に 用いたデータセットと同じドメインの評価データ セット (2,000 事例) において，少なくとも $99.5 \%$ の 正解率に達した.

ファインチューニング: ファインチューニング 時には，各ドメインごとに 3,200 事例のデータを用意した.これは WAを計算するために，モデルを 100 回更新する時に要するデータ数である. (バッチ サイズ $32 \times$ モデルのアップデート回数 100)

## C データセットの詳細

各設定において，数式に登場する数値は 0 から 99 までである. また，式の順番は任意である（必ずし も最初の式が先に計算されるべきとは限らない) こ とに注意されたい. 算術演算の演算子としては, 算術の加算 + , 減算-, 右の数のうち大きい方を返す max,左右の数のうち小さい方を返す $\min の 4$ 種類とし ている. また, 文字列演算の詳細については表 3 に 示す.


# 答弁の種類に着目した抽象型要約に基づく議会会議録質問応答

河合輝也 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 増山繁 ${ }^{2}$
1 豊橋技術科学大学大学 2 東京理科大学
kawai.teruya.ic@tut.jp akiba@cs.tut.ac.jp masuyama@rs.tut.ac.jp

## 概要

地方議会がウェブで公開している議会会議録は、長く複雑な構造をしているため読みづらく十分に活用されているとは言い難い。本研究では，住民が議事録を読まずに行政の疑問を解決できる質問応答手法を提案する。特に、対話、ニュース記事を複数 の側面から要約する研究を、本タスクに適用する。 まず、答弁要約のクラスを 4 種類定義し、サンプル から分布を調べた。その結果、ある議案に関して既 に行った対策・措置である「進捗」これから行う 対策・措置である「計画」が全体の $92 \%$ 占めてい ることを確認した。質問に対する回答を「進捗」と 「計画」に着目して要約するモデルを実装し、ベー スラインを大幅に上回る性能を示した。

## 1 はじめに

近年、地方議会が情報を一般公開し行政の透明化 を進めている。すべての都道府県議会が独自に情報公開の条例を新たに制定・改定し、現在は本会議の 会議録がインターネットで閲覧できる。本会議では 委員会の審議を通過した議案について質疑討論が行 われる。住民は会議の概要を「〜だより」のような 刊行物や各種報道を通じて知る。これらのメディア を通じて得られる情報は、多くの住民に影響がある ものや話題性が高いものが中心で議論すべてを網羅していない。ごく少数の住民に関係のある細かい 内容は報道されない場合も多く、詳細を知りたい住民は最終的に公開されている会議録を読む必要が ある。

議会会議録は複雑な構造で長く読みづらいという 問題がある。例えば、東京都議会の会議録は一括質問一括答弁形式になっている。ある場合には議員が 約 2 万 2 千文字で 7 つ質問した後に、知事が約 2 万 3 千文字で 7 つ答弁している。このように、挨拶や 議論とは直接関係ない話を含み長くなることと、一括質問・一括答弁で質問と答弁の対応関係が複雑な
ため、読みづらい。

本研究では、議会会議録を基に行政に関する質問 の回答を出力する質問応答を提案する。提案手法で は質問に関連する答弁を抽出・要約する際、特に答弁の種類に着目して設計した。東京都の職員が作成 した会議録の人手要約を分析し、4 種類にクラス定義、分類した。4クラス中の「進捗」と「計画」が 要約生成において重要な要素であるという仮説を立 て、モデルを実装した。

## 2 関連研究

質問応答 $(\mathrm{QA})$ システムは、一般的に質問分析、情報検索、回答抽出、回答選択の各要素から構成さ れる。初期の研究では、ルールベースや統計的手法 が用いられていたが、現在ではほとんどの研究が ニューラルネットワークを使用している。 $[1,2,3]$ $\mathrm{QA}$ システムが扱う質問は、ファクトイド質問とノ ンファクトイド質問に分けることができる。ファク トイド質問とは、名前、番号、場所など、事実に基 づいた答えを必要とする質問である。非ファクトイ ド質問とは、理由や事象の説明に基づく回答を求め る質問である。QA システムの研究では、ファクト イド型質問が主流だが、この研究ではより難易度の 高いノンファクトイド型に取り組む。

テキストの要約は、ニュース記事、論文、書籍な ど、様々な分野で研究されている。要約には、抽出型と抽象型の 2 種類がある。前者はテキストから単語を選択して文章を生成するものであり、後者は単語の意味情報を捉えて文章を生成するものである。抽出的要約の研究として、Kevin Knight と Daniel Marcu [4] は、文章を構造的に分析し、木構造にして 重要な情報を圧縮する方法を提案した。TextRank[5] は文章をグラフ構造で表し、各ノード間の関係から 要約を作成する。Latent Semantic Analysis[6] を用い たテキスト要約は、文の行列の特異値分解によりト ピックを計算し、文を選択するトピックベースの手法である。
最近の研究で注目されているのが抽象的要約であ る。Encoder-Decoder モデルを用いて、入力に存在し ない単語を出力することが可能になった [7]。これ は、Encoderが文を潜在的な表現に圧縮し、Decoder が圧縮された表現から文を生成するモデルである。抽象型要約は文の潜在的な意味を捉えた表現を可能にするが、しばしば冗長な情報や矛盾した情報を 生成してしまうという問題がある。Pointer-Generator Networks は、原文から単語をコピーできるアーキテ クチャを提案した [8]。また、Transformer は、RNN や CNNを用いず、Attention のみを用いた高速かつ 高精度な Encoder-Decoder モデルである [9]。

対話要約タスクをChen らはマルチビュー Sequence-to-Sequeuence モデルで取り組んだ [10]。分類モデルで会話構造を明確にし、対話要約の複数の ビューで生成した。ニュース記事のテキストをドメ インに合わせた複数の側面 (アスペクト) から要約 する研究がある [11]。クエリベースの要約は文書固有の質問に答えるが、実際のユーザーのニーズは多 くの場合、抽象的な疑問の解決であると著者らは考 えている。ニュース記事の属するドメインにあらか じめ定義された複数の側面から要約を生成する。例 えば、地震ドメインのニュースは震源地、震度など の地理的側面と被災者の状況、政府の対応などの被害・復興的側面から要約するように多様なニーズに 危える要約生成を著者らは提案した。

## 3 提案手法

提案手法を図 1 に示す。提案手法は抽出・要約フ ローをコンテンツ選択器と要約モデルで実装してい る。コンテンツ選択で答弁の「進捗」と「計画」を 抽出する。それぞれを要約モデルに入力し、進捗要約と計画要約を生成する。

東京都議会は会議録を職員が要約し「都議会だよ り」でウェブで公開している。人が要約を作成する 際どのような側面に着目するか調べるため、都議会 だよりの答弁要約を分類した。人手答弁要約は基本的に 1 2 文で構成されている。119 件の答弁要約 を文集合に分割し、答弁要約を分類した。答弁要約 のクラス定義とクラス分類結果を表 1,2 に示す。進捗・計画と分類されたものが全体の約 $92 \%$ 占め る。よって、その 2 つ側面から要約を生成するこ とを今回の方針とした。

## 3.1 コンテンツ選択器

都議会会議録は一括質問一括答弁形式で記述さ れているため、 1 発言が複数のトピック (話題) で 構成されている。質問に関する答弁部分を抽出す るため、答弁をトピック毎のセグメントに分割す る。Kanasaki ら [12] の研究を参考に、接続詞、開始表現、終了表現の辞書を作成、マッチしたテキ ストの前後で分割する。答弁をセグメント集合 $S=\left.\{s_{1}, s_{2}, \ldots, s_{n}\right.\}$ (n: トピック数) と表す。

次に、クエリ (質問とトピック)に基づいてセグ メント集合から 1 つのセグメントを選択する。セグ メントの検索には統計的手法である Okapi BM25[13] を用いる。提案手法におけるクエリは、質問とそれ に関するトピックである。セグメントを検索する際 に、質問とトピックは重要性が異なると考えた。質問 $q$ とトピック $t$ のスコアをそれぞれ BM25 で計算 し、重み $\alpha$ でバランスをとる、式 1 のように設計 した。

$
\bar{s}=\underset{s_{i} \in S}{\arg \max }\left(\alpha \operatorname{score}\left(s_{i}, q\right)+(1-\alpha) \operatorname{score}\left(s_{i}, t\right)\right)
$

予備実験により、 $\alpha=0.4$ のときセグメント選択の パフォーマンスが最大になることが分かった。ま た、セグメント選択手法は、Okapi BM25 と Sentence BERT[14]を比較した結果、今回のタスクでは前者 の手法が優れていたためこちらを採用した。

## 3.2 要約モデル

選択したセグメントからニューラルネット要約モ デルで要約を生成する。進捗・計画要約を 2 モデル で行う「進捗/計画要約 2 モデル」と 1 モデルで行う 「進捗/計画要約 1 モデル」の 2 つの手法を試した。図 2 に 2 つの要約手法を示す。2 モデルは進捗要約 モデルと計画要約モデルが独立して存在する。それ ぞれにセグメントを入力すると進捗要約、計画要約

図 1 提案手法

## ・進捗/計画要約2モデル

## $\cdot$進捗/計画要約1モデル

図 22 つの要約手法

が出力される。1 モデルは共通の進捗/計画要約モデ ルで進捗要約、計画要約を生成する。入力セグメン トにタグ付けすることで両者を区別し、進捗タグに は進捗要約、計画タグには計画要約が出力される。 1 モデルは共通のモデルによってデータセットが互 いに共有され、要約の性能向上に寄与することを期待した。進捗/計画要約 2 モデル、進捗/計画要約 1 モデルのいずれもセグメントを進捗・計画の側面か ら要約する進捗要約、計画要約を生成する。最終的 に進捗要約と計画要約を結合したテキストを質問に 関する回答 (要約)とする。

どちらの手法も、モデル学習のために答弁セグ メント-進捗要約、答弁セグメント-計画要約のソー ス・ターゲットペアが必要である。都議会だよりの 人手要約には進捗、要約の区別がない。ターゲット 側のデータ構築のため、人手要約を進捗要約・計画要約に分けるニューラルネット分類モデルを使用 した。人手要約は文単位に分割し、学習済みクラス 分類モデルによって進捗、計画、その他に分けられ る。進捗と計画に分類された文をそれぞれ進捗要約 モデル、計画要約モデルのターゲットとして学習に 利用する。分類モデルは、表 1 のクラス定義に従っ て 478 件の人出要約のラベル付けデータを作成し、学習させた。

## 4 実験

表 3 会議録のデータ構造 Volume(年月), Number(号), Date(日付), Title(会議録 の 表題), SpeakerPosition(発言者の役職), SpeakerName(発言者の氏名), QuuestionSpeaker (発言に対応する質問者の氏名と役職), Speaker (発言者の氏名と役職), Utterance(発言)

表 4 都議会だよりのデータ構造 ID(識別番号), MeetingName(会議名), Date(日付), Headlines (質問者の発言全体の要旨), SubTopic (サブトピック), QuestionSpeaker(質問者),

QuestionSummary(質問の要約), AnswerSpeaker (答弁者), AnswerSummary(答弁の要約)

## 4.1 データセット

東京都議会の会議録とその人手要約「都議会 だより」は Web で公開されている。NTCIR-16 QA Lab-PoliInfo-3[15] が提供する JSON 形式で構造化し た会議録、都議会だよりデータを使用した。会議録と都議会だよりのデータ構造をそれぞれ表 3,4 に示す。会議録データは発言 (Utterance) が 1 文が 1 フィールドで、その他の項目と共に構成されている。都議会だよりデータは質問要約 (QuestionSummary) や答弁要約 (AnswerSummary) などの項目が含まれ る。テストでは都議会だよりの AnswerSummary が 空欄で、会議録を基に推論を行う。

## 4.2 学習データ構築

要約モデルを学習するためには答弁セグメント進捗要約、答弁セグメント-計画要約のソース・ター ゲットペアが必要である。ソース側のセグメントは 式2のように選択した。

$
\bar{s}_{\text {train }}=\underset{s_{i} \in S}{\arg \max }\left(\beta \operatorname{score}\left(s_{i}, a\right)+(1-\beta) \operatorname{score}\left(s_{i}, t\right)\right)
$

答弁要約 $\mathrm{a}$ とトピック $\mathrm{t}$ から、beta $=0.95$ で BM25 によって各セグメントの類似度を計算、最も高いセ

グメントが $\bar{s}_{\text {train }}$ に代入される。

ターゲット側のデータ構築に利用した分類モデル は日本語 Wikipedia 学習済み BERT モデルをベース に転移学習を行った。以上より、進捗要約モデル、計画要約モデルのソース、ターゲットを作成し学習 を行った。

## 4.3 実装の詳細

要約モデルは日本語 Wikipedia 学習済み $\mathrm{T} 5$ モデル をべースに実装した。前処理として、Juman++[16] による単語セグメンテーションと、SentencePiece[17] によるサブワードセグメンテーションを行なった。

## 4.4 比較手法

LAST-1 最終文を抽出し要約とする最も単純な手法。ニュース記事要約タスクでは先頭文を抽出する LEAD-1 が一般に用いられるが、会議録の場合、最後に総括されることが多いため LAST-1 で行う。

要約 1 モデル答弁の種類 (進捗、計画)を考慮しない 手法。選択したセグメントを要約モデルのソース、答弁要約をターゲットとする。

NTCIR SOTA モデル 同様のタスクに取り組んだ他 チームの手法 [15]。セグメント選択時に質問と答弁 の 1 対 1 の対応関係を明確にしている。

## 4.5 評価結果

要約の評価は、NTCIR の評価方法に準拠し、リ ファレンスとの N-gram の重なりを図る指標である ROUGE を使用した。評価結果を表 5 に示す。F-1を 見ると、答弁の種類を他の考慮するモデルが比較手法のスコア上回っていることが分かる。答弁の「進捗」「計画」に着目した要約の有効性があったと言 える。また、進捗/計画要約 2 モデルと進捗/計画要約 1 モデルを比べると進捗・計画要約モデルは分け て実装した方が高いスコアを示した。1 モデルは要約そのものと進捗・計画要約の特徴を混在してしま い、区別して学習できなかった可能性がある。

表 6 に進捗/計画要約 2 モデルの出力例を示す。進捗要約を緑色、計画要約を青色で表した。フォー マットの観点から見ると、正解要約よりも生成され た要約は統一されている。生成要約はすべて進捗要約、計画要約の 2 文だが、正解要約は 3 例が計画要約のみ、 2 例が両方となっている。正解要約は人が 重要だと思った部分を可能な限り短い要約に収め ているため、要約者の主観で内容が変化する。一方表 5 ROUGE 評価結果

表 6 進捗/計画要約 2 モデルの出力例

 \\

水辺空間を生かした魅力ある都市の顔づくりを進めるため、未来の東京戦略ビジョンに外堀浄化プロジェクトを位置づけた。水源・水量の確保や導水路の整備方法など検討を進め、水の都 にふさわしい東京を実現。

都立産業技術研究センターにハ イオ技術を活用したへルスケア 産業への支援を開始。専門部署 を設置し、更なる発展を図る。正解要約

経済的支援策を着実 に実施するとともに 3 年度からの次期支援計画の改定を進め る。

コールセンター回線増設や聴覚障害の方 のファクシミリ受け 付け等、体制を充実。

導水の水源、水量の 確保や導水路の整備方法等を検討し、着実に進める。

都立産業技術研究セ ンターで支援開始。 2 年度は専門部署を 設置し取組を更に発展。

感染症対策本部を中心に課題を 検証。課題の検証を行い、今後懸念される感染拡大への備えに 万全を期す。

$
\begin{aligned}
& \text { 課題を検証しなが } \\
& \text { ら見直しを図ったき } \\
& \text { た。後とも感染拡 } \\
& \text { 大の備えに万全を期 } \\
& \text { す。 }
\end{aligned}
$

で、生成要約は統一されたフォーマットで要約が構成されているため、何を採用するのかという主観的判断が減少している。

## 5 おわりに

本研究では、議会会議録を基に行政に関する質問 の回答を出力する質問応答システムを構築した。人手要約の分析により本稿で定義した「進捗」と「計画」が答弁要約の重要な要素であると仮定した。実際に「進捗」と「計画」の側面から要約する提案シ ステムは性能の向上させることを確認した。特定の 側面から要約を生成する提案手法は要約システムの 頑健性を高めることにも貢献すると考える。

## 参考文献

[1] Di Wang and Eric Nyberg. A long short-term memory model for answer sentence selection in question answering. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 707-712, Beijing, China, July 2015. Association for Computational Linguistics.

[2] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Siva Reddy, Danqi Chen, and Christopher D. Manning. CoQA: A conversational question answering challenge. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 249-266, 2019.

[4] Kevin Knight and Daniel Marcu. Statistics-based summarization - step one: Sentence compression. 052000.

[5] Rada Mihalcea and Paul Tarau. TextRank: Bringing order into text. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Makbule Gulcin Ozsoy, Ferda Nur Alpaslan, and Ilyas Cicekli. Text summarization using latent semantic analysis. Journal of Information Science, Vol. 37, No. 4, pp. 405-417, 2011.

[7] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[8] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[10] Jiaao Chen and Diyi Yang. Multi-view sequence-tosequence models with conversational structure for abstractive dialogue summarization. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4106-4118, Online, November 2020. Association for Computational Linguistics.

[11] Ojas Ahuja, Jiacheng Xu, Akshay Gupta, Kevin Horecka, and Greg Durrett. ASPECTNEWS: Aspect-oriented summarization of news documents. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6494-6506, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[12] Katsumi Kanasaki, Jiawei Yong, Shintaro Kawamura, Shoichi Naitoh, and Kiyohiko Shinomiya. Cue-PhraseBased Text Segmentation and Optimal Segment Concatenation for the NTCIR-14 QA Lab-Polilnfo Task, pp. 85-96. 112019.

[13] Giambattista Amati. BM25, pp. 257-260. Springer US, Boston, MA, 2009.

[14] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. CoRR, Vol. abs/1908.10084, , 2019.

[15] Hideyuki Shibuki Yasutomo Kimura. Overview of the ntcir-16 qa lab-poliinfo-3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[16] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# オープンドメイン質問応答における 文集合と位置情報を用いた抽出精度向上に関する検証

初鹿憂柴田千尋
法政大学 理工学部創生科学科
yu.hatsushika.2r@stu.hosei.ac.jp,chiro@hosei.ac.jp

## 概要

近年，BERT や Transformer を用いた深層学習モデ ルが様々な自然言語処理のタスクで高い精度を上げ ているが，質問応答もその例外には当たらない. 特 に，最近，鈴木ら [1] によって作成された日本語版質問応答データセットが公開されたことにより，日本語でも質問応答に関する研究を進めることが容易になった. 本研究では，日本語版質問応答データ セットを用いて Retriever-Reader とよばれる質問応答のためのモデルに対して，精度改善に向けた手法を 2 つ提案し，その結果を検討する. Retriever 側 は，質問文に対する関連度が高い記事候補を関連度 の高い順に抽出する。一方，Reader が正解の解答を 出力できる場合は，候補となる記事中に正解が含ま れている場合がほとんどであることが，上記データ セットを用いた実験の結果わかっている. したがっ て, Reader が出力する候補に正解が含まれる確率 を，なるべく上げることが重要となる。記事は通常多数の文を含むが，そのすべての文が質問文に関連 しているわけではない。そのため，同じ数のトーク ンを Reader に入力する場合，記事よりも文のほう がより多数の候補を入力することができる．本稿で は，提案手法の 1 つとして，Retriverに，記事の代わ りに文ごとに候補を抽出させることを提案する。

## 1 はじめに

近年，ニューラルネットワークを用いたモデルが クイズ形式の質問に対して高精度に解答する研究が 盛んに行われている [2]. これらの研究が進むことで 従来の検索システムに比べて，より自然な言葉での 質問応答が可能になると考えられている.

出題範囲に制限のない広範囲な一般常識が必要と なるようなクイズに対して，高精度で解答するため には，なるべくたくさんの知識を利用することが必要である。そのため，正解するためには膨大な記事 の中から，答えを含む可能性の高いものを抽出する プロセス，及び，抽出された記事のなかから，文脈 を考慮して答えとなる短いフレーズを導くためのプ ロセスが必要となる。

与えられた質問に対して答えを正しく導き出すた めに用いられる主な手法としては， Retriever-Reader モデルが挙げられる [3]. Retriever とはある記事集合から質問文の情報を用いて関連する記事を抽出す ることが行われ Reader では Transformerを元にした 言語モデルを用いて抽出した関連する記事から答え を導き出すことが行われる．正答数を上げるために は Retriever と Reader 両方の精度を上げる必要があ る. Retriever の精度は抽出した $N$ 件の記事の中に答 えを含んだ記事が含まれるかで測られ，Reader の精度は答えが出力できるかで測られる。今回の実験で は Retrieverに Dense Passage Retriever [4]を，Reader に Fusion-in-Decoder [5] を採用する。本研究では 2 つの手法を提案する. 1 つ目は Retriever に従来用い ていた記事集合を文ごとに分割した文集合を用い る. 2 つ目は抽出された記事に対して位置情報を用 いる.

## 2 関連研究

## 2.1 Retriever-Reader モデル

Retriever-Reader モデルは文を抽出する役割である Retriever と答えを生成する役割である Reader という 2 つの部分から構成されている. Retriever では記事集合と質問文の類似度を計算することによって全て の記事に対して質問文との関連度スコアを付け，ス コア上位から順番に抽出する。 Reader では抽出した 記事集合から, 答えとなるフレーズを Transformer モ デルにより生成する. 今回は埋め込み表現に変換し 連結させることにより言語モデルの入力として解答

を生成する。

図 1 Retriever-Reader モデル

## 2.2 DPR (Dense Passage Retriever)

DPR[4] は質問に対して関連する記事を大規模な 記事集合から意味的に抽出するモデルである. まず 質問文 $q$ と記事集合 $p$ に対して，BERT [6] を用いて 密なべクトル表現 $E(q), E(p)$ にエンコードする.次に式 1 のように内積を計算し関連性の高い記事を 順番に出力する.

$
\operatorname{sim}(q, p)=E_{Q}(q)^{T} E_{P}(p)
$

DPR の学習データセットは，Elasticsearch ${ }^{1)}$ を用 いて作られ, $\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right)$で定義される. $q$ は質問文, $p^{+}$はポシティブパッセージ， $p^{-}$はネ ガティブパッセージを表す. モデルは式 1 の損失関数が最小になるように 2 つの BERT エンコーダを学習する. ポジティブパッセージとの類似度が高く, ネガティブパッセージとの類似度が低いほど損失関数は小さくなる.

$
\begin{aligned}
& \mathrm{L}\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right) \\
& =-\log \frac{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q_{i} p_{i j}^{-}\right)}}
\end{aligned}
$

## 2.3 FiD (Fusion-in-Decoder)

Fusion-in-Decoder[5] は Retriever-Reader モデルの Readerとして用いられている。言語モデルをべース に作られており，質問文と記事から答えを生成でき る. Retriever 側で抽出された複数の記事をエンコー ドした後に連結することで複数の記事を大力可能に していることが特徴である。モデルとしては，一般

的な翻訳モデルと同じように, 次トークンの予測す るデコーダを用いている.

## 3 提案手法

提案手法としては，以下に述べるように，Retriever と Reader に対してそれぞれ 1 つずつ工夫を行なう.

## 3.1 文集合

記事集合として wikipedia などのクイズとは直接関連のない一般的な文書セットを用いた場合，記事 の中に多数の文が含まれ，さらに質問文の解答には 必要のない文も多数含まれている。例えば表 1 の例 に示すように, 質問「ゴルフボールの表面につけら れているくぼみのことをなんと言うでしょう」に 対し，正答が「ティンプル」であるような問題に対 して，「乱流」というタイトルの記事が抽出されて いる。記事には，3文含まれているが，回答には赤 く色付けした 2 文目のみが関係していると考えら える。

本研究では，関連する文をより多く正確に抽出す るために，分け方を記事ごとから文ごとにすること を提案する。具体的には Retrieverに用いる記事集合 を文集合に変更して，事前学習を行なう。文集合で

 \\

学習をした Retrieverを用いて文章抽出を行なう。

表 1 抽出した記事に含まれる文章の例

## 3.2 位置情報

もう一つの提案は，Readerの入力に関するもので ある．前述のように，Retriver は関連度の高い順に 記事を列挙する. Retriver が関連度が高いと推定し たとしても，必ずしも正答となるフレーズがその 記事の中に含まれているわけでは当然ないが，実際に，実験結果から，図 2 に示すように，Retriever

で抽出した記事を分析した結果，解答を含んだ記事が検索順位上位に集まる傾向が高いということ がわかる．そこで，情報の重要度を記事位置ごと 与えることで，精度が向上する可能性があるため， Reader に入力する際に位置情報を加える手法を提案 する. 方法としては記事の埋め込み表現に位置エン コーディングを加算する．位置エンコーディングは Transformer Encoder [7] の位置エンコーディングと同 じものを用いる.

図 2 解答が含まれる記事の分布

## 4 データセット

## 4.1 コンテキスト

記事集合や文集合といった DPR で抽出する際の 検索元のデータセットをコンテキストと呼ぶ.

## 4.1.1 記事集合

$\mathrm{AI}$ 王クイズ日本一決定戦に公開されていたウィ キペディアを用いて作られた記事集合を利用した。記事数としては 4,288,199 件のものを利用する. 実際， 1 件の記事サイズは大きいため, 段落ごとに 区切ったデータを記事集合として, 記事に段落が あった場合同タイトルの別の記事として保存されて いる。

## 4.1.2 文集合

今回記事ごとではなく，文ごとのインデックスを 作成するために，AI王クイズ日本一決定戦に公開さ れていたウィキペディアのデータとコードを用いて 集められていた記事集合を句点で区切り, 再度ラべ ルを付け直す。その結果，表 2 に示したようにラべ ルの総数が約 430 万件から約 2,000 万件に増加した.
このため記事または文べクトルを作成する際に約 5 倍の時間がかかった。

表 2 検索インデックスの総数

## 4.2 訓練データ

本研究では $\mathrm{AI}$ 王クイズ日本一決定戦で公開され ていた質問応答タスクの日本語データセットを用 いる. JAQKET [1]をもとにして作られている. 訓練データセットとして 22,335 件の質問文と解答が 含まれている。また，質問文に対して Elasticsearch を用いることで正解が含まれている記事であるポ ジティブパッセージを抽出する. さらにネガティブ パッセージとして回答が含まれていない記事を付与 する. Retrieverの訓練データは質問文, $p^{+}$はポシ ティブパッセージ， $p^{-}$はネガティブパッセージを 用いて $\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right)$で定義される.

Readerにおける訓練データは，質問文を Retriever に入力し検索をかけて得られる記事, 記事タイト ルと質問文を上位 $\mathrm{N}$ 件まで組み合わせて作る. 評価データは JAQKET から訓練データに含まれない 1,000 件の問題を利用して，同様にして作られる.

## 5 実験

## 5.1 実験設定

表 3 亿示したハイパーパラメータを基準として コンテキストと Reader の入力情報に対して変更 を加えて提案手法の有効性を検証する． Retriever に事前学習済みの日本語 BERT ${ }^{2}$ を用いた Dense Passage Retriever, Readerに事前学習済みの日本語 $\left.\mathrm{T} 5^{3}\right)$ を用いた Fusion-in-Decoder を採用する。また， Fusion-in-Decoder に入力するコンテキスト数は 50 と 100 で実験を行う.

## 5.2 抽出精度の比較

記事ごとのインデックスを使用した基準モデルと 文ごとのインデックスを使用したモデルに関して比較実験を行なった，結果は表 4 のようになり，数値 は，上位 $N$ 件までの記事または文を抽出した際に，

表 3 ハイパーパラメーター

答えが含まれた記事が抽出された割合を示す.イン デックスのサイズは表 2 より文集合は記事集合の 4 から 5 倍であるため，コンテキスト 1 つ当たりのサ イズは小さいと推測される. 文ごとで精度が約 0.85 になるのは上位 100 件の時であるのに対して記事ご とでは上位 50 件の時であるため, 抽出精度が同等 に達するために必要なコンテキストの差は 2 倍であ る.そのため，少ない量の文で解答を抽出できてい ることが分かる.

## 5.3 解答生成精度の比較

次に記事集合を用いて学習させた FiD と文集合を 用いて 60,000 ステップ学習させた FiD に対して評価を行う. 結果は表 5 のようになった. 記事集合でテ キスト数 50 の時と, 文集合でテキスト数 100 の時 を比較すると表 4 より解答を含んだコンテキストの 数は同等であったが精度は記事集合の方が高いが,実際に Reader 入力されている文数やトークン数は，文集合のほうが少ないため，入力する文数やトーク ン数を揃えて，精度を比較をする必要がある.

表 5 FiD の結果

## 5.4 位置情報を入力した結果

DPRを用いて抽出した記事 50 件に対して Transformer の位置エンコーディング [7] を参考に位置情報を追加する. 位置情報を加えたモデルと基準 モデルに対して 90,000 ステップ学習する. 位置情報 を加えて学習された FiDに対して行なった評価を表 6 に示す。

次に DPR を用いて抽出した文 50 件， 100 件に対 して位置エンコーディングを加えて 60,000 ステッ プ学習する. 位置情報を加えて学習された FiD に対 して行なった評価を表 7 に示す. 表よりわかるよう に，少なくとも本稿で述べた位置情報の入力の手法 では，精度向上に寄与しないことがわかる.

表 7 文集合と位置情報を用いた結果

## 6 結論

本稿では，コンテキストとして用いていた記事集合を文集合に変えたることにより，DPR での抽出精度がどのように変化するかを検討した．その結果，少ない文章数で解答を含めることができている と言える。一方で，FiD で記事集合と文集合で解答 を含むコンテキストを抽出する精度が同等であった 場合は, Reader の精度は記事集合の方が高くなって いる事がわかる.これは，記事集合の場合は，入力 の文数が少なくなっているためであり，入力の文数 やトークン数を揃えた上で比較する必要があるた め，フューチャーワークとする．位置情報の入力に 関しては, 精度の改善は認められなかったが，問題 それぞれで分布が少しずつ変わっている可能性があ るため，今後は広い範囲に対して位置情報を取る改善が必要である.

今後の展望として,コンテキストを増やして記事集合と文集合の比較実験を行うことを考えている.位置情報に関しては抽出データに対して更に分析を 行う必要がある. また Retriever-Reader モデルにおい て FiD の出力精度を向上させるために DPR で抽出 する情報の性質を検証する必要がある.

## 謝辞

今回研究するにあたり，町田秀輔氏には実験の準備やコードのエラーの解消に助言を頂いたこと深 く感謝申し上げます。本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです.

## 参考文献

[1] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの 構築. 言語処理学会 第 26 回年次大会 発表論文集, pp. 237-240, 2020.

[2] Ai王クイズ日本一決定戦，（2022-9 閲覧）.https:// sites.google.com/view/project-aio/competition3.

[3] Fengbin Zhu, Wenqiang Lei, Chao Wang, Jianming Zheng, Soujanya Poria, and Tat-Seng Chua. Retrieving and reading: A comprehensive survey on open-domain question answering, 2021.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ イン qa における dpr の有効性検証. 言語処理学会 第 27 回年次大会 発表論文集, pp. 1403-1407, 2021.

[5] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 874-880, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert:pre-training of deep bidirectional transformers for language understanding. In In NAACL-HLT, 2019.

[7] Denis Rothman, 黒川利明 (訳). Transformer による自然言語処理. 朝倉書店, 2022.


# 大規模言語モデルに基づく 複数の外部ツールを利用した推論フレームワーク

稲葉達郎清丸寛一 Fei Cheng 黒橋 禎夫
京都大学
\{inaba,kiyomaru, feicheng, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

大規模言語モデルは広範な世界知識に加えて数値計算といった記号処理の能力も一定程度有してお り、種々の推論タスクで驚異的なスコアを達成して いる。しかし、言語モデルが保持できる知識の量と 実行できる記号処理の複雑さには限界がある。大規模言語モデルによる推論のさらなる高度化を目指し て、本研究では大規模言語モデルによる推論時に検索器や電卓など複数の外部ツールの利用を可能にす るフレームワークを提案する。提案手法を知識を要 する数値推論タスク NumGLUE（Task 2）に適用し、強力なべースラインの性能を大幅に上回る、現時点 での最高性能を達成することを確認した。

## 1 はじめに

推論は既知の事柄を手がかりに未知の事柄を推し 量る論理的なプロセスである。推論では、言語理解 の能力はもちろん、実世界に関する知識、数値計算 をはじめとする記号処理の能力も必要となる。計算機による推論の実現は人工知能研究の古くからの 目標であり、現在まで中心的な関心であり続けてい る $[1,2]$ 。

昨今、大規模言語モデル（Large Language Model; LLM） $[3,4,5,6]$ が種々の推論タスクで驚異的なス コアを達成している。これは大規模言語モデルが事前学習を通じて基本的な言語理解の能力に加え、広範な世界知識、そして数値計算を含む記号推論の 能力までもを一定程度獲得していることを示して いる。

しかし、大規模言語モデルであっても保持できる 世界知識の量と実行可能な記号処理の複雑さには限界がある。この問題を解決するため、大規模言語モ デルによる推論時に検索器や電卓などの外部ツール を呼び出し、その結果を利用する手法が提案されて
いる $[7,8]$ 。しかし、先行研究はいずれも単一の外部ツールの利用に留まっており、推論を実行する上 で課題となる知識の問題や記号処理の問題を同時に 解決する枠組みにはなっていない。

本研究では、大規模言語モデルによる推論におい て、検索器や電卓といった複数の外部ツールの利用 を可能にするフレームワークを提案する。図 1 に提案手法の概要を示す。提案手法では、大規模言語モ デルが推論過程を含めて解答を生成するように入力 のテキスト（プロンプト）を設計する [9]。提案手法の鍵は、プロンプトの工夫によって、推論過程の 一部として外部ツールを呼び出す文字列を生成さ せることにある。実行時は、大規模言語モデルが外部ツールを呼び出す文字列を生成したら推論過程 の生成を中断し、生成中の推論過程から利用する外部ツールの名前とそれに与える入力を取り出し、外部ツールの実行結果を推論過程に追記する。その後大規模言語モデルに推論過程の生成を再開させ、外部ツールを呼び出す文字列が生成されたらまた上記 の手続きを行う。

提案手法の有効性を確認するため、専門知識を要 する数値推論タスク NumGLUE（Task 2） [10] のも とで実験を行った。実験の結果、提案手法が強力な ベースライン手法の性能を大幅に上回り、現時点で の最高性能を達成することを確認した。

## 2 関連研究

大規模言語モデルによる推論は、入力のテキスト （プロンプト）を適当に設計し、大規模言語モデル から推論の解答を引き出すこと（プロンプティン グ [11]）で解かれる。特に、大規模言語モデルが解答を推論過程付きで生成するようにプロンプトを設計する Chain of Thought プロンプティング [9, 12] は その有効性が広く知られている。

大規模言語モデルによる推論時に外部ツールを利

図 1 提案手法の全体像。出力中のハイライトは、黄緑色が GPT-3、黄色が電卓 (Calculator; CAL)、橙色が化学反応予測器（Chemical reaction predictor; $\mathrm{CRP}_{\mathrm{RP}}$ )、紫色がモル質量検索器（Molar mass list; $\mathrm{MML}_{\mathrm{ML}}$ ）の出力であることを表す。

用する先行研究としては、推論過程の中に現れた数式を電卓で処理して計算結果を推論過程に埋め込む ことで計算間違いの問題を緩和する取り組み $[8]$ や、推論過程の生成中に知識検索を実行することで多段 の推論を要する質問応答を実行する取り組み [7] が ある。これらの先行研究はそれぞれ未熟な計算能力 と不完全な世界知識という大規模言語モデルが抱え る単一の問題に着目し、それに単一の外部ツールを 利用することで対処している。本研究の特徴は、大規模言語モデルによる推論時に複数の外部ツールの 利用を可能にすることで複数の問題に同時に対処す ることにある。

## 3 提案手法

本研究では、大規模言語モデルによる推論におい て、複数の外部ツールの利用を可能にする枠組みを 提案する。図 1 に提案手法の概要を示す。提案手法 では大規模言語モデルとして GPT-3 [3] を使用し、外部ツールを呼び出す文字列を含む推論過程が生成 されるように Chain of Thought プロンプティング [9] を行う。

プロンプトは、利用可能な外部ツールを明示し た説明文、いくつかの問題文と推論過程付きの解答 のペア (Few-Shot 事例)、解かせる問題文を結合し
て構成する。Few-Shot 事例として与える推論過程に は外部ツールの呼び出し方をアノテーションする。具体的には、<<外部ツール名 >> の文字列を外部 ツールを呼び出す文字列としてアノテーションし、 その直前に外部ツールへの入力を特定のフォーマッ トでアノテーションする。例えば、外部ツールとし て電卓（Calculator）を利用する場合、Few-Shot 事例 として与える推論過程の中で電卓を利用すべき箇所に <<Calculator>> の文字列をアノテーション し、その直前に電卓に与える数式をアノテーション する。

推論時は GPT-3 がプロンプトに従い、与えられた 問題文に対する解答を外部ツールを呼び出す文字列 を含む推論過程と一緒に生成する。その時、>>の 文字列が生成されたら生成を中断し、その直前の文字列から使用する外部ツールの名前とそのツールへ の入力を抽出、外部ツールを実行した後、その結果 を生成中の推論過程の末尾に追記する。これを新た な入力とし、GPT-3による推論過程の生成を再開す る。未知の外部ツール名が生成されたり、外部ツー ルの実行時エラーが発生したりすると外部ツールが 実行結果が得られない。その場合は外部ツールの出力結果に相当する部分も GPT-3 自身に出力させる。 GPT-3 が生成した推論過程付きの解答から最終的

な解答を抜き出す処理もプロンプティングで行う。具体的には、推論過程とその中に含まれる最終的な 解答のペアを Few-Shot 事例とするプロンプトを使用して、GPT-3 に推論過程から解答を抽出させる1)。

## 4 知識を要する数値推論への適用

提案手法の適用例として、本研究では専門知識を 要する数值推論に取り組む。具体的には、数值推論 データセット NumGLUE [10] の Task 2 に取り組む。問題例を例 (1) に示す。

(1) Find the amount of Calcium hydroxide that is required to react with 2 moles of Carbon dioxide to form 2 moles of Calcium carbonate along with 2 moles of Water.

NumGLUE の Task 2 は例 (1)のような化学の専門知識を要する数値推論の問題で大部分が構成される。 これを解くには、言語理解能力、計算能力に加え、化学反応式の作成能力と物質のモル質量の知識が要求される。

本研究では以下の外部ツールを実装し、提案手法 の枠組みで推論の実行時に利用することで本タスク を解く。

-電卓 (Calculator; CAL)：四則演算を中心とする 数式を大力として、その計算結果を出力する。計算結果は数式を Python の eval 関数 ${ }^{2}$ に に入力し て得る。数式中の演算子は Python の文法に合 わせて入力前に置換する。電卓を呼び出す際 は、<<Calculator>> の文字列を出力させる。入力の数式は同じ行に生成させる。
- 化学反応式予測器 (Chemical reaction predictor; CRP) : 反応物と生成物の化学式を入力として、化学反応式を出力する。化学反応式は、反応物 と生成物で各原子の数が同じになるように係数 を調整して得る。化学反応式予測器を呼び出す 際は、<<Chemical reaction predictor>>の文字列を生成させる。入力の反応物と生成物の化学式は直前の 2 行に出力させる。
- モル質量検索器 (Molar mass list; MML) : 化学式 を入力として、そのモル質量を出力する。化学

1）本研究の実験では、ほぼ常に最終的な解答が推論過程の最終行に含まれることが実験的に確認されたため、計算コスト 削減のため、推論過程の最終行を抜き出した上でこの手法を 適用した。

2) https://docs.python.org/3/library/functions.html\# eval表 1 NumGLUE の Task2 における性能。最良の結果を太字で示す。(†) は NumGLUE の論文 [10] からの引用。

式のモル質量は、各原子の質量に関する知識 ベースに基づき、化学式に含まれる原子とその 数から計算する。モル質量検索器を呼び出す際 は、<<Molar mass list>> の文字列を生成さ せる。大力の化学式は同じ行に出力させる。

図1 推論を実行する際に用いるプロンプトを 示す。説明文として、上記の 3 種類の外部ツール が利用可能なことが明示されたテキストを与える。 Few-Shot 事例には、問題文と推論過程付きの解答の ペアの例を与え、推論過程には上記の外部ツールを 利用するためのアノテーションを付与する。

## 5 実験

提案手法の有効性を確認するため、知識を要する 数值推論に提案手法を適用する。

## 5.1 データセット

数値推論データセット NumGLUE [10] の Task 2 を 使用する。4 節で説明した通り、主に化学に関する 専門知識を要する数値推論の問題で構成されてい る。問題の解答は全て数値である。評価にはテスト データの 325 問を使用する。評価指標は正解率で ある。

## 5.2 比較手法

本研究では GPT-3 (text-davinci-003; 175B パラメー タ3)）を使用し、以下の手法を比較する。

Zero-Shot 問題文のみをプロンプトとしてテキ スト生成を行い、その出力を予測とする。

Zero-Shot+CoT [12] 問題文に “Let's think step by step."を付け加えたものをプロンプトとしてテキス

図 2 手法ごとの出力の具体例。赤色のハイライトは誤った知識や誤った計算結果が生成された箇所を示す。緑色のハ イライトは外部ツールの利用によってそれらが改善した箇所を示す。

卜生成を行い、推論過程を伴う解答を得る。最終的 な予測は、生成された推論過程の末尾に“Therefore, the answer (arabic numerals) is”を追加し、それをプロ ンプトとしてテキスト生成を実行して得る。

Few-Shot 問題文の前に Few-Shot 事例として数例の問題文と解答のペアを結合したものをプロンプ トとしてテキスト生成を行い、その出力を予測とし て得る。

Few-Shot+CoT 提案手法と同じプロンプトを使用してテキスト生成を実行し、その出力を予測とし て得る。ただし外部ツールは使用せず、推論過程は 全て GPT-3 に生成させる。

Few-Shot+CoT+\{CAL|CRP|MmL $\}$ 提案手法と同じ プロンプトを使用してテキスト生成を実行し、その 出力を予測とする。推論時、電卓 $(\mathrm{CAL})$ 、化学反応式予測器 ( $\mathrm{CRP})$ 、モル質量検索器 ( $\mathrm{M} \mathrm{ML})$ のいずれ か一つの外部ツールを利用する。利用しない外部 ツールの実行結果は GPT-3 自身に生成させる。

Few-Shot+CoT+ALL 提案手法。電卓、化学反応式予測器、モル質量検索器の全ての外部ツールを使用して推論を実行する。

Few-Shot 事例として、学習データ中の 20 問を使用した。Few-Shot 事例は、外部ツールのアノテー ション数に偏りが出ないように人手で問題を選択 し、推論過程のアノテーションも人手で行った。 Few-Shot 事例の数が性能に与える影響については付録 Aを参照されたい。

## 5.3 結果

表 1 に結果を示す。提案手法は 85.85 ポイントの 正解率であり、現時点での最高性能を達成した。外部ツールを利用しない手法はもちろん、単一の外部 ツールを利用する手法と比べても、推論性能の大き な改善が確認された。

## 6 ケーススタディ

図 2 に提案手法による改善例を示す。CoT プ ロンプティングを使用しない Zero-Shot と FewShot は推論に失敗している。CoT プロンプティ ングに基づく Zero-Shot+CoT と Few-Shot+CoT は $\mathrm{Al} 2(\mathrm{CO} 3) 3$ のモル質量に誤りがあり、Few-Shot+CoT は $12 \times 3 / 342 \times 100$ の計算も間違っている。提案手法 の Few-Shot+CoT+ALL は外部ツールに頼ることで正 しいモル質量と数値計算に基づき正答できている。

## 7 おわりに

本研究では大規模言語モデルによる推論におい て、検索器や電卓等の複数の外部ツールの利用を可能にする枠組みを提案した。本論文ではその枠組み を化学の専門知識を要する数值推論タスクに適用 し、その高い有効性を確認した。提案の枠組みは汎用的であり、外部ツールを変更・拡張することで 様々なタスクに応用可能である。今後、異なるタス クにおいても提案手法の有効性を検証したい。

## 謝辞

この研究は JST、CREST、JPMJCR20D2 と厚生労

働科学研究費補助金 AC 事業 JPMW21AC5001 の支

援を受けたものである。

## 参考文献

[1] Andrew Gordon, Zornitsa Kozareva, and Melissa Roemmele. SemEval-2012 task 7: Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 394-398, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[2] Maarten Sap, Vered Shwartz, Antoine Bosselut, Yejin Choi, and Dan Roth. Commonsense reasoning for natural language processing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 27-33, Online, July 2020. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models. In Advances in Neural Information Processing Systems, 2022.

[5] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068, 2022.

[6] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari,
Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. PaLM: Scaling Language Modeling with Pathways. arXiv preprint arXiv:2204.02311, 2022.

[7] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. React: Synergizing reasoning and acting in language models. arXiv preprint arXiv:2210.03629, 2022.

[8] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed H. Chi, Quoc V Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 2022.

[10] Swaroop Mishra, Arindam Mitra, Neeraj Varshney, Bhavdeep Sachdeva, Peter Clark, Chitta Baral, and Ashwin Kalyan. NumGLUE: A suite of fundamental yet challenging mathematical reasoning tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3505-3523, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 2022.

[12] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In Advances in Neural Information Processing Systems, 2022.
表 2 NumGLUE の Task 2 における Few-Shot 事例の数を 変えたときの性能。最良の結果を太字で示す。

## A Few-Shot 事例の数が性能に与え る影響

Few-Shot 事例の数が性能に与える影響を調べた。表 2 に結果を示す。Few-Shot 事例の数を増やすこと で、外部ツールの利用の有無に関わらず、精度が向上することが確認された。なお、Few-Shot 事例は 20 例の時点で合計のトークン数が 3,000 近くあり、大規模言語モデルが処理可能なトークン長の制約か ら、Few-Shot 事例を増やすことによるこれ以上の性能改善は困難である。


# 技術ナレッジ活用に向けた Retriever-Reader モデルの検証

蓬田綾香 ${ }^{1}$ 村瀬文彦 ${ }^{1}$ 平野徹 ${ }^{2}$ 三郤陽 ${ }^{1}$
坂一忠 ${ }^{1}$ 飯田哲也 ${ }^{1}$ 岩堀恵介 ${ }^{1}$ 竹野貴法 ${ }^{1}$
${ }^{1}$ 株式会社デンソー
${ }^{2}$ DENSO INTERNATIONAL AMERICA, INC.
\{ayaka. yomogida. j6n, fumihiko. murase. j6b, akira. mitani. j5g, kazutada. ban. j4x,
tetsuya. iida. j6e, keisuke. iwahori. j7p, takanori. takeno. j5x\}@jp. denso. com
\{toru. hirano\}@na. denso.com

## 概要

社内に蓄積された技術ナレッジを効率的に活用す ることを目指して，膨大な文書からユーザが必要な 回答を簡易に得られるように，質問応答タスクで用 いられている Retriever-Reader モデルの検証を実施 した. デンソー社内で実際に蓄えられた材料開発業務の文書を対象とした. Retriever では, BERT と Sentence BERT の各々のベクトルに基づくランキン グ上位の文書に, 必要な回答が含まれる文書がある か否かを評価した. Readerでは, 文書から回答位置 を抽出する手法と文書中の各文が回答か否かのラべ ルを判定する 2 つの手法を評価した. Retriever では Sentence BERT の正解率が高く, Reader ではラベル を判定する手法の方がユーザの質問に対する回答を 適切に判断できることが分かった.

## 1 はじめに

日々の業務活動を通して社内には様々な文書が蓄積されており，これらの大規模テキストデータに含 まれるのナレッジの効率的な活用によるデジタルト ランスフォーメーションの需要が高まっている. 適用事例の一つとして，材料開発業務におけるナレッ ジ活用を想定している. 自動車部品は様々な材料で 構成されており, どの部品に使用されるか, その自動車がどの地域で使用されるかによっても求められ る特性が異なるため, 多種多様な材料開発が必要で ある．材料開発を統括する部署では, 開発から製品量産までの材料に関するデータベースを保有してい る. 事業部から材料開発に関する問い合わせがくる と, 担当者は各種データベースにアクセスし, 検索 ワードをもとに文書を絞り込み, 文書の中から得た い技術ナレッジを取得し, 事業部へ回答する. 具体的な事例を図 1 に示す. 質問は材料開発業務関連で
はあるが、材料や製品は多岐に渡る．検索された文書の中からナレッジ記載箇所を特定するために多く の文章に目を通す必要があり, 従来の検索方法では 欲しいナレッジにたどり着くまでの負荷が大きいこ とが問題点であった. そこで，膨大な文書からユー ザの知りたいナレッジを直接特定できるように，質問応答タスクで活用されている Retriever-Reader モ デルの検証を実施した.

Retriever-Reader モデルとは, 大量の文書から質問 に関連する文書を検索する Retriever と検索された文書から回答を抽出または生成する Reader で構成さ れているモデルである[1][2]. Retriever として, TFIDF や BM25[3]のように質問文中に存在する単語を 用いたマッチングや，質問文や文書を密なベクトル に変換し，類似度を用いて検索する方法が挙げられ る.今回は，対象とするデータベースに表記ゆれが 多く含まれていたため, 表記ゆれに強いベクトルに よる検索方法を用いた。ベクトルへの変換には BERT[4]を用いた. Reader は抽出型と生成型に大別 される. 生成型では複数の文書を基に要約した文章 や，新たな文章を生成できるが，事実とは異なる意味・内容の誤った回答となる可能性がある. 今回対象とする技術ナレッジの特定において，ユーザに誤 った情報を提示することは避けたいため, 情報の正

質問 : [材料名]を使うときの注意点は何？回答 : [材料名]は水分、腐食環境下で著しく 劣化が進行する。

質問 : [不良名]が発生した原因と対策は?回答 : キズが入った[部品名]を使用し, 内面 にキズを付けた。[部品名]に異常がないか目視検查。

図 1 材料開発業務における具体的事例
確性を重視して抽出型を用いた。

## 2 手法

本研究では，製品開発時の材料に関する懸念事項 をまとめたデータベースを対象に実験を行った。

## 2. 1 モデル

汎用の事前学習済みモデルに対して，タスクのド メインに特化したデータで追加学習を行うとタスク 精度が向上したとの報告[5]があることから, BERT base Japanese (unidic-lite with whole word masking, jawiki-20200831) iに対して, 対象データベースのテ キスト(約 $7 \mathrm{MB})$ で追加学習を行った. 追加学習では Masked Language Model のみで学習を行った. 追加学習したモデルを基に、Retriever および Readerへのフ アインチューニングを行った.

Retriever 2 つのベクトル変換手法を比較した. 1 つ 目は追加学習済みの BERTに質問文を入力し, BERT の出力ベクトルの平均を用いて Pooling し, 質問文 のベクトルとした.データベースの各文書も同様に，出力ベクトルの平均を用いて Pooling し, 各文書の ベクトルとした. 2 つ目は効率的に精度の高いべク トル化が行えると報告された Sentence BERT[6] ${ }^{\mathrm{ii}}$用いて質問文および文書のベクトルを得た. ファイ ンチューニングの目的関数には triplet Objective Function を用いた. 基準(anchor)となる文章aに対し，似ている(positive)文章 p または似ていない(negative)文章 $\mathrm{n}$ との埋め込みベクトル $\mathrm{s}$ の差を取り, 式 1 を 最小化する目的関数である. anchor-positive, anchornegative の差は文書ベクトル間のコサイン類似度を 用いた. Pooling 手法は出力ベクトルの平均を使用し た.

$
\max \left(\left(s_{a}-s_{p}\right)-\left(s_{a}-s_{n}\right)+\varepsilon, 0\right)
$

Reader 2 つの抽出手法を比較した. 図 2 にそれぞ れのモデルを示す. 1 つ目は位置抽出で, SQuAD 2.0 [7]に対する BERT の既存手法[4]を用いた. 質問文と 抽出対象の文書を連結させた入力に対して, 回答可能な文書では回答の開始と終了の位置を, 回答不可能な文書では, 開始と終了が文頭[CLS]の位置を出力 するよう学習した. 2 つ目はラベル判定で, 質問文 とともに抽出対象の文書の各文をモデルに入力し,質問文に対する回答か否か[CLS]を用いてラベルを

判定させた．各文は，文章を句点で区切った.

## 2. 2 学習データ

表 1 に学習に使用したデータ数を示す. データベ 一ス内の文章が回答となるような質問文を人手で作成した.今回はデータベースの中でも特定の材料に 関する QA セットを作成した．QA セットの 2 割を 評価用として使用した。

Retriever 質問文を anchor、質問に対する回答を含 む文書を positive，回答を含まない文書を negative と して, 1 件の質問につき, 10 件の triplet データを作成した. negative データは回答を含まない文書の中 からランダムに 10 件抽出した.

## Reader

位置抽出では，質問文，回答を含む文書，回答の開始位置および終了位置を 1 セットとしたデータを作成した. ラベル判定では, 質問文, 句点で句切った 後の文およびその文が回答か否かのラベルを 1 セッ トとしたデータを作成した.

(a)

(b)

図 2 Reader モデル(a)開始/終了位置を出力 (b)回答か否かのラベルを出力

ii https://www.sbert.net/
表 1 文書数, QA セットおよび Retriever, Reader の訓練データ数

## 3 評価方法

## 3. 1 Retriever

評価用の質問文に対して，データベースから関連 する文書を検索した．質問文のベクトルとデータベ ースの各文書の文書ベクトルとのコサイン類似度を 用いて，類似度が高い順に文書をランキングした。上位 1 件または 10 件以内に質問に対する回答を含 む文書があるか判定し，正解率で精度を評価した。 1 件の質問につき複数件の正解文書が存在する場合 もあるが, 10 位以内の正解文書数やどの文書が上位に来ても評価は変わらないこととした.

## 3. 2 Reader

評価用の質問文に対して, 3.1 の Retriever で類似度上位 10 件以内の回答を含む文書を用いた. 位置抽出では，質問文と回答を含む文書を入力し，回答 の開始/終了位置を得た. 抽出部分に回答が含まれて いるかを判定し, 正解率で精度を評価した. ラベル 判定では，回答を含む文書を句読点で句切り，質問文と分割後の各文を入力し, 回答か否かのラベルお よびその確率を得た. 回答である確率が最も高い文書中の 1 文が実際の回答と合っているかを判定し，正解率で精度を評価した。

## 4 結果と考察

## 4. 1 Retriever

Retriever の結果を表 2 に示す. 上位 1 件, 10 件以内の正解率ともに Sentence BERT の精度が高くなっ た. BERT を用いた検索結果では, 質問文中の重要 な単語(材料名, 加工方法など)を見逃している例も 多かった. 一方 Sentence BERT では, BERT での検索結果ほど見逃している例は少なく, 質問文と文書 で異なる表記で記載されていても類似度上位になる 文書も確認された. BERT で得た文書ベクトルは,追加学習後の各トークンの出力ベクトルの平均を取 ったものであり, 各トークンのベクトルは Masked
Language Model に適したベクトルであるが，Pooling した場合に文書の特徴が得られるようなべクトルで はないことが推測される. そのため, Sentence BERT でファインチューニングをした方が，似ている文書同士の Pooling したベクトルが類似するように各ト 一クンのベクトルが出力されるため, 正解率が向上 したと考えられる。

表 3 に Sentence BERT のランキング上位 10 件以内で，質問への回答を含まない文書例を示す. 質問 ではつェノール樹脂りに対する留意点を尋衩ている が，異なる樹脂である'PBT'の留意点が文書には記載されていた。樹脂材料の留意点という観点では類似文書であるが，今回の質問応答においては，不適切な文書となる。人手で QA セットを作成した関係 から訓練データが非常に少なく, 樹脂の留意点とし ての類似文書の傾向は学習できたが，材料種の違い は学習できなかったと推測される. 回答として不適切な文書を triplet $の$ negative として加え訓練データ を拡充することで，類似文書の中でも回答として適切な文書の傾向を学習でき, 精度向上できると考え られる。

表 2 Retriever の結果

 &  \\

表 3 Sentence BERT の類似度上位 10 件以内 で回答を含まない文書例

表 4 Reader の結果

## 4. 2 Reader

Reader の結果を表 4 に示す. 4.1 の Sentence BERT のランキング上位 10 件以内で回答を含む文書 50 件 に対して評価を行った。位置抽出およびラベル判定 どちらも正解率はほぼ同等であった。しかし, 位置抽出では入力した文書がそのまま出力されていた例 が多く，必要な部分のみを抽出することができてい なかった. ラベル判定による文単位での抽出では,正解した文書で回答でない部分を確実に除外するこ とができており．平均して 50\%以上の文を削減する ことができた. 回答として抽出した文は，文書から そのまま抽出しているため, 質問には含まれていな い製品, 部品, 工程などの固有名詞が含まれている 例が見られた. 質問応答の回答として提示する場合,該当箇所の抽出後に固有名詞を取り除くなどの後処理が必要になると考えられる. さらに, 質問への回答として自然な形に文を成形する処理を加えること で，正確性を保った情報かつ適切な回答を提示でき ると考えられる。

## 5 おわりに

本稿では，技術ナレッジ活用に向けた RetrieverReader モデルの検証を行った. 対象とするデータ ベースに表記ゆれが多いことから BERTを用いて Retriever および Reader のファインチューニングを 実施した．Retrieverでは，質問文と質問への回答を 含む文書のベクトルの類似度が高くなるよう

Sentence BERT でファインチューニングすること で，正確率が向上した．Readerでは，回答を含む 文書を句点で各文に分割し，回答か否かのラベルの 判定を行うことで質問に対する回答を適切に判断で きることが分かった.

今後, Retriever では質問中の材料種の違いも考慮 できるような訓練データセットの拡充，Reader で は, 質問への回答として不要な固有名詞の除外, 回答として自然な語尾への変換という取り組みが必要 である.

## 参考文献

1. Kenton Lee, Ming-Wei Chang and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering, In ACL, 6086-6096, 2019.

2. Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen and Wen-tau Yih. Dense Passage Retrieval for OpenDomain Question Answering, In EMNLP, 6769-6781. 2020.

3. S. Robertson and H. Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, 333-389 2009.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, In NAACL, 4171-4186, 2019.

5. Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks, In ACL, 8342-8360. 2020. 6. Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks, In EMNLP-IJCNLP, Association for Computational Linguistics, 3982-3992. 2019.

7. Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD, In ACL, 784-789 2018.


# FAQ チャットボットの誤りタイプの類型化と自動分類の検討

山岸駿秀 貞光九月 北岸郁雄
株式会社マネーフォワード
}

\{yamagishi.hayahide, sadamitsu.kugatsu, kitagishi.ikuo\}@moneyforward.co.jp
## 概要

FAQチャットボットを導入した組織では、回答に 用いる FAQ 集を継続的に改善する必要がある。FAQ 集の改善では、FAQ 集の内容等を網羅的に把握し、正しく回答できなかった事例に対して適切な改善策を選ぶ。本研究では、このような事例の誤りタイ プを類型化し、誤りタイプ別に改善策をまとめる。 また、誤りタイプの自動分類に必要な特徴量をまと め、分類の可能性を議論する。

## 1 はじめに

企業等において、提供サービスに関するユーザの 質問に自動で回答するFAQチャットボットが普及 している。従来からある Web 上の静的なサポート ページはサービスの詳細な理解に役立つのに対し、 チャットボットは高頻度な質問に簡潔かつ動的に返答できる。これらを図 1 のように併用することで、 ユーザ自己解決率の向上などに繋げられる。

本研究で扱うチャットボットは、想定質問文と回答文からなる $\mathrm{QA}$ ペアを事前に登録した $\mathrm{FAQ}$ 集に対 し、ユーザ質問文（クエリ）の関連 $\mathrm{QA}$ ペアを検索 して回答する。本研究では、各クエリにつき一問一答で回答し、文脈等は考慮しないものとする。回答文ではクエリに直接関連する説明のみを行い、詳細 は文中にリンクを張ったサポートサイトの記事内で 説明することもある。回答後にはクエリ 1 つと回答文 1 つのペア (応対) が応対履歴として蓄積される。 チャットボットの運用担当者は、日常的には FAQ 集の整備による応対内容の改善を行う。例えば、新機能の情報が FAQ 集にないことが原因で誤答にな る事例は、新機能に関する $\mathrm{QA}$ ペアを追加すれば改善できる。FAQ 集の改善は、FAQ 検索エンジンや チャットボットのUI 等の改良と比べて、運用担当者が速やかに実施しやすいことが利点となる。

チャットボットの運用担当者が FAQ 集を改善す るためには、既存の FAQ 集の内容やサービスの機

図1チャットボットとサポートサイトのイメージ図能等を網羅的に把握している必要がある。しかし、 サービスの機能が増加すると FAQ 集の内容も増加 するため、全体の把握も困難になると考えられる。

本研究では、FAQチャットボットの改善活動にお いて、各応対事例の誤りタイプを類型化し、各誤り タイプに必要な改善策をまとめる。また、誤りタイ プの自動分類に必要な特徵量を整理して分類器を構築し、自動分類の実現可能性を議論する。

## 2 誤りタイプの整理

FAQ 集を拡充する技術は盛んに研究されている。例えば、過去のクエリを「印刷関連」のようにジャ ンル別に整理し、拡充すべきジャンルを特定する手法 $[1,2]$ や、外部情報源から新規 QA ペアを抽出す る方法 $[3,4]$ などがある。本研究では、 $\mathrm{FAQ}$ 集の拡充で改善する応対事例は全体の一部であると考元、拡充が必要または不要な事例の特徴をまとめる。

チャットボットの改善方法を整理するため、応対履歴を分析して誤りタイプを調べる。チャットボッ トは、実験用として、BM25による FAQ 検索をもと に構築した。FAQ 検索では、クエリと、FAQ 集の $\mathrm{QA}$ ペアに含まれる想定質問のみとの類似度を測り、類似質問に対応する回答文を得る。FAQ 集は、当社 のカスタマーサポートがマネーフォワードクラウ ド会計・確定申告1)の質問に回答できるように整備 したものを使う。FAQ 集の回答文には、同サービス のサポートサイト2) の関連記事 (引用記事) のリン クを付与した。このチャットボットに、あらかじめ

1) https://biz.moneyforward.com/

2) https://biz.moneyforward.com/support/
表 1 FAQチャットボットの回答誤りタイプ

\right. &  &  &  &  \\

収集したユーザクエリ 1574 件を入力して応対履歴 を得た。これらを目視で分析し、正解ではないと思 われる応対 1030 件の誤りタイプを分析した。

分析を通して、各応対事例を、FAQ 集の改善によ り課題が解決できる改善可能系と、FAQ 集を改善し ても課題が解決されない改善困難系の 2 つに大別し た。さらに、改善可能系を 4 つ、改善困難系を 3 つ の誤りタイプにそれぞれ細分類した。表 1 に、本研究で整理した計 7 つの誤りタイプを示す。

改善可能系: QA ペア検索失敗 ユーザの課題解決に直結する $\mathrm{QA}$ ペアが $\mathrm{FAQ}$ 集内にあるが、 $\mathrm{FAQ}$ 検索の精度不足で誤答となった場合が該当する。FAQ 検索の対象となる想定質問の拡充により、類似質問

改善可能系: 引用記事のみ正解 回答文には「詳細は以下の記事をご覧ください」といった形でサ ポートサイトの記事 (引用記事) へのリンクを含む 場合がある。こうした回答文の一部では、課題解決 につながる内容が回答文自体にはなく、引用記事に のみ存在する状態が発生する。表 1 の例では、メン バー追加方法に関する質問に対してメンバー追加に かかる料金を説明している。この例の引用記事の夕 イトルは「「メンバー追加・管理」の使い方」であ り、課題解決につながる内容を含む。しかし、ユー ザは回答文を誤りと判断するため、引用記事に解決手段の記述があっても記事が読まれにくく、課題解決に繋がらない。回答文を読むだけで課題解決につ ながる QA ペアを追加することが改善策となる。

改善可能系: あいまいな質問クエリに、関連 QA ペアを絞るために必要な情報が不足している場合が該当する。こうしたクエリでは、チャットボットの 運用担当者でも、ユーザが望んでいる回答内容を判断できない。表 1 の例では、どの取得状態に関する 質問かわからないため、電子証明書に関する回答が 正しいかどうかもわからない。改善策には、限られ た情報でも答えられる QA ペアの追加がある。前述

追加すればよい。またUIを改良し、ユーザから追加情報を得る手段を実装することも改善策となる。

改善可能系: 回答手段なし 課題解決につながる $\mathrm{QA}$ ペアが FAQ 集になく、サポートサイトにも関連記事がないことから、チャットボットやサポートサ イトに回答手段がない場合が該当する。FAQ 集は高頻度な質問への回答をまとめたものであるため、低頻度な質問や、ユーザの利用状況特有の質問などに は対応できない。サポートサイトは FAQ 集よりも 詳細な情報を持つ傾向にあるが、全てを網羅するこ とは難しいため、対応できない内容もある。改善に は、回答手段なしの中で高頻度な質問に関する $\mathrm{QA}$ ペアやサポートサイト記事を追加する必要がある。

改善困難系: サービス機能なし 提供するサービ スに、ユーザの課題解決につながる機能がない場合 が該当する。表 1 の例のように、回答としては現在非対応である旨を説明することが正しい。しかし、 この回答ではユーザの課題は解決しない。根本的な 改善には、サービスの改善が必要である。

改善困難系: 回答対象外 FAQ 集が対象外として いる質問が該当する。表 1 の例はマネーフォワード クラウド請求書に関する質問であるが、今回用いた FAQ 集はクラウド会計・年末調整が回答対象である
表 2 各誤りタイプへの分類に必要な特徴量（検索ヒット数には各誤りタイプにおける平均を記載）

図 2 誤りタイプ分類器の概要図

ため、回答できない。対象外の質問であることを検知し、適切な窓口へ誘導することが改善策となる。

改善困難系: 質問の誤字脱字 質問文に誤字脱字 があることにより、適切な $\mathrm{QA}$ ペアを発見できない 場合が該当する。改善策としては、応対時に誤字脱字を検出して再大力を促すことが考えられる。

## 3 誤りタイプの自動分類の検討

本節では誤りタイプ分類の自動化を検討する。本研究では FAQ 集の改善で解決する誤りタイプを優先し、改善可能系 (QAペア検索失敗、引用記事のみ 正解、あいまいな質問、回答手段なし）の検出に必要な特徴量と分類器を設計する。改善困難系も実運用上は検出すべきであるが、今回は対象外とする。

## 3.1 分類に必要な特徵量

分類に必要な特徵量の整理結果を表 2 に示す。

検索記事の有無による分類 2 節の類型化から、誤りタイプの特定にはサポートサイトの記事が有用 であると考え、4つの誤りタイプをユーザ課題の解決につながる記事（正解記事）の有無により 2 群に 分ける。QA ペア検索失敗と引用記事のみ正解は、 どちらも正解記事を持つため、記事特定可能群とす る。また、回答手段なしは正解記事がなく、あいま いな質問は正解記事を絞れないことから、どちら も正解記事がないとみなし、記事不定群とする。サ ポートサイトから正解記事を探索するため、質問文
を用いたサイト内検索を導入する。サイト内検索で 得られた、ヒットした記事の件数 (検索ヒット数) と、内容（検索記事）を特徴量に用いる。2 群の区別には、クエリと検索記事の整合性を調べ、検索記事が正解記事かどうか確認することが重要となる。

記事特定可能群内の分類 この群はクエリと引用記事の整合性を用いて分類を試みる。QA ペア検索失敗の回答文は誤りであるので、引用記事はクエリ と関連しない。引用記事のみ正解は回答文自体は誤 りに見えるが、引用記事はクエリと関連する。

記事不定群内の分類 この群は、クエリと検索 ヒット数を用いて分類を試みる。あいまいな質問は クエリに含まれる情報が少なく、正解記事を絞れな いため、検索ヒット数が多くなる。回答手段なしは クエリに含まれる情報が多く、全てに該当する記事 が見つかりにくいため、検索ヒット数が少なくな る。また、クエリに含まれる情報を直接抽出し、検索ヒット数の妥当性を確認することも重要である。

以上の議論から、クエリ、引用記事、検索記事、検索ヒット数の 4 つの特徴量を使うことで分類でき ると考えられる。なお、4つすべての誤りタイプで クエリと回答文との整合性は低いことが前提となる ため、これらの分類に回答文は不要である。

## 3.2 分類器の概要

図 2 に誤りタイプ分類器の概要を示す。分類器 は、BERT [5] と 1 層の全結合層で構築する [6]。

BERT はクエリとサポートサイトの記事との整合性、または記事間の整合性を判定するために用い る。クエリと記事は特殊記号 [SEP] で繋いで入力す る。複数の記事を用いる場合も、記事間を同じ特殊記号で繋ぐ。BERT の出力として、最終層の文頭記号 [CLS] に対応するべクトルを得る。

全結合層は、BERT から得られた整合性情報や検索ヒット数から最適な誤りタイプを推論する。入力 は、検索ヒット数を BERT の出力ベクトルと結合さ せたものとする。学習時は、BERT と合わせて全体 の fine-tuning を実施する。
表 3 誤りタイプ分類の実験結果

## 4 実験

## 4.1 実験設定

本節では、3節で述べた誤りタイプ分類の検証実験を行う。2 節で用いた応対履歴から、各誤りタイ プのデータ量を揃えるために各 100 件ずつサンプ リングし、学習用、検証用、評価用データとして、 320 件、 40 件、 40 件に分けた。BERT の事前学習済 みモデルには bert-base-japanese-v23)を使用した。 この BERT は入力文長に 512 単語の制限がある。記事特定可能群と記事不定群の分類には、クエリ と検索記事の整合性を評価し、検索記事が正解記事 かを判断することが重要となる。しかし、正解記事 が得られるかはサイト内検索の検索エンジンの性能 に大きく依存する。本実験では、検索で必ず正解記事が得られる状況を作り、検索エンジンの性能が極 めて高い場合に整合性評価が機能することを確認す る。記事特定可能群は、検索記事に正解記事を用い る。記事不定群は正解記事を持たないため、検索結果のうちヒット順 1 位の記事を検索記事とする。記事の検索には Wordpress の検索機能を用いた4)。

多くの記事は長文であるため、文長制限に収める ために検索結果のスニペットを検索記事とする。本実験では、各記事のクエリ関連箇所を目視で抜き出 してスニペットとした。引用記事の取得には検索が 不要のため、引用記事は記事の先頭 5 文を与える。

## 4.2 結果

表 3 に分類実験の結果を示す。 3.1 節で述べた特徵量を加えることで、分類精度が向上した。実験パ タン 1 では、多くの分類結果が $\mathbf{Q A}$ ペア検索失敗に 集まっていた。一方、引用記事を用いた実験パタン 2 では記事特定可能群内の分類精度が向上し、検索

3) https://huggingface.co/cl-tohoku/bert-base-japanese-v2

4）クエリには、質問文を $\mathrm{MeCab}$ (辞書: mecab-ipadic-neologd[7] 2020-09-14 Ver.) で形態素解析し、名詞・形容詞・動詞を抽出した結果を用いた。記事を用いた実験パタン 3 では記事特定可能群と記事不定群を区別する精度が向上した。また、全ての 特徴量を用いた実験パタン 4 では、各群内の分類精度の向上が見られた。例えば、表 1 の引用記事のみ 正解のクエリ例「メンバーの追加ができません」は、 パタン 1 では誤っているが、検索記事やヒット数を 用いた実験パタン $3,4,5$ では正しく分類できた。各実験結果の混同行列は付録 5 を参照されたい。

また、実験パタン 5 では、整合性評価が正しく行 われた場合の精度を確認するため、記事特定可能群 の検索記事の文頭に正解フラグ [TRUE] を付与し、整合性評価の正解を直接与えた。この実験で、整合性評価の精度を高めることで分類精度を高められる ことを確認した。実験パタン 5 でも誤分類となった 事例は、あいまいな質問で多く見られた。例えば、表 1 のあいまいな質問のクエリ例「取得状態が設定 エラーとなります」は、回答手段なしに分類された。 あいまいな質問は検索ヒット数が他の誤りタイプよ り多い傾向にあるが、この例のヒット数は 7 と平均的であった。ヒット数が数十件の事例は正しく分類 できていたため、平均的なヒット数では分類根拠と しては不十分であったと思われる。したがって、記事不定群内の分類精度を高めるためには、クエリ文面から内容を抽出する精度向上と、記事検索の精度向上の双方が必要であると考えられる。

## 5 おわりに

本研究では、FAQチャットボットの応対の誤りタ イプを類型化し、各誤りタイプに必要な改善策をま とめた。また、FAQ 改善の効率化に向けて誤りタイ プ自動分類を検討し、分類器の特徴量としてサポー トサイトの検索結果が有用であることを示した。

今回の実験では、サポートサイトの記事検索精度 が極めて高い状況を仮定したが、実運用に向けて は、記事検索や、クエリと記事の整合性判定の精度向上を進める必要がある。また、今回議論の対象外 とした誤りタイプも考慮した分類も進める。

## 謝辞

誤りタイプの体系の整理方法について繰り返し議論いただいた、株式会社マネーフォワードビジネス カンパニー CS 本部の竹下晴基氏、古山三紗子氏に 謝意を表します。

## 参考文献

[1] 土居誉生, 森克利, 嘉門勇輝, 稲田徹. 応対ログからの FAQ 自動抽出システム NANQ. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 167-168, 2021.

[2] 戸田隆道, 友松祐太, 杉山雅和. 提示候補とクエリの 差分を用いたチャットボットの新規問い合わせ抽出手法. 言語処理学会第 27 回年次大会, pp. 1550-1553, 2021.

[3] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. FAQ retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR'19, p. 1113-1116, New York, NY, USA, 2019. Association for Computing Machinery.

[4] 坂田亘, 田中リベカ, 黒橋禎夫. 公式ウェブサイトを ベースにした QA チャットボットの自動構築. 言語処理学会第 26 回年次大会, pp. 327-330, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[7] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.
表 4 各実験の混同行列の抜粋

## A 付録

## A. 1 実験の混同行列

表 4 に、 4.2 節の表 3 で示した各分類実験の混同行列をまとめた。

引用記事は、引用記事のみ正解とそれ以外を区別するために導入した。実験パタン 1 と 2 を比較すると、実験パタン 2 において引用記事のみ正解の分類精度が向上していることがわかる。また、回答手段なしは関連する記事がサポートサイトに存在しないため、引用記事が不正解となることから、こちらの分類精度も向上した。したがって引用記事は、引用記事のみ正解や回答手段なしを特定するために有用である。

検索記事は、正解記事が存在する記事特定可能群と、正解記事が絞り込めないまたは存在しない記事不定群を区別するために導入した。実験パタン 1 と 3 を比較すると、実験パタン 3 では両群を区別する精度が向上している。また、検索ヒット数は、記事不定群内を分類する目的で導入した。実験パタン 3 の各群を見る と、記事特定可能群内と比較して、記事不定群内の分類精度が高い。したがって、検索記事と検索ヒット数 は、両群の区別や、記事不定群内の分類をする上で有用である。

実験パタン 5 は、クエリと検索記事の整合性評価が完全に機能した場合の分類精度を確認するため、整合性評価の正解を外部から与えた。整合性評価の正解を与えなかった実験パタン 4 と比較すると、他群へ誤っ て分類する例がなくなったことがわかる。したがって、検索記事の整合性評価の精度を高めることで、両群 の区別の精度を高められる。一方、記事不定群では、あいまいな質問の多くが回答手段なしに分類された。 これは、 4.2 節で述べたとおり、あいまいな質問であっても検索ヒット数が少ない事例があったことが原因で ある。今後は、記事検索の精度を高めることで検索ヒット数の妥当性を高めるとともに、クエリの内容理解 の精度を高めることで、検索ヒット数に過度に依存しないような分類器の構築が必要である。


# 根拠を説明可能な質問応答システムのための 日本語マルチホップ QA データセット構築

石井愛 ${ }^{1}$ 井之上直也 ${ }^{1,2}$ 関根聡 ${ }^{1}$
${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ 北陸先端科学技術大学院大学
\{ai. ishii, satoshi. sekine\}@riken.jp naoya-i@jaist. ac.jp

## 概要

推論の根拠を説明可能な質問応答システムの実現 のためには，知識データを適切に活用するスキルを 開発するための根拠情報を含むデータセットが必要 だと考える. 本稿では，クラウドソーシングにより 新たに生成する 3 つ組を用いた日本語のマルチホッ プ QA データセット構築の枠組みを提案し, 初期版 のデータセットを公開する。調查分析結果から, 多様な表現の質問に応じて, 知識データの連鎖や数值比較等の様々なスキルが要求されることが示された.

## 1 はじめに

答えを導き出すために複数の情報や知識を用いて 推論し, その推論の根拠を説明できる質問応答シス テムの実現には，構造化された知識を連鎖させなが ら適切に活用するスキルが重要となると考える. そ のようなスキルに関連する既存のデータセットとし ては, HotPotQA[1], R4C[2], 2WikiMultiHopQA[3]等 の推論の根拠となる情報を含むマルチホップ $\mathrm{QA}$ タ スクがある． R4C は HotPotQA をベースとして，推論過程を 3 つ組の組み合わせで付与したデータセッ トである．R4C の3つ組は HotPotQA の文単位の根拠から単純に 3 つ組を抽出することでは得られず,推論に関連した箇所を適切に出力することで高い評価を得られることが示されている[2].

構造化された知識としては, Wikidata[4], 森羅プ ロジェクト[5]の Wikipedia 構造化データ[6]等, 3 短組形式で利用可能な知識データがある. これらの知識を活用するスキルを開発するためのデータセット としては, 2WikiMultiHopQA のように知識データの 3 つ組を用いて質問を生成することが考えられる.

図 1 構成質問の例

ただし，その質問を解く際に用いる知識データが質問作成時に用いたものと同一の場合, その知識デー タを活用するスキルはうまく開発されない可能性が ある. また, 既存の知識データでは計算機が利用し やすいよう，3つ組の関係の記述は統一されている. そのため，作成された質問にバリエーションが生ま れにくいと考える.

そこで本稿では, クラウドソーシングにより新た な 3 つ組を生成し，それをべースに質問，回答，お よび根拠の 3 つ組のセットを作成するデータセット 構築の枠組みを提案する. クラウドソーシングによ る新たな 3 つ組を用いることで，用いる知識データ に依らず知識データの活用スキルを開発でき,かつ,多様で自然な表現が含まれるデータセットを生成す ることを狙う。本稿の貢献は以下のとおりである.

・クラウドソーシングに基づく3つ組を用いたマ ルチホップ QA データセット構築の枠組みを提案する。

・ データセットの初期版および, データセット構築の枠組みを公開するi.

- 生成したデータセットの定量的・定性的な分析結果を示す.

## 2 データセットの概要

## 2.1 データセットの目的

本データセットでは，マルチホップ推論が必要な 質問 $\mathrm{Q}$ と回答 $\mathrm{A}$ および，その根拠を 3 つ組のセッ 卜として提供する. 質問 $\mathrm{Q}$ から回答 $\mathrm{A}$ までの推論経路を導出するタスクにより, 知識データを適切に 活用するスキルが開発されることを目的とする.

## 2.2 問題の種類

2 つの 3 つ組を前提として，根拠の説明を求める 質問は，3つ組のどこか 1 つが共通しているか，並行しているかの 2 パターンと考えられる. 本データ セットでは，共通するエンティティをブリッジエン ティティとする(1)構成問題, 2 つの 3 つ組を比較す る(2)比較問題の 2 種類の問題を作成する.

(1) 構成問題 2 つのページから生成された 2 つ の 3 つ組 $(e, r 1, e 1)$ と $(e 1, r 2, e 2)$ を中心, $e 1$ をブ リッジエンティティとして $, e, r 1$, および 2 を用 いて質問， $e 2$ を用いて回答を作成する. ブリッジェ ンティティは, 図 1 の “ルーブル美術館”に相当す る.

(2) 比較問題 2 つのページに内在する 3 つ組 $(e 1, r 1, e 2)$ と $(e 3, r 2, e 4)$ の $e 2$ と $e 4$ を比較する質問 を作成する. 生年月日（例 $: e 1$ と $e 3$ どちらが先に生 まれたか? ）や設立年, 所在地や出身国（例 : $e 1$ と $e 3$ の出身国は同じか?）等の情報から質問を作成す る.

## 3 データセットの構築

本データセットは，(1)構成問題のための 3 つ組 の生成, (2)3つ組を用いた構成問題の生成, (3)比較問題の生成の 3 つのクラウドソーシングタスクに より生成する. 対象とするぺージが人物や企業に関 するページに偏らないよう，拡張固有表現[7](ENE) が Wikipedia ページに付与された分類データ[8]を使用し分布を調整する.

## 3.1 クラウドソーシングタスク

(1)構成問題のための 3 つ組の生成 まず, 人気

体とほぼ同等となるように対象とするぺージ群を選定する。その際, 固有表現のハイパーリンクが含ま れにくい概念の説明のページや，データセットにふ さわしくないと考えられるぺージが含まれるカテゴ リを手作業で確認し除外した. クラウドソーシング では，ページ右側の表（Infobox）および冒頭部分

(Abstract) のハイパーリンクを対象に，ページタ イトルを Subject, リンク先を Object とする 3 つ組 の関係を記述するタスクを実施する。関係記述用画面（図 2）では，クラウドワーカーが関係を記述 するボックスを選択すると, 右側の Web ページ部分の対象箇所がハイライトされる.

図 23 つ組の関係記述画面

(2) 3 つ組を用いた構成問題の生成 起点とする ページの 3 つ組に含まれるブリッジェンティティの 候補について, ENE の分布が調整されるよう重みづ けしてランダムに選定し，ブリッジェンティティで つながる 2 つの 3 つ組のぺアを生成する。その際， Infobox に含まれる情報のほうが問題生成に使われ やすいという事前の調査結果から，Abstract に含ま れブリッジェンティティが 6 割以上選択されるよう

図 3 構成質問生成時の根拠選択画面

調整する.クラウトトソーシングタスクでは，ブリッ ジエンティティでつながる 2 つのページの 3 つ組を ぞれぞれ表で表示し（図 3），クラウドワーカーは 2 つの表の情報を用いて問題を作成し, 使用した 3 つ 組を各表から選択して根拠のセットとする.

(3)比較問題の生成 まず, 対象のページ群を Wikipedia ページに付与されているカテゴリ情報で グルーピングし， ランダムにグループを選定する。 そのグループ内からランダムに 2 ページのぺアを作成する。 その際，ENE の分布が調整されるよう重み づけをする. クラウドソーシングタスクでは，クラ ウドワーカーは左右に表示された 2 つぺージ（図 4）を見て，質問と答えを作成し，その際使用した情報を 3 つ組の形となるよう入力する. なお, 左右に 2 つのページを表示する画面では, Infoboxを表示す るかどうかを制御し，ランダムに 4 割程度 Infobox が表示されるようにする.

図 42 2のページの比較画面

## 3.2 データセットの統計

以下に作成したデータセットの統計を示す. クラ ウドソーシングは Lancersiiiのタスク形式で実施し,問題として成立しないセットを簡易的な自動チェッ クおよび手作業にて構成問題 127 件, 比較問題 378 件除外した。

表 1 データセットの統計

## 3.3 データセットのサンプル

データセットのサンプルとして, 付録表 4 に構成問題の例，付録表 5 に比較問題の例を示す.

## 4 分析

作成したデータセットについての調査, 分析結果 を示す.

## 4. 1 問題の分野の多様性

問題作成時に対象とする Wikipedia ページの ENE カテゴリが Wikipedia 全体の分布に近くなるよう調整した結果, 表 4 の分布となった. 分布は多少前後 するものの，人気の高いページに非常に多く含まれ る人名カテゴリへの偏りはある程度避けられてい る. 構成問題の起点ページ，ブリッジェンティティ のページ，比較問題のページの ENE カテゴリの種類数はそれぞれ，46，56，58 と幅広い分野の質問 が作成されたといえる. 表 4 の CONCEPT 等, 事前調查によりブリッジエンティティとなるような固有名詞が含まれにくいカテゴリや，「○○の一覧」等のまとめぺージが多く含まれる IGNORED, R18 の制限に相当するようなページが含まれるカテゴリ はあらかじめ除外したため $0 \%$ となっている.

表 2 ENE カテゴリの分布（上位 10 カテゴリ）

} & Wikiped & \multicolumn{2}{|l|}{ 構成問題 } & \multirow{2}{*}{ 比較問 } \\
\cline { 3 - 4 } & ia 全体 & 起点 & ブリッジ & 題 \\

## 4. 2 問題を解くために要求されるスキル

付録表 4 に示した構成問題は，クラウドソーシ ングで作成した 3 つ組を用いるため, その 3 つ組の 関係がどのように表現されているかに質問の自然さ が左右されている.

付録表 5 に示した比較問題は $1 \sim 4$ が数値を比較 する問題である. 数値の意味をとらえた上で比較や 計算するスキルが要求される。 3 は生年月日を用い て初土俵時の年齢を計算した上で比較する必要があ る. 4 は個数を数える問題であり，「豊富なのはど ちら」という質問に対し, 個数が多いほうを答える 必要がある. 5, 6 は数値以外を比較する問題であ り，5 のように片方が持つ属性値について質問し， それを持つのはどちらかを問う問題，または 6 のよ うに両方の属性値が合致しているかどうかを問う問題がある. 6 のように属性によらず「石川県」が含 まれているかを問う，「ゆかりのある」という表現 の意味をとらえるスキルを要求する問題も作成され た. 数値を比較する問題の割合は $34 \%$ であった. これは作成開始当初生年月日を比較する問題が多く 作成されたため, 数値の比較以外の問題を作成する インストラクションをしたことによる.

## 4. 3 根拠の 3 つ組の特徴

Wikidata と比較した特徵 クラウドソーシングで 作成された 3 つ組の一部を Wikidata と比較した結果, 本研究の 3 つ組のほうが関係の数は多い傾向が あった. Wikipedia は関係の記述が統一されているた め, 汎用的である. 対して本研究の 3 つ組は, 表記 ゆれが多く質問のバリエーションを高める用途には 適していると考える. ただし, 低品質な記述も散見 されるため, 改善方法の検討が必要である.

3 つ組抽出元のページ内位置 表 3 に問題の根拠と して使用された 3 つ組のページ内での出現位置を示 す. 構成質問のブリッジェンティティはほぼ設定ど おりの割合であり, 比較問題ではクラウドワーカー に見せる画面で比較問題に使用しやすいInfobox を 表示するかどうかをランダムにしている効果から， Abstract とそれ以外の本文をあわせた割合と比較し て Infobox が 5\%程度少ない結果となった. Both は Infobox と Abstract 両方に含まれる場合の割合であ り, other は 3 つ組の Object がページ内の表現と完全一致しない割合である。比較問題の3つ組はクラ ウドワーカーがページ内の該当箇所をコピーして
Object エンティティとし, 関係を自由記述するよう インストラクションに記載しているが， ゚゚ージ内の 不要な情報を削除したケースや表 5 の 5 例のよう に，ページ内で存在しない情報を3つ組にしたケー スが含まれる。

表 3 使用された 3 つ組の出現箇所

## 5 おわりに

知識データを適切に活用するスキルの開発を目的 とした，推論の根拠を 3 つ組のセットで含む日本語 のマルチホップ QA データセット構築の枠組みを提案した. 調査分析結果から, 幅広いカテゴリの多様 な表現の質問が含まれること, その多様な表現の意味を捉えた上での知識データの連鎖や数値比較等,様々なスキルが要求されることを示した。構築は継続中であるがこれまで構築した初期版となるデータ セット，および構築のための枠組みとなるスクリプ 卜等を

https://github.com/aiishii/jpn_explainable_qa_dataset に て公開予定である。

今後の課題として, 2WikiMultiHopQA にて提案 されているような構成問題と比較問題を組み合わせ たバリエーションや，2つの 3つ組から新たな関係 を導いて用いる問題の追加があげられる。また，デ 一タセットの規模を大きくしていく上で品質を確保 する手段についても今後検討する予定である.

## 謝辞

本研究は JSPS 科研費 JP20269633 および

19K20332 の助成を受けたものです.

## 参考文献

[1] Z. Yang et al., "HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering," EMNLP 2018, pp. 2369-2380, 2018, doi: 10.18653/V1/D181259 .

[2] N. Inoue, P. Stenetorp, and K. Inui, "R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason," ACL 2020, pp. 6740-

6750, Jul. 2020, doi:

10. 18653/V1/2020. ACL-MAIN. 602.

［8］関根聡，安藤まや，小林暁雄， and 隅田飛鳥，“拡張固有表現定義の更新と日本語 Wikipedia 分類データ 2019,” 言語処理学会 第26回年次大会, 2020.

## A 付録

表 4 構成問題の例

 & 長野県 &  \\

## 表 5 比較問題の例

 & NO & (奈良市, 人口, 約 35 万 2000 人),(ドバイ, 人口, 約 331 万人) \\


# 視覚的質問応答における視線情報を利用した 曖昧性解消に向けて

稲積 駿 1,2 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 川西康友 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
inazumi.shun.in6@is.naist.jp
\{seiya.kawano, akishige.yuguchi,yasutomo.kawanishi,koichiro.yoshino\}@riken.jp

## 概要

視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えられた時に回答を導く タスクであり，質問と画像中の情報から回答が一意 に決定する状況を仮定する。しかし，VQAを人間と 実世界対話を行うロボットに応用する場合，主語の 省略や指示語が，視線などのマルチモーダルな補完情報（文脈情報）と共に利用される場合がある. 本研究では画像中の人物が見ている対象の情報を利用 した VQA データセットを構築し, 視線の先の物体名を VQA の曖昧性解消に利用した結果を報告する.

## 1 はじめに

実世界での事物を考慮した人間とロボットの自然 なインタラクションを実現することは，Vision and Langauge 研究の到達点の一つである. この際，ロ ボットは自身が見ている視覚情報と人間が発する 言語情報を統合・理解して，適切な応答を返す能力 を備える必要がある．視覚的質問応答 (VQA: Visual Question Answering) は，画像に関する質問が与えら れた際に質問に対する回答を導くタスクであり，視覚・言語情報の統合に関する重要なべンチマークが 公開されている $[1,2,3]$.

既存の VQA に含まれる質問は，その意図が明確 であり回答が一意に決まることが多い.しかし，人間同士のインタラクションに見られるように，実際 に人間が行う質問は，指示語や主語の省略によって 曖昧さが生じその回答が一意に決まらない場合があ る [4]. 図 1 上は既存の VQA データセットに含まれ る質問の例であり, 図 1 下は指示語や主語の省略に より曖昧性が生じる質問の例である。

本研究では，VQAにおける質問の曖昧性を解消 するために，視線 [5] に代表されるマルチモーダル

図 1 日本語 VQA データセット [3](図上)と視線情報付き VQA データセット (図下) の例. 図下は，画像，質問，回答に加え視線の視点と終点が付与されている。

な文脈情報を用いることを想定し，視線情報付き VQA データセットおよびタスクを提案する. 視線情報付き VQA タスクは画像内の人物が発するであろ う曖昧な質問に対して，その人物の視線情報を考慮 して回答する．例えば，図 1 の図下に示された曖昧 な質問は，「傘を差している女性」が「赤いジャケッ 卜を着た男性」に注視していることを追加情報とし て用いれば，回答を一意に定めることができる．本研究ではさらに，視線の先の物体が扱えるように既存の VQA モデルの入力を拡張し，視線付き VQA タ スクによるモデルの評価を行った。

## 2 関連研究

視覚的質問応答 VQA は画像処理と自然言語処理の融合分野である Vision and Language のタスクの 一つに位置する $[1,2,3,6]$. VQA のタスク設定は,用意された回答群から回答を選択する設定 (選択型) と回答を生成する設定 (生成型) の二つが存在する.本研究では，生成型の設定を想定して質問と回答を 収集した。VQA では基本的に画像と質問の情報か ら一意に定まる質問・応答ペアが用意されるが，本研究は視線情報を持たない場合に回答が曖昧になる ようなデータセットを構築した。
表 1 日本語 VQA データセット [3] と視線情報付き VQA データセットの統計情報.

注視対象推定 注視対象推定とは，画像に映る 人物を選択し，その人物が注視しているオブジェ クトを推定するタスクである。代表的なデータ セットとして, Gazefollowがある [7]. Gazefollow は, MSCOCO [8] を含む様々な画像データセットから収集した人物を含む画像に対し, 人物の視線元と視線先のアノテーションを付与したものである. 視線付 きVQA データセットの構築は, Gazefollow の画像 と視線情報を利用した。

質問応答における曖昧性言語に生じる曖昧さ の問題は質問応答システムで活発に取り組まれ ており，質問の曖昧性は言い換え $[9,10]$ や質問生成 [11,12] により解消するアプローチが検討されて いる.

VQA においても，曖昧さの議論はなされてい る [13,14]. 選択型の VQA では, 同じ内容に対する 言い換えに対応するべく, 自動評価のために 10 件程度の回答が付与される. しかし, 画像が不鮮明な 場合や質問が曖昧である場合, 全ての回答が一致す るとは限らない [13]. 既存研究では回答が一意にな るように問い返しの質問を生成する [15] ことで選択型 VQA の問題は解消できることが示唆されてい る [14]. 本研究ではこのようなユーザから追加情報 を引き出そうとするアプローチとは異なり, 画像の 状況から得られる追加の文脈情報を利用することで 曖昧性の解消を試みる。

## 3 視線情報付き視覚的質問応答

## 3.1 タスク設定

実験では注視対象推定のタスクを扱わず，視線の 先の物体名が既に与えられていると仮定し, 視線情報付きVQAのタスクを次のように定義する.

視線情報付き VQA 画像, 質問, 視線情報先の物体名が与えられた時，モデルは回答を生成する。

## 3.2 データ収集方法

視線情報付き VQA データセットは，クラウド ソーシング1)によって構築した. Gazefollow [7] に含

まれる画像に対して，人物が見ている対象に関する 質問を作成し，質問に対する回答を与える。視線の 先が物体を差していない場合や画像が不鮮明である 場合は質問・回答作成の対象から除いている.

ワーカに対する教示を以下に示す.

・質問の文字数は 10 文字以上とする.

・視線の先に存在する物体名を直接質問に含め ない.

・画像内の情報のみで回答できる質問を作成 する.

一つ目の項目は，多様な語彙の質問を用意する目的 で設定した。二つ目の項目は，視線情報を持たない 場合に曖昧となる質問を作成する目的で設定した。三つ目の項目は，画像の内容以外で曖昧になる質問 をデータセットに含めない目的で設定した.

## 3.3 統計と分析

既存の日本語 VQA データセット [3] と今回収集 した視線情報付き VQA データセットを比較する。図 2 と図 3 はそれぞれ質問と回答に関する名詞の 分布であり，各データセットから質問・回答ペアを 25,000 件ランダムサンプリングした. 表 1 はそれぞ れの統計情報である.

質問 表 1 より，ユニークな質問の割合は視線情報付き VQA $(39.2 \%)$ より日本語 VQA $(45.2 \%)$ が多 く, 質問の文字長は同程度である. 図 2 より, 視線付き VQA は日本語 VQA より分布がロングテール であり，質問タイプは偏っている．とくに「what」 タイプの質問が多くを占めている。これは，視線の 先の物体を質問作成の対象としたことに起因する。

回答 表 1 より，ユニークな回答の割合は日本語 VQA (17.1\%) より視線情報付き VQA $(29.8 \%)$ が多 く, 回答の文字長は視線情報付き VQA が長い.こ れは，「人物の行動」などを問う質問が多くみられ たことに起因する．結果として一意なフレーズで表現できない回答が収集された. 図 3 より回答の分布 に大きな差は無い. しかし, クラウドソーシング対象とした Gazefollow の画像セットが限定的であるた め，視線付き VQA の回答分布の上位は，「テニス」 など特定のドメインに偏っている。

図 2 質問セットの単語数に関する分布

図4画像エンコーダと言語デコーダによるモデル.

## 4 評価実験

## 4.1 実験設定

事前学習済みの画像エンコーダ・言語デコーダモ デル [16] をベースラインとして視線情報付き VQA の評価実験を行う。モデルの詳細は 4.2 節で述べる. VQAを扱う場合のモデルの性能評価，モデルの入力を変更した場合の ablation 評価を行う.

## 4.2 モデル

図 4 にモデルの概要を示す. モデルは $\mathrm{CNN}$ ベー スの画像エンコーダ，エンコーダの埋め込み系列を 低次元のベクトルへ圧縮する Mapping Network，自己回帰的に回答生成を行う言語デコーダで構成さ れる。

画像エンコーダ 画像エンコーダにより，全体画像を 640 次元の画像特徴量に変換する. Shen ら [17] にならって画像エンコーダは CLIP [18] の RN $\times 4$ を 使用し, Mokady ら [16] にならって画像エンコーダ のパラメータを凍結する.

Mapping Network Mapping Networkを用いて，画像エンコーダから得た画像特徴量を言語デコーダへ 入力可能なべクトルに圧縮する.ここで，Mapping Network は 1 層の MLP 層と 8 層の Transformer 層

図 3 回答セットの単語数に関する分布

で構成されており, 圧縮後のベクトルをPrefix Embeddings (PEs) と呼ぶ.

言語デコーダ 初めに，VQA の質問を含むプ ロンプトから embedding 系列を取得する。この embedding 系列を Prompt Tokens (PTs) と呼ぶ. ここ で，[Q] は質問を示し， $[\mathrm{A}]$ は回答生成の開始位置を 示すラベルである．PEs と PTs を連結したべクトル を言語デコーダ2)に渡す。連結したべクトルの次に 出現するトークン系列を VQA の回答とみなして，学習と評価を進める。なお，今回は VQA の質問に 視線の先の物体名を [objs] として prompting で与え ることで視線の先の物体が認識できている状況のモ デルを構築しようとした.

## 4.3 データセットと評価手法

データセット 日本語 VQA データセットに加 え，日本語画像キャプションデータセット [19]を 言語デコーダの事前学習に使用した. VQA に対す るモデルの精度を評価するため，日本語 $\mathrm{VQA}$ デー タセットからテストセットを 4,000 件確保した。ま た，視線付きVQA データセットの訓練・開発・テ ストセットは 20,899 件，1,400 件，4,000 件とした.

評価手法 抽出型 $\mathrm{QA}$ タスクの評価指標である Exact Match スコア (EM) と F1 スコア (F1) [20] をテ ストデータ全体の評価に用いる。加えて，同義な回答を正しく評価するため，正解トークンと予測トー クンが完全一致していないぺアに対しては，BERT スコア ${ }^{3)}(\mathrm{Bs})[21]$ によって回答フレーズの類似を考慮した評価を行う。

## 4.4 評価結果

VQA によるモデル評価事前学習したモデルを 日本語 VQA と視線付き VQA のテストセットで評

2）事前学習済み GPT-2 モデルを言語デコーダの初期值とす る. https://huggingface.co/rinna/japanese-gpt2-medium 3）多言語 BERT の文ベクトルを評価に用いた. https: //huggingface.co/bert-base-multilingual-cased
表 2 各データセットの評価結果.

表 3 モデルの ablation 評価. PEs は Prefix Embedding, PTs は Prompt Tokens, [objs] は視線の先の物体名を表す.

価した結果を表 2 に示す. 表 2 より，日本語 VQA データセットで学習したモデルは，視線情報付き VQA データセットで fine-tuning せずとも，Bs で一定の性能が保証されることが判明した.

質問または画像の欠落が結果に与える影響 視線付き VQA の訓練セットで fine-tuning したモデルの ablation 評価結果を表 3 に示す. 日本語 VQA データ セットによる事前学習では言語デコーダの入力を,画像情報がエンコードされた PEs, 質問 ([Q]) と回答 の開始位置ラベル $([\mathrm{A}]$ ）がエンコードされた PTs で 構成した. 表 3 より, 言語デコーダの入力から, [Q] または PEs を除いた場合，モデルの性能は著しく低下することが判明した。

視線の先の物体名が結果に与える影響 視線付き VQA データセットに含まれる質問は意図的に視線 の先の物体名 ([objs]) を欠落させているため，PTsへ [objs] を補完して fine-tuning と評価を行った.なお， [objs] は MSCOCO の物体ラベルを使用した. 図 5 は モデルの入出力例であり，「それ」という指示語が 含まれた曖昧な質問の先頭に, [objs] である「ケー キ」の補完を行う. 表 3 より, [objs] を考慮するこ とによる精度向上は見られなかった。

## 5 分析

図 6 は，質問に対する CLIP の画像エンコーダの 画像特徴を Grad-CAM [22] により可視化したヒート マップである。画像右上は視線付き VQA にみられ る曖昧な質問であり，画像左下・右下は曖昧さの原因となる指示語を MSCOCO の物体ラベルで補完し た質問である. 図 6 で示した全ての質問において，「motorcycle」の画像特徴と比べて「bicycle」の画像特徴は強調されていない。モデルの性能は CLIP の 画像エンコーダに依存しているため, [objs] の補完 による言語情報の補正は視線付き VQA の精度に影

Prompt Tokens ([obj] + [Q] + [A])

物体: ケーキ

質問: それの材料は何が入っていますか?回答: チョコレート

Prompt Tokens $([\mathrm{Q}]+[\mathrm{A}])$

質問: それの材料は何が入っていますか?

回答: チーズ ソーセージ トマト

正解ラベル: チョコレート

図 5 モデルの入出力例. 視線の先の物体名を赤字で，生成した回答を青字で示す.

What color is it?

What color is the bicycle? What color is the motorcycle?

図 6 質問ごとの画像エンコーダ（CLIP の RN $\times 4$ ）の特徴量を Grad-CAM により可視化したヒートマップ. RN $\times 4$ の学習設定に合わせて質問を英訳した。

響を与えなかったと考える. 視線が指す領域や物体 の矩形などを用いて画像情報を補正することや，画像エンコーダを言語情報と画像情報を同時に扱うク ロスエンコーダへ変更することで，この問題は解消 できる可能性がある.

## 6 おわりに

本研究では，人間と円滑なインタラクションを行 う対話ロボットの実現を志向し，視線情報で補完さ れる曖昧な質問を含む VQA データセットをクラウ ドソーシングで構築した. 視線の先の物体名をプロ ンプトへ補完した上で視線付きVQA の評価を行っ たが，回答精度の向上は見られなかった. この問題 へ対処すること，および注視対象推定から回答生成 までを end-to-end で処理するシステムを開発するこ とは今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受 けた.

## 参考文献

[1] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, pp. 2425-2433, 2015.

[2] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision, Vol. 123, No. 1, pp. 32-73, 2017.

[3] Nobuyuki Shimizu, Na Rong, and Takashi Miyazaki. Visual question answering dataset for bilingual image understanding: A study of cross-lingual transfer using attention maps. In COLING, pp. 1918-1928, 2018.

[4] Satwik Kottur, José M. F. Moura, Devi Parikh, Dhruv Batra, and Marcus Rohrbach. Visual coreference resolution in visual dialog using neural module networks. In ECCV, pp. 160-178, 2018.

[5] Nathan J. Emery. The eyes have it: the neuroethology, function and evolution of social gaze. Neuroscience \& Biobehavioral Reviews, Vol. 24, No. 6, pp. 581-604, 2000.

[6] Danna Gurari, Qing Li, Chi Lin, Yinan Zhao, Anhong Guo, Abigale Stangl, and Jeffrey P. Bigham. VizWiz-Priv: A dataset for recognizing the presence and purpose of private visual information in images taken by blind people. In CVPR, pp. 939-948, 2019.

[7] Adria Recasens*, Aditya Khosla*, Carl Vondrick, and Antonio Torralba. Where are they looking? In NIPS, Vol. 1, pp. 199-207, 2015.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[9] Sewon Min, Julian Michael, Hannaneh Hajishirzi, and Luke Zettlemoyer. AmbigQA: Answering ambiguous open-domain questions. In EMNLP, pp. 5783-5797, 2020.

[10] Svitlana Vakulenko, Shayne Longpre, Zhucheng Tu, and Raviteja Anantha. Question rewriting for conversational question answering. In WSDM, pp. 355-363, 2021

[11] Vaibhav Kumar and Alan W Black. ClarQ: A large-scale and diverse dataset for clarification question generation. In ACL, pp. 7296-7301, 2020.

[12] Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Pseudo ambiguous and clarifying questions based on sentence structures toward clarifying question answering system. In DialDoc, pp. 31-40, 2022 .

[13] Danna Gurari and Kristen Grauman. Crowdverge: Predicting if people will agree on the answer to a visual question. In CHI, pp. 3511-3522, 2017.

[14] Nilavra Bhattacharya, Qing Li, and Danna Gurari. Why does a visual question have different answers? In ICCV, pp. 4271-4280, 2019.

[15] Yining Li, Chen Huang, Xiaoou Tang, and Chen
Change Loy. Learning to disambiguate by asking discriminative questions. In ICCV, pp. 3419-3428, 2017.

[16] Ron Mokady, Amir Hertz, and Amit H Bermano. ClipCap: CLIP prefix for image captioning. arXiv:2111.09734, 2021.

[17] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP benefit vision-andlanguage tasks? In ICLR, 2022.

[18] Radford, Alec and Kim, Jong Wook and Hallacy, Chris and Ramesh, Aditya and Goh, Gabriel and Agarwal, Sandhini and Sastry, Girish and Askell, Amanda and Mishkin, Pamela and Clark, Jack and Krueger, Gretchen and Sutskever, Ilya. Learning transferable visual models from natural language supervision. In ICML, Vol. 139, pp. 8748-8763, 2021.

[19] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale Japanese image caption dataset. In ACL, pp. 417-421, 2017.

[20] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[21] Tianyi Zhang* and Varsha Kishore* and Felix Wu* and Kilian Q. Weinberger and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In ICLR, 2020.

[22] Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In ICCV, pp. 618-626, 2017.