# Longformer によるマルチホップ質問応答手法の比較

岡田直樹 松崎拓也
東京理科大学 理学部第一部 応用数学科
1417023@ed.tus.ac.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

与えられた文書をもとに質問に答えるタスクであ る機械読解は、BERT [1] をはじめとする transformer ベースの事前学習モデルの登場以降、研究が活発に なり、大きな進歩を遂げてきた。機械読解は単一文書からの抽出を行うタイプとマルチホップ型に大き く分けられる。SQuAD [2] に代表される前者のタス クは、単一の文書を参照して質問に答えることに焦点を当てた抽出型タスクであり、すでに人間のスコ アを超えるモデルが提案されている。しかし、この ようなタスクでは単一の文書しか参照する必要がな いため、比較的容易なタスクとなっており、応用範囲は限定的である。一方、後者のマルチホップ型タ スクは、単一もしくは複数の文書中から、複数箇所 にある根拠を見つけなければ答えを導き出せない ため、難易度が高く、より応用範囲が広いタスクで あり、HotpotQA [3] や WikiHop [4] といったデータ セットが開発されている。

本研究で扱う HotpotQA では、複数の文書が与え られ、その中から回答に必要な文書を見つけ出し、回答とその根拠となる文を見つけ出す必要がある。 これまで提案されている手法は、グラフ構造を用い た手法 $[5,6,7]$ とグラフ構造を用いずに BERT 等の 事前学習モデルを利用した手法 $[8,9]$ に分けられる。 その中で、Beltagy らが提案した手法 [10] は、従来の transformer モデルよりも長い文書を扱える Longformer を利用して、複数の文書を同時に入力 し、回答と根拠文選択を単一のモデルで行う。この 手法は、根拠文選択と回答抽出を独立に行うことが できる。ただし独立に行った場合には、不要な文書中の文やトークンも候補に含めて根拠文選択と回答抽出を行うことになる。実際に人が推論を行う際に は、答えに関係する文書を見つけ出し、その文書に のみ注目して答えを見つけ出すだろう。この様子を
Question: Where is the company that Sachin Warrier worked for as a software engineer headquartered?

Document 1: [1]Sachin Warrier is a playback singer and composer in the Malayalam cinema industry from Kerala [2]He became notable with the song "Muthuchippi Poloru" from the film Thattathin Marayathu. [3]He made his debut with the movie Malarvaadi Arts Club. [4]He was working as a software engineer in Tata Consultancy Services in Kochi. [5]Later he resigned from the job to concentrate more on music. [6]His latest work is as a composer for the movie Aanandam.

Document 2: [7]Tata Consultancy Services Limited (TCS) is an Indian multinational information technology (IT) service, consulting and business solutions company Headquartered in Mumbai, Maharashtra. [8]It is a subsidiary of the Tata Group and operates in 46 countries.

## Answer:Mumbai

Supporting facts: [4],[7]

図 1 HotpotQA の問題例（gold 文書のみ）

再現し、不要な文を事前に取り除くことで、よりモ デルの性能が上がる可能性がある。Beltagy ら [11] や Groeneveld ら [12] は、根拠文選択についてこれに 似たアイデアを用いている。ただし、文書や文を 誤って取り除いた場合には回答を導けないため、性能に悪影響を及ぼすことも考えられる。

そこで本研究では、HotpotQA に対して Longformer を利用する手法において、訓練時とテスト時に、い くつかの方法で根拠文と回答の抽出範囲を段階的に 絞り込むことが、回答と根拠文を抜き出す精度にど のような効果を及ぼすかを検証した。その結果、段階的に絞り込みを行わないモデルよりも、回答と根拠文抽出の精度が向上することが確認できた。

## 2 背景

本項では、使用するデータセットの HotpotQA と ベースとなる手法を説明する。

## 2.1 HotpotQA

本研究では、マルチホップ質問応答データセット である HotpotQA の Distractor setting で実験を行う。 Distractor setting は答えを導くのに不要な文書を含 む 10 個の文書から必要な文書を見つけ出し、回答 を行うタスクである。文書は Wikipedia の記事から 収集されており、質問に対し回答に必要な 2 つの文書（gold 文書）と bigram tf-idf によって収集された 回答に必要の無い 8 つの文書 (distractor 文書) が与 えられ、その中から回答とその根拠となる文（根拠文）を抜き出すことが求められる。2つの gold 文書 のそれぞれに一文以上の根拠文が存在し、回答の夕 イプとしては yes/noタイプと文書から回答を抜き 出すスパンタイプがある。また、必要な推論のタイ プとしては bridge タイプと compare タイプがある。 bridge タイプは、質問に対して、文書 $1 \rightarrow$ 文書 2 の ように文書をまたぐ推論を行なって根拠を見つけ回答する問題となっている。図 1 の例では、質問に直接関連する事柄として、文書 1 で「Sachin Warrier が Tata Consultancy Service で働いていた」ことが分か り、さらに文書 2 で「Tata Consultancy Service の本社 が Mumbaiにある」ことが分かり、答えの「Mumbai」 を導ける。compare タイプは、二つのエンティティ を比較して回答する問題となっている。

## 2.2 Longformer

従来の Transformer モデルでは、必要な記憶量と 計算量が入力系列の長さの 2 乗のオーダーで増加す るため、長い系列を扱うことができなかった。その ため、長い系列を扱う際には、文章の一部を切り捨 てるか、文章をいくつかに分割する必要があり、文章全体の情報を失わないように複雑なモデルを構築 する必要があった。

Longformer はこのような問題を解決するために 以下の 3 つの attention パターンを導入している。 Sliding window attention は、各トークンを取り囲む 一定サイズの window 中でのみ attentionをとる。 Dilated sliding window は、Window attention に固定の ギャップを導入することで、計算量を増加させるこ となく、より広い情報を捉えるようにした attention
である。Global attention は、[CLS]トークンや質問文中のトークンなどの、特殊な役割をもつトークン に与え、タスク固有の表現を学習するために導入す る attention である。

このうち、window attention 層と dilated window attention 層を積み重ねることで、より広い文脈を計算量を抑えながら捉えることのできるモデルとなっ ている。

## 2.3 Longformer による HotpotQA

本研究でベースとしている、Beltagy らが提案した HotpotQA に対する Longformerを利用した手法を説明する。HotpotQA のタスクは回答スパン抽出と根拠文予測の2つのタスクを含むが、Beltagy らの手法 ではこれらを一つのモデルで行う。2つの gold 文書 と 8 つの distractor 文書の計 10 個の文書を連結し、さ らに質問と繋げて入力とする。入力のフォーマット としては、"[CLS] [q] question [/q] [p] sent ${ }_{1,1}[s]$ sent $_{1,2}$ $[\mathrm{s}] \ldots[\mathrm{p}]$ sent $_{2,1}[\mathrm{~s}]$ sent $_{2,2}[\mathrm{~s}] \ldots "$ のようになってい る。ここで $\operatorname{sent}_{\mathrm{i}, \mathrm{j}}$ は $\mathrm{i}$ 番目の文書の $\mathrm{j}$ 番目の文であ り、 $[\mathrm{p}] \cdot[\mathrm{s}] \cdot[\mathrm{q}] \cdot[/ \mathrm{q}]$ はそれぞれ文書・文・質問の 始まり・質問の終わりを表す特殊トークンである。 また、先頭の [CLS] トークンに対する出力ベクトル は、回答タイプ分類（yes/no or スパン）に用いる。 Longformer の global attention は、[CLS], [s], [p] の特殊トークンと [q] から [/q] の間の質問を表す部分の トークンに与えられる。

文書選択、根拠文選択、回答抽出の方法は以下の 通り。10 文書それぞれが gold 文書か否かを判定す る文書選択タスクは、文書の始まりを表す特殊トー クンに対する出力ベクトルに、根拠文選択のタスク は、文の始まりを表す特殊トークンに対する出力べ クトルに 2 層のフィードフォワードネットワーク を適用して得られるスコアにクロスエントロピー 損失を適用して訓練を行う。回答抽出タスクについ ては、Devlin ら [1] の SQuAD v1.1への BERT の適用手法に [CLS] トークンによって回答タイプを予測 する機構を加えて行う。具体的には文書の各トーク ンの出力ベクトルに線形層を適用して、回答スパン の開始・終了位置となることに対するスコアとし、 [CLS] トークンの出力にはフィードフォワードネッ トワークを適用してクロスエントロピー損失をと る。モデル全体の訓練には、回答スパン・回答タイ プ分類・文選択・文書選択のそれぞれの損失の線形和を全体の損失として、マルチタスク学習の形で
表 1 訓練手法における選択候補の絞り込み

train2 あり なし

train3 あり あり（文書）

train4 あり あり（根拠文）

train5 あり* あり（文書）*

train6 あり* あり（根拠文）*

*は候補とする部分のみを Longformerに入力

行う。

## 3 手法

本研究では、上記の Longformer モデルを使った手法をべースに異なる訓練・テスト方法を用いて、そ れらの差を調べた。Longformerへの入力において、文を表す特殊トークン [s] は各文の先頭に付加し、全体の損失は、2.3 項と同様に定義する。ただし、回答抽出の損失については、文書中に答えとなる単語 が複数出現することがあるため、以下の関数を用い た [13]。

$
-\log \left(\frac{\sum_{k \in A} e^{s_{k}}}{\sum_{i=1}^{n} e^{s_{i}}}\right)
$

ここで、 $A$ は回答トークンの集合、 $n$ は全トークン 数を、 $s_{i}$ は $\mathrm{i}$ 番目のトークンに対する線形層からの 出力を表す。

## 3.1 訓練方法

訓練の方法として以下の train1-6の 6つの手法を 比較した。いずれにおいても、目的関数は全ての夕 スクの損失を足し合わせたものとする。また、事前訓練済みモデルとしては Longformer-base モデルを 用いる。

train1 2.3 項で説明した手法で、それぞれのタス クで出力ベクトル全体を用いる。

train2 根拠文選択の訓練を行う際、文書選択で gold 文書であると判定された文書中の文のみを候補 とする。回答抽出の範囲は train1 と同様。

train3 根拠文選択の訓練は train2 と同じ方法で 行う。回答抽出の訓練を行う際、文書選択で gold 文書だと判定された文書のトークンのみを候補と する。

train4 根拠文選択の訓練は train2 と同じ方法で 行う。回答抽出の訓練を行う際、文選択で根拠文で あると判定された文のトークンのみを候補とする。

train5 根拠文選択・回答抽出の訓練の際、とも に文書選択で gold 文書と判定された文書と質問の
Question: Which current CBS NBA analyst played for the PORTLAND TRAILBLazers along with former UNLV teammate Stacey Augmon?

Document 1: [1]Gregory Carlton "Greg" Anthony (born November 15, 1967) is an American former National Basketball Association (NBA) player and is currently a television analyst for CBS Sports. [2] Anthony also contributes to Yahoo! Sports as a college basketball analyst and serves as a co-host/analyst on SiriusXM NBA Radio.

Document 2: [3]The 1998-99 NBA season was the 29th season for the Portland Trail Blazers in the National Basketball Association. [4] During the offseason, the Blazers signed free agents Jim Jackson and Greg Anthony, who would reunite with his former UNLV teammate Stacey Augmon. [5] Portland got off to a fast start winning 15 of their first 18 games, and went 35-15 in the lockout-shortened season, earning their fourth Pacific Division title and the first since 1991-92. [6] Their record qualified them for the \#2 seed in the Western Conference. [7] The team earned their 17th straight trip to the playoffs, and 22nd in 23 years. [8] Head coach Mike Dunleavy was named Coach of The Year.

Document 3: ... [9] The team also acquired Stacey Augmon and Grant Long from the Atlanta Hawks, but later on sent Augmon to the Portland Trail Blazers for Aaron McKie at midseason. . .

Answer:Aaron McKie(train1-test1), Greg Anthony(train4-test4)

Supporting facts: [1],[4],[7],[9](train1-test1), [1],[4],[7](train4-test4)

図 2 絞り込むことにより正答する例

トークンのみを連結したものを Longformer へ再度入力して、その出力ベクトルに対して根拠文選択と 回答抽出の訓練を行う。

train6 根拠文選択の訓練は train5 と同じ方法で 行う。回答抽出の訓練を行う際、文選択で根拠文で あると判定された文と質問のトークンのみを連結し たものを Longformerへ再度入力して、その出力べク トルに対して訓練を行う。

絞り込んだ文が回答を含まない場合には、回答抽出の損失は計算せずに他のタスクの損失のみを考 えた。

## 3.2 テスト方法

train1-6と同じ絞り込みを行う方法をそれぞれ test1-6とする。文書選択についてはスコアの上位 2 文書のみを選択した。
表 2 テスト文書数：全文書

## 4 実験

実験は、3 節で述べた手法で全文書を使って訓練 したモデルと、 5 文書に絞って訓練したモデルにつ いて、全文書でテストした場合（表 2）と 5 文書で テストした場合（表 3）について調べた。 5 文書への 絞り込みには、Beltagy ら [11] の two-stage モデルと 同様に、段落選択のみで訓練したモデルを用いた。

データは、公開されている訓練セット (90,447 問) のうち 80,000 問を訓練データ、残りを開発データと し、開発セットをテストデータとした。表の Ans は 回答、Sup は根拠文の F1 スコアである。

表 2 から、根拠文選択を行う際に、train2-4 のよ うに文書選択により候補を絞り込み、テスト時にも 同様にすることで、性能が向上することが確認でき た。回答抽出については、train 3,4 のような候補の 絞り込みでは性能の向上は見られなかった。一方 train5,6 のように、絞り込んだ文のみを入力すると、根拠文選択に関しては train2-4 と同等の効果しか得 られなかったが、回答抽出はこの方法で行うことで 最も良い結果が得られた。絞り込んだ文のみを入力
する方法は、テスト時にのみ適用した場合でも性能 の向上が見られる。また 5 文書へ絞ると性能は向上 するが、訓練に 5 文書しか使わなかった場合、テス 卜に全文書を使うと、性能が下がる傾向が見られる ことから、テスト時よりも厳しい設定で訓練する方 が頑健性が保たれると分かる。

図 2 に、train1-test1 で誤答し、train4-test4 では正答 した例を示す。 train1-test1 は絞り込みを行わないた めに、文書 1,2 を gold 文書と判定したが、文書 3 か ら余分に根拠文を選択し、そこから誤った回答を抽出している。このような誤答は、数字や人名などが 回答で、似た特性を持つ単語が文書中に複数存在す る問題で見られた。このことからも、段階的な絞り 込みの有効性が確認できる。

## 5 おわりに

本研究では、HotpotQA に対して Longformerを適用する際に、段階的な絞り込みを行うことによる効果を調べた。結果として不要な文を取り除いていく ことで、一定の効果が得られることが確認できた。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[2]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016.

[3]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[4]Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[5]Yuwei Fang, Siqi Sun, Zhe Gan, Rohit Pillai, Shuohang Wang, and Jingjing Liu. Hierarchical graph network for multi-hop question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[6]Lin Qiu, Yunxuan Xiao, Yanru Qu, Hao Zhou, Lei Li, Weinan Zhang, and Yong Yu. Dynamically fused graph network for multi-hop reasoning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[7]Ye Deming, Lin Yankai, Liu Zhenghao, Liu Zhiyuan, and Sun Maosong. Multi-paragraph reasoning with knowledgeenhanced graph neural network. arXiv:1911.02170, 2019.

[8]Michael Glass, Alfio Gliozzo, Rishav Chakravarti, Anthony Ferritto, Lin Pan, G P Shrivatsa Bhargav, Dinesh Garg, and Avi Sil. Span selection pre-training for question answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9]Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop reading comprehension through question decomposition and rescoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[10]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v1, 2020.

[11]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v2, 2020.

[12]Groeneveld Dirk, Khot Tushar, Mausam, and Sabharwal Ashish. A simple yet strong pipeline for hotpotqa. arXiv:2004.06753, 2020.

[13]Christopher Clark and Matt Gardner. Simple and effective multi-paragraph reading comprehension. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.
 岡田直樹 松崎拓也 東京理科大学 理学部第一部 応用数学科 1417023@ed.tus.ac.jp, matuzaki@rs.tus.ac.jp  