# Fusion-in-Decoder を用いた論文分類手法の検討

奥田あずみ 美野秀弥 後藤淳
NHK 放送技術研究所
\{okuda.a-gc,mino.h-gq, goto.j-fw\}@nhk.or.jp

## 概要

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ る. 特に，近年，大量のテキストデータを扱うこと が増え，テキスト分類の需要は高まっている. そこ で，本稿では，大量の論文を分析するための論文の ラベル分類タスクに取り組む．質問応答タスクで用 いられている Fusion-in-Decoder の手法を参考に，論文などの長いテキストに対しても高精度のラベル分類できるような手法を提案した. 論文のラベル分類 タスクで評価実験を行った結果，提案手法の効果を 確認した。

## 1 はじめに

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ り，多くの手法が提案されている [1]. 特に，近年 は計算機などのハードウェアの技術進歩により大量 のテキストデータが扱えるようになり，テキスト分類の需要は高まっている. 最近では，新型コロナウ イルスに関する論文が大量に公開され1)，それらの 論文の迅速な解析が求められた. そこで, 本研究で は，論文のラベル分類タスクに取り組む.

BERT [2] などの事前学習モデルには入力長の制限値が設定されており，論文などの文長の長いデータ を一度に扱えない課題がある. この課題への対応と して，論文の全文を事前学習モデルの入力長の制限值以下に分割して複数のラベルを出力し，複数のラ ベルを結合して単一ラベルを出力する手法が提案 されているが [3], 分割された各データのラベル分類に対する重要度を考慮しておらず，十分な精度が 達成できていない可能性がある．そこで，本研究で は，長文のテキストのラベル分類の高精度化のため


に，質問応答 $(\mathrm{QA})$ タスクで用いられている手法を 応用した手法を提案する．具体的には，論文の重要 な情報が集約されていると考えられる概要部分を用 いて論文の全文からラベル分類に有効な文集合を抽出し，抽出した文集合の各文のベクトル表現を結合 してラベルを推定する．質問応答タスクで高い性能 を達成している Fusion-in-Decoder [4] を用いること で，ニューラルネットワークを用いたベクトル表現 の結合を実現した．新型コロナウイルスの科学技術論文データ CORD-19 [5] を用いた評価実験を行い，提案手法の効果を確認した。

## 2 関連研究

論文のラベル分類の手法に Sentence-LabelClassification(SLC) [3] がある. SLC は学術論文の ような長い文章に対し，BERT [2] の入力長の制限値 (512 トークン) 以下になるように 1-3 文程度の短い 文集合に分割し，その単位ごとに BERT モデルを用 いて追加学習を行う．分割した文集合それぞれでモ デルを学習するため学習データが増え, 低頻度ラべ ルの学習に効果がある。しかし，この手法は，ラべ ルの統合時に各出力の平均值などを用いており, 各文の重要度を考慮できていないため, 改善の余地が ある.

本稿では，SLCを改善するために，質問応答 (QA) タスクで用いられている手法を参考にして，ラべ ル統合時にニューラルネットワークを用いる手法 を提案する。QAタスクの多くは，質問と回答を 見つけ出すための文書集合から解答を見つけ出す タスクである. Karpukhin ら [6] は文書集合から関連する箇所を検索する Dense Passage Retriever (DPR) を提案し，オープンドメイン $\mathrm{QA}$ タスク ${ }^{2}$ で高精度な結果を達成した. Lee ら [7] は, オープンドメ イン QA タスクに取り組み，Open-Retrieval Question


## retriever

図 1 提案手法の概要

Answering (ORQA) モデルを提案した. ORQA モデ ルは，解答を得るのに適切な文集合を外部知識 から検索する retriever と, retriever が検索した文集合と質問を合わせたものから解答を見つけ出 す reader の 2 つで構成される. Izacard ら [4] は, ORQA モデルをべースに, reader 部分を改良して Fusion-in-Decoder (FiD) を提案した。さらに，Izacard ら [8] は reader の知識を用いて retriever を学習する 手法を提案し， $\mathrm{QA}$ タスクの精度を向上させた. 本稿では，Izcard らの FiDの手法を論文のラベル分類 に応用している。

## 3 提案手法

## 3.1 概要

本研究では, Izcard らが提案した reader と retriever の 2 つの機構を持つ Fusion-in-Decoder (FiD) を，論文のラベル分類に応用する手法を提案する. 提案手法の概要図を図 1 に示す.

reader は，ラベル分類に有効な情報 (question)と 論文中のラベル分類に有効な文集合 (ctxs) を入力と し, 論文のラベル (answer) を出力するモデルである.入力には，文集合中の各文 (context) に加え, context とは別の answer を推定するのに有効な情報である questionを用いることができ, question と context を 合わせたものを passage と呼ぶ. passage は複数用意 することができ，それぞれ reader の encoder に入力
して埋め込み表現を得る。そして，獲得した複数の 出力結果を連結して decoder に入力して answer を生成するように学習する。

retriever は，論文全体を入力とし，ラベル分類に 有効な文集合である ctxs を検索するモデルであ る. reader は複数の passage を encoderに入力して ラベル分類を行う過程で， question と passage との cross-attention スコアが計算される. cross-attention ス コアの高い passage は answer の推定に寄与している という仮定のもと， retriever は，ラベル分類に有効 な文集合を抽出するため，cross-attention スコアと question と passage の埋め込み表現の内積が関連付く ように学習する。

reader が用いる passage は retrieverにより更新さ れる. retriever は学習時に reader が出力過程で計算 する cross-attention スコアの結果を用いる. reader と retriever は相互に関係しており，reader と retriever を 繰り返し学習することでそれぞれのモデルを高精度化する。

## 3.2 手順

Izcard ら [4] は retrieverの検索対象として, wikipedia のような大量のデータを含む外部知識を用いてい る. 本研究では，図 1 にあるように，論文全文を 文単位で分割して格納した論文データベースを外部知識とみなし，retrieverを用いて論文データベー ス内の全文からラベル分類に有効な文を抽出する.
学習データは，短いテキストである論文の概要部分 (abstract)，長いテキストである論文全文 (fulltext),論文のジャンルを表すラベル (answer)，の 3 つで構成される.

学習時の具体的な手順は以下の通りである.

1. reader の学習学習データの abstract と fulltextを 1 文ごとに分割する. reader の encoder に分割 した abstract を context として入力し, 正解ラ ベルを answer として reader の最初の学習を行 う. question には全論文共通で “What genre best describes this abstract?”3)を用いる.

2. retriever の学習 訓練済みの reader が途中で計算 する cross-attention スコアをもとに， question と context の内積が適切な值となるように retriever を学習する。

3. retriever による推論 2 で学習した retrieverによ り論文データベースから関連する文を faiss [9] で最近傍探索を行い関連度が高い文を抽出す る. 極端に短い文は抽出しないようにした。こ の抽出作業を passage retrieval と呼ぶ.

4. reader の再学習 question と 3 で抽出した context とを readerに入力して再度 readerを学習する。

5. 交互に学習 3-5を繰り返し, reader と retriever を 交互に学習する。

ラベル分類を行う際は， abstract を 1 文ごとに分割 して最終的に得られた reader にかけ, 出力結果の answer が推定ラベルとなる.

## 4 実験

## 4.1 実験設定

Allen Institute for AI が収集していた新型コロナウ イルス感染症 (Covid-19) に関する科学論文リソース である The Covid-19 Open Research Dataset (CORD-19) を用いて実験を行った. CORD-19 は PubMed Central やWHO など, 複数のリソースから学術文献検索 サービス Semantic Scholar で検索して取得した論文 を統合しており，著者名や投稿日時や取得ソースが abstract と併せてメタデータに記載されている. 本稿では CORD-19 から抽出した bioRxiv に投稿され た 7127 本の論文と，各論文に付与された 25 種類の 研究分野のラベルを用いた. 提案手法のモデルに入


表 1 実験結果. question には共通の文を用いた. context

力するデータは付録 A のような JSON 形式のデータ である.

context の集合である ctxs は retriever の結果を用 いるが，初回の reader の学習時には retriever の学習 は行われず用いることができない。そこで，ctxs の 初期値として, 論文の abstract がラベル分類に有効な文集合であると仮定し，学習データの各論文 の abstractを文単位に分割したものを用いた。単語 の分散表現には T5 (Text-to-Text Transfer Transformer) [10]を用いた. retrieverの出力には論文データベー スの検索結果から 10 単語以下で構成される文を除 いた Top 20 を用いた.

比較手法には Sentence-Label-Classification(SLC) [3] を用いた。

評価には分類タスクで一般的に用いられている Micro-F1 と Macro-F1を用いた.

## 4.2 実験結果

実験結果を表 1 に示す. 繰り返し回数は, reader と retrieverの学習の回数を示す.

先行研究であるSLC と繰り返し回数 0 回の提案手法を比較すると，Macro-F1 はほぼ変わらず， Micro-F1 は向上した. SLC は文ごとにラベル分類を 行い，それらの結果をもとにルールベースでラベル を推定する。一方，提案手法は文ごとの encoder 結果を連結し，それを decoder で処理してラベルを推定しており，ニューラルネットワークを用いた手法 である. 提案手法が SLC より Macro-F1 で向上した 要因として, ラベル分類にニューラルネットワーク を用いる利点が考えられる. context 中のすべての文 の重要度を考慮せずにラベル分類する SLC とは異 なり，提案手法は文集合中のどの文がラベル分類に 重要かを考慮したラベル分類が可能になっている。

次に, retriever と reader の学習を繰り返して, retrieverによる passage retrieval の効果を検証した。繰り返し 1 回目では, retrieve を用いない場合 (繰 り返し回数:0) と比較して, Micro-F1 は若干向上し
表 2 分析用の実験結果

たが，Micro-F1 は下がった. さらに繰り返し回数 を重ねると，4 回目まで Micro-F1 はほぼ変わらず， Macro-F1 は向上した. 5 回目で Micro-F1，Macro-F1 ともに数値が下がったため, 学習の繰り返しを終了した. 提案手法を用いた QA タスクにおける実験 [4] でも，4 回目程度まで性能が向上したと報告 されており，本研究でも同様の傾向となった.

## 5 分析

本章では，retriever を用いない場合の reader の性能を分析する.

## 5.1 初期 context に全文を利用

提案手法では, reader で用いる context の初期値 (繰 り返し回数:0) にラベル分類に有効な情報であると 考えられる abstract を用いた. しかし， contextには 大量のデータを用いることが可能である. そこで， context の初期値に論文全文を入れて 4 章と同様の実験を行った.

表 2 の 2 行目が実験結果である. 4 章の実験の繰 り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が向上した. この結果より，context に入力するデータ数を増やすこと で精度が向上すると考えられる。一方で，reader の context の初期值に論文全文を用いると計算に時間 がかかるという課題がある. 本研究の実験環境4)で は，readerの学習に全文で約 9 時間，abstract のみで は約 3 時間かかった。

## 5.2 question に abstract を利用

4 章の実験の繰り返し回数 0 回の結果 (表 1 の 2 行目) は，retriever を用いずに abstract を用いてラベル を推定しており，abstractにラベル分類に有効な情報 が含まれているかの判断材料となる. Micro-F1 の值 は SLC (表 1 の 1 行目)よりも高いことから, Abstract にはラベル分類に有効な情報が含まれていると考え られる。そこで， questionに共通の固定ベクトルを 用いるのではなく, abstract の分散表現ベクトルを 用いて実験を行った. 表 2 の 3 行目が実験結果であ

4） NVIDIA V100 1 コアを用いて実験を行った.
る. 4 章の実験の繰り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が 向上した. この結果より, question にラベル分類に 有効な情報を入力することでラベル分類の精度が向上すると考えられる。

## 6 まとめ

本研究では，質問応答タスクで用いられている， retriever と reader からなる Fusion-in-Decoder を分類 タスクに応用して，論文のラベル分類に取り組ん だ. retriever では，文章全体の特徴を表す短い文と question を用いて長いテキストからラベル分類に有効な文集合を抽出し，reader では抽出された複数の 文を統合し，ラベル分類を行った. 新型コロナウイ ルス関連の論文を集めたデータセットを用いてラべ ル分類実験を行い提案手法の効果を確認した. 今後 は，より有効な question の選び方や単語埋め込み表現の改善を通じて，retriever の性能を上げる方法を 検討する．また，異なるデータセットでの実験を行 い，他の先行研究とも比較して提案手法の有効性を 示したい.

## 謝辞

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎シニアリード，宮﨑太郎研究員，安田有希研究員，石渡太智研究員に感謝します。

## 参考文献

[1] Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu, and Jianfeng Gao. Deep learning-based text classification: A comprehensive review. ACM Comput. Surv., Vol. 54, No. 3, pp. 62:162:40, 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 奥田あずみ, 宮﨑太郎, 美野秀弥, 後藤淳. 文単位の分類器を用いた論文分類手法の検討. 2021 年映像情報 メディア学会冬季大会, 2021.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 874-880, 2021.

[5] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[6] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[7] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6086-6096, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering. In The International Conference on Learning Representations, 2021

[9] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

## A 入力例

\{

"id": "047xpt2c",

"question": "What genre best describes this abstract?",

"answers": [

"pharmacology and toxicology"

],

"ctxs": [

"text": "A novel coronavirus SARS-CoV-2, also called novel coronavirus 2019 (nCoV-19), started to circulate among humans around December 2019, and it is now widespread as a global pandemic.",

"id": "047xpt2c0",

"title": " "

\} ,

"text": "The disease caused by SARS-CoV-2 virus is called COVID-19, which is highly contagious and has an overall mortality rate of $6.96 \%$ as of May $4,2020 . "$,

"id": "047xpt2c1",

"title": "

\} ,

"text": "There is no vaccine or

antiviral available for SARS-CoV-2.",

"id": "047xpt2c2",

"title": " "

\},

]

\}
 奥田あずみ 美野秀弥 後藤淳 NHK 放送技術研究所 \{okuda.a-gc,mino.h-gq, goto.j-fw\}@nhk.or.jp  