# VisualMRC: 文書画像に対する機械読解

田中涼太* 西田京介* 吉田仙
}

日本電信電話株式会社NTTメディアインテリジェンス研究所 \{ ryouta.tanaka.rg, kyosuke.nishida.rx, sen.yoshida.tu \}@hco.ntt.co.jp
## 1 はじめに

近年，知識源となるテキストを読み解いて質問に応える機械読解 (Machine Reading Comprehension; MRC）が自然言語理解の主要な課題として注目を集めている [1,2]. 機械読解は Web 検索の高度化に加えて, e-commerce 向けのチャットボット [3] や専門文献の読書補助 [4] などへの応用が期待されているが，従来の研究では，実サービスで扱われる HTML や PDF 形式の文書が持つ視覚的な情報を自然言語と併せて理解することが出来ていない.

そこで本研究では, 言語と視覚の融合理解に向けて，VisualMRC タスクおよびデータセットを提案する1). 図 1 に示す様に，本タスクにおいてモデルは，質問に対して文書画像中のテキストを読み解き，自然文で回答する．本タスクを解くためには， ベースとなる自然言語理解・生成に加えて，文書レイアウ卜（図1 の画像で色付けされた矩形領域）の理解， テキスト認識 (OCR) など様々な能力が必要となる.

本研究ではさらに，VisualMRC タスクに適用可能な新たなモデルを提案する。テキストコーパスで事前学習されたエンコーダデコーダを文書中のテキスト・非テキストオブジェクトの位置・外観を理解できるように拡張することで，最先端の text-based VQA モデル [6]およびベースとした T5 [7], BART [8] （テキスト情報のみ入力）を上回る性能を達成した。

## 2 関連研究

Text-based VQA 機械読解における入力テキストを画像としたタスクである VQA はこれまで広く研究されてきた [11,12]. 近年では, TextVQA [9]に代表される，日常シーンの画像に含まれるテキストの理解が必要となるデータセットが複数個公開されている $[13,14,15]$. これらのデータセットの画像中の

Q: Who were the winners of the Ig Nobel prize for Biology and Chemistry?

A: The winner of the Ig Nobel prize for biology was Dr Johanna van Bronswijk, and the winner for Chemistry was Mayu Yamamoto.

図 1 VisualMRC データセットの例.

単語は少量であるのに対して，VisualMRC は自然文で書かれた複数の文章が視覚的に配置された文書の理解能力の開発に重点を置いている.

文書画像に対する VQA VisualMRC と同時期に作成されたデータセットとして，文書画像の理解が必要な DocVQA [10]がある.VisualMRC との主な違いを以下に挙げる。(i) VisualMRC は 35 のドメインから画像を収集したのに対し，DocVQA の情報源は単一ドメインである. (ii) VisualMRC は現代の Web ページから文書画像を収集したのに対し，DocVQA の大半の画像は 1960-2000 年頃の古い文書であり,手書き・タイプ文字を含む. (iii) VisualMRC の画像は最低 3つの自然文を含むのに対し，DocVQA ではその保証が無い. (iv) VisualMRC は回答生成を必要とするが，DocVQA は多くの場合 SQuAD [1] の様な単一の短いスパンが回答となる。

マルチモーダル QA 画像中のテキストではなく， プレーンテキストと画像の組を入力として用いるデータセットとして，TQA [16] や RecipeQA [17] などがある。例えば，TQA では中学校の教科書からテキストと図を分けて抽出しているが，我々の研究は人間が実際の文書を読むときと同じ視覚情報を機械が扱えるようにすることを目指している。

図 2 VisualMRC, TextVQA [9], DocVQA [10] の単語数に関する分布. 左: 質問，中：回答，右：文書画像.

## 3 VisualMRC

本章では最初にタスクを定義し，その後にデータセットの収集方法および分析結果を示す.

## 3.1 タスク定義

VisualMRC のタスクを下記の様に定義する。

TASK 1 (End-to-end VisualMRC). 質問 $q$ および文書画像 $I$ が与えられた時，モデルは回答 $a$ を生成する。

本タスクは，NarrativeQA [18] や MS MARCO [19] と同じ生成型機械読解であり, 回答は入力テキスト中のスパンに限定されない.

次に，文書画像の理解は，以下の 2 つのサブタスクに分解可能である.

SUBTASK 1 (ROI 検出). 画像 I が与えられた時，モデルは ROI（Region-Of-Interest）の集合を検出する．各 $\mathrm{ROI} r_{i}$ は矩形領域 $b_{i}$ および意味クラス $l_{i}$ を持つ.

SUBTASK 2 (OCR). ROI $r_{i}$ が与えられた時，モデルは単語認識を行う. 各単語は矩形領域 $b_{i, j}$ および表層 $w_{i, j}$ を持つ.

## 3.2 データ収集方法

文書画像収集 94 名のワーカに依頼し，2020 年 1-3 月に 35 のドメインの Web ページ（英語）の 10,197 枚のスクリーンショット画像 $I$ を収集した。

正解 ROI アノテーション 45 名のワーカが文書画像中の ROI ( $\left.\{r_{i}\right.\}$; SUBTASK 1 の正解) のアノテーションを実施した.9つの意味クラス（Heading/Title， Subtitle/Byline, Paragraph/Body, Picture, Caption, List, Data，Sub-Data，Other）の定義は付録に示す.

QA 作成／関連 ROI 選択 495 名のワーカが，各文書画像に対して 3 つの異なる質問および回答の組を作成した. その際，各ワーカは回答に必要となる関連 ROI を付与済みの正解 ROI 集合から選択した。

データ分割 URLドメインに基づき訓練・開発・ テストセットを $21,015 ， 2,839 ， 6,708$ 質問とした.表 1 データセットの統計.

 &  & webpages \\

Num. questions & 45,536 & 50,000 & 30,562 \\
Uniq. num. questions & 36,593 & 36,170 & 29,419 \\

Avg. len. documents & 12.17 & 182.75 & 151.46 \\
Avg. len. answers & 1.51 & 2.43 & 9.53 \\

## 3.3 統計および分析

VisualMRC を代表的な関連データセットである TextVQA [9] と DocVQA [10] と比較して分析する.

質問表 1 に示す様に，VisualMRC のユニー クな質問の割合 $(96.3 \%$ ) は TextVQA (80.7\%) や DocVQA $(72.3 \%$ ) よりも高い.また，質問長の分布は TextVQA や DocVQA に比べてロングテールである（図 2 左）。さらに，VisualMRC $の$ “what” や “what is the”で始まる質問の割合 $(42.0 \% ， 9.5 \%$ ) は，TextVQA (78.2\%，22.9\%）やDocVQA（68.1\%, $58.2 \%$ ）と比べて低く，多様な質問が含まれている。

回答表 1 に示す様に，VisualMRC のユニークな回答の割合 $(91.82 \%)$ は TextVQA $(51.74 \%)$ や DocVQA（64.29\%）よりも高い. VisualMRC は生成型の機械読解タスクであるため，回答の平均長 （9.53 単語）は TextVQA（1.51）や DocVQA（2.43）に比べて長い (図2 中). また, “yes”, “no” から始まる回答 $(10.04 \%, 2.67 \%)$ は TextVQA $(4.90 \%, 0.97 \%)$ やDocVQA $(0.12 \% ， 0.15 \%)$ に比べて多い.

文書画像画像の正解 ROI 集合から OCR（Tessaract [20]）で抽出された平均単語数は，VisualMRC （151.46）や DocVQA (182.75) が TextVQA (12.17) よりも多い. また，VisualMRC をLDA [21]により分析すると，科学，旅行，健康，教育，ニュース，政治など多様なトピックが抽出された。一方で，DocVQA のトピックは食料と栄養が大半であった [10].

図 3 左: 提案モデルアーキテクチャ. 右: ROI および OCRトークンの例.

## 4 提案モデル

提案モデルはメインとサブモジュールから構成される.サブモジュールは 3.1 節に示す SUBTASK 1 (ROI 検出）用の Faster R-CNN [22] と，SubTASK 2（OCR）用の Tesseract [20]を用いる.メインモジュールは， エンコーダデコーダ型の Transformer [23] アーキテクチャに基づき，質問，文書画像，およびサブモジュールの出力に基づいて動作する.

本章ではメインモジュールについて詳細を述べる. 提案モデルの貢献は，T5 [7] や BART [8] の入力系列の拡張およびマルチタスク学習の導入により，事前学習により得られた自然言語理解・生成能力を転移した上で視覚情報を考慮可能な点である.

## 4.1 入カトークン系列

質問 $q$ のトークナイズ結果と各 ROI $r_{i}$ から得られた OCR 単語系列 $\left.\{w_{i, j}\right.\}$ を連結する. ROI の意味的な役割を考慮するため，各 ROI の意味クラスに対応するクラスラベルトークン $\left[\mathrm{L}_{i}\right]$ (図 3 の $[\mathrm{P} / \mathrm{B}]$ など）を各 OCR 単語系列の前に挿入する.

$
x^{\text {token }}=\left.\{\begin{array}{c}
{[\mathrm{S}], q_{1}, \ldots, q_{m},[\mathrm{SEP}],\left[\mathrm{L}_{1}\right], w_{1,1}, \ldots, w_{1, M}} \\
{\left[\mathrm{~L}_{2}\right], \ldots,\left[\mathrm{L}_{N}\right], w_{N, 1}, \ldots, w_{N, M}}
\end{array}\right.\},
$

ベースモデルとして T5（BART）を用いる場合，[S] は'question:' (<s>), [SEP] は'context:' (</s>) である.

## 4.2 入力 Embedding 系列

トークン系列 $\left.\{x^{\text {token }}\right.\}$ embedding 系列 $\{z\}$ に変換してエンコーダに渡す。系列中の $k$ 番目の embedding である $z_{k} \in \mathbb{R}^{H}$ は下記の様に求める.

$
z_{k}=\mathrm{LN}\left(z_{k}^{\text {token }}+z_{k}^{\text {pos }}+z_{k}^{\text {seg }}+z_{k}^{\text {loc }}+z_{k}^{\text {app }}\right)
$

ここで，LN($\cdot$)は layer normalization [24]を表す。 $z^{\text {token }}$ および $z^{\operatorname{pos}}$ はベースモデルが用いるトークンおよび
トークン系列中の位置 $z^{\text {pos }}$ の embeddings である.

以下に，3つの追加 embeddings について説明する.

セグメント文書構造の意味を明確に捉えるため， $k$ 番目のトークンが属する ROI クラスに対して学習可能なべクトル $z_{k}^{\mathrm{seg}} \in \mathbb{R}^{H}$ を導入する.

画像中の位置 $k$ 番目のトークンに対応する矩形領域（ROI あるいは OCR 単語）の画像中の相対位置

$
x_{k}^{\mathrm{loc}}=\left[x_{k}^{\min } / W_{\mathrm{im}}, y_{k}^{\min } / H_{\mathrm{im}}, x_{k}^{\max } / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right],
$

$\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ は矩形領域の左上および右下の座標， $W_{\mathrm{im}} ， H_{\mathrm{im}}$ は画像の幅および高さを表す.

外観 ROI と OCR 単語の視覚的表現を利用するため， $k$ 番目のトークンの矩形領域の画像を Faster R-CNN [22] に渡し，2048 次元の $\mathrm{fc} 7$ 特徴ベクトルを獲得する. さらに，ReLU 活性化関数を適用後， 1 層の FFN に渡し $z_{k}^{\text {app }} \in \mathbb{R}^{H}$ に変換する.

## 4.3 Saliency Detection

質問に関連する OCR 単語をより正確に発見するため，エンコーダの出力を用いて適合度を求める。

$
P_{i, j}=\operatorname{sigmoid}\left(w^{s \top} h_{w_{i, j}}+b^{s}\right),
$

$h_{w_{i, j}}$ は単語 $w_{i, j}$ に対するエンコーダの最終層の出力， $w^{s} \in \mathbb{R}^{H}$ と $b^{s} \in \mathbb{R}$ は学習可能な重みである.

損失関数 Saliency detection を教師有り学習するための正解ラベルは与えられていないため，各 OCR 単語に対して疑似ラベル $s_{i, j}$ を割当て学習を行う.

$
L_{\text {sal }}=-\frac{1}{N M} \sum_{i}^{N} \sum_{j}^{M}\left(\begin{array}{l}
s_{i, j} \log P_{i, j}+ \\
\left(1-s_{i, j}\right) \log \left(1-P_{i, j}\right)
\end{array}\right)
$

ここで， $s_{i, j}$ は OCR 単語が回答文かつ関連 ROI に含まれている場合に 1 ，それ以外は 0 となる。

マルチタスク学習 $L_{\text {nll }}$ を sequence-to-sequence 学習における負の対数尤度とし，メインモジュールの学習を $L_{\mathrm{multi}}=L_{\mathrm{nll}}+L_{\mathrm{sal}}$ の最小化により行う.

## 5 評価実験

VisualMRC を用いて評価実験を行う．提案モデルの初期化に $\mathrm{T}_{\text {BASE }}$ [7], BART BASE $^{\text {[8] }}$ を用いたものをそれぞれ LayoutT5, LayoutBART と呼ぶ.

実験設定 TASK 1 に対応する end-to-end 設定と，人手で付与された正解 ROI が与えられる main 設定の 2 種類を用いる. 学習時は main 設定で行う.

ベースライン最先端の text-based VQA モデル M4C [6] と，ベースとした $\mathrm{T}_{\mathrm{BASE}}$, BART $\mathrm{BASE}_{\mathrm{BASE}}$ （テキスト情報のみを入力）を用いる。

評価指標生成タスクで広く用いられる指標である BLEU-4 (B-4) [25], METEOR (M) [26], ROUGE-L （R-L) [27]，BERTScore（Bs）[28]を用いる.

## 5.1 評価結果

提案モデルはベースラインの性能を上回るか？表 2 に示す様に，提案モデルは視覚的な位置・外観を考慮することにより全ての指標でべースラインの性能を上回った. M4C は視覚情報を考慮するモデルであるが事前学習されていないため性能が低かった. また， ベースとしたモデルのサイズをLARGE に変更することで，全ての指標で性能が改善した.

Saliency detection とのマルチタスク学習は効果があるか？表 2 に示す様に， saliency detection（SD） とのマルチタスク学習により性能が改善した. LayoutT5 では効果が小さかったが，これは T5 の事前学習に saliency detection に類似したタスクである抽出型の機械読解 [1] が含まれているためと考える.

提案モデルは end-to-end 設定で高い性能を達成できるか？ 表 3 に示す様に，実世界の問題設定と同じくROI 検出を自動的に行う必要がある end-to-end 設定においても，提案手法は全ての指標でベースラインの性能を上回り，main 設定と比べても大きく

性能が低下することは無かった． ROI 検出の mAP は 7.86\%であり，文書構造解析データ [29] における Faster R-CNN の mAP (5.1\%) [30] と同程度であった.

提案モデルは人間の性能を上回るか？表 3 に end-to-end 設定・ランダムサンプリングした 3000 件の QA における人間の性能と提案モデル（LARGE サイズ）の性能の比較結果を示す．BLEU-4 では提案モデルが人間を上回ったが，他の指標は人間が大きく提案モデルを上回っていた。

入カトークン・embedding 系列の変更は効果があるか？表 4 に ablation 評価の結果を示す. クラスラベルトークンの挿入（lbl）によるトークン系列の変更，セグメント (seg), 画像中の位置 (loc), 外観 （app）の追加 embeddings の全てで効果があった. 外観の embeddings のみ BLEU-4 で性能が低下したが, これは動画にグラウンディングされた対話の従来研究 [31] でも同様の傾向であった.

提案モデルは全ての ROI クラスの理解に効果があるか？ LayoutT5 は全クラス・全指標で T5 の性能を上回った. (詳細は付録に示す). 相対的には写真や図表の理解が不十分であり今後の課題としたい。

## 6 おわりに

本研究では，VisualMRC を新たな視覚・言語融合理解の課題として提起し，データセットの作成およびモデルの提案を行った。本データセットは，実世界の文書を視覚的に読解可能な知的エージェントの開発に寄与し，Web 検索やチャットボットなど産業上重要なサービスの発展に貢献できる。また，入力トークン・embeddings 系列の変更により，事前学習により獲得された自然言語理解・生成の能力を転移した上で文書の視覚情報を考慮する方法の有効性を示した. 提案モデルは汎用性が高く様々な事前学習モデルに導入可能である.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In $E M N L P$, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In $A C L$, pp. 784-789, 2018.

[3] Lei Cui, Shaohan Huang, Furu Wei, Chuanqi Tan, Chaoqun Duan, and Ming Zhou. Superagent: A customer service chatbot for e-commerce websites. In ACL, pp. 97-102, 2017.

[4] Yining Hong, Jialu Wang, Yuting Jia, Weinan Zhang, and Xinbing Wang. Academic reader: An interactive question answering system on academic literatures. In AAAI, pp. 9855-9856, 2019.

[5] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, 2021.

[6] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointer-augmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. $J$. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In $A C L$, pp. 7871-7880, 2020.

[9] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019.

[10] Minesh Mathew, Dimosthenis Karatzas, R. Manmatha, and C. V. Jawahar. Docvqa: A dataset for VQA on document images. arXiv, Vol. 2007.00398, , 2020.

[11] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. In ICCV, pp. 2425-2433, 2015.

[12] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. In CVPR, pp. 6325-6334, 2017.

[13] Danna Gurari, Qing Li, Abigale J. Stangl, Anhong Guo, Chi Lin, Kristen Grauman, Jiebo Luo, and Jeffrey P. Bigham. Vizwiz grand challenge: Answering visual questions from blind people. In CVPR, pp. 3608-3617, 2018.

[14] Ali Furkan Biten, Rubèn Tito, Andrés Mafla, Lluís Gómez i Bigorda, Marçal Rusiñol, C. V. Jawahar, Ernest Valveny, and Dimosthenis Karatzas. Scene text visual question answering. In $I C C V$, pp. 4290-4300, 2019.

[15] Xinyu Wang, Yuliang Liu, Chunhua Shen, Chun Chet
Ng, Canjie Luo, Lianwen Jin, Chee Seng Chan, Anton van den Hengel, and Liangwei Wang. On the general value of evidence, and bilingual scene-text visual question answering. In CVPR, pp. 10126-10135, 2020.

[16] Aniruddha Kembhavi, Min Joon Seo, Dustin Schwenk, Jonghyun Choi, Ali Farhadi, and Hannaneh Hajishirzi. Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. In CVPR, pp. 5376-5384, 2017.

[17] Semih Yagcioglu, Aykut Erdem, Erkut Erdem, and Nazli Ikizler-Cinbis. Recipeqa: A challenge dataset for multimodal comprehension of cooking recipes. In EMNLP, pp. 1358-1368, 2018.

[18] Tomás Kociský, Jonathan Schwarz, Phil Blunsom, Chris Dyer, Karl Moritz Hermann, Gábor Melis, and Edward Grefenstette. The narrativeqa reading comprehension challenge. Trans. Assoc. Comput. Linguistics, Vol. 6, pp. 317-328, 2018.

[19] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, and Tong Wang. MS MARCO: A human generated machine reading comprehension dataset. arXiv, Vol. $1611.09268 \mathrm{v} 3$, , 2018.

[20] R. Smith. An overview of the tesseract OCR engine. In ICDAR, pp. 629-633, 2007.

[21] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, pp. 993-1022, 2003.

[22] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[23] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[24] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv, Vol. 1607.06450, , 2016.

[25] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L$, pp. 311-318, 2002.

[26] Michael J. Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT@ACL,pp. 376-380, 2014.

[27] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out@ACL,pp.74-81, 2004.

[28] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In ICLR, 2020.

[29] Dominika Tkaczyk, Pawel Szostek, and Lukasz Bolikowski. GROTOAP2 - the methodology of creating a large ground truth dataset of scientific articles. D Lib Mag., Vol. 20, No. 11/12, 2014.

[30] Carlos Soto and Shinjae Yoo. Visual detection with context for document layout analysis. In EMNLPIJCNLP, pp. 3462-3468, 2019.

[31] Hung Le and Steven C. H. Hoi. Video-grounded dialogues with pretrained generation language models. In $A C L$, pp. 5842-5848, 2020.

## A 付録

ROI クラスの定義下記に，クラウドワーカに対するインストラクションで用いた ROI クラスの定義を示す.
- Heading/Title The title or caption of a page, chapter, etc.
- Subtitle/Byline The secondary or subordinate title of a page or a line of text giving the author's name.
- Paragraph/Body The "normal" or "main" text that would be read.
- Picture Pictures or images without any text or data within.
- Caption Text placed next to an image, data, quote, etc. that provides or explains information about an image or data.
- List Typically bulleted lists, where each bullet is not a full sentence.
- Data Tables, charts, graphs, infographic, or other figures with data or information.
- Sub-data Text present inside of tables, charts, graphs, infographic, or other figures.
- Other Any other text that does not fit in the other categories.

質問文の多様性図 4 に質問文の最初の 3 単語の分布を示す. “what” 質問に偏っている TextVQA [9] やDocVQA [10] に比べて多様な質問を含むことが分かる.

実験設定学習には 8 枚の NVIDIA Quadro RTX 8000 GPUs を用いた. バッチサイズ 32 とし， 7 エポック学習（12 時間程度）した. オプティマイザには Adam を用い，学習率は 3e-5 とした. 開発セットの ROUGE-L スコアを用いてモデルを選択した.

出力例図 5 に提案モデルおよびベースラインの出力例を示す. 提案モデルは視覚的なデータ表の最初の行に回答に必要な情報（77.3\%）が含まれることを発見できたが，視覚情報を用いない T5 では，他の割合の表現（less than 1 percent）を誤って回答していた.

ROI の意味クラス別の性能表 5 に示す通り， LayoutT5 は全 ROI クラスの理解で T5 の性能を上回っていた。

実行時間表 6 に 1 の質問への回答に要する平均時間を示す. GPU は 1 枚の NVIDIA Quadro RTX 8000 を用いた. LayoutT5 は多数の領域・OCR トー クンに対する外観の embeddings を計算する必要があるが，大幅な速度低下は起きていない. Faster R-CNN が高速に動作する理由は, ROI の探索を行わず画像表現を獲得するためだけに使っているためである. モデルサイズが速度低下には寄与しており， LARGE サイズは BASE サイズの約 3.5 倍の動作時間を要した。

図 4 質問文の最初の 3 単語の分布.

Q: what is the percentage of roman catholics in cape verde? Ground-Truth: the percentage of roman catholics in cape verde is $77.3 \%$.

M4C: the percentage of young women in cape town are about $54 \%$ of western somalia

T5: percentage of roman catholics in cape verde is less than 1 percent.

LayoutT5: the percentage of roman catholics in cape verde is $77.3 \%$.

図 5 LayoutT5 による出力例.

表 5 意味クラス別の T5/LayoutT5 の性能.

表 61 つの質問への回答に要する平均時間 (秒).


# Longformer によるマルチホップ質問応答手法の比較

岡田直樹 松崎拓也
東京理科大学 理学部第一部 応用数学科
1417023@ed.tus.ac.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

与えられた文書をもとに質問に答えるタスクである機械読解は、BERT [1] をはじめとする transformer ベースの事前学習モデルの登場以降、研究が活発になり、大きな進歩を遂げてきた。機械読解は単一文書からの抽出を行うタイプとマルチホップ型に大きく分けられる。SQuAD [2] に代表される前者のタスクは、単一の文書を参照して質問に答えることに焦点を当てた抽出型タスクであり、すでに人間のスコアを超えるモデルが提案されている。しかし、このようなタスクでは単一の文書しか参照する必要がないため、比較的容易なタスクとなっており、応用範囲は限定的である。一方、後者のマルチホップ型タスクは、単一もしくは複数の文書中から、複数箇所にある根拠を見つけなければ答えを導き出せないため、難易度が高く、より応用範囲が広いタスクであり、HotpotQA [3] や WikiHop [4] といったデータセットが開発されている。

本研究で扱う HotpotQA では、複数の文書が与えられ、その中から回答に必要な文書を見つけ出し、回答とその根拠となる文を見つけ出す必要がある。 これまで提案されている手法は、グラフ構造を用いた手法 $[5,6,7]$ とグラフ構造を用いずに BERT 等の事前学習モデルを利用した手法 $[8,9]$ に分けられる。 その中で、Beltagy らが提案した手法 [10] は、従来の transformer モデルよりも長い文書を扱える Longformer を利用して、複数の文書を同時に入力し、回答と根拠文選択を単一のモデルで行う。この手法は、根拠文選択と回答抽出を独立に行うことができる。ただし独立に行った場合には、不要な文書中の文やトークンも候補に含めて根拠文選択と回答抽出を行うことになる。実際に人が推論を行う際には、答えに関係する文書を見つけ出し、その文書にのみ注目して答えを見つけ出すだろう。この様子を
Question: Where is the company that Sachin Warrier worked for as a software engineer headquartered?

Document 1: [1]Sachin Warrier is a playback singer and composer in the Malayalam cinema industry from Kerala [2]He became notable with the song "Muthuchippi Poloru" from the film Thattathin Marayathu. [3]He made his debut with the movie Malarvaadi Arts Club. [4]He was working as a software engineer in Tata Consultancy Services in Kochi. [5]Later he resigned from the job to concentrate more on music. [6]His latest work is as a composer for the movie Aanandam.

Document 2: [7]Tata Consultancy Services Limited (TCS) is an Indian multinational information technology (IT) service, consulting and business solutions company Headquartered in Mumbai, Maharashtra. [8]It is a subsidiary of the Tata Group and operates in 46 countries.

## Answer:Mumbai

Supporting facts: [4],[7]

図 1 HotpotQA の問題例（gold 文書のみ）

再現し、不要な文を事前に取り除くことで、よりモデルの性能が上がる可能性がある。Beltagy ら [11] や Groeneveld ら [12] は、根拠文選択についてこれに似たアイデアを用いている。ただし、文書や文を誤って取り除いた場合には回答を導けないため、性能に悪影響を及ぼすことも考えられる。

そこで本研究では、HotpotQA に対して Longformer を利用する手法において、訓練時とテスト時に、いくつかの方法で根拠文と回答の抽出範囲を段階的に絞り込むことが、回答と根拠文を抜き出す精度にどのような効果を及ぼすかを検証した。その結果、段階的に絞り込みを行わないモデルよりも、回答と根拠文抽出の精度が向上することが確認できた。

## 2 背景

本項では、使用するデータセットの HotpotQA とベースとなる手法を説明する。

## 2.1 HotpotQA

本研究では、マルチホップ質問応答データセットである HotpotQA の Distractor setting で実験を行う。 Distractor setting は答えを導くのに不要な文書を含む 10 個の文書から必要な文書を見つけ出し、回答を行うタスクである。文書は Wikipedia の記事から収集されており、質問に対し回答に必要な 2 つの文書（gold 文書）と bigram tf-idf によって収集された回答に必要の無い 8 つの文書 (distractor 文書) が与えられ、その中から回答とその根拠となる文（根拠文）を抜き出すことが求められる。2つの gold 文書のそれぞれに一文以上の根拠文が存在し、回答の夕イプとしては yes/noタイプと文書から回答を抜き出すスパンタイプがある。また、必要な推論のタイプとしては bridge タイプと compare タイプがある。 bridge タイプは、質問に対して、文書 $1 \rightarrow$ 文書 2 のように文書をまたぐ推論を行なって根拠を見つけ回答する問題となっている。図 1 の例では、質問に直接関連する事柄として、文書 1 で「Sachin Warrier が Tata Consultancy Service で働いていた」ことが分かり、さらに文書 2 で「Tata Consultancy Service の本社が Mumbaiにある」ことが分かり、答えの「Mumbai」 を導ける。compare タイプは、二つのエンティティを比較して回答する問題となっている。

## 2.2 Longformer

従来の Transformer モデルでは、必要な記憶量と計算量が入力系列の長さの 2 乗のオーダーで増加するため、長い系列を扱うことができなかった。そのため、長い系列を扱う際には、文章の一部を切り捨てるか、文章をいくつかに分割する必要があり、文章全体の情報を失わないように複雑なモデルを構築する必要があった。

Longformer はこのような問題を解決するために以下の 3 つの attention パターンを導入している。 Sliding window attention は、各トークンを取り囲む一定サイズの window 中でのみ attentionをとる。 Dilated sliding window は、Window attention に固定のギャップを導入することで、計算量を増加させることなく、より広い情報を捉えるようにした attention
である。Global attention は、[CLS]トークンや質問文中のトークンなどの、特殊な役割をもつトークンに与え、タスク固有の表現を学習するために導入する attention である。

このうち、window attention 層と dilated window attention 層を積み重ねることで、より広い文脈を計算量を抑えながら捉えることのできるモデルとなっている。

## 2.3 Longformer による HotpotQA

本研究でベースとしている、Beltagy らが提案した HotpotQA に対する Longformerを利用した手法を説明する。HotpotQA のタスクは回答スパン抽出と根拠文予測の2つのタスクを含むが、Beltagy らの手法ではこれらを一つのモデルで行う。2つの gold 文書と 8 つの distractor 文書の計 10 個の文書を連結し、さらに質問と繋げて入力とする。入力のフォーマットとしては、"[CLS] [q] question [/q] [p] sent ${ }_{1,1}[s]$ sent $_{1,2}$ $[\mathrm{s}] \ldots[\mathrm{p}]$ sent $_{2,1}[\mathrm{~s}]$ sent $_{2,2}[\mathrm{~s}] \ldots "$ のようになっている。ここで $\operatorname{sent}_{\mathrm{i}, \mathrm{j}}$ は $\mathrm{i}$ 番目の文書の $\mathrm{j}$ 番目の文であり、 $[\mathrm{p}] \cdot[\mathrm{s}] \cdot[\mathrm{q}] \cdot[/ \mathrm{q}]$ はそれぞれ文書・文・質問の始まり・質問の終わりを表す特殊トークンである。 また、先頭の [CLS] トークンに対する出力ベクトルは、回答タイプ分類（yes/no or スパン）に用いる。 Longformer の global attention は、[CLS], [s], [p] の特殊トークンと [q] から [/q] の間の質問を表す部分のトークンに与えられる。

文書選択、根拠文選択、回答抽出の方法は以下の通り。10 文書それぞれが gold 文書か否かを判定する文書選択タスクは、文書の始まりを表す特殊トー クンに対する出力ベクトルに、根拠文選択のタスクは、文の始まりを表す特殊トークンに対する出力べクトルに 2 層のフィードフォワードネットワークを適用して得られるスコアにクロスエントロピー 損失を適用して訓練を行う。回答抽出タスクについては、Devlin ら [1] の SQuAD v1.1への BERT の適用手法に [CLS] トークンによって回答タイプを予測する機構を加えて行う。具体的には文書の各トークンの出力ベクトルに線形層を適用して、回答スパンの開始・終了位置となることに対するスコアとし、 [CLS] トークンの出力にはフィードフォワードネットワークを適用してクロスエントロピー損失をとる。モデル全体の訓練には、回答スパン・回答タイプ分類・文選択・文書選択のそれぞれの損失の線形和を全体の損失として、マルチタスク学習の形で
表 1 訓練手法における選択候補の絞り込み

train2 ありなし

train3 ありあり（文書）

train4 ありあり（根拠文）

train5 あり* あり（文書）*

train6 あり* あり（根拠文）*

*は候補とする部分のみを Longformerに入力

行う。

## 3 手法

本研究では、上記の Longformer モデルを使った手法をべースに異なる訓練・テスト方法を用いて、それらの差を調べた。Longformerへの入力において、文を表す特殊トークン [s] は各文の先頭に付加し、全体の損失は、2.3 項と同様に定義する。ただし、回答抽出の損失については、文書中に答えとなる単語が複数出現することがあるため、以下の関数を用いた [13]。

$
-\log \left(\frac{\sum_{k \in A} e^{s_{k}}}{\sum_{i=1}^{n} e^{s_{i}}}\right)
$

ここで、 $A$ は回答トークンの集合、 $n$ は全トークン数を、 $s_{i}$ は $\mathrm{i}$ 番目のトークンに対する線形層からの出力を表す。

## 3.1 訓練方法

訓練の方法として以下の train1-6の 6つの手法を比較した。いずれにおいても、目的関数は全ての夕スクの損失を足し合わせたものとする。また、事前訓練済みモデルとしては Longformer-base モデルを用いる。

train1 2.3 項で説明した手法で、それぞれのタスクで出力ベクトル全体を用いる。

train2 根拠文選択の訓練を行う際、文書選択で gold 文書であると判定された文書中の文のみを候補とする。回答抽出の範囲は train1 と同様。

train3 根拠文選択の訓練は train2 と同じ方法で行う。回答抽出の訓練を行う際、文書選択で gold 文書だと判定された文書のトークンのみを候補とする。

train4 根拠文選択の訓練は train2 と同じ方法で行う。回答抽出の訓練を行う際、文選択で根拠文であると判定された文のトークンのみを候補とする。

train5 根拠文選択・回答抽出の訓練の際、ともに文書選択で gold 文書と判定された文書と質問の
Question: Which current CBS NBA analyst played for the PORTLAND TRAILBLazers along with former UNLV teammate Stacey Augmon?

Document 1: [1]Gregory Carlton "Greg" Anthony (born November 15, 1967) is an American former National Basketball Association (NBA) player and is currently a television analyst for CBS Sports. [2] Anthony also contributes to Yahoo! Sports as a college basketball analyst and serves as a co-host/analyst on SiriusXM NBA Radio.

Document 2: [3]The 1998-99 NBA season was the 29th season for the Portland Trail Blazers in the National Basketball Association. [4] During the offseason, the Blazers signed free agents Jim Jackson and Greg Anthony, who would reunite with his former UNLV teammate Stacey Augmon. [5] Portland got off to a fast start winning 15 of their first 18 games, and went 35-15 in the lockout-shortened season, earning their fourth Pacific Division title and the first since 1991-92. [6] Their record qualified them for the \#2 seed in the Western Conference. [7] The team earned their 17th straight trip to the playoffs, and 22nd in 23 years. [8] Head coach Mike Dunleavy was named Coach of The Year.

Document 3: ... [9] The team also acquired Stacey Augmon and Grant Long from the Atlanta Hawks, but later on sent Augmon to the Portland Trail Blazers for Aaron McKie at midseason. . .

Answer:Aaron McKie(train1-test1), Greg Anthony(train4-test4)

Supporting facts: [1],[4],[7],[9](train1-test1), [1],[4],[7](train4-test4)

図 2 絞り込むことにより正答する例

トークンのみを連結したものを Longformer へ再度入力して、その出力ベクトルに対して根拠文選択と回答抽出の訓練を行う。

train6 根拠文選択の訓練は train5 と同じ方法で行う。回答抽出の訓練を行う際、文選択で根拠文であると判定された文と質問のトークンのみを連結したものを Longformerへ再度入力して、その出力べクトルに対して訓練を行う。

絞り込んだ文が回答を含まない場合には、回答抽出の損失は計算せずに他のタスクの損失のみを考えた。

## 3.2 テスト方法

train1-6と同じ絞り込みを行う方法をそれぞれ test1-6とする。文書選択についてはスコアの上位 2 文書のみを選択した。
表 2 テスト文書数：全文書

## 4 実験

実験は、3 節で述べた手法で全文書を使って訓練したモデルと、 5 文書に絞って訓練したモデルについて、全文書でテストした場合（表 2）と 5 文書でテストした場合（表 3）について調べた。 5 文書への絞り込みには、Beltagy ら [11] の two-stage モデルと同様に、段落選択のみで訓練したモデルを用いた。

データは、公開されている訓練セット (90,447 問) のうち 80,000 問を訓練データ、残りを開発データとし、開発セットをテストデータとした。表の Ans は回答、Sup は根拠文の F1 スコアである。

表 2 から、根拠文選択を行う際に、train2-4 のように文書選択により候補を絞り込み、テスト時にも同様にすることで、性能が向上することが確認できた。回答抽出については、train 3,4 のような候補の絞り込みでは性能の向上は見られなかった。一方 train5,6 のように、絞り込んだ文のみを入力すると、根拠文選択に関しては train2-4 と同等の効果しか得られなかったが、回答抽出はこの方法で行うことで最も良い結果が得られた。絞り込んだ文のみを入力
する方法は、テスト時にのみ適用した場合でも性能の向上が見られる。また 5 文書へ絞ると性能は向上するが、訓練に 5 文書しか使わなかった場合、テス卜に全文書を使うと、性能が下がる傾向が見られることから、テスト時よりも厳しい設定で訓練する方が頑健性が保たれると分かる。

図 2 に、train1-test1 で誤答し、train4-test4 では正答した例を示す。 train1-test1 は絞り込みを行わないために、文書 1,2 を gold 文書と判定したが、文書 3 から余分に根拠文を選択し、そこから誤った回答を抽出している。このような誤答は、数字や人名などが回答で、似た特性を持つ単語が文書中に複数存在する問題で見られた。このことからも、段階的な絞り込みの有効性が確認できる。

## 5 おわりに

本研究では、HotpotQA に対して Longformerを適用する際に、段階的な絞り込みを行うことによる効果を調べた。結果として不要な文を取り除いていくことで、一定の効果が得られることが確認できた。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[2]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016.

[3]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[4]Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[5]Yuwei Fang, Siqi Sun, Zhe Gan, Rohit Pillai, Shuohang Wang, and Jingjing Liu. Hierarchical graph network for multi-hop question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[6]Lin Qiu, Yunxuan Xiao, Yanru Qu, Hao Zhou, Lei Li, Weinan Zhang, and Yong Yu. Dynamically fused graph network for multi-hop reasoning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[7]Ye Deming, Lin Yankai, Liu Zhenghao, Liu Zhiyuan, and Sun Maosong. Multi-paragraph reasoning with knowledgeenhanced graph neural network. arXiv:1911.02170, 2019.

[8]Michael Glass, Alfio Gliozzo, Rishav Chakravarti, Anthony Ferritto, Lin Pan, G P Shrivatsa Bhargav, Dinesh Garg, and Avi Sil. Span selection pre-training for question answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9]Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop reading comprehension through question decomposition and rescoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[10]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v1, 2020.

[11]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v2, 2020.

[12]Groeneveld Dirk, Khot Tushar, Mausam, and Sabharwal Ashish. A simple yet strong pipeline for hotpotqa. arXiv:2004.06753, 2020.

[13]Christopher Clark and Matt Gardner. Simple and effective multi-paragraph reading comprehension. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Moderate to Answer MRC Examples with High Variability are Effective in MRC Model Training

Hongyu Li, Tengyang Chen, Shuting Bai, Tingxuan Li, Takehito Utsuro
Graduate School of Systems and Information Engineering, University of Tsukuba, Japan

## 1 Introduction

The Machine Reading Comprehension (MRC) task locates the best corresponding natural language answer when provided a question and its related context. In recent years, MRC models using neural networks have been proposed for SQuAD [8,9], which is a large-scale, high-quality English MRC dataset. Most recent neural network based MRC models have outperformed human performance [1].

Among those existing work, to analyze the difficulty of several popular MRC benchmarks such as bAbI [11], SQuAD [8], CBT [3], CNN [2] and Whodid-What [7], Kaushik and Lipton [4] established sensible baselines for these datasets, and found that question-only and context-only (which is referred to as passage-only in Kaushik and Lipton [4]) models often performs surprisingly well. In particular, context-only models achieve over $50 \%$ accuracy on 14 out of $20 \mathrm{bAbI}$ tasks, and as for CBT, only the last one of the 20 sentences provided as a context is necessary to achieve a comparable accuracy. They also indicated that SQuAD is designed more carefully than other datasets and achieved F1 scores of only $4 \%$ and $14.8 \%$ respectively on question-only and contextonly models, which are relatively lower. Kaushik and Lipton [4] demonstrated that published MRC datasets should characterize the level of difficulty, and specifically, the extent to which questions and contexts are essential. Moreover, they also claimed that follow-up papers reporting improvements ought to report performance both on the full task and variations omitting questions and contexts.

In view of the point demonstrated in Kaushik and Lipton [4], our prior work [5] concentrates more on the difficulty of every single MRC example. Based on pre-trained BERT, we proposed a method of splitting the 87,600 SQuAD1. 1 training examples comprised of 12,500 "easy to answer" ones and 75,100 "hard to answer" ones, and found that when using 12,500 examples of each class to fine-tune BERT on MRC task respectively, the "hard to answer" ones significantly outperform "easy to answer" ones on training effectiveness. However, it was also pointed out that the performance of "hard to answer" examples is comparable with that of examples randomly sampled from the training examples of SQuAD1.1.

Figure 1: An MRC Model using Neural Networks

Swayamdipta et al. [10] proposed DataMapsa general framework of identifying three regions, namely, ambiguous, easy to learn, and hard to learn within a dataset, and applied the framework to several tasks such as natural language inference and sentence-level machine reading comprehension. It is concluded that ambiguous instances are useful for high performance, easy to learn instances aid optimization, and hard to learn instances correspond to data errors.

Following our prior work [5], this paper further proposes a method that splits the MRC examples into three classes of "easy to answer", "moderate to answer", and "hard to answer"1. Given the MRC dataset SQuAD1.1 (where each MRC example is denoted as the tuple $\langle Q, C, A\rangle$ of the question $Q$, the context $C$, and the answer $A$ ) and the pre-trained model RoBERTa $[6]^{2}$, we apply a 10-fold cross-validation on the 87,600 SQuAD1.1 training examples comprised of 13,400 "easy to answer", 49,300 "moderate to answer", and 25,000 "hard to answer" examples. From the comparison results, the followings are our significant findings. (1) Based on the performance of training the RoBERTa MRC models with 13,400 "easy to an-
^{1}$ The definition of "hard to answer" examples is different from that in our prior work [5].

 }^{2}$ Our implementation uses the Huggingface Transformers library [12], and all of our models are fine-tuned based on RoBERTa-base with the number of epochs as 2 , batch size as 8 , learning rate as 0.000015 , and the maximum sequence length as 384 .

Table 1: Splitting the MRC Examples into "Answerable" and "Unanswerable" Examples with the Corresponding Statistics

swer", "moderate to answer", "hard to answer" examples, as well as those randomly sampled from the complete SQuAD1.1 training examples, the one trained with "moderate to answer" examples outperforms the other three. (2) In comparison with the model trained with 13,400 "moderate to answer" examples, another model trained with the examples with high variability of confidence within "moderate to answer" examples shows further performance improvement.

## 2 Splitting MRC Examples into "Easy to Answer", "Moderate to answer", and "Hard to Answer" Classes

Following the procedure for detecting MRC examples as answerable without a question demonstrated in the previous section, we similarly split the 87,600 SQuAD1.1 training examples into "easy to answer", "moderate to answer", and "hard to answer" classes. With the 10-fold cross-validation procedure illustrated in Figure 2, we obtain the following four types of evaluation results, where there exist two choices each for both training and evaluation:

(i) The MRC model is trained with the training examples that include questions used as they are or do not include questions (i.e., "with-question training" or "without-question training").

(ii) The trained MRC model is evaluated against the MRC test examples with or without questions (i.e., "with-question" evaluation or "withoutquestion" evaluation).

The 10-fold cross-validation results in the three classes of "easy to answer" (approximately 13,400 examples), "moderate to answer" (approximately 49,300 examples), and "hard to answer" (approximately 25,000 examples).

Figure 2: Four Types of Evaluation through 10-fold Cross-Validation for Splitting the MRC Examples into "Easy to Answer", "Moderate to answer", and "Hard to Answer" Classes

## Detailed Procedure

The SQuAD1.1 dataset is composed of approximately 100,000 MRC examples that use 23,215 paragraphs extracted from 536 Wikipedia articles as context. With these contexts, questions and answers are annotated through crowd sourcing to generate the complete 100,000 MRC example set. From these examples, we apply $N$-fold cross-validation $(N=10$ in this paper) to the set $U$ of the MRC training examples collected from 442 out of the 536 Wikipedia articles.

Before the $N$-fold cross-validation, we first divide the 442 Wikipedia articles into disjoint $N$ subsets. From the $i$-th $(i=1, \ldots, N)$ subset of Wikipedia articles, we obtain the $i$-th test set $t s_{i}$ of the MRC examples. and the $i$-th training set of the MRC examples is obtained as the set $t r_{i}$ of the remaining MRC examples. Then, the set $U$ of the complete SQuAD1.1 training examples is represented as

$
U=\bigcup_{i=1, \ldots, N} t s_{i} \quad\left(t s_{i} \cap t s_{j}=\emptyset(i \neq j)\right)
$

As shown in Table 1, from the $i$-th training set $t r_{i}$ of the MRC examples, each of which contains a question, another training set $t r_{i}{ }^{Q=\emptyset}$ of the MRC examples is obtained by removing the question $Q$ from each example. So, each MRC example in the obtained training set $t r_{i}{ }^{Q=\emptyset}$ now has an empty question. Similarly, from a test MRC example $s=$ $\langle Q, C, A\rangle$ in the $i$-th test set $t s_{i}$ of the MRC examples that contains a question, another test MRC example $s^{Q=\emptyset}$ is obtained by removing its question $Q$ from $s$. So, the obtained test MRC example $s^{Q=\emptyset}$ has an empty question. Here, we define a Boolean predicate answerable which classifies if the given test example $s$ is "answerable" or "unanswerable" by the MRC model $m(t r)$ trained with training set $t r$, and is defined according to if the predicted answer $\widehat{A}$ is the
same as the reference answer $A$ as

$
\text { answerable }(m(t r), s)= \begin{cases}1 & (\widehat{A}=A) \\ 0 & (\widehat{A} \neq A)\end{cases}
$

By pairing the two training sets $t r_{i}$ and $t r_{i}{ }^{Q=\emptyset}$ from the MRC examples and the two test MRC examples $s$ and $s^{Q=\emptyset}$, as shown in Table 1, a resulting four pairs of training sets from the MRC examples and a test MRC example can be examined as to if the given designated test MRC example is "answerable" or "unanswerable" by the MRC model trained with the designated training set.

Finally, in each of these four pairs, the set $t s_{i}$ of the test MRC examples is split into the set $a^{\alpha}\left(t s_{i}\right)$ of answerable test MRC examples and $u a^{\alpha}\left(t s_{i}\right)$ of unanswerable test MRC examples, according to ( $\alpha=$ $1,2,3,4)$

$
\begin{aligned}
& a^{1}\left(t s_{i}\right)= \\
& \quad\left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t r_{i}\right), s\right)=1\right.\} \\
& a^{2}\left(t s_{i}\right)= \\
& \quad\left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t r_{i}{ }^{Q=\emptyset}\right), s\right)=1\right.\} \\
& a^{3}\left(t s_{i}\right)= \\
& \quad\left.\{s \in s_{i} \mid \operatorname{answerable}\left(m\left(r_{i}\right), s^{Q=\emptyset}\right)=1\right.\} \\
& a^{4}\left(t s_{i}\right)= \\
& \left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t_{i}{ }^{Q=\emptyset}\right), s^{Q=\emptyset}\right)=1\right.\} \\
& u a^{\alpha}\left(t s_{i}\right)=t_{i}-a^{\alpha}\left(t s_{i}\right)(\alpha=1,2,3,4)
\end{aligned}
$

The sets $a^{\alpha}\left(t s_{i}\right)(\alpha=1,2,3,4)$ of "answerable" test MRC examples are obtained by evaluating the MRC model trained with the training sets $t r_{i}$ (with questions) or $\operatorname{tr}_{i}{ }^{Q=\emptyset}$ (without questions) against $s$ (with a question) or $s^{Q=\emptyset}$ (without a question). We define the set $E$ of "easy to answer" MRC examples as the union of the three sets $a^{\alpha}\left(t s_{i}\right)(\alpha=2,3,4)$ of "answerable" test MRC examples. For these, we collect the "answerable" test MRC examples over the cases with questions removed either from the training or test MRC examples $\left(a^{1}\left(t s_{i}\right)\right.$ is excluded because the questions are used in both the training and test MRC examples). The set $H$ of "hard to answer" MRC examples is defined as the intersection of $u a^{\alpha}\left(t s_{i}\right)$ $(\alpha=1,2,3,4)$, which indicates these ones are found as "unanswerable" over all of the four cases. The set $M$ of "moderate to answer" examples is subsequently
Table 2: Number of Examples in Each Training Set

 \\

\cline { 1 - 1 }$M_{v a r}:$ examples with the highest variability within $M$ & \\
\cline { 1 - 1 }$A_{s m l}:$ examples randomly sampled from $A$ & \\
\cline { 1 - 1 }$A_{v a r}:$ examples with the highest variability within $A$ & \\
\cline { 1 - 1 }$H_{s m l}:$ examples randomly sampled from $H$ & \\
\cline { 1 - 1 }$U_{s m l}:$ examples randomly sampled from $U$ & \\

defined as the complement set of $E \cup H$ as below: ${ }^{3}$

$
\begin{aligned}
E & =\bigcup_{i=1, \ldots, N} a^{2}\left(t s_{i}\right) \vee a^{3}\left(t s_{i}\right) \vee a^{4}\left(t s_{i}\right) \\
H & =\bigcup_{i=1, \ldots, N} u a^{1}\left(t s_{i}\right) \wedge u a^{2}\left(t s_{i}\right) \wedge u a^{3}\left(t s_{i}\right) \wedge u a^{4}\left(t s_{i}\right) \\
M & =U-(E \vee H)
\end{aligned}
$

Consequently, the set $U$ of the complete SQuAD1.1 training examples is split into the set $E$ of 13,357 "easy to answer" examples, the set $M$ of 49,251 "moderate to answer" ones, and the set $H$ of 24,991 "hard to answer" ones.

## 3 Effectiveness of "Moderate to Answer" Examples in MRC Model Training

We next evaluate the effectiveness of "easy to answer", "moderate to answer" and "hard to answer" MRC examples based on the performance of each class when used for the MRC model training. As a baseline, we apply the framework of Swayamdipta et al. [10] on SQuAD1.1, resulting in "ambiguous", "easy to learn", and "hard to learn" examples selected from the training examples of SQuAD1.1. Specifically, we fine-tune RoBERTa model on MRC task for 2 epochs $^{4}$ with the training examples of SQuAD1.1, and for each example, we yield the confidence and the variability of the confidence across the 2 epochs. Then, the 29,075 ( $33 \%$ of $U$ ) training examples with the highest variability are selected as the set $A$ ("ambiguous"), which outperforms the 29,075 training examples with the highest average confidence ("easy to learn") and the 29,075 training
^{3}$ Over the set $U$ of the complete SQuAD1.1 training examples, the set $a^{\alpha}$ of "answerable" examples and the set $u a^{\alpha}$ of "unanswerable" examples are defined as $a^{\alpha}=\bigcup_{i=1} a^{\alpha}\left(t s_{i}\right), u a^{\alpha}=U-a^{\alpha}(\alpha=1,2,3,4)$, where

the number of examples in each set is provided in Table 1.

 }^{4}$ We have compared the results among $2 \sim 5$ epochs of finetuning, and the "ambiguous" examples of 2 epochs of finetuning perform the best.

Figure 3: Evaluation Results on the Development Set of SQuAD1.1 where EM is an Exact Match, and F1 is the Macro-Average of the F1 Score per Example

examples with the lowest average confidence ("hard to learn").

The sets shown in Table 2 are evaluated as the MRC model training examples. In addition to the set $E$, we evaluate the sets $M_{s m l}, H_{s m l}$ and $U_{s m l}$ of $|E|=13,557$ MRC examples randomly sampled from $M, H$, and $U$, respectively. These sets are intended to directly compare the effectiveness of the "easy to answer", "moderate to answer", "hard to answer", and (randomly sampled) SQuAD1.1 training examples by restricting the numbers of the training examples to be the same. To compare our results with the baseline, we also evaluate the set $A_{s m l}$ of $|E|=13,557$ MRC examples randomly sampled from $A$. Moreover, we evaluate $M_{v a r}$ and $A_{v a r}$ which are the sets of $|E|=13,557 \mathrm{MRC}$ examples with the highest variability within $M$ and $A$, respectively. All these sets are used to fine-tune the RoBERTa pre-trained model on the MRC task, and the development set of SQuAD1.1 is used as the test set for each evaluation. For the evaluation measures, we utilize the exact match (EM), which is defined as the rate of examples with a predicted answer that exactly matches the reference answer. The macro average of the F1 score is calculated from the precision and recall between the token sequences of the predicted and reference answers.

Figure 3 compares the performance of these sets of MRC training examples. Within the three sets of "easy to answer", "moderate to answer" and "hard to answer" examples, $M_{s m l}$ significantly outperforms $E$ and $H_{s m l}$. Compared with the performance of the baseline's "ambiguous" examples $A_{s m l}$, which is comparable with that of $U_{s m l}$, our "moderate to answer" examples $M_{s m l}$ outperforms the set $U_{s m l}$ with a statistically significant $(p<0.01)$ difference. Furthermore, the set $M_{v a r}$ of examples with the highest variability of confidence within $M$ outperforms the set $M_{s m l}$ with a statistically significant $(p<0.1)$ difference, which also outperforms all other sets of $|E|=13,557$ examples with a statistically significant $(p<0.01)$ difference. This suggests that "moderate to answer" examples with high variability are effective in MRC Model training.

## 4 Conclusion

We proposed a method based on RoBERTa [6] that splits the training examples from the MRC dataset SQuAD1.1 into classes of "easy to answer", "moderate to answer", and "hard to answer". Experimental evaluation results of comparing the four models, which are respectively trained only with the "easy to answer", "moderate to answer", "hard to answer" examples and examples randomly sampled from the complete SQuAD1.1 training examples, demonstrate that the one trained with "moderate to answer" examples outperforms the other three. Furthermore, we also train a model using the examples with high variability of confidence within "moderate to answer" examples, which shows further performance improvement in comparison with that trained with examples randomly sampled from "moderate to answer" examples. Future work includes applying the analysis procedure of this paper to several popular MRC benchmark datasets other than SQuAD [8] and investigating whether the similar results are obtained. We also work on deeper analysis of the characteristics of "easy to answer", "moderate to answer", and "hard to answer" examples to find out features that are related to the disparity of training effectiveness.

## References

[1] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171-4186, 2019.

[2] K. M. Hermann, T. Kociskỳ, E. Grefenstette, L. Espeholt, W. Kay, M. Suleyman, and P. Blunsom. Teaching machines to read and comprehend. In Proc. 28th NIPS, pp. 16931701, 2015.

[3] F. Hill, A. Bordes, S. Chopra, and J. Weston. The goldilocks principle: Reading children's books with explicit memory representations. In Proc. 4th ICLR, pp. 1-13, 2016.

[4] D. Kaushik and Z. C. Lipton. How much reading does reading comprehension require? a critical investigation of popular benchmarks. In Proc. EMNLP, pp. 5010-5015, 2018.

[5] H. Li, T. Chen, S. Bai, T. Utsuro, and Y. Kawada. MRC examples answerable by BERT without a question are less effective in MRC model training. In Proc. 1st $A A C L-$ IJCNLP: Student Research Workshop, pp. 146152, 2020 .

[6] Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] T. Onishi, H. Wang, M. Bansal, K. Gimpel, and D. McAllester. Who did what: A large-scale person-centered cloze dataset. In Proc. EMNLP, pp. 2230-2235, 2016.

[8] R. Pranav, Z. Jian, L. Konstantin, and L. Percy. SQuAD: $100,000+$ questions for machine comprehension of text. In Proc. EMNLP, pp. 23832392, 2016 .

[9] R. Pranav, J. Robin, and L. Percy. Know what you don't know: Unanswerable questions for SQuAD. In Proc. 56th ACL, pp. 784-789, 2018.

[10] S. Swayamdipta, R. Schwartz, N. Lourie, Y. Wang, H. Hajishirzi, N. A. Smith, and Y. Choi. Dataset cartography: Mapping and diagnosing datasets with training dynamics. In Proc. EMNLP, pp. 9275-9293, 2020.

[11] J. Weston, A. Bordes, S. Chopra, A. M. Rush, B. van Merriënboer, A. Joulin, and T. Mikolov. Towards AI-complete question answering: A set of prerequisite toy tasks. In Proc. 4th ICLR, pp. 1-14, 2016.

[12] T. Wolf, J. Chaumond, L. Debut, V. Sanh, C. Delangue, A. Moi, P. Cistac, M. Funtowicz, J. Davison, S. Shleifer, P. von Platen, C. Ma, Y. Jernite, J. Plu, C. Xu, T. Le Scao, S. Gugger, M. Drame, Q. Lhoest, and A. Rush. Transformers: State-of-the-art natural language processing. In Proc. EMNLP: System Demonstrations, pp. $38-45,2020$.


# オープンドメイン質問応答における解答可能性判別の役割

鈴木正敏 ${ }^{1,2}$ 松田耕史 ${ }^{2,1}$ 大内啓樹 2,1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{m. suzuki, matsuda, jun.suzuki,inui\}@ecei.tohoku.ac.jp, hiroki.ouchi@riken.jp
## 1 はじめに

自然言語による質問の入力に対して適切な解答を出力する質問応答システムは，自然言語処理技術の最も重要な応用課題の 1 つである [1]. 特に，対象とする知識の範疇を限定しないオープンドメイン質問応答は，「どんな質問にも答えられるコンピュー タ」を実現する挑戦的な課題として，学術界と産業界の両方で積極的な研究が行われている [2].

既存のオープンドメイン質問応答システムの多くは，大量の文書に対する情報検索と，検索された文書から解答を抽出する処理から成るパイプライン型の手法を採用している $[3,4,5]$. 近年では，機械読解タスクの隆盛を背景に，深層学習を基盤とする読解モデルを用いて解答抽出を行う質問応答システムも提案されている $[6,7,8,9,10,11]$.

情報検索を基盤としたパイプライン型の質問応答システムでは，検索された文書が質問の内容と無関係であった場合，文書からの正しい解答の抽出が困難になる. この問題に対処するための方法として，検索された文書や解答候補のリランキングを行う手法 $[7,8]$ などが提案されている.

しかし本来，与えられた文書が質問に解答するための情報として適切かどうかの判別には，文書の読解と同等の言語理解能力が必要となるはずである. したがって，読解のための文書の選別も，別個のモデルを用意するのではなく，読解モデルに行わせるのが合理的ではないかと考えられる。

そこで本研究では，解答抽出を担う読解モデルに文書の読解による解答可能性の判別を行わせることで，解答性能の高いオープンドメイン質問応答システムを実現する方法を研究する. 具体的には，解答可能性が明示的に付与されたデータセット [12]を用いて読解モデルを訓練し，質問との関連度が低い文書を「読み捨てる」ことで，読解で得られる解答候補の質の向上を図る. 実験の結果，解答可能性判別を行うよう訓練された読解モデルを用いること表 1 解答可能性付き読解データセットに含まれる事例.

質問: 地元では「がめ煮」とよぶ、鶏肉や野菜を一口大に切って、だしや奨油などで煮込んだ福岡県の郷土料理は何でしょう?

正解: 筑前煮

文書: 筑前煮など、ほかの煮物にも鰹節を出汁のひとつとして使うものは多いが、土佐煮では鰹節の濃厚な味を生かしたり、具材の一部として使う特徴がある。土佐酢などと同様、鰹節を用いることから鰹で有名な土佐（現高知県）の名を用いる。...

解答可能性スコア: 0

で，最終的な質問応答の精度が大幅に向上した. さらに，解答可能性の教師信号として，文書中の正解文字列の有無ではなく，文書の読解によって質問に解答できるかどうかの人手による判断を用いることで，より高い質問応答の性能が得られた1).

## 2 関連研究

オープンドメイン質問応答の初期のシステムは,質問文の解析，情報検索，解答候補の抽出などから成るパイプライン処理を，人手で設計された規則や特徴量に基づいて行うものが主流であった $[3,4,5]$.近年では，深層学習技術の進展と同時に，SQuAD [13] に代表される機械読解タスクの研究が広く取り組まれるようになったことを背景に，従来のパイプライン型質問応答システムの一部を深層学習を基盤としたモデルで置き換え，より解答性能の高いシステムの実現を目指す研究が進められている.

Chen ら [6] は，従来の情報検索のモジュールと深層学習による読解モデルを組み合わせたオープンドメイン質問応答システムを初めて提案した.このシステムでは，TF-IDFを特徵量とした情報検索モジュールにより取得された文書 (Wikipedia 記事の段落）に対して，事前に SQuAD 等のデータセットで訓練された読解モデルを適用し最も予測確率の高い解答候補を出力することで，質問応答を実現してい

1）実験に用いたコードはhttps://github.com/cl-tohoku/ open-book-qa で公開している。

る. 以降，読解モデルに訓練済み言語モデルを利用する方法 [10] や，検索も深層学習で行う方法 [9, 11] など，多くの手法が相次いで提案されている.

パイプライン型の質問応答システムでは，検索により取得される文書に必ずしも質問の正解が書かれているとは限らないため，そのような文書が入力されたときに読解モデルは誤った解答を出力してしまうという課題がある. この問題を回避する手法として，検索された文書に質問の正解が書かれているかどうかを判別する新たなモジュールの導入 [7] や，読解モデルが出力する解答候補をリランキングするモジュールの導入 [8] が提案されている.

これらの既存研究に対して本研究は, 文書の選別には読解の能力が必要であるという着想のもと, 解答可能性判別を読解モデルに行わせることでより良い質問応答システムを実現することを追究する.

## 3 解答可能性付き読解データセット

解答可能性付き読解データセット [12] は, 日本語のクイズ問題を元に作成された，機械読解タスクのデータセットである. ウェブから収集されたクイズ問題である質問に対して，正解の文字列を含む Wikipedia 記事の段落が読解対象の文書として 1 問あたり最大 5 件付与されている. さらに，全ての質問-正解-文書の組に対して，クラウドソーシングにより付与された「解答可能性スコア」が与えられている. 解答可能性スコアは， 1 事例あたり 5 名の作業者に質問-正解-文書の組を提示し, 質問の正解の根拠が文書中に書かれているかを Yes/Noのの 2 択で答えてもらい，Yes と答えた人数をそのまま 5 点満点のスコアとしたものである.

表 1 に，データセットに含まれる事例の例を示す.この事例の文書には，正解の「筑前煮」という文字列は書かれているが，解答の根拠となる「がめ募」に関する情報は書かれていないため，解答可能性スコアは 0 が付与されている.

なお，本データセットと同時期に提案された同様のデータセットに SQuAD 2.0 [14]があるが, SQuAD 2.0 では「文書に正解が書かれているか」を解答可能性としているのに対し, 本データセットでは「文書に正解の根拠が書かれているか」を解答可能性としており，正解の文字列そのものは全ての文書に書かれている。すなわち，本データセットは，読解による解答可能性を判別させるための，より難しいデー タセットになっている.表 2 データセットの統計量.

本研究では既存研究 [12] と同様に，質問の元となったクイズ問題の出題年ごとにデータセットを訓練・開発・評価データに分割する．また，解答可能性スコアが 2 以上のものを解答可能な事例とし， 1 以下のものを解答不可能な事例として扱う. 表 2 にデータセットの各種統計量を示す.

## 4 提案手法

3 節のデータセットで訓練した読解モデルを用いてオープンドメイン質問応答システムを構築する.

## 4.1 読解モデル

読解モデルとして，日本語の Wikipedia 記事で事前訓練された BERT [15]を利用する．モデルの構造は BERT-base とし，語彙の大きさは 32,768 とする.

事前訓練された BERTを読解タスクに適応させるため，3節で述べた解答可能性付き読解データセットを用いてモデルを追加訓練する。追加訓練には， BERT の SQuAD 2.0 に対する既存手法 [15] を応用する. すなわち, 質問 $q$ と文書 $d$ を連結させた入力 [CLS] $q$ [SEP] $d$ [SEP] に対して，解答可能な事例に対しては, 文書中の正解の開始位置 $i$ と終了位置 $j$ $(i \leq j)$ を予測し，解答不可能な事例に対しては，たとえ正解の文字列が偶然含まれている場合でもそれを正解と見なさずに，開始位置と終了位置として文頭（[CLS] の位置）を予測するように訓練する2).

## 4.2 質問応答システム

4.1 節で訓練した読解モデルを用いて，オープンドメイン質問応答システムを構築する. 本研究で構築する質問応答システムは，検索，読解，解答統合の3つのモジュールから成る．以下で，それぞれのモジュールについて説明する。

検索システムに入力される質問に対して，全文検索エンジンを用いて予めインデックスされた文書集合から関連度の高い $k$ 件の文書を取得する. 全文検索のスコアリング関数には Okapi BM25 を用い,

2） BERT の事前訓練および追加訓練の詳細は付録 Aを参照.

図 1 訓練時における解答可能性判別の例.

表 3 開発・評価データに対するシステムの解答性能.

文書集合には 2020 年 8 月 30 日時点の Wikipedia 全記事を段落に分割したものを用いた3).

読解システムに入力された質問と検索モジュー ルで取得された文書から成る $k$ 件の質問-文書ペアのそれぞれに対して，4.1 節で訓練した読解モデルを用いて解答候補を出力する．ただし，読解モデルが解答不可能と予測した事例は棄却する.

解答統合読解モジュールにより得られた最大 $k$件の解答候補から，多数決によりシステムの最終的な解答を 1 つ決定する。ただし，最も出現数の多い解答候補が複数ある場合は，元の質問-文書ペアに対する検索モジュールの関連度スコアの最上位がより上位にある解答候補を選択する。 また，読解モジュールにより得られた解答候補が 0 件である（すなわち $k$ 件全てが解答不可能と予測された）場合は，最終的な解答も「解答不可能」とする ${ }^{4)}$.

## 5 実験

## 5.1 実験設定

3 節のデータセットを用いて，以下の４つの条件で読解モデルを訓練する。

-ANSWERABLEONLY: 訓練データの解答可能な事例のみを用いて読解モデルを訓練する。
- SOFTANSWERABILITY （提案手法）: 訓練データの解答可能・解答不可能な事例の両方を用いて

3）すなわち，本研究における「文書」の単位は段落である.

4）本研究の実験設定では不正解としてカウントされる.

図 2 開発データでの文書数 $k$ と解答性能 (EM) の関係.

解答可能性判別を伴う読解モデルを訓練する.
- ALLANSWERABLE: 訓練データの全ての事例を解答可能と見なし用いて読解モデルを訓練する. すなわち，読解で解答不可能な文書に対しても文書中の正解文字列の位置を予測させる.
- HARDANSWERABILITY: 訓練データの解答不可能な文書を，正解が書かれていない別の文書に置き換えたデータセットを新たに作成し，解答可能性判別を伴う読解モデルを訓練する.これは SQuAD 2.0 における「解答不可能＝正解が書かれていない」という条件を再現したものである. 解答不可能な文書の付与には 4.2 節の全文検索エンジンを用い，質問との関連度が高く， かつ正解を含まない文書を，元の解答不可能な文書と同じ数だけ付与した。

各条件の訓練時の解答可能性判別の例を図 1 亿示す.それぞれの条件で訓練された読解モデルを用いて，4.2 節で述べた質問応答システムを構築する.

システムの評価には，3 節のデータセットの開発・評価データの質問と正解を用いる。質問応答性能の定量的な評価指標として, 予測された解答と正解の完全一致の割合である $\mathrm{EM}$ と，部分一致率の平均である F1を測定する ${ }^{5)}$. 検索モジュールで取得する文書数は $k \in[1,1000]$ とし，上記の 4 つそれぞれの条件で，開発データ上で $\mathrm{EM}$ が最大となる $k$ を用いて評価データ上での評価を行う。

## 5.2 実験結果

表 3 に実験結果を示す. 提案手法の SoFtAnSWERABILITY では, 解答可能性判別を行わない設定である ANSWERABLEONLY および ALLANSWERABLE と比較して EM がおよそ 13 ポイント改善し, 解答

5）F1 は本来は単語の部分一致率を計算するが，本研究では日本語を対象にするため文字レベルの部分一致率を計算する。
表 4 開発データの質問に対するシステムの解答例.

質問: 現在日本に生息する 2 種類のキツネは、キタキツネと何でしょう？ 正解: ホンドギツネ

 & エゾクロテン & エゾクロテン & （解答不可能） \\

可能性判別の有効性を示した. また提案手法は， SQuAD 2.0 のように正解文字列の有無を判別する HARDANSWERABILITY と比較しても，EM が 2 から 4 ポイント高い結果となった.この結果は, 人間の判断を元に付与された解答可能性の情報が，正解の記述有無を元に機械的に付与された情報よりも，デー タ作成のコストはかかる一方，より効果的に質問応答に応用できる可能性を示している.

図 2 に，開発データにおける，検索モジュールで取得する文書数 $k$ とシステムの解答性能 (EM) の関係を示す. 図 2 の upper bound は, 正解を含む文書が $k$ 件中 1 つでもある質問の割合，すなわち EM の上界を示している6)。解答可能性判別を行わない ANSWERABLEONLY と ALLANSWERABLE では, $k=10$ から 20 の範囲で $\mathrm{EM}$ が最大になり，それ以上 $k$ を大きくしていくと EMは低下した. これとは対照的に，提案手法の SOFTANSWERABILITY では，文書数 $k$ を大きくしていくと，性能はより向上し，今回の実験の範囲では $k=960$ で EM が最大となった7).

文書検索を基盤とした質問応答システムでは一般に，文書数 $k$ を大きくすると質問の正解を含んだ文書が検索でヒットする確率は高くなるが，関連度が低い文書がより多く取得される可能性も高くなる. 解答可能性判別を行わない読解モデルは, 任意の入力に対して何かしら解答を抜き出そうとするため， $k$ が大きくなり解答不可能な文書の入力が増えるに従い，誤った解答候補の出力が増え，解答統合時のノイズになったと考えられる。一方，提案手法

では， $k$ が大きくなり解答不可能な文書が増えた場合でも，解答不可能と判断された文書は棄却することができ，かつ検索結果の下位にある解答可能な文書に対しては読解を行えるため，結果として得られる解答候補の集合の質が向上し，多数決による解答統合に効果的であったと考えられる。

## 5.3 システムの解答例

表 4 に，開発データの質問に対するシステムの解答例を示す。表 4 に示した検索上位 3 件の文書のうち, 質問の正解である「ホンドギツネ」を含むものは 3 番目の文書だけである. 解答可能性判別を行わない ANSWERABLEONLY と ALLANSWERABLE のシステムでは，正解が解答不可能な文書に対しても解答抽出を行い，その結果誤った解答候補を出力している.一方，解答可能性判別を行う SOFTANSWERABILITY のシステムでは，解答不可能な文書に対しては正しく 「解答不可能」と出力し，正解を解答可能な文書に対してのみ解答抽出を行っていることがわかる.

## 6 おわりに

本研究では，解答可能性の判別を行う読解モデルを応用してオープンドメイン質問応答システムを構築した。実験により，人手で付与された読解による解答可能性の情報が文書の選別に有効であることを示す結果が得られた。

今後の課題として，低コストで作成された解答不可能な訓練事例をより効果的に活用する方法や， DPR [11]のような最先端の情報検索手法と組み合わせる研究に取り組む。

謝辞本研究は JSPS 科研費 JP19H04425, JP19J13238 の助成を受けたものである。

## 参考文献

[1] R. F. Simmons. Answering English questions by computer: a survey. Communications of the ACM, Vol. 8, No. 1, pp. 53-70, 1965.

[2] D. A. Ferrucci. Introduction to "This is Watson" . IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 1:1-1:15, 2012.

[3] Dan Moldovan, Sanda Harabagiu, Marius Pasca, Rada Mihalcea, Roxana Girju, Richard Goodrum, and Vasile Rus. The Structure and Performance of an Open-Domain Question Answering System. In ACL, pp. 563-570, 2000.

[4] Eric Brill, Susan Dumais, and Michele Banko. An Analysis of the AskMSR Question-Answering System. In EMNLP, pp. 257-264, 2002.

[5] John Prager. Open-Domain Question-Answering. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 1, No. 2, pp. 91-231, 2007. Publisher: Now Publishers, Inc.

[6] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to Answer Open-Domain Questions. In $A C L$, Vol. 1, pp. 1870-1879, 2017.

[7] Yankai Lin, Haozhe Ji, Zhiyuan Liu, and Maosong Sun. Denoising Distantly Supervised Open-Domain Question Answering. In ACL, Vol. 1, pp. 1736-1745, 2018.

[8] Shuohang Wang, Mo Yu, Jing Jiang, Wei Zhang, Xiaoxiao Guo, Shiyu Chang, Zhiguo Wang, Tim Klinger, Gerald Tesauro, and Murray Campbell. Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering. In ICLR, 2018.

[9] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering. In ACL, pp. 6086-6096, 2019.

[10] Wei Yang, Yuqing Xie, Aileen Lin, Xingyu Li, Luchen Tan, Kun Xiong, Ming Li, and Jimmy Lin. End-to-End Open-Domain Question Answering with BERTserini. In NAACL, Vol. Demonstrations, pp. 72-77, 2019.

[11] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In $E M N L P$, pp. 6769-6781, 2020.

[12] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による解答可能性を付与した質問応答データセットの構築. 言語処理学会第 24 回年次大会, pp. 702-705, 2018.

[13] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In EMNLP, pp. 2383-2392, 2016.

[14] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know What You Don't Know: Unanswerable Questions for SQuAD. In $A C L$, Vol. 2, pp. 784-789, 2018.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL, Vol. 1, pp. 4171-4186, 2019.

[16] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明,内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[17] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In $I C L R, 2019$.

## A 読解モデルの訓練の詳細

BERT の事前訓練には，日本語版 Wikipedia の 2020 年 8 月 30 日付けの Cirrusearch ダンプデータ8) から抽出した記事本文データを利用した. テキストの前処理として，単語分割をUnidic 2.1.2 [16] を用いて行い，さらに BERT の WordPiece によるサブワード分割を行った. 語彙の大きさは 32,768 とした. 1 訓練事例あたりの最大トークン数は 512 とし，ミニバッチのサイズは 256 とした.また, masked language model における whole word masking を適用した. 最適化アルゴリズムには AdamW [17] を用い，学習率は 1e-4 とした. 訓練のステップ数は $1,000,000$ とし，最初の 10,000 ステップにおける学習率の warmup と以降の linear decay を適用した. BERT の事前訓練には， TensorFlow Research Cloud プログラム ${ }^{9)}$ で提供された Cloud TPU v3-8 を使用し，訓練の完了にはおよそ 5 日間を要した.

BERT の読解タスク向けの追加訓練では， 1 訓練事例あたりの最大トークン数を 512 とし，ミニバッチのサイズを 8, gradient accumuration のステップ数を 4 とした. 最適化アルゴリズムには AdamW を用い，学習率は 5e-5 とした. 訓練のエポック数は 3 とし，開発データで読解性能 (EM) が最大となったエポックのモデルを質問応答システムの実験に用いた. BERT の追加訓練には，NVIDIA V100 GPU を 1 コア使用し，訓練の完了には約 1 時間を要した.

8) https://dumps.wikimedia.org/other/cirrussearch/

9) https://www. tensorflow.org/tfrc


# Cross-lingual transfer learning considering word order difference

Haosen Zhan Jin Sakuma
The University of Tokyo
\{hos, jsakuma\}@tkl.iis.u-tokyo.ac.jp
}

Naoki Yoshinaga Masashi Toyoda
Institute of Industrial Science,
The University of Tokyo
\{ynaga, toyoda\}@iis.u-tokyo.ac.jp

## 1 Introduction

Although deep neural networks (DNNs) exhibit a remarkable performance in various natural language processing tasks, we cannot enjoy the true potential of DNNs in most of languages. This is because we do not have a largescale annotated corpora to train the over-parametarized DNNs for the task in the target language.

The cross-lingual transfer learning mitigates this problem by training models on annotated data in the resourcerich (source) language (typically, English) so that the resulting models can be applied to the target language. We will hereafter refer to this setting as "zero-shot." The performance of zero-shot transfer learning has been drastically improved by the pre-trained multilingual models (multilingual-BERT [1]). These models are pre-trained on massive multilingual raw corpora and then fine-tuned to the target task in the source language. The resulting models are then applied in the target language. Meanwhile, it has been reported that the differences in word orders harm the performance of cross-lingual transfer between distant languages. Ahmad el al. [2] observed a substantial gap in performance across different target languages, especially when word orders in the source and target language differ.

To mitigate this challenge in cross-lingual transfer across distant languages, researchers explored two major approaches. Xia et al. [3] proposed to use dependency CNN to improve the performance of a multilingual model based on cross-lingual word embeddings in English and Chinese sentence-level classification. Liu et al. [4] fixed the positional encoding layer of BERT to avoid overfitting to the word order of the source language in fine-tuning. However, the former approach is not compatible with pre-trained multilingual models, and the latter approach is limited to the embedding layer and could not prevent the overfitting happens in transformer layers.

Figure 1 The overview of our framework on cross-lingual transfer learning considering word order difference.

In this study, we introduce methods to explicitly mitigate the problem of order differences in the pre-trained multilingual model for the zero-shot scenario ( $\S 2$ ). Concretely, we propose two approaches to capture word orders in the fine-tuning of multilingual-BERT (mBERT): 1) multitask learning with word permutation detection task and 2) incorporating order-insensitive dependency information (Figure 1).

We evaluate our methods on mutilingual part-of-speech tagging and named entity recognition (§3). Experimental results confirmed that the effectiveness of our methods.

## 2 Proposal

In zero-shot learning, mBERT fine-tuned in the source language can overfit to the word order of the source language and fail to encode target languages with drastic order differences from the source, resulting in the loss in the performance. Figure 1 shows an overview of our framework for zero-shot cross-lingual transfer learning. In the following, we will introduce three methods to mitigate the order difference in zero-shot cross-lingual transfer learning.

## 2.1 Multitasking with permutation detection

To prevent the model from overfitting, we first introduce a self-supervised auxiliary task of detecting word permuta-
tion during fine-tuning in the source language. We expect that this task will identically help the model encode word orders of the source and target languages.

For each mini-batch, we sample raw corpora from both source and target languages. We randomly generate wordlevel permutation within one sentence with a certain probability, ${ }^{1)}$ and the model will learn to distinguish whether each token has been permutated or not. Concretely, a token-level binary classifier is added on the top of the encoder to predict whether each token is permutated. The resulting loss is computed as

$
\mathscr{L}_{\text {total }}=\mathscr{L}_{\text {task }}+\alpha * \mathscr{L}_{\text {perm }}
$

where $\mathscr{L}_{\text {task }}$ and $\mathscr{L}_{\text {perm }}$ are losses of the target task and permutation detection task, respectively, and $\alpha$ is the hyperparameter that represents the weight for the permutation loss, which is whether kept a constant or exponentially increased/decreased across training. We use the first subword unit in each word to calculate the loss.

## 2.2 Injecting dependency information

Although the multitasking with permutation detection can be applicable to any languages as long as raw corpora are available, this auxiliary task is self-supervised and may not convey sufficient supervision. Therefore, assuming a dependency parser for the target language, we next propose to explicitly inject dependency information into the transformer network to prevent the model overfit to the surface orders in the source language.

## 2.2.1 Injecting dependency heads

We first propose to incorporate adapters [5] into the transformer layers that aggregate each token with its dependency head. This injection is meant to promote the model to utilize language-independent information without relying on surface word orders that are specific to the source language (Figure 2).

In what follows, we explain how the output of the adapter module, $x_{i}^{\text {out }}$, is computed given the hidden state of a token $x_{i}$. Firstly, for each subword $i$, we obtain the dependency head word token via a dependency parser. And let head ${ }_{i}$ be the first subword token of the head word token. Then, by the following function, we aggregate the outputs of fead-

Figure 2 Transformer layer with head-adapter

forward network, $x_{i}$ and $x_{i}^{\text {head }}$.

$
x_{i}^{\text {out }}=\operatorname{FFN}_{u p}\left(\operatorname{ReLU}\left(\operatorname{FFN}_{\text {tail }}\left(x_{i}\right)+\operatorname{FFN}_{\text {dep }}\left(x_{i}^{\text {head }}\right)\right)\right)
$

where $\mathrm{FFN}_{u p}, \mathrm{FFN}_{t a i l}$, and $\mathrm{FFN}_{d e p}$ are single-layer feedforward networks.

If we randomly initialize the adapter modules before fine-tuning, they are only exposed to the examples in the source language and could be overfitted. Henceforth, we first trained the adapter modules on the masked language model (MLM) task on multilingual raw corpora. Simply training the entire model on MLM task requires parsed multilingual raw corpora. However, obtaining such corpora costs a significant amount of human labour and time. Therefore, we first exploited the adapter structure proposed by Houslby [5], and then the optimized parameters are copied to our adapter modules. Concretely, we initialize both $\mathrm{FFN}_{\text {dep }}$ and $\mathrm{FFN}_{\text {tail }}$ by the trained parameters of $\mathrm{FFN}_{\text {down }}$, and the rest parts are directly copied. We only inserted adapters in the first two layers of BERT, and during task fine-tuning, both adapter modules and BERT layers are trained.

## 2.2.2 Integrating dependency distance

Despite the high precision of the multilingual parser, the previously introduced approach introduce in $\S 2.2 .1$ can suffer from pipeline error propagation. Furthermore, despite our initialization method, the resulting adapter modules can still overfit to the source language during finetuning. Besides the hard encoding of dependency head information, we propose an alternative adapter module to integrate continuous representation corresponding to to-

Figure 3 Transformer layer with dependency distance based adapters

kens' dependency information obtained by syntactic probing [6]. Concretely, we employ structural probing, which projects hidden states of fixed mBERT obtained by linear projection trained to recreate the distances in the dependency trees.

Here, we let $x_{i}$ be the output of the feed-forward network in a transformer layer corresponding to the $i$ th token. And let $x_{i}^{d e p}$ be the projected representation by structural probing corresponding to the $i$ th token. We aggregate the $h_{i}$ and $h_{i}^{d e p}$ to compute the output of the adapter module $x_{i}^{\text {out }}$ by following

$
\begin{aligned}
g_{i} & =\sigma\left(\operatorname{FFN}_{\text {gate }}\left(x_{i}^{d e p}\right)\right) \\
h_{i}^{d e p} & =g_{i} \otimes \mathrm{FFN}_{\text {dep }}\left(x_{i}^{d e p}\right) \\
h_{i} & =\left(1-g_{i}\right) \otimes \mathrm{FFN}_{\text {down }}\left(x_{i}\right) \\
x_{i}^{\text {out }} & =\mathrm{FFN}_{u p}\left(\operatorname{ReLU}\left(h_{i}^{\text {dep }}+h_{i}\right)\right)
\end{aligned}
$

where $\mathrm{FFN}_{\text {dep }}, \mathrm{FFN}_{\text {down }}$, and $\mathrm{FFN}_{\text {gate }}$ are feed forward layers for transforming hidden states and corresponding dependency features, $g$ is the gate that represents how much the model considers the dependency information for the particular token, and $\otimes$ represents the element-wise multiplication. We expect that the gate module will dynamically decide whether or not to absorb the extracted dependency feature. The combined features are then projected back to the hidden dimension of mBERT by $\mathrm{FFN}_{u p}$.

For initialization of adapters, this approach is different from $\S$ 2.2.1 that it takes raw corpora without parsed ones as input. Hence, we use raw corpora and the MLM task to initialize all the parameters. The rest of the details work the same as $\S 2.2 .1$.

## 3 Experiments

We conduct experiments on the part of speech tagging (POS) task and named entity recognition (NER) task to evaluate the effectiveness of our proposed methods.

## 3.1 Experiment settings

Data pre-processing Injecting dependency information ( $\S$ 2.2.1) requires dependency parsers for the source and target languages. For this purpose, we leveraged Udify [7]. We use $\mathrm{MeCab}^{2)}$ and Jieba ${ }^{3)}$ to tokenize Japanese and Chinese raw corpora for permutation in $\S 2.1$. We followed a sliding window approach [8] to process long sequences.

Models to compare To evaluate the effectiveness of our proposal, we compared the following models:

BASE is a baseline model that fine-tunes the mBERT model on the training set in the source language.

BASE+FIX-POS-EMB fixes the positional embeddings of mBERT during fine-tuning [4].

BASE+FIX-EMB fixes the both positinal and word embeddings of mBERT during fine-tuning.

We applies our methods to the above three models.

+PERM employs the multi-task learning with the auxiliary task of word permutation detection (§2.1).

+HEAD inserts the adapter modules that injects dependency head ( $\$ 2.2$ ).

+DEP-DIS inserts the adapter modules that integrate dependency distance ( $\S$ 2.2.2).

COMPARE Stands for control group for DEP-DIS, but directly taking hidden layers output without projecting to dependency-distance-space

Training All of the models were initialized from weights of "bert-base-multilingual-cased" acquired from huggingface tranformers ${ }^{4}$ [9] and trained on the training set of the source language (English). During the finetuning, the checkpoints are saved every epoch, and one that performed the best on the development set in the target language is used for testing.

For models based on adapters (+HEAD and +DEPDIS), the dimension of the hidden state within the adapters is set to 384 , and we sampled $100 \mathrm{k}$ sentences for the initialization of adapters by the MLM task ( $\S$ 2.2.1). For the syntactic probing (+DEP-DIS), we trained a projection from hidden states of the 7th layer from BERT to dependencies subspace.

2) https://taku910.github.io/mecab/

3) https://github.com/fxsjy/jieba

4) https://github.com/huggingface/transformers

Table 1 Result for POS (accuracy). All settings were reported on 5 different random seeds. $\checkmark$ stands for languages with canonical order of Subject-Verb-Object (SOV) and $\boldsymbol{X}$ stands for non-SOV languages.

Table 2 Entity level F1 score for NER. All settings were averaged on 5 different random seeds

## 3.2 Part Of Speech tagging

In the POS tagging task, we leveraged the "upos" filed from Universal Dependency v2.3 treebanks, ${ }^{5)}$ the treebanks selection follows [2]. Since POS is usually solved as a subtask of dependency parsing, it is impractical to have data for parsing without POS annotated. Therefore, we only test the impact of +PERM in this section.

Table 1 showed the results on POS tagging. As our expectation, multi-tasking with the permutation task (+PERM) yielded solid improvement over BASE in German and Japanese (ja). In contrast, the results in Latin (la) and Chinese (zh) were opposed to our expectations. It worth mention that mBERT leveraged a brutal way of tokenization on Japanese, which could be one reason for the abnormal pattern in our results.

## 3.3 Named Entity Recognition

For the NER task, we used CoNLL 2002 and 2003 NER shared task [10] containing English (en), Spanish (es), Dutch (nl), and German (de). The labels were converted into IOB2 [11] format, and we use token-level classifiers for NER prediction. The hidden state of the first subword unit of each token is used for the prediction.

Table 2 shows the results on NER. We observed that the performance in Dutch benefited from injecting dependencies the most. Among all the languages, Dutch shares the most common features with English. This is opposed to our previous assumption that leveraging dependency helps distance cross-lingual transfer. In German, the multi-task learning with the word permutation detection (+PERM) improved models' performance with robust increment, comparing all the settings with or without +PERM. German is relatively "different" from English among the target languages, showing that permutation detection is profitable for the NER task.

## 4 Conclusions

In this paper, we investigate three methods of mitigating order differences in source and target languages in the mBERT-based cross-lingual transfer. We observed that our proposal yields improvements in token-level classification, yet the gain is limited. In our future research, we plan to 1) leverage fine-grained dependency features and 2) find an auxiliary task that is purely related to word order, baring that current proposal permutation detection is not independent of the understanding of semantic.

## Acknowledgement

This work was supported by JST CREST Grant Number JPMJCR19A4, Japan.

## References

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota, June 2019.

[2]Wasi Ahmad, Zhisong Zhang, Xuezhe Ma, Eduard Hovy, Kai-Wei Chang, and Nanyun Peng. On difficulties of crosslingual transfer with order differences: A case study on dependency parsing. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota, June 2019.

[3]Yandi Xia, Zhongyu Wei, and Yang Liu. An efficient crosslingual model for sentence classification using convolutional neural network. In Proceedings of the ACL 2016 Student Research Workshop, Berlin, Germany, August 2016.

[4]Zihan Liu, Genta Indra Winata, Samuel Cahyawijaya, Andrea Madotto, Zhaojiang Lin, and Pascale Fung. On the importance of word order information in cross-lingual sequence labeling. In Proceedings of 35th AAAI Conference on Artificial Intelligence (AAAI-2021).

[5]Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for nlp. In ICML, pp. 2790-2799, 2019.

[6]Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[7]Dan Kondratyuk and Milan Straka. 75 languages, 1 model: Parsing Universal Dependencies universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[8]Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of bert. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[9]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, Online, October 2020.

[10]Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[11]Erik F. Tjong Kim Sang and Jorn Veenstra. Representing text chunks. In Ninth Conference of the European Chapter of the Association for Computational Linguistics, Bergen, Norway, June 1999.

## A hyper-parameters

Table 3 hyper-parameters for POS

Table 4 hyper-parameters for NER.


# BERT の Masked Language Model を用いた 教師なし語義曖昧性解消

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp
}

馬ブン
茨城大学大学院理工学研究科
社会インフラシステム科学専攻
19nd302h@vc.ibaraki.ac.jp

## 1 はじめに

本論文では BERT[1] の Masked Language Model (以下 MLM と略記)を利用して, 教師なしの語義曖昧性解消を試みる。対象単語をマスクし，マスク位置に推定された単語と分類語彙表から得られる候補語義を持つ類義語とを比較することで語義を推定する。

語義曖昧性解消は自然言語処理の重要な要素技術であり, 古くから研究されている. 近年は事前学習済みモデルの BERTを用いた語義曖昧性解消が行われている [2][3][4] [5][6][7][8]. BERT を用いることで対象単語の文脈をある空間に埋め込むことができるので，語義のラベルを同じ空間に埋め込めれば教師なし学習も可能である.

本研究では語義のラベルを同じ空間に埋め込むのではなく，BERT の MLMを利用して，対象単語の位置に現れる単語を推定することで語義曖昧性解消を行う．MLMにより推定される単語は当然, 対象単語である䇢だが，MLM では全ての単語に対して， その単語がマスク位置に現れる確率を付与できるため, 対象単語の語義を持つ類義語が現れる確率が得られる.これによって対象単語の語義を推定できる. なお本研究では対象単語の語義を持つ類義語は分類語彙表から予め得ておく。

実験では「言葉」「声」「電話」「国際」「市場」の 5 単語に対して, 本手法を試み, 教師なしの語義曖昧性解消手法として利用できることを確認した。

## 2 関連研究

語義曖昧性解消は典型的な分類問題であるため,通常の教師あり学習を用いて高精度に解決が可能である．ただし訓練データの構築コストが高いために，全単語を対象にした all-words 型の語義曖昧性解消あるいは教師なし語義曖昧性解消 [9] が研究の中心となっている.

近年は埋め込み表現を語義曖昧性解消に利用する研究が活発である. 単語の埋め込み表現自体が語義曖昧性解消の素性として利用できることもあるが，語義曖昧性解消は対象単語の文脈と語義のラベルを同じ空間に埋め込むことで解決できるからである [10]. そのため word2vec のアルゴリズムを利用して語義の分散表現を構築する手法 [11][12] が提案されている。さらに BERT などの事前学習済みモデルでは，入力文の各単語に対して文脈依存の埋め込み表現を精度良く構築できるため，その単語の埋め込み表現を素性として利用するだけでも語義曖昧性解消の性能はかなり向上する [3]. またその埋め込み表現の空間に語義のラベルを埋め込めれば，k-NN 程度の学習手法でもかなりの精度が達成できる [4].問題は語義のラベルをどのように同じ空間に埋め込むかであるが，一つの方法としては語義の用例を辞書の定義文により求め，その用例を BERT に入力することで語義のラベルの埋め込み表現が獲得できる [2]. あるいは BERT の中に意味ネットワークや意味表現を組み込むことで語義曖昧性解消が可能である [13] [5][6][7].

本研究では語義のラベルの埋め込み表現を構築するというアプローチではなく，本質的には，文脈の埋め込み表現と類似の埋め込み表現をもつ単語を調べ，その単語の語義から対象単語の語義を推定する．結局，語義毎の用例を構築するか，語義毎の類義語を構築するかの違いとも言える，日本語の場合，前者は困難であるが，後者では分類語彙表が利用できるため，容易に実現可能である。

## 3 提案手法

## 3.1 MLM によるマスク単語の推定

BERT の学習には，2 文の接続可否を判定するタスクとマスク単語を推定するタスクが利用される. マスク単語を推定するネットワーク部分も含めて BERT のモデルを取り出したものが MLM である. MLM ではマスク単語を含む文を入力とし，そのマスク単語の位置に単語 $w$ が現れる確率 $p(w)$ を出力する. BERT の登録語彙リストを $D$ とした場合, $\arg \max _{w \in D} p(w)$ によりマスク単語を推定できる.

## 3.2 MLM を利用した語義曖昧性解消

ここでは MLM を語義曖昧性解消に利用する。まず対象単語 $w$ の語義は $g_{1}, g_{2}, \cdots, g_{K}$ の $K$ 種類とする. 文 $s$ 内に対象単語 $w$ が現れたときに，文 $s$ 内の単語 $w$ の語義 $g_{j}$ を識別するのが語義曖昧性解消である. ここでは文 $s$ の $w$ をマスク単語 [MASK] に変更し，その変更した文を MLM に入力する. 出力としては語彙リスト $D$ 内の各単語 $x$ が [MASK] に入る確率 $p(x)$ が得られる. ここで $p(x)$ の值が高い単語 $x$ は語彙が $g_{j}$ である単語だと考えられる. そこで各語義 $g_{i}$ を持つ単語のリスト $R_{i}$ を予め作成しておき，以下により語義 $g_{\hat{j}}$ を推定する.

$
\hat{j}=\underset{j}{\arg \max }\left(\max _{x \in R_{j}} p(x)\right)
$

## 3.3 分類語彙表による語義別の類義語の 設定

分類語彙表は一種の概念辞書である. 各単語には 10 桁からなる分類番号が与えられている。本研究ではこの分類番号の上位 5 桁を語義 id と見なして，語義曖昧性解消を行う. 語義 $g_{i}$ が分類語彙表の上位 5 棪の記号である場合，語義 $g_{i}$ を持つ単語のリスト $R_{i}$ は分類語彙表から得ることができる.

例えば「声」には「笑い声」のような「音」としての語義と，「国民の声」のような「意見」としての語義がある. 分類語彙表は「声」には'1.3031' と '1.3061'の 2 つの id が付与されている. '1.3031’が 「音」の語義に対応し，'1.3061' が「意見」の語義に対応している. '1.3031'および'1.3061' の語義を持つ単語は「声」の他, 分類語彙表には表 2 のよう単語が登録されている.

## 4.1 実験の設定

語義曖昧性解消の対象単語は「言葉」「声」「電話」「国際」「市場」の 5 単語とする.

利用するデータは国立国語研究所から公開されている BCCWJ-WLSP ${ }^{1)}$ である.これは『現代日本語書き言葉均衡コーパス』に分類語彙表番号が付与されたコーパスである。このコーパスから前記した 5 単語を含む文を取り出し，対象単語の語義をラベルとした評価用データを構築した。表 1 に取り出した文の数を語義毎に記す。またこの数から MFS の値が算出される。

表 1 評価用データの語義毎の文数

利用する日本語 BERT のモデルは以下で公開されている 'bert-base-japanese'とする.

https://github.com/cl-tohoku/bert-japanese

本手法では分類語彙表から得られる類義語が BERT モデルの語彙リストに登録されている必要がある。そのため各語義に対する類義語は実際に分類語彙表から得られるものの一部である。その一部を表 2 に示す.

## 4.2 実験結果

本手法により正解率を測った. この結果を表 3 に示す.

ランダムな解答の正解率と比較すると明らかに正解率は高く, ある程度はこの手法で正解を導けることが分かる.

語義別の正解率も調べた.この結果を表 4 に示す.

表 2 語義の類義語

 \\

表 3 実験結果

表 4 語義毎の正解率

各語義に対してある程度の正解率を示しており，語義の頻度に影響を受けていないことが確認できる.

## 5 考察

## 5.1 類義語の調整

類義語のリストを調整することで正解率を改善できると考えた。「国際」の語義 1.3500 と「言葉」の語義 1.3101 については極端に正解率が悪い。これらの語義の判定で誤りに導いた類義語について調べた.「国際」の語義 1.3500 は 50 個のデータ中 40 個が間違いであった。この間違いを導いた類義語は以下の通りである。

「国家」16 個，「外国」10 個，「各国」5 個，

「連邦」 4 個，その他 5 個

そこで類義語のリストから「国家」「外国」を除いて，「国際」について再実験を行ったところ， 1.3500 の正解数は 3 つ増えたが， 1.2530 の正解数が 2 つ減り，総合的には大きな変化はなかった．類義語のリストを調整することでの正解率の改善は難しいと考えられる。

## 5.2 他の BERT モデルの利用

本実験では他の BERT モデルを利用することで，正解率を改善できる可能性がある．ただし BERT 毎に Tokenizer が異なるために，単純にモデルだけを交換して実験することはできず，公正な比較は難しい. ただし本実験で用いた 'bert-base-japanese' と同じサイトで公開されている'bert-base-japanese-wholeword-masking' は同じ Tokenizer を用いているためにモデルだけを変更して本実験が行える．実験の結果を表 5 に示す.

表 5 他の BERT モデルの利用

一般に 'bert-base-japanese-whole-word-masking' は’bert-base-japanese'よりも少し性能が高いと言われているが，このタスクに対しては性能は低かっ

た. 本タスクにはどのような BERT モデルが適しているのかを調べるのは今後の課題である。

## 5.3 BERT の追加学習

本実験で利用した BERT は素の BERT であり，本タスクに適した形で fine-tuning されたものではない. 本タスクに適した形で BERTを fine-tuning しておけば，正解率の改善に繋がると考えられる．ただし本タスクは MLM のタスクそのものであるため, BERT の fine-tuning は BERT の追加学習という形になる。

ここでは実験的に 2008 年度毎日新聞から約 80 万文を利用して BERT の追加学習を行った. 作成できたモデルを用いた実験結果を表 6 に示す.

表 6 追加学習した BERT の利用

性能は大幅に下がっている.ランダムの結果 (0.467) よりも悪い. 追加学習に失敗していると思われるが，原因は不明であり調査中である．BERT の追加学習に関しては何らかの Tips があると思われる。

本タスクに対して BERT の追加学習は有効だと予想しているので，この方向で研究を継続したい.

## 6 おわりに

本論文では BERT の MLM を利用して，教師なしの語義曖昧性解消を試みた。対象単語をマスクし， マスク位置に推定された単語と分類語彙表から得られる候補語義を持つ類義語とを比較することで語義を推定する. 実験では語義タグ付きコーパスである BCCWJ-WLSP から 5 単語を選び，評価用データを作成し，本手法を試みた。性能は低かったが，教師なしの語義曖昧性解消手法として利用できることを確認した。また利用する BERTを追加学習することで，性能は改善できると予想している．その方向で本研究を継続したい.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In $N A A C L-2019$, pp. 4171-4186, 2019

[2]Luyao Huang Chi Sun Xipeng Qiu Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. arXiv preprint arXiv:1908.07245, 2019.

[3]Hadiwinoto, Christian Ng, Hwee Tou Gan, Wee Chung. Improved word sense disambiguation using pre-trained contextualized word representations. In EMNLP-IJCNLP-2019, pp. 5300-5309, 2019.

[4]Gregor Wiedemann Steffen Remus Avi Chawla Chris Biemann. Does BERT make any sense? Interpretable word sense disambiguation with contextualized embeddings. arXiv preprint arXiv:1909.10430, 2019

[5]Bianca Scarlini, Tommaso Pasini, and Roberto Navigli. SensEmBERT: Context-Enhanced Sense Embeddings for Multilingual Word Sense Disambiguation. AAAI-2020, pp. 8758-8765, 2020

[6]Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. In AAAI-2020, pp. 96289635, 2020.

[7]Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, and Yoav Shoham. SenseBERT: Driving some sense into BERT. In ACL-2020, pp. 4656-4667, 2020.

[8]Tommaso Pasini, Federico Scozzafava, and Bianca Scarlini. CluBERT: A cluster-based approach for learning sense distributions in multiple languages. In $A C L-2020$, pp. 4008-4018, 2020.

[9]鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸.概念辞書の類義語と分散表現を利用した教師なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[10]Ignacio Iacobacci, Mohammad Taher Pilehvar, and Roberto Navigli. Embeddings for word sense disambiguation: An evaluation study. In $A C L-2016$, pp. 897-907, 2016.

[11]Xinxiong Chen, Zhiyuan Liu, and Maosong Sun. A unified model for word sense representation and disambiguation. In EMNLP-2014, pp. 1025-1035, 2014.

[12]Arvind Neelakantan, Jeevan Shankar, Alexandre Passos, and Andrew McCallum. Efficient non-parametric estimation of multiple embeddings per word in vector space. arXiv preprint arXiv:1504.06654, 2015.

[13]Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, and Yoav Shoham. SenseBERT: Driving some sense into BERT. In ACL-2020, pp. 4656-4667, 2020.