# Video-guided Machine Translation with Spatial Hierarchical Attention Network Encoder

Weiqi Gu Haiyue Song Chenhui Chu Sadao Kurohashi
Kyoto University, Kyoto, Japan
\{gu, song, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 1 Introduction

Neural machine translation (NMT) has achieved high performance for domains where there is almost no ambiguity in data such as newspaper domain [1,2]. However, for other domains such as spoken language or sports commentary, the ambiguity in data still remains a problem.

Multimodal machine translation (MMT) [3] is one of the key tasks focusing on incorporating multimodal content as auxiliary information sources to resolve the ambiguity, such as audio or visual data. MMT models usually take a sentence in the source language with the corresponding visual data and translate it into a sentence in the target language. Recent studies [4] assume that the spatiotemporal context information in the visual data helps to reduce the ambiguity of objects or motions in the source text data.

Previous MMT works mainly focus on Image-guided Machine Translation (IMT) task on the widely used Multi30K [5] dataset. However, video is a better information source than image because videos usually contain much more information than images. One video contains ordered sequence of frames and provides rich visual features. For each frame, it provides spatial representations for object disambiguation as an image in IMT task. Besides object disambiguation in one frame, the ordered sequences of frames can provide temporal representations for motion disambiguation.

Video-guided Machine Translation (VMT) aims to engage video data and text data for high-quality translation. Due to the lack of datasets, VMT received less attention than IMT. To cope with this problem, Wang et al. [6] collect a new large-scale and reasonable-quality multilingual video description dataset (VATEX). Each video in the dataset contains hundreds of frames and it is impractical to utilize all objects information from all frames. Existing works only used features from pretrained action detection

Figure 1 An example of the object ambiguity problem

models as temporal representations of the video to solve the motion ambiguity, thus the object ambiguity still remains a problem. As shown in Fig 1, the object 'picker' and 'bin' in English are wrongly translated into 'apple' and 'trash bin' in Chinese, which are mistranslations partially due to the object ambiguity.

In this work, we propose our VMT system by using both temporal and spatial representations in a video to cope with both the motion ambiguity problem as well as the object ambiguity problem. To obtain spatial features efficiently, we propose to use a hierarchical attention network (HAN) [7] encoder to model the spatial information from objectlevel to video-level. The HAN framework mainly contains 2 layers for object-to-frame level and frame-to-video level abstractions, a transformer encoder layer [8] is also adopted between 2 layers to obtain contextual spatial information. Experiments on VATEX dataset show 0.2 BLEU score improvement over a strong baseline method.

## 2 Related Work

We introduce different kinds of auxiliary information used in MMT in this section. Pretrained image features are widely used in the initial attempts of IMT, such as using them to initializing the hidden states of the encoder and/or the decoder [9]. ResNet-50 CNN-based image classifier and information extracted from automatic object detectors shows better performance on IMT tasks [10]. Wang et

Figure 2 Proposed model with spatial HAN encoder. The source encoder and the temporal encoder are the same as in VMT baseline model, we concatenate them with our proposed spatial HAN encoder by similar target decoder.

al. [6] introduce a strong baseline model which employs the pretrained I3D model [11] for action recognition to get the motion representation while combines attention mechanism [12]. The model combining keyframes information through keyframe selection algorithm and position information of the ordered sequence of frames in a video further improves the translation quality [13].

Besides the action representation which solves the motion ambiguity, spatial information from a sequence of frames in a video could solve the problem of the object ambiguity. Therefore, we propose a novel model with a spatial HAN encoder in addition to the action detection encoder.

## 3 VMT with Spatial HAN Encoder

Figure 2 shows the overview of the proposed model. It consists of components in VMT baseline model and our proposed spatial HAN encoder. The temporal representations only provide motion disambiguation. An additional spatial encoder can provide object disambiguation. We first introduce the VMT baseline model in section 3.1. We then introduce our proposed spatial HAN encoder in section 3.2.

## 3.1 VMT Baseline Model

Wang et al. [6] provide a strong VMT model for the VATEX dataset related tasks. We directly use this model as our VMT baseline model. VMT baseline model mainly consists of the following three modules:

Source Encoder. Each source sentence is represented as a sequence of $N$ word embeddings $E$, the Bi-LSTM [14] encoder transforms it into the sentence features $U=$ $\left.\{u_{1}, u_{2}, \ldots, u_{N}\right.\}$.

Temporal Encoder. The authors use a pretrained I3D model [11] for action recognition to obtain the visual

Figure 3 Structure of spatial HAN encoder. $r$ denotes representation on object, frame and video levels, $q$ denotes query in attention layers, $h_{w}$ denotes the hidden state of the word embedding for query.

features $X$, then they employ a Bi-LSTM [14] temporal encoder to transform $X$ into the motion features $M=$ $\left.\{m_{1}, m_{2}, \ldots, m_{N}\right.\}$.

Target Decoder. The sentence embedding from the source language encoder and the motion embedding from the temporal encoder are concatenated and fed into the target language decoder with two attention mechanisms [15].

## 3.2 Spatial HAN Encoder

Besides temporal encoder and source sentence encoder in the VMT baseline model, our proposed model contains an additional spatial encoder. The intuition is that the temporal encoder only provides motion disambiguation. And an additional spatial encoder can provide object disambiguation.

After splitting one video into $N$ frames, we extracted the object-level spatial features $S=\left.\{s_{1}, s_{2}, \ldots, s_{N}\right.\}$ of $N$ frames by Faster R-CNN [16], organized them with video ID.

HAN [7] framework can capture context and intersentence connections for translation. We propose to use a spatial encoder with HAN framework, which can extract contextual spatial information from adjacent frames within
one video clip. The overview is shown in Figure 3. The object-level attention layer summarizes information from all separated objects in their respective frames.

$
\begin{gathered}
q_{o}=l_{o}\left(h_{w}\right) \\
r_{f}=f_{t}\left(\operatorname{SoftAttention}\left(q_{o}, r_{o}\right)\right)
\end{gathered}
$

where $h_{w}$ denotes a hidden state of current word embedding. The function $l_{o}$ is a linear layer to obtain the query $q_{o}$. We adopt a soft-dot attention [15] to transform objectlevel spatial features $r_{o}$ into respective frame-level spatial features. Then, We obtain contextual frame-level spatial features $r_{f}$ from a transformer encoder layer $f_{t}$ [8].

The frame-level attention layer then summarizes representations from all ordered frames to video-level abstraction $r_{v}$ :

$
\begin{gathered}
q_{f}=l_{f}\left(h_{w}\right) \\
r_{v}=\operatorname{SoftAttention}\left(q_{f}, r_{f}\right)
\end{gathered}
$

where $l_{o}$ is a linear transformation, $q_{f}$ is the query for softdot attention function.

## 3.3 Target Decoder with Spatial HAN Features

Because we have additional contextual spatial HAN features for the VMT task, the target decoder contains 3 kinds of inputs. We use attention mechanism [15] for both sentence embedding $U$ from the source language encoder and the motion embedding $M$ from the temporal encoder to obtain sentence representations $r_{u}$ and motion representations $r_{m}$ :

$
\begin{gathered}
r_{u}=\operatorname{Attention}_{u}(U) \\
r_{m}=\operatorname{Attention}_{m}(M)
\end{gathered}
$

Sentence representations $r_{u}$, motion representations $r_{m}$ and contextual spatial representations $r_{v}$ are concatenated and fed into the LSTM [14] layer at each decoding step $t$ :

$
y_{t}, h_{t}=f_{l s t m}\left(\left[y_{t-1}, r_{u, t}, r_{m, t}, r_{v, t}\right], h_{t-1}\right)
$

Where $h_{t}$ is the hidden state of the target decoder at step $t, r_{u, t}$ are the sentence representations at step $t, r_{m, t}$ are the motion representations at step $t$ and $r_{v, t}$ are the contextual spatial representations at step $t . f_{b i-l s t m}$ refers to the LSTM layer.

## 4 Experiments

## 4.1 Dataset

We utilize the VATEX [6] dataset for the VMT task. VATEX is built on a subset of action classification benchmark DeepMind Kinetics-600 [17], which consists of 25,991 video clips for training, 3,000 video clips for validation and 6,000 video clips for public test. Each video clip has 5 parallel English-Chinese descriptions for the VMT task. The VATEX dataset only provides bilingual corpus and segment-level temporal motion features, doesn't provide object-level spatial features and original video clips. We recollected 23,707 video clips for training, 2,702 video clips for validation and 5,461 video clips for public test, about $10 \%$ are no longer available, which means we lack $10 \%$ spatial features in the dataset.

## 4.2 Settings

For the common settings in our proposed approach and in the VMT baseline model [6], we set the maximum sentence length to 40 , word embedding size to 1,024 , and the source encoder and temporal encoder of both 2-layer bi-LSTM with hidden dimension of 512. For our proposed spatial HAN encoder, both object-level and frame-level attention layer are soft-dot attention layer with a hidden dimension of 512. The number of layers in the transformer encoder is 6. Each layer uses multi-head attention with 8 heads and a hidden dimension of 512. The decoder is a 2-layer LSTM of hidden dimension 1,536. During training, we use Adam optimizer with a learning rate of 0.001 . The vocabulary size is 10,523 for English and 2,907 for Chinese.

For the baseline model, we adopt text only score and baseline score. Here 'text only' means we only use source encoder, 'baseline' means we use both source encoder and temporal encoder in the VMT model. We retest these scores with the same experiment setting in the baseline model.

## 4.3 Results

We adopt corpus-level BLEU-4 score as our evaluation metric. Table 1 shows the scores of each model on the validation set and the public test set. Our proposed VMT

$
\begin{aligned}
& \text { ex. 1: Chinese (Source): 一个人玩弄着一个黄色头灰色羽毛的鹦鹉。 } \\
& \text { English (Target): A man plays with a parrot with a yellow head and gray feathers. } \\
& \text { VMT baseline: a person is playing with a <UNK> that has a yellow yellow brown brown. } \\
& \text { Our method: a person plays with a bird that has a yellow head on it. }
\end{aligned}
$

ex. 2: Chinese (Source): 一名中年男子打开冰箱, 将物品取出。

English (Target): A middle aged man opens up a fridge and beings to remove items.

VMT baseline: a middle aged man opens a refrigerator and takes it out .

Our method: a middle aged man opens a refrigerator and removes the items out .

ex. 3: Chinese (Source): 一个人打开一扇门，显示浴缸和洗手台。

English (Target): A door is opened showing a bathtub and bathroom sink.

VMT baseline: a person opens a door and shows the bathtub and washing the phone . Our method: a person opens a door and shows the bathtub and washes .

ex. 4: Chinese (Source): 一个穿红色衣服的小女孩正在打开一件大礼物。

English (Target): A little girl in a red dress is unwrapping a large present.

VMT baseline: a little girl in a red dress is opening a large present .

Our method: a little girl is opening a large present and is talking to her.

Figure 4 Four examples from Chinese to English translation. Ex. 1: VMT baseline model gives object omission error, which leads to structural errors. Ex. 2: There is object ambiguity problem in the VMT baseline method. Ex. 3: A wrong object translation in the VMT baseline model. In the above 3 examples, our method has correct object and description translations. Ex. 4 is a wrong translation in our method, where some noise information from the video affected the translation.

Table 1 Corpus-level BLEU-4 scores of English to Chinese translation.

Table 250 translation examples from VMT baseline model and proposed method. We notice that most errors are from the object ambiguity and omission problem.

system with spatial HAN encoder achieves 31.2 score on the validation set and 31.3 score on the public test set, showing 0.2 BLEU score improvement over the VMT baseline model.

Because the reference sentences in public test set are hidden, we divide the former half of the original validation set into a new validation set and the latter half into a new test set to analyze the details of translation results. We train on the newly divided dataset, and compare the results on the new test set. We analyze 50 examples randomly selected from the test set to observe whether our model can translate sentences successfully. The results are shown in Table 2, our method has 6 more correct translations than the VMT baseline model. Figure 4 shows the details of several example analyses from Chinese to English. We observed that our method can alleviate object ambiguity and omission problem in the translation, but sometimes the auxiliary information from video clips may result in wrong translations.

## 5 Conclusion

In this work, we propose a VMT system with spatial HAN encoder, which achieves a 0.2 BLEU score improvement over a strong VMT baseline model. The result shows the effectiveness of spatial features for object disambiguation. Our future work will focus on VMT baseline modification, especially the alignment between source, temporal and spatial representations.

## Acknowledgments

This work was supported by ACT-I, JST.

## References

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv e-prints, p. arXiv:1409.0473, September 2014.

[2] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[3] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[5] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30k: Multilingual english-german image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[6] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Korea (South), October 27 - November 2, 2019, pp. 4580-4590. IEEE, 2019.

[7] Lesly Miculicich Werlen, Dhananjay Ram, Nikolaos Pappas, and James Henderson. Document-level neural machine translation with hierarchical attention networks. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pp. 2947-2954. Association for Computational Linguistics, 2018.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 4-9 December 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[9] Desmond Elliott, Stella Frank, and Eva Hasler. Multilingual image description with neural sequence models, 2015.

[10] Julia Ive, Pranava Madhyastha, and Lucia Specia. Distilling translations with visual awareness. In Proceedings of the 57th Annual Meeting of the Association for Compu- tational Linguistics, pp. 6525-6538, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] João Carreira and Andrew Zisserman. Quo vadis, action recognition? A new model and the kinetics dataset. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu, HI, USA, July 21-26, 2017, pp. 4724-4733. IEEE Computer Society, 2017.

[12] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Yoshua Bengio and Yann LeCun, editors, 3 rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020.

[14] Mike Schuster and Kuldip K. Paliwal. Bidirectional recurrent neural networks. IEEE Trans. Signal Process., Vol. 45, No. 11, pp. 2673-2681, 1997.

[15] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and VQA. CoRR, Vol. abs/1707.07998, , 2017.

[17] Will Kay, João Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, Mustafa Suleyman, and Andrew Zisserman. The kinetics human action video dataset. CoRR, Vol. abs/1705.06950, , 2017.


# Self-supervised Dynamic Programming Encoding for Neural Machine Translation

Haiyue Song ${ }^{\dagger \ddagger} \quad$ Raj Dabre $^{\ddagger} \quad$ Chenhui Chu $^{\dagger} \quad$ Sadao Kurohashi $^{\dagger} \quad$ Eiichiro Sumita $^{\ddagger}$
${ }^{\dagger}$ Kyoto University, Kyoto, Japan
${ }^{\mp}$ National Institute of Information and Communications Technology, Kyoto, Japan
\{song, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre, eiichiro.sumita\}@nict.go.jp

## 1 Introduction

Neural machine translation (NMT) [1] is known to give state-of-the-art translations for a variety of language pairs. Sub-word segmentation [2,3] is one of the key reasons behind it as it enables the NMT model to simulate an infinite vocabulary, thereby eliminating the out-of-vocabulary problem. Among all proposed sub-word segmentation methods, byte pair encoding (BPE) [2] is the most commonly used approach which is used to learn sub-word segementation rules from a monolingual corpus. However, BPE uses a greedy search method to segment words and often ignores the sequence-to-sequence nature of NMT. To solve this, researchers have recently proposed a dynamic programming encoding (DPE) method [4] which uses parallel corpora and a neural network to perform sub-word segmentation. The advantage of DPE is that it employs a non-greedy search method in addition to being aware of the translation process by maximizing the probability of generating the target sentence. Although DPE is slower than BPE, it consistently outperforms BPE and related methods [5]. Compared to BPE, DPE tends to give linguistically intuitive segmentations which can potentially aid in understanding the working of NMT models. Thus far, DPE has been studied in resource-rich situations but its performance and working in low-resource settings is rather unknown.

The advantage of DPE is also its weakness, especially in a low-resource setting where parallel corpora sizes are too small to reliably train neural models. To this end, we decided to study how DPE works in a low-resource setting where monolingual corpora and self-supervision based training objectives are known to be extremely helpful $[6,7]$. This in turn motivates our novel Self-Supervised
DPE (SSDPE) method that simulates a parallel corpus by duplicating a monolingual corpus and then training a DPE model using a self-supervised objective. We use denoising methods involving token masking to prevent the encoderdecoder from learning trivial sequence-to-sequence mappings. The resultant SSDPE model needs only monolingual corpora, in addition to being source language agnostic. By analyzing the segmentation of words in different contexts, we found each word is consistently segmented regardless of its contexts, e.g. DPE has the context-free property. Motivated by this, we propose a novel Word-level DPE (WDPE) that uses only monolingual word-frequency table to train a word segmenter. In the decoding phase, each unique word only needs to be decoded once, which lowers the decoding time complexity.

To verify the utility of SSDPE and WDPE, we experiment with 11 Asian languages to English translation using the the low-resource Asian Language Treebank (ALT) corpus [8] belonging to the Wikinews domain. We observe that they are comparable, if not better than DPE and BPE by up to maximum 0.3 BLEU average improvement for 11 language pairs. Our analyses of the compared methods shows that DPE is actually source language agnostic and context-free which explains why SSDPE and WDPE works as well as DPE even without a parallel corpus and context.

## 2 Related Work

Our work focuses on sub-word tokenization for NMT where methods such as BPE [2], WPM [9] and Sentencepiece Model (SPM) [3] are some of the most popular ones. These methods use greedy search to learn sub-word merge rules, a fundamental component of sub-word methods, in a deterministic way. Stochastic variants of BPE called

BPE-drop [5] and of SPM called SPM-regularization [10] enable multiple sub-word segmentations of the same word thereby making the NMT model more robust.

BPE, SPM and the simple character level [11] methods, despite being effective, are greedy search based methods that tend to give non-intuitive sub-word segmentations. DPE [4] addresses this but its reliance on parallel corpora makes it unsuitable for low-resource settings. Our work fills in this gap by enabling DPE segmentation using only monolingual corpora that are easy to obtain and leverage through self-supervision methods for NLP applications [6, $12]$.

## 3 Proposed Method

## 3.1 Background: DPE

DPE segmentation is performed using an encoderdecoder model where $\boldsymbol{x}$ is the BPE segmented source sentence input to the encoder, $\boldsymbol{y}_{c}$ is the character segmented target sentence input to the decoder. The decoder produces $\boldsymbol{y}$, the DPE segmented target sentence where $z=\left(z_{1}, \ldots, z_{M+l}\right)$ denotes some segmentation indices of $\boldsymbol{y}$ and $Z_{y}$ denotes all possible segmentations of $\boldsymbol{y}$. Note that the decoder's output sub-word vocabulary is obtained using BPE. [4] optimized the exact log marginal likelihood as follows to learn DPE:

$
\begin{aligned}
& \log p(\boldsymbol{y})= \\
& \log \sum_{z \in Z_{y}} \exp \sum_{i=1}^{|z|} \log p\left(\boldsymbol{y}_{z_{i}, z_{i+1}} \mid \ldots, y_{z_{i-1}, z_{i}}, \boldsymbol{x}\right)
\end{aligned}
$

## 3.2 SSDPE: Self-Supervised DPE

We propose SSDPE that relies on replacing $\boldsymbol{x}$ with $\boldsymbol{y}_{M}$ in Equation 1, which is the BPE segmented target sentence $\boldsymbol{y}$ with certain tokens being masked thereby making it a monolingual approach. Consequently, SSDPE training resembles monolingual training tasks such as MASS [6] and Masked Language Model (MLM) in BERT [12]. In this paper, we consider the following:

1. SSDPE-LM: A trivial case where $\boldsymbol{y}_{\boldsymbol{M}}=\boldsymbol{y}$.

2. SSDPE-MASS: Similar to [6], half the tokens in $\boldsymbol{y}$ are masked to give $\boldsymbol{y}_{M}$. The masked tokens are consecutive so as to enforce the model to learn sequence level information.

3. SSDPE-Mask: Motivated by [12], we keep $15 \%$ of the training sentences unmasked to bridge the gap between train phase and inference phase. Of the remaining 85\% training sentences, $\boldsymbol{y}$, each token has a $15 \%$ chance to be masked thereby yielding $\boldsymbol{y}_{M}$.

## 3.3 WDPE: Word-level DPE

Based on SSDPE, we propose WDPE where the input $\boldsymbol{y}_{M}$ and target $\boldsymbol{y}$ are single words rather than sentences. We split sentences into words in the training corpus to keep the frequencies of words the same. We consider three variant methods as in SSDPE: WDPE-LM, WDPE-MASS and WDPE-Mask.

## 4 Experimental Settings

## 4.1 Datasets and Preprocessing

We used the ALT multi-way parallel dataset [8] consisting of 18,088, 1,000 and 1,018 sentences in the train, dev and test set respectively for 12 languages: Bengali (bg), English (en), Filipino (fil), Bahasa Indonesia (id), Japanese (ja), Khmer (km), Lao (lo), Malay (ms), Myanmar (my), Thai (th), Vietnamese (vi) and simplified Chinese (zh). We chose this corpus as it represents a realistic extremely low-resource setting and its multi-way nature enables us to effectively analyze the properties of our proposed method. As SSDPE needs only monolingual data, we experimented with 50,000 randomly selected English sentences from news commentary corpus ${ }^{1)}$ belonging to the same news domain as ALT, to train SSDPE models. For WDPE, we split the same news commentary data into one word one line format.

We used Moses tokenizer [13] to tokenize Vietnamese, Malay, Indonesian, Filipino and English, Indic NLP to tokenize Bengali, deepcut [14] for Thai, LaoNLP ${ }^{2)}$ for Lao, Juman++ [15] for Japanese, Stanford-tokenizer [16] for Chinese, and tokenized data from WAT for Khmer and Myanmar [17].

## 4.2 NMT Model Settings

We used the fairseq framework [18] with the Transformer architecture. We did hyper-parameter tuning to determine optimal vocabulary sizes, number of encoderdecoder layers and attention heads, as low-resource settings are quite sensitive to these parameters. As DPE, SSDPE

Table 1: Asian languages to English MT using various subword segmentation methods. Rows 1-3 show baseline results. Rows 4-6 show proposed SSDPE results. Rows 7-9 shows results using words as training data. Row 10 uses English segmentation from Ms-En DPE model. *indicates statistically significant difference $(p<0.05)$ from DPE method.

Table 2: Results of English to Asian language MT. Japanese and Indonesian SSDPE segmenters used 100k news commentary monolingual sentences.

Table 3: Decoding speed of DPE, SSDPE and WDPE methods of ALT-train set, averaged from 10 runs.

and WDPE use BPE vocabulary, the optimal vocabulary size is determined based on NMT performance only using BPE. Consequently, the optimal combination was: vocabulary size of 8,000, 6 layer encoder, 6 layer decoder and 1 attention head (except for Bengali, Filipino, Japanese and Lao, where 4 encoder layers were sufficient). We keep the same vocabulary size for SPM. We used one GPU with batch-size of 1,024 tokens. We used the ADAM optimizer [19] with betas $(0.9,0.98)$, warm up of 4,000 steps followed by decay, and perform early stopping based on the

Figure 1: WSDR between DPE segmenters trained on JaEn data with different random seeds (red), DPE segmenters trained on Zh-En and Ja-En (blue).

development set BLEU. Dropout of 0.1 and label smoothing of 0.1 is used. We used layer normalization for both the encoder and decoder. Decoding is done with a beam size of 12 and length penalty of 1.4. We reported sacreBLEU and performed statistical significance test.

## 5 Results and Analyses

## 5.1 Main Results: SSDPE and WDPE

First, as shown in rows 1-6 of Table 1, for Asian language to English NMT, DPE gives results that are as good as if not better than BPE and SPM. However, our SSDPE and WDPE methods can improve over DPE by 0.26 and 0.31 BLEU respectively (significant at $p<0.05$ ), averaged over 11 translation directions. For SSDPE methods,

SSDPE-MASS and SSDPE-Mask give segmentations that yield better translations as compared to SSDPE-LM, which shows the advantage of masking based training approaches over trivial copy based methods. WDPE methods show better performance than SSDPE, which suggests that sentence contextual information is unnecessary for subword segmentation. For WDPE, a trivial LM method can give almost the best result. Next, Table 2 shows that SSDPEMask is better than DPE for English to Japanese NMT but worse than DPE for English to Indonesian NMT.

Overall, our results show that in a low-resource setting, a parallel corpus dependent DPE model can simply be replaced with a monolingual corpus dependent SSDPE model and still improve translation quality. Further, a word-frequency table is enough to train the segmenter rather than sentence-level data.

## 5.2 Speed Analysis

Because our WDPE method only needs to decode each unique word once in a corpus, it shows a much faster speed than DPE as well as SSDPE. As shown in Table 3, the speed of WDPE is about 5.9x faster than DPE and SSDPE when decoding the ALT-train set.

## 5.3 Source Language Agnostic Analysis

We show the DPE method is source language agnostic by both the result of NMT and the analysis of word segmentations.

As the ALT corpus is multi-way, we can use the English segmentations obtained by the DPE model from one language pair for NMT task of another language pair. When we used English segmentations from the Malay-English DPE model and used it to train NMT models for Asian language to English translation, we saw (row 10 in Table 1) that the translation scores are barely affected.

To further investigate this issue, we propose word set difference rate (WSDR) between two segmenters to compute the probability that they generate different segmentations for one word. For a word $W$ with frequency nword which has $n$ possible segmentations, let seg $_{i}$ and $f r e q_{i}$ be the segmentation and frequency of the $i^{t h}$ segmentation. We define $S=\bigcup_{i=1 \ldots n}\left[\left(\right.\right.$ seg $_{i}$, freq $\left.\left._{i}\right)\right]$ to be the set of all possible segmentations where $\sum_{i=1}^{n}$ freq $_{i}=$ nword holds true.
Word difference rate (WDR) is defined as:

$
W D R=\frac{\sum_{i=1}^{\left|S_{1}\right|} \sum_{j=1}^{\left|S_{2}\right|} \text { freq }_{i} * \text { freq }_{j} *\left(1_{\text {seg }_{i} \neq \text { seg }_{j}}\right)}{n w o r d^{2}}
$

where $S_{1}$ and $S_{2}$ are segmentations of $W$ generated by two segmenters. Then, word set difference rate (WSDR) for a set of words is defined as:

$
\text { WSDR }=\frac{\sum_{i=1}^{\mid \text {words } \mid} \text { WDR }\left(\text { word }_{i}\right) * \text { nword }_{i}}{\sum_{i=1}^{\mid \text {words } \mid} \text { nword }_{i}}
$

Figure 1 shows the WSDR of sets of words with different frequency ranges in the ALT corpus. Comparing the red bars (2 Japanese-English DPE segmenters with random seeds) against the blue bars (Japanese-English and Chinese-English DPE segmenters), it is clear that the WSDR rates are similar. This means that DPE model is actually source language agnostic. We believe this to be the main reason behind why the SSDPE, which uses masked language as input, works as well as DPE.

## 5.4 Context Agnostic Analysis

WDPE works due to the context agnostic property which means the segmentation of one word is consistent regardless of which sentence it is in.

We set $S_{1}$ equals to $S_{2}$ and calculated WSDR of sets of words with different frequency. We found for any set, the WSDR is less than $1 \%$, which means the segmented result of one word is almost not affected by its context in the sentence. Furthermore, removing the context slightly improve the segmentation quality, shwon by the comparison of WDPE and SSDPE in Table 1.

## 6 Conclusion

We proposed novel SSDPE and WDPE methods for subword segmentation. Experimental results show NMT using proposed methods are either comparable to or significantly better than NMT using BPE and DPE. The WDPE method shows a faster decoding speed compared with the original DPE method. Our analyses show source language agnostic and context agnostic property of DPE. Our future work will focus on the performance of our methods in resource rich MT tasks as well as on developing a statistical SSDPE method which will be substantially faster.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv e-prints, p. arXiv:1409.0473, September 2014.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[4] Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[5] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[6] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and TieYan Liu. MASS: Masked Sequence to Sequence Pretraining for Language Generation. arXiv e-prints, p. arXiv:1905.02450, May 2019.

[7] Zhuoyuan Mao, Fabien Cromieres, Raj Dabre, Haiyue Song, and Sadao Kurohashi. Jass: Japanese-specific sequence to sequence pre-training for neural machine translation. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3683-3691, Marseille, France, May 2020. European Language Resources Association.

[8] Ye Kyaw Thu, Win Pa Pa, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Introducing the Asian language treebank (ALT). In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1574-1578, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[9] M. Schuster and K. Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 51495152, 2012.

[10] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Jörg Tiedemann. Character-based pivot translation for under-resourced languages and domains. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 141-151, Avignon, France, April 2012. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14] Rakpong Kittinaradorn, Korakot Chaovavanich, Titipat Achakulvisut, Kittinan Srithaworn, Pattarawat Chormai, Chanwit Kaewkasi, Tulakan Ruangrong, and Krichkorn Oparad. DeepCut: A Thai word tokenization library using Deep Neural Network., September 2019.

[15] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[16] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[17] Chenchen Ding, Masao Utiyama, and Eiichiro Sumita. Nova: A feasible and flexible annotation system for joint tokenization and part-of-speech tagging. ACM Transactions on Asian and Low-Resource Language Information Processing (TALLIP), Vol. 18, No. 2, p. 17, 2018.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. arXiv e-prints, p. arXiv:1412.6980, December 2014.


# VisualMRC: 文書画像に対する機械読解

田中涼太* 西田京介* 吉田仙
}

日本電信電話株式会社NTTメディアインテリジェンス研究所 \{ ryouta.tanaka.rg, kyosuke.nishida.rx, sen.yoshida.tu \}@hco.ntt.co.jp
## 1 はじめに

近年，知識源となるテキストを読み解いて質問 に応える機械読解 (Machine Reading Comprehension; MRC）が自然言語理解の主要な課題として注目を集 めている [1,2]. 機械読解は Web 検索の高度化に加 えて, e-commerce 向けのチャットボット [3] や専門文献の読書補助 [4] などへの応用が期待されている が，従来の研究では，実サービスで扱われる HTML や PDF 形式の文書が持つ視覚的な情報を自然言語 と併せて理解することが出来ていない.

そこで本研究では, 言語と視覚の融合理解に向け て，VisualMRC タスクおよびデータセットを提案す る1). 図 1 に示す様に，本タスクにおいてモデルは，質問に対して文書画像中のテキストを読み解き，自然文で回答する．本タスクを解くためには， ベース となる自然言語理解・生成に加えて，文書レイアウ 卜（図1 の画像で色付けされた矩形領域）の理解， テキスト認識 (OCR) など様々な能力が必要となる.

本研究ではさらに，VisualMRC タスクに適用可能 な新たなモデルを提案する。テキストコーパスで事前学習されたエンコーダデコーダを文書中のテキ スト・非テキストオブジェクトの位置・外観を理解 できるように拡張することで，最先端の text-based VQA モデル [6]およびベースとした T5 [7], BART [8] （テキスト情報のみ入力）を上回る性能を達成した。

## 2 関連研究

Text-based VQA 機械読解における入力テキスト を画像としたタスクである VQA はこれまで広く研究されてきた [11,12]. 近年では, TextVQA [9]に代表される，日常シーンの画像に含まれるテキストの 理解が必要となるデータセットが複数個公開されて いる $[13,14,15]$. これらのデータセットの画像中の

Q: Who were the winners of the Ig Nobel prize for Biology and Chemistry?

A: The winner of the Ig Nobel prize for biology was Dr Johanna van Bronswijk, and the winner for Chemistry was Mayu Yamamoto.

図 1 VisualMRC データセットの例.

単語は少量であるのに対して，VisualMRC は自然文 で書かれた複数の文章が視覚的に配置された文書の 理解能力の開発に重点を置いている.

文書画像に対する VQA VisualMRC と同時期に作成されたデータセットとして，文書画像の理解が必要な DocVQA [10]がある.VisualMRC との主な違い を以下に挙げる。(i) VisualMRC は 35 のドメインか ら画像を収集したのに対し，DocVQA の情報源は 単一ドメインである. (ii) VisualMRC は現代の Web ページから文書画像を収集したのに対し，DocVQA の大半の画像は 1960-2000 年頃の古い文書であり,手書き・タイプ文字を含む. (iii) VisualMRC の画像 は最低 3つの自然文を含むのに対し，DocVQA では その保証が無い. (iv) VisualMRC は回答生成を必要 とするが，DocVQA は多くの場合 SQuAD [1] の様な 単一の短いスパンが回答となる。

マルチモーダル QA 画像中のテキストではなく， プレーンテキストと画像の組を入力として用いる データセットとして，TQA [16] や RecipeQA [17] な どがある。例えば，TQA では中学校の教科書からテ キストと図を分けて抽出しているが，我々の研究は 人間が実際の文書を読むときと同じ視覚情報を機械 が扱えるようにすることを目指している。

図 2 VisualMRC, TextVQA [9], DocVQA [10] の単語数に関する分布. 左: 質問，中：回答，右：文書画像.

## 3 VisualMRC

本章では最初にタスクを定義し，その後にデータ セットの収集方法および分析結果を示す.

## 3.1 タスク定義

VisualMRC のタスクを下記の様に定義する。

TASK 1 (End-to-end VisualMRC). 質問 $q$ および文書画像 $I$ が与えられた時，モデルは回答 $a$ を生成する。

本タスクは，NarrativeQA [18] や MS MARCO [19] と同じ生成型機械読解であり, 回答は入力テキスト 中のスパンに限定されない.

次に，文書画像の理解は，以下の 2 つのサブタス クに分解可能である.

SUBTASK 1 (ROI 検出). 画像 I が与えられた時，モデ ルは ROI（Region-Of-Interest）の集合を検出する．各 $\mathrm{ROI} r_{i}$ は矩形領域 $b_{i}$ および意味クラス $l_{i}$ を持つ.

SUBTASK 2 (OCR). ROI $r_{i}$ が与えられた時，モデルは 単語認識を行う. 各単語は矩形領域 $b_{i, j}$ および表層 $w_{i, j}$ を持つ.

## 3.2 データ収集方法

文書画像収集 94 名のワーカに依頼し，2020 年 1-3 月に 35 のドメインの Web ページ（英語）の 10,197 枚のスクリーンショット画像 $I$ を収集した。

正解 ROI アノテーション 45 名のワーカが文書画像中の ROI ( $\left.\{r_{i}\right.\}$; SUBTASK 1 の正解) のアノテーショ ンを実施した.9つの意味クラス（Heading/Title， Subtitle/Byline, Paragraph/Body, Picture, Caption, List, Data，Sub-Data，Other）の定義は付録に示す.

QA 作成／関連 ROI 選択 495 名のワーカが，各文書画像に対して 3 つの異なる質問および回答の組を 作成した. その際，各ワーカは回答に必要となる関連 ROI を付与済みの正解 ROI 集合から選択した。

データ分割 URLドメインに基づき訓練・開発・ テストセットを $21,015 ， 2,839 ， 6,708$ 質問とした.表 1 データセットの統計.

 &  & webpages \\

Num. questions & 45,536 & 50,000 & 30,562 \\
Uniq. num. questions & 36,593 & 36,170 & 29,419 \\

Avg. len. documents & 12.17 & 182.75 & 151.46 \\
Avg. len. answers & 1.51 & 2.43 & 9.53 \\

## 3.3 統計および分析

VisualMRC を代表的な関連データセットである TextVQA [9] と DocVQA [10] と比較して分析する.

質問 表 1 に示す様に，VisualMRC のユニー クな質問の割合 $(96.3 \%$ ) は TextVQA (80.7\%) や DocVQA $(72.3 \%$ ) よりも高い.また，質問長の分布は TextVQA や DocVQA に比べてロングテール である（図 2 左）。さらに，VisualMRC $の$ “what” や “what is the”で始まる質問の割合 $(42.0 \% ， 9.5 \%$ ) は，TextVQA (78.2\%，22.9\%）やDocVQA（68.1\%, $58.2 \%$ ）と比べて低く，多様な質問が含まれている。

回答 表 1 に示す様に，VisualMRC のユニーク な回答の割合 $(91.82 \%)$ は TextVQA $(51.74 \%)$ や DocVQA（64.29\%）よりも高い. VisualMRC は生成型の機械読解タスクであるため，回答の平均長 （9.53 単語）は TextVQA（1.51）や DocVQA（2.43）に 比べて長い (図2 中). また, “yes”, “no” から始まる 回答 $(10.04 \%, 2.67 \%)$ は TextVQA $(4.90 \%, 0.97 \%)$ やDocVQA $(0.12 \% ， 0.15 \%)$ に比べて多い.

文書画像 画像の正解 ROI 集合から OCR（Tessaract [20]）で抽出された平均単語数は，VisualMRC （151.46）や DocVQA (182.75) が TextVQA (12.17) よ りも多い. また，VisualMRC をLDA [21]により分析 すると，科学，旅行，健康，教育，ニュース，政治な ど多様なトピックが抽出された。一方で，DocVQA のトピックは食料と栄養が大半であった [10].

図 3 左: 提案モデルアーキテクチャ. 右: ROI および OCRトークンの例.

## 4 提案モデル

提案モデルはメインとサブモジュールから構成さ れる.サブモジュールは 3.1 節に示す SUBTASK 1 (ROI 検出）用の Faster R-CNN [22] と，SubTASK 2（OCR）用の Tesseract [20]を用いる.メインモジュールは， エンコーダデコーダ型の Transformer [23] アーキテ クチャに基づき，質問，文書画像，およびサブモ ジュールの出力に基づいて動作する.

本章ではメインモジュールについて詳細を述べ る. 提案モデルの貢献は，T5 [7] や BART [8] の入力系列の拡張およびマルチタスク学習の導入により，事前学習により得られた自然言語理解・生成能力を 転移した上で視覚情報を考慮可能な点である.

## 4.1 入カトークン系列

質問 $q$ のトークナイズ結果と各 ROI $r_{i}$ から得られ た OCR 単語系列 $\left.\{w_{i, j}\right.\}$ を連結する. ROI の意味的 な役割を考慮するため，各 ROI の意味クラスに対応するクラスラベルトークン $\left[\mathrm{L}_{i}\right]$ (図 3 の $[\mathrm{P} / \mathrm{B}]$ な ど）を各 OCR 単語系列の前に挿入する.

$
x^{\text {token }}=\left.\{\begin{array}{c}
{[\mathrm{S}], q_{1}, \ldots, q_{m},[\mathrm{SEP}],\left[\mathrm{L}_{1}\right], w_{1,1}, \ldots, w_{1, M}} \\
{\left[\mathrm{~L}_{2}\right], \ldots,\left[\mathrm{L}_{N}\right], w_{N, 1}, \ldots, w_{N, M}}
\end{array}\right.\},
$

ベースモデルとして T5（BART）を用いる場合，[S] は'question:' (<s>), [SEP] は'context:' (</s>) である.

## 4.2 入力 Embedding 系列

トークン系列 $\left.\{x^{\text {token }}\right.\}$ embedding 系列 $\{z\}$ に 変換してエンコーダに渡す。系列中の $k$ 番目の embedding である $z_{k} \in \mathbb{R}^{H}$ は下記の様に求める.

$
z_{k}=\mathrm{LN}\left(z_{k}^{\text {token }}+z_{k}^{\text {pos }}+z_{k}^{\text {seg }}+z_{k}^{\text {loc }}+z_{k}^{\text {app }}\right)
$

ここで，LN($\cdot$)は layer normalization [24]を表す。 $z^{\text {token }}$ および $z^{\operatorname{pos}}$ はベースモデルが用いるトークンおよび
トークン系列中の位置 $z^{\text {pos }}$ の embeddings である.

以下に，3つの追加 embeddings について説明する.

セグメント 文書構造の意味を明確に捉えるた め， $k$ 番目のトークンが属する ROI クラスに対して 学習可能なべクトル $z_{k}^{\mathrm{seg}} \in \mathbb{R}^{H}$ を導入する.

画像中の位置 $k$ 番目のトークンに対応する矩形領域（ROI あるいは OCR 単語）の画像中の相対位置

$
x_{k}^{\mathrm{loc}}=\left[x_{k}^{\min } / W_{\mathrm{im}}, y_{k}^{\min } / H_{\mathrm{im}}, x_{k}^{\max } / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right],
$

$\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ は矩形領域の左上および右下の座標， $W_{\mathrm{im}} ， H_{\mathrm{im}}$ は画像の幅および高さを表す.

外観 ROI と OCR 単語の視覚的表現を利用する ため， $k$ 番目のトークンの矩形領域の画像を Faster R-CNN [22] に渡し，2048 次元の $\mathrm{fc} 7$ 特徴ベクトルを 獲得する. さらに，ReLU 活性化関数を適用後， 1 層 の FFN に渡し $z_{k}^{\text {app }} \in \mathbb{R}^{H}$ に変換する.

## 4.3 Saliency Detection

質問に関連する OCR 単語をより正確に発見する ため，エンコーダの出力を用いて適合度を求める。

$
P_{i, j}=\operatorname{sigmoid}\left(w^{s \top} h_{w_{i, j}}+b^{s}\right),
$

$h_{w_{i, j}}$ は単語 $w_{i, j}$ に対するエンコーダの最終層の出力， $w^{s} \in \mathbb{R}^{H}$ と $b^{s} \in \mathbb{R}$ は学習可能な重みである.

損失関数 Saliency detection を教師有り学習する ための正解ラベルは与えられていないため，各 OCR 単語に対して疑似ラベル $s_{i, j}$ を割当て学習を行う.

$
L_{\text {sal }}=-\frac{1}{N M} \sum_{i}^{N} \sum_{j}^{M}\left(\begin{array}{l}
s_{i, j} \log P_{i, j}+ \\
\left(1-s_{i, j}\right) \log \left(1-P_{i, j}\right)
\end{array}\right)
$

ここで， $s_{i, j}$ は OCR 単語が回答文かつ関連 ROI に含 まれている場合に 1 ，それ以外は 0 となる。

マルチタスク学習 $L_{\text {nll }}$ を sequence-to-sequence 学習における負の対数尤度とし，メインモジュールの 学習を $L_{\mathrm{multi}}=L_{\mathrm{nll}}+L_{\mathrm{sal}}$ の最小化により行う.

## 5 評価実験

VisualMRC を用いて評価実験を行う．提案モデル の初期化に $\mathrm{T}_{\text {BASE }}$ [7], BART BASE $^{\text {[8] }}$ を用いたもの をそれぞれ LayoutT5, LayoutBART と呼ぶ.

実験設定 TASK 1 に対応する end-to-end 設定と，人手で付与された正解 ROI が与えられる main 設定 の 2 種類を用いる. 学習時は main 設定で行う.

ベースライン 最先端の text-based VQA モデル M4C [6] と，ベースとした $\mathrm{T}_{\mathrm{BASE}}$, BART $\mathrm{BASE}_{\mathrm{BASE}}$ （テ キスト情報のみを入力）を用いる。

評価指標 生成タスクで広く用いられる指標であ る BLEU-4 (B-4) [25], METEOR (M) [26], ROUGE-L （R-L) [27]，BERTScore（Bs）[28]を用いる.

## 5.1 評価結果

提案モデルはベースラインの性能を上回るか？表 2 に示す様に，提案モデルは視覚的な位置・外観 を考慮することにより全ての指標でべースラインの 性能を上回った. M4C は視覚情報を考慮するモデ ルであるが事前学習されていないため性能が低かっ た. また， ベースとしたモデルのサイズをLARGE に変更することで，全ての指標で性能が改善した.

Saliency detection とのマルチタスク学習は効果が あるか？表 2 に示す様に， saliency detection（SD） とのマルチタスク学習により性能が改善した. LayoutT5 では効果が小さかったが，これは T5 の事前学習に saliency detection に類似したタスクである 抽出型の機械読解 [1] が含まれているためと考える.

提案モデルは end-to-end 設定で高い性能を達成で きるか？ 表 3 に示す様に，実世界の問題設定と同 じくROI 検出を自動的に行う必要がある end-to-end 設定においても，提案手法は全ての指標でベースラ インの性能を上回り，main 設定と比べても大きく

性能が低下することは無かった． ROI 検出の mAP は 7.86\%であり，文書構造解析データ [29] における Faster R-CNN の mAP (5.1\%) [30] と同程度であった.

提案モデルは人間の性能を上回るか？表 3 に end-to-end 設定・ランダムサンプリングした 3000 件 の QA における人間の性能と提案モデル（LARGE サイズ）の性能の比較結果を示す．BLEU-4 では提案モデルが人間を上回ったが，他の指標は人間が大 きく提案モデルを上回っていた。

入カトークン・embedding 系列の変更は効果があ るか？表 4 に ablation 評価の結果を示す. クラス ラベルトークンの挿入（lbl）によるトークン系列の 変更，セグメント (seg), 画像中の位置 (loc), 外観 （app）の追加 embeddings の全てで効果があった. 外観の embeddings のみ BLEU-4 で性能が低下したが, これは動画にグラウンディングされた対話の従来研究 [31] でも同様の傾向であった.

提案モデルは全ての ROI クラスの理解に効果があ るか？ LayoutT5 は全クラス・全指標で T5 の性能 を上回った. (詳細は付録に示す). 相対的には写真 や図表の理解が不十分であり今後の課題としたい。

## 6 おわりに

本研究では，VisualMRC を新たな視覚・言語融合理解の課題として提起し，データセットの作成およ びモデルの提案を行った。本データセットは，実世界の文書を視覚的に読解可能な知的エージェントの 開発に寄与し，Web 検索やチャットボットなど産業上重要なサービスの発展に貢献できる。また，入力 トークン・embeddings 系列の変更により，事前学習 により獲得された自然言語理解・生成の能力を転移 した上で文書の視覚情報を考慮する方法の有効性を 示した. 提案モデルは汎用性が高く様々な事前学習 モデルに導入可能である.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In $E M N L P$, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In $A C L$, pp. 784-789, 2018.

[3] Lei Cui, Shaohan Huang, Furu Wei, Chuanqi Tan, Chaoqun Duan, and Ming Zhou. Superagent: A customer service chatbot for e-commerce websites. In ACL, pp. 97-102, 2017.

[4] Yining Hong, Jialu Wang, Yuting Jia, Weinan Zhang, and Xinbing Wang. Academic reader: An interactive question answering system on academic literatures. In AAAI, pp. 9855-9856, 2019.

[5] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, 2021.

[6] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointer-augmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. $J$. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In $A C L$, pp. 7871-7880, 2020.

[9] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019.

[10] Minesh Mathew, Dimosthenis Karatzas, R. Manmatha, and C. V. Jawahar. Docvqa: A dataset for VQA on document images. arXiv, Vol. 2007.00398, , 2020.

[11] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. In ICCV, pp. 2425-2433, 2015.

[12] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. In CVPR, pp. 6325-6334, 2017.

[13] Danna Gurari, Qing Li, Abigale J. Stangl, Anhong Guo, Chi Lin, Kristen Grauman, Jiebo Luo, and Jeffrey P. Bigham. Vizwiz grand challenge: Answering visual questions from blind people. In CVPR, pp. 3608-3617, 2018.

[14] Ali Furkan Biten, Rubèn Tito, Andrés Mafla, Lluís Gómez i Bigorda, Marçal Rusiñol, C. V. Jawahar, Ernest Valveny, and Dimosthenis Karatzas. Scene text visual question answering. In $I C C V$, pp. 4290-4300, 2019.

[15] Xinyu Wang, Yuliang Liu, Chunhua Shen, Chun Chet
Ng, Canjie Luo, Lianwen Jin, Chee Seng Chan, Anton van den Hengel, and Liangwei Wang. On the general value of evidence, and bilingual scene-text visual question answering. In CVPR, pp. 10126-10135, 2020.

[16] Aniruddha Kembhavi, Min Joon Seo, Dustin Schwenk, Jonghyun Choi, Ali Farhadi, and Hannaneh Hajishirzi. Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. In CVPR, pp. 5376-5384, 2017.

[17] Semih Yagcioglu, Aykut Erdem, Erkut Erdem, and Nazli Ikizler-Cinbis. Recipeqa: A challenge dataset for multimodal comprehension of cooking recipes. In EMNLP, pp. 1358-1368, 2018.

[18] Tomás Kociský, Jonathan Schwarz, Phil Blunsom, Chris Dyer, Karl Moritz Hermann, Gábor Melis, and Edward Grefenstette. The narrativeqa reading comprehension challenge. Trans. Assoc. Comput. Linguistics, Vol. 6, pp. 317-328, 2018.

[19] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, and Tong Wang. MS MARCO: A human generated machine reading comprehension dataset. arXiv, Vol. $1611.09268 \mathrm{v} 3$, , 2018.

[20] R. Smith. An overview of the tesseract OCR engine. In ICDAR, pp. 629-633, 2007.

[21] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., Vol. 3, pp. 993-1022, 2003.

[22] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[23] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[24] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv, Vol. 1607.06450, , 2016.

[25] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L$, pp. 311-318, 2002.

[26] Michael J. Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT@ACL,pp. 376-380, 2014.

[27] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out@ACL,pp.74-81, 2004.

[28] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In ICLR, 2020.

[29] Dominika Tkaczyk, Pawel Szostek, and Lukasz Bolikowski. GROTOAP2 - the methodology of creating a large ground truth dataset of scientific articles. D Lib Mag., Vol. 20, No. 11/12, 2014.

[30] Carlos Soto and Shinjae Yoo. Visual detection with context for document layout analysis. In EMNLPIJCNLP, pp. 3462-3468, 2019.

[31] Hung Le and Steven C. H. Hoi. Video-grounded dialogues with pretrained generation language models. In $A C L$, pp. 5842-5848, 2020.

## A 付録

ROI クラスの定義 下記に，クラウドワーカに対 するインストラクションで用いた ROI クラスの定義 を示す.
- Heading/Title The title or caption of a page, chapter, etc.
- Subtitle/Byline The secondary or subordinate title of a page or a line of text giving the author's name.
- Paragraph/Body The "normal" or "main" text that would be read.
- Picture Pictures or images without any text or data within.
- Caption Text placed next to an image, data, quote, etc. that provides or explains information about an image or data.
- List Typically bulleted lists, where each bullet is not a full sentence.
- Data Tables, charts, graphs, infographic, or other figures with data or information.
- Sub-data Text present inside of tables, charts, graphs, infographic, or other figures.
- Other Any other text that does not fit in the other categories.

質問文の多様性 図 4 に質問文の最初の 3 単語の 分布を示す. “what” 質問に偏っている TextVQA [9] やDocVQA [10] に比べて多様な質問を含むことが分 かる.

実験設定 学習には 8 枚の NVIDIA Quadro RTX 8000 GPUs を用いた. バッチサイズ 32 とし， 7 エ ポック学習（12 時間程度）した. オプティマイザに は Adam を用い，学習率は 3e-5 とした. 開発セット の ROUGE-L スコアを用いてモデルを選択した.

出力例 図 5 に提案モデルおよびベースラインの 出力例を示す. 提案モデルは視覚的なデータ表の最初の行に回答に必要な情報（77.3\%）が含まれるこ とを発見できたが，視覚情報を用いない T5 では，他の割合の表現（less than 1 percent）を誤って回答し ていた.

ROI の意味クラス別の性能 表 5 に示す通り， LayoutT5 は全 ROI クラスの理解で T5 の性能を上回っていた。

実行時間 表 6 に 1 の質問への回答に要する平均時間を示す. GPU は 1 枚の NVIDIA Quadro RTX 8000 を用いた. LayoutT5 は多数の領域・OCR トー クンに対する外観の embeddings を計算する必要 があるが，大幅な速度低下は起きていない. Faster R-CNN が高速に動作する理由は, ROI の探索を行わ ず画像表現を獲得するためだけに使っているためで ある. モデルサイズが速度低下には寄与しており， LARGE サイズは BASE サイズの約 3.5 倍の動作時間 を要した。

図 4 質問文の最初の 3 単語の分布.

Q: what is the percentage of roman catholics in cape verde? Ground-Truth: the percentage of roman catholics in cape verde is $77.3 \%$.

M4C: the percentage of young women in cape town are about $54 \%$ of western somalia

T5: percentage of roman catholics in cape verde is less than 1 percent.

LayoutT5: the percentage of roman catholics in cape verde is $77.3 \%$.

図 5 LayoutT5 による出力例.

表 5 意味クラス別の T5/LayoutT5 の性能.

表 61 つの質問への回答に要する平均時間 (秒).


# Longformer によるマルチホップ質問応答手法の比較

岡田直樹 松崎拓也
東京理科大学 理学部第一部 応用数学科
1417023@ed.tus.ac.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

与えられた文書をもとに質問に答えるタスクであ る機械読解は、BERT [1] をはじめとする transformer ベースの事前学習モデルの登場以降、研究が活発に なり、大きな進歩を遂げてきた。機械読解は単一文書からの抽出を行うタイプとマルチホップ型に大き く分けられる。SQuAD [2] に代表される前者のタス クは、単一の文書を参照して質問に答えることに焦点を当てた抽出型タスクであり、すでに人間のスコ アを超えるモデルが提案されている。しかし、この ようなタスクでは単一の文書しか参照する必要がな いため、比較的容易なタスクとなっており、応用範囲は限定的である。一方、後者のマルチホップ型タ スクは、単一もしくは複数の文書中から、複数箇所 にある根拠を見つけなければ答えを導き出せない ため、難易度が高く、より応用範囲が広いタスクで あり、HotpotQA [3] や WikiHop [4] といったデータ セットが開発されている。

本研究で扱う HotpotQA では、複数の文書が与え られ、その中から回答に必要な文書を見つけ出し、回答とその根拠となる文を見つけ出す必要がある。 これまで提案されている手法は、グラフ構造を用い た手法 $[5,6,7]$ とグラフ構造を用いずに BERT 等の 事前学習モデルを利用した手法 $[8,9]$ に分けられる。 その中で、Beltagy らが提案した手法 [10] は、従来の transformer モデルよりも長い文書を扱える Longformer を利用して、複数の文書を同時に入力 し、回答と根拠文選択を単一のモデルで行う。この 手法は、根拠文選択と回答抽出を独立に行うことが できる。ただし独立に行った場合には、不要な文書中の文やトークンも候補に含めて根拠文選択と回答抽出を行うことになる。実際に人が推論を行う際に は、答えに関係する文書を見つけ出し、その文書に のみ注目して答えを見つけ出すだろう。この様子を
Question: Where is the company that Sachin Warrier worked for as a software engineer headquartered?

Document 1: [1]Sachin Warrier is a playback singer and composer in the Malayalam cinema industry from Kerala [2]He became notable with the song "Muthuchippi Poloru" from the film Thattathin Marayathu. [3]He made his debut with the movie Malarvaadi Arts Club. [4]He was working as a software engineer in Tata Consultancy Services in Kochi. [5]Later he resigned from the job to concentrate more on music. [6]His latest work is as a composer for the movie Aanandam.

Document 2: [7]Tata Consultancy Services Limited (TCS) is an Indian multinational information technology (IT) service, consulting and business solutions company Headquartered in Mumbai, Maharashtra. [8]It is a subsidiary of the Tata Group and operates in 46 countries.

## Answer:Mumbai

Supporting facts: [4],[7]

図 1 HotpotQA の問題例（gold 文書のみ）

再現し、不要な文を事前に取り除くことで、よりモ デルの性能が上がる可能性がある。Beltagy ら [11] や Groeneveld ら [12] は、根拠文選択についてこれに 似たアイデアを用いている。ただし、文書や文を 誤って取り除いた場合には回答を導けないため、性能に悪影響を及ぼすことも考えられる。

そこで本研究では、HotpotQA に対して Longformer を利用する手法において、訓練時とテスト時に、い くつかの方法で根拠文と回答の抽出範囲を段階的に 絞り込むことが、回答と根拠文を抜き出す精度にど のような効果を及ぼすかを検証した。その結果、段階的に絞り込みを行わないモデルよりも、回答と根拠文抽出の精度が向上することが確認できた。

## 2 背景

本項では、使用するデータセットの HotpotQA と ベースとなる手法を説明する。

## 2.1 HotpotQA

本研究では、マルチホップ質問応答データセット である HotpotQA の Distractor setting で実験を行う。 Distractor setting は答えを導くのに不要な文書を含 む 10 個の文書から必要な文書を見つけ出し、回答 を行うタスクである。文書は Wikipedia の記事から 収集されており、質問に対し回答に必要な 2 つの文書（gold 文書）と bigram tf-idf によって収集された 回答に必要の無い 8 つの文書 (distractor 文書) が与 えられ、その中から回答とその根拠となる文（根拠文）を抜き出すことが求められる。2つの gold 文書 のそれぞれに一文以上の根拠文が存在し、回答の夕 イプとしては yes/noタイプと文書から回答を抜き 出すスパンタイプがある。また、必要な推論のタイ プとしては bridge タイプと compare タイプがある。 bridge タイプは、質問に対して、文書 $1 \rightarrow$ 文書 2 の ように文書をまたぐ推論を行なって根拠を見つけ回答する問題となっている。図 1 の例では、質問に直接関連する事柄として、文書 1 で「Sachin Warrier が Tata Consultancy Service で働いていた」ことが分か り、さらに文書 2 で「Tata Consultancy Service の本社 が Mumbaiにある」ことが分かり、答えの「Mumbai」 を導ける。compare タイプは、二つのエンティティ を比較して回答する問題となっている。

## 2.2 Longformer

従来の Transformer モデルでは、必要な記憶量と 計算量が入力系列の長さの 2 乗のオーダーで増加す るため、長い系列を扱うことができなかった。その ため、長い系列を扱う際には、文章の一部を切り捨 てるか、文章をいくつかに分割する必要があり、文章全体の情報を失わないように複雑なモデルを構築 する必要があった。

Longformer はこのような問題を解決するために 以下の 3 つの attention パターンを導入している。 Sliding window attention は、各トークンを取り囲む 一定サイズの window 中でのみ attentionをとる。 Dilated sliding window は、Window attention に固定の ギャップを導入することで、計算量を増加させるこ となく、より広い情報を捉えるようにした attention
である。Global attention は、[CLS]トークンや質問文中のトークンなどの、特殊な役割をもつトークン に与え、タスク固有の表現を学習するために導入す る attention である。

このうち、window attention 層と dilated window attention 層を積み重ねることで、より広い文脈を計算量を抑えながら捉えることのできるモデルとなっ ている。

## 2.3 Longformer による HotpotQA

本研究でベースとしている、Beltagy らが提案した HotpotQA に対する Longformerを利用した手法を説明する。HotpotQA のタスクは回答スパン抽出と根拠文予測の2つのタスクを含むが、Beltagy らの手法 ではこれらを一つのモデルで行う。2つの gold 文書 と 8 つの distractor 文書の計 10 個の文書を連結し、さ らに質問と繋げて入力とする。入力のフォーマット としては、"[CLS] [q] question [/q] [p] sent ${ }_{1,1}[s]$ sent $_{1,2}$ $[\mathrm{s}] \ldots[\mathrm{p}]$ sent $_{2,1}[\mathrm{~s}]$ sent $_{2,2}[\mathrm{~s}] \ldots "$ のようになってい る。ここで $\operatorname{sent}_{\mathrm{i}, \mathrm{j}}$ は $\mathrm{i}$ 番目の文書の $\mathrm{j}$ 番目の文であ り、 $[\mathrm{p}] \cdot[\mathrm{s}] \cdot[\mathrm{q}] \cdot[/ \mathrm{q}]$ はそれぞれ文書・文・質問の 始まり・質問の終わりを表す特殊トークンである。 また、先頭の [CLS] トークンに対する出力ベクトル は、回答タイプ分類（yes/no or スパン）に用いる。 Longformer の global attention は、[CLS], [s], [p] の特殊トークンと [q] から [/q] の間の質問を表す部分の トークンに与えられる。

文書選択、根拠文選択、回答抽出の方法は以下の 通り。10 文書それぞれが gold 文書か否かを判定す る文書選択タスクは、文書の始まりを表す特殊トー クンに対する出力ベクトルに、根拠文選択のタスク は、文の始まりを表す特殊トークンに対する出力べ クトルに 2 層のフィードフォワードネットワーク を適用して得られるスコアにクロスエントロピー 損失を適用して訓練を行う。回答抽出タスクについ ては、Devlin ら [1] の SQuAD v1.1への BERT の適用手法に [CLS] トークンによって回答タイプを予測 する機構を加えて行う。具体的には文書の各トーク ンの出力ベクトルに線形層を適用して、回答スパン の開始・終了位置となることに対するスコアとし、 [CLS] トークンの出力にはフィードフォワードネッ トワークを適用してクロスエントロピー損失をと る。モデル全体の訓練には、回答スパン・回答タイ プ分類・文選択・文書選択のそれぞれの損失の線形和を全体の損失として、マルチタスク学習の形で
表 1 訓練手法における選択候補の絞り込み

train2 あり なし

train3 あり あり（文書）

train4 あり あり（根拠文）

train5 あり* あり（文書）*

train6 あり* あり（根拠文）*

*は候補とする部分のみを Longformerに入力

行う。

## 3 手法

本研究では、上記の Longformer モデルを使った手法をべースに異なる訓練・テスト方法を用いて、そ れらの差を調べた。Longformerへの入力において、文を表す特殊トークン [s] は各文の先頭に付加し、全体の損失は、2.3 項と同様に定義する。ただし、回答抽出の損失については、文書中に答えとなる単語 が複数出現することがあるため、以下の関数を用い た [13]。

$
-\log \left(\frac{\sum_{k \in A} e^{s_{k}}}{\sum_{i=1}^{n} e^{s_{i}}}\right)
$

ここで、 $A$ は回答トークンの集合、 $n$ は全トークン 数を、 $s_{i}$ は $\mathrm{i}$ 番目のトークンに対する線形層からの 出力を表す。

## 3.1 訓練方法

訓練の方法として以下の train1-6の 6つの手法を 比較した。いずれにおいても、目的関数は全ての夕 スクの損失を足し合わせたものとする。また、事前訓練済みモデルとしては Longformer-base モデルを 用いる。

train1 2.3 項で説明した手法で、それぞれのタス クで出力ベクトル全体を用いる。

train2 根拠文選択の訓練を行う際、文書選択で gold 文書であると判定された文書中の文のみを候補 とする。回答抽出の範囲は train1 と同様。

train3 根拠文選択の訓練は train2 と同じ方法で 行う。回答抽出の訓練を行う際、文書選択で gold 文書だと判定された文書のトークンのみを候補と する。

train4 根拠文選択の訓練は train2 と同じ方法で 行う。回答抽出の訓練を行う際、文選択で根拠文で あると判定された文のトークンのみを候補とする。

train5 根拠文選択・回答抽出の訓練の際、とも に文書選択で gold 文書と判定された文書と質問の
Question: Which current CBS NBA analyst played for the PORTLAND TRAILBLazers along with former UNLV teammate Stacey Augmon?

Document 1: [1]Gregory Carlton "Greg" Anthony (born November 15, 1967) is an American former National Basketball Association (NBA) player and is currently a television analyst for CBS Sports. [2] Anthony also contributes to Yahoo! Sports as a college basketball analyst and serves as a co-host/analyst on SiriusXM NBA Radio.

Document 2: [3]The 1998-99 NBA season was the 29th season for the Portland Trail Blazers in the National Basketball Association. [4] During the offseason, the Blazers signed free agents Jim Jackson and Greg Anthony, who would reunite with his former UNLV teammate Stacey Augmon. [5] Portland got off to a fast start winning 15 of their first 18 games, and went 35-15 in the lockout-shortened season, earning their fourth Pacific Division title and the first since 1991-92. [6] Their record qualified them for the \#2 seed in the Western Conference. [7] The team earned their 17th straight trip to the playoffs, and 22nd in 23 years. [8] Head coach Mike Dunleavy was named Coach of The Year.

Document 3: ... [9] The team also acquired Stacey Augmon and Grant Long from the Atlanta Hawks, but later on sent Augmon to the Portland Trail Blazers for Aaron McKie at midseason. . .

Answer:Aaron McKie(train1-test1), Greg Anthony(train4-test4)

Supporting facts: [1],[4],[7],[9](train1-test1), [1],[4],[7](train4-test4)

図 2 絞り込むことにより正答する例

トークンのみを連結したものを Longformer へ再度入力して、その出力ベクトルに対して根拠文選択と 回答抽出の訓練を行う。

train6 根拠文選択の訓練は train5 と同じ方法で 行う。回答抽出の訓練を行う際、文選択で根拠文で あると判定された文と質問のトークンのみを連結し たものを Longformerへ再度入力して、その出力べク トルに対して訓練を行う。

絞り込んだ文が回答を含まない場合には、回答抽出の損失は計算せずに他のタスクの損失のみを考 えた。

## 3.2 テスト方法

train1-6と同じ絞り込みを行う方法をそれぞれ test1-6とする。文書選択についてはスコアの上位 2 文書のみを選択した。
表 2 テスト文書数：全文書

## 4 実験

実験は、3 節で述べた手法で全文書を使って訓練 したモデルと、 5 文書に絞って訓練したモデルにつ いて、全文書でテストした場合（表 2）と 5 文書で テストした場合（表 3）について調べた。 5 文書への 絞り込みには、Beltagy ら [11] の two-stage モデルと 同様に、段落選択のみで訓練したモデルを用いた。

データは、公開されている訓練セット (90,447 問) のうち 80,000 問を訓練データ、残りを開発データと し、開発セットをテストデータとした。表の Ans は 回答、Sup は根拠文の F1 スコアである。

表 2 から、根拠文選択を行う際に、train2-4 のよ うに文書選択により候補を絞り込み、テスト時にも 同様にすることで、性能が向上することが確認でき た。回答抽出については、train 3,4 のような候補の 絞り込みでは性能の向上は見られなかった。一方 train5,6 のように、絞り込んだ文のみを入力すると、根拠文選択に関しては train2-4 と同等の効果しか得 られなかったが、回答抽出はこの方法で行うことで 最も良い結果が得られた。絞り込んだ文のみを入力
する方法は、テスト時にのみ適用した場合でも性能 の向上が見られる。また 5 文書へ絞ると性能は向上 するが、訓練に 5 文書しか使わなかった場合、テス 卜に全文書を使うと、性能が下がる傾向が見られる ことから、テスト時よりも厳しい設定で訓練する方 が頑健性が保たれると分かる。

図 2 に、train1-test1 で誤答し、train4-test4 では正答 した例を示す。 train1-test1 は絞り込みを行わないた めに、文書 1,2 を gold 文書と判定したが、文書 3 か ら余分に根拠文を選択し、そこから誤った回答を抽出している。このような誤答は、数字や人名などが 回答で、似た特性を持つ単語が文書中に複数存在す る問題で見られた。このことからも、段階的な絞り 込みの有効性が確認できる。

## 5 おわりに

本研究では、HotpotQA に対して Longformerを適用する際に、段階的な絞り込みを行うことによる効果を調べた。結果として不要な文を取り除いていく ことで、一定の効果が得られることが確認できた。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[2]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016.

[3]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[4]Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[5]Yuwei Fang, Siqi Sun, Zhe Gan, Rohit Pillai, Shuohang Wang, and Jingjing Liu. Hierarchical graph network for multi-hop question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[6]Lin Qiu, Yunxuan Xiao, Yanru Qu, Hao Zhou, Lei Li, Weinan Zhang, and Yong Yu. Dynamically fused graph network for multi-hop reasoning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[7]Ye Deming, Lin Yankai, Liu Zhenghao, Liu Zhiyuan, and Sun Maosong. Multi-paragraph reasoning with knowledgeenhanced graph neural network. arXiv:1911.02170, 2019.

[8]Michael Glass, Alfio Gliozzo, Rishav Chakravarti, Anthony Ferritto, Lin Pan, G P Shrivatsa Bhargav, Dinesh Garg, and Avi Sil. Span selection pre-training for question answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9]Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop reading comprehension through question decomposition and rescoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[10]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v1, 2020.

[11]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v2, 2020.

[12]Groeneveld Dirk, Khot Tushar, Mausam, and Sabharwal Ashish. A simple yet strong pipeline for hotpotqa. arXiv:2004.06753, 2020.

[13]Christopher Clark and Matt Gardner. Simple and effective multi-paragraph reading comprehension. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.


# Moderate to Answer MRC Examples with High Variability are Effective in MRC Model Training

Hongyu Li, Tengyang Chen, Shuting Bai, Tingxuan Li, Takehito Utsuro
Graduate School of Systems and Information Engineering, University of Tsukuba, Japan

## 1 Introduction

The Machine Reading Comprehension (MRC) task locates the best corresponding natural language answer when provided a question and its related context. In recent years, MRC models using neural networks have been proposed for SQuAD [8,9], which is a large-scale, high-quality English MRC dataset. Most recent neural network based MRC models have outperformed human performance [1].

Among those existing work, to analyze the difficulty of several popular MRC benchmarks such as bAbI [11], SQuAD [8], CBT [3], CNN [2] and Whodid-What [7], Kaushik and Lipton [4] established sensible baselines for these datasets, and found that question-only and context-only (which is referred to as passage-only in Kaushik and Lipton [4]) models often performs surprisingly well. In particular, context-only models achieve over $50 \%$ accuracy on 14 out of $20 \mathrm{bAbI}$ tasks, and as for CBT, only the last one of the 20 sentences provided as a context is necessary to achieve a comparable accuracy. They also indicated that SQuAD is designed more carefully than other datasets and achieved F1 scores of only $4 \%$ and $14.8 \%$ respectively on question-only and contextonly models, which are relatively lower. Kaushik and Lipton [4] demonstrated that published MRC datasets should characterize the level of difficulty, and specifically, the extent to which questions and contexts are essential. Moreover, they also claimed that follow-up papers reporting improvements ought to report performance both on the full task and variations omitting questions and contexts.

In view of the point demonstrated in Kaushik and Lipton [4], our prior work [5] concentrates more on the difficulty of every single MRC example. Based on pre-trained BERT, we proposed a method of splitting the 87,600 SQuAD1. 1 training examples comprised of 12,500 "easy to answer" ones and 75,100 "hard to answer" ones, and found that when using 12,500 examples of each class to fine-tune BERT on MRC task respectively, the "hard to answer" ones significantly outperform "easy to answer" ones on training effectiveness. However, it was also pointed out that the performance of "hard to answer" examples is comparable with that of examples randomly sampled from the training examples of SQuAD1.1.

Figure 1: An MRC Model using Neural Networks

Swayamdipta et al. [10] proposed DataMapsa general framework of identifying three regions, namely, ambiguous, easy to learn, and hard to learn within a dataset, and applied the framework to several tasks such as natural language inference and sentence-level machine reading comprehension. It is concluded that ambiguous instances are useful for high performance, easy to learn instances aid optimization, and hard to learn instances correspond to data errors.

Following our prior work [5], this paper further proposes a method that splits the MRC examples into three classes of "easy to answer", "moderate to answer", and "hard to answer"1. Given the MRC dataset SQuAD1.1 (where each MRC example is denoted as the tuple $\langle Q, C, A\rangle$ of the question $Q$, the context $C$, and the answer $A$ ) and the pre-trained model RoBERTa $[6]^{2}$, we apply a 10-fold cross-validation on the 87,600 SQuAD1.1 training examples comprised of 13,400 "easy to answer", 49,300 "moderate to answer", and 25,000 "hard to answer" examples. From the comparison results, the followings are our significant findings. (1) Based on the performance of training the RoBERTa MRC models with 13,400 "easy to an-
^{1}$ The definition of "hard to answer" examples is different from that in our prior work [5].

 }^{2}$ Our implementation uses the Huggingface Transformers library [12], and all of our models are fine-tuned based on RoBERTa-base with the number of epochs as 2 , batch size as 8 , learning rate as 0.000015 , and the maximum sequence length as 384 .

Table 1: Splitting the MRC Examples into "Answerable" and "Unanswerable" Examples with the Corresponding Statistics

swer", "moderate to answer", "hard to answer" examples, as well as those randomly sampled from the complete SQuAD1.1 training examples, the one trained with "moderate to answer" examples outperforms the other three. (2) In comparison with the model trained with 13,400 "moderate to answer" examples, another model trained with the examples with high variability of confidence within "moderate to answer" examples shows further performance improvement.

## 2 Splitting MRC Examples into "Easy to Answer", "Moderate to answer", and "Hard to Answer" Classes

Following the procedure for detecting MRC examples as answerable without a question demonstrated in the previous section, we similarly split the 87,600 SQuAD1.1 training examples into "easy to answer", "moderate to answer", and "hard to answer" classes. With the 10-fold cross-validation procedure illustrated in Figure 2, we obtain the following four types of evaluation results, where there exist two choices each for both training and evaluation:

(i) The MRC model is trained with the training examples that include questions used as they are or do not include questions (i.e., "with-question training" or "without-question training").

(ii) The trained MRC model is evaluated against the MRC test examples with or without questions (i.e., "with-question" evaluation or "withoutquestion" evaluation).

The 10-fold cross-validation results in the three classes of "easy to answer" (approximately 13,400 examples), "moderate to answer" (approximately 49,300 examples), and "hard to answer" (approximately 25,000 examples).

Figure 2: Four Types of Evaluation through 10-fold Cross-Validation for Splitting the MRC Examples into "Easy to Answer", "Moderate to answer", and "Hard to Answer" Classes

## Detailed Procedure

The SQuAD1.1 dataset is composed of approximately 100,000 MRC examples that use 23,215 paragraphs extracted from 536 Wikipedia articles as context. With these contexts, questions and answers are annotated through crowd sourcing to generate the complete 100,000 MRC example set. From these examples, we apply $N$-fold cross-validation $(N=10$ in this paper) to the set $U$ of the MRC training examples collected from 442 out of the 536 Wikipedia articles.

Before the $N$-fold cross-validation, we first divide the 442 Wikipedia articles into disjoint $N$ subsets. From the $i$-th $(i=1, \ldots, N)$ subset of Wikipedia articles, we obtain the $i$-th test set $t s_{i}$ of the MRC examples. and the $i$-th training set of the MRC examples is obtained as the set $t r_{i}$ of the remaining MRC examples. Then, the set $U$ of the complete SQuAD1.1 training examples is represented as

$
U=\bigcup_{i=1, \ldots, N} t s_{i} \quad\left(t s_{i} \cap t s_{j}=\emptyset(i \neq j)\right)
$

As shown in Table 1, from the $i$-th training set $t r_{i}$ of the MRC examples, each of which contains a question, another training set $t r_{i}{ }^{Q=\emptyset}$ of the MRC examples is obtained by removing the question $Q$ from each example. So, each MRC example in the obtained training set $t r_{i}{ }^{Q=\emptyset}$ now has an empty question. Similarly, from a test MRC example $s=$ $\langle Q, C, A\rangle$ in the $i$-th test set $t s_{i}$ of the MRC examples that contains a question, another test MRC example $s^{Q=\emptyset}$ is obtained by removing its question $Q$ from $s$. So, the obtained test MRC example $s^{Q=\emptyset}$ has an empty question. Here, we define a Boolean predicate answerable which classifies if the given test example $s$ is "answerable" or "unanswerable" by the MRC model $m(t r)$ trained with training set $t r$, and is defined according to if the predicted answer $\widehat{A}$ is the
same as the reference answer $A$ as

$
\text { answerable }(m(t r), s)= \begin{cases}1 & (\widehat{A}=A) \\ 0 & (\widehat{A} \neq A)\end{cases}
$

By pairing the two training sets $t r_{i}$ and $t r_{i}{ }^{Q=\emptyset}$ from the MRC examples and the two test MRC examples $s$ and $s^{Q=\emptyset}$, as shown in Table 1, a resulting four pairs of training sets from the MRC examples and a test MRC example can be examined as to if the given designated test MRC example is "answerable" or "unanswerable" by the MRC model trained with the designated training set.

Finally, in each of these four pairs, the set $t s_{i}$ of the test MRC examples is split into the set $a^{\alpha}\left(t s_{i}\right)$ of answerable test MRC examples and $u a^{\alpha}\left(t s_{i}\right)$ of unanswerable test MRC examples, according to ( $\alpha=$ $1,2,3,4)$

$
\begin{aligned}
& a^{1}\left(t s_{i}\right)= \\
& \quad\left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t r_{i}\right), s\right)=1\right.\} \\
& a^{2}\left(t s_{i}\right)= \\
& \quad\left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t r_{i}{ }^{Q=\emptyset}\right), s\right)=1\right.\} \\
& a^{3}\left(t s_{i}\right)= \\
& \quad\left.\{s \in s_{i} \mid \operatorname{answerable}\left(m\left(r_{i}\right), s^{Q=\emptyset}\right)=1\right.\} \\
& a^{4}\left(t s_{i}\right)= \\
& \left.\{s \in t s_{i} \mid \text { answerable }\left(m\left(t_{i}{ }^{Q=\emptyset}\right), s^{Q=\emptyset}\right)=1\right.\} \\
& u a^{\alpha}\left(t s_{i}\right)=t_{i}-a^{\alpha}\left(t s_{i}\right)(\alpha=1,2,3,4)
\end{aligned}
$

The sets $a^{\alpha}\left(t s_{i}\right)(\alpha=1,2,3,4)$ of "answerable" test MRC examples are obtained by evaluating the MRC model trained with the training sets $t r_{i}$ (with questions) or $\operatorname{tr}_{i}{ }^{Q=\emptyset}$ (without questions) against $s$ (with a question) or $s^{Q=\emptyset}$ (without a question). We define the set $E$ of "easy to answer" MRC examples as the union of the three sets $a^{\alpha}\left(t s_{i}\right)(\alpha=2,3,4)$ of "answerable" test MRC examples. For these, we collect the "answerable" test MRC examples over the cases with questions removed either from the training or test MRC examples $\left(a^{1}\left(t s_{i}\right)\right.$ is excluded because the questions are used in both the training and test MRC examples). The set $H$ of "hard to answer" MRC examples is defined as the intersection of $u a^{\alpha}\left(t s_{i}\right)$ $(\alpha=1,2,3,4)$, which indicates these ones are found as "unanswerable" over all of the four cases. The set $M$ of "moderate to answer" examples is subsequently
Table 2: Number of Examples in Each Training Set

 \\

\cline { 1 - 1 }$M_{v a r}:$ examples with the highest variability within $M$ & \\
\cline { 1 - 1 }$A_{s m l}:$ examples randomly sampled from $A$ & \\
\cline { 1 - 1 }$A_{v a r}:$ examples with the highest variability within $A$ & \\
\cline { 1 - 1 }$H_{s m l}:$ examples randomly sampled from $H$ & \\
\cline { 1 - 1 }$U_{s m l}:$ examples randomly sampled from $U$ & \\

defined as the complement set of $E \cup H$ as below: ${ }^{3}$

$
\begin{aligned}
E & =\bigcup_{i=1, \ldots, N} a^{2}\left(t s_{i}\right) \vee a^{3}\left(t s_{i}\right) \vee a^{4}\left(t s_{i}\right) \\
H & =\bigcup_{i=1, \ldots, N} u a^{1}\left(t s_{i}\right) \wedge u a^{2}\left(t s_{i}\right) \wedge u a^{3}\left(t s_{i}\right) \wedge u a^{4}\left(t s_{i}\right) \\
M & =U-(E \vee H)
\end{aligned}
$

Consequently, the set $U$ of the complete SQuAD1.1 training examples is split into the set $E$ of 13,357 "easy to answer" examples, the set $M$ of 49,251 "moderate to answer" ones, and the set $H$ of 24,991 "hard to answer" ones.

## 3 Effectiveness of "Moderate to Answer" Examples in MRC Model Training

We next evaluate the effectiveness of "easy to answer", "moderate to answer" and "hard to answer" MRC examples based on the performance of each class when used for the MRC model training. As a baseline, we apply the framework of Swayamdipta et al. [10] on SQuAD1.1, resulting in "ambiguous", "easy to learn", and "hard to learn" examples selected from the training examples of SQuAD1.1. Specifically, we fine-tune RoBERTa model on MRC task for 2 epochs $^{4}$ with the training examples of SQuAD1.1, and for each example, we yield the confidence and the variability of the confidence across the 2 epochs. Then, the 29,075 ( $33 \%$ of $U$ ) training examples with the highest variability are selected as the set $A$ ("ambiguous"), which outperforms the 29,075 training examples with the highest average confidence ("easy to learn") and the 29,075 training
^{3}$ Over the set $U$ of the complete SQuAD1.1 training examples, the set $a^{\alpha}$ of "answerable" examples and the set $u a^{\alpha}$ of "unanswerable" examples are defined as $a^{\alpha}=\bigcup_{i=1} a^{\alpha}\left(t s_{i}\right), u a^{\alpha}=U-a^{\alpha}(\alpha=1,2,3,4)$, where

the number of examples in each set is provided in Table 1.

 }^{4}$ We have compared the results among $2 \sim 5$ epochs of finetuning, and the "ambiguous" examples of 2 epochs of finetuning perform the best.

Figure 3: Evaluation Results on the Development Set of SQuAD1.1 where EM is an Exact Match, and F1 is the Macro-Average of the F1 Score per Example

examples with the lowest average confidence ("hard to learn").

The sets shown in Table 2 are evaluated as the MRC model training examples. In addition to the set $E$, we evaluate the sets $M_{s m l}, H_{s m l}$ and $U_{s m l}$ of $|E|=13,557$ MRC examples randomly sampled from $M, H$, and $U$, respectively. These sets are intended to directly compare the effectiveness of the "easy to answer", "moderate to answer", "hard to answer", and (randomly sampled) SQuAD1.1 training examples by restricting the numbers of the training examples to be the same. To compare our results with the baseline, we also evaluate the set $A_{s m l}$ of $|E|=13,557$ MRC examples randomly sampled from $A$. Moreover, we evaluate $M_{v a r}$ and $A_{v a r}$ which are the sets of $|E|=13,557 \mathrm{MRC}$ examples with the highest variability within $M$ and $A$, respectively. All these sets are used to fine-tune the RoBERTa pre-trained model on the MRC task, and the development set of SQuAD1.1 is used as the test set for each evaluation. For the evaluation measures, we utilize the exact match (EM), which is defined as the rate of examples with a predicted answer that exactly matches the reference answer. The macro average of the F1 score is calculated from the precision and recall between the token sequences of the predicted and reference answers.

Figure 3 compares the performance of these sets of MRC training examples. Within the three sets of "easy to answer", "moderate to answer" and "hard to answer" examples, $M_{s m l}$ significantly outperforms $E$ and $H_{s m l}$. Compared with the performance of the baseline's "ambiguous" examples $A_{s m l}$, which is comparable with that of $U_{s m l}$, our "moderate to answer" examples $M_{s m l}$ outperforms the set $U_{s m l}$ with a statistically significant $(p<0.01)$ difference. Furthermore, the set $M_{v a r}$ of examples with the highest variability of confidence within $M$ outperforms the set $M_{s m l}$ with a statistically significant $(p<0.1)$ difference, which also outperforms all other sets of $|E|=13,557$ examples with a statistically significant $(p<0.01)$ difference. This suggests that "moderate to answer" examples with high variability are effective in MRC Model training.

## 4 Conclusion

We proposed a method based on RoBERTa [6] that splits the training examples from the MRC dataset SQuAD1.1 into classes of "easy to answer", "moderate to answer", and "hard to answer". Experimental evaluation results of comparing the four models, which are respectively trained only with the "easy to answer", "moderate to answer", "hard to answer" examples and examples randomly sampled from the complete SQuAD1.1 training examples, demonstrate that the one trained with "moderate to answer" examples outperforms the other three. Furthermore, we also train a model using the examples with high variability of confidence within "moderate to answer" examples, which shows further performance improvement in comparison with that trained with examples randomly sampled from "moderate to answer" examples. Future work includes applying the analysis procedure of this paper to several popular MRC benchmark datasets other than SQuAD [8] and investigating whether the similar results are obtained. We also work on deeper analysis of the characteristics of "easy to answer", "moderate to answer", and "hard to answer" examples to find out features that are related to the disparity of training effectiveness.

## References

[1] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171-4186, 2019.

[2] K. M. Hermann, T. Kociskỳ, E. Grefenstette, L. Espeholt, W. Kay, M. Suleyman, and P. Blunsom. Teaching machines to read and comprehend. In Proc. 28th NIPS, pp. 16931701, 2015.

[3] F. Hill, A. Bordes, S. Chopra, and J. Weston. The goldilocks principle: Reading children's books with explicit memory representations. In Proc. 4th ICLR, pp. 1-13, 2016.

[4] D. Kaushik and Z. C. Lipton. How much reading does reading comprehension require? a critical investigation of popular benchmarks. In Proc. EMNLP, pp. 5010-5015, 2018.

[5] H. Li, T. Chen, S. Bai, T. Utsuro, and Y. Kawada. MRC examples answerable by BERT without a question are less effective in MRC model training. In Proc. 1st $A A C L-$ IJCNLP: Student Research Workshop, pp. 146152, 2020 .

[6] Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] T. Onishi, H. Wang, M. Bansal, K. Gimpel, and D. McAllester. Who did what: A large-scale person-centered cloze dataset. In Proc. EMNLP, pp. 2230-2235, 2016.

[8] R. Pranav, Z. Jian, L. Konstantin, and L. Percy. SQuAD: $100,000+$ questions for machine comprehension of text. In Proc. EMNLP, pp. 23832392, 2016 .

[9] R. Pranav, J. Robin, and L. Percy. Know what you don't know: Unanswerable questions for SQuAD. In Proc. 56th ACL, pp. 784-789, 2018.

[10] S. Swayamdipta, R. Schwartz, N. Lourie, Y. Wang, H. Hajishirzi, N. A. Smith, and Y. Choi. Dataset cartography: Mapping and diagnosing datasets with training dynamics. In Proc. EMNLP, pp. 9275-9293, 2020.

[11] J. Weston, A. Bordes, S. Chopra, A. M. Rush, B. van Merriënboer, A. Joulin, and T. Mikolov. Towards AI-complete question answering: A set of prerequisite toy tasks. In Proc. 4th ICLR, pp. 1-14, 2016.

[12] T. Wolf, J. Chaumond, L. Debut, V. Sanh, C. Delangue, A. Moi, P. Cistac, M. Funtowicz, J. Davison, S. Shleifer, P. von Platen, C. Ma, Y. Jernite, J. Plu, C. Xu, T. Le Scao, S. Gugger, M. Drame, Q. Lhoest, and A. Rush. Transformers: State-of-the-art natural language processing. In Proc. EMNLP: System Demonstrations, pp. $38-45,2020$.


# オープンドメイン質問応答における解答可能性判別の役割

鈴木正敏 ${ }^{1,2}$ 松田耕史 ${ }^{2,1}$ 大内啓樹 2,1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{m. suzuki, matsuda, jun.suzuki,inui\}@ecei.tohoku.ac.jp, hiroki.ouchi@riken.jp
## 1 はじめに

自然言語による質問の入力に対して適切な解答を 出力する質問応答システムは，自然言語処理技術の 最も重要な応用課題の 1 つである [1]. 特に，対象 とする知識の範疇を限定しないオープンドメイン質問応答は，「どんな質問にも答えられるコンピュー タ」を実現する挑戦的な課題として，学術界と産業界の両方で積極的な研究が行われている [2].

既存のオープンドメイン質問応答システムの多く は，大量の文書に対する情報検索と，検索された文書から解答を抽出する処理から成るパイプライン型 の手法を採用している $[3,4,5]$. 近年では，機械読解タスクの隆盛を背景に，深層学習を基盤とする読解モデルを用いて解答抽出を行う質問応答システム も提案されている $[6,7,8,9,10,11]$.

情報検索を基盤としたパイプライン型の質問応答 システムでは，検索された文書が質問の内容と無関係であった場合，文書からの正しい解答の抽出が困難になる. この問題に対処するための方法として，検索された文書や解答候補のリランキングを行う手法 $[7,8]$ などが提案されている.

しかし本来，与えられた文書が質問に解答するた めの情報として適切かどうかの判別には，文書の読解と同等の言語理解能力が必要となるはずである. したがって，読解のための文書の選別も，別個のモ デルを用意するのではなく，読解モデルに行わせる のが合理的ではないかと考えられる。

そこで本研究では，解答抽出を担う読解モデルに 文書の読解による解答可能性の判別を行わせること で，解答性能の高いオープンドメイン質問応答シス テムを実現する方法を研究する. 具体的には，解答可能性が明示的に付与されたデータセット [12]を 用いて読解モデルを訓練し，質問との関連度が低い 文書を「読み捨てる」ことで，読解で得られる解答候補の質の向上を図る. 実験の結果，解答可能性判別を行うよう訓練された読解モデルを用いること表 1 解答可能性付き読解データセットに含まれる事例.

質問: 地元では「がめ煮」とよぶ、鶏肉や野菜を一口大に切って、だしや奨油などで煮込んだ福岡県の 郷土料理は何でしょう?

正解: 筑前煮

文書: 筑前煮など、ほかの煮物にも鰹節を出汁のひ とつとして使うものは多いが、土佐煮では鰹節の濃厚な味を生かしたり、具材の一部として使う特徴が ある。土佐酢などと同様、鰹節を用いることから鰹 で有名な土佐（現高知県）の名を用いる。...

解答可能性スコア: 0

で，最終的な質問応答の精度が大幅に向上した. さ らに，解答可能性の教師信号として，文書中の正解文字列の有無ではなく，文書の読解によって質問に 解答できるかどうかの人手による判断を用いること で，より高い質問応答の性能が得られた1).

## 2 関連研究

オープンドメイン質問応答の初期のシステムは,質問文の解析，情報検索，解答候補の抽出などから 成るパイプライン処理を，人手で設計された規則や 特徴量に基づいて行うものが主流であった $[3,4,5]$.近年では，深層学習技術の進展と同時に，SQuAD [13] に代表される機械読解タスクの研究が広く取り 組まれるようになったことを背景に，従来のパイプ ライン型質問応答システムの一部を深層学習を基盤 としたモデルで置き換え，より解答性能の高いシス テムの実現を目指す研究が進められている.

Chen ら [6] は，従来の情報検索のモジュールと深層学習による読解モデルを組み合わせたオープン ドメイン質問応答システムを初めて提案した.この システムでは，TF-IDFを特徵量とした情報検索モ ジュールにより取得された文書 (Wikipedia 記事の段落）に対して，事前に SQuAD 等のデータセットで 訓練された読解モデルを適用し最も予測確率の高い 解答候補を出力することで，質問応答を実現してい

1）実験に用いたコードはhttps://github.com/cl-tohoku/ open-book-qa で公開している。

る. 以降，読解モデルに訓練済み言語モデルを利用 する方法 [10] や，検索も深層学習で行う方法 [9, 11] など，多くの手法が相次いで提案されている.

パイプライン型の質問応答システムでは，検索に より取得される文書に必ずしも質問の正解が書かれ ているとは限らないため，そのような文書が入力さ れたときに読解モデルは誤った解答を出力してしま うという課題がある. この問題を回避する手法とし て，検索された文書に質問の正解が書かれているか どうかを判別する新たなモジュールの導入 [7] や，読解モデルが出力する解答候補をリランキングする モジュールの導入 [8] が提案されている.

これらの既存研究に対して本研究は, 文書の選別 には読解の能力が必要であるという着想のもと, 解答可能性判別を読解モデルに行わせることでより良 い質問応答システムを実現することを追究する.

## 3 解答可能性付き読解データセット

解答可能性付き読解データセット [12] は, 日本語のクイズ問題を元に作成された，機械読解タスク のデータセットである. ウェブから収集されたクイ ズ問題である質問に対して，正解の文字列を含む Wikipedia 記事の段落が読解対象の文書として 1 問 あたり最大 5 件付与されている. さらに，全ての質問-正解-文書の組に対して，クラウドソーシングに より付与された「解答可能性スコア」が与えられて いる. 解答可能性スコアは， 1 事例あたり 5 名の作業者に質問-正解-文書の組を提示し, 質問の正解の 根拠が文書中に書かれているかを Yes/Noのの 2 択で 答えてもらい，Yes と答えた人数をそのまま 5 点満点のスコアとしたものである.

表 1 に，データセットに含まれる事例の例を示 す.この事例の文書には，正解の「筑前煮」という 文字列は書かれているが，解答の根拠となる「がめ 募」に関する情報は書かれていないため，解答可能性スコアは 0 が付与されている.

なお，本データセットと同時期に提案された同様 のデータセットに SQuAD 2.0 [14]があるが, SQuAD 2.0 では「文書に正解が書かれているか」を解答可能性としているのに対し, 本データセットでは「文書 に正解の根拠が書かれているか」を解答可能性とし ており，正解の文字列そのものは全ての文書に書か れている。すなわち，本データセットは，読解によ る解答可能性を判別させるための，より難しいデー タセットになっている.表 2 データセットの統計量.

本研究では既存研究 [12] と同様に，質問の元と なったクイズ問題の出題年ごとにデータセットを訓練・開発・評価データに分割する．また，解答可能性スコアが 2 以上のものを解答可能な事例とし， 1 以下のものを解答不可能な事例として扱う. 表 2 に データセットの各種統計量を示す.

## 4 提案手法

3 節のデータセットで訓練した読解モデルを用い てオープンドメイン質問応答システムを構築する.

## 4.1 読解モデル

読解モデルとして，日本語の Wikipedia 記事で事前訓練された BERT [15]を利用する．モデルの構造 は BERT-base とし，語彙の大きさは 32,768 とする.

事前訓練された BERTを読解タスクに適応させる ため，3節で述べた解答可能性付き読解データセッ トを用いてモデルを追加訓練する。追加訓練には， BERT の SQuAD 2.0 に対する既存手法 [15] を応用す る. すなわち, 質問 $q$ と文書 $d$ を連結させた入力 [CLS] $q$ [SEP] $d$ [SEP] に対して，解答可能な事例に 対しては, 文書中の正解の開始位置 $i$ と終了位置 $j$ $(i \leq j)$ を予測し，解答不可能な事例に対しては，た とえ正解の文字列が偶然含まれている場合でもそれ を正解と見なさずに，開始位置と終了位置として文頭（[CLS] の位置）を予測するように訓練する2).

## 4.2 質問応答システム

4.1 節で訓練した読解モデルを用いて，オープン ドメイン質問応答システムを構築する. 本研究で構築する質問応答システムは，検索，読解，解答統合 の3つのモジュールから成る．以下で，それぞれの モジュールについて説明する。

検索 システムに入力される質問に対して，全文検索エンジンを用いて予めインデックスされた文書集合から関連度の高い $k$ 件の文書を取得する. 全文検索のスコアリング関数には Okapi BM25 を用い,

2） BERT の事前訓練および追加訓練の詳細は付録 Aを参照.

図 1 訓練時における解答可能性判別の例.

表 3 開発・評価データに対するシステムの解答性能.

文書集合には 2020 年 8 月 30 日時点の Wikipedia 全記事を段落に分割したものを用いた3).

読解 システムに入力された質問と検索モジュー ルで取得された文書から成る $k$ 件の質問-文書ペア のそれぞれに対して，4.1 節で訓練した読解モデル を用いて解答候補を出力する．ただし，読解モデル が解答不可能と予測した事例は棄却する.

解答統合 読解モジュールにより得られた最大 $k$件の解答候補から，多数決によりシステムの最終的 な解答を 1 つ決定する。ただし，最も出現数の多い 解答候補が複数ある場合は，元の質問-文書ペアに 対する検索モジュールの関連度スコアの最上位が より上位にある解答候補を選択する。 また，読解モ ジュールにより得られた解答候補が 0 件である（す なわち $k$ 件全てが解答不可能と予測された）場合 は，最終的な解答も「解答不可能」とする ${ }^{4)}$.

## 5 実験

## 5.1 実験設定

3 節のデータセットを用いて，以下の４つの条件 で読解モデルを訓練する。

-ANSWERABLEONLY: 訓練データの解答可能な事例のみを用いて読解モデルを訓練する。
- SOFTANSWERABILITY （提案手法）: 訓練データ の解答可能・解答不可能な事例の両方を用いて

3）すなわち，本研究における「文書」の単位は段落である.

4）本研究の実験設定では不正解としてカウントされる.

図 2 開発データでの文書数 $k$ と解答性能 (EM) の関係.

解答可能性判別を伴う読解モデルを訓練する.
- ALLANSWERABLE: 訓練データの全ての事例を解答可能と見なし用いて読解モデルを訓練する. すなわち，読解で解答不可能な文書に対しても 文書中の正解文字列の位置を予測させる.
- HARDANSWERABILITY: 訓練データの解答不可能 な文書を，正解が書かれていない別の文書に置 き換えたデータセットを新たに作成し，解答可能性判別を伴う読解モデルを訓練する.これは SQuAD 2.0 における「解答不可能＝正解が書か れていない」という条件を再現したものであ る. 解答不可能な文書の付与には 4.2 節の全文検索エンジンを用い，質問との関連度が高く， かつ正解を含まない文書を，元の解答不可能な 文書と同じ数だけ付与した。

各条件の訓練時の解答可能性判別の例を図 1 亿示 す.それぞれの条件で訓練された読解モデルを用い て，4.2 節で述べた質問応答システムを構築する.

システムの評価には，3 節のデータセットの開発・評価データの質問と正解を用いる。質問応答性能の定量的な評価指標として, 予測された解答と正解の完全一致の割合である $\mathrm{EM}$ と，部分一致率の平均である F1を測定する ${ }^{5)}$. 検索モジュールで取得 する文書数は $k \in[1,1000]$ とし，上記の 4 つそれぞ れの条件で，開発データ上で $\mathrm{EM}$ が最大となる $k$ を 用いて評価データ上での評価を行う。

## 5.2 実験結果

表 3 に実験結果を示す. 提案手法の SoFtAnSWERABILITY では, 解答可能性判別を行わない設定 である ANSWERABLEONLY および ALLANSWERABLE と 比較して EM がおよそ 13 ポイント改善し, 解答

5）F1 は本来は単語の部分一致率を計算するが，本研究では日本語を対象にするため文字レベルの部分一致率を計算する。
表 4 開発データの質問に対するシステムの解答例.

質問: 現在日本に生息する 2 種類のキツネは、キタキツネと何でしょう？ 正解: ホンドギツネ

 & エゾクロテン & エゾクロテン & （解答不可能） \\

可能性判別の有効性を示した. また提案手法は， SQuAD 2.0 のように正解文字列の有無を判別する HARDANSWERABILITY と比較しても，EM が 2 から 4 ポイント高い結果となった.この結果は, 人間の判断を元に付与された解答可能性の情報が，正解の記述有無を元に機械的に付与された情報よりも，デー タ作成のコストはかかる一方，より効果的に質問応答に応用できる可能性を示している.

図 2 に，開発データにおける，検索モジュールで 取得する文書数 $k$ とシステムの解答性能 (EM) の関係を示す. 図 2 の upper bound は, 正解を含む文書 が $k$ 件中 1 つでもある質問の割合，すなわち EM の 上界を示している6)。解答可能性判別を行わない ANSWERABLEONLY と ALLANSWERABLE では, $k=10$ から 20 の範囲で $\mathrm{EM}$ が最大になり，それ以上 $k$ を 大きくしていくと EMは低下した. これとは対照的 に，提案手法の SOFTANSWERABILITY では，文書数 $k$ を大きくしていくと，性能はより向上し，今回の実験の範囲では $k=960$ で EM が最大となった7).

文書検索を基盤とした質問応答システムでは一般 に，文書数 $k$ を大きくすると質問の正解を含んだ 文書が検索でヒットする確率は高くなるが，関連度 が低い文書がより多く取得される可能性も高くな る. 解答可能性判別を行わない読解モデルは, 任意 の入力に対して何かしら解答を抜き出そうとするた め， $k$ が大きくなり解答不可能な文書の入力が増え るに従い，誤った解答候補の出力が増え，解答統合時のノイズになったと考えられる。一方，提案手法

では， $k$ が大きくなり解答不可能な文書が増えた場合でも，解答不可能と判断された文書は棄却するこ とができ，かつ検索結果の下位にある解答可能な文書に対しては読解を行えるため，結果として得られ る解答候補の集合の質が向上し，多数決による解答統合に効果的であったと考えられる。

## 5.3 システムの解答例

表 4 に，開発データの質問に対するシステムの解答例を示す。表 4 に示した検索上位 3 件の文書のう ち, 質問の正解である「ホンドギツネ」を含むものは 3 番目の文書だけである. 解答可能性判別を行わな い ANSWERABLEONLY と ALLANSWERABLE のシステム では，正解が解答不可能な文書に対しても解答抽出 を行い，その結果誤った解答候補を出力している.一方，解答可能性判別を行う SOFTANSWERABILITY の システムでは，解答不可能な文書に対しては正しく 「解答不可能」と出力し，正解を解答可能な文書に 対してのみ解答抽出を行っていることがわかる.

## 6 おわりに

本研究では，解答可能性の判別を行う読解モデル を応用してオープンドメイン質問応答システムを構築した。実験により，人手で付与された読解による 解答可能性の情報が文書の選別に有効であることを 示す結果が得られた。

今後の課題として，低コストで作成された解答不可能な訓練事例をより効果的に活用する方法や， DPR [11]のような最先端の情報検索手法と組み合わ せる研究に取り組む。

謝辞 本研究は JSPS 科研費 JP19H04425, JP19J13238 の助成を受けたものである。

## 参考文献

[1] R. F. Simmons. Answering English questions by computer: a survey. Communications of the ACM, Vol. 8, No. 1, pp. 53-70, 1965.

[2] D. A. Ferrucci. Introduction to "This is Watson" . IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 1:1-1:15, 2012.

[3] Dan Moldovan, Sanda Harabagiu, Marius Pasca, Rada Mihalcea, Roxana Girju, Richard Goodrum, and Vasile Rus. The Structure and Performance of an Open-Domain Question Answering System. In ACL, pp. 563-570, 2000.

[4] Eric Brill, Susan Dumais, and Michele Banko. An Analysis of the AskMSR Question-Answering System. In EMNLP, pp. 257-264, 2002.

[5] John Prager. Open-Domain Question-Answering. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 1, No. 2, pp. 91-231, 2007. Publisher: Now Publishers, Inc.

[6] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to Answer Open-Domain Questions. In $A C L$, Vol. 1, pp. 1870-1879, 2017.

[7] Yankai Lin, Haozhe Ji, Zhiyuan Liu, and Maosong Sun. Denoising Distantly Supervised Open-Domain Question Answering. In ACL, Vol. 1, pp. 1736-1745, 2018.

[8] Shuohang Wang, Mo Yu, Jing Jiang, Wei Zhang, Xiaoxiao Guo, Shiyu Chang, Zhiguo Wang, Tim Klinger, Gerald Tesauro, and Murray Campbell. Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering. In ICLR, 2018.

[9] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering. In ACL, pp. 6086-6096, 2019.

[10] Wei Yang, Yuqing Xie, Aileen Lin, Xingyu Li, Luchen Tan, Kun Xiong, Ming Li, and Jimmy Lin. End-to-End Open-Domain Question Answering with BERTserini. In NAACL, Vol. Demonstrations, pp. 72-77, 2019.

[11] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In $E M N L P$, pp. 6769-6781, 2020.

[12] 鈴木 正敏, 松田 耕史, 岡崎 直観, 乾 健太郎. 読解によ る解答可能性を付与した質問応答データセットの 構築. 言語処理学会 第 24 回年次大会, pp. 702-705, 2018.

[13] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In EMNLP, pp. 2383-2392, 2016.

[14] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know What You Don't Know: Unanswerable Questions for SQuAD. In $A C L$, Vol. 2, pp. 784-789, 2018.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL, Vol. 1, pp. 4171-4186, 2019.

[16] 伝 康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松 信明,内元 清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[17] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In $I C L R, 2019$.

## A 読解モデルの訓練の詳細

BERT の事前訓練には，日本語版 Wikipedia の 2020 年 8 月 30 日付けの Cirrusearch ダンプデータ8) から 抽出した記事本文データを利用した. テキストの前処理として，単語分割をUnidic 2.1.2 [16] を用いて行 い，さらに BERT の WordPiece によるサブワード分割を行った. 語彙の大きさは 32,768 とした. 1 訓練事例あたりの最大トークン数は 512 とし，ミニバッ チのサイズは 256 とした.また, masked language model における whole word masking を適用した. 最適化アルゴリズムには AdamW [17] を用い，学習率 は 1e-4 とした. 訓練のステップ数は $1,000,000$ とし，最初の 10,000 ステップにおける学習率の warmup と 以降の linear decay を適用した. BERT の事前訓練に は， TensorFlow Research Cloud プログラム ${ }^{9)}$ で提供さ れた Cloud TPU v3-8 を使用し，訓練の完了にはおよ そ 5 日間を要した.

BERT の読解タスク向けの追加訓練では， 1 訓練事例あたりの最大トークン数を 512 とし，ミニバッ チのサイズを 8, gradient accumuration のステップ数 を 4 とした. 最適化アルゴリズムには AdamW を用 い，学習率は 5e-5 とした. 訓練のエポック数は 3 と し，開発データで読解性能 (EM) が最大となったエ ポックのモデルを質問応答システムの実験に用い た. BERT の追加訓練には，NVIDIA V100 GPU を 1 コア使用し，訓練の完了には約 1 時間を要した.

8) https://dumps.wikimedia.org/other/cirrussearch/

9) https://www. tensorflow.org/tfrc