# Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction

Qin Dai ${ }^{* 1}$ Benjamin Heinzerling ${ }^{* 2,1} \quad$ Kentaro Inui ${ }^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN AIP
qin.dai.b8@tohoku.ac.jp benjamin.heinzerling@riken.jp
kentaro.inuidtohoku.ac.jp
}

\begin{abstract}
Bi-encoder architectures for distantly-supervised relation extraction aim to use complementary information from texts and knowledge graphs (KG). However, current architectures suffer drawbacks. They either do not share information between text and KG encoders at all, or, in case of models with KG-to-text attention, only share information in one direction. Here, we introduce cross-stitch bi-encoders, which allow bi-directional information sharing between text and KG encoders via a cross-stitch mechanism. Cross-stitching enables sharing and updating representations between the two encoders, with the degree of sharing controlled by cross-attention gates. Experiments on relation extraction benchmarks show that bi-directional sharing between encoders yields strong improvements. ${ }^{1)}$
\end{abstract
## 1 Introduction

Identifying semantic relations between textual mentions of entities is a key task for information extraction systems. For example, consider the sentence:

(1) Aspirin is widely used for short-term treatment of pain, fever or colds.

Assuming an inventory of relations such as may_treat or founded_by, a relation extraction (RE) system should recognize the predicate in (1) as an instance of a may_treat relation and extract a knowledge graph (KG) triple like (AsPIRIN, may_treat, PAIN). RE systems are commonly trained on data obtained via Distant Supervision (DS) [1]: Given a KG triple, i.e., a pair of entities and a relation, one assumes that all sentences mentioning both

1) Code and data: www.github.com/cl-tohoku/xbe * Equal contribution entities express the relation and collects all such sentences as positive examples. DS allows collecting large amounts of training data, but its assumption is often violated:

(2) Nursing diagnoses acute pain related to aspirin use and variants in the radiotherapy group ...

(3) Elon Musk and SpaceX engineers embark on a historic mission to return NASA astronauts to ...

Sentence (2) and (3) are false positive examples for may_treat and founded_by relation respectively, since they are not about a treatment and founding a company. We refer to false positive examples like (2) and (3) as noisy sentences.

A common approach for dealing with noisy sentences is to use the KG as a complementary source of information. Models taking this approach are typically implemented as bi-encoders, with one encoder for textual input and one encoder for KG input. They are trained to rely more on the text encoder when given informative sentences and more on the KG encoder when faced with noisy ones $[2,3$, 4, 5, 6, 7]. However, current bi-encoder models suffer from drawbacks. Bi-encoders that encode text and KG separately and then concatenate each encoder's output, as illustrated in Figure 1a and proposed by [7], i.a., cannot share information between the text encoder and the KG encoder during encoding. In contrast, Bi-encoders whose text encoder can attend to the KG encoder's hidden states, as illustrated in Figure $1 \mathrm{~b}$ and proposed by [2, 4, 3], i.a., do allow information to flow from the $\mathrm{KG}$ encoder to the text encoder, but not in the opposite direction.

Here, we propose a cross-stitch bi-encoder (XBE, Figure 1c) that addresses both of these drawbacks by enabling information sharing between the text encoder and KG encoder at arbitrary layers in both directions. Concretely, we equip a bi-encoder with a cross-stitch component [8]

(a) Concatenation of encoder representations

(b) Uni-directional attention from KG-encoder to textencoder

(c) Cross-stitch bi-encoder

Figure 1: Illustration of existing and proposed bi-encoder architectures for distantly-supervised relation extraction. Simple concatenation of representations (a) does not allow information sharing between text and KG encoders, while KG-to-text attention (b) only allows sharing in one direction. In contrast, our model (c) allows bi-directional information sharing between encoders during the encoding process.

to enable bi-directional information sharing and employ a gating mechanism based on cross-attention $[9,10]$ to dynamically control the amount of information shared between the text encoder and KG encoder. As we will show, allowing bi-directional information sharing during the encoding process, i.e., at intermediate layers, yields considerable performance improvements on two relation extraction benchmarks covering two different domains and achieves state of the art results on a widely used dataset.(§5.1)

## 2 Task Formulation

Given a corpus of entity-linked sentences and KG triples $\left(e_{1}^{k}, r^{k}, e_{2}^{k}\right)$, distant supervision (DS) yields a bag of sentences $B^{k}=\left.\{s_{1}^{k}, \ldots, s_{n}^{k}\right.\}$ where each sentence $s_{i}^{k}$ mentions both entities in the pair $\left(e_{1}^{k}, e_{2}^{k}\right)$. Given the entity pair $\left(e_{1}^{k}, e_{2}^{k}\right)$ and the sentence bag $B^{k}$, a DS-RE model is trained to predict the $\mathrm{KG}$ relation $r^{k}$.

## 3 Proposed Model

The cross-stitch bi-encoder (XBE) model is designed to enable bidirectional information sharing among its two encoders. As illustrated in Figure 1c, it consists of a text encoder, a KG encoder, and a cross-stitch component controlled by cross-attention. The following subsections describe these components.

## 3.1 Bi-Encoder

To obtain representations of inputs belonging to the two different modalities in DS-RE, we employ a bi-encoder architecture consisting of one encoder for textual inputs

Figure 2: Illustration of the cross-stitch mechanism in combination with cross-attention. See $\S 3.2$ for notation.

and one encoder for KG triples. While the cross-stitch component is agnostic to the type of encoder, we use pretrained Transformer models [10] for both text and KG.

## 3.2 Cross-stitch (X-stitch)

To enable bi-directional information sharing between the two encoders, we employ a cross-stitch ${ }^{2)}$ mechanism based on [8]. The mechanism operates by mixing and updating intermediate representations of the bi-encoder. We dynamically control the amount of mixing via gates based on cross-attention (Figure 2). More formally, our cross-stitch variant operates as follows. Given a sen-
$-stitch in tables and figures.
}
tence $s=\left(t o k_{1}, \ldots, t o k_{N}\right)$ and corresponding KG triple $t=\left(e_{1}, r, e_{2}\right)$, the text encoder generates sentence representations $S_{i} \in \mathbb{R}^{N \times d}$ and the KG encoder triple representations $T_{i} \in \mathbb{R}^{3 \times d}$. We then compute cross-attentions $A$ in two directions, triple-to-sentence $(t 2 s)$ and sentence-totriple $(s 2 t)$, via Equations 1 and 2,

$
\begin{aligned}
& A^{t 2 s}=\operatorname{softmax}_{\text {column }}\left(\left(W_{p}^{t 2 s} \cdot T_{i}\right) \cdot S_{i}\right) \\
& A^{s 2 t}=\operatorname{softmax}_{\mathrm{row}}\left(S_{i} \cdot\left(W_{p}^{s 2 t} \cdot T_{i}\right)^{T}\right)
\end{aligned}
$

where, $W_{p}^{s 2 t} \in \mathbb{R}^{d \times d}$ and $W_{p}^{t 2 s} \in \mathbb{R}^{d \times d}$ denote trainable linear transformations. The triple-to-sentence attention $A^{t 2 s}$ represents the weight of the embedding of each token in triple $t$ that will be used to update the sentence representation $S_{i}$ :

$
T_{i}^{t 2 s}=W_{g 2}^{t 2 s} \cdot \operatorname{Re} L U\left(W_{g 1}^{t 2 s} \cdot\left(A^{t 2 s} \cdot T_{i}^{T}\right)\right)
$

where $W_{g 1}^{t 2 s} \in \mathbb{R}^{d^{\prime} \times d}$ and $W_{g 2}^{t 2 s} \in \mathbb{R}^{d \times d^{\prime}}$ are trainable parameters. Next, a gating mechanism determines the degree to which the original textual representation $S_{i}$ will contribute to the new hidden state of the text encoder:

$
\mathbf{G}_{i}^{t 2 s}=\sigma\left(T_{i}^{t 2 s}\right)
$

where, $\sigma$ denotes the logistic sigmoid function. We then update the hidden state of the text encoder at layer $i$ by interpolating its original hidden state $S_{i}$ with the triple representation $T_{i}^{t 2 s}$ :

$
S_{i}^{\prime}=\mathbf{G}_{i}^{t 2 s} \cdot S_{i}+\lambda_{t} \cdot T_{i}^{t 2 s}
$

Information sharing in the sentence-to-triple direction is performed analogously:

$
\begin{gathered}
S_{i}^{s 2 t}=W_{g 2}^{s 2 t} \cdot \operatorname{Re} L U\left(W_{g 1}^{s 2 t} \cdot\left(\left(A^{s 2 t}\right)^{T} \cdot S_{i}\right)\right) \\
\mathbf{G}_{i}^{s 2 t}=\sigma\left(S_{i}^{s 2 t}\right) \\
T_{i}^{\prime}=\mathbf{G}_{i}^{s 2 t} \cdot T_{i}+\lambda_{s} \cdot S_{i}^{s 2 t}
\end{gathered}
$

where $\lambda_{t}$ and $\lambda_{s}$ are weight hyperparameters. Having devised a general architecture for text-KG bi-encoders, we now turn to implementing this architecture for distantly supervised relation extraction.

## 4 XBE for Relation Extraction

In distantly supervised relation extraction, the automatically collected data consists of a set of sentence bags $\left.\{B^{1}, \ldots, B^{n}\right.\}$ and set of corresponding KG triples $\left.\{\left(e_{1}^{1}, r^{1}, e_{2}^{1}\right), \ldots,\left(e_{1}^{n}, r^{n}, e_{2}^{n}\right)\right.\}$. To create training instances, we mask the relation in the $\mathrm{KG}$ triples $\left.\{\left(e_{1}^{1},[\mathrm{M}], e_{2}^{1}\right), \ldots,\left(e_{1}^{n},[\mathrm{M}], e_{2}^{n}\right)\right.\}$ and provide these masked triples as input to the $\mathrm{KG}$ encoder, while the text encoder receives one sentence from the corresponding sentence bag. If the sentence bag contains $k$ sentences, we pair each sentence with the same KG triple and run the bi-encoder for each pairing, i.e., $k$ times, to obtain a sentence bag representation. During training, the loss of the model is calculated via Equations 9, 10 and 11,

$
\begin{gathered}
L=L_{R E}+w \cdot L_{K G} \\
L_{R E}=-\sum_{k=1}^{n} \sum_{i=1}^{\left|B^{k}\right|} \log P\left(r^{k} \mid\left[\mathbf{s}_{i}^{k} ; \mathbf{r}_{h t} ; x_{e_{1}^{k}} ; x_{e_{2}^{k}}\right]\right) \\
L_{K G}=-\sum_{k=1}^{n} \log g\left(\left(e_{1}^{k},[\mathrm{M}], e_{2}^{k}\right)\right)
\end{gathered}
$

where $w \in(0,1]$ is a weight hyperparameter, $P(x)$ is the predicted probability of the target relation over a set of predefined relations, ; denotes vector concatenation, $\mathbf{r}_{h t}$ is an additional $\mathrm{KG}$ feature vector obtained from a pre-trained KG completion model such as TransE [11], $x_{e^{k}}$ is entity embedding from the $\mathrm{KG}$ encoder, $L_{K G}$ is the loss of $\mathrm{KG}$ relation prediction and $g(x)$ outputs the predicted probability of the masked KG token based on its embedding from the KG encoder. During inference, we follow [7] and use the mean of sentence embeddings as the bag embedding:

$
P\left(r^{k} \mid B^{k}\right)=\left(\sum_{i=1}^{\left|B^{k}\right|} P\left(r^{k} \mid\left[\mathbf{s}_{i}^{k} ; \mathbf{r}_{h t} ; x_{e_{1}^{k}} ; x_{e_{2}^{k}}\right]\right)\right) /\left|B^{k}\right|
$

## 5 Experiments

Please see Appendix ( $\S$ A.1) for details on Data and Settings and (§A.2) on Baseline Models.

## 5.1 Results

The Precision-Recall (PR) curves of each model on Medline21 and NYT10 datasets are shown in Figure 3 and Figure 4, respectively. We make two main observations: (1) Among the compared models, BRE+KA and BRE+CE, are strong baselines because they significantly outperform

Figure 3: PR curves on Medline21.

Figure 4: PR curves on NYT10.

Table 1: P@N and AUC on Medline21 and NYT10 datasets $(\mathrm{k}=1000)$, where †represents that these results are quoted from [12], $\neq$ indicates the results using the pre-trained model, $\star$ indicates the results are obtained by re-running corresponding codes and $*$ indicates using the OpenNRE [13] implementation.

other state-of-the-art models especially when the recall is greater than 0.25 , demonstrating the benefit of combining a pre-trained language model (here: BERT) and a KG for DS-RE. (2) The proposed XBE model outperforms all baselines and achieves the highest precision over the entire recall range on both datasets. Table 1 further presents more detailed results in terms of AUC and $\mathrm{P} @ \mathrm{~N}$, which shows improved performance of XBE in all testing metrics. In particular, XBE achieves a new state-of-the-art on the commonly used NYT10 dataset, indicating that the proposed model can make better use of the combination of KG and text for DS-RE. Please see Appendix for Ablation Study(§A.3).

## 6 Conclusions and Future Work

We proposed a cross-stitch bi-encoder architecture, $\mathrm{XBE}$, to leverage the complementary relation between KG and text for distantly supervised relation extraction. Experimental results on both Medline21 and NYT10 datasets prove the robustness of our model because the proposed model achieves significant and consistent improvement as compared with strong baselines and achieve a new state-ofthe-art result on the widely used NYT10 dataset. Possible future work includes a more thorough investigation of how communication between KG encoder and text encoder influences the performance, as well as a more complex KG encoder that can not only handle relation triples, but arbitrary KG subgraphs, which could have applications in, e.g., multi-hop relation extraction.

## Acknowledgements

This work was supported by JST CREST Grant Number JPMJCR20D2 and JSPS KAKENHI Grant Number 21K17814.

## References

[1] Mike Mintz, Steven Bills, Rion Snow, and Dan Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2-Volume 2, pp. 1003-1011. Association for Computational Linguistics, 2009.

[2] Xu Han, Zhiyuan Liu, and Maosong Sun. Neural knowledge acquisition via mutual attention between knowledge graph and text. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[3] Ningyu Zhang, Shumin Deng, Zhanlin Sun, Guanying Wang, Xi Chen, Wei Zhang, and Huajun Chen. Long-tail relation extraction via knowledge graph embeddings and graph convolution networks. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3016-3025, 2019.

[4] Linmei Hu, Luhao Zhang, Chuan Shi, Liqiang Nie, Weili Guan, and Cheng Yang. Improving distantly-supervised relation extraction with joint label embedding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 38213829, 2019.

[5] Qin Dai, Naoya Inoue, Paul Reisert, Takahashi Ryo, and Kentaro Inui. Incorporating chains of reasoning over knowledge graph for distantly supervised biomedical knowledge acquisition. In Proceedings of the 33nd Pacific Asia Conference on Language, Information and Computation (PACLIC33), pp. 19-28, Hakodate, Japan, 2019. Waseda Institute for the Study of Language and Information.

[6] Qin Dai, Naoya Inoue, Ryo Takahashi, and Kentaro Inui. Two training strategies for improving relation extraction over universal graph. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 3673-3684, 2021.

[7] Zikun Hu, Yixin Cao, Lifu Huang, and Tat-Seng Chua. How knowledge graph and attention help? a qualitative analysis into bag-level relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4662-4671, 2021.

[8] Ishan Misra, Abhinav Shrivastava, Abhinav Gupta, and Martial Hebert. Cross-stitch networks for multi-task learning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3994-4003, 2016.

[9] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio.
Neural machine translation by jointly learning to align and translate. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[11] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in neural information processing systems, pp. 27872795, 2013.

[12] Christoph Alt, Marc Hübner, and Leonhard Hennig. Finetuning pre-trained transformer language models to distantly supervised relation extraction. arXiv preprint arXiv:1906.08646, 2019.

[13] Xu Han, Tianyu Gao, Yuan Yao, Deming Ye, Zhiyuan Liu, and Maosong Sun. OpenNRE: An open and extensible toolkit for neural relation extraction. In Proceedings of EMNLP-IJCNLP: System Demonstrations, pp. 169-174, 2019.

[14] Sebastian Riedel, Limin Yao, and Andrew McCallum. Modeling relations and their mentions without labeled text. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. 148-163. Springer, 2010.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[16] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[17] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 2124-2133, 2016.

[18] Xu Han, Pengfei Yu, Zhiyuan Liu, Maosong Sun, and Peng Li. Hierarchical relation extraction with coarse-tofine grained attention. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2236-2245, 2018.

[19] Shikhar Vashishth, Rishabh Joshi, Sai Suman Prayaga, Chiranjib Bhattacharyya, and Partha Talukdar. Reside: Improving distantly-supervised neural relation extraction using side information. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1257-1266, 2018.

Table 2: Statistics of datasets in this work, where $\mathbf{R}$ and $\mathbf{E P}$ stand for the target Relation and Entity Pair, $\#_{1} / \#_{2}$ represent the number of training and testing data respectively.

Table 3: Hyperparameters used in our proposed XBE model. The experiments (Medline21) are conducted on Nvidia Titan X(Pascal) GPU, and the experiments (NYT10) are conducted on a NVIDIA GeForce GTX 1080 TI GPU.

## A Appendix

## A. 1 Data and Settings

We evaluate our model on the biomedical dataset introduced by [6] (hereafter: Medline21) and the NYT10 dataset [14] Statistics for both datasets are summarized in Table 2. Medline21 dataset contains 582,686 KG triples and NYT10 does 335, 350 triples.

As done by [7], the text encoder ( $\$ 3$ ) for experiments on NYT10 is initialized with the pre-trained weights from the bert-base-uncased variant of BERT [15]. The text encoder for Medline21 is initialized with BioBERT [16] and the KG encoder ( $\$ 3$ ) is pre-trained using each dataset's corresponding KG triples, as mentioned above. Hyperparameters used in our Model are listed in Table 3.

## A. 2 Baseline Models

To demonstrate the effectiveness of the proposed model, we compare to the following baselines. Baselines were selected because they are the closest models in terms of

Table 4: Performance comparison of XBE with different ablated components (non-cumulative) on Medline21 and NYT10 datasets $(\mathrm{k}=1000)$.

integrating $\mathrm{KG}$ with text for DS-RE and/or because they achieve competitive or state-of-the-art performance on the datasets used in our evaluation: JointE [2], which is a joint model for $\mathrm{KG}$ embedding and $\mathrm{RE}$, where the $\mathrm{KG}$ embedding is utilized for attention calculation over a sentence bag, as shown in Figure 1b, RELE [4], which extends the JointE via entity definitions, BRE+KA [7], which is a version of the JointE model that integrates BERT, and BRE+CE [7], which is a BERT and KG embedding based model, where BERT output and the KG triple embedding are concatenated as a feature vector for DS-RE, as shown in Figure 1a.

In addition to the models above, we select the following baselines for further comparison: PCNN+ATT [17], PCNN+HATT [18], RESIDE [19] and DISTRE [12].

## A. 3 Ablation Study

We ablate the three main model components in order to assess the contribution to overall performance. Results are shown in Table 4, where "- X-stitch" is the model without the cross-stitch mechanism, "- KG enc." denotes removing the KG encoder, and "- text enc." removing the text encoder. We observe that performance drops for all ablations, indicating that each component is important for the model when performing DS-RE. While the impact of ablating the text encoder is by far the largest, removing the cross-stitch component or the $\mathrm{KG}$ encoder results in performance that is comparable to the performance of the strongest baseline, BRE+CE, on both datasets. This suggests that these two components, i.e., the KG encoder and the cross-stitch mechanism allowing sharing of information between the text and KG encoder, are what enables our model to improve over BRE+CE.


# 文書レベル関係抽出における根拠認識の統合

Youmi Ma An Wang 岡崎直観
東京工業大学
\{youmi.ma@nlp., an.wang@nlp., okazaki@\}c.titech.ac.jp

## 概要

文書レベル関係抽出（DocRE）は文書中のすべて のエンティティの組の関係を推定するタスクであ る.この関係抽出に必要最小限かつ十分な情報を含 む文の集合を根拠と呼ぶ。根拠は関係抽出の性能を 改善できるが，既存研究では DocRE と根拠認識を 別々のタスクとしてモデル化していた. 本稿では,根拠認識を関係抽出のモデルに統合する手法を提案 する。 さらに，根拠のアノテーションが付与されて いないデータに根拠の疑似的な教師信号を付与し，大量の自動ラベル付けデータを活用する方法を提案 する. 提案手法は DocRED において DocRE と根拠認識の両方で現時点の世界最高性能を達成した ${ }^{11}$.

## 1 はじめに

関係抽出はテキストにおけるエンティティ（実体）の関係を認識するタスクである。関係抽出で は，文内に閉じて関係を認識するタスク設定の 研究が多く $[1,2,3,4,5]$, テキスト中で複数の文 にまたがって表現される関係は対象外となって しまうため，適用範囲が狭いという課題があっ た [6]. これに対して, 複数の文で言及される関係 にも対応したタスク，すなわち文書レベル関係抽出（DocRE: Document-level Relation Extraction）が提案された $[6,7,8]$. DocRE では，複数の文の情報の 取捨選択や統合をしながらエンティティ間の関係を 推定する必要がある $[9,10,11]$.

DocRE において情報の取捨選択に用いられるの が根拠 (evidence) である。根拠は，関係を推定する ために必要最小限かつ十分な情報を含む文の集合 と定義され，DocRE で広く用いられるデータセッ 卜 DocRED [6] でもラベル付けされている. 図 1 の 例では, Prince Edmund と Blackadder における関係 present in work を認識するための必要最小限かつ十
公開している。

 \\

図 1 DocRED [6] のアノテーションの例。斜体は関係を 予測したいエンティティの言及（メンション）であり，下線はその他のエンティティの言及である.

分な情報は文 1 と 2 であるため，この関係の根拠 は文 1 と 2 とラベル付けされる. 既存研究では， DocRE のサブタスクとして根拠認識に取り組み，エ ンティティ組の関係を推定する際に必要な情報の取捨選択を行うことが多かった $[6,9,10,12]$.

既存研究では，DocRE と根拠認識を別々の夕 スクとしてモデル化しているため $[9,10,12]$, 両 タスクの関連性を考慮できない。これに対し，本稿では DocRE と根拠認識のモデルを統合した新手法として，Document-level Relation Extraction with Evidence-guided Attention Mechanism (DREEAM) を提案する．DREEAM では，根拠を単語や文の重要度 に関する情報としてテキストのエンコーダに統合す る. 具体的には，BERT [13] などの事前学習済み言語モデルのエンコーダにおける自己注意機構 [14] へ の教師信号として根拠を導入し，根拠に高い重みを 配分するように誘導しながら DocRE のモデルを学習する。これにより，文書レベル関係抽出から根拠認識モデルを削除し，パラメータ数の削減や推論時 のメモリ使用量の低減も実現できる。

なお，文書レベルの関係アノテーションはコスト が高いため，学習データが不足しがちな状況にあ る. 表 1 に示すように，現時点で最大規模のデー タセットである DocREDでも，人手でラベルが付
表 1 DocRED [6] データセットの統計情報

与された文書は 5,051 件しかない. DocRED では データ不足を緩和するため，関係ラベルを Distant Supervision [15] を用いて自動付与しているが，根拠 ラベルの自動付与は行われていない. 本研究では,提案手法である DREEAM を用いて根拠の疑似的な 教師信号を自動的に付与し, 大量の自動ラベル付与 データを活用する．最終的に，提案手法は DocRED において DocRE と根拠認識の両方で現時点の世界最高性能を達成した。

## 2 予備知識

## 2.1 タスクの定義

DocRE の目的は, 文 $X_{D}=\left.\{x_{i}\right.\}_{i=1}^{\left|x_{D}\right|}$ からなる文書 $D$ における全てのエンティティ $\mathscr{C}_{D}=\left.\{e_{i}\right.\}_{i=1}^{\left|\mathscr{D}_{D}\right|}$ の 組が持つ関係を推定することである。文書 $D$ にお けるエンティティ $e \in \mathscr{E}_{D}$ の言及（メンション）を $M_{e}=\left.\{m_{i}\right.\}_{i=1}^{\left|\cdot M_{e}\right|}$ とし, エンティティの組 $\left(e_{s}, e_{o}\right)$ が持 つ全ての関係から成る集合を $\mathscr{R}_{s, o} \subseteq \mathscr{R}$ とする. た だし， $\mathscr{R}$ は関係ラベルの集合である. $\left(e_{s}, e_{o}\right)$ の間 に関係 $r \in \mathscr{R}$ が存在する場合, $\left(e_{s}, r, e_{o}\right)$ に関する根拠を $\mathscr{V}_{s, r, o} \subseteq X_{D}$ で表す. 根拠認識の目的は，全て の関係抽出における根拠を認識すること，すなわち $\left(e_{s}, r, e_{o}, \mathscr{V}_{s, r, o}\right)$ を得ることである.

## 2.2 ベースモデル: ATLOP

提案手法のベースとなる手法 ATLOP [16] を説明する。まず，各エンティティの言及の冒頭と 末尾に特殊トークン「*」を挿入したトークン列 $\mathscr{T}_{D}=\left.\{t_{i}\right.\}_{i=1}^{\left|\mathcal{F}_{D}\right|}$ を BERT [13] などを用いてエンコード する. エンコーダの出力から，トークンの分散表現 $\boldsymbol{H} \in \mathbb{R}^{\left|\mathcal{T}_{D}\right| \times d}$ と自己注意機構の重み ${ }^{2)} \boldsymbol{A} \in \mathbb{R}^{\left|\mathcal{I}_{D}\right| \times\left|\mathscr{I}_{D}\right|}$ を記録し，前者をトークン埋め込み，後者をトーク ン間の依存度と呼ぶ（ $d$ はエンコーダの隠れ層の次元数である).

次に，エンティティ埋め迄みを計算する。言及

2）マルチヘッド自己注意の全ヘッドの平均として計算する. $M_{e}=\left.\{m_{i}\right.\}_{i=1}^{\left|M_{e}\right|}$ を持つエンティティ $e$ に対して，埋め 込み $\boldsymbol{h}_{e} \in \mathbb{R}^{d}$ を $\boldsymbol{h}_{e}=\log \sum_{i=1}^{\left|. M{ }_{e}\right|} \exp \left(\boldsymbol{h}_{m_{i}}\right)$ と計算する. ただし， $\boldsymbol{h}_{m_{i}} \in \mathbb{R}^{d}$ は言及 $m_{i}$ の開始位置に挿入した 特殊トークン「*」の埋め込みである。これにより， エンティティ $e_{s}, e_{o}$ の埋め込み $\boldsymbol{h}_{s}, \boldsymbol{h}_{o} \in \mathbb{R}^{d}$ を得る.

さらに，エンティティの組 $\left(e_{s}, e_{o}\right)$ に対する局所文脈埋め迄みを計算する。局所文脈埋め込みは文書 $D$ における全トークンの埋め込みの重み付き和であ り, 重みは $e_{s}, e_{o}$ 両方に対する重要度を反映する. トークンの重要度は，トークン間の依存度 $\boldsymbol{A}$ の強 さとする。具体的には，エンティティ $e_{s}$ の各言及 $m_{i} \in M_{e_{s}}$ と他のトークンの依存度から $\boldsymbol{a}_{s} \in \mathbb{R}^{\left|\mathcal{I}_{D}\right|}$ を 求める. ここで $\boldsymbol{a}_{s}$ は全ての $\boldsymbol{a}_{m_{i}} \in \mathbb{R}^{\left|\mathscr{T}_{D}\right|}$ の平均であ り， $\boldsymbol{a}_{m_{i}}$ は $m_{i}$ の冒頭にある「*」に対応する $\boldsymbol{A}$ のス ライスである. 同様に $\boldsymbol{a}_{o} \in \mathbb{R}^{\left|\mathcal{T}_{D}\right|}$ を求め, $\left(e_{s}, e_{o}\right)$ に 対する各トークンの重要度 $\boldsymbol{q}^{(s, o)} \in \mathbb{R}^{\left|\mathfrak{T}_{D}\right|}$ および局所文脈埋め込み $\boldsymbol{c}^{(s, o)} \in \mathbb{R}^{d}$ を, 式 1 と 2 で求める.

$
\begin{aligned}
& \boldsymbol{q}^{(s, o)}=\frac{\boldsymbol{a}_{s} \circ \boldsymbol{a}_{o}}{\boldsymbol{a}_{s}^{\top} \boldsymbol{a}_{o}} \\
& \boldsymbol{c}^{(s, o)}=\boldsymbol{H}^{\top} \boldsymbol{q}^{(s, o)}
\end{aligned}
$

ただし。は要素ごとの積である. 局所文脈埋め込み は重要度の高い箇所に注目した分散表現であること から，異なる文の情報を効果的に統合できる。

最後に， $\left(e_{s}, e_{o}\right)$ の関係分類を行う. 関係分類器 の入力はエンティティ埋め込みと局所埋め込みを統合した分散表現で, $\boldsymbol{z}_{s}=\tanh \left(\boldsymbol{W}_{s}\left[\boldsymbol{h}_{s} ; \boldsymbol{c}^{(s, o)}\right]+\boldsymbol{b}_{s}\right) \in$ $\mathbb{R}^{d}$ と計算する. ここで $[\cdot ; \cdot]$ はべクトルの連結, $\boldsymbol{W}_{s} \in \mathbb{R}^{d \times 2 d}, \boldsymbol{b}_{s} \in \mathbb{R}^{d}$ はパラメータである. $z_{o} \in \mathbb{R}^{d}$ も同様に計算し, 全関係ラベルのスコア を $\boldsymbol{y}^{(s, o)}=\boldsymbol{z}_{s}^{\top} \mathrm{W}_{r} z_{o}+\boldsymbol{b}_{r} \in \mathbb{R}^{|\mathscr{R}|}$ で計算する. ただし $\mathrm{W}_{r} \in \mathbb{R}^{|\mathscr{R}| \times d \times d}, \boldsymbol{b}_{r} \in \mathbb{R}^{|\mathscr{R}|}$ はパラメータである. エ ンティティ $e_{s}, e_{o}$ の間の関係 $r \in \mathscr{R}$ の確率推定は $P(r \mid s, o)=\operatorname{sigmoid}\left(y_{r}^{(s, o)}\right)$ として計算される.

ATLOP の学習は適応間値損失 (ATL: Adaptive Threshold Loss）に基づく.すなわち，間值に対応す る仮想的な関係ラベル TH を導入し，エンティティ 組 $\left(e_{s}, e_{o}\right)$ に存在する関係ラベルのスコアは THより 高く, 存在しない関係ラベルのスコアは TH より低 くなるようにモデルを学習する。

## 3 提案手法

ATLOP では関係推定に重要なトークンに注目し て情報を統合するため，局所文脈埋め込みを採用 し, BERT の自己注意機構がエンティティ組 $\left(e_{s}, e_{o}\right)$ に対するトークンの重要度 $\boldsymbol{q}^{(s, o)}$ を暗黙的に学習で

図 2 DREEAM の概要

きると仮定した. 本研究では，根拠を用いて $\boldsymbol{q}^{(s, o)}$ の教師信号を与えることを提案し，根拠認識の関係抽出モデルへの統合，および関係抽出の性能向上を 目指す (§3.1). さらに根拠の教師信号を自動で付与し，データ不足の緩和を目指す（§3.2）.

## 3.1 DREEAM

提案手法である DREEAM の概要を図 2 に示す.自己注意機構から計算されるトークン重要度と根拠 から計算される分布が近づくように誘導し, 根拠に 基づいた局所文脈埋め込みが得られると期待する。

根拠分布の算出 あるエンティティ組 $\left(e_{s}, e_{o}\right)$ が持つ関係 $r \in \mathscr{R}_{s, o}$ 毎に, 根拠べクトル $\boldsymbol{v}^{(s, r, o)} \in$

り, 文 $x_{i} \in X_{D}$ が関係 $\left(e_{s}, r, e_{o}\right)$ の根拠である時に $v_{i}^{(s, r, o)}=1$ とする. さらに, 全ての関係 $\forall r \in \mathscr{R}_{s, o}$ に おける根拠べクトル $\boldsymbol{v}^{(s, r, o)}$ から, 関係ラベルに依存しない根拠の分布 $\boldsymbol{v}^{(s, o)}$ を次式で求める.

$
\boldsymbol{v}^{(s, o)}=\frac{\sum_{r \in \mathscr{R}_{s, o}} \boldsymbol{v}^{(s, r, o)}}{\sum_{r \in \mathscr{R}_{s, o}} \mathbf{1}^{\top} \boldsymbol{v}^{(s, r, o)}}
$

ティ組 $\left(e_{s}, e_{o}\right)$ に関する文の重要度を全関係ラベル 共通に根拠のアノテーションから求めている.

根拠分布を用いた学習 自己注意機構によるトー クン重要度 $\boldsymbol{q}^{(s, o)}$ を文の重要度 $\boldsymbol{p}^{(s, o)} \in \mathbb{R}^{\left|X_{D}\right|}$ に変換する。トークン列 $t_{\mathrm{START}\left(x_{i}\right)}, \ldots, t_{\mathrm{END}\left(x_{i}\right)}$ からなる 文 $x_{i} \in X_{D}$ に対し, その重要度を和

$
p_{i}^{(s, o)}=\sum_{j=\operatorname{START}\left(x_{i}\right)}^{\operatorname{END}\left(x_{i}\right)} q_{j}^{(s, o)}
$

として計算する. ただし $p_{i}^{(s, o)}$ は $\boldsymbol{p}^{(s, o)}$ の $\mathrm{i}$ 番目の 要素の值である。そして，根拠アノテーションから 得られる文の重要度 $\boldsymbol{v}^{(s, o)}$ を教師信号とし，自己注意機構から計算される文の重要度 $\boldsymbol{v}^{(s, o)}$ が近くなる ように，カルバック・ライブラー距離（ $\left.D_{\mathrm{KL}}\right)$ によ

図 3 DREEAM による自動ラベル付けデータの活用方法

る損失関数を導入する（式 5 ）.

$
\mathscr{L}_{\mathrm{ER}}=-D_{\mathrm{KL}}\left(\boldsymbol{v}^{(s, o)} \| \boldsymbol{p}^{(s, o)}\right)
$

モデルのパラメータ推定に用いる損失関数として，根拠抽出の損失関数と式 5 の和を採用することで，関係抽出と根拠認識を同時に学習する。

推論 関係抽出では ATLOP と同様に，適応的間値を採用する．各エンティティ組 $\left(e_{s}, e_{o}\right)$ の関係ラ ベルのスコアを計算し，仮想的な閾値ラベル TH よ り高いスコアを持つラベルを関係として出力する。根拠認識では静的な閾値（付録 A 参照）を採用し， $\boldsymbol{p}^{(s, o)}$ が閾値より高い文を根拠として出力する.

## 3.2 根拠の教師信号の自動付与

DREEAM ではエンコーダの自己注意機構から計算されるトークン重要度に基づいてエンティティ組 の関係の予測に役立つ箇所（根拠）を推定できる. ところで，1節で述べたように，DocRED には人手で 付与された少量のデータの他に，Distant Supervision で関係ラベルを自動付与した大量のデータがある が，根拠のラベルが付与されていない. そこで， DREEAM から推定される根拠の応用として, DocRE の根拠の教師信号の自動付与を行い，大量の自動ラ ベル付けデータを活用する方法を提案する。

その概要を図 3 に示す. Tan ら [17] に倣い，教師 と学生の二つのモデルを学習する. 教師モデルの役割は，根拠の正解ラベル付けデータから根拠認識に 関する知識を獲得し，根拠のラベルが無いデータに 根拠の疑似的な教師信号を自動付与することであ る.これは，図 3 のステップ 1 と 2 で実現される.学生モデルは，手動および自動で付与された根拠の ラベル付けデータから DocRE と根拠認識のモデル を学習する（図 3 のステップ 3 と 4 ).

疑似根拠分布を用いた学習 根拠の正解ラベルで 学習した教師モデルを用い，まだ根拠のラベル付 けがされていないデータにおけるエンティティ組
$\left(e_{s}, e_{o}\right)$ のトークンの重要度 $\hat{\boldsymbol{q}}^{(s, o)}$ を予測・記録し，根拠の疑似的な教師信号とする。学生モデルのトー クン重要度 $\boldsymbol{q}^{(s, o)}$ を疑似的な根拠 $\hat{\boldsymbol{q}}^{(s, o)}$ に近づける ことで，根拠抽出を学習する（式 6).

$
\mathscr{L}_{\mathrm{ER}}=-D_{\mathrm{KL}}\left(\hat{\boldsymbol{q}}^{(s, o)} \| \boldsymbol{q}^{(s, o)}\right)
$

## 4 実験と考察

## 4.1 実験結果

DREEAM を DocRED [6] で評価した結果を表 2 に 示す. 実験設定の詳細は付録 $\mathrm{A}$ に示す.

## 人手のラベル付けデータだけでモデルを学習する

場合 DREEAM は EIDER [10] に匹敵する性能を示 した. DREEAM と SAIS [12] の間では性能の差があ るが，これはマルチタスク学習によるものと考えら れる3)。なお，DREEAM は根拠認識を DocRE のエ ンコーダに統合したため, 根拠認識モデルが不要と なり，学習・予測時のメモリ使用量を大幅に削減で きた（詳細な結果は付録 $\mathrm{B}$ を参照されたい）.

## 人手に加えて自動でラベル付けしたデータも用 いてモデルを学習する場合 提案手法 (DREEAM*) は関係抽出において SSAN* [18] や KD-DocRE* [17] の性能を上回り，このデータセットにおける最高性能を達成した. これらの既存研究も自動でラベル付 けした訓練データを用いているため，提案手法の優位性が示唆される。また，根拠認識においても，提案手法は既存手法の最高性能モデル SAIS [12]を大 きく上回った.これにより，提案した根拠の教師信号の自動付与手法が DocRE と根拠認識の両方で有効であることが示された.

## 4.2 分析

本研究の提案事項の貢献度合いを調べるため，ア ブレーション実験を行った結果を表 3 亿示す4).

教師モデル 教師モデルを学習する際に根拠認識 の学習（式 5）を無効化し，性能に与える影響を調 べた. 表 3 の通り，関係抽出と根拠認識の両方にお いて性能の低下が見られる。㳊に，DocREのエン コーダの自己注意機構を根拠で誘導することは，関係抽出にも有益であることが示唆される。

3） SAIS は DocRE と根拠認識以外にも, 共参照解析等の多夕 スクでモデルを学習し，豊富な教師信号を活用している。

4）表 2 の DREEAM* と表 3 (b) の DREEAM は同じ実験設定で あるが，表 2 の実験では RoBERTalarge [19]を，表 3 の実験で は $\mathrm{BERT}_{\text {base }}[13]$ をエンコーダとして用いているため，性能 に差が現れる。表 2 DocREDでの関係抽出と根拠認識の性能. *が付い $\frac{\text { ている行は自動でラベル付けしたデータを学習に用いた. }}{\text { 検証データ }}$

表 3 DocRED の検証データでのアブレーション実験

学生モデル 疑似的な教師信号による根拠認識の 学習 (式 6), および手動でラベル付けしたデータに よる根拠認識の学習（式 5）の片方および両方を無効化し，タスクの性能に与える影響を調べる。表 3 から，疑似根拠による根拠認識の学習を無効化する と，DocRE と根拠認識ともに性能が低下することが 分かる。一方，人手でラベル付けした根拠データに よる根拠認識の学習を無効にしても，性能への影響 は限定的であった。これにより，根拠認識に関する 知識が教師モデルから学生モデルに期待通り引き継 がれていることが示唆される.

## 5 おわりに

本稿では，文書レベル関係抽出において根拠を活用する手法を提案した. 関係抽出器のエンコーダの 自己注意機構において，関係予測の根拠に高い重み を配分するように誘導する DREEAM を提案した。続いて，DocREにおけるデータ不足問題を緩和する ため，根拠ラベルの持たないデータを活用する手法 を提案した. DocRED データセットで評価したとこ ろ，提案手法は関係抽出および根拠認識の両方の夕 スクで現時点での世界最高性能を達成した。

今後は，根拠認識による関係抽出の説明可能性の 検討や，長い文書において情報の統合や取捨選択を 要する他タスクへの DREEAM の適用，日本語の文書レベル関係抽出の研究に取り組みたい。

## 謝辞

この成果は、国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです。

## 参考文献

[1] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program - tasks, data, and evaluation. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[2] Xu Han, Hao Zhu, Pengfei Yu, Ziyun Wang, Yuan Yao, Zhiyuan Liu, and Maosong Sun. FewRel: A large-scale supervised fewshot relation classification dataset with state-of-the-art evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4803-4809, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[4] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5] Christoph Alt, Aleksandra Gabryszak, and Leonhard Hennig. TACRED revisited: A thorough evaluation of the TACRED relation extraction task. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 15581569, Online, July 2020. Association for Computational Linguistics.

[6] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Jiao Li, Yueping Sun, Robin J. Johnson, Daniela Sciaky, ChihHsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J. Mattingly, Thomas C. Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, , 05 2016. baw068.

[8] Patrick Verga, Emma Strubell, and Andrew McCallum. Simultaneously self-attending to all mentions for full-abstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872-884, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[9] Quzhe Huang, Shengqi Zhu, Yansong Feng, Yuan Ye, Yuxuan Lai, and Dongyan Zhao. Three sentences are all you need: Local path enhanced document relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on
Natural Language Processing (Volume 2: Short Papers), pp. 998-1004, Online, August 2021. Association for Computational Linguistics.

[10] Yiqing Xie, Jiaming Shen, Sha Li, Yuning Mao, and Jiawei Han. Eider: Empowering document-level relation extraction with efficient evidence extraction and inference-stage fusion. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 257-268, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Wang Xu, Kehai Chen, Lili Mou, and Tiejun Zhao. Documentlevel relation extraction with sentences importance estimation and focusing. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2920-2929, Seattle, United States, July 2022. Association for Computational Linguistics.

[12] Yuxin Xiao, Zecheng Zhang, Yuning Mao, Carl Yang, and Jiawei Han. SAIS: Supervising and augmenting intermediate steps for document-level relation extraction. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2395-2409, Seattle, United States, July 2022. Association for Computational Linguistics.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[15] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[16] Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling. In Proceedings of the AAAI Conference on Artificial Intelligence, 2021.

[17] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou Ng. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1672-1681, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[18] Benfeng Xu, Quan Wang, Yajuan Lyu, Yong Zhu, and Zhendong Mao. Entity structure within and throughout: Modeling mention dependencies for document-level relation extraction. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 16, pp. 14149-14157, May 2021.

[19] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro\{bert\}a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019 .

## A 実験設定

4 節の実験設定を説明する. DREEAM は ATLOP [16] をべースとしているが，トークン埋め込み $\boldsymbol{H}$ とトークン間依存度 $\boldsymbol{A}$ の計算方法が異なる. 2.2 節で述べたように, ATLOP はエンコーダの出力層 のみから $\boldsymbol{H}$ と $\boldsymbol{A}$ を計算するのに対し, DREEAM は エンコーダの上部 3 層の平均で $\boldsymbol{H}$ と $\boldsymbol{A}$ を求める.

モデルの学習 根拠認識が DocRE のモデルに与 える影響を調整するため，損失関数 $\mathscr{L}_{\mathrm{ER}}$ に係数を かけてから関係抽出の損失との和を計算し, 全体の 損失関数とした。具体的には，BERT base を用いたモ デルでは係数を $0.1, \mathrm{RoBERTa}_{\text {large }}$ を用いたモデルで は係数を 0.05 とした. なお，パラメータの更新に は Adam [20]を採用した。その他のハイパー・パラ メータの値を表 4 に示す.

モデルによる関係抽出と根拠認識 関係抽出で は，各エンティティの組 $\left(e_{s}, e_{o}\right)$ における間値ラべ ル THより高い関係ラベルを予測結果とする．根拠認識では, 重要度 $p_{i}^{(s, o)}$ が 0.2 より高い文を予測とする。 さらに，根拠認識の結果を活用するた め, 予測融合を行う [10]. 具体的には, 予測結果 $\left(e_{s}, r, e_{o}, \mathscr{V}_{s, r, o}\right)$ 毎に，根拠 $\mathscr{V}_{s, r, o}$ のみからなる部分文書 $\hat{D}_{s, r, o}$ を構成し, 関係抽出を行う. 最終的な関係抽出結果は, 元文書 $D$ と全ての部分文書におけ る予測から算出する。詳細な説明は原著論文 [10]を 参照されたい。評価指標は DocRED に従い，関係抽出と根拠認識の F1 スコアとする。本稿では，検証・評価データから訓練データとの重複を取り除いたう えで，F1 スコアを計測している [6]. なお，全ての スコアは，5つの異なるランダムシードを用いてモ デルを初期化し，学習した結果の平均である.

## B パラメータ数及びメモリ使用量

従来研究では，根拠認識に特化したモデルを設計 し, DocRE とは別に根拠認識器を適用することが 多い。このとき，各文がエンティティ組の関係判断 の根拠となる確率を計算するため，全ての文とエ ンティティ組を列挙しなければならない. 例えば EIDER [10] では, 文 $x_{i}$ がエンティティの組 $\left(e_{s}, e_{o}\right)$ の関係予測の根拠である確率を式 7 で求める.

$
\mathrm{P}\left(x_{i} \mid e_{s}, e_{o}\right)=\operatorname{sigmoid}\left(\boldsymbol{x}_{i}^{\top} \boldsymbol{W} \boldsymbol{c}^{(s, o)}+b\right),
$

ただし $\boldsymbol{x}_{i} \in \mathbb{R}^{d}$ はトークン埋め込みから得た文 $x_{i}$ の 埋め込み, $\boldsymbol{c}^{(s, o)} \in \mathbb{R}^{d}$ は $\left(e_{s}, e_{o}\right)$ における局所文脈埋表 4 実験に用いたハイパー・パラメータ

(教師) (学生) （学生）

表 5 パラメータ数及び推論時のメモリ使用量

 &  \\

ATLOP [16] & & \\
SSAN [18] & 115.4 & 10.8 \\
KD-DocRE [17] & 113.5 & 6.9 \\
根拠認識の学習あり & 200.1 & 15.2 \\
EIDER [10] & & \\
SAIS [12] & 120.2 & 43.1 \\
DREEAM & 118.0 & 46.2 \\

め込みであり， $\boldsymbol{W} \in \mathbb{R}^{d \times d}$ と $b \in \mathbb{R}$ はパラメータであ る. 例えば $n$ 個の文からなる文書に $m$ 個のエンティ ティがあるとすると，式 7 の演算を $n \times m \times(m-1)$回行うため, 特に $n$ や $m$ が大きい場合は, 膨大なメ モリを消費する。

一方，DREEAM は根拠認識をエンティティの組 のエンコーダに組み込み，根拠はエンコーダから 計算した文の重要度を用いて直接推定できるため,根拠認識器を外部に用意する必要がない。 よって,式 7 による確率の計算が不要となり，パラメータ $\boldsymbol{W}$ と $b$ を導入せずに済む。

DREEAM と既存手法のパラメータ数およびメモ

揃えた．DREEAMを根拠認識モデルの学習を行う 既存手法と比較すると，モデルのパラメータ数は既存研究よりも低く抑えられることが確認できる。ま た，推論時のメモリ使用量に関しては，DREEAM は EIDER [10] の 27.4\%, SAIS の 25.5\%まで抑えるこ とが可能で，既存手法に対して大きなアドバン テージとなる。なお，根拠認識モデルを学習しない KD-DocRE [17] と比較しても，DREEAM のパラメー 夕数およびメモリ使用量は少ないことが分かる．以上のことから，DREEAM は既存手法よりも少ない パラメータ数およびメモリ使用量で，既存手法の同等以上の性能を達成できることが分かる.


# NTCIR-17 QA Lab-Polilnfo-4 のタスク設計

小川泰弘 ${ }^{1}$ 木村泰知 2,3 渋木 英潔 4 乙武北斗 5 内田ゆず 6
高丸圭一 ${ }^{7}$ 門脇一真 8 秋葉友良 9 佐々木稔 10 小林暁雄 11

\begin{abstract}
1 名古屋大学 2 小樽商科大学 3 理化学研究所 ${ }^{4}$ BESNA 研究所 9 豊橋技術科学大学 10 茨城大学 11 農業・食品産業技術総合研究機構 ${ }^{1}$ yasuhiro@is.nagoya-u.ac.jp $\quad{ }^{2}$ kimura@res.otaru-uc.ac.jp
\end{abstract}
5 福岡大学 6 北海学園大学 7 宇都宮共和大学 8 株式会社日本総合研究所

## 概要

我々は，QA や自動要約などの自然言語処理の アプローチにより政治情報の信憑性の問題を解決 するためのシェアードタスクである NTCIR-17 QA Lab-PoliInfo-4（以下，PoliInfo-4）を開催している. PoliInfo-4 では，議会会議録などを対象として四つ のタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking を設計した。本稿では，本タスクの概要について述 べる.

## 1 はじめに

近年，政治に関するフェイクニュースが社会的な 問題になっている. 特に 2016 年のアメリカ大統領選挙においては，信憑性の低い情報がソーシャルメ ディアを介して拡散され，選挙の結果に影響を与え たと言われている. 現在において，そうした情報が 民意の形成に偏りを生じさせることが懸念されてい る.また，政治家の発言自体も信憑性や根拠が曖昧 な場合が多く，近年，政治家の発言に対するファク トチェック $[1,2,3]$ の必要性も高まっている.

そこで我々は，自然言語処理技術を用いて政治に 関するフェイクニュースの検出やファクトチェック に関する問題を解決することを目指している.

近年, EuroParl Corpus [4] や UK Hansard corpus ${ }^{1)}$ な どが，政治に関わる自然言語処理研究のための言語資源として利用されている $[5,6,7,8]$. しかしなが ら現在のところ, 日本語を対象とした研究データが 少ないことに加えて, 議会における議員の発言を対象とした研究や，議会における政策形成のための議論を対象とした研究は進んでいない.

1) https://www.english-corpora.org/hansard/例えば，ソーシャルメディアで拡散されるテキス トと政治家の実際の発言が同一であるか検証する フェイクニュース検出技術や，政治家の発言に適切 な根拠があるかを検証するファクトチェックを実現 するためには，議会における議員の発言から必要な 箇所を抜き出して要約したり，発言文字列と外部の 言語資源とを関連付ける機構が必要不可欠である. そこで，我々は地方政治に関わる言語資源として地方議会会議録コーパスの整備に取り組んできた [9]. さらに，そうして収集・整備した議会会議録コーパ スを活用して，議論の要約や，発言内容と根拠とな る一次情報との結びつけ，発言者の態度（賛否）と いった研究を進めるために，評価型ワークショップ NTCIR においてシェアードタスクQA Lab-PoliInfo を行っている． 2018 年から 2019 年前半にかけて実施された NTCIR-14 QA Lab-PoliInfo [10, 11] において は, Segmentation, Summarization, Classification の三 つのタスクを実施した。その後，NTCIR-15におい て QA Lab-PoliInfo-2 [12] を，NTCIR-16 においてQA Lab-PoliInfo-3 [13] を実施し，現在は NTCIR-17 にお いて，QA Lab-PoliInfo-4 を実施している。 それらで 実施されたタスク間の関係を図 1 に示す.

PoliInfo-4では, 四つのタスク, Question Answering-

図 1 QA Lab-PoliInfo におけるタスクの推移

図 2 QA Lab-PoliInfo-4 の各タスクの関係

2, Answer Verification, Stance Classification-2, Minutesto-Budget Linking を設計した. 図 2 に各タスク間の 関係を示す。本稿では，以下の各節において，それ ぞれのタスクの概要について述べていく。

## 2 Question Answering-2

Question Answering-2 タスク（以下 QA）は NTCIR16 QA Lab-PoliInfo-3 における Question Answering タ スクと同じタスクであり，議会会議録に対する質問 に簡潔な回答を返すことを目的とする.

議会における質問と答弁は会議録として記録さ れ，ウェブ上で公開されている。今回は東京都都議会本会議の会議録を対象とする。

通常の質問応答においては，一問一答，すなわち 質問を 1 件したらそれに対する答弁があり，引き続 き次の質問をする形式が想定される. しかし，都議会本会議においては，一括質問一括答弁という形式 がとられている. これは最初に質問者が複数の質問 をまとめてした後に，答弁者がまとめて答弁すると いう形式である. また，その場合に複数の担当者が 答弁することもあり，質問の順番と答弁の順番が一致しないことが多い. また，質問の背景や答弁の根拠など述べられているため，質問や答弁自体も長 い. そのため，会議録中からユーザが求める質問の 回答を探すのは容易ではない.

東京都議会が発行する『都議会だより』において は，そうした質問と答弁の要約が対応付けられた形
で掲載されており，都民への分かりやすい情報提供 に努めている。『都議会だより』は，議会事務局の 職員が作成していることから，人手による「正解の 要約」とみなすことができる．しかし，『都議会だ より』に掲載されるのは質問の一部にすぎない.

そこで本タスクでは，簡潔な質問を入力した場合，それに対する答弁の要約を返すシステムの構築 を目指す. 具体的には，まずシステムにはあらかじ め都議会会議録のデータが与えられている. そこ に，『都議会だより』に掲載された質問の要約を入力とする．その際には，質問の発言者やそれに対す る答弁者などの情報も与える．それを元に，システ ムは会議録中から質問の答弁となる箇所を発見し， それを要約したものを返す。評価においては，『都議会だより』に掲載された答弁の要約をゴールド データとして ROUGE の值を計算するとともに，人手による判定も実施する.

このタスクは Watson [14] などの質問応答システ ムとは以下の 2 点で異なる. 1 点目は，回答を探索 する際に外部知識にアクセスする必要はなく，あく まで会議録における答弁が正解である点が異なる。 そのため，会議が異なれば同じ質問に対して異なる 答弁が正解となる可能性もある.

2 点目は，特殊なノンファクトイド型の質問応答 になる点である。議会では質問の形式をした要望も 多くあり，その場合の答弁も，その要望をどう応え るかという内容になっている。

 &  \\

要約元の選定失敗

 \\

図3QAにおける誤り例

## 3 Answer Verification

前節で述べた QA の結果は完璧ではない，前回の PoliInfo-3 においては，四つの観点による人手評価の 結果， 800 点満点で 499 点 $(62 \%)$ が最高であった.図 3 に誤りの例を示す. なお，ゴールドデータであ る『都議会だより』を同様に人手で評価した場合が 598 点 $(75 \%)$ であり, 10 ポイント以上の差がある.本研究の目的はフェイクニュースへの対抗であ るが，現状では $\mathrm{QA}$ の出力結果が新たなフェイク ニュースを生み出す原因となっている. そこで我々 は，QA の出力がファクトかフェイクかを判定する Answer Verification タスク（以下，AV）を設計した. $\mathrm{AV}$ においては，与えられた質問と答弁のペアが 会議録の内容に合致しているか否かを判定するが， ここで問題となるのは学習データである. 正例とな るデータは，『都議会だより』の質問・答弁の要約 を利用することが可能である。一方，負例について は, PoliInfo-3の人手評価の結果, 不適切と判定され たものが利用可能である. PoliInfo-3 の QA のフォー マルランでは, 100 個の入力に対してそれぞれ 5 個 のシステムの出力結果を 4 人で評価した. 合計 500 個のうち，半数以上の評価者が不適切と判定したも のは 154 個にすぎない. そのため, 学習データとし て用いる負例の数が不足している.

この問題に対処するため，AVを二つのステージ に分割する。一つは，正例・負例のラベル付きデー タを作成する Fake-Answer Generation であり，もう 一つは, 質問・答弁のぺアの適切性を判定する分類器を構築する Fact-Checking Classification である.

## 3.1 Fake-Answer Generation

Fake-Answer Generation においては，『都議会だよ り』中の質問の要約と会議録を利用し，以下のいず れかの答弁を作成する。

1. 本当はフェイクだが，分類器がファクトと判定

2. 本当はファクトだが, 分類器がフェイクと判定

3. 本当はファクトで，分類器がファクトと判定

4. 本当はフェイクで, 分類器がフェイクと判定

もともとの動機は，1.や2.のような負例の不足で あったが，3.と4.のような正例も作成する.

作成方法は自動でも人手でも構わない. 自動的に 作成する場合, QA のシステム出力を人手で判定す る方法が考えられる。また，一部の単語を別の単語 に置換するルールなどを適用することも考えられ る. 図 3 の上部の例のように, 前回の QA では数値 に関して誤っているものがあった. 数値の誤りは フェイクになりうるため，数値を自動的に置換する ルールにより，負例を作成することが可能である. そうした誤りはニューラルモデルに基づくシステム ではしばしば出現する。また，会議録では「今年度」 となっているが『都議会だより』では「 2 年度」と なっている例があり, 正誤の判定は容易ではない.

また，人手で作成する場合は，多くの参加者を募 るために，ゲーミフィケーションを利用した手法も 考えている [15]. その際には, 参加者の敵役となる 分類器を準備し, その分類器を騙せるかどうかをリ アルタイムで試しながら答弁を作成する枠組も用意 する．後述するように，参加者が敵役を騙せるよう な答弁をある程度作成・投稿した段階で，それを元 に学習し直した分類器を新たな敵役として交代させ ることにより，参加者が継続して答弁を作成するよ うに動機付けを行う。

## 3.2 Fact-Checking Classification

Fact-Checking Classification では，参加者は答弁が ファクトかフェイクかを判定する分類器を構築す る.この判定は，会議録の内容から答弁を導くこと が可能か，という見方もできるため, 自然言語推論 の一種ともいえる.

学習データはタスクオーガナイザから提供する. その際に, Fake-Answer Generation で作成されたデー タも提供する．実際の運用においては，PoliInfo-4 の 実施期間中に何回かのサイクルを用意し，あるサイ

クルの Fake-Answer Generation で作成されたデータ を, 次のサイクルの Fact-Checking Classification の学習用に利用できるようにする．同様に，あるサイク ルの Fact-Checking Classification で作成された分類モ デルを，次のサイクルでの敵役として利用すること も計画している.

## 4 Stance Classification-2

政治家の発言の信憑性を判断するためには，政治家がどのような立場で発言しているのかを知ること が必要である．そのためには，複数の議案に対する 賛成・反対を総合して判断する必要がある. Stance Classification タスク（以下，SC）は，政治家の発言 を元に，議案に賛成か反対かを判定するタスクで ある.

同様のタスクは，PoliInfo-2 でも実施した。その 際には，議案・会議録・議員の所属政党の情報を与 えた。しかし，実際の会議録を見ると，「議案第○ 号 $\times \times \times$ について、賛成の立場で討論いたします。」 といった賛否を表明する発言が冒頭にあることが多 く，この賛否表明を発見するだけで高い精度が得ら れてしまった。

そこで今回の SC-2 では，そうした賛否表明中の 「賛成」もしくは「反対」の部分をマスクした発言 を入力とし，その状態で賛否を判定するタスクとし

一括質問一括答弁形式ではない会議録を対象とす る.そのため, 東京都議会以外の様々な地方自治体 の会議録を収集し，そちらから出題する。

## 5 Minutes-to-Budget Linking

予算編成は，どのような施策をどの程度重視す るかを具体的に表すものといえ，議会での議論お いて重要な位置を占める. PoliInfo-3 においては, Budget Argument Mining として, 議会の会議録と予算を結び付けるタスクを実施した．今回実施する Minutes-to-Budget Linking タスク（以下 MBLink）は， Budget Argument Mining の後継となるタスクである.具体的には，会議録と予算表が与えられたとき，会議録のテキストと予算表の項目を結び付け，議論の 根拠を抽出することを目的とする.

図 4 に MBLink の概要を示す。今回の MBLinkで は，入力となる会議録の HTML ファイルには，文ご と IDを埋め込み，同様に予算表の HTML ファイル にもセルごとに IDを割り当てておく. これらが与

図 4 MBLink の概要

えられたとき，ある文が予算表の特定のセルの金額 に関連するものであれば，そのセルの IDを付与し， さらのその文に予算の主張に関する理由が含まれて いるか否かの判定結果も付加する.

## 6 おわりに

本稿では，NTCIR-17 QA Lab-PoliInfo-4 における四 つのタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking について述べた。今回の大会では，それぞれのタス クについて個別の発表 $[16,17,18]$ も実施しているの で，そちらも参照していただきたい。

現在，PoliInfo-4 では広く参加者を募っている．興味を引くタスクがあった場合は，是非とも PoliInfo-4 の Web サイト ${ }^{2}$ を参照いただくか，連絡をいただき たい.

今後は参加者とともに本タスクを実施していく.現在は予備テスト (Dry Run)を実施中であり，2023 年 6 月頃に本テスト (Formal Run)を実施予定であ る. 予備テストの間も新規参加可能である. 2023 年 12 月の NTCIR-17 カンファレンスにおいて各参加者に研究成果を発表していただき，PoliInfo-4 は終了 となる.

## 謝辞

本研究は JSPS 科研費 21H03769，22H03901， 22K12740，20K00576 の助成を受けたものである.

## 参考文献

[1] Preslav Nakov, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Wajdi Zaghouani, Pepa Atanasova, Spas Kyuchukov, and Giovanni Da San Martino. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims. In Proceedings of the Ninth International Conference of the CLEF Association: Experimental IR Meets Multilinguality, Multimodality, and Interaction, Lecture Notes in Computer Science, Avignon, France, 2022. Springer.

[2] Pepa Atanasova, Lluís Màrquez, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 1: Check-Worthiness. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[3] Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Pepa Atanasova, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 2: Factuality. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[4] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of Machine Translation Summit X: Papers, pp. 79-86, 2005.

[5] Kenneth Heafield. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197, 2011.

[6] Astrid Van Aggelen, Laura Hollink, Max Kemman, Martijn Kleppe, and Henri Beunders. The debates of the European Parliament as linked open data. Semantic Web, Vol. 8, No. 2, pp. 271-281, 2017.

[7] Benjamin E Lauderdale and Alexander Herzog. Measuring political positions from legislative speech. Political Analysis, Vol. 24, No. 3, pp. 374-394, 2016.

[8] Federico Nanni, Stefano Menini, Sara Tonelli, and Simone Paolo Ponzetto. Semantifying the UK Hansard (1918-2018). In 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL), pp. 412-413. IEEE, 2019.

[9] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, Osaka, Japan, 2016. The COLING 2016 Organizing Committee.
[10] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[11] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Conference on Testbeds and Community for Information Access Research, pp. 122-135. Springer, 2019.

[12] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo2 task. In Proceedings of The 15th NTCIR Conference, 2020.

[13] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[14] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A Kalyanpur, Adam Lally, J William Murdock, Eric Nyberg, John Prager, et al. Building Watson: An overview of the DeepQA project. $A I$ magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[15] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. ゲーミフィケーションに基づく QA データセット拡充手法の提案: QA Lab-PoliInfo-4 Answer Verification タスクに向けて. ARG 第 18 回 Web インテリジェン スとインタラクション研究会予稿集, pp. 9-12, 2022.

[16] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. NTCIR-17 QA Lab-PoliInfo-4 Answer Verification にお けるGDADC の利用に向けての考察. 言語処理学会第 29 回年次大会, 2023 .

[17] 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会に おける議案への賛否に関する発言の分析—NTCIR 17 QA Lab-PoliInfo4 Stance Classification-2 タスクに向け て一. 言語処理学会第 29 回年次大会, 2023 .

[18] 木村泰知, 梶縁, 乙武北斗, 門脇一真, 佐々木稔, 小林暁雄. 議会会議録と予算表を紐づける Minutes-toBudget Linking タスクの提案. 言語処理学会第 29 回年次大会, 2023.


# 疑似訓練データを用いた one-shot 設定における 同形異音語の読み推定

小林汰一郎 ${ }^{1}$ 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻
2 東京農工大学大学院工学研究院先端情報科学部門
3 茨城大学大学院理工学研究科情報科学領域
21nm724l@vc.ibaraki.ac.jp
kkomiya@go. tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

読みに曖昧性を持つ単語を同形異音語と呼ぶ. 本論文では現代日本語書き言葉均衡コーパス (BCCWJ) と日本語話し言葉コーパス (CSJ) に含まれる全ての 同形異音語を対象に読み推定を行った. CSJをテス トデータとする場合, 話し言葉データを訓練データ として読み推定のモデルを学習するのが望ましい が, 訓練データの構築コストが高いという問題があ る. 本研究では自動的にアノテーションされたドメ イン外の大量の疑似データ (BCCWJ のデータ)を用 いることで, CSJ の訓練データの量を one-shot まで 抑えても精度に大差ないことを示した。

## 1 はじめに

日本語には同じ字面でも違う読みをする単語が存在する.このような単語を同形異音語という. 例と して「辛い」は「カライ」だけでなく「ツライ」と 読むこともできる. 日本語話者であれば文脈から読 み分けをすることは容易だが, 日本語を母語としな い者やコンピュータにとっては困難である。

これまでに小林らは同形異音語の読み推定を 行ってきた. 先行研究 [1] では SVM(Support Vector Machine) を用い, データセットとして現代日本語書 き言葉均衡コーパス (BCCWJ)[2], 素性として one-hot ベクトル, nwjc2vec[3], BERT [4] による分散表現を用 いた. また, 先行研究 [5] では事前学習モデル BERT を用いて, 全単語を対象に読み分類を行った。

本稿では, BERT を用いて全単語を対象に読み推定を行う. 既存研究 [5] との違いは, 自動的にアノ テーションされた疑似データを大量に用いることで人手データを one-shot に留め, モデルの構築コスト を抑えたことである.このようにして作成されたモ デルが, 人手データを大量に使用して学習したモデ ルの精度に匹敵することを確認した。

## 2 関連研究

## 2.1 同形異音語の読み推定の関連研究

対象単語を絞って同形異音語の読み推定を行っ た研究には, 1 節でも述べた小林ら [1] がある.この 論文では BCCWJ 中に存在する 71 単語の読みを, さ まざまな素性を用いて分類している. 全単語を対象 とした読み推定を行った研究には, 小林ら [5] があ る. 本研究では one-shot の設定としたところに違い がある.

## 2.2 全単語対象の関連研究

本論文ではコーパスに含まれる曖昧な読みを持 つ全単語を対象に読みの推定を行った. 全単語を対象にしている点, 読みは意味が違うと異なることが 多い点から見ると, 本タスクは all-words Word Sense Disambiguation (WSD, 語義曖昧性解消) と関連があ る. all-words WSD とは, 文書中の全単語を対象に語義ラベルを与えるタスクである. WSD では一般に，単語の意味は文脈に依存すると仮定している. 本研究でもまた, 単語の読みが文脈に依存すると仮定し ている.

新納ら [6] はテキスト解析ツール $\mathrm{KyTea}^{1}{ }^{1}$ を用いて all-words WSD が解決できることを示した. KyTea は 分割されたテキストデータを用いて単語分割を訓練

するモデルである. 新納らは訓練データに語義デー 夕を加えて学習させることで, 語義曖昧性解消のモ デルを構築した. このように, 曖昧性のある全単語に ラベルを付与して学習させることで, 全単語を対象 とした語義曖昧性解消システムを構築できる.また，鈴木ら [7] は概念辞書を用いて多義語の周辺単語の 分散表現を作成し, それらのユークリッド距離を計算することで多義語の語義を推測した. また, Jiaju Du et al.[8] は英語の all-words WSD タスクに BERT が有効であることを示した. 具体的には, BERT を用 いることで当時の最高性能を 5.2 ポイント上回る結果を残している。

## 2.3 疑似データを用いることの関連研究

疑似データを用いた研究には, 清野ら [9] や斎藤 ら [10], Wang ら [11] の研究がある. 清野らは, 文法誤り訂正において, 疑似データの生成方法や疑似 データの生成元について検討している. その結果, CoNLL-2014 において当時の最高性能を記録した。斎藤ら [10] は, スペル訂正タスクにおいて, 自動生成 された疑似正解データを用いて事前学習を行った 後, 少量の人手正解データを用いて再度学習させる 手法が有効であることを示した. また, Wang ら [11] は, 疑似訓練データと語義タグ付きデータとを組み 合わせることが中国語の語義曖昧性解消に効果的で あることを示した。

## 3 疑似データを用いた同形異音語の 読み推定

本研究では,コーパス中の全単語を対象とした読 み推定システムを作成する. 本研究には, 日本語話 し言葉コーパス $(\mathrm{CSJ})[12]$ を利用する. CSJ は話し 言葉をべースに作られたコーパスであり，音声デー タを書き起こしているため，正確な読み情報を得る ことが可能である. しかし, CSJ のような音声情報 を書き起こすコーパスは構築コストが高く,大量に 用意することは困難である．

そこで本研究では，システムによって自動的に読 み情報を付与された疑似データを学習データとし て追加的に利用する. 大量の疑似データを用いてモ デルを構築したのち, 少量の正解の読み情報が付与 されたデータを用いて追加学習を行う手法と, 正解 データのみを用いて構築したモデルとの正解率を比較することで, 疑似データの有効性を調査した. 本実験では追加学習に CSJ に存在する読みが曖昧な単語 を一用例ずっ用い, one-shot の設定で実験を行った.

## 4 データ

本実験ではテストデータおよび正解の読み情報 が付与された訓練データとして CSJを利用し, 疑似訓練データとして BCCWJを利用した. BCCWJで は，形態論情報をほとんど自動で付与しているが， その一部には人手で解析精度を高めたコアデータが 含まれている2). そのため, 本研究の実験には非コ アデータのみを利用した。また，BCCWJ は書き言葉であるため正確な読み情報は分からない場合があ る. 上記 2 種類のデータセットに含まれる単語の情報は表 1 のとおりである.

本研究の実験ではテストデータおよび one-shot の 学習データに CSJを利用し, 疑似訓練データには BCCWJ を利用した。そのため, 疑似訓練データとテ ストデータのドメインは異なっている点に注意され たい.

## 5 モデル

本研究の実験には BERT の fine-tuning を利用した. その様子を図 1 の模式図に示す. 入力はコーパスか ら整形して抽出したトークン列 (6.1 節参照)であり, BERT の 12 の層を経て 768 次元のベクトルへと変換される.このべクトルを識別層 $W$ に入力するこ とで読みラベル $R$ を出力する. ただし, この出力は 15,291(=読みの辞書のサイズ) 次元のベクトルであ る.このとき, ベクトル中の $a$ 番目の要素は, その単語の読みがラベル $a$ である確率を表している.この 確率を参照し, 最も値の大きなラベルをモデルの推定結果とした. ただし, 参照する要素は単語によって 異なる. 例えば，ある単語の読みがラベル $10,11,12$ に対応するのであれば, 参照する要素は $10,11,12$ 番目のみである.

使用したモデルの説明を以下に示す.

modelC CSJで学習したモデル

modelB BCCWJで学習したモデル

modelB-C1s BCCWJ で学習した後 CSJ における one-shot 学習を行ったモデル

modelC1s CSJ における one-shot 学習を行ったモ デル

全てのモデルは CSJを分割したテストデータ (6.2 節参照)を用いて評価した。

図 1 モデルの模式図

## 6 実験

## 6.1 データの整形

本研究では,コーパス中の単語データの整形を以下のように行った. まず, 読みに曖昧性のある単語を コーパスから抽出する。これにより読みラベルを定義し, 読みの辞書を作成する. 表 2 に読みに関する統計情報を示す. 次に, 単語毎に「単語の表記」「BERT における単語の ID」「単語の読み」「単語の読みラべ ル」「単語の読みの候補リスト」「単語の読みの候補 ラベルリスト」「単語の読みの候補数」の 7 つの情報を付与し, 単語情報 $w$ を作成する. さらに, コーパ ス中のデータを 1 文毎に区切る. ただし,コーパスに は単語毎にデータが格納されているため, 各コーパ スにおける区切り文字を以下のように定義した。

## BCCWJ 「。」「!」「?」

CSJ「です」「ます」「た」

力となる ID リスト」「曖昧な読みのある単語の位置情報」「読みに曖昧性のある単語の読みラベルリス ト」「読みに曖昧性のある単語の読み候補リスト」 の 5 つを付与して文情報 $s$ を作成し，これをシステ ムの入力とした。

## 6.2 実験設定

モデルには東北大から公開されている訓練済み日本語 BERT モデル3)を使用した. 使用したモデルの ハイパーパラメータのうち, 変更したものは以下の 通りである。
- 最適化関数 : SGD
- 学習率 : $10^{-4}$

・ミニバッチ数 : 1

また, CSJ はデータ全体を (訓練データ):(検証デー タ):(テストデータ) $=1: 1: 8$ に分割して利用した.この 訓練データから, 読みに曖昧性のある単語を一用例 ずつ抽出し, one-shot 学習用のデータとした. なお, ハイパーパラメータの変更とデータの分割について は,小林ら [5] の研究に倣った.

## 7 結果

追加学習に使用するデータ量毎の全単語を対象と した読み推定の正解率を表 3 に示す. まず, modelC1s, modelB, modelC の正解率がそれぞれ $58.40 \%, 94.22 \%$, $97.97 \%$ であることから, 領域外の大量の疑似データ を用いた学習による読み推定 (modelB) の正解率は,対象領域の one-shot 学習によるモデル (modelC1s) よ り高く, 対象領域の全データを用いた学習によるモ デル (modelC) と比べると低いことが確認できる. そ

3) cl-tohoku/bert-base-japanese
表 2 読み情報

表 3 追加学習に使用する疑似データの量ごとの全単語を 対象とした読み推定の正解率

こで, 学習データとして, 疑似データに加えて CSJに 存在する分類対象の単語一用例ずつを追加すると (modelB-C1s), 読み推定の正解率は $97.40 \%$ となった. これは, modelC と比べて 0.57 ポイント下回りこそす るが, その差はわずかである. 反対に modelB-C1s は modelB と 3 ポイントの差があることから, 書き言葉 の疑似データで学習させたモデルに話し言葉データ をごく少量追加学習させることで, 3 ポイントの正解率の上昇となっていることが見て取れる.つまり,話し言葉データを一用例ずつ追加したことによる話 し言葉への領域適応の効果は高く, modelC とほとん ど同程度の正解率を達成できることが確認できる。 これらの実験から, 書き言葉のコーパスにある自動的に読みを付与したデータを疑似データとして利用 すると, 音声書き起こしのコーパスの訓練データの 量を one-shot に減らしても, 音声書き起こしのコー パスをすべて利用する場合に比べてほとんど遜色な い読み推定の正解率が得られることが分かった.

## 8 考察

本章では, modelB と modelB-C1s とを比べて, どの ようなデータにおいて改善が見られたのか, その傾向を考察する. 結論としては, modelB-C1s の結果か ら, 改善されたデータの傾向を読み取ることはでき なかった。

傾向を読み取る際, 以下の 3 つを検証した。
- 品詞

・読みの平均数

・意味の遠さ

検証にあたって, 正解率の上昇に起因した上位 25 単語 (付録: 表 4) と下位 25 単語 (付録: 表 5) を抽出し た. まず, 品詞については, 上位 25 単語のうち 23 単語が名詞, 2 単語が動詞であり, 下位 25 単語では, そ
のすべてが名詞であった. どちらもほとんど名詞で あることから, 両モデルの品詞による傾向の差はな いといえる. 次に, 読みの平均数については, 上位 25 単語では 4.12(個/単語), 下位 25 単語では 3.36(個/単語) であった. つまり, 読みの個数には, 上位と下位の 間で, 1 単語あたり 0.76 個の差があることがわかる. しかし, 1 単語あたりの読みの個数の差が 1 未満であ るため, 大差はないといえる. 次に, 意味の遠さにつ いては, 第一著者の主観で分類した. 例えば「開く」 は「ヒラク」や「アク」と読むが，これはほとんど意味が同じである. それに対して「市場」は「シジョ ウ」や「イチバ」と読むが,これは文脈によって読 み分けが必要であるため, 意味が遠いといえる.この ように判断した時, 上位 25 単語中意味が遠い単語は 「評定」(「ヒョウテイ」「ヒョウジョウ」)のみであ り,下位 25 単語中意味が遠い単語は「市場」(「イ チバ」「シショョウ)と「大勢」(「タイセイ」「オオ ゼイ」「タイゼイ」),「出店」(「デミセ」「シュッテ ン」)の 3 単語である.このような観点で上位と下位 を比べても, 精度の差に傾向はみられなかった.これ らのことから, modelB-C1s の正解率が modelB を上回った要因は,テストデータと同じ領域の訓練デー タを追加したという単純な理由によるものと考えら れる。

## 9 おわりに

本稿では, BERT の fine-tuning を用いて読み推定を 行った. 読み推定の対象は, BCCWJ と CSJ に存在す る, 読みに曖昧性のある全単語とした. 実験では, ド メイン外の大量の疑似データ (BCCWJ の読みデー タ) を用いることで, 構築コストの高い書き起こしに よる読みのタグ付きデータ (CSJ の読みデータ)を減 らすことができることを確認した. 具体的には, CSJ の読みデータを one-shot まで減らしてもモデルの精度に遜色ないことが分かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究 (22FC04), JSPS 科研費 22 K12145 の助成を受け ています. また, 国立国語研究所の異分野融合型共同研究「テキスト読み上げのための読みの曖昧性の 分類と読み推定タスクのデータセットの構築」の成果である.

## 参考文献

[1] 小林汰一郎, 古宮嘉那子. SVM を用いた BCCWJ に おける同形異音語の読み推定. 言語処理学会第 27 回年次大会, pp. 405-409, 2021.

[2] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[3] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:国語研日本語ウェブコーパスから構築した単語の 分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] 小林汰一郎, 古宮嘉那子, 新納浩幸ほか. 疑似訓練 データを用いた bertによる同形異音語の読み推定.研究報告自然言語処理 (NL), Vol. 2022, No. 3, pp. 1-5, 2022.

[6] Hiroyuki Shinnou, Kanako Komiya, Minoru Sasaki, and Shinsuke Mori. Japanese all-words wsd system using the kyoto text analysis toolkit. In Proceedings of the 31st Pacific Asia Conference on Language, Information and Computation, pp. 392-399, 2017.

[7] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師 なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[8] Jiaju Du, Fanchao Qi, and Maosong Sun. Using bert for word sense disambiguation. arXiv preprint arXiv:1909.08358, 2019.

[9] 清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎. 大規模疑似データを用いた高性能文法誤り訂正モデル の構築. 言語処理学会第 26 回年次大会, pp. 989-992, 2020.

[10] 斉藤いつみ, 鈴木潤, 貞光九月, 西田京介, 齋藤邦子, 松尾義博. 擬似データの事前学習に基づく encoder-decoder 型 日本語崩れ表記正規化. 言語処理学会第 23 回年次大会, pp. 585-588, 2017.

[11] Xiaojie Wang and Yuji Matsumoto. Improving word sense disambiguation by pseudo-samples. In International Conference on Natural Language Processing, pp. 386-395. Springer, 2004.

[12] Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.
表 4 改善が見られた上位 25 単語

表 5 改善が見られなかった上位 25 単語


# 文頭・文末予測の組み合わせによる文特定

宇田川拓真金山博吉田一星
日本アイ・ビー・エム株式会社東京基礎研究所
Takuma.Udagawa@ibm.com $\{$ hkana,issei\}@jp.ibm.com

## 概要

文分割とはテキストを連続する文の単位に分割 する前処理を指す. 本稿ではこれを拡張し,テキス ト中の文でないノイズを除去しつつ, 解析対象とす べき文のみを抽出する文特定タスクの定式化を行 う. また, 文頭・文末予測を組み合わせることで文特定を行う新たな手法を提案する. 最後に, Universal Dependencies (UD) のアノテーションに基づく言語横断的なベンチマーク手法を設計し, UD の英語コーパ ス English Web Treebank (EWT) を用いた実験により 提案手法の精度・有用性を検証する。

## 1 はじめに

自然言語処理において文は重要な処理単位の一つ である $[1,2,5]$. 一般的に, テキストはまず文末予測 に基づく文分割という前処理によって連続する文の 単位 (文単位と呼ぶ) に分割される $[4,3,11]$. しかし，実際のテキストデータは必ずしも綺麗な文単位のみ を含むとは限らない. 例えば, ウェブデータはメタ情報・文断片・非言語的記号など文と見なせないノィ ズ（非文単位と呼ぶ）を含み得る. 従来の文分割で は非文単位もいずれかの文単位に属すると仮定され るが,これらのノイズは構文解析など下流の処理や その評価において障害となることがある [12].

そこで本稿では文分割の代替として,テキストを 連続する文単位と非文単位に分割する文特定タスク の定式化を行う. それと同時に, 文頭と文末予測を組 み合わせることで文特定を行う新たな手法を提案す る. 表 1 に示すように, 提案手法では文頭・文末予測 によって文単位を特定しつつ, それ以外を非文単位 と見なして区別・除去することができる.

次に, 文特定タスクにそのまま適用可能なベン チマークが存在しないため, Universal Dependencies (UD) [8] のアノテーションを基に文特定のベンチ マークを設計する. 具体的には, UD が提供する文境界と述語項構造を活用して, 任意のUDコーパスか
ら文特定の正解データを作成する手法を紹介する。文単位・非文単位の分類基準を目的に応じて柔軟に 調整可能であることもこの手法の特長である.

最後に, UD の英語コーパスとして広く使われてい る English Web Treebank (EWT) [10]を用いて実験を 行う.これにより,提案手法は高い精度で文単位を特定できること, また正確な文単位の特定が構文解析等の下流タスクにおいて有用であることを示す.

## 2 タスク設計・手法

本節ではまず, 文分割のタスク設計と手法を再定義する. 次に, 文分割の考えを拡張することで文特定 のタスク設計と手法を導出できることを示す.

## 2.1 文分割

入力テキストを $\boldsymbol{W}=\left(w_{0}, w_{1}, \ldots, w_{N-1}\right)$ とし, 各 $w_{i}$ は単語とする（文字・サブワードでも可）.また, テ キストのスパン $\boldsymbol{W}[i: j]=\left(w_{i}, \ldots, w_{j-1}\right)$ およびその 連結 $\boldsymbol{W}[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ を定義する.

文分割では入力テキストを連続する $M$ 個の文単位に分割する. ${ }^{1)}$ つまり, 文単位の境界のインデック スを $\boldsymbol{B}=\left(b_{0}, b_{1}, \ldots, b_{M}\right) \quad\left(\right.$ ただし $\left.b_{0}=0, b_{M}=N\right)$ と すると, $\bigoplus_{i=1}^{M} \boldsymbol{W}\left[b_{i-1}: b_{i}\right]=\boldsymbol{W}$ となる.ここで, スパ ン $\boldsymbol{W}[i: j]$ が一つの文単位となる確率を $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ とおくと, 最適な文分割は以下の解 $\boldsymbol{B}$ を求めるタス クとして定式化できる：

$
\underset{\boldsymbol{B}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)
$

次に, $w_{i}$ が文末となる確率のモデル $p_{\text {EOS }}\left(w_{i} \mid \boldsymbol{W} ; \theta\right)$ を導入する. ${ }^{2}$ 通常, モデルのパラメーター $\theta$ は文末 （文境界）の正解データを用いて事前学習され [11], このモデルを用いて文単位の確率 $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ を以下のように定義できる：

$
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])=p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
$

1） $M$ は変数であることに注意.

2）以降 $\boldsymbol{W}, \theta$ を省略して $p_{\text {EOS }}\left(w_{i}\right)$ のように表記する.
表 1 文分割と文特定の比較. 文分割では文末予測 (E)によってテキストを連続する文単位 (青いスパン) に分割する. 文特定では文頭予測 (B) と文末予測 (E) の間のスパンを文単位として特定し, それ以外のスパンを非文単位と見なす.入力テキスト Thank you. - TEXT.htm 《 File: TEXT.htm 》 I was thinking of converting it to a hover vehicle. (EWTの例) I might just sell the car and get you to drive me around all winter.

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, そこに含ま れる単語のうち最後の単語 $w_{j-1}$ のみが文末となる 確率に等しい. この式 (2)を式 (1)に代入すると,

$
\begin{aligned}
(1) & =\underset{\boldsymbol{B}}{\arg \max } \sum_{i=1}^{M}\left.\{\log p_{\mathrm{EOS}}\left(w_{b_{i}-1}\right)+\sum_{b_{i-1} \leq j<b_{i}-1} \log \left(1-p_{\mathrm{EOS}}\left(w_{j}\right)\right)\right.\} \\
& =\underset{\boldsymbol{B}}{\arg \max } \sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M)\right.\}$ は $\boldsymbol{B}$ が定義 する文末のインデックスを指す. 式 (3) は自明な最適化問題であり, $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{i \in(0,1, \ldots, N-1) \mid p_{\mathrm{EOS}}\left(w_{i}\right) \geq\right.$ $0.5\}$ となる $\boldsymbol{B}$ が最適解となる.

## 2.2 文特定

文特定では入力テキストを連続する文単位または 非文単位に分割する. そのため, $a_{i}$ を $\boldsymbol{W}\left[b_{i-1}: b_{i}\right]$ が 文単位の場合 1 , 非文単位の場合 0 を取る変数とする と, 最適な文特定は以下の解 $\boldsymbol{A}=\left(a_{1}, a_{2}, \ldots, a_{M}\right)$ およ び $\boldsymbol{B}$ を求めるタスクとして定式化できる：

$\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{a_{i}} p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{1-a_{i}}$

ここで $p_{\mathrm{SU}}(\boldsymbol{W}[i: j]), p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])$ はそれぞれ $\boldsymbol{W}[i: j]$ が一つの文単位, 非文単位となる確率を指す.前項の考えを拡張すると,これらの確率は事前学習 された文頭確率のモデル $p_{\mathrm{BOS}}\left(w_{i}\right)$ と文末確率のモデ ル $p_{\mathrm{EOS}}\left(w_{i}\right)$ を用いて以下のように定義できる：

$
\begin{aligned}
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])= & p_{\mathrm{BOS}}\left(w_{i}\right) \prod_{i<k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \\
& \times p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right) \\
p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])= & \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \times \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
\end{aligned}
$

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, 最初の単語 $w_{i}$ のみが文頭となり, 最後の単語 $w_{j-1}$ のみが文末と なる確率に等しい. また, $\boldsymbol{W}[i: j]$ が非文単位となる 確率は文頭および文末が一切含まれない確率に等し い.3) これらの式 (5) を式 (4) に代入すると,

(4) $=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \sum_{i=1}^{M}\left.\{a_{i} \log p_{\mathrm{sU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.$ $\left.+\left(1-a_{i}\right) \log p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.\}$

$
\begin{aligned}
=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } & \sum_{i \in \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log p_{\mathrm{BOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right) \\
& +\sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}=\left.\{b_{i-1} \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文頭 のインデックス, $\boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文末のインデックスを指す. 付録 A に示すように，式 (6) の最適解 $\boldsymbol{B}, \boldsymbol{A}$ は動的計画法を用いて厳密かつ 効率的に求めることができる.

## 3 評価

本節では, 任意の言語のUDコーパスから文特定 のベンチマークを構築する手法について説明する.具体的にはUD のアノテーションを基に, まず (1) 文単位・非文単位の境界を決定し，次に (2) 各区分を文単位または非文単位に分類する.

まず手順 (1) では, UDにおける文境界4）を文単位・非文単位の境界として採用する. 手順 (2) において は, 言語学における Lexical Sentence [9] の考え方を採用し, 単語間の依存関係を基に文単位を定義する. 具
[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ に対して $p_{\mathrm{NSU}}(\boldsymbol{W}[i: k])=p_{\mathrm{NSU}}(\boldsymbol{W}[i: j]) \times p_{\mathrm{NSU}}(\boldsymbol{W}[j: k])$ が成立する.つまり,連続する非文単位の区別は行われない.

4）UDにおいて, 文境界における「文」とは表 2 のような非文単位を含む広義の意味で使われている。
}
表 2 English Web Treebank (EWT) に含まれる非文単位の 代表例. 各行は一つの非文単位に対応する.

$* \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim *$
$* * * * * * * * * * \mathrm{NOTE} * * * * * * * * * * *$
By video conference from
Excerpt:
02/13/2001 08:02 PM
5:00 PT ** 6:00 MT ** 7:00 CT ** 8:00 ET
Time: 11:30am / 1:30pm Central / 2:30pm Eastern
Sunshine Coast, British Columbia, Canada
- UnleadedStocks.pdf
t r t h o u t - Perspective
( Answered, 2 Comments )
The federal sites of Washington, DC.

体的には, 節を文単位を構成する重要な要素と考え,節を成す述語とそれに係る依存関係 (core argument または non-core dependent）が少なくとも一つ含まれ る区分を文単位として分類する.5)

本稿では実験のため, English Web Treebank (EWT) [10] を用いて実際にベンチマークを構築する. EWT

の様々なジャンルのテキストデータから成り立ち,解析対象とすべき文単位（表 6）だけでなく多様な 非文単位（表 2）が含まれる. なお, 本稿の基準では 独立した名詞句等も非文単位に分類されるが, 目的 に応じてこの基準は柔軟に調整可能である.

また, EWT ベンチマークの統計値を表 3 に示す.本稿の基準では, 約 17 28\% と多くの区分が非文単位として分類されることが分かる. 一方で, 文単位を 単語レベルの BIO ラベル6)を用いてアノテーション した場合, 約 4 8\%の単語のみが $\mathrm{O}$ ラベルを付与さ れる.これは表 2 に示すように, 非文単位が比較的少 ない単語数で構成されることに起因する。

## 4 実験

最後に, EWT ベンチマークを用いた実験により文特定の精度と有用性を検証する。

5）UD の依存関係の詳細については以下を参照されたい： https://universaldependencies.org/u/dep/.

6） $\mathrm{B}$ は文単位の先頭, $\mathrm{I}$ は文単位の途中, $\mathrm{O}$ は文単位の外（つま り非文単位）であることを示す.

## 4.1 実験設定

2 節で述べたように, 文特定を行うには事前学習 された文頭確率と文末確率のモデルが必要である. そのため, 本稿では RoBERTa [6] をべースに文頭と 文末を予測する分類モデルを構築する.

モデルの訓練・検証時には, 入力テキストとして 連続する $L$ 個の文単位・非文単位を連結する。ここ で $L$ は成功確率 $p_{C C}=0.5$ の幾何分布からサンプリ ングする.7) ただし, 入力長が RoBERTa の上限を超 える場合，上限を超えない最大の $L^{\prime}<L$ を代用する. この手順により, 様々な長さの入力テキストに対応 するモデルが構築できると期待される.

テスト時には, より多様な入力テキストを考慮し て以下の設定を考える. 第一に, 訓練・検証時と同様 に連続する文単位・非文単位を連結する方法が考え られる. 本稿では $p_{C C}=0.5$ と, 可能な限り長い入力 を想定した $p_{C C}=0$ を用いて評価を行う.

第二に, 文分割の結果の後処理として文特定を行 う設定を考える. 具体的には, 高性能な文分割モデル [11]を用いて EWT の生データを分割し，その結果に 対して文特定を行う. なお, 文分割の段階で文単位が 誤って分割されてしまった場合は, 分割された部分 を非文単位と見なして正解を修正する。

最後に, 文特定の精度を文単位の抽出タスクとし て評価する. 具体的には, 文単位の単語レベルの BIO ラベル (3 節参照)の $\mathrm{F} 1$ スコアと, スパンレベルの 完全一致の F1 スコアを用いる. また, ベースライン として文末確率のモデルのみを用いた文分割手法 （2.1 項）との比較を行う. 文末確率のモデルは文特定と同様に訓練し, 入力の最後の単語を強制的に文末とする場合・しない場合の両方で評価する.8)

## 4.2 実験結果

表 4 に文単位の抽出タスクの実験結果を示す.

第一に, 提案手法（文特定）は全ての評価指標 において文分割を大きく上回ることが確認でき る. 特にスパンレベルの完全一致でも, 提案手法は 84 89\% と高い精度を達成している. また, 長い入力 $（ p_{C C}=0 ）$ に対しては文分割では大きな性能劣化が
7) $p_{C C} \in(0,1]$ の時, 幾何分布の確率質量関数は $l \in \mathbb{N}$ におい $\tau p(L=l)=\left(1-p_{C C}\right)^{l-1} p_{C C}$ となり, $p_{C C}$ が小さくなるほど $L$ は大きくなりやすい. $p_{C C}=0$ の時, $p(L=\infty)=1$ とみなす.

8）最後の単語を強制的に文末とする場合, 非文単位は一切予測 されない.これを強制しない場合, 予測された最後の文末以降 のスパンを（存在すれば）非文単位と見なす。

表 5 下流タスク (単語区切り/Words・品詞タグ付け/UPOS・依存構造解析/LAS) の評価結果.

見られる9)一方で, 文特定の手法ではこれらに対し ても高い性能を維持していることが分かる.

以上の結果より, 非文単位を除いて文単位を特定 するには文末の予測のみ（=文分割）では不十分で あり, 文頭・文末の予測を組み合わせること（=文特定）が重要であると言える.

## 4.3 下流タスクの評価

最後に, 文特定の下流タスクにおける有用性につ いて, 単語区切り・品詞タグ付け・依存構造解析の 3 つに焦点を当てて検証する.

まず背景として, EWT は非文単位のようなノイズ を含むため, 解析器の訓練・評価の両面で支障があ ることが知られている [12]. そこで本稿では, 理想的 な文単位・非文単位の区分10)に基づいて解析器を訓練・評価することの利点について調査する.

下流タスクの解析器には Trankit [7] を用いる. 手順としては UD-EWT v2.6の全体 (文単位と非文単位) を用いて単語区切りを訓練し ${ }^{11)}$, 続いて UD-EWT v2.10の全体・文単位のみ・非文単位のみのそれぞ れで品詞タグ付けと依存構造解析を訓練する. 最後 に, UD-EWT v2.10の全体・文単位のみ・非文単位の みのそれぞれで各解析器を評価する。

表 5 に下流タスクの評価結果を示す.まずEWT 全体で解析器を訓練した場合, 全ての下流タスクにお いて文単位のみで評価したスコアが高く, 非文単位

9）文分割では予測できる非文単位 (O ラベル) の割合が入力が 長くなるほど小さくなり, 結果的に性能が大幅に劣化する.

10）つまり 3 節で示した基準で分類した正解の区分を用いる.現実的には文特定の予測の段階で誤りが生じる可能性がある が, その点まで考慮した分析は今後の課題とする.

11）複数語トークンによるエラーを回避するため, それを持た ない旧バージョンで訓練した単語区切りモデルで固定した。
のみで評価したスコアが顕著に低くなっている.こ のことから, 文単位は予測に適した綺麗なデータが 多く, 逆に非文単位は予測しづらいイレギュラーな データが多いことが分かる.これらを同一視せずに 区別して評価を行うことは, 解析器の特徵を正しく 理解するために重要と考えられる.

また, 文単位のみで解析器を訓練した場合, 学習 データは少なくなるにもかかわらず, 全体で訓練し た場合と近い性能が出ることが分かる. ${ }^{12)}$ 例えば文単位に対する品詞タグ付けでは, 全体で訓練した場合と同等の性能が出ている. 逆に非文単位のみで訓練した場合の性能は全体的に低く, 訓練データとし ても有用でないノイズが多いと考えられる.13) 今後 の応用として, 例えば文単位・非文単位の分類基準 （3 節）を調整することで訓練に最適なデータのフィ ルタリングを行えると考えられる。

以上の結果より, 正確な文特定は解析器の訓練・評価の両面で有用であると考えられる.

## 5 まとめ

本稿では文分割の考え方を拡張し, 非文単位を除 きつつ文単位を特定する文特定のタスクと手法を提案した.また, EWT を用いた実験により文特定の精度と有用性を確認した. 今後の課題として, 文特定の さらなる精度向上, 異なる言語・ドメインにおける 有効性の検証, 実際の（誤りを含む）予測に基づく 下流タスクの評価・分析などが挙げられる。

12）ただし非文単位のみで評価した結果は異なる傾向を持ち, やはりイレギュラーなデータを多く含むことを示唆している.

13）フェアな比較のためには訓練に使うデータ量を揃える必要 があるが, 付録 C に示すようにこの設定でも同様の傾向が確認された。

## 参考文献

[1] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. In Proc. of ICLR, 2017.

[2] Timothy Dozat and Christopher D. Manning. Simpler but more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 484-490, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Dan Gillick. Sentence boundary detection and the problem with the U.S. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, pp. 241-244, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[4] Tibor Kiss and Jan Strunk. Unsupervised multilingual sentence boundary detection. Computational Linguistics, Vol. 32, No. 4, pp. 485-525, 2006.

[5] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pretraining for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[8] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and
Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[9] Geoffrey Nunberg. The linguistics of punctuation. No. 18. Center for the Study of Language (CSLI), 1990.

[10] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[11] Rachel Wicks and Matt Post. A unified approach to sentence segmentation of punctuated text in many languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3995-4007, Online, August 2021. Association for Computational Linguistics.

[12] 金山博, 大湖卓也. UD_English-EWT との付き 合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.
表 6 English Web Treebank (EWT) に含まれる文単位の代表例. 各行は一つの文単位に対応する.

President Bush on Tuesday nominated two individuals to replace retiring jurists on federal courts in the Washington area.

Unfortunately, Mr. Lay will be in San Jose, CA participating in a conference, where he is a speaker, on June 14.

"In 1972, there was an enormous glut of pilots," Campenni says.

PS - There is a happy hour tonight at Scudeiros on Dallas Street (just west of the Met Garage) beginning around 5:00.

2) Your vet would not prescribe them if they didn't think it would be helpful.

BUT EVERYONE HAS THERE OWN WAY!!!!!!

The motel is very well maintained, and the managers are so accomodating, it's kind of like visiting family each year! ;-) where can I find the best tours to the Mekong Delta at reasonable prices?

表 7 訓練データ量を揃えた場合の下流タスク (単語区切り・品詞タグ付け・依存構造解析) の評価結果.

## A 動的計画法

2.2 項の式 (6) の最適解は動的計画法を用いて求め ることができる. 具体的には, 任意の $k \leq N-1$ に対 して $\boldsymbol{W}^{\leq k}=\left(w_{0}, \ldots, w_{k}\right)$ までの最適な文頭・文末予測を考える。つまり, 式 (6) における $\boldsymbol{W}$ を $\boldsymbol{W} \leq k$ に置 き換えた最適化問題・目的関数を考える.

$\boldsymbol{W} \leq k$ までの予測は不完全であるため, 文単位の途中で終わる（=最後の予測が文頭である）場合と,文単位の外で終わる (=最後の予測が文頭でない)場合の 2 通りが考えられる. $\log p_{\text {IS }}(k+1)$ を前者の 場合の目的関数の最大值, $\log p_{\mathrm{OS}}(k+1)$ を後者の場合の目的関数の最大值と置く. すると, 予測は必ず 文単位の外から始まるので $\log p_{\text {IS }}(0)=\log 0=-\infty$, $\log p_{\text {os }}(0)=\log 1=0$ と初期化でき,これらの值を以下のように更新して求めることができる.

$
\begin{array}{r}
\log p_{\mathrm{IS}}^{\prime}(i)=\max \left.\{\log p_{\mathrm{IS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right),\right. \\
\left.\log p_{\mathrm{OS}}(i)+\log p_{\mathrm{BOS}}\left(w_{i}\right)\right.\}
\end{array}
$

$\log p_{\mathrm{OS}}^{\prime}(i)=\log p_{\mathrm{OS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right)$

$\log p_{\mathrm{IS}}(i+1)=\log p_{\mathrm{IS}}^{\prime}(i)+\log \left(1-p_{\text {EOS }}\left(w_{i}\right)\right)$

$\log p_{\text {OS }}(i+1)=\max \left.\{\log p_{\text {IS }}^{\prime}(i)+\log p_{\text {EOS }}\left(w_{i}\right)\right.$,

$
\left.\log p_{\mathrm{OS}}^{\prime}(i)+\log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)\right.\}
$

この更新式ではまず, 文頭確率 $p_{\text {BOS }}\left(w_{i}\right)$ に基づい て $p_{\mathrm{IS}}(i) \rightarrow p_{\mathrm{IS}}^{\prime}(i), p_{\mathrm{oS}}(i) \rightarrow p_{\mathrm{OS}}^{\prime}(i)$ の更新を行う. 次 に, 文末確率 $p_{\text {EOS }}\left(w_{i}\right)$ に基づいて $p_{\text {IS }}^{\prime}(i) \rightarrow p_{\text {IS }}(i+1)$, $p_{\text {oS }}^{\prime}(i) \rightarrow p_{\text {os }}(i+1)$ の更新を行う.

最終的に予測は文単位の外で終わる必要があるた
め, $\log p_{\mathrm{OS}}(N)$ が式 (6) の目的関数の最大值となる.式 (6) の最適解 $B, A$ は, 更新式 (7) をバックトラック することで簡単に求めることができる.

## B 文単位の例

表 6 にWTに含まれる文単位の代表例を示す.こ れらの例に示されるように, 本稿の基準では節を成 す述語項構造を持つ区分のみが解析対象とすべき文単位として判定される.

## C 下流タスク評価の追加結果

表 7 に訓練データ量を揃えた場合の下流タスクの 評価結果を示す. 手順としては, 非文単位のデータ量 が最も少ないため, 訓練データに含まれる単語数を 非文単位におおよそ合わせて訓練を行った. ${ }^{14)}$

この結果から, やはり文単位のみで解析器を訓練 した場合, 全体で訓練した場合と同等の性能が出る ことが分かる. また, データ量を揃えた場合でも非文単位のみで訓練した場合の性能は全体として低いこ とが分かる.このことから,下流タスクの学習には文単位が最も有用であり,非文単位の貢献は非常に小 さいことが分かる.ただし非文単位のみで評価した 場合の結果は異なる傾向を示しており, 非文単位に 含まれるデータは（アノテーションが一貫していな いなど）イレギュラーであることが示唆される.

14）訓練データの単語数をおおよそ合わせるために, 全体で訓練する場合はランダムに 622 例, 文単位のみで訓練する場合は ランダムに 518 例, 非文単位のみで訓練する場合は 2,187 例 （全ての例）を使用した。


# 深層学習を用いた階層的テキストセグメンテーションモデル

久島務嗣 1 吉田尚水 ${ }^{1}$ 小林優佳 ${ }^{1}$
永江尚義 1 岩田憲治 1
1 株式会社 東芝 研究開発センター
tsuyoshi2.kushima@toshiba.co.jp

## 概要

近年では, 大規模コーパスと深層学習を用いた高性能なテキストセグメンテーションモデルが提案さ れている. 既存モデルは 1 つの階層でのみセグメン テーションを行うが, 文章は章立てや段落といった 階層構造を持つ. この構造情報を活用することで, 推定時に考慮できる情報が増え, モデルのドメイン汎化性能が向上すると期待される. そこで, 構造情報を 持った大規模コーパスを構築し, 深層学習を用いた 階層的テキストセグメンテーションモデルを提案す る. 学習コーパスとドメインの異なるコーパスで評価した結果, 提案モデルは既存モデルの性能を上回 り, 構造情報の有効性を確認した。

## 1 はじめに

書籍や文書といった人によって作られた文章は,章立てや段落などの構造を持つ.この構造情報は, 高度なテキスト分析において有用である. しかし, 音声認識の様な自動化技術の発達によって構造を持たな いテキストが大量に存在するようになった. 構造を 持たないテキストの分析は容易でないため, 高性能 なテキスト構造化技術が求められている.

テキスト構造化技術の 1 つにテキストセグメン テーション (Text Segmentation: TS) がある.これは, テキストを意味的に関連性がある複数の文のまと まり (セグメント) に分割し, 構造化する技術である. TS には大きく2つのタイプがある. 1 つは,テキスト からセグメント終端となる文を検出し，テキストを セグメント系列に変換する線形的 TS(Linear TS: LTS,図 1 下) である.もう一つは階層的な構造化を行う階層的 TS(Hierarchical TS: HTS, 図 1 上) である. 古典的 な LTS・HTS モデルは文の類似度や単語の一貫性に 基づいた教師なし学習モデルで, 人工的に生成した データでは高い性能を発揮していたが，自然なデー タでは性能が低いことが課題であった $[1,2,3,4]$.

図 1 LTS と HTS の概要

近年では，大規模コーパスを用いた深層学習 LTS モデルがいくつか提案されており $[5,6,7,8]$, 自然な データでも高性能なテキスト構造化が可能となって きた。一般に文章の持つ構造は階層構造であるため， セグメントに含まれる文の数 (大きさ) は構造化され る階層によって異なる. 例えば, 節の下にいくつかの 段落がある場合, 下の階層で構造化すれば 1 つのセ グメントが段落になり, 上の階層で構造化すれば 1 つのセグメントが節になる。適切なセグメントの大 きさは構造化後の分析に依って異なるため, 汎用的 に利用するには階層的な構造化が必要となる。 しか し, LTS モデルは階層的な構造化が出来ず, 対応した 階層別にモデルを用意するのはコストが高い.

深層学習を用いた HTS モデルが提案されていな い原因として, 構造情報を持った十分大きい学習 コーパスが構築されていないことが挙げられる。大規模コーパスを用いて HTS モデルを深層学習する ことで, 様々な分析に汎用的に利用できる高性能な HTS モデルが学習できる. さらに, テキストが持つ階層構造を活用することで，推定時に考慮できる情報 が増え, LTS モデルよりもテキストのドメインに対 する汎化性能が向上することも期待される。そこで，章・節・段落の 3 つの階層の構造情報を持った大規模な学習コーパスを構築し, 深層学習を用いた 3 層 の HTS モデルを提案する.

まず, 2 章で関連研究を挙げ, 3 章で構築したコー

パスと提案モデルについて説明する. 4 章では実験設定と評価方法, 5 章では結果と考察, 6 章では最後 に本稿のまとめと今後の課題について述べる.

## 2 関連手法

深層学習を用いた LTS モデルは文特徴ベクトル 生成部 (encoder) とセグメント終端推定部 (predictor) から成る.いずれの部分も入力は系列となるの で, LSTM や Transformer Encoder(TFE) が用いられる. TFE を用いた LTS モデルには Glavǎs ら [8] と Lukasik ら [7] のモデルがある. Glavǎs らは, 再帰的なモデル (LSTM など) よりもTFE の方が自然言語タスク全般 で性能が良く収束が早いために, TFE をモデルに採用した. また, Lukasik らは encoder $\cdot$ predictor の両方 に学習済み BERTを用いた HierBERT を提案した。

HTS モデルには Kazantseva ら [3] と Bayomi ら [4] のモデルがある. いずれのモデルも文の類似度に基 いた階層クラスタリング手法を用いた教師なし学習 モデルで, 小さいセグメントから推定をはじめ, その 結果を用いてだんだん大きいセグメントを推定す る, ボトムアップ方式の構造化を行った.

## 3 提案手法

## 3.1 コーパス

深層学習を用いて HTS モデルを学習するため には, 2 つ以上の階層を持つ大規模なコーパスが 必要となる. しかし, その様なコーパスは存在しな いため, Section[9] と Wiki-40B[10] を用いて新たな コーパスを構築した. Section は LTS の学習に広く 用いられているコーパスで, Wikipedia の都市と疾病に関する記事を収集することによって構築され た. 記事は SPARQL を使用して対応するトピック の WikiData の QID を検索する事によって収集され た. また, Wiki-40B は Wikipedia を前処理したコーパ スで, 節と段落の 2 つの構造情報と WikiData の QID が付与されている. Section と同じ記事のデータを Wiki-40B から抽出することで, 構造情報を持った Section(Hier.Section)を構築した.

さらに, Wiki-40B は 1 つのデータに複数の節を含 むため, 1 つのデータを章とみなすことができる. そ こで, 1 つのデータのテキスト全体を章のセグメン トとし, その終端に章のセグメント終端の正解ラべ ルを付与した. したがって, Hier.Section は章・節・段落の 3 つの構造情報を持つ.

図 2 Predictor モデル概要図

データの抽出は, Section の各データに付与された WikiData の URL から特定した QID を用いて行った.抽出したデータの前処理として, 複数の文が連結さ れていた場合には分割し, 節のセグメント数が 2 つ 以下のデータと 3 文以下のデータはコーパスから削除した. 文の分割には Python のオープンソースライ ブラリ $\mathrm{nltk}^{1)}$ を使用した. 学習・検証・評価データへ の分割は Section の学習・検証・評価データと同じ データが含まれるように行った。

また, LTS の評価に良く用いられるコーパスに Elements[11] がある. Elements は複数の文が連結さ れているデータが多く, また, 記号が削除されてい るために元の文に分解することが難しいことから， Wiki-40B から新たに構築した Hier.Elements を評価 データとして使用した. Hier.Elements は化学元素に 関する記事の QID をSPARQL を使用して収集し, 対応するデータを Wiki-40B から抽出することによっ て構築した. 前処理は Hier.Section と同様に行った.

## 3.2 提案モデル

HTS では階層ごとに関連性を考慮する範囲が異な るため, 局所的・大域的な関連性がどちらも重要で ある。TFE は系列全体の関連性を見ながら特徴を抽出するため, HTS モデルの predictor には TFE が適切 である。さらに, encoder に事前学習済み BERT を用 いることで, predictor では学習コーパスに依存しな い汎用的な文特徴べクトルが利用できる. また, 小さ

1) https://www.nltk.org/

いセグメントはテキストを構成する意味の最小単位 となるため, ボトムアップで構造化することで, その 後のセグメントの統合を精度よく行うことができる [4]. したがって, 本稿は encoder には BERT, predictor には TFE を用い, ボトムアップで推定する HTS モデ ルを提案する。

encoder は BERT が出力した sub-word 単位の特徴 ベクトルを平均し, 文特徴べクトル $f^{i}$ として出力す る. predictor のモデル概要図を図 2 に示す. predictor は 2 層の TFEを 3 つの持ち, それぞれのパラメータ は独立している. bottom ・ middle・top は段落・節・章の階層にそれぞれ対応し, ボトムアップに bottom から順にセグメント終端を推定する。

bottom では, まず, encoder から受取った文特徴 ベクトル系列 $f_{1: L}$ を TFE に入力し, 階層特徴べ クトル系列 $h_{1: L}^{b}$ を得る (式 1). 計算した $h_{1: L}^{b}$ から Feed Forward Network(FFN) と softmax 関数によって bottom のセグメント終端確率 $p_{1: L}^{b}$ を算出する (式 2).

$
\begin{aligned}
h_{1: L}^{b} & =T F E^{b}\left(f_{1: L}\right) \in \mathbb{R}^{L \times d} \\
p_{i}^{b} & =\frac{\exp \left(g_{i}^{b}\right)}{\sum_{j=1}^{L} \exp \left(g_{j}^{b}\right)} \in \mathbb{R}^{2} \\
g_{1: L}^{b} & =F F N_{p}^{b}\left(h_{1: L}^{b}\right)
\end{aligned}
$

式中の $d$ は BERT の特徵ベクトル次元, $\mathrm{L}$ は入力テキストの文の数をそれぞれ表し, $F F N_{p}^{b}(\cdot)=$ $W_{p}^{b} \cdot \operatorname{relu}(\cdot)+b_{p}^{b}$ である.

次に, $p_{1: L}^{b}$ を閾値処理しセグメント終端位置を特定する. ただし, 学習時には正解ラベルをセグメン 卜終端位置として用いた. 特定したセグメント終端位置からセグメント系列 $\mathrm{Seg}^{b}$ を得る. セグメント $S e g_{i}^{b}$ は i 番目のセグメントに含まれる文の添え字集合を表す. 例えば, 3 文目と 6 文目がセグメント 終端の場合, $\operatorname{Seg}_{1}^{b}=\{1,2,3\}, S e g_{2}^{b}=\{4,5,6\}$ となり, $\left|S e g_{1}^{b}\right|=\left|S e g_{2}^{b}\right|=3$ である. 統合べクトル $e_{i}^{b}$ は, コン テキストベクトル $C^{b}$ を用いた注意機構 [12] によっ て計算する (式 3).

$
\begin{aligned}
e_{i}^{b} & =\frac{1}{\left|\operatorname{Seg}_{i}^{b}\right|} \sum_{j \in \operatorname{Seg}_{i}^{b}} a_{j}^{b} \cdot h_{j}^{b} \\
a_{i}^{b} & =\frac{\exp \left(z_{i}^{b}\right)}{\sum_{k \in \operatorname{Seg}_{j}^{b}} \exp \left(z_{k}^{b}\right)} \text { s.t. } i \in \operatorname{Seg}_{j}^{b} \\
z_{1: L}^{b} & =C^{b} \cdot \tanh \left(F F N_{z}^{b}\left(h_{1: L}^{b}\right)\right) \in \mathbb{R}^{L}
\end{aligned}
$

bottom で特定したセグメント系列が $\left|\operatorname{Seg}^{b}\right|=M$
であるとき, middle では bottom の計算した統合べク トル系列 $e_{1: M}^{b}$ を大力として受け取る. 同様に, middle で特定したセグメント系列が $\left|\mathrm{Seg}^{m}\right|=N$ であると き, top は middle の統合ベクトル系列 $e_{1: N}^{m}$ を受け取 る. 入力ベクトル以外は bottom と同様の手続きで middle・top のセグメント終端確率を推定する. 目的関数は各階層における Cross-Entropy Loss(CEL) の総和としてモデルを更新した.

$
\begin{aligned}
\text { loss }=\frac{1}{L} C E L\left(y_{1: L}^{b}, p_{1: L}^{b}\right) & +\frac{1}{M} C E L\left(y_{1: M}^{m}, p_{1: M}^{m}\right) \\
& +\frac{1}{N} C E L\left(y_{1: N}^{t}, p_{1: N}^{t}\right)
\end{aligned}
$

式中の $y$ はそれぞれの階層の正解ラベル, $p_{1: N}^{m} \cdot$ $p_{1: N}^{t}$ は middle・top で計算されたセグメント終端確率をそれぞれ表す. 提案モデルでは各階層のセグメ ント単位で特徴ベクトルを統合しながら推定を進め るため, 階層ごとに系列長が異なる。そのため, 階層 ごとのロスのバランスを取るために系列長でスケー リングを行った. また, FFNに入力される特徴べクト ルは, 入力される直前に一定の割合で要素を 0 に置換する dropoutを適用した [13].

## 4 実験

## 4.1 実験設定

実験に使用するコーパスとその統計量を表 1 に示 す. 学習コーパスとトピックが異なるコーパスをド メイン外 (Out-Of-Domain: $\mathrm{OOD}^{\dagger}$ ) とする。学習コー パスには Hier.Sectionを用いた. 学習・評価データの 作成の詳細は付録を参照されたい. 最適化関数には AdamW を用い, 学習率は $10 \mathrm{e}-4$, 学習エポック数は 50, dropout 割合は 0.1 とした. 評価時のセグメント 終端位置の特定に使用する閾値は, 検証データにお いて最も良い F1 となった間値を使用した. 実装に は Pytorch ${ }^{2}$ と hugingface ${ }^{3)} の$ Transformers, encoder の BERT には”bert-base-cased”を使用した。また, BERT はパラメータを固定して実験を行った。

ベースラインは, LSTM を積層した HierLSTM[5] と, BERTを積層した HierBERT[7] の 2 つの LTS モ デルとした. HierLSTM と HierBERT はそれぞれの論文にしたがって実装し，提案モデルと同様の学習・評価を行った。また, HierBERT の BERT には提案モ デルと同様に”bert-base-cased”を使用した.

表 2 評価コーパスの評価結果 $(\mathrm{F} 1 \uparrow / \mathrm{PK} \downarrow)$

## 4.2 評価

評価には $\mathrm{F} 1 ・ \mathrm{Pk}[15]$ の 2 つの指標を用いた. $\mathrm{Pk}$ は窓幅 $\mathrm{k}$ 内のセグメント終端数の一致を測ることで セグメントのエラー率を計算する. F1・Pk は 1 つの コーパスのすべてのデータの推定結果を連結した系列に対して計算した. Pk は Python のオープンソース ライブラリ segeval ${ }^{4)}$ を用いて計算した.

評価コーパスには表 1 に示した 4 つのコーパスを 用いた. 複数階層の正解ラベルを持たないコーパス に対する提案モデルの評価は, 節の階層の推定結果 を用いて行った. また, 各データの末尾は必ずセグメ ント終端となるため, 節と段落の階層では既知のも のとして評価を行った.

## 5 結果と考察

表 2 に評価コーパスにおける結果を示す。表中の 太字は最も良いモデルの結果を表し, OOD-Ave には OODコーパスの結果の平均を示す.

個々の OOD コーパスの結果を見ると, Hier.Elements と Choi では F1・Pk 共に提案手法が最も良い 結果となった。また, Wiki-50においては, F1 では既存モデルと差があるが, $\mathrm{Pk}$ ではその差は小さい. さ らに, OOD-Ave の結果をみると, F1 と Pk 共に提案モ デルが最も良い結果となった. したがって, 構造情報 を用いることでモデルのドメイン汎化性能が向上す ることが確認された。

表 3 に Hier.Section の評価データ (Hier.Section-test) における結果を示す. Hier.Section-test における提案 モデルの結果を見ると，いずれの階層においても高 い性能で推定出来ている. したがって, 深層学習を用 いることで学習コーパスにおいては高性能な HTS モデルを学習出来ることが確認された.表 3 Hier.Section-test の評価結果 $(\mathrm{F} 1 \uparrow / \mathrm{PK} \downarrow)$

一方で, 階層ごとの性能を比較すると, 章の性能が 他の階層よりも高く, 階層ごとの性能差が大きい. さ らに,Hier.Section-test と Cities では既存モデルの性能 の方が高く, 提案モデルの学習コーパスと同じドメ インのコーパスでの性能は低下していることが分か る. これは, 推定の難易度が階層ごとに異なることを 示唆している. また, 提案モデルはボトムアップ方式 で推定を進めるため，段落の階層の推定精度が他の 階層に影響を与える. したがって, モデル全体の性能 に重要な階層よりも他の階層が先に学習されたこと によって，不適切な局所解に収束した可能性がある。適切な順序で階層の学習が進むような工夫をするこ とでモデルの性能が向上することが期待される.

以上のことから，学習コーパスにおいては高性能 な HTS モデルを学習可能であり, 提案モデルはドメ イン汎化性能が高いことが確認されたが，更なる性能改善の余地があることがわかった.

## 6 おわりに

本稿では，構造情報を持った大規模な学習コーパ スを構築し, 深層学習を用いた階層的なテキストセ グメンテーションモデル (HTS モデル) を提案した.評価の結果, 学習コーパスにおいては高性能な HTS モデルが学習可能であり, 提案モデルは既存モデル よりもドメイン汎化性能が高いことから, 構築した コーパスと多くの構造情報を推定に用いることの有効性が確認された．学習の工夫によってモデルの性能を更に向上させることが今後の課題である.

4) https://segeval.readthedocs.io/en/latest/

## 参考文献

[1] Marti A. Hearst. Text tiling: Segmenting text into multiparagraph subtopic passages. Computational Linguistics, Vol. 23, No. 1, pp. 33-64, 1997.

[2] Goran Glavǎs, Federico Nanni, and Simone Paolo Ponzetto. Unsupervised text segmentation using semantic relatedness graphs. In Proceedings of the Fifth Joint Conference on Lexical and Computational Semantics, Association for Computational Linguistics, pp. 125-130.

[3] Anna Kazantseva and Stan Szpakowicz. Hierarchical topical segmentation with affinity propagation. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics, pp. 37-47, 2014.

[4] Mostafa Bayomi and Sěamus Lawless. C-hts: A conceptbased hierarchical text segmentation approach. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[5] Omri Koshorek, Adir Cohen, Noam Mor, Michael Rotman, and Jonathan Berant. Text segmentation as a supervised learning task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 469-473.

[6] Linzi Xing, Brad Hackinenz, Giuseppe Carenini, and Francesco Trebbi. Improving context modeling in neural topic segmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 626-636, 2020.

[7] Michal Lukasik, Boris Dadachev, Kishore Papineni, and Gonçalo Simões. Text segmentation by cross segment attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4707-4716, 2020.

[8] Goran Glavǎs and Swapna Somasundaran. Two-level transformer and auxiliary coherence modeling for improved text segmentation. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, 2020.

[9] Sebastian Arnold, Rudolf Schneider, Philippe CudréMauroux, Felix A. Gers, and Alexander Löser. Sector: A neural model for coherent topic segmentation and classification. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 169-184, 2019.

[10] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40b: Multilingual language model dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2440-2452, 2020.

[11] Harr Chen, S.R.K. Branavan, Regina Barzilay, and David R. Karger. Global models of document structure using latent permutations. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 371-379, 2009.
[12] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489.

[13] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014.

[14] Freddy Y. Y. Choi. Advances in domain independent linear text segmentation. In 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 26-33, 2000.

[15] Doug Beeferman, Adam Berger, and John Lafferty. Statistical models for text segmentation. Machine Learning, Vol. 34, No. 1, pp. 177-210, 1999.

[16] Eisenstein Jacob and Regina Barzilay. Bayesian unsupervised topic segmentation. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 334-343, 2008.

## A 付録

## A. 1 学習・評価データ作成

学習データはランダムにサンプリングした $2 \sim 6$ 個のデータを連結することによって作成した. 計算量の都合で, 連結し たデータの文長と文数はそれぞれで sub-word 単位で 64 単語・ 128 文を上限に制限した. 上限を超える場合は, 文は上限位置で切り捨て,データは上限位置で分割した. また, 節・段落の順序は $1 / 2$ の割合でランダムな順序にシャッフルした.

評価データは, コーパス中のすべてのデータを連結し, 128 文を窓として 64 文ずつスライドしてデータの半分が重複す るように分割し作成した. 重複する部分は推定したセグメント終端確率を平均することで統合し, 最終的な推定結果とし て評価を行った. 評価時には, 節・段落の順序のシャッフルは行わず, 文字数の制限のみ学習時と同様に行った.

## A. 2 実験結果詳細

表 4 にはベースラインとした 2 つの既存モデルの結果, 表 5 には提案モデルの結果をそれぞれ示す. 段落の正解ラベル を持たないコーパスでは,節の正解ラベルを使って段落階層の推定結果を評価した (表 5 下線).

Section-test は Section の評価コーパスで, Hier.Section-test と結果に乘離がないことを確認するために評価を行った. Clinical は医学書からいくつかの章を抽出し, 節をセグメントとして構築したコーパスである [16]. 形式の異なるコーパス に対する汎化性能を検証するために Clinical でも実験を行った. 以下に Clinical の統計量を示す.

・データ (長さ/数): 140.4 / 227, 節 (長さ / 数): 34.8 / 4.0, 段落 (長さ / 数): - / -

Clinical は 1 つのデータが長く節のセグメントも大きい. Clinical の 1 つのセグメントは, Hier.Section の 1 つのデータと 同程度の大きさであるため, 提案モデルにおいては章の階層で推定されるセグメントに相当すると考えられる. そこで, Clinical ではデータの連結は行わず, データを 1 つずつ入力し推定を行った. さらに, 提案モデルの章・段落の階層の推定結果は, 節の正解ラベルを使って評価を行った.

## A. 3 階層数を固定した HTS における課題

Clinical における提案モデルの結果をみると, 章の階層での F1・Pk が最も良い結果となった. 既存モデルの結果と比較 すると, F1 では HierBERT が最も良いが, Pk では提案モデルが最も良い結果となっている. Clinical における提案モデルの 章の階層の推定結果を分析すると, 湧き出し誤りは極端に少なく, 見落とし誤りが失敗のほとんどを占めており, 正しく検出されたセグメント終端のほとんどはテキストの末尾の既知としたセグメント終端であった. その結果, セグメント数が 少ない Clinical では Pk が高くなったことが分かった (表 1). さらに, 節の階層では高い Recall でセグメント終端が検知で きていることから, 章の階層ではそのほとんどが棄却されていることが分かる (表 5). これは, Clinical のセグメントは学習 コーパスにおける章と節の中間の階層にあたることを示唆している. また, Hier.Elements の章の階層においても, 節の階層 で推定されたセグメントの終端をほとんど棄却しており, Clinical と同様の傾向が確認された.

HTS においては,この様な対応できない階層が正解として求められる場合があるが, 階層数を固定した HTS モデルでは,原理上対応が難しい. 汎用的に利用可能なモデルには,この様な課題に対応することも必要となるため, 対応可能なモデル の検討も今後の課題である.

 &  &  & 0.425 & 0.547 & 0.347 & 0.327 & $\underline{0.421}$ & $\underline{0.301}$ & $\underline{0.698}$ & $\underline{0.397}$ \\