# Entity Position Matters - Towards Improving a Generative End-to-End Relation Extraction Model

Shanshan Liu Yuji Matsumoto
Center for Advanced Intelligence Project, RIKEN
\{shanshan.liu yuji.matsumoto $\} @$ riken.jp
}

\begin{abstract}
In order to improve the performance of the generative end-to-end relation extraction method for the material synthesis procedure extraction task, we added direct entity position information to the existing generative model during decoding, and explored whether the utilization of position information is effective in the situation after the output space changes. Experimental results show that when the output space is equipped with the absolute positions of the input tokens, the improvement is limited with the pretrained language model (PLM) that uses absolute position embeddings, while the PLM using relative position embeddings can be significantly improved.
\end{abstract
## 1 Introduction

With the rise of generative methods, end-to-end relation extraction (RE) has become a topic of increasing interest in recent years $[1,2,3,4]$. The task requires identifying entities and capturing relations between pairs of entities. Most generative methods do not provide the location of entities in the text, and often treat mentions that appear at different locations in the text but have the same content equally $[1,2,3]$.

In some applications, the position of an entity in the original text is very critical and cannot be neglected. Position information can help us distinguish between two mentions with the same content but in different places. It can also inform us about the role of entities in more complex structured information. For example, in the material synthesis procedure extraction task, two "heating" operations that occur at different places in the procedure should have distinct effects. Their duration and temperature can be quite different. It would be confusing if the model only outputs text triplets (head entity, tail entity, relation type) without knowing the exact positions of the entities, such as (heating, 2h, condition_of) and (heating, 1h, condition_of).

One generative model that meets the need for entity locations for such tasks is the BartNER model [5]. This model generates entity information by setting the output spaces to the types of the entity and the positions of input tokens. With the practical output formats for relation-level information, the model is capable to do end-to-end RE [6].

Generative pretrained language models (PLMs) like BART [7] or T5 [8], have taken into account the position information of input text. Thus, the generative model gives acceptable performance even if the target output changes from tokens (i.e. predicting the most appropriate token from the whole vocabulary) to position indexes (i.e. predicting the position of the most suitable token in the original text).

We are interested in the following question: Does the change of the output space put forward higher requirements for the learning of position information by the generative model? In order to explore this problem, based on BartNER, we added a feature of decoded entity offsets before doing classification to enhance position information. We conducted experiments using models with BART and T5 as PLMs.

Experimental results showed that the added feature only slightly improved the model using BART, but significantly improved the model using T5. On tasks that require absolute position information, the added feature has a positive impact on models that utilize relative position embeddings. The small effect on BART indicates that BART has mastered absolute position well, and strengthening position information would not be a helpful way to boost it.

Our contributions:
- Increasing the impact of entity position information by adding position features to the BartNER model,

Figure 1 Example of the target output under our definition.

improves the effect of end-to-end relation extraction.
- We found that pretrained language models using absolute position embeddings outperform those using relative position embeddings in the task of directly generating token indexes instead of token text.
- The pretrained language model using absolute position embeddings is recommended for tasks that require entity offset.

## 2 Methods

## 2.1 Task formulation

In this work, the end-to-end RE task can be formulated as generating a sequence of entity spans and relation spans given input text. First, we assign specific indexes to tokens in the input text, entity types, and relation types following BartNER's scheme [5]. Given an input text containing $n$ tokens, the $i_{-}$th token will be assigned with index $i$. If we have $m$ types of entities and $k$ types of relations, the range of indexes of the entity types is $(n, n+m]$, and the range of indexes of the relation types will be $(n+m, n+m+k]$. Then we let the model generate all entity spans represented by assigned indexes. The entity span is in the form of [first subtoken, last subtoken, Entity type]. After that, we let the model generates all relation spans in the form of [first subtoken of Head entity, first subtoken of Tail entity, Relation type]. The order of spans is determined by the appearance order of entities in the text when generating entities or by the appearance order of the head entities when generating relations (See Fig. 1).

## 2.2 BartNER

BartNER model uses Encoder-Decoder of the generative PLM as a basis to make the index probability dis- tribution $P_{t}$ at time $t$ given input $X$, generated indexes $\hat{Y}_{<t}=\left[\hat{y}_{1}, \ldots, \hat{y}_{t-1}\right]$, and labels of entity and relation $Z$ as follows:

$
\begin{gathered}
H^{e}=\operatorname{Encoder}(X) \\
E^{e}=\operatorname{TokenEmbed}(X) \\
\hat{H}^{e}=\operatorname{MLP}\left(H^{e}\right) \\
\bar{H}^{e}=\alpha * \hat{H}^{e}+(1-\alpha) * E^{e} \\
h_{t}^{d}=\operatorname{Decoder}\left(H^{e} ; \hat{Y}_{<t}\right) \\
Z^{d}=\operatorname{TokenEmbed}(Z) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes h_{t}^{d} ; Z^{d} \otimes h_{t}^{d}\right]\right)
\end{gathered}
$

where TokenEmbed is the token embeddings used in PLM; $\hat{Y}_{<t}$ should be indexes of input tokens or indexes of entity/relation types; $\alpha$ is a hyper-parameter set as 0.5 in this work; $[\cdot ; \cdot]$ means concatenation of vectors.

## 2.3 Position Feature

According to the index scheme used in decoding, the original algorithm may be viewed as a generation process where the output space is changed to the absolute position of the concatenated text of the input tokens and all entity types. We intuitively consider that the embeddings of generated indexes can help introduce absolute position information that has not been complicatedly encoded by PLM. We therefore refer to this embeddings as a position feature. Given that only entity position information is generated in the end-to-end RE task, this feature actually only provides entity position information.

To incorporate this feature into the decoding process, we change the algorithm in the following way:

$
h_{t}^{p}=\operatorname{PositionFeature}\left(\hat{y}_{t-1}\right)
$

$
\begin{gathered}
\bar{h}_{t}^{d}=\operatorname{Linear}\left(\left[h_{t}^{d}: h_{t}^{p}\right]\right) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes \bar{h}_{t}^{d} ; Z^{d} \otimes \bar{h}_{t}^{d}\right]\right)
\end{gathered}
$

where PositionFeature is the learnable embeddings to embed the $\hat{y}_{t-1}$ into a 32-dim vector.

## 3 Experiments

## 3.1 Dataset

To confirm the effectiveness of the additional position information on the traditional sentence-level task, we choose CoNLL04[9], a news domain dataset consists of four types of entities and five types of relations. Data split is conducted in accordance with previous works. The dataset statistics are shown in Table 1.

In order to provide a task in which the entities offsets must be extracted, we chose Procedure dataset ${ }^{1)}$, a dataset contains 576 thermoelectric material papers annotated by experts. All procedure information is structured into five types of entities and seven types of relations. The data are randomly split with a ratio of training:validation:test $=8: 1: 1$. It should be noted that we take the sequence of sentences extracted from the full text of the chemical paper by a text block extractor as input. To adapt to practical applications, after the text block containing procedure information has been automatically extracted, an end-to-end relation extractor is used to obtain specific entity- and relation-level information.

## 3.2 Evaluation

Following other end-to-end RE tasks[2], we report precision (Pre), recall (Rec) and micro-F1 scores (F1). The prediction of an entity is correct only when the type and offset match the golden entity. If the type and offset of the two entities and the relation type match the golden relation, the prediction is correct. All relations are directed. We report the average score after 3 runs of each setting.

## 3.3 Experiment Setup

We use a rewritten version of the BartNER model developed by Yan's group [5] based on their public code ${ }^{2)}$. On the Procedure dataset, we performed experiments utilizing BART-large (facebook/bart-large) [7] and T5-base

1) The annotation results will be made public.

2) https://github.com/yhcc/BARTNER (google/t5-v1_1-base) [8] as the PLMs in our method. As the model using T5 cannot converge to a small loss, we only estimated the effect of applying BART-large on the CoNLL04 dataset. We compare our method with the SOTA models on CoNLL04, the REBEL[2].

## 4 Results

The experiment results are shown in Table 2 and Table 3. Even if we only use a trivial approach to bring entity offset information into the generation process, the position feature still gives us a slight improvement. However, this improvement varies by PLMs and tasks. The gap (7.67\% RE F1) between our method and the SOTA model on the CoNLL04 reminds us there is still a lot of room for improvement, but not from the absolute position aspect.

## 4.1 Entity Position Matters

The improvement after adding the decoded position information indicates that after the output space is changed to absolute positions, the requirements for the ability to utilize position information of the generative model are higher.

Taking advantage of the absolute position embeddings, the BART-based model is less affected and only slightly improved $(0.27 \%$ RE F1 on Procedure dataset; $0.32 \%$ RE F1 on CoNLL04). This means that BART has learned absolute position information well, so simply providing similar information is somewhat redundant.

On procedure extraction, adding the position feature improves the Precision, but makes the Recall salient decrease( $-2.52 \%$ NER Recall, $-0.83 \%$ RE Recall). The count of predicted spans (both entities and relations) also decreases. We think this is related to the procedure extraction task itself. The text to be processed by RE is long (hundreds of tokens), the number of entities and the number of relations in a piece of text are large (including one or more synthesis procedures, and a synthesis procedure consists of several processes and related materials, operating conditions). When the model uses the added position feature to better fit the training data but the semantic representation ability does not improve simultaneously, it will tend to predict lesser spans while processing unseen data.

CoNLL04 has fewer data and most inputs are short. There are many difficult relation cases that require knowledge to make correct predictions. Therefore, the generalization ability in RE is not significantly affected, only

& Types & Inst & Rel & Inst & Rel & Inst & Rel \\

CoNLL04 & 4 & 5 & 922 & 1290 & 231 & 343 & 288 & 422 \\

Table 1 Dataset statistics.

Table 3 Results on CoNLL04 dataset.

the number of predictions in entity recognition is reduced, bringing lower NER Recall.

The absolute improvement of 1.71 points on REF1 when using T5-base demonstrates the importance of position information.

## 4.2 Position embeddings Matters

From Table 2 we can see that BART-large (RE F1: $65.34 \%$ ) outperforms T5-base (RE F1: 61.98\%) a lot. That's quite interesting because both BART and T5 achieve promising results on so many tasks, there should not be that huge difference in their capability. In addition to the language model sizes (BART-large is twice the size of the T5base), we speculate that this large discrepancy is caused by their different position embedding schemes.

Although both have their strengths and weaknesses in text-to-text tasks, relative position encoding appears to be a bit incompetent when it comes to tasks that output absolute positions. The lack of learning about the absolute position makes the T5-based model significantly improved on every indicator after corporated with the position feature.

## 4.3 Training Problem using T5-base

An interesting finding is that for large pretrained models with an encoder-decoder structure, BART can adapt to the output space we defined, but $\mathrm{T} 5$ cannot cope with changed settings. It is hard to get a relatively small loss value after we changed the PLM to T5-base. We tried several combinations of hyperparameters (changed the learning rate and increased the training epoch, etc.) to get the reported results on the Procedure dataset, and failed the training on CoNLL04 (NER F1: 28.69\%; RE F1: $15.44 \%$ ). Up to the present, we still have not found an appropriate training hyperparameter setting that allows the model to converge stably and effectively. The performance of $\mathrm{T} 5$, which we barely achieved, is lagging behind the BART results.

The training problem of the T5-based we met emphasizes that the information we hope the model to learn should compatible with the output space. Or we can design a better output space to fully exploit the potential of the PLMs.

## 5 Conclusion

In this work, we explore two generative PLMs when the output space is position indexes instead of text by introducing absolute position information. Results show that BART performs better due to its absolute position embeddings, and adding entity offset information does not have a significant impact. However, there is still a distance from the advanced model. T5, a model using relative position embeddings can benefit from added position feature, but there are still cases of low recall or difficult training. We recommend considering the task output space when picking a PLM, or transforming the output format to fit the model.

## References

[1] Martin Josifoski, Nicola De Cao, Maxime Peyrard, and Robert West. Genie: generative information extraction. arXiv preprint arXiv:2112.08340, 2021.

[2] Pere-Lluís Huguet Cabot and Roberto Navigli. REBEL: Relation extraction by end-to-end language generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2370-2381, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, and Dawn Song. DeepStruct: Pretraining of language models for structure prediction. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 803-823, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Tianyu Liu, Yuchen Jiang, Nicholas Monath, Ryan Cotterell, and Mrinmaya Sachan. Autoregressive structured prediction with language models, 2022.

[5] Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, and Xipeng Qiu. A unified generative framework for various ner subtasks. arXiv preprint arXiv:2106.01223, 2021.

[6] Liu Shanshan, Ishigaki Tatsuya, Uehara Yui, Takamura Hiroya, and Matsumoto Yuji. Generate it. a simple method for end-to-end relation extraction. 2023.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. CoRR, Vol. abs/1910.13461, , 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[9] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.


# Improving Evidence Detection with Domain-specific Implicit Reasonings

Keshav Singh ${ }^{\dagger} \quad$ Naoya Inoue $^{\ddagger, *} \quad$ Paul Reisert ${ }^{\star} \quad$ Farjana Sultana Mim $^{\dagger} \quad$ Shoichi Naito $^{\dagger, \diamond, *}$
Camélia Guerraoui $^{\dagger} \quad$ Wenzhi Wang ${ }^{\dagger, *} \quad$ Kentaro Inui ${ }^{\dagger, *}$
†Tohoku University ‡JAIST *RIKEN "Beyond Reason ${ }^{\star}$ Ricoh Company, Ltd.
\{singh.keshav.t4, mim.farjana.sultana.t3, naito.shoichi.t1\}@dc.tohoku.ac.jp
\{wang.wenzhi.r7, guerraoui.camelia.kenza.q4 \}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com naoya-i@jaist.ac.jp kentaro.inui@tohoku.ac.jp

## Abstract

Identifying relevant pieces of evidence for a given claim has recently gained significant attention in argument mining due to its downstream use in applications like factchecking, argument search, etc. While current approaches rely on supervised training of large language models for classifying candidate evidence as acceptable or not for a given claim, they don't generalize well on newer topics for which little to no training data is available. To overcome this issue, in this work, we simultaneously explore the effectiveness of closed-domain approach and leveraging domain-specific implicit reasonings for evidence detection task. Our experimental findings suggest that performance gain in the identification of acceptable evidence for a claim can be further improved even with a small amount of domain-specific implicit reasonings.

## 1 Introduction

Evidence detection [1] is a sub-task in argument mining that has become an essential component in building natural language systems capable of arguing, debating, and fact checking [13, 9, 2, 10, 17]. Shown in Figure 1, evidence detection refers to the task of identifying evidential statements (i.e., statements of fact, judgement, or testimony) from a set of candidate evidence that support a given claim (i.e., a debatable belief or opinion).

Towards automatically identifying acceptable evidence, recent approaches have relied on pretrained large language models (LLMs) as a default choice because of their outstanding performance in a wide range of NLP tasks [8, 6], including evidence detection $[14,12,5]$. While most of
Input

## Claim :

We should ban performance enhancing drugs (PEDs).

## Candidate Evidences:
- Doping can ultimately damage your health.
- IARC classifies androgenic steroids as "Probably carcinogenic to humans".
- FDA does not approve ibuprofen for babies under 6 months due to risk of liver damage.

Output: Acceptable evidence

IARC classifies androgenic steroids as "Probably carcinogenic to humans"

Figure 1: Overview of the evidence detection task we address in this work. Given a claim and a list of candidate evidence, the goal is to identify an acceptable piece of evidence for the given claim.

these approaches use supervised learning (i.e., incorporating labeled data for training) and rely on the better generalization ability of LLMs [3, 21], they struggle to produce good results for new topics in which there is little to no training data available. In other words, the quality of their topic generalisation is not adequate $[18,19]$. In order to overcome this challenge, in this work, we propose a closed-domain approach towards evidence detection task. ${ }^{1)}$ Specifically, we follow previous works and take a supervised approach, but instead of directly adopting LLMs for domain-general evidence detection (i.e., train-

1) In this work, the terms domain and topic share the same meaning, and both refer to the topic of the argument being analyzed.

Figure 2: Our proposed framework for the evidence detection task. For a given claim $(c)$ and candidate evidence ( $e$ ), first the implicit reasoning component extracts relevant implicit reasoning (ir). Later, BERT takes $(c),(e)$ and $(i r)$ as inputs to compute final hidden state of [CLS] token that is fed to a fully-connected feed-forward layer for evidence classification.

ing model on arguments from all topics at once), we train the model on arguments (claim-evidence pairs) belonging to a specific domain along with relevant implicit reasonings (statements that explicitly state the reasoning link between a given claim and evidence) as an input feature. We hypothesize that (i) since LLMs are pre-trained on a large amount of generic text, using a closed-domain approach can assist it to acquire relevant domain-specific knowledge, and (ii) leveraging implicit reasonings belonging to that domain can to be an effective signal for models in establishing the logical link between a given claim and correct evidence candidate [16]. In summary, the contributions of our work are as follows:
- We explore the applicability of a closed-domain approach and domain-specific implicit reasonings towards the evidence detection task and to the best of our knowledge, we are the first to explore this approach.
- We experiment and find that large language models (BERT) trained with domain-specific implicit reasonings in a closed-domain setting performs better than when trained without them.

## 2 Our Approach

## 2.1 Overview

Given a topic, claim, and candidate evidence as input, our framework estimates the likelihood of the claim being supported by that candidate evidence. As described in Section 1, we take a closed-domain approach (i.e., we train and test one topic at a time) and simultaneously leverage domain-specific implicit reasonings that are extracted via the implicit reasoning component (See Section 2.2). The complete overview of our evidence detection framework is shown in Figure 2.

Our framework first extracts implicit reasonings (via implicit reasoning component) that link a given claim to an evidence piece, and later leverages the acquired implicit reasoning to estimate the score. We assume that for a given claim and a piece of evidence, there can be several possible variants of implicit reasoning for one given claim-evidence pair.

## 2.2 Implicit Reasoning Component

Given a claim and a piece of evidence, our goal is to extract relevant implicit reasonings that link the claim with that evidence piece. Ideally, we can find plausible implicit reasonings for correct claim-evidence pieces, but we cannot for wrong pieces. Instead, for wrong claim-evidence pieces, we find non-reasonable implicit reasonings that would be less convincing and irrelevant.

Let $\mathscr{D}=\left.\{\left(c_{i}, p_{i}, r_{i}\right)\right.\}_{i=1}^{n}$ be a database of implicit reasoning annotated arguments, where $c_{i}, p_{i}, r_{i}$ are claim, premise and implicit reasoning linking $c_{i}$ with $p_{i}$, respectively ${ }^{2)}$. Given a query argument, i.e., claim $(c)$ and candidate evidence $(e)$ to be analyzed, we extract relevant implicit reasonings linking $c$ with $e$ via similarity search on $\mathscr{D}$. Specifically, we retrieve the top- $m$ most

2) In this work, the utilized source datasets $\mathscr{D}$ of implicit reasonings consists of premise instead of evidence. For more details, refer to $[7,15]$

Table 1: Statistics of Evidence data. Here, A and U refer to the number of acceptable and unacceptable evidences for a given topic.

similar arguments in $\mathscr{D}$ to the given query argument in terms of claim and a candidate evidence piece and then extract implicit reasonings from these similar arguments. We define the similarity between arguments as follows: $\operatorname{sim}\left(\langle c, e\rangle,\left.\langle c_{i}, p_{i}\right.\rangle\right)=\operatorname{sim}\left(c, c_{i}\right) \cdot \operatorname{sim}\left(e, p_{i}\right)$. In our experiments, we use Sentence-BERT [11], a BERT [3] based embedding model shown to outperform other state-of-theart sentence embeddings methods, to compute the textual embeddings of arguments and calculate semantic similarity between them via cosine-similarity.

## 3 Experiments

## 3.1 Source Data

Domain-specific Implicit Reasoning Data As our source of domain-specific implicit reasonings, we utilize the IRAC dataset (Implicit Reasoning in Arguments via Causality) [15], which consists of a wide variety of arguments annotated with multiple implicit reasonings. Overall, the dataset consists of 6 distinct topics covering over 950 arguments that are annotated with 2,600 implicit reasonings. For our experiments, we utilize all 6 topics.

Domain-general Implicit Reasoning Data In order to evaluate the effectiveness of our proposed domainspecific approach, for comparison, we utilize a domaingeneral corpus of implicit reasonings. Specifically, we rely on the Argument Reasoning Comprehension dataset (ARC) [7], which consists of 1,970 implicit reasoning annotated arguments covering over 172 topics ${ }^{3}$. Each instance in the dataset consists of (i) topic, (ii) claim, (iii)

3) In the original paper, Habernal et al. [7] refers to implicit reasonings as warrants. premise, (iv) correct implicit reasoning, and (v) incorrect implicit reasoning. For our experiments, we utilize only the correct implicit reasonings.

Evidence Data Instead of creating a dataset of claim and evidence pairs from nothing, we utilize the IBMEvidence dataset [4]. Each instance in IBM-Evidence dataset consists of (i) topic (ii) claim and (iii) a piece of candidate evidence, where each candidate evidence is annotated with a score (0-1) indicating its acceptability as evidence for a given claim.

The reason for the selection of this dataset for our experiments is twofold: (i) IBM-Evidence dataset offers $100 \%$ coverage of topics present in IRAC dataset. This enables us to adequately test our approach of leveraging domainspecific implicit reasonings for evidence detection task. (ii) IBM-Evidence dataset consists of evidences extracted from Wikipedia articles rather than crowdworkers or experts, hence closely representing real-world evidences. For our experiments, in addition to restricting on 6 topics, we perform an essential pre-processing step and label all candidate evidences as acceptable (score $\geq 0.6$ ) and unacceptable (score $\leq 0.4$ ) in order to classify them. In total, we are left with 1,030 instances of claim-evidence pairs covering 6 distinct topics as shown in Table 1.

## 3.2 Task Setting

In order to empirically validate the usefulness of utilizing domain-specific implicit reasonings for evidence detection task, we formulate the task in a binary classification setting, where, given a claim (C), a candidate evidence (E) and an implicit reasoning (I), the task is to classify the candidate evidence as acceptable or unacceptable for the given claim.

## 3.3 Models and Setup

We investigate four different models: (i) a strong baseline model, fine-tuned to classify candidate evidence as acceptable or not, purely based on claim and candidate evidence as input. For this purpose, we select pre-trained BERT model [3], namely BERT $_{\text {base }}$, which has been shown to outperform the previously established state-ofthe-art on similar tasks $[12,20,18]$. (ii) \& (iii) Two separate models to additionally consider the implicit reasonings available via domain-specific or domain-general resource, namely BERT $_{\text {in }}$, and BERT $_{\text {out }}$ respectively. (iv) Addi-

Table 2: Results of our two baseline models (Random and BERT base ) and two implicit reasoning based fine-tuned models $\left(\right.$ BERT $_{\text {in }}$ and BERT $\left._{\text {out }}\right)$ in closed-domain setting.

tionally, we consider a random baseline that predicts the most frequent class label as observed in the training data.

## 3.4 Evaluation Measures

We conduct the fine-tuning experiments for each topic separately and use 70:15:15 splits for training, validation and testing. Since the data for each topic is small (as shown in Table 1), we employ 5 -fold cross-validation and average the results. To account for random initialisation of the models, we repeat the experiments with multiple random seeds and report macro-averaged accuracy, precision, recall, and F1 score. In order to address the problem of class imbalance, we calculate class weights to influence the classification of labels during fine-tuning.

## 4 Results

We evaluate the fine-tuned models for evidence detection on the test set for each topic separately. Note that the results reported consider a single implicit reasoning as input along with claim and candidate evidence. We additionally experimented with multiple implicit reasonings as additional input features but found similar results. As shown in Table 2, all BERT-based models beat the random baseline on all topics, except Ban whaling, where their performance is marginally higher. BERT in $_{\text {in }}$ outperforms BERT $_{\text {out }}$ in all topics except Ban whaling and Compulsory voting. Overall, BERT base $^{\text {outperforms random baseline }}$ and achieves higher performance than our implicit reasoning fused models for half of the topics, namely Compulsory voting, Ban whaling and Capital punishment. Our proposed model using domain-specific implicit reasonings i.e., $\mathbf{B E R T}_{\text {in }}$ achieved higher performance for only two topics.

## 4.1 Analysis

Contrary to our expectation, BERT base achieved better accuracy than both implicit reasoning fused models on majority of the topics. To better understand this, we analyzed the topic overlap between arguments from ARC and IBM-Evidence dataset and found that arguments on topics Abolish zoos, Ban whaling, Capital Punishment and School Uniform were absent in ARC. This explain why BERT out $^{\text {B }}$ performance decreased for these topics. We additionally did manual analysis of implicit reasonings extracted for BERT $_{\text {in }}$ by randomly sampling 20 instances across all topics and found that only $40 \%$ of the extracted domainspecific implicit reasonings were relevant to a given evidence. However, for topics School Uniform and Abolish zoos they were indeed helpful in finding acceptable evidence.

## 5 Conclusion and Future Work

In this paper, we explored a closed-domain approach and exploited domain-specific implicit reasonings for the task of evidence detection. Our experiments showed that closed domain approach is beneficial for training largelanguage models and when leveraging implicit reasonings their performance can improve, given relevant reasonings are available. We hypothesize that reducing the effect of class imbalance with class weights is not sufficient and this might be a possible reason for low performance on topics with severe class imbalance. In our future work, we will focus on utilizing generation models for automatically generating implicit reasonings that can be leveraged for evidence detection task. Simultaneously, we will explore methods for addressing the class imbalance problem.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Ehud Aharoni, Anatoly Polnarov, Tamar Lavee, Daniel Hershcovich, Ran Levy, Ruty Rinott, Dan Gutfreund, and Noam Slonim. A benchmark dataset for automatic detection of claims and evidence in the context of controversial topics. In Proceedings of the First Workshop on Argumentation Mining, pages 64-68, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Tariq Alhindi, Savvas Petridis, and Smaranda Muresan. Where is your evidence: Improving fact-checking by justification modeling. In Proceedings of the first workshop on fact extraction and verification (FEVER), pages 85-90, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Liat Ein-Dor, Eyal Shnarch, Lena Dankin, Alon Halfon, Benjamin Sznajder, Ariel Gera, Carlos Alzate, Martin Gleize, Leshem Choshen, Yufang Hou, et al. Corpus wide argument mining-a working solution. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 7683-7691, 2020.

[5] Mohamed Elaraby and Diane Litman. Self-trained pretrained language models for evidence detection. In Proceedings of the 8th Workshop on Argument Mining, pages 142-147, 2021.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A Smith. Don't stop pretraining: adapt language models to domains and tasks. arXiv preprint arXiv:2004.10964, 2020.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. arXiv preprint arXiv:1708.01425, 2017.

[8] Jeremy Howard and Sebastian Ruder. Universal language model fine-tuning for text classification. arXiv preprint arXiv:1801.06146, 2018

[9] Marco Lippi and Paolo Torroni. Argumentation mining: State of the art and emerging trends. ACM Transactions on Internet Technology (TOIT), 16(2):1-25, 2016.

[10] Anastasios Lytos, Thomas Lagkas, Panagiotis Sarigiannidis, and Kalina Bontcheva. The evolution of argumentation mining: From models to social media and emerging tools. Information Processing \& Management, 56(6):102055, 2019.

[11] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[12] Nils Reimers, Benjamin Schiller, Tilman Beck, Johannes Daxenberger, Christian Stab, and Iryna Gurevych. Classification and clustering of arguments with contextualized word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 567-578, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show me your evidence - an automatic method for context dependent evidence detection. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 440-450, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Eyal Shnarch, Carlos Alzate, Lena Dankin, Martin Gleize, Yufang
Hou, Leshem Choshen, Ranit Aharonov, and Noam Slonim. Will it blend? blending weak and strong labeled data in a neural network for argumentation mining. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 599-605, 2018.

[15] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[16] Keshav Singh, Paul Reisert, Naoya Inoue, Pride Kavumba, and Kentaro Inui. Improving evidence detection by leveraging warrants. In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 57-62, Hong Kong, China, November 2019. Association for Computational Linguistics.

[17] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy Bar-Haim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, et al. An autonomous debating system. Nature, 591(7850):379-384, 2021.

[18] Chris Stahlhut. Interactive evidence detection: train state-of-theart model out-of-domain or simple model interactively? In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 79-89, 2019.

[19] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, and Hua Wu. Ernie: Enhanced representation through knowledge integration. arXiv preprint arXiv:1904.09223, 2019.

[20] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pages 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32, 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 近傍知識グラフからの埋め込みを統合利用する 文書からの遠距離教師あり関係抽出

松原拓磨 三輪誠 佐々木裕
豊田工業大学
\{sd19082, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

データベースから入力文書に出現する用語の近傍 を含む近傍知識グラフを動的に構築し，その近傍知識グラフから獲得した用語の表現を入力文書に統合 して利用する，新たな文書からの遠距離教師あり関係抽出モデルを提案する。提案手法により，遠距離教師あり関係抽出において作成したラベル付きテキ ストの言語情報のみを用いており，データベースに 登録されている他の用語や関係に関する豊富な情報 を活用できていない，という問題の解消を目指す.実験では薬物・疾患・遺伝子間の文書単位関係抽出 データセットである ChemDisGene データセットに おいて，提案手法における用語の表現の統合による 顕著な性能向上を確認した。

## 1 はじめに

様々な分野において，エンティティ間の新たな関係を報告する文書は日及爆発的に増え続けており，人手での分野データベースへの登録・整備が追いつ いていない. そのため, 文書からの関係の自動抽出 が求められており，その高い性能から機械学習を用 いた手法が主流となっている。 しかし，機械学習で は大量のラベル付きデータを必要とするため，ラべ ル付けにコストがかかる.

このコストの削減のために，Mintz ら [1] は既存 のデータベースを用いてラベルなしコーパスに機械的にラベル付けをした遠距離教師データを利用 する遠距離教師あり関係抽出を提案した. 遠距離教師データは，人手でラベル付けされたコーパスとは 異なり，データベースに登録されている用語間の関係をもとにラベル付けをするため，データベースに 直接結び付けられたラベル付きコーパスである. し かし，既存の遠距離教師あり関係抽出ではコーパス のみを用いており，データベースに登録されている用語の性質などの他の豊富な情報を利用できてい ない.

そこで，本研究では，データベースに登録されて いる情報の関係抽出への活用を目指す。このため に，データベース内の入力文書の全用語近傍の情報 を近傍知識グラフとして動的に構築し，遠距離教師 データに統合利用する新規の文書からの遠距離教師 あり関係抽出モデルを提案する。近傍知識グラフを 動的に構築することで，遠距離教師あり学習におけ る対象用語ペア間の教師ラベルをデータベースの情報から選択的に排除できるとともに，用語ペアごと に参照するデータベース内の情報の量を抑えること ができる．本研究の貢献は次の通りである。

・入力文書の全用語近傍のデータベースの情報を 表現する近傍知識グラフの動的構築に基づく,遠距離教師あり関係抽出のための用語の埋め込 み表現の獲得手法を提案

・近傍知識グラフから獲得した用語の表現を入力文書に統合し，利用する遠距離教師あり関係抽出モデルを提案

・文書単位遠距離教師あり関係抽出データセット である ChemDisGene[2] で，用語の表現を追加 することでの性能向上を確認

## 2 関連研究

## 2.1 遠距離教師あり関係抽出

遠距離教師あり関係抽出は Mintz ら [1] により提案され，人手でラベル付けされた教師データを必要 としない関係抽出モデルの学習方法である。遠距離教師データはデータベースと大量のラベルなしコー パスを用いて作成される。ラベルなしコーパスで共起した 2 つの用語に対して，データベースで 2 つの 用語間に関係が登録されているときに，2つの用語間に関係をラベル付けする。

図 1 提案手法の概要. 具体例として ChemDisGene [2] のデータを利用.

Zhang ら [2] は遠距離教師あり関係抽出データ セットである ChemDisGeneを提案し，テキストベー スの関係抽出モデルの評価を行った. ChemDisGene は生物医学文献データベース Medline [3] に登録 されている文献の題目・要旨に CTD (Comparative Toxicogenomics Database) [4] に登録されている薬物・疾患・遺伝子間の相互作用を割り当てた文書単位で の遠距離教師あり関係抽出データセットである. 評価のために人手でラベル付けされたテストデータ を提供している. CTD は薬物・疾患・遺伝子・突然変異・代謝の相互作用に関する複数のデータベース を統合したデータベースである. PubTator [5] を用 いて文献の題目・要旨に対して, 用語のスパンと概念クラスのラベル付けがされている。また，関係抽出モデルは事前学習済みモデル BERT (Bidirectional Encoder Representations from Transformers) [6] を用い て，BERT，最大値プーリング，全結合層の構成とし ている.

## 2.2 知識グラフの表現学習

知識グラフの各ノードにベクトル表現を与え， ノード間の関係性を学習する手法として，Kipf ら
が提案したグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] が挙げられる. GCN はグラフ構造を表現するグラフニューラルネット ワーク (Graph Neural Network; GNN) の 1 種であり，対象ノードの表現に隣接ノードの表現に重みをかけ たものを畳み込むことでノード表現の更新を行う。

また，知識グラフを対象に対象ノード近傍で抽出 したサブグラフを利用する手法が提案されている.例えば，Zhang らの提案したサブグラフに GNNを 適用する SEAL (learning from Subgraphs, Embeddings and Attributes for Link prediction) [8] はリンク予測タ スクにおいて高い性能を報告している。しかし, 遠距離教師あり学習において用語の近傍のサブグラフ を利用する手法は存在しない。

## 3 提案手法

本節では，本研究で新たに提案する，データベー ス内の入力文書近傍の情報を，入力文書に統合し利用する遠距離教師あり関係抽出手法について説明す る. 3.1 節で入力文書の近傍知識グラフ抽出（図 1(1) について説明し，3.2 節で入力文書と近傍知識 グラフのベクトル表現の統合利用（図 1-(2) につい

て説明する。

## 3.1 入力文書の近傍知識グラフの埋め込み

データベースに登録されている入力文書の全用語 の近傍となるトリプルを抽出する．具体的にはそれ ぞれの用語について，一定ホップ数以内で繋がるト リプルの集合を抽出する. 次に分類対象となる用語 ペアについて, 遠距離教師データの正解ラベルの情報となるぺア間のトリプルを削除した上で，近傍知識グラフとし， GCNで埋め込みを行う。このよう にすることで，データベース内の文書全体の用語の 周辺情報と関係情報を利用できるとともに，トリプ ルの集合を文書ごとに一度事前計算することで関係 ごとの近傍知識グラフの計算を簡略化できる.

## 3.2 言語情報と近傍知識グラフのベクトル 表現の統合利用

GCN で埋め込んだエンティティに対応するノー ドのベクトル表現をテキストと同時に BERT に入力 することで，遠距離教師データの言語表現と近傍知識グラフのベクトル表現を統合利用した関係抽出を 行う. 具体的には, BERT の入力テキストの後ろに “[SEP]”トークンを挟み，それぞれのテキスト内の 用語に対応するノードのベクトル表現を用語の位置 ID と一致させながら追加する [9]. 以降の関係抽出は既存研究 [2] と同様に行う. 具体的には，まず，対象用語ペアの用語のトークンに対応する BERT の 最終層のベクトルを取り出し, 用語ごとに最大值 プーリング層を通してそれぞれの用語の表現を得 る.その後, 用語の表現を結合し, 全結合層を通し て，関係ラベルに分類する. 本手法では文献 [9] と は異なり，用語ペアに対応するエンティティペアの 表現を分類に用いず，文献 [10] と同様，用語ペアの 表現を分類に用いる.

学習においては，最適化手法に Adam [11]を用い，交差エントロピーを目的関数として, GCN と BERT を同時に学習する。

## 4 実験設定

遠距離教師あり関係抽出データセットとして, ChemDisGene [2] の 78,463 件の医学文献をもとに作成された遠距離教師データ (CTD-derived) のうち, 76,942 件・1,521 件をそれぞれ訓練・開発データ, 523 件の人手でラベル付けされたデータ (Curated)をテ ストデータとして学習・評価を行った. 評価指標は マイクロ平均 $\mathrm{F}$ 値を用いた. 予測する関係の種類は
14 種類であり，内訳は薬物と疾患の関係 (Chem-Dis) が 2 種類，薬物と遺伝子の関係 (Chem-Gene) が 10 種類，遺伝子と疾患の関係 (Gene-Dis) が 2 種類であ る. ChemDisGene データセットの統計を付録 A の 表 4 に示す.

また，近傍知識グラフのエンティティには CTD の薬物・疾患・遺伝子を用いた。近傍知識グラフに は，入力文書に出現する用語に対応するエンティ ティからそれぞれ 2 ホップ先のノードを含んだもの を用いた. 100 個以上のエッジを持つノードについ てはランダムに 100 個のエッジに制限した．CTDの データの統計を付録 A の表 5 に示す.

ベースラインモデルは提案モデルから近傍知識グ ラフの情報を除いた既存研究 [2] と同じモデルであ る. 文献 [2] に従い，BERTには，データセットと近 いドメインで事前学習された PubMedBERT [12] を 用いた. PubMedBERT の埋め込み次元は 768 次元, テキストの最大長は 512 である. GCN の入力と出 カのベクトルはともに 768 次元とし, $\mathrm{GCN}$ は 2 層と した．実験環境の詳細は付録 B に示す.

## 5 結果と考察

Curated テストデータを用いて評価した文献から の薬物・疾患・遺伝子間の関係抽出の性能を表 1 に示す. 提案手法により近傍知識グラフの情報を 用いないべースラインから $\mathrm{F}$ 値のマイクロ平均が 全体で $1.04 \%$ ポイント向上し，一番上がり幅の大 きい Chem-Gene: activity-decreases については $\mathrm{F}$ 值が $6.81 \%$ ポイント向上した. この結果より, 近傍知識 グラフを用いることで予測性能が向上しており，背景的な情報を考慮した関係抽出ができていると考え られる。

$
\text { データベースに含まれているトリプル以外の関係 }
$
への影響を調べるために，CTD に登録されていない 事例についての予測を確認したところ，テストデー タにおいて, ベースラインでは CTD に登録されて いない関係は 1 つも抽出できなかったのに対し，提案手法ではこのような関係を 3 件抽出できているこ とがわかった。この結果より，CTDの背景的な情報 を考慮することで，CTDに登録されていない関係も 抽出できるようになったと考えられる．実際に提案手法によって抽出できるようになった表 2 に示す. これらの事例の多くは題目で言及されているものが 多かった.

最後に表 3 に, 既存研究 [2] との比較を示す. 提

ベースライン

PubMedBERT

提案手法

PubMedBERT+近傍知識グラフ

Curated テストデータでの既存研究 [2] との比較

案手法は PubMedBERT+BRAN に比べて平均は若干低い $\mathrm{F}$ 值となったがほぼ同等の性能となっており，本提案手法は PubMedBERT+BRAN にも導入が可能 であることを考えると，良好な結果を得られている と言える。

## 6 おわりに

本研究では，データベースに登録されている豊富 な情報の有効利用を目的として，入力文書周辺の近傍知識グラフの表現を遠距離教師データに統合利用する遠距離教師あり関係抽出モデルを提案した。提案した手法を ChemDisGene データセットで学習・評価を行った結果，近傍知識グラフの表現を追加す ることでマイクロ $\mathrm{F}$ 值が $1.04 \%$ ポイント向上し，最先端モデルとほぼ同等の性能を達成した. また，提案手法ではテキスト情報だけでのモデルでは抽出が できなかった，データベースに登録されていない関係を抽出することができていることを確認した。

今後は，最先端モデルへの本手法の適用を行うと ともに，抽出結果をデータベースからのトリプルに 追加し，再びモデルを学習するなど，文献内の情報 とデータベース内の情報の連携を深め，データベー ス内の情報のさらなる有効利用を目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Dongxu Zhang, Sunil Mohan, Michaela Torkar, and Andrew McCallum. A distant supervision corpus for extracting biomedical relationships between chemicals, diseases and genes. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1073-1082, Marseille, France, June 2022. European Language Resources Association.

[3] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12018.

[4] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative toxicogenomics database (ctd): update 2021. Nucleic acids research, Vol. 49, No. D1, pp. D1138-D1143, 2021.

[5] Chih-Hsuan Wei, Alexis Allot, Robert Leaman, and Zhiyong Lu. PubTator central: automated concept annotation for biomedical full text articles. Nucleic Acids Research, Vol. 47, No. W1, pp. W587-W593, 052019.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019

[7] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[8] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[9] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[10] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug-drug interaction extraction from the literature. Bioinformatics, Vol. 39, No. 1, 11 2022. btac754.

[11] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations,
2015.

[12] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[13] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

## A データセットの統計

データセットの統計を表 4 と 5 に示す.

表 4 文書単位の遠距離教師あり関係抽出データセット ChemDisGene. テストのみ人手でタグづけされている.

表 5 本実験で使用したデータベース CTD の統計

## B 実験環境

本実験を行った環境について説明する。 Python [13] のバージョン 3.8.10 と深層学習ライ ブラリである PyTorch [14] のバージョン 1.9.0を用 いて実装し，表 6 に示すハードウェア環境で実験 した. 本実験のハイパーパラメータを表 7 に示す. Curated の関係抽出スコア表 1 は遠距離教師データ で学習したモデルを 5 個用意し，それぞれのモデル でテストしたスコアの平均と標準偏差を報告した.

表 6 本実験に用いたハードウェア

表 7 本実験におけるハイパーパラメータ


# テキスト情報を用いた表構造の修正

鈴木祥子 ${ }^{1}$ 那須川哲哉 ${ }^{1}$ 吉田一星 ${ }^{1}$ Lihong He $^{2}$
1 日本アイ・ビー・エム株式会社 東京基礎研究所 ${ }^{2}$ IBM Research - Almaden
\{e30126,nasukawa,issei\}@jp.ibm.com lihong.he@ibm.com

## 概要

画像やPDF として保存された文書から表の構造 を抽出する試みは多く行われており、特に画像認識 モデルを用いた手法の性能が良いことが知られてい る。しかし、多種多様な表の抽出において、一律に 高い抽出性能を出すことは難しい。本論文では、表 の性質によらず共通して現れる抽出誤りを修正す る、テキスト情報を活用する方法を提案する。多様 な形式の表データセットで評価することで、提案手法がロバストに表構造の抽出性能を向上させること を示す。

## 1 はじめに

文書中の表（テーブル）には有用な情報が豊富に 含まれているが、画像やPDF として保存された表 からそれらを確実に抽出することは容易ではない。文書からの表抽出のタスクは、大きく「表領域の特定」と「表構造の抽出」から成る $[4,2]$ 。ここで表構造とは、各セルが表の $\mathrm{m}$ 列 $\mathrm{n}$ 行に属する、という情報である。セルは空白セルであるか、あるいは文書中の座標と紐づいたテキストを含む。ここでは数字 を含む文字列全般をテキストとして扱う。表構造が 抽出されれば、例えばhtml で表を再構築すること ができる。図 1 は文書中の表と表抽出結果の一例で ある。表抽出タスクを解くアプローチとして、深層学習による画像認識モデルの応用が近年盛んである $[10,7,5]$ 。

しかし、画像認識モデルによるアプローチには 2 つの課題がある。1つは、表領域と表構造の抽出性能が表の形式に大きく依存して変化することであ る。表抽出向け画像認識モデルの訓練データとし て、科学論文や経済レポート中の表などが通常利用 される $[11,10,7]$ 。これらのデータで訓練されたモ デルは、実ビジネスでの適用対象となる請求書やバ ランスシート (例えば $[12,13]$ ) に対しては抽出精度 が高くない。この問題を解決するために対象分野の表を含む文書を用意してモデルをフアインチューニ ングすることは可能であるが、表抽出の訓練データ 作成には多大なアノテーションコストを要するため [9]、多数の表形式に対して都度ファインチューニン グを実施することは現実的ではない。もう 1 つの課題は、従来の画像認識モデルによる表抽出では、表 のセル内テキスト情報が表構造を読み解く手がかり を与えるにも関わらず利用されないことが多い点で ある。

本研究では、テキスト情報を利用して表構造の抽出性能を向上させる方法を検討する。特に、表抽出 の SotA である画像認識モデルによりあらかじめ抽出された表に対して、表構造の誤りを修正する後処理の手法を提案する。提案手法では入力の表構造か ら異常セルを特定し、テキスト情報を用いて可能な 表変形を検討することで表構造の誤りを修正する。実用上、後処理の実行時間は、画像認識モデルによ る表構造の抽出時間に比べて小さいことが望まし い。このため、自然言語処理においても様々な分野 で効果を発揮する深層学習モデルは使用せず、軽量 かつ表データのドメインに依存しない手法を考案し た。種々のドメインの表データでの実験を行い、提案手法を用いることで表構造の抽出性能が画像認識 モデルによる結果よりも向上することが確かめられ た。本手法はまた、修正の対象となる表がどのよう なアプローチによって抽出されたものなのかを問わ ない。例えば人手で作成した表に対して誤りが含ま れている可能性があった時、それを修正するという 場面でも利用が可能である。

## 2 画像認識モデルによる表抽出

文書が html の table タグなどにより構造化されて いないケースでの表抽出は、画像認識モデルの性能 が良いことが知られている。[10]では文書内の表の 領域、及び表内のセルの領域の特定に画像認識モデ ルを利用している。PDF もしくは画像データを入力 とし、出力は表領域、表構造、各セル内テキストの

図 1 左 : 文書中の表の例、中央 : 左の表を [10] で表抽出した出力（赤の囲みはデータセルが行列方向に over-merged と なる誤り)、右 : 中央の表出力を本手法で修正した結果（青の囲みは修正箇所）。橙の囲みは列ヘッダーを表す。

位置情報である。ここではテキストの文字列情報お よび位置情報は、文書がそれらを自明に保持してい る場合には（例えば programmatic PDF の場合）その まま利用し、そうでない場合は OCRによって抽出 されている。しかしテキスト情報は表の領域特定、 あるいは表構造抽出に利用されていない。[7] でも 表構造抽出に画像認識モデルを利用するが、モデル を OCR に依存しない形にデザインしているため、 セル内のテキスト情報は利用されない。

これらの手法は表抽出の性能において SotA と いえる。しかしビジネス上表抽出が必要な請求書 やバランスシートに対しては抽出精度が高くな い。特に、これらの画像認識モデルを適用の際、セ ルの境界検出に失敗すると、最終的な表にセルの over-merged あるいはセルの over-split というタイプ の誤りとなって現れる。over-merged は本来属してい るよりも広い範囲の行または列にわたって複数セル が結合されてしまう誤りである。図 1 の左は文書中 の表の例、中央はこれを画像認識モデルを用いた表抽出ツール [10] で抽出した結果を表す。中央の表に は over-merged な誤りが存在する。セルの over-split とは、単独のセルが複数のセルに分割されてしまう 誤りである。

## 3 提案手法の説明

本手法では、画像認識モデルで利用されてい ないテキスト情報に着目し、2 節で述べたセルの over-merged あるいは over-split の誤りを解消するこ とで表構造の抽出性能を上げることを試みる。本手法は文書内から画像認識モデルなどによって表が抽出された後、後処理として適用することを想定して いる。本手法の入力となる表の持つ情報として以下 を想定する。
- 各セルの文書内座標情報
- token の文書内座標情報

・表の構造（各セルに対する行、列の id）

ここで token とは、空白を含まず一塊になっている 水平方向に並んだ文字の集合を表す。

本手法では十分一般的な仮定として、表は列へッ ダーを持つこととする。列へッダーは各列のラベル を示すセルの並びである。

提案手法が着目する表の性質は、表中の各列にお いて、列ヘッダーを除くセル内のテキストはその列内で類似性を持つことである [1]。例えば図 1 の左 の表では、最上部の橙の囲みが列ヘッダーであり、列ヘッダー以外の第 1 列（左端の列）のセル内テキ ストはアルファベットと数字の組み合わせである。第 2 列以降はどの列も小数点第一位までの数値、あ るいは空の値を表す記号で占められている。本研究 ではこの同一列内類似性を前提とし、類似性を破る セルを異常セルとして抽出する。次に、この異常セ ルを減らす表の変形を探索し表の修正を行う。この 操作を繰り返すことで、入力の表に含まれる誤りを 除去し、表構造の抽出性能を高めることを目的と する。

提案手法は次のステップからなる。

1. 表の列ヘッダーの特定

2. 各セルの異常度スコアを算出

3. 各列ごとにセル内テキストの正当性予測モデル を学習

4. 異常セルの特定

5. 異常セルの変形パターンをスコア化

6. 最大スコアを持つ変形パターンに従い表を修正

7. 4-6 のステップの繰り返し

## 3.1 列ヘッダーの特定

列ヘッダーは列内セル類似性の前提に含まれない ため、除く必要がある。ここでは列ヘッダーは表の 上部の行にのみ含まれると仮定し、また列ごとに、列ヘッダーのテキストはそれ以外のセルのテキスト と特徴が異なること、複数列ヘッダーがある場合に はそのへッダーの組み合わせが各列について一意に なること、を仮定し列へッダーの特定を行う。

## 3.2 セルの異常度スコア算出

2 節で述べたように、画像認識モデルでは表構造抽出においてセルの over-split あるいは over-merged という誤りが発生しやすいという問題がある。この タイプの誤りが起きた場合、同一列に属するセル内 テキスト類似性が壊れる可能性が高い。このような セルを入力の表から検出するために異常度スコアを 次のように定義する。

1. 各セルの形状やテキストを特徴量化

2. 同一列に属するセル集合に対し、各特徴量の外 れ値を決定

3. 外れ値を持つ特徴量をセルごとに特定し、該当 する特徴量の個数をそのセルの異常度スコアと して算出

セルごとの特徴量は Appendix の A 節で示すように セルの形状、あるいはセル内テキストの特徴からデ ザインできる。異常度スコアが閾值を超えたセルを 異常セルとし、異常セルの集合を $Y$ とする。

## 3.3 予測モデルの学習

前述のように本研究では、表内の各列において列 ヘッダーを除くセル内テキストには類似性があるこ とを前提としている。この前提が満たされる状況で は、あるテキストが与えられた時、それがある列内 に属するセルのテキストとして適切かどうか、とい う予測モデルを構築できる。

列 $i$ に属するセル集合のうち、3.2 節で導出した異常セル集合 $Y$ に含まれないセル集合を $X_{i}$ と表す。各列 $i$ の予測モデル $M_{i}$ は入力をテキスト、出力を $[0,1]$ のスコアとして入力テキストの正当性を確率值で表すものを採用する。決定木やロジスティック 回帰などが挙げられる。入力テキストの特徵べク トル導出には各種アプローチがあるが、例えば各 token の以下のような表層上の特徵を利用する。
・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字+数值

・最初の 1 文字が大文字、残りが小文字

・表に複数回出現する token
- 先頭文字

・未尾の文字
- 文字数

学習の際は各セル $x \in X_{i}$ 内のテキストを予測モデ ルの正例とする。負例の入力テキストには、 $x$ の隣接セル（上下セル、左右セル）をランダムに結合さ せたもの、及びその部分文字列を用いる。

## 3.4 異常セルの変形パターンのスコア化

3.2 節で得た異常セル集合 $Y$ から異常度スコアの 最も高いセルを取り出し、変形を検討する。これを すべての異常セル $y \in Y$ が検討されるまで、あるい は決められたステップ数が完了するまで繰り返す。

異常セル $y$ が特定された後、変形パターン候補の 集合 $P(y)$ を導出する。セル $y$ に over-merged の可能性のある時（行 span あるいは列 span の異常がある 時）には、変形パターンは、yの token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ の行あるいは列方向への分割方法を列挙することに なる。セル $y$ に行方向の over-split の可能性がある 時（同一行の空白セルの数に異常がある時）には、 セル $y$ と隣接する上下のセルを結合した token 列を 考えた上で、この結合した token 列の行方向の分割方法を列挙すれば良い。本提案手法では、 $P(y)$ を $y$ の周辺セル情報から推定するアプローチをとる。 Appendix の B 節及び図 2 に算出の詳細と例を示す。

次に、このようにして得られた各変形パター ン候補 $P \in P(y)$ に対し、スコアを計算する。パ ターン $P$ は、分割された token 列である仮想的 なセル $p$ の集合、及び各 $p$ がどの列（行） $j$ に 属するかの情報を持つ。例えば図 2 では分割 パターン 1 において、仮想セル $\left.\{w_{1}, w_{2}\right.\}$ は列 1 に属し、もう一つの仮想セル $\left.\{w_{3}, \ldots, w_{7}\right.\}$ は列 2 と列 3 に属している。 3.3 節の予測モデルから $M_{1}\left(w_{1}, w_{2}\right) \times M_{2}\left(w_{3}, \ldots, w_{7}\right) \times M_{3}\left(w_{3}, \ldots, w_{7}\right)$ はこのパ ターンの正当性の確率值と解釈できる。そこで、列方向に対して over-merged な異常セルの変形パター ン $P$ のスコア $S(P)$ を式 (1) で定義する。ここで、 $p$
表 1 提案手法適用前後の表構造抽出性能比較（数値は F1 スコアのパーセント表示）

は $P$ に含まれる仮想セル、 $j$ は $p$ が属する列番号、 $c$ は正の定数である。

$
S(P)=\sum_{p \in P} \ln \left.\{M_{j}(\text { token sequences in } p)+c\right.\}
$

同様に、行方向に over-merged な異常セル $y$ のパ ターン $P$ のスコアを式 (2) で定義する。行方向の over-merged ではパターン $P$ は列方向と同様に仮想 セル $p$ を要素として持つが、予測モデルはセル $y$ の 属する列 $k$ のものを適用する。

$
S(P)=\sum_{p \in P, k} \ln \left.\{M_{k}(\text { token sequences in } p)+c\right.\}
$

$P(y)$ 中の最大スコアのパターンに従い表を修正す る。このステップを各異常セルに対して繰り返す。

## 4 評価実験

提案手法の効果を確かめるため、画像認識モデル を用いた表抽出手法 [10] の出力結果に対して、本手法を適用した。画像認識モデルは複数の backbone を採用し、結果を比較した。

## 4.1 データと設定

表の形式や内容はドメインに大きく依存するた め、多様な表データセットを収集し評価に利用し た。一部のデータは表抽出タスクのデータとしてア ノテーション付与された状態で公開されている [4]。 その他のデータは web 上で公開された表あるいは非公開の表に対しアノテーションを追加で付与してい る。セルの異常度スコア算出には、Appendix の A 節 で示すセルの特徴量を利用した。セル内テキストの 正当性予測モデルとしては決定木を用いた。予測モ デルにおいて、セル内テキストの特徴ベクトルには 3.3 節で示した token 単位のものを利用する。token ごとの特徴べクトルを導出後、先頭 token の特徴べ クトル、最終 token の特徴ベクトル、全 token の特徴 ベクトルの和、を結合したものを予測モデルの入力 として用いた。

## 4.2 評価結果

表構造の評価指標として、正しい表のセル隣接関係と出力した表のセル隣接関係から算出した F1 スコアを利用する [3]。12 種類の異なるドメイ ンから成るデータセットについて、Resnet50[6] と EfficientNetB0[8] の 2 種の backbone の画像認識モデ ルを用いた表抽出手法 [10]を適用し、表領域の特定、および表構造の抽出結果を得た。この出力され た表を入力として提案手法を適用した結果を表 1 に 示す。なおデータセット D および I が公開データ [4]にあたる。多くのドメインにおいて、どちらの 画像認識モデルでも提案手法適用後の F1 スコアが 適用前より高く、提案手法の有効性が認められた。但し、データセット $\mathrm{G}$ のように適用後にスコアが悪 くなるケースも存在する。このようなケースへの対応が今後の課題である。

## 5 まとめ

本論文では、表構造の誤りを表内のテキスト情報 を用いて修正する手法を提案した。特に、文書から の表抽出タスクにおいて SotA である画像認識モデ ルを用いた手法の後処理として本手法を適用し、各種ドメインの表データに対して表構造の抽出性能が 上がることを示した。

本手法では各列のテキスト表記に類似性があるこ とを前提とする。この前提を満たす表であれば、今回の実験で利用した画像認識モデルの表抽出手法の 出力に限らず、あらゆる表に対して本手法は適用可能である。

本研究では実行速度を重視したため、テキスト情報として表層上の特徵のみを利用し、シンプルな予測モデルを用いたが、深層学習の言語モデルを利用 することで表構造抽出の性能は更に上がることが期待される。

## 参考文献

[1] Taha Ceritli, Christopher K. I. Williams, and James Geddes. ptype: probabilistic type inference. Data Mining and Knowledge Discovery, Vol. 34, No. 3, pp. 870-904, mar 2020.

[2] Liangcai Gao, Yilun Huang, Hervé Déjean, Jean-Luc Meunier, Qinqin Yan, Yu Fang, Florian Kleber, and Eva Lang. Icdar 2019 competition on table detection and recognition (ctdar). In 2019 International Conference on Document Analysis and Recognition (ICDAR), pp. 1510-1515, 2019.

[3] Max C. Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. A methodology for evaluating algorithms for table understanding in PDF documents. In Proceedings of the 12th Symposium on Document Engineering, pp. 45-48. ACM, 2012.

[4] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. Icdar 2013 table competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[5] Khurram Azeem Hashmi, Marcus Liwicki, Didier Stricker, Muhammad Adnan Afzal, Muhammad Ahtsham Afzal, and Muhammad Zeshan Afzal. Current status and performance analysis of table recognition in document images with deep neural networks. CoRR, Vol. abs/2104.14272, , 2021.

[6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CoRR, Vol. abs/1512.03385, , 2015.

[7] Ahmed Nassar, Nikolaos Livathinos, Maksym Lysak, and Peter Staar. Tableformer: Table structure understanding with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4614-4623, June 2022.

[8] Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. CoRR, Vol. abs/1905.11946, , 2019.

[9] Nancy Xin Ru Wang, Douglas Burdick, and Yunyao Li. Tablelab: An interactive table extraction system with adaptive deep learning. CoRR, Vol. abs/2102.08445, , 2021.

[10] Xinyi Zheng, Douglas Burdick, Lucian Popa, Xu Zhong, and Nancy Xin Ru Wang. Global table extractor (GTE): A framework for joint table identification and cell structure recognition using visual context. In IEEE Winter Conference on Applications of Computer Vision, WACV 2021, Waikoloa, HI, USA, January 3-8, 2021, pp. 697706. IEEE, 2021.

[11] Xu Zhong, Elaheh ShafieiBavani, and Antonio JimenoYepes. Image-based table recognition: data, model, and evaluation. CoRR, Vol. abs/1911.10683, , 2019.

[12]宏田中. 全体最適化戦略に基づく複雑な帳票画像の 自動認識に関する研究.

[13] 藤江翔太郎, 白松俊, 大直忠親, 新谷虎松. フォーマッ 卜分類機構に基づく帳票管理支援システムの試作. 第 76 回全国大会講演論文集, Vol. 2014, No. 1, pp. 303-304, 032014.

## A セルの異常度スコア算出時の特徵量例

3.2 節では各セルの異常度スコアを算出するため の全体的な流れを紹介した。利用される特徵量とし ては、セルの形状を反映したものとして
- 最左端 token の $x$ 座標

・最右端 token の $x$ 座標

・セル行 span

-セル列 span
- セル内 token 数

-セルと同一行の空白セルの数

などがある。またテキストの特徴を反映したものと して、各 tokenに対し

・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字 + 数值
- 最初の 1 文字が大文字、残りが小文字

などが考えられる。例えばセル形状の特徴量、セル 内最初の token の特徵量、セル内最後の token の特徵量を結合して各セルの特徴量として扱うことがで きる。

## B token 列分割パターン算出の詳細

3.4 節では、異常セル $y$ の変形パターンを探索し、各パターンにスコアを付与することを説明した。こ こでは、 $y$ 内の token 列の変形パターンを導出する 方法の詳細を述べる。over-split なセルを変形する際 には、3.4 節で述べたように、一旦隣接セルと merge させた上で分割パターンを考えればよい。そこで以降は token 列の分割方法のみ考えることとする。ま た、以下では token 列の列方向の分割方法のみ説明 する。行方向の分割パターンも同様の方法で抽出で きる。

各 token はは座標情報が紐づいている。token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ を列方向に分割する可能性を考えたと き、座標情報から許される分割と許されない分割と が存在する。このとき、各列に属する異常でないセ ルの座標情報から、列の右端、左端座標を推定し、可能な区切り箇所でのみ token 列の分割を許すこと で、 token 列が長い場合にも効率的な探索が可能に なる。

図 2 token 列分割パターン作成の例

図 2 を例に説明する。列 1 に属する異常でない セル内の token である $w_{8}, w_{9}, w_{13}, w_{17}$ の座標情報か ら、列 1 に属するセルが必ず満たす $x$ 領域が推定で きる。この領域と token $w_{1}, w_{2}, \ldots$ の $x$ 座標を比較し たとき、 $w_{1}, w_{2}$ は必ず列 1 に属していなければなら ないことが分かる。同様の処理で、 $w_{4}, w_{5}$ は必ず列 2 に属し、 $w_{7}$ は必ず列 3 に属する。これらの拘束条件を満たしつつ、 token 列の分割を考えると全て merge された状態となんらかの分割された状態、合 わせて 9 パターンが許される。例えば図 2 の分割パ ターン 2 は、 $\left.\{w_{1}, w_{2}, w_{3}\right.\}$ が列 0 に属するセルであ り、 $\left.\{w_{4}, \ldots, w_{7}\right.\}$ が列 1 および列 2 に属する結合セル である。


# 手がかり表現に基づく非論理的な言語推論の学習

張 辰聖子 1 持橋 大地 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 統計数理研究所
\{g1920524,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

人間が行っている推論は論理的な含意関係だけで はなく, 日常的な知識を背景にした常識推論が大き な役割を果たしている. 本研究はこの際の知識を,複雑な内容を表現できる自然言語文自体ととらえ,「から」「ため」のような手がかり表現を利用するこ とで, 前提と帰結がともに文となる自然言語推論を コーパスから深層学習モデルとして直接学習する。 コーパスから抽出した 157 万文ぺアについて学習 し, テストデータにおいて, 前提から生成した帰結文 について人手評価を行ったところ, $65.8 \%$ が妥当な推論であるとの結果を得た. さらにエラーの原因につ いて考察し, 改善と今後の可能性について議論する.

## 1 はじめに

ロボットのような人工知能が人間と共生する未来社会において, 人間と同等の推論や知的判断が行え る方法を開発することは, 重要な研究課題だと考え られる. 自然言語処理の最近の推論の研究は含意関係認識のような論理的な推論を扱っていることが多 いが,これでは扱えない自然な「推論」も実際には重要である. たとえば, 富士山と湖の写った写真を見て 「富士山がある」「湖が見える」と判断するだけでな く,そこから「キャンプによい」「日本的な風景だ」 と判断することは論理的な推論ではないが, 人間が 常に行っている常識的な推論である. そこで本研究 では，「〜ため」のような手がかり表現とニューラ ル言語モデルを用いることで, 大量のコーパスから 直接,こうした常識的推論を学習する. 提案法の特徴 は, 前提と帰結がどちらも自然言語の文となる言語的推論であり, 従来のように論理構造を介していな いことにある。

## 2 関連研究

こうした非論理的な1) 推論は, 自然言語処理では 常識推論 (commonsense reasoning) とよばれて長く議

図 1 Wikipedia からのデータ生成と, 推論の学習の概要.論されており, 特に最近活発に研究されている分野 である [1]. ただし,このためのデータセット [2][3] がそうであるように, 従来はこうした知識はあくま で知識グラフのような離散的な知識構造で表されて いた.こうしたグラフの作成やラベル付けには大量 の人手が必要である上,多くは単語間のグラフ関係 であるため, 複雑な知識を表すことができず, 表現力 にそしいという大きな欠点がある.

いっぽう, 推論についてこうした知識構造を介さ ず, 文から直接文を導く自然言語推論が行われ始め ている [4].こうした自然言語推論は論理的含意を 対象にしているが,この方法は常識推論にも自然に 適用でき, 本研究ではその可能性を模索する. Yu ら [5] は, 短い文のペアを人手でラベル付けしたデータ セット ASER [6] から, 文の連続をグラフ上のランダ ムウォークとしてサンプリングし, そのデータに基 づく常識推論の学習を提案している. ASER は大量 のコーパスからあらかじめ作成されたものである が, 本研究は関係を絞って, 常識推論を直接コーパス から学習するものであるといえる。

## 3 自然言語による推論

## 3.1 研究概要

図 1 に研究の概要を示す. 日本語 Wikipedia コー パスから，「理由」を表現する手がかり表現を元に

1）論理的推論と区別するために, あえて「非論理的」という 言葉を使っているが,これは推論に結果として論理的推論が 含まれることを排除するものではない.
根拠と結論がペアになった文を抽出する. 根拠部分 を大力, 結論部分を出力とし, 文を生成する深層学習モデルである $\mathrm{T} 5$ に学習させる. これにより根拠 に相当する文から結論を示す文を生成することを通 じて, 自然言語推論を実現する。

## 3.2 データ作成

データの収集には日本語版 Wikipedia コーパスを 用いた. 以下にデータ作成の手続きを示す.

Step 1. 正規表現で理由節を持つものを抽出 日本語版 Wikipedia 本文から，理由節を持つ 1 文を正規表現を用いて抽出する. その際，手がかり表現とし て「から」「ので」「ため」「おかげで」「せいで」の 5 つを用いた．また，理由節を持つ文の文頭が指示詞（「この」，「その」）であった場合，前文で置換を するという簡単な指示詞の補完を行った.

Step 2. 形態素解析によるフィルタリング 正規表現によって抽出された理由節を持つ文に対し，1文 ごとに MeCabを用いて形態素解析を行う．正規表現での抽出では，5つの手がかり表現は，理由を表 す以外の意味を持つことがある. そこで，形態素解析により主に理由を表す品詞として使われている場合のみを抽出する. 以下に品詞による使われ方の違 いの例を示す。

・信号が青から赤に変わった. (格助詞, 変化の 「から」)

・楽器を持っていなかったからボーカルになっ た. (接続助詞, 理由の「から」)

例に挙げたように「から」の品詞細分類が接続助詞 である時，主に理由を表すことから解析により抽出 を行う．上記により，解析の結果，理由節が以下の 形態素として含まれていた場合に，抽出を行う.

・から 助詞, 接続助詞

・ので 助詞, 接続助詞

$\cdot$ため 名詞, 非自立, 副詞可能

-せい名詞,非自立,一般

十で 助詞, 格助詞, 一般

・おかげ 名詞,一般

+ 助詞, 格助詞, 一般

Step 3. 機械学習によるフィルタリング 形態素解析によって残った文のうち，名詞で用いられる「た め」はいくつかの意味を持つ. そのため, 理由を表 す「ため」のみを抽出することを目的として，訓練済み日本語 BERT モデルを用いて二値分類を行っ表 1 訓練データの例と，それに類似する前提を与えたと きのファインチューニングを行った $\mathrm{T} 5$ の文生成出力例.

た. ここで用いた BERT モデルは Hugging Face ${ }^{1)} の$自然言語ライブラリ Transformers ${ }^{2}$ に基づく, 東北大学公開の事前学習済み日本語 BERT モデル3)を使用した.「ため」を手がかりとして抽出した文から， ランダムに 300 文を抜き出し，手動で理由を表すか そうでないかのタグ付けをし，二値分類の機械学習 を行くった. 300 文での 5 分割交差検証では $88.7 \%$ の精度で理由を表すかそうでないかの分類を行えて いることがわかった. 分類を行った結果, 1,288,304 文の「ため」を含む文から，730,133 文 (56.7\%) の理由を表す文を抽出することができた。

Step 4. 根拠表現と結果表現の抽出 日本語自然言語処理ライブラリである $\mathrm{GiNZA}^{4)}$ を用いて，抽出し た文に対して係り受け解析を行う. 坂地ら [7]の手法を用いて, 根拠表現と結果表現の抽出を行った。

## 3.3 推論モデル

収集した文ぺアを日本語 T5 モデルに与え，前提か ら結果を生成する深層学習モデルを学習すること で，自然言語による推論を実現する。

## 4 実験

## 4.1 実験設定

本研究では，3.2 節で収集した 1,572,956 件の根拠 と結果のぺア文をデータとして用いる. 実験の際 は，このデータを訓練：開発：評価 $=0.95: 0.025: 0.025$ として評価を行う。評価は評価データからラン ダムで 100 文を抽出し手動で行い，それに伴い

1) https://huggingface.co

2) https://github.com/huggingface/transformers

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://megagonlabs.github.io/ginza/
表 3 評価データに対するファインチューニングを行った $\mathrm{T} 5$ の文生成出力例と, 出力に対する人手評価の例.

 &  \\

BERT-Score[8] によって, 生成文と正解文との意味的類似度を検証した. 評価指標は 4.2 節に示す. 本研究で用いる T5 モデルは Hugging Face ${ }^{5}$ の自然言語 ライブラリ Transformers ${ }^{6}$ に基づく，Isao Sonobe 公開の事前学習済み日本語 T5 モデル7)を使用した。

## 4.2 評価基準

表 3 の生成例 2 にあるように，評価データの正解 と比べると全く違う出力であるが，出力内容自体は 前提から妥当に導かれるものが多くあった. した がって，生成データセットにおけるモデルの性能 は，出力の妥当性を人手で判断することで評価す る。評価基準は，自然言語による演繹的な文生成を 行うモデルの提案をしている関連研究 [4] を参考に し，以下の 6 つの分類とする。

i 妥当な推論である 出力は前提から妥当に導かれ る結論である。

ii 妥当な推論であるが文法的な間違いがある 出力 は前提から導かれうる結論だが，主語などの成分が 久けていたり, 動詞の活用に違和感があるなど内容 の理解を妨げない程度の文法的な間違いがある。

iii 前提を繰り返す 出力は，前提文の繰り返し，も しくは言い換えであり前提と同意である。または，前提に含まれる単語を組み合わせているだけであ る.

iv 前提から導かれない 出力は文，内容は正しい が，前提から導かれ得る結論ではない。

$\mathbf{v}$ 矛盾している 出力は, 前提と矛盾する, もしく は本質的に間違っている.

5) https://huggingface.co

6) https://github.com/huggingface/transformers

7) https://huggingface.co/sonoisa/t5-base-japanese vi 結論が理解し得ない 結論が文をなしていない. もしくは前提が文をなしていない。

表 4 人手評価されたデータに対する生成文と正解文の BERT-Score $の$ 平均.

## 4.3 実験結果

実験でファインチューニングされたモデルに評価データを与えると，表 3 のように文生成が行われ た. その他の推論結果は, 付録 A の表 7 に示した. 前提はモデルに与えた文，出力はモデルから生成され た文，正解は収集データ中の前提に対する結論文の ことである. 生成データセットにおけるモデルの性能に対する人手で行った評価結果は, 各評価者ごと の評価数を表 5 に，全ての評価者の平均をグラフに

口i.妥当な推論である

口ii.妥当な推論であるが文法ミスがある

口iii.前提の繰り返しである

口iv.前提から導かれない

曰v.矛盾している

口vi.結論が理解できない

図 2 評価データからランダムに抽出した 100 文に対する 人手評価の結果 (平均)
表 5 評価データからランダムに抽出した 100 文に対する 人手評価の結果 (件数).

したものを図 2 に示す. 人手で評価したデータに対 する，生成文と正解文の BERT-Score [9] による類似度を表 4 に示す。また, 訓練データにあるような形 の前提であれば妥当な推論を行えるという仮定の 下，訓練データの例と，それに伴うモデルによる出力例を表 1 に示す. 出力が妥当な推論である，もし くは妥当な推論であるが文法的な間違いがあると評価された割合は $65.8 \%$ となった.

## 4.4 考察

前提を与えることで，文生成の形で推論を行うこ とができた．BERT-Score による文の類似度（表 4) を見ると，妥当な推論が行われている場合（評価 i) は他の評価指標の結果に比べ，類似度の平均が高く なっていることがわかる. しかし, 評価 $\mathrm{v}$ の類似度 の平均が最も高くなっている. これは, 生成文が表 3 の例 4 のように，矛盾はしているが矛盾理由が文末尾による否定によるものである場合に, 文全体 の類似度自体は上がってしまったからだと考えら れる.

エラーについて，3つ目の評価指標である前提を 繰り返すことに注目すると, 表 3 の例 2 のように,前提を繰り返したのちに「ため」をつけるという事例がいくつかあった. 理由としては, 訓練データに 結論が「ため」で終わる文が，4,293 件と多く含まれ ていたことが考えられる. そのようなデータが含ま れてしまう原因は 2 つほど考えられる。

1つ目は，「ため」によって収集された文に「のた めにしていたため」といった表 6 の例 1,2 に示した ように「ため」を多重で使った文が多くあったこと が原因だと思われる.このような「ため」多重文に 対し，データ生成における Step 4 を行うと，結果部分が「ため」で終わるデータが抽出されてしまう. また，3.2 節のデータ作成で説明したように「ため」 はいくつかの意味を持つ. その中でも，「ため」多重文で用いられる「ため」は例 2 のように「目的」 の意味で使われていることが多くあり，「ため」に表 6 エラー分析の結果，原因であると考えられる訓練 データのノイズ例. 元の文と, 抽出した文ぺアを示した.

例 1

子供を増やすことは世帯所得増加に繋がるため,子供を産むインセンティブとなるために少子化対策となりうるという考えがある。前提 子供を増やすことは世帯所得増加に繋がる 結果 子供を産むインセンティブとなるため 例 2

彼らに対抗するために資金を調達するために ツアーに行くと，彼らはギャングによって 絶えず脅かされています.

前提 彼らに対抗する 結果 資金を調達するため

例 3

必要以上の事件を寄せ付けないためにクラス Aの 身分を隠し，小さな探偵事務所を構える悪行の 元に，今日もまた事件がやってくる.

前提 必要以上の事件を寄せ付けない 結果 必要以上の事件を寄せ付けないため

対する機械学習の精度の向上が望まれる.

2つ目の原因としては，訓練データの結果の中に，表 6 の例 2 のように前提を繰り返した後に「ため」 をつけたものもあった. こうしたことが起こった原因は，係り受け解析時に「ため」の前で文が区切ら れてしまっていたからである．例 2 の文では，「必要以上の事件を寄せ付けないために」で区切られて しまい，データ生成における Step 4 を行うと, 前提 を繰り返す文を結果として抽出してしまう。これ は，係り受け解析器を用いて自動的に前提と結果を 抽出しているため起こりうるエラーである.

## 5 おわりに

本研究では，自然言語文そのままの形で推論を行 う手法の開発を目的に，自然言語による推論を自然言語文生成として表現する研究に取り組んだ. 日本語 Wikipediaコーパスから，理由節を手がかり表現 として根拠と結論を抽出した. 抽出した因果関係の データを用いて，根拠部分を入力，結論部分を出力 として深層学習を行うことで，推論を行う形の文生成が可能なことがわかった. モデルによって生成さ れた文に対して人手で評価を行った結果，前提から 導かれる推論として妥当だと言える割合は $65.8 \%$ と なった. 今後は, 発生したエラーを改善して収集 データのノイズを減らし, 推論文生成の精度を上げ たい。また，作った推論モデルを用いて，多段推論 および前提を予測する帰納的推論などに挑戦してい きたいと考えている.

## 参考文献

[1] Maarten Sap, Vered Shwartz, Antoine Bosselut, Yejin Choi, and Dan Roth. Commonsense Reasoning for Natural Language Processing. In ACL 2020, pp. 27-33, 2020.

[2] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In AAAI 2017, p. 4444-4451, 2017.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, and Hannah Rashkin. ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning. In AAAI 2019, p. 3027-3035, 2019.

[4] Kaj Bostrom, Xinyu Zhao, Swarat Chaudhuri, and Greg Durrett. Flexible Generation of Natural Language Deductions. In EMNLP 2021, pp. 6266-6278, 2021.

[5] Changlong Yu, Hongming Zhang, Yangqiu Song, and Wilfred Ng. CoCoLM: Complex commonsense enhanced language model with discourse relations. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1175-1187, 2022.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. ASER: A Large-scale Eventuality Knowledge Graph. In $W W W$ 2020, p. 201-211, 2020.

[7] 坂地泰紀. 構文パターンを用いた因果関係の抽出. 言語処理学会第 14 回年次大会論文集, 2008, pp. 1144-1147, 2008.

[8] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[9] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

## 付録 A 推論結果の例

表 7 学習した $\mathrm{T} 5$ 深層学習モデルによる推論結果の例.

} & 前提 & 騎兵隊という部隊名が付いているが馬の輸送が間に合わずまた連発銃の普及により \\


# 事前学習済み言語モデルからの訓練データ抽出：新聞記事の特性を用いた評価セットの構築と分析

石原祥太郎 ${ }^{1}$
1 株式会社日本経済新聞社
shotaro.ishihara@nex.nikkei.com

## 概要

大規模なデータセットを用いた事前学習済み言語 モデルが数多くのタスクで高い性能を示している一方で，訓練データの一部が抽出可能であるセキュリ ティ面の課題が重要性を増している。本稿では新聞記事の特性を考慮することで，事前学習済み言語モ デルからの訓練データ抽出の議論に向け，現実世界 に即した評価セットが構築できると主張する。最初 に先行研究を踏まえこの課題を整理し，日本語の新聞記事を用いた評価セットを提案する。次いで，新聞記事で独自にモデルを事前学習し，構築した評価 セットに対して複数のモデルで訓練データ抽出を試 みる. 条件ごとの記憶の度合いの変化を確認する実験を通じて，この課題に関するいくつかの知見を示 し，将来展望を述べる。

## 1 はじめに

自然言語処理の躍進を支える「事前学習済み言語 モデル」は，研究領域のみならず産業界でも大きな 注目を集めている。単語の並び方に確率を割り当て る統計的な言語モデルは古くから研究が進み，近年 は大規模なニューラルネットワークに対する巨大な データセットでの事前学習が採用されている。この 拡張は流暢な自然言語生成に繋がり，多くの下流夕 スクにファインチューニングすることで高い性能を 示すと報告された [1]. 時には適切な文字列（プロン プト）を与えると，パラメータ更新なしに下流タス クに適した出力が可能で $[2,3]$, GitHub Copilot ${ }^{11}$ や ChatGPT ${ }^{2)}$ などの社会実装も着実に進行している.

実用化が進むと，セキュリティ面の課題が顕在化 する $[4,5]$. 先行研究は, ニューラルネットワークが 訓練に用いたデータを意図せず記憶し出力する性質を持つと指摘している $[6,7,8]$. Carlini ら [7] は，

事前学習済み言語モデルから多数の文章を生成（デ コーディング）しメンバーシップ推論 [9]をするこ とで，記憶された数多くの情報を抽出できると確認 した.この課題はプライバシーの侵害・実用性の低下・公平性の低下などを招くため，事前学習済み言語モデルの実運用に向けた課題となり得る [10]. 特 に医療・臨床データなど機密性の高い情報で事前学習したモデルを扱う場合，訓練データの漏洩は大き な問題に繋がる可能性がある [11]. 記述内容を記憶 している点で「忘れられる権利」の文脈でも議論が 必要である [12].

一方で，この課題に関する研究領域や産業界での 議論は未だ発展途上である. 多くの研究の実験は定性的な側面にとどまり，いくつかの論文で定量評価 の重要性が提起され始めている $[10,13,14]$. 既存の 研究では，対象とするモデルの事前学習に用いた データセットから一部のデータを取り出す方法で，評価セットを構築している。たとえば Carlini ら [10] は主に GPT-Neo モデル群 [15] を題材に，ウェブス クレイピングなどで収集したテキストを含む合計 825 GB の Pile データセット [16] を利用し，約 5 万 の部分集合を抽出した. 部分集合の選択は推論の計算量の都合から避けられない処理だが，公開済みの 情報を恣意性なく加工し，訓練データ抽出の現実世界のシナリオを想定した評価セットを構築するのは 難しい作業である.

本稿では新聞記事の特性を考慮することで，事前学習済み言語モデルからの訓練データ抽出に関する 課題を議論するため，現実世界に即した評価セット が構築できると提案する. 有料の購読プランを提供 するインターネット上のニュース配信サービスで は，新聞記事は冒頭の数百字のみが一般公開され，続く文章は購読者のみ閲覧可能となっている場合が 多い。そのため，公開部分を事前学習済み言語モデ ルに与え，非公開部分を引き出すという状況を手軽

図 1 本研究で扱う訓練データ抽出の概要. 新聞記事を用いた事前学習済み言語モデルに対して，公開部分をプロンプ トと見なして文字列をデコーディングする．記憶の度合いは，非公開部分を用いて評価する。

に再現できる利点がある. 以降，本研究で取り組む 課題を整理し（2 節），日本語の新聞記事を用いた評価セットを構築する（3 節）。次いで実験を通じて，日本語を題材としたこの課題に関するいくつかの知見を示す (4 節)．具体的には，独自に事前学習した モデルを含む複数のモデルで訓練データ抽出を試み て, 条件ごとの記憶の度合いの変化を確認した. 最後に本稿のまとめと将来展望を述べる（5 節）.

## 2 問題設定

本節では先行研究をもとに，事前学習済み言語モ デルによる訓練データの「記憶」を定義し, 本研究 で取り組む訓練データ抽出について説明する。

## 2.1 「記憶」の定義

事前学習済み言語モデルの「記憶」とは，訓練 データに関する情報を蓄え，時にそのまま出力する 現象を指す。記憶に関する研究は多岐にわたり，定義や前提条件も多様であるが，本稿では GPT 系の モデル群 $[1,2,3,15]$ に代表される自己回帰型の言語 モデルに焦点を当てる.

本研究では，2 種類の記憶の定義を用いる.まず 多くの先行研究 $[7,10,13]$ を参考に, 文字列の部分一致に基づく定義を採用する（Definition 2.1）.この 「逐語記憶（verbatim memorization）」の定義は，事前学習済み言語モデルに対して適切なプロンプトを与 えることで，記憶したデータが出力されると仮定し ている。加えて，文字列の類似性を考慮した「近似記憶 (approximate memorization)」の定義 $[14,17] も$用いる (Definition 2.2). 類似度として Lee ら [14] は トークン単位の一致率, Ippolito ら [17] は BLEU [18] を利用した. 本研究では単語間に空白がない日本語 を扱う点を考慮し，文字単位の編集距離 [19] を採用 する．差分プライバシ [20] や反実仮想 [21] の考え 方に基づく定義もあるが，本研究の対象外とした.

Definition 2.1 (逐語記憶). 長さ $k$ のプロンプト $p$ に対し，ある文字列 $s$ が事前学習済み言語モデル $f_{\theta}$ から生成され, $p$ と $s$ を結合した文字列が訓練に用 いたデータセット内に含まれている場合， $s$ は $f_{\theta}$ に 記憶されている。

Definition 2.2 (近似記憶). 長さ $k$ のプロンプト $p$ に 対し，ある文字列 $g$ が事前学習済み言語モデル $f_{\theta}$ から生成され，g と訓練に用いたデータセット内に 含まれている文字列 $s$ がある類似度の条件を満たす 場合， $s$ は $f_{\theta}$ に近似記憶されている.

## 2.2 訓練データ抽出

本研究では先行研究で多く参照されている Carlini ら [7] と同様の手順で，事前学習済み言語モデルか らの訓練データ抽出を試みる（図 1）。新聞記事は 一般公開されている冒頭の数百字（公開部分）と，購読者のみ閲覧可能の続き（非公開部分）で構成 される。最初に準備のため，公開部分と非公開部分を合わせた全ての文章でモデルを事前学習する.事前学習するモデルも Carlini ら [7] と同じで，主に GPT-2 [2]を利用する。この事前学習済み言語モデ ルに対して，公開部分の文字列をプロンプトと見な し，続く文字列をデコーディングする．デコーディ ング戦略の選択は実験結果に大きな影響を与えない とする報告もあり [10]，ここでは毎回最大の条件付 き確率の単語を生成する貪欲法を用い，一つのプロ ンプトから一つの文字列を生成する。生成された文字列を非公開部分と比較すると，記憶の度合いを定義に基づき評価できる。

## 3 評価セットの構築

本節では，新聞記事を用いた評価セットを構築す る. 本研究では日本経済新聞社のニュース配信サー ビス「日経電子版」3)のデータセット4)を用いた. こ のデータセットでは例外を除き「冒頭 200 文字」か

3) https://www.nikkei.com/

4) https://aws.amazon.com/marketplace/pp/ prodview-7hhnlazdw5rsi

 & - & - \\

表 1 nikkei/gpt2-60epoch で最も逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

図 2 評価セット 1000 件の公開部分の文字数のヒストグ ラム. 200 文字程度が大半だが，短い記事も存在する。

図 3 評価セット 1000 件の非公開部分のうち，最初の文末までの文字数のヒストグラム. 9 件が 200 文字を超えた ため可視化の際には省略した.

「記事全体の文字数の半分」の短い方が，公開部分 として定義されている5). 本研究では 2021 年に公開された中で，例外に該当する記事を除いて 1000 記事を評価セットとして利用した（図2）。非公開部分は記事によっては非常に長く, 問題の単純化のた めに最初の文末までを抽出した6）（図 3). 表 1 のよ うに公開部分が句点で終わるのは， 25 記事と少数派 である. Appendix A に示す通り，公開部分は必ずし も句点で終わらず非公開部分の冒頭と接続する.

## 4 実験

本節では，さまざまな条件下での実験を通じ，提案した評価セットから得られた知見を報告する。最初に複数の事前学習済み言語モデルを準備し，次に 訓練データ抽出を試みて条件ごとの記憶の度合いの 変化を分析した。

## 4.1 利用した事前学習済み言語モデル

まず 2010～21 年に公開された日経電子版の記事本文（2.8 GB）を用いて GPT-2を事前学習し,複数の学習エポック数でモデルを保存した. 評価セットの記事も訓練に用いたデータセットに 含まれている. モデルの一覧は表 2 で確認でき， nikkei/gpt2-\{X\}epoch は日経電子版のデータセッ トで Xエポック学習したモデルである。事前学習に は Hugging Face の Transformers [22]，単語の分割に はユニグラム言語モデル [23]を用いた. 事前学習の 細かい設定については Appendix B に示す.

記憶の性質とは関係なく生成した文字列が偶然一致する可能性があるため, 別のデータセットで事前学習されたモデルも比較対象とした. 表 2 のモデル 名は Hugging Face での公開名7) で，パラメタ数が異 なるモデルを選んだ. それぞれ日本語の Wikipedia ${ }^{8)}$ や CC-1009) などで事前学習されている.

## 4.2 訓練データ抽出

準備したモデルを用いて，2.2 節で示した方法で 訓練データ抽出を試みた。生成された結果は，2.1 節での定義に基づき，大きいほど記憶の度合いが大 きい値として次のように定量化した。文字列は全て

表 2 各モデルの記憶の度合い。パラメタ数の B は Billion（10 億），太字は最も類似度が高いことを意味する．

半角に揃えて比較した.
- 逐語記憶 : 前方一致の文字数
- 近似記憶：1-(編集距離/ 文字列の長さ ${ }^{10}$ )

最も長く事前学習したnikkei/gpt2-60epoch で逐語記憶の度合いが 1 番高かった評価セットに対し，一部のモデルの生成例を表 1 に示した. 非公開部分 との前方一致は緑色で強調した. 日経電子版のデー タセットで事前学習したモデルは 15 エポックを超 えた段階で，非公開部分と 48 文字前方一致する文字列を生成した。一方 rinna/japanese-gpt-1b は,公開部分の末尾が句点のためか, 文末を示す特別な トークン</s>を出力した. 2 番目に逐語記憶の度合いが高かった評価セットの生成結果は Appendix A で紹介する。

各モデルの記憶の度合いの集約結果を表 2 に示 す. まずエポック数が増加するにつれ逐語記憶の最大値も増えている. 同一データセットでの繰り返し の学習を通じ, 事前学習済み言語モデルの逐語記憶 の性質が強まっていると示唆された. 日経電子版の データセットを用いた事前学習言語済みモデルは, その他のモデルより長い文字列を逐語記憶してい る. 逐語記憶の平均值でも，概ね同様の傾向が見ら れた. 近似記憶の平均値 - 中央値もエポック数の増加と相関の傾向がある. その他のモデルと比べる と, 1 エポックのみの事前学習では小さい値となっ たが，事前学習を重ねるとより大きな値を示した。

その他のモデルでは, パラメタ数が大きいほど構築した評価セットでの記憶の性質が高まる傾向に あった. 先行研究 [10] でも報告されている通り, パ ラメタ数が大きいほど一般的な記憶の性質が高まる ためだと推察される.

10）比較する 2 つの文字列の長い方

## 5 おわりに

本稿では公開と非公開の部分が共存する新聞記事 の特性を考慮し，事前学習済み言語モデルからの訓練データ抽出に関する課題を議論するための，現実世界に即した評価セットの構築手法を提案した。日本語の新聞記事を用いた評価セットを構築した後,同じデータセットで GPT-2を事前学習し, 複数のモ デルで訓練データ抽出を試みる実験を通じて，提案 した評価セットから得られた知見を報告した.

事前学習済み言語モデルの実用化が進む中，この 課題に関する議論は重要性を増している. 英語以外 の言語特有の論点を特定し検証する目的でも，日本語のデータセットを用いた研究には大きな意義があ る. 将来展望として，まずデータセットの構築や評価の方法の議論を深める必要がある. 本研究では評価セットとして 1000 件ランダムに抽出したが，より 適切な条件に絞る方法も考えられる. 先行研究 [10] は記憶の性質が文字列の重複と関係するという知見 $[13,14]$ に基づき評価セットを構築した. 記憶の 定義や評価指標も検討の余地がある. 先行研究 [7] はパラメタ数が異なる GPT-2 での生成確率の違いな ど，メンバーシップ推論の 6 つの指標を利用した.

評価の枠組みを確立することで，訓練データ抽出 に関連する手法の影響を検証できる。本研究では頜欲法を用いて一つのプロンプトから一つの文字列を 生成したが, 先行研究 $[7,13,14]$ は top-k サンプリン グといったデコーディング戦略の工夫で，多様な文字列の候補を大量に列挙した. 課題の対応策として は，データの削除や重複の排除 $[13,14]$, 差分プライ バシを導入した学習時の工夫 [24], 危険な出力を特定し除外する後処理 [25] などが提案されている.

## 参考文献

[1] Alec Radford, Karthik Narasimhan, Tim Salimans, et al. Improving language understanding by generative pretraining, 2018.

[2] Alec Radford, Jeffrey Wu, Rewon Child, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are Few-Shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Emily M Bender, Timnit Gebru, Angelina McMillanMajor, et al. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623, New York, NY, USA, March 2021. Association for Computing Machinery.

[5] Laura Weidinger, Jonathan Uesato, Maribeth Rauh, et al. Taxonomy of risks posed by language models. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 214-229, New York, NY, USA, June 2022. Association for Computing Machinery.

[6] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, et al. The secret sharer: Evaluating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pp. 267-284, 2019.

[7] Nicholas Carlini, Florian Tramèr, Eric Wallace, et al. Extracting training data from large language models. In 30th USENIX Security Symposium (USENIX Security 21), pp. 2633-2650, 2021.

[8] Huseyin A Inan, Osman Ramadan, Lukas Wutschitz, et al. Training data leakage analysis in language models. In 3rd Privacy-Preserving Machine Learning Workshop, January 2021.

[9] Reza Shokri, Marco Stronati, Congzheng Song, et al. Membership inference attacks against machine learning models. In 2017 IEEE Symposium on Security and Privacy (SP), pp. 3-18, 2017.

[10] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, et al. Quantifying memorization across neural language models. arXiv preprint arXiv:2202.07646, February 2022.

[11] Eric Lehman, Sarthak Jain, Karl Pichotta, et al. Does BERT pretrained on clinical notes reveal sensitive data? In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 946-959, Online, June 2021. Association for Computational Linguistics.

[12] Sanjam Garg, Shafi Goldwasser, and Prashant Nalini Vasudevan. Formalizing data deletion in the context of the right to be forgotten. In Advances in Cryptology EUROCRYPT 2020, pp. 373-402. Springer International Publishing, 2020.

[13] Nikhil Kandpal, Eric Wallace, and Colin Raffel. Deduplicating training data mitigates privacy risks in language models. In Proceedings of the 39th International Conference on Machine Learning, Vol. 162, pp. $10697-$ 10707. PMLR, 17-23 Jul 2022.

[14] Katherine Lee, Daphne Ippolito, Andrew Nystrom, et al. Deduplicating training data makes language models better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8424-8445, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[15] Sidney Black, Stella Biderman, Eric Hallahan, et al. GPTNeoX-20B: An Open-Source autoregressive language model. In Proceedings of BigScience Episode \#5 Workshop on Challenges \& Perspectives in Creating Large Language Models, pp. 95-136, virtual+Dublin, May 2022. Association for Computational Linguistics.

[16] Leo Gao, Stella Biderman, Sid Black, et al. The pile: An 800GB dataset of diverse text for language modeling. arXiv preprint arXiv:2101.00027, December 2020.

[17] Daphne Ippolito, Florian Tramèr, Milad Nasr, et al. Preventing verbatim memorization in language models gives a false sense of privacy. arXiv preprint arXiv:2210.17546, October 2022

[18] Kishore Papineni, Salim Roukos, Todd Ward, et al. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[19] Li Yujian and Liu Bo. A normalized levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, June 2007

[20] Cynthia Dwork, Frank McSherry, Kobbi Nissim, et al. Calibrating noise to sensitivity in private data analysis. In Theory of Cryptography, pp. 265-284. Springer Berlin Heidelberg, 2006.

[21] Chiyuan Zhang, Daphne Ippolito, Katherine Lee, et al. Counterfactual memorization in neural language models. arXiv preprint arXiv:2112.12938, December 2021.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[23] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[24] Xuechen Li, Florian Tramèr, Percy Liang, et al. Large language models can be strong differentially private learners. arXiv preprint arXiv:2110.05679, October 2021.

[25] Ethan Perez, Saffron Huang, Francis Song, et al. Red teaming language models with language models. arXiv preprint arXiv:2202.03286, February 2022.

 & - & - \\

表 3 nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

## A 評価セットと生成の例

nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合 いが高かった評価セットと，実験で用いた各モデル の生成結果を表 3 に示す. 表 1 とは，公開部分が句点の前に終わっている点が異なる. 大まかな傾向は 同じで，日経電子版のデータセットで事前学習した モデルでは，エポック数の増加に伴い逐語記憶・近似記憶の度合いが高まった。1 エポックのみの事前学習で「第 26 回国連気候変動枠組み条約締約国会議（COP26）」という文字列が生成されている.

その他の事前学習済み言語モデルでは，逐語記憶・近似記憶の度合いが小さい. 生成結果に文法的 な誤りはなく違和感は少ないが，表 2 に示したパラ メタ数が比較的小さい rinna/japanese-gpt2-small や rinna/japanese-gpt2-medium には「第 26」を与 えた文脈では間違いとなる「сор24」「сор21」など の略称が含まれた。 パラメタ数が比較的大きい rinna/japanese-gpt-1b では正しい「COP26」の略称になっており，一般的な記憶の性質が高まって いるが，非公開部分と比べて「国連」が欠落した。 abeja/gpt2-large-japanese は, 非公開部分と異な
り先進国首脳会議に言及した。なお三重県伊勢志摩 で開催されたのは第 42 回で，第 26 回は沖縄県名護市だった. 表 1 と 3 の公開・非公開部分はそれぞれ 日経電子版の記事 ${ }^{11)}{ }^{12}$ から引用した。

## B 事前学習の設定

事前学習は Transformers のドキュメント ${ }^{13)}$ を参考に，ハイパーパラメタを設定した。具体的に は学習率を 0.005 , バッチサイズを 8 , weight decay を 0.01，最適化アルゴリズムを Adafactor とした. Transformers と TensorFlow のバージョンは 4.11 と 2.5 を用いた。計算資源には，GPU の A100を 8 個含 む Amazon EC2 P4 Instances の ml.p4d.24xlarge ${ }^{14)}$ を 使った．単語の分割には，語彙数 32000 のユニグラ ム言語モデルを用いた.テキストから直接語彙を生成できるため，日本語や中国語のように，単語間に 明示的な空白がない言語に対して有効である。


# レシピに含まれる不使用な材料等に関する記述の抽出

山口泰弘 ${ }^{1}$ 染谷大河 ${ }^{2}$ 深澤祐援 ${ }^{1}$ 原島純 1
1 クックパッド株式会社 2 東京大学大学院 総合文化研究科
\{yasuhiro-yamaguchi, yusuke-fukasawa, jun-harashima\}@cookpad.com
taiga98-0809@g.ecc.u-tokyo.ac.jp

## 概要

レシピ中のテキストには，しばしば「卵不使用」 のように特定の材料等について不使用である旨を示 す記述が含まれる。こうした記述は，例えば検索に おいて「卵」で検索した際に「卵不使用」のレシピ が表示される等，不都合な場合がある．そこで，本研究では系列ラベリングモデルを用いてレシピに含 まれるテキストから不使用な材料／調理器具／調理工程を抽出する手法を提案する。 また，レシピ特有の表現に着目したデータ拡張手法も併せて検討 した. 実験の結果，F185.1\% の抽出精度を達成し， データ拡張手法についてもその有効性が示された。

## 1 はじめに

クックパッドをはじめとしたユーザー投稿型のレ シピサービスには多様なレシピが存在する. 投稿さ れるレシピの中には, しばしば特定の材料や調理器具等を使わずに調理できる旨を明示的に記載したも のがある.「小麦粉不使用」や「卵アレルギー対応」等特定の食材を使わないことを示すものや，「火を 使わずに」「圧力鍋なしで」のように調理法や道具を 使わないことを表すもの等，対象となるアイテムや 行為，表記方法は様々である。こうした記述は，閲覧者がアレルギーに配慮したレシピを探す際や，よ り簡単な調理法を探す際に有益な情報となり得る。

一方，このような不使用な食材等に関する記述は レシピ検索等の応用において不都合な場合がある.単純なテキストのマッチングに基づく検索では,「卵」で検索した際に「卵不使用」と記載のあるレシ ピが検索結果に表示されることがある. しかし材料名で検索を行うユーザーの多くはその材料を使った レシピを探している可能性が高く, 当該材料を使わ ないレシピが検索結果に載ることは不自然だと考え られる。こうした課題を解決するためには，予めレ シピ中から不使用と書かれた材料等の記述を検出し
ておく，といった対応が必要になる。

そこで本研究では，レシピ中のテキストから系列 ラベリングモデルを用いて不使用な材料／調理器具 ／調理工程を抽出する手法を提案する。また，不使用に関連する記述に着目したいくつかのデータ拡張手法を検討し，実験を通してその効果を調査する。

## 2 関連研究

系列ラベリングは入力系列の各トークンにラ ベルを割り当てる手法であり, 固有表現認識や品詞タグ付け等のタスクで利用されている. 本研究 では固有表現認識タスクの代表的な手法である BiLSTM-CRF [1]を元にしたモデルを利用する.

レシピ中のテキストを対象にした系列ラベリング の研究として, 材料や調理工程を検出する手法がい くつか提案されている [2] [3]. また, Cookpad Parsed Corpus (CPC) [4]のようにレシピに対して形態素, 固有表現，係り受けの情報を付与する取り組みもあ る. CPC では調理中に除去される材料の検出等, 文脈を考慮したより詳細な解析が試みられている。

また, レシピの材料や調理工程に着目した研究と して，材料名の正規化 [5]，材料欄に含まれる非材料 の検出 [6]，タイトルに基づく材料の予測 [7]，調理工程のグラフ構造化 [8] [9], 材料の上位下位関係の 検出 [10]等がある. これらの研究はレシピ中で使用 される材料や調理工程に着目しているが, 本研究で は不使用な項目に焦点を当てる。

テキストのデータ拡張に関する研究には，単語の 挿入・削除・置換等の処理を行う EDA [11] 等があ り, 文分類タスク等での有効性が確認されている. また，Dai ら [12] は固有表現認識タスクを対象にし たデータ拡張としてメンションの置換やメンション 以外のトークンのシャッフル等の手法を提案し, 予測性能の向上を示している.これらの研究とは異な り, 本研究ではレシピ固有の表現に着目したデータ 拡張手法を用いることで性能改善を試みる。
表 1 アノテーションしたレシピの例 テキスト

 \\

## 3 提案手法

## 3.1 データセットの作成

不使用に関する記述に着目したデータセットを 新たに作成するために，172万品のレシピデータを 含む Cookpad Recipe Dataset [13] から「不使用」等の 記述を含むレシピ 7,000 件と無作為に選択したレシ ピ 3,000 件の計 1 万レシピを抽出した. 1 人のアノ テータにより, 抽出したレシピのタイトル，説明の テキストに対して不使用であることが明記された材料/調理器具/調理工程のスパンのアノテーション を行った。表 1 にアノテーションしたレシピの例を 示す. 作成したーデータセットは学習用／検証用／ テスト用に分割し, 学習と評価に利用した. 分割し たデータセットの統計を表 2 に示す. データの収集 やアノテーション方法に関するより詳しい情報は付録 A に記す。

## 3.2 データ拡張

作成したデータセットの観察から, 不使用に関連 する記述には多様性があり, 各表現の出現頻度は不均衡であることがわかった。そこで，以下のデータ 拡張手法を適用することでこの問題に対処する.

ReplaceSuffix “〜なし”のように，対象となるス パンの後方に続くことでそれらが不使用であること を示す表現について，それらの表現をランダムに入 れ替える手法. 付録 B. 1 に示した表現に該当する箇所を，他の表現でランダムに置き換える.

ReplaceSeparator “A・Bを使わない...” のよう に複数のアイテムを対象に不使用であることを示す 表現について, 列挙のパターンをランダムに入れ替
える手法. アノテーションされた直近 2 つのスパン に挟まれたテキストのうち，付録B. 2 に示した表現 に該当するものを他の表現で置き換える。

SuffixToPrefix “〜なし”のようにスパンの後方 に続く表現を，“ノン〜”(“ノンオイル”，等)のよう にスパンの前方に付く表現に置き換える手法. アノ テーションされたスパンの後に付録 B. 3 に示す表現 が続く場合，“ノン〜”という形式に置き換える。

## 3.3 同義語による置換

上記のデータ拡張手法では，対象となる表現以外 は変化せず，似た表記を持つテキストが多く生成さ れるため過学習につながる可能性がある. そこで, データのバリエーションを増やすためにデータ拡張 によって生成されたテキストを対象としてテキスト 中に含まれる単語をランダムに同義語に置き換え る処理を合わせて行う．テキストを分かち書きした 後, 各単語について料理関連語を対象として事前に 定義した同義語辞書をもとに他の同義語へとランダ ムに置き換える。

## 3.4 不使用に関する記述の抽出

図 1 にスパン抽出に用いる系列ラベリングモデ ルの構造を示す. BiLSTM-CRF [1] をべースとした ニューラルモデルであり，レシピ中のテキストを入力として, 各トークンに対して BIOUL タグを出力 することで不使用なアイテムのスパンと，それらの カテゴリ (材料／調理器具／工程)を予測する.

入力のテキストは形態素解析を行なったあと文字レベルでトークン化し, 文字系列 $\left(c_{1}, \cdots, c_{T}\right)$ と 品詞系列 $\left(\tau_{1}, \cdots, \tau_{T}\right)$ に変換する。単語の境界情報 を与えるために，品詞系列には図 1 に示すように BIOUL スキーマを用いて文字ごとに品詞情報を 割り当てる方法を採用した. エンコーダへの入力 は文字／品詞に対応する学習可能な埋め込み表現 $\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right), \boldsymbol{e}_{\mathrm{POS}}\left(\tau_{t}\right)$ を結合したべクトル $\boldsymbol{x}_{t}$ の系列と する.

$
\begin{aligned}
\boldsymbol{x}_{t} & =\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right) \| \boldsymbol{e}_{\mathrm{POS}}\left(\boldsymbol{\tau}_{t}\right) \\
\boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T} & =\operatorname{Encoder}\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)
\end{aligned}
$

エンコーダの出力から， CRFを通してタグ 系列 $\boldsymbol{y}=\left(y_{1}, \cdots, y_{T}\right)$ の確率を計算する. 以下の $\theta_{y_{t-1}, y_{t}}, \boldsymbol{w}_{y_{t}}$ は CRF の学習パラメータを表す.

$
p\left(\boldsymbol{y} \mid \boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T}\right) \propto \exp \left(\sum_{t=2}^{T} \theta_{y_{t-1}, y_{t}}+\sum_{t=1}^{T} \boldsymbol{w}_{y_{t}}^{\top} \boldsymbol{h}_{t}\right)
$

図 1 スパン抽出モデル

学習では以下の負の対数尤度を最小化するように モデルのパラメータを最適化する.

$
\mathscr{L}=-\sum_{i} \log p\left(\boldsymbol{y}^{(i)} \mid \boldsymbol{h}_{1}^{(i)}, \cdots, \boldsymbol{h}_{T}^{(i)}\right)
$

## 3.5 スパンのフィルタリング処理

本研究で抽出対象とする 3 種類のスパンのうち,特に材料に関するものはレシピの材料闌の情報と組 み合わせることで抽出精度の改善が期待できる. そ こで，レシピの材料欄に基づいて抽出されたスパン のフィルタリングを行う方法を提案する。

前処理として, 抽出された材料のスパンと材料欄 の材料名を対象に Harashima ら [5] の手法を利用し て材料名の正規化を行う. 正規化した材料名同士を 比較し，抽出した材料スパンのうち材料欄に含まれ るものがあればそれらを取り除く。このフィルタリ ング処理により誤って抽出された可能性の高いスパ ンを除去することができるため，モデルの適合率の 改善が期待できる.

## 4 実験と結果

## 4.1 実験方法

各種データ拡張手法を適用したデータセットを用 いてスパン抽出モデルの学習を行い，性能の評価を 行った. データ拡張処理では各手法について拡張対象の表現と変換パターンを可能な限り適用した. 学習データにデータ拡張を施した場合のデータセット 規模の変化を表 3 に示す。より詳細なデータ拡張の 設定，結果は付録 B に記す。表 3 各データ拡張手法適用後のデータセット規模

各テキストは予め fugashi [14] と IPAdic ${ }^{1)}$ により 形態素解析を行い，その結果得られた品詞情報をモ デルの入力とする. また，モデルのエンコーダには 2 層の双方向 GRU (BiGRU) [15] を利用した. モデルの学習では分割したアノテーションデータ のうち学習データを用いてモデルのパラメータの 更新を行い，検証データを用いた評価による Early Stopping を実施した. モデルのパラメータの最適化 には AdamW [16]を用いた。

モデルの性能評価にはスパンベースの F1／ Precision / Recall を利用した. 学習時には Early Stopping を行い，検証データにおいて最も高いF1 ス コアを達成した時点のモデルを採用した。

## 4.2 ベースライン手法

ベースライン手法として，以下 2 つの抽出方法を 採用した. どちらの手法についても， 3.5 節のフィ ルタリング処理と併せて予測を行なった。

Dictionary-based Extractor Cookpad のサービス で利用されている独自の辞書に基づいてテキスト中 から候補となる材料・調理工程・調理器具のスパン を抽出する手法.

Dependency-based Extractor テキストの依存構造解析を行い，「不使用」等のキーワードと係り受 け関係にある名詞を抽出する手法. 依存構造解析に は $\mathrm{GiNZ}^{2}$ を利用した。抽出したスパンのラベルは Dictionary-based Extractor でも利用した独自の辞書に 基づいて決定した.

## 5 結果と考察

表 4 に実験結果を示す. 2 つのベースライン 手法と BiGRU-CRF を比較すると，F1において BiGRU-CRF モデルが+20\%以上高い性能を示した. Dictionary-based Extractorについては， Recall は比較的高いが，材料以外はフィルタリング処理されない ことや，“〜にもあう”のような表現を伴うレシピ

表 4

テストデータにおけるモデルの予測精度

表 5 ラベルごとの予測精度

と直接関係のない食品のスパンも抽出されたこと で，Precision は他の手法に比べて特に低い結果と なった. Dependency-based Extractor では BiGRU-CRF と比較して高い Precision を達成したが, 予め定義し たパターン以外は抽出できないことや依存構造解析の誤り等の影響で，特に Recall が低くなる結果と なった.

データ拡張の効果 各データ拡張手法に着目す ると，すべての手法でデータ拡張を用いない場合 と比べて F1 スコアの上昇が見られた. データ拡張 を個々に適用した場合，いずれの手法においても Precision の上昇が確認できたが，Recall については 下がる傾向が見られた. 一方，全てのデータ拡張手法を適用した場合には全ての指標について改善が見 られ, Precisionでは+3.9\%の改善, Recall においても $+0.1 \%$ と若干の上昇となった. データ拡張で考慮さ れた記述パターンを含むテキストについて検出精度が向上することで Precision の上昇につながった と考えられる。一方，false-negative な誤りの多くは “〜の代わりに”や“〜を避けたい”のように今回の データ拡張の設定で考慮されていないものであり， Recall の更なる改善にはこうした表現に対応する学習データの追加やデータ拡張の設定が必要になると 考えられる。

ラベルごとの予測精度 表 5 に BiGRU-CRF + All モデルのラベルごとの予測精度を示す. F1による 比較では材料の抽出精度が最も高く, 次いで調理器具, 調理工程 という結果になった. 特に調理工程に ついては，調理器具よりも学習データに含まれるス パンの数が多いにも関わらず，他のラベルと比較し ていずれの指標においても低い性能を示した．材料 や調理器具のラベルが付いたスパンは，その多くは 一般名詞であることから予測が比較的容易であると表 6 同義語による置換とスパンのフィルタリングの効果

考えられる。しかし, 調理工程については学習デー タに含まれる事例が比較的少ない一方で「一晚寝か せ」のように複数の単語からなるもの等表現のバリ エーションが多いため，他の 2 つのラベルに比べて 予測が困難であると考えられる。

同義語による置換の効果 同義語による置換処理 を施していないデータセットで BiGRU-CRF + All モ デルを学習した結果を表 6 に示す. 置換処理を行わ ない場合，すべての指標において性能の低下が見ら れたが，特に Recall において $-2.2 \%$ の顕著な性能低下が見られた. 同義語置換なしの設定では共通した 語句を持つテキストが多く生成されるため，モデル が限られたパターンのみに適合したことで Recall が 減少したと考えられる.

スパンのフィルタリング処理の影響スパンの フィルタリング処理を適用しない場合の性能比較を同様に表 6 に示す. フィルタリング処理を適用した場合と比較して，F1で $-1.0 \%$, Precision では $-2.3 \%$ の性能低下が見られた. 特に Precision の変化 から，提案したフィルタリング処理を用いること でBiGRU-CRF モデルが誤って検出したスパンを排除できることがわかった。一方，Recall においては フィルタリング処理しない場合の方が $+0.5 \%$ ほど高 い精度となった. これはフィルタリング処理によっ て本来抽出するべきスパンが誤って排除されたこ とによるものと考えられる. フィルタリング処理の 導入により，Recall においては若干の性能低下が見 られたが，Precision においては期待した改善が見ら れ，F1の向上に寄与した.

## 6 おわりに

レシピ中のテキストに含まれる不使用な材料／調理器具／調理工程に関する記述を抽出するために,系列ラベリングを用いた抽出手法と，レシピ特有の 表現に着目したデータ拡張手法を提案した. 実験の 結果，F1 スコアで $85.1 \%$ の抽出精度を達成し，提案 したデータ拡張手法の有効性が示された。今後は抽出精度の改善やレシピ検索等の応用に向けて, 系列 ラベリング以外の抽出手法の検討や検索タスクによ る評価等を行いたい。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), 2016.

[2] Makoto Hiramatsu, Kei Wakabayashi, and Jun Harashima. Named Entity Recognition by Character-based Word Classification using a Domain Specific Dictionary. In Proceedings of the 20th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 2019), 2019.

[3] Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named Entity Recognizer Trainable from Partially Annotated Data. In Conference of the Pacific Association for Computational Linguistics (PACLING 2015), 2015.

[4] Jun Harashima and Makoto Hiramatsu. Cookpad parsed corpus: Linguistic annotations of Japanese recipes. In Proceedings of the 14th Linguistic Annotation Workshop (LAW 2020), 2020.

[5] Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management (CEA 2018), 2018.

[6] Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient Detection in User-generated Recipes using the Sequence Tagging Approach. In Proceedings of the Sixth Workshop on Noisy User-generated Text (W-NUT 2020), 2020.

[7] 深澤祐援, 西川荘介, 原島純. マルチラベル分類によ る材料推薦モデル. 言語処理学会第 27 回年次大会発表論文集 (NLP 2021), 2021.

[8] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow Graph Corpus from Recipe Texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014), 2014

[9] Lucia Donatelli, Theresa Schmidt, Debanjali Biswas, Arne Köhn, Fangzhou Zhai, and Alexander Koller. Aligning actions across recipe graphs. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), 2021.

[10] Young-joo Chung. Finding food entity relationships using user-generated data in recipe service. In Proceedings of the 21st ACM international conference on Information and knowledge management (CIKM 2012), 2012.

[11] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), 2019.

[12] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics (COLING 2020), 2020.

[13] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), 2016.

[14] Paul McCann. fugashi, a tool for tokenizing Japanese in python. In Proceedings of Second Workshop for NLP Open Source Software (NLP-OSS 2020), 2020.

[15] Kyunghyun Cho, Bart van Merriënboer, Dzmitry Bahdanau, and Yoshua Bengio. On the properties of neural machine translation: Encoder-decoder approaches. In Proceedings of Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation (SSST 2014), 2014.

[16] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proceedings of International Conference on Learning Representations (ICLR 2019), 2019.

## A データセットの詳細

## A. 1 レシピの収集方法

不使用に関する記述を含むレシピを効率的に収集 するために，Cookpad Recipe Dataset [13] に収録され たレシピを対象に，タイトル・説明文に以下の表現 を含むものをランダムに 7,000 件収集した:

使わ／つかわ／使い／使って／つかって／使用／不要／なし／無し／いら／要ら／せず／しない／し なく/アレルギー

また，データの偏りを考慮して上記で選ばれな かったレシピの中からランダムに 3,000 件のレシピ を取得し，データセットに加えた。

## A. 2 アノテーションの詳細

収集したレシピのタイトル (title), 説明 (description) を対象に，当該テキストの記述のみからそのレシピ 全体で不使用であることがわかるもののみを対象に スパンのアノテーションを付与した. また「○○な しでも OK」のように，アイテムを使わないことが オプションである旨が記載されたものに関してはア ノテーションを行わないこととした.

## B データ拡張手法の詳細

各種データ拡張手法について，詳細な設定を以下 に示す. また，表 7 に各手法で対象となる学習デー タ中のテキストノスパン数の統計情報を示す.

## B. 1 ReplaceSuffix

スパンの後方に続く表現が以下のいずれかに当て はまるとき，他の表現による置き換えを行う: なし /いらず／使わない／使ワナイ／を使わない／不要 ／不使用／要らず／なし／無し／ゼロ

## B. 2 ReplaceSeparator

スパンに挟まれた表現が以下のいずれかに当ては まるとき，他の表現による置き換えを行う: ・(中点) ／\&(アンパサンド) $/$ ，(読点) $/$ や(並立助詞) (空白)

## B. 3 SuffixToPrefix

スパンの後方に続く表現が以下のいずれかに当て はまるとき，それらを消してスパンの前方に“ノン” を追加する処理を行う: なし／ナシ／無し／不使用

## B. 4 データ拡張の例

全てのデータ拡張手法と同義語による置換を行な い得られたテキストを表 8 に示す.

表 8 データ拡張により生成された文の例

(a) 例文 1

原文卵・乳製品不使用の簡単もっちりスコーン』

生成例 1 卵乳製品いらずの超簡単モッチリスコーン』

生成例 2 卵\&乳製品不要のかんたんもっちりすこーん』

(b) 例文 2

原文おからでイタリアンえピザ風え小麦粉不使用

生成例 1 卯ノ花でイタリア料理凸ピザ風々ノン小麦粉

生成例 2 オカラでイタリアぬピザ風々小麦粉を使わない