# コロナ禍前後における Twitter ユーザの性格別感情変化の分析

松本 和 ${ }^{1}{ }^{1}$ 喜島 $\quad$ 涼太 ${ }^{2}$ 吉田 稔 $^{1}$ 北 研二 $^{1}$
1 徳島大学大学院社会産業理工学研究部 ${ }^{2}$ 徳島大学大学院創成科学研究科
\{matumoto, mino, kita\}@is. tokushima-u. ac.jp, c612135039@tokushima-u. ac. jp

## 概要

2019 年末から始まったコロナ禍も 3 年が経過し，徐々に行動制限が緩和され, 日々, 状況は変化しつ つある. 現在も，生活様式の劇的な変化に伴い心身 へのストレスなど人々に大きな影響を与え続けてい る. 本研究は, コロナ禍前後での Twitter 上での発言内容から感情分析を行い，特徵的な表現を抽出し て比較分析することにより, 人々の発言, 思考, 行動に起きた変化を分析する。また，ユーザの性格夕 イプ別での感情の変動について考察する.

## 1 はじめに

新型コロナウイルス感染症の拡大に伴い, 2020 年 からの長期間の行動制限は, 精神的ストレスの増加,離職，収入の激減といった悪循環を引き起こしてい る. 現在, 行動制限が緩和され, コロナ禍前の日常 が戻りつつあるとはいえ，まだ感染が収束したわけ ではない. 現在でも，自肃の継続を選択せざるを得 ない人々や，後遺症などから感染拡大前の生活に戻 れない人々も少なくない。うつ病などのメンタルへ ルスの問題に至らないよう，周囲とのコミュニケー ションを密にし, 孤立化を防止することが極めて重要である。そのためにも，人々が何に影響を受け， どのような感情を抱いているかを大まかに把握し，要因別のサポート体制を整える必要がある.

本研究では，感情推定技術を活用して，ソーシャ ルメディア上の発言を感情分析し, 人々の発言の内容から感情変化の要因となるものを特定する技術の 開発を行っている. 人々の感情変化がどのような行動を引き起こしているのか, 思考や行動に関連した キーワードを抽出して分析を行い，ユーザを性格別 にグループ分けし, どのような性格のユーザにどの ような変化が起こっているかを考察する。

## 2 関連研究

コロナ禍における人々の考えや行動をソーシャル ネットワーキングサービス(SNS)の投稿から把握し ようとする研究は多い. 自肃生活で対面交流が制限 され, オンライン交流および Web 上での活動が増加 したことで，コロナ禍前よりも多くのユーザが SNS を利用するようになった. Twitter は即時性が高く,短文で個人の考えをリアルタイムに反映した投稿が されやすい点で，感情分析の対象に適している。ま た，新しい生活様式においては特に世の中のニュー スのチェックに利用する傾向が顕著である[1].

鳥海ら[2]は，新型コロナウイルスに関する投稿を 収集し，情報を発信するユーザの感情に着目した分析を行った. この研究では，新型コロナウイルスに 関連した大きなイベントの発生とその際のユーザの 投稿に表孔ている感情との関連を明らかにしている。

福田ら[3]は, 新型コロナウイルスワクチンに対す る人々の感情に着目し, 感情が表れる要因を分析し ている。日本，米国など 6 力国 (日本語および英語) の Twitter の投稿を対象としており，ワクチンに関す る同一の出来事でも，個人の状況に応じて観察され る感情が異なることを明らかにした。彼らの研究で は，感情分析に BERT を利用し，海外ツイートに刘 しては SemEval2018 Task 1: Affect in Tweets[4]で配布された Emotion Classification (E-c) task の英語感情分析データセットを用い，日本語ツイートに対して は，Kajiwara ら[5]の日本語感情分析データセット (WRIME corpus)を用いている.

これらの研究では，ユーザ個々の性質には着目し ていない. 鳥海らの研究では, 感情の時間変化やユ 一ザのコミュニティの偏りを考慮しているが，個々 のユーザの思考・行動の違いは考慮していない。こ れは，ユーザの思考・行動を識別することが難しい ことと, プロフィール情報の信頼性がユーザによっ て差があること，また，複数アカウントを利用する ユーザの影響を排除しきれないことなどが要因であ

ると考える。また, 感情分析に辞書ベースの ML-Ask[6]を利用しており精度の面で問題がある.

本研究では, ユーザの感情や行動に影響を与える と考えられる性格（パーソナリティ）に着目し，性格タイプ別に感情の変化を分析することで，思考・行動の変化を検討する点で異なる.

伊藤ら[7]は, IBM のサービス Personality Insights を用いて, Twitter ユーザの性格を時系列で分析して いる.しかし, 個人の性格はコロナ禍前後の短期間 で変化が観察できるほど変動の激しいものではない. このため, 本研究では, Twitter ユーザ本人が受けた 性格診断テスト (MBTI: Myers-Briggs Type Indicator[8]）の結果をもとに性格を固定し分析する.

## 3 提案手法

## 3.1 感情推定手法

本研究では, 感情推定に機械学習アルゴリズムを 用いる. 具体的には, 感情ラベル付きテキストコー パスを, BERT などの事前学習済みの汎用言語モデ ルを用いて学習させたマルチラベル分類モデルであ る. 学習対象のコーパスは, 先行研究と同様に, Kajiwara ら[5]の日本語感情分析データセットと,我々が独自に収集・ラベル付けした感情コーパス[9]， また, 絵文字と感情表現辞書をもとにラベルを自動付与したツイートコーパスを用いた. 下記の事前学習済みモデルをもとに感情推定モデルのファインチ ューニングを行う.いずれも Hagging Face[10]で提供 されているものである.

1. xlm-roberta-base

2. nlp-waseda/roberta-base-japanese

3. rinna/japanese-roberta-base

4. hajime9652/xlnet-japanese

5. Twitter/twhin-bert-base

ファインチューニングには, Transformer ベースの モデルを簡易な実装で扱えるライブラリ Simple Transformers[11]の MultiLabelClassificationModel を用 いた. 対象とする感情の種類は, Plutchik の基本 8 感情 [12][13] （喜び:Joy, 悲しみ:Sadness, 期待:Anticipation, 驚き:Surprise, 怒り:Anger, 恐れ:Fear,嫌悪:Disgust, 信頼:Trust）である. 各ツイートに対し て推定モデルが出力した確率値が 0.5 以上となった感情ラベルを付与する。

## 3.2 感情推定モデルの選定

複数の事前学習済みモデルを用いるにあたり，精度評価を行うことで最も感情分析に適しているモデ ルを選定する。精度評価には，前節で述べた複数の 感情ラベル付きテキストデータから，学習データ 96,696件, テストデータ 32,233 件を用いた. 図 1 に, 5 種類の事前学習済みモデルを用いてファインチュ ーニングした感情推定モデルの感情別の F 值 （F1-Score）を示す. この図より, XLM RoBERTa が全体的に精度が高いことが分かるため, 本研究で はこのモデルを用いて感情分析を行う.

図 1 各モデルの感情ラベルごとの F 值

## 3.3 性格別感情分析

## 3.3.1 ユーザアカウントの選定

本研究では, 性格診断サイト (16Personalities[14]) を利用して MBTI 診断結果の性格タイプをコロナ禍前後の 2019 年〜2022 年の間にツイートしたユーザ を選定した. MBTI は, 外向型・内向型, 感覚型 $\cdot$直感型, 思考型・感情型, 判断型・認知型の 4 つの 二分法を掛け合わせた 16 の性格に分類する自己申告型診断テストの一つであり，大まかな性格タイプ を知るために利用される. ユーザが複数回, 診断結果をツイートしている場合は, 最新の結果をそのユ ーザの性格とする。性格タイプを，表 1 に示す.

 &  &  &  \\

## 3.3.2 ツイートの収集

3.3.1 節で述べた方法で選定した計 2720 名のユー ザごとに, 2019 年〜2022 年までの期間のツイートを Twitter API を使用して収集した. 本研究では，コロ ナ禍前後を明確に区別することが難しいと考え， 2019 年 11 月 30 日以前 (新型コロナウイルスが知ら れる前）をコロナ禍前, 約 1 年後の 2020 年 11 月 30 日以降をコロナ禍後と定義する。過去のツイートの 収集に, Academic Research 用の API[15]を利用した。性格タイプ別のユーザ数を表 2 に, 收集したコロナ 禍前後の対象ユーザのツイートおよびリプライ数を 表 3 に示す. リツイートは収集対象から除外した.表 2 の both は, コロナ禍前後両方でツイートを収集 できたユーザ, before はコロナ禍前のみ, after はコ ロナ禍後のみツイートを収集できたユーザ数を示す.

表 2 MBTI タイプごとのユーザ数内訳

表 3 ツイート数およびリプライ数

## 3.3.3 コロナ禍前後での性格別感情分析

ユーザ集合を性格タイプ別に分割し，ツイート集合を作成する. コロナ禍前後両方でツイートを収集 できたユーザのみを対象とする。性格タイプによる ユーザ数の偏りを考慮し, 最もユーザ数の少ない性格タイプISTJ に合わせて各タイプごとに 88 ユーザ をランダムに選択する. 対象ユーザのツイート集合 をコロナ禍前後で分けて, 3.2 で学習した感情推定モ デルによりマルチラベル感情推定を行う，推定され た感情ラベルの頻度を正規化し, コロナ禍前後での 性格タイプごとの感情分布の変化を比較分析する.

## 3.4 特徴語分析

ツイートに含まれる単語を, TF-IDF に基づく特徴語抽出を用いて分析する. 分析結果から, コロナ禍前後で，どのような変化が起こっているかを考察す
る. 特徴語抽出に際して, 前処理としてツイートの 正規化を neologdn[16]で行い, MeCab で形態素解析 し，原形に変換する．ストップワードリストにより ノイズとなる語を除去後, 名詞・形容詞・動詞・形容動詞語幹などの自立語および固有名詞に限定して TF-IDF 値を計算し，上位 100 語の特徴語を抽出した。

## 3.5 感情変動パターンの分析

ユーザの感情変動パターンの傾向をコロナ禍前後 で分析する．ユーザごとに，ツイートの感情推定結果をツイートのタイムスタンプの順で並べ（日時の 間隔は考慮しない), 感情の種類別に, 出現の有無 を0/1 で表し，順番に並べたものを感情変動パター ンとする. 得られたすべての感情変動パターンを対象に時系列パターンクラスタリング手法 k-Shape[17]を用いて K 個のクラスターに分割する. k-Shape の学習には, Python 用パッケージ tslearn[18] を用いる. 各感情ごとの所属クラスタの頻度ベクト ルをそれぞれ頻度の総和で正規化して水平連結し，性格タイプごとにまとめる。これを感情変動パター ンのクラスタ分布ベクトル $(\mathrm{K} \times 8$ 次元 $)$ とし，コロ ナ禍前後でユークリッド距離を求め, 大きな変化が みられる性格の傾向を考察する。

## 4 分析結果と考察

## 4. 1 感情分布の結果

コロナ禍前後での感情推定結果の分布の差分を図 2 に示す. 各セルにおける正/負の値は, それぞれコ ロナ禍後に各感情に推定されるツイートの割合が増加/減少したことを示している。

図 2 コロナ禍前後での感情分布の差分

これより, 全体的に Anticipation が減少しているこ とが分かる. 特に, ENTJ（指揮官）については， Anticipation の減少, Joy の増加が目立つ. また, 感情分布ベクトルの Kullback-Leibler divergence が最も 大きくなったのは, ENTJ（指揮官）, 次いで ENTP (討論者), 最も小さくなったのが ENFJ（主人公） であった.

## 4.2 特徴語分析の結果

感情分布の変化が大きいENTJ と ENTP に関して， コロナ禍前後で共通している語, コロナ禍前のみに 出現した特徴語, コロナ禍後のみに出現した特徴語 の例を表 4 に示す. ENTJ では，コロナ禍後に「お めでとう」「楽しみだ」などのポジティブ表現，ま た,「測定」「体重」など健康を気遣うような表現 がある。一方，ENTPでは，コロナ禍後に「最高だ」「面白い」などポジティブ表現が増加している.

表 4 コロナ禍前後での ENTJ と ENTP の特徵語分布

 &  &  \\

## 4.3 感情変動パターン分析の結果

クラスタ数 $\mathrm{K}$ を 4 に設定し, 時系列クラスタリン グを行う. 各クラスタへの所属回数をカウントして 正規化したベクトル間のユークリッド距離を，コロ ナ禍前とコロナ禍後で比較したものが, 図 3 である. “euclid_before/after”がコロナ禍前後での同一性格夕 イプ間の距離, “euclid_same_avg”がコロナ禍前後そ れぞれの同一期間における他の性格タイプとの平均距離, “euclid_before_avg”がコロナ禍前の他の性格夕 イプとの平均距離, “euclid_after_avg”がコロナ禍後 の他の性格タイプとの平均距離を示している。この 図より, ISFP (冒険家), ESTJ（幹部）, ESFP（広報運動家）の3つのタイプは, 平均距離よりも距離が 大きく, 感情変動パターンの変化が比較的大きい.一方, コロナ禍前後の距離が最も小さかったのは INFJ（提唱者）であった。

図 3 コロナ禍前後の感情変動パターンの距離比較

## 4.4 考察

コロナ禍前後での特徵語の変化を分析した結果か ら，特定の性格タイプにおいては，発言に特徴的な 変化がみられた。その結果，発言から推定できる感情にも変化が起きたと考えられる。また，コロナ禍前後での感情変動に変化が見られたのは，型破りな タイプである ISFP (冒険家) や，リーダーシップを とるタイプである ESTJ（幹部）などであった. 感情変動に変化があるということは，思考や行動にも変化が起きている可能性があるため，特徵語やトピッ クの分析をすることで確認する必要がある.

## 5 おわりに

本研究では, コロナ禍前後のツイートの感情推定 を行い，性格タイプ別の分析を行った. 感情分布や 感情変動には，ある一定の変化がみられたが，それ らの要因まではとらえきれていない．感情分布の変化が大きい性格タイプのユーザの特徵語を分析した ところ，コロナ禍後に変化が起こっていることは確認ができたが，現時点では性格との関連性について は明らかにできていない，また，感情によって変動 パターンのバリエーションが豊富な場合も考えられ るため, クラスタ数を感情ごとに最適化する必要が ある。今後は，コロナ禍後のデータをより長期的に 収集し, 感情分析とトピック分析を併用し, 特徴的 なイベント（緊急事態宣言など）の発生と感情およ び性格タイプとの関係を明らかにしたい.

## 謝辞

本研究は JSPS 科研費 JP20K12027, JP 21K12141, SCAT 研究助成の助成を受けたもので寸.

## 参考文献

[1] 新型コロナがもたらした【新しい生活様式】に おける消費者のSNS 利用実態調查. 日本語組版 の要件（日本語版）. echoes: https://service.aainc.co.jp/product/echoes/voices/00 33, 2023-1 閲覧

[2] 鳥海 不二夫, 榊剛史, 吉田光男、ソーシャルメ ディアを用いた新型コロナ禍における感情変化の分析, 人工知能学会論文誌, Vol.35, No. 4, pp. F-K45_1-7, 2020.

[3] 福田 悟志, 難波英嗣, 庄司裕子. コロナ禍に おけるワクチンに対する人々の感情変化とそ の要因の分析, 知能と情報, Vol.34, No.3, pp. 592-600, 2022.

[4] S. Mohammad, et al. SemEval-2018 Task 1: Affect in Tweets. Proceedings of the 12th International Workshop on Semantic Evaluation, pp.1-17, 2018.

[5] T. Kajiwara et al. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.2095-2104, 2021.

[6] M. Ptaszynski, et al. ML-Ask: Open Source Affect Analysis Software for Textual Input in Japanese, Journal of Open Research Software, Vol.5, No.1, 16, 2017.
[7] 伊藤 桃, 榎 美紀, 小口正人. ソーシャルメデ イアを利用した新型コロナ禍におけるスポッ 卜別性格値推移に関する調査. DEIM Forum 2021 I25-2.

[8] I. B. Myers and P. B. Myers. Gifts Differing: Understanding Personality Types, Davies-Black Publishing, Mountain View, CA, 1995.

[9]日本語感情コーパス Tokushima Univ. A-2 Lab.: https://github.com/Kmatsu-tokudai/emotionCorpusJ apaneseTokushimaA2Lab 2023-1 閲覧.

[10] Hagging Face: https://huggingface.co/ 2023-1 閲覧.

[11] Simple Transformers: https://simpletransformers.ai/ 2023-1 閲覧.

[12] R. Plutchik. The Multifactor-Analytic Theory of Emotion. Psychology Vol. 50, pp. 153-171, 1960.

[13] R. Plutchik. The nature of emotions. American Scientist, Vol. 89, Iss. 4; pp. 344-350, 2001.

[14] 16Personalities: https://www.16personalities.com/ 2023-1 閲覧.

[15] Twitter API Academic Research アクセス: https://developer.twitter.com/ja/products/twitter-api /academic-research 2023-1 閲覧.

[16] neologdn: https://github.com/ikegami-yukino/neologdn 2023-1 閲覧.

[17] Zachary G. Ives. Technical Perspective: k-Shape: Efficient and Accurate Clustering of Time Series. SIGMOD Record, March 2016, Vol.45, No.1.

[18] tslearn: https://tslearn.readthedocs.io/ 2023-1 閲覧.


# Improving Evidence Detection with Domain-specific Implicit Reasonings

Keshav Singh ${ }^{\dagger} \quad$ Naoya Inoue $^{\ddagger, *} \quad$ Paul Reisert ${ }^{\star} \quad$ Farjana Sultana Mim $^{\dagger} \quad$ Shoichi Naito $^{\dagger, \diamond, *}$
Camélia Guerraoui $^{\dagger} \quad$ Wenzhi Wang ${ }^{\dagger, *} \quad$ Kentaro Inui ${ }^{\dagger, *}$
†Tohoku University ‡JAIST *RIKEN "Beyond Reason ${ }^{\star}$ Ricoh Company, Ltd.
\{singh.keshav.t4, mim.farjana.sultana.t3, naito.shoichi.t1\}@dc.tohoku.ac.jp
\{wang.wenzhi.r7, guerraoui.camelia.kenza.q4 \}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com naoya-i@jaist.ac.jp kentaro.inui@tohoku.ac.jp

## Abstract

Identifying relevant pieces of evidence for a given claim has recently gained significant attention in argument mining due to its downstream use in applications like factchecking, argument search, etc. While current approaches rely on supervised training of large language models for classifying candidate evidence as acceptable or not for a given claim, they don't generalize well on newer topics for which little to no training data is available. To overcome this issue, in this work, we simultaneously explore the effectiveness of closed-domain approach and leveraging domain-specific implicit reasonings for evidence detection task. Our experimental findings suggest that performance gain in the identification of acceptable evidence for a claim can be further improved even with a small amount of domain-specific implicit reasonings.

## 1 Introduction

Evidence detection [1] is a sub-task in argument mining that has become an essential component in building natural language systems capable of arguing, debating, and fact checking [13, 9, 2, 10, 17]. Shown in Figure 1, evidence detection refers to the task of identifying evidential statements (i.e., statements of fact, judgement, or testimony) from a set of candidate evidence that support a given claim (i.e., a debatable belief or opinion).

Towards automatically identifying acceptable evidence, recent approaches have relied on pretrained large language models (LLMs) as a default choice because of their outstanding performance in a wide range of NLP tasks [8, 6], including evidence detection $[14,12,5]$. While most of
Input

## Claim :

We should ban performance enhancing drugs (PEDs).

## Candidate Evidences:
- Doping can ultimately damage your health.
- IARC classifies androgenic steroids as "Probably carcinogenic to humans".
- FDA does not approve ibuprofen for babies under 6 months due to risk of liver damage.

Output: Acceptable evidence

IARC classifies androgenic steroids as "Probably carcinogenic to humans"

Figure 1: Overview of the evidence detection task we address in this work. Given a claim and a list of candidate evidence, the goal is to identify an acceptable piece of evidence for the given claim.

these approaches use supervised learning (i.e., incorporating labeled data for training) and rely on the better generalization ability of LLMs [3, 21], they struggle to produce good results for new topics in which there is little to no training data available. In other words, the quality of their topic generalisation is not adequate $[18,19]$. In order to overcome this challenge, in this work, we propose a closed-domain approach towards evidence detection task. ${ }^{1)}$ Specifically, we follow previous works and take a supervised approach, but instead of directly adopting LLMs for domain-general evidence detection (i.e., train-

1) In this work, the terms domain and topic share the same meaning, and both refer to the topic of the argument being analyzed.

Figure 2: Our proposed framework for the evidence detection task. For a given claim $(c)$ and candidate evidence ( $e$ ), first the implicit reasoning component extracts relevant implicit reasoning (ir). Later, BERT takes $(c),(e)$ and $(i r)$ as inputs to compute final hidden state of [CLS] token that is fed to a fully-connected feed-forward layer for evidence classification.

ing model on arguments from all topics at once), we train the model on arguments (claim-evidence pairs) belonging to a specific domain along with relevant implicit reasonings (statements that explicitly state the reasoning link between a given claim and evidence) as an input feature. We hypothesize that (i) since LLMs are pre-trained on a large amount of generic text, using a closed-domain approach can assist it to acquire relevant domain-specific knowledge, and (ii) leveraging implicit reasonings belonging to that domain can to be an effective signal for models in establishing the logical link between a given claim and correct evidence candidate [16]. In summary, the contributions of our work are as follows:
- We explore the applicability of a closed-domain approach and domain-specific implicit reasonings towards the evidence detection task and to the best of our knowledge, we are the first to explore this approach.
- We experiment and find that large language models (BERT) trained with domain-specific implicit reasonings in a closed-domain setting performs better than when trained without them.

## 2 Our Approach

## 2.1 Overview

Given a topic, claim, and candidate evidence as input, our framework estimates the likelihood of the claim being supported by that candidate evidence. As described in Section 1, we take a closed-domain approach (i.e., we train and test one topic at a time) and simultaneously leverage domain-specific implicit reasonings that are extracted via the implicit reasoning component (See Section 2.2). The complete overview of our evidence detection framework is shown in Figure 2.

Our framework first extracts implicit reasonings (via implicit reasoning component) that link a given claim to an evidence piece, and later leverages the acquired implicit reasoning to estimate the score. We assume that for a given claim and a piece of evidence, there can be several possible variants of implicit reasoning for one given claim-evidence pair.

## 2.2 Implicit Reasoning Component

Given a claim and a piece of evidence, our goal is to extract relevant implicit reasonings that link the claim with that evidence piece. Ideally, we can find plausible implicit reasonings for correct claim-evidence pieces, but we cannot for wrong pieces. Instead, for wrong claim-evidence pieces, we find non-reasonable implicit reasonings that would be less convincing and irrelevant.

Let $\mathscr{D}=\left.\{\left(c_{i}, p_{i}, r_{i}\right)\right.\}_{i=1}^{n}$ be a database of implicit reasoning annotated arguments, where $c_{i}, p_{i}, r_{i}$ are claim, premise and implicit reasoning linking $c_{i}$ with $p_{i}$, respectively ${ }^{2)}$. Given a query argument, i.e., claim $(c)$ and candidate evidence $(e)$ to be analyzed, we extract relevant implicit reasonings linking $c$ with $e$ via similarity search on $\mathscr{D}$. Specifically, we retrieve the top- $m$ most

2) In this work, the utilized source datasets $\mathscr{D}$ of implicit reasonings consists of premise instead of evidence. For more details, refer to $[7,15]$

Table 1: Statistics of Evidence data. Here, A and U refer to the number of acceptable and unacceptable evidences for a given topic.

similar arguments in $\mathscr{D}$ to the given query argument in terms of claim and a candidate evidence piece and then extract implicit reasonings from these similar arguments. We define the similarity between arguments as follows: $\operatorname{sim}\left(\langle c, e\rangle,\left.\langle c_{i}, p_{i}\right.\rangle\right)=\operatorname{sim}\left(c, c_{i}\right) \cdot \operatorname{sim}\left(e, p_{i}\right)$. In our experiments, we use Sentence-BERT [11], a BERT [3] based embedding model shown to outperform other state-of-theart sentence embeddings methods, to compute the textual embeddings of arguments and calculate semantic similarity between them via cosine-similarity.

## 3 Experiments

## 3.1 Source Data

Domain-specific Implicit Reasoning Data As our source of domain-specific implicit reasonings, we utilize the IRAC dataset (Implicit Reasoning in Arguments via Causality) [15], which consists of a wide variety of arguments annotated with multiple implicit reasonings. Overall, the dataset consists of 6 distinct topics covering over 950 arguments that are annotated with 2,600 implicit reasonings. For our experiments, we utilize all 6 topics.

Domain-general Implicit Reasoning Data In order to evaluate the effectiveness of our proposed domainspecific approach, for comparison, we utilize a domaingeneral corpus of implicit reasonings. Specifically, we rely on the Argument Reasoning Comprehension dataset (ARC) [7], which consists of 1,970 implicit reasoning annotated arguments covering over 172 topics ${ }^{3}$. Each instance in the dataset consists of (i) topic, (ii) claim, (iii)

3) In the original paper, Habernal et al. [7] refers to implicit reasonings as warrants. premise, (iv) correct implicit reasoning, and (v) incorrect implicit reasoning. For our experiments, we utilize only the correct implicit reasonings.

Evidence Data Instead of creating a dataset of claim and evidence pairs from nothing, we utilize the IBMEvidence dataset [4]. Each instance in IBM-Evidence dataset consists of (i) topic (ii) claim and (iii) a piece of candidate evidence, where each candidate evidence is annotated with a score (0-1) indicating its acceptability as evidence for a given claim.

The reason for the selection of this dataset for our experiments is twofold: (i) IBM-Evidence dataset offers $100 \%$ coverage of topics present in IRAC dataset. This enables us to adequately test our approach of leveraging domainspecific implicit reasonings for evidence detection task. (ii) IBM-Evidence dataset consists of evidences extracted from Wikipedia articles rather than crowdworkers or experts, hence closely representing real-world evidences. For our experiments, in addition to restricting on 6 topics, we perform an essential pre-processing step and label all candidate evidences as acceptable (score $\geq 0.6$ ) and unacceptable (score $\leq 0.4$ ) in order to classify them. In total, we are left with 1,030 instances of claim-evidence pairs covering 6 distinct topics as shown in Table 1.

## 3.2 Task Setting

In order to empirically validate the usefulness of utilizing domain-specific implicit reasonings for evidence detection task, we formulate the task in a binary classification setting, where, given a claim (C), a candidate evidence (E) and an implicit reasoning (I), the task is to classify the candidate evidence as acceptable or unacceptable for the given claim.

## 3.3 Models and Setup

We investigate four different models: (i) a strong baseline model, fine-tuned to classify candidate evidence as acceptable or not, purely based on claim and candidate evidence as input. For this purpose, we select pre-trained BERT model [3], namely BERT $_{\text {base }}$, which has been shown to outperform the previously established state-ofthe-art on similar tasks $[12,20,18]$. (ii) \& (iii) Two separate models to additionally consider the implicit reasonings available via domain-specific or domain-general resource, namely BERT $_{\text {in }}$, and BERT $_{\text {out }}$ respectively. (iv) Addi-

Table 2: Results of our two baseline models (Random and BERT base ) and two implicit reasoning based fine-tuned models $\left(\right.$ BERT $_{\text {in }}$ and BERT $\left._{\text {out }}\right)$ in closed-domain setting.

tionally, we consider a random baseline that predicts the most frequent class label as observed in the training data.

## 3.4 Evaluation Measures

We conduct the fine-tuning experiments for each topic separately and use 70:15:15 splits for training, validation and testing. Since the data for each topic is small (as shown in Table 1), we employ 5 -fold cross-validation and average the results. To account for random initialisation of the models, we repeat the experiments with multiple random seeds and report macro-averaged accuracy, precision, recall, and F1 score. In order to address the problem of class imbalance, we calculate class weights to influence the classification of labels during fine-tuning.

## 4 Results

We evaluate the fine-tuned models for evidence detection on the test set for each topic separately. Note that the results reported consider a single implicit reasoning as input along with claim and candidate evidence. We additionally experimented with multiple implicit reasonings as additional input features but found similar results. As shown in Table 2, all BERT-based models beat the random baseline on all topics, except Ban whaling, where their performance is marginally higher. BERT in $_{\text {in }}$ outperforms BERT $_{\text {out }}$ in all topics except Ban whaling and Compulsory voting. Overall, BERT base $^{\text {outperforms random baseline }}$ and achieves higher performance than our implicit reasoning fused models for half of the topics, namely Compulsory voting, Ban whaling and Capital punishment. Our proposed model using domain-specific implicit reasonings i.e., $\mathbf{B E R T}_{\text {in }}$ achieved higher performance for only two topics.

## 4.1 Analysis

Contrary to our expectation, BERT base achieved better accuracy than both implicit reasoning fused models on majority of the topics. To better understand this, we analyzed the topic overlap between arguments from ARC and IBM-Evidence dataset and found that arguments on topics Abolish zoos, Ban whaling, Capital Punishment and School Uniform were absent in ARC. This explain why BERT out $^{\text {B }}$ performance decreased for these topics. We additionally did manual analysis of implicit reasonings extracted for BERT $_{\text {in }}$ by randomly sampling 20 instances across all topics and found that only $40 \%$ of the extracted domainspecific implicit reasonings were relevant to a given evidence. However, for topics School Uniform and Abolish zoos they were indeed helpful in finding acceptable evidence.

## 5 Conclusion and Future Work

In this paper, we explored a closed-domain approach and exploited domain-specific implicit reasonings for the task of evidence detection. Our experiments showed that closed domain approach is beneficial for training largelanguage models and when leveraging implicit reasonings their performance can improve, given relevant reasonings are available. We hypothesize that reducing the effect of class imbalance with class weights is not sufficient and this might be a possible reason for low performance on topics with severe class imbalance. In our future work, we will focus on utilizing generation models for automatically generating implicit reasonings that can be leveraged for evidence detection task. Simultaneously, we will explore methods for addressing the class imbalance problem.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Ehud Aharoni, Anatoly Polnarov, Tamar Lavee, Daniel Hershcovich, Ran Levy, Ruty Rinott, Dan Gutfreund, and Noam Slonim. A benchmark dataset for automatic detection of claims and evidence in the context of controversial topics. In Proceedings of the First Workshop on Argumentation Mining, pages 64-68, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Tariq Alhindi, Savvas Petridis, and Smaranda Muresan. Where is your evidence: Improving fact-checking by justification modeling. In Proceedings of the first workshop on fact extraction and verification (FEVER), pages 85-90, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Liat Ein-Dor, Eyal Shnarch, Lena Dankin, Alon Halfon, Benjamin Sznajder, Ariel Gera, Carlos Alzate, Martin Gleize, Leshem Choshen, Yufang Hou, et al. Corpus wide argument mining-a working solution. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 7683-7691, 2020.

[5] Mohamed Elaraby and Diane Litman. Self-trained pretrained language models for evidence detection. In Proceedings of the 8th Workshop on Argument Mining, pages 142-147, 2021.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A Smith. Don't stop pretraining: adapt language models to domains and tasks. arXiv preprint arXiv:2004.10964, 2020.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. arXiv preprint arXiv:1708.01425, 2017.

[8] Jeremy Howard and Sebastian Ruder. Universal language model fine-tuning for text classification. arXiv preprint arXiv:1801.06146, 2018

[9] Marco Lippi and Paolo Torroni. Argumentation mining: State of the art and emerging trends. ACM Transactions on Internet Technology (TOIT), 16(2):1-25, 2016.

[10] Anastasios Lytos, Thomas Lagkas, Panagiotis Sarigiannidis, and Kalina Bontcheva. The evolution of argumentation mining: From models to social media and emerging tools. Information Processing \& Management, 56(6):102055, 2019.

[11] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[12] Nils Reimers, Benjamin Schiller, Tilman Beck, Johannes Daxenberger, Christian Stab, and Iryna Gurevych. Classification and clustering of arguments with contextualized word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 567-578, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show me your evidence - an automatic method for context dependent evidence detection. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 440-450, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Eyal Shnarch, Carlos Alzate, Lena Dankin, Martin Gleize, Yufang
Hou, Leshem Choshen, Ranit Aharonov, and Noam Slonim. Will it blend? blending weak and strong labeled data in a neural network for argumentation mining. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 599-605, 2018.

[15] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[16] Keshav Singh, Paul Reisert, Naoya Inoue, Pride Kavumba, and Kentaro Inui. Improving evidence detection by leveraging warrants. In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 57-62, Hong Kong, China, November 2019. Association for Computational Linguistics.

[17] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy Bar-Haim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, et al. An autonomous debating system. Nature, 591(7850):379-384, 2021.

[18] Chris Stahlhut. Interactive evidence detection: train state-of-theart model out-of-domain or simple model interactively? In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 79-89, 2019.

[19] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, and Hua Wu. Ernie: Enhanced representation through knowledge integration. arXiv preprint arXiv:1904.09223, 2019.

[20] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pages 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32, 2019.


# 人間らしい予測処理機構を取り入れた質問応答モデルの提案 :早押しクイズのパラレル問題を題材として

山下陽一郎 ${ }^{1}$ 原田宥都 ${ }^{2}$ 大関洋平 ${ }^{2}$
${ }^{1}$ 東京大学教養学部 ${ }^{2}$ 東京大学大学院総合文化研究科
\{yamashita-yoichiro416, harada-yuto, oseki\}@g. ecc. u-tokyo. ac. jp

## 概要

本研究では、早押しクイズの問題を題材として、不完全な質問文から解答を生成する質問応答モデル を提案する。提案モデルは、不完全な質問文に対し て、その続きを予測して質問文の後半部を補完する 前段と、そうして得られた質問文に対して解答を出力する後段からなる。このモデルの前段にはファイ ンチューニングした GPT-2 を用い、後段には Dense Passage Retriever による質問応答モデルを用いる。結果として、質問文の前半部のみから解答を出力した モデルに比べて、予測機構を組み込んだモデルの方 が高い精度の解答を出力できることがわかった。

## 1 はじめに

自然言語で表現された質問に対して適切な解答を 与える技術は、質問応答と呼ばれている。特に、分野や領域が限定されていない質問応答はオープンド メイン質問応答と呼ばれる。その中でも単純な事実 や出来事を問う質問はファクトイド型質問と呼ばれ、 この技術は検索サービスなど身近な場面にも応用さ れている $[1]$ 。オープンドメイン質問応答のうちファ クトイド型質問の研究では、クイズの問題が題材と して扱われることが多く、SQuAD[2]や TriviaQA[3] といった英語のデータセットが存在する。 2011 年に は米国のクイズ番組 Jeopardy!において、IBM の開発 した Watson というシステムが活躍した[4-5]。日本 でもクイズの問題のデータセットである JAQKET が公開されている[6]。

さらに、クイズを題材とした質問応答研究におい ては、質問文の途中までを入力して解答を生成する、「早押しクイズ」モデルの開発も行われている [7-8]。 これらの「早押しクイズ」モデルでは、主に不完全 な質問文から「直接」解答となる単語を生成する手法が採用されているが、人間が早押しクイズを解く際は、まず、不完全な質問文からその続きを先読み し、その後に解答を導き出す。そのため、既存モデ ルのアプローチは「人間らしさ」の観点から妥当で はない、という可能性が残されている。よって本研究では、「問題文の先読み」に焦点を当て、「問題文の先読み十解答の出力」という構造を持つモデル を提案する。人間のクイズプレイヤーと同様に、問題文の前半部からその後半部を予測し、完全な問題文を推測した上で正解を導き出すことを目指す。

## 2 関連研究

## 2.1 クイズを題材とした質問応答研究

「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦〜」（以下、「AI 王」）という日本語のクイズを題材とした質問応答コ ンペティションでは、22,000 問以上のクイズの問題 が解答とともに公開されており、9 割を超える正解率を誇るシステムが開発されている。このコンペテ イションは、問題文全文から解答を導くという形式 で、ベースラインモデルも併せて公開されている[9]。

## 2.2 早押しクイズの質問応答研究

Neural Information Processing Systems においては、 Human-Computer QA という早押しクイズ形式の問題を題材としたコンペティションが開催された[7]。 この大会は、逐語的に与えられる問題文に対し、モ デルと人間のクイズプレイヤーが早押しクイズを競 うというものであった。人間のプレイヤーを破り優勝したモデルは、与えられた問題文から正解となる 単語の侯補を列挙する Quiz Solver と、答えの型式 を予測する Type Predictor によって構成されている [8]。このように、英語の問題文では、答えとなる単語が person, organization, product などのいずれの夕 イプに一致するかが早い段階で明示されるため、こ れを解答を導く際の手がかりとして利用できる。一
方で、日本語のクイズでは、このような答えの型が 文末まで明示されない以上、クイズプレイヤーにと っては予測処理が重要だと考えられる。

## 3 提案モデルの構造

図 1 本研究の提案するモデル

本モデルは図 1 に示すように「問題文の先読み十解答の出力」の 2 つの機構を組み合わせた構造であ る。モデルの前段では問題文の前半部の入力に対し、後半部を予測して出力する。モデルの後段では、問題文の前半部と前段が出力した後半部を合わせて完成した文を入力し、その問題の解答を出力する。

## 3.1 問題文の先読み: 本モデルの前段

前段では、問題文の前半部を入力として与え、そ の続きとなる後半部を補って出力させることで予測処理を実装する。実装には、Huggingface[10]上で rinna 社の公開している[11]'GPT-2[12]をファインチ ューニングして用いる。

## 3.1.1 パラレル問題

早押しクイズの問題文には多様なタイプの問題が 存在するが、本研究ではその中でも特に「パラレル」 という形式の問題を扱う。パラレルの問題文は「で すが問題」とも呼ばれ、例えば

おおいぬ座のアルファ星はシリウスですが、こ いぬ座のアルファ星は何？（答. プロキオン） のように、「AはXですが、A'は何？」という構造 を持つ。パラレルの問題文では、本題は問題文の後半部に置かれるが、場合によっては問題文の前半の みを聞けば、その後半部を予測して解答できる。ま た、機械的な処理の観点からも、パラレルの問題文 は、「ですが、」という特徴的な語によって問題文 が明示的に前後半に分割できるため、前半部から後半部を予測するという目的に適っており、扱いやす いデータと言える。本研究では、問題文の先読みに

焦点を当てるため、パラレルの問題文に絞って扱う。

## 3.1.2 パラレル問題の分類

本研究では、「ですが、」までを読んだ時に問題文の後半部が予測しやすいかどうかという観点から 以下の 2 つのカテゴリに分類して分析する。 ${ }^{i i}$

- カテゴリ 1 : 後半部を予測しやすい問題 このカテゴリには、問題文の前後半で明らかな 対比があり、後続する後半部が明らかなもの(1)、 3 つの要素を対比させているもの(2)が含まれる。

(1) 手の爪に施す化粧はマニキュアですが、足 の爪に施す化粧は何？

（2）中国の三国時代において、魏の首都は洛陽、呉の首都は建業ですが、蜀の首都はどこ？

- カテゴリ 2 : 後半部を予測しにくい問題 このカテゴリには、問題文の前後半の対比が 明らかではなく、後続する後半部が一つに絞り きれないような問題が含まれる $(3,4)$ 。

(3) 日本の都道府県で、宮城県の県庁所在地は 仙台市ですが、茨城県の県庁所在地は何市?

(4) 砂糖やミルクを入れない紅茶をストレート ティーといいますが、砂糖やミルクを入れ ないコーヒーを一般に何という？

## 3.1.3 データセット

データセットとして、以下の資料からパラレルの 問題と解答を収集した。

- $\mathrm{AI}$ 王データセット[6]

全 22335 問のうち、「ですが、はすが、」を含 むパラレルの問題 2167 問を抽出した。

- Quiz Worksii

全 18477 問の各問題にタグが付されており、そ の中で「パラレル」のタグが付されているもの を 850 問抽出した。

・クイズの杜 ${ }^{\mathrm{iv}}$

二次利用がフリーになっている問題セットの みを使用し、その中から「ですが、はすが、」 を含むパラレルの問題 959 問を抽出した。

以上の資料からこのようにして得られた問題のう ち、「ですが、はすが、」を文字列として含むがパ

ラレルの構造を持たない問題vを除外した結果、最終的に 3765 問のパラレルの問題とそれに対応する解答を得た。GPT-2 のファインチューニングに際して は、「ですが、/ますが、」の直後に区切り記号[SEP] を挿入して学習することで、与えた問題文の前半部 に対して自然な問題文の後半部を出力できるように ファインチューニングした。

## 3.2 解答の出カ: 本モデルの後段

後段では、前段で後半部を予測して補った問題文 を入力として与え、その問題に対する適切な解答を 出力する。実装には第 2 回 AI 王で公開されたべー スラインモデル[7]を用いる。このモデルは、現在の 質問応答の主流の技術の Dual Passage Retriever (以下、DPR)[14]を日本語の質問応答のために実装して いる。AI 王の評価用のデータセットを用いた正解率 は 0.5865 である。

## 4 実験と考察

## 4.1 実験

rinna/japanese-gpt2-medium のモデルを、epoch 数 を 10 としてファインチューニングを施した。パラレ ルの問題文を用い、以下の 4 条件で実験を行った。

a. 問題文全体をDPRに入力して解答を得る。

b. 問題文の前半部のみを DPR に入力して解答 を得る。

c. 問題文の前半部をファインチューニングし たGPT-2 に入力し、問題文の後半部を予測さ せた上で、前半部と結合させて DPR に入力 して解答を得る。

d. GPT-2をファインチューニングする際に、問題文の前半部で対比されている語を鉤括弧 で括って学習した上で $\mathrm{c}$ 条件と同様に解答を 得る。実際の早押しクイズでは、対比される 語が強調されて読まれることが多いという 慣例[13]に準えたものである。

a 条件は DPR の解答生成の精度をそのまま測るべ 一スラインである。今回の実験の各条件での正解率 は以下のようになると予測される。 $a$ 条件 $>c$ 条件 $=d$ 条件 $>b$ 条件

また、 $\mathrm{c}$ 条件と $\mathrm{d}$ 条件の予測の精度を、「妥当な 予測の割合」により評価する。「妥当な予測の割合」 とは、GPT-2 が元の問題と同じ意味の後半部を正し く予測できたものに加え、問題文の前後半で対比構造を持ち、想定される解答が現実世界に存在するよ うな問題文の予測を合わせた割合である。(5)のよう に、GPT-2 の予測が元の問題文とは異なるものの、入力された前半部と自然な対比構造を保っている場合は「妥当な予測」をしていると判定し、そうでな い場合は予測は妥当でないと判定する。

(5)日本の初代内閣総理大臣は伊藤博文ですが、元の問題文: アメリカの初代大統領は誰?

妥当な予測の例: 二代目の内閣総理大臣は誰?妥当でない予測の例: 日本の初代大統領は誰？

## 4.2 結果

第 2 回 AI 王のデータセットで開発用として公開 されている問題のうち、パラレルの問題 113 問を用 いて実験を行った。各条件での正解率と「妥当な予測の割合」は表 1 の通りであった。

## 表 1 各条件でのモデルの正解率

正解率は元の問題文に対する正解率。 $\mathrm{c}, \mathrm{d}$ 条件の妥当な予測の割合の括弧内の値は、左から順にカテ ゴリ 1,2 の問題についての妥当な予測の割合。

 &  \\

b. 問題文前半部のみ & 0.159 & -- \\
c. 後半部を予測生成 & 0.186 & 0.443 \\
d. 後半部を予測生成 & & $(0.62 / 0.36)$ \\
 & 0.230 & 0.549 \\

a 条件を見ると、DPRのパラレル問題の正解率が 0.354 と、開発データ全体の問題に対する正解率であ る、0.5865を大きく下回っている。パラレルの問題 は解きにくいタイプの問題だとわかる。

$\mathrm{b}$ 条件と $\mathrm{c}$ 条件を見ると、 $\mathrm{b}$ 条件での正解率に比べ て c 条件での正解率の方が高い。予測処理機構であ るファインチューニングした GPT-2 が、正解率の向上に寄与しているとわかる。 $\mathrm{d}$ 条件の結果から、対比語を明示させた上で学習

図 2 妥当な予測をした例の Self-Attention

させると、正解率・妥当な予測の割合のどちらもが 向上することが確かめられた。

また、d 条件における妥当な予測の割合は全体の 0.549 であった。問題のカテゴリに応じた妥当な予測 の割合は、カテゴリ 1 (予測しやすい対比) では 0.70 , カテゴリ 2 (予測しにくい対比) では 0.46 となり、 クイズプレイヤーはカテゴリ 1 の問題を予測しやす いとする伊沢[13]の分類と整合する結果となった。

## 4.3 分析：Attention 重みの可視化

ファインチューニングした GPT-2によるパラレル の問題文の予測で、モデルが実際に予測できた例と できなかった例のそれぞれについて、モデル内部の Self-Attention を可視化して分析を行った。

Attention 重みの可視化には BertViz[15] $]^{\mathrm{vi}}$ 用いた。 BertViz は、GPT-2 が文をエンコードする際の自己注意(Self-Attention)を可視化できる。

モデルが妥当な予測をしたいくつかの例について、特定の Attention-Head viiに注目した際の Self-Attention を可視化した結果が図 2 である。「長い」「共和党」 という後半部の対比語をエンコードする際に、それ ぞれの前半部の対比語である「短い」「民主党」へ 強くAttention を当てて対比関係を処理しているよ うな Attention-Head が存在することがわかる。

一方で、図 2 と同じ Attention-Head に注目して、妥当でない予測を生成した例の Attention 重みを可

図 3 妥当でない予測をした例の Self-Attention 視化した結果が図 3 である。予測した後半部の最初 の語、すなわち「ですが、」の直後の語の Attention は、前半部の対比されている語に強く当たっていな い。また、本来のパラレルの問題文を入力した際の Self-Attention についても、後半部の対比語である 「亀」の Attention は、前半部の対比語である「鶴」 に強く当てられていない。このように、問題文の前後半の対比が捉えられていないことがわかる。

## 5 おわりに

本研究では、クイズのパラレルの問題を題材とし て、予測処理機構を組み込んだ質問応答モデルを用 いて実験を行った。結果として、質問文の前半部の みから解答を生成する際、予測処理機構は正解率の 向上に寄与することが示された。さらに、問題文に 特化した手がかりを明示的に示した上でモデルを学習することでも正解率が向上した。問題文の先読み という予測処理に限ると、5 割以上の問題で妥当な 予測を行えることが確かめられた。また、モデルが 予測しやすい問題の傾向は、クイズプレイヤーによ る経験的な問題の分類と合致する結果となった。

モデルの予測の成否とモデルの Self-Attention に注目すると、問題文中の対比関係を反映しているよう な特定の Attention-Head の存在が明らかになった。 モデルが妥当な予測をした例では後半部で対比され ている語の Self-Attention が、それと対応する前半部 で対比されている語に強く当たっているのに対し、妥当な予測をできなかった例ではその語に強い Attention が当たる傾向が見られないというように、当該の Attention-Head の振る舞いが異なることも確 かめられた。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受け たものです。

## 参考文献

[1] 奥村学, 磯崎秀樹, 東中竜一郎, 永田昌明, 加藤恒昭. 質問応答システム. コロナ社, 2009.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for squad, 2018. https://arxiv.org/abs/1806.03822

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, , and LukeZettlemoye. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 2017.

[4] Ferrucci, D., Brown, E., Chu-Carroll, J., Fan, J., Gondek, D., Kalyanpur, A. A., \& Welty, C. Building Watson: An overview of the DeepQA project. AI magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[5] 金山博, 武田浩一. Watson: クイズ番組に挑戦 する質問応答システム. 情報処理, Vol. 52, No. 7, pp. 840-849, 2011 .

[6] 鈴木正敏，鈴木潤，松田耕史，西田京介，井之上直也. JAQKET：クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.

[7] AI 王コンペティション実行委員. AI 王公式べ ースラインシステム, 2019 https://sites.google.com/view/project-aio/baselines

[8] Escalera, S., and Weimer, M. The NIPS'17 Competition: Building Intelligent Systems. Springer International Publishing, 2018.

[9] Yamada, I., Tamaki, R., Shindo, H., and Takefuji, Y. Studio Ousia's quiz bowl question answering system. The NIPS'17 Competition: Building Intelligent Systems, pp. 181-194, Springer International Publishing, 2018.

[10] Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., and Rush, A. M.

Transformers: State-of-the-art natural language processing. Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[11] 趙天雨，沢田慶．日本語自然言語処理における 事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 169-170, 2021.

[12] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, 2019

[13] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[14] Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., and Yih, W. T. Dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2004.04906, 2020.

[15] Vig, J. A multiscale visualization of attention in the transformer model. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2019.

## A 付録

## A. 1 GPT-2 が予測した問題文の例

ファインチューニングした GPT-2 に、パラレルの問題文の前半部を与えた際の出力の例を表 2 に示す。

## 表 2 GPT-2 の予測した問題文

「ですが、/ますが、」までを入力として与えた際のGPT-2 の出力の例。妥当な予測な例と妥当でない予測の 例をそれぞれ示す。出力に際しては、ビーム幅を 5 としてビームサーチを行った。

 & O \\

## A. 2 可視化した Attention 重み

図 4 Attention 重みの可視化の例

モデルが問題文の妥当な予測をした例について、 Attention 重みを可視化した結果を左に示す。本文セ クション 4.3 の分析と同じAttention-head に注目して いる。本文中の例と同様に、aa 問題文後半部で対比 されている語「参議院議員」「複数の」の Self-Attention が、それぞれと対応する前半部の対比語「参議院議員」「一つ、単」に強く当たっていることが見て取 れる。


# Entity Position Matters - Towards Improving a Generative End-to-End Relation Extraction Model

Shanshan Liu Yuji Matsumoto
Center for Advanced Intelligence Project, RIKEN
\{shanshan.liu yuji.matsumoto $\} @$ riken.jp
}

\begin{abstract}
In order to improve the performance of the generative end-to-end relation extraction method for the material synthesis procedure extraction task, we added direct entity position information to the existing generative model during decoding, and explored whether the utilization of position information is effective in the situation after the output space changes. Experimental results show that when the output space is equipped with the absolute positions of the input tokens, the improvement is limited with the pretrained language model (PLM) that uses absolute position embeddings, while the PLM using relative position embeddings can be significantly improved.
\end{abstract
## 1 Introduction

With the rise of generative methods, end-to-end relation extraction (RE) has become a topic of increasing interest in recent years $[1,2,3,4]$. The task requires identifying entities and capturing relations between pairs of entities. Most generative methods do not provide the location of entities in the text, and often treat mentions that appear at different locations in the text but have the same content equally $[1,2,3]$.

In some applications, the position of an entity in the original text is very critical and cannot be neglected. Position information can help us distinguish between two mentions with the same content but in different places. It can also inform us about the role of entities in more complex structured information. For example, in the material synthesis procedure extraction task, two "heating" operations that occur at different places in the procedure should have distinct effects. Their duration and temperature can be quite different. It would be confusing if the model only outputs text triplets (head entity, tail entity, relation type) without knowing the exact positions of the entities, such as (heating, 2h, condition_of) and (heating, 1h, condition_of).

One generative model that meets the need for entity locations for such tasks is the BartNER model [5]. This model generates entity information by setting the output spaces to the types of the entity and the positions of input tokens. With the practical output formats for relation-level information, the model is capable to do end-to-end RE [6].

Generative pretrained language models (PLMs) like BART [7] or T5 [8], have taken into account the position information of input text. Thus, the generative model gives acceptable performance even if the target output changes from tokens (i.e. predicting the most appropriate token from the whole vocabulary) to position indexes (i.e. predicting the position of the most suitable token in the original text).

We are interested in the following question: Does the change of the output space put forward higher requirements for the learning of position information by the generative model? In order to explore this problem, based on BartNER, we added a feature of decoded entity offsets before doing classification to enhance position information. We conducted experiments using models with BART and T5 as PLMs.

Experimental results showed that the added feature only slightly improved the model using BART, but significantly improved the model using T5. On tasks that require absolute position information, the added feature has a positive impact on models that utilize relative position embeddings. The small effect on BART indicates that BART has mastered absolute position well, and strengthening position information would not be a helpful way to boost it.

Our contributions:
- Increasing the impact of entity position information by adding position features to the BartNER model,

Figure 1 Example of the target output under our definition.

improves the effect of end-to-end relation extraction.
- We found that pretrained language models using absolute position embeddings outperform those using relative position embeddings in the task of directly generating token indexes instead of token text.
- The pretrained language model using absolute position embeddings is recommended for tasks that require entity offset.

## 2 Methods

## 2.1 Task formulation

In this work, the end-to-end RE task can be formulated as generating a sequence of entity spans and relation spans given input text. First, we assign specific indexes to tokens in the input text, entity types, and relation types following BartNER's scheme [5]. Given an input text containing $n$ tokens, the $i_{-}$th token will be assigned with index $i$. If we have $m$ types of entities and $k$ types of relations, the range of indexes of the entity types is $(n, n+m]$, and the range of indexes of the relation types will be $(n+m, n+m+k]$. Then we let the model generate all entity spans represented by assigned indexes. The entity span is in the form of [first subtoken, last subtoken, Entity type]. After that, we let the model generates all relation spans in the form of [first subtoken of Head entity, first subtoken of Tail entity, Relation type]. The order of spans is determined by the appearance order of entities in the text when generating entities or by the appearance order of the head entities when generating relations (See Fig. 1).

## 2.2 BartNER

BartNER model uses Encoder-Decoder of the generative PLM as a basis to make the index probability dis- tribution $P_{t}$ at time $t$ given input $X$, generated indexes $\hat{Y}_{<t}=\left[\hat{y}_{1}, \ldots, \hat{y}_{t-1}\right]$, and labels of entity and relation $Z$ as follows:

$
\begin{gathered}
H^{e}=\operatorname{Encoder}(X) \\
E^{e}=\operatorname{TokenEmbed}(X) \\
\hat{H}^{e}=\operatorname{MLP}\left(H^{e}\right) \\
\bar{H}^{e}=\alpha * \hat{H}^{e}+(1-\alpha) * E^{e} \\
h_{t}^{d}=\operatorname{Decoder}\left(H^{e} ; \hat{Y}_{<t}\right) \\
Z^{d}=\operatorname{TokenEmbed}(Z) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes h_{t}^{d} ; Z^{d} \otimes h_{t}^{d}\right]\right)
\end{gathered}
$

where TokenEmbed is the token embeddings used in PLM; $\hat{Y}_{<t}$ should be indexes of input tokens or indexes of entity/relation types; $\alpha$ is a hyper-parameter set as 0.5 in this work; $[\cdot ; \cdot]$ means concatenation of vectors.

## 2.3 Position Feature

According to the index scheme used in decoding, the original algorithm may be viewed as a generation process where the output space is changed to the absolute position of the concatenated text of the input tokens and all entity types. We intuitively consider that the embeddings of generated indexes can help introduce absolute position information that has not been complicatedly encoded by PLM. We therefore refer to this embeddings as a position feature. Given that only entity position information is generated in the end-to-end RE task, this feature actually only provides entity position information.

To incorporate this feature into the decoding process, we change the algorithm in the following way:

$
h_{t}^{p}=\operatorname{PositionFeature}\left(\hat{y}_{t-1}\right)
$

$
\begin{gathered}
\bar{h}_{t}^{d}=\operatorname{Linear}\left(\left[h_{t}^{d}: h_{t}^{p}\right]\right) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes \bar{h}_{t}^{d} ; Z^{d} \otimes \bar{h}_{t}^{d}\right]\right)
\end{gathered}
$

where PositionFeature is the learnable embeddings to embed the $\hat{y}_{t-1}$ into a 32-dim vector.

## 3 Experiments

## 3.1 Dataset

To confirm the effectiveness of the additional position information on the traditional sentence-level task, we choose CoNLL04[9], a news domain dataset consists of four types of entities and five types of relations. Data split is conducted in accordance with previous works. The dataset statistics are shown in Table 1.

In order to provide a task in which the entities offsets must be extracted, we chose Procedure dataset ${ }^{1)}$, a dataset contains 576 thermoelectric material papers annotated by experts. All procedure information is structured into five types of entities and seven types of relations. The data are randomly split with a ratio of training:validation:test $=8: 1: 1$. It should be noted that we take the sequence of sentences extracted from the full text of the chemical paper by a text block extractor as input. To adapt to practical applications, after the text block containing procedure information has been automatically extracted, an end-to-end relation extractor is used to obtain specific entity- and relation-level information.

## 3.2 Evaluation

Following other end-to-end RE tasks[2], we report precision (Pre), recall (Rec) and micro-F1 scores (F1). The prediction of an entity is correct only when the type and offset match the golden entity. If the type and offset of the two entities and the relation type match the golden relation, the prediction is correct. All relations are directed. We report the average score after 3 runs of each setting.

## 3.3 Experiment Setup

We use a rewritten version of the BartNER model developed by Yan's group [5] based on their public code ${ }^{2)}$. On the Procedure dataset, we performed experiments utilizing BART-large (facebook/bart-large) [7] and T5-base

1) The annotation results will be made public.

2) https://github.com/yhcc/BARTNER (google/t5-v1_1-base) [8] as the PLMs in our method. As the model using T5 cannot converge to a small loss, we only estimated the effect of applying BART-large on the CoNLL04 dataset. We compare our method with the SOTA models on CoNLL04, the REBEL[2].

## 4 Results

The experiment results are shown in Table 2 and Table 3. Even if we only use a trivial approach to bring entity offset information into the generation process, the position feature still gives us a slight improvement. However, this improvement varies by PLMs and tasks. The gap (7.67\% RE F1) between our method and the SOTA model on the CoNLL04 reminds us there is still a lot of room for improvement, but not from the absolute position aspect.

## 4.1 Entity Position Matters

The improvement after adding the decoded position information indicates that after the output space is changed to absolute positions, the requirements for the ability to utilize position information of the generative model are higher.

Taking advantage of the absolute position embeddings, the BART-based model is less affected and only slightly improved $(0.27 \%$ RE F1 on Procedure dataset; $0.32 \%$ RE F1 on CoNLL04). This means that BART has learned absolute position information well, so simply providing similar information is somewhat redundant.

On procedure extraction, adding the position feature improves the Precision, but makes the Recall salient decrease( $-2.52 \%$ NER Recall, $-0.83 \%$ RE Recall). The count of predicted spans (both entities and relations) also decreases. We think this is related to the procedure extraction task itself. The text to be processed by RE is long (hundreds of tokens), the number of entities and the number of relations in a piece of text are large (including one or more synthesis procedures, and a synthesis procedure consists of several processes and related materials, operating conditions). When the model uses the added position feature to better fit the training data but the semantic representation ability does not improve simultaneously, it will tend to predict lesser spans while processing unseen data.

CoNLL04 has fewer data and most inputs are short. There are many difficult relation cases that require knowledge to make correct predictions. Therefore, the generalization ability in RE is not significantly affected, only

 & Relation & \multicolumn{2}{c}{ Train } & \multicolumn{2}{c}{ Validation } & \multicolumn{2}{c}{ Test } \\
& Types & Inst & Rel & Inst & Rel & Inst & Rel \\

CoNLL04 & 4 & 5 & 922 & 1290 & 231 & 343 & 288 & 422 \\

Table 1 Dataset statistics.

Table 3 Results on CoNLL04 dataset.

the number of predictions in entity recognition is reduced, bringing lower NER Recall.

The absolute improvement of 1.71 points on REF1 when using T5-base demonstrates the importance of position information.

## 4.2 Position embeddings Matters

From Table 2 we can see that BART-large (RE F1: $65.34 \%$ ) outperforms T5-base (RE F1: 61.98\%) a lot. That's quite interesting because both BART and T5 achieve promising results on so many tasks, there should not be that huge difference in their capability. In addition to the language model sizes (BART-large is twice the size of the T5base), we speculate that this large discrepancy is caused by their different position embedding schemes.

Although both have their strengths and weaknesses in text-to-text tasks, relative position encoding appears to be a bit incompetent when it comes to tasks that output absolute positions. The lack of learning about the absolute position makes the T5-based model significantly improved on every indicator after corporated with the position feature.

## 4.3 Training Problem using T5-base

An interesting finding is that for large pretrained models with an encoder-decoder structure, BART can adapt to the output space we defined, but $\mathrm{T} 5$ cannot cope with changed settings. It is hard to get a relatively small loss value after we changed the PLM to T5-base. We tried several combinations of hyperparameters (changed the learning rate and increased the training epoch, etc.) to get the reported results on the Procedure dataset, and failed the training on CoNLL04 (NER F1: 28.69\%; RE F1: $15.44 \%$ ). Up to the present, we still have not found an appropriate training hyperparameter setting that allows the model to converge stably and effectively. The performance of $\mathrm{T} 5$, which we barely achieved, is lagging behind the BART results.

The training problem of the T5-based we met emphasizes that the information we hope the model to learn should compatible with the output space. Or we can design a better output space to fully exploit the potential of the PLMs.

## 5 Conclusion

In this work, we explore two generative PLMs when the output space is position indexes instead of text by introducing absolute position information. Results show that BART performs better due to its absolute position embeddings, and adding entity offset information does not have a significant impact. However, there is still a distance from the advanced model. T5, a model using relative position embeddings can benefit from added position feature, but there are still cases of low recall or difficult training. We recommend considering the task output space when picking a PLM, or transforming the output format to fit the model.

## References

[1] Martin Josifoski, Nicola De Cao, Maxime Peyrard, and Robert West. Genie: generative information extraction. arXiv preprint arXiv:2112.08340, 2021.

[2] Pere-Lluís Huguet Cabot and Roberto Navigli. REBEL: Relation extraction by end-to-end language generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2370-2381, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, and Dawn Song. DeepStruct: Pretraining of language models for structure prediction. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 803-823, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Tianyu Liu, Yuchen Jiang, Nicholas Monath, Ryan Cotterell, and Mrinmaya Sachan. Autoregressive structured prediction with language models, 2022.

[5] Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, and Xipeng Qiu. A unified generative framework for various ner subtasks. arXiv preprint arXiv:2106.01223, 2021.

[6] Liu Shanshan, Ishigaki Tatsuya, Uehara Yui, Takamura Hiroya, and Matsumoto Yuji. Generate it. a simple method for end-to-end relation extraction. 2023.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. CoRR, Vol. abs/1910.13461, , 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[9] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.


# テキスト情報の表現を利用した文献グラフの表現学習

片桐脩那 井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd19027, sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本研究では，論文の文献情報を表す文献グラフを 対象に，高品質な文献グラフの表現の構築に向け て，大規模事前学習モデルから得られるテキストの 表現とグラフ埋め込み手法・グラフニューラルネッ トワークを用いたリンク予測手法の利用可能性を調査する. 文献グラフでは題目や要旨などのテキスト 情報や著者・掲載雑誌などの情報など様々な情報が 引用関係や共通する著者などで繋がっている．実験 では，ACL Anthology に含まれる文献情報を対象に， リンク予測タスクを用いて評価を行い，大規模事前学習モデルから得られる表現のグラフ埋め込み手法 への有効性を示した。

## 1 はじめに

膨大な論文の中から，探したい・関連のある論文 を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要であ る. 従来のキーワード型の検索システムでは，クエ リに一致する論文しか検索できないため，検索のみ で見つけられる論文は限定的である。特に，近年は 出版される論文が日々爆発的に増大しており，大量 の論文から関連する情報に辿り着くための手段への 需要が増大している.

従来の機械学習では，テキストやメディア情報,人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習により に統一的に扱うことが可能となってきている. さら に, BERT (Bidirectional Encoder Representations from Transformers) [1] に代表される自己教師あり学習に より，様々な種類の情報における事前学習モデルが 提案されており，高品質な表現を学習の初期から利用することができる。このような深層表現学習・自己教師あり学習を背景に，へテロな情報をノード， それらの関係をエッジとしたグラフを構築し，グラ フ上での自己教師あり学習により，グラフ上での
ノード間の関係を考慮しながらグラフ情報の埋め込 み表現を獲得するへテロなグラフ埋め込み手法の研究が盛んに行われている [2].

論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込 み手法を適用し，グラフ上のあるノードからそれに 関連するノードを予測するリンク予測を用いるこ とで，様々なへテロな情報を対象とした柔軟な検索 システムを構築する研究が行われている $[3,4]$. こ の研究では，大規模事前学習を用いたモデルは利用 できておらず，このへテロな情報に対する有用性は 評価できていない．また，グラフのノード間の表現 においては，グラフ埋め込みだけではなく，グラ フニューラルネットワーク (Graph Neural Networks; GNNs) [5] を用いたリンク予測手法 [6, 7] など，より 深い構造を利用した表現に関する研究も行われてい るが，このような手法も評価されていない．その他 にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている [2] が，文献情報 の限られた要素を対象としているものがほとんどで ある。

このようなことから，本研究では，文献情報に含 まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込 み手法・GNN を用いたリンク予測手法の利用可能性について調査を行う，具体的には，文献情報であ る題目や要旨などのテキスト情報に事前学習モデル による表現を利用し，リンク予測における性能向上 を図る。また，グラフ埋め込み手法，GNNを用い たリンク予測手法それぞれを用いて，リンク予測で の性能の評価を行い，それぞれの手法の利点・問題点について調査を行う. 本研究の貢献は次の通りで ある.

・グラフ埋め込み手法, GNNを用いたリンク予測手法の文献グラフでのリンク予測性能の評価.

・文献グラフにおけるテキストノードの大規模事前学習モデルによる初期化によるリンク予測性能の改善.

## 2 関連研究

## 2.1 文献情報のベクトル表現による検索シ ステム

論文の文献情報中の様々な要素を考慮して，埋 め込みを行い，検索に利用する研究が行われてい る $[3,4]$. これらの研究では, 著者・題目・要旨・出版年・引用情報を対象に，LINE (Large-scale Information Network Embedding) [8] 及び TransE [9] に基づいて文献情報のベクトル表現を獲得し, 関連する論文要素 の検索を行う手法を提案している。この手法では， テキスト情報である題目・要旨は独立した句の集合 として表現している.

## 2.2 グラフ埋め込み

グラフ埋め込みでは，グラフ構造を始点ノード $h$,終点ノード $t$ とそれらのノード間のエッジの関係 $r$ を用いたトリプル $(h, r, t)$ の集合で表すのが一般的 であり，それらの関係を表現できるように $h, r, t$ の 埋め込み表現とその関係を表すパラメタを学習す る. グラフ埋め込みの代表的な手法に TransE [9] が ある. TransE は，トリプルの要素 $h, r, t$ の埋め込み 表現のみで，トリプルの関係を表現する手法であ る. 式(1)のように，始点ノード $h$ のベクトルを関係 $r$ のベクトルで平行移動させた表現ベクトル $\boldsymbol{h}+\boldsymbol{r}$ と終点ノードのべクトル $\boldsymbol{t}$ が一致するように $h, r, t$ の埋め込み表現を更新する。

$
h+r \approx t
$

この手法により，ノードや関係の埋め込み表現を獲得できるとともに，あるノードにある関係で関連し た別のノードを予測するリンク予測が可能となる.

## 2.3GNNによるリンク予測

グラフ構造を表現する GNN（[5,10]など）を利用 したリンク予測の研究が盛んに行われている $[6,7]$. ここでは，本研究で採用するリンク予測タスクにお いて高い性能を挙げている Graph Inductive Learning (GraIL) [7] について説明する。 GraIL はトリプルの 2 つのノードとその周辺を含むサブグラフからトリプ ルのスコアを計算する. GraIL はサブグラフの抽出， ノードの対象ペアに対する相対位置のラベル付け，
GNN によるスコア計算の 3 ステップでリンク予測 を行う．まず，トリプルの始点・終点の両方のノー ドと一定以下のホップ数で繋がっているノードのみ を含むサブグラフを抽出する。次に，ノードのラべ ル付けではノードに（始点ノードからの距離，終点 ノードからの距離）というラベルをつける．始点・終点ノードのラベルは $(0,1)$ と $(1,0)$ というラベルに なる. 最後に，ラベル付けをしたサブグラフについ て，ノードをラベル表現で初期化し，GNNによる ノード表現を学習し，スコア計算をする。サブグラ フの全てのノードに対応する GNN のノード表現を 平均したサブグラフ全体の表現 $\boldsymbol{h}_{G_{(h, t, r)}}$, 始点・終点ノードの GNN の表現 $\boldsymbol{h}_{h}, \boldsymbol{h}_{t}$, 関係の埋め込み表現 $\boldsymbol{e}_{r}$ を結合した表現に重みをかけて，式 (2)のよう に，トリプルのスコアを計算し，正解のトリプルが 他のトリプルのスコアよりも高くなるように学習を 行う.

$
\operatorname{score}(h, r, t)=\boldsymbol{W}^{\boldsymbol{T}}\left[\boldsymbol{h}_{G_{(h, t, r)}} \oplus \boldsymbol{h}_{h} \oplus \boldsymbol{h}_{t} \oplus \boldsymbol{e}_{r}\right]
$

GraIL の GNNでは，R-GCN [11] に着想を得て，エッ ジの種類ごとに異なるパラメタを利用し，エッジに 対する注意機構を利用してノード情報を集約して いる.

## 3 文献グラフの表現学習

本研究では，高品質な文献グラフの表現の獲得に 向けて，文献情報を文献グラフとしてトリプルを 用いて表現し，SciBERT [12] を用いた大規模事前学習モデルによるテキスト情報の埋め込みの影響と， TransE と GraIL それぞれの表現学習手法の比較を行 う。本研究の流れを図 1 に示す。

事前学習の影響については，TransEを対象に，初期表現にランダムな表現を用いた場合と題目や要旨などのテキストに大規模事前学習モデル SciBERT を用いた埋め込みを行った場合を比較する。 TransE の初期表現において，題目や要旨などのテキスト ノードについて埋め込みを用いることで，ノードが テキスト情報と論文間の関係の両方を考慮した表現 を獲得できると考えられる。

GraIL については GNN によるスコア計算の際に TransE で学習したノード表現をノードの初期表現と してラベル表現に結合して学習を行う. GraILによ るニューラルネットワークで表現を学習すること で，周囲のノードの情報をより考慮した表現を学習 できると期待される。さらに，ノード表現に TransE

図 1 文献グラフの作成と表現学習の流れ

で学習したノード表現を用いることで，TransE のみ による表現学習に比べて，各ノードにおいてその周囲のノードの情報をより考慮した表現が獲得できる と考えられる。

## 3.1 文献グラフの作成

まず，文献グラフを作成し，題目・要旨ノードを BERT で初期化する (図 1(1)). 文献データの中で用 いる文献情報には，題目，要旨，著者，掲載誌など がある. 文献情報の中には，テキストカテゴリ（題目や要旨など）とそれ以外の非テキストカテゴリが ある。テキストカテゴリに対して，初期表現を用い る際は，SciBERT [12]を用いたテキスト情報の埋め 込みを行う。これにより，テキストカテゴリのノー ドがテキスト情報と論文間の関係の両方を考慮した 表現を獲得できると期待される.

## 3.2 グラフ埋め込み

図 1 の (2) のように 3.1 節で作成したトリプルに 対して TransEを用いてべクトル表現を学習する。 TransE の学習により, 各ノードが意味のある情報を 持つようなノード表現を獲得できる.

## 3.3GNN によるリンク予測

GraILを用いた表現学習の手順は, 図 1 の（3)の通 りである．まず，サブグラフの抽出を行う．各トリ プルの $h$ と $t$ を対象ノードとする. 図 1 で，ノード に $h$ と $t$ と書かれているものが対象ノードである. サブグラフは対象ノードのいずれかから $k$ ホップ以内にあり，かつ，対象ノード間のパス上にあるノー ドとその間のエッジで構成する。次に，サブグラフ
のノードのラベル付けを行う．最後に，TransEで学習したノード表現をラベル表現に追加して，GNN に入力し, 2.3 節のスコア関数に基づいて GNN の学習を行う。

## 4 実験設定

データセットには ACL Anthology [13] に掲載さ れている 71,567 件の論文とその文献情報を使用し た. 引用情報は ACL Anthology に含まれないため, Semantic Scholar Academic Graph API [14]を用いて取得した. APIには，時間による回数制限があるため,制限を超えないように時間を空けながらアクセスし た. また，取得した文献情報は BiBTEX 形式となっ ていたため，JSON形式に変換を行った.

本研究では簡単のため，ワークショップの論文を 除いた過去 5 年の論文とその文献情報 (16,916 件) を 使用して文献グラフを作成した。データの統計を付録 A に示す. 文献 ID ・題目・要旨・著者・年・掲載雑誌のノードを持ち，文献 ID のノードと文献情報 のノード間に辺を張るスター型の文献グラフを作成 した。また，引用関係にある文献 ID のノード間に も辺を張った。

文献 IDのノードと著者の関係にあるノードを予測するリンク予測で評価した。 5 回以上掲載されて いる著者とその著者が執筆した文献 ID のトリプル から開発用データ 10,000 件と評価用データ 5,000 件 を用意した。また，開発用データと評価用データに 存在する全てのノードが訓練データに存在するトラ ンスダクティブな設定とした.

評価指標には，[7] で使用されている Hit@N を用 いた。評価データの各トリプルに対して終点ノード

をランダムにサンプリングした不正解のトリプルを 49 個用意する. そして，正解のトリプルの順位が上位 $\mathrm{N}$ 位以内に正解があれば 1 ，なければ 0 として全評価用データで平均した指標である。ただし，終点 ノードのサンプリングの際のノードタイプは正解の トリプルと同一のもの使用した.

本実験では，提案手法で述べたそれぞれの条件で の結果を得るための， 3 種類のモデルを用意した.各モデルの説明は以下の通りである.
- TransE 初期表現にランダムな表現を用いて， TransE で学習するモデル．学習したノード表現 は 768 次元である.
- TransE+BERT テキストカテゴリ（要旨と題目） について，SciBERTによる埋め込みを初期表現 に用いたものを用いて，TransEで学習するモデ ル. 学習したノード表現は 768 次元である.

・GralL サブグラフを 3 ホップ抽出して，サブグ ラフのノードの表現に TransE+BERT で学習し た表現を追加して学習するモデル. グラフ構造 がスター型となっているため，サブグラフとし て抽出されるノード数を考慮して，3 ホップで サブグラフ抽出を行う．サブグラフ抽出時の， サブグラフの平均ノード数は 4.33 個となった.

## 5 結果

4 節の各モデルの評価を表 1 に示す. 参考として，最も良いリンク予測性能が得られた TransE+BERT のモデルについて，ノード表現の近い文献を表示し た結果を付録 B に示す。

## 5.1 TransE と TransE+BERT の比較

まず，TransE と TransE+BERT のモデルを比較す る. TransE+BERT のモデルでは，TransE のモデルに 比べて，Hit@Nが高い値となった. TransE+BERT の モデルが高い性能を示せた理由として，題目と要旨 の情報をもとにした高品質なノード表現を初期表現 に使えたためであると考えられる。また，学習速度 に関しても TransE+BERT のモデルでは，TransE の モデルに比べて半分以下のエポック数で学習を終え ることが可能であった.

このことから，テキストカテゴリのノードの初期表現に大規模事前学習モデルによる埋め込みを用い ることは性能と学習速度の両方において有効である とわかった。表 1 各モデルの著者の正解率

## 5.2 TransE+BERT と GralL の比較

次に，TransE+BERT と GraIL のモデルを比較す る. GraIL のモデルでは, TransE のモデルに比べて, Hit@Nが低い值となった. GraIL のモデルが低い性能となった理由としてサブグラフの構造が考えら れる。今回はグラフをスター型で構築したため，対象ノード間のパスを構成するのに最低必要なホッ プ数が大きくなってしまったと考えらえる。また. GraIL は対象ノードの間に現れるノードしか対象に しないため，文献の周囲の情報を利用できなかった のではないかと考えられる。さらに，出版年など ノード間に頻出して現れるノードも悪影響を及ぼし ている可能性もある. これらのサブグラフの構築方法の調査は今後の課題である.

## 6 おわりに

本研究では, 文献グラフの高品質な埋め込み表現 の獲得のために，大規模事前学習モデルによるテキ スト情報の埋め込み，グラフの埋め込み手法，グラ フニューラルネットワークを用いたリンク予測手法 の利用可能性について，文献グラフ上でのリンク予測を対象に評価を行った. 実験の結果，グラフの埋 め込み手法の初期表現に大規模事前学習モデルによ るテキスト情報の埋め込みを利用した TransE+BERT のモデルが最も良い性能を示した. これより，グラ フ埋め込みにおける大規模事前学習モデルの有効性 を示した。

今後の課題として, 入力とするサブグラフの構造 やリンク予測手法を変更した場合の性能への影響を 検証する。また，高品質な文献グラフの表現を構築 できた際には，柔軟に検索が可能な検索システムの 構築などに繋げていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, Vol. 33, pp. 22118-22133, 2020.

[3] Takuma Yoneda, Koki Mori, Makoto Miwa, and Yutaka Sasaki. Bib2vec: Embedding-based search system for bibliographic information. In Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics, 2017.

[4] 米田拓真, 三輪誠, 佐々木裕. 文献情報の多様な要素 を考慮したべクトル表現獲得. 言語処理学会第 24 回年次大会 発表論文集, pp. 996-998. 言語処理学会, 2018.

[5] Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner, and Gabriele Monfardini. The graph neural network model. IEEE transactions on neural networks, Vol. 20, No. 1, pp. 61-80, 2008.

[6] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[7] Komal K. Teru, Etienne G. Denis, and William L. Hamilton. Inductive relation prediction by subgraph reasoning. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[8] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. LINE: large-scale information network embedding. In WWW, pp. 1067-1077, 2015.

[9] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems, pp. 27872795. Curran Associates, Inc., 2013.

[10] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Mod- eling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

[13] ACL anthology. https://aclanthology.org/ (2023 年 1 月 11 日アクセス).

[14] Semantic scholar academic graph api. https://www.semanticscholar.org/product/api (2023 年 1 月 11 日アクセス)。

## A データセットの統計

実験に用いたデータ数の統計を表 2 , トリプル数の統計を表 3 に示す. 表 3 の文献 ID と文献 ID 以外のト リプル数は双方向の場合の数である.

表 3 トリプルの統計

文献 ID と要旨 29,542

文献 ID と著者 137,780

文献 ID と年 33,832

文献 ID と掲載誌 33,740

文献 ID と文献 ID 246,801

## Bノード表現の評価の例

TransE+BERT のノード表現について，対象文献 ID に対して近傍の文献 ID 上位 5 件を出した例を表 4 に 示す.

表 4 対象文献 ID の近傍の文献 ID の例 (最初の文献 ID は対象を示す)


# 新規用途探索を目的とした技術文書からの材料情報抽出

有馬隆広 大熊智子 出羽達也
旭化成株式会社
\{arima.tf, okuma.td, izuha.tb\}@om.asahi-kasei.co.jp

## 概要

近年，材料分野において自然言語処理技術に大き な期待が寄せられている。その中でも特に強いニー ズとして新規材料の用途探索がある.とりわけ，ま だ工業製品で汎用的に採用されていない新規材料に は様々な用途が想定されるため, 用途探索は材料開発の現場において重要度の高い業務である. 本稿で は，用途探索が必要な新規材料の例として金属有機構造体 (MOF) を対象にした特許文書の要旨を題材 にする。特許文書から材料名と発明の用途を固有表現抽出によって取得し，その結果にもとづいて本夕 スクの課題について議論する。

## 1 はじめに

材料分野において自然言語処理技術への大きな期待が寄せられている. 特許文書や学術論文から材料 に関わる情報を抽出して知識べースに新規化合物を 登録することや，材料の合成プロセスを抽出して実験を支援することが望まれている。さらに，この分野特有のニーズとして用途探索がある. 特にまだ汎用的に利用されていない次世代の新素材にはその素材の持つポテンシャルにもとづき様々な用途が想定 されるため, 研究開発の現場において重要度の高い 業務である.

このような背景から，技術文書からの材料情報の 抽出は国内外で取り組まれてきた。 上述のような知識ベースの構築や実験プロセスの自動抽出を目的と した辞書やコーパスが公開されてる. しかし，その 抽出対象は主に材料，物性，操作に関するものであ りここで対象とする用途に関する情報の抽出に取り 組んだ事例は殆どない.

本稿では，材料開発における用途探索業務の支援 を目指して，英文特許文書からの情報抽出を行う.用途探索が必要な新規材料の例として金属有機構造体（MOF）を対象にした特許文書の要旨を題材にす る. 図 1 に示すように材料と用途を示す表現にアノ

図 1 特許文書における材料（material）と用途（usage）

テーションを行った. 用途と材料の情報抽出には BERT と BERT+CRFを用いた. 評価実験の結果にも とづき，本タスクの課題について議論する。

## 2 関連研究

特許文書から有用な情報を抽出する試みは以前か ら取り組まれてきた. [1] では特定の構文パターン を用意することによって技術の応用について書か れた部分を「特徴表現」として抽出している。しか し，その対象にはどのような技術を使ったものなの かなどは含まれておらず，「特徴表現」自身も限定的な範囲に留まっている.このようにあらかじめパ ターン記述や教師データなどを作成しない情報抽出手法として [2] がある. この手法では請求項間の語 の重なりを考慮して発明の新規な部分をキーワード として抽出するが，本研究では発明中に出現する材料のすべてとその用途を網羅的に抽出することを目的としている.

一方で，材料分野の技術論文を対象にした言語資源がいくつか公開されている. [3] では技術論文か ら材料の合成プロセスの情報を抽出するためのコー パスを構築している. このコーパスでは材料とそ れに対する操作や数量などの個有表現とそれらの 関係がアノテーションされている。BioCreativeIV[4] では主に創薬支援を目的とした化学物質と病名など の固有表現を含むコーパスが公開されており，この コーパスを使った固有表現抽出の取り組みがある [5].

材料分野における言語資源としてコーパスだけで

なく知識ベースやオントロジーも開発されている.

日本化学物質辞書（日化辞）は有機化合物のデータ ベースであるが検索可能な形式で Web 上で公開さ れている [6]. [7] では日化辞を含む様々なデータ ベースの情報を対象にした複合名詞の抽出によって 化合物情報の可視化を行っている.

しかし，いずれも言語資源に含まれる情報の大半 は材料そのものであり用途に対してアノテーション を行ったコーパスは存在しない. 本研究ではこれま でにない新たな取り組みとして材料だけではなくそ れによってもたらされる機能である用途に対してア ノテーションを行ったコーパスを構築し情報抽出を 行う.

## 3 コーパス

## 3.1 対象データ

本研究では米国で出願された特許のうち “metal organic framework"もしくは “coordination polymer” を 含み,さらに 'application', 'purpose', 'use' のいずれかの 語を含む特許の要旨のテキストを取得した。これら の条件はテキスト中に MOF を使った発明の用途が 明記されているものを選別するために設定した. さらに，その中から 350 件をサンプリングし， 1) MOF を使った発明ではなく MOF の製法に関するも の, 2)MOF に関連しないもの, 3) 用途についての記載がないもの，のいずれかに該当する特許を目視で 確認して除外した. その結果, 最終的に 263 件の文書が得られた。

## 3.2 仕様

## 3.2.1 アノテーションの方針

アノテーションは材料分野に関する知識を有する 1 名が brat ${ }^{1}$ 上で行った.

名詞句 今回設定した 2 種類のタグはなるべく体言に対して付与する. また，文頭の冠詞や前置詞な どはタグの範囲に含めないようにする. 副詞や形容詞が材料を示す名詞句を修飾している場合にはそれ らが材料名にとって必須の構成要素になりうるかど うかを個別に判断するよう指示した。これは例え ば “inorganic nanoparticles” において 'inorganic' が形容詞であっても材料名の中心的な意味を表す場合が あるからである。一方で，複合名詞に関してはなる

1) https://brat.nlplab.org/

図 2 並置表現を対象にしたアノテーションの範囲 ベく広くタグの中に含めるようにした。

述語表現を含む句 usage には述語や項を含む ような表現も存在するため、そのようなフレー ズもアノテーションの対象とした. ただし、 "sensing platform for detecting the presence or amount of target nucleic acid, particularly HIV-1 ds-DNA” における “particularly HIV-1 ds-DNA” のように補足的な副詞節はその範囲に含めないようにした。

並置表現材料分野に限らず，特許には並置表現 が多く含まれる，今回のアノテーションでは，接続詞で並列になっている名詞句が形容詞句によって均等に修飾されている，あるいは並列する修飾成分が 同一の名詞句を修飾している場合は分離せず，そう でないものは別々のタグを付与することにした。こ の方針の具体例を図 2 に示す. (1)はエンティティの 中心となる名詞句が複数の修飾を受けているため接続詞 'and’を含む名詞句全体に一つのタグを付与し ている2).しかし，(2)のケースのように名詞句がそ れぞれ独立して出現する場合には個別にタグを付与 する方針とした。

## 3.2.2 material

材料を指す表現は分子や化合物から複数の材料に よって作られた物質まで粒度の異なる様々なエン ティティがある．本稿ではそれらの粒度の区別はせ ず一律に material タグを付与した。これは，本研究 の最終的なゴールがマテリアルズ・インフォマティ クスを目的とした実験設定の抽出を目指すものでは なく，用途探索を目的とした発想の支援にあるため である。従って下記のような表現が material のアノ テーション対象に含まれる。

元素記号/化学式 先行研究では 'Au', 'Ag' など の元素記号や 'CO2', 'N(C1-6-alkyl)2' などの化学式 が材料として抽出されている。さらに，'-NH2’のよ うに官能基を示す化学式も存在する。

2）discontinuous なタグを付与することも考えられるが今回は アノテーション作業の負荷を考慮して仕様に入れなかった
物質の構造 $/$ 形態 /総称 今回，情報抽出の対象にした MOF のように，特定の物質を指すのでは なく物質の構造や形態あるいは物質の総称を指す 表現もアノテーションの対象にした。具体的には 'fluid', 'mixture', 'ligand', 'polymer', などである.

物質の一部 エンティティの中には物質全体を指 すのではなく，その一部を指す表現が含まれる。例 えば ‘membrane'，'layer’や ‘surface’などがこれに相当する.

一般名詞 化学記号や化学式ではなく一般名詞と して記述されている材料も多い. 'copper' や 'silver' などよく用いられている金属は一般名詞で記載され ている.

物質の役割 物質そのものを指すのではなく，そ の物質が合成プロセスにおいて担う役割を指すエン ティティが存在する. 'catalyst' や 'reactor', 'media' などがこれにあたる. ただし，実際にアノテーショ ンを行うとこのような物質の役割が用途として書か れていることもあった. 今回はその発明が提供す る機能かどうかによって material と usage の判断を 行ったが，今後はより明確な基準を設定する必要が ある.

## 3.2.3 usage

用途を表す表現は下記に示すように比較的長いフ レーズである場合がある.

装置特許文書であるため, 'battery' や 'sensor’’ な どの装置を指す表現が比較的多い，今回のアノテー ションでは MOF が直接関わらないものであっても タグを付与した。

動作 "remove the contaminants from a stream of electronic gas" や “separating hydrogen molecules” など具体的な動作と対象についての記述がある。このように 具体的な動作を記述する場合はエンティティという よりも述語と項から構成されるフレーズであること も多い。

## 3.3 統計情報

表 1 に本実験で作成したコーパスの統計量を示 す. usage に比べて material の数が 5 倍以上多いの は，一つの用途に対して複数の材料が用いられるこ とが考えられる．また異なり数の割合が usage の方 が高い。これは要旨の中であっても，特許では同じ 材料に対する記述が繰り返し現れる傾向があること に起因している。表 1 コーパスの統計量

図 3 エンティティの長さ（語数）の分布

図 3 に material と usage のエンティティを構成す る単語数の分布を示す. material はエンティティを 構成する語の数が多くなるほど頻度が低くなる傾向 があるが，usage は語数によらず比較的頻度が一定 である。これは物質名が主である material に比べて usage の表現が多様であることを示している.

## 4 実験

アノテーションでは，特許の要約テキストを対象に，文に含まれる単語に対して固有表現ラベル material, usage を付与した. 固有表現抽出は系列ラべ リングタスクとして取り組み，アノテーションを付与したデータセットを 6:2:2 の割合で訓練・開発・評価に分割して使用した。具体的には，対象テキス トをモデルへ入力して各トークンの分散表現を得，分散表現を全結合層に入力して得られた結果を更に $\mathrm{CRF}$ 層へと入力することで各トークンに対する固有表現ラベルを判定する．モデルとしては，BERT に全結合層のみ追加したモデルと，BERT に全結合層と $\mathrm{CRF}$ 層を追加したモデルの 2 種類をベース ラインとして検討し，どちらのモデルにおいても BERT $_{\text {base }}$ を利用して fine-tuning を行った ${ }^{3)}$.

3） パラメータは以下の通り。最大系列長:512，バッチサイ ズ:8, エポック数:5, 学習率:1e-5, 最適化アルゴリズム:Adam
表 2 固有表現抽出の実験結果

material usage

## 5 実験結果と考察

## 5.1 実験結果

表 2 に固有表現抽出の実験結果を示す. どちら の固有表現カテゴリにおいても，BERT と比較し て BERT+CRF の方がより高い性能を示している. material の $\mathrm{F}$ 值は 0.77 という一般的な専門用語抽出 とほぼ同等の性能が得られた。しかし, usage は $\mathrm{F}$值が 0.5 にも満たない性能であり固有表現抽出とい うタスク設定が適切だったのか再考する必要があ る. usage の方が material よりも抽出精度が低い理由として，訓練データに含まれる数が少ないこと や，エンティティの長さが比較的長いことが挙げら れる。

## 5.2 エラー分析

抽出エラーについて，スパンとラベルの誤りにど のような傾向があるかを観察した.

スパンの誤り傾向 スパンの誤りに比較的多く見 られたのは, 図 4 に示すように usage タグの一部に material が含まれているとその部分だけを material と誤って推定してしまうケースである. 今回はアノ テーション作業の負荷を考えて入れ子構造を仕様に 入れなかったがこのようなエラーを回避するために は検討する必要がある. またエンティティがスパン の途中で切れる・スパンの途中から始まる・途中で 2 つに区切られるケースについては，コーパスに含 まれる全エンティティ数が十分な量でないことで訓練データに含まれる文字数が比較的長いエンティ ティの数も少なくなったことによると考えられる.

ラベルの誤り傾向 スパンは一致しているが usage でなく material に誤るケースがある.このエ ラーは文脈によって材料名にも用途名にもなり得る 単語が存在することに起因すると考えられる。

## 6 おわりに

本稿では材料の新規用途探索を行うための第一歩 として，特許文書中に含まれる材料名とその用途に 対してアノテーションを行った. その結果, 材料名

図4 固有表現抽出結果と正解のギャップ

と用途はいずれもその出現形態や内容が多岐にわた り，特に用途は体言では無い表現も多いことが分 かった. また，BERT による抽出実験によって材料名については固有表現抽出と同じ方式で実用的な精度に達する見込みがあることを示した。但し，用途 については同じ方式で抽出することが難しく，文分類などの別のタスク設定を検討する必要があると思 われる。

今後は本研究の最終的な目的である用途探索に向 けたテキストマイニングをユーザと共に実施し，今回行った情報抽出の有用性や必要な精度などを検証 したい.

## 参考文献

[1] 西山莉紗, 竹内広宣, 渡辺日出雄, 那須川哲哉. 新技術 が持つ特徴に注目した技術調査支援ツール. 人工知能学会論文誌, Vol. 24, No. 6, pp. 541-548, 2009.

[2] Shoko Suzuki and Hiromichi Takatsuka. Extraction of keywords of novelties from patent claims. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, 2016.

[3] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, 2019.

[4] Biocreative IV, $2014 . \quad$ https://biocreative. bioinformatics.udel.edu/resources/biocreative-iv/ chemdner-corpus/.

[5] 渡邊大貴, 田村晃裕, 二宮崇, 牧野拓哉, 岩倉友哉. 化学分野の固有表現抽出のための化合物名を含む文の言 い換え学習を用いたマルチタスク学習手法. 自然言語処理, Vol. 29, No. 2, pp. 294-313, 2022.

[6] NBDC 版日化辞 rdf. http://dbarchive.biosciencedbc. jp/jp/nikkaji/desc.html.

[7] Kazunari Tanaka, Tomoya Iwakura, Yusuke Koyanagi, Noriko Ikeda, Hiroyuki Shindo, and Yuji Matsumoto. Chemical compounds knowledge visualization with natural language processing and linked data. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.


# レシピに含まれる不使用な材料等に関する記述の抽出

山口泰弘 ${ }^{1}$ 染谷大河 ${ }^{2}$ 深澤祐援 ${ }^{1}$ 原島純 1
1 クックパッド株式会社 2 東京大学大学院 総合文化研究科
\{yasuhiro-yamaguchi, yusuke-fukasawa, jun-harashima\}@cookpad.com
taiga98-0809@g.ecc.u-tokyo.ac.jp

## 概要

レシピ中のテキストには，しばしば「卵不使用」 のように特定の材料等について不使用である旨を示 す記述が含まれる。こうした記述は，例えば検索に おいて「卵」で検索した際に「卵不使用」のレシピ が表示される等，不都合な場合がある．そこで，本研究では系列ラベリングモデルを用いてレシピに含 まれるテキストから不使用な材料／調理器具／調理工程を抽出する手法を提案する。 また，レシピ特有の表現に着目したデータ拡張手法も併せて検討 した. 実験の結果，F185.1\% の抽出精度を達成し， データ拡張手法についてもその有効性が示された。

## 1 はじめに

クックパッドをはじめとしたユーザー投稿型のレ シピサービスには多様なレシピが存在する. 投稿さ れるレシピの中には, しばしば特定の材料や調理器具等を使わずに調理できる旨を明示的に記載したも のがある.「小麦粉不使用」や「卵アレルギー対応」等特定の食材を使わないことを示すものや，「火を 使わずに」「圧力鍋なしで」のように調理法や道具を 使わないことを表すもの等，対象となるアイテムや 行為，表記方法は様々である。こうした記述は，閲覧者がアレルギーに配慮したレシピを探す際や，よ り簡単な調理法を探す際に有益な情報となり得る。

一方，このような不使用な食材等に関する記述は レシピ検索等の応用において不都合な場合がある.単純なテキストのマッチングに基づく検索では,「卵」で検索した際に「卵不使用」と記載のあるレシ ピが検索結果に表示されることがある. しかし材料名で検索を行うユーザーの多くはその材料を使った レシピを探している可能性が高く, 当該材料を使わ ないレシピが検索結果に載ることは不自然だと考え られる。こうした課題を解決するためには，予めレ シピ中から不使用と書かれた材料等の記述を検出し
ておく，といった対応が必要になる。

そこで本研究では，レシピ中のテキストから系列 ラベリングモデルを用いて不使用な材料／調理器具 ／調理工程を抽出する手法を提案する。また，不使用に関連する記述に着目したいくつかのデータ拡張手法を検討し，実験を通してその効果を調査する。

## 2 関連研究

系列ラベリングは入力系列の各トークンにラ ベルを割り当てる手法であり, 固有表現認識や品詞タグ付け等のタスクで利用されている. 本研究 では固有表現認識タスクの代表的な手法である BiLSTM-CRF [1]を元にしたモデルを利用する.

レシピ中のテキストを対象にした系列ラベリング の研究として, 材料や調理工程を検出する手法がい くつか提案されている [2] [3]. また, Cookpad Parsed Corpus (CPC) [4]のようにレシピに対して形態素, 固有表現，係り受けの情報を付与する取り組みもあ る. CPC では調理中に除去される材料の検出等, 文脈を考慮したより詳細な解析が試みられている。

また, レシピの材料や調理工程に着目した研究と して，材料名の正規化 [5]，材料欄に含まれる非材料 の検出 [6]，タイトルに基づく材料の予測 [7]，調理工程のグラフ構造化 [8] [9], 材料の上位下位関係の 検出 [10]等がある. これらの研究はレシピ中で使用 される材料や調理工程に着目しているが, 本研究で は不使用な項目に焦点を当てる。

テキストのデータ拡張に関する研究には，単語の 挿入・削除・置換等の処理を行う EDA [11] 等があ り, 文分類タスク等での有効性が確認されている. また，Dai ら [12] は固有表現認識タスクを対象にし たデータ拡張としてメンションの置換やメンション 以外のトークンのシャッフル等の手法を提案し, 予測性能の向上を示している.これらの研究とは異な り, 本研究ではレシピ固有の表現に着目したデータ 拡張手法を用いることで性能改善を試みる。
表 1 アノテーションしたレシピの例 テキスト

 \\

## 3 提案手法

## 3.1 データセットの作成

不使用に関する記述に着目したデータセットを 新たに作成するために，172万品のレシピデータを 含む Cookpad Recipe Dataset [13] から「不使用」等の 記述を含むレシピ 7,000 件と無作為に選択したレシ ピ 3,000 件の計 1 万レシピを抽出した. 1 人のアノ テータにより, 抽出したレシピのタイトル，説明の テキストに対して不使用であることが明記された材料/調理器具/調理工程のスパンのアノテーション を行った。表 1 にアノテーションしたレシピの例を 示す. 作成したーデータセットは学習用／検証用／ テスト用に分割し, 学習と評価に利用した. 分割し たデータセットの統計を表 2 に示す. データの収集 やアノテーション方法に関するより詳しい情報は付録 A に記す。

## 3.2 データ拡張

作成したデータセットの観察から, 不使用に関連 する記述には多様性があり, 各表現の出現頻度は不均衡であることがわかった。そこで，以下のデータ 拡張手法を適用することでこの問題に対処する.

ReplaceSuffix “〜なし”のように，対象となるス パンの後方に続くことでそれらが不使用であること を示す表現について，それらの表現をランダムに入 れ替える手法. 付録 B. 1 に示した表現に該当する箇所を，他の表現でランダムに置き換える.

ReplaceSeparator “A・Bを使わない...” のよう に複数のアイテムを対象に不使用であることを示す 表現について, 列挙のパターンをランダムに入れ替
える手法. アノテーションされた直近 2 つのスパン に挟まれたテキストのうち，付録B. 2 に示した表現 に該当するものを他の表現で置き換える。

SuffixToPrefix “〜なし”のようにスパンの後方 に続く表現を，“ノン〜”(“ノンオイル”，等)のよう にスパンの前方に付く表現に置き換える手法. アノ テーションされたスパンの後に付録 B. 3 に示す表現 が続く場合，“ノン〜”という形式に置き換える。

## 3.3 同義語による置換

上記のデータ拡張手法では，対象となる表現以外 は変化せず，似た表記を持つテキストが多く生成さ れるため過学習につながる可能性がある. そこで, データのバリエーションを増やすためにデータ拡張 によって生成されたテキストを対象としてテキスト 中に含まれる単語をランダムに同義語に置き換え る処理を合わせて行う．テキストを分かち書きした 後, 各単語について料理関連語を対象として事前に 定義した同義語辞書をもとに他の同義語へとランダ ムに置き換える。

## 3.4 不使用に関する記述の抽出

図 1 にスパン抽出に用いる系列ラベリングモデ ルの構造を示す. BiLSTM-CRF [1] をべースとした ニューラルモデルであり，レシピ中のテキストを入力として, 各トークンに対して BIOUL タグを出力 することで不使用なアイテムのスパンと，それらの カテゴリ (材料／調理器具／工程)を予測する.

入力のテキストは形態素解析を行なったあと文字レベルでトークン化し, 文字系列 $\left(c_{1}, \cdots, c_{T}\right)$ と 品詞系列 $\left(\tau_{1}, \cdots, \tau_{T}\right)$ に変換する。単語の境界情報 を与えるために，品詞系列には図 1 に示すように BIOUL スキーマを用いて文字ごとに品詞情報を 割り当てる方法を採用した. エンコーダへの入力 は文字／品詞に対応する学習可能な埋め込み表現 $\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right), \boldsymbol{e}_{\mathrm{POS}}\left(\tau_{t}\right)$ を結合したべクトル $\boldsymbol{x}_{t}$ の系列と する.

$
\begin{aligned}
\boldsymbol{x}_{t} & =\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right) \| \boldsymbol{e}_{\mathrm{POS}}\left(\boldsymbol{\tau}_{t}\right) \\
\boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T} & =\operatorname{Encoder}\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)
\end{aligned}
$

エンコーダの出力から， CRFを通してタグ 系列 $\boldsymbol{y}=\left(y_{1}, \cdots, y_{T}\right)$ の確率を計算する. 以下の $\theta_{y_{t-1}, y_{t}}, \boldsymbol{w}_{y_{t}}$ は CRF の学習パラメータを表す.

$
p\left(\boldsymbol{y} \mid \boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T}\right) \propto \exp \left(\sum_{t=2}^{T} \theta_{y_{t-1}, y_{t}}+\sum_{t=1}^{T} \boldsymbol{w}_{y_{t}}^{\top} \boldsymbol{h}_{t}\right)
$

図 1 スパン抽出モデル

学習では以下の負の対数尤度を最小化するように モデルのパラメータを最適化する.

$
\mathscr{L}=-\sum_{i} \log p\left(\boldsymbol{y}^{(i)} \mid \boldsymbol{h}_{1}^{(i)}, \cdots, \boldsymbol{h}_{T}^{(i)}\right)
$

## 3.5 スパンのフィルタリング処理

本研究で抽出対象とする 3 種類のスパンのうち,特に材料に関するものはレシピの材料闌の情報と組 み合わせることで抽出精度の改善が期待できる. そ こで，レシピの材料欄に基づいて抽出されたスパン のフィルタリングを行う方法を提案する。

前処理として, 抽出された材料のスパンと材料欄 の材料名を対象に Harashima ら [5] の手法を利用し て材料名の正規化を行う. 正規化した材料名同士を 比較し，抽出した材料スパンのうち材料欄に含まれ るものがあればそれらを取り除く。このフィルタリ ング処理により誤って抽出された可能性の高いスパ ンを除去することができるため，モデルの適合率の 改善が期待できる.

## 4 実験と結果

## 4.1 実験方法

各種データ拡張手法を適用したデータセットを用 いてスパン抽出モデルの学習を行い，性能の評価を 行った. データ拡張処理では各手法について拡張対象の表現と変換パターンを可能な限り適用した. 学習データにデータ拡張を施した場合のデータセット 規模の変化を表 3 に示す。より詳細なデータ拡張の 設定，結果は付録 B に記す。表 3 各データ拡張手法適用後のデータセット規模

各テキストは予め fugashi [14] と IPAdic ${ }^{1)}$ により 形態素解析を行い，その結果得られた品詞情報をモ デルの入力とする. また，モデルのエンコーダには 2 層の双方向 GRU (BiGRU) [15] を利用した. モデルの学習では分割したアノテーションデータ のうち学習データを用いてモデルのパラメータの 更新を行い，検証データを用いた評価による Early Stopping を実施した. モデルのパラメータの最適化 には AdamW [16]を用いた。

モデルの性能評価にはスパンベースの F1／ Precision / Recall を利用した. 学習時には Early Stopping を行い，検証データにおいて最も高いF1 ス コアを達成した時点のモデルを採用した。

## 4.2 ベースライン手法

ベースライン手法として，以下 2 つの抽出方法を 採用した. どちらの手法についても， 3.5 節のフィ ルタリング処理と併せて予測を行なった。

Dictionary-based Extractor Cookpad のサービス で利用されている独自の辞書に基づいてテキスト中 から候補となる材料・調理工程・調理器具のスパン を抽出する手法.

Dependency-based Extractor テキストの依存構造解析を行い，「不使用」等のキーワードと係り受 け関係にある名詞を抽出する手法. 依存構造解析に は $\mathrm{GiNZ}^{2}$ を利用した。抽出したスパンのラベルは Dictionary-based Extractor でも利用した独自の辞書に 基づいて決定した.

## 5 結果と考察

表 4 に実験結果を示す. 2 つのベースライン 手法と BiGRU-CRF を比較すると，F1において BiGRU-CRF モデルが+20\%以上高い性能を示した. Dictionary-based Extractorについては， Recall は比較的高いが，材料以外はフィルタリング処理されない ことや，“〜にもあう”のような表現を伴うレシピ

表 4

テストデータにおけるモデルの予測精度

表 5 ラベルごとの予測精度

と直接関係のない食品のスパンも抽出されたこと で，Precision は他の手法に比べて特に低い結果と なった. Dependency-based Extractor では BiGRU-CRF と比較して高い Precision を達成したが, 予め定義し たパターン以外は抽出できないことや依存構造解析の誤り等の影響で，特に Recall が低くなる結果と なった.

データ拡張の効果 各データ拡張手法に着目す ると，すべての手法でデータ拡張を用いない場合 と比べて F1 スコアの上昇が見られた. データ拡張 を個々に適用した場合，いずれの手法においても Precision の上昇が確認できたが，Recall については 下がる傾向が見られた. 一方，全てのデータ拡張手法を適用した場合には全ての指標について改善が見 られ, Precisionでは+3.9\%の改善, Recall においても $+0.1 \%$ と若干の上昇となった. データ拡張で考慮さ れた記述パターンを含むテキストについて検出精度が向上することで Precision の上昇につながった と考えられる。一方，false-negative な誤りの多くは “〜の代わりに”や“〜を避けたい”のように今回の データ拡張の設定で考慮されていないものであり， Recall の更なる改善にはこうした表現に対応する学習データの追加やデータ拡張の設定が必要になると 考えられる。

ラベルごとの予測精度 表 5 に BiGRU-CRF + All モデルのラベルごとの予測精度を示す. F1による 比較では材料の抽出精度が最も高く, 次いで調理器具, 調理工程 という結果になった. 特に調理工程に ついては，調理器具よりも学習データに含まれるス パンの数が多いにも関わらず，他のラベルと比較し ていずれの指標においても低い性能を示した．材料 や調理器具のラベルが付いたスパンは，その多くは 一般名詞であることから予測が比較的容易であると表 6 同義語による置換とスパンのフィルタリングの効果

考えられる。しかし, 調理工程については学習デー タに含まれる事例が比較的少ない一方で「一晚寝か せ」のように複数の単語からなるもの等表現のバリ エーションが多いため，他の 2 つのラベルに比べて 予測が困難であると考えられる。

同義語による置換の効果 同義語による置換処理 を施していないデータセットで BiGRU-CRF + All モ デルを学習した結果を表 6 に示す. 置換処理を行わ ない場合，すべての指標において性能の低下が見ら れたが，特に Recall において $-2.2 \%$ の顕著な性能低下が見られた. 同義語置換なしの設定では共通した 語句を持つテキストが多く生成されるため，モデル が限られたパターンのみに適合したことで Recall が 減少したと考えられる.

スパンのフィルタリング処理の影響スパンの フィルタリング処理を適用しない場合の性能比較を同様に表 6 に示す. フィルタリング処理を適用した場合と比較して，F1で $-1.0 \%$, Precision では $-2.3 \%$ の性能低下が見られた. 特に Precision の変化 から，提案したフィルタリング処理を用いること でBiGRU-CRF モデルが誤って検出したスパンを排除できることがわかった。一方，Recall においては フィルタリング処理しない場合の方が $+0.5 \%$ ほど高 い精度となった. これはフィルタリング処理によっ て本来抽出するべきスパンが誤って排除されたこ とによるものと考えられる. フィルタリング処理の 導入により，Recall においては若干の性能低下が見 られたが，Precision においては期待した改善が見ら れ，F1の向上に寄与した.

## 6 おわりに

レシピ中のテキストに含まれる不使用な材料／調理器具／調理工程に関する記述を抽出するために,系列ラベリングを用いた抽出手法と，レシピ特有の 表現に着目したデータ拡張手法を提案した. 実験の 結果，F1 スコアで $85.1 \%$ の抽出精度を達成し，提案 したデータ拡張手法の有効性が示された。今後は抽出精度の改善やレシピ検索等の応用に向けて, 系列 ラベリング以外の抽出手法の検討や検索タスクによ る評価等を行いたい。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), 2016.

[2] Makoto Hiramatsu, Kei Wakabayashi, and Jun Harashima. Named Entity Recognition by Character-based Word Classification using a Domain Specific Dictionary. In Proceedings of the 20th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 2019), 2019.

[3] Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named Entity Recognizer Trainable from Partially Annotated Data. In Conference of the Pacific Association for Computational Linguistics (PACLING 2015), 2015.

[4] Jun Harashima and Makoto Hiramatsu. Cookpad parsed corpus: Linguistic annotations of Japanese recipes. In Proceedings of the 14th Linguistic Annotation Workshop (LAW 2020), 2020.

[5] Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management (CEA 2018), 2018.

[6] Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient Detection in User-generated Recipes using the Sequence Tagging Approach. In Proceedings of the Sixth Workshop on Noisy User-generated Text (W-NUT 2020), 2020.

[7] 深澤祐援, 西川荘介, 原島純. マルチラベル分類によ る材料推薦モデル. 言語処理学会第 27 回年次大会発表論文集 (NLP 2021), 2021.

[8] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow Graph Corpus from Recipe Texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014), 2014

[9] Lucia Donatelli, Theresa Schmidt, Debanjali Biswas, Arne Köhn, Fangzhou Zhai, and Alexander Koller. Aligning actions across recipe graphs. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), 2021.

[10] Young-joo Chung. Finding food entity relationships using user-generated data in recipe service. In Proceedings of the 21st ACM international conference on Information and knowledge management (CIKM 2012), 2012.

[11] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), 2019.

[12] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics (COLING 2020), 2020.

[13] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), 2016.

[14] Paul McCann. fugashi, a tool for tokenizing Japanese in python. In Proceedings of Second Workshop for NLP Open Source Software (NLP-OSS 2020), 2020.

[15] Kyunghyun Cho, Bart van Merriënboer, Dzmitry Bahdanau, and Yoshua Bengio. On the properties of neural machine translation: Encoder-decoder approaches. In Proceedings of Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation (SSST 2014), 2014.

[16] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proceedings of International Conference on Learning Representations (ICLR 2019), 2019.

## A データセットの詳細

## A. 1 レシピの収集方法

不使用に関する記述を含むレシピを効率的に収集 するために，Cookpad Recipe Dataset [13] に収録され たレシピを対象に，タイトル・説明文に以下の表現 を含むものをランダムに 7,000 件収集した:

使わ／つかわ／使い／使って／つかって／使用／不要／なし／無し／いら／要ら／せず／しない／し なく/アレルギー

また，データの偏りを考慮して上記で選ばれな かったレシピの中からランダムに 3,000 件のレシピ を取得し，データセットに加えた。

## A. 2 アノテーションの詳細

収集したレシピのタイトル (title), 説明 (description) を対象に，当該テキストの記述のみからそのレシピ 全体で不使用であることがわかるもののみを対象に スパンのアノテーションを付与した. また「○○な しでも OK」のように，アイテムを使わないことが オプションである旨が記載されたものに関してはア ノテーションを行わないこととした.

## B データ拡張手法の詳細

各種データ拡張手法について，詳細な設定を以下 に示す. また，表 7 に各手法で対象となる学習デー タ中のテキストノスパン数の統計情報を示す.

## B. 1 ReplaceSuffix

スパンの後方に続く表現が以下のいずれかに当て はまるとき，他の表現による置き換えを行う: なし /いらず／使わない／使ワナイ／を使わない／不要 ／不使用／要らず／なし／無し／ゼロ

## B. 2 ReplaceSeparator

スパンに挟まれた表現が以下のいずれかに当ては まるとき，他の表現による置き換えを行う: ・(中点) ／\&(アンパサンド) $/$ ，(読点) $/$ や(並立助詞) (空白)

## B. 3 SuffixToPrefix

スパンの後方に続く表現が以下のいずれかに当て はまるとき，それらを消してスパンの前方に“ノン” を追加する処理を行う: なし／ナシ／無し／不使用

## B. 4 データ拡張の例

全てのデータ拡張手法と同義語による置換を行な い得られたテキストを表 8 に示す.

表 8 データ拡張により生成された文の例

(a) 例文 1

原文卵・乳製品不使用の簡単もっちりスコーン』

生成例 1 卵乳製品いらずの超簡単モッチリスコーン』

生成例 2 卵\&乳製品不要のかんたんもっちりすこーん』

(b) 例文 2

原文おからでイタリアンえピザ風え小麦粉不使用

生成例 1 卯ノ花でイタリア料理凸ピザ風々ノン小麦粉

生成例 2 オカラでイタリアぬピザ風々小麦粉を使わない