# クイズAI システムを用いた ヒューマンロボットインタラクションのための検討

坪倉和哉 1 久保谷空史 ${ }^{1}$ 小林邦和 ${ }^{1}$
1 愛知県立大学大学院情報科学研究科
\{im212008,im211004\}@cis.aichi-pu.ac.jp, kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦〜」 のシステムをヒューマンロボットインタラクション に適用するための検討を行った。具体的には，クイ ズ問題に対して, クイズ難易度と早押し可能タイミ ングのアノテーションを行い，分析を行った. クイ ズ難易度の推定では $65 \%$ の正解率を得た。また，平均的にクイズの問題文の $3 / 4$ が読み上げられた時点 で早押し可能であることが明らかになった。また， ロボットにクイズシステムの実装を行うための検討 を行った。

## 1 はじめに

近年，スマートスピーカやスマートフォンのバー チャルアシスタントなどの質問応答システムが身近 なものとなっている. そのため, 質問応答に関する 研究が行われている. 日本語を対象とした質問応答 の研究として「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦 11) （以下，「AI王」と呼ぶ）が挙げられる。AI王は, 日本語を対象とした質問応答研究を促進させることを 目的とし, クイズ問題を題材としたコンペティショ ンである. AI 王では，クイズの問題文からクイズの 解答を返すシステムの性能を競う. コンペティショ ンでは，クイズ問題の全文を入力としているため, クイズ番組で見られるような，いわゆる「早押し」 に関する問題には対応していない。また, システム がクイズを解答するだけではなく, クイズを通した 人とのインタラクションも考えられる。例えば，エ ンターテインメント分野や教育分野, 介護分野など において，ロボットやバーチャルエージェントとク イズを行うことで，ユーザを楽しませたり，教育的 な効果をもたらすことができると考える. このようなインタラクションを行うためには，

1) https://sites.google.com/view/project-aio/ competition2
クイズを出題したり，解いたりするだけではなく， ユーザの知識レベルに合わせて出題するクイズの難易度を変更したり, 難易度に応じて「この問題は難 しいね」などと発話することでインタラクションの 質を高めることが可能であると考える.

そこで本研究では, AI 王のデータセットとベー スラインモデルを用いて，コンペティションでは対象とされていない，人と一緒にクイズを行うロボッ トシステムを構築するための検討を行う，具体的に は, 以下の 3 点について検討を行った。

・クイズの難易度推定

・早押し可能なタイミングの分析

・AI 王のベースラインモデルをロボットに適用 し，人とロボットが一緒にクイズを行うシステ 么の検討

2 章では $\mathrm{AI}$ 王のデータセットの一部に対して行っ た難易度と早押し可能タイミングのアノテーション について述べる。 3 章では，アノテーションデータ を分析した結果をもとに考察する. 4 章では $\mathrm{AI}$ 王 のベースラインモデルをコミュニケーションロボッ 卜に適用するための検討を行う. 最後に 5 章で本稿 をまとめる。

## 2 クイズデータのアノテーション

本研究では, クイズ問題の分析を行うため, AI 王第 2 回コンペティションで公開されている「第 2 回 コンペティション開発データ $\mathrm{v} 1.0 」 を$ 用いる. この データセットに収録されている 1,000 問のクイズ問題からランダムで抽出した 100 問に対してアノテー ションを行った。アノテータは以下の 2 つのラベル のアノテーションを行った。なお，アノテータには 問題の ID (qid), 問題文 (question), 正解のリスト （answers）が与えられる.
- 難易度（1５９整数値）

・早押し可能タイミング
難易度は, クイズ問題の難しさを表す指標であ る. クイズの問題文と正解から, 問題の難易度を 1 (易しい) 〜 （難しい）の整数值でラベリングを 行う.

早押し可能タイミングは，仮にクイズの問題文を 読み上げられた場合, 読み上げ途中のどの時点で答 えを推測可能かを表す，AI 王ではクイズ問題の全文が入力として与えられるが，クイズ番組のように クイズ問題を読み上げるようなインタラクション を考えた場合には, 問題の読み上げ途中で解答する ことも可能となる. アノテータがクイズ問題の答え を知らない場合, 早押し可能タイミングのアノテー ションは困難であるから，アノテータにはクイズの 問題とクイズの答えを提示し，クイズの答えを知識 として知っているとした場合, 早押し解答可能だと 思う時点にラベルを付与してもらった.

アノテータは, 理系大学院生（情報系専攻） 3 名 （男性）である. アノテータの属性を理系大学院生 （情報系専攻, 男性）としたのは, 属性の違いによる 難易度の感じ方に対する影響を抑えるためである. クイズを題材として人とロボットがインタラクショ ンを行う際には, ユーザの属性を考慮した出題問題 の選択などにより, インタラクションの質を高める ことが可能になると考えるが，ユーザの属性とクイ ズ問題の難易度の感じ方の関係性については本研究 では対象とせず，今後の検討事項としたい.

## 3 分析と考察

本章では前章のアノテーション結果の分析と考察 を行う。

## 3.1 クイズ難易度

人とロボットがクイズを題材としてインタラク ションを行うことを考える上で, クイズの難易度を 推定することはインタラクションの幅を広げるこ とができる．例えば，インタラクション相手が子ど もであれば，易しい問題を提示し，クイズが得意な ユーザであれば難しい問題を提示するといったこと が可能となる. そのため, クイズ難易度の推定を試 みる。

## 3.1.1 アノテータによる難易度の違い

3 名のアノテータによるクイズ難易度ラベルのア ノテーションの結果を表 1 に示す. 3 名のアノテー タ間で全アノテータが同一ラベルを付与した割合は表 1 クイズ難易度アノテーションの結果

$22 \%$ ，少なくとも 2 名が同一ラベルを付与した割合 は 75\%であった. クイズ問題每に 3 名のアノテータ の難易度ラベルの平均值を求め, その値をクイズの 難易度とした. 全クイズの難易度の平均値を求めた 結果，平均クイズ難易度は 3.0 となった。

## 3.1.2 クイズ問題から特徴量の抽出

クイズの問題文からクイズ難易度との相関の分析 （3.1.3）や難易度推定（3.1.4）に用いるための特徴量 の抽出を行う.

クイズ問題の難易度推定のために, クイズの問題文から以下の特徴量を抽出した。

・クイズの問題文の長さ
- 問題文中の各品詞の出現数

問題文中の各品詞の出現数は，オープンソースの 日本語自然言語処理ライブラリである「GiNZA $\rfloor^{2)}$ を用いて，クイズの問題文を形態素解析し，品詞ご とに出現頻度をカウントした. なお, 品詞のタグ セットとして, 日本語の UD 品詞タグで定義されて いる 17 種の品詞タグを用いた [1].

## 3.1.3 特徴量と難易度の相関の分析

クイズの難易度と 3.1.2 節で抽出した特徴量との 相関の分析を行う. クイズの難易度は 3 名によるア ノテーションの平均値を採用する.

クイズの難易度と前節で抽出した特徴量との間に 弱い相関（ $|r|>0.20 ）$ のある特徴量と相関係数を表 2 に示す. 表より, 3 つの特徵量においてクイズ難易度との弱い相関がみられた. 問題文に登場する固有名詞を知っていないと, クイズに解答が困難であ ることから, 固有名詞とクイズの難易度との間に弱 い相関があったと考えられる。設置詞は, 格助詞・副助詞・係助詞である. 語と語の意味関係を示した り，意味を添えたりするため，クイズ問題文中に設置詞の数が多くなると, 問題文の複雑度が上がり,難易度も高まると考えられる．同様に，問題文が長 くなるほど問題文の複雑度が上がるため, 難易度も 上がると考えられる。

表 3

## 3.1.4クイズ難易度の推定

3.1.2 節で抽出した特徴量を用いてクイズの難易度の推定を試みる. 17 個の品詞タグセットうち,「等位接続詞」と「その他」はデータセット中に出現しなかったため，「等位接続詞」と「その他」を除 く 15 個の品詞の出現頻度とクイズ問題文の長さを 合わせた，合計 16 個の特徵量をクイズの難易度の 推定に用いる.

クイズの難易度は 1～5 の範囲の值であるが，こ こでは単純化のため, 3 名のアノテーションの平均值が 3 以下のクイズを「易しい」，3より大きいクイ ズを「難しい」とし，難易度（易しい/難しい）の 2 クラス分類問題として学習・評価を行う.

難易度推定には中間層 2 層からなる NN（Neural Network）を用いる。100 問のクイズ問題のうち，80 問を学習に, 残りの 20 問を評価に用いる. 各特徴量 の標準化を行い, $\mathrm{NN}$ の入力とした. 学習は $10 \mathrm{epoch}$行った.

なお，NN のハイパーパラメータ（中間層のユ ニット数, ドロップアウト率, 中間層の活性化関数, 最適化アルゴリズム）は，オープンソースのハ イパーパラメータ自動最適化フレームワークである Optuna[2] を用いて最適化を行った。最適化したハ イパーパラメータを表 3 に示す.

評価の結果, 難易度の 2 クラス分類の正解率は $65 \%$ と低い精度となった。推定に用いた特徴量は品詞の出現頻度と問題文の長さを合わせた 16 個の特徵量であり, クイズの難易度推定には十分な情報が 含まれていないことが確認された。

## 3.2 早押し可能タイミング

クイズ番組のようにクイズ問題が読み上げられ, クイズに解答するインタラクションを考えた場合， いわゆる「早押し」が可能となるため, 早押し可能
なタイミングの分析を行った。

3 名のアノテータがクイズ問題文中に早押し可能 タイミングの付与を行った。まず， 3 名のアノテー タによる問題文の長さに対する早押し可能位置の平均を求めた. クイズの問題文の長さを $100 \%$ とした 場合，早押し可能位置の平均は $74.7 \%$ であり, 問題文の $3 / 4$ が読み上げられた時点でおおよそ半数の問題が回答可能であることが示唆された。

クイズの問題文の長さに対する早押し可能位置と 難易度との相関係数を求めた結果，0.137 であった。 そのため, 早押し可能タイミングはクイズの難易度 には依存しないことが示唆された。

## 4 ロボットへの実装

本章では，人とロボットが一緒にクイズを行うイ ンタラクションの実装を検討する。人とロボットが 一緒にクイズを行うことを考えた場合，クイズの司会者と解答者の 2 つの役割がある。人とロボットに この役割をどう割り当てるかによって，いくつかの インタラクションの形式が考えられるが，ここで は，人が司会者としてクイズ問題を出題し，人とロ ボットがクイズの解答を行うことを考える．本研究 では, 対話ロボットとして, ソフトバンクロボティ スク社の「NAO」を用いる.

## 4.1 クイズインタラクションの流れ

クイズインタラクションの流れを図 1 に示す.ま ず，司会者がクイズ問題を読み上げる．解答者（ロ ボット）は司会者が読み上げたクイズ問題を音声認識する。音声認識には Google Cloud Speech-to-Text ${ }^{3}$ ) を用いる．音声認識結果は，クイズ解答推定システ ムに送られる。ここでは，クイズ解答推定システム として，AI 王のベースラインシステムを用いる。こ のベースラインシステムは，文献 [3] をべースに AI 王コンペティションで扱う日本語クイズ問題で利用 できるように改修されたシステムである.

続いて, 解答者（ロボット）はクイズ解答推定シ ステムにより予測されたクイズ解答を読み上げる.読み上げられた解答は司会者により正誤判定が行わ れ，「正解です」や「不正解です」などとフィード バックする．ロボットは司会者の正誤判定を音声認識し，正解の場合は喜びを，不正解の場合は悲しみ を表出する発話や動きを行うことで，正誤判定に対 してフィードバックする．その後は，クイズの出題

3) https://cloud.google.com/speech-to-text

図 1 クイズインタラクションの流れ

回数の上限まで上述の流れを繰り返す.

図 1 では考慮されていないが, 通常クイズの解答者は複数である. そのため, クイズの解答段階で は，クイズの解答権の付与を行う必要がある. 本シ ステムでは, クイズ解答前にロボットの名前 (NAO) を呼ぶことで解答権の付与を行う。

## 5 おわりに

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦～」 のシステムをヒューマンロボットインタラクション に適用するための検討を行った. 具体的には，クイ ズ問題に対して, クイズ難易度と早押し可能タイミ ングのアノテーションを行い，分析を行った。クイ ズ難易度の推定では $65 \%$ の正解率を得た. また, 平均的にクイズの問題文の $3 / 4$ が読み上げられた時点 で早押し可能であることが明らかになった。また， ロボットにクイズシステムを実装するための検討を 行った。

今後の課題として, 本研究でクイズ難易度の推定 に用いた特徵量 16 個では十分に難易度を推定でき ないことが明らかとなったため, 単語や文章の意味表現ベクトルを用いるなど，特徴量を追加し，クイ ズ難易度推定の精度向上を目指す。また，多様な属性のアノテータにクイズ難易度をアノテーション してもらうことで, ユーザの属性とクイズ難易度の 関係性を分析し，ユーザの属性を考慮した出題問題 の選択を可能にすることを目指す. 本研究では早押 し可能タイミングの推定は行っていないため, 今後 データを増やして早押し可能タイミングの推定を行 う. さらに, 本研究ではロボットへの実装の検討を 行ったが，実装と人を含めたインタラクション実験 は行っていないため, 今後人とロボットが一緒にク イズを解く実験を行い，インタラクションの評価を する予定である.

## 参考文献

[1] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[2] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. CoRR, Vol. abs/1907.10902, , 2019.

[3] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.


# テキストと視覚的に表現された情報の融合理解に基づく インフォグラフィック質問応答

田中涼太 ${ }^{1}$ 西田京介 ${ }^{1}$ 許俊杰 ${ }^{2 *}$ 西岡秀一 ${ }^{1}$
1 日本電信電話株式会社 NTT 人間情報研究所 2 筑波大学大学院 人間総合科学学術院
\{ryouta.tanaka.rg, kyosuke.nishida.rx, shuichi.nishioka.gd\}@hco.ntt.co.jp
s2021705@s.tsukuba.ac.jp

## 概要

情報・データ・知識を視覚的纪表現した文書画像であるインフォグラフィックを読み解いて，質問に対して回答を行うモデル IG-BERTを提案す る. 提案モデルではテキストと視覚物体の配置関係の学習および算術演算理解のためのデータ拡張を行う. IG-BERT は, ICDAR 2021 Competition の InfographicVQA タスクにおいて，事前学習データ量 を従来モデルの $1 / 22$ に抑えつつ同程度のサイズの モデルの中で最も高い性能を達成し 2 位に入賞し た. 本研究は，実世界に多数存在する視覚的に表現 された文書を知識源として質問応答を行う知的エー ジェントの発展に貢献できる。

## 1 はじめに

質問に対して文書を読み解いて人間の様に回答を 行う質問応答技術の実現は, AI 分野における重要 な課題の一つである。従来はテキストのみで記述さ れた文書に関する質問応答 $[1,2]$ が活発に取り組ま れてきた。一方で，従来研究では実サービスで扱わ れる HTML や PDF 形式の文書が持つテキスト情報 しか理解できないことから，近年では文書を画像と して扱い質問応答を行う文書画像質問応答 $[3,4]$ が 注目を集めている。本研究はその中でも情報・デー タ・知識を視覚的に表現した文書画像を扱うイン フォグラフィック質問応答 [5] に取り組む。本タス クは図 1 で示す様に，テキストに加えてアイコンや 図表といった視覚情報の理解，テキストと視覚情報 を併せた配置関係の理解，算術演算など様々な能力 を必要とする。これらの能力は，オフィス作業や日常生活を支援する AI の発展に向けて必要不可欠で ある。一方で，文書画像理解を目指した従来モデル

Q: How many females are affected by diabetes? A: $3.6 \%$

Q: What total percent of B2B and B2C markets use Google+? A: $79 \%(40 \%+39 \%)$図 1 InfographicVQA [5] のサンプル例. 左の例: 画像中の テキストを抽出して回答する. 右の例: 画像中のテキスト (40\%，39\%)を用いて，算術演算を行い回答する.

の多く $[4,6,7,8,9]$ はテキストの配置の理解に焦点 が置かれており，本タスクへの適用は難しい。

本研究では，新たなインフォグラフィック質問応答モデル IG-BERTを提案する。文書画像中 のテキストと視覚物体との配置関係を学習す る新たなタスク SRP (Spatial Relationship Prediction) と，演算の過程を生成させ算術演算の理解を 深めることを可能とする新たなデータ拡張 ADA (Arithmetic operation Data Augmentation) を行う 点が新規の貢献である. IG-BERT は，ICDAR 2021 Competition の InfographicVQA [5] において，様々な 文書理解タスク $[10,11,12]$ で最高スコアを達成した LayoutLMv2 [8] の事前学習データ量を 1/22 に抑えつ つ，同程度のサイズのモデルの中で最も高い性能を 達成して 18 チーム 337 投稿中 2 位に入賞した。

## 2 提案モデル

インフォグラフィック質問応答は，質問 $w^{\mathrm{q}}$ およ び文書画像 $I$ が与えられ回答系列 $w^{\text {out }}$ を出力する夕 スクである。回答は，画像中のテキストから回答箇所を抜き出す回答（図 1 左）と数値の演算を必要と する回答（図 1 右）の2つのタイプに大別できる.

図 2 左図: IG-BERT のアーキテクチャと損失関数 (SRP, MLM). 右図: 自己注意計算時に用いる自己注意マスク $M$.

IG-BERT は図 2 に示すように，画像からテキス 卜を抽出する OCR，画像から物体特徵を抽出する Faster-RCNN [13]，抽出された特徴量を基に回答を 生成するマルチモーダル Transformer [14] から成る.

## 2.1 入力埋め込み層

画像特徵 Visually29k [15] で事前学習を行った Faster-RCNN を用いて，文書画像 $I$ から固定個の物体を検出して特徴表現 $v_{i}^{\mathrm{obj}} \in \mathbb{R}^{2048}$ の系列を得る.

テキスト特徵 画像 $I$ から取得される物体ラベル 系列 $w^{\mathrm{obj}}$ と OCR 単語系列 $w^{\mathrm{ocr}}$, 質問文 $w^{\mathrm{q}}$, 出力文 $w^{\text {out }}$ WordPiece [16] を用いてトークナイズする.

入力系列 画像・テキスト特徵に基づくモデ ル入力系列を $x^{\text {token }}=\left([\mathrm{CLS}] v^{\mathrm{obj}}[\mathrm{SEP}] w^{\mathrm{obj}}[\mathrm{SEP}] w^{\mathrm{ocr}}\right.$ [SEP] $w^{\text {task }}$ とする。事前学習時の $w^{\text {task }}$ は $w^{\text {out }}$ (キャ プション), Fine-tuning 時は $w^{\mathrm{q}} w^{\text {out }}(\mathrm{QA})$ である.

レイアウト特徵 $k$ 番目のトークンの文書画像中における配置を理解するために, $x_{k}^{l o c}=$ $\left[x_{k}^{\min } / W_{\mathrm{im}}, y_{k}^{\mathrm{min}} / H_{\mathrm{im}}, x_{k}^{\max } / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right]$ を取得する. ここで $,\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ はトークン (画像物体あるいは文字）を囲む矩形領域の左上および右下の座標, $W_{\mathrm{im}}, H_{\mathrm{im}}$ は画像の幅および高さを表す.

マルチモーダル入力埋め込み 入力系列中の $k$ 番目の埋め込み $e_{k} \in \mathbb{R}^{d_{k}}$ を画像・テキストの特徴およ びそのレイアウトに基づき以下のように求める.

$
e_{k}=\mathrm{LN}\left(e_{k}^{\mathrm{token}}+e_{k}^{\mathrm{seg}}+e_{k}^{\mathrm{pos}}+e_{k}^{\mathrm{loc}}\right),
$

LN は Layer Normalization [17] を示す. $e^{\text {token } は ， テ ~}$ キストトークン $w_{k}$ を $d$ 次元に埋め込み，画像（検出物体領域）トークン $v_{k}^{\mathrm{obj}}$ に対しては ReLUを適用後 1 層の FFNにて埋め込む. $e_{k}^{\text {seg }}$ は 2 種のモーダル, $e_{k}^{\mathrm{pos}}$ はトークン系列の絶対位置を表す埋め込みであ る. $e_{k}^{\mathrm{loc}}$ は， $x_{k}^{\mathrm{loc}}$ を 1 層の FFNに渡して埋め込む。

## 2.2 マルチモーダル Transformer

入力埋め込み系列 $H^{0}=\left[e_{1}^{0}, \ldots, e_{U}^{0}\right] \in \mathbb{R}^{d \times U}$ を $L$ 層 の Transformer に入力し, $H^{L}=\left[e_{1}^{L}, \ldots, e_{U}^{L}\right] \in \mathbb{R}^{d \times U}$ を 獲得する. $l-1$ 層目の埋め込み系列 $H^{l-1}$ を用いる と, $l$ 層目の自己注意 $A^{l}$ は以下で与えられる.

$A^{l}=\operatorname{softmax}\left(\frac{Q K}{\sqrt{d}}+M\right) V, \quad M_{i j}= \begin{cases}0, & \text { allow to attend }, \\ -\infty, & \text { others }\end{cases}$

$
V=W_{V}^{l} H^{l-1}, Q=W_{Q}^{l} H^{l-1}, K=W_{K}^{l} H^{l-1},
$

ここで, $W_{Q}^{l}, W_{K}^{l}, W_{V}^{l} \in \mathbb{R}^{d \times d}$ は学習可能な重みで ある. $M \in \mathbb{R}^{U \times U}$ は図 2 の右図で示す様に，系列中 で出力文 $w^{\text {out }}$ の left-to-right, 他部分は bidirectional となる prefix 付の causal masking [18] を行う。

## 2.3 演算過程を考慮したデータ拡張 (ADA)

算術演算を含む質問応答を生成タスクとして解く にあたり，演算の過程をモデルに明示的に学習させ る. 提案手法では，演算対象を $A$ と $B$ ，演算結果を $C$ とした時, $\ulcorner A+B=C\lrcorner,\ulcorner A-B=C\lrcorner,\ulcorner 100-A=C\lrcorner$ の 3 つのテンプレートを用意する。この時，演算結果 $C$ を出力するタスクは，演算対象（A，B）を抽出する項抽出タスクと, 演算子 $(+，-)$ を選択する 演算子選択タスクのサブタスクに分割可能である.

具体的には，まず，文書画像から演算対象となる 任意の二つの数値を抽出する. 次に，テンプレート に抽出した数値を代入し演算を行う．演算結果が正解データ $w^{\text {out }}$ と一致する場合, 回答の先頭に prompt トークン [NUM] を付与し，新たな回答として学習 データに追加する. 推論時に [NUM] が出力系列の先頭に存在する場合，後処理として演算を実施した。

## 2.4 学習タスク

提案モデルは事前学習と Fine-tuning の二段階の学習において，MLM およびSRP の損失を線形結合し た $L=L_{\mathrm{MLM}}+\lambda_{\mathrm{SRP}} L_{\mathrm{SRP}}$ を最小化する. 事前学習時 には $\lambda_{S R P}=0$, Fine-tuning には $\lambda_{S R P}=1$ とする.

Masked Language Modeling (MLM) BERT [19] と 同様に，入力系列のテキストトークン $w$ に対して， トークン系列の $15 \%$ をンダムに選択し, [MASK] トークンに置き換える. エンコーダの最終層の出力を用いて，置き換えられたトークンを復元する. $L_{\mathrm{MLM}}$ は, 生成テキストから計算される損失である.

Spatial Relationship Prediction (SRP) 画像物体と OCR の配置関係を学習する。まず，画像物体系列 $v^{\text {obj }}$ と OCR 系列 $w^{\text {ocr }}$ に対応するエンコーダの最終出力からぞれぞれ 1 つずつランダムに選択し, $e^{\mathrm{obj}}$

関係を基にクラス分類 (12 クラス)を行う.

$
P^{\mathrm{srp}}=\operatorname{softmax}\left(W^{\mathrm{srp}}\left[e^{\mathrm{obj}} ; e^{\mathrm{ocr}}\right]\right),
$

$W^{\mathrm{srp}} \in \mathbb{R}^{12 \times 2 d}$ は学習可能な重み, [;] はべクトル連結を表す。 $L_{\mathrm{SRP}}$ は正解クラスと $P^{\mathrm{srp}}$ との交差エン トロピー損失である. 文書画像への SRP の適用，単語・視覚物体の位置関係学習は本研究が初である.

## 3 評価実験

事前学習データ インフォグラフィックを扱 うウェブページ1)から，画像-キャプションペアを 505,868 ペア収集した. HTML タグの alt もしくは titleを用いて，キャプションを抽出した. フィルタ リングとして，3 単語未満のキャプションの削除と，評価データと同様の画像を URLを基に削除した。

評価データ InfographicVQA [5]を用いた. 学習/開発/テストデータの質問数は $23,946 / 2,801 / 3,288$ で あり，画像数は $4,406 / 500 / 579$ である. テストデータ での評価はリーダーボード2) 上で実施した.

実験設定 事前学習と Fine-tuning の両方でバッチ サイズ 64 とし 30 エポック学習した. Adam [23]を 用いて最適化し学習率は $3 e-5$ とした. $v^{\mathrm{obj}}, w^{\mathrm{obj}}$, $w^{\text {ocr }} ， w^{\text {task }}$ の最大長を $36 ， 20 ， 430 ， 40$ とした. 開発，テストデータにおける評価は BERT-\{base,large\} を事前学習時の重みの初期値とした。また， large は base の実験を基にハイパーパラメータを設定した. OCR と Faster-RCNN の詳細は付録に示す.

1) https://infographicplaza.com

2) https://rrc.cvc.uab.es/?ch=17\&com=evaluation評価指標ICDAR 2021 Competition で採用された ANLS [24] (予測文と正解文集合との平均編集距離) を用いる。また，算術演算を必要とする例に絞った （開発データの $17.4 \%$ ）際の ANLS を ANUM と呼ぶ.

比較手法 ベースラインとして, IG-BERT と同じ モーダル情報を入力可能な M4C [21] と，事前学習 の効果を測るため BERT と LayoutLM [6] を用いた. リーダボード上の主なモデルとして，LayoutLMに 視覚情報を取り入れた LayoutLMv2 [8]，複数の教師 あり事前学習を行なった TILT [9] がある.

## 3.1 評価結果と分析

## 提案モデルはベースラインの性能を上回るか？表 1 に示す様に，提案モデルは全ての指標でベース ラインモデルを上回った. また，提案モデルと同じ モーダル情報を利用しているにも関わらず，事前学習を行っていない M4C-TLV は低い性能であった。

事前学習の効果はあるか？ 表 2 に示す様に，提案モデルから事前学習を除くことで, 精度が大きく 低下することが確認できる。また，事前学習を除い たIG-BERT は BERT と比べて精度が低いことが分 かることから, Fine-tuning のみでは BERT の言語理解能力の忘却 [25] が発生していると考える.

## データ拡張手法 ADA は算術演算の理解を改善す

るか？ 表 2 に示す様に，BERT と IG-BERT のどち らにおいても，提案したデータ拡張により ANUM の向上が確認できる. テンプレートの拡充および複雑化により，更なる演算の高度化が期待できる。

学習タスク SRP は精度向上に寄与するか？ 表 2 に示す様に，提案モデルにSRP を加えることで，大 きく性能が向上することが確認できる.

## SRP におけるサンプリング対象の選択は精度に影響するか？表 3 に結果を示す様に， $v^{\text {obj }} w^{\text {ocr }}$ か らサンプリングし, 配置関係を学習したモデルの精度が最も高いことが分かる. 同モーダル内の配置関係よりも，画像物体とOCR テキストの配置関係を 理解することが重要であることが示唆される.

## リーダボード上のモデルと比較してモデルの性能 はどうか？表 4 に示す様に，同程度のモデルサイ ズのモデルの中で，IG-BERT は最も高い精度を達成 した. 特筆すべきは，同じモーダル情報を利用して いる LayoutLMv2 に比べて，IG-BERT は事前学習の 文書画像数は $1 / 22$ でありパラメータ数も少ないに も関わらず，大きく性能が上回っている. IG-BERT が行う視覚物体の検出・位置関係理解および算術演
表 1 開発データにおけるベースラインモ デルとの比較. $\mathrm{T}$ (テキスト)， $\mathrm{L}$ (レイアウ ト)，V (画像特徴)を表す。

表 2 開発データにおける Ablation 評価.

表 3 SRPにおけるサンプ リング対象ごとの性能評価. $k, k^{\prime}$ はサンプリング 対象のインデクスを表す.

Q: What is the name of the social media site with a smiley face icon?

GT: friendster LayoutLM: twitter BERT: facebook IG-BERT: friendster

Q: How many patients out of 3, does not use social media to seek out health information?

GT: 2 LayoutLM: 3

BERT: 1 IG-BERT: 2 (3 - 1)

Q: What percentage of all markets have found a customer through Twitter? GT: $36 \%$ LayoutLM: $43 \%$ BERT: $43 \%$ IG-BERT: $82 \%$

図 3 出力例. 掲載上，画像の一部をクロップした. GT は正解文，赤枠は回答根拠，() は予測された演算過程である.

表 4 リーダボード上での比較 (2022/01/14 付). \#Docs は 事前学習用文書数, \#Sups は追加学習用 QA ペア数.

算の工夫が性能向上に貢献していると考える。一方 で，TILT と比較すると精度が劣っている．TILT で は，IG-BERT が行わなかった DocVQA [3] 等の類似 タスク $[1,26]$ での教師あり事前学習が性能向上に大 きく寄与することが報告されている。しかし，TILT には IG-BERT で提案した SRPやADA を代替する学習タスクや算術演算に関する新規点は含まれていな い. パラメータ数や事前学習データ量の増加に関し ては，今後の課題とする。

出力例・エラー分析 出力例を図 3 に示す.ア イコンとテキストの配置関係 (smiley face icon と friendster) を理解する必要がある左の例や，画像中 のテキストを用いて演算 (3 - 1) を行う必要のある中央の例では，提案モデルは適切な回答を出力してい る。一方で，右の例の様に Faster-RCNN で検出が困難な物体 (Twitter ロゴ) に関する質問には，全てのモ デルで誤った回答を行なっており，より汎用的な物体認識を基にした文書理解は今後の課題である.

## 4 関連研究

InfographicVQA は，他の類似タスク $[3,4]$ と比べ てテキストと視覚の融合理解が最も必要となるタス クである [27]. DocVQA [3] に代表される従来のタ スクを対象としたモデルの多く [4, 6, 7, 8, 9] はテキ ストや配置の理解に重点を置いており，視覚情報を 含む配置関係や意味の理解，算術演算の理解を行う ことは難しい. ICDAR 2021 Competition で高スコア であった LayoutLMv2 [8] や TILT [9] では，事前学習 において文字以外の視覚情報に関して考慮されてい ないが，我々の手法は物体検出により考慮可能であ る. さらに，我々が提案する SRP やDA を代替す る学習タスクや算術演算は実施されていない.

## 5 おわりに

インフォグラフィック質問応答モデル IG-BERT および，配置関係学習手法 SRP，算術演算データ 拡張手法 ADA を提案し, ICDAR 2021 Competition の InfographicVQA タスクにて，同程度のサイズのモデ ルの中で最も高い性能を達成し 2 位に入賞した。 SRP や ADA は他モデルにも導入可能な汎用性が高 い手法である．本研究は，実世界に多数存在する視覚的に表現された文書を知識源として質問応答を行 う人工知能の開発に寄与し，Web 検索や対話システ ムなど産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018 .

[3] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[5] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and CV Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[6] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In KDD, pp. 1192-1200, 2020.

[7] Teakgyu Hong, Donghyun Kim, Mingi Ji, Wonseok Hwang, Daehyun Nam, and Sungrae Park. Bros: A pretrained language model focusing on text and layout for better key information extraction from documents. arXiv preprint arXiv:2108.04539, 2021.

[8] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021 .

[9] Rafał Powalski, Łukasz Borchmann, Dawid Jurkiewicz, Tomasz Dwojak, Michał Pietruszka, and Gabriela Pałka. Going full-tilt boogie on document understanding with text-image-layout transformer. arXiv preprint arXiv:2102.09550, 2021.

[10] Adam W Harley, Alex Ufkes, and Konstantinos G Derpanis. Evaluation of deep convolutional nets for document image classification and retrieval. In ICDAR, pp. 991-995. IEEE, 2015.

[11] Guillaume Jaume, Hazim Kemal Ekenel, and JeanPhilippe Thiran. Funsd: A dataset for form understanding in noisy scanned documents. In ICDARW, Vol. 2, pp. 1-6. IEEE, 2019.

[12] Zheng Huang, Kai Chen, Jianhua He, Xiang Bai, Dimosthenis Karatzas, Shijian Lu, and CV Jawahar. Icdar2019 competition on scanned receipt ocr and information extraction. In ICADR, pp. 1516-1520. IEEE, 2019.

[13] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[15] Spandan Madan, Zoya Bylinskii, Matthew Tancik, Adrià Recasens, Kimberli Zhong, Sami Alsheikh, Hanspeter
Pfister, Aude Oliva, and Fredo Durand. Synthetically trained icon proposals for parsing and summarizing infographics. arXiv preprint arXiv:1807.10441, 2018.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[17] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[20] Ting Yao, Yingwei Pan, Yehao Li, and Tao Mei. Exploring visual relationship for image captioning. In ECCV, pp. 684-699, 2018.

[21] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[22] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for textvqa and textcaps. arXiv preprint arXiv:2012.05153, 2020

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

[24] Ali Furkan Biten, Rubèn Tito, Andrés Mafla, Lluís Gómez i Bigorda, Marçal Rusiñol, C. V. Jawahar, Ernest Valveny, and Dimosthenis Karatzas. Scene text visual question answering. In ICCV, pp. 4290-4300, 2019.

[25] Michael McCloskey and Neal J Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. In Psychology of learning and motivation, Vol. 24, pp. 109-165. Elsevier, 1989.

[26] Minseok Cho, Reinald Kim Amplayo, Seung-won Hwang, and Jonghyuck Park. Adversarial tableqa: Attention supervision for question answering on tables. In ACML, pp. 391-406. PMLR, 2018.

[27] Łukasz Borchmann, Michał Pietruszka, Tomasz Stanislawek, Dawid Jurkiewicz, Michał Turski, Karolina Szyndler, and Filip Graliński. Due: End-to-end document understanding benchmark. In NeurIPS, 2021.

[28] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 32-73, 2017.

[29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

## A 付録

## A. 1 OCR と Faster-RCNN に関する実験設定

OCR には Google Vision API ${ }^{3}$ を用いた. Faster-RCNN のバックボーンは Visual Genome [28] で事前学習を

行った ResNet-101 [29]を使用した.また，Adamを用いて最適化に用い，バッチサイズを 16，学習率 1e-3 と し， 5 epoch 学習を行った. アンカーボックスのスケールを $[8,16,32]$, アスペクト比を $[0.5,1.0,2.0]$ とした.

## A. 2 画像 URL一覧

図 1，図3で用いた画像の URL を以下に示す.

図1左 https://www.adelaidebariatriccentre.com.au/diabetes-in-australia

図1右 https://www.business2community.com/social-media/3-infographics-100-social-media-statistics-need- 0712061

図3左 https://visual.ly/community/Infographics/social-media/short-history-social-media

図 3 中央 https://hcsmmonitor.com/2017/02/23/how-modern-health-care-is-being-revolutionized-by-social-media-infographic/

図3右 https://visual.ly/community/Infographics/social-media/social-media-marketing-18

3) https://cloud. google.com/vision

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 抽出型質問応答における相対位置バイアスの除去

篠田一聡 1,2 菅原朔 2 相澤彰子 1,2
1 東京大学大学院 2 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

抽出型質問応答において，質問-文章間で重複し ている語彙の回答スパンから見た相対位置の分布が 訓練セットにおいて偏っている時，質問応答モデル はそれを利用した解き方を学習してしまう問題を発見した. 本研究では訓練セットで相対位置がどのよ うな偏り方をしていても適用可能なバイアス除去手法を提案する。訓練時に見たことのない相対位置の データへの汎化性能の評価によって提案手法の有効性を示した。

## 1 はじめに

深層学習に基づく自然言語理解モデルが訓練セッ ト中のバイアスを利用した解き方を学習してしま い，汎化性能が悪化してしまうことが自然言語理解分野における重大な課題となっている [1,2]. 特に 意図的に分布が偏った訓練セットで訓練された自然言語理解モデルは，入力と出力の間の因果関係では なく， バイアスを利用した解き方をより学習しやす い傾向があることが知られている $[3,4,5]$. 実応用 においても開発者が独自に作成した訓練セットの分布が何らかの観点で偏ってしまう恐れは十分にあ る. ゆえに，分布が偏った訓練セットからバイアス を利用しない解き方を学習するための方法を開発す ることが重要である.

文章から回答スパンを抽出して質問に答える抽出型質問応答 [6] においては，質問-文章間で重複して いる語彙（重複語彙）の回答スパンから見た相対位置が偏っている時に，質問応答モデルがその相対位置に関するバイアスを学習する傾向があることを新 たに発見した. 例えば，訓練セット中で重複語彙と 回答スパンが隣接している（相対位置の絶対値が 1 の）データのみで構成されている時，読解モデルは テストセットで同様のデータでは精度を高く保てる が，そうでないデータでは精度を大幅に落としてし まう現象が確認された (図 1).これはモデルが重複

図 $1 \mathrm{SQuAD}$ 開発セットにおける回答に最も近い重複語彙の回答から見た相対位置 $d$ ごとの $\mathrm{F} 1$ スコア. 凡例の ALL は SQuAD 訓練セットの全てのデータで訓練された モデルを指し，その他はそれぞれの条件式が満たされる データでのみ訓練されたモデルを指す.モデルにはいず れも BERT-base を用いた。訓練時に見たことがある $d$ の データでは ALL と比べて精度を保てるが，その他では精度が悪化する. $d$ の定義は式 3 を参照されたい.

語彙の隣接箇所から回答を探す解き方を優先して学習しているとも捉えられる。訓練セットの相対位置 の分布が異なる時も同様の現象が観測された。

本研究では，抽出型質問応答の訓練セットが相対位置に関して偏っていても，モデルが相対位置のみ を利用した解き方の学習をせずに，相対位置の分布 が異なるテストセットでも回答スパンも正しく予測するための学習方法の開発を目的とする。そのた めに，相対位置バイアスを利用して予測をするバイ アスモデルと，実際に予測をするメインモデルの product-of-experts [7] を用いた手法を提案する。これ によってメインモデルが相対位置バイアスだけを 利用した解き方を学習しないょう促進する．実験に おいて，提案手法は相対位置に関してバイアスがか かっていない時に近い精度を達成することを示す。 さらに，提案手法は訓練セットが相対位置に関して 異なる偏り方をしていても汎用的に効果的であるこ とを示す。

## 2 相対位置バイアス

## 2.1 定式化

抽出型質問応答タスクにおいて回答スパンから最 も近い重複語彙の回答から見た相対位置を $d$ とお く. 正確には $w$ を単語, 文章を $c=\left.\{w_{i}^{c}\right.\}_{i=0}^{N}$, 質問を $q=\left.\{w_{i}^{q}\right.\}_{i=0}^{M}$, 回答を $a=\left.\{w_{i}^{c}\right.\}_{i=s}^{e}(0 \leq s \leq e \leq N)$ と したとき，相対位置 $d$ は以下のように定義する.

$
\begin{aligned}
& f(j, s, e)= \begin{cases}j-s, & \text { for } j<s \\
0, & \text { for } s \leq j \leq e \\
j-e, & \text { for } j>e\end{cases} \\
& D=\left.\{f(j, s, e) \mid w_{j}^{c} \in q\right.\} \\
& d=\operatorname{argmin}_{d^{\prime} \in D}\left|d^{\prime}\right|
\end{aligned}
$

ここで $0 \leq j \leq N$ は文章中の単語 $w_{j}^{c}$ の位置, $f(i, s, e)$ は $w_{i}^{c}$ の $a$ から見た相対位置, $D$ は $q$ と $c$ で重複している全ての単語の相対位置の集合を表 す. ${ }^{1)}$ 式 3 で最も絶対值が小さいものを相対位置と して定義して用いるのは, 質問応答モデルが重複語彙から近い位置のスパンをより優先して予測する傾向があること [8] や, 回答スパンと重複語彙の絶対的な距離が大きい時に精度が悪化すること [9] が知 られているからである.2)

## 2.2 相対位置の分布

図 2 に SQuAD [6] の訓練セットにおける相対位置 $d$ の度数分布を示す. $d$ の値は 0 の周辺に偏って いることがわかる. SQuAD 以外の質問応答データ セットにおいても 0 の周辺に偏る傾向は一貫してい る一方で，データセット間で分布の形に違いが見ら れる.（詳細は付録 Aを参照されたい.）この違いは データセットの集め方や文章のドメインによって生 じたものと考えられる. よって，特定の相対位置の 分布に特化した学習は避け, 相対位置のバイアスを 学習しない質問応答モデルの構築が求められる.

## 3 手法

## 3.1 バイアス除去手法

バイアス除去のためのアルゴリズムには, productof-experts [7] を応用した手法である BiasProduct と

図 2 SQuAD 訓練セットの相対位置 $d$ の度数分布

LearnedMixin $[10,11]$ を用いる.これらの手法で は，共にバイアスを利用した予測をする Biased model をまず用意し，それと Main model を混合した product-of-experts を用いて損失関数を求める. Main model の訓練時は Biased model は固定した上で誤差関数を最小化する。そしてテスト時には Main model のみを用いて予測を行う. 既存研究 $[12,13]$ に倣い, モデル $\hat{p}$ は回答スパンの始点 $s$ と終点 $e$ の確率 $\hat{p}(s)$ と $\hat{p}(e)$ を出力し, 誤差関数は始点と終点の交差エ ントロピー誤差の和とする。以降簡単のため $\hat{p}(s)$ と $\hat{p}(e)$ の区別はせず $\hat{p}$ と表記する.

## 3.1.1 BiasProduct

BiasProduct では以下のように Biased model の出力確率 $b$ と Main model の出力確率 $p$ の対数の和を softmax 関数に入力して $\hat{p}$ を得る.

$
\hat{p}=\operatorname{softmax}(\log p+\log b)
$

これによって，Biased model が正しく予測をできる ようなバイアスを含むデータよりも， Biased model が予測を誤るようなバイアスを含まないデータで Main model の学習が強く促進される.

## 3.1.2 LearnedMixin

BiasProduct は Biased model の出力確率に強く依存 した学習手法である. Main model が Biased model の 予測を信頼できるかどうかを各データごとに予測す る LearnedMixin を用いることで Main model がより 頑健なモデルになることが知られている.

$
\hat{p}=\operatorname{softmax}(\log p+g(c, q) \log b)
$

ここで $g \geq 0$ は学習可能な関数である.

## 3.2 Biased model

3.1 節で述べた Biased model の構築方法を述べる.

## 3.2.1 Answer prior

訓練セットの相対位置 $d$ の分布に応じて，回答 スパン $a$ の始点と終点の事前確率を経験的に定め た Answer Prior (AnsPrior) を Biased model として用い る. 具体的には, 図 1 の凡例に示した 4 つの条件を 満たす訓練セットのサブセットそれぞれに対して，文章中の単語 $w_{i}^{c}$ が始点または終点である事前確率 $b_{i}$ を以下のように定める.

$
b_{i}= \begin{cases}\mathbb{1}\left[w_{i+1}^{c} \in q\right] / Z, & \text { for } d \leq-1 \\ \mathbb{1}\left[\left(w_{i+1}^{c} \in q\right) \vee\left(w_{i-1}^{c} \in q\right)\right] / Z, & \text { for }|d|=1 \\ \mathbb{1}\left[w_{i}^{c} \in q\right] / Z, & \text { for } d=0 \\ \mathbb{1}\left[w_{i-1}^{c} \in q\right] / Z, & \text { for } d \geq 1\end{cases}
$

ここで $Z$ は正規化定数である. これらの事前確率は 訓練セットで回答になりやすい箇所に等しく確率を 割り当てる発見的手法に基づいている. そのため，特定の訓練セットの相対位置 $d$ の分布に特化した事前確率である点で柔軟性に欠ける。

## 3.2.2 Position-only model

訓練セットで相対位置 $d$ がどのような偏り方をし ていても適用可能な Position-only model (PosOnly)を Biased model として提案する. PosOnly は，文章中の 各単語の絶対的な位置と, 各単語が質問と重複して いるか否かのみの情報を入力として，回答スパンの 始点と終点を出力として訓練する. PosOnly が回答 スパンを予測するためには重複単語からの相対的な 距離と絶対的な位置のみしか利用できる情報がない ため，訓練セットの相対位置がどのように偏ってい たとしても相対位置バイアスを利用した解き方を学習することが期待される.

## 4 実験

## 4.1 実験設定

データセット データセットには SQuAD 1.1 [6] を用いた. モデルが相対位置 $d$ が偏ったデータか ら見たことのある相対位置に依存しない解き方を 学習できているかを評価するために，SQuAD 訓練 セットから 4 つの異なる方法で意図的に相対位置 バイアスを含むサブセットを取得して別々に訓練 に用いた. 4 つのサブセットは, 相対位置 $d$ が条件 $d \leq-1,|d|=1, d=0, d \geq 1$ を満たすデータのみ
を抽出してそれぞれ構築した. サイズはそれぞれ 33,256，30,003，21,266，25,191である. 比較のため に全ての訓練セットを用いた場合のスコアも報告す る. 評価には $\mathrm{SQuAD}$ 開発セットの相対位置ごとの 性能を評価した. 抽出型質問応答タスクの評価指標 には，回答スパンの完全一致を測る Exact Match ス コアと部分一致を測る F1 スコアが用いられてきた [6] が，紙面の節約のため F1 スコアのみ報告する.

比較手法 バイアス除去のための学習手法として BiasProduct と LearnedMixin の 2 種類, それぞれに使 われる Biased model として AnsPrior と PosOnly の 2 種類の全ての組み合わせ 4 通りと，何も工夫せずに 訓練した場合の計 5 通りの訓練方法を比較してこれ らの有効性を評価した. Main model と PosOnly には いずれも BERT-base [13]を用いた.

## 4.2 結果

表 1 に結果を示す.まず，訓練セットを全て用い た場合 (ALL), BERT-base の性能は $|d|=1,2$ の時 に 90 ポイントを超える一方で $|d| \geq 3$ の時には 8 ポ イント程度低下していた. 2.2 節で示したように訓練セットの相対位置 $d$ の分布が 0 付近に偏っていた ことから，訓練セットで頻度が高い $d$ では精度が高 くなり，逆に頻度が低い $d$ では精度が低くなるとい う仮説が立てられる。

相対位置 $d$ の分布を意図的に偏らせた訓練セット を使って BERT-base の通常の訓練を行なった結果は この仮説の信頼性を高めるものであった. 相対位置 $d$ が $|d|=1$ を満たすデータのみで通常の訓練を行 なったところ，|d|=1 では F1 スコアが ALL に比べ て2 ポイント未満しか低下しなかったのに対して， $|d| \neq 1$ では $\mathrm{F} 1$ スコアが 10 15 ポイント低下した.他のサブセットを用いた通常の訓練でも同様の傾向 が見られた. これが示唆するのは, 同じ相対位置 $d$ の値を持つデータで成り立つ擬似相関をモデルが利用して推論を行なっているということである.

訓練セットのサブセットが満たす $d$ の条件が同 じ下で，提案する 4 種類のバイアス除去手法と通常の訓練をそれぞれ比較して得られる結論を述べ る. まず学習手法としては多くの場合 BiasProduct よりも LearnedMixin の方が高い F1 スコアが得られ た. この結果は各データで Biased model の予測結果 を Main model の訓練に反映させる度合いを学習す ることの有効性を示している。また, Biased model としては，訓練時にモデルが見たことのない相対

表 1 SQuAD 開発セットの各サブセットにおける F1 スコア. 灰色 で示した箇所では訓練時と評価時の $d$ が重複して いる. 灰色 では全ての訓練セットを用いた場合 (ALL) に比べてスコアが高く保たれる傾向にある.

位置 $d$ のデータへの汎化性能一すなわち表 1 の白 い箇所のスコアーを向上させるためには, AnsPrior よりも PosOnly の方が優れていることがわかった.特に訓練時に $d=0$ でテスト時に $d \leq-3$ の場合 や，訓練時に $d \leq-1$ でテスト時に $d \geq 3$ の場合は， LearnedMixin-PosOnly は LearnedMixin-AnsPrior より も 5 ポイント程度優っていた. 一方で，訓練時に 見たことのある相対位置 $d$ のデータへの汎化性能一すなわち表 1 の 灰色 の箇所のスコア一の観点では, LearnedMixin-AnsPrior が最も優れていた. LearnedMixin-AnsPrior 以外の提案モデルは通常の訓練と比べてスコアを悪化させてしまうことが多いこ ともわかった. バイアス除去の既存研究 [14]でも 指摘されているが，相対位置のバイアス除去でも訓練時と同じ分布と違う分布のテストセットでの精度にトレードオフが生じるという問題が明らかに なった.

## 5 関連研究

訓練セットに特有なバイアスを利用した解き方を 自然言語理解モデルが学習していること, または訓練セットと同じ分布のテストセットで高い精度を出
すにはバイアスを利用するだけで十分であることを 指摘する研究が近年増えている。自然言語推論では 特定の語彙 [15] や, 語彙の重複 [1] とラベルとの擬似相関をモデルが利用してしまう問題が指摘され た. 抽出型質問応答では質問と回答のタイプ一致だ けで解ける質問が多いこと $[16,9]$ や，回答の絶対的 な位置のバイアスをモデルが学習しやすいこと [4] が知られている. モデルが人らしい読解スキルを学習できているかどうかを評価するには，訓練時とテ スト時で違う分布のデータを使うことが最も有効な 方法の一つである. 本研究では相対位置という新し い観点でこれについて分析して問題を発見し，有効 なバイアス除去手法を開発した。誤差関数は既存研究 [4] と同じものを用い，相対位置バイアスのため の Biased model は独自に設計した.

## 6 おわりに

抽出型質問応答でモデルが相対位置に関するバイ アスを利用しうることを示し，それを解決するため の有効なバイアス除去手法を提案した. 他のデータ セットでの検証，モデルの中間表現や学習過程につ いての分析が今後の展望である.

## 謝辞

本研究は, JST 次世代研究者挑戦的研究プログラ ム JPMJSP2108 の支援を受けたものです. 本研究は JSPS 科研費 JP21H03502, JP20K23335 の助成を受け たものです.

## 参考文献

[1] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A. Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, November 2020.

[3] Mike Lewis and Angela Fan. Generative question answering: Learning to answer the whole question. In International Conference on Learning Representations, 2019.

[4] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, Online, November 2020. Association for Computational Linguistics.

[5] Charles Lovering, Rohan Jha, Tal Linzen, and Ellie Pavlick. Predicting inductive biases of pre-trained models. In International Conference on Learning Representations, 2021 .

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Geoffrey E Hinton. Training products of experts by minimizing contrastive divergence. Neural computation, Vol. 14, No. 8, pp. 1771-1800, 2002.

[8] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Christopher Clark, Mark Yatskar, and Luke Zettlemoyer. Don't take the easy way out: Ensemble based methods for avoiding known dataset biases. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4069-4082, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] He He, Sheng Zha, and Haohan Wang. Unlearn dataset bias in natural language inference by fitting the residual. In Proceedings of the 2 nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), pp. 132-142, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. Bidirectional attention flow for machine comprehension. In International Conference on Learning Representations, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Prasetya Ajie Utama, Nafise Sadat Moosavi, and Iryna Gurevych. Mind the trade-off: Debiasing NLU models without degrading the in-distribution performance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8717-8729, Online, July 2020. Association for Computational Linguistics.

[15] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Dirk Weissenborn, Georg Wiese, and Laura Seiffe. Making neural QA as simple as possible but not simpler. In Proceedings of the 21 st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 271-280, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[17] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .

## A 相対位置の分布

SQuAD, NewsQA, TriviaQA, NaturalQuestions の開発 セットにおける相対位置の度数分布を図 3 に示す. データセットによって違いはあるものの，いずれも 相対位置が 0 の周辺に偏っていることがわかる.

## B 訓練の詳細

各モデルの訓練のエポック数は 2 , バッチサイズ は 32 とし，学習率は 3e-5 から線形に 0 まで減少さ せ，最適化には Adam [17]を用いた。

(a) SQuAD

(b) NewsQA

(c) TriviaQA

(d) NaturalQuestions

図 3 回答から見た重複語彙の相対位置の度数分布


# 遠距離教師データの特徵表現を活用した 薬物タンパク質間関係抽出

飯沼 直己 三輪誠 佐々木裕
豊田工業大学
\{sd20403, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

創薬等の分野で重要な薬物タンパク質間の相互作用に関する情報の深層学習による自動抽出が注目 されているが，教師データの作成が高コストである という問題がある。そこで，低コストで大量の教師 データの作成できる遠距離教師あり学習が提案され ているが，誤ったラベルのデータが含まれるため，予測性能が低下する問題が残っている. 本研究で は，教師データを作成するコストを抑えながら，抽出性能の向上を目指し，特徵表現により遠距離教師 データを間接的に活用した深層学習モデルの学習手法を提案する. DrugProtコーパスを対象とした実験 の結果，遠距離教師データの利用により， $\mathrm{F}$ 値のマ イクロ平均が 0.8 ポイント向上することを示した.

## 1 はじめに

「根拠に基づく医療」を展開していく上で，薬物と タンパク質間の相互作用に関する情報は創薬・代謝工学・薬物反応モデリング等の分野で重要である. しかし, 相互作用の情報は文献として発表され，文献数は急速に増加しているため [1], 相互作用の情報を決定するために薬理学者が逐一論文を読むこと は困難である. そのため, テキストからの相互作用抽出 [2] の自動化が注目されている。この中で，深層学習を利用した手法は高い性能を達成しているも のの，教師データ作成に莫大なコストがかかるとい う問題を抱えている。

低コストで大量の教師データの作成を可能にする 遠距離教師あり学習が Mints ら [3] によって提案さ れている。しかし，この手法には学習時のノイズと なる誤ったラベルのデータを作成してしまう問題が 残っている。 そのため, Beltagy ら [4] による手法な どノイズを緩和する手法が提案されている.

本研究では，自動的に生成した遠距離教師データ
の，教師あり薬物タンパク質間相互作用抽出への活用方法の提案とその抽出性能の評価を目的とする.作成の容易な遠距離教師データを活用し，教師デー タ作成のコストを抑えながら，薬物タンパク質間関係抽出の性能向上を目指す.

## 2 関連研究

## 2.1 遠距離教師あり学習

遠距離教師あり学習は Mints ら [3] によって提案 された，データベースから機械的に文書に関連情報 をラベル付けする手法である。これにより，大量の 教師データを生成できるが，ラベル付けを誤った教師データを含んでしまう。この誤ったラベルは予測 モデルの性能を低下させるノイズとなる．そのた め，ノイズの影響を緩和する手法が提案されてい る. よく用いられる手法として，教師データをデー タベース上のペアに対応するインスタンスのバッグ で扱うマルチインスタンス学習がある. Zeng ら [5] はバッグ中の正解ラベルに対する予測確率が最も高 い表現を持つデータのみを利用して学習する手法を 提案した. また Beltagy ら [4] は, 少量の人手の教師 データによる注意機構を利用する手法を提案した。

## 2.2 薬物タンパク質間関係抽出

薬物タンパク質間関係抽出は，文献中に記載され た薬物とタンパク質間の関係を抽出するタスクであ る. Gu ら [2] は大規模なニューラルネットワークモ デル BERTを大規模な生物医学文献で事前学習した モデル (PubMedBERT) を提案した.

## 3 提案手法

本手法では，遠距離教師データから得られる特徴表現を活用して人手の教師データの薬物タンパク 質間関係抽出を行う。機械的に作成した遠距離教師

データを活用することで，教師データを追加で作成するコストを抑えながら，抽出性能の向上を目指す.

以降，3.1 節でベースとなる関係抽出モデル， 3.2 節でデータベースからの遠距離教師データの作成, 3.3 節で遠距離教師データの特徴表現の活用手法に ついてそれぞれ説明する。

## 3.1 関係抽出モデル

本研究のベースラインとなる人手の教師データの みでモデルを学習する関係抽出モデルについて説明 する。まず，入力文を BERT [6] でエンコードし，入力文の文脈を表した特徴量ベクトル $\boldsymbol{h}$ を生成する。 BERT は入力文の各トークンに対して表現ベクトル を生成するが，文全体の特徴を含んだ [CLS] トーク ンの表現ベクトルを特徴表現ベクトルとして用い る. さらに，特徴量ベクトルを基に全結合層とソフ トマックス関数により各関係に対する予測確率を表 した予測べクトルを生成する. モデルは予測確率が 最大となる関係を予測する。最適化手法は Adam [7] を用い，交差エントロピーを目的関数として最小化 するようにモデルを学習する。

## 3.2 遠距離教師データの作成

遠距離教師データの作成の概略を図 1 に示す。以前提案した遠距離教師データ作成手法 [8] では薬物 データベース DrugBank [9]・タンパク質データベー ス UniProt [10]・医学文献データベース PubMed [1] を用いたが，本手法ではさらに化学物質データベー ス Comparative Toxicogenomics Database (CTD) [11] を 活用して遠距離教師データを作成する．以降，これ らのデータベースを用いて遠距離教師データを作成 する手順を説明する。

まず，DrugBank から ID 関係トリプルを作成す る. ID 関係トリプルとは薬物の ID・相互作用名・タ ンパク質の ID のトリプルである。次に，DrugBank, CTD の情報を基に薬物の ID と表層表現を対応付け て薬物名辞書を作成する. 同様に UniProt, CTD から タンパク質名辞書を作成する。これらの辞書と ID 関係トリプルから関係トリプルを作成する。さら に, 生物医学・科学文献の処理に特化したツールで ある SciSpacy [12] の文分割・エンティティ抽出によ り，PubMed 文献を解析し，文献中の専門用語を抽出する (NER). 最後に，関係トリプルと PubMed 文献から抽出された専門用語を用いて辞書マッチに

図 1 遠距離教師データの作成

図 2 遠距離教師データの活用

より PubMed 文献から遠距離教師データを作成す る. DrugBank 上の相互作用名とタスク上の関係名 のマッピングには，付録 A 章の表 2 に示す DrugProt コーパスの関係アノテーションガイドライン [13] の 関係の記述に基づいて作成された辞書を用い（例： Inducer は INDIRECT-UPREGULATOR に含まれる），辞書でマッピングできない DrugBank 上の相互作用名のインスタンスはフィルタリングする.

## 3.3 遠距離教師データを活用した関係抽出

遠距離教師データから得られる特徴表現の活用方法として，遠距離教師データによる事前学習と遠距離教師データと人手の教師データから得られる特徵量の混合の 2 つの手法を提案する. これら 2 つの手法の概要を図 2 に示す. 以降，この節では，これら 2つの手法について説明する。

## 3.3.1 事前学習としての利用

図 2(a) に示す遠距離教師データを事前学習に活用 する手法について説明する。自然言語処理のタスク

において，ドメインの近いデータセットによる事前学習により目的のデータセットでのモデルの性能が 向上することが知られている [14]. そこで，遠距離教師データによる事前学習を行う，具体的には，ま ず遠距離教師データにより 3.1 節で説明した関係抽出モデルを学習し, 続いて遠距離教師データにより 学習したパラメータを初期値として人手の教師デー タにより関係抽出モデルを学習する。

## 3.3.2 特徵量表現の混合

図 2 (b) に示す遠距離教師データと人手の教師 データで各々事前学習したモデルから得られる特徴表現ベクトルを混合する手法について説明する。ま ず，遠距離教師データと人手の教師データでそれぞ れ関係抽出モデルを学習する. 関係抽出モデルの特徵抽出器として用いた BERT は大力のトークン系列 に対して表現系列 $\boldsymbol{H}$ を出力するため， 3.1 節で説明 した手法と同様に [CLS]トークンの表現 $\boldsymbol{h}$ を特徴表現ベクトルとする. 遠距離教師データ, 人手の教師 データで学習した関係抽出モデルから得られる特徴表現ベクトルをそれぞれ $\boldsymbol{h}_{d s}, \boldsymbol{h}_{s v}$ とし，以下の式に 示すように混合手法として Gate と Concat の 2 種類 の手法を提案する.

$
\begin{aligned}
\boldsymbol{h}_{\text {Gate }} & =\alpha \boldsymbol{h}_{d s}+\beta \boldsymbol{h}_{\boldsymbol{s v}} \\
\boldsymbol{h}_{\text {Concat }} & =\left[\gamma \boldsymbol{h}_{d s} ; \eta \boldsymbol{h}_{\boldsymbol{s v}}\right]
\end{aligned}
$

$[\because \cdot]$ はベクトルの結合を示す. $\alpha, \beta, \gamma, \eta$ は各特徴量 の重要度を表す重みであり，学習可能なスカラー値 のパラメータとする.

Gate は (1) 式に示すように, $\boldsymbol{h}_{\boldsymbol{d}}, \boldsymbol{h}_{s v}$ を重要度を 意味するパラメータで定数倍した後に各々の要素和 を計算して混合する. Concat は (2) 式に示すように， $\boldsymbol{h}_{\boldsymbol{d} \boldsymbol{s}}, \boldsymbol{h}_{\boldsymbol{s v}}$ をパラメータで定数倍した後に結合して混合する. これらの手法で混合した特徴表現ベクトル $\boldsymbol{h}_{\text {Gate }}, \boldsymbol{h}_{\text {Concat }}$ を全結合層とソフトマックス関数に より関係を予測する。

## 4 実験と考察

人手の教師のデータセットとして，5,000 件の医学文献に対して薬物，タンパク質とそれらの関係が タグ付けされた DragProtコーパス [15]を用いて関係抽出を学習し, 開発データで評価した. 評価指標 には $\mathrm{F}$ 値を用いた. 遠距離教師のデータセットは 3.2 節の手法で作成し, 事例数は 400,867 件である. また，実験環境の詳細は付録 B 章に示す。

## 4.1 関係抽出の性能比較

人手の教師データのみで学習したベースラインと 提案手法の抽出性能を比較する実験を行った. ベー スラインとして, データセットと近いドメインで事前学習された PubMedBERT, BioRoBERTa-large[16] をべースとした関係抽出モデルを人手の教師データ のみで学習したモデルを用いた. BioRoBERTa-large はパラメータサイズが PubMedBERT のおよそ 3 倍 の大規模な事前学習モデルであり，DragProtコーパ ス [15]を用いたコンペティションにおいて外部知識 を用いないモデルの中でSOTAを達成し, 開発デー タで $77.46 \%$ を記録した [17] モデルである。結果を 表 1 に示す.

まず，PubMedBERTをベースラインとして提案手法を適用した場合の性能に着目する。 遠距離教師 データのみで学習した際の $\mathrm{F}$ 値のマイクロ平均は $16.6 \%$ と低いものの，全提案手法において，人手の 教師データが少ない AGONIST, PRODUCT-OF に対 する予測性能が大きく向上した。これは遠距離教師 データの特徵表現を活用することで，ノイズの影響 を緩和しながら人手の教師データの不足を補えた ためだと考えられる。また，特徴量表現の混合によ り遠距離教師データを利用した Gate, Concat は人手 の教師データが多い ANTAGONIST をはじめとした 多くの関係に対する予測性能が向上し，マイクロ平均も全体で 0.8 ポイント向上した. このことから,事前学習より特徴量表現の混合の方が遠距離教師 データの特徵表現の利用方法として有効であると分 かった。

次に，BioRoBERTaをベースラインとして提案手法を適用した場合の性能に注目する、マイクロ平均において，提案手法により 0.5 ポイントの性能向上が得られた. 更に，関係ごとの $\mathrm{F}$ 值を比較して も, ACTIVATOR, ANTAGONIST, SUBSTRATE を除 く全ての関係で性能が向上もしくは維持された。こ の結果と PubMedBERT の結果から，提案手法はモ デルのパラメータサイズに依らず性能向上が得られ ることが分かった.

## 4.2 小規模の教師データでの性能比較

本節では，小規模の人手の教師データで学習する 際の提案手法の有効性を検証した. 本研究では，作成コストの低い遠距離教師データの活用により，教師データを追加で作成するコストを抑えながら薬物
表 1 関係抽出性能比較 (評価指標は $\mathrm{F}$ 值)

 &  &  &  &  &  &  &  \\

タンパク質間相互作用抽出の性能向上を目指してい る. 4.1 節では人手の教師データを全て使って学習 し，提案手法によりベースラインから性能向上が得 られることが確認できた。そこで，小規模の人手の 教師データで学習する際の有効性を検証するため，人手の教師データの一部のみを使って学習し, ベー スラインと提案手法の関係抽出性能を比較した. $[100,200,500,1,000]$ の事例数の各関係の人手の教師 データを使ってモデルを学習した際の開発データで の性能を確認した. 提案手法には， 4.1 節でベース ラインから最も性能向上が得られた Concat で特徴表現を混合するモデルを用いた。

結果を図 3 に示す. 4.1 節で人手の教師データを 全て使って学習した際と同様にベースラインから大幅な性能向上は得られなかったが，全ての事例数で 一貫して性能が向上した. このことから, 提案手法 により遠距離教師データから得られる特徴表現を利用することで，訓練に使用できる人手の教師データ の事例数に依らず性能の向上が得られることが分 かった.

## 5 おわりに

遠距離教師データを低コストで作成し，活用する ことで，教師データの作成コストを抑えながら薬物 タンパク質間相互作用抽出の性能向上を目指した. そこで，2 種類の遠距離教師データの活用手法を提案した. 両手法ともに人手の教師データが少ない関

図 3 訓練事例数と Micro-F の関係

係に対する予測性能がベースラインから向上した. さらに，特徴表現混合法では人手の教師データが多 い関係に対する予測性能とマイクロ平均も向上し,提案手法の有効性を示すことができた。加えて，モ デルのパラメータサイズや訓練に使用できる人手の 教師データの事例数に依らず性能向上が得られるこ とを示した。

今後は，さらなる性能の向上に向け，混合特徵表現法での事前学習と特徴表現の混合部分の学習手法 を検討する予定である。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12016.

[2] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, p. 1-23, Jan 2022.

[3] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[4] Iz Beltagy, Kyle Lo, and Waleed Ammar. Combining distant and direct supervision for neural relation extraction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1858-1867, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1753-1762, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[7] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[8] 飯沼直己, 三輪誠, 佐々木裕. 遠距離教師データを援用した教師あり薬物タンパク質間相互作用抽出. 言語処理学会 第 26 回年次大会, 2020.

[9] Wishart DS, Feunang YD, Guo AC, Lo EJ, Marcu A, Grant JR, Sajed T, Johnson D, Li C, Sayeeda Z, Assempour N, Iynkkaran I, Liu Y, Maciejewski A, Gale N, Wilson A, Chin L, Cummings R, Le D, Pon A, Knox C, and Wilson M. Drugbank 5.0: a major update to the drugbank database for 2018. Nucleic Acids Res., 12018.

[10] The UniProt Consortium. UniProt: the universal protein knowledgebase in 2021. Nucleic Acids Research, Vol. 49, No. D1, pp. D480-D489, 112020.

[11] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative Toxicogenomics Database (CTD): update 2021. Nucleic Acids Research, Vol. 49, No. D1, pp. D1138-D1143, 102020.

[12] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical
Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319-327, Florence, Italy, August 2019. Association for Computational Linguistics.

[13] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[14] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: Pretrained language model for scientific text. In EMNLP, 2019.

[15] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021.

[16] Patrick Lewis, Myle Ott, Jingfei Du, and Veselin Stoyanov. Pretrained language models for biomedical and clinical tasks: Understanding and extending the state-of-the-art. In Proceedings of the 3rd Clinical Natural Language Processing Workshop, pp. 146-157, Online, November 2020. Association for Computational Linguistics.

[17] Wonjin Yoon, Sean Yi, Richard Jackson, Hyunjae Kim, Sunkyu Kim, and Jaewoo Kang. Using knowledge base to refine data augmentation for biomedical relation extraction. November 2021.

[18] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[19] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

[20] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.
表 2 関係マッピングの辞書

表 3 実験に用いたハードウェア

## 付録

## A 関係名のマッピング

3.2 節で説明した DrugBank 上の相互作用名とタス ク上の関係名のマッピングに用いた辞書を表 2 に示 す.

## B 実験環境

4 章で示した実験を行った環境について説明す る. 実装には，Python3 [18] のバージョン 3.8 .1 と深層学習ライブラリである PyTorch [19] のバージョン 1.9.0を用い，表 3 に示すハードウェア環境で実験し た. 学習時のハイパーパラメータは表 4 の探索範囲 からオープンソースのハイパーパラメータ自動最適化フレームワーク Optuna[20]を用いて, 開発データ での $\mathrm{F}$ 值のマイクロ平均が最大になるようにパラ メータ探索をして決定した。表 4 パラメータ探索範囲


# 薬学知識グラフ上のへテロな情報を利用した 文献からの薬物相互作用抽出

浅田 真生 三輪誠 佐々木裕
豊田工業大学
\{sd19501, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

文献からの薬物相互作用抽出において，近年では 事前学習済み深層ニューラルモデルを用いた手法 が広く用いられている。これらの手法は薬物メン ション周辺の文脈情報のみを考慮しているが，文脈理解に薬物の背景知識が必要とされる薬学文献 の読解においては，薬物にまつわるへテロな情報 を深層ニューラルモデルに考慮させることが必要 であると考えられる．本研究では，薬物に関する 様々な情報が登録されたへテロ薬学知識グラフの表現を薬物相互作用抽出に援用する手法を提案する. SemEval-2013 Task 9.2 データセットで提案手法を学習・評価し，薬物のへテロな情報を用いることで世界最高性能となる $85.02 \%$ F 值を達成した。

## 1 はじめに

薬物相互作用とは，患者に複数の薬物を併用投与 した際に，薬物の本来の作用が増強・弱減したり，予期せぬ副作用が生じる現象のことである。「根拠 に基づく医療」[1]を実践し，投薬過誤を防ぐために は，薬学論文から薬物相互作用に関する知識を網羅的に抽出しておくことが重要であり，そのために文献からの薬物相互作用の自動抽出技術による支援が 期待されている.

著者らはこれまで，深層ニューラルモデルによる 文献からの薬物相互作用抽出に取り組む上で，従来 の文献のみを対象にした抽出の限界を超えるために は，外部知識の活用が必須であると考え，外部知識 を薬物相互作用抽出に取り入れる研究 [2], 様々な ドメイン情報を含んだへテロな薬物知識グラフを作成しリンク予測を行う研究 [3] を行ってきた。本稿 ではこれらの研究を発展させ，へテロな薬学知識グ ラフを外部知識として利用した薬物相互作用抽出に 取り組む。本稿では，薬物のへテロなドメイン情報を考慮 した薬物エンティティ表現を，文献からの薬物相互作用抽出に利用する手法を提案する。このエン ティティ表現は，薬物データベース DrugBank [4], タンパク質データベース UniProt [5]，医療用語シ ソーラス MeSH [6]，パスウェイデータベース Small Molecule Pathway Database (SMPDB) [7] を用いて作成 した薬物のへテロなドメイン情報を含んだへテロ薬学知識グラフに対して，リンク予測モデルを学習す ることで獲得した表現である. 本研究の貢献は以下 の通りである。

・へテロなドメイン情報を考慮した薬物エンティ ティ表現を利用した薬物相互作用抽出モデルを 提案した.

・提案した手法を SemEval-2013 Task 9.2 データ セット [8] で評価し，薬物にまつわるへテロな ドメイン情報の活用により抽出性能の向上を達成した。

## 2 関連研究

## 2.1 深層ニューラルモデルによる薬物相互作用抽出

文献からの薬物相互作用抽出タスクでは，大規模な薬学文献を用いて事前学習した BioBERT [9], SciBERT [10], PubMedBERT [11] といったモデルを用 いた手法が広く使用されている。ただし，これらの 研究は入力文の文脈情報のみを利用しており，文書 や薬物の背景にある様々なドメイン情報を考慮でき ていない.

## 2.2 薬物の分子構造と説明文を用いた薬物相互作用抽出

著者らは，入力文中の薬物メンションについて，薬物データベース DrugBank にアクセスして薬物 の分子構造情報と説明文情報を獲得し，分子構造情報，説明文情報をそれぞれ Graph Neural Networks

図 1 へテロ薬学情報を利用した薬物相互作用抽出モデル

(GNNs) [12], SciBERT [10] で表現し, 入力文の表現 と組み合わせて薬物相互作用抽出を行う手法 [2] を 提案した。薬物の分子構造情報及び説明文情報を利用することでどちらの情報も薬物相互作用の抽出性能を向上できること，さらに，モデルのアンサンブ ルによって，分子構造情報と説明文情報の両者を考慮することで抽出性能をさらに向上できることを報告した.

## 2.3 ヘテロ薬学知識グラフの表現ベクトル 獲得

著者らは，複数のデータベースを用いて異なる種類の情報を節点としたへテロ薬学知識グラフを構築 し，薬物にまつわるへテロな情報を考慮したべクト ル表現を獲得した [3]. 作成したへテロ薬学知識グ ラフの概要を図 $1 \mathrm{~A}$ に示す. 知識グラフに含まれる ノードの種類は以下に示す 5 種類である.

・薬物：薬物データベース DrugBank に登録され た 10,000 件以上の薬物

・タンパク質：タンパク質データベース UniProt のうち, Swiss-Protに登録されたタンパク質

・パスウェイ : パスウェイデータベース SMPDB に登録された 30,000 件以上のパスウェイ

-MeSH カテゴリ：薬物のカテゴリ情報を表す医療シソーラス MeSH のエントリ

$\cdot$ATC コード: Anatomical Therapeutic Chemical (ATC) 分類システムによって階層化された 薬物のカテゴリ情報

上記， 5 種類のへテロなノードは，以下に示す 8 種類の関係でリンクされる。

・category: 薬物ノードと MeSH カテゴリノードの 関係.この関係は, 薬物が MeSHによって定義 された治療カテゴリーまたは一般カテゴリーに 分類されることを示す.

-ATC: 薬物ノードと ATC コードノードの関係.例えば，薬物 Morphine は ATC コードとして A07DA52 が割り当てられているが，全ての親 コード (A, A07, A07D, A07DA) のノードも ATC 関係でリンクされる。
- pathway: 薬物またはタンパク質とそれらが含ま れているパスウェイの関係. 薬物または酵素 タンパク質が代謝，疾患，および生物学的パス ウェイに関与している場合，薬物・タンパク質 ノードとパスウェイのノードがリンクされる.
- interact: 薬物相互作用が報告されている薬物ぺ ア間の関係.
- target: 薬物ノードとタンパク質ノードの関係. タンパク質，高分子，拡散，または特定の薬物 が結合する小分子であり，結合した分子の正常 な機能と望ましい治療効果の変化をもたらす場合，この関係でリンクされる。
- enzyme: 薬物ノードとタンパク質ノードの関係.特定の薬物が関与する化学反応を触媒するタン パク質の場合，この関係でリンクされる.
- carrior: 薬物ノードとタンパク質ノードの関係.薬物に結合して細胞輸送体に運ばれ，そこで細胞内に移動する分泌タンパク質の場合，この関
係でリンクされる
- transporter: 薬物ノードとタンパク質ノードの関係. イオン，小分子，または高分子を膜を越え て細胞内または細胞外にシャトルする膜結合夕 ンパク質の場合，この関係でリンクされる。

作成したへテロ薬学知識グラフは, 有向グラフ $\varphi=(E, R, F)$ とみなすことができる. ここで， $E$ は エンティティの集合， $R$ は関係の集合， $F$ は関係ト リプルの集合である。関係トリプルは $(h, r, t)$ で表現され $, h, r, t$ はそれぞれ先頭エンティティ, 関係,末尾エンティティである. グラフ埋め込み表現の学習は，負例サンプリングによって行う. 正例の関係 トリプル集合を $\mathbb{D}^{+}$，擬似的に作成した負例の関係 トリプル集合を $\mathbb{D}^{-}$としたときに，損失関数は以下 のように示される.

$L_{K G}=\sum_{\left.(h, r, t) \in \mathbb{D}^{+} \cup \mathbb{D}\right)^{-}} \log (1+\exp (y \cdot f(h, r, t)))+\lambda\|\Theta\|_{2}^{2}$

ここで， $f(h, r, t)$ は関係トリプルのスコア関数であ る. スコア関数としては，TransE [13], DistMult [14], ComplEx [15], SimplE [16] を用いた.

## 3 提案手法

本研究では，薬物のへテロな情報を文献からの薬物相互作用抽出タスクに活用するために，薬学へテ 口知識グラフ表現を利用した薬物相互作用抽出手法 を提案する。提案モデルの全体像を図 1 に示す.

## 3.1 知識グラフ表現を活用した薬物相互作用抽出

2.3 節で説明した知識グラフ表現を利用して，文献からの薬物相互作用抽出を行う. 2 つ薬物メン ション $m_{1}, m_{2}$ を含む入力文 $S=\left(w_{1}, w_{2}, \cdots, w_{n}\right)$ が 与えられたとき，これを BERT エンコーダの入力と し，BERT の [CLS] トークンを入力文の表現ベクト ル $\mathbf{h}_{\text {input }}$ とする. 図 1B に示すように，入力文中の 薬物メンション $m_{1}, m_{2}$ を知識グラフの薬物エンティ ティとリンキングを部分文字列一致によって行い，対応する知識グラフ埋め込みベクトル $\mathbf{h}_{K G_{1}}, \mathbf{h}_{K G_{2}}$ を得る。知識グラフの表現ベクトルと，入力文の表現ベクトルを図 $1 \mathrm{C}$ に示すように組み合わせる。

$
\begin{aligned}
& \mathbf{h}_{K G^{\rightarrow}}=W_{1}\left(\left[\mathbf{h}_{K G_{1}} ; \mathbf{h}_{K G_{2}}\right]\right)+b_{1} \\
& \mathbf{h}_{K G^{\leftarrow}}=W_{1}\left(\left[\mathbf{h}_{K G_{2}} ; \mathbf{h}_{K G_{1}}\right]\right)+b_{1}
\end{aligned}
$

ここで，[;] はベクトルの連結， $W^{1}, b^{1}$ は重み行列と バイアスを表す. $\mathbf{h}_{a}$ と $\mathbf{h}_{b}$ の和を大力文表現 $\mathbf{h}_{\text {input }}$ と連結し，全結合層の入力とする。

$
\begin{gathered}
\mathbf{h}_{K G}=\mathbf{h}_{K G^{\rightarrow}}+\mathbf{h}_{K G^{\leftarrow}} \\
\mathbf{h}_{F C}=W_{2}\left(\left[\mathbf{h}_{\text {input }} ; \mathbf{h}_{K G}\right]\right)+b_{2} \\
\hat{\mathbf{y}}=\operatorname{Softmax}\left(\mathbf{h}_{F C}\right)
\end{gathered}
$

正解ラベル $\mathbf{y}$ との交差エントロピー損失を最小にす るように学習を行う。

$
L=-\sum_{x=1}^{X} \mathbf{y}_{x} \log \hat{\mathbf{y}}_{x}
$

## ここで，Xは全インスタンス数を表す.

## 3.2 モデルのアンサンブルによるへテロ情報の組み合わせ

薬物エンティティの知識グラフ表現 $\mathbf{h}_{K G_{1}}, \mathbf{h}_{K G_{2}}$ を， $\mathbf{h}_{\text {mol }_{1}}, \mathbf{h}_{\text {mol }_{2}}$ または $\mathbf{h}_{\text {desc }_{1}}, \mathbf{h}_{\text {desc }_{2}}$ に置き換えるこ とで，分子構造または説明文を用いた手法 [2] とな る.ここで， $\mathbf{h}_{\text {mol }_{i}}$ は薬物メンション $m_{i}(i=1,2)$ の 分子構造情報を GNN で表現したべクトル， $\mathbf{h}_{\text {desc }_{i}}$ は 説明文情報を BERT でエンコードした [CLS]トーク ンのベクトル表現である．分子構造表現，説明文表現，知識グラフ表現の組み合わせを深層ニューラル モデルのアンサンブルによって行う． $M$ 個のモデル を用いる場合，それぞれのモデルの出力ベクトルは 式 6 により計算され，これを $\hat{\mathbf{y}}_{m}(m=1, \ldots, M)$ とす る. モデルの予測確率の平均を最終的な出力 $\hat{\mathbf{y}}_{\text {all }}$ と する。

$
\hat{\mathbf{y}}_{\text {all }}=\frac{1}{M} \sum_{m=1}^{M} \hat{\mathbf{y}}_{m}
$

## 4 実験設定

薬物相互作用抽出コーパスとして，SemEval-2013 Task 9.2 (DDIExtraction-2013 shared task) データセッ トを用いた。このデータセットは，薬物ぺアを含ん だ文から構成され，薬物ペアそれぞれに対して，以下に示す 4 種類の薬物相互作用が正解付けされてい る. データセットの内訳を付録 A の表 3 に示す.

・Mechanism 薬物ペアが薬物動態学敵作用を 持つ.

・Effect 薬物ペアが薬力学敵作用を持つ.

・Advice薬物ペアを併用する際の推奨を表す。
- Interaction (Int.) 薬物ペアが薬物相互作用を持つ ことのみを表す。
表 1 ヘテロ薬学知識グラフ上のリンク予測タスク精度 (MRR)

コーパス中の薬物メンションとへテロ知識グラ フの薬物エンティティとの対応付けは，小文字に変換した後の部分文字列一致により行った. 薬物メン ションと文字列一致を行う対象として, DrugBank に登録された薬物の見出し語，製品名，製剤名，シ ノニムを用いた。コーパス中の訓練データの 2,242 種類の薬物メンションのうち，一致が取れたものは $90.5 \%$ ，評価データの 854 種類の薬物メンションの

入力文表現のための事前学習済みモデルとして, PubMedBERT [11]を用いた. SemEval-2013 Task 9.2 データセットは公式の開発データセットが提供さ れていないため，訓練データを $4: 1$ に分割して開発 データセットを作成し，ハイパーパラメータチュー ニングを行った。ハイパーパラメータの決定後は,分割前の訓練データでモデルを再度学習し, 評価 データセットで評価を行った.

へテロ知識グラフデータセットを訓練・開発・テ ストに分割し，学習と評価を行った. 知識グラフの 埋め込み表現獲得のために使用したデータセットの 統計を付録 Aに示す。

## 5 結果

表 1 に，へテロ薬学知識グラフに対するグラフ埋 め込み表現の性能を確認するために，リンク予測 タスクの精度を示す. リンク予測の評価指標とし て, Mean Reciprocal Rank (MRR) を用いた. 表 1 よ り，全ての関係ごとの MRR を平均すると，スコア 関数として DisMult を用いた場合が最も性能が高 かった. 関係ラベルごとに MRRを見ると，スコア 関数 TransE を用いた場合は，interactの関係におい て低い MRRを示した. これは，知識グラフ中の薬物相互作用の関係は対称であるが，TransE が対称の 関係性を捉えられないからであると考えられる。

続いて，SemEval-2013 Task 9.2 データセット上で表 2 薬物相互作用抽出タスクの性能

評価した文献からの薬物相互作用抽出の性能を表 2 に示す。評価指標として，マイクロ平均 $\mathrm{F}$ 値を用い た. SciFive [17] は， 入力と出力をどちらもテキスト フォーマットで取り扱うモデル Text-to-Text Transfer Transformer (T5) [18] を生物医学ドメイン向けに再学習したモデルである. SciBERT (Mol. + Desc.) [2] は，薬物の分子構造情報と説明文情報を用いた手法であ る. へテロ知識グラフの情報を用いた手法に着目す ると，いずれのスコア関数で学習した知識グラフベ クトル表現を用いた場合でも，PubMedBERT で入力文情報のみを用いる手法よりも高い $\mathrm{F}$ 值を示した。 Ensemble (KG + Mol. + Desc.) は，開発データセット で最も高い性能を示したスコア関数によるモデル と，分子構造情報を用いたモデル及び説明文情報を 用いたモデルの 3 つのモデルをアンサンブルによっ て組み合わせた手法である。知識グラフの情報を除 いた Ensemble (Mol. + Desc.) と比較すると, 分子構造情報と説明文情報に知識グラフの情報を加えるこ とでさらに高い $\mathrm{F}$ 値が得られることが分かった.

## 6 おわりに

本研究では，文献からの薬物相互作用抽出タスク において，薬物にまつわるへテロな情報の活用を目的とし, 著者らが作成したへテロ薬学知識グラフの 埋め込み表現を利用するモデルを提案した．提案 した手法を SemEval-2013 Task 9.2 データセットで学習・評価したところ，薬物に関するへテロなドメイ ン情報を利用することで，これまでの最高性能を越

今後は，知識グラフ表現の学習と入力文表現の学習を同時に行い，さらに知識グラフ表現と入力文表現の組み合わせ手法の改善を行う予定である.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] David L Sackett. Evidence-based medicine. In Seminars in perinatology, Vol. 21, pp. 3-5. Elsevier, 1997.

[2] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Using drug descriptions and molecular structures for drug-drug interaction extraction from literature. Bioinformatics, Vol. 37, No. 12, pp. 1739-1746, 102020.

[3] Masaki Asada, Nallappan Gunasekaran, Makoto Miwa, and Yutaka Sasaki. Representing a heterogeneous pharmaceutical knowledge-graph with textual information. Frontiers in Research Metrics and Analytics, Vol. 6, , 2021.

[4] David S Wishart, Yannick D Feunang, An C Guo, Elvis J Lo, Ana Marcu, Jason R Grant, Tanvir Sajed, Daniel Johnson, Carin Li, Zinat Sayeeda, Nazanin Assempour, Ithayavani Iynkkaran, Yifeng Liu, Adam Maciejewski, Nicola Gale, Alex Wilson, Lucy Chin, Ryan Cummings, Diana Le, Allison Pon, Craig Knox, and Michael Wilson. DrugBank 5.0: a major update to the DrugBank database for 2018. Nucleic Acids Research, Vol. 46, No. D1, pp. D1074-D1082, 112017.

[5] The UniProt Consortium. UniProt: a worldwide hub of protein knowledge. Nucleic Acids Research, Vol. 47, No. D1, pp. D506-D515, 112018.

[6] C. E. Lipscomb. Medical Subject Headings (MeSH). Bulletin of the Medical Library Association, Vol. 88, No. 3, pp. 265-266, Jul 2000. 10928714.

[7] T. Jewison, Y. Su, F. M. Disfany, Y. Liang, C. Knox, A. Maciejewski, J. Poelzer, J. Huynh, Y. Zhou, D. Arndt, Y. Djoumbou, Y. Liu, L. Deng, A. C. Guo, B. Han, A. Pon, M. Wilson, S. Rafatnia, P. Liu, and D. S. Wishart. SMPDB 2.0: big improvements to the Small Molecule Pathway Database. Nucleic Acids Research, Vol. 42, No. Database issue, pp. D478-484, Jan 2014.

[8] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics ( ${ }^{*}$ SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

[9] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of BioNLP 2019, pp. 58-65, Florence, Italy, August 2019.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of EMNLP-IJCNLP 2019, pp. 3615-3620, Hong Kong, China, November 2019.

[11] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.
[12] Masashi Tsubaki, Kentaro Tomii, and Jun Sese. Compound-protein interaction prediction with end-to-end learning of neural networks for graphs and sequences. Bioinformatics, Vol. 35, No. 2, pp. 309-318, 2019.

[13] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Neural Information Processing Systems (NIPS), pp. 1-9, 2013.

[14] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. 2014.

[15] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In International Conference on Machine Learning, pp. 2071-2080. PMLR, 2016.

[16] Seyed Mehran Kazemi and David Poole. SimplE embedding for link prediction in knowledge graphs. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, pp. 4289-4300, 2018.

[17] Long N. Phan, James T. Anibal, Hieu Tran, Shaurya Chanana, Erol Bahadroglu, Alec Peltekian, and Grégoire Altan-Bonnet. SciFive: a text-to-text transformer model for biomedical literature, 2021.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[19] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Manuel Le Gallo, Abu Sebastian, Roland Mathis, Matteo Manica, Heiner Giefers, Tomas Tuma, Costas Bekas, Alessandro Curioni, and Evangelos Eleftheriou. Mixedprecision in-memory computing. Nature Electronics, Vol. 1, No. 4, pp. 246-253, 2018.

## A データセットの統計

各データセットの統計を表 3,45 に示す.

表 3 SemEval-2013 Task 9.2 データセットの統計

表 4 ヘテロ薬学知識グラフのエンティティの統計

表 5 ヘテロ薬学知識グラフの関係トリプルの統計

## B 学習設定

モデルの学習は NVIDIA 社 RTX A6000 が搭載さ れたマシンを用いて行った. ハイパーパラメータ チューニングは Optuna [19]を用いて行った. オプ ティマイザとして AdamW [20]を使用し，学習率を 5e-05, ミニバッチサイズを 128 , ドロップアウト率 を 0.1 に設定した. ベクトル $\mathbf{h}_{K G}$ の次元数は, 全て のスコア関数に対して 64 で共通とした。メモリ効率化のために mixed-precision 学習 [21]を採用した。


# 項の表現に着目した質問応答による関係分類

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd18086, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

関係分類の新しい手法として，質問応答による関係分類が提案されている．これらの手法では，既存 の質問応答モデルを用いているため，関係分類タス ク特有の情報を利用できていない。また，回答の開始・終了位置のみを予測するため，その間の表現を 利用していない。本研究では、関係に関するマー カーと，スパン表現を用いた質問応答モデルを用い て、タスク特有の情報と間の表現を利用可能な質問応答による関係分類手法を提案する．SemEval-2010 Task 8 データセットを用いた評価の結果，マーカー を用いない場合と比べて，性能は $1.9 \%$ ポイント向上 した.また，解析では，マーカーの追加により，正 しく用語を回答できるようになることを確認した。

## 1 はじめに

構造化されていない文献中から情報を抽出する夕 スクの一つとして，文献中に含まれる用語間に成り 立つ関係を候補となる関係ラベルに分類する関係分類が研究されている.

関係分類手法のうち，高い精度を達成しているも のとして，質問応答を用いた関係分類手法 $[1,2,3]$ がある。例として，「フランスの首都はパリである」 という対象文中で与えられた用語であるフランスと パリの間に首都という関係があるかどうかを判定す る問題を，「フランスの首都はどこですか？」とい う質問文をこの対象文に対して適用して回答を探す 問題に置き換える。パリが回答であると判定されれ ばフランスとパリの間に首都の関係があると判定す る．具体的には，まず，候補となる関係ラベルすべ てに対して用語をスロットとする質問文のテンプ レートを作成して，そこにデータセットで与えられ る用語ペアの片方の用語を当てはめることで質問文 を作成する。作成した質問文と元の文を質問応答モ デルに入力し，得られた回答がもう一つの用語のと きテンプレートがもつ関係があるとして関係分類を

図 1 提案手法の概要

する。質問応答を用いた関係分類手法には，関係ご とに異なる質問文を用意することで，それぞれの関係に注目した処理を行えるという利点がある。一方 で，既存の質問応答を用いた関係分類手法では，多 くの関係分類のデータセット $[4,5]$ が持つ関係分類特有の情報を利用できていないという問題点があ る. 関係分類特有の情報とは，タスクにおいて既知 である用語のタイプや，関係の項それぞれのタイプ などを指す.

そこで，本研究では，関係分類タスク特有の情報 の一つである関係の項のタイプの有効活用による，
質問応答を用いた関係分類手法の性能向上を目的と する. データセットに含まれる項のタイプを，元の 文と質問文に対してマーカーとして追加すること で，質問応答型の関係分類手法の利点である各関係 に注目した大力を保ったまま，モデルの大幅な変更 をすることなく，関係分類に特化させる。

## 2 関連研究

Cohen らは図 2 のように関係の始点と終点をそれ ぞれ予測する 2 つの質問を用いて双方向の質問応答を行い，得られた回答を基に関係を分類する手法 [1] を提案している. 関係ごとに 2 つ用意したテン プレートを用いて，用語と関係からなる質問文を用語ペアそれぞれについて作成して質問応答を行う。 2 つのテンプレートは関係の始点を当てはめて終点 を予測するものと，終点を当てはめて始点を回答す るものになっている. 2 の質問文に対して片方で も質問応答の回答がもう片方の用語であった場合に 関係があると判定して分類する. 質問応答は回答の 開始位置と終了位置をそれぞれ予測するモデルで行 う．BERT[6] に文と質問文を入力し，得られた文の 各トークンの表現から，そのトークンの開始位置の スコアと終了位置のスコアを個別に計算し，それぞ れのスコアが最も高い開始位置と終了位置を持つス パンが質問の回答となる。この方法では，回答の終了位置が開始位置より前に出てしまうという実際に はありえないスパンが回答になってしまう可能性が ある。また，回答の開始位置と終了位置のみを予測 するため, その間の表現を利用できない. さらに， この手法は既存の質問応答をそのまま用いているた め，タスクで与えられている情報を利用していない という問題がある.

## 3 提案手法

本研究では関係分類タスクに質問応答モデルを用 いる際に，関係分類タスク特有の情報を活用する手法を提案する. Cohen らの手法 [1] を拡張し，質問文のテンプレートで与えられる関係の情報に加え て，タスクに与えられる関係の項それぞれのタイプ を示すマーカーを加えることで，関係分類において 事前に与えられる用語の情報を質問応答モデルに与 える。また，質問応答モデルをスパンそのものを回答するようにすることで，回答がありえないスパン になることを防ぐとともに，開始位置と終了位置以外の間のトークンの表現も含む回答全体の情報を利

図 2 双方向の質問応答による関係分類 [3]

用する. 図 1 に提案手法の概要を示す.

## 3.1 入力文の整形

質問応答モデルへの入力の準備として，関係ごと の質問文の作成と関係マーカーの付与を行う. 図 1 のように，関係ごとに，関係分類を行う文とテンプ レートを用いて作成した質問文をそれぞれ関係情報 のマーカーを加えたものに整形する。質問文のテン プレートは Cohen らのもの [1]を利用し, 双方向に 質問を行う。関係マーカーは本稿で対象としている SemEval 2010 Task 8 データセット [4] で与えられる 関係の項のタイプの情報を利用する。使用したテン プレートとマーカーは付録 $\mathrm{A}$ に示した. 関係分類を 行う文に対しては用語を挟むようにマーカーを，質問文には用語の前後と回答に対応する疑問詞に対し てマーカーを追加する。

## 3.2 スパン表現を用いた質問応答

図 3 に質問応答モデルの概要を示す. 質問応答モ デルは BERT[6] を利用したモデルとなっており，文 と質問文を大力とし，文中に質問の回答があればそ の回答となるトークンを，なければ回答なしを表す BERT の CLS トークンを出力する．以降，モデルの 詳細について説明する。

まず，BERT の CLS トークンと SEP トークンを 利用して，質問文と文を連結して BERT に入力し， トークンごとの表現を得る。

## [CLS] 質問文 [SEP] 文 [SEP]

BERTへの入力を $x$ とした時，出力である表現の系列 $\boldsymbol{H}$ を以下のように表す.ここで， $N$ は入力のトー クン数, $\boldsymbol{h}_{i}$ は $i$ 番目のトークンの表現に相当し, $\boldsymbol{h}_{1}$

図 3 スパン表現を用いた質問応答モデル

は文頭である CLS トークンの表現となる.

$
\boldsymbol{H}=\left[\boldsymbol{h}_{1}, \boldsymbol{h}_{2}, \ldots, \boldsymbol{h}_{N}\right]=\operatorname{BERT}(\boldsymbol{x})
$

次に得られた表現 $\boldsymbol{H}$ のうち CLS トークンと文の 表現から，質問文の回答の候補となるスパンの表現 を作成する．CLS トークンの表現は回答なしの候補 として用いる。あるトークン $\boldsymbol{h}_{i}$ から始まり， $\boldsymbol{h}_{j}$ で 終わるスパンの表現 $s$ は以下のように求める.

$
\boldsymbol{s}=\operatorname{Concat}\left(\boldsymbol{h}_{i}, \operatorname{mean}\left(\boldsymbol{h}_{i}, \cdots, \boldsymbol{h}_{j}\right), \boldsymbol{h}_{j}\right)
$

以上により得られたスパン表現のベクトル $s$ をま とめ，以下のようにスパン表現の系列 $S$ を作成す る. $N^{\prime}$ は質問の回答となる可能性のあるスパン候補の数であり， $s_{1}$ は CLS トークンの表現である.

$
\boldsymbol{S}=\left[\boldsymbol{s}_{1}, \boldsymbol{s}_{2}, \cdots, \boldsymbol{s}_{N^{\prime}}\right]
$

生成したスパン表現系列 $S$ に全結合層と Softmax 関数を適用することで確率の形に変換し，最も確率 の高いスパンを質問の回答とする. CLS トークンが 回答として選ばれた場合は，回答なしとする。

## 4 実験と考察

## 4.1 データセット

提案手法の評価を SemEval-2010 Task 8 のデータ セット [4]を用いて行う．このデータセットは一文中の用語間の関係分類を行うデータセットで，訓練 データ 8,000 件とテストデータ 2,717 件で構成され る。訓練データを関係ラベルの割合が均一になるよ うに 4:1 に分割し， 6,400 件を訓練データ，1,600 件 を開発データとして用いる。分類する関係ラベルは表 1 提案手法と各種ベースラインのF 值

表 2 回答の表現とマーカーによる比較

正例 9 種類と負例の Other の 10 種類であるが，関係 には方向があるため，方向を含めると正例 18 種類 と負例 1 種類の計 19 種類の分類となる. 評価指標 には負例を除いた 9 種類の関係ラベルを持つデータ に対するマクロ $\mathrm{F}$ 值を用いる。

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用い た. また，深層学習モデルを実装するために Pytorch 1.10.0[7]，事前学習済みモデルを利用するために Transformers 4.11.3[8] を使用した。計算機は，CPUに Intel(R) Xeon(R) W-3225，GPU に NVIDIA RTX A6000 をそれぞれ実験に使用した。
表 3 マーカーの有無によって回答が変化した事例（太字が正しい回答）

 \\

## 4.3 実験設定

提案手法を評価するため，関係マーカーを追加し なかった場合のモデルと BERT の CLS トークンを 用いて文分類として関係分類を行うべースラインモ デルとの $\mathrm{F}$ 値の比較を行う．また，関係マーカーの 代わりにデータセットに含まれる用語を表す用語 マーカー<e1>，<e2>を用いた場合と，関係マーカー と用語マーカー両方を用いた場合について開発デー タで実験を行った. さらに，回答の開始位置と終了位置を回答の表現とする質問応答モデルを用いた場合についても開発データで実験を行った. 事前学習済みモデルとして，BERT-base-uncased[6]を使用し た. 現状の SotA な手法である Cohen らのモデル [1] では BERT-large を用いているため, 直接の比較はで きず，この比較は今後の課題である.

## 4.4 実験結果

表 1 の結果から，関係マーカーを入力文に追加す ることで性能が向上していることがわかる. また,表 2 の結果から開始・終了位置を予測するモデルで もマーカーによる精度向上が確認できる。さらに，質問応答にスパン表現を用いることでの性能向上 や，関係ごとに固有のマーカーを用いることの有効性も確認できる.

## 4.5 考察

関係マーカーの有効性を，マーカーを加えたこと によって改善した事例を用いて確認する、マーカー
の有無によって変化した事例のいくつかを表 3 に 示した. マーカーを加えたことで改善した回答とし て，用語以外を回答としていたものや，用語の一部 を回答としていたものがあった．また，マーカーあ りとなしの場合における質問応答の正誤について McNemar 検定を行ったところ，有意に差が見られた ( $\mathrm{p}<0.001)$.これらの結果は関係マーカーを追加す ることの有効性を示している.

## 5 おわりに

本研究では，関係分類タスク特有の情報を有効活用し，質問応答を用いた関係分類の性能向上を目的 に研究を行った. 質問応答型の関係分類に対して， マーカーを用いて関係の項のタイプの情報を有効利用する方法を提案し, SemEval-2010 Task 8 のデータ セットを用いて，提案手法を評価したところ，マー カーを用いないベースラインに対して，1.9\%ポイン トの性能向上が得られ，提案手法の有効性を示すこ とができた. また, 解析の結果, マーカーによって 用語を正しく回答できていることがわかった. 今後 は，1つの用語が複数の関係を持つ場合や，1 組の用語ぺアが複数の関係をもつ場合への拡張を行う。ま た，用語のタイプなどのさらなる追加情報を有効活用する方法を検討する。 さらに，現状の SotA なモ デルとの比較を行い，本手法の有効性を調査する.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[5] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

## A 質問テンプレートとマーカー

本研究で用いた質問文テンプレートと関係マーカーを表 4 に示す. 質問文テンプレートは Cohen らが用い たもの [1] を利用し，関係マーカーは SemEval-2010 Task 8 のデータセット [4] の関係ラベル名から作成した.

 &  \\


# 設備保全レポートにおける 大規模マルチタスク情報抽出データセットの構築

谷口 元樹高橋 拓誠智子
富士フイルム株式会社
motoki.taniguchi@fujifilm.com

## 概要

情報抽出の既存のデータセットの課題は、その規模が小さいこと、アノテーションされているサブ タスクの数が限られていること、対象テキストが フォーマルであるため抽出が比較的容易であること である。本論文では、これらの課題を解決し、より 実応用に近いテストベッドとして工場設備の保全レ ポートを対象にした情報抽出データセットを構築す る。我々のデータセットの特徴は、インフォーマル な書かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書 に付与されていることである。

## 1 はじめに

情報抽出タスクの目的はテキストから固有表現や 固有表現間の関係などの情報を抽出し、構造化する ことである。構造化された情報は情報検索やデータ 分析などの下流のアプリケーションに有用である。

情報抽出タスクは固有表現認識、関係抽出、事実性判定などの複数のサブタスクから構成され ている。固有表現認識では ACE (Automatic Content Extraction) などの評価型ワークショップが古くから 開催されているように、情報抽出は多くの研究がな されてきた。近年にはディープラーニングを用いた 手法の隆盛に加えて、複数のサブタスクを同時に学習・推論する手法も盛んに取り組まれている。

情報抽出の既存データセットにはいくつかの問題 がある。1つ目は、データセットの規模が小さいこ とである。ディープラーニングを用いた手法では、 より高精度に情報を抽出できるモデルを学習するた めには、データセットのサイズが大きいことが望ま しい。2つ目は、多くのデータセットが 1 つしく は 2 つ情報抽出のサブタスクのラベルしか付与さ
れていないことである。抽出した情報を情報検索や データ分析などの下流のアプリケーションで活用す る実応用を考えた際には、一つのサブタスクで定義 できる情報だけでは一面的な情報しか抽出できず、十分ではない。また、ディープラーニングを用いた 手法では複数のタスクを同時に学習するマルチタ スク学習を行うことで、より高精度なモデルを学習 することが知られている。このため、多くのサブタ スクを同一文書にアノテーションしたデータセッ トがあれば、より効率的なモデル開発を行うことが できる。3つ目は、対象となるテキストの書かれ方 である。既存の多くのデータセットにはニュース記事などのフォーマルなテキストが用いられている。 フォーマルなテキストを対象にした情報抽出は高い 精度を達成しやすいが、フォーマルなテキストで学習した情報抽出モデルをインフォーマルなテキスト に適用すると精度が大幅に低下してしまう。このた め、よりロバストな情報抽出モデルを開発するため には、インフォーマルなテキストを対象にした情報抽出のデータセット構築が必要となる。

本論文では、上記 3 つの要請に応えるべく、工場設備の保全レポートを対象に大規模かつ複数のサブ タスクのラベルを付与したデータセットを構築す る。我々のデータセットは約 1500 文書から構成さ れており、大規模であることと、 4 つの情報抽出の サブタスクのラベルが付与されていることが特徴で ある。また、保全レポートはニュース記事と比較し てインフォーマルな書かれ方が多く、情報抽出対象 としてチャレンジングであることも特徴である。

## 2 関連研究

英語のマルチタスク情報抽出の研究でよく用いら れるデータセットである ACE20051) や SciERC[1] に おいては、サブタスクは固有表現認識と関係抽出の

図 1 工場設備の保全レポートに対してアノテーションした例。テキスト中の固有表現の上部に固有表現ラベル、時制ラ ベル、事実性ラベルを示してあり、[現] は現在ラベル、[事] は事実ラベル、[否] は否定ラベルを表す。"症状"、"原因"、"対策"、"効果"の列は症状・原因・対策・効果文ラベルの有無を表す。

2 つのみであり、また規模は約 500 文書と比較的小 さい。日本語に限定すると、将棋の解説文を対象に データセットを構築した研究 [2] があるが、規模は 約 2000 文であり、固有表現認識とモダリティ推定 の2つのサブタスクのアノテーションに留まってい る。情報抽出の対象となるテキストとしてフォーマ ルではなく、よりノイズが多いTwitter を採用した データセット [3] はあるものの、対象タスクは固有表現認識のみである。また、医療レポートを対象に 固有表現認識、事実性判定、関係抽出の 3 つのサブ タスクのラベルを 1156 文書にアノテーションした データセットを構築した研究 [4] がごく最近にあり、 これが前述の 3 つの要請に最も近い既存のデータ セットである。

## 3 データセット

本論文では、工場設備の保全レポートのテキスト をアノテーション対象に採用する。富士フイルムエ ンジニアリングでは保全レポートに加えて設備情報 やマニュアルなどの設備に関する情報を一元管理す るシステムである KARTEMIX を開発している。保全レポートには工場設備に対する点検、メンテンナ ス、トラブル対応の活動がテキストで日々記録され ており、大量のデータが蓄積されているため、大規模なデータセットが構築しやすい。設備やその状態 などの表現が設備保全ドメインにおける固有表現と みなせるようにアノテーションの定義が容易であ る。また、固有表現間の関係や事実性判定など複数
のサブタスクも設定できる。一方で、ニュース記事 と比較すると、専門用語や略語が多く、箇条書きや 名詞句の連続などの一般的な文よりは短い記述が見 られるため抽出対象として難しい。また、下流のア プリケーションを考えた場合に、構造化情報の利活用のユースケースが想定しやすい。例えば、保全レ ポートからトラブルに関する情報を抽出し、構造化 した形でデータベース化しておくことで、トラブル 時に過去の対策や知見の検索や分析に活用すること ができる。本章では、アノテーション対象となるテ キストとアノテーションの定義について説明する。

## 3.1 テキスト

保全レポートには様々な入力のフィールドが存在するが、"状況"、"処置"、"原因・対策"の 3 つの フィールドのテキストを対象とする。工場設備の実 データから 1492 レポートを抽出し、アノテーショ ンする。1レポートあたりの平均文数は 7.92 文で あり、平均文字数は 259 文字であった。

## 3.2 アノテーション

本論文では保全レポートのテキストに対して、図 1 に示すような 4 つのタスクについてアノテーショ ンを実施する。

## 3.2.1 症状・原因・対策・効果文ラベル

前述の通り、保全レポートには"状況"、"処置"、"原因・対策"の 3 つのフィールドが存在している。し

かし、実データを分析してみると、"状況"のフィー ルドにトラブルの原因や対策が記載されるように、必ずしもフィールド名の内容が記載されているわ けではないことがわかった。このため、各文に対し て、以下の４つのラベルをアノテーションする。

症状 : 設備の故障・不具合に関する状況を表した 文(例：図 1 の文 1 、文 3 )。

原因 : 設備の故障・不具合が発生した要因・原因 を表した文（例：図1の文2）。

対策 : 設備の故障・不具合を解決するための措置 を表した文 (例：図 1の文4)。

効果 : 対策ラベルを付与した文のうち、設備の故障・不具合が実際に解決したことを表した文（例：図19文 4)。ただし、対策を実施したが解決できな かったことが明示されている場合のみ対策ラベルを 付与せずに、解決しなかったことが明示的に記載さ れていない文は対策ラベルを付与した。

1 文に対して複数のラベルが該当する場合はマル チラベルをアノテーションする。

## 3.2.2 固有表現

工場設備のトラブルにおいて特徴的な固有表現を 以下の 5 つに分類し、アノテーションする。

部品: 生産設備やその一部、もしくは生産に用い る材料を表す表現。例：送風機、モーター、ネジ

現象: 部品の動作が正常もしくは異常な状態を表 す表現。例：異音、停止、漏れ

操作: 部品に対する操作や動作を表す表現。例：交換、調査、リセット

値: 測定値などの部品の状態を定量的に表す尺度 やその值を表す表現。例：電流値、 $3 \mathrm{~mm}$

日時: 日時・時間を表す表現やタイミングを表す 表現。例 : 先月、交換後、製造中

固有表現のスパンは名詞、数詞、記号の連続の最長範囲をアノテーションする。ただし、操作に関し ては動詞の語幹も対象とした。ネストした固有表現 は対象外とし、最長範囲のラベルのみを付与する。

## 3.2.3 モダリティ

前節で定義した現象・操作が付与された固有表現 に対して、事実性ラベルと時制ラベルの二種類のモ ダリティを付与する。事実性は固有表現が表す事象 が実際に発生したのかどうかを表すモダリティで、実際に発生した事象に対しては事実、発生していな い事象に対しては否定をアノテーションする。確定的ではなく、推定を含むものも含めてアノテーショ ンする。ただし、『これが原因だとすると交換が必要であるが』の"交換"のように仮定や条件など事象 の発生の有無が明確ではない場合、その他を付与す る。時制ラベルは発生した事象の時系列を表すモダ リティでである。単純な時制表現で判断するのでは なく、レポートのメイントピックとなっているトラ ブル・故障などのイベントに関する一連の事象をま とめて現在として、判断する。例えば、図 1 の文 4 における"改造"は過去を表す助動詞"た"が接続して いるが、このレポートのトラブル対応の一連の活動 に含まれる行動であるため、時制は現在となる。一方で、『前回の点検時にモーターを交換した』のよ うに現在のイベントよりも過去に発生した現象や 行った操作に対しては過去をアノテーションする。 また、『ベアリングを交換予定』のように未来に行 われる事象に対しては未来をアノテーションする。

## 3.2.4 関係

2 つの固有表現（固有表現 1 を subject、固有表現 2を object とする）の間に成り立つ関係に対して以下の 4 種類ラベルを付与する。

全体-部分: subject、object いずれも部品であり、 object が subject を構成する一部である関係。

操作の対象: subject が操作、object が部品であり、 object が subject の操作の対象となっている関係。

主体の現象: subject が部品、object が現象であり、 subject が object の現象の主体となっている関係。

因果関係: subjectが操作もしくは現象、objectが現象であり、subjectがある要因・原因を表し、その結果として object の事象を誘発することを表す関係。 ただし、設備保全に関する専門知識がない作業者で も一貫性を持ってアノテーションを実施するため に、"〜による"、"〜のため"のような手がかりとな る表現のパターンを 8 つ定義し、このパターンに合致し、因果が明らかな場合のみを付与対象とする。

## 4 データセットの統計量

本章ではアノテーションした各サブタスクのラベ ルの分布などの統計量を分析する。

## 4.1 文ラベルの分布

表 1 亿症状・原因・対策・効果文ラベルの分布を 示す。文ラベルとしては症状文が最も多く、順に対策文、原因文が多い。一般に不具合発生時にはその
症状を最も多く記載するため、これは直感に合致す る。一方で原因よりも対策が多いことから、原因が 究明できていなくても、対処療法的に行う一時的な 対策を実施することも多いと考えられる。また、対策文のうち効果文である文の割合は約 $67 \%$ であり、実際に効果があった対策が多く記載されていること がわかる。

表 1 症状・原因・対策・効果文ラベルの頻度分布

## 4.2 固有表現ラベルの分布

表 2 に保全レポートの固有表現ラベルの分布を 示す。出現頻度を比較して見ると、部品、現象、操作の順で多く、これは部品を主体として、その状態 や部品に対する操作が保全レポートには多く書か れているという直感に合致する。文字長を見てみる と、部品が最も長いことがわかる。これは部品の固有表現は『PC 電源ファン部』のように複数の部品 で構成されることが多いためであると考えられる。

日本語で最も大規模な固有表現データセットであ る拡張固有表現タグ付きデータセット [5] と比較す ると、1文書あたりの固有表現数は $35.1 \mathrm{vs} 29.4$ であ り、文字長は 259 vs 424 であり、我々のデータセッ トのほうが文書の長さが短いにも関わらず、固有表現の出現頻度が高いため、より多くの情報を構造化 できていることがわかる。

表 2 固有表現ラベルごとの頻度分布

## 4.3 モダリティラベルの分布

表 3 にモダリティラベルの分布を示す。事実性で は事実が、時制では現在が最も多く、これは直感に 合致する。一方で、それ以外のラベルが事実性では 17.2\%、時制では $9.9 \%$ と一定数は存在しており、こ れは検索やデータ分析などの下流のアプリケーショ ンにおいてはノイズになりうる。特に事実性の事実と否定は、『異音が発生』と『異音なし』のように トラブルの事象として大きく異なるものを表してい るため、区別が重要となる。

表 3 モダリティラベルの頻度分布

## 4.4 関係ラベルの分布

表 4 に関係ラベルの分布を示す。"関係あり"は関係ラベルが付与された固有表現ペア数、"関係なし" は固有表現のラベルの組み合わせとしては関係ラべ ルの付与対象であるが、テキストからその関係が認 められなかった固有表現ぺア数を表す。因果関係は 他の関係と比較して、関係ありの頻度が非常に少な く、関係ありと関係なしの比率も最も小さい。これ は今回のアノテーションでは手がかり表現から明示的に関係がわかるもののみを因果関係としてラベル 付けしたためであると推定できる。手がかり表現の パターン数を増やす、もしくは手がかり表現がない 暗黙的な関係も含めて付与対象とすることで、抽出対象を拡大することは今後の課題である。

表 4 関係ラベルの頻度分布

## 5 おわりに

工場設備の保全レポートを対象に、大規模かつ マルチタスクな情報抽出データセットを構築した。我々のデータセットの特徴は、インフォーマルな書 かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書に 付与されていることである。また、データセットの 統計量を分析するとことで、データセットの特徴や 工場設備の保全レポートから情報抽出する価値につ いて議論した。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3219-3232, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] 亀甲博貴, 松吉俊, John Richardson, 牛久敦, 笹田鉄郎,村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ情報アノテーション. 自然言語処理, Vol. 28, No. 3, pp. 847-873, 2021.

[3] Benjamin Strauss, Bethany Toma, Alan Ritter, MarieCatherine de Marneffe, and Wei Xu. Results of the WNUT16 named entity recognition shared task. In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 138-144, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Fei Cheng, Shuntaro Yada, Ribeka Tanaka, Eiji Aramaki, and Sadao Kurohashi. Jamie: A pipeline japanese medical information extraction system, 2021.

[5] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパス の構築. 言語処理学会 第 16 回年次大会 発表論文集, 2010.


# 設備保全レポート活用に向けたテキスト構造化の検討

高橋拓誠谷口元樹谷口友紀大熊智子
富士フイルム株式会社
takumi.c.takahashi@fujifilm.com

## 概要

本稿では，設備保全レポートを対象としたテキス ト構造化の検証を行う，具体的には，文分類，固有表現抽出，モダリティ判定，関係抽出の 4 つのタス クを対象に，事前学習済みモデル BERTを用いたテ キスト構造化の評価を実施した. 個別のタスクの評価では，どの構造化タスクでも高精度に構造化可能 であることを確認した. さらに，より実際の活用に 即した検証として，同一の保全レポートに対して複数の構造化タスクを適用した場合の性能評価と分析 を行い，実運用における課題について議論する.

## 1 はじめに

製造現場における日々の生産プロセスでは，設備 にトラブルが発生した際に迅速な対応が求められ る.こうした現場の保全業務は，過去の異常や処置 などについて記録された保全レポートを参考にしな がら対策を検討することも多く，膨大に蓄積された 保全レポートの活用か現場で求められている. 保全 レポートは，一般的に自然文で記述されるため，記載された内容をあらかじめ構造化しておくことで効果的に情報検索やデータ分析に活用することができ る. 保全レポートを対象としたテキストの構造化で は，テキスト分類 $[1,2]$, 固有表現・フレーズ抽出 $[3,4,5]$, 原因推定 [6] などの研究がなされてきた.

一方で，実際の保全レポートの活用を考えると，複数の構造化情報を同時に扱いたい状況が起り得 る。例えば，“異常が発生した部品”を対象に分析を 行いたい場合，あらかじめ異常に関して記載された 文を構造化しておき，それらの文を対象に部品名を 抽出するのが望ましい. したがって，保全レポート を活用するために，同一文書に対して複数の構造化 タスクを検証することは重要であるといえる.

富士フイルムエンジニアリングでは，保全レポー ト，設備情報，日々の稼働記録などを一元管理する

図 1 構造化された保全レポートの例. 4 種類の構造化ラ ベルが付与される.

ためのシステム KARTEMIX を開発している。我々 は，本システムに登録された保全レポートを用い $\tau$ ，文分類，固有表現抽出，モダリティ判定，関係抽出に関する複数のタスクについてアノテーション したデータセットを構築した [7]. 図 1 に構造化さ れた保全レポートの例を示す.

本稿では，保全レポートを対象に複数の構造化夕 スクに対してベースラインを検証した結果について 報告する．具体的には，文分類，固有表現抽出，モ ダリティ判定，関係抽出の各構造化タスクについて アノテーションされた保全レポートを対象に，各構造化タスクに対して個別にベースラインを評価し た. さらに，より実践的な例として，保全レポート 全体に対して同時に複数の構造化タスクを適用した 場合の性能評価とその分析結果について議論する。

## 2 テキスト構造化

本研究では，事前学習済み言語モデルである BERT[8] を各構造化タスクに適用する。図 2 に各夕 スクのモデルの概要を示す．以降，文分類 (2.1 節),固有表現抽出・モダリティ判定 (2.2 節)，関係抽出 (2.3 節)のモデルについて個別に説明する。なお，各 ラベルの詳細は，谷口ら [7] の研究を参照されたい.

## 2.1 文分類

文分類では， $N$ 個の文 $\left.\{x_{1}, \ldots, x_{N}\right.\}$ から構成される 文書を対象に，予測対象の文 $x_{i}$ が症状，原因，対
(c) 関係抽出

(b) 固有表現抽出・モダリテイ判定

(a) 文分類

図 2 各タスクにおける構造化モデルの概要.

策，効果のいずれに該当するかマルチラベル分類す

る. 具体的には, 予測対象のクラス $c \in\{$ 症状, 原因 , 対策,効果 $\}$ の有無を二值判定するモデル $m_{c}$ をあ らかじめ学習しておき，推論時に各モデルを $x_{i}$ に対 して個別に適用する。

学習および推論では, 予測対象 $x_{i}$ およ び $x_{i}$ 以降に記載された文章 $\left.\{x_{i+1}, \ldots, x_{i+j}\right.\}$ を 同時にモデルに入力する. 形式的には, $[\mathrm{CLS}] x_{i}[\mathrm{SEP}] x_{i+1}[\mathrm{SEP}], \ldots, x_{i+j}$ [SEP] をモデル $m_{c} へ$入力して,$d$ 次元の分散表現 $\mathbf{h}_{i}$ を得る. なお， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応する. 最終的に，分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ へ入力し， $x_{i}$ に対するクラス $c$ の有無を表わす文ラベル $y_{i}^{c}$ を判定する.

## 2.2 固有表現抽出・モダリティ判定

固有表現抽出では，文に含まれる各単語に対し $\tau$, 固有表現ラベル $e \in\{$ 部品, 操作, 現象, 值, 日時 $\}$ を付与する。モダリティ判定では，現象と操作をあ らわす固有表現に対して，事実性ラベル $f \in\{$ 事実，否定，その他 $\}$ と時制ラベル $t \in\{$ 現在, 過去，未来 $\}$ をそれぞれ判定する.

本研究では，固有表現抽出およびモダリティ判定 のラベルを統合し，1つのモデルで同時に抽出を行 う. 具体的には, $L$ 個の単語から構成される対象文 $x_{i}=\left.\{w_{1}, \ldots w_{L}\right.\}$ をモデルへ入力し，単語 $w_{k}$ につい て分散表現 $\mathbf{h}_{k}$ を得る. 続いて，分散表現 $\mathbf{h}_{k}$ を全結合層 $(\mathrm{FC})$ へ入力し $\mathbf{h}_{k}^{\prime}$ を得る. 最終的に， $\mathbf{h}_{k}^{\prime}$ を $\mathrm{CRF}$層 [9] へ入力して単語 $w_{k}$ に対する固有表現ラベル $y_{k}^{e}$ ，事実性ラベル $y_{k}^{t}$, 時制ラベル $y_{k}^{f}$ を判定する.

## 2.3 関係抽出

関係抽出では，文 $x_{i}$ に含まれる固有表現 $1(s u b)$ と固有表現 $2(o b j)$ の間に付与される関係 $r \in\{$ 全体 -部分, 操作の対象, 主体の現象, 因果関係 $\}$ を推定す る. 本稿では, Entity Marker に基づく方法 [10] に従 い，以下の 2 種類の入力方式を採用した.

Simple-marker は， sub と obj の 前後に，対象の固有表現の位置を認識するための 特殊トークンを挿入する。具体的には， ..., [E1] sub[/E1],..., [E2]obj[/E2], ... と表記する.

Entity-type は， sub と obj の前後に，対象の 固有表現の位置および固有表現ラベルを認識するための特殊トークンを挿入する. 具体的には，固有表現ラベル e1をもつ subと 固有表現ラベル e2をもつ objに対しては, ..., [E1_e1]sub[/E1_e1],..., [E2_e2]obj[/E2_e2],... と表記しモデルへ入力する.

上記の入力に対して得られた $d$ 次元の分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ に入力して関係ラベル $y_{i}^{r}$ を推定す る. 文分類と同様に， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応 する.なお，subとobj の間にいずれの関係も付与 されない場合は，“関係なし”ラベルを推定する。

## 3 評価実験

本節では，各構造化タスクにおけるべースライン の性能を個別に検証する．まず，個別のタスクの評価を行うことで，保全レポートに対するテキスト構造化の実現性や各タスクの難易度を明らかにする。
表 1 文分類の実験結果 (F 値).

実験では，保全レポートを対象に複数のタスクのア ノテーションを付与したデータセット [7]を 8:1:1 の 割合で訓練・開発・評価に分割して使用した.

## 3.1 文分類タスク

文分類タスクでは，2.1 節のモデルに基づき，2 種類のベースラインを用いた検証を行う．具体的 には，分類対象の文のみ入力するモデル ( BERT $_{\text {base }}$ ) と, 分類対象の文とそのあとに記載された文章も同時に入力するモデル $\left(\mathrm{BERT}_{\text {base }}+\right.$ context) を比較する. モデルの訓練では，学習率を 2e-5 に設定し, Adam による最適化を行った. バッチサイズは 32 , エポッ ク数は 3 ，入力の最大長は 512 に設定した.

表 1 に文分類の実験結果を示す. 対象文のみ入力 した BERT base $と$ 比較して, 対象文より後ろに記載 された文章も同時に入力した $\mathrm{BERT}_{\text {base }}+$ context の方 が性能が高いことが分かる．特に，効果クラスにお いて性能の差が顕著であることが分かった. これ は，対策の効果を判断するための手がかりが，分類対象の文に後続することが多いためである.

## 3.2 固有表現抽出・モダリティ判定タスク

固有表現抽出およびモダリティ判定タスクでは， 2.2 節のモデルに基づき， 2 種類のベースラインを用 いた検証を行う。具体的には，BERT に全結合層を 追加したモデル [8] と, BERT に全結合層と CRF 層 を追加したモデル (図 2)を比較する. どちらのモデ ルにおいても BERT $_{\text {base }}$ を利用し，入力の最大長は 128 , バッチサイズは 32 , エポック数は 3 , 学習率は 3e-5 に設定し, Adam による最適化を行った.

表 2 に固有表現抽出の実験結果を示す.いずれ の固有表現カテゴリにおいても，BERT と比較して BERT+CRF の方がより高い性能を示している.

表 3 に事実性判定の実験結果を示す。事実性判定 では，“事実”と “否定”カテゴリにおいて，固有表現抽出と同等の性能を示した. 一方で，“その他” カテ ゴリでは，性能が著しく低下した．これは，仮定/条件のように，事実性を一意に定められない表現が多 く含まれることや (4.2 節), “その他” カテゴリが訓練データで頻出しないためだと考えられる.表 2 固有表現抽出の実験結果 ( $\mathrm{F}$ 値).

表 3 事実性判定の実験結果 (F 値).

表 4 に時制判定の実験結果を示す. “現在”カテゴ リでは，高い性能を示したものの，“未来”と“過去” カテゴリで性能が著しく低下することが分かった.理由として，上記 2 クラスは訓練データでほとんど 出現しないクラス ${ }^{1)}$ であることが挙げられる。

## 3.3 関係抽出タスク

関係抽出タスクでは，2.3 節に記載した 2 種類の ベースライン (Simple-marker, Entity-type)を比較す る.いずれも $\mathrm{BERT}_{\text {base }}$ を事前学習済みモデルとし て利用した. 訓練では，入力の最大長を 128 , バッ チサイズを 32 ，エポック数を 3 ，学習率を $2 \mathrm{e}-5$ に設定し，Adam による最適化を行った。なお，対象の 固有表現の前後に挿入する特殊トークンの分散表現 も同時に fine-tuning した. さらに，対象の固有表現 ラベルの組み合わせが関係ラベルの条件を満たす事例をすべて正例として扱う Heuristicsを用意した。

表 5 に関係抽出の実験結果を示す. Heuristics よ り, “操作の対象” “主体の現象” は正例の割合が比較的高く識別が易しいクラスである一方，“全体-部分” や“因果関係” は正例の割合が低く, 識別が難し いクラスであることが分かる. Simple-marker および Entity-type は，いずれのクラスにおいても Heuristics の結果を大きく上回る性能を示した. また，BERT を用いたべースラインの識別精度が Heuristics の傾向と一致することから，データセットの正例と負例 のバランスが識別の難しさを表わしていることが分 かる。因果関係のような識別精度が低いクラスにつ いては，データの不均衡性を緩和させる学習方法を 採用するなど，いくつかの改善が必要である.

## 4 複数タスクによる構造化の分析

3 節では，各構造化タスクのベースラインを個別 に評価した。一方で，個別のタスクに対する評価だ

表 4 時制判定の実験結果 ( $\mathrm{F}$ 值).

表 5 関係抽出の実験結果 ( $\mathrm{F}$ 值). $\mathrm{H}$ : 全体-部分， $\mathrm{O}$ : 操作 の対象， $\mathrm{S}$ : 主体の現象， $\mathrm{C}$ : 因果関係を示す.

けでなく，レポート全体の構造化がどの程度可能な のか議論することは，検索や分析に活用するうえで 重要である. 本節では, 保全レポートに対して複数 の構造化タスクを適用した結果について分析する。

## 4.1 レポート全体の構造化の評価

レポート全体に対する複数の構造化タスクの性能を評価する，文分類は $\mathrm{BERT}_{\text {base }}+\operatorname{context}($ 表 1), 固有表現抽出とモダリティ判定は BERT+CRF(表 2-4),関係抽出2) は Simple-marker(表 5)を用いて検証した。

図 3 に各構造化タスクにおいて間値 (F 値) を超え た保全レポートの件数の推移を示す. 各構造化タス クを比較すると, 固有表現抽出・モダリティ判定や 関係抽出は，レポート全体の構造化の精度が比較的高いことが分かる。一方で，文分類は他のタスクと 比較して構造化の精度が低いレポートが多いことが 分かった. これは, 表 1 より, 症状や効果の構造化 の精度が十分でないことや，他の構造化タスクと比較して，レポート中の予測対象の数が少なく推定誤 りによる影響が大きいためである．また，すべての 構造化タスクにおいて，F 值 0.7 を超えたレポート は全体の約 $24 \%$ であった. 一方で，全ての構造化夕 スクで $\mathrm{F}$ 値 0.7 を下回るレポートは全体の約 $7 \%$ で あった. その他のレポート $(69 \%)$ においては，各夕 スクの性能の傾向がレポートごとに異なっていたこ とから，タスク間の知識を共有しながら学習する仕組みを採用するなど，いくつか改善が必要である.

## 4.2 構造化のエラー事例

文分類: 対策効果の文に誤分類される事例が散見 された．具体的には，“検討”や“確認”のように，症状の解決に直接寄与しない対応が対策効果を表わ す文として誤分類される傾向にあった。

固有表現抽出: 固有表現抽出では，現象と操作の

図 3 閾値 (F 值)を超えた保全レポートの件数の推移. 各 タスクの $\mathrm{F}$ 値はレポート中の平均 $\mathrm{F}$ 値, 全構造化タスク の $\mathrm{F}$ 值は各構造化タスクの平均 $\mathrm{F}$ 値の最小値とした。

ラベル間で誤分類が発生していた。例えば，“復旧” や“切替”という単語は，人が設備に対して実行した 動作なのか，部品の状態を表わす単語なのかによっ て固有表現ラベルも異なるため，各単語が文脈上で 持つ機能に関する判断が必要である。

モダリティ判定: 事実性判定では，仮定/条件のよ うに，事実性を一意に定められない記載に対する誤分類が散見された。具体的には，“〜で故障すると 流延停止に至る”のように，一般的な知識や特定の 状況を仮定した場合の記載が該当する。このような 場合は，その他に分類されるべきだが，BERT+CRF の推論では事実に分類されていた.

関係抽出: 全体-部分において逆向きの関係を誤検出する事例が散見された。具体的には，“コント ローラーボックスの基盤”という記載では，コント ローラーボックスの部品として基盤が抽出されるべ きであり，その逆は成立しない。

## 5 おわりに

本研究では，設備保全レポートを対象とした複数 のテキスト構造化タスクに関する性能評価を実施 した. 具体的には，文分類，固有表現抽出，モダリ ティ判定, 関係抽出の 4 つのタスクについて評価し,個別の評価では高精度に構造化可能なことを確認し た. 一方，複数の構造化タスクを保全レポートに同時に適用した評価では，すべてのタスクで高精度に 構造化可能なレポートは多くないことが分かった.

今後の課題として, 保全レポート全体の複数の構造化情報をより高い精度で抽出可能にすることが挙 げられる。 さらに，本稿で検証した構造化情報を検索などに適用し，その効果を検証する予定である。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] 勝又智, 小町守, 真鍋章, 谷本恒野. 障害レポートの 分類問題に対するデータ選択を用いた BERT モデ ルの精度向上. 言語処理学会 第 26 回年次大会, pp. 645-648, 2020.

[2] 山下郁海, 小町守, 真鍋章, 谷本恒野. 隠れ層補間によ るデータ拡張を用いた障害レポート分類. 言語処理学会 第 27 回年次大会, pp. 1794-1798, 2021.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対 する同時関連文章圧縮. 言語処理学会 第 23 回年次大会, pp. 186-189, 2017.

[4] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会 第 27 回年次大会, pp. 1264-1268, 2021.

[5] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会 第 27 回年次大会, pp. 189-193, 2021.

[6] 勝又智, 小町守, 真鍋章, 大頭威, 嶋崎優子. node2vec を用いた障害レポートにおける故障原因推定. 言語処理学会 第 25 回年次大会, pp. 1045-1048, 2019.

[7] 谷口元樹, 高橋拓誠, 谷口友紀, 大熊智子. 設備保全レ ポートにおける大規模マルチタスク情報抽出データ セットの構築. 言語処理学会第 28 回年次大会, 2022.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282, 2001.

[10] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, 2019.


# 単語を共有する文書グラフを用いた文書分類

井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

文書分類において，文書のテキスト情報を BERT でエンコードして分類する手法が主流である。一方 で，文書とそれが共有する単語を節点とした文書グ ラフを利用し文書間の関係を考慮した文書分類が提案されている．それぞれの手法は，文書の異なる観点を捉えていると考えられ，両方を活かした文書分類ができれば精度の向上が期待できる。そこで，本研究では BERT を利用して文書グラフの文書・単語節点表現を初期化し，両者の利点を効果的に利用す る手法を提案する. 実験では，本手法による精度向上を確認し，文書内のテキスト情報と文書グラフを 利用することの有用性を示した. また，文書分類に おける文書グラフの単語節点の影響も調査した。

## 1 序論

文書分類においては，文書のテキスト情報のみ を利用して分類を行う手法が主流である。近年，大量のデータで事前学習をした BERT (Bidirectional Encoder Representations from Transformers) [1] を用い ることで，少ないデータで微調整をするだけでタス クに特化したモデルが作成でき，大量のテキスト データによる事前学習と文書内のテキスト情報を考慮した表現によって高い精度が達成されている。

一方で，文書間の関係を表した文書グラフを利用 した文書分類が提案されている。 Yao ら [2] は，文書と単語を節点とし，文書節点とその文書に出現す る単語節点の間・関連度の高い単語間それぞれに辺 を張った文書グラフを用いて，文書分類を行ってい る.この文書グラフにより，共通した単語を持つ文書節点がその単語節点を介してつながり，文書間の 関係を考慮した文書分類ができる。

それぞれの手法は文書内のテキスト情報と文書間 の関係を表す文書グラフという文書の異なる観点を 捉えていると考えられるので，この両方を活かした 文書分類ができれば，より高い精度が達成できると複数の文書

図 1 提案手法の概要

期待できる。これまで，文書節点の表現に BERTを 利用した文書グラフを用いて文書分類を行う手法 [3] が提案されているが，単語は文書をつなぐ節点と してのみ利用されており，文書グラフとテキスト情報のつながりが文書節点のみになってしまっている ので，両者が十分に連携できているとは言えない.

そこで，本研究では，BERT を利用して文書グラ フの全節点にテキスト情報を追加し，テキスト情報 と文書グラフを密接に連携させ，両者をより効果的 に利用する文書分類の実現を目指す。

## 2 関連研究

文書分類には文書のテキスト情報のみを使用する 手法と文書間の関係を考慮する手法がある。

文書のテキスト情報のみを使う手法では BERTを 用いた手法が高い精度を達成している。この手法で は BERT でテキストをエンコードして得られた表現 を使って文書分類を行う．大量のデータで事前学習 した BERTを少ないデータで文書分類に特化するよ うに学習させることで，文書全体の文脈を考慮した 表現が得られ高い精度が達成できる。

文書間の関係を考慮する手法では，文書グラフ を用いた手法があり，Yao らは文書と単語を節点と

し，文書節点とその文書に出現する単語節点の間に TF-IDF 值で重み付けした辺・PMI の值によって関連度が高いとみなされた単語節点間の辺の 2 種類 の辺を張った文書グラフを用いた文書分類を提案 した. Yao らは節点に接続する辺を通して周りの節点からの情報をその節点に集約するグラフ畳み込 みネットワーク (GCN; Graph Convolutional Network) [4] を用いて, 文書グラフの節点表現をグラフ構造 を考慮するように更新し，分類に利用している。さ らに，BertGCN[3] では，文書節点の表現に BERTを 利用し, 文書グラフに文書のテキスト情報を追加す る手法を提案し，高い精度を達成している。

## 3 提案手法

本研究では，テキスト情報と文書グラフの情報の 両方を効果的に利用する文書分類モデルを提案す る. 両方を利用した BertGCN[3] に対して, 本研究 では，より密接な情報の連携を目指して，文書・単語節点の両方を BERT で初期化した文書グラフを用 いて文書分類をする。ここでは，この文書グラフの 作成方法について説明した後に文書分類に用いるモ デルについて説明したのちに，学習と予測について 説明する。

## 3.1 モデル

文書グラフの作成の概要を図 2 に示す. 本研究で は Yao らが提案した文書と単語を節点とする文書グ ラフとそのモデルを基盤として，文書・単語の両方 の節点に BERT の表現を追加して使用する。まず，文書のテキスト情報を BERT でエンコードして各 トークンの表現を得る. BERT の出力の [CLS]トー クンは文全体を表す表現になっているので，[CLS] トークンの表現を文書の初期表現として，TextGCN の表現である one-hot ベクトルに結合する.この際， BERT の表現のスケールを one-hot ベクトルのスケー ルと合わせるために，BERT の表現はL2 正規化した ものを用いる．単語の表現についても同様に BERT の表現を追加する. 単語の表現については，BERT ではサブワードをトークンの単位として表現してい るため，サブワードの表現を平均としたものを利用 する．今回使用する文書グラフでは，同じ表層の単語が複数回登場した際にもその単語の節点は一つし か用意しないので，すべての出現での表現の平均を その単語の表現とする. この文書グラフの節点表現 を GCNを用いて更新し，その表現を使って文書分類を行う。

## 3.2 学習

文書グラフの節点表現を GCN で更新してその表現で文書分類を行うため, 学習の時点で評価用の データが文書グラフに含まれている必要があり，含 まれていない文書についての予測はできない。その ため，学習は，分類対象のデータを利用するトラン スダクティブ学習の設定で行う，具体的には，ま ず，評価用データのラベルを隠した上で，訓練・評価用データを両方含む文書グラフを作成し，訓練 データのラベルを利用して学習することで節点の 表現を更新する。学習は交差エントロピーを損失関数として用いる．BertGCN では，BERTを微調整 (fine-tuning) しながら GCN を学習させるが，本研究 では，簡単のため，BERT から得られた表現は固定 して用いる. BERT と GCN の同時学習は今後の課題である.

## 3.3 予測

学習によって，評価用データの文書節点の表現が 更新されているため，この表現を利用して分類を行 い，評価用データに含まれる文書のラベルを予測 する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には, 医学文献の要旨のデータ セットである Ohsumed と映画評論のデータセット である Movie Reviewを使用した. Ohsumedではそれ ぞれの文書に 23 種類の心血管系疾患のカテゴリの うち 1 つ以上のカテゴリを付与されている. 本研究 では，単一ラベルの文書の分類にのみ注目している ので，既存研究 [2] と同様に複数ラベルを持つデー タを除外した。この結果，訓練，評価用データはそ れぞれ 3,357 件，4,043 件となった. Movie Review は 肯定的な評論 5,331 件と否定的な評論 5,331 件を含 む 2 值分類のデータセットで，訓練，評価用データ はそれぞれ 7,108 件，3,554 件であった. 実装には， Python 3.8.8を使い，事前学習モデルを使うために Transformers 4.5.1[5]，モデルの作成のために Pytorch 1.8.0[6]，DGL 0.7.2[7] を用いた. 評価においては,訓練データを 5 分割交差検証をして 5 つのモデルを 作成した。それぞれのモデルで評価用データの予測

図 2 文書グラフの作成

をして，その評価の平均を最終的な予測結果として 報告する. 評価指標には Accuracy を用いた. 最適化手法には Adam[8]を使用した。

BERT は, Movie Review には BERT-base-uncased[1] を，Ohsumed には科学文献で事前学習をしている SciBERT[9]を用いた.

ベースラインモデルとして，BERT のみを利用し た文書分類モデル (BERT) と文書グラフのみを利用 した文書分類モデル $(\mathrm{GCN})$ を用意した. BERT のみ を使用した文書分類モデルとしては，BERT でテキ スト情報をエンコードして得られた出力の [CLS] トークンの表現を全結合層により予測するモデル を用意した. 一般的に，BERT などの事前学習モデ ルは微調整して, タスクに特化させることで高い性能が達成できると知られている. しかし, 本研究の 提案手法ではテキスト情報を BERT に入力して，そ の出力を文書グラフの初期表現としているだけで， BERT を微調整せずに使っている。このことから，公平な比較を行うため，このベースラインにおいて も同様に BERT は微調整せずに全結合層のみを学習することとした. 文書グラフのみを利用したべー スラインでは，TextGCNに倣い，節点表現を one-hot ベクトルで初期化した文書グラフを使って文書分類 するモデルを用いた.

## 4.2 結果

実験結果を表 1 に示す. 文書節点のみを BERTで 初期化した文書グラフを使用したときに, Ohsumed
については正解率は低下したものの，Movie Review については文書グラフを使用したべースラインょり も高い正解率を達成できた. また，BERT の文書情報のみを用いたベースラインと比較しても精度の改善が見られた. さらに，単語節点も BERTで初期化 した文書グラフを使用したときには両方で正解率の 改善が見られた。

単語節点の初期化については，提案手法の文書中 に出現した単語の表現を利用する方法と単語の表層 だけを BERTを通して表現を得る手法で比較を行っ た. 単語の表層のみを使用する方法では，その単語 のみを BERT に入力してそのサブワードの表現の平均を単語節点の初期表現とした. Ohsumed, Movie Review どちらのデータセットでも表層だけを用い た手法よりも提案手法の文章中に出現した単語の表現を用いた手法が高い正解率を示した. これは，文章中に出現した単語の文脈情報が文書グラフを用い た分類において，有用であることを示している.

## 5 単語節点の影響の調査

提案手法では, 文書に登場するすべての単語を節点として持つ文書グラフを使用した. 文書グラフを 利用した文書分類においては，単語節点が文書節点 の間をつなぐため，単語節点が文書間の関係を表現 できることが重要である. このことから，単語節点 の選択が性能にどのように寄与するかの解析を行っ た.ここでは，文書が単語を共有する割合が重要で あると考え，単語が共通して現れる文書の数に着目
表 1 文書分類の正解率 (\%). Ohsumed には SciBERT を, Movie Review (MR) には BERTを用いた。

した.このため，それぞれの単語についてその単語 が現れる文書の数を数え，その数によって，その単語を文書グラフの節点とするかどうかを閾値によっ て決定した。その間値を変えて Ohsumed を用いて 解析した結果を，図 3 ，図 4 に示す。それぞれ，節点の表現を one-hot ベクトルで初期化した文書グラ フ・文書節点のみを BERT で初期化した文書グラフ での結果である．横軸が節点とするかどうかの登場回数の下限の閾値，縦軸が上限の閾値となる. 図に 示す数值は 5 分割交差検証における訓練データ上で の正解率である.

図 3，図 4 の両方で，2 個以上 1,000 個以下の文書 に登場する単語のみを節点としたときに最も高い精度となった. 1 つの文書にしか登場しない単語がネ ガティブな影響を与えているのは，文書グラフを利用した文書分類では，単語節点が 2 つの文書をつな ぐため文書間の関係を考慮した文書分類ができる が，1つの文書としかつながらない単語節点からは 文書間の関係を表現することができないためである と考えられる. また, 多くの文書で登場する単語に ついても，多くの文書がその単語によってつながれ てしまうため，カテゴリの異なる文書が近くなって しまい，正解率が下がってしまったのではないかと 考えられる。

## 6 結論

本研究では，文書情報と文書グラフの両方を効果的に利用できる文書分類モデルを目指し，文書グラ フの文書・単語の節点の両方を BERT で初期化し て，GCNを学習することで，文書分類を行う手法 を提案した. Ohsumed, Movie Review の 2 つのデー タセットに対して評価を行った結果として, 文書節点の初期値として BERT の表現を用いることで Ohsumed データについては性能が低下したものの, Movie Review データについては性能の向上が得られ た. 単語節点を BERT で初期化した場合については 両方のデータで性能の向上が得られた. また, 単語

図 3 単語節点の数による正解率の比較

図 4 単語節点の数による精度比較

節点を BERT で初期化する際は表層よりも文脈を含 めた表現を用いるほうが良いことがわかった. さら に，単語節点を対象に，文書グラフの作り方につい ても評価を行い，文書グラフを利用した文書分類に おいて，1 つの文書としかつながらない単語節点や 多くの文書とつながる単語節点は性能に悪影響をを 与えること示した.

今後は，単語だけでなく言及や用語などの異なる 要素や異なる構成を取り入れた文書グラフなど，よ り文書分類に適した文書グラフの作り方について検討を行う。また，BERT の微調整を GCN と同時に 行う手法についても検討を行い，より効果的な文書情報と文書グラフ情報の利用方法を模索していき たい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT, 2019.

[2] Liang Yao, Chengsheng Mao, and Yuan Luo. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019

[3] Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li, and Fei Wu. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[6] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[7] Minjie Wang, Da Zheng, Zihao Ye, Quan Gan, Mufei Li, Xiang Song, Jinjing Zhou, Chao Ma, Lingfan Yu, Yu Gai, et al. Deep graph library: A graph-centric, highlyperformant package for graph neural networks. arXiv preprint arXiv:1909.01315, 2019.

[8] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[10] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery \& data mining, pp. 2623-2631, 2019.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

## 付録

## A チューニングの詳細

Adam の学習率，GCN の隠れ層の次元数，ドロップアウト率の三個のハイパーパラメータを Optuna[10]を 用いてチューニングした. ドロップアウト [11] は訓練データでの過学習を防ぐために二層の $\mathrm{GCN}$ の層の間 に加えた.チューニングは複数のマシンで行い，NVIDIA 社の TITAN V，RTX A6000を用いた. チューニン グによって得られたハイパーパラメタは表 2 に示す.

表 2 チューニングの結果