# ソーシャルメディアにおける服薬ノンコンプライアンス発言の 分類と医薬品構造類似度を用いたコーパス可搬性の検討

西山智弘 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 堀里子 2 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 慶應義塾大学
${ }^{1}$ \{nishiyama. tomohiro.ns5,s-yada, wakamiya, aramaki\}@is.naist.jp
${ }^{2}$ hori-st $@$ pha.keio.ac.jp

## 概要

ソーシャルメディアデータを用いたへルスケア情報のモニタリングは人々の健康維持に役立つ可能性がある，我々は，ソーシャルメディアにおける服薬コンプライアンスに関連するラベルを付与した初の日本語コーパスである「MediAコーパス」を構築している. 本コーパスは 20 種類の医薬品について，服薬コンプライアンスの概念に基づき，ユーザによる発言の影響力の大きさを考慮してラベル付けされたデータセットである. 本研究では, 医薬品の性質に着目し, MediAコーパスを用いた分類結果を分析した。具体的には，異なる医薬品に関する発言の転移学習の可能性を定量的に評価するために, out-of-domain での分類結果と医薬品の構造類似性との相関について確認した.

## 1 はじめに

近年，ソーシャルメディアは副作用や服薬コンプライアンスなどの医薬品使用情報に関する豊富な知識源として注目されている $[1,2,3,4]$. 服薬コンプライアンスは患者が医師の指示通りに医薬品を使用することと定義され，ヘルスリテラシーと強く関連する概念の 1 つでもある [5]. 服薬コンプライアンスは，医療従事者だけでなく，患者にとっても重要であり，これらの情報の利用価値は高い. 服薬コンプライアンスに関する情報を得るための代表的な方法としては，直接測定，質問票による調査，医療従事者による評価などがある [6]. しかし，このような手法を用いて患者がどの程度医療従事者の指示のもと治療を行なっているか，適切に治療行為を理解しているか，ということを逐一監視するモニタリングはコストが高く，困難である。一方で，ソーシャルメディアによる服薬コンプライアンスや人々の医薬品に対する理解，その他健康関連情報の測定は，患者自身の服薬状況や理解度の把握, 医薬品規制当局による規制や医薬品供給者からの安全性情報の迅速な発信による人々の健康維持に役立つ可能性がある [7]. ソーシャルメディアデータにおけるコンプライアンス不良に関する発言の一例として， ダイエットをする人が適切な知識を持たず，医療従事者を介さずに自分で輸入したラシックス』などの処方薬を服用し，腎障害を起こした例が挙げられる。 そのようなツイートとしては次のようなものがある.

“筋肉が壊れる横紋筋融解症という病気の他に、 ラシックス®を自己判断で飲んでいたせいで腎臟も弱っていて”

特に，日本では，当局が一定の範囲内で処方箋のない個人が自己使用目的で海外から医薬品を直接輸入することを認めている。そのため，この例のような輸入医薬品による健康被害のリスクが海外よりも高くなる可能性がある $[8,9]$. さらに，ソーシャルメディアでは，医療機関を通さない医薬品の売買の可能性に関する発言など，他者に直接影響を与える行為が問題視されている [10].

そこで，我々は上記の服薬コンプライアンスという概念に加えて，他者に直接影響を及ぼす可能性のある発言をモニタリングするために，新たなデー タセット「MediAコーパス1)」を構築している。本コーパスは，Twitterにおける医薬品の不適切な理解に基づく認識や行動に関連する発言を「コンプライアンス不良」と広義に定義した上で，周囲への影響度を考慮して分類したものである.

コンプライアンス不良のモニタリングの運用という観点では, 該当する医薬品名以外の医薬品に対しても，精度良く検知を行うことが重要である。しかしながら，既存の研究では，どのような性質を有す

医薬品同士であれば，転移学習ができる可能性が高くなるかは検証されていない [11].

そこで，本研究では MediAコーパスを用いた分類の評価と医薬品の性質に注目して学習を試みた. さらに，異なる医薬品に関する発言の転移学習の可能性を定量的に評価するために，out-of-domain での分類結果と医薬品の構造類似性との相関についても評価した.この基本アイデアは，互いに類似している医薬品，例えば，ラシックス 『と類似する化学構造を持つ医薬品は，ラシックス $®$ と同じく， ダイエッ卜目的といった自己判断での服用が多い，という自然な直感に基づくものである. このため，化学構造の類似度と本研究での分類指標に関連があるものと考えた。

## 2 MediA コーパスの構築

本研究では，我々が構築している MediA コーパスを利用する。本コーパスは「ロキソニン ®」，「ボル

トラリン ® $\rfloor, 「$ 「ビリファイ $®$, 「コントミン $®$,

ミン」,「ラシックス $\mathbb{\circledR} 」$ からなる 20 種類の医薬品クエリで取得されたツイートについて，コンプライアンス不良とその影響度に応じてラベルが付与された全 22022 件のデータである. 20 種類のクエリは薬剤師資格保有者によって，(1)一般的な処方薬であり，商品名または一般名であること，(2) 3 年間のツイート数が 1000 ツイート以上と十分な量が確保できること，を基準として選定された。

本コーパスでは，発言者が医薬品の取り扱いに関して不適切に認識している，と読み取れる発言をコンプライアンス不良として定義した. さらに，コンプライアンス不良を個人的なものと，売買といった周囲へ影響を及ぼす可能性があるものに区別してラベル付けしている. 具体的には, 発言から個人的なコンプライアンス不良が読み取れる発言を $「$ Personal NC」, 影響力のあるコンプライアンス不良が読み取れる発言を「Influential $\mathrm{NC}\lrcorner$, コンプライアンス不良ではない服薬に関する発言を「Use」，それ以外の発言を「Others」としてラベル付けした.

## 3 実験

## 3.1 BERT による分類

BERT (Bidirectional Encoder Representations from Transformers）[12]を用いて実験を行なった．BERT の事前学習済みモデルである bert-base-japanesewhole-word-masking を採用し，MediAコーパスを用いてファインチューニングを行なった. このモデルは, 12 層, 768 次元の隠れ層, 12 個のアテンションヘッドから構成されている.このコーパスの有用性を評価するために，分類タスクを実施した. ラべル付データセットを8（学習セット）：1（検証セット）:1（テストセット）の割合で 3 つに分割した.本研究で学習させた全てのモデルについて, 検証損失が最も小さくなる地点で学習を停止させた.

## 3.2 out-of-domain での検証

医薬品クエリ $i$ に関するツイート $D_{i}$ で構築したモデル $M_{i}$ を用いて, 医薬品クエリ $j$ に関するツイート $D_{j}$ の分類を予測した. $i, j$ は 2 章に示した任意の医薬品クエリである. $i \neq j$ の場合, データセット $D_{i}$ を9（学習セット）:1（検証セット）に分割し， $D_{j}$ をテストセットとした. $i=j$ の場合は, データセット $D_{i}$ を (学習セット):1（検証セット）：1（テストセット）の割合で 3 つに分割した. また, 利用可能なデータセットが小さく, データの偏りが非常に大きくなるため，4つのラベルの割合が均等になるようにランダムオーバーサンプリングを行なった [13].

## 3.2.1 医薬品構造類似度

医薬品構造類似度を定量的に算出するために，化学構造の類似度を示す Tanimoto 類似度を使用した. Tanimoto 類似度とは，医薬品の構造の類似性を表す指標である [14]. 算出方法としては, 化合物 $A$ と化合物 $B$ のフィンガープリントの積集合の大きさを化合物 $A$ と化合物 $B$ のフィンガープリントの和集合の大きさで割ったものであり，2つの化合物に共通する部分構造のビットの割合として計算される.

Tanimoto 類似度を算出するために，各医薬品の化学式を SMILES（Simplified Molecular Input Line Entry System）に変換し [15], Morgan fingerprint ベクトルを得た. Morgan フィンガープリントの計算には，入カパラメータとして半径の大きさとビット数が必要であり，半径は 2 ビットと 1024 ビットに設定した.

## 4 結果と考察

## 4.1 BERT による分類

BERT によるツイート分類結果を表 1 に示す. F1 值のマクロ平均は 0.740 であり, Personal NC の F1 値は 0.597 と最も低かった. 同様の分類を試みた研究はないが，1 章で述べた関連研究において，服薬方法の変更を分類した時の $\mathrm{F} 1$ 値が 0.501 であったことから [11]，この值は妥当であると考えられる. 本コーパスのアノテーションでは, 医薬品ごとに用量などの分類基準が異なり, Personal NC に分類するか Use に分類するかは医薬品に依存するため, それだけモデルの学習が難しくなっている。この点を考慮すると，関連研究と比較して十分な値であるといえる. 実際に Personal NC とラベル付けされたツイー トの多くが Use と誤って分類された. Influential NC に分類されたツイートは最も少ないが，精度と再現率ともに 4 分類の中で最も高く, F1 值も最も高い. このことから，Influential NC は，他者に影響を与えるという事実が示すように，他者にとって理解しゃすいものであることが示唆される.このことは，モデルの分類結果にも反映されている.

表 1 BERT による分類結果

図 1 各医薬品クエリのツイート数と F1 值の散布図

表 2 はそれぞれの医薬品クエリごとの $\mathrm{F} 1$ 值であり，各医薬品の分類精度に大きなばらつきがあるこ表 2 それぞれの医薬品における F1 值 (P-NC:Personal NC, I-NC:Influential NC)

とがわかる。全体として，Influential NC で最も良い結果が得られた。しかし，各医薬品を詳しく見てみると，Influential NC の中でも，F1 値が低いものもあった.これは，ロキソニン ®やボルタレン $® の$ ように，OTC 医薬品としても使用されている医薬品があり，これらの医薬品の購入は問題行動ではないため，本来はコンプライアンス不良に分類されないためであると思われる．F1 值が 0 の項目はいずれも該当するツイート数が 40 以下とデータ量が少ないことが原因であると考えられる。

図 1 はツイート数と F1 値の関係を示す散布図であり，ここからは $\mathrm{F} 1$ 値がツイート数とともに増加することがわかる。一方で，Influential NC の F1 值は，他のカテゴリと異なり，ツイート数に依存しない. Influential NC に分類されたツイートは，言及された医薬品の種類が異なっていても，内容が類似していると考えられる。

## 4.2 out-of-domain での検証

out-of-domain での検証結果を図 2 に示す. ヒートマップの縦軸と横軸は，それぞれ学習データとテス

図 2 out-of-domain 検証時の F1 値

図 3 医薬品間の Tanimoto 類似度

トデータの医薬品クエリである．同じ医薬品を予測することは out-of-domain ではないが，対角線上の領域は比較のために参照データに含めている．色の濃さとマクロ $\mathrm{F} 1$ 値が対応しており，マイスリー ®，

ソムラ ®，パキシル ®，レクサプロ ®，セルトラリ

ル ®は対応する領域の色が濃く, これらの医薬品クエリのツイート同士は互いに利用できる可能性が示唆される.これらの医薬品は, 睡眠薬，抗不安薬，抗精神病薬に分類されることから，分類が似ている医薬品に対して，転移学習を行える可能性が高いことが示唆された。

各医薬品間の Tanimoto 類似度を図 3 に示す. 類似度は化合物の構造的な類似性を数值化したもので，同じ医薬品の類似度が 1.0 となる. ロキソニン ® とボルタレン ®のように，同じような目的で使用

図 4 Tanimoto 類似度と F1 值の散布図

される医薬品は，構造が似ていることが多い.

各医薬品の Tanimoto 類似度と F1 値の関係を図 4 に示す。縦軸，横軸ともに平均 0 ，分散 1 で標準化されている. Tanimoto 類似度と F1 值の相関は 0.278 $（ p<0.05 ）$ であった. この結果は，構造類似度が分類結果と弱い相関があることを示している。このことから，医薬品の構造情報を医薬品関連文書の転移学習に利用できることが示唆された。

## 5 まとめ

本研究ではコーパスを用いた分類の評価を実施し，作成したモデルは $\mathrm{F} 1$ 值 0.728 を示した.このコーパスを用いて，転移学習の可能性を評価した。 out-of-domain での評価指標の結果は, 医薬品の構造類似性に相関していた。類似した医薬品に関しては，転移学習を行うことのできる可能性が高いことが示唆された。

服薬コンプライアンスについては，新薬やジェネリックなど対象となる医薬品が次々と上市され，また，意図的な違法な用途については，その名称は隠語に変換されやすい．このような状況を考えると，大規模なコーパスを静的に使うのではなく，提案手法のように out-of-domain でのアプローチを実践することで，現状に迅速に追随することが重要だと考えている，今後は，本コーパスをリアルデータに適用し, 各医薬品に関するコンプライアンス不良の解析を実施する予定である.

## 謝辞

本研究の一部は, JST AIP 日独仏 AI 研究 JPMJCR20G9，国立情報学研究所 (NII) CRIS，JSPS 科研費 JP21H03170 の助成を受けたものである.

## 参考文献

[1] Takeshi Onishi, Davy Weissenbacher, Ari Klein, Karen O'Connor, and Graciela Gonzalez-Hernandez. Dealing with medication non-adherence expressions in Twitter. In Proceedings of the 2018 EMNLP Workshop SMM4H: The 3rd Social Media Mining for Health Applications Workshop \& Shared Task, pp. 32-33, Brussels, Belgium, 2018. Association for Computational Linguistics.

[2] Mondira Bhattacharya, Scott Snyder, Murray Malin, Melissa M. Truffa, Sandy Marinic, Rachel Engelmann, and Ritu R. Raheja. Using social media data in routine pharmacovigilance: A pilot study to identify safety signals and patient perspectives. Pharmaceutical Medicine, Vol. 31, No. 3, pp. 167-174, 2017.

[3] Jiaheng Xie, Daniel Dajun Zeng, Xiao Liu, and Xiao Fang. Understanding reasons for medication nonadherence: An exploration in social media using sentiment-enriched deep learning approach. In ICIS 2017, ICIS 2017: Transforming Society with Digital Innovation. Association for Information Systems, 2018.

[4] Su Golder, KarenO' Connor, Sean Hennessy, Robert Gross, Graciela Gonzalez-Hernandez. Assessment of Beliefs and Attitudes About Statins Posted on Twitter: A Qualitative Study. JAMA Network Open, Vol. 3, No. 6, pp. e208953-e208953, 2020.

[5] T. A. Miller. Health literacy and adherence to medical treatment in chronic and acute illness: A meta-analysis. Patient Education and Counseling, Vol. 99, No. 7, pp. 1079-1086, 2016.

[6] W. Y. Lam and P. Fresco. Medication Adherence Measures: An Overview. BioMed Research International, Vol. 2015, p. 217047, 2015.

[7] Abeed Sarker, Graciela Gonzalez-Hernandez, Yucheng Ruan, and Jeanmarie Perrone. Machine learning and natural language processing for geolocation-centric monitoring and characterization of opioid-related social media chatter. JAMA Network Open, Vol. 2, , 2019.

[8] Hiromi Okazawa. Laws and regulation on the personal importation of medicines in various countries. Japanese Journal of Social Pharmacy, Vol. 36, No. 1, pp. 39-44, 2017.

[9] Hiroshi Takanashi, Hiromi Okazaki, Humiko Aihara, Tatsuro Koga, Keiichi Hashimoto, and Tomoko Watanabe. Personal import of medicines with potential risks:dangers go beyond counterfeit drugs. Japanese Journal of Social Pharmacy, Vol. 35, No. 2, pp. 108-116, 2016.

[10] Tim K Mackey and Janani Kalyanam. Detection of illicit online sales of fentanyls via twitter. F1000Research, Vol. 6, p. 1937, November 2017.

[11] Davy Weissenbacher, Suyu Ge, Ari Klein, Karen O'Connor, Robert Gross, Sean Hennessy, and Graciela Gonzalez-Hernandez. Active neural networks to detect mentions of changes to medication treatment in social media. Journal of the American Medical Informatics Association, Vol. 28, pp. 2551-2561, 2021.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans- formers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[13] Gustavo E. A. P. A. Batista, Ronaldo C. Prati, and Maria Carolina Monard. A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter, Vol. 6, No. 1, p. 20-29, 2004.

[14] Taffee T Tanimoto. An elementary mathematical theory of classification and prediction. IBM internal report, 1958.

[15] David Weininger. SMILES, a chemical language and information system. 1. introduction to methodology and encoding rules. Journal of Chemical Information and Computer Sciences, Vol. 28, No. 1, pp. 31-36, 1988.


# SNS 上の攻撃的表現の検出と位置特定

牧元大悟 ${ }^{1}$ 徳永健伸 ${ }^{1}$
1 東京工業大学 情報理工学院
makimoto.d.aa@m.titech.ac.jp take@c.titech.ac.jp

## 概要

本研究では日本語における攻撃的表現の検出及び位置特定のタスクのためのデータセット構築し，このデータセットを用いて，最先端の機械学習モデルを含む複数のモデルで実験を行いその結果を比較した。英語を対象とした関連研究の学習モデルが本研究で作成したデータセットにおいても良い結果を達成することを確認した。また, 攻撃的表現の検出と位置特定をまとめたタスクにおける評価手法について考察し，サブタスクに分割して取り組む方針の有効性について検証した。

## 1 序論

本研究の目的は SNS 上の日本語の投稿に対する攻撃的表現の検出とその位置の特定である。具体的には、SNS 上の投稿を入力とし，投稿が攻撃的表現を含むかどうかを判定し，攻撃的表現を含むものに対してその位置を出力するモデルを構築する。本研究で扱う攻撃的表現とは，第三者が投稿を見た際に攻撃的な表現であると判断できるものである。攻撃的表現の検出と位置特定を同時に扱う先行研究はなく, 特に日本語の投稿を対象とした研究では攻撃的表現の位置特定を扱った研究はない。本研究では日本語のデータセットの作成し、攻撃的表現の検出と位置特定を同時に行なう手法の提案と英語における先行研究を参考にした複数の機械学習モデルの実装と比較，評価手法の検討を行なった。また，攻撃的表現の検出と位置特定を包括的に行う上での評価方法やタスクの取り組み方，データセットの利用方法を複数の設定で実験し，比較を行なった。本研究の貢献を以下にまとめる。

・攻撃的表現がアノテーションされた日本語デー タセットの作成方法の提示
- 最先端の機械学習を用いた攻撃的表現の検出と位置特定タスクの実装と評価
・本タスクに対する評価手法の考察

## 2 関連研究

## 2.1 英語における攻撃的表現の検出

Zampieri らは, Offensive Language Identification を含むタスク群を扱った共有タスクを提案している $[1,2]$ 。このタスクで用いられたデータセット OLID [3] は，キーワードを用いて Offensive Language を含みやすいツイートを収集し，アノテーションしたものである。Zampieri らの Offensive Language の検出では, ALBERT[4] のアンサンブルモデルが最も良い結果を達成した [1]。

## 2.2 英語における攻撃的表現の位置特定

Pavlopoulos らはは Toxic Span Detecion を扱った共有タスクを提案している [5]。データセットは，既存のデータセットから “Toxic” とラベルされたコメントを取り出し，それらに対しスパンのアノテー ションしている。BERT ベースの 3 つのモデルのアンサンブルが最も良い結果を達成した。

## 2.3 日本語における関連研究

尼崎らは Twitter から人が嫌がる語を含む投稿を収集し，人手により不適切な投稿であるかどうかのラベルを付与した [6]。作成したデータに対して Bag of Words(BoW) で特徵量を抽出し線形 SVM を用いて不適切投稿の検知を行なっている。他の類似研究として，学校非公式サイトでの有害な書き込み検出 $[7,8]$ や掲示板の書き込みが児童買春を示唆しているかの有害性評価 [9] や SNS 上で非難が殺到してしまう投稿を検知する炎上検出 $[10,11]$ などがある。

## 2.4 本研究の位置づけ

本研究は，Twitterにより収集したデータに対し，人手でアノテーションを行いデータセットを作成す

る。作成したデータセットに対して最先端の機械学習モデルを使用して攻撃的表現の検出及び位置特定を行う。英語を対象とした研究で用いられているような最先端の機械学習モデルが用いられた日本語における先行研究はなく, 攻撃的表現の位置特定については先行研究が存在しない。また，検出と位置特定を同時に扱うような研究は英語においても行われていない。

## 3 データ

## 3.1 データ収集

本研究では，SNS 上の投稿としてツイートを扱う。ツイートの収集には TwitterAPI ${ }^{1)}$ を利用する。 リプライ及び引用リッイート（以下，まとめてリプライと呼称）を収集対象とし、既定の攻撃的単語を含むツイートを複数回しているアカウントからリプライを収集した。既定の攻撃的単語には，畠山ら [12] が用いた人手のアンケートで半数以上の人が有害及び少し有害と判断した種単語群のうち卑猥語を除いた以下の 17 単語を用いた。

死ね，消えろ, 蛆虫, カス, 殺す, きもい, うざい,

不細工, ビッチ, クズ, マスゴミ, 脱冀, 糞虫, ダセー,ゴキヲタ, マジキモ, 死ね

上記で得られた最終的な収集データに対し，メンションやハッシュタグ除去等の前処理を行い, 最終的に 306 のアカウントから合計 34,123 リプライが集まった。また，そのうち既定の攻撃的単語を含むりプライ数は 1,292 で全体の $3.7 \%$ である。

## 3.2 アノテーション

3.1 で収集したリプライに対し人手で以下の $2 \supset$ のアノテーションを行なった。1 リプライにつき 3 人のアノテーターが担当した。

(1) 攻撃的表現を含むかどうかを，「0: 含まない」「1: 含む」「2: ツイートの内容が理解できない」 に分類する

(2)「1: 含む」の攻撃的表現を括弧で囲む（複数可）

## 3.3 データセット構築

攻撃的表現を含むかのラベルについては，2人以上が「2: ツイートの内容が理解できない」としたリプライを除外し，それ以外のリプライについては 1

1) https://developer.twitter.com/en人以上が「1: 含む」としたリプライのラベルを「1:含む」とし，残りを「0: 含まない」とした。

そして「1: 含む」のラベルがついたリプライについて以下の手順で攻撃的表現の位置を決定する。

(1) 括弧で囲まれた攻撃的表現を文字インデックスの集合に変換し，3 人の文字のインデックスの集合を統合する

(2) リプライを MeCab[13]を用いてトークン単位に分割し, (1)で作成した集合の要素のインデックスが含まれるトークンを攻撃的表現トークンとし，IOB タグに変換する

攻撃的表現の位置決定における手順 (1) の例を表 1 に示す。以上の操作で得られた BI タグで表される攻撃的表現のトークン列を 1 つのスパンと呼ぶ。

作成したデータセット内のラベルの分布を表 2 に示す。また, 攻撃的表現を「1: 含む」とされた 4,828 ツイートの約 $20 \%$ に収集に用いた既定の攻撃的単語が含まれていた。得られたデータセットを 6:2:2で訓練・開発・テストに分割した。

## 4 タスク設定と評価

## 4.1 タスク設定

本研究では，SNS 上の攻撃的表現の検出と位置特定という目的を 2 つのサブタスク，攻撃的表現の検出と攻撃的表現の位置特定に分けて考える。攻撃的表現の検出は入力されたリプライが攻撃的表現を含むかどうかの二値分類を行う。出力は $\Gamma 0$ : 含まない」「1: 含む」のタグとなる。攻撃的表現の位置特定は攻撃的表現が存在すればそのスパンを出力する。出力はスパンを表現する BIO タグとなる。

それぞれのサブタスク単体の実験と 2 つのサブタスクをまとめた実験を行う。サブタスクのまとめ方

として，2つのサブタスクをパイプライン式に行う方法と両方のサブタスクを一括式に行う方法の 2 通りで実験を行う。パイプライン式では攻撃的表現の検出を行った後，検出結果が「1: 含む」の例についてその位置特定を行う。一括式では攻撃的表現の位置特定を行い，出力にスパンが含まれないような例を攻撃的表現を含まないとすることで攻撃的表現の検出と位置特定の両方の結果を得る。

## 4.2 評価

攻撃的表現の検出の評価には，「1: 含む」を対象とした Accuracy，Precision, Recall，F1 値を用いる。攻撃的表現の位置特定の評価には，Partial Match F1，Exact Match F1，Char-offsets F1 を用いる。Partial Match と Exact Match は固有名認識 (Named Entity Recognition)における評価であり，スパンをベースに評価を行う。Partial Match は正解のスパンの一部にモデル出力のスパンが被っていればそのスパンについては TruePositive としてカウントし, Exact Match は正解とモデル出力のスパンが完全に一致してる場合を TruePositive としてカウントする。

Char-offsets F1 は Pavlopoulos ら [5] が用いた評価尺度である。リプライ内のスパンを文字オフセットに変換し, 正解とモデル出力の文字オフセットリストから F1 を計算する。データセット中の各リプライについて上記の $\mathrm{F} 1$ を計算し，平均したものが Char-offsets F1 である。ただし, 正解とモデル出力の文字オフセットリストが共に空の場合は F1 を 1 , どちらか一方が空の場合は $\mathrm{F} 1=0$ として計算する。後述の表中では Partial Match F1，Exact Match F1，Char-offsetsF1をそれぞれPMF1，EMF1，CoF1 と略記する。

## 5 学習モデル

## 5.1 攻撃的表現の検出

攻撃的表現の検出には BiLSTM モデルと ALBERT fine-tuning モデルを用いる。

BiLSTM モデルは 1 層の BiLSTM 層と二値分類器から成るモデルを使用した。埋め込み表現の獲得には ELMo[14]を用いた。

ALBERT Fine-tuning モデルは [1] の Offensive lanuage の検出で最も良い結果のモデルを参考にした。学習済みの ALBERT $^{2}$ を本研究のデータセットで

2) https://github.com/cl-tohoku/bert-japanese fine-tuning したモデルである。ALBERT の入力トー クン列の先頭に挿入される特殊トークン [CLS] の最終隠れ状態を二値分類器の入力とする。

## 5.2 攻撃的表現の位置特定

攻撃的表現の位置特定には BiLSTM-CRF モデルと BERT-CRF fine-tuning モデルを用いる。

BiLSTM-CRF モデルは 1 層の BiLSTM 層と CRF 層から成るモデルを使用した。CRF[15] 層は，各トー クンに対する各タグのスコアを入力としてタグの依存関係を考慮した全体の最適なタグ列を出力する。埋め込み表現の獲得には ELMoを用いる。

BERT-CRF fine-tuning モデルは [5] の Toxi Span Detection において最も良い結果のモデルを参考にした。学習済みの BERT $^{3}$ )を本研究のデータセットで fine-tuning したモデルである。BERT-CRF は NER において最先端のモデルの 1 つである。各トークンに対する BERT の最終 Transformer 層の隠れ状態を CRF に入力する。

## 5.3 一括式のタスク設定

一括式のタスク設定では，5.2の BERT-CRF finetuning モデルと同様のものを用いる。ただし，5.2のモデルについては攻撃的表現を含む例のみで学習を行うが，一括式のタスク設定におけるモデルでは全ての例を用いて学習を行う。

## 6 評価実験

## 6.1 サブタスクの実験結果

表 3 に攻撃的表現の検出の結果，表 4 に攻撃的表現の位置特定の結果を示す。攻撃的表現の位置特定については入力が必ず攻撃的表現を含むという前提であり，単体のタスクとして考えた場合の結果である。これらの結果は異なるシード值における 5 回の実験の結果の平均値である。

表 3 攻撃的表現の検出モデルの単タスク性能評価

表 4 攻撃的表現の位置特定モデルの単タスク性能評価

## 6.2 タスク全体の結果

6.1 でそれぞれのサブタスク単体としての結果を示した。それらのサブタスクで最も結果が良かったモデルである ALBERT fine-tuning と BERT-CRF fine-tuning を接続したパイプライン式のモデルの結果と BERT-CRF fine-tuning を用いた一括式のモデルの結果を表 5 と表 6 に示す。

表 5 攻撃的表現の検出：パイプライン式・一括式

表 6 攻撃的表現の位置特定 : パイプライン式・一括式

## 6.3 パイプライン式と一括式の比較

パイプライン式と一括式の「1: 含む」の検出成功数を表 7 に示す。また，パイプライン式と一括式の Partial Match 基準のスパン特定成功数を表 8 に示す。 それぞれモデルは 6.2 と同様である。攻撃的表現のスパンについてはパイプライン式と一括式のそれぞれで位置特定に成功しているスパンのうち 5 割以上が各モデルでのみ特定に成功している。そのため,位置特定についてはアンサンブルすることで結果が向上する可能性が高いといえる。

## 6.4 評価尺度について

攻撃的表現の位置特定の評価に用いた Char-offsets F1 は，攻撃的表現のスパンがない例がデータセット中に多い場合にスパンがある例の影響が小さくなり，スパンを特定できているかどうかの差が值に出にくくなってしまう。Char-offsets F1 を用いていた先行研究 [5] では, 既存のデータセットで “Toxic” と判定されたコメントのみを対象としてデータセットを作成しているため上記の問題は発生しない。本研究においては，攻撃的表現の位置特定のみの実験では攻撃的表現を含む例のみを対象としているため上表 7 パイプライン式と一括式の「1: 含む」の検出成功数

記の問題は発生しないが，タスク全体での攻撃的表現の位置特定の評価ではデータセットの多くが攻撃的表現のスパンを含まない例のため評価指標に適していないと考えられる。

同じく攻撃的表現の位置特定の評価に用いた Partial Match F1 及び Exact Match F1 については，例ごとにではなくスパンごとに評価しているため， Char-offsets F1 と同様の問題は発生しない。Partial Match F1 の問題点としてはモデル出力のスパンの長さを評価において考慮しなため，スパンをより長く出力するモデルにおいて評価が高くなってしまうというものがある。一方 Exact Match F1 では，過不足なく正解スパンと一致させるのは難しいという問題がある。実際に 3 人のアノテーターが全員「1: 含む」とした例について，そのスパンが完全一致しているものは 1032 例中 283 例であり，人手においてもスパンが完全一致する例は少ない。

## 7 結論

本研究では日本語における攻撃的表現の検出及び位置特定のタスクを提案した。本タスク用のデー タセットの作成方法について述べ，作成したデータセットを用いて実験を行った。実験には最先端の機械学習モデルを用い，従来モデルでの結果との比較やいくつかの異なる条件での性能の比較を行なった。また，英語における既存の先行研究と関連研究を参考に評価手法について考察した。

今後の取り組みとしては，攻撃的であると判断したアノテーターの人数を利用した重み付きのロス関数の導入や本研究におけるパイプライン式のモデルと一括式のモデルのアンサンブルモデルを用いることが挙げられる。また, fine-tuning に用いた機械学習モデルの事前学習に Twitter のデータを用いることでも結果の改善が期待できる。

## 参考文献

[1] Marcos Zampieri, Preslav Nakov, Sara Rosenthal, Pepa Atanasova, Georgi Karadzhov, Hamdy Mubarak, Leon Derczynski, Zeses Pitenis, and Çağrı Çöltekin. SemEval2020 task 12: Multilingual offensive language identification in social media (OffensEval 2020). In Proceedings of the Fourteenth Workshop on Semantic Evaluation. International Committee for Computational Linguistics, 2020.

[2] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (OffensEval). In Proceedings of the 13th International Workshop on Semantic Evaluation. Association for Computational Linguistics, 2019.

[3] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. Predicting the Type and Target of Offensive Posts in Social Media. In Proceedings of NAACL, 2019.

[4] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations, 2020.

[5] John Pavlopoulos, Jeffrey Sorensen, Léo Laugier, and Ion Androutsopoulos. SemEval-2021 task 5: Toxic spans detection. In Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021). Association for Computational Linguistics, 2021.

[6] 尼崎航成, 向井宏明, 松井くにお. SNS における不適切投稿の検知. 第 82 回全国大会公演論文集, 2020.

[7] 松葉達明, 桝井文人, 井須尚紀. 学校非公式サイトにおける有害情報検出を目的とした極性判定モデルに関する研究. 言語処理学会第 17 回年次大会発表論文集, 2011.

[8] 新田大征, 桝井文人, プタシンスキ・ミハウ, 木村泰知, ジェプカ・ラファウ, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 第 27 回人工知能学会全国大会発表論文集, 2013.

[9] 安彦智史, 長谷川大, プタシンスキ・ミハウ, 中村健二, 佐久田博司. Id 交換掲示板における書きこみの隠語表記摇れを考慮した有害性評価. 情報システム学会誌, pp. 41-58, 2018.

[10] 三宅剛史, 松本和幸, 吉田稔, 北研二. 分散表現を用いた有害表現判別に基づく炎上予測. 人工知能学会第二種研究会資料, 2017.

[11] 大西真輝, 澤井裕一郎, 駒井雅之, 酒井一樹, 進藤裕之. ツイート炎上抑制のための包括的システムの構築. 人工知能学会全国大会論文集, 2015.

[12] 畠山鈴生, 栘井文人, プタシンスキ・ミハウ, 山本和英. 有害表現抽出に対する種単語の影響に関する一考察. 人工知能学会全国大会論文集, 2016.

[13] 工藤拓, 山本薫, 松本裕治. Conditional random fields を用いた日本語形態素解析. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 2004.

[14] Wanxiang Che, Yijia Liu, Yuxuan Wang, Bo Zheng, and
Ting Liu. Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. Association for Computational Linguistics, 2018.

[15] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning. Morgan Kaufmann Publishers Inc., 2001.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 旅行代理店での対話における回答方法を基準とした質問分類

柳谷百音 ${ }^{1}$ 但馬康宏 ${ }^{2}$
${ }^{1}$ 岡山県立大学大学大学院 情報系工学研究科 ${ }^{2}$ 岡山県立大学 情報システム工学科
${ }^{1}$ sk621047@cse. oka-pu. ac. jp

## 概要

本研究では旅行代理店での案内役として扱われる対話ロボットに着目した。このロボットはユーザからの多数の質問に回答しなければならない. ユーザが満足する回答を示すためには質問の意図を適切に把握し，それに応じて回答手法を変えることが有効であると考え, 旅行代理店の対話における回答方法を基準とした質問分類の提案およびその分類を行う手法の検討を目的としている。質問の分類として，情報提示，ロコミ，意見，おすすめ，最新情報の 5 種類の提案を行い, 分類手法として単語ベクトルを特徼量としたサポートベクターマシンを実装し, 分類精度の比較実験を行った.

## 1 研究目的 - 背景

近年，様々なロボットが開発されていく中，ユー ザと対話し，情報や面白さを提供することを目的とした対話ロボットの研究も進められている[1][2][3]. その中には, 店内で商品の案内をするロボットや,駅の窓口で切符の買い方を案内するロボットなどユ一ザの目的に沿った様々な対話ロボットが存在する。

本研究では, 旅行代理店などのカウンター越しに来店したお客様に対して商品の販売やサービスの提供を行う，カウンターセールスで扱う対話ロボットに着目した。これらの対話ロボットは, お客様であるユーザと対話し, ユーザからの多数の質問に答えなければならない。ユーザがする質問は商品の情報を聞きたい質問や，おすすめを尋ねる質問，相手の意見を聞きたい質問などが混在している。ユーザの対話の満足度向上には情報の正確性のみが重要ではなく, 質問の意図を把握し, ユーザに寄り添った回答をすることが求められる．例えば，「東京駅には様々なお店があって楽しいですよね?」という質問の場合, 質問者は「はい, 東京駅には何店舗のお店があります」といった回答を望んでいるのではなく，「はい，私もよくランチをして楽しんでいます。」
のような返答が望ましい。このように回答に期待することは質問によって異なる。 そこで質問を，回答方法を基準に分類し，その分類に応じた適切な回答方法で答えを提供することによって，よりユーザの満足度が高い対話が実現できると考えた. 本研究では最初の段階として，旅行代理店での対話における回答方法を基準とした質問分類の提案および，その分類を行うための機械学習を用いた手法の検討を目的とする。

## 2 関連研究

Q\&A サイトにおける質問と回答の分類に関する研究として栗山らの研究[4]がある. この研究では, Yahoo!知恵袋において質問者の目的や意図がどのように質問文に影響を与えるのかを調べるための最初の段階として，質問のタイプについての分析を行った. 著者らは質問を手作業で分析し，Q\&A サイトに見られる質問を大きく分けて情報検索型と社会調查型, 非質問型の 3 種類, さらにそれぞれのタイプにおいて詳細に分類し計 13 種類の質問のタイプを提案している。この分類を行うために，田中ら[5]や大森ら[6]の研究では機械学習や特徵表現を用いた手法を提案している.

質問者の期待に基づく質問分類として渡邊らの研究[7][8]がある.この研究では $\mathrm{QA}$ コミュニティにおいて回答者の質問の選択を容易にすることを目的とした質問タイプの分類方法について述べられている.質問タイプとして事実，根拠，経験，提案，意見へ分類し，その分類を行うためのSVM を用いた手法を提案している. SVM の入力に用いる素性として質問文から決められた品詞の組み合わせの単語ベクトルを使用した場合と，人手で各カテゴリにおいて選択語を決め素性とした場合において精度の比較を行った結果，選択語を素性とした場合のほうが単語べクトルを素性とした場合よりも $\mathrm{F}$ 值が 2 倍良好であった.

## 3 質問の分類

本研究において質問は質問者を満足させるための回答方法を基準に 5 種類への分類を提案する. 質問の定義について表 1 に示し, それぞれの分類について説明する。

## 表 1 : 提案する質問のカテゴリと定義

「情報提示」は客観的な回答が求められ, 回答者による差はない質問である.このカテゴリの質問の場合には，質問者は知識や情報量が少ない人と考えられ, 回答方法としてはインターネットの情報などを分かりやすく提示するのがよいと考えられる.

「口コミ」は回答者によって答えが異なる質問で,質問者は経験について知りたいことが多い. そのため, 回答手法としてはロコミサイトなどからの引用が効果的であると考えられ, 数が多い, 信頼性が高い情報が求められる.

「意見」も回答者によって答えが異なる質問であるが, 「口コミ」とは異なり, 経験を含まない質問も存在する. また, 一人の回答者であっても, 時期によって答えが異なる特徴がある.

「おすすめ」は質問者がおすすめを尋ねる質問で， レコメンドシステムのように質問者に応じた回答が求められる. そのため, 「おすすめ」の質問の場合には，すぐに回答するのではなく，質問者の好みや条件を絞るような質問をすることが効果的であると考える。

「最新情報」は旅行代理店特有の時期に応じた質問が多いことに着目しカテゴリとして提案する. 旅行や観光における質問には, その時によって回答が異なることや，インターネットよりも最新の情報を求める場合が多い. そこでこのカテゴリの質問に対しては, SNS などの最新情報を得られるツールでの回答や, 現地の人が回答することによってより質問者の求める新鮮な情報が得られると考えた.

各カテゴリにおける旅行代理店で考えられる質問例を表 2 に示す.

表 2 : 各カテゴリにおける質問文の例

検索型に分類される質問を一つのカテゴリとして設定したことである。これは，「事実」，「根拠」のどちらのカテゴリにおいても回答方法はウェブサイトの記事からの引用など同じであると判断したため,今回の回答方法を基準とした分類では一つのカテゴリとした. また, 今回は関連研究にはなかった「最新情報」のカテゴリを追加した. このカテゴリの追加により，質問を時間軸で分類することが可能となり, リアルタイムな情報が求められる旅行代理店では有効でありユーザの満足度が向上すると考えられる.

## 4 分類手法

## 4. 1 使用したデータ

次に，本研究の分類を行うための機械学習を用いた手法について説明する。

はじめに，機械学習に用いたデータについて説明する. 旅行代理店のカウンターで考えられる質問としては観光地に関する質問，旅行に関する質問が考えられる.そこで質問文のデータとしては Yahoo!知恵袋の「地域, 旅行, おでかけ>観光地, 行楽地」 カテゴリ内の 2020 年 12 月 1 日から 2020 年 12 月 13 日までに投稿された回答済みの質問 501 個を用意した. 旅行代理店のカウンターでは対話が行われているため，ユーザは質問を短い文で尋ねると考えられる. そこで，用意した各質問の中心となる質問部分を 1 文，または 2 文を抜粋し，今回の質問文のデー タとした。 そして各質問文に対して形態素解析器 $\mathrm{MeCab}$ を用いて形態素解析を行い, 質問文を形態素ごとに分解し, 品詞を付与した. 各カテゴリの質問数および合計を表 3 に示す. 学習データとして各力テゴリの質問の 7 割を使用した。
表 3 : 各カテゴリにおける質問数

## 4. 2 単語のベクトル化

形態素ごとに分割された質問文に対して単語べクトルの付与を行った. 今回，ベクトル化には tf-idf ベクトルと Word2Vec[9]を用いた. それぞれのべクトル化について説明する.

tf-idf ベクトルとはいくつかの文書があった場合，各文書におけるキーワードの重要性を示すための手法である．今回は各カテゴリの質問文全文をひとつの文書としてとらえ, 各カテゴリにおける単語の tfidf ベクトルの計算を行った. tf(term frequency)は単語の出現頻度で, 各文書においてその単語がどれほど出現したかを表し, ある単語 $i$ 文書 $j$ 内での出現回数を $n_{i j}$, 文書 $j$ のずての単語の出現回数の和を $\sum_{k} n_{k j}$ とすると, 式(1)で求められる.

$
t f(i, j)=\frac{n_{i j}}{\sum_{k} n_{k j}}
$

次に idf(inverse document frequency)は逆文書頻度で，ある単語が出現する文書頻度の逆数を表す.この値は複数の文書にわたって多く出現する単語は値が小さくなるのに対して一つの文書のみに何回も出現する単語は値が大きくなる. 全文書数を $D$, 単語 $i$ が出現する文書数を $d f(i)$ としたときの $\operatorname{idf}$ は式(2)によって求められる.

$
i d f(i)=\log \frac{D}{d f(i)+1}
$

$\mathrm{tf}$ 値と idf 値を利用して文書 $j$ における単語 $i の \mathrm{tf}$ idf 値は式(3)で求められる。

$
t f-i d f_{i, j}=t f(i, j) \times i d f(i)
$

この值を各カテゴリにおけるそれぞれの単語において求め単語ベクトルとして使用した. 今回はベクトル化する単語の品詞を名詞, 名詞（数, 固有を除く), 自立語, 全品詞の 4 パターン作成し, 精度の比較を行った. 次に, Word2Vec について説明する.

Word2 Vec とは文章中の単語を数値ベクトルに変換
してその意味を把握するものである. tf-idfベクトルでは学習データに使用されている単語のみのベクトル化になるため, 未知語がテストデータに含まれた場合に対処できない，そのため精度が下がることがある.そこで膨大なテキストデータを学習させた Word2Vec を使用することで未知語にも対応するようにした．Word2Vec の訓練済みベクトルとして日本語 Wikipedia エンティティベクトルiを使用した. またベクトル化する単語の品詞は名詞十動詞を使用した場合と自立語を使用した場合の 2 パターンを作成して精度の比較を行った。

## 4. 3 使用した分類器

次に質問文の単語ベクトルを入力とした分類器を作成し, 質問文の分類を行った. 本研究の分類にはサポートベクターマシンを使用した。サポートベクターマシンは通常 2 值分類を行う分類器である. そこで今回は各カテゴリに属するか否かの分類を行う実験 1 ，およびサポートベクターマシンを多クラス分類に応用した実験 2 を行った. サポートベクター マシンを多クラス分類に適応した仕組みについて説明する. 本研究ではサポートベクターマシンのツー ルとして scikit-learn ライブラリの $\mathrm{SVC}$ (Support Vector Classification)使用した。 決定関数は ovr(one versus the rest)とし，ある特定のクラスに入るか，他のどれかのクラスに入るかの 2 值分類をとく分類器を作成した。そして多クラス分類に適応させるために, 分類の確信度のスコアとしてdecision_function の値を使用した.decision_function の値は入力がそのカテゴリにおける信頼度をレンジなしで示すものであり，值が大きいほどそのクラスに対する確信度が高い. そこで入力に対して最も大きい値を出力したクラスをその質問文のカテゴリとして多クラス分類を行った.

## 5 実験結果・考察

提案手法を用いて素性別，カテゴリ別の分類精度について実験した. 使用したデータは Yahoo!知恵袋の「地域, 旅行, おでかけ>観光地, 行楽地」カテゴリ内の 2020 年 12 月 1 日から 2020 年 12 月 13 日までに投稿された回答済みの質問 501 個で，7 割を学習データ, 3 割をテストデータとし, 3 回の交差検証を行った。
^{i}$ https://github.com/singletongue/WikiEntVec
}
表 4 : 実験 1 における各カテゴリ素性別の正解率

## 5. 1 実験 1

各カテゴリに属するか否かの分類を行った実験結果について，各カテゴリの正解率を表 4 に示す. べ一スラインは寸べての質問を情報提示に分類した場合の正解率である.

正解率における素性別の結果については, tf-idf ベクトルを使用した場合において素性による差がほぼ見られなかった。情報提示，おすすめ，最新情報では名詞（数, 固有を除く）, ロコミと意見においては全品詞の正解率が最も高かった. Word2Vec では名詞十動詞を素性とした場合が良好であるが tf-idf ベクトルとほぼ同じ正解率であった. カテゴリ別における結果についてはどのカテゴリにおいても 0.6 を上回る正解率の素性が見られた。おすすめ, 最新情報の值が高く，情報提示が最も低い正解率であつた。交差検証において分散が最も小さいのは Word2 Vec の名詞＋動詞を素性とした場合で平均値も最も高かった. カテゴリ別の比較ではおすすめが他と比べて圧倒的に高いが素性によるばらつきは見られた。ロコミ，意見はどの素性においても低い結果であった.

## 5. 2 実験 2

次にサポートベクターマシンを用いて多クラス分類を行った。その結果を表 5 に示す.

表 5 は各カテゴリの再現率，および全体の正解率を示している. 実験 2 のおいては名詞, 名詞 2 (数,固有を除いた名詞），自立語，全品詞を素性とした tf-idfベクトルと自立語を素性とした Word2Vecを単語ベクトルとして使用した.表 5 : 実験 2 における再現率，全体の正解率

再現率の結果について素性別にみると, 情報提示, ロコミでは Word2Vec を使用した場合，意見，おすすめでは自立語，最新情報では名詞を用いた場合の再現率が最も高くなった。しかし，平均を取ると素性による差はほぼ見られない。また，カテゴリ別に比較すると, おすすめの再現率が 0.8 と圧倒的に高く, 口コミ，意見は 0.3 前後と低い。全体の正解率においては素性別の差はほぼ見られず, 0.4 前後であった.

## 6 まとめ

本研究では旅行代理店での対話における回答方法を基準とした分類の提案，および機械学習を用いてその分類を行う手法の検討を目的とした. 回答方法を基準とした分類として，「情報提示」「ロコミ」

「意見」「おすすめ」「最新情報」の 5 種類への分類を提案した. 分類手法としては tf-idf ベクトルや Word2Vec の単語ベクトルを特徴量とした SVM の実装を行い，素性別やカテゴリ別における分類精度を比較した。実験の結果素性による差は大きくはないものの, 名詞が分類を左右する特徴になっていることが分かった. 今後の課題として分類器にサポー トベクターマシン以外を使用すること，精度を高めるための素性の探究が挙げられる.

## 参考文献

[1] 吉田裕介, 萩原将文, “複数の言語資源を用いたユーモアを含む対話システム” , 日本知能情報ファジィ学会誌, vol.26, No.2, pp.627-636, 2014.

[2] 藤倉将平, 小川義人, 菊池英明, “非タスク指向対話システムにおけるユーモア応答生成手法” , 人工知能学会全国大会論文集，pp.1-4，2015.

[3] 赤崎智, 鍜治伸裕, “知的対話アシスタントにおける雑談を目的としたユーザ発話の検出” , 情報処理学会研究報告, vol.2017-NL-231, No. 18 pp.1-9, 2017. [4] 栗山和子, 神門典子, “Q\&A サイトにおける質問と回答の分析”, 情報処理学会研究報告, vol2019F1-95, No. 19 pp.1-8, 2009.

[5] 田中友二, 望月崇由, 八木貴史, 徳永幸生, 杉山精, “Q\&A サイトにおける情報検索型質問の自動抽出”, 第 74 回全国大会講演論文集, pp.529-530, 2012. [6] 大森勇輔, 森田和宏, 泓田正雄, 青江順一, “疑似訓練データを用いた $\mathrm{Q} \& \mathrm{~A}$ サイトの質問分類”，言語処理学会第 21 回年次大会発表論文集, pp.489492, 2015 .

[7] 渡邊直人, 島田諭, 関洋平, 神門典子, 佐藤哲司, “QA コミュニティにおける質問者の期待に基づく質問分類に関する一検討, ” , DEIM Forum 2011,B51,2011 .

[8] 渡邊直人, 島田諭, 関洋平, 神門典子, 佐藤哲司, “コミュニティ QAにおける質問の多面的評価法の検討” 情報知識学会誌, vol.21, No. 2 pp.163-168, 2011. [9] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, "Efficient Estimation of Word Representations in Vector Space” ICLR Workshop, 2013.


# クイズAI システムを用いた ヒューマンロボットインタラクションのための検討

坪倉和哉 1 久保谷空史 ${ }^{1}$ 小林邦和 ${ }^{1}$
1 愛知県立大学大学院情報科学研究科
\{im212008,im211004\}@cis.aichi-pu.ac.jp, kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦〜」 のシステムをヒューマンロボットインタラクションに適用するための検討を行った。具体的には，クイズ問題に対して, クイズ難易度と早押し可能タイミングのアノテーションを行い，分析を行った. クイズ難易度の推定では $65 \%$ の正解率を得た。また，平均的にクイズの問題文の $3 / 4$ が読み上げられた時点で早押し可能であることが明らかになった。また， ロボットにクイズシステムの実装を行うための検討を行った。

## 1 はじめに

近年，スマートスピーカやスマートフォンのバー チャルアシスタントなどの質問応答システムが身近なものとなっている. そのため, 質問応答に関する研究が行われている. 日本語を対象とした質問応答の研究として「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦 11) （以下，「AI王」と呼ぶ）が挙げられる。AI王は, 日本語を対象とした質問応答研究を促進させることを目的とし, クイズ問題を題材としたコンペティションである. AI 王では，クイズの問題文からクイズの解答を返すシステムの性能を競う. コンペティションでは，クイズ問題の全文を入力としているため, クイズ番組で見られるような，いわゆる「早押し」 に関する問題には対応していない。また, システムがクイズを解答するだけではなく, クイズを通した人とのインタラクションも考えられる。例えば，エンターテインメント分野や教育分野, 介護分野などにおいて，ロボットやバーチャルエージェントとクイズを行うことで，ユーザを楽しませたり，教育的な効果をもたらすことができると考える. このようなインタラクションを行うためには，

1) https://sites.google.com/view/project-aio/ competition2
クイズを出題したり，解いたりするだけではなく， ユーザの知識レベルに合わせて出題するクイズの難易度を変更したり, 難易度に応じて「この問題は難しいね」などと発話することでインタラクションの質を高めることが可能であると考える.

そこで本研究では, AI 王のデータセットとベー スラインモデルを用いて，コンペティションでは対象とされていない，人と一緒にクイズを行うロボットシステムを構築するための検討を行う，具体的には, 以下の 3 点について検討を行った。

・クイズの難易度推定

・早押し可能なタイミングの分析

・AI 王のベースラインモデルをロボットに適用し，人とロボットが一緒にクイズを行うシステ么の検討

2 章では $\mathrm{AI}$ 王のデータセットの一部に対して行った難易度と早押し可能タイミングのアノテーションについて述べる。 3 章では，アノテーションデータを分析した結果をもとに考察する. 4 章では $\mathrm{AI}$ 王のベースラインモデルをコミュニケーションロボッ卜に適用するための検討を行う. 最後に 5 章で本稿をまとめる。

## 2 クイズデータのアノテーション

本研究では, クイズ問題の分析を行うため, AI 王第 2 回コンペティションで公開されている「第 2 回コンペティション開発データ $\mathrm{v} 1.0 」 を$ 用いる. このデータセットに収録されている 1,000 問のクイズ問題からランダムで抽出した 100 問に対してアノテー ションを行った。アノテータは以下の 2 つのラベルのアノテーションを行った。なお，アノテータには問題の ID (qid), 問題文 (question), 正解のリスト （answers）が与えられる.
- 難易度（1５９整数値）

・早押し可能タイミング
難易度は, クイズ問題の難しさを表す指標である. クイズの問題文と正解から, 問題の難易度を 1 (易しい) 〜 （難しい）の整数值でラベリングを行う.

早押し可能タイミングは，仮にクイズの問題文を読み上げられた場合, 読み上げ途中のどの時点で答えを推測可能かを表す，AI 王ではクイズ問題の全文が入力として与えられるが，クイズ番組のようにクイズ問題を読み上げるようなインタラクションを考えた場合には, 問題の読み上げ途中で解答することも可能となる. アノテータがクイズ問題の答えを知らない場合, 早押し可能タイミングのアノテー ションは困難であるから，アノテータにはクイズの問題とクイズの答えを提示し，クイズの答えを知識として知っているとした場合, 早押し解答可能だと思う時点にラベルを付与してもらった.

アノテータは, 理系大学院生（情報系専攻） 3 名 （男性）である. アノテータの属性を理系大学院生 （情報系専攻, 男性）としたのは, 属性の違いによる難易度の感じ方に対する影響を抑えるためである. クイズを題材として人とロボットがインタラクションを行う際には, ユーザの属性を考慮した出題問題の選択などにより, インタラクションの質を高めることが可能になると考えるが，ユーザの属性とクイズ問題の難易度の感じ方の関係性については本研究では対象とせず，今後の検討事項としたい.

## 3 分析と考察

本章では前章のアノテーション結果の分析と考察を行う。

## 3.1 クイズ難易度

人とロボットがクイズを題材としてインタラクションを行うことを考える上で, クイズの難易度を推定することはインタラクションの幅を広げることができる．例えば，インタラクション相手が子どもであれば，易しい問題を提示し，クイズが得意なユーザであれば難しい問題を提示するといったことが可能となる. そのため, クイズ難易度の推定を試みる。

## 3.1.1 アノテータによる難易度の違い

3 名のアノテータによるクイズ難易度ラベルのアノテーションの結果を表 1 に示す. 3 名のアノテー タ間で全アノテータが同一ラベルを付与した割合は表 1 クイズ難易度アノテーションの結果

$22 \%$ ，少なくとも 2 名が同一ラベルを付与した割合は 75\%であった. クイズ問題每に 3 名のアノテータの難易度ラベルの平均值を求め, その値をクイズの難易度とした. 全クイズの難易度の平均値を求めた結果，平均クイズ難易度は 3.0 となった。

## 3.1.2 クイズ問題から特徴量の抽出

クイズの問題文からクイズ難易度との相関の分析 （3.1.3）や難易度推定（3.1.4）に用いるための特徴量の抽出を行う.

クイズ問題の難易度推定のために, クイズの問題文から以下の特徴量を抽出した。

・クイズの問題文の長さ
- 問題文中の各品詞の出現数

問題文中の各品詞の出現数は，オープンソースの日本語自然言語処理ライブラリである「GiNZA $\rfloor^{2)}$ を用いて，クイズの問題文を形態素解析し，品詞ごとに出現頻度をカウントした. なお, 品詞のタグセットとして, 日本語の UD 品詞タグで定義されている 17 種の品詞タグを用いた [1].

## 3.1.3 特徴量と難易度の相関の分析

クイズの難易度と 3.1.2 節で抽出した特徴量との相関の分析を行う. クイズの難易度は 3 名によるアノテーションの平均値を採用する.

クイズの難易度と前節で抽出した特徴量との間に弱い相関（ $|r|>0.20 ）$ のある特徴量と相関係数を表 2 に示す. 表より, 3 つの特徵量においてクイズ難易度との弱い相関がみられた. 問題文に登場する固有名詞を知っていないと, クイズに解答が困難であることから, 固有名詞とクイズの難易度との間に弱い相関があったと考えられる。設置詞は, 格助詞・副助詞・係助詞である. 語と語の意味関係を示したり，意味を添えたりするため，クイズ問題文中に設置詞の数が多くなると, 問題文の複雑度が上がり,難易度も高まると考えられる．同様に，問題文が長くなるほど問題文の複雑度が上がるため, 難易度も上がると考えられる。

表 3

## 3.1.4クイズ難易度の推定

3.1.2 節で抽出した特徴量を用いてクイズの難易度の推定を試みる. 17 個の品詞タグセットうち,「等位接続詞」と「その他」はデータセット中に出現しなかったため，「等位接続詞」と「その他」を除く 15 個の品詞の出現頻度とクイズ問題文の長さを合わせた，合計 16 個の特徵量をクイズの難易度の推定に用いる.

クイズの難易度は 1～5 の範囲の值であるが，ここでは単純化のため, 3 名のアノテーションの平均值が 3 以下のクイズを「易しい」，3より大きいクイズを「難しい」とし，難易度（易しい/難しい）の 2 クラス分類問題として学習・評価を行う.

難易度推定には中間層 2 層からなる NN（Neural Network）を用いる。100 問のクイズ問題のうち，80 問を学習に, 残りの 20 問を評価に用いる. 各特徴量の標準化を行い, $\mathrm{NN}$ の入力とした. 学習は $10 \mathrm{epoch}$行った.

なお，NN のハイパーパラメータ（中間層のユニット数, ドロップアウト率, 中間層の活性化関数, 最適化アルゴリズム）は，オープンソースのハイパーパラメータ自動最適化フレームワークである Optuna[2] を用いて最適化を行った。最適化したハイパーパラメータを表 3 に示す.

評価の結果, 難易度の 2 クラス分類の正解率は $65 \%$ と低い精度となった。推定に用いた特徴量は品詞の出現頻度と問題文の長さを合わせた 16 個の特徵量であり, クイズの難易度推定には十分な情報が含まれていないことが確認された。

## 3.2 早押し可能タイミング

クイズ番組のようにクイズ問題が読み上げられ, クイズに解答するインタラクションを考えた場合， いわゆる「早押し」が可能となるため, 早押し可能
なタイミングの分析を行った。

3 名のアノテータがクイズ問題文中に早押し可能タイミングの付与を行った。まず， 3 名のアノテー タによる問題文の長さに対する早押し可能位置の平均を求めた. クイズの問題文の長さを $100 \%$ とした場合，早押し可能位置の平均は $74.7 \%$ であり, 問題文の $3 / 4$ が読み上げられた時点でおおよそ半数の問題が回答可能であることが示唆された。

クイズの問題文の長さに対する早押し可能位置と難易度との相関係数を求めた結果，0.137 であった。 そのため, 早押し可能タイミングはクイズの難易度には依存しないことが示唆された。

## 4 ロボットへの実装

本章では，人とロボットが一緒にクイズを行うインタラクションの実装を検討する。人とロボットが一緒にクイズを行うことを考えた場合，クイズの司会者と解答者の 2 つの役割がある。人とロボットにこの役割をどう割り当てるかによって，いくつかのインタラクションの形式が考えられるが，ここでは，人が司会者としてクイズ問題を出題し，人とロボットがクイズの解答を行うことを考える．本研究では, 対話ロボットとして, ソフトバンクロボティスク社の「NAO」を用いる.

## 4.1 クイズインタラクションの流れ

クイズインタラクションの流れを図 1 に示す.まず，司会者がクイズ問題を読み上げる．解答者（ロボット）は司会者が読み上げたクイズ問題を音声認識する。音声認識には Google Cloud Speech-to-Text ${ }^{3}$ ) を用いる．音声認識結果は，クイズ解答推定システムに送られる。ここでは，クイズ解答推定システムとして，AI 王のベースラインシステムを用いる。このベースラインシステムは，文献 [3] をべースに AI 王コンペティションで扱う日本語クイズ問題で利用できるように改修されたシステムである.

続いて, 解答者（ロボット）はクイズ解答推定システムにより予測されたクイズ解答を読み上げる.読み上げられた解答は司会者により正誤判定が行われ，「正解です」や「不正解です」などとフィードバックする．ロボットは司会者の正誤判定を音声認識し，正解の場合は喜びを，不正解の場合は悲しみを表出する発話や動きを行うことで，正誤判定に対してフィードバックする．その後は，クイズの出題

3) https://cloud.google.com/speech-to-text

図 1 クイズインタラクションの流れ

回数の上限まで上述の流れを繰り返す.

図 1 では考慮されていないが, 通常クイズの解答者は複数である. そのため, クイズの解答段階では，クイズの解答権の付与を行う必要がある. 本システムでは, クイズ解答前にロボットの名前 (NAO) を呼ぶことで解答権の付与を行う。

## 5 おわりに

本研究では，「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦～」 のシステムをヒューマンロボットインタラクションに適用するための検討を行った. 具体的には，クイズ問題に対して, クイズ難易度と早押し可能タイミングのアノテーションを行い，分析を行った。クイズ難易度の推定では $65 \%$ の正解率を得た. また, 平均的にクイズの問題文の $3 / 4$ が読み上げられた時点で早押し可能であることが明らかになった。また， ロボットにクイズシステムを実装するための検討を行った。

今後の課題として, 本研究でクイズ難易度の推定に用いた特徵量 16 個では十分に難易度を推定できないことが明らかとなったため, 単語や文章の意味表現ベクトルを用いるなど，特徴量を追加し，クイズ難易度推定の精度向上を目指す。また，多様な属性のアノテータにクイズ難易度をアノテーションしてもらうことで, ユーザの属性とクイズ難易度の関係性を分析し，ユーザの属性を考慮した出題問題の選択を可能にすることを目指す. 本研究では早押し可能タイミングの推定は行っていないため, 今後データを増やして早押し可能タイミングの推定を行う. さらに, 本研究ではロボットへの実装の検討を行ったが，実装と人を含めたインタラクション実験は行っていないため, 今後人とロボットが一緒にクイズを解く実験を行い，インタラクションの評価をする予定である.

## 参考文献

[1] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[2] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. CoRR, Vol. abs/1907.10902, , 2019.

[3] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.


# テキストと視覚的に表現された情報の融合理解に基づく インフォグラフィック質問応答

田中涼太 ${ }^{1}$ 西田京介 ${ }^{1}$ 許俊杰 ${ }^{2 *}$ 西岡秀一 ${ }^{1}$
1 日本電信電話株式会社 NTT 人間情報研究所 2 筑波大学大学院 人間総合科学学術院
\{ryouta.tanaka.rg, kyosuke.nishida.rx, shuichi.nishioka.gd\}@hco.ntt.co.jp
s2021705@s.tsukuba.ac.jp

## 概要

情報・データ・知識を視覚的纪表現した文書画像であるインフォグラフィックを読み解いて，質問に対して回答を行うモデル IG-BERTを提案する. 提案モデルではテキストと視覚物体の配置関係の学習および算術演算理解のためのデータ拡張を行う. IG-BERT は, ICDAR 2021 Competition の InfographicVQA タスクにおいて，事前学習データ量を従来モデルの $1 / 22$ に抑えつつ同程度のサイズのモデルの中で最も高い性能を達成し 2 位に入賞した. 本研究は，実世界に多数存在する視覚的に表現された文書を知識源として質問応答を行う知的エー ジェントの発展に貢献できる。

## 1 はじめに

質問に対して文書を読み解いて人間の様に回答を行う質問応答技術の実現は, AI 分野における重要な課題の一つである。従来はテキストのみで記述された文書に関する質問応答 $[1,2]$ が活発に取り組まれてきた。一方で，従来研究では実サービスで扱われる HTML や PDF 形式の文書が持つテキスト情報しか理解できないことから，近年では文書を画像として扱い質問応答を行う文書画像質問応答 $[3,4]$ が注目を集めている。本研究はその中でも情報・デー タ・知識を視覚的に表現した文書画像を扱うインフォグラフィック質問応答 [5] に取り組む。本タスクは図 1 で示す様に，テキストに加えてアイコンや図表といった視覚情報の理解，テキストと視覚情報を併せた配置関係の理解，算術演算など様々な能力を必要とする。これらの能力は，オフィス作業や日常生活を支援する AI の発展に向けて必要不可欠である。一方で，文書画像理解を目指した従来モデル

Q: How many females are affected by diabetes? A: $3.6 \%$

Q: What total percent of B2B and B2C markets use Google+? A: $79 \%(40 \%+39 \%)$図 1 InfographicVQA [5] のサンプル例. 左の例: 画像中のテキストを抽出して回答する. 右の例: 画像中のテキスト (40\%，39\%)を用いて，算術演算を行い回答する.

の多く $[4,6,7,8,9]$ はテキストの配置の理解に焦点が置かれており，本タスクへの適用は難しい。

本研究では，新たなインフォグラフィック質問応答モデル IG-BERTを提案する。文書画像中のテキストと視覚物体との配置関係を学習する新たなタスク SRP (Spatial Relationship Prediction) と，演算の過程を生成させ算術演算の理解を深めることを可能とする新たなデータ拡張 ADA (Arithmetic operation Data Augmentation) を行う点が新規の貢献である. IG-BERT は，ICDAR 2021 Competition の InfographicVQA [5] において，様々な文書理解タスク $[10,11,12]$ で最高スコアを達成した LayoutLMv2 [8] の事前学習データ量を 1/22 に抑えつつ，同程度のサイズのモデルの中で最も高い性能を達成して 18 チーム 337 投稿中 2 位に入賞した。

## 2 提案モデル

インフォグラフィック質問応答は，質問 $w^{\mathrm{q}}$ および文書画像 $I$ が与えられ回答系列 $w^{\text {out }}$ を出力する夕スクである。回答は，画像中のテキストから回答箇所を抜き出す回答（図 1 左）と数値の演算を必要とする回答（図 1 右）の2つのタイプに大別できる.

図 2 左図: IG-BERT のアーキテクチャと損失関数 (SRP, MLM). 右図: 自己注意計算時に用いる自己注意マスク $M$.

IG-BERT は図 2 に示すように，画像からテキス卜を抽出する OCR，画像から物体特徵を抽出する Faster-RCNN [13]，抽出された特徴量を基に回答を生成するマルチモーダル Transformer [14] から成る.

## 2.1 入力埋め込み層

画像特徵 Visually29k [15] で事前学習を行った Faster-RCNN を用いて，文書画像 $I$ から固定個の物体を検出して特徴表現 $v_{i}^{\mathrm{obj}} \in \mathbb{R}^{2048}$ の系列を得る.

テキスト特徵画像 $I$ から取得される物体ラベル系列 $w^{\mathrm{obj}}$ と OCR 単語系列 $w^{\mathrm{ocr}}$, 質問文 $w^{\mathrm{q}}$, 出力文 $w^{\text {out }}$ WordPiece [16] を用いてトークナイズする.

入力系列画像・テキスト特徵に基づくモデル入力系列を $x^{\text {token }}=\left([\mathrm{CLS}] v^{\mathrm{obj}}[\mathrm{SEP}] w^{\mathrm{obj}}[\mathrm{SEP}] w^{\mathrm{ocr}}\right.$ [SEP] $w^{\text {task }}$ とする。事前学習時の $w^{\text {task }}$ は $w^{\text {out }}$ (キャプション), Fine-tuning 時は $w^{\mathrm{q}} w^{\text {out }}(\mathrm{QA})$ である.

レイアウト特徵 $k$ 番目のトークンの文書画像中における配置を理解するために, $x_{k}^{l o c}=$ $\left[x_{k}^{\min } / W_{\mathrm{im}}, y_{k}^{\mathrm{min}} / H_{\mathrm{im}}, x_{k}^{\max } / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right]$ を取得する. ここで $,\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ はトークン (画像物体あるいは文字）を囲む矩形領域の左上および右下の座標, $W_{\mathrm{im}}, H_{\mathrm{im}}$ は画像の幅および高さを表す.

マルチモーダル入力埋め込み入力系列中の $k$ 番目の埋め込み $e_{k} \in \mathbb{R}^{d_{k}}$ を画像・テキストの特徴およびそのレイアウトに基づき以下のように求める.

$
e_{k}=\mathrm{LN}\left(e_{k}^{\mathrm{token}}+e_{k}^{\mathrm{seg}}+e_{k}^{\mathrm{pos}}+e_{k}^{\mathrm{loc}}\right),
$

LN は Layer Normalization [17] を示す. $e^{\text {token } は ， テ ~}$ キストトークン $w_{k}$ を $d$ 次元に埋め込み，画像（検出物体領域）トークン $v_{k}^{\mathrm{obj}}$ に対しては ReLUを適用後 1 層の FFNにて埋め込む. $e_{k}^{\text {seg }}$ は 2 種のモーダル, $e_{k}^{\mathrm{pos}}$ はトークン系列の絶対位置を表す埋め込みである. $e_{k}^{\mathrm{loc}}$ は， $x_{k}^{\mathrm{loc}}$ を 1 層の FFNに渡して埋め込む。

## 2.2 マルチモーダル Transformer

入力埋め込み系列 $H^{0}=\left[e_{1}^{0}, \ldots, e_{U}^{0}\right] \in \mathbb{R}^{d \times U}$ を $L$ 層の Transformer に入力し, $H^{L}=\left[e_{1}^{L}, \ldots, e_{U}^{L}\right] \in \mathbb{R}^{d \times U}$ を獲得する. $l-1$ 層目の埋め込み系列 $H^{l-1}$ を用いると, $l$ 層目の自己注意 $A^{l}$ は以下で与えられる.

$A^{l}=\operatorname{softmax}\left(\frac{Q K}{\sqrt{d}}+M\right) V, \quad M_{i j}= \begin{cases}0, & \text { allow to attend }, \\ -\infty, & \text { others }\end{cases}$

$
V=W_{V}^{l} H^{l-1}, Q=W_{Q}^{l} H^{l-1}, K=W_{K}^{l} H^{l-1},
$

ここで, $W_{Q}^{l}, W_{K}^{l}, W_{V}^{l} \in \mathbb{R}^{d \times d}$ は学習可能な重みである. $M \in \mathbb{R}^{U \times U}$ は図 2 の右図で示す様に，系列中で出力文 $w^{\text {out }}$ の left-to-right, 他部分は bidirectional となる prefix 付の causal masking [18] を行う。

## 2.3 演算過程を考慮したデータ拡張 (ADA)

算術演算を含む質問応答を生成タスクとして解くにあたり，演算の過程をモデルに明示的に学習させる. 提案手法では，演算対象を $A$ と $B$ ，演算結果を $C$ とした時, $\ulcorner A+B=C\lrcorner,\ulcorner A-B=C\lrcorner,\ulcorner 100-A=C\lrcorner$ の 3 つのテンプレートを用意する。この時，演算結果 $C$ を出力するタスクは，演算対象（A，B）を抽出する項抽出タスクと, 演算子 $(+，-)$ を選択する演算子選択タスクのサブタスクに分割可能である.

具体的には，まず，文書画像から演算対象となる任意の二つの数値を抽出する. 次に，テンプレートに抽出した数値を代入し演算を行う．演算結果が正解データ $w^{\text {out }}$ と一致する場合, 回答の先頭に prompt トークン [NUM] を付与し，新たな回答として学習データに追加する. 推論時に [NUM] が出力系列の先頭に存在する場合，後処理として演算を実施した。

## 2.4 学習タスク

提案モデルは事前学習と Fine-tuning の二段階の学習において，MLM およびSRP の損失を線形結合した $L=L_{\mathrm{MLM}}+\lambda_{\mathrm{SRP}} L_{\mathrm{SRP}}$ を最小化する. 事前学習時には $\lambda_{S R P}=0$, Fine-tuning には $\lambda_{S R P}=1$ とする.

Masked Language Modeling (MLM) BERT [19] と同様に，入力系列のテキストトークン $w$ に対して， トークン系列の $15 \%$ をンダムに選択し, [MASK] トークンに置き換える. エンコーダの最終層の出力を用いて，置き換えられたトークンを復元する. $L_{\mathrm{MLM}}$ は, 生成テキストから計算される損失である.

Spatial Relationship Prediction (SRP) 画像物体と OCR の配置関係を学習する。まず，画像物体系列 $v^{\text {obj }}$ と OCR 系列 $w^{\text {ocr }}$ に対応するエンコーダの最終出力からぞれぞれ 1 つずつランダムに選択し, $e^{\mathrm{obj}}$

関係を基にクラス分類 (12 クラス)を行う.

$
P^{\mathrm{srp}}=\operatorname{softmax}\left(W^{\mathrm{srp}}\left[e^{\mathrm{obj}} ; e^{\mathrm{ocr}}\right]\right),
$

$W^{\mathrm{srp}} \in \mathbb{R}^{12 \times 2 d}$ は学習可能な重み, [;] はべクトル連結を表す。 $L_{\mathrm{SRP}}$ は正解クラスと $P^{\mathrm{srp}}$ との交差エントロピー損失である. 文書画像への SRP の適用，単語・視覚物体の位置関係学習は本研究が初である.

## 3 評価実験

事前学習データインフォグラフィックを扱うウェブページ1)から，画像-キャプションペアを 505,868 ペア収集した. HTML タグの alt もしくは titleを用いて，キャプションを抽出した. フィルタリングとして，3 単語未満のキャプションの削除と，評価データと同様の画像を URLを基に削除した。

評価データ InfographicVQA [5]を用いた. 学習/開発/テストデータの質問数は $23,946 / 2,801 / 3,288$ であり，画像数は $4,406 / 500 / 579$ である. テストデータでの評価はリーダーボード2) 上で実施した.

実験設定事前学習と Fine-tuning の両方でバッチサイズ 64 とし 30 エポック学習した. Adam [23]を用いて最適化し学習率は $3 e-5$ とした. $v^{\mathrm{obj}}, w^{\mathrm{obj}}$, $w^{\text {ocr }} ， w^{\text {task }}$ の最大長を $36 ， 20 ， 430 ， 40$ とした. 開発，テストデータにおける評価は BERT-\{base,large\} を事前学習時の重みの初期値とした。また， large は base の実験を基にハイパーパラメータを設定した. OCR と Faster-RCNN の詳細は付録に示す.

1) https://infographicplaza.com

2) https://rrc.cvc.uab.es/?ch=17\&com=evaluation評価指標ICDAR 2021 Competition で採用された ANLS [24] (予測文と正解文集合との平均編集距離) を用いる。また，算術演算を必要とする例に絞った （開発データの $17.4 \%$ ）際の ANLS を ANUM と呼ぶ.

比較手法ベースラインとして, IG-BERT と同じモーダル情報を入力可能な M4C [21] と，事前学習の効果を測るため BERT と LayoutLM [6] を用いた. リーダボード上の主なモデルとして，LayoutLMに視覚情報を取り入れた LayoutLMv2 [8]，複数の教師あり事前学習を行なった TILT [9] がある.

## 3.1 評価結果と分析

## 提案モデルはベースラインの性能を上回るか？表 1 に示す様に，提案モデルは全ての指標でベース ラインモデルを上回った. また，提案モデルと同じ モーダル情報を利用しているにも関わらず，事前学習を行っていない M4C-TLV は低い性能であった。

事前学習の効果はあるか？ 表 2 に示す様に，提案モデルから事前学習を除くことで, 精度が大きく低下することが確認できる。また，事前学習を除いたIG-BERT は BERT と比べて精度が低いことが分かることから, Fine-tuning のみでは BERT の言語理解能力の忘却 [25] が発生していると考える.

## データ拡張手法 ADA は算術演算の理解を改善す

るか？ 表 2 に示す様に，BERT と IG-BERT のどちらにおいても，提案したデータ拡張により ANUM の向上が確認できる. テンプレートの拡充および複雑化により，更なる演算の高度化が期待できる。

学習タスク SRP は精度向上に寄与するか？ 表 2 に示す様に，提案モデルにSRP を加えることで，大きく性能が向上することが確認できる.

## SRP におけるサンプリング対象の選択は精度に影響するか？表 3 に結果を示す様に， $v^{\text {obj }} w^{\text {ocr }}$ か らサンプリングし, 配置関係を学習したモデルの精度が最も高いことが分かる. 同モーダル内の配置関係よりも，画像物体とOCR テキストの配置関係を 理解することが重要であることが示唆される.

## リーダボード上のモデルと比較してモデルの性能 はどうか？表 4 に示す様に，同程度のモデルサイ ズのモデルの中で，IG-BERT は最も高い精度を達成 した. 特筆すべきは，同じモーダル情報を利用して いる LayoutLMv2 に比べて，IG-BERT は事前学習の 文書画像数は $1 / 22$ でありパラメータ数も少ないに も関わらず，大きく性能が上回っている. IG-BERT が行う視覚物体の検出・位置関係理解および算術演
表 1 開発データにおけるベースラインモデルとの比較. $\mathrm{T}$ (テキスト)， $\mathrm{L}$ (レイアウト)，V (画像特徴)を表す。

表 2 開発データにおける Ablation 評価.

表 3 SRPにおけるサンプリング対象ごとの性能評価. $k, k^{\prime}$ はサンプリング対象のインデクスを表す.

Q: What is the name of the social media site with a smiley face icon?

GT: friendster LayoutLM: twitter BERT: facebook IG-BERT: friendster

Q: How many patients out of 3, does not use social media to seek out health information?

GT: 2 LayoutLM: 3

BERT: 1 IG-BERT: 2 (3 - 1)

Q: What percentage of all markets have found a customer through Twitter? GT: $36 \%$ LayoutLM: $43 \%$ BERT: $43 \%$ IG-BERT: $82 \%$

図 3 出力例. 掲載上，画像の一部をクロップした. GT は正解文，赤枠は回答根拠，() は予測された演算過程である.

表 4 リーダボード上での比較 (2022/01/14 付). \#Docs は事前学習用文書数, \#Sups は追加学習用 QA ペア数.

算の工夫が性能向上に貢献していると考える。一方で，TILT と比較すると精度が劣っている．TILT では，IG-BERT が行わなかった DocVQA [3] 等の類似タスク $[1,26]$ での教師あり事前学習が性能向上に大きく寄与することが報告されている。しかし，TILT には IG-BERT で提案した SRPやADA を代替する学習タスクや算術演算に関する新規点は含まれていない. パラメータ数や事前学習データ量の増加に関しては，今後の課題とする。

出力例・エラー分析出力例を図 3 に示す.アイコンとテキストの配置関係 (smiley face icon と friendster) を理解する必要がある左の例や，画像中のテキストを用いて演算 (3 - 1) を行う必要のある中央の例では，提案モデルは適切な回答を出力している。一方で，右の例の様に Faster-RCNN で検出が困難な物体 (Twitter ロゴ) に関する質問には，全てのモデルで誤った回答を行なっており，より汎用的な物体認識を基にした文書理解は今後の課題である.

## 4 関連研究

InfographicVQA は，他の類似タスク $[3,4]$ と比べてテキストと視覚の融合理解が最も必要となるタスクである [27]. DocVQA [3] に代表される従来のタスクを対象としたモデルの多く [4, 6, 7, 8, 9] はテキストや配置の理解に重点を置いており，視覚情報を含む配置関係や意味の理解，算術演算の理解を行うことは難しい. ICDAR 2021 Competition で高スコアであった LayoutLMv2 [8] や TILT [9] では，事前学習において文字以外の視覚情報に関して考慮されていないが，我々の手法は物体検出により考慮可能である. さらに，我々が提案する SRP やDA を代替する学習タスクや算術演算は実施されていない.

## 5 おわりに

インフォグラフィック質問応答モデル IG-BERT および，配置関係学習手法 SRP，算術演算データ拡張手法 ADA を提案し, ICDAR 2021 Competition の InfographicVQA タスクにて，同程度のサイズのモデルの中で最も高い性能を達成し 2 位に入賞した。 SRP や ADA は他モデルにも導入可能な汎用性が高い手法である．本研究は，実世界に多数存在する視覚的に表現された文書を知識源として質問応答を行う人工知能の開発に寄与し，Web 検索や対話システムなど産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018 .

[3] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[5] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and CV Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[6] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In KDD, pp. 1192-1200, 2020.

[7] Teakgyu Hong, Donghyun Kim, Mingi Ji, Wonseok Hwang, Daehyun Nam, and Sungrae Park. Bros: A pretrained language model focusing on text and layout for better key information extraction from documents. arXiv preprint arXiv:2108.04539, 2021.

[8] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021 .

[9] Rafał Powalski, Łukasz Borchmann, Dawid Jurkiewicz, Tomasz Dwojak, Michał Pietruszka, and Gabriela Pałka. Going full-tilt boogie on document understanding with text-image-layout transformer. arXiv preprint arXiv:2102.09550, 2021.

[10] Adam W Harley, Alex Ufkes, and Konstantinos G Derpanis. Evaluation of deep convolutional nets for document image classification and retrieval. In ICDAR, pp. 991-995. IEEE, 2015.

[11] Guillaume Jaume, Hazim Kemal Ekenel, and JeanPhilippe Thiran. Funsd: A dataset for form understanding in noisy scanned documents. In ICDARW, Vol. 2, pp. 1-6. IEEE, 2019.

[12] Zheng Huang, Kai Chen, Jianhua He, Xiang Bai, Dimosthenis Karatzas, Shijian Lu, and CV Jawahar. Icdar2019 competition on scanned receipt ocr and information extraction. In ICADR, pp. 1516-1520. IEEE, 2019.

[13] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[15] Spandan Madan, Zoya Bylinskii, Matthew Tancik, Adrià Recasens, Kimberli Zhong, Sami Alsheikh, Hanspeter
Pfister, Aude Oliva, and Fredo Durand. Synthetically trained icon proposals for parsing and summarizing infographics. arXiv preprint arXiv:1807.10441, 2018.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[17] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[20] Ting Yao, Yingwei Pan, Yehao Li, and Tao Mei. Exploring visual relationship for image captioning. In ECCV, pp. 684-699, 2018.

[21] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[22] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for textvqa and textcaps. arXiv preprint arXiv:2012.05153, 2020

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

[24] Ali Furkan Biten, Rubèn Tito, Andrés Mafla, Lluís Gómez i Bigorda, Marçal Rusiñol, C. V. Jawahar, Ernest Valveny, and Dimosthenis Karatzas. Scene text visual question answering. In ICCV, pp. 4290-4300, 2019.

[25] Michael McCloskey and Neal J Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. In Psychology of learning and motivation, Vol. 24, pp. 109-165. Elsevier, 1989.

[26] Minseok Cho, Reinald Kim Amplayo, Seung-won Hwang, and Jonghyuck Park. Adversarial tableqa: Attention supervision for question answering on tables. In ACML, pp. 391-406. PMLR, 2018.

[27] Łukasz Borchmann, Michał Pietruszka, Tomasz Stanislawek, Dawid Jurkiewicz, Michał Turski, Karolina Szyndler, and Filip Graliński. Due: End-to-end document understanding benchmark. In NeurIPS, 2021.

[28] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 32-73, 2017.

[29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

## A 付録

## A. 1 OCR と Faster-RCNN に関する実験設定

OCR には Google Vision API ${ }^{3}$ を用いた. Faster-RCNN のバックボーンは Visual Genome [28] で事前学習を

行った ResNet-101 [29]を使用した.また，Adamを用いて最適化に用い，バッチサイズを 16，学習率 1e-3 とし， 5 epoch 学習を行った. アンカーボックスのスケールを $[8,16,32]$, アスペクト比を $[0.5,1.0,2.0]$ とした.

## A. 2 画像 URL一覧

図 1，図3で用いた画像の URL を以下に示す.

図1左 https://www.adelaidebariatriccentre.com.au/diabetes-in-australia

図1右 https://www.business2community.com/social-media/3-infographics-100-social-media-statistics-need- 0712061

図3左 https://visual.ly/community/Infographics/social-media/short-history-social-media

図 3 中央 https://hcsmmonitor.com/2017/02/23/how-modern-health-care-is-being-revolutionized-by-social-media-infographic/

図3右 https://visual.ly/community/Infographics/social-media/social-media-marketing-18

3) https://cloud. google.com/vision


# 抽出型質問応答における相対位置バイアスの除去

篠田一聡 1,2 菅原朔 2 相澤彰子 1,2
1 東京大学大学院 2 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

抽出型質問応答において，質問-文章間で重複している語彙の回答スパンから見た相対位置の分布が訓練セットにおいて偏っている時，質問応答モデルはそれを利用した解き方を学習してしまう問題を発見した. 本研究では訓練セットで相対位置がどのような偏り方をしていても適用可能なバイアス除去手法を提案する。訓練時に見たことのない相対位置のデータへの汎化性能の評価によって提案手法の有効性を示した。

## 1 はじめに

深層学習に基づく自然言語理解モデルが訓練セット中のバイアスを利用した解き方を学習してしまい，汎化性能が悪化してしまうことが自然言語理解分野における重大な課題となっている [1,2]. 特に意図的に分布が偏った訓練セットで訓練された自然言語理解モデルは，入力と出力の間の因果関係ではなく， バイアスを利用した解き方をより学習しやすい傾向があることが知られている $[3,4,5]$. 実応用においても開発者が独自に作成した訓練セットの分布が何らかの観点で偏ってしまう恐れは十分にある. ゆえに，分布が偏った訓練セットからバイアスを利用しない解き方を学習するための方法を開発することが重要である.

文章から回答スパンを抽出して質問に答える抽出型質問応答 [6] においては，質問-文章間で重複している語彙（重複語彙）の回答スパンから見た相対位置が偏っている時に，質問応答モデルがその相対位置に関するバイアスを学習する傾向があることを新たに発見した. 例えば，訓練セット中で重複語彙と回答スパンが隣接している（相対位置の絶対値が 1 の）データのみで構成されている時，読解モデルはテストセットで同様のデータでは精度を高く保てるが，そうでないデータでは精度を大幅に落としてしまう現象が確認された (図 1).これはモデルが重複

図 $1 \mathrm{SQuAD}$ 開発セットにおける回答に最も近い重複語彙の回答から見た相対位置 $d$ ごとの $\mathrm{F} 1$ スコア. 凡例の ALL は SQuAD 訓練セットの全てのデータで訓練されたモデルを指し，その他はそれぞれの条件式が満たされるデータでのみ訓練されたモデルを指す.モデルにはいずれも BERT-base を用いた。訓練時に見たことがある $d$ のデータでは ALL と比べて精度を保てるが，その他では精度が悪化する. $d$ の定義は式 3 を参照されたい.

語彙の隣接箇所から回答を探す解き方を優先して学習しているとも捉えられる。訓練セットの相対位置の分布が異なる時も同様の現象が観測された。

本研究では，抽出型質問応答の訓練セットが相対位置に関して偏っていても，モデルが相対位置のみを利用した解き方の学習をせずに，相対位置の分布が異なるテストセットでも回答スパンも正しく予測するための学習方法の開発を目的とする。そのために，相対位置バイアスを利用して予測をするバイアスモデルと，実際に予測をするメインモデルの product-of-experts [7] を用いた手法を提案する。これによってメインモデルが相対位置バイアスだけを利用した解き方を学習しないょう促進する．実験において，提案手法は相対位置に関してバイアスがかかっていない時に近い精度を達成することを示す。 さらに，提案手法は訓練セットが相対位置に関して異なる偏り方をしていても汎用的に効果的であることを示す。

## 2 相対位置バイアス

## 2.1 定式化

抽出型質問応答タスクにおいて回答スパンから最も近い重複語彙の回答から見た相対位置を $d$ とおく. 正確には $w$ を単語, 文章を $c=\left.\{w_{i}^{c}\right.\}_{i=0}^{N}$, 質問を $q=\left.\{w_{i}^{q}\right.\}_{i=0}^{M}$, 回答を $a=\left.\{w_{i}^{c}\right.\}_{i=s}^{e}(0 \leq s \leq e \leq N)$ としたとき，相対位置 $d$ は以下のように定義する.

$
\begin{aligned}
& f(j, s, e)= \begin{cases}j-s, & \text { for } j<s \\
0, & \text { for } s \leq j \leq e \\
j-e, & \text { for } j>e\end{cases} \\
& D=\left.\{f(j, s, e) \mid w_{j}^{c} \in q\right.\} \\
& d=\operatorname{argmin}_{d^{\prime} \in D}\left|d^{\prime}\right|
\end{aligned}
$

ここで $0 \leq j \leq N$ は文章中の単語 $w_{j}^{c}$ の位置, $f(i, s, e)$ は $w_{i}^{c}$ の $a$ から見た相対位置, $D$ は $q$ と $c$ で重複している全ての単語の相対位置の集合を表す. ${ }^{1)}$ 式 3 で最も絶対值が小さいものを相対位置として定義して用いるのは, 質問応答モデルが重複語彙から近い位置のスパンをより優先して予測する傾向があること [8] や, 回答スパンと重複語彙の絶対的な距離が大きい時に精度が悪化すること [9] が知られているからである.2)

## 2.2 相対位置の分布

図 2 に SQuAD [6] の訓練セットにおける相対位置 $d$ の度数分布を示す. $d$ の値は 0 の周辺に偏っていることがわかる. SQuAD 以外の質問応答データセットにおいても 0 の周辺に偏る傾向は一貫している一方で，データセット間で分布の形に違いが見られる.（詳細は付録 Aを参照されたい.）この違いはデータセットの集め方や文章のドメインによって生じたものと考えられる. よって，特定の相対位置の分布に特化した学習は避け, 相対位置のバイアスを学習しない質問応答モデルの構築が求められる.

## 3 手法

## 3.1 バイアス除去手法

バイアス除去のためのアルゴリズムには, productof-experts [7] を応用した手法である BiasProduct と

図 2 SQuAD 訓練セットの相対位置 $d$ の度数分布

LearnedMixin $[10,11]$ を用いる.これらの手法では，共にバイアスを利用した予測をする Biased model をまず用意し，それと Main model を混合した product-of-experts を用いて損失関数を求める. Main model の訓練時は Biased model は固定した上で誤差関数を最小化する。そしてテスト時には Main model のみを用いて予測を行う. 既存研究 $[12,13]$ に倣い, モデル $\hat{p}$ は回答スパンの始点 $s$ と終点 $e$ の確率 $\hat{p}(s)$ と $\hat{p}(e)$ を出力し, 誤差関数は始点と終点の交差エントロピー誤差の和とする。以降簡単のため $\hat{p}(s)$ と $\hat{p}(e)$ の区別はせず $\hat{p}$ と表記する.

## 3.1.1 BiasProduct

BiasProduct では以下のように Biased model の出力確率 $b$ と Main model の出力確率 $p$ の対数の和を softmax 関数に入力して $\hat{p}$ を得る.

$
\hat{p}=\operatorname{softmax}(\log p+\log b)
$

これによって，Biased model が正しく予測をできるようなバイアスを含むデータよりも， Biased model が予測を誤るようなバイアスを含まないデータで Main model の学習が強く促進される.

## 3.1.2 LearnedMixin

BiasProduct は Biased model の出力確率に強く依存した学習手法である. Main model が Biased model の予測を信頼できるかどうかを各データごとに予測する LearnedMixin を用いることで Main model がより頑健なモデルになることが知られている.

$
\hat{p}=\operatorname{softmax}(\log p+g(c, q) \log b)
$

ここで $g \geq 0$ は学習可能な関数である.

## 3.2 Biased model

3.1 節で述べた Biased model の構築方法を述べる.

## 3.2.1 Answer prior

訓練セットの相対位置 $d$ の分布に応じて，回答スパン $a$ の始点と終点の事前確率を経験的に定めた Answer Prior (AnsPrior) を Biased model として用いる. 具体的には, 図 1 の凡例に示した 4 つの条件を満たす訓練セットのサブセットそれぞれに対して，文章中の単語 $w_{i}^{c}$ が始点または終点である事前確率 $b_{i}$ を以下のように定める.

$
b_{i}= \begin{cases}\mathbb{1}\left[w_{i+1}^{c} \in q\right] / Z, & \text { for } d \leq-1 \\ \mathbb{1}\left[\left(w_{i+1}^{c} \in q\right) \vee\left(w_{i-1}^{c} \in q\right)\right] / Z, & \text { for }|d|=1 \\ \mathbb{1}\left[w_{i}^{c} \in q\right] / Z, & \text { for } d=0 \\ \mathbb{1}\left[w_{i-1}^{c} \in q\right] / Z, & \text { for } d \geq 1\end{cases}
$

ここで $Z$ は正規化定数である. これらの事前確率は訓練セットで回答になりやすい箇所に等しく確率を割り当てる発見的手法に基づいている. そのため，特定の訓練セットの相対位置 $d$ の分布に特化した事前確率である点で柔軟性に欠ける。

## 3.2.2 Position-only model

訓練セットで相対位置 $d$ がどのような偏り方をしていても適用可能な Position-only model (PosOnly)を Biased model として提案する. PosOnly は，文章中の各単語の絶対的な位置と, 各単語が質問と重複しているか否かのみの情報を入力として，回答スパンの始点と終点を出力として訓練する. PosOnly が回答スパンを予測するためには重複単語からの相対的な距離と絶対的な位置のみしか利用できる情報がないため，訓練セットの相対位置がどのように偏っていたとしても相対位置バイアスを利用した解き方を学習することが期待される.

## 4 実験

## 4.1 実験設定

データセットデータセットには SQuAD 1.1 [6] を用いた. モデルが相対位置 $d$ が偏ったデータから見たことのある相対位置に依存しない解き方を学習できているかを評価するために，SQuAD 訓練セットから 4 つの異なる方法で意図的に相対位置バイアスを含むサブセットを取得して別々に訓練に用いた. 4 つのサブセットは, 相対位置 $d$ が条件 $d \leq-1,|d|=1, d=0, d \geq 1$ を満たすデータのみ
を抽出してそれぞれ構築した. サイズはそれぞれ 33,256，30,003，21,266，25,191である. 比較のために全ての訓練セットを用いた場合のスコアも報告する. 評価には $\mathrm{SQuAD}$ 開発セットの相対位置ごとの性能を評価した. 抽出型質問応答タスクの評価指標には，回答スパンの完全一致を測る Exact Match スコアと部分一致を測る F1 スコアが用いられてきた [6] が，紙面の節約のため F1 スコアのみ報告する.

比較手法バイアス除去のための学習手法として BiasProduct と LearnedMixin の 2 種類, それぞれに使われる Biased model として AnsPrior と PosOnly の 2 種類の全ての組み合わせ 4 通りと，何も工夫せずに訓練した場合の計 5 通りの訓練方法を比較してこれらの有効性を評価した. Main model と PosOnly にはいずれも BERT-base [13]を用いた.

## 4.2 結果

表 1 に結果を示す.まず，訓練セットを全て用いた場合 (ALL), BERT-base の性能は $|d|=1,2$ の時に 90 ポイントを超える一方で $|d| \geq 3$ の時には 8 ポイント程度低下していた. 2.2 節で示したように訓練セットの相対位置 $d$ の分布が 0 付近に偏っていたことから，訓練セットで頻度が高い $d$ では精度が高くなり，逆に頻度が低い $d$ では精度が低くなるという仮説が立てられる。

相対位置 $d$ の分布を意図的に偏らせた訓練セットを使って BERT-base の通常の訓練を行なった結果はこの仮説の信頼性を高めるものであった. 相対位置 $d$ が $|d|=1$ を満たすデータのみで通常の訓練を行なったところ，|d|=1 では F1 スコアが ALL に比べて2 ポイント未満しか低下しなかったのに対して， $|d| \neq 1$ では $\mathrm{F} 1$ スコアが 10 15 ポイント低下した.他のサブセットを用いた通常の訓練でも同様の傾向が見られた. これが示唆するのは, 同じ相対位置 $d$ の値を持つデータで成り立つ擬似相関をモデルが利用して推論を行なっているということである.

訓練セットのサブセットが満たす $d$ の条件が同じ下で，提案する 4 種類のバイアス除去手法と通常の訓練をそれぞれ比較して得られる結論を述べる. まず学習手法としては多くの場合 BiasProduct よりも LearnedMixin の方が高い F1 スコアが得られた. この結果は各データで Biased model の予測結果を Main model の訓練に反映させる度合いを学習することの有効性を示している。また, Biased model としては，訓練時にモデルが見たことのない相対

表 1 SQuAD 開発セットの各サブセットにおける F1 スコア. 灰色で示した箇所では訓練時と評価時の $d$ が重複している. 灰色では全ての訓練セットを用いた場合 (ALL) に比べてスコアが高く保たれる傾向にある.

位置 $d$ のデータへの汎化性能一すなわち表 1 の白い箇所のスコアーを向上させるためには, AnsPrior よりも PosOnly の方が優れていることがわかった.特に訓練時に $d=0$ でテスト時に $d \leq-3$ の場合や，訓練時に $d \leq-1$ でテスト時に $d \geq 3$ の場合は， LearnedMixin-PosOnly は LearnedMixin-AnsPrior よりも 5 ポイント程度優っていた. 一方で，訓練時に見たことのある相対位置 $d$ のデータへの汎化性能一すなわち表 1 の灰色の箇所のスコア一の観点では, LearnedMixin-AnsPrior が最も優れていた. LearnedMixin-AnsPrior 以外の提案モデルは通常の訓練と比べてスコアを悪化させてしまうことが多いこともわかった. バイアス除去の既存研究 [14]でも指摘されているが，相対位置のバイアス除去でも訓練時と同じ分布と違う分布のテストセットでの精度にトレードオフが生じるという問題が明らかになった.

## 5 関連研究

訓練セットに特有なバイアスを利用した解き方を自然言語理解モデルが学習していること, または訓練セットと同じ分布のテストセットで高い精度を出
すにはバイアスを利用するだけで十分であることを指摘する研究が近年増えている。自然言語推論では特定の語彙 [15] や, 語彙の重複 [1] とラベルとの擬似相関をモデルが利用してしまう問題が指摘された. 抽出型質問応答では質問と回答のタイプ一致だけで解ける質問が多いこと $[16,9]$ や，回答の絶対的な位置のバイアスをモデルが学習しやすいこと [4] が知られている. モデルが人らしい読解スキルを学習できているかどうかを評価するには，訓練時とテスト時で違う分布のデータを使うことが最も有効な方法の一つである. 本研究では相対位置という新しい観点でこれについて分析して問題を発見し，有効なバイアス除去手法を開発した。誤差関数は既存研究 [4] と同じものを用い，相対位置バイアスのための Biased model は独自に設計した.

## 6 おわりに

抽出型質問応答でモデルが相対位置に関するバイアスを利用しうることを示し，それを解決するための有効なバイアス除去手法を提案した. 他のデータセットでの検証，モデルの中間表現や学習過程についての分析が今後の展望である.

## 謝辞

本研究は, JST 次世代研究者挑戦的研究プログラム JPMJSP2108 の支援を受けたものです. 本研究は JSPS 科研費 JP21H03502, JP20K23335 の助成を受けたものです.

## 参考文献

[1] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A. Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, November 2020.

[3] Mike Lewis and Angela Fan. Generative question answering: Learning to answer the whole question. In International Conference on Learning Representations, 2019.

[4] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1121, Online, November 2020. Association for Computational Linguistics.

[5] Charles Lovering, Rohan Jha, Tal Linzen, and Ellie Pavlick. Predicting inductive biases of pre-trained models. In International Conference on Learning Representations, 2021 .

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Geoffrey E Hinton. Training products of experts by minimizing contrastive divergence. Neural computation, Vol. 14, No. 8, pp. 1771-1800, 2002.

[8] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Christopher Clark, Mark Yatskar, and Luke Zettlemoyer. Don't take the easy way out: Ensemble based methods for avoiding known dataset biases. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4069-4082, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] He He, Sheng Zha, and Haohan Wang. Unlearn dataset bias in natural language inference by fitting the residual. In Proceedings of the 2 nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), pp. 132-142, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. Bidirectional attention flow for machine comprehension. In International Conference on Learning Representations, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Prasetya Ajie Utama, Nafise Sadat Moosavi, and Iryna Gurevych. Mind the trade-off: Debiasing NLU models without degrading the in-distribution performance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8717-8729, Online, July 2020. Association for Computational Linguistics.

[15] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Dirk Weissenborn, Georg Wiese, and Laura Seiffe. Making neural QA as simple as possible but not simpler. In Proceedings of the 21 st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 271-280, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[17] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .

## A 相対位置の分布

SQuAD, NewsQA, TriviaQA, NaturalQuestions の開発セットにおける相対位置の度数分布を図 3 に示す. データセットによって違いはあるものの，いずれも相対位置が 0 の周辺に偏っていることがわかる.

## B 訓練の詳細

各モデルの訓練のエポック数は 2 , バッチサイズは 32 とし，学習率は 3e-5 から線形に 0 まで減少させ，最適化には Adam [17]を用いた。

(a) SQuAD

(b) NewsQA

(c) TriviaQA

(d) NaturalQuestions

図 3 回答から見た重複語彙の相対位置の度数分布


# 遠距離教師データの特徵表現を活用した 薬物タンパク質間関係抽出

飯沼 直己 三輪誠 佐々木裕
豊田工業大学
\{sd20403, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

創薬等の分野で重要な薬物タンパク質間の相互作用に関する情報の深層学習による自動抽出が注目されているが，教師データの作成が高コストであるという問題がある。そこで，低コストで大量の教師データの作成できる遠距離教師あり学習が提案されているが，誤ったラベルのデータが含まれるため，予測性能が低下する問題が残っている. 本研究では，教師データを作成するコストを抑えながら，抽出性能の向上を目指し，特徵表現により遠距離教師データを間接的に活用した深層学習モデルの学習手法を提案する. DrugProtコーパスを対象とした実験の結果，遠距離教師データの利用により， $\mathrm{F}$ 値のマイクロ平均が 0.8 ポイント向上することを示した.

## 1 はじめに

「根拠に基づく医療」を展開していく上で，薬物とタンパク質間の相互作用に関する情報は創薬・代謝工学・薬物反応モデリング等の分野で重要である. しかし, 相互作用の情報は文献として発表され，文献数は急速に増加しているため [1], 相互作用の情報を決定するために薬理学者が逐一論文を読むことは困難である. そのため, テキストからの相互作用抽出 [2] の自動化が注目されている。この中で，深層学習を利用した手法は高い性能を達成しているものの，教師データ作成に莫大なコストがかかるという問題を抱えている。

低コストで大量の教師データの作成を可能にする遠距離教師あり学習が Mints ら [3] によって提案されている。しかし，この手法には学習時のノイズとなる誤ったラベルのデータを作成してしまう問題が残っている。 そのため, Beltagy ら [4] による手法などノイズを緩和する手法が提案されている.

本研究では，自動的に生成した遠距離教師データ
の，教師あり薬物タンパク質間相互作用抽出への活用方法の提案とその抽出性能の評価を目的とする.作成の容易な遠距離教師データを活用し，教師デー タ作成のコストを抑えながら，薬物タンパク質間関係抽出の性能向上を目指す.

## 2 関連研究

## 2.1 遠距離教師あり学習

遠距離教師あり学習は Mints ら [3] によって提案された，データベースから機械的に文書に関連情報をラベル付けする手法である。これにより，大量の教師データを生成できるが，ラベル付けを誤った教師データを含んでしまう。この誤ったラベルは予測モデルの性能を低下させるノイズとなる．そのため，ノイズの影響を緩和する手法が提案されている. よく用いられる手法として，教師データをデー タベース上のペアに対応するインスタンスのバッグで扱うマルチインスタンス学習がある. Zeng ら [5] はバッグ中の正解ラベルに対する予測確率が最も高い表現を持つデータのみを利用して学習する手法を提案した. また Beltagy ら [4] は, 少量の人手の教師データによる注意機構を利用する手法を提案した。

## 2.2 薬物タンパク質間関係抽出

薬物タンパク質間関係抽出は，文献中に記載された薬物とタンパク質間の関係を抽出するタスクである. Gu ら [2] は大規模なニューラルネットワークモデル BERTを大規模な生物医学文献で事前学習したモデル (PubMedBERT) を提案した.

## 3 提案手法

本手法では，遠距離教師データから得られる特徴表現を活用して人手の教師データの薬物タンパク質間関係抽出を行う。機械的に作成した遠距離教師

データを活用することで，教師データを追加で作成するコストを抑えながら，抽出性能の向上を目指す.

以降，3.1 節でベースとなる関係抽出モデル， 3.2 節でデータベースからの遠距離教師データの作成, 3.3 節で遠距離教師データの特徴表現の活用手法についてそれぞれ説明する。

## 3.1 関係抽出モデル

本研究のベースラインとなる人手の教師データのみでモデルを学習する関係抽出モデルについて説明する。まず，入力文を BERT [6] でエンコードし，入力文の文脈を表した特徴量ベクトル $\boldsymbol{h}$ を生成する。 BERT は入力文の各トークンに対して表現ベクトルを生成するが，文全体の特徴を含んだ [CLS] トークンの表現ベクトルを特徴表現ベクトルとして用いる. さらに，特徴量ベクトルを基に全結合層とソフトマックス関数により各関係に対する予測確率を表した予測べクトルを生成する. モデルは予測確率が最大となる関係を予測する。最適化手法は Adam [7] を用い，交差エントロピーを目的関数として最小化するようにモデルを学習する。

## 3.2 遠距離教師データの作成

遠距離教師データの作成の概略を図 1 に示す。以前提案した遠距離教師データ作成手法 [8] では薬物データベース DrugBank [9]・タンパク質データベー ス UniProt [10]・医学文献データベース PubMed [1] を用いたが，本手法ではさらに化学物質データベー ス Comparative Toxicogenomics Database (CTD) [11] を活用して遠距離教師データを作成する．以降，これらのデータベースを用いて遠距離教師データを作成する手順を説明する。

まず，DrugBank から ID 関係トリプルを作成する. ID 関係トリプルとは薬物の ID・相互作用名・タンパク質の ID のトリプルである。次に，DrugBank, CTD の情報を基に薬物の ID と表層表現を対応付けて薬物名辞書を作成する. 同様に UniProt, CTD からタンパク質名辞書を作成する。これらの辞書と ID 関係トリプルから関係トリプルを作成する。さらに, 生物医学・科学文献の処理に特化したツールである SciSpacy [12] の文分割・エンティティ抽出により，PubMed 文献を解析し，文献中の専門用語を抽出する (NER). 最後に，関係トリプルと PubMed 文献から抽出された専門用語を用いて辞書マッチに

図 1 遠距離教師データの作成

図 2 遠距離教師データの活用

より PubMed 文献から遠距離教師データを作成する. DrugBank 上の相互作用名とタスク上の関係名のマッピングには，付録 A 章の表 2 に示す DrugProt コーパスの関係アノテーションガイドライン [13] の関係の記述に基づいて作成された辞書を用い（例： Inducer は INDIRECT-UPREGULATOR に含まれる），辞書でマッピングできない DrugBank 上の相互作用名のインスタンスはフィルタリングする.

## 3.3 遠距離教師データを活用した関係抽出

遠距離教師データから得られる特徴表現の活用方法として，遠距離教師データによる事前学習と遠距離教師データと人手の教師データから得られる特徵量の混合の 2 つの手法を提案する. これら 2 つの手法の概要を図 2 に示す. 以降，この節では，これら 2つの手法について説明する。

## 3.3.1 事前学習としての利用

図 2(a) に示す遠距離教師データを事前学習に活用する手法について説明する。自然言語処理のタスク

において，ドメインの近いデータセットによる事前学習により目的のデータセットでのモデルの性能が向上することが知られている [14]. そこで，遠距離教師データによる事前学習を行う，具体的には，まず遠距離教師データにより 3.1 節で説明した関係抽出モデルを学習し, 続いて遠距離教師データにより学習したパラメータを初期値として人手の教師デー タにより関係抽出モデルを学習する。

## 3.3.2 特徵量表現の混合

図 2 (b) に示す遠距離教師データと人手の教師データで各々事前学習したモデルから得られる特徴表現ベクトルを混合する手法について説明する。まず，遠距離教師データと人手の教師データでそれぞれ関係抽出モデルを学習する. 関係抽出モデルの特徵抽出器として用いた BERT は大力のトークン系列に対して表現系列 $\boldsymbol{H}$ を出力するため， 3.1 節で説明した手法と同様に [CLS]トークンの表現 $\boldsymbol{h}$ を特徴表現ベクトルとする. 遠距離教師データ, 人手の教師データで学習した関係抽出モデルから得られる特徴表現ベクトルをそれぞれ $\boldsymbol{h}_{d s}, \boldsymbol{h}_{s v}$ とし，以下の式に示すように混合手法として Gate と Concat の 2 種類の手法を提案する.

$
\begin{aligned}
\boldsymbol{h}_{\text {Gate }} & =\alpha \boldsymbol{h}_{d s}+\beta \boldsymbol{h}_{\boldsymbol{s v}} \\
\boldsymbol{h}_{\text {Concat }} & =\left[\gamma \boldsymbol{h}_{d s} ; \eta \boldsymbol{h}_{\boldsymbol{s v}}\right]
\end{aligned}
$

$[\because \cdot]$ はベクトルの結合を示す. $\alpha, \beta, \gamma, \eta$ は各特徴量の重要度を表す重みであり，学習可能なスカラー値のパラメータとする.

Gate は (1) 式に示すように, $\boldsymbol{h}_{\boldsymbol{d}}, \boldsymbol{h}_{s v}$ を重要度を意味するパラメータで定数倍した後に各々の要素和を計算して混合する. Concat は (2) 式に示すように， $\boldsymbol{h}_{\boldsymbol{d} \boldsymbol{s}}, \boldsymbol{h}_{\boldsymbol{s v}}$ をパラメータで定数倍した後に結合して混合する. これらの手法で混合した特徴表現ベクトル $\boldsymbol{h}_{\text {Gate }}, \boldsymbol{h}_{\text {Concat }}$ を全結合層とソフトマックス関数により関係を予測する。

## 4 実験と考察

人手の教師のデータセットとして，5,000 件の医学文献に対して薬物，タンパク質とそれらの関係がタグ付けされた DragProtコーパス [15]を用いて関係抽出を学習し, 開発データで評価した. 評価指標には $\mathrm{F}$ 値を用いた. 遠距離教師のデータセットは 3.2 節の手法で作成し, 事例数は 400,867 件である. また，実験環境の詳細は付録 B 章に示す。

## 4.1 関係抽出の性能比較

人手の教師データのみで学習したベースラインと提案手法の抽出性能を比較する実験を行った. ベー スラインとして, データセットと近いドメインで事前学習された PubMedBERT, BioRoBERTa-large[16] をべースとした関係抽出モデルを人手の教師データのみで学習したモデルを用いた. BioRoBERTa-large はパラメータサイズが PubMedBERT のおよそ 3 倍の大規模な事前学習モデルであり，DragProtコーパス [15]を用いたコンペティションにおいて外部知識を用いないモデルの中でSOTAを達成し, 開発デー タで $77.46 \%$ を記録した [17] モデルである。結果を表 1 に示す.

まず，PubMedBERTをベースラインとして提案手法を適用した場合の性能に着目する。 遠距離教師データのみで学習した際の $\mathrm{F}$ 値のマイクロ平均は $16.6 \%$ と低いものの，全提案手法において，人手の教師データが少ない AGONIST, PRODUCT-OF に対する予測性能が大きく向上した。これは遠距離教師データの特徵表現を活用することで，ノイズの影響を緩和しながら人手の教師データの不足を補えたためだと考えられる。また，特徴量表現の混合により遠距離教師データを利用した Gate, Concat は人手の教師データが多い ANTAGONIST をはじめとした多くの関係に対する予測性能が向上し，マイクロ平均も全体で 0.8 ポイント向上した. このことから,事前学習より特徴量表現の混合の方が遠距離教師データの特徵表現の利用方法として有効であると分かった。

次に，BioRoBERTaをベースラインとして提案手法を適用した場合の性能に注目する、マイクロ平均において，提案手法により 0.5 ポイントの性能向上が得られた. 更に，関係ごとの $\mathrm{F}$ 值を比較しても, ACTIVATOR, ANTAGONIST, SUBSTRATE を除く全ての関係で性能が向上もしくは維持された。この結果と PubMedBERT の結果から，提案手法はモデルのパラメータサイズに依らず性能向上が得られることが分かった.

## 4.2 小規模の教師データでの性能比較

本節では，小規模の人手の教師データで学習する際の提案手法の有効性を検証した. 本研究では，作成コストの低い遠距離教師データの活用により，教師データを追加で作成するコストを抑えながら薬物
表 1 関係抽出性能比較 (評価指標は $\mathrm{F}$ 值)

 &  &  &  &  &  &  &  \\

タンパク質間相互作用抽出の性能向上を目指している. 4.1 節では人手の教師データを全て使って学習し，提案手法によりベースラインから性能向上が得られることが確認できた。そこで，小規模の人手の教師データで学習する際の有効性を検証するため，人手の教師データの一部のみを使って学習し, ベー スラインと提案手法の関係抽出性能を比較した. $[100,200,500,1,000]$ の事例数の各関係の人手の教師データを使ってモデルを学習した際の開発データでの性能を確認した. 提案手法には， 4.1 節でベースラインから最も性能向上が得られた Concat で特徴表現を混合するモデルを用いた。

結果を図 3 に示す. 4.1 節で人手の教師データを全て使って学習した際と同様にベースラインから大幅な性能向上は得られなかったが，全ての事例数で一貫して性能が向上した. このことから, 提案手法により遠距離教師データから得られる特徴表現を利用することで，訓練に使用できる人手の教師データの事例数に依らず性能の向上が得られることが分かった.

## 5 おわりに

遠距離教師データを低コストで作成し，活用することで，教師データの作成コストを抑えながら薬物タンパク質間相互作用抽出の性能向上を目指した. そこで，2 種類の遠距離教師データの活用手法を提案した. 両手法ともに人手の教師データが少ない関

図 3 訓練事例数と Micro-F の関係

係に対する予測性能がベースラインから向上した. さらに，特徴表現混合法では人手の教師データが多い関係に対する予測性能とマイクロ平均も向上し,提案手法の有効性を示すことができた。加えて，モデルのパラメータサイズや訓練に使用できる人手の教師データの事例数に依らず性能向上が得られることを示した。

今後は，さらなる性能の向上に向け，混合特徵表現法での事前学習と特徴表現の混合部分の学習手法を検討する予定である。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12016.

[2] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, p. 1-23, Jan 2022.

[3] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[4] Iz Beltagy, Kyle Lo, and Waleed Ammar. Combining distant and direct supervision for neural relation extraction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1858-1867, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1753-1762, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[7] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[8] 飯沼直己, 三輪誠, 佐々木裕. 遠距離教師データを援用した教師あり薬物タンパク質間相互作用抽出. 言語処理学会第 26 回年次大会, 2020.

[9] Wishart DS, Feunang YD, Guo AC, Lo EJ, Marcu A, Grant JR, Sajed T, Johnson D, Li C, Sayeeda Z, Assempour N, Iynkkaran I, Liu Y, Maciejewski A, Gale N, Wilson A, Chin L, Cummings R, Le D, Pon A, Knox C, and Wilson M. Drugbank 5.0: a major update to the drugbank database for 2018. Nucleic Acids Res., 12018.

[10] The UniProt Consortium. UniProt: the universal protein knowledgebase in 2021. Nucleic Acids Research, Vol. 49, No. D1, pp. D480-D489, 112020.

[11] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative Toxicogenomics Database (CTD): update 2021. Nucleic Acids Research, Vol. 49, No. D1, pp. D1138-D1143, 102020.

[12] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical
Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319-327, Florence, Italy, August 2019. Association for Computational Linguistics.

[13] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[14] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: Pretrained language model for scientific text. In EMNLP, 2019.

[15] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021.

[16] Patrick Lewis, Myle Ott, Jingfei Du, and Veselin Stoyanov. Pretrained language models for biomedical and clinical tasks: Understanding and extending the state-of-the-art. In Proceedings of the 3rd Clinical Natural Language Processing Workshop, pp. 146-157, Online, November 2020. Association for Computational Linguistics.

[17] Wonjin Yoon, Sean Yi, Richard Jackson, Hyunjae Kim, Sunkyu Kim, and Jaewoo Kang. Using knowledge base to refine data augmentation for biomedical relation extraction. November 2021.

[18] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[19] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

[20] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.
表 2 関係マッピングの辞書

表 3 実験に用いたハードウェア

## 付録

## A 関係名のマッピング

3.2 節で説明した DrugBank 上の相互作用名とタスク上の関係名のマッピングに用いた辞書を表 2 に示す.

## B 実験環境

4 章で示した実験を行った環境について説明する. 実装には，Python3 [18] のバージョン 3.8 .1 と深層学習ライブラリである PyTorch [19] のバージョン 1.9.0を用い，表 3 に示すハードウェア環境で実験した. 学習時のハイパーパラメータは表 4 の探索範囲からオープンソースのハイパーパラメータ自動最適化フレームワーク Optuna[20]を用いて, 開発データでの $\mathrm{F}$ 值のマイクロ平均が最大になるようにパラメータ探索をして決定した。表 4 パラメータ探索範囲


# 薬学知識グラフ上のへテロな情報を利用した 文献からの薬物相互作用抽出

浅田 真生 三輪誠 佐々木裕
豊田工業大学
\{sd19501, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

文献からの薬物相互作用抽出において，近年では事前学習済み深層ニューラルモデルを用いた手法が広く用いられている。これらの手法は薬物メンション周辺の文脈情報のみを考慮しているが，文脈理解に薬物の背景知識が必要とされる薬学文献の読解においては，薬物にまつわるへテロな情報を深層ニューラルモデルに考慮させることが必要であると考えられる．本研究では，薬物に関する様々な情報が登録されたへテロ薬学知識グラフの表現を薬物相互作用抽出に援用する手法を提案する. SemEval-2013 Task 9.2 データセットで提案手法を学習・評価し，薬物のへテロな情報を用いることで世界最高性能となる $85.02 \%$ F 值を達成した。

## 1 はじめに

薬物相互作用とは，患者に複数の薬物を併用投与した際に，薬物の本来の作用が増強・弱減したり，予期せぬ副作用が生じる現象のことである。「根拠に基づく医療」[1]を実践し，投薬過誤を防ぐためには，薬学論文から薬物相互作用に関する知識を網羅的に抽出しておくことが重要であり，そのために文献からの薬物相互作用の自動抽出技術による支援が期待されている.

著者らはこれまで，深層ニューラルモデルによる文献からの薬物相互作用抽出に取り組む上で，従来の文献のみを対象にした抽出の限界を超えるためには，外部知識の活用が必須であると考え，外部知識を薬物相互作用抽出に取り入れる研究 [2], 様々なドメイン情報を含んだへテロな薬物知識グラフを作成しリンク予測を行う研究 [3] を行ってきた。本稿ではこれらの研究を発展させ，へテロな薬学知識グラフを外部知識として利用した薬物相互作用抽出に取り組む。本稿では，薬物のへテロなドメイン情報を考慮した薬物エンティティ表現を，文献からの薬物相互作用抽出に利用する手法を提案する。このエンティティ表現は，薬物データベース DrugBank [4], タンパク質データベース UniProt [5]，医療用語シソーラス MeSH [6]，パスウェイデータベース Small Molecule Pathway Database (SMPDB) [7] を用いて作成した薬物のへテロなドメイン情報を含んだへテロ薬学知識グラフに対して，リンク予測モデルを学習することで獲得した表現である. 本研究の貢献は以下の通りである。

・へテロなドメイン情報を考慮した薬物エンティティ表現を利用した薬物相互作用抽出モデルを提案した.

・提案した手法を SemEval-2013 Task 9.2 データセット [8] で評価し，薬物にまつわるへテロなドメイン情報の活用により抽出性能の向上を達成した。

## 2 関連研究

## 2.1 深層ニューラルモデルによる薬物相互作用抽出

文献からの薬物相互作用抽出タスクでは，大規模な薬学文献を用いて事前学習した BioBERT [9], SciBERT [10], PubMedBERT [11] といったモデルを用いた手法が広く使用されている。ただし，これらの研究は入力文の文脈情報のみを利用しており，文書や薬物の背景にある様々なドメイン情報を考慮できていない.

## 2.2 薬物の分子構造と説明文を用いた薬物相互作用抽出

著者らは，入力文中の薬物メンションについて，薬物データベース DrugBank にアクセスして薬物の分子構造情報と説明文情報を獲得し，分子構造情報，説明文情報をそれぞれ Graph Neural Networks

図 1 へテロ薬学情報を利用した薬物相互作用抽出モデル

(GNNs) [12], SciBERT [10] で表現し, 入力文の表現と組み合わせて薬物相互作用抽出を行う手法 [2] を提案した。薬物の分子構造情報及び説明文情報を利用することでどちらの情報も薬物相互作用の抽出性能を向上できること，さらに，モデルのアンサンブルによって，分子構造情報と説明文情報の両者を考慮することで抽出性能をさらに向上できることを報告した.

## 2.3 ヘテロ薬学知識グラフの表現ベクトル 獲得

著者らは，複数のデータベースを用いて異なる種類の情報を節点としたへテロ薬学知識グラフを構築し，薬物にまつわるへテロな情報を考慮したべクトル表現を獲得した [3]. 作成したへテロ薬学知識グラフの概要を図 $1 \mathrm{~A}$ に示す. 知識グラフに含まれるノードの種類は以下に示す 5 種類である.

・薬物：薬物データベース DrugBank に登録された 10,000 件以上の薬物

・タンパク質：タンパク質データベース UniProt のうち, Swiss-Protに登録されたタンパク質

・パスウェイ : パスウェイデータベース SMPDB に登録された 30,000 件以上のパスウェイ

-MeSH カテゴリ：薬物のカテゴリ情報を表す医療シソーラス MeSH のエントリ

$\cdot$ATC コード: Anatomical Therapeutic Chemical (ATC) 分類システムによって階層化された薬物のカテゴリ情報

上記， 5 種類のへテロなノードは，以下に示す 8 種類の関係でリンクされる。

・category: 薬物ノードと MeSH カテゴリノードの関係.この関係は, 薬物が MeSHによって定義された治療カテゴリーまたは一般カテゴリーに分類されることを示す.

-ATC: 薬物ノードと ATC コードノードの関係.例えば，薬物 Morphine は ATC コードとして A07DA52 が割り当てられているが，全ての親コード (A, A07, A07D, A07DA) のノードも ATC 関係でリンクされる。
- pathway: 薬物またはタンパク質とそれらが含まれているパスウェイの関係. 薬物または酵素タンパク質が代謝，疾患，および生物学的パスウェイに関与している場合，薬物・タンパク質ノードとパスウェイのノードがリンクされる.
- interact: 薬物相互作用が報告されている薬物ぺア間の関係.
- target: 薬物ノードとタンパク質ノードの関係. タンパク質，高分子，拡散，または特定の薬物が結合する小分子であり，結合した分子の正常な機能と望ましい治療効果の変化をもたらす場合，この関係でリンクされる。
- enzyme: 薬物ノードとタンパク質ノードの関係.特定の薬物が関与する化学反応を触媒するタンパク質の場合，この関係でリンクされる.
- carrior: 薬物ノードとタンパク質ノードの関係.薬物に結合して細胞輸送体に運ばれ，そこで細胞内に移動する分泌タンパク質の場合，この関
係でリンクされる
- transporter: 薬物ノードとタンパク質ノードの関係. イオン，小分子，または高分子を膜を越えて細胞内または細胞外にシャトルする膜結合夕ンパク質の場合，この関係でリンクされる。

作成したへテロ薬学知識グラフは, 有向グラフ $\varphi=(E, R, F)$ とみなすことができる. ここで， $E$ はエンティティの集合， $R$ は関係の集合， $F$ は関係トリプルの集合である。関係トリプルは $(h, r, t)$ で表現され $, h, r, t$ はそれぞれ先頭エンティティ, 関係,末尾エンティティである. グラフ埋め込み表現の学習は，負例サンプリングによって行う. 正例の関係トリプル集合を $\mathbb{D}^{+}$，擬似的に作成した負例の関係トリプル集合を $\mathbb{D}^{-}$としたときに，損失関数は以下のように示される.

$L_{K G}=\sum_{\left.(h, r, t) \in \mathbb{D}^{+} \cup \mathbb{D}\right)^{-}} \log (1+\exp (y \cdot f(h, r, t)))+\lambda\|\Theta\|_{2}^{2}$

ここで， $f(h, r, t)$ は関係トリプルのスコア関数である. スコア関数としては，TransE [13], DistMult [14], ComplEx [15], SimplE [16] を用いた.

## 3 提案手法

本研究では，薬物のへテロな情報を文献からの薬物相互作用抽出タスクに活用するために，薬学へテ口知識グラフ表現を利用した薬物相互作用抽出手法を提案する。提案モデルの全体像を図 1 に示す.

## 3.1 知識グラフ表現を活用した薬物相互作用抽出

2.3 節で説明した知識グラフ表現を利用して，文献からの薬物相互作用抽出を行う. 2 つ薬物メンション $m_{1}, m_{2}$ を含む入力文 $S=\left(w_{1}, w_{2}, \cdots, w_{n}\right)$ が与えられたとき，これを BERT エンコーダの入力とし，BERT の [CLS] トークンを入力文の表現ベクトル $\mathbf{h}_{\text {input }}$ とする. 図 1B に示すように，入力文中の薬物メンション $m_{1}, m_{2}$ を知識グラフの薬物エンティティとリンキングを部分文字列一致によって行い，対応する知識グラフ埋め込みベクトル $\mathbf{h}_{K G_{1}}, \mathbf{h}_{K G_{2}}$ を得る。知識グラフの表現ベクトルと，入力文の表現ベクトルを図 $1 \mathrm{C}$ に示すように組み合わせる。

$
\begin{aligned}
& \mathbf{h}_{K G^{\rightarrow}}=W_{1}\left(\left[\mathbf{h}_{K G_{1}} ; \mathbf{h}_{K G_{2}}\right]\right)+b_{1} \\
& \mathbf{h}_{K G^{\leftarrow}}=W_{1}\left(\left[\mathbf{h}_{K G_{2}} ; \mathbf{h}_{K G_{1}}\right]\right)+b_{1}
\end{aligned}
$

ここで，[;] はベクトルの連結， $W^{1}, b^{1}$ は重み行列とバイアスを表す. $\mathbf{h}_{a}$ と $\mathbf{h}_{b}$ の和を大力文表現 $\mathbf{h}_{\text {input }}$ と連結し，全結合層の入力とする。

$
\begin{gathered}
\mathbf{h}_{K G}=\mathbf{h}_{K G^{\rightarrow}}+\mathbf{h}_{K G^{\leftarrow}} \\
\mathbf{h}_{F C}=W_{2}\left(\left[\mathbf{h}_{\text {input }} ; \mathbf{h}_{K G}\right]\right)+b_{2} \\
\hat{\mathbf{y}}=\operatorname{Softmax}\left(\mathbf{h}_{F C}\right)
\end{gathered}
$

正解ラベル $\mathbf{y}$ との交差エントロピー損失を最小にするように学習を行う。

$
L=-\sum_{x=1}^{X} \mathbf{y}_{x} \log \hat{\mathbf{y}}_{x}
$

## ここで，Xは全インスタンス数を表す.

## 3.2 モデルのアンサンブルによるへテロ情報の組み合わせ

薬物エンティティの知識グラフ表現 $\mathbf{h}_{K G_{1}}, \mathbf{h}_{K G_{2}}$ を， $\mathbf{h}_{\text {mol }_{1}}, \mathbf{h}_{\text {mol }_{2}}$ または $\mathbf{h}_{\text {desc }_{1}}, \mathbf{h}_{\text {desc }_{2}}$ に置き換えることで，分子構造または説明文を用いた手法 [2] となる.ここで， $\mathbf{h}_{\text {mol }_{i}}$ は薬物メンション $m_{i}(i=1,2)$ の分子構造情報を GNN で表現したべクトル， $\mathbf{h}_{\text {desc }_{i}}$ は説明文情報を BERT でエンコードした [CLS]トークンのベクトル表現である．分子構造表現，説明文表現，知識グラフ表現の組み合わせを深層ニューラルモデルのアンサンブルによって行う． $M$ 個のモデルを用いる場合，それぞれのモデルの出力ベクトルは式 6 により計算され，これを $\hat{\mathbf{y}}_{m}(m=1, \ldots, M)$ とする. モデルの予測確率の平均を最終的な出力 $\hat{\mathbf{y}}_{\text {all }}$ とする。

$
\hat{\mathbf{y}}_{\text {all }}=\frac{1}{M} \sum_{m=1}^{M} \hat{\mathbf{y}}_{m}
$

## 4 実験設定

薬物相互作用抽出コーパスとして，SemEval-2013 Task 9.2 (DDIExtraction-2013 shared task) データセットを用いた。このデータセットは，薬物ぺアを含んだ文から構成され，薬物ペアそれぞれに対して，以下に示す 4 種類の薬物相互作用が正解付けされている. データセットの内訳を付録 A の表 3 に示す.

・Mechanism 薬物ペアが薬物動態学敵作用を持つ.

・Effect 薬物ペアが薬力学敵作用を持つ.

・Advice薬物ペアを併用する際の推奨を表す。
- Interaction (Int.) 薬物ペアが薬物相互作用を持つことのみを表す。
表 1 ヘテロ薬学知識グラフ上のリンク予測タスク精度 (MRR)

コーパス中の薬物メンションとへテロ知識グラフの薬物エンティティとの対応付けは，小文字に変換した後の部分文字列一致により行った. 薬物メンションと文字列一致を行う対象として, DrugBank に登録された薬物の見出し語，製品名，製剤名，シノニムを用いた。コーパス中の訓練データの 2,242 種類の薬物メンションのうち，一致が取れたものは $90.5 \%$ ，評価データの 854 種類の薬物メンションの

入力文表現のための事前学習済みモデルとして, PubMedBERT [11]を用いた. SemEval-2013 Task 9.2 データセットは公式の開発データセットが提供されていないため，訓練データを $4: 1$ に分割して開発データセットを作成し，ハイパーパラメータチュー ニングを行った。ハイパーパラメータの決定後は,分割前の訓練データでモデルを再度学習し, 評価データセットで評価を行った.

へテロ知識グラフデータセットを訓練・開発・テストに分割し，学習と評価を行った. 知識グラフの埋め込み表現獲得のために使用したデータセットの統計を付録 Aに示す。

## 5 結果

表 1 に，へテロ薬学知識グラフに対するグラフ埋め込み表現の性能を確認するために，リンク予測タスクの精度を示す. リンク予測の評価指標として, Mean Reciprocal Rank (MRR) を用いた. 表 1 より，全ての関係ごとの MRR を平均すると，スコア関数として DisMult を用いた場合が最も性能が高かった. 関係ラベルごとに MRRを見ると，スコア関数 TransE を用いた場合は，interactの関係において低い MRRを示した. これは，知識グラフ中の薬物相互作用の関係は対称であるが，TransE が対称の関係性を捉えられないからであると考えられる。

続いて，SemEval-2013 Task 9.2 データセット上で表 2 薬物相互作用抽出タスクの性能

評価した文献からの薬物相互作用抽出の性能を表 2 に示す。評価指標として，マイクロ平均 $\mathrm{F}$ 値を用いた. SciFive [17] は， 入力と出力をどちらもテキストフォーマットで取り扱うモデル Text-to-Text Transfer Transformer (T5) [18] を生物医学ドメイン向けに再学習したモデルである. SciBERT (Mol. + Desc.) [2] は，薬物の分子構造情報と説明文情報を用いた手法である. へテロ知識グラフの情報を用いた手法に着目すると，いずれのスコア関数で学習した知識グラフベクトル表現を用いた場合でも，PubMedBERT で入力文情報のみを用いる手法よりも高い $\mathrm{F}$ 值を示した。 Ensemble (KG + Mol. + Desc.) は，開発データセットで最も高い性能を示したスコア関数によるモデルと，分子構造情報を用いたモデル及び説明文情報を用いたモデルの 3 つのモデルをアンサンブルによって組み合わせた手法である。知識グラフの情報を除いた Ensemble (Mol. + Desc.) と比較すると, 分子構造情報と説明文情報に知識グラフの情報を加えることでさらに高い $\mathrm{F}$ 値が得られることが分かった.

## 6 おわりに

本研究では，文献からの薬物相互作用抽出タスクにおいて，薬物にまつわるへテロな情報の活用を目的とし, 著者らが作成したへテロ薬学知識グラフの埋め込み表現を利用するモデルを提案した．提案した手法を SemEval-2013 Task 9.2 データセットで学習・評価したところ，薬物に関するへテロなドメイン情報を利用することで，これまでの最高性能を越

今後は，知識グラフ表現の学習と入力文表現の学習を同時に行い，さらに知識グラフ表現と入力文表現の組み合わせ手法の改善を行う予定である.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] David L Sackett. Evidence-based medicine. In Seminars in perinatology, Vol. 21, pp. 3-5. Elsevier, 1997.

[2] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Using drug descriptions and molecular structures for drug-drug interaction extraction from literature. Bioinformatics, Vol. 37, No. 12, pp. 1739-1746, 102020.

[3] Masaki Asada, Nallappan Gunasekaran, Makoto Miwa, and Yutaka Sasaki. Representing a heterogeneous pharmaceutical knowledge-graph with textual information. Frontiers in Research Metrics and Analytics, Vol. 6, , 2021.

[4] David S Wishart, Yannick D Feunang, An C Guo, Elvis J Lo, Ana Marcu, Jason R Grant, Tanvir Sajed, Daniel Johnson, Carin Li, Zinat Sayeeda, Nazanin Assempour, Ithayavani Iynkkaran, Yifeng Liu, Adam Maciejewski, Nicola Gale, Alex Wilson, Lucy Chin, Ryan Cummings, Diana Le, Allison Pon, Craig Knox, and Michael Wilson. DrugBank 5.0: a major update to the DrugBank database for 2018. Nucleic Acids Research, Vol. 46, No. D1, pp. D1074-D1082, 112017.

[5] The UniProt Consortium. UniProt: a worldwide hub of protein knowledge. Nucleic Acids Research, Vol. 47, No. D1, pp. D506-D515, 112018.

[6] C. E. Lipscomb. Medical Subject Headings (MeSH). Bulletin of the Medical Library Association, Vol. 88, No. 3, pp. 265-266, Jul 2000. 10928714.

[7] T. Jewison, Y. Su, F. M. Disfany, Y. Liang, C. Knox, A. Maciejewski, J. Poelzer, J. Huynh, Y. Zhou, D. Arndt, Y. Djoumbou, Y. Liu, L. Deng, A. C. Guo, B. Han, A. Pon, M. Wilson, S. Rafatnia, P. Liu, and D. S. Wishart. SMPDB 2.0: big improvements to the Small Molecule Pathway Database. Nucleic Acids Research, Vol. 42, No. Database issue, pp. D478-484, Jan 2014.

[8] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics ( ${ }^{*}$ SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

[9] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of BioNLP 2019, pp. 58-65, Florence, Italy, August 2019.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of EMNLP-IJCNLP 2019, pp. 3615-3620, Hong Kong, China, November 2019.

[11] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.
[12] Masashi Tsubaki, Kentaro Tomii, and Jun Sese. Compound-protein interaction prediction with end-to-end learning of neural networks for graphs and sequences. Bioinformatics, Vol. 35, No. 2, pp. 309-318, 2019.

[13] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Neural Information Processing Systems (NIPS), pp. 1-9, 2013.

[14] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. 2014.

[15] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In International Conference on Machine Learning, pp. 2071-2080. PMLR, 2016.

[16] Seyed Mehran Kazemi and David Poole. SimplE embedding for link prediction in knowledge graphs. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, pp. 4289-4300, 2018.

[17] Long N. Phan, James T. Anibal, Hieu Tran, Shaurya Chanana, Erol Bahadroglu, Alec Peltekian, and Grégoire Altan-Bonnet. SciFive: a text-to-text transformer model for biomedical literature, 2021.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[19] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Manuel Le Gallo, Abu Sebastian, Roland Mathis, Matteo Manica, Heiner Giefers, Tomas Tuma, Costas Bekas, Alessandro Curioni, and Evangelos Eleftheriou. Mixedprecision in-memory computing. Nature Electronics, Vol. 1, No. 4, pp. 246-253, 2018.

## A データセットの統計

各データセットの統計を表 3,45 に示す.

表 3 SemEval-2013 Task 9.2 データセットの統計

表 4 ヘテロ薬学知識グラフのエンティティの統計

表 5 ヘテロ薬学知識グラフの関係トリプルの統計

## B 学習設定

モデルの学習は NVIDIA 社 RTX A6000 が搭載されたマシンを用いて行った. ハイパーパラメータチューニングは Optuna [19]を用いて行った. オプティマイザとして AdamW [20]を使用し，学習率を 5e-05, ミニバッチサイズを 128 , ドロップアウト率を 0.1 に設定した. ベクトル $\mathbf{h}_{K G}$ の次元数は, 全てのスコア関数に対して 64 で共通とした。メモリ効率化のために mixed-precision 学習 [21]を採用した。


# 項の表現に着目した質問応答による関係分類

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd18086, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

関係分類の新しい手法として，質問応答による関係分類が提案されている．これらの手法では，既存の質問応答モデルを用いているため，関係分類タスク特有の情報を利用できていない。また，回答の開始・終了位置のみを予測するため，その間の表現を利用していない。本研究では、関係に関するマー カーと，スパン表現を用いた質問応答モデルを用いて、タスク特有の情報と間の表現を利用可能な質問応答による関係分類手法を提案する．SemEval-2010 Task 8 データセットを用いた評価の結果，マーカー を用いない場合と比べて，性能は $1.9 \%$ ポイント向上した.また，解析では，マーカーの追加により，正しく用語を回答できるようになることを確認した。

## 1 はじめに

構造化されていない文献中から情報を抽出する夕スクの一つとして，文献中に含まれる用語間に成り立つ関係を候補となる関係ラベルに分類する関係分類が研究されている.

関係分類手法のうち，高い精度を達成しているものとして，質問応答を用いた関係分類手法 $[1,2,3]$ がある。例として，「フランスの首都はパリである」 という対象文中で与えられた用語であるフランスとパリの間に首都という関係があるかどうかを判定する問題を，「フランスの首都はどこですか？」という質問文をこの対象文に対して適用して回答を探す問題に置き換える。パリが回答であると判定されればフランスとパリの間に首都の関係があると判定する．具体的には，まず，候補となる関係ラベルすべてに対して用語をスロットとする質問文のテンプレートを作成して，そこにデータセットで与えられる用語ペアの片方の用語を当てはめることで質問文を作成する。作成した質問文と元の文を質問応答モデルに入力し，得られた回答がもう一つの用語のときテンプレートがもつ関係があるとして関係分類を

図 1 提案手法の概要

する。質問応答を用いた関係分類手法には，関係ごとに異なる質問文を用意することで，それぞれの関係に注目した処理を行えるという利点がある。一方で，既存の質問応答を用いた関係分類手法では，多くの関係分類のデータセット $[4,5]$ が持つ関係分類特有の情報を利用できていないという問題点がある. 関係分類特有の情報とは，タスクにおいて既知である用語のタイプや，関係の項それぞれのタイプなどを指す.

そこで，本研究では，関係分類タスク特有の情報の一つである関係の項のタイプの有効活用による，
質問応答を用いた関係分類手法の性能向上を目的とする. データセットに含まれる項のタイプを，元の文と質問文に対してマーカーとして追加することで，質問応答型の関係分類手法の利点である各関係に注目した大力を保ったまま，モデルの大幅な変更をすることなく，関係分類に特化させる。

## 2 関連研究

Cohen らは図 2 のように関係の始点と終点をそれぞれ予測する 2 つの質問を用いて双方向の質問応答を行い，得られた回答を基に関係を分類する手法 [1] を提案している. 関係ごとに 2 つ用意したテンプレートを用いて，用語と関係からなる質問文を用語ペアそれぞれについて作成して質問応答を行う。 2 つのテンプレートは関係の始点を当てはめて終点を予測するものと，終点を当てはめて始点を回答するものになっている. 2 の質問文に対して片方でも質問応答の回答がもう片方の用語であった場合に関係があると判定して分類する. 質問応答は回答の開始位置と終了位置をそれぞれ予測するモデルで行う．BERT[6] に文と質問文を入力し，得られた文の各トークンの表現から，そのトークンの開始位置のスコアと終了位置のスコアを個別に計算し，それぞれのスコアが最も高い開始位置と終了位置を持つスパンが質問の回答となる。この方法では，回答の終了位置が開始位置より前に出てしまうという実際にはありえないスパンが回答になってしまう可能性がある。また，回答の開始位置と終了位置のみを予測するため, その間の表現を利用できない. さらに， この手法は既存の質問応答をそのまま用いているため，タスクで与えられている情報を利用していないという問題がある.

## 3 提案手法

本研究では関係分類タスクに質問応答モデルを用いる際に，関係分類タスク特有の情報を活用する手法を提案する. Cohen らの手法 [1] を拡張し，質問文のテンプレートで与えられる関係の情報に加えて，タスクに与えられる関係の項それぞれのタイプを示すマーカーを加えることで，関係分類において事前に与えられる用語の情報を質問応答モデルに与える。また，質問応答モデルをスパンそのものを回答するようにすることで，回答がありえないスパンになることを防ぐとともに，開始位置と終了位置以外の間のトークンの表現も含む回答全体の情報を利

図 2 双方向の質問応答による関係分類 [3]

用する. 図 1 に提案手法の概要を示す.

## 3.1 入力文の整形

質問応答モデルへの入力の準備として，関係ごとの質問文の作成と関係マーカーの付与を行う. 図 1 のように，関係ごとに，関係分類を行う文とテンプレートを用いて作成した質問文をそれぞれ関係情報のマーカーを加えたものに整形する。質問文のテンプレートは Cohen らのもの [1]を利用し, 双方向に質問を行う。関係マーカーは本稿で対象としている SemEval 2010 Task 8 データセット [4] で与えられる関係の項のタイプの情報を利用する。使用したテンプレートとマーカーは付録 $\mathrm{A}$ に示した. 関係分類を行う文に対しては用語を挟むようにマーカーを，質問文には用語の前後と回答に対応する疑問詞に対してマーカーを追加する。

## 3.2 スパン表現を用いた質問応答

図 3 に質問応答モデルの概要を示す. 質問応答モデルは BERT[6] を利用したモデルとなっており，文と質問文を大力とし，文中に質問の回答があればその回答となるトークンを，なければ回答なしを表す BERT の CLS トークンを出力する．以降，モデルの詳細について説明する。

まず，BERT の CLS トークンと SEP トークンを利用して，質問文と文を連結して BERT に入力し， トークンごとの表現を得る。

## [CLS] 質問文 [SEP] 文 [SEP]

BERTへの入力を $x$ とした時，出力である表現の系列 $\boldsymbol{H}$ を以下のように表す.ここで， $N$ は入力のトー クン数, $\boldsymbol{h}_{i}$ は $i$ 番目のトークンの表現に相当し, $\boldsymbol{h}_{1}$

図 3 スパン表現を用いた質問応答モデル

は文頭である CLS トークンの表現となる.

$
\boldsymbol{H}=\left[\boldsymbol{h}_{1}, \boldsymbol{h}_{2}, \ldots, \boldsymbol{h}_{N}\right]=\operatorname{BERT}(\boldsymbol{x})
$

次に得られた表現 $\boldsymbol{H}$ のうち CLS トークンと文の表現から，質問文の回答の候補となるスパンの表現を作成する．CLS トークンの表現は回答なしの候補として用いる。あるトークン $\boldsymbol{h}_{i}$ から始まり， $\boldsymbol{h}_{j}$ で終わるスパンの表現 $s$ は以下のように求める.

$
\boldsymbol{s}=\operatorname{Concat}\left(\boldsymbol{h}_{i}, \operatorname{mean}\left(\boldsymbol{h}_{i}, \cdots, \boldsymbol{h}_{j}\right), \boldsymbol{h}_{j}\right)
$

以上により得られたスパン表現のベクトル $s$ をまとめ，以下のようにスパン表現の系列 $S$ を作成する. $N^{\prime}$ は質問の回答となる可能性のあるスパン候補の数であり， $s_{1}$ は CLS トークンの表現である.

$
\boldsymbol{S}=\left[\boldsymbol{s}_{1}, \boldsymbol{s}_{2}, \cdots, \boldsymbol{s}_{N^{\prime}}\right]
$

生成したスパン表現系列 $S$ に全結合層と Softmax 関数を適用することで確率の形に変換し，最も確率の高いスパンを質問の回答とする. CLS トークンが回答として選ばれた場合は，回答なしとする。

## 4 実験と考察

## 4.1 データセット

提案手法の評価を SemEval-2010 Task 8 のデータセット [4]を用いて行う．このデータセットは一文中の用語間の関係分類を行うデータセットで，訓練データ 8,000 件とテストデータ 2,717 件で構成される。訓練データを関係ラベルの割合が均一になるように 4:1 に分割し， 6,400 件を訓練データ，1,600 件を開発データとして用いる。分類する関係ラベルは表 1 提案手法と各種ベースラインのF 值

表 2 回答の表現とマーカーによる比較

正例 9 種類と負例の Other の 10 種類であるが，関係には方向があるため，方向を含めると正例 18 種類と負例 1 種類の計 19 種類の分類となる. 評価指標には負例を除いた 9 種類の関係ラベルを持つデータに対するマクロ $\mathrm{F}$ 值を用いる。

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用いた. また，深層学習モデルを実装するために Pytorch 1.10.0[7]，事前学習済みモデルを利用するために Transformers 4.11.3[8] を使用した。計算機は，CPUに Intel(R) Xeon(R) W-3225，GPU に NVIDIA RTX A6000 をそれぞれ実験に使用した。
表 3 マーカーの有無によって回答が変化した事例（太字が正しい回答）

 \\

## 4.3 実験設定

提案手法を評価するため，関係マーカーを追加しなかった場合のモデルと BERT の CLS トークンを用いて文分類として関係分類を行うべースラインモデルとの $\mathrm{F}$ 値の比較を行う．また，関係マーカーの代わりにデータセットに含まれる用語を表す用語マーカー<e1>，<e2>を用いた場合と，関係マーカー と用語マーカー両方を用いた場合について開発デー タで実験を行った. さらに，回答の開始位置と終了位置を回答の表現とする質問応答モデルを用いた場合についても開発データで実験を行った. 事前学習済みモデルとして，BERT-base-uncased[6]を使用した. 現状の SotA な手法である Cohen らのモデル [1] では BERT-large を用いているため, 直接の比較はできず，この比較は今後の課題である.

## 4.4 実験結果

表 1 の結果から，関係マーカーを入力文に追加することで性能が向上していることがわかる. また,表 2 の結果から開始・終了位置を予測するモデルでもマーカーによる精度向上が確認できる。さらに，質問応答にスパン表現を用いることでの性能向上や，関係ごとに固有のマーカーを用いることの有効性も確認できる.

## 4.5 考察

関係マーカーの有効性を，マーカーを加えたことによって改善した事例を用いて確認する、マーカー
の有無によって変化した事例のいくつかを表 3 に示した. マーカーを加えたことで改善した回答として，用語以外を回答としていたものや，用語の一部を回答としていたものがあった．また，マーカーありとなしの場合における質問応答の正誤について McNemar 検定を行ったところ，有意に差が見られた ( $\mathrm{p}<0.001)$.これらの結果は関係マーカーを追加することの有効性を示している.

## 5 おわりに

本研究では，関係分類タスク特有の情報を有効活用し，質問応答を用いた関係分類の性能向上を目的に研究を行った. 質問応答型の関係分類に対して， マーカーを用いて関係の項のタイプの情報を有効利用する方法を提案し, SemEval-2010 Task 8 のデータセットを用いて，提案手法を評価したところ，マー カーを用いないベースラインに対して，1.9\%ポイントの性能向上が得られ，提案手法の有効性を示すことができた. また, 解析の結果, マーカーによって用語を正しく回答できていることがわかった. 今後は，1つの用語が複数の関係を持つ場合や，1 組の用語ぺアが複数の関係をもつ場合への拡張を行う。また，用語のタイプなどのさらなる追加情報を有効活用する方法を検討する。 さらに，現状の SotA なモデルとの比較を行い，本手法の有効性を調査する.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[5] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

## A 質問テンプレートとマーカー

本研究で用いた質問文テンプレートと関係マーカーを表 4 に示す. 質問文テンプレートは Cohen らが用いたもの [1] を利用し，関係マーカーは SemEval-2010 Task 8 のデータセット [4] の関係ラベル名から作成した.

 &  \\