# 文献抄録中の主題材料に着目した超伝導材料に関する情報抽出

山口京佑 ${ }^{1}$ 旭 良司 ${ }^{2}$ 佐々木裕 ${ }^{1}$
1 豊田工業大学
2 株式会社 豊田中央研究所
${ }^{1}$ \{sd19453, yutaka.sasaki\}@toyota-ti.ac.jp,
${ }^{2}$ ryoji.asahi@chem.material.nagoya-u.ac.jp

## 1 はじめに

近年物質科学の分野では，機械学習をはじめとす る情報科学のアプローチを物質科学に適用すること で，属人的な知見に依存しない効率的な材料探索を 目指すマテリアルズインフォマティクス (Materials Infomatics; MI) の研究が活発化している [1]. MI に おいては所望の材料および物質特性に関する大量 のデータが必要となるが，現状ではその多くが関係 データベースのような形で構造化されておらず，開発を進める上でのボトルネックとなっている.

超伝導材料は医療機器やリニア新幹線といった幅広い分野へ応用されている材料であり, 物質科学に おいて重要な材料の一つである．銅酸化物系の高温超伝導体 [2] が発見されて久しいが，実応用に向け ては転移温度や臨界磁場がより高く，加工しやすい 材料が必要とされている $[3,4]$.

本研究では，文献抄録から超伝導材料に関する情報をスロット抽出するシステムの構築を目指す. 本研究の概要を図 1 に示す. システム構築に際して, まずは抄録 1,000 件に対して抽出したい超伝導材料情報を注釈付けし，教師データを作成する。提案シ ステムは固有表現・関係・イベント抽出モデルと主題材料分類モデルの 2 つのニューラルネットワーク と，これらの予測結果を統合して最終的なスロット 抽出を行うルールベースのモジュールで構成され る. 作成した教師データを基に 2 つのモデルを独立 に学習し, 予測時にはパイプラインでつなげて運用 する.

## 2 超伝導情報の注釈付け

我々の先行研究 [5] において，超伝導材料に関す る文献抄録 1,000 件に対して7つの固有表現クラス を注釈付けした。本研究ではこれを拡張する形で，

図 1 本研究の概要

超伝導材料に固有の情報である転移温度とドーピン グ情報を関係付けし，これらを対応する材料組成に 紐づけることでスロット抽出を行う。抄録 1 件に注釈付けした例を図 A. 1 に示す. 本研究で特に重要な 固有表現クラスは以下の 3 つである。その他のクラ スに関しては表 A. 1 を参照されたい。

Element "Ti", "oxygen", " $\mathrm{YBa}_{2} \mathrm{Cu}_{3} \mathrm{O}_{7}$ " といった元素名や化合物名を対象とする．2.1 節と 2.2 節で述べ る転移温度・ドーピング情報の紐づけ対象である。

Doping: “doping", "substitute", "addition”などの ドーピング操作を表すエンティティを対象とする。本研究ではイベントトリガーとして再定義される.

Value: “ $45 \%$ ” “ $95 \mathrm{~K}$ ”といった単位まで含めた 定量表現全般を対象とする。

超伝導材料に固有の情報を抽出するにあたり，本研究では上記に加えて新たにSC クラスを定義した。

SC: 超伝導を意味する “superconductivity” や超伝導への転移温度を表す “Tc” など，超伝導特性に関 するエンティティを対象とする。

## 2.1 転移温度の注釈付け定義

物質科学における定量情報は多くの場合，属性名 と属性値の関係で整理できる。これらの間の等価性を表す関係クラスとして Equivalent を定義した。

ここで Equivalent は属性名から属性値に対して注釈付けされ，文内の関係のみを対象とする. 転移温度の場合，文献中では “ $T_{c}=95 K$ ” のように記述され ることが多く，抽出したい属性名は固有表現クラス SC に，属性値は Value に属する。

## 2.2 ドーピング情報の注釈付け定義

文献中でのドーピングに関する情報はイベントの 枠組みで定義可能である．例として“Zn doping into the $\mathrm{CuO}_{2}$ plane” を仮定すると，この場合 “doping” が イベント発生を表すトリガーとなり，イベント引数として “Zn”が材料へ添加物であるドーパント， “ $\mathrm{CuO}_{2}$ ” がドーパントの受け入れ先であるサイトと 解釈できる. これを踏まえ, 本研究では先行研究 [5] で固有表現クラスとして定義した Doping をイベン トトリガークラスとして再定義し，イベントロール クラスとして Dopant と Siteを新たに定義した.

## 2.3 超伝導材料情報の注釈付け定義

本研究では固有表現クラス Element に属する材料組成に対して転移温度・ドーピング情報を紐づけ る形でスロット抽出を行う。これらを紐づけるた めの関係クラスとして Target を定義した. ただし Target は転移温度・ドーピング情報から材料組成に 対して注釈付けされ，文内のみを対象とする。

ここで問題となるのが，材料組成と転移温度・ ドーピング情報が文を跨いで言及される場合であ り，文内の関係を対象とする Target による紐づけ のみでは情報の取りこぼしが発生してしまう。本研究では，抄録において文献の主題となる材料に関す る事実や実験結果が集約して述べられている場合が 多い事実に着目し，抄録中の主題材料を特定した上 で転移温度・ドーピング情報を紐づける方法を提案 する。

主題材料の特定は Element エンティティを対象に それぞれが文献の主題であるか否かを判定する二値分類問題として設定し, 注釈付けは Element エン ティティの内，主題材料であるものを新たに定義し た固有表現クラス Main で上書きする形で行う．な お，転移温度・ドーピング情報の主題材料への紐づ けは 3.3 節で述べるルールに従って行われる.

抄録中では材料組成に対するドーピングの結果 として転移温度が記述される場合がある.この場合 ドーピングが転移温度を条件付けしていると解釈で き，この時成り立つ関係クラスとして Conditionを

図 2 主題材料分類モデルの概要

定義した。ただしCondition は転移温度からドーピ ングのイベントトリガーに向かって注釈付けされ，文内の関係のみを対象とする。

## 3 提案システム

提案システムは固有表現・関係・イベントを抽出

ルネットワークと，これらの結果を統合しスロット 抽出するルールベースのモジュールで構成される.以下ではそれぞれについて詳しく述べる。

## 3.1 固有表現・関係・イベント抽出

本研究では固有表現・関係・イベントの同時抽出手法である DyGIE++ [6] を用いる. DyGIE++は各タ スクを解く手掛かりとなる情報を相互にグラフ伝搬 する機構により，それぞれのエンドタスクで高い抽出性能を実現している．原著論文ではこれら 3 つの タスクの補助タスクとして共参照解析も同時に解い ているが，本研究では共参照を注釈付けしていない ため，このタスクは対象外とした。

## 3.2 主題材料分類

DyGIE++で抽出されたElement エンティティを対象に，それぞれが主題材料であるか否かの二値分類問題を解く. 提案モデルの概要を図 2 に示す.

主題材料を特定する上では抄録全体の文脈を考慮 する必要があるため，モデル入力は文単位ではなく 抄録全体とする。単語埋め込み手法は BERT [7] を 長い系列長が扱えるように改良した Longformer [8] を用いる. 入力系列を $T=\left.\{x_{1}, x_{2}, \ldots, x_{L}\right.\}$ とすると， Longformer の表現ベクトルは以下で表される.

$
\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{L}=\text { Long former }\left(x_{1}, x_{2}, . ., x_{L}\right)
$

$
\text { ただし, } \boldsymbol{x}_{i} \in \mathbb{R}^{d} \text { である. }
$
次に抄録中の各 Element エンティティについて， スパンを構成する全トークンの表現ベクトルの要素平均を以下のように計算し，スパン表現 $g_{i}$ を得る.

$
\boldsymbol{g}_{i}=\frac{1}{n-m+1} \sum_{j=m}^{n} \boldsymbol{x}_{j}
$

ただし， $m, n$ はそれぞれスパン $\boldsymbol{g}_{i}$ の先頭トークン インデックス，末尾トークンインデックスであり， $0 \leq m \leq n \leq L$ である.

さらにスパン表現 $\boldsymbol{g}_{i}$ を以下の式で計算すること で，スパンが主題材料である確率 $p_{i}$ を得る. $p_{i}$ が 0.5 よりも小さい場合には「主題材料でない」，大き い場合には「主題材料である」としてモデルの予測結果が得られる.

$
p_{i}=\operatorname{Sigmoid}\left(\boldsymbol{w}^{t}\left(\operatorname{ReL} U\left(\boldsymbol{g}_{i}\right)\right)\right)
$

ただし， $w \in \mathbb{R}^{d}$ である.

学習時は損失関数としてバイナリ交差エントロ ピー損失 (Binary Cross Entoropy Loss; BCELoss) を用 い，パラメータ更新は Longformer を含めたネット ワーク全体に対して抄録単位で行う。

## 3.3 ルールによるスロット抽出

DyGIE++と主題材料分類モデルにより抽出され た情報は事前に定義したルールにより，材料組成・ ドーパント・サイト・転移温度の４つからなるス ロットとして抽出される。大まかなルールは以下の 通りである。

1. Condition クラスで関係付けされた転移温度と ドーピング情報をスロットに埋める

2. Target クラスで関係付けされた材料組成と転移温度・ドーピング情報をスロットに埋める
3. 2 で紐づけされなかった転移温度・ドーピング 情報について，最も近いMainエンティティを 対応する材料組成とみなしてスロットに埋める

## 4 実験

作成した注釈付きコーパスを 10 分割して訓練 データ 800 件，検証データ 100 件，テストデータ 100 件の組み合わせを 10 パターン用意し，提案シス テムの学習と評価を行った. コーパス全体の解析結果を表 A.2, 表 A.3，表 A. 4 に示す。なお，以下で述べ る表中の評価スコアは 10 個のモデルの平均および 標準偏差である.

## 4.1 固有表現・関係・イベント抽出の評価

実験は著者実装のモデル1)を用いて行った．実験設定の詳細を表 A. 5 に示す. 各タスクの評価結果は それぞれ表 1 , 表 2 , 表 3 の通りである.

表 1 より本研究で重要な 3 つの固有表現クラス Element, Value, SC は高い精度で抽出できていること が分かる. 表 2 の関係クラスの評価はエンティティ ペアの固有表現クラスと関係クラスの予測結果が正 しい場合のみ真陽性とした。 スロット抽出を行う上 で特に重要な Target は $\mathrm{F}$ 值が $77.1 \%$ という結果と なった. 表 3 の Total はイベント全体の評価であり， トリガーと引数の固有表現クラス，トリガーと引数間のイベントロールが全て正しい場合を真陽性と してカウントした. Total のスコアが高いのは全体 としてドーパントがサイトの約 4.5 倍の出現回数あ り，ドーパントの精度に引っ張られていることに起因している。

## 4.2 主題材料分類の評価

ここではモデルへの入力として人手で注釈付けし た正しいElement を与えた場合と，DyGIE++が予測 したElementを与えた場合の 2 通りで評価した. 実験設定を表 A. 6 に，評価結果を表 4 に示す.

人手による正解の Element 情報を与えた場合は， $\mathrm{F}$ 值が平均で $83.9 \%$ という結果となった (Gold). こ の結果が主題材料分類モデルの本来の分類性能であ る. DyGIE++による予測結果の Element 情報を与え た場合には， $\mathrm{F}$ 值が平均で $75.7 \%$ という結果となっ た (DyGIE++) 。表 1 から DyGIE++の Element の予測精度は $89.4 \%$ であるため，この分の誤差が含まれた スコアとなっている。

## 4.3 End-to-End でのスロット抽出の評価

ここではまず，注釈付きコーパスをルールで変換 した際の主題材料への紐づけ精度の検証を行った。 ランダム選択した 200 件を対象にルールによる主題材料への紐づけで抽出されたスロットが正しいかを

変換であることが分かった. これを踏まえ，ここで は注釈付きコーパスに対してルールを適用して得ら れたスロットを正解として扱うこととした。得られ たスロットの解析結果を表 A. 7 に示す.

上記の正解スロットに対して，材料組成への明

1) https://github.com/dwadden/dygiepp
示的な紐づけを行う DyGIE++のみを用いて得られ たスロットの抽出精度 (Rel. only) と, これと併せて 材料組成への暗黙的な紐づけを行う主題材料分類 モデルを用いて得られたスロットの抽出精度 (E2E: End-to-End)を表 5 に示す.

Rel. only と E2Eを比較すると再現率が 2 倍近く 向上しており，主題材料を用いた暗黙的な紐づけが 効果的であることが明らかとなった. 一方で適合率 は， Rel. onlyよりも E2E の方が若干低下しており，主題材料へ暗黙的に紐づけする場合よりも明示的 な紐づけを行う場合の方が正確性が高くなるだろ うという直感に従う結果が得られた. E2E の $\mathrm{F}$ 值は $64.7 \%$ となり,これが提案システムにおける最終的 なスロット抽出精度である。

## 5 関連研究

Tshitoyan ら [9] は，無機材料全般に関する文献抄録 330 万件を用いて word2vec [10]を学習し, 単語間 のベクトル表現の類似度が高いもの同士を調査する ことで文献中に埋め込まれた知識を獲得するアプ ローチを提案している。

Weston ら [11] は無機材料に関する抄録を，山口ら [5] は超伝導材料に関する抄録を対象に，材料名や 分析手法といった材料全般に共通する固有表現抽出 の取り組みを報告している。

大西ら [12] は学術文献から材料設計で重要となる プロセス・構造・特性に関するエンティティとその 相関関係を遠距離教師あり学習の枠組みで抽出する 手法を提案している. 抽出されたエンティティとそ れらの相関関係は知識グラフとして整理される。

ChemDataExtractor [13] は論文中の見出し・パラグ ラフ・キャプション・表を対象として, 化学組成と それに紐づく属性情報を抽出する手法である. 具体的には，まず品詞情報と固有表現を機械学習を用い て取り出し, それらの情報を基にテキストを句構造解析することで所望の情報を抽出する流れとなって いる. 句構造解析では人手で定義したルールが用い られている。

超伝導に関する学術文献に ChemDataExtractor を 適用した研究として [14] が報告されている.ここで は磁性・超伝導特性を発現する材料とその転移温度 を抽出し，それを元に機械学習を用いた転移温度の 予測モデルが提案されている. また，別のアプロー チで同様の超伝導材料とその転移温度のペア情報を 抽出する研究として [15]が報告されている. これら
の先行研究では, 本研究が抽出対象としているドー ピングに関する情報は扱われていない。

## 6 おわりに

本研究では文献抄録中で記述される超伝導材料に 固有の情報として，定量情報である転移温度と実験操作であるドーピング情報をそれぞれ関係抽出とイ ベント抽出の枠組みでタスク化し，これらを関係抽出と主題材料情報を用いて対応する材料組成に紐 づけることにより，スロット抽出システムを構築し た. End-to-End のスロットの抽出精度として F 值約 64\%が得られることを世界で初めて明らかにした。今後の主な課題として, スロット情報の拡張と文書 レベルでのシステム構築が挙げられる。

## 参考文献

[1]Rampi Ramprasad, Rohit Batra, Ghanshyam Pilania, Arun Mannodi-Kanakkithodi, and Chiho Kim. Machine learning in materials informatics: recent applications and prospects. npj Computational Materials, Vol. 3, No. 1, pp. 1-13, 2017.

[2]J.G Bednorz and K.A. Müller. Possible hightc superconductivity in the ba-la-cu-o system. Zeitschrift für Physik B Condensed Matter, Vol. 64, No. 2, pp. 189-193, 1986.

[3]Malozemoff et al. High-temperature cuprate superconductors get to work. Physics Today, Vol. April, pp. 41-47, 2005.

[4]Foltyn et al. Materials science challenges for hightemperature superconducting wire. Nature Mater., Vol. 6, pp. 631-642, 2007.

[5]Kyosuke Yamaguchi, Ryoji Asahi, and Yutaka Sasaki. SCCoMIcs: A superconductivity corpus for materials informatics. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6753-6760, Marseille, France, May 2020. European Language Resources Association.

[6]David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. In EMNLP/IJCNLP, 2019.

[7]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[8]Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[9]Vahe Tshitoyan, John Dagdelen, Leigh Weston, Alexander Dunn, Ziqin Rong, Olga Kononova, Kristin A Persson, Gerbrand Ceder, and Anubhav Jain. Unsupervised word embeddings capture latent knowledge from materials science literature. Nature, Vol. 571, No. 7763, pp. 95-98, 2019.

[10]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119. Curran Associates, Inc., 2013.

[11]L. Weston, V. Tshitoyan, J. Dagdelen, O. Kononova, A. Trewartha, K. A. Persson, G. Ceder, and A. Jain. Named entity recognition and normalization applied to large-scale information extraction from the materials science literature. Journal of Chemical Information and Modeling, Vol. 59, No. 9, pp. 3692-3702, 2019. PMID: 31361962.

[12]Takeshi Onishi, Takuya Kadohira, and Ikumu Watanabe. Relation extraction with weakly supervised learning based on process-structure-property-performance reciprocity. Science and technology of advanced materials, Vol. 19, No. 1, pp. 649-659, 2018.

[13]Matthew C Swain and Jacqueline M Cole. Chemdataextractor: a toolkit for automated extraction of chemical in- formation from the scientific literature. Journal of chemical information and modeling, Vol. 56, No. 10, pp. 1894-1904, 2016.

[14]Callum J Court and Jacqueline M Cole. Magnetic and superconducting phase diagrams and transition temperatures predicted using text mining and machine learning. npj Computational Materials, Vol. 6, No. 1, pp. 1-9, 2020.

[15]Luca Foppiano, Thaer Dieb, Akira Suzuki, and Masashi Ishii. Proposal for automatic extraction framework of superconductors related information from scientific literature. 電子情報通信学会サービスコンピューティング研究会 2019 年度第一回研究会, 第 43 回 MaDIS 研究交流会合同研究会, 2019.

## A 付録

図 A. 1 抄録 1 件に注釈付けした例

表 A. 1 その他の固有表現クラス

表 A. 2 固有表現クラスの解析結果

表 A. 3 関係クラスの解析結果

表 A. 4 Doping イベントの解析結果

表 A. 5 DyGIE++の実験設定

エポック 50

最適化手法 AdamW

学習率 $5 \mathrm{e}-4$

ターゲットタスク 関係抽出

スパン長さ 10

表 A. 6 主題材料分類モデルの実験設定 エポック 30

最適化手法 AdamW

学習率 $2 \mathrm{e}-5$

表 A. 7 ルールにより抽出されたスロットの解析結果


 山口京佑 ${ }^{1}$ 旭 良司 ${ }^{2}$ 佐々木裕 ${ }^{1}$ 1 豊田工業大学 2 株式会社 豊田中央研究所 ${ }^{1}$ \{sd19453, yutaka.sasaki\}@toyota-ti.ac.jp, ${ }^{2}$ ryoji.asahi@chem.material.nagoya-u.ac.jp  