# 新規用途探索を目的とした技術文書からの材料情報抽出

有馬隆広 大熊智子 出羽達也
旭化成株式会社
\{arima.tf, okuma.td, izuha.tb\}@om.asahi-kasei.co.jp

## 概要

近年，材料分野において自然言語処理技術に大き な期待が寄せられている。その中でも特に強いニー ズとして新規材料の用途探索がある.とりわけ，ま だ工業製品で汎用的に採用されていない新規材料に は様々な用途が想定されるため, 用途探索は材料開発の現場において重要度の高い業務である. 本稿で は，用途探索が必要な新規材料の例として金属有機構造体 (MOF) を対象にした特許文書の要旨を題材 にする。特許文書から材料名と発明の用途を固有表現抽出によって取得し，その結果にもとづいて本夕 スクの課題について議論する。

## 1 はじめに

材料分野において自然言語処理技術への大きな期待が寄せられている. 特許文書や学術論文から材料 に関わる情報を抽出して知識べースに新規化合物を 登録することや，材料の合成プロセスを抽出して実験を支援することが望まれている。さらに，この分野特有のニーズとして用途探索がある. 特にまだ汎用的に利用されていない次世代の新素材にはその素材の持つポテンシャルにもとづき様々な用途が想定 されるため, 研究開発の現場において重要度の高い 業務である.

このような背景から，技術文書からの材料情報の 抽出は国内外で取り組まれてきた。 上述のような知識ベースの構築や実験プロセスの自動抽出を目的と した辞書やコーパスが公開されてる. しかし，その 抽出対象は主に材料，物性，操作に関するものであ りここで対象とする用途に関する情報の抽出に取り 組んだ事例は殆どない.

本稿では，材料開発における用途探索業務の支援 を目指して，英文特許文書からの情報抽出を行う.用途探索が必要な新規材料の例として金属有機構造体（MOF）を対象にした特許文書の要旨を題材にす る. 図 1 に示すように材料と用途を示す表現にアノ

図 1 特許文書における材料（material）と用途（usage）

テーションを行った. 用途と材料の情報抽出には BERT と BERT+CRFを用いた. 評価実験の結果にも とづき，本タスクの課題について議論する。

## 2 関連研究

特許文書から有用な情報を抽出する試みは以前か ら取り組まれてきた. [1] では特定の構文パターン を用意することによって技術の応用について書か れた部分を「特徴表現」として抽出している。しか し，その対象にはどのような技術を使ったものなの かなどは含まれておらず，「特徴表現」自身も限定的な範囲に留まっている.このようにあらかじめパ ターン記述や教師データなどを作成しない情報抽出手法として [2] がある. この手法では請求項間の語 の重なりを考慮して発明の新規な部分をキーワード として抽出するが，本研究では発明中に出現する材料のすべてとその用途を網羅的に抽出することを目的としている.

一方で，材料分野の技術論文を対象にした言語資源がいくつか公開されている. [3] では技術論文か ら材料の合成プロセスの情報を抽出するためのコー パスを構築している. このコーパスでは材料とそ れに対する操作や数量などの個有表現とそれらの 関係がアノテーションされている。BioCreativeIV[4] では主に創薬支援を目的とした化学物質と病名など の固有表現を含むコーパスが公開されており，この コーパスを使った固有表現抽出の取り組みがある [5].

材料分野における言語資源としてコーパスだけで

なく知識ベースやオントロジーも開発されている.

日本化学物質辞書（日化辞）は有機化合物のデータ ベースであるが検索可能な形式で Web 上で公開さ れている [6]. [7] では日化辞を含む様々なデータ ベースの情報を対象にした複合名詞の抽出によって 化合物情報の可視化を行っている.

しかし，いずれも言語資源に含まれる情報の大半 は材料そのものであり用途に対してアノテーション を行ったコーパスは存在しない. 本研究ではこれま でにない新たな取り組みとして材料だけではなくそ れによってもたらされる機能である用途に対してア ノテーションを行ったコーパスを構築し情報抽出を 行う.

## 3 コーパス

## 3.1 対象データ

本研究では米国で出願された特許のうち “metal organic framework"もしくは “coordination polymer” を 含み,さらに 'application', 'purpose', 'use' のいずれかの 語を含む特許の要旨のテキストを取得した。これら の条件はテキスト中に MOF を使った発明の用途が 明記されているものを選別するために設定した. さらに，その中から 350 件をサンプリングし， 1) MOF を使った発明ではなく MOF の製法に関するも の, 2)MOF に関連しないもの, 3) 用途についての記載がないもの，のいずれかに該当する特許を目視で 確認して除外した. その結果, 最終的に 263 件の文書が得られた。

## 3.2 仕様

## 3.2.1 アノテーションの方針

アノテーションは材料分野に関する知識を有する 1 名が brat ${ }^{1}$ 上で行った.

名詞句 今回設定した 2 種類のタグはなるべく体言に対して付与する. また，文頭の冠詞や前置詞な どはタグの範囲に含めないようにする. 副詞や形容詞が材料を示す名詞句を修飾している場合にはそれ らが材料名にとって必須の構成要素になりうるかど うかを個別に判断するよう指示した。これは例え ば “inorganic nanoparticles” において 'inorganic' が形容詞であっても材料名の中心的な意味を表す場合が あるからである。一方で，複合名詞に関してはなる

1) https://brat.nlplab.org/

図 2 並置表現を対象にしたアノテーションの範囲 ベく広くタグの中に含めるようにした。

述語表現を含む句 usage には述語や項を含む ような表現も存在するため、そのようなフレー ズもアノテーションの対象とした. ただし、 "sensing platform for detecting the presence or amount of target nucleic acid, particularly HIV-1 ds-DNA” における “particularly HIV-1 ds-DNA” のように補足的な副詞節はその範囲に含めないようにした。

並置表現材料分野に限らず，特許には並置表現 が多く含まれる，今回のアノテーションでは，接続詞で並列になっている名詞句が形容詞句によって均等に修飾されている，あるいは並列する修飾成分が 同一の名詞句を修飾している場合は分離せず，そう でないものは別々のタグを付与することにした。こ の方針の具体例を図 2 に示す. (1)はエンティティの 中心となる名詞句が複数の修飾を受けているため接続詞 'and’を含む名詞句全体に一つのタグを付与し ている2).しかし，(2)のケースのように名詞句がそ れぞれ独立して出現する場合には個別にタグを付与 する方針とした。

## 3.2.2 material

材料を指す表現は分子や化合物から複数の材料に よって作られた物質まで粒度の異なる様々なエン ティティがある．本稿ではそれらの粒度の区別はせ ず一律に material タグを付与した。これは，本研究 の最終的なゴールがマテリアルズ・インフォマティ クスを目的とした実験設定の抽出を目指すものでは なく，用途探索を目的とした発想の支援にあるため である。従って下記のような表現が material のアノ テーション対象に含まれる。

元素記号/化学式 先行研究では 'Au', 'Ag' など の元素記号や 'CO2', 'N(C1-6-alkyl)2' などの化学式 が材料として抽出されている。さらに，'-NH2’のよ うに官能基を示す化学式も存在する。

2）discontinuous なタグを付与することも考えられるが今回は アノテーション作業の負荷を考慮して仕様に入れなかった
物質の構造 $/$ 形態 /総称 今回，情報抽出の対象にした MOF のように，特定の物質を指すのでは なく物質の構造や形態あるいは物質の総称を指す 表現もアノテーションの対象にした。具体的には 'fluid', 'mixture', 'ligand', 'polymer', などである.

物質の一部 エンティティの中には物質全体を指 すのではなく，その一部を指す表現が含まれる。例 えば ‘membrane'，'layer’や ‘surface’などがこれに相当する.

一般名詞 化学記号や化学式ではなく一般名詞と して記述されている材料も多い. 'copper' や 'silver' などよく用いられている金属は一般名詞で記載され ている.

物質の役割 物質そのものを指すのではなく，そ の物質が合成プロセスにおいて担う役割を指すエン ティティが存在する. 'catalyst' や 'reactor', 'media' などがこれにあたる. ただし，実際にアノテーショ ンを行うとこのような物質の役割が用途として書か れていることもあった. 今回はその発明が提供す る機能かどうかによって material と usage の判断を 行ったが，今後はより明確な基準を設定する必要が ある.

## 3.2.3 usage

用途を表す表現は下記に示すように比較的長いフ レーズである場合がある.

装置特許文書であるため, 'battery' や 'sensor’’ な どの装置を指す表現が比較的多い，今回のアノテー ションでは MOF が直接関わらないものであっても タグを付与した。

動作 "remove the contaminants from a stream of electronic gas" や “separating hydrogen molecules” など具体的な動作と対象についての記述がある。このように 具体的な動作を記述する場合はエンティティという よりも述語と項から構成されるフレーズであること も多い。

## 3.3 統計情報

表 1 に本実験で作成したコーパスの統計量を示 す. usage に比べて material の数が 5 倍以上多いの は，一つの用途に対して複数の材料が用いられるこ とが考えられる．また異なり数の割合が usage の方 が高い。これは要旨の中であっても，特許では同じ 材料に対する記述が繰り返し現れる傾向があること に起因している。表 1 コーパスの統計量

図 3 エンティティの長さ（語数）の分布

図 3 に material と usage のエンティティを構成す る単語数の分布を示す. material はエンティティを 構成する語の数が多くなるほど頻度が低くなる傾向 があるが，usage は語数によらず比較的頻度が一定 である。これは物質名が主である material に比べて usage の表現が多様であることを示している.

## 4 実験

アノテーションでは，特許の要約テキストを対象に，文に含まれる単語に対して固有表現ラベル material, usage を付与した. 固有表現抽出は系列ラべ リングタスクとして取り組み，アノテーションを付与したデータセットを 6:2:2 の割合で訓練・開発・評価に分割して使用した。具体的には，対象テキス トをモデルへ入力して各トークンの分散表現を得，分散表現を全結合層に入力して得られた結果を更に $\mathrm{CRF}$ 層へと入力することで各トークンに対する固有表現ラベルを判定する．モデルとしては，BERT に全結合層のみ追加したモデルと，BERT に全結合層と $\mathrm{CRF}$ 層を追加したモデルの 2 種類をベース ラインとして検討し，どちらのモデルにおいても BERT $_{\text {base }}$ を利用して fine-tuning を行った ${ }^{3)}$.

3） パラメータは以下の通り。最大系列長:512，バッチサイ ズ:8, エポック数:5, 学習率:1e-5, 最適化アルゴリズム:Adam
表 2 固有表現抽出の実験結果

material usage

## 5 実験結果と考察

## 5.1 実験結果

表 2 に固有表現抽出の実験結果を示す. どちら の固有表現カテゴリにおいても，BERT と比較し て BERT+CRF の方がより高い性能を示している. material の $\mathrm{F}$ 值は 0.77 という一般的な専門用語抽出 とほぼ同等の性能が得られた。しかし, usage は $\mathrm{F}$值が 0.5 にも満たない性能であり固有表現抽出とい うタスク設定が適切だったのか再考する必要があ る. usage の方が material よりも抽出精度が低い理由として，訓練データに含まれる数が少ないこと や，エンティティの長さが比較的長いことが挙げら れる。

## 5.2 エラー分析

抽出エラーについて，スパンとラベルの誤りにど のような傾向があるかを観察した.

スパンの誤り傾向 スパンの誤りに比較的多く見 られたのは, 図 4 に示すように usage タグの一部に material が含まれているとその部分だけを material と誤って推定してしまうケースである. 今回はアノ テーション作業の負荷を考えて入れ子構造を仕様に 入れなかったがこのようなエラーを回避するために は検討する必要がある. またエンティティがスパン の途中で切れる・スパンの途中から始まる・途中で 2 つに区切られるケースについては，コーパスに含 まれる全エンティティ数が十分な量でないことで訓練データに含まれる文字数が比較的長いエンティ ティの数も少なくなったことによると考えられる.

ラベルの誤り傾向 スパンは一致しているが usage でなく material に誤るケースがある.このエ ラーは文脈によって材料名にも用途名にもなり得る 単語が存在することに起因すると考えられる。

## 6 おわりに

本稿では材料の新規用途探索を行うための第一歩 として，特許文書中に含まれる材料名とその用途に 対してアノテーションを行った. その結果, 材料名

図4 固有表現抽出結果と正解のギャップ

と用途はいずれもその出現形態や内容が多岐にわた り，特に用途は体言では無い表現も多いことが分 かった. また，BERT による抽出実験によって材料名については固有表現抽出と同じ方式で実用的な精度に達する見込みがあることを示した。但し，用途 については同じ方式で抽出することが難しく，文分類などの別のタスク設定を検討する必要があると思 われる。

今後は本研究の最終的な目的である用途探索に向 けたテキストマイニングをユーザと共に実施し，今回行った情報抽出の有用性や必要な精度などを検証 したい.

## 参考文献

[1] 西山莉紗, 竹内広宣, 渡辺日出雄, 那須川哲哉. 新技術 が持つ特徴に注目した技術調査支援ツール. 人工知能学会論文誌, Vol. 24, No. 6, pp. 541-548, 2009.

[2] Shoko Suzuki and Hiromichi Takatsuka. Extraction of keywords of novelties from patent claims. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, 2016.

[3] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, 2019.

[4] Biocreative IV, $2014 . \quad$ https://biocreative. bioinformatics.udel.edu/resources/biocreative-iv/ chemdner-corpus/.

[5] 渡邊大貴, 田村晃裕, 二宮崇, 牧野拓哉, 岩倉友哉. 化学分野の固有表現抽出のための化合物名を含む文の言 い換え学習を用いたマルチタスク学習手法. 自然言語処理, Vol. 29, No. 2, pp. 294-313, 2022.

[6] NBDC 版日化辞 rdf. http://dbarchive.biosciencedbc. jp/jp/nikkaji/desc.html.

[7] Kazunari Tanaka, Tomoya Iwakura, Yusuke Koyanagi, Noriko Ikeda, Hiroyuki Shindo, and Yuji Matsumoto. Chemical compounds knowledge visualization with natural language processing and linked data. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.
 有馬隆広 大熊智子 出羽達也 旭化成株式会社 \{arima.tf, okuma.td, izuha.tb\}@om.asahi-kasei.co.jp  