# ラベル依存の注視機構を用いた 医薬系文献に対する統制索引語付与

菊井 玄一郎 鈴木 慶二 関根 基樹 水田 寿雄
国立研究開発法人 科学技術振興機構(JST) 情報企画部
\{genichiro. kikui, k3suzuki, sekine, mizuta\}@jst. go.jp

## 概要

本稿では、深層学習に基づくテキスト分類手法を 用いた医薬系文献に対する統制語索引付与について 報告する。本稿で試みた手法は基本的には LSTM お よび BERT によるマルチラベル・テキスト分類であ るが、既存研究に従い、「ラベル依存の注視機構」 を利用している。専門分野の文献を扱うため、当該分野のコーパスによる BERT 事前学習や単語埋め込 みの構築も試みた。F1 值により性能評価を行ったと ころ、ラベル依存の注視機構を備えた LSTM が同様 の BERT より若干上回る結果となった。またテキス 卜表層から付与しにくい索引も一定程度付与できる ことが分かった。

## 1. はじめに

文献に対してその内容 (主題)を表す索引語 (index term）の集合を付与することは文献検索やテキスト マイニングなどにおいて極めて重要であり、特に専門用語シソーラスによる索引は専門分野の文献調査 において有用であることが指摘されている[1]。科学技術振興機構 (JST) では文献 DB（メタデー 夕）整備の中心業務として、約 37,000 語のシソーラ ス、115 万語の「大規模辞書 (用語辞書) 」に基づい た索引を各文献に付与している。付与作業は JST の 前身組織の時代から専門作業者が行ってきたが、近年、一部文献についてルールベースの自動処理を適用している。しかしながら、管理コストやの点から 医薬系分野を含む全面的な採用には至っていない。 そこで、本稿では医薬系分野の文献に統制語索引 を付与する手法を検討する。上述のように JST では 相当量の文献に人手による索引が既に付与されてお り、その一部が利用可能であることから機械学習的 なアプローチを試みる。以下では、まず 2 章で JST の索引について簡単に 紹介し、 3 章で関連研究について述べる。 4 章で我々 が試みた方法について説明したあと、5 章で実験デ 一タと実験設定について述べ、6 章で結果とその考察を述べ、最後にまとめる。

## 2. JST の文献 DB における索引

JST の文献 DB において各文献に付与されている 索引の種類を図 1 に示す。索引は、当該文献の主題 を表すメインへディング、メインへディングの補足 として医薬系分野で付与されているサブヘディング からなる。本稿ではこれらのうちメインへディング のみを対象とする。

図 1: JST 文献DB における索引

\begin{abstract}
メインヘディングはさらに現在 37,444 語の「JST シソーラス」を統制語とする「ディスクリプタ」と、 それ以外の「準ディスクリプ夕」に分けられる。後者についても新語などを除いて、基本的には約 115 万語（同義語 ID 数約 22 万）の「大規模辞書」から 選ぶことが推奨されている。「大規模辞書」を統制語と呼ぶのは不適当かも知れないが、極力統制され た用語で索引付けを行っているといえる。索引や辞書に関する詳細は文献[2],[3]などを参照されたい。
\end{abstract}

## 3. 関連研究

索引の自動付与手法は「抽出型」「分類型」「生成型」の大きく 3 つに分類できる。
抽出型はテキスト内で「主題表現」や「キーフレ ーズ」に相当する文字列を特定し、必要に応じて文字列の標準化や統制語へのマッピングを行うという ものであり、1950 年代からの長い歴史がある。

分類型は統制語をテキストの「主題」を示す「分類ラベル（カテゴリ）」とみなして、テキスト自動分類の手法を適用するというものである。

最後の生成型はアブストラクト型の文書要約と同様に索引語の並びを生成するもので、出力側の語彙 を限定すれば統制型の索引も可能である。

これらのうち本稿ではテキスト全体から索引の集合を直接推定する「分類型」に焦点を当てる。JST 文献 DB における主題索引の約 4 割が同義語を含めて もテキスト中に出現しないことが指摘されており

[1]、分類型が一つの解決策と考えたからである。分類型の索引付与はテキスト分類と基本的に同じ タスクとみなせるが、1）一つの文書に対して複数 の分類ラベル（索引）を選ぶ「マルチラベル分類」 であり、2）ラベルの数がかなり多い（数万〜数百万）ことが特徴である。このようなタスクは大規模 マルチラベル分類 (Large-scale Multi-label Text Classification: LMTC) と呼ばれ、例として、診療記録 に診断・治療を表す ICD-9iの 8,771 ラベルを割り当 てる MIMIC-III[4]、法律文書に法的な概念(4,271 ラ ベル)を割り当てる EUR-Lex[5]、商品説明文に約 13,000 ラベルの商品カテゴリを割り当てる Amazon13K[6] などがある。さらにラベル数が多い ものは「超大規模マルチラベル分類(eXtreme Multilabel text Classification:XMC)」と呼ばれ、Amazon の 67 万ラベルのデータセットなどがある $i i$ 。今回、我々 が取り組む課題は分野内容的に上記 MIMIC-III に近 くラベル数は 12,000 程度である。

LMTC, XMC については深層学習を利用した多く の研究が行われている。転移学習型手法の普及以前 は CNN や RNN に「ラベル依存の注視機構（LabelWise Attention Networks: LWAN）」を組み合わせた 方法が試みられた[7],[5]。また、大量のラベルに起因 するデータ過疎性の問題に対応するために、ラベル の階層構造を利用する方法[8]や、自動クラスタリン グによりラベルを階層化し、少数カテゴリに対する マルチラベル分類をトップダウンに適用する方法な
$
}

どが提案されている[9][10]。特に AttentionXML[10] は分類処理として LSTM(Long-Short Memory)にラべ ル依存の注視機構を組み合わせた手法(LSTMLWAN)を用いることにより、精度向上を実現してい る。BERT[11]の提案を受けて、文献[12]では BERT にラベル依存の注視機構を組み合わせた BERTLWAN と呼ぶ手法を提案し、上述の 3 つの LMTC タ スクで既存手法との比較実験を行った。各タスクで 安定して性能が高かったのは AttentionXML[10]であ り、MIMIC-III で BERT-LWAN 19 ポイントの差 をつけて 1 位、EURLEX, AMAZON13k でも 1 位の BERT-LWA より 2-3 ポイント低い程度であったiii。 なお、MIMIC-III において BERT-LWAN の性能が低 い理由として、事前学習モデルが汎用であったこと、入力テキスト長がモデルのサイズ(512tokens)を超え ていたこと、サブワードによる専門用語の過度な分割などを指摘している。

以上より、AttentionXML(LSTM-LWAN)や BERTLWAN などのラベル依存の注視機構が有効である こと、BERT を利用する場合は適用先ドメインのコ 一パスによる事前学習が有効であると考えられる。

## 4. 試みたマルチラベル分類手法

本節では本研究で適用を試みた 2 つの手法（モデ ル)について説明する。

## 4.1 ラベル依存注視機構付き LSTM

ラベル依存の注視機構付き LSTM(LSTM-LWAN) （図 2 ）は AttentionXML[10]の分類処理で利用され ている手法である。双方向 LSTM の各トークンに対 する出力（埋め込みベクトル）にラベル依存のアテ ンション重みを掛けて総和したものを当該ラベルに 対する文書全体の pooling ベクトルとする。具体的 には、 $j$ 番目のラベルに対する $i$ 番目のトークンの重 み $\alpha_{i j}$ (スカラー值)を次式で計算する。

$
\alpha_{i j}=\frac{\exp \left(\boldsymbol{h}_{\boldsymbol{i}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}{\sum_{t=1}^{T} \exp \left(\boldsymbol{h}_{\boldsymbol{t}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}
$

iii 文献[10]の実験ではラベル数 4 万以下の LMTC で は階層化を行っていない。文献[11]の実験設定は不明である。

## 図 2: LSTM-LWAN の概要 (BERT-LWAN は点線枠を BERTに置き換えたもの)

ここで $h_{i}$ は i 番目のトークンに対する LSTM の 出力（埋め込み）、 $w_{j}$ は $j$ 番目のラベルに対する注視係数ベクトルであり、学習で決まる。 $j$ 番目のラベル に対するテキスト全体の pooling ベクトル $m_{j}$ は次式 の通り各トークンの埋め込みの加重和である。

$
m_{j}=\sum_{i=1}^{T} \alpha_{i j} h_{i}
$

このベクトルを通常のマルチラベル分類と同様、全結合層（中間層を 1 層入れている）を通してラベル ごとに 0/1 の出力を行う。なお全結合層の重みは全 てのラベルで共通としている。

## 4.2 ラベル依存の注視機構付き BERT

4.1節のLSTM と埋め込み (図 2 の点線枠)をBERT に置き換えたものが BERT-LWAN[4]である。すなわ ち 4.1 節の $h_{i}$ の部分が $i$ 番目のトークンに対する BERT の埋め込み出力となる。

## 5. 実験

## 5.1 実験データ

## 5.1.1 分類実験 (finetuning) 用データ

分類実験用データとしてJST が整備している文献 DB のうち医薬系文献の一部を用いた。対象とする 索引語はカテゴリーコード LS44(薬物)、または、 LS51(病気・病理 - 症状)に分類される主題索引 (メ インヘディング）であり、大規模辞書を用いて動機語を代表表記に集約した。利用した文献データは医薬系文献 DB である JMEDPlus に収録されている文献のうち上述の索引語を含み 2018 年から 2021 年 8 月までに作成された約 38 万文献であり、8:1:1 の比率で訓練、検証、評価用にランダムに分けた。この うち 18 万文献（全て口頭発表の予稿）については本文データが存在するのでそれらも入力テキストとし て利用した。文献数とラベル数(type 数)を表 1 に示 す。索引 (語)を 2 つのカテゴリに絞っているため、 1 文献あたりの正解ラベル数（索引数）の平均は 5.5 個である。正解ラベルのうち JST 大規模辞書による 同義語展開を行っても抄録・本文・表題の文字列に 含まれないものを「本文未出現ラベル」として同定 した。本文未出現ラベルは 1 文献あたり平均 2.1 個 (39\%)であった（ラベル数 0 の文献も分母に含む）。

表 1 索引実験用のデータ

分類処理への入力テキストは上記文献 DB 中の表題と（あれば）抄録、本文が存在するものは本文を この順にスペースでつないだものである。入力テキ ストの文献あたりの平均文字数は 409 であった。

## 5. 1.2 事前学習用データ

事前学習用のコーパスは医薬系文献を含む JST 科学技術文献DB の抄録 960 万文献(1 抄録あたり平均 4.2 文、 240 文字)を用いた。なお、分類の評価用、検証用の文献は含んでいない。

## 5.2 実験設定

## 5. 2.1 分類モデルの構築

分類モデルは 4 節で述べた通りである。損失関数 は通常のマルチラベル分類と同様に Binary CrossEntropy Loss を用いた。ハイパーパラメータは検証用セットで評価值が最高になるものを選んだ。そ の際の評価尺度は文献ごとの $\mathrm{F} 1$ 值のマクロ平均で ある。この種の問題ではラベルごとに $\mathrm{F} 1$ 値を算出 しそれを平均することが多いが、ユーザとしては、文献ごとにどの程度正確に索引されているかが重要 であることからこのようにした。

ラベル依存の注視機構の効果を見るために 4 節で 述べた 2 つの手法の他にベースラインとして BERT の CLS トークンに対応する埋め込みベクトルを全結
合で出力層に接続したシンプルなマルチラベル分類 ivも適用した。

## 5. 2. 2 LSTM-LWAN 用の単語埋め込み

LSTM の入力層で必要となる埋め込みベクトルは分類学習用のコーパス(5.1.1 節)に GLoVe[13]を適用し て 300 次元のものを作成した。形態素解析には

MeCab/ipadic に JST シソーラスから作られたユー ザ辞書[14]を追加したものを用いた。サブワード分割は行っていない。

## 5.2.3 BERT 事前学習モデルの構築

BERT の事前学習モデルは 5.1.2 で述べたコーパ スから作成した。まず、5.2.2で述べた JST シソーラ ス由来のユーザ辞書を用いて形態素解析し、これを もとに語彙サイズ $32 K$ のサブワードモデルを作成し た。このサブワードモデルと既存ツールvを用いて事前学習を行った。モデルのハイパーパラメータは東北大 base モデルに合わせて隠れ層 12 層 768 次元、 ヘッド数 12 などとした。NVIDIA RTX A6000x8 台 で 14 日間訓練した。

## 6. 実験結果と考察

評価セットに対する分類性能（索引性能）を表 2 に示す。事前学習モデルの baseは東北大 base mode1, JST は 5.2.3 で述べたモデルである。prec(精度)、 rec. (再現率)、F1 値は、前述の通りそれぞれを各文献について求めた上で全文献の平均を取った値（マ クロ平均値）である。なお、分母が 0 になる場合は 評価値を 0 として計算した。 rec2 は正解ラベルを 「本文未出現ラベル」に限定した場合の再現率であ り (本文未出現ラベルを含む文献 28,932 文献で計算）、F 1 値上位 2 つの設定で計算した。目的は表層一致を超えた索引抽出能力を評価するためである。

表 2 分類（索引）性能

} & \multicolumn{5}{|c|}{ 評価セッドル } \\
\cline { 3 - 6 } & & prec. & rec. & F1 & rec2. \\

\cline { 2 - 6 } & JST & .716 & .548 & .581 & - \\

\cline { 2 - 6 } & JST & .658 & .660 & .617 & .493 \\



まず、F1 值についてはAttentionXML が 2 位の JST 事前モデルを用いた BERT-LWAN より 2 ポイント高い 結果となった。この順位関係は先行研究 [12] と一致 する。BERT-LWAN について、今回は索引対象と同じ 分野のコーパスで事前学習モデルを訓練しているこ とから事前学習モデルのミスマッチは少ないと考え られる。他の理由としては BERT がサブワード単位 であるのに対して LSTM-LWAN が JST 辞書の語彙（専門用語）をGLoVe で直接モデル化していることなど が考えられるが、更なる検討が必要である。

抽出型の索引付与手法が基本的にはテキストに出現する表現の中から索引表現を探す処理であるのに 対して、今回試みた分類型は対象テキストの表層に ない索引語を付与できる可能性がある。rec2 を見る と、再現率 0.5 弱になっており、全ての正解索引に 対する再現率 0.66 より 18 ポイント程度下がるもの の全体の適合率 $(0.66)$ を考えるとある程度できてい ることが分かる。なお、BERT-LWAN の方が LSTM-LWAN より若干良いことを注記する。

BERT については科学技術分野のコーパスで作成 した事前学習モデルは汎用のものと比べて性能が高 く、BERT-LWAN で 4 ポイント程度向上している。ま た注視機構は BERT に対して 2-4 ポイントと性能向上に一定の寄与があったと考えられる。

## 7 おわりに

本稿では統制語索引を文書分類的に解く方法につ いて、JST の文献 DB におけるメインヘディング付与 を題材として、特にラベル依存の注視機構 (labelwise attention:LWAN)の適用を試みた。

実験結果によればラベル依存の注視機構は有効で あり、F1 值として 0.63 程度となった。LWANを、対象分野のコーパスから作成した GLoVe、および、LSTM と組み合わせる方法が BERT と組み合わせた方法よ り若干上回る性能となった。

索引付けについてはテキスト中から重要表現を取 り出す抽出型が基本であり、今回試みた分類型の方法はそれを補足する役割があると考えている。今後 は両手法の改善に加え、それぞれの性質の分析を踏 まえて適切に組み合わせることが大きな方向性であ ると考えている。

## ${ ^{\vee}$ Huggingface $\odot$ BertForMaskedLM}

## 参考文献

［1］堀内美穂，中村徹，永井賢吉：JSTDB 検索にお ける索引の有効性と索引作業の重要性-JSTP1us フ アイル, JMEDPlusファイルにおける索引語の分析-,情報管理，vol. 52，No.1，2009.

[2] 冨永祥平：“索引作業におけるより高度な支援辞書の利用〜 JST 抄録・索引支援システム「NAISS」 について〜”，情報管理, vol. 50, no. 4, pp. 210-217, 2007.

[3] 山崎文枝, “JST 科学技術シソーラスの改訂” ,情報管理，vol. 60, no. 5, pp. 365-368, 2017.

[4] Johnson, A EW., et al., "MIMIC-III, a freely accessible critical care database", Nature, 2017.

[5] Chalkidis, I., et al., "Large-Scale Multi-Label Text Classification on EU Legislation”, ACL 2019, 2019. [6] McAuley, J., et al., "Hidden Factors and Hidden Topics: Understanding Rating Dimensions with Review Text", ACM Conf. on Recommender Systems, pp. 165172, 2013.

[7] Mullenbach, J., et al., "Explainable Prediction of Medical Codes from Clinical Text”, NAACL2018, 2018. [8] Rios, A., et al., "Few-Shot and Zero-Shot MultiLabel Learning for Structured LabelSpaces, EMNLP2018, 2018.

[9] Khandagale, S., et al., "Bonsai - Diverse and Shallow Trees for Extreme Multi-label Classification”, arXiv:1904.02349v2, 2019.

[10] You, R., et al., "AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification”, NeurIPS2019, 2019.

[11] Devlin, J., et al., "BERT: Pre-training of Deep

Bidirectional Transformers for Language

Understanding", Proc. NAACL2019, 2019.

[12] Chalkidis, I., et al., "An Empirical Study on LargeScale Multi-Label Text Classification Including Few and Zero-Shot Labels", EMNLP2020, 2020.

[13] Pennington, J. et al., "Glove: Global vectors for word representation”, EMNLP2014, pp1532-1543, 2014. [14] 建石由佳, 信定知江, 高木利久: “JST 科学技術用語シソーラスに基づく MeCab 用専門用語辞書”,言語処理学会第 23 回年次大会、P7-1 (pp485-488), 2017.
 菊井 玄一郎 鈴木 慶二 関根 基樹 水田 寿雄 国立研究開発法人 科学技術振興機構(JST) 情報企画部 \{genichiro. kikui, k3suzuki, sekine, mizuta\}@jst. go.jp  