# 複数の学習器による知識の蒸留を利用した 読影所見用語認識の精度向上

田川裕輝中野騰久尾崎良太西埜徹
}谷口友紀 大熊智子 中村佳児

富士フイルム株式会社

\{yuki.tagawa, norihisa.nakano, ryota.ozaki, toru.nishino, tomoki.taniguchi, tomoko.ohkuma, keigo.nakamura\}@fujifilm.com
## 1 はじめに

読影レポートとは放射線科の医師が CT や MRI な どの医療画像を元に異常所見や疾患についての読影診断を自然言語によって記述したものである.この レポートの中には医師の知識や経験が表現されてお り，これを抽出すれば様々な用途に利活用すること が期待できる。言語で表現された医師の知識を再利用可能な形にするにはレポートを構造化して疾患や 臟器などの観点から記述内容を分析できるようにす る必要がある. レポートから所見用語を抽出するた めの固有表現認識 (Named Entity Recognition; NER) はレポート構造化の根幹となる技術である.

NER は情報抽出技術の一つであり，多くの研究が 取り組まれている [1]. 特に, 近年では深層学習の 発展に伴い，大量の教師データでモデルを訓練する 手法が提案されている $[2,3]$. 一方で，読影レポー トへのラベル付けは専門知識が必要であり，大量の 教師データを用意するにはコストがかかる. そのた め，我々は大量の教師データを用意せずに所見用語認識の精度向上を目指す。

限られた量の教師データで NER の精度向上を目指した研究に Lai ら [4] や Liang ら [5] の研究がある. これらの研究は限られた教師データで学習したモデ ルで教師無しデータにラベル付けすることで，弱教師データを生成し，学習データを水増ししている。

Lai らは教師データだけで訓練した BERT [6] (以下 Teacher と呼ぶ) と, Teacher が生成した弱教師データ と教師データを混ぜて訓練した BERT (以下 Student と呼ぶ) の精度を比較し, Student が Teacher の精度 を上回った場合，Teacher のパラメータをStudent の パラメータに置き換えて，再び弱教師データを生成 する手法を提案している. またこの処理を複数回繰

図1読影レポートとアノテーションデータのサンプル.

り返すことで，高品質な弱教師データが生成でき たことを報告している. このように， Teacher が学習した知識を Student の学習に利用することを知識 の蒸留 [7] という. 特に, Teacher と Student に同じ モデル構造を利用したものは Self-Distillation [8] や Born-Again Networks [9] と呼ばれる.

生成された弱教師データの質が NER の精度に影響することを考えると，単一の Teacher から弱教師 データを生成するのではなく，Teacher に複数のモ デルを用意し，それぞれの出力を統合することで， より高品質な弱教師データの生成が期待できる. 特 に，NER において高い精度が報告されている BERT はドメイン適用するために対象ドメインのコーパス で継続学習するもの [10] や文字単位の語彙を扱うも の ${ }^{1)}$ など様々なモデルが提案されている. このよう な特徴の異なるモデルを Teacher として組み合わせ ることで，更なる精度向上が期待できる [11,12].

本研究では複数のモデルによる知識の蒸留を利用 した NER の学習手法を提案し, 所見用語認識に適用する. 実験では先行研究である Lai らの研究と比 べ，提案手法が Micro-F1 評価において高い精度とな ることを確認する。

## 2 提案手法

図 2 に提案手法の概要図を示す. 提案手法の学習 フローを以下に説明する。

1. あるトークン系列 $x$ に対して正解ラベル系列 $y$ がアノテーションされた教師データ $S=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{L}, y_{L}\right)\right.\}$ を利用して，モデルリ
^{1)}$ https://github.com/cl-tohoku/bert-japanese
}

図 2 提案手法の概要図.

スト $F=\left.\{f_{\theta_{1}}, \ldots, f_{\theta_{i}}, \ldots, f_{\theta_{N}}\right.\}$ 中の $N$ 個のモデル を訓練し，Teachers $=\left.\{f_{\theta_{t_{1}}}, \ldots, f_{\theta_{t_{i}}}, \ldots, f_{\theta_{t_{N}}}\right.\}$ を 作成する。ここで $f_{\theta}$ とはパラメータ $\theta$ を持つ NER モデルである.

2. 教師無しデー タ $d$ の リ ス 卜 $U=\left.\{d_{1}, \ldots, d_{j}, \ldots, d_{M}\right.\}$ に対 し $\tau$,各 Teacher モデルから出力 $O=$ $\left.\{\left(d_{1}, \hat{y}_{1,1}\right), \ldots,\left(d_{j}, \hat{y}_{i, j}\right), \ldots,\left(d_{M}, \hat{y}_{N, M}\right)\right.\}$ を生成す る. ここで, $\hat{y}_{i, j}$ とは Teacher モデル $f_{\theta_{t_{i}}}$ によっ て教師無しデータ $d_{j}$ に対して予測したラベル 系列である.

3. 各 Teacher モデルの出力 $O$ を文字単位の多数決で一つの出力結果に統合し, 弱教師デー タ $P=\left.\{\left(d_{1}, \tilde{y}_{1}\right), \ldots,\left(d_{j}, \tilde{y}_{j}\right), \ldots,\left(d_{M}, \tilde{y}_{M}\right)\right.\}$ を生成 する。

4. 教師データ $S$ と弱教師データ $P$ を混ぜたデー タでモデルリスト $F$ 中のモデルを訓練し， Students $=\left.\{f_{\theta_{s_{1}}}, \ldots, f_{\theta_{s_{i}}}, \ldots, f_{\theta_{s_{N}}}\right.\}$ を作成する.
5. $f_{\theta_{t_{i}}}$ と $f_{\theta_{s_{i}}}$ の開発データに対する精度を比較し, $f_{\theta_{s_{i}}}$ が $f_{\theta_{t_{i}}}$ の精度を上回っている場合， $f_{\theta_{t_{i}}}$ の パラメータ $\theta_{t_{i}}$ を $f_{\theta_{s_{i}}}$ のパラメータ $\theta_{s_{i}}$ に置き換 えることで，Teachersを更新する。
6. 2 から 5 までの処理をどの Teacher モデルも更新されなくなるまで，もしくは事前に定義した 回数 Iだけ繰り返す.

7. 各 Teacher モデルを利用してテストセットに対 して予測する。

8. 各 Teacher モデルの予測結果を 3 と同じく文字単位の多数決により一つの予測結果に集約し， テストセットに対する予測結果を得る.

## 3 実験

表 1 データセットの統計量.

## 3.1 データセット

本研究では全身を対象とした日本語読影レポート に所見用語ラベルをアノテーションし，データセッ トを構築した. データセットの統計量を表 1 に示 す. 表 1 の件数は読影レポート中の 1 行を 1 件とし てカウントしている. また，教師無しデータは文字数が多いものから優先して 10,000 件を選択した。

ラベルの種類とその説明を表 2 に示す. 図 1 に示 すように，病変と病名，変化の表現はレポートで はそれらが認められる (Positive; P)，認められない (Negative; N)，疑いや可能性がある (Suspicion; S) と いった事実性も同時に記述される。そのため，所見用語ラベルと同時に事実性ラベルもアノテーション した. 本研究では所見用語ラベルに事実性ラベルを 結合したものをラベル ${ }^{2)}$ とし，事実性判定も所見用語認識タスクとして同時に解いた。また，BIO 方式 3)を用いてラベルを付与した。

## 3.2 モデル

実験で利用するモデルを以下に説明する。

BERT 日本語 Wikipedia で学習した BERT ${ }^{1)}$. 語彙は NEologd 辞書 4)を組み込んだ MeCabによ
^{3}$ BIO 方式では固有表現の開始を表す Begin，同一種の固有表現の継続を表す Inside，どの固有表現にも当てはまらない Outside を利用し，固有表現の境界を認識する。

 }^{4)}$ https://github.com/neologd/mecab-ipadic-neologd

表 2 所見用語ラベルとその説明.

 \\

り単語分割した後，Byte Pair Encoding (BPE) に より構築している.

Char-BERT 日本語 Wikipedia で学習した文字単位の語彙を持つ BERT ${ }^{1)}$. 語彙は文字単位の分割処理により構築している。

UTH-BERT [13] 日本語の医療分野のコーパスで

んだ MeCabで単語分割した後, BPEにより構築している.

Radio-BERT2K 約 97 万行の日本語読影レポー トで学習した BERT. 事前学習時は Masked Language Modeling (MLM) [6] で学習した. ま た，MLM にマスクする単語を単語単位で選択 し，選択された単語に対応するサブワードを 全てマスクする Whole Word Masking (WWM) を 加えた. 語彙は MeCab で単語分割した後, BPE により 2,000 の語彙を構築した. 前処理として 5 文字以下の行は削除した上で事前学習した.

Radio-BERT4K Radio-BERT2K の語彙数を 4,000 に変更したモデル．その他の設定は RadioBERT2Kと同じである.

Radio-AdaptaBERT BERTを日本語読影レポート で継続学習した BERT．継続学習のタスクに はWWMを加えた MLM を利用した。語彙は BERTと同じものを利用した。

実際に学習させるモデルはこれらのモデルの最終層 に CRF [14]を追加したモデルである. 学習時はこ
れらの事前学習モデルで入力系列をエンコードし，得られたべクトル表現から CRF により，正解ラべ ル系列を出力するようにモデル全体を学習する.

学習フロー 3 と 8 では同じデータに対する複数の モデルの予測結果を一つの結果に集約している. 複数の予測結果を一つに結果に集約する手法として トークン単位の多数決を利用する研究がある [11].一方で，トークン (またはトークン系列) に対してラ ベル (またはラベル系列) を予測するモデルの予測結果を集約するには，全モデルでトークン分割の結果 が同じでなければ，トークン単位の多数決を適用す る事ができない．そこで，各モデルが予測したラべ ル系列を文字単位のラベル系列に変換し，全モデル で分割単位を揃えた上で文字単位の多数決により予測結果を集約した。

## 3.3 比較手法

実験で比較する手法を以下に説明する.

Single 教師データのみで学習するベースライン.

Self Distillation (SD) Lai ら [4] の手法. 一つのモデ ルを Teacher と Student として利用し, 弱教師デー タを生成する.

## Collaborative Distillation w/ Multiple Seeds (CDMS)

同じモデル構造で異なる初期シードを設定した複数のモデルを用意し，弱教師データを生成する提案手法.

## Collaborative Distillation w/ Different Models (CDDM)異なる構造を持つ複数のモデルを用意し，弱教師 データを生成する提案手法.

各モデルのパラメータは Single 手法で開発セット に対して最高精度となるパラメータをグリッドサー チで決定した.また，Iには 5 を設定した.

## 3.4 評価方法

手法の評価には Micro-F1 值を用いた. システム が出力したラベル系列と正解ラベル系列を比較し,所見用語の開始点，終点，所見用語ラベルが全て一致した場合に正解とした。

## 3.5 実験結果

表 3 にテストセットに対する Micro-F1 值を示す. CDMS はそれぞれのモデルを異なる 3 つのシード を用意し学習させた結果である. CDDM は BERT, Char-BERT，Radio-AdaptaBERT の 3 つのモデルを利
^{5)}$ http://sociocom.jp/ data/2018-manbyo/index.html
}
表 3 テストセットに対する Micro-F1 值. 最高値には下線を引いている.

用した結果である．值を比較すると，CDMS では Radio-AdaptaBERT を利用し, 学習した場合が最も 高い值となった. また，他の Single やSD と比べて も高い值となっていることから，複数のモデルを組 み合わせて弱教師データを生成する提案手法は所見用語認識タスクに効果的であったといえる。特に，複数の異なるモデルを組み合わせる CDDM が最も高 い性能となった。

## 3.6 分析

各モデルの予測にどの程度のばらつきがあるのか を分析するため，モデル間の予測結果の不一致の割合 [15] を算出した. モデルの予測したラベル系列を 文字単位のラベル系列に変換した上で，予測結果の 不一致の割合 $d_{\text {all }}$ を算出した. さらに，どちらのモ デルも所見用語ラベルを予測した事例の内，ラベル が不一致した割合 $d_{\text {label }}$ と, 予測した所見用語のス パンが不一致した割合 $d_{\text {span }}{ }^{6)}$ を算出した. また， 3 つ以上のモデルの組み合わせに対しては全てのモデ ルの組み合わせに対して不一致の割合を算出し，そ の平均値を多様性尺度 $D$ とした。

表 4 に Single 手法によって訓練されたモデルの予測結果から算出した多様性尺度 $D$ を示す. 全ての 尺度において，同じモデル構造間の予測結果の値よ りも，異なるモデル構造間の予測結果の值の方が高 いことがわかる. $D_{\text {label }}$ では BERT と Char-BERT の 組み合わせが最も高い值となった。これらのモデル の違いは大力テキストをそれぞれ文字単位で分割す るかサブワード単位で分割するかという点である。日本語は単語分割の境界が自明でないため，NER の 予測結果は前段の単語分割の結果の影響を受けるこ とが知られており [16], 異なる単語分割器を持つモ デルを組み合わせたことが同じモデル構造でシー ドのみを変えて組み合わせた場合と比べて高い多
$ ラベル，B ラベル)，(O ラベル，I ラベル) の組み合わせで不一致 した割合を算出した．スパンの不一致の割合を測るため，所見用語ラベルは考慮せず BIO ラベルのみで不一致を検出した.
}

表 4 教師無しデータに対する予測結果から算出した多様性尺度 $D_{\text {all }}, D_{\text {label }}, D_{\text {span }}$. w/ 3seeds とはモデルを異な る 3 つのシードで学習したことを表す. 各尺度毎に最高値には下線を引いている.

様性を生んだと考えられる。また， $D_{\text {span }}$ において は Char-BERT と Radio-AdaptaBERT の組み合わせが 最も高い値となった. これらのモデルの違いは上述 した単語分割方法の違いに加え，事前学習コーパス も異なる. Radio-AdaptaBERT は大量の読影レポー トで継続学習している。この結果から事前学習時の コーパスの違いも多様性を生むと考えられる。

このように異なるモデル構造を組み合わせること で予測結果に多様性が生まれることがわかった．多様性は複数のモデルを組み合わせて性能向上を測る アンサンブル学習において，性能を測る尺度として 期待できるという分析がある [17]. 表 3 の結果から も，多様性の低い異なるシードで学習したモデルを 組み合わせる CDMS より，多様性の高い異なるモデ ルを組み合わせる CDDM のほうが高い精度となっ た.これらの結果から多様な予測をするモデルを組 み合わせて弱教師データを生成する CDDM は所見用語認識の性能向上に寄与したと考えられる.

## 4 おわりに

本研究では所見用語認識の精度向上を目指し, 複数モデルによる知識の蒸留を利用した NER の学習手法を提案した．実験ではベースラインと先行研究 [4] と比較し，提案手法が高い性能となった.

今後は前段の単語分割の結果や事前学習コーパス の違いなどが，後段の所見用語認識の精度に与える 影響を分析したい。

## 参考文献

[1]Vikas Yadav and Steven Bethard. A survey on recent advances in named entity recognition from deep learning models. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2145-2158, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[3]Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4]Tuan Lai, Trung Bui, Doo Soon Kim, and Quan Hung Tran. A joint learning approach based on self-distillation for keyphrase extraction from scientific documents. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 649-656, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5]Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. Bond: Bert-assisted opendomain named entity recognition with distant supervision. In ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2020.

[6]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[8]Jianping Gou, Baosheng Yu, Stephen John Maybank, and Dacheng Tao. Knowledge distillation: A survey. arXiv preprint arXiv:2006.05525, 2020.

[9]Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[10]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th In- ternational Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11]Zornitsa Kozareva, Boyan Bonev, and Andres Montoyo. Selftraining and co-training applied to spanish named entity recognition. In Mexican International conference on Artificial Intelligence, pp. 770-779. Springer, 2005.

[12]Pierre Lison, Jeremy Barnes, Aliaksandr Hubin, and Samia Touileb. Named entity recognition without labelled data: A weak supervision approach. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1518-1533, Online, July 2020. Association for Computational Linguistics.

[13]Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed with huge size of japanese clinical narrative. medRxiv, 2020.

[14]John Lafferty, Andrew McCallum, and Fernando CN Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[15]David B Skalak, et al. The sources of increased accuracy for two proposed boosting algorithms. Citeseer.

[16]Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional LSTM-CRF with words and characters for Japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17]Kagan Tumer and Joydeep Ghosh. Theoretical foundations of linear and order statistics combiners for neural pattern classifiers.
 田川裕輝中野騰久尾崎良太西埜徹 }谷口友紀 大熊智子 中村佳児  富士フイルム株式会社  \{yuki.tagawa, norihisa.nakano, ryota.ozaki, toru.nishino, tomoki.taniguchi, tomoko.ohkuma, keigo.nakamura\}@fujifilm.com 