# 読影レポートの知識を埋め込んだ言語モデルを作成するための 事前学習手法

中野騰久 $^{1}$ 田川裕輝 $^{1}$ 尾崎良太 $^{1}$ 谷口友紀 $^{1}$ 大熊智子 $^{1}$
鈴木裕紀 $^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$
1 富士フイルム株式会社 2 大阪大学大学院医学系研究科
\{norihisa.nakano, yuki.tagawa, ryota.ozaki,
tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com
\{y-suzuki, kido, tomiyama\} @radiol.med.osaka-u.ac.jp

## 概要

様々な自然言語処理タスクにおいてニューラル言語モデルが優れた性能を実現している. 本論文では 読影レポートというドメインに特化した言語モデル を作成するための手法を提案する。一般的なドメイ ンのテキストではなく, 読影レポートテキストを用 いて事前学習をゼロから行う. また事前学習時に行 う Masked Language Model において, 入力内の固有表現と固有表現間の関係性に着目してマスク対象と入力範囲幅を決定することで, モデルにドメイン知識 を埋め込む．上記手法によって作成した言語モデル を臟器分類, 固有表現抽出, 関係性判断の三つのタス クにおいて評価した結果を報告する. 後段タスクと 同一のドメインコーパスで言語モデルを作成する有用性を示し, 提案手法によって臟器分類と関係性判断の二つのタスクで性能向上を確認した。

## 1 はじめに

読影レポートとは放射線科医が CT や MRI などの 医療画像から読み取った異常所見の有無や疾患の症状について記述したものである. 読影レポートには 医師の知見が含まれており，これらを抽出すること で様々な用途に利活用することが期待できる. その ためには読影レポートを構造化し, 再利用可能な形式に変換することが必要である. 我々はより高精度 な情報抽出による構造化を図るため, 読影レポート に最適な言語モデルの構築を目指している.

Bidirectional Encoder Representations from Transform-

をべースとしたニューラル言語モデルが優れた性能を実現している. 特定ドメインのタスクにおい ては, そのドメイン文書を用いて事前学習したモデ ルを使用することが望ましく, 医療分野においては Bio-BERT[3] や clinical-BERT[4] などが挙げられ, 日本語においては UTH-BERT[5] が発表されている. 本論文で取り扱う読影レポートにおいても, 臟器や疾患などドメイン固有の語句が多く存在する. 読影レ ポートを用いて事前学習をゼロから行うことで, 言語モデルはドメイン固有の語句を上手く表現できる ようになり,読影レポートを取り扱うタスクにおい て性能向上に期待できる.

BERT の事前学習では大力の一部をマスクし, 前後の文脈からマスクされた語句を予測する Masked Language Model(以後,MLM) と呼ばれるタスクを行 う.しかし従来手法では入力からランダムにマスク 対象を選択するため, 特に大規模なコーパスの入手 が難しいドメイン領域の場合, そのドメイン固有の 重要な語句の学習機会の損失が指摘される. また医師は部位や病変, 病変の性状から疾患を導出し, 読影 レポートを記述する. MLM を行う際にこのような 病変と部位や病変と疾患などの関係性に基づき,読影レポート固有の重要語句を中心にマスク対象とす ることで言語モデルにドメイン知識を埋め込むこと ができると考える. 加えて読影レポートの所見文は 臟器毎に記述されるため,MLM における入力範囲幅 を藏器単位にまとめることで, マスク対象とする固有表現を予測するための文脈情報を確保する。

本論文では読影レポートというドメイン領域にお いて, ドメインコーパスを用いてゼロから事前学習 すること，また言語モデルにドメイン知識を埋め込 むように事前学習を行うことで, より高性能な言語

モデルの作成を目標とし, 後段タスクである藏器分類, 固有表現抽出, 関係性判断の 3 つのタスクにおい て評価を行う。

## 2 関連研究

Lin ら [6] は MLM 時に固有表現を中心にマス ク処理を行う Entity-BERTを提案した. Entity-BERT は,PubMedBERT[7]をべースにさらに臨床テキスト である MIMIC[8] を用いて継続的に学習させここの 時入力に含まれる固有表現とそれ以外の語句から， それぞれ設定した割合でランダムにマスク対象を選択する. 彼らはその割合について複数の組み合わせ を比較した結果, 固有表現のみではなく, それ以外の 語句も同時にマスク対象とした方がモデルの性能が 良くなると報告しており, 固有表現以外の語句は意味情報に加え, 構文情報を持つと説明した. またマス ク対象とする割合を大きくしすぎると, 学習が困難 になる可能性についても報告している。適切な割合 で固有表現を中心にマスク処理を行うことで, ドメ イン固有の重要な表現を学習する機会が増え, 三つ の臨床テキストタスクにおいて従来手法によって作成された言語モデルよりも優れた性能を発揮するこ とを示した。

## 3 データ

大阪大学医学部附属病院から提供された約 11 年分の匿名化済み読影レポートを用いて言語モデルの 作成と評価を行った. 言語モデルの作成には約 670 万文, 性能評価には言語モデル作成用コーパスに含 まれない約 9 千文を使用した. 全ての読影レポート に対して予め, 文毎に藏器ラベルの付与, 固有表現の 抽出と固有表現ラベルの付与, 抽出された固有表現間の関係性ラベルの付与を行った(図 1).

臓器ラベルは肺や心臟などの主要な臟器からな る全 31 種のラベルを, 固有表現ラベルは解剖区域,病名, 病変, 性状, 変化, 形状変化, 計測項目, 計測結果, 撮影条件からなる全 9 種のラベルを定義した. 膨

図 1 ラベル付与例

左: 臓器ラベルと固有表現ラベル 右: 関係性ラベル表 1 コーパスにラベルを付与する際のモデル性能臓器分類 固有表現抽出 関係性判断

$\begin{array}{llll}\mathrm{dev} / \mathrm{t} \text { test } & 0.913 / 0.912 & 0.870 / 0.852 & 0.960 / 0.957\end{array}$

大なデータに人手でラベルを付与するのは困難な ため, 読影レポートの一行を一入力として作成した BERT モデルを用いて各タスクの推論を行い, 言語 モデル作成用コーパスにラベルを付与した. 推論に 用いたモデルの性能を表 1 に示す.

## 4 提案手法

先行研究である Lin ら [6] はドメイン固有の語句 を中心にマスクすることの有用性を示したが，マス クする固有表現の選別や, モデルに入力するテキス 卜量については言及していない. MLM において従来は一文もしくは二文を入力としており, 同一入力内の文脈情報のみではマスクされた語句を予測す るには不十分である可能性が指摘される. そのよう な場合にドメイン領域にとって重要な固有表現の 単語ベクトル構築に悪影響を及ぼすと考えられる。我々はマスク対象とする固有表現を予測する手がか りとして,マスク対象と関係のある固有表現が効果的であると考え，マスク対象を同一大力内に関係を 持つ固有表現を有するものに限定する. また読影レ ポートの所見文は藏器毎にまとめて記述されるた め,MLM における入力を藏器単位にまとめることで マスク対象とする固有表現を予測するための文脈情報を確保する. 提案手法におけるマスク対象の決定 フローを図 2 に示す.

マスクされた固有表現と関係を持つ固有表現を含 む文脈情報を用いて, 言語モデルはマスク対象を予測することができる.これによって読影レポートに おける部位や病変, 病変の性状から疾患を導出する 医師の診断プロセスに似た学習を行い，モデルにド メイン知識を埋め込む.

## 5 実験

## 5.1 設定

言語モデルの事前学習には約 670 万文の読影レ ポートテキストを使用した. 語彙は,NEologd 辞書1) を組み込んだ MeCabで単語分割した後, 文字単位の サブワードに分割し 3852 の語彙を構築した. バッチ サイズは 32 , 入力の最大長は 512 で 100 万ステップ


図 2 提案手法におけるマスク対象決定フロー

学習を回した. 本実験では以下に述べる四つのマス ク対象の決定手法を比較する。

・1, random）従来手法と同様に入力内の $15 \% を$ ランダムに選択する。

-2, Entity）Lin ら [6] と同様に入力内の固有表現

に選択する。

-3, Relation）入力内の固有表現の内, 同一入力内 の固有表現間において関係を有する固有表現の

択する（図2）。

特殊トークンである [CLS],[SEP] はマスク対象か ら除外し, マスク対象となる候補を選択した後は 従来手法と同様に,[MASK] トークンへの置換, 変更なし，ランダム他の語句への置換をそれぞれ $80 \%, 10 \%, 10 \%$ の比率で行う。モデルへの入力範囲幅は文単位と臟器単位の二つを比較する. 臟器単位の入力は, 臟器分類によって推論された臟器ラべ ルを基に, 同じラベルが付与された連続する読影レ ポートテキストをまとめることで作成した.

また Liu ら [9] の報告に基づき, 本実験の事前学習 では Next Sentence Prediction は行わなかった.

## 5.2 性能評価方法

作成した言語モデルの性能評価には, 臟器分類, 固有表現抽出, 関係性判断の三つの自然言語処理タス クにファインチューニングして行う. 言語モデル作成に使用しない 9 千文の読影レポートテキストに対して人手でアノテーションし, dev と test のデータ セットを作成した. また日本語 BERT の比較対象と して, 日本語 Wikipedia で学習された東北大学乾研究室の BERT モデル [10] と日本語臨床テキストで学習 された UTH-BERT[5]を使用した.

臟器分類: 入力されたテキストがどの臟器もしく は部位に属するものかを判断する 31 クラスの多ク ラス分類タスクである. 読影レポートは対象となる 一文のみでは部位や臟器を特定できないような文が 存在するため, 判断対象となるテキスト $x_{i}$ とその前文である $x_{i-1}$ を同時にモデルに入力する. BERT モ デルに分類層を追加したネットワークを用いて, 最終層の先頭である [CLS] トークンを特徴量として判断する。

固有表現抽出: 入力されたテキストから固有表現 を抽出するタスクである. 固有表現に対して 9 種類 のラベルを定義している. 読影レポート内において 同一の臟器について記述されたテキストを同時に モデルに入力する. 手法は田川ら [11] の報告に基づ き,BERT-CRF を採用した。

関係性判断: 固有表現抽出によって抽出された固有表現間に関係性があるか否かを判断するタスクで ある. BERT モデルに分類層を追加したネットワー クを用いて, 対象となる二つの固有表現とその間の 文脈を特徴量として判断する。

## 5.3 結果

表 2 に dev データセットと test データセットに対 する実験結果を示す. 值は Micro-F1 值である。

ドメインコーパスを用いた言語モデルは既存モデ ルよりも高い性能を発揮することが確認できた. 事前学習で用いた読影レポート (670万文,0.3GB) は既存モデルのコーパスである日本語 wikipedia(3000 万文,4GB) や臨床テキスト (1 億 2000 万行) と比較して 少量であったが, 後段タスクと同一ドメインで学習 することの有用性が示された. 固有表現間の関係性 に着目したマスクの決定手法によって, 臟器分類と 関係性判断のタスクにおいて性能向上を確認した が, 固有表現抽出タスクにおいては効果が見られな かった. また入力を臟器単位にまとめることでほと んどの場合に性能向上が確認された.

## 6 分析

未知語の影響: 本実験の事前学習で使用したコー パスに含まれる固有表現は全部で約 16 万種類, 1800
表 2 実験結果 (dev/test)

1: 読影レポートの一文を一入力としたもの

2: 同一臟器について書かれた連続する文をまとめて一大力としたもの

万個であった. 読影レポートを用いて作成した言語 モデルには, 本コーパスを用いて語彙を作成してい るため未知語は現れない. しかし既存モデルで使用 されるトークナイザーでは固有表現を入力した際 に, 半数以上である約 8.5 万種類の固有表現に未知語である [UNK] トークンが出現する. 同じく評価用 データには約 2400 種, 2 万個の固有表現が含まれて おり, 既存モデルにおいては約 670 個の固有表現に 未知語が出現する. UTH-BERT の場合はトークナイ ズ時に万病辞書 ${ }^{2}$ を用いているが, 未知語の出現率 に大きな差異は認められなかった. 同じ医療分野で あっても臨床テキストと読影レポートでは現れる固有表現が大きく異なると考えられる。

入力範囲幅の影響: 入力範囲幅を臓器単位にま とめることで性能の向上が確認できた. 臟器単位 の入力は全体の約 $36 \%$ \%゙一力力内に二文以上の テキストを保有する（二文: $17 \%$, 三文: 7 \%, 四文以上:12\%）. 関連するテキスト群を受け取ることで，言語モデルが読影レポートの複数文に跨る構文情報 を獲得できたことが示唆される。また本論文におけ る評価タスクの入力が複数文に跨るものが多いた め, 事前学習時と後段タスクの入力が近しいものと なっていることも原因として考えられる。

コーパス内のノイズの影響: 固有表現を中心にマ スク対象とすることで, 二つの自然言語処理タスク について性能向上に期待できるが, 固有表現抽出夕 スクにおいてはその効果が見られない. これはコー パスへのラベルの付与を行ったモデルの固有表現抽出タスクの性能が他の二つのタスクの性能と比較し て低く（表 1）, 事前学習用コーパスに付与された固有表現に関する情報にノイズが多いことが一因とし て考えられる.よって精度の高い固有表現ラベルに 絞ってマスク対象の候補とするなど，より高品質な 情報を持つコーパスを用いることで改善が見込め る. 本実験では全てのタスクにおいて,コーパスへの ラベルの付与を行ったモデルよりも高い精度のモデ ルが作成できている. よって作成したモデルを用い てコーパスへラベルを付与し, 再度言語モデルを作成する，というサイクルを繰り返すことでより性能 の高い言語モデルを作成することが可能と考える.

## 7 おわりに

本論文では, 読影レポートに適した言語モデルの 作成手法を提案し, 臟器分類, 固有表現抽出, 関係性判断の三つのタスクにおいて性能を評価した. 結果 から事前学習に用いるコーパスが後段タスクと同一 のドメインであることの有用性を示した. また言語 モデルの事前学習である MLM において, 臟器単位 にまとめられたテキストを一大力とすることでモデ ルの性能が向上することを示し, さらにマスク対象 を同一入力内に関係を持つ固有表現を有する固有表現に限定することで, 二つのタスクで性能向上が確認された. 今後の課題として, 精度の高い固有表現ラ ベルに絞ってマスク対象を決定するなど,コーパス におけるノイズの影響を調査することや最適な入力範囲幅やマスク選択割合の探索などが挙げられる。

2) http://sociocom.jp/ data/2018-manbyo/index.html

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[3] Biobert: a pre-trained biomedical language representation model for biomedical text mining. 2019

[4] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission, 2020.

[5] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. 2021.

[6] Chen Lin, Timothy Miller, Dmitriy Dligach, Steven Bethard, and Guergana Savova. EntityBERT: Entitycentric masking strategy for model pretraining for the clinical domain. 2021.

[7] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing, 2020.

[8] Shen L Lehman LW Feng M Ghassemi M Moody B Szolovits P Celi LA Mark RG Johnson AE, Pollard TJ. Mimic-iii, a freely accessible critical care database.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[10] Masatoshi Suzuki and Kentaro Inui. Bertbase-mecabipadic-bpe-32k-whole-word-mask. https://github.com/cltohoku/bert-japanese.

[11] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子, 若宮翔子, 荒牧英治. 生成された読影所見の自動評価に 向けた固有表現認識とモダリティ推定, 2020.
表 3 固有表現ラベルと詳細

## Appendix

## データセットについて

本論文で利用した固有表現ラベルに関する説明を 表 3 に示す. 病変, 変化, 性状に関しては実際にそれ が生じているのか否かの事実性についても固有表現抽出のタスク時に推定するために，固有表現ラベル に事実性を表す Positive と Negative を結合したもの (例えば病変 $\mathrm{P}$ や変化 $\mathrm{N}$ など) をラベルとして用意し た。また関係性を考慮する組み合わせは (解剖区域，病変), (性状, 病変), (病名, 病変), (変化, 病変), (計測結果, 病変), (解剖区域, 形状変化), (性状, 形状変化), (病名, 形状変化), (変化, 形状変化) の 9 パターンである.計測項目と撮影条件は関係性を持たないため, 提案手法においてはマスク対象の候補から除外される。

またコーパス内の固有表現ラベルの分布を図 3 に 示す. 部位を表す解剖区域, 読影のターゲットとなる 病変, 病変を説明する性状の順に多い. 本論文の提案手法では, マスク対象の候補を抽出した後は固有表現ラベルの種類に関わらずランダムにマスク箇所を 決定するため, 重要であるが出現頻度の少ない病名 に関する学習が不足している可能性がある.

- 病名- 変化計測項目
- 形状変化 - 病変鼔影条件
- 解剖区域 - 性状計測結果

図 3 コーパス内の固有表現ラベル分布
 中野騰久 $^{1}$ 田川裕輝 $^{1}$ 尾崎良太 $^{1}$ 谷口友紀 $^{1}$ 大熊智子 $^{1}$ 鈴木裕紀 $^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$ 1 富士フイルム株式会社 2 大阪大学大学院医学系研究科 \{norihisa.nakano, yuki.tagawa, ryota.ozaki, tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com \{y-suzuki, kido, tomiyama\} @radiol.med.osaka-u.ac.jp  