# 大規模事前学習言語モデルによる日本語所見文を用いた COVID-19 肺炎の自動検出

鈴木脩右 ${ }^{1}$ 明石敏昭 2 橋本正弘 ${ }^{3}$ 大竹義人 4 村尾晃平 5 狩野芳伸 1
1 静岡大学大学院総合科学技術研究科 2 順天堂大学 医学部 放射線診断学講座
3 慶應義塾大学 医学部 放射線科 (診断) 4 奈良先端科学技術大学院大学 先端科学技術研究科
5 国立情報学研究所医療ビッグデータ研究センター
ssuzuki@kanolab.net t.akashi.sg@juntendo.ac.jp m.hashimoto@rad.med.keio.ac.jp
otake@is.naist.jp k-murao@nii.ac.jp kano@inf.shizuoka.ac.jp

## 概要

CT 画像に付随する放射線読影レポートの所見文 から，COVID-19肺炎であるか否かを自動検出する 検出器を構築した. 読影レポートの件数は多くない ため，検出器には複数の大規模事前学習言語モデル を用い比較した. 提案手法はベースラインより優 れ，大規模事前学習言語モデルの有効性を示した。 なかでも，我々が構築した RoBRTa ベースの検出器 は Accuracy スコア 0.918 と最高精度を達成した. ま た，SHAP を用いて検出に影響を与える上位 9 単語 を算出し，提案モデルが肺の症状を重視することが 示唆された。

## 1 はじめに

COVID-19 肺炎が世界中で流行している. 日本医学放射線学会は日本医用画像データベースを用いた COVID-19 肺炎の $\mathrm{CT}^{1}$ 画像収集と教師データ作成を 行い, AI 画像診断を利用した COVID-19肺炎の国内 での発生検出に取り組んでおり，一定の成果を得て いる [1]. 現在，自然言語処理によるアプローチを 取り入れた高精度な検出システムの実現が期待され ている.

本研究では，CT 画像に付随する日本語放射線読影レポートを用いて，所見文から COVID-19肺炎を 自動検出する検出器の構築を試みる. 我々は日本医学放射線学会が収集したデータからデータセットを 構築する. データセットが小規模であることから，大規模事前学習言語モデルを検出器に用い高精度な モデルを実現する.

## 2 関連研究

日本語放射線読影レポートを用いたタスクに大規模事前学習モデルを適応した研究では, 多田ら [2], Kuwabara ら [3]，Nakamura ら [4]，本田ら [5] 等があ る.

Kuwabara らは小規模な疾患 2 值分類データセッ トを構築し，事前学習済みの BERT[6] を利用するこ とで，小規模データの学習でありながら高精度な分類器を構築した. Honda らは約 32 万件の放射線科読影レポートを用いて BERT の事前学習を行い，12 クラス疾患分類タスクにおいて優れた分類器を構築 した.

我々の知る限り，日本語放射線読影レポートを用 いた COVID-19 肺炎の自動検出に関する研究は存在 しない.

## 3 データセット

放射線読影レポートとは，放射線科の読影医が CT 等の検査画像から，検査画像に対する所見や診断を記載した報告書である。所見文の文例を図 3 に 示す. 本研究では所見文を入力し，COVID-19 肺炎 の自動検出を行う.

## 3.1 使用データ

日本医学放射線学会が収集したデータを使用 する。

PCR 検査結果データ は PCR 検査結果を元に，3 種類のラベル (陰性，陽性，不明)を付与したデータ である。「不明」は検査結果が判定不能のものであ る. 本研究では「陰性」と「陽性」を使用する.

COVID-19 流行前データ COVID-19 流行前に収集されたデータに対して，COVID-19 らしさを示す 4 種類のラベル (典型的所見，疑わしい所見，非典型的所見，肺炎ではない所見)を付与したデータであ る. 本研究では「典型的所見」を陽性データ，「非典型的所見」と「肺炎ではない所見」を陰性データと して扱う。

正常肺データ は正常肺の症例を集めたデータで ある．本研究では陰性データとして扱う。

アノテーションデータ は本研究で独自にアノ テーションしたデータである. データベースの中に は，PCR 検査結果データのようなラベルは付与され ていないが COVID-19 の症状について記載されてい るデータが存在する．これらのデータを抽出し，記載内容を元に手作業で 3 種類のラベル (陰性，陽性，不明)のいずれかを付与した.この内「陰性」と「陽性」を使用する。

## 3.2 データセットの構築

3.1 節で述べたデータを元に 2 種類のデータセッ トを構築した。

性能評価用データセット は正常肺データ以外 のデータで構築した. データサイズは 3,317 件 (陰性:1,664 件，陽性:1,653 件) である。本データセット で交差検証を行い，各モデルでの性能を評価した。

実タスクを想定したデータセット は PCR 検査結果データ及び正常肺データから評価データを，評価データに使用していないデータから訓練データを それぞれ構築したデータセットである. データサイ ズは，評価データ 300 件 (陰性: 150 件，陽性: 150 件),訓練データ 3,084 件 (陰性:1,581 件，陽性:1,503 件) で ある.

## 4 大規模事前学習言語モデル

本研究で使用した大規模事前学習言語モデルにつ いて述べる. 各モデルは huggingface/transformers [7] で実装した.

## 4.1 事前学習済み BERT

本研究で用いた事前学習済み $\mathrm{BERT}^{2}$ にについて説明する. モデルサイズは全て base サイズ (層数 12 ,次元数 768 , ヘッド数 12 , 最大入力長 512) である.

TOHOKU-BERT は東北大学が公開しているモデ ル3)である. 日本語 Wikipedia で事前学習されてお り, 単語分割は MeCab+WordPiece で行う. MeCabの 辞書は Unidic を使用する。

複数のバージョンの内，'bert-base-japanese-v2'を 使用した.

TOHOKU-BERT-char は東北大学が公開している モデルである. 日本語 Wikipedia で事前学習されて おり，単語分割は文字単位で行う.

複数のバージョンの内, 'bert-base-japanese-char-v2 ，を使用した。

UTH-BERT は東京大学が公開しているモデル [8] である. 日本語で記載された大規模医療テキストで 事前学習されており, 単語分割は MeCab+WordPiece で行う. MeCab の辞書は ipadic-NEologd と万病辞書 [9] を併用する。

SP-BERT は Kikutaが公開しているモデル [10] で ある. 日本語 Wikipedia で事前学習されており，単語分割は SentencePiece で行う.

Radiology-BERT は本田らが構築したモデル [5] である。放射線読影レポートで事前学習されてお り，単語分割は Byte Pair Encoding (BPE) で行う. な お本モデルは一般公開されていない.

## 4.2 RoBERTa の事前学習

我々は，約 85 万件からなる放射線読影レポート の所見文 ${ }^{4)}$ 使用し base サイズの RoBERTa [11]を 構築した。

本モデルの特徴として，1 つ以上の文書から連続 した最大入力長分の単語を入力とした学習を行わな い. 代わりに，所見文が最大入力長に満たない場合 は，診断文を加え事前学習データの単語数を増加さ せた. また，計算コストの都合から，Mixed Precision [12] によるメモリの節約, Gradient Accumulation [13] による batch サイズの増加をしている。

辞書に ipadic-NEologd と万病辞書を併用した MeCab+WordPieceで単語分割し, Whole Word Masking

2）モデルの呼称は本論文独自のものが含まれる点に留意され たい.

3) https://github.com/cl-tohoku/bert-japanese

4） 3 節で述べたデータは除いている.

での Masked Language Modeling の事前学習を, 語彙数 32,000 , batch サイズ 128 で 30 epoch 行った.

本モデルを Radiology-RoBERTa とする.

## 5 実験

COVID-19 肺炎の自動検出を陰性/陽性の 2 値分類 タスクとみなし，2 種類の実験を行った。

## 5.1 ベースライン

ベースラインには 2 種類のモデルを用意した.

ルールベース 特定単語 (GGO，GGN，すりガラ ス, 浸潤影, consolidation, grand glass, pneumonia, 網状影，肺炎，間質性)を含む所見文を陽性，それ以外を陰性と判断する。

BiLSTM Radiology-RoBERTa と同様の所見文デー タで事前学習した Word2Vecを初期重みとする BiLSTM モデルである. 辞書に ipadic-NEologd と万病辞書を併用した MeCab+WordPiece で単語分割し た. パラメータは語彙数 32,000 , 埋め込み次元 128 ,隠れ状態 512 ，層数 2 ，最大入力長 512 とした.

## 5.2 評価指標

分類タスクで一般的に用いられる Accuracy， Precision, Recall, $\mathrm{F}_{1}$ に加え, Specificity を評価指標 とした. Specificityは 1 式で求める.

$
\text { Specificity }=\frac{\text { TrueNegative }}{\text { FalsePositiye }+ \text { TrueNegative }}
$

## 5.3 性能評価実験

3.2 節の性能評価用データセットで 10 分割交差検証を行った. 分割は訓練: 検証 : 評価 $=8: 1: 1$ で ある. 評価指標は各モデル毎の平均値を算出した.

## 5.4 実タスクを想定した実験

3.2 節の実タスクを想定したデータセットを使用し, ベースライン, Radiology-BERT, RadiologyRoBERTa での実験を行った。初期值の影響を考え，各モデル毎に 5 回実験した. 評価指標は各モデル毎 の平均値を算出した。

また，大規模事前学習言語モデルベースの検出器の判断根拠を調査するため, SHapley Additive exPlanations (SHAP) [14] を用いて検出に影響を与え る上位 9 単語を算出した. SHAP には各モデル毎の ベストモデルを使用した.

## 6 結果・考察

## 6.1 性能評価結果

実験結果を表 1 に示す.ベースラインと比較し て大規模事前学習言語モデルベースの検出器が優 れた結果を出しており，本タスクにおける大規模事前学習言語モデルの有効性を示している。事前学習済み BERT の中では Radiology-BERT が最も優 れており，事前学習データのドメインによる影響 が精度向上に大きく寄与している可能性が高い. Radiology-RoBERTa が Accuracy スコア 0.918 と最高精度を達成しており，提案モデルの有効性を示して いる.

## 6.2 実タスクを想定した実験結果

実験結果を表 2 に示す．全体の傾向は 6.1 節と同様であり，提案モデルである Radiology-RoBERTa の 有効性を示している。

SHAP による可視化結果を図 2 と図 3 に示す.

SHAP value に着目して述べる。陽性と比べて陰性の SHAP value が小さく，陰性を示す単語は少な いことを示唆している. Radiology-RoBERTa よりも Radiology-BERT $の$ SHAP value が高く、一単語辺り に含まれる情報量の違いが起因すると考えられる。

具体的な単語に着目して述べる. Radiology-BERT は「肺」が含まれている単語が複数上位に含まれて おり、陽性の判断に診断部位を重視している. 対し て Radiology-RoBERTa の上位 9 単語には肺の症状が 複数含まれており、陽性の判断に肺の症状を重視し ている.これより、Radiology-RoBERTa がより妥当 な分類をしていることが示唆される.

## 7 おわりに

本論文では，所見文を用いる COVID-19肺炎の自動検出器を構築した. データセットは多くないた め, 検出器には複数の大規模事前学習言語モデル を用い比較した。提案手法はベースラインより優 れ，本タスクにおける大規模事前学習言語モデル の有効性を示した。なかでも，提案モデルである Radiology-RoBRTa は Accuracy スコア 0.918 と最高精度を達成した。また，SHAPを用いて検出に影響を 与える上位 9 単語を算出した。この結果から，提案 モデルが肺の症状を重視することが示唆された.
表 1 性能評価結果

表 2 実タスクを想定した実験結果

（a）陰性検出に影響する上位 9 単語

(b) 陽性検出に影響する上位 9 単語

図 2 Radiology-BERT の検出精度に影響する単語の可視化

(a) 陰性検出に影響する上位 9 単語

(b) 陽性検出に影響する上位 9 単語

図 3 Radiology-RoBERTa の検出精度に影響する単語の可視化

## 謝辞

本研究は AMED の JP201k1010036 課題番号の支援 を受けたものです.

## 参考文献

[1] 明石敏昭, 待鳥詔洋, 青木茂樹. COVID-19 肺炎に対 する日本医学放射線学会の対応と画像診断 AIへの 期待. Medical Imaging Technology, Vol. 39, No. 1, pp. 3-7, 2021.

[2] 多田太郎, 森川みどり, 那須照広, 山本和英. 読影レ ポート間の類似度データセットの構築と予備実験. 言語処理学会第 26 回年次大会発表論文集, pp. 1193-1196, 2020.

[3] Ryosuke Kuwabara, Changhee Han, Kohei Murao, and Shinichi Satoh. BERT-based few-shot learning for automatic anomaly classification from Japanese multiinstitutional CT scan reports. International Journal of Computer Assisted Radiology and Surgery, Vol. 15, No. 1, pp. 148-149, 2020.

[4] Yuta Nakamura, Shouhei Hanaoka, Yukihiro Nomura, Takahiro Nakao, Soichiro Miki, Takeyuki Watadani, Takeharu Yoshikawa, Naoto Hayashi, and Osamu Abe. Automatic detection of actionable radiology reports using bidirectional encoder representations from transformers. BMC Medical Informatics and Decision Making, Vol. 21, No. 1, pp. 1-19, 2021.

[5] 本田修平, 大竹義人, 高尾正樹, 荒牧英治, 矢田竣太郎, 合田憲人, 佐藤真一, 橋本正弘, 明石敏昭, 菅野伸彦, 佐藤嘉伸. 大規模放射線読影レポートデータベー スによる BERT モデルの事前学習とそれを用いた CT 画像の撮影目的の推定. 日本医用画像工学会大会予稿集, 39 回, pp. 56-56, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[7] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45. Association for Computational Linguistics, 2020.

[8] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge Japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 2021.

[9] Kaoru Ito, Hiroyuki Nagai, Taro Okahisa, Shoko
Wakamiya, Tomohide Iwao, and Eiji Aramaki. J-MeDic: A Japanese disease name dictionary based on real clinical usage. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), 2018.

[10] Yohei Kikuta. BERT Pretrained model Trained On Japanese Wikipedia Articles, 2019. https://github. com/yoheikikuta/bert-japanese.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[12] Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, and Hao Wu. Mixed Precision Training. arXiv preprint arXiv:1710.03740, 2018.

[13] Joeri R. Hermans, Gerasimos Spanakis, and Rico Möckel. Accumulated Gradient Normalization. In Proceedings of the Ninth Asian Conference on Machine Learning, pp. 439-454. Proceedings of Machine Learning Research, 2017.

[14] Scott M Lundberg and Su-In Lee. A Unified Approach to Interpreting Model Predictions. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.
 鈴木脩右 ${ }^{1}$ 明石敏昭 2 橋本正弘 ${ }^{3}$ 大竹義人 4 村尾晃平 5 狩野芳伸 1 1 静岡大学大学院総合科学技術研究科 2 順天堂大学 医学部 放射線診断学講座 3 慶應義塾大学 医学部 放射線科 (診断) 4 奈良先端科学技術大学院大学 先端科学技術研究科 5 国立情報学研究所医療ビッグデータ研究センター ssuzuki@kanolab.net t.akashi.sg@juntendo.ac.jp m.hashimoto@rad.med.keio.ac.jp otake@is.naist.jp k-murao@nii.ac.jp kano@inf.shizuoka.ac.jp  