# BERT を用いた多言語同時学習による疾患分類

朱晨成 Niraj Pahari 嶋田和孝
九州工業大学大学院
zhu. chencheng822@mail.kyutech.jp nirajpahari@gmail.com
shimada@ai.kyutech.ac.jp

## 概要

電子カルテが紙ベースの医療記録に代わって使用 されるようになり，医療分野における自然言語処理技術の応用が注目されている. しかし，英語以外の 言語における関連する分野のデータセットは依然と して少ない、マルチタスク学習は，データ不足の問題を緩和できるアプローチであることが示されてい る. 本研究では，BERT に基づく多言語の同時学習 モデル（MTL）を構築し，NTCIR-13 MedWeb マルチ ラベルの疾患分類タスクで精度評価を行う．シング ルタスク学習（STL）と比較した結果，MTL モデル は場合によって STL モデルを上回ることが判明し た.また，アブレーションテストによって類似性が 高い言語のバイリンガル MTL モデルにおける精度 の向上を確認した.

## 1 はじめに

医療分野でのデジタル化の進展に伴い，電子形式 の医療記録（EHR）が推進されている。それにより 大量のテキストデータが発生し，医療における自然言語処理の研究にも注目が集まっている [1]. しか し，そのドメインの特異性から，専門家によるアノ テーションが必要で時間と人件費のコストが大き く，患者のプライバシーに配慮して非公開にされる データセットも多い [2]. したがって医療ドメイン ではアノテーションされた学習用コーパスの不足が 続いている. 特に英語以外の言語で書かれたデータ ではこの傾向が強く, 関連研究の進展が遅い。この ような言語資源のアンバランスは，多言語環境に適 した技術によって克服することができる. さらに，同じタスクであれば言語を超えた共通の特徵が存在 する可能性もある．異なる言語の医学文章を解析す ることで，語の曖昧性（コロナと COVID-19など） が解消され, 各国の希少疾病の研究などの発展に貢献すると考えられる。
マルチタスク学習は，機械学習の様々な分野で利用されている [3]. 自然言語処理の研究においては,少量のラベル付きデータセットを処理し，関連する タスク間の表現を学習するためによく用いられてい る $[4,5]$. 医療分野では，固有表現抽出や関係抽出 などのタスクにマルチタスク学習を適用する研究が 盛んに行われている $[6,7,8]$. 多言語を用いた研究 においては，マルチタスク学習は主に対訳問題の解決に用いられている $[9,10]$.

本研究では，英語・日本語・中国語の 3 つの言語 の医療分野におけるマルチラベル分類タスクに対 して，BERT に基づくマルチタスク学習のフレーム ワークを流用し，同時に学習するモデルを提案する (以降 MTL と呼ぶ)。その性能をシングルタスク学習 (STL) との比較する。また，多言語 MTL モデル における言語類似度の影響を調べるために，アブ レーションテストも行う.

## 2 関連研究

マルチタスク学習は転移学習の一種である. 関連する複数のタスクから有用な情報を共有するこ とで，1 つのタスクのみを学習させるよりもより良 い結果を得られ，モデルの汎化性能も高められる [11]. Ruder [3] は，一般的に用いられているマルチ タスク学習法をハードパラメータシェアとソフト パラメータシェアの 2 種類に分類した。 ハードパラ メータシェアでは，複数のタスク間でモデルの重み を共有するが，各タスクの固有出力層を残す。これ に対して，ソフトパラメータシェアではタスクごと にそれぞれ独立したモデルと重みを持つ。学習の 時，タスク独自の重みを更新する際に，お互いの損失シグナルを重み付けながら導入できる [12].

医療分野では，マルチタスク学習が様々なタスク で幅広く活用されている. Joshi ら [13] は，BiLSTM に基づくマルチタスク学習モデルを構築し，ツイー 卜文を対象に 3 つの医療関連の分類タスクを行い，

STLより良い結果を得た. Hartmann ら [14] は, 英語，スペイン語，フランス語のデータセットを処理するために mBERT をべースとして，ハードパラ メータシェアによって多言語のマルチタスク学習 モデルを構築した. タスクには，製品レビューの否定範囲解析, 生物医学テキストの否定範囲解析, 症状の有無判断が含まれる. また, このモデルの多言語への汎化能力を評価し, 臨床テキストにおけるゼ ロショットの否定範囲解析が可能であることを示 した.

## 3 データセット

本研究では，多言語テキスト分類タスクにお ける MTL フレームワークの性能を調べるため， NTCIR-13 医学自然言語処理 Web 文書 (MedWeb) [15]を用いる. MedWeb は，人手で作成された疑似 ツイート文からなるデータセットである．作成され たツイートの原文は日本語で，著者たちがそれを英語と中国語に翻訳し，マルチリンガルのデータセッ トを作成した. ツイート一文に対して，インフルエ ンザ，下痢，花粉症，咳，頭痛，発熱，鼻水，風邪の 8 つのラベルが付与される. 表 1 に各言語の疑似ツ イートとそのラベルの例を示す. 各疾患・症状には 陽性（positive）と陰性（negative）の状態が割り当 てられ，それぞれ $\mathrm{p}$ と $\mathrm{n}$ で示される. 1 つの疑似ツ イートは複数の症状を表現している可能性があるた め，複数のラベルにポジティブなステータスが付与 される場合がある. 本研究ではこれら 8 つのラベル を同時に分類するマルチラベルタスクに取り組む.

## 4 手法

本研究では，BERTをベースモデルとして，医療分野におけるマルチラベル分類の STL モデル, 及び MTL モデルを構築する。

## 4.1 STL モデル

STL をべースラインとして，各言語のデータセッ 卜に対して，BERT モデルの様々なバリアントを用 いて，その言語独自の分類タスクを実行する. 使用 する BERT バリアントは， 5.1 節で説明する。

## 4.2 MTL モデル

ソフトパラメータシェアで MTL モデルを構築 する. 本研究では，BERT モデルに基づき，その 12 層の Transformer 隠れ層を分解する. 大きく分け
るとボトム層，中間層，トップ層である。一般に， Transformer のボトム層は最も線形な語順情報を持ち [16]，中間層は主に依存関係を捉え [17]，タスク間 の転移能力が最も強く[18]，トップ層はタスク固有 の特徴を学習している [19].

図 1 に本研究で使用する MTL モデルの概要図を 示す.フリーズ層（Freeze）は，重みを更新しない 層である. 共有層（Share）では，3つのモデルのパ ラメータを互いに共有し，3つのタスクに応じた重 みの更新を行う，固有層（Individual）は，各言語の データセットに固有の特徴を学習し，その重みは対応言語自身の分類タスクに応じて更新される. 我々 の別の研究において F-S-I の組み合わせが最も効率的であることが示されているため [20], 本研究でも この設定を採用する．BERT のボトム層をフリーズ 層，中間層を共有層，トップ層を固有層とする．最後に, 12 層の Transformer の上に線形層を追加して,各言語のマルチラベル分類を行う.

## 5 実験

## 5.1 実験設定

BERT バリアント 各言語に対して多言語事前学習モデルと言語独自のモノリンガル BERTを 用いる。なお, 多言語事前学習モデルは, mBERT [21] と LaBSE [22]を使用する。言語独自のモノ リンガル BERT について英語データセットで は bert-base-uncased ${ }^{1)}$ を，日本語データセットでは 東北大学で開発された cl-tohoku/bert-base-japanesewhole-word-masking ${ }^{2}$ を，中国語データセットでは bert-base-chinese ${ }^{3)}$ を使用する。

STL モデル各言語に対して Single $e_{m B e r t}$, Single $_{\text {LaBSE }}$, Single mono の 3 つの STL モデルを 用いる. 下付き文字の mBERT, LaBSE と mono は各言語のデータセットで利用する BERT バリアントを 示している.

MTL モデル図 1 に示すように MultimBert ,

築する．また，各 MTL モデルで F-S-I それぞれの層数を変化させ，最適なコンビネーションを探る. 初期の組み合わせは 4-4-4（フリーズ層は L1-4, 共有層は L5-8, 固有層は L9-12). さらに，1-7-4 と 1-4-7

表 1 各言語の疑似ツイートとそのラベルの付け方の例。

 & Cough & Headache & Fever &  & Cold \\

日本語分類器

mbert/LaBSE/BERT ja

Transformer 12

† ... $\uparrow$

$\uparrow$ Transformer $n+1$ Transformer $n$

$\uparrow$ Transformer $m+1$

$\uparrow$ Transformer $m$ Transformer 1 日本語データセット

## 中国語分類器

mbert/LaBSE/BERTzh

中国語データセット

図 1 MTL モデルの概要図.

の組み合わせが最も有効的であることが示されてい るため [20]，計三つの組み合わせで実験を行う.

BERT の実装 最適化アルゴリズムに AdamW, 学習率は Transformer 層を 5e-5, 線形層を 5e-3 とし，損失関数には Binary Cross Entropy を用いた. Epoch 数 は 10，過学習抑制のために EarlyStopping を用いた。各言語について，トレーニングには 1920 文，テス トには 640 文を使用する。評価指標は文中の 8 つの ラベルがすべて正しく分類されている場合のみを正解とし，精度の計算を行う。

## 5.2 実験結果

## 最適な BERT バリアントとレイヤー数の組合せ表 2 に F-S-Iレイヤー数の組み合わせが異なる場合の 3 つの MTL モデルの精度を示す. 左端の列の 数字は，実験設置のフリーズ層，共有層，固有層 の数を示す.太字は各言語での最高精度を意味す る。*は各モデルでの各言語の最高精度を意味する。 LaBSE を用いた MTL モデルで，3つの言語に対し て平均的に良い結果が得られた。また，1-7-4 層の 設定では，すべての BERT バリアントに対して，過半数の言語で最も良い精度であることがわかった. この結果は [20] と同様であり，各言語において固有表 2 異なる F-S-Iレイヤー数の組み合わせにおける 3 つ の MTL モデルの予測の完全一致精度.

層が重要であることが示されている.

STL との比較 表 2 から 1-7-4 層の設定が MTL モデルに最適な組み合わせであると考えられるた め，この設定の各 MTL モデルを用いて STL モデル との比較を行う。その結果を表 3 に示す.太字は 各言語での最高精度を意味する。まず，同じ BERT

表 3 MTL と STL の予測の完全一致精度比較.

$\Delta$ は同じ BERT バリアントを用いた MTL モデルと STL モデル の分類精度の平均差を示す

$\Delta_{\text {mono }}$ は全ての MTL モデルと Single mono の分類精度の平均差を 示す

て，言語間の分類精度の平均差を互いに比較する ( $\Delta$ ). 全体として，STLよりも MTLの方が優れてい るが，その効果は必ずしも大きくはなかった. 次 に，全ての MTL モデルをSTL モデルで最も精度

LaBSE を用いた MTL モデルのみ Single mono よりも わずかに精度が向上している。なお，この精度は臨床医学テキストで事前学習した BERT モデルを用い た NTCIR-13 MedWeb タスクの日本語データセット での予測精度を上回る結果となった [23].

まとめると，提案手法（MTL）は各言語でチュー ニングされた最適なモデルに対していつも高い 精度が得られるとは限らない(例えば Multi LaBSE

Transformer のパラメータがより多くのノイズを生成 するため，MTLがその能力を発揮できないことが 原因であると考えられる。しかし，複数を組み合わ せて同時に学習するメリットも明らかになった。

## 5.3 アブレーションテスト

Conneau ら [24] の研究では，言語間の類似性 が mBERT，XML などの多言語事前学習モデルの cross-lingual transfer 能力に影響し, 類似性の高い言語ほどタスクの精度が高くなることが示されてい る.そこで本研究では, 言語間の類似性の影響を調査するため， 3 言語内の 1 つを除いてバイリンガル MTL モデルを作成し，アブレーションテストを行っ た. 言語学的に見ると英語と中国語は文法構造が似 ており，日本語と中国語は表層形が似ている。ま た，英語と日本語の類似性はこの組み合わせの中で表 4 バイリンガル MTL の予測の完全一致精度.

は最も低いと考えられる。英語-中国語，日本語-中国語，英語-日本語の 3 つのペアでテストを行う。そ の結果を表 4 に示す. without ja と without zh の組み 合わせもテストを行ったが，精度の向上が見られな かったため，スペースの関係上割愛する。日本語-中国語ペアはテストを行なった全てのグループの中で 最も良い精度が得られた. その平均精度は， 3 言語 を用いた MTL よりも優れている $(\Delta)$. また，ベー スラインで最も性能が良かった Single mono と比較し てもわずかに優れていた $\left(\Delta_{\text {mono }}\right)$. 加えて, LaBSE を用いたバイリンガル MTL モデルは，日本語にお いて全ての実験の中で最も高い精度を示した．言語間の相関の度合い，特に表層形の類似度が，多言語 MTL モデルの性能に影響を与えることがわかる.

## 6 まとめ

本研究では, 多言語医療関連マルチラベル分類 タスクに対して，Transformer に基づくソフトパラ メータシェアアプローチによる MTL モデルを構築 した. MTL モデルは全体的に STL モデルより優れ ているが，言語や組み合わせによっては各言語独自 の BERT モデルの精度を上回るには至らない場合も あった. また，アブレーションテストを行い，日本語の分類タスクと中国語の分類タスクのみからなる バイリンガル MTL モデルが最も良い結果を得られ た.この結果により，言語間の表層形の類似性が多言語の MTL モデルの性能に影響を与えることが示 された。

今回英語, 日本語, 中国語の 3 言語のみ用いた.今後はスペイン語やフランス語など，英語の表層形 に類似度高い言語のデータセットも取り込みたい。

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural language processing: from bedside to everywhere. Yearbook of Medical Informatics, 2022.

[2] Shuntaro Yada, Yuta Nakamura, Shoko Wakamiya, and Eiji Aramaki. Real-mednlp: Overview of real document-based medical natural language processing task. In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285-296, 2022.

[3] Sebastian Ruder. An overview of multi-task learning in deep neural networks. arXiv preprint arXiv:1706.05098, 2017.

[4] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Adversarial multi-task learning for text classification. arXiv preprint arXiv:1704.05742, 2017.

[5] Anders Søgaard and Yoav Goldberg. Deep multi-task learning with low level tasks supervised at lower layers. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 231-235, 2016.

[6] Shweta Yadav, Srivatsa Ramesh, Sriparna Saha, and Asif Ekbal. Relation extraction from biomedical and clinical text: Unified multitask learning framework. IEEE/ACM Transactions on Computational Biology and Bioinformatics, Vol. 19, No. 2, pp. 1105-1116, 2020.

[7] Andriy Mulyar, Ozlem Uzuner, and Bridget McInnes. Mtclinical bert: scaling clinical information extraction with multitask learning. Journal of the American Medical Informatics Association, Vol. 28, No. 10, pp. 21082115, 2021.

[8] Zhaoying Chai, Han Jin, Shenghui Shi, Siyan Zhan, Lin Zhuo, and Yu Yang. Hierarchical shared transfer learning for biomedical named entity recognition. BMC bioinformatics, Vol. 23, No. 1, pp. 1-14, 2022.

[9] Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang. Multi-task learning for multiple language translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1723-1732, 2015.

[10] Yiren Wang, ChengXiang Zhai, and Hany Hassan Awadalla. Multi-task learning for multilingual neural machine translation. arXiv preprint arXiv:2010.02523, 2020.

[11] Yu Zhang and Qiang Yang. A survey on multi-task learning. IEEE Transactions on Knowledge and Data Engineering, 2021.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv preprint arXiv:2009.09796, 2020.

[13] Aditya Joshi, Sarvnaz Karimi, Ross Sparks, Cécile Paris, and $C$ Raina MacIntyre. Does multi-task learning always help?: An evaluation on health informatics. In Proceedings of the the 17th annual workshop of the Australasian language technology association, pp. 151158, 2019 .
[14] Mareike Hartmann and Anders Søgaard. Multilingual negation scope resolution for clinical text. In Proceedings of the 12th International Workshop on Health Text Mining and Information Analysis, pp. 7-18, 2021.

[15] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomoko Ohkuma, and Eiji Aramaki. Overview of the ntcir-13: Medweb task. In NTCIR, 2017.

[16] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open sesame: getting inside bert's linguistic knowledge. arXiv preprint arXiv:1906.01698, 2019.

[17] Jesse Vig and Yonatan Belinkov. Analyzing the structure of attention in a transformer language model. arXiv preprint arXiv:1906.04284, 2019.

[18] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[19] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Visualizing and understanding the effectiveness of bert. arXiv preprint arXiv:1908.05620, 2019.

[20] Niraj Pahari and Kazutaka Shimada. Multi-task learning using bert with soft parameter sharing between layers. In 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems, pp. 1-6, 2022.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[22] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic bert sentence embedding. arXiv preprint arXiv:2007.01852, 2020.

[23] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[24] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.
 朱晨成 Niraj Pahari 嶋田和孝 九州工業大学大学院 zhu. chencheng822@mail.kyutech.jp nirajpahari@gmail.com shimada@ai.kyutech.ac.jp  