# 所望の患者データを作る： Variational Auto-Encoder による症例報告生成

清水聖司，矢田竣太郎，荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{shimizu.seiji.so8,s-yada,aramaki\}@is.naist.jp

## 概要

医療言語処理の分野では，患者のプライバシーの 問題から共有可能な医療ドメインコーパスが少な い.そのため，コーパスを自動生成する研究がなさ れている. 現状ではコーパス生成の手法として事前学習済みモデルを用いた，プロンプトを条件として 生成する手法 (prompt-based の手法) が広く用いられ ているが，コントロール性の高い生成が困難であ る. Variational Auto-Encoder (VAE) を使った連続的条件からの生成では, prompt-based にはできないコ ントロール性の高い生成が実現できる可能性があ る. 本論文では VAEベースの症例報告生成モデル を学習し, (1) 医学概念が潜在空間から再構成でき るか，(2) 条件同士の距離関係と，生成される症例報告に含まれる医学概念の類似度の対応関係，の $2 \supset$ の観点から評価する。

## 1 はじめに

自然言語処理研究において，異なる手法の統一的 な比較は，特定のタスクにおける手法の有効性の検証や，それに基づく手法の改善のために必須であ る.よって，そのような比較を可能にする共有可能 なコーパスは，分野発展において重要である。しか し, 医療言語処理の分野では，患者のプライバシー の問題から共有可能な医療ドメインコーパスが少 ない $[1,2]$. そのため，個人情報を削除する匿名化， またはコーパスの言語生成モデルを使った生成, と いったアプローチで共有可能なコーパスを構築する 試みがなされてきた。

生成を使ったアプローチにおいて，現状では事前学習済みモデルを用いたプロンプトを条件として コーパスを生成する手法 (prompt-based の手法) が広 く用いられている. しかし，この手法では，生成の 条件が離散的であり，プロンプトのデザインが恣意的であるため，コントロールが困難である.

一方で，Variational Auto-Encoder (VAE)を使った連続的条件からの生成では，テキストを潜在空間に次元削減し，そこからテキストを再構成することに よって，コーパス全体を一つの連続的なべクトル空間に埋め込むことができる。このような埋め込みが 出来ると, Prompt-based の手法にはできないコント ロール性の高い生成が実現できる可能性がある [3].

そこで，本論文ではVAEベースの症例報告生成 モデルを評価した．具体的には，(1) 入力された症例報告を潜在変数に変換し，変換された潜在変数か ら元の症例報告に含まれる医学概念再構成できる か，(2) 条件同士の距離関係と, 生成される症例報告に含まれる医学概念の類似度が対応するかを評価 した. 評価の結果，医学概念の再構成に関しては疾病、傷害及び死因の統計を国際比較するために用い られる ICD コードの, 頭文字の粒度で可能であるこ とが示された. また，潜在変数の距離関係が，生成 された症例報告に含まれる医学概念の類似度と対応 することが示された。

## 2 関連研究

共有可能な医療コーパス構築において,コーパス を公開することで，患者のプライバシーが危険にさ らされる可能性がある。この問題に対し, 主に匿名化または生成のアプローチが用いられる．匿名化は コーパスから個人情報を消す手法であり [4], 匿名化された有名なコーパスに MIMIC [5] がある。しか し，匿名化には，コーパスのサイズが大きくなるほ ど完全には個人情報を消しきれないという問題が ある。

生成は近年発展を遂げたテキスト生成技術を用い て，人工的なコーパスを生成する手法である.この 手法では，医療コーパスを用いて言語生成モデルを 学習し，学習したモデルから自動的に医療テキスト
表 1 再構成された症例報告の例. 上段が，Optimus に入力された症例報告，下段が潜在変数から生成された症例報告 で，下線は入力された症例報告から再構成されている要素を示す.

を生成することでコーパスを構築する.

## 2.1 医療テキスト生成

現状の医療テキスト生成には主に，Transformer ベースの学習済みモデルにプロンプトを条件として 生成する手法が用いられている.

GPT-3 [6] を用いて病名を条件として，その定義を 生成した手法 [7] や，医療ドメインにおけるファク トイド質問応答のために T5 [8] を用いて疑問文を生成した手法 [9] などが存在する. Amin-Nejad らは, Prompt-based の手法を用いて電子カルテを自動生成 することでコーパスを構築し，構築されたコーパス を下流の分類タスクにおいて評価した [10]. この研究において，下流タスクにおいて，生成されたコー パスのみを用いた時の精度は，実際のコーパスを用 いた時の精度に及ばなかった。

## 2.2 連続的条件からののテキスト生成

望ましい医学概念の分布を持ったコーパスを構築するには，コントロール性の高いテキスト生成が 必要である．例えば，肺がんのあらゆるケースを想定して, 肺がん患者という医学概念を固定して，あ らゆる年齢・性別などの個人特性を表す言語表現を 持ったコーパスを構築できることが望ましい.

Prompt-based の手法を含む，学習済みモデルをそ のまま Fine-tuning する手法は, 汎用的な使用を目的 とした事前学習済みモデルをそのまま用いるため,望ましい医学概念の分布を持ったコーパス構築する という使用目的に適さない可能性がある. 特に, 文書同士のグローバルな関係性を捉えることができ ず，条件に対する操作もプロンプトの入力変更に限 られているという問題がある。

一方で，VAE [11] は，連続的条件からの生成が可能であり，テキスト同士のグローバルな関係もモデ ルの内的表現として得ることができる. Liu らの研究では，潜在空間においてエネジー関数を学習し，学習したエナジー関数をもとに，生成の条件とな る潜在変数数をサンプルすることで，ある特定の 特性を持ったテキストを生成可能なことが示され た [12]. この手法では，様々な初期条件から連続的 に潜在変数を変化させ特定の特性を持ったテキスト を生成可能であり，ある医学概念を固定して，他の 特性を連続的に変化させるといった操作が実現可能 である.

## 3 材料

本研究では，医療テキストデータとして 1975 年 から J-Stage に投稿された論文データに含まれる症例報告論文を使用した. ここから以下の条件で，対象となる症例報告論文を抽出した。

1. タイトルに“症例”を含む

2. アブストラクトが“症例は”から始まる

3. アブストラクトの文字数が 350 文字以下である

以下で使う症例報告は, 上記全ての条件を満たす データ 11,181 件のアブストラクトとし, JST-CR と 呼ぶ.

## 4 生成手法

## 4.1 Optimus

VAE ベースの症例報告生成モデルとして Optimus [13] を用いた. Optimus はVAEをべース として，Encoderに BERT+Linear 層を用い，Decoder に Linear 層+GPT2 を用いたモデルである.

Optimus の学習では，Decode の時に，潜在変数の 情報が無視されて生成される KL collapse を防ぐた めに KL annealing が用いられる. KL annealing では,学習において，ハイパーパラメータ $\beta$ を周期的に変化させる. Optimus の学習の目的関数は以下の通り

である.

$
\begin{aligned}
L_{\beta} & =L_{E}+\beta L_{R} \quad \text { with } \\
L_{E} & =\mathbb{E}_{q_{\phi}(z \mid x)}\left[\log p_{\theta}(\mathbf{x} \mid \mathbf{z})\right] \\
L_{R} & =\operatorname{KL}\left(q_{\theta}(\mathbf{x}) \| p(\mathbf{z})\right)
\end{aligned}
$

$L_{E}$ は入力と出力が同じになるようにする Reconstruction Loss であり， $L_{R}$ は潜在変数の分布を事前分布と近くする KL Divergence Loss である. 症例報告生成のために, Encoder の BERT には UTHBERT [14], Decoder の GPT-2 には日本語コーパスで 事前学習した GPT-2 [15] を用いた. UTH-BERT は東大病院に蓄積された約 1 億 2 千万文の電子カルテ文書を使って学習された BERT モデルである.

## 4.2 生成の流れと例

JST-CR のアブストラクトを入力として，Encoder により入力を潜在変数に変換，そして潜在変数を 再構成し，アブストラクトを生成した. 学習した Optimus によって出力された文章の例を表 1 に示す.下線は入力された症例報告の要素がモデルによって 再構成された部分を示す.この例では，元の症例報告の大部分を再構成できていることがわかる.

## 5 評価実験

潜在変数からの生成には，潜在空間において医学概念の関係性が表現されており, そこから症例報告 の中に特定の医学概念を再構成できることが重要で ある．また，潜在空間での操作を生成に反映させる ためには，ある潜在変数を変化させたときに，それ に対応して，生成される医学概念が変化することが 重要である。そこで，(1) 医学概念が潜在空間から 再構成できるか (2) 条件同士の距離関係と, 生成さ れる症例報告に含まれる医学概念の類似度が対応す るかを評価した。

## 5.1 評価方法

医学概念の再構成は Optimus に入力された症例報告と Optimus から出力された症例報告を比較するこ とにより評価した．潜在空間における条件同士の距離と, 生成される症例報告に含まれる医療概念の類似度が対応するかは，ある潜在変数に異なるノルム の摂動を加え，そこから生成される症例報告と元の 潜在変数から生成される症例報告とを比較すること により評価した。

図 1 EvalCorr での潜在空間における操作．摂動なしは，摄動を加える前の潜在変数を表し，赤い点は様々な大き さのノルムの摂動が加えられた潜在変数を表す. それぞ れの潜在変数から症例報告を生成し，評価した。

## 5.1.1 EvalRecon : 医学概念再構成の評価

医学概念が潜在空間から再構成できていれば，入力された症例報告と出力された症例報告は，その中 に含まれる医学概念が類似するはずである．そこ で，Optimus に入力された症例報告と Optimus から 出力された症例報告の類似度を測ることで，医学概念の再構成の評価とした. 以下ではこの評価を EvalReconとする.

## 5.1.2 EvalCorr : 条件の距離と類似性の対応評価

潜在空間での操作が生成される症例報告に反映さ れるかを，条件同士の距離関係と，症例報告に含ま れる医学概念の類似度が対応するかを基に評価し た. 具体的には，まず，図 1 のように，評価データ 中の症例報告を潜在変数に Encode して，その潜在変数に対して，0.01 から 10 のノルムを持つランダ ムな摂動を加え, 元の潜在変数から生成された症例報告と摂動を加えられた潜在変数から生成された症例報告の類似度を測った. ノルムが大きくなるにつ れ，類似度がそれに対応して下がるかどうかを評価 した．以下ではこの評価を EvalCorr とする。

## 5.2 評価指標

2 文書の症例報告の類似度を定量的に評価する。

そのために，参照文と生成文の n-gram ベースの一致度を測る指標である BLEU と，文中に含まれる医学概念の一致度を測る指標である NER一致度を用 いた. NER 一致度の計算方法は以下の通りである。
1. 2 文書の症例報告に対して, $\mathrm{NE}$ 抽出器の RealMedNLP_CRJJA [16] を使いNER を施す.

2. NER 結果から病名と藏器・部位を抽出する。
表 2 EvalRecon の評価結果 (NER 一致度). Optimus に入力された症例報告と, Optimus から出力された症例報告に NER を施し，一致の Precision と Recall を計算した。

図 2 EvalCorr の結果. 縦軸は評価指標のスコア (F1),横軸は摂動のノルムに対し，常用対数を取ったものを 表す.
3. 2 つの症例報告から抽出された病名と臟器・部位を比較し，Recallと Precisionを計算する。

病名の NER 一致度に関しては，NER の結果得られ た病名を DNorm-Jにより正規化したものと，病名 をICD10コードに変換し，その頭文字をとったもの (ICD) を使って NER 一致度を計算した。

## 6 結果と考察

実験では，JST-CRを 8:1:1 に分割し，それぞれを 学習・検証・評価データとして用いた。学習したモ デルを 5 章で述べた方法と指標で，JST-CR の評価 データを使って評価した. EvalRecon の結果から， ICD の粒度では，医学概念の再構成ができているこ とが示唆される． EvalCorr の結果，ノルムの大きさ に対応して，生成された症例報告に含まれる医学概念の類似度が下がっていることから，条件同士の距離関係と，生成される症例報告に含まれる医学概念 の類似度が対応していることが示唆される。

## 6.1 EvalRecon

入力された症例報告と出力された症例報告に対 して BLEU スコアと NER 一致度を計算した。評価 データ全体の平均の BLEU スコアは 0.315 であった. NER 一致度は表 2 の通りである. ICD の NER 一致度は，Precision が 0.543 , Recall が 0.520 であった。

図 3 JST-CR の評価データにおける ICDコードの 分布 (original) と, Optimus により生成されたコーパス (generated) における ICD コードの分布. 横軸は ICD コー ドの頭文字，縦軸は頻度を表す。

## 6.2 EvalCorr

各症例報告に対して 10 回ランダムな方向の摂動を施し，スコアを平均したものを一つの症例報告 に対するスコアとした。ノルムと各スコアの相関係数は, BLEU が -0.970 , NER 臟器・部位が -0.875 , NER 病名が -0.885, ICD が -0.969 であった. 評価 データ全体のスコアを摂動のノルムごとに平均した 結果を図 2 に示す. 図 2 から臟器・部位以外はスコ アがおおよそノルムと対応し，下がっていることが わかる.

## 6.3 ICD コード分布の比較

生成されたコーパスが，JST-CR 評価データの ICD コード分布をどの程度再現できるかを評価し た. JST-CR の評価データに含まれる ICD コードの 頭文字の分布と，生成された症例報告における ICD コードの頭文字の分布を図 3 に示す. 2 つの分布 の KL Divergence は 0.020 ，分布内の順位相関係数は 0.941 （p 值 $\leq 0.01)$ であった. この結果から，生成さ れたコーパスは，ICD コードの頭文字の分布を再現 できていることが示唆される。

## 7 おわりに

本研究では，VAEベースのモデルである Optimus を使い，症例報告生成を再構成して生成した。実験 の結果，ICD の粒度で医学概念の再構成が可能であ ることと，症例報告に含まれる医学概念を，潜在空間における条件同士の距離に対応させて変化させる ことが可能であることを示した。

## 謝辞

本研究は，JST AIP 日独仏 AI 研究 JPMJCR20G9, JST CREST JPMJCR22N1, 国立情報学研究所 (NII) CRIS の支援を受けたものである.

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural Language Processing: from Bedside to Everywhere. Yearbook of Medical Informatics, June 2022.

[2] Udo Hahn and Michel Oleynik. Medical Information Extraction in the Age of Deep Learning. Yearbook of Medical Informatics, Vol. 29, No. 1, pp. 208-220, August 2020.

[3] Dayiheng Liu, Jie Fu, Yidan Zhang, Chris Pal, and Jiancheng Lv. Revision in continuous space: Unsupervised text style transfer without adversarial learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8376-8383, 2020.

[4] Tawanda Sibanda and Ozlem Uzuner. Role of local context in automatic deidentification of ungrammatical, fragmented text. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 65-73, June 2006.

[5] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 160035, pp. $1-9,2016$.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[7] Bosung Kim and Ndapa Nakashole. Data augmentation for rare symptoms in vaccine side-effect detection. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 310-315, May 2022.

[8] Hermann Bujard, Reiner Gentz, Michael Lanzer, Dietrich Stueber, Michael Mueller, Ibrahim Ibrahimi, MarieTherese Haeuptle, and Bernhard Dobberstein. [26] a t5 promoter-based transcription-translation system for the analysis of proteins in vitro and in vivo. In Methods in enzymology, Vol. 155, pp. 416-433. Elsevier, 1987.

[9] Dimitris Pappas, Prodromos Malakasiotis, and Ion Androutsopoulos. Data Augmentation for Biomedical Factoid Question Answering. arXiv preprint, Vol. arXiv:2204.04711, , 2022.

[10] Ali Amin-Nejad, Julia Ive, and Sumithra Velupillai. Exploring transformer text generation for medical dataset augmentation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4699-4708, 2020.

[11] Diederik P Kingma and Max Welling. Auto-encoding vari- ational bayes. arXiv preprint arXiv:1312.6114, 2013

[12] Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen $\mathrm{Li}$, and Zhiting Hu. Composable text control operations in latent space with ordinary differential equations. arXiv preprint arXiv:2208.00638, 2022.

[13] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. arXiv preprint arXiv:2004.04092, 2020.

[14] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[15] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[16] Tomohiro Nishiyama, Mihiro Nishidani, Aki Ando, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. Naistsoc at the ntcir-16 real-mednlp task.

## A 参考情報

## A. 1 潜在空間の可視化

Optimus によって構築された潜在空間を可視化し たものを図 4 に示す. タイトルに含まれる病名の ICD コードの頭文字 (ICD の軸) ごとに色分けした.

同じ ICD コードをもつ症例報告同士で固まってい るのは $\mathrm{C}, \mathrm{K}, \mathrm{H}$ で，それぞれ腫瘍，消化器系，眼科・耳鼻科系の病気を表すコードである. このこと から，これら 3 つに関する症例報告は，ある程度一貫した言語的特徴を持っていると推測される.

図 4 潜在空間の可視化. UMAPを用いて潜在変数を 2 次元に表現した. アルファベットは ICD コードの頭文字 を表す。
 清水聖司，矢田竣太郎，荒牧英治 ${ }^{1}$ 1 奈良先端科学技術大学院大学 \{shimizu.seiji.so8,s-yada,aramaki\}@is.naist.jp  