# 単語埋め込みを用いた正則化による言語モデルの追加事前学習

西田光甫西田京介吉田仙
日本電信電話株式会社NTTメディアインテリジェンス研究所
\{ kosuke.nishida.ap, kyosuke.nishida.rx, sen.yoshida.tu \}@hco.ntt.co.jp

## 1 はじめに

膨大なコーパスと計算機を利用して学習する事前学習済み言語モデルが，自然言語処理タスクで高い 性能を発揮している [1].これらのモデルは，広範 な話題を含むコーパスで言語モデルの事前学習をす ることで，言わば「テキストの読み方の理解」を獲得する.

一方で，機械学習の一部の問題にはドメイン依存性が存在することが知られている. 事前学習済み言語モデルもドメイン依存性を持ち，一般的なドメイ ンで事前学習を行なったモデルは，目的ドメイン での膨大な事前学習を追加することでさらに高い 性能を発揮する [2]. また, Task-Adaptive PreTraining (TAPT) と呼ばれる手法では，目的タスクの教師デー タに含まれるテキストを用いた事前学習を追加する だけで精度が向上することを示した [3]. 目的タス クのテキストを用いた事前学習は，通常の事前学習 に比べて遥かに短い時間で実行可能である。これら の手法は，事前学習を追加することでドメイン適応 が可能であることを示している.

本研究では，単語埋め込みを利用したドメイン適応に注目する。背景には，事前学習済み言語モデル は既にテキストの読み方を理解しているため，ドメ インにおける単語の意味を理解することでドメイン 適応が可能なのではないか，という発想がある.

我々は単語埋め込みを用いた正則化による言語 モデルの追加事前学習を含む新たな Fine-Tuning 手法を提案する. 提案手法ではまず，単語埋め込み学習手法である fastText [4]を用いて目的タスクのテキ ストから目的ドメインの単語埋め込みを獲得する。次に, 言語モデルの追加事前学習に並行して目的ド メインの単語埋め込みに言語モデルの単語埋め込 みを近づける学習を行う. 最後に通常の Fine-Tuning を行う. 提案手法は, TAPT 同様に少ないデータ数 での事前学習を追加する手法であるため, 短い計算時間で学習できる. また, 単語埋め込みは事前学習済み言語モデルに比べて浅いモデルから学習 できるため, 少リソースでの学習に適していると 考えられる. fastTextを利用することで，言語モデ ルが採用しているサブワードレベルの語彙に対し ても単語埋め込みを得ることができる。本稿では，医療ドメインと Wikipedia ドメインの機械読解タス ク（BioASQ [5] およびSQuAD 1.1 [6]）において，提案手法が通常の Fine-Tuning 及び TAPTを利用した Fine-Tuning を上回る精度を達成することを示す.

## 2 準備

## 2.1 事前学習済み言語モデル

本研究では事前学習済み言語モデルの単語埋め 込みに注目する. 語彙を $V_{\mathrm{LM}}$ とし, モデルに入力さ れるトークン系列を $X \in V_{\mathrm{LM}}^{l}$ とする. ただし $l$ は トークン系列長である。事前学習済み言語モデルの 埋め込み層は, パラメータとして単語埋め込み行列 $E \in \mathbb{R}^{V_{\mathrm{LM}} \times d_{\mathrm{LM}}}$ を持つ. ただし， $d_{\mathrm{LM}}$ は埋め込み次元 である.このとき, $i$ 番目の入力トークン $x_{i}$ の単語埋め込みは $E_{x_{i}}$ である.

事前学習済み言語モデルの語彙 $V_{\mathrm{LM}}$ は，例えば BERTでは, WordPiece [7]によって作成された 30,000 語である. WordPiece ではトークンの区切りとして サブワードを採用しており，例えば 'tokenizing’ は 'token'と '\#\#izing'に分割される. WordPiece では全 サブワードが 1 文字の初期状態から尤度が高くなる ようにサブワードを連結していき，規定の語彙数に なるまで語彙を増やす。

## 2.2 fastText

fastText は，サブワードの情報を用いて単語埋め込 みを計算する手法である [4]. fastText の skipgram [8] では, 単語 $x_{i}$ から周辺語 $x_{j} \quad\left(j \in C_{i}\right)$ を予測する夕 スクを解くことで単語埋め込みを学習する（ $C_{i}$ は任意に窓幅を指定可能な周辺インデックスの集合).具体的には，位置 $i$ の単語について，学習コーパス

における全ての周辺語を正例とし，語彙 $V_{\mathrm{FT}}$ からラ ンダムにサンプリングした負例 $\mathcal{N}_{i}$ を用いて，下記 の目的関数の最大化を行う:

$
\sum_{i}\left.\{\sum_{j \in C_{i}} \log \left(1+e^{-s\left(x_{i}, x_{j}\right)}\right)+\sum_{x \in \mathcal{N}_{i}} \log \left(1+e^{s\left(x_{i}, x\right)}\right)\right.\} .
$

すなわち，正例に対しては $x_{i}, x_{j}$ のスコア $s\left(x_{i}, x_{j}\right)$ が大きく，負例に対してはスコアが低くなるような 学習を行う。

fastText はスコア関数 $s$ をモデリングするために 単語 $v \in V_{\mathrm{FT}}$ に対して，v の部分文字列（サブワー ド）の集合 $S_{v}$ を考慮する特徴を持つ. 入力側の単語 $x_{i}$ と出力側の単語 $x_{j}$ のスコアは

$
s\left(x_{i}, x_{j}\right)=\sum_{w \in S_{x_{i}}} W_{\mathrm{in}, w}^{\top} W_{\text {out }, x_{j}}
$

と表される. ここで， $W_{\text {in }} \in \mathbb{R}^{N \times d_{\mathrm{FT}}}$ は入力側の単語埋め込み, $W_{\text {out }} \in \mathbb{R}^{V_{\mathrm{FT}} \times d_{\mathrm{FT}}}$ は出力側の単語埋め込み である。また， $d_{\mathrm{FT}}$ は埋め込み次元， $N$ はサブワー ドの語彙数に関わる任意の大きな数である。なお fastText の実装では，考慮する部分文字列の数には 制限を設けず，指定した長さ（デフォルト值は 3 文字以上 6 文字以内）の部分文字列を全て考慮する。部分文字列 $w$ は $N$ 以下（デフォルト値は $2,000,000$ ) のインデックスにハッシュ化されることで埋め込み $W_{\text {in }, w}$ を得る.

以上の学習手法により，fastText はサブワード を考慮した単語埋め込み $W_{\text {in }}$ を得る。推論時は， $\sum_{w \in S_{v}} W_{\mathrm{in}, w}$ を単語 $v$ の埋め込みとする. fastText は サブワードの情報を利用した学習によって，他の手法よりも少ないデータ数で単語類似度を学習するこ とが報告されている [4].

## 3 提案手法

提案手法は，(1) fastText の追加学習，(2) 事前学習済み言語モデルの追加事前学習, (3) Fine-Tuning 93 段階の手順を行う.

fastText の追加学習 公開されている fastText ${ }^{1}$ の 埋め込み $W_{\text {in }}$ を初期値として，目的のタスクの訓練 データをコーパスとした fastText の学習を行い，新 たな fastText の埋め込みを得る。得られた fastText $の$埋め込みから，事前学習済み言語モデルの語彙 $V_{\mathrm{LM}}$ の埋め込み $F \in \mathbb{R}^{V_{\mathrm{LM}} \times d_{\mathrm{FT}}}$ を推論する. 他の単語埋め 込み手法と異なり fastText はサブワードの埋め込み を保持しているため，サブワード分割を採用してい

1) https://fasttext.cc/表 1 各データセットの統計値. 訓練・評価データは下流 タスクのデータとしてのサンプル数である. 訓練テキス 卜は追加事前学習のデータとしての単語数である。

る事前学習済み言語モデルの語彙の埋め込み行列を 得ることができる2).

事前学習済み言語モデルの追加事前学習 モデル に入力されるトークン系列を $X \in V_{\mathrm{LM}}^{l}$ とする. 追加事前学習時は, 言語モデルの損失関数 $L_{\mathrm{LM}}(X)$ に $L^{2}$ ノルム正則化を加えた学習を行う。つまり，損失関数は正則化の対象トークンの集合を $R(X)$ として

$
L_{\mathrm{LM}}(X)+\frac{1}{|R(X)|} \sum_{x_{i} \in R(X)}\left.\|f\left(E_{x_{i}}\right)-F_{x_{i}}\right.\|_{2}^{2}
$

である. 正則化の対象 $R(X)$ は，ランダムに選ん だ全体の $50 \%$ のトークンから，ストップワードと fastText で考慮する最短部分文字列長を下回る長さ のサブワードを除いたトークンである.

埋め込みの写像 $f$ は $d_{\mathrm{LM}}$ 次元ベクトルを $d_{\mathrm{FT}}$ 次元 ベクトルに写す関数

$
f(z)=\mathrm{LN}\left(W_{f} z+b_{f}\right)
$

である. LN は Layer Normalization [9] である。 $W_{f} \in$ $\mathbb{R}^{d_{\mathrm{FT}} \times d_{\mathrm{LM}}}, b_{f} \in \mathbb{R}^{d_{\mathrm{FT}}}$ は学習可能なパラメータである.

目的関数は，第一項によって言語モデルの忘却を 抑えつつ第二項によって単語埋め込みのドメイン適応を行うように設計されている．以上の学習を，目的のタスクの訓練データをコーパスとして行う.

Fine-Tuning Fine-Tuning では, 追加事前学習で得 られたモデルを初期値として通常の Fine-Tuning を 行う.

## 4 評価

## 4.1 データセット

提案手法を 2 種の機械読解データセットで評価し た. 各データセットの統計値を表 1 に示す．実験設定を付録に示す.

SQuAD SQuAD1.1 は Wikipedia の 1 段落を参照 して質問に回答するタスクである [6]. 予め 1 つの 質問には 1 つの参照テキストが紐づけられている.

入力は質問と参照テキストを連結したトークン系列である. 回答は参照テキストに文字列として含 まれているため，区間を抽出することで回答とす る. 出力は回答の始点と終点のインデックスであ り，言語モデルに 2 次元への線形変換層を追加し て Fine-Tuning することで回答区間を訓練・予測す る. 評価指標は完全一致（EM）と部分一致（F1）で ある.

BioASQ BioASQ5 は医療ドメインの質問応答 データセットである [5]. 先行研究 [2] に従い，ファ クトイド型の質問を SQuAD と同様の形式に前処理 して評価した. 評価指標の Strict Accuracy (SACC), Lenient Accuracy (LACC), Mean Reciprocal Rank (MRR) はそれぞれトップ 1 の予測の正解率，トップ 100 の 予測に正解が含まれる率, 正解の順位の逆数の平均 である。訓練をランダムなシードで 5 回行い，それ らの結果の平均を用いた. 本データセットは訓練 データが少ないため，SQuADを使った Fine-Tuning の後に BioASQを使った Fine-Tuning を行う 2 段階の Fine-Tuning を行った [10].

## 4.2 比較手法

本稿では, 事前学習済み言語モデルとして, BERTbase-cased [1]，BioBERT [2]，RoBERTa-base [11] を用 いた. BERT-base-cased モデルは English Wikipedia （25 億語）と BookCorpus [12]（8 億語）をコーパス として事前学習している. BioBERT は BERT-basecased モデルを初期値として, 更に PubMed の概要と PMC の論文から成る計 180 億語のコーパスで事前学習したモデルである．RoBERTa は BERT-base-cased モデルよりも広範な話題を含む $160 \mathrm{~GB}$ のテキスト から事前学習をしている。

これらの事前学習済み言語モデルに対して，(1) そのまま Fine-Tuning をする手法，(2)TAPT，つまり 正則化項なしの追加事前学習の後 Fine-Tuning を行 う手法，(3) 提案手法の 3 つの学習手法を比較した.

## 4.3 実験結果

## 提案手法は医療ドメインへの適応において有効 か？ BioASQ タスクの結果を表 2 に示す.

BERT-base-cased モデルは事前学習中に医療ドメ インのテキストでの学習を行わない。そのため,医療ドメインへのドメイン適応における性能を BERT-base-cased モデルを用いて評価できる.

BERT-base-cased モデルでは, 提案手法によって表 2 BioASQ の開発データによる評価結果. 数字に付与 した記号は，提案手法と TAPT の 5 回の結果について paired $t$-test を実施した結果を示す (*: $p<.05)$

SACC/LACC/MRR で 3.80/0.29/2.39 ポイントの精度向上が確認できた.これは，TAPT による精度向上 0.86/0.16/0.55 ポイントを大幅に上回る值である．追加事前学習がドメイン適応において効果的であるこ ととともに，単語埋め込みの正則化によってドメイ ンへの適応が更に進むことが考えられる.

また，各手法で学習されたモデルの単語埋め込み を $\mathrm{t}$-SNE で描画した結果を付録に示す．提案手法は 訓練テキスト数としてはTAPT と同じであるにも関 わらず，膨大な医療ドメインのコーパスで学習した BioBERT に近い単語埋め込みを学習していること が示唆されている。

提案手法は目的ドメインで事前学習した言語モデ ルにおいて有効か？ BioBERT モデルは潤沢な医療 ドメインのテキストで事前学習をした言語モデルで ある. BioBERT からの追加事前学習では，TAPT で 一部指標が僅かに向上するものの，全体として性能 が大きく向上することはなかった。これは，目的タ スクのテキストを使う追加事前学習によって学習で きる知識を，BioBERT が既に保持しているためと考 えられる。

[3] は，TAPT が目的ドメインに適応した言語モデ ルの性能を更に向上することを指摘している。この 目的ドメインに適応した言語モデルとは, RoBERTa を初期値として，目的ドメインで収集したコーパス で追加事前学習を行なったモデルである. しかし， BioBERT では，彼らが用いたよりも大きな 180 億語 のコーパスで事前学習を行なっている. ドメイン適応済みの言語モデルに対する目的タスクのテキスト による追加事前学習の効果の有無は，ドメイン適応時のコーパス量，目的タスクのテキスト数，モデル サイズなどの条件に依存していると考えられる。

提案手法は一般的なドメインのタスクに対しても 有効か？SQuAD タスクの評価結果を表 3 に示す. SQuAD では, BERT-base-cased モデルからの追加事
表 3 SQuAD の開発データによる評価結果.

前学習を行う場合，TAPT と提案手法でともに精度 の向上がなかった. これは, BioBERT からの追加事前学習が医療ドメインで効果がなかったことと同じ 理由で説明できる.

RoBERTa モデルからの追加事前学習を行う場合,提案手法によって EM/F1 で 0.79/0.46 ポイントの精度向上が確認できた. これは，TAPT による精度向上 $0.25 / 0.05$ ポイントを上回る値であり，全比較手法 の中で最高の精度である。

SQuAD は Wikipedia 記事に関する質問応答をする タスクである．BERT-base-cased は事前学習コーパ スの多くが Wikipedia であるため，追加事前学習の 効果がなかった. しかし，RoBERTa は広範な話題を カバーするために更に多くのコーパスから事前学習 を行っている。そのため, Wikipedia が事前学習中 に利用されているにも関わらず，追加の事前学習に よって Wikipedia 単独に適応することが精度向上に 繋がったと考えられる。

事前学習のデータ数を増やすことで事前学習済み 言語モデルの性能は向上する傾向にあることが知ら れている $[13,14]$. 本実験は，多くのデータで事前学習した言語モデルに対して提案手法を適用する ことで，事前学習中に含まれるドメインのタスクで あっても更に性能が向上することを示している.

提案手法は異なる言語モデルやサブワード分割法に対しても有効か？ BERT-base-cased モデルは WordPiece によってサブワード分割を行なっている が，RoBERTa は単語分割を行わずにバイトレベル でのサブワード分割を行う. 提案手法は表 2 では BERT-base-cased モデル，表 3 では RoBERTa モデル を用いてそれぞれ精度向上を確認しており，言語モ デルやサブワード分割法に依存せずに効果がある と考えられる. 主要なサブワード分割法には他に SentencePiece [15] があり，さらなる検討が望ましい.

追加事前学習で言語モデルと単語埋め込みはどの ように学習が進むか？ BioASQタスクにおいて提

図 1 学習曲線. 左の軸は損失関数第一項，右の軸は損失関数第二項の値を示す.

案手法が BERT-base-cased モデルの追加事前学習を 行なった際の学習曲線を図 1 に示す. 学習は単語埋 め込みに関する第二項が先行する形で進むことが 観察できる．また，言語モデルに関する第一項は推論時の減少が途中で止まり，以降は訓練データのみ での減少となる。一方，単語埋め込みに関しては訓練・推論時の乘離が起きずに学習が進む。

## 5 おわりに

本研究では目的タスクの教師データをコーパスと したドメイン適応に取り組んだ。本研究の貢献を以下に示す。

本研究の独自性 fastTextを用いて目的ドメイ ンにおける単語埋め込みを獲得し，単語埋め込 みに関する $L^{2}$ ノルム正則化を加えた事前学習を Fine-Tuning 前に追加する新たな Fine-Tuning 手順を 提案した. 提案手法は，言語モデルの忘却を抑えつ つ言語モデルの単語埋め込みを目的ドメインにおけ る単語埋め込みに近づけることで，目的ドメインに おける単語の意味を獲得する効果を持つ.

本研究の重要性医療ドメインへのドメイン適応において，通常の Fine-Tuning 及び言語モデルの 事前学習のみを追加する Fine-Tuning 手法に比べて 提案手法が高い精度を示すことを確認した。また， Wikipedia ドメインにおいても広範な話題を含む コーパスで事前学習した RoBERTa モデルの性能を 提案手法が向上させることを確認した.

近年，より多くのデータから学習したより多くの パラメータを持つ事前学習済み言語モデルの公開が 続いている [16]. 本研究で提案した追加事前学習を 含む新たな Fine-Tuning 手法は，そのような多くの データで学習した言語モデルに対して，目的ドメイ ンの知識を与える重要な手法であると考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT, pp. 4171-4186, 2019.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[3] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In $A C L$, pp. 8342-8360, July 2020.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Coтputational Linguistics, Vol. 5, pp. 135-146, 2017.

[5] George Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, Matthias Zschunke, Michael R Alvers, Dirk Weissenborn, Anastasia Krithara, Sergios Petridis, Dimitris Polychronopoulos, Yannis Almirantis, John Pavlopoulos, Nicolas Baskiotis, Patrick Gallinari, Thierry Artieres, Axel Ngonga, Norman Heino, Eric Gaussier, Liliana Barrio-Alvers, Michael Schroeder, Ion Androutsopoulos, and Georgios Paliouras. An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition. BMC Bioinformatics, Vol. 16, p. 138, 2015.

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. NIPS, Vol. 26, pp. 3111-3119, 2013.

[9] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[10] Georg Wiese, Dirk Weissenborn, and Mariana Neves. Neural domain adaptation for biomedical question answering. In CoNLL 2017, pp. 281-289, 2017.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[12] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like vi- sual explanations by watching movies and reading books. In $I C C V$, pp. 19-27, 2015.

[13] Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, and Michael Auli. Cloze-driven pretraining of selfattention networks. In EMNLP-IJCNLP, pp. 5360-5369, 2019.

[14] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In ICLR, 2019.

[15] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP: System Demonstrations, pp. 66-71, 2018.

[16] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. Megatron$\mathrm{lm}$ : Training multi-billion parameter language models using gpu model parallelism. arXiv preprint arXiv:1909.08053, 2019.

[17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[18] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In NIPS, pp. 8024-8035. 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media, Inc., 2009.

[21] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

## A 付録

実験設定 実験は NVIDIA GeForce GTX 1080Ti (11GB) 1 枚で行った. 最適化手法は Adam [17]を用 いた. 実験で用いたハイパーパラメータを表 4 と表 5 に示す。実装は PyTorch [18] 及び Transformers [19] を，ストップワードは NLTK [20]を，単語ベースの トークナイザは spaCy [21]を用いた。

表 4 言語モデルの訓練に用いたハイパーパラメータ. ス ラッシュで区切られているのものはSQuAD/BioASQ の 1 段階目/BioASQ の 2 段階目である.

表 5 fastText の訓練に用いたハイパーパラメータ. 記載 の変数以外はデフォルト値を用いた.

追加事前学習によって単語埋め込みは変化して いるか？ 各モデルの単語埋め込みを t-SNE によっ て描画した結果を示す. 図 2 に BERT-base-cased モ デル, 図 3 に BioASQ の追加事前学習を TAPT で行 なったモデル, 図 4 に BioASQ の追加事前学習を提案手法で行なったモデル, 図 5 に BioBERT モデル の単語埋め込み層を示す. 描画の際は，BioASQ で 頻出のサブワードから，ストップワード・長さが 3 以下のサブワードを除き，上位 1000 語で $\mathrm{t}$-SNE モ デルを作成した後に上位 30 語を描画した。

図中では, 'cell', 'cells', 'gene', 'genes', 'protein' の 5 単語を赤文字で記している。これらの単語は医療ド メインに特有の物質名であるが，BERT-base-cased モ デルと TAPT の学習結果では大きく離れた箇所に位置している. 一方, 提案手法と BioBERT モデルで は近い箇所に集まっている。提案手法は訓練データ 数としては TAPT と同じであるにも関わらず，膨大 な医療ドメインのコーパスで学習した BioBERT に 近い単語埋め込みを学習していることが示唆されて いる.

図 2 BERT-base-cased の埋め込み層

図 3

TAPT の学習結果の埋め込み層

図 4

提案手法の学習結果の埋め込み層

図 5 BioBERT の埋め込み層
 西田光甫西田京介吉田仙 日本電信電話株式会社NTTメディアインテリジェンス研究所 \{ kosuke.nishida.ap, kyosuke.nishida.rx, sen.yoshida.tu \}@hco.ntt.co.jp  