# 否定の理解への prompt-based finetuning の効果

田代真生 ${ }^{1}$ 上垣外英剛 2 船越孝太郎 ${ }^{2}$ 奥村学 ${ }^{2}$
1 東京工業大学工学院 2 東京工業大学科学技術創成研究院
\{masaki@lr.,kamigaito@lr., funakoshi@lr., oku@\}pi.titech.ac.jp

## 概要

自然言語処理において否定の理解は重要な課題の 一つである．否定は文章の極性や論理的関係を変え る役割がある一方で，その理解は現状の自然言語処理モデルでも難しく，否定の理解の不足を指摘する 研究は多くある $[1,2,3]$. 否定の理解において, 大量 のラベルなしコーパスから事前学習を通じて獲得さ れた否定に関する知識は有用と考えられる。そこで 本研究では様々な自然言語処理タスクを言語モデリ ングタスクに変形して解くことにより, 事前学習で 得られた言語知識をより効率的に活用することを考 える.そのための手段として prompt-based finetuning に着目し，テキスト分類タスクにおける否定の理解 に与える効果を調査する。

## 1 はじめに

否定は命題の真偽を変化させる役割があり，自然言語処理において無視できない要素である.そのた め，様々な研究において否定を理解するような自然言語モデルが調査されているが，近年開発された事前学習済み言語モデルでも否定の理解が不十分であ ることが指摘されている。事前学習済み言語モデル は大量のラベルなしコーパスにおける言語モデル の自己教師あり学習を通して様々な言語的知識を獲得しており, 幅広いタスクにおける性能の向上を達成している. Saunshi ら [4] は事前学習の効果を多く の自然言語処理タスクが言語モデリングへの変形に よって解けることを用いて説明している.

prompt-based finetuning はこのようなアイデアから 生まれたものである. 後段のタスクを言語モデリン グの形式に変形することで，事前学習タスクと後段 タスクとの差異を低減する。それにより訓練事例 が少数しか利用できない few-shot な設定下の広範 なタスクにおいて性能向上を達成した。ここから prompt-based finetuning は, 事前学習済みモデルの利用法として一般的である [CLS] トークンの出力から
ラベルを予測する従来の head-based な手法 [5] に比 べ，事前学習によって得た言語的な知識を学習のよ り初期段階から引き出せていると考えられる。

そこで，本研究では現状の自然言語処理モデル において課題となっている否定の理解についても prompt-based finetuning を利用することで事前学習に より獲得された知識を活用できるかを調べた. 具体的には，自然言語処理タスクの一例であるテキスト 分類タスクとして, 感情分析 (SST-2, SST-3, SST-5) と 自然言語推論 (RTE, MNLI) を対象とし, head-based な手法と prompt-based な手法で学習したモデルの性能を，average data points advantage [6](ADPA)を用い て比較する. 否定評価用テストデータと否定評価用でないテストデータ両方で調査し比較すること によって少数データの条件においては prompt-based finetuning が否定の理解に効果的であることを示す.

本研究は ADPA を用いることで，評価が難しかっ た自然言語処理モデルの否定理解の度合いを定量化し，それによって今まで理解が進んでいなかった prompt-based finetuning が否定の理解に与える影響を 示した.このことは否定を理解する自然言語処理モ デルの作成に役立ち，また prompt-based finetunig へ の理解を促すものであると考える。

## 2 関連研究

## 2.1 prompt-based finetuning

prompt-based finetuning は自然言語処理のタスクを 言語モデリングのタスクに変形し，分類ラベルと対応づけたトークンを予測する学習方法である $[7,8]$. prompt-based finetuning を構成する要素としては元の 文章を事前学習時の入力形式に変形するルールであ る template と，マスク箇所された箇所の出力を対象 タスクのラベルに変換するルールである verbalizer の 2 つがあり，その二つは合わせて prompt と呼称 される [9]. 例えば, 感情分析タスクは表 1 のよう に元の文章 ‘Best pizza ever!’ を 'Best pizza ever! It was
表 1: 利用した template と verbalizer

[MASK].' のような入力に変形し, [MASK] の部分に ついて，ラベルが正例のときは 'great'を，負例のと きは 'terrible'を予測するようにモデルを学習するこ とで，事前学習と同じような形でタスクを解くこと ができる.

prompt-based finetuning は [CLS] トークンの出力か らラベルを予測する従来の head-based finetuning に 比べて few-shot で良い性能を発揮することが知られ ている. Scao ら [6] はこの promptがもたらす効率性 を average data points advantage (ADPA) という指標を 用いて定量的に示した. 本研究ではこの ADPA の考 え方を用いて prompt-based finetuning が否定の考慮 に有用であることを示す.

## 2.2 自然言語処理における否定の処理

否定は命題の真偽を変化させるものであり，文章 の意味を正しく理解する上で否定を理解することが 重要であるため自然言語処理においても様々な研究 で取り組まれてきた課題である [10]. しかし，近年 の自然言語処理モデルでも否定を含む文章の処理を 適切にできないことを指摘する研究は多くある.

Ettinger や Kassner ら [11, 12] は否定を含む穴埋め 式質問応答タスクにおいて，事前学習済み言語モデ ルの出力が大力中の否定語の有無に影響されないこ とを示している。また, Ribeiro ら [1] は否定を含ん だ人工のテキストのデータセットである checklist を 用いて事前学習済み言語モデルや多くの商用の自然言語処理モデルが否定を含んだ入力に対して間違い やすいことを確認している. Hossain ら [2] は自然言語推論タスクにおいて多くのデータが否定を考慮せ ずに解ける問題を指摘し, 否定の考慮が必要なテス トセットにおいて既存のモデルが低い性能であるこ とを指摘した。

本研究はこのような現状の自然言語処理における 課題を解決することに prompt-based finetuning が有用であるかを調べる.

## 3 提案手法

本稿では prompt-based finetuning の否定理解の 効果を測る手法として ADPA (average data points advantage)を用いることを提案する. ADPA は Scao ら [6] によって提案されたものであり, prompt-based にすることによって得られる利得を学習データの数 で表現したものである. 本節では 3.1 節で ADPAを 紹介し，3.2節で ADPAを利用することによって，こ れまで評価が難しかった prompt-based finetuning $の$否定理解に与える影響を，定量的に調べることがで きると考える理由を示す。

## 3.1 Average Data Points Advantage

ADPA は比較対象のモデルがベースラインとなる モデルと比べてどの程度効率的に学習を進めること ができるかを定量化した指標である. ベースライン モデルと比較モデルを複数のデータサイズの設定で 学習，評価を行い性能を比較することで，比較モデ ルが平均的にどのくらい少ないデータでべースライ ンモデルと同程度の性能を達成できるか表現して いる.

ADPA はデータサイズが $x$ 以下の時のモ デルの性能を示す関数 $\operatorname{Model}(x)$ を用いて $\frac{1}{X_{\text {max }}-X_{\text {min }}} \int_{X_{\text {min }}}^{X_{\text {max }}} \operatorname{Model}_{A}(x)-\operatorname{Model}_{B}(x) d x$ と表され る.ここで $X_{\text {min }}, X_{\text {max }}$ は実験を行ったデータサイ ズの内最小のものと最大のものを示しており， $\operatorname{Model}(x)$ は離散的に得られた結果から線形補間され たものとなっている.

## 3.2 否定理解に関する指標

本研究では ADPA を否定理解を測る指標として， その他の指標に比べて適切であると考えた. 以下に その理由を説明する。

否定理解を測るその他の指標としてまず考えられ るのが否定を含むデータセットにおける正答率であ る.これは確かに否定の理解の度合いと評価値が相関するため否定の度合いを測ることにつながると考

図 1: MNLI におけるデータサイズと性能の関係. 右側は否定のテストデータでの性能, 左側は一般のテスト データでの性能を示している. 赤線（上）が prompt-based で，青線（下）が head-based の正解率を示す.

えられる。しかし，複数モデルを比較する際に否定理解以外の要素によって差が生まれ得るため，この 指標では否定理解の能力を直接的に測ることが難 しい.

次に考えられる指標としては否定を含まないデー タでの評価値と否定を含むデータでの評価値の差分 をとる指標である．しかし，この指標は，性質の異 なる二つの「評価値の差分」の比較においては解釈 が困難であり，手法間の比較には適さない。

一方で ADPA の指標は，モデルによってもたらさ れる利得を両方のテストデータで共通する「訓練 データ数」の単位で表現しているため, 否定用テス トデータと一般のテストデータでの評価值の性質の 違いに影響されず，否定を含むテストデータでの利得と否定を含まないテストデータでの利得を比較す ることができるという利点がある.

## 4 実験

prompt-based finetuning $と$ head-based finetuning $に$ よって少数データの設定で感情分析タスクと自然言語推論タスクを学習し, その結果をADPAを利用し た否定理解の指標を用いて実際に評価することで， prompt-based finetuning がテキスト分類タスクにおけ る否定理解に与える影響を調査する。

## 4.1 実験設定

実験では感情分析タスクとして SST-2, SST-3, SST-5 [13] を選択し, 自然言語推論タスクとしては RTE [14], MNLI [15] を選択した。これらはタスク中 に否定を含む文章が一定割合含まれており，かつ否定の考慮が必要となるテストデータが入手可能であ るタスクとして選んだ $[13,2]$.

実験は，各ラベルごとに $\mathrm{N}$ 個ずつ抽出した訓練 データと検証データを用いた学習・検証と評価を繰
り返しながら，少数データ (数千データ以下) の範囲で $\mathrm{N}$ を増加させて行った (付録表 5 参照)，学習 は Gao らの条件 [9] を参考に, 学習率 1e-5, 学習回数 1000step で行った. 100step ごとに検証データで 評価した中で最も性能の良かったモデルを用いて テストデータでの性能を評価した。その評価値で ADPAを計算した．実験は性能の分散を考慮して 10 回ランダムシードを変えて行い，テストデータでの 評価について対応のある両側 $\mathrm{t}$ 検定を行った. 事前学習済み言語モデルとしては Scao らの研究 [6] で prompt-based finetuning にて一貫した結果を示すと報告された roberta-large ${ }^{1)}[16]$ を利用した。

prompt は表 1 のものを使用した. SST に関して は，Gao らの研究 [9] を参考にし, 既存研究で利用 されることの多い人手で作成された prompt を利用 した. 一方で, MNLI, RTE については, 人手で作成された prompt に問題があったため, Gao らの研究 で自動生成された prompt を利用した.（この点につ いては比較結果を後で示す.)

テストデータで評価をする際には否定評価用の テストデータ (Negation) と否定評価用ではないテス トデータ (Not Negation) の両方における prompt-based finetuning の ADPAを比較することによって否定理解の度合いを評価した。

SST では, 先行研究 [17] を参考に否定要素 (Negation cue) の候補を用意し（付録表 6),一般の テストデータのうち否定要素を含む文章を否定用 のテストデータに分割して，否定を含むテストデー タ (Negation) と否定を含まないテストデータ (Not Negation)を作成した.

RTE・MNLI では既存の否定評価用データ [2]を Negation に用いた. Not Negation には各タスクのオ リジナルのテストデータを用いた． Not Negation の

1) https://huggingface.co/transformers/
性質が SST と異なることに注意されたい.

RTE と MNLI の否定用テストデータはオリジナ ルのデータを元に人手で否定を加えて作成されて おり，SST では同じデータセットから分割されてい る.このことから, どちらの実験でも二つのテスト データの性能の差は基本的に否定の理解によっての み変化することを仮定している。

## 4.2 結果

## prompt-based finetuning $の$ 効果

表 2 にテキスト分類タスクにおける prompt-based finetuning の ADPAを示す.この表より少数データの 条件の自然言語推論のタスクにおける prompt-based finetuning の否定理解の性能の高さを読み取れる.図 1を見ても, prompt-basedがはじめから比較的高 い性能を示している一方で，head-based では否定の 理解は比較的緩やかに進み, prompt-based の性能に 追いつくために多くの訓練データが必要であること がわかる。ここから，否定理解を事前学習済み言語 モデルが事前学習によって獲得しており，言語モデ リングの形でタスクを解くことによって，獲得され た情報を活用可能であると考えられる。

一方で感情分析タスクにおいては, prompt-based finetuning の否定理解に対する効果を確認すること ができなかった.この理由としてはSST に含まれ る否定の理解が言語モデルにとって容易であるこ とが考えられる（付録表 7). 実際に 1024 データで SST-2を学習したモデルの Negationを含まないテス トセットと含むテストセットでの正答率はそれぞれ 0.949, 0.942 でほとんど違いがなく, head-based でも 容易に学習可能な知識であったことが考えられる。

表 2: average data points advantage

## template, verbalizer $の$ 影響

自然言語推論の template については'<SentA>? [MASK], <SentB>' [7] というものが考案されている (付録 表 8).しかし, この template では<SentB>が 否定を含む際に，<SentA>と<SentB>の関係に関わら ず [MASK] 部が No となってしまうという問題が生
じることがある．例えば SentA='That man is young.', SentB='That man is not old.' という条件において，事前学習済み言語モデルが前の文は後の文を含意して いること理解していても，英語の文法的には矛盾の label と対応する 'No'を予測することが正しいため,不正解の 'No'を予測してしまう．このような問題 に対処するため本研究では NLI に関しては自動生成 された prompt [9]を用いたが，表 3 に自動生成され た prompt と人手で作成された prompt の比較結果を 示す. 表の結果は，上記の template が否定の考慮に 不適であることを示しており, prompt 設計の重要性 に関する先行研究 [18] の主張とも一致している.

表 3: MNLI における template と verbalizer の影響

## モデル比較

roberta-large は Talmor ら [3] や田代ら [19] が主張 するように，事前学習によって否定に関する知識を 比較的多く獲得していると考えられるが，否定をあ まり理解していないと考えられるモデルにおいて も prompt-based finetuning による効果が観測される かを調べるために，そのようなモデルの一つである roberta-base を選択し，MNLI データを利用して表 4 に示すように roberta-large モデルとの性能比較を実施した.

結果を見ると roberta-base では prompt-based finetuning が否定の理解に与える影響を確認することが できなかった，ここから roberta-base の様に事前学習において多くの否定知識を獲得していないモデル においては prompt-based finetuning を用いても性能 が向上するとは言えないことがわかる.

表 4: モデルサイズの影響

## 5 おわりに

本研究では prompt-based finetuning の事前学習知識を生かしやすい特性に着目し，テキスト分類タス クの否定を含むテストデータと一般のテストデータ における average data point advantage を比較すること によって, prompt-based finetuning が少数データの設定において否定の理解へ有用であることを示した。

## 参考文献

[1] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[2] Md Mosharaf Hossain, Venelin Kovatchev, Pranoy Dutta, Tiffany Kao, Elizabeth Wei, and Eduardo Blanco. An analysis of natural language inference benchmarks through the lens of negation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9106-9118, Online, November 2020. Association for Computational Linguistics.

[3] Alon Talmor, Yanai Elazar, Yoav Goldberg, and Jonathan Berant. oLMpics-on what language model pre-training captures. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 743-758, 2020.

[4] Nikunj Saunshi, Sadhika Malladi, and Sanjeev Arora. A mathematical exploration of why language models help solve downstream tasks. In International Conference on Learning Representations, 2021.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Teven Le Scao and Alexander Rush. How many data points is a prompt worth? In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2627-2636, Online, June 2021. Association for Computational Linguistics.

[7] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online, April 2021. Association for Computational Linguistics.

[8] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2339-2352, Online, June 2021. Association for Computational Linguistics.

[9] Tianyu Gao, Adam Fisch, and Danqi Chen. Making pretrained language models better few-shot learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online, August 2021. Association for Computational Linguistics.
[10] Roser Morante and Caroline Sporleder. Modality and negation: An introduction to the special issue. Computational Linguistics, Vol. 38, No. 2, pp. 223-260, June 2012.

[11] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[12] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[13] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[14] Ido Dagan, Oren Glickman, and Bernardo Magnini. The pascal recognising textual entailment challenge. In Proceedings of the First International Conference on Machine Learning Challenges: Evaluating Predictive Uncertainty Visual Object Classification, and Recognizing Textual Entailment, MLCW’05, p. 177-190, Berlin, Heidelberg, 2005. Springer-Verlag.

[15] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro $\{$ bert $\}$ a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[17] Prakash Kumar Singh and Sanchita Paul. Deep learning approach for negation handling in sentiment analysis. IEEE Access, Vol. 9, pp. 102579-102592, 2021.

[18] Albert Webson and Ellie Pavlick. Do prompt-based models really understand the meaning of their prompts? CoRR, Vol. abs/2109.01247, , 2021.

[19] 田代真生, 上垣外英剛, 船越孝太郎, 高村大也, 奥村学. 事前学習済み言語モデルにおける否定の理解能力の調査. 情報処理学会研究報告, 第 2021-NL-249 巻, jul 2021.

## A 付録 : 実験条件の詳細

表 5: 各実験の $X_{\text {min }}$ と $X_{\text {max }}$

表 6: 否定要素の候補

表 7: 否定用テストデータの例

 &  \\

\cline { 2 - 3 } &  & \multirow{2}{*}{ contradiction } \\
\cline { 2 - 3 } &  & \multirow{2}{*}{ neutral } \\

表 8 : 人手で作成された自然言語推論用 prompt


# 単語埋め込みに効果的なノイズの検証

田屋侑希 小林一郎
お茶の水女子大学
\{g1620525,koba\}@is.ocha.ac.jp

## 概要

近年自然言語処理の分野においても，敵対的学習 の研究が盛んに行われている。敵対的学習は，ある 入力データに対してモデルを騙すような摂動を，正解ラベルに基づいて計算し, 求めた摄動を入力デー タに加えて学習する手法である. 敵対的学習ではモ デルの頑健性や予測性能の向上が確認されている が，摄動の解釈性が乏しく，摂動の大きさはハイ パーパラメータとなっている. そこで，摂動ではな く，入力データ付近に位置するようなノイズでも効果をもたらすのではないかという着眼点から, 本研究では，摂動の代わりに，類似している単語の方向 に単語埋め込みをずらすことによる精度の向上を検証する。

## 1 はじめに

近年，自然言語処理の分野において，汎用言語モ デル（BERT[1]，RoBERTa[2] 等）は様々なタスクで 大きな成功を収めている。一方で，入力データの変化に敏感であることが知られている。例えばクラス 分類問題において, 入力文のある文字を別の文字 に，または一部の単語をその類義語に変換するこ とでモデルの予測結果が変わることが確認されて いる [3][4][5]. このようなモデルの脆弱性から，入力データの変化に対するモデルの頑健性を向上さ せるため, 敵対的学習という学習手法が提案され た [6][7]. 敵対的学習は，画像処理分野だけではな く, 自然言語処理分野においてもモデルの頑健性と 予測性能の向上に有効であることが確認されてい る [8][9][10]. 敵対的学習は，ある入力データに対し てモデルを騙すような摂動を，正解ラベルに基づい て計算し, 求めた摂動を入力データに加えて学習す る手法である．また，摂動を加えていないデータを モデルに入力して，予測した值に基づいて摄動を計算する，仮想敵対的学習（VAT）も提案された [11].自然言語処理分野では，摂動を計算した後，単語埋
め込みに摂動を加算して新しい単語埋め込みを作成しているが，ここで加算される摂動の大きさはハ イパーパラメータとなっている．摄動の大きさに よって予測性能も変化し，摄動の大きさを大きくす ると予測性能は低下する傾向を確認した（付録 B の図 3 参照)。一方で，摂動の大きさが小さい場合 (SMART のデフォルト値), 汎用言語モデルの低層

摄動の効果が見られないことを主成分分析 (PCA) の可視化を用いて確認した (付録 A の図 2 参照). その理由として, Transformerをべースとした言語モ デルでは，トークンの埋め込み (Token Embeddings) だけではなく, 文埋め込み (Segment Embeddings),位置埋め込み（Position Embeddings）が加算された 後，正規化と DropOutを施して単語埋め込みを作成 しているため, 同じトークンでも入力データによっ て単語埋め込みが異なり，ばらつきがあることが考 えられる。すなわち， RNN 等の従来の言語モデル に比べて，汎用言語モデルは比較的入力データの微量な違いに疎いモデルであるといえる. 本研究にお ける手法の説明をする前に用語の定義を行う. 本論文では，逆伝播を用いて計算した摂動と区別するた め，逆伝播を用いずに作成したべクトルをノイズと 記す. 本研究では，摂動の代わりに類似している単語の方向にノイズを加えることで，逆伝播を用いて 摄動を計算せずに予測性能を維持できるモデルを提案する。また，シソーラスである WordNet [12]を用 いた類義語置換と提案手法を比較して，埋め込み空間上で似ている単語の方向にベクトルをずらす効果 について検証する。

## 2 敵対的学習

一般的に，敵対的学習では式 1 を目的関数として 用いる.

$
\min _{\theta} \mathbb{E}_{(x, y) \sim D}\left[\max _{\delta} l(f(x+\delta ; \theta), y)\right]
$

この式は，データセット $D$ の入力 $x$ に摂動 $\delta$ を加
算したベクトルをモデル $f$ （パラメータ $\theta$ ） に入力 し，正解ラベル $y$ との誤差が最大になる摄動 $\delta$ を求 め，この摂動 $\delta$ を加えた入力データ $x+\delta$ を作成し, モデル $f$ の全体の損失 $\mathbb{E}$ が最小になるパラメータ $\theta$ を求めることを意味する。この式 1 における， $l$ を 敵対的損失と呼び，PGD (Projected Gradient Descent) [7] を解くことで $\delta$ を求める. 本研究では提案手法 の比較対象として SMART [9]を利用した. SMART は仮想敵対的学習 [11]を用いており，目的関数は 式 2 のとおりである.

$
\begin{array}{r}
\min _{\theta} \mathbb{E}_{(x, y) \sim D}[l(f(x ; \theta), y)+ \\
\left.\alpha \max _{\delta} l(f(x+\delta ; \theta), f(x ; \theta))\right]
\end{array}
$

式 1 と異なる点は, 正解ラベル $y$ ではなく, 自身の モデルの予測結果 $f(x ; \theta)$ との誤差に対して摄動を 求めている点である. 仮想敵対的学習における敵対的損失 $l$ は，入力データ $x$ とその近傍のデータ $x+\delta$ はモデルが同じ予測をするという制約を意味する 正則化項とみなすことができる．SMART での摂動 $\delta$ の求め方を簡単に記す.まず初めに，正規分布に 従いランダムに生成したノイズ (\|init_noise $\|_{\infty} \leq \epsilon$, $\epsilon$ はハイパーパラメータ)を $\delta$ として入力データに 足し合わせ，敵対的損失が最大になるような摂動 を計算する. 求めた摂動 $\left(\frac{\delta}{\|\delta\|_{\infty}}\right)$ に係数（SMART で は 0.001）を掛けて，初めにランダムに生成したノ イズ（init_noise）に足し合わせて摂動 $\delta$ とする。ま た，式 2 の $\alpha$ は一般的な損失と敵対的損失のトレー ドオフを制御するハイパーパラメータで，本研究で は SMART と同様， 1.0 に設定した.

## 3 提案手法

提案手法の概要図は図 1 に示す. 図 1 の Step 1 は 通常のファインチューニングであり, Step2 で式 2 における敵対的損失を求めている。 まず，提案手法 に必要な事前準備について述べた後，図 1 における Step2 の Token Embeddings として効果的な単語埋め 込みを検証するため，提案手法を実験 1 から実験 3 に分けて説明する。

## 3.1 事前準備

BERT の出現語彙（30,522 単語）の単語埋め込み （Token Embeddings）同士のコサイン類似度を総当た りで計算する．後の手順の利便性のため，単語ごと にコサイン類似度が降順になるように単語 ID を並 び替えた状態で保存しておく。また，RoBERTa（出現語彙数：50,265 単語）においても同様の処理を 行う.

## 3.2 実験 1 : 類似単語の方向にノイズ付加

Step1 で大力したそれぞれの Token Embeddings ( $\left.\boldsymbol{E}_{\text {original }}\right)$ に対して，最もコサイン類似度が高い単語の Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ を求めて, これら

$
\boldsymbol{E}_{\text {diff }}=\boldsymbol{E}_{\text {similar }}-\boldsymbol{E}_{\text {original }}
$

Step2 の全部（BERT では [CLS]，[SEP]，[PAD], RoBERTa では<s>，</s>，<pad>以外）の Token Embeddings に差ベクトル $\left(\boldsymbol{E}_{\text {diff }}\right)$ を足し, 新しい Token Embeddings（ $\boldsymbol{E}_{\text {new }}$ ）を作成する（提案手法 1-1）.

$
\boldsymbol{E}_{\text {new }}=\boldsymbol{E}_{\text {original }}+\text { noise_size } \times \boldsymbol{E}_{\text {diff }}
$

ここで，類似度が高い単語の Token Embeddings にどの程度近づけるかを，noise_size 係数 $(0 \leq$ noise_size $\leq 1$ ）を用いて決定する. noise_size が 1 の場合は，コサイン類似度が高い単語の Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ を Step2 に入力していること を意味する。本手法では，noise_size を 0.5 に設定 した. つまり Step2 の Token Embeddings は Step1 の Token Embeddings $\left(\boldsymbol{E}_{\text {original }}\right)$ とコサイン類似度が高 い Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ の中間に位置するべク トルである. noise_size のアブレーションスタディ の結果は付録 B に載せる。また，本研究では，Step1 の Token Embeddings に加算される noise_size $\times \boldsymbol{E}_{\text {diff }}$ をノイズと定義する。提案手法 1-1 では，常時コサ イン類似度が一番高い単語が選ばれてしまうため, コサイン類似度が高い 10 単語の中からランダムに 選択して $\boldsymbol{E}_{\text {similar }}$ とする設定でも実験を行った（提案手法 1-2).

## 3.3 実験 2 ：部分的な単語にノイズ付加

次に全部の単語ではなく一部（1文の $15 \%$ ）の単語にノイズを加える実験を行なった。ノイズを加え る単語を部分的にすることの効果を確認する。ノイ ズの加え方は提案手法 1-1 と同様の手法を用いる.新しい Token Embeddings（ $\boldsymbol{E}_{\text {new }}$ ) に置き換える単語 の決め方は，下記の 3 通りを実験した。

## 提案手法 2-1 ランダム

提案手法 2-2 Saliency の値が高い単語

提案手法 2-3 Saliency の値が低い単語

提案手法 2-2，2-3 における Saliency [13] の値とは, Step1 の損失を用いて，Step1 の Token Embeddings に

図 1 提案手法の概要図

対する勾配を計算し，勾配の絶対値を単語埋め込 みの次元数分足し合わせたものである. 一般的に， Saliency の值は，予測結果の判断根拠を解釈するた めに利用されている。つまり，Saliency の値が高い ほど，予測結果に影響を与えている単語であると解釈することができる.

## 3.4 実験 3 : WordNet を用いたノイズ付加

次に，Step2 に入力する単語として，類義語また はコサイン類似度が高い単語のどちらが効果的か を確認する. 図 1 の Step1 で入力した単語の類義語を WordNet ${ }^{1}$ ) で検索し，類義語が存在する場合は 類義語を Step2 に入力した（WordNet_1.0). 類義語 が複数存在する場合は，ランダムに 1 つ選んで入力した. この時, Step2の Token Embeddings は Step1 の単語の類義語そのものを意味するため, 実験 1 におけるnoise_size は 1.0 と解釈できる。また，提案手法 1-1 でnoise_sizeを 1.0 とした場合，つまり Step2 でコサイン類似度が最も高い単語を入力した 場合の実験（提案手法 1-1_1.0）も行い比較する。ま た，WordNetを用いて，Step2 に入力する類義語を 決定し，noise_size を 0.5 に設定した実験も行った

(WordNet_0.5).

## 4 実験

使用するデータセット データセットは ANLI (Adversarial Natural Language Inference) ${ }^{2}$ [14] 利用 した. ANLI は汎用言語モデル (BERT，RoBERTa） が予測を誤るデータを積極的に検証データとテスト

1) https://wordnet.princeton.edu/

2) https://dl.fbaipublicfiles.com/anli/anli_v1.0.zip
データに集めたものである。また，データセットは $\mathrm{A} 1 \cdot \mathrm{A} 2 \cdot \mathrm{A} 3$ から成り, $\mathrm{A} 1, \mathrm{~A} 2, \mathrm{~A} 3$ の順にモデル が予測を誤りやすいものになっている。データ数は 表 1 の通りである.

評価方法 評価指標は正解率 (Accuracy)を用い る。また，SMART の実験方法に倣い， ANLI（A1・ $\mathrm{A} 2 \cdot \mathrm{A} 3$ ）の訓練データを用いて学習し， A1・A2・ A3 それぞれの検証データ，テストデータに対して 評価を行った。

実験設定実装は, $\mathrm{MT}^{2}-\mathrm{DNN}^{3}{ }^{3}[15][16] を も$ とに行い，事前学習済み言語モデルは BERT $_{\text {BASE (uncased)[1], 及び RoBERTa }}^{\text {LARGE }}$ [2] を用 いた. ファインチューニング の設定として, 学習率は $2 \times 10^{-5}$, バッチサイズは $32\left(\right.$ BERT $\left._{\mathrm{BASE}}\right), 16$ $\left(\right.$ (oBERTa $\left._{\text {LARGE }}\right)$, エポック数は 6 , 最適化手法は Adam [17] を用いた. また，全学習ステップのうち 始めの $10 \%$ で，学習率を 0 から設定した学習率ま で線形に学習率を増加させる warm up を用いた. 先行研究の SMART [9] における摄動の大きさ等はデ フォルトの設定を利用した。

## 4.1 実験結果・考察

実験結果は表 2 , 表 3 に示す. A1・A2・A3 それぞ れのテストデータで評価し，その算術平均を取った 值を表 2 , 表 3 に，各データセット（A1・A2・A3） に対する正解率は付録 C の表 4 に記す. また，実験結果は異なるシード値で 6 回実験を行い，その評価結果の平均を取った値である. 表 2 , 表 3 の 1, 2 行目は通常のファインチューニングと SMART の再実験結果である. 以降，テストデータにおける正解率 について言及する。

案手法 1-1・1-2 は，通常のファインチューニング・ SMART と比較して正解率が向上した. 提案手法 2-1・2-2・2-3 の結果からは部分的にノイズを加える より文全体にノイズを加える方（提案手法 1-1）が 効果的であることが確認できた. また， Saliency の 值が低い単語より高い単語にノイズを加える方が 効果があった. RoBERTa LARGE では，提案手法 1-1・ 1-2 は通常のファインチューニングと同等の結果と なった. 一方，部分的にノイズを加えた提案手法 2-1・2-3 は SMART より正解率が向上した.また, BERT $_{\text {BASE }}$ とは異なり, Saliency の値が高い単語より も低い単語にノイズを加えた方が効果的であること が確認できる。

表 3 実験結果（実験 3 における正解率）

実験 3 表 3 から，BERT ${ }_{\text {BASE }}$ において Step2 に 入力する単語を，WordNetを用いて類義語にした （WordNet_1.0）よりStep1 の単語埋め込みとのコサ イン類似度が高い単語に置き換えた方（提案手法 1-1_1.0）がやや効果があることが確認できた. ま
た，提案手法 1-1 と同様，WordNetを用いた場合 においても，類義語そのもの（WordNet_1.0）より 類義語との中間に位置するように Step2 の Token Embeddings を作成した方（WordNet_0.5）が正解率 が高いことが確認できた. RoBERTaLARGE において は， BERT ${ }_{\mathrm{BASE}}$ の結果とは異なり，コサイン類似度 が高い単語よりも WordNet における類義語の方が正解率が高い結果となった. WordNetを用いて類義語 に置き換える際，類義語が存在しない単語もあるた め, 結果的に 1 文の約 40\%（BERT BASE は約 30\%）の 単語が置換されている. 実験 2 の結果も踏まえて, RoBERTa $_{\text {LARGE }}$ では部分的にノイズを加えることに 効果があると考えられる. noise_size に関しては, $\mathrm{BERT}_{\mathrm{BASE}}$ と同様，0.5 にしたほうが正解率は高くな ることが確認できた。また，WordNet_0.5 は SMART よりも大きく精度が向上した.

ノイズの大きさ 付録 B の図 3 において, noise_size 0.5 の時が一番精度が良くなる理由とし て，全ての単語にできるだけ大きなノイズを加える 場合，どの単語からもちょうど中間となる 0.5 のサ イズが大きなノイズになると考えた。

また，単語埋め込みに対する摂動またはノイズ の大きさ（L2ノルム）の割合を計算したところ， SMART における摄動は約 $0.003 \%$ ，提案手法 1-1 の ノイズは約 30\%，WordNet_0.5 のノイズは約 70\%で あり，ノイズの大きさを大きくしてもノイズの方向性に意味がある場合，精度が低下しないことが確認 できた.

## 5 まとめ

本研究では，敵対的学習における摂動の代わり に，類似している単語の方向にノイズを加えること で SMART と同等の精度が出ることを確認した. ま た，通常のファインチューニングと比較して順伝播 が 2 回，逆伝播が 1 回多い敵対的学習を，順伝播が 1 回のみ多いモデルに置き換えることができ，計算時間を約 $23 \%$ 削減することができた. 敵対的学習に おいて，必ずしも摂動が重要ではないことを示唆す る一つの手法を提案した。一方，提案手法のノイ ズの大きさが，モデルの予測性能向上に有効であ る証拠が不十分であるため，ノイズの有効性につ いて検証していきたい. 本研究では, BERT $_{\mathrm{BASE}}$ と RoBERTa $_{\text {LARGE }}$ を用いて実験を行ったが，それぞれ で異なる実験結果が確認できたため，各モデルの特徵や埋め込み空間の調査を継続したい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Shuhuai Ren, Yihe Deng, Kun He, and Wanxiang Che. Generating natural language adversarial examples through probability weighted word saliency. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1085-1097, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. Is bert really robust? a strong baseline for natural language attack on text classification and entailment, 2020.

[5] Linyang Li, Ruotian Ma, Qipeng Guo, Xiangyang Xue, and Xipeng Qiu. BERT-ATTACK: Adversarial attack against BERT using BERT. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6193-6202, Online, November 2020. Association for Computational Linguistics.

[6] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572, 2014.

[7] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083, 2017.

[8] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Thomas Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for language understanding. arXiv preprint arXiv:1909.11764, 2019.

[9] Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Tuo Zhao. Smart: Robust and efficient fine-tuning for pre-trained natural language models through principled regularized optimization. arXiv preprint arXiv:1911.03437, 2019.

[10] Xiaodong Liu, Hao Cheng, Pengcheng He, Weizhu Chen, Yu Wang, Hoifung Poon, and Jianfeng Gao. Adversarial training for large neural language models. arXiv preprint arXiv:2004.08994, 2020.

[11] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial training: a regularization method for supervised and semi-supervised learning. IEEE transactions on pattern analysis and machine intelligence, Vol. 41, No. 8, pp. 1979-1993, 2018.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Pro- ceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[15] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Xiaodong Liu, Yu Wang, Jianshu Ji, Hao Cheng, Xueyun Zhu, Emmanuel Awa, Pengcheng He, Weizhu Chen, Hoifung Poon, Guihong Cao, and Jianfeng Gao. The microsoft toolkit of multi-task deep neural networks for natural language understanding. arXiv preprint arXiv:2002.07972, 2020.

[17] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. ICLR (Poster) 2015, 2015.

## A 単語埋め込みの可視化

図 2 主成分分析（PCA）による単語埋め込みの可視化：she，he，you の 3 単語を BERT $\mathrm{BASE}_{\mathrm{BAS}}$ に入して作成した単語埋 め込み（BERT Embeddings）(丸で囲まれている点集合)，SMART を用いた摂動を加えた単語埋め込み，提案手法 1-1を 用いてノイズを加えた単語埋め込みの可視化結果 (左). $\mathrm{BERT}_{\mathrm{BASE}}$ の 2 層目の出力の単語埋め込みの可視化 (右). 左右 の図を比較して，BERT $\mathrm{BASE}_{\mathrm{BAS}}$ の 2 層目の出力（右）は SMART の摂動を加えた単語埋め込みと摂動を加えていない単語埋 め込みの区別がつかないことが分かる．可視化には TensorBoard の Embeddings Projector を利用.

## B摂動およびノイズの大きさのアブレーションスタディ

図 3 左 2 つの図：SMART において摄動の大きさを変化させたときの正解率のグラフ（左：BERT $\mathrm{BASE}_{\mathrm{BAS}}$, 右： RoBERTa $_{\text {LARGE }}$ ）。横軸は埋め込みベクトルの L2ノルムに対する摂動の L2 ノルムの割合 (\%). 右の図 : 提案手法 1-1 に おけるnoise_size のアブレーションスタディ（BERT $\left.{ }_{\mathrm{BASE}}\right)$.

## C 実験結果詳細

表 4 各データセット（A1，A2，A3）における実験結果：太字は各データセットにおいて一番正解率が高い值，下線は SMART より正解率が高い值を表す。提案手法は，ANLI データセットの中で難易度が高いA3 のデータセットに対する 正解率が向上している傾向がみられる.


# 文脈化された単語理め込みの語義への 単語頻度と語義分布の影響

Cao Zhihan
東京工業大学 情報理工学院
cao.z.ab@m.titech.ac.jp
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
}

義への影響を「探査子 (probe)」を用いて調査する.
## 2 先行研究

静的な単語埋め込みと頻度との関係は，理論的に も実証的に研究されており，高頻度の単語の静的単語埋め込みは単語の意味をよりよく捕まえている傾向が示されている $[2,3,4]$. 静的単語埋め込みに比べ ると, CWE と頻度に関する先行研究はまだ少ない. Yu らは Transformer 系の PLM の統語的側面を探求 した [5]. 結論として，これらの PLM は確かに一部 の単語の統語的性質をよりよく捉えてはいるが，単語頻度はそれを説明できる要因ではなかった。一方 で，Zhou らは，CWE は同じ単語の埋め込みがなす 意味部分空間の大きさは，その単語頻度に比例して いると主張している [6].

このように，頻度と CWE との関係については見解が一貫していない。また，CWE の語彙意味論的 な側面に注目した研究があるが [7]，それを単語頻度と関係づけて論ずるものは見られなかった. 本研究ではこの議論上の空白を補填するために, BERT 系PLM を対象とし，以下の研究課題を設定する.

RQ1：CWE は異なる粒度の語義を捉えているか $\mathrm{RQ2}$ : 文脈化前後の単語埋め込みで異なる粒度の語義を捉える能力は変わるか RQ3：CWE の形状は異なる粒度の語義を捉える能力 にどう関与するか

RQ4：RQ1-3 は単語頻度と語義分布との関係するか

RQ2 でいう文脈化以前の単語埋め込みは，BERT などの PLM の埋め込み層の出力のことをさす。そ の理由は，埋め込み層ではトークンと位置などの埋 め込みの和にレイヤー正則化を適用するが，この 埋め込み層の出力は文脈が関与しないからである. RQ3 でいう CWE の形状は，本研究で CWE の異方性 (anisotropic)をさす。異方性は BERT 系 CWE の各次元の值のスケールが相違する性質であり，それの
形状的特徴と考えられる. BERT 系 CWE の異方性 を正則化すれば，CWEを用いた情報検索の性能を 上げられ，異方性と語義との関連があると言われて いる [8]. 本研究ではそれに基づき, RQ3 では CWE の形と異なる粒度の語義との関連を探る. RQ4 で 語義の分布を考慮する理由は，高頻度の単語ほど多義となり, 語義分布のエントロピーが高くなる可能性があるので，仮に頻度と語義との関連が見られて も，それは果たして頻度だけによるものかはわから ないからである．語義分布のエントロピーを一定の 数値に固定すれば, 語義と頻度との関係をより正確 に把握できる。なお，本研究でいう単語頻度はレン マの頻度で，エントロピーは以下で定義する。

$
H(S \mid W=w)=\sum_{s \in S} P(s \mid W=w) \log P(s \mid W=w)
$

ただし, $S$ は語 $w$ の全ての可能な語義の集合で, $P(s \mid W=w)$ は語 $w$ がコーパス中で語義 $s$ として使 われた Laplace 平滑化後の頻度である.

## 3 方法

本研究では，上述の研究課題に対して探査子を用 いてアプローチする。この手法では，PLM が生み 出した単語 $w$ の CWE cwe $(w)$ を, 分類器 $\operatorname{probe}(\cdot)$ の 入力として与え, 対象とする言語学的性質 $l$ を予測 する. この予測の性能によって, 性質 $l$ が埋め込み にどの程度反映されているかを評価する。本研究で は探査タスクを 3 種類設定した. これらのタスクを 3.1 で詳述する. 3.2 ではデータセットの構成方法 を，3.3では評価方法を説明する。

## 3.1 語義の探査タスク

本節では，RQ1 に答えるために CWE に粒度の異 なる語義の情報がの埋め込みにどの程度反映されて いるかを調査する実験について述べる。

多義語は周囲の文脈がによって，文中での意味が 確定できる．したがって，もしCWEにうまく語義 が埋め込めていれば，埋め込みから正しい語義に分類できるはずである.このような仮説を踏まえて， WordNet における Synset, Supersense, Hypernyms $の$異なる粒度の語義を同定するタスクを設定した。

Synset と Supersense 探査タスク (以下, syp と sup) では語の CWE から，その語の synset， supersense を 探査子で予測する.ここでいう synset と supersense はそれぞれ WordNet [9] で定義されているものであ表 1 実験で使用する性能指標

り，両者とも単語の意味を示すものであるが，前者 が比較的具体的な意味を示すのに対し, 後者は品詞 と意味カテゴリだけに対応する抽象度が高いもので ある。したがって，syp と supでは CWE の異なる粒度の語義を埋め込む性質を調査できると考えられ る. syp と sup では精度（syp-acc と sup-acc）を性能 の指標とする。

Hypernyms 探査タスク (以下, hyp) では syp と同じ ように synset を予測するが，1 つの synset だけでな く, hypernym 階層において根までの経路中のすべて の synsetを予測するマルチラベル分類をおこなう. hyp を取り入れたひとつの理由は, syp ではすべて の synset を同等に扱い 1 つの synset のみを出力する が，synset 同士は hyponymy の関係をなしたりして 必ずしも同等ではないからである. もうひとつの理由は, supersense と synset では意味の抽象度の隔り がかなり大きいが，その中間の粒度の意味の違い を調査するためである. hyp を取り入れることで， CWE の意味の抽象度の違いをより細かく評価でき ると考えられる. hyp では精度と再現率 (hyp-rec, hyp-pre）を性能の指標とする。本研究で採用するす べての性能指標を表 1 にまとめた。線形的な探査子 は $\operatorname{cwe}\left(w_{i}\right)$ と $l_{i}$ との真のパターンをより捉えられる と報告されて，また， L2 正則化はこの能力を高め ると報告される [10]. その結果を受けて, 本研究の 全ての探査子は L2 正則化された線形的モデルを使用する. ただし， syp と $\sup$ の探査子では出力層で softmax 関数を, hyp では sigmoid 関数を使用する.

## 3.2 データセット

SemCor コーパスから単語埋め込みと正解語義のペアを抽出し, 実験用のデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\}_{i \in[1, N]}$ を構築した. ただし， $N$ は コーパス中の総単語出現数, $\operatorname{cwe}\left(w_{i} ; m\right)$ は PLM $m$ が生み出した単語 $w_{i}$ の CWE である. $w_{i}$ が複数の wordpiece に分割された時には，それらの CWE の平均を $\mathrm{cwe}\left(w_{i} ; m\right)$ とする. 対象モデルは BERT-baseuncased, BERT-base-cased と RoBERTa-base の 3 つで ある. CWE は各モデルの隠れ層の出力の平均と

する.

訓練セットをランダム抽出により生成すると，高頻度の単語を含む実例を多く含んでしまう. 探査子自体もひとつのモデルなので，訓練セットに頻出の パターンをよりよく捉えられると予想されるが，こ れは頻度と CWE の関係を探求する上で好ましくな い. したがって, 本研究では訓練セットを抽出する 際に，2つの抽出方法をとった. 1 つは通常のラン ダム抽出で，もう 1 つは層化抽出である. 層化抽出 ではデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\} を w_{i}$ のレンマ の頻度により 10 個の部分集合に分割してから，そ れぞれから固定の割合でランダム抽出する. いずれ の抽出法でも，データセットは 6 割を訓練セット に，4 割をテストセットにした. 異なる調査対象モ デルと探査子用の訓練セットを抽出する際にはラン ダムシードを固定した.

## 3.3 評価方法

RQ2, 3 にアプローチするために, 文脈化利得 (Contextualization Gains, CN) と正規化利得 (Normalzation Gains, NG) を定義する.

CG は RQ2 のために用意した. CGを計算す るため, データセット中の事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ の $\mathrm{cwe}\left(w_{i} ; m\right)$ を, 単語 $w_{i}$ の同じモデルの埋め込み層 の出力 $\operatorname{static}\left(w_{i} ; m\right)$ に置き換えて統制分類器を学習 する. CG は探査子と統制分類器の性能の差として 定義するので，文脈化が有効であれば CG が大きく なる。

NG は RQ3 のために用意した. $\mathrm{Su} ら の$ bertwhitening [8] に基づき, NG では下式のとおり訓練 データを書き換えて統制分類器を学習する.

$
\begin{aligned}
\boldsymbol{\mu} & =\frac{1}{N} \sum_{j=1}^{N} \boldsymbol{c}_{j} \\
\boldsymbol{\Sigma} & =\frac{1}{N}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right)^{T}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right) \\
\operatorname{norm}\left(\boldsymbol{c}_{j} ; \boldsymbol{\mu}, \boldsymbol{\Sigma}^{-\frac{1}{2}}\right) & =\left(\boldsymbol{c}_{j}-\boldsymbol{\mu}\right) \boldsymbol{\Sigma}^{-\frac{1}{2}}
\end{aligned}
$

ただし, $\boldsymbol{c}_{j} \in \mathbb{R}^{d}$ は $d$ 次元の CWEで, $\boldsymbol{C}=\left[\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{N}\right]^{T}$ でサイズ $N$ の訓練セット中の CWE による行列であ る. $\mathbf{1} \in \mathbb{R}^{d}$ は各要素が 1 の $d$ 次元のベクトルであ る. $\boldsymbol{\Sigma}$ は実に $\boldsymbol{C}$ の各次元についてのサンプル共分散行列である. norm のパラメータは訓練セットで計算する.この書き換え方は分散を共分散に置き換え た Z-socre と見なせる．訓練セットの CWE による 行列について正規化をして CWE の異方性を削減す る. $\mathrm{NG}$ は統制分類器からの探査子の性能の差分で
あるが，探査子の性能について引き算の向きを注意 されたい。もし異方性が CWE の語義と関わるのな ら，NGの絶対値は大きいと予想される.

RQ4 に答えるために，各性能指標と 2 つの利得を batch $_{\text {ef }}$ で計算する. batch $_{\text {ef }}$ はテストセットの部分集合で，同バッチ内の事例のエントロピーと頻度も 同等である. $e$ と $f$ はそれぞれの語義分布のエント ロピーと頻度のランクである ${ }^{1)}$. エントロピー $e$ を 固定して,$f$ が大きくなるに連れて, 各 batch $_{e f}$ で計算された指標の値の変化を見れば，RQ4 に答えるこ とができる.

## 4 実験結果

## 4.1 概要

表 2 層化抽出法の場合の結果一覧

表 2 に，BERT-base-uncased によるCWEを用いた，層化抽出法の場合の実験結果をまとめた ${ }^{2}$. CG と $\mathrm{NG}$ の列は異なる性能指標における文脈化利得と正規化利得である. Static，Static+CG と Static+CG+NG の列は，それぞれ非文脈化単語埋め込み，CWE，正規化後の CWE での探査子の性能である。太字は該当列の絶対値としての最大值を意味する. 全体的に CWE での性能は hyp-pre と sup-acc が大きく, NG は 絶対値として hyp の全ての評価指標に比較的に大 きく, CG は hyp-rec だけ大きい. Static+CG+NG と Static を比較すれば, hyp-rec と sup-acc だけ増加しな かったことがわかる.

syp-acc と sup-acc では, CG と NG は両方ともに正 であることから，BERT 系 PLM の非文脈化単語埋め 込みは，文脈化と正規化によって抽象度の違いによ らず語義を単体で捉える能力が向上する．抽象的語義の場合，向上の幅はより大きい. しかし, hyp-rec は文脈化で増加して正規化で減少する傾向を示す.

1) 事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ について, $w_{i}$ の語義分布のエントロ ピーが 0.04 以下，つまり実質上の一義語ならば，エントロ ピーランクを 0 とする. エントロピーランク 1 から 4 の分割 は，データセットの単語のエントロピー分布の四分位点によ る.

2）抽出法や PLM のモデルが結果に影響をしない．すべての抽出法と PLM の結果は付録の表 3 を参照されたい

つまり，CWE は文脈化でマルチレベルの抽象度の 意味を同時に捉えるようになり，正規化したらそれ ができなくなる.

一方, hyp-pre は hyp-rec と逆の傾向である. hyppre は低くなるのは，hypernym 階層において根まで の経路上にない無関係の語義を多く誤同定してし まった場合である.ここでいう無関係な語義は，そ もそも真の語義とは完全に別種の語義と，ある抽象度では同義であるが細部が違う語義の 2 種類を 含む. これと hyp-pre の傾向を踏まえて，CWE 中の 無関係な語義は文脈化の前で少なく, 文脈化後で 増えるが，正規化で取捨選択されると考えられる。 このことから，CWE の異方性は語義の網羅性と関係することを示唆している。つまり，ある単語の BERT 系 CWE は周囲の文脈から語義を豊かにする が，同時に語義の余剰も生み出す. これ過程の結果 は CWE の異方性に反映される。

## 4.2 詳細

図 1 各評価指標の単語頻度との相関 (Spearman の R)

図 1 は，エントロピーランク $e$ を固定し, batch $_{e f}$ で計算した各評価指標と頻度ランク $f$ とのスピアマ ン相関係数を示す. 抽出方法は結果に影響しないの で，ここでは層化抽出の結果だけを示す. 大多数の 場合，エントロピーの増加が Static+CG，CG と NG と頻度との相関程度を軽減するとみられる。

Static+CG 各指標において，Static+CG と頻度と の相関係数はほとんど非負であるが，値がエント ロピーの増加につれて減少する。つまり，BERT 系 CWE は，抽象度と関係なく，低エントロピーで高頻度の単語ほど意味をより捉えている。

CG CG は syp-acc で値も頻度との相関係数も正 で，syp-acc で値が正で相関係数が負である。これは CWE は文脈から，低頻度語ほど抽象的な語義を，頻出語ほど具体的語義の情報を有効に獲得している. つまり，PLM は低頻度語の大雑把な意味を文脈から 推測し，高頻度語ならよりきめ細かい意味も取りこ んでいると言える. hyp-pre の結果から，文脈化は CWE に意味の余剩をもたらすが，CG が頻度と相関係数が正なので，頻出語ほどこの余剩が少ない3).

NG NG は sup-acc と syp-acc とも値が正で相関係数が負である。これは CWE の異方性を正すことに よる利得は，粒度と関係なく低頻度語ほど大きい。 つまり，低頻度語の CWE の異方性には，無関係な 語義と関連すると思われる. NG は hyp-rec で值であ るが相関係数の絶対値がエントロピーランク 1 以外 に小さい. 実際，正規化は CWE の文脈化による意味の網羅性を軽減するが，この効果は頻度と正の二次関数的な関係をなしており，エントロピーが小さ いほどその傾向が顕著である ${ }^{4)}$. その極值は比較的低い頻度ランクに出現する。つまり，比較的に低エ ントロピーで低頻度の単語の CWE の異方性がなく なったら，意味の網羅性が小さくなる．

## 5 結論

以上より，本研究の RQ1 から RQ4 に即して結論 を述べる。（RQ1）CWE は異なる粒度を捉える能力 があるが，（RQ2\&3）文脈化前後でも，さらに異方性を修正するかどうかによっても，その能力が変化 する。文脈化は語義を豊富に埋め込めるが，同時に 無関係の語義も埋め込んでしまい，語義の余剰を招 く. しかし, 余剩語義は CWE の異方性と関係し,正則化で解消可能である。（RQ4）1)BERT 系 CWE の意味と単語頻度および語義分布との関係につい て，以下 3 点が確認された.

1. BERT 系 CWE は意味の粒度と関係ぜずに，高頻度で低エントロピーの単語ほど意味をより捉 えられる

2. 高頻度語ほど具体的な意味を正確に文脈から取 り込み，語義の余剩が少ない

3. 比較的に低エントロピー語の BERT 系 CWE は 正則化による余剩語義の解消は頻度と相関し, その中でも比較的低頻度の単語は解消程度が大 きい.

## 参考文献

[1] George A Miller, Claudia Leacock, Randee Tengi, and Ross T Bunker. A semantic concordance. In Human Language Technology: Proceedings of a Workshop Held at Plainsboro, New Jersey, March 21-24, 1993, 1993.

[2] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z Ghahramani, M Welling, C Cortes, N Lawrence, and K Q Weinberger, editors, Advances in Neural Information Processing Systems, 2014.

[3] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. 2018.

[4] Laura Wendlandt, Jonathan K Kummerfeld, and Rada Mihalcea. Factors influencing the surprising instability of word embeddings. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2092-2102, 2018.

[5] Charles Yu, Ryan Sie, Nicolas Tedeschi, and Leon Bergen. Word frequency does not predict grammatical knowledge in language models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4040-4054, 2020.

[6] Kaitlyn Zhou, Kawin Ethayarajh, and Dan Jurafsky. Frequency-based distortions in contextualized word embeddings. 2021.

[7] Ivan Vulić, Edoardo Maria Ponti, Robert Litschko, Goran Glavaš, and Anna Korhonen. Probing pretrained language models for lexical semantics. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7222-7240, 2020.

[8] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. 2021

[9] Christiane Fellbaum, editor. WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[10] John Hewitt and Percy Liang. Designing and interpreting probes with control tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2733-2743, 2019 .

## A 付録 (Appendix)

図 $2 \mathrm{CG}$ の詳細/Layered Sampling/BERT-base-uncased

図 $3 \mathrm{NG}$ の詳細/Layered Sampling/BERT-base-uncased

図 2 と図 3 はそれぞれ，各評価指標とエントロ ピーランクにおける CG と NG の詳細な結果を示し ている．たとえば，図 2 の syp-acc の列の一番右に あるサブグラフは，エントロピーランク４の場合 の, Synset 探査子の精度について計算した batch $_{e f}$ の文脈化利得と $f$ とのプロット図である. サブグラ フにある青い線は, batch $_{e f}$ の文脈化利得と $f$ との 回帰直線である.

表 4.1 はすべての PLM の探査結果である. hyp-F1 の列は順に，Hypernyms 探査タスクの F1 尺度の値 とその文脈化利得・正規化利得である.表 3 すべての PLM の結果一覧


# 四則演算を用いた Transformer の再帰的構造把握能力の調査

松本 悠太 ${ }^{1}$ 吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
yuta.matsumoto.q8@dc.tohoku.ac.jp yoshikawa@tohoku.ac.jp
benjamin.heinzerling@riken.jp inui@tohoku.ac.jp

## 概要

再帰的構造は自然言語の本質とされており，自然言語処理のモデルがこのような構造を把握する能力 を持つかどうかは重要な点である. 本研究では自然言語における再帰的構造の代替として，途中結果が 明確な四則演算のデータを用いて Transformer の再帰的構造を把握する能力を調査する。具体的には途中の計算結果を保存することが求められるような問題に対してその値を内部表現から取り出すことがで きるかというタスクを通じ，Transformerが計算の途中結果を内部的に保存できていることを示す.

## 1 はじめに

近年，Transformer [1] の内部状態を分析し，モデ ルの能力を検証する研究が盛んに行われている。例 えば，既存研究では品詞タグ付けや固有表現抽出に よるプロービングから，モデルの下層では構文情報 を，上層では意味的情報を符号化しているといった ことが示されている $[2,3,4]$.

さまざまな言語的特徴の中でも，再帰的な構造は 自然言語において本質的な要素である [5]. 再帰的構造に基づいて我々は新しい文を生成したり理解す ることができるためである。これは言語の構成性と も関連付けられ，既存の深層学習モデルがこの性質 を捉えられるか， ベンチマークタスクを基にした調査研究が注目を集めている [6,7].

一方，我々はプロービングの手法によって Transformer が再帰的構造を捉えることができるか についての検証を行う. その際に，自然言語の代替 の形式言語として数式に着目する.これは数式も また自然言語と同様に再帰的な構造を持ち，再帰的な構造に基づいて解かれるためである. 例えば， $(a+b) \times(c+d)$ という数式を解くには一般的には $a+b, c+d$ をまず計算してから二つの計算途中結果 をかけるという順番で処理をする必要があり、モデ
ルが数式の再帰的構造を理解しているとは二つの途中結果、そして途中結果どうしを乗算した值を共に 表現できているということだと定義できる.

本研究では上述のような四則演算計算タスクを用 いて、Transformer が数式中の途中結果を保存するこ とができるかを調査する．調査に数式を使うことに は複数のメリットが存在する．数式は数値を操作す るというその性質から，自然言語における句（フ レーズ）などと対比して，計算の途中結果がモデル 内部に保存されているかを回帰によって直接調査す ることができる．また，自然言語のデータセットに はバイアスが存在しており，これに起因する表面上 の手がかりによってタスクを解けてしまうことが報告されている $[8,9]$ が，数式のような形式言語を用 いることでデータセット中の分布の偏りを無くし， バイアスを抑えることができる．本タスクは学習の 際に明示的に構造を教えることはしていないが構造 を捉えることが本質的に要求されるタスクであり，構造の教師信号なしで構造に関する知識を符号化す ることができるかを測ることができる。

調査の結果，Transformer モデルは四則演算の数式 を解くことができ，その際の内部表現から学習中に は与えられていない計算途中の値を取り出せること がわかった. さらになぜ計算途中結果を取り出せる のかについてより詳しい調査を行ったところ，内部表現には最終的な計算結果を保存する成分とは別に 計算途中結果を保存する成分が分散的に存在するこ とが示された.

## 2 関連研究

自然言語処理のモデルに数値を表現させること （数量推論など）に関しては，複数の先行研究が存在 する。例えば，BERT [10] のような大規模言語モデ ルをべースに数量推論の問題をある程度解ける [11] ということが知られている．また，自然言語処理モ デルに数をテキストとして入力した際，学習データ

図 1: 四則演算計算タスクの概観. 実際には出力は 0 から 1 の値に正規化される

に出現する数の範囲内ならばその数の大小の概念を 把握することができるといったことが示されてい る $[12,13]$. 最新の数量推論に関する詳細は Thawani らのサーベイ論文 [14]を参照されたい.

自然言語における再帰的構造に起因する言語的特徴をモデルが捉えられているのかについての研究もなされてきた. Linzen らは主語と動詞の一致 を通じてモデルの文法的な構造を捉える能力を検証した [15]. また，岡本らは構文情報を与えた時の LSTM [16] の内部表現の分析を行った [17]. また，深層学習モデルが構成性を捉えた汎化が可能かにつ いての議論が盛んであるが [6,7], Transformer が数式を再帰的に処理可能であることを示せれば，この 議論に対し肯定的な証拠を提供できるだろう。

## 3 問題設定

## 3.1 四則演算計算タスク

本研究においては図 1 のように数式をテキストと してモデルに入力し，答えを数値として回帰させる ようなタスクを考える。 入力は表 1 のような 9 種類 の数式で, 出力は各数式の答え $x_{i}$ を正規化した数で ある. 正規化は以下の式で行われ，教師データとし ては実際の答え $x_{i}$ ではなく正規化された数 $x_{i}^{\prime}$ が使用される。

$
x_{i}^{\prime}=\frac{x_{i}-\min _{i} x_{i}}{\max _{i} x_{i}-\min _{i} x_{i}}
$

このような計算の答えを正しく出力するためには， (1) 数の順序構造や足し算, 掛け算の概念を把握す ること, (2) 計算の木構造を把握し, 計算の途中結果 を保存することが必要となる. ${ }^{1)}$

表 1 : 入力される数式のテンプレート

## 3.2 計算途中結果保存プロービングタスク

3.1 節で示したタスクを学習する際，モデルは最終的な計算結果のみが教師データとして与えられて おり，その計算の途中結果は与えられていない。今回我々は $(a+b) \times(c+d)$ 中の $a+b$ の值のような, 明示的に学習させていないが計算を適切に行うために は保存することが必要だと思われる計算の途中結果 に着目し，このような値がモデルに保存されている かを検証する. 具体的には， 3.1 節のタスクで学習 したモデルに対して，その隠れ層の内部表現から計算の途中結果を線形回帰させることができるかを検証する.より詳細な設定は以下各実験で詳述する.

## 4 実験

## 4.1 実験設定

データセット 訓練データ，検証データには表 1 にある 9 パターンの数式と正規化されたその答え を使用する．訓練，検証用データのサイズはそれぞ れ 9 万， 1 万であり，2つのデータに登場する数値 に重複はない. 数式中に登場する項 $a, b, c, d$ は全て 1,000 未満の正の実数である．また，プロービング 用に $(a+b) \times(c+d)$ の形のみのデータを 3,000 件用意した. このデータ中の数式の項 $a, b, c, d$ は全て 100 以上 1,000 未満の自然数である.これは後に内部表現の分析をするに当たって，桁数を揃えてべク トルの次元ごとの役割の対応を取るためである。

性能評価 性能評価には決定係数 $R^{2}$ を使用する. $R^{2}$ は観測値 $y_{i}$ と予測値 $\hat{y}_{i}$ について以下の式で表さ れる。

$
R^{2}(y, \hat{y})=1-\frac{\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}}{\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}}
$

ただし， $\bar{y}$ は観測値 $y_{i}$ の平均である. この值が 1 に 近いほど正確な回帰ができていることを表す.

モデル モデルには Poor Man’s BERT [18] を使用 する.これは BERT [10] の下位 6 層を使用したモデ ルで, [CLS]トークンから線形回帰を行う.また，入力は BERT を用いた数量推論で有効性が示されて いる Geva ら [11] の手法に従い，数字については 1

図 2: 四則演算計算タスクの回帰結果. いずれの計算タイ プの数式も解くことができている.

桁ずつ分割を行う．例えば， 123 という数字が入力 される際，1,\#\#2,\#\#3のように分割される。

プロービング 数式 $X=\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ を学習済 み Poor Man's BERT に入力した際の $N$ 層目の内部表現を $H_{N}=\left(h_{1}, h_{2}, \cdots, h_{n}\right)$ とする. ここで, $H_{N}$ の各 ベクトル（768 次元）を連結させて新たに（ $768 \times n)$次元のベクトルを作る． 4.3 節で行うプロービング の際はこの結合済みベクトルから途中結果の値を線形回帰器によって回帰させる.

## 4.2 四則演算計算タスク

訓練データ上でモデルを学習させた際の検証デー タにおける回帰結果は図 2 のようになり, 決定係数 は 0.9995 と非常に高い值であった. 図 2 から，9つ の異なるパターンを同時に学習させても，各数式の 意味や大小関係を理解し, 解くことができているこ とがわかる. 次節以降では，ここで学習したモデル についてプロービングを行う。

## 4.3 計算途中結果保存プロービングタスク

本節では表 1 で示されている 9 つのパターンの数式のうち $(a+b) \times(c+d)$ のタイプに着目し, この数式の計算途中結果である $a+b$ や $c+d$ をモデルの 各層ごとの内部表現 $H_{N}$ を $n=23$ としで2) 連結した 17,664 次元のベクトルから取り出すことができるか を検証する。できるだけ内部表現自体の能力を測 り，新しく学習で教えないようにするためプロービ ングデータ中の $1 \%$ 訓練データ，残りの $99 \%$ を評価データとしてプロービングを行った. その結果を 図 3 に示す. 図 3 から，わずかなデータポイントか

図 3: 計算途中結果保存プロービングタスクの結果. どの 層の隠れ表現からでも計算の途中結果を回帰するこ とができている.

らでも計算の途中結果である $a+b$ や $c+d$ を回帰で きていることがわかる（最大で決定係数 0.99）。こ こから，Transformer は明示的に計算の途中結果を保存するように訓練していなくても，暗黙的に数式の 再帰的構造を捉え，途中結果を保存することができ ているといえる。今回の実験では訓練データをかな り少なくしたが，驚くべきことにすべての層から回帰できる結果となった. では, すべての層で計算途中結果の情報は同じように表現されているのだろう か. 層ごとの違いを明らかにするため，次節では計算の流れをより仔細に調査する。

## 4.4 隠れ層の空間構造の分析

ここでは 4.3 節で示されたような再帰的構造把握能力がどのように達成されているのかについて，プ ロービングデータに対して内部表現の主成分分析 （PCA）を行って検証する。

## 最終計算結果, 計算途中結果と各成分の関係 本実験では 4.3 節で使用された 17, 664 次元の結合済み ベクトルに対して主成分数 20 で PCA を行い, PCA 後の各成分に対する計算中の途中結果や最終結果と の相関関係を測定する. ${ }^{3)}$ このうち， 1 層目，2 層目， 5 層目，6層目における結果を図 4 に示す. ${ }^{4)}$ 図 4 か ら, 最終結果 $(a+b) \times(c+d)$ の情報は層が上がるに つれて第一主成分に集中することがわかる。一方で 計算途中結果の情報を含む成分は特に上の層では分散して存在する. すなわち, 計算の途中結果が分散的に表現されていることがわかる。例えば 2 層目に

(a) 1 層目

(c) 5 層目

(b) 2 層目

(d) 6 層目

図 4: 層ごとの各主成分と計算結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分（列）とある計算途中結果（行）と の相関係数の絶対值を表す.

おいては第一主成分，第二主成分が $a+b$ と相関が 強く，他の成分はほぼ相関がないが，5 層目や 6 層目ではある程度の相関を持つ成分の幅が広がってい る.さらに，図 4(a)～(d) の移り変わりを見ると，第一主成分以外で途中結果と強い相関を持つ成分が 徐々に下位に移っていることがわかる.ここから， モデルにとって低い層では途中結果を重要な情報と して持ち，上の層に行くにつれて途中結果が保存さ れ続けてはいるものの重要でなくなっていることも 示唆される。

## 主成分による計算途中結果プロービング 途中結果が分散的に表されているという観察結果を検証 するため，4.3 節と同じ設定でのプロービングを再度行う. ただし，今回線形回帰器の入力となるのは PCA 後の上位 $k$ 個の主成分である. 例えば， $k=1$ の時は第一主成分の值のみから $(a+b) \times(c+d)$ 中の 途中結果である $a+b$ の值を回帰することになる. このプロービングの結果を図 5 に示す. 図 5 から，一般に $k$ を増やすほど途中結果の值を回帰できるよ うになっていることが見て取れる. ここからも，モ デルは計算の途中結果を複数の成分に分散して保存 していることが裏付けられる。また，より詳細に見 ていくと 1〜4 層目では 2 個以上の主成分を使用し た時に性能が大きく上がっているが，5 層目，6層目では $a+b$ の値と相関が高い成分が下位になって いるため，5 層目では $k=2 ， 6$ 層目では $k=4$ での 回帰スコアが急激に下がっている. これは図 4 と一致する結果である.

図 5: $k$ 個の主成分による計算途中結果プロービングタス クの結果. 上層においては寄与率が低い主成分を用 いなければ解けない。

## 5 おわりに

本研究では計算の途中結果を保存することが求め られるような数式を定義することで，Transformer の 再帰的構造の把握能力の有無を調査した.その結果 として，Transformer は内部的に計算の途中結果を教師なしで保存できていることがわかった.またこの 時，計算の途中結果は分散的に保存されていること を示した。

今回は再帰性について検証を行ったが，数式の性質を用いることで処理の流れや構成性など別の能力 を測ることも可能であると考えるため，今後の展望 としたい．また，数式のような形式言語にあえて曖昧性を持たせるなどしてょり自然言語に近い設定 で再帰的構造の把握能力を調査する方向も考えら れる。

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 20K23314, 21K17814 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Alessandro Raganato and Jörg Tiedemann. An analysis of encoder representations in transformer-based machine translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Noam Chomsky. Syntactic Structures. Mouton and Co., The Hague, 1957.

[6] Brenden Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequence-tosequence recurrent networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 2873-2882. PMLR, 10-15 Jul 2018.

[7] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9087-9105, Online, November 2020. Association for Computational Linguistics.

[8] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[12] Eric Wallace, Yizhong Wang, Sujian Li, Sameer Singh, and Matt Gardner. Do NLP models know numbers? probing numeracy in embeddings. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5307-5315, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021.

[14] Avijit Thawani, Jay Pujara, Filip Ilievski, and Pedro Szekely. Representing numbers in NLP: a survey and a vision. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-656, Online, June 2021. Association for Computational Linguistics.

[15] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[16] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[17] 岡本千尋, 内海慶, 持橋大地. 構文情報を陽に与えた ときの $1 \mathrm{stm}$ による内部表現について. 情報処理学会, 2018.

[18] Hassan Sajjad, Fahim Dalvi, Nadir Durrani, and Preslav Nakov. On the effect of dropping layers of pre-trained transformer models, 2021.

## A 主成分分析の詳細な結果

4.4 節で載せられなかった 3 層目， 4 層目も含めた主成分分析の結果を図 6 に示す. 図 6 からも，やはり,第一主成分以外で途中結果と強い相関を持つ成分が徐々に下位に移っていることが見て取れる.

(a) 1 層目

(c) 3 層目

(e) 5 層目

(b) 2 層目

(d) 4 層目

図 6: 全ての層における各主成分と計算結果の相関関係のヒートマップ.


# 単語ベクトルの長さは意味の強さを表す

大山百々勢 $*, 1,3$ 横井祥 ${ }^{*, 2,3}$ 下平 英寿 ${ }^{*}, 1,3$
1 京都大学 2 東北大学 3 理化学研究所
oyama.momose@sys.i.kyoto-u.ac.jp yokoi@tohoku.ac.jp
shimo@i.kyoto-u.ac.jp

## 概要

単語ベクトルは単語の持つ様々な言語的特性を 反映していると考えられるが，単語ベクトルの長さ に何がどのようにエンコードされているかは明ら かでない. 本稿では，単語べクトルの長さが意味の 強さをエンコードするという経験的な知見に理論的な枠組みを与える. はじめに意味の強さの指標と して，各単語の周辺単語分布とコーパス全体の単語分布の Kullback-Leibler (KL) 情報量を提案する。ま たこの指標の妥当性を，単語頻度によるバイアスを KL 情報量から適切に除去した尺度が品詞の違いを 識別できるという実験を通して確かめる。さらに， Skip-gram with Negative Sampling によって得られる 単語ベクトルの長さの 2 乗が KL 情報量, つまり意味の強さに相当することを理論と実験で示す.

## 1 はじめに

自然言語処理のタスクにおいて欠かせない単語べ クトルには，単語の持つ各種意味的・統語的特性が エンコードされていることがわかっている $[1,2,3]$.本稿ではとくに単語べクトルの長さ（ユークリッド ノルム）に関して理論的・経験的分析をおこなう.

単語ベクトルの長さは「単語の意味の強さ」を反映すると既存研究でも考えられている．単語べクト ルの加法構成性を拡張して意味に関する論理演算 （AND，OR，NOT）を明らかにした先行研究 [4]によ れば，単語ベクトルの加算は AND 演算に相当する。 したがって，ある単語を複数回足し合わせてべクト ルを長くすることが意味を強める操作に対応する と予想される. また [5]によれば，固有名詞の方が より「弱い意味」を持つであろう機能語よりも単語 ベクトルが長いという実験結果が示されている.

本稿では「意味の強さ」という曖昧な対象を数理的に記述するため，その指標として注目している

単語の周辺単語分布とコーパス全体の単語分布の Kullback-Leibler (KL) 情報量を採用する．KL 情報量 はその単語が出現したという情報の大きさを表して おり，「意味の強さ」の指標として自然な選択肢だ と考えられる. この定式化によって，単語ベクトル の長さが意味の強さを表すという仮説に対して様々 な実証実験や理論保証が可能となる．たとえば，単語ベクトルの長さは KL 情報量と実際に密接な関係 があることが実験的に見て取れる（図 1）。た後ほ ど 3 節で示すように，ある特殊な白色化処理を施し た単語ベクトルの長さの 2 乗は，KL 情報量（つま り意味の強さ）の近似值であること示せる（図 4).経験的な検証にあたっては，単語頻度（コーパス における単語の出現回数) の影響が状況を複雑にす る. 頻度と KL 情報量には強い相関があり，頻度が 大きい単語ほど KL 情報量は小さい傾向がある（図 1).より多く使われる単語のほうが特殊性が低く意味が弱い傾向があると考えればごく自然なことであ る. さらに，KL 情報量は有限長のコーパスから計算するため，とくに低頻度語では量子化誤差やサン プリング誤差の強い影響をうける。そこで本論文で は，KL 情報量から頻度の直接的影響を除去した頻度補正済み KL 情報量を尺度として用いる。結果，固有名詞のほうが機能語や動詞より頻度補正済み KL 情報量の值が大きい傾向があることを，つまり 意味が強い傾向があることをより精確に確認する ことができた。すなわち，KL 情報量を用いた「長 さ＝意味の強さ」説の理論保証は，頻度のバイアス による擬似相関でないことが確認できた。

## 2 単語の KL 情報量と頻度の影響

## 2.1 単語の $K L$ 情報量

コーパスにおける単語 $w$ の確率を $p(w)$ とし, コーパス分布を $p(\cdot)$ と表す. 同様に, 単語 $w$ の周辺 （または文脈）単語が $w^{\prime}$ である確率を $p\left(w^{\prime} \mid w\right)$ とし，

図 $1 \mathrm{KL}$ 情報量と単語ベクトルの長さの 2 乗の散布図.各点は text8 コーパスから選んだ 1200 単語であり，単語頻度を色で表す. 高頻度語は暖色，低頻度語は寒色. 詳細は 2.3 節，3.2 節を参照.

図 2 単語頻度 $n_{w}$ と 3 種類の $\mathrm{KL}$ 情報量の散布図: $\mathrm{KL}(w)$ (raw), $\overline{\mathrm{KL}}(w)$ (shuffle), $\mathrm{KL}_{0}(w)$ (round). 各点は text8 コーパ スから選んだ 1200 単語.

周辺単語分布を $p(\cdot \mid w)$ と表す. 分布仮説 $[6,7]$ によ れば，周辺単語分布 $p(\cdot \mid w)$ は単語 $w$ の意味を表す とされる。これらは確率分布であるから，語彙集合 を $V$ とすれば, $\sum_{w \in V} p(w)=\sum_{w^{\prime} \in V} p\left(w^{\prime} \mid w\right)=1$ であ る. $p(\cdot \mid w)$ の重み付き平均（または重心）がコーパ ス分布 $p(\cdot)$ であり, $p(\cdot)=\sum_{w \in V} p(\cdot \mid w) p(w)$ である.

2 つ分布 $p(\cdot \mid w)$ と $p(\cdot)$ の KL 情報量（または KL ダイバージェンス) は

$
\operatorname{KL}(p(\cdot \mid w) \| p(\cdot))=\sum_{w^{\prime} \in V} p\left(w^{\prime} \mid w\right) \log \frac{p\left(w^{\prime} \mid w\right)}{p\left(w^{\prime}\right)}
$

と定義される。本論文では，これを $\mathrm{KL}(w)$ と表し，単語 $w$ の $\mathrm{KL}$ 情報量とよぶ. $\mathrm{KL}(w)$ は $w$ の周辺単語分布がいかに重心からズレて特殊なものになってい くかを表していて，単語 $w$ のもつ情報の大きさと考 えられる。

## 2.2 単語頻度の直接的影響

$\mathrm{KL}$ 情報量は単語頻度と高い相関がある．実験設定は 2.3 節で説明するが，図 2 の raw は，単語 $w$ の 出現回数 $n_{w}$ （これを単語頻度とよぶ）と $\mathrm{KL}(w)$ の 関係を表している。単語頻度が小さいほど KL 情報量が大きくなる傾向がわかる. この傾向の大きな要因は，コーパスが有限長 $N$ であることによって生じ る誤差であり，一種のアーティファクトまたはバイ アスといえる。この誤差を本論文では，単語頻度の 直接的影響とよぶ.このような影響を適切に取り除 いた尺度を用いることで，正しく単語の意味の強さ が測定できる。

単語分布 $p(\cdot)$ と $p(\cdot \mid w)$ は有限長のコーパスか ら計算される. 単語 $w$ の確率は $p(w)=n_{w} / N$ であ る. 単語 $w$ の前後 $\pm h$ の窓における単語 $w^{\prime}$ の出現回数，すなわち共起回数を $n_{w, w^{\prime}}$ とすると，周辺単語 $w^{\prime}$ の確率は $p\left(w^{\prime} \mid w\right)=n_{w, w^{\prime}} / \sum_{w^{\prime \prime} \in V} n_{w, w^{\prime \prime}}$ で計算される（ただし，コーパスの端点を無視すれば， $\left.\sum_{w^{\prime \prime} \in V} n_{w, w^{\prime \prime}}=2 h n_{w}\right)$.

## 2.2.1 サンプリング誤差

もとのコーパスをランダムにシャッフル，すなわ ち単語を並べ替えたコーパスを考える [8]. $n_{w}$ とそ れから計算される $p(\cdot)$ は不変であるが，単語の共起回数 $n_{w, w^{\prime}}$ とそれから計算される $p(\cdot \mid w)$ は単語の意味を反映しなくなる。このようにして作った $n_{w, w^{\prime}}$ は，コーパス端点の影響を無視すれば， $p(\cdot)$ をパラ メータにもつ多項分布からのサンプリングに等価で ある.このランダムなコーパスから計算した単語 $w$ の $\mathrm{KL}$ 情報量の平均値を $\overline{\mathrm{KL}}(w)$ とする. 実験では， ランダムにシャッフルしたコーパスを 10 個作成し, その $\mathrm{KL}(w)$ の平均值を $\overline{\mathrm{KL}}(w)$ として用いる. これ は単語の意味は反映せず，サンプリングによるラ ンダムネスの影響のみを表している。図 2 の shuffle に示すように, $\overline{\mathrm{KL}}(w)$ は $n_{w}$ が小さいほど大きくな る. $\mathrm{KL}$ 情報量から頻度の直接的影響を取り除いた $\mathrm{KL}(w)-\overline{\mathrm{KL}}(w)$ を頻度補正済み $\mathrm{KL}$ 情報量とよぶこ とにする。本論文では，これを意味の強さの尺度と して用いる.

## 2.2.2 量子化誤差

低頻度語 $w$ では $n_{w}$ が小さいため, $n_{w, w^{\prime}}=0$ と なる $w^{\prime}$ が増えてスパースになり, 回数が整数値 しかとらないことによる量子化誤差の影響も無視

できなくなる.そこで $n_{w, w^{\prime}}:=\operatorname{round}\left(n_{w} p\left(w^{\prime}\right) 2 h\right)$ と 再定義して計算した $\mathrm{KL}$ 情報量を $\mathrm{KL}_{0}(w)$ とし，図 2 の round に示す. 整数值の丸め誤差がなければ， $p\left(w^{\prime} \mid w\right)=p\left(w^{\prime}\right)$ となり $\mathrm{KL}_{0}(w)=0$ のハズである. しかし実際には， $n_{w}$ が小さい単語では $\operatorname{KL}_{0}(w)$ は 無視できない大きさになっている. 3 節で単語べ クトルの長さと KL 情報量の関係を確認するとき， $\mathrm{KL}(w)-\mathrm{KL}_{0}(w)$ を使うことで， $\mathrm{KL}$ 情報量のゼロ点調整を行う.

## 2.3 実験

KL 情報量から単語頻度の直接的影響を除去した 尺度を計算し，単語の意味の強さがこの尺度の大小 に反映されているか確認する. text8コーパスの単語共起行列から KL 情報量を計算する。単語集合 1 は コーパスからバランス良く選んだ 1200 単語, 単語集合 2 は固有名詞 10561 単語，機能語 123 単語，動詞 4771 単語からなる. 実験設定の詳細は付録 Bを 参照.

【実験 1 単語集合 1 の各単語 $w$ について $\operatorname{KL}(w)$ を 計算する. SGNS[9] で計算した 300 次元の単語べク トル $u_{w}$ の長さの 2 乗 $\left.\|u_{w}\right.\|^{2}$ との関係を図 1 に示し た. 単語頻度の直接的影響を図 2 に示した. 単語べ クトルの詳細な結果は 3.2 節で示す.

実験 2 単語集合 2 の各単語 $w$ について $\operatorname{KL}(w)-$ $\overline{\mathrm{KL}}(w)$ を計算した結果を図 3 に示す. 固有名詞は,機能語や動詞よりも大きな値になる傾向がある. 固有名詞の文脈は機能語や動詞の文脈に比べて限定的 と考えられ，相対的に意味が強くなりやすいと期待 される [5] ことと矛盾無い結果が得られた. 固有名詞のうち出現回数が 100 回以上 1000 回未満の 2428 単語について, $\mathrm{KL}(w)-\overline{\mathrm{KL}}(w)$ の値でソートした上位，中位，下位の各 10\% 区間の単語から，それぞれ 10 単語をランダムにサンプリングしたものを表 1 に 示す. この処理では大文字小文字の区別はしておら ず，storm, haven などむしろ普通名詞とすべきものが 含まれている。このような普通名詞が下位 240 単語 には多く見られる。一方，上位 240 単語には企業名 などの固有名詞が多く見られる。

## $3 \mathrm{KL$ 情報量と単語ベクトルの長さ}

図 1 で見たように，単語べクトルの長さの 2 乗は KL 情報量の近似であることが予想される。このこ とを理論的，実験的に示す.

図 3 単語頻度 $n_{w}$ と意味の強さの尺度 $\mathrm{KL}(w)-\overline{\mathrm{KL}}(w)$ をプロットした. 固有名詞は 10561 単語（赤)，機能語は 123 単語（青)，動詞は 4771 単語（緑）である.

表 1 text8コーパス内での出現回数が 100 回以上 1000 回未満の名詞・固有名詞について, $\mathrm{KL}(w)-\overline{\mathrm{KL}}(w)$ の値の上位・中位・下位それぞれ 240 単語からランダムに 10 個ず つサンプリングした.

## 3.1 理論

SGNS では 2 種類の単語ベクトルを学習する．単語側埋め込みを $u_{w}, w \in V$ ，文脈側埋め込みを $v_{w^{\prime}}$, $w^{\prime} \in V$ とする. これらの重心を $\bar{u}=\sum_{w \in V} p(w) u_{w}$, $\bar{v}=\sum_{w^{\prime} \in V} p\left(w^{\prime}\right) v_{w^{\prime}}$ とし，頻度重み付き中心化した 単語ベクトルを $\hat{u}_{w}:=u_{w}-\bar{u}_{w}, \hat{v}_{w^{\prime}}:=v_{w^{\prime}}-\bar{v}$ とする.

SGNS の negative sampling 分布を $q(\cdot)$ ， 1 共起当た りの負例数を $v$ とする. 理想的な学習で単語べク トルが得られていると仮定すれば，周辺単語分布は $p\left(w^{\prime} \mid w\right)=v q\left(w^{\prime}\right) e^{\left.\langle u_{w}, v_{w^{\prime}}\right.\rangle}$ である. 議論を簡単にす るため $p(\cdot)=q(\cdot)$ と仮定すると，KL 情報量は

$
\mathrm{KL}(w) \simeq \frac{1}{2} u_{w}^{\top} \operatorname{Cov}(v) u_{w}
$

ただし $\operatorname{Cov}(v)$ は文脈側埋め込みの頻度重み付き分散共分散行列である.この導出は付録 Aを参照. $u=0$ が $q(\cdot)$ に， $u=\bar{u}$ が $p(\cdot)$ に対応することを考慮 すると，一般に $p(\cdot) \neq q(\cdot)$ のときは $u_{w}$ を $\hat{u}_{w}$ でおき

かえたほうがよい，そこで， $\hat{u}_{w}$ を文脈側べクトル で白色化 ${ }^{1)}$ したべクトルを $\tilde{u}_{w}:=\operatorname{Cov}(v)^{\frac{1}{2}} \hat{u}_{w}$ とおけ ば， $\left.\|\tilde{u}_{w}\right.\|^{2} \simeq 2 \mathrm{KL}(w)$.

## 3.2 実験

text8 コーパスから SGNS を用いて 300 次元の 単語べクトル $u_{w}, v_{w}, w \in V$ を学習した. 反復数 は 100 エポックとした. 量子化誤差の影響（2 節 を参照）を考慮するためにゼロ点調整を行った KL 情報量を用いる。単語集合 1 の 1200 単語に ついて KL 情報量と $\left.\|\tilde{u}_{w}\right.\|^{2}$ の関係を図 4 に示す. $\left.\|\tilde{u}_{w}\right.\|^{2} \simeq 2\left(\mathrm{KL}(w)-\mathrm{KL}_{0}(w)\right)$ の関係が比例定数を含 めて近似的に成立していることが確認できる。

図 4 縦軸は文脈ベクトルで白色化した単語ベクトル $\tilde{u}_{w}$ の長さの 2 乗. 横軸は $2\left(\mathrm{KL}(w)-\mathrm{KL}_{0}(w)\right)$. その他の設定 は図 1 と同じ.

## 4 単語ベクトルの長さと意味の強さ

2 節と 3 節の結果から，単語ベクトルの長さに単語の意味の強さがエンコードされていることが示唆 される。これを実験的に確認する．KL 情報量と同様に単語ベクトルの長さにもサンプリング誤差があ るため，2.2.1 節の方法で単語頻度の直接的影響を 取り除く.ランダムにシャッフルしたコーパスから 学習した $\left.\|u_{w}\right.\|^{2}$ の平均値を $\overline{\left.\|u_{w}\right.\|^{2}}$ とする.ここでは 10 回の平均値を用いる.

図 5 は単語ベクトルの頻度補正済み長さの 2 乗 $\left.\|u_{w}\right.\|^{2}-\overline{\left.\|u_{w}\right.\|^{2}}$ を図 3 と同様にプロットしたもので ある．KL 情報量を用いたときとまったく同様に，機能語，動詞に比べて固有名詞の意味が強い傾向が 読み取れる． $u_{w}$ の代わりに文脈ベクトルで白色化 した単語べクトル $\tilde{u}_{w}$ を用いた場合を図 6 に示す。 $\tilde{u}_{w}$ を用いると $\mathrm{KL}$ 情報量 $\times 2$ に相当するため解釈が

1）本稿では便宜上「白色化」と呼んでいるが，変換式において $\operatorname{Cov}(v)$ の次数は $-\frac{1}{2}$ ではなく $\frac{1}{2}$ であることに注意されたい.容易になる反面，低頻度領域で若干のバイアスが 残っているように見える点は今後の課題である.

図 5 単語頻度 $n_{w}$ と単語ベクトルの頻度補正済み長さの 2 乗 $\left.\|u_{w}\right.\|^{2}-\overline{\left.\|u_{w}\right.\|^{2}}$ のプロット.

図 6 単語頻度 $n_{w}$ と文脈ベクトルで白色化した単語べ クトルの頻度補正済み長さの 2 乗 $\left.\|\tilde{u}_{w}\right.\|^{2}-\overline{\left.\|\tilde{u}_{w}\right.\|^{2}}$ のプ ロット.

## 5 おわりに

単語の KL 情報量を「意味の強さ」と解釈するこ とを提案した。単語の品詞の違いや，名詞・固有名詞の違いが矛盾なく意味の強さに反映されている ことを数値例で確かめた。単語の KL 情報量の代わ りに単語ベクトルの長さの 2 乗を用いても同じよ うに意味の強さが測れることを確かめた。これら の評価では単語頻度の影響を適切に除去すること が重要であり，そのためにランダムにシャッフル したコーパスを用いて KL 情報量を補正した。今後 は，WordNet[10] 等のデータベースを用いて単語の 上位・下位関係，含意関係などがどのように反映さ れているか確かめたい.

## 謝辞

本研究は, JSPS 科研費 $20 \mathrm{H} 04148$, JST CREST

JPMJCR21N3，JST ACT-X JPMJAX200S の助成を受

けています.

## 参考文献

[1] Tobias Schnabel, Igor Labutov, David Mimno, and Thorsten Joachims. Evaluation methods for unsupervised word embeddings. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 298-307, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[2] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in BERTology: What we know about how BERT works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[3] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960, Online, November 2020. Association for Computational Linguistics.

[4] Masahiro Naito, Sho Yokoi, Geewook Kim, and Hidetoshi Shimodaira. Revisiting additive compositionality: AND, OR and NOT operations with word embeddings, 2021. ACL-IJCNLP 2021 Student Research Workshop.

[5] Adriaan M. J. Schakel and Benjamin J. Wilson. Measuring word significance using distributed representations of words, 2015. arXiv 1508.02297.

[6] Zellig Harris. Distributional structure. Word, Vol. 10, No. 2-3, pp. 146-162, 1954.

[7] J. R. Firth. A synopsis of linguistic theory 1930-55. Studies in Linguistic Analysis (special volume of the Philological Society), Vol. 1952-59, pp. 1-32, 1957.

[8] Kumiko Tanaka-Ishii. Statistical Universals of Language. Springer, 2021

[9] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, pp. 3111-3119, 2013.

[10] Christiane Fellbaum. WordNet: An Electronic Lexical Database. Bradford Books, 1998.

[11] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

## A KL 情報量の近似式

KL 情報量が十分に小さいとき近似的に対称にな り $\mathrm{KL}(p(\cdot \mid w) \| p(\cdot)) \simeq \mathrm{KL}(p(\cdot) \| p(\cdot \mid w))$ である.こ れに $p\left(w^{\prime} \mid w\right)=v p\left(w^{\prime}\right) e^{\left.\langle u_{w}, v_{w^{\prime}}\right.\rangle}$ を代入すると，

$
\begin{aligned}
& \operatorname{KL}(p(\cdot) \| p(\cdot \mid w)) \\
= & \sum_{w^{\prime} \in V} p\left(w^{\prime}\right) \log \frac{p\left(w^{\prime}\right)}{p\left(w^{\prime} \mid w\right)} \\
= & \sum_{w^{\prime} \in V} p\left(w^{\prime}\right)\left(-\log v-\left.\langle u_{w}, v_{w^{\prime}}\right.\rangle\right) \\
= & -\log v-\left.\langle u_{w}, \bar{v}\right.\rangle
\end{aligned}
$

ところで,$\sum_{w^{\prime} \in V} p\left(w^{\prime} \mid w\right)=1$ であることから，

$
\begin{aligned}
1 & =\sum_{w^{\prime} \in V} p\left(w^{\prime} \mid w\right) \\
& =\sum_{w^{\prime} \in V} v p\left(w^{\prime}\right) e^{\left.\langle u_{w}, v_{w^{\prime}}-\bar{v}\right.\rangle} e^{\left.\langle u_{w}, \bar{v}\right.\rangle} \\
& =v e^{\left.\langle u_{w}, \bar{v}\right.\rangle} \sum_{w^{\prime} \in V} p\left(w^{\prime}\right)\left(1+\left.\langle u_{w}, v_{w^{\prime}}-\bar{v}\right.\rangle+\right. \\
& \left.\quad \frac{1}{2}\left.\langle u_{w}, v_{w^{\prime}}-\bar{v}\right.\rangle^{2}+\cdots\right) \\
& \simeq v e^{\left.\langle u_{w}, \bar{v}\right.\rangle}\left(1+\left.\langle u_{w}, \bar{v}-\bar{v}\right.\rangle+\frac{1}{2} u_{w}^{\top} \operatorname{Cov}(v) u_{w}\right) \\
& \simeq v e^{\left.\langle u_{w}, \bar{v}\right.\rangle} \exp \left(\frac{1}{2} u_{w}^{\top} \operatorname{Cov}(v) u_{w}\right)
\end{aligned}
$

ただしテイラー展開の高次項は無視している.この 式を KL 情報量の式に代入すると

$
\mathrm{KL}(w) \simeq \frac{1}{2} u_{w}^{\top} \operatorname{Cov}(v) u_{w}
$

## B 実験設定

共起行列の計算コーパス長 $N=170 \mathrm{M}$ の text8 コーパス2)を用いる。単語の共起行列 $\left(n_{w, w^{\prime}}\right)_{w, w^{\prime} \in V}$ の計算では $h=10$ とし，コーパスの端点を除いて前後 $\pm h$ の単語を共起した単語として数える。

単語集合 1 単語の KL 情報量, 頻度, 単語ベクト ルの長さの関係を調べる実験（図 1 , 図 2 , 図 4）では, コーパスの最初の 200 単語と, 出現頻度順にソート して 50 単語おきに選んだ 1000 単語の合計 1200 単語を用いる。

単語集合 2 単語の意味の強さを確認する実験で は, 単語の品詞として固有名詞 (proper nouns), 機能語 (function words), 動詞 (verbs) を用いる. 固有名詞 は English Proper nouns データベース3)に掲載されて いる 61711 単語の中から text8 コーパスに登場する

2) http://mattmahoney.net/dc/textdata.html

3) https://github.com/jxlwqq/english-proper-nouns/
10561 単語を使用する. 機能語と動詞は NLTK[11] の POS tagging によって取得する. 機能語は POS tagging によって\{IN, PRP, PRP\$, WP, WP\$, DT, PDT, WDT, CC, MD, RP\}でタグ付けされた単語の中から text8 コーパスに登場する 123 単語を使用する. 動詞 は POS tagging によって\{VB, VBD, VBG, VBN, VBP, VBZ\}でタグ付けされた単語の中から text8コーパス に登場する 4771 単語を使用する。


# 個別銘柄情報と銘柄間情報を考慮した銘柄埋め込み手法の提案

高柳剛弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$
1 東京大学 大学院工学研究科
m2021ttakayanagi@socsim.org

## 概要

本研究では個別銘柄と銘柄間関係の特徴を同時に 学習する新たな銘柄埋め込み手法を提案する。提案手法では，因果チェーンにより銘柄間ネットワーク を構築し，アニュアルレポートのテキストデータか ら BERTを用いて個別銘柄独自の特徴を学習するの に加えて，銘柄間ネットワークに対して GCNを用 いることで銘柄間のクロスセクショナルな関係を同時に学習することを可能にした. 東京証券取引所の 上場銘柄を対象に行った実験により，提案手法が既存手法の性能を大きく上回ることを確認し，銘柄独自の特徴と銘柄間のクロスセクショナルな関係を同時に学習することの有用性を示した。

## 1 はじめに

今日の金融市場において機械学習やテキストマイ ニングなどの技術の活用が進んでいる．金融市場や 投資家にまつわる膨大なデータの蓄積やそれに伴う 大規模データ解析技術の進展は金融分野における 技術発展を加速させている．特に資産運用分野では 株価や経済指標の数値予測 $[1,2,3]$, 銘柄の推薦 [4] や投資家のサポート $[5,6]$ などデータを駆使した多様なアプリケーションが生まれた。これらのアプリ ケーションには離散オブジェクトである個別銘柄や ファンドをべクトルで表現するアプローチが多く用 いられ $[1,2,3,4,5,6]$, 個別銘柄やファンドのべク トル埋め込みは資産運用分野における技術発展の基盤となっている.

一般に離散オブジェクトをべクトルにより表現す る際にはそのオブジェクトの特徴を捉える必要があ る. 特に銘柄の特徴は銘柄自身の情報と銘柄間のク ロスセクショナルな関係の情報の二つにより表すこ とができると考えられる．銘柄自身の特徴を表現す るためのデータとして企業の株価や財務情報など伝統的なデータのみならず，テキストデータなどの才 ルタナティブデータの利活用が進んでいる。 [5] は銘柄埋め込みを作成する際のテキストデータの有用性について示した.

一方で銘柄間関係の表現については，企業のサプ ライチェーン，取引構造や株式所有構造などの企業間の関係を模した企業間ネットワークを利用する手法が多く用いられている $[1,2,3,4,6]$. このように 銘柄のベクトル埋め込みには二つのアプローチが存在し，個別銘柄の情報，銘柄間の情報共に有用であ ることが示されている.

しかしながら既存研究では銘柄自身の情報と銘柄間関係の情報の双方を同時に考慮することができて おらず，銘柄の一側面のみに注目した研究になって いる。加えて，企業間の関係はサプライチェーンや 取引データなど方向性のある関係である。このこと から有向グラフにより企業間の関係を抽出する方法 が妥当であると考えられるが，既存研究では無向グ ラフにより企業ネットワークが構築され，有向グラ フの有用性は検証されていない。

これらの課題を解決するために，本研究では BERT と GCN（Graph Convolutional Network）を組み 合わせることで個別銘柄の情報と銘柄間関係を同時 に学習させる手法を提案する。提案手法では初めに 因果チェーンを用いて銘柄間ネットワークを構築す る. 次に銘柄のテキスト情報に対して BERTを用い ることで得られる個別銘柄独自の特徴をノード特徴量として用いる．最後に銘柄間ネットワークに対し てGCNを用いることで銘柄とその周辺銘柄の関係性を考慮した銘柄埋め込みを獲得する。

実験を通して提案手法は先行研究の性能を上回 り，銘柄埋め込みに対して個別銘柄と銘柄間の関係性を同時に学習させることの有用性が示された。加 えて，銘柄を因果チェーンで結んだ有向グラフを作成することで，企業間の関係性を示すために有向グ ラフが有用である可能性を示した.

## 2 先行研究

銘柄のベクトル埋め込みの研究は大きく分けて二 つに分けることができる。一つ目は個別銘柄の特徴 に注目するアプローチである。このアプローチでは 銘柄の産業区分や事業の内容など銘柄独自の情報を ベクトル表現に織り込むことにより銘柄のベクトル 表現を獲得している. [5] の研究ではアニュアルレ ポートのテキスト情報から個別企業の特徴を抽出す ることで銘柄のべクトル表現を獲得した. 二つ目は 銘柄間のクロスセクショナルな関係性に注目するア プローチである. このアプローチでは企業のサプラ イチェーン，取引関係や株式所有構造などの銘柄間 の関係の情報をべクトル表現に織り込むことにより 企業のベクトル表現を獲得している $[1,2,3,4,6]$.

[1] では株主所有構造に [3] ではニュースにおける 銘柄の共起性に [6] では銘柄と投資信託の内包関係 によりネットワークを構築し Node2Vec を用いて埋 め込みを獲得している. [2]では株式所有構造，企業の産業区分，ニュースのトピック情報に，[4]では 銘柄の産業区分によりネットワークを作成し GCN を用いて埋め込みを獲得している。

## 3 提案手法

本研究の目的はターゲット銘柄 $T_{i}$ についての $d$ 次元のベクトル $h_{i} \in \mathbb{R}^{d}$ を得ることである. 提案手法 は図 1 の通りである. 初めに因果チェーンからター ゲット銘柄 $T_{i}$ を中心とするサブグラフを抽出する (STEP1). 次に各ノードのノード特徴量を BERT に 入力する (STEP2). 最後に GCNを用いてノード特徴量を更新する（STEP3).

## 3.1 BERT

自然言語処理のタスクで優れた性能を示してい る BERT[7] を用いてテキストデータの埋め込み表現を獲得する. BERT は東北大学の乾研究室 ${ }^{1}$ が公開している Pretrained Japanese BERT model を利用し た. BERTは専門単語が多い領域である金融分野に おいて金融コーパスを用いて再事前学習（further pretraining）をすることでの精度向上が報告されて いる [8]. これに従い本研究では金融コーパスを用 いた再事前学習を行い，再事前学習された BERT モ デルを用いて学習を行った.

$
h_{B E R T}=B E R T\left(x_{i}\right)
$

ここで $x_{i}$ はターゲット銘柄 $i$ のテキストデータであ り, $h_{B E R T} \in \mathbb{R}^{e}$ は BERT の出力である.

## $3.2 \mathrm{GCN, \mathrm{GAT}$}

GCN (Graph Convolutional Network)[9] は各ノード が隣接ノードから情報を集約（aggregate）し，自身 の情報を更新（update）していくニューラルネット ワークの手法である.

$
h_{G C N}=\sigma\left(\sum_{j \in N_{i}} \hat{D}^{-\frac{1}{2}} \hat{A} \hat{D}^{-\frac{1}{2}} h_{j} W+b\right)
$

ここで, $\sigma$ は $\operatorname{ReLU}$ 関数などの非線形活性化関数, $N_{i}$ はターゲット銘柄 $i$ の隣接ノード， $\hat{A}$ はグラフの 隣接行列 $A+$ 単位行列 $I_{N}, \hat{D}$ は $\sum_{j} \hat{A}_{i i}, h$ は GCN の入力, $W$ は重み行列, $b$ はバイアスを示している.

GAT (Graph Attention Network)[10] は隣接ノードの 情報を集約（aggregate）する際にアテンションメカ ニズムを用いることにより，隣接ノードの重要性を 考慮に入れるモデルである. GAT のアテンション 係数は以下のように計算される。

$
a_{i j}=\frac{\exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{j}\right]\right)\right)}{\sum_{k \in N_{i}} \exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{k}\right]\right)\right)}
$

ここで, $a$ は attention mechanism (ここでは一層の全結合層）であり，\|は連結演算（Concatenation operation） を示し, 活性化関数には negativeslope $=0.2$ の LeakyReLUを適応している.

## 3.3 残差接続

残差結合は GCN（または GAT）の出力に, BERT の出力をそのまま足しこむことで，BERTにより得 られた銘柄独自の情報を「残す」役割をはたす. 残差結合は以下のように計算される.

$
\begin{aligned}
& h_{B E R T}=B E R T\left(x_{i}\right) \\
& h_{G C N}=G C N\left(h_{B E R T}\right) \\
& h_{\text {res }}=h_{B E R T}+h_{G C N}
\end{aligned}
$

## 3.4 損失関数

本研究では TOPIX-17 と TOPIX-33 のラベルを 予測するマルチタスク学習を行う。損失関数は TOPIX-17 と TOPIX-33 の損失の和で示される.

$
\text { Loss }=\operatorname{Loss}^{\text {TOPIX-17 }}+\operatorname{Loss}^{\text {TOPIX-33 }}
$

図 1 提案手法の概要

TOPIX-17，TOPIX-33 の損失はそれぞれ以下のよう に計算される.

$
\begin{aligned}
& y_{i}^{T O P I X}=\text { Softmax }\left(W^{T O P I X} h_{i}+b^{\text {TOPIX }}\right) \\
& \operatorname{Loss}^{T O P I X}=\sum_{i \in \Omega} C E\left(d_{i}^{T O P I X}, y_{i}^{T O P I X}\right)
\end{aligned}
$

ここで $h_{i}$ は $\mathrm{GCN}$ の出力や残差接続された出力であ る. $\Omega$ は全銘柄を示し, $\mathrm{CE}$ は交差エントロピー損失関数を示す.ここでは TOPIX-17 と TOPIX-33 に 関して同様の計算を行うため，合わせて TOPIX と 記した。

## 4 実験設定

本研究では TOPIX-17 と TOPIX-33 のラベルによ る類似企業抽出を用いた. ベースラインモデル [5] との性能を比較する実験（第 1 実験）に加えて，有向グラフ，無向グラフそれぞれの性能の比較実験 （第 2 実験）を行った.

## 4.1 データセット

因果チェーン 本研究では因果チェーンを用いて 銘柄間のネットワークを作成する. 因果チェーン [11] は因果関係について記されたテキストデータを 解析することで，人間が認知するような因果関係を 抽出したデータである. [12] では因果チェーンがサ プライチェーンや取引関係のような企業間の関係を 表していることが示唆された.

ここでは因果チェーンの構築手法を [11] に基づき 概観する。因果チェーンは以下の 3 ステップにより 構築される。
Step1 SVM を使用して日本の決算短信の要約から 因果関係の表現を含む文を抽出.

Step2 原因と結果を示す構文パターンを定義し， そこに Step1 で抽出した文における因果関係を 抽出.

Step3 抽出された因果関係について，その終端 ノード (結果側) の表現と一定の類似性がある他 の決算短 信の起点ノード (原因側) とを連結し 因果チェーンを構築する。

また，因果関係にあるそれぞれの決算短信の発行日と企業名をキーとして，因果の出現数を集計す る. 本研究ではこの因果チェーンのデータを用いて 企業間の有向グラフを作成する。ここで，因果の出現回数が 100 以下のエッジは偶然の弱い繋がりと考 えてグラフから捨象している.

テキストデータ 本研究では決算短信，有価証券報告書やアニュアルレポートなど日本の金融レポー 卜を集めた CoARiJ ${ }^{2}$ データセットを用いた。再事前学習の際には 2014 年から 2018 年までのドキュメ ント全体を用い，学習時には 2018 年の各銘柄にお ける「事業の概要」のテキストデータを各銘柄の ノード特徴量として利用した.

## 4.2 学習

再事前学習 (further pretraining) CoARiJ 全体の 207332 個のテキストファイルに対して Masked language model と Next sentence prediction により 20 万 ステップに渡り BERT の全ての層に対する再事前学

2) https://github.com/chakki-works/CoARiJ
表 1 第 1 実験の結果

表 2 第 2 実験の結果

習（further pretraining）を行った.

学習 本研究では 3016 銘柄を対象に実験を行い，訓練データ，検証データ，テストデータを 2200 銘柄, 316 銘柄, 500 銘柄と分割した. 各銘柄のノード 特徴量には「事業の概要」の 512 トークンを用いた。 ターゲット銘柄を中心としたサブグラフごとに学習 を行うが，サブグラフ全体で勾配の逆伝播を行うと データリーケージの問題が発生するので，ターゲッ ト銘柄の勾配のみを逆伝播させる. BERT は最終層 のみ学習し, エポック数は 30 , 学習率は 0.001 , 才 プティマイザは Adamを用いた.

## 4.3 評価指標

本研究では TOPIX17，TOPIX33 のラベルを用いた 類似度企業抽出を評価指標に設定した. [5,13] に基 づき，Mean Average Precision at K (MAP@K)を用い て $\mathrm{K}=5,10,50$ でそれぞれ実験を行った. 評価の手順として，まずはそれぞれの銘柄に対するコサイン 類似度が最も大きい $\mathrm{K}$ 個の銘柄を選定し，それらを TOPIX17, TOPIX33をもとにMAP@Kを用いて評価 した.

## 5 結果

提案手法の性能を確かめるために，ベースライン である [5] の研究や提案手法内でのさまざまなモデ ルを組み合わせた実験を行い，提案手法が既存手法 をアウトパフォームしていることを確認した (表 1). ここで BERT 単体は個別銘柄独自の特徴のみ学習
し，BERT $\rightarrow \mathrm{GCN}$ (GCNのみ学習）では銘柄間関係 をメインに学習し，そして BERT+GCNでは個別銘柄独自の特徵と銘柄間関係を同時に学習している。結果から銘柄の埋め込みに対して個別銘柄独自の情報とクロスセクショナルな情報を同時に学習させ ることの有用性が示唆された. さらに，BERT+GCN よりも BERT+GCN+Residual connection で精度が高 いという結果は，残差結合により個別銘柄独自の特徵を「残す」ことで精度が向上したと解釈できる。

表 2 は因果チェーンから有向グラフと無向グ ラフを作成し精度を比較した実験の結果である。 BERT+GCN においても BERT+GAT においても有向 グラフによる学習の精度がより高いことから，企業間の関係性を表現するのに有向グラフを用いること の有用性を示すことができた. サプライチェーンや 取引関係など実際の企業関係のおおくは方向性のあ る関係であるために，有向グラフを用いることで性能が向上したと考えられる.

## 6 終わりに

本研究では，BERT と GCNを組み合わせることで 銘柄自身の情報と銘柄間のクロスセクショナルな関係を同時に織り込んだ新たな銘柄埋め込み手法を提案した.

実験結果により提案手法は [5] の性能を上回り最高精度を達成することを確認した. 加えて，因果 チェーンを用いて有向グラフを作成することで，銘柄埋め込みに対する有向グラフの有用性を示した.

## 謝辞

本研究は大和証券グループの支援を受けたもので ある. 加えて，本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けた ものである.

## 参考文献

[1] Yingmei Chen and Zhongyu Wei. Incorporating corporation relationship via graph convolutional neural networks for stock price prediction. pp. 1655-1658. Association for Computing Machinery, 2018.

[2] Jiexia Ye, Juanjuan Zhao, Kejiang Ye, and Chengzhong $\mathrm{Xu}$. Multi-graph convolutional network for relationshipdriven stock movement prediction. pp. 6702-6709, 2021.

[3] Qiong Wu, Christopher G Brinton, Zheng Zhang, Andrea Pizzoferrato, Zhenming Liu, and Mihai Cucuringu. Equity 2 vec: End-to-end deep learning framework for crosssectional asset pricing ; equity $2 \mathrm{vec}$ : End-to-end deep learning framework for cross-sectional asset pricing. 2021.

[4] Jianliang Gao, Xiaoting Ying, Cong Xu, Jianxin Wang, Shichao Zhang, and Zhao Li. Graph-based stock recommendation by time-aware relational attention network. ACM Transactions on Knowledge Discovery from Data, Vol. 16, , 2021.

[5] Tomoki Ito, Jose Camacho Collados, Hiroki Sakaji, and Steven Schockaert. Learning company embeddings from annual reports for fine-grained industry characterization. Proceedings of the Second Workshop o Financial Technology and Natural Language Processing, pp. 2733, 2020.

[6] Vipul Satone, Dhruv Desai, and Dhagash Mehta. Fund2vec: Mutual funds similarity using graph learning. arXiv preprint arXiv:2106.12987, 62021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. pp. 4171-4186, 2019.

[8] Yuta Niki, Hiroki Sakaji, Kiyoshi Izumi, and Hiroyasu Matsushima. 再事前学習した bert を用いた金融文書中の因果関係知識有無の判別. pp. 3Rin439-3Rin439, 2020.

[9] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. 2017.

[10] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. 2018

[11] Izumi Kiyoshi and Sakaji Hiroki. Economic causal-chain search using text mining technology. pp. 23-35, 2019.

[12] Kei Nakagawa, Shingo Sashida, Hiroki Sakaji, and Kiyoshi Izumi. 経済因果チェーンを用いたリードラグ効果の 実証分析. 2019.

[13] Kuifei Yu, Baoxian Zhang, Hengshu Zhu, Huanhuan Cao, and Jilei Tian. Towards personalized contextawarerecommendation by mining context logsthrough topic models. 2012


# 読影レポートの知識を埋め込んだ言語モデルを作成するための 事前学習手法

中野騰久 $^{1}$ 田川裕輝 $^{1}$ 尾崎良太 $^{1}$ 谷口友紀 $^{1}$ 大熊智子 $^{1}$
鈴木裕紀 $^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$
1 富士フイルム株式会社 2 大阪大学大学院医学系研究科
\{norihisa.nakano, yuki.tagawa, ryota.ozaki,
tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com
\{y-suzuki, kido, tomiyama\} @radiol.med.osaka-u.ac.jp

## 概要

様々な自然言語処理タスクにおいてニューラル言語モデルが優れた性能を実現している. 本論文では 読影レポートというドメインに特化した言語モデル を作成するための手法を提案する。一般的なドメイ ンのテキストではなく, 読影レポートテキストを用 いて事前学習をゼロから行う. また事前学習時に行 う Masked Language Model において, 入力内の固有表現と固有表現間の関係性に着目してマスク対象と入力範囲幅を決定することで, モデルにドメイン知識 を埋め込む．上記手法によって作成した言語モデル を臟器分類, 固有表現抽出, 関係性判断の三つのタス クにおいて評価した結果を報告する. 後段タスクと 同一のドメインコーパスで言語モデルを作成する有用性を示し, 提案手法によって臟器分類と関係性判断の二つのタスクで性能向上を確認した。

## 1 はじめに

読影レポートとは放射線科医が CT や MRI などの 医療画像から読み取った異常所見の有無や疾患の症状について記述したものである. 読影レポートには 医師の知見が含まれており，これらを抽出すること で様々な用途に利活用することが期待できる. その ためには読影レポートを構造化し, 再利用可能な形式に変換することが必要である. 我々はより高精度 な情報抽出による構造化を図るため, 読影レポート に最適な言語モデルの構築を目指している.

Bidirectional Encoder Representations from Transform-

をべースとしたニューラル言語モデルが優れた性能を実現している. 特定ドメインのタスクにおい ては, そのドメイン文書を用いて事前学習したモデ ルを使用することが望ましく, 医療分野においては Bio-BERT[3] や clinical-BERT[4] などが挙げられ, 日本語においては UTH-BERT[5] が発表されている. 本論文で取り扱う読影レポートにおいても, 臟器や疾患などドメイン固有の語句が多く存在する. 読影レ ポートを用いて事前学習をゼロから行うことで, 言語モデルはドメイン固有の語句を上手く表現できる ようになり,読影レポートを取り扱うタスクにおい て性能向上に期待できる.

BERT の事前学習では大力の一部をマスクし, 前後の文脈からマスクされた語句を予測する Masked Language Model(以後,MLM) と呼ばれるタスクを行 う.しかし従来手法では入力からランダムにマスク 対象を選択するため, 特に大規模なコーパスの入手 が難しいドメイン領域の場合, そのドメイン固有の 重要な語句の学習機会の損失が指摘される. また医師は部位や病変, 病変の性状から疾患を導出し, 読影 レポートを記述する. MLM を行う際にこのような 病変と部位や病変と疾患などの関係性に基づき,読影レポート固有の重要語句を中心にマスク対象とす ることで言語モデルにドメイン知識を埋め込むこと ができると考える. 加えて読影レポートの所見文は 臟器毎に記述されるため,MLM における入力範囲幅 を藏器単位にまとめることで, マスク対象とする固有表現を予測するための文脈情報を確保する。

本論文では読影レポートというドメイン領域にお いて, ドメインコーパスを用いてゼロから事前学習 すること，また言語モデルにドメイン知識を埋め込 むように事前学習を行うことで, より高性能な言語

モデルの作成を目標とし, 後段タスクである藏器分類, 固有表現抽出, 関係性判断の 3 つのタスクにおい て評価を行う。

## 2 関連研究

Lin ら [6] は MLM 時に固有表現を中心にマス ク処理を行う Entity-BERTを提案した. Entity-BERT は,PubMedBERT[7]をべースにさらに臨床テキスト である MIMIC[8] を用いて継続的に学習させここの 時入力に含まれる固有表現とそれ以外の語句から， それぞれ設定した割合でランダムにマスク対象を選択する. 彼らはその割合について複数の組み合わせ を比較した結果, 固有表現のみではなく, それ以外の 語句も同時にマスク対象とした方がモデルの性能が 良くなると報告しており, 固有表現以外の語句は意味情報に加え, 構文情報を持つと説明した. またマス ク対象とする割合を大きくしすぎると, 学習が困難 になる可能性についても報告している。適切な割合 で固有表現を中心にマスク処理を行うことで, ドメ イン固有の重要な表現を学習する機会が増え, 三つ の臨床テキストタスクにおいて従来手法によって作成された言語モデルよりも優れた性能を発揮するこ とを示した。

## 3 データ

大阪大学医学部附属病院から提供された約 11 年分の匿名化済み読影レポートを用いて言語モデルの 作成と評価を行った. 言語モデルの作成には約 670 万文, 性能評価には言語モデル作成用コーパスに含 まれない約 9 千文を使用した. 全ての読影レポート に対して予め, 文毎に藏器ラベルの付与, 固有表現の 抽出と固有表現ラベルの付与, 抽出された固有表現間の関係性ラベルの付与を行った(図 1).

臓器ラベルは肺や心臟などの主要な臟器からな る全 31 種のラベルを, 固有表現ラベルは解剖区域,病名, 病変, 性状, 変化, 形状変化, 計測項目, 計測結果, 撮影条件からなる全 9 種のラベルを定義した. 膨

図 1 ラベル付与例

左: 臓器ラベルと固有表現ラベル 右: 関係性ラベル表 1 コーパスにラベルを付与する際のモデル性能臓器分類 固有表現抽出 関係性判断

$\begin{array}{llll}\mathrm{dev} / \mathrm{t} \text { test } & 0.913 / 0.912 & 0.870 / 0.852 & 0.960 / 0.957\end{array}$

大なデータに人手でラベルを付与するのは困難な ため, 読影レポートの一行を一入力として作成した BERT モデルを用いて各タスクの推論を行い, 言語 モデル作成用コーパスにラベルを付与した. 推論に 用いたモデルの性能を表 1 に示す.

## 4 提案手法

先行研究である Lin ら [6] はドメイン固有の語句 を中心にマスクすることの有用性を示したが，マス クする固有表現の選別や, モデルに入力するテキス 卜量については言及していない. MLM において従来は一文もしくは二文を入力としており, 同一入力内の文脈情報のみではマスクされた語句を予測す るには不十分である可能性が指摘される. そのよう な場合にドメイン領域にとって重要な固有表現の 単語ベクトル構築に悪影響を及ぼすと考えられる。我々はマスク対象とする固有表現を予測する手がか りとして,マスク対象と関係のある固有表現が効果的であると考え，マスク対象を同一大力内に関係を 持つ固有表現を有するものに限定する. また読影レ ポートの所見文は藏器毎にまとめて記述されるた め,MLM における入力を藏器単位にまとめることで マスク対象とする固有表現を予測するための文脈情報を確保する. 提案手法におけるマスク対象の決定 フローを図 2 に示す.

マスクされた固有表現と関係を持つ固有表現を含 む文脈情報を用いて, 言語モデルはマスク対象を予測することができる.これによって読影レポートに おける部位や病変, 病変の性状から疾患を導出する 医師の診断プロセスに似た学習を行い，モデルにド メイン知識を埋め込む.

## 5 実験

## 5.1 設定

言語モデルの事前学習には約 670 万文の読影レ ポートテキストを使用した. 語彙は,NEologd 辞書1) を組み込んだ MeCabで単語分割した後, 文字単位の サブワードに分割し 3852 の語彙を構築した. バッチ サイズは 32 , 入力の最大長は 512 で 100 万ステップ

図 2 提案手法におけるマスク対象決定フロー

学習を回した. 本実験では以下に述べる四つのマス ク対象の決定手法を比較する。

・1, random）従来手法と同様に入力内の $15 \% を$ ランダムに選択する。

-2, Entity）Lin ら [6] と同様に入力内の固有表現

に選択する。

-3, Relation）入力内の固有表現の内, 同一入力内 の固有表現間において関係を有する固有表現の

択する（図2）。

特殊トークンである [CLS],[SEP] はマスク対象か ら除外し, マスク対象となる候補を選択した後は 従来手法と同様に,[MASK] トークンへの置換, 変更なし，ランダム他の語句への置換をそれぞれ $80 \%, 10 \%, 10 \%$ の比率で行う。モデルへの入力範囲幅は文単位と臟器単位の二つを比較する. 臟器単位の入力は, 臟器分類によって推論された臟器ラべ ルを基に, 同じラベルが付与された連続する読影レ ポートテキストをまとめることで作成した.

また Liu ら [9] の報告に基づき, 本実験の事前学習 では Next Sentence Prediction は行わなかった.

## 5.2 性能評価方法

作成した言語モデルの性能評価には, 臟器分類, 固有表現抽出, 関係性判断の三つの自然言語処理タス クにファインチューニングして行う. 言語モデル作成に使用しない 9 千文の読影レポートテキストに対して人手でアノテーションし, dev と test のデータ セットを作成した. また日本語 BERT の比較対象と して, 日本語 Wikipedia で学習された東北大学乾研究室の BERT モデル [10] と日本語臨床テキストで学習 された UTH-BERT[5]を使用した.

臟器分類: 入力されたテキストがどの臟器もしく は部位に属するものかを判断する 31 クラスの多ク ラス分類タスクである. 読影レポートは対象となる 一文のみでは部位や臟器を特定できないような文が 存在するため, 判断対象となるテキスト $x_{i}$ とその前文である $x_{i-1}$ を同時にモデルに入力する. BERT モ デルに分類層を追加したネットワークを用いて, 最終層の先頭である [CLS] トークンを特徴量として判断する。

固有表現抽出: 入力されたテキストから固有表現 を抽出するタスクである. 固有表現に対して 9 種類 のラベルを定義している. 読影レポート内において 同一の臟器について記述されたテキストを同時に モデルに入力する. 手法は田川ら [11] の報告に基づ き,BERT-CRF を採用した。

関係性判断: 固有表現抽出によって抽出された固有表現間に関係性があるか否かを判断するタスクで ある. BERT モデルに分類層を追加したネットワー クを用いて, 対象となる二つの固有表現とその間の 文脈を特徴量として判断する。

## 5.3 結果

表 2 に dev データセットと test データセットに対 する実験結果を示す. 值は Micro-F1 值である。

ドメインコーパスを用いた言語モデルは既存モデ ルよりも高い性能を発揮することが確認できた. 事前学習で用いた読影レポート (670万文,0.3GB) は既存モデルのコーパスである日本語 wikipedia(3000 万文,4GB) や臨床テキスト (1 億 2000 万行) と比較して 少量であったが, 後段タスクと同一ドメインで学習 することの有用性が示された. 固有表現間の関係性 に着目したマスクの決定手法によって, 臟器分類と 関係性判断のタスクにおいて性能向上を確認した が, 固有表現抽出タスクにおいては効果が見られな かった. また入力を臟器単位にまとめることでほと んどの場合に性能向上が確認された.

## 6 分析

未知語の影響: 本実験の事前学習で使用したコー パスに含まれる固有表現は全部で約 16 万種類, 1800
表 2 実験結果 (dev/test)

1: 読影レポートの一文を一入力としたもの

2: 同一臟器について書かれた連続する文をまとめて一大力としたもの

万個であった. 読影レポートを用いて作成した言語 モデルには, 本コーパスを用いて語彙を作成してい るため未知語は現れない. しかし既存モデルで使用 されるトークナイザーでは固有表現を入力した際 に, 半数以上である約 8.5 万種類の固有表現に未知語である [UNK] トークンが出現する. 同じく評価用 データには約 2400 種, 2 万個の固有表現が含まれて おり, 既存モデルにおいては約 670 個の固有表現に 未知語が出現する. UTH-BERT の場合はトークナイ ズ時に万病辞書 ${ }^{2}$ を用いているが, 未知語の出現率 に大きな差異は認められなかった. 同じ医療分野で あっても臨床テキストと読影レポートでは現れる固有表現が大きく異なると考えられる。

入力範囲幅の影響: 入力範囲幅を臓器単位にま とめることで性能の向上が確認できた. 臟器単位 の入力は全体の約 $36 \%$ \%゙一力力内に二文以上の テキストを保有する（二文: $17 \%$, 三文: 7 \%, 四文以上:12\%）. 関連するテキスト群を受け取ることで，言語モデルが読影レポートの複数文に跨る構文情報 を獲得できたことが示唆される。また本論文におけ る評価タスクの入力が複数文に跨るものが多いた め, 事前学習時と後段タスクの入力が近しいものと なっていることも原因として考えられる。

コーパス内のノイズの影響: 固有表現を中心にマ スク対象とすることで, 二つの自然言語処理タスク について性能向上に期待できるが, 固有表現抽出夕 スクにおいてはその効果が見られない. これはコー パスへのラベルの付与を行ったモデルの固有表現抽出タスクの性能が他の二つのタスクの性能と比較し て低く（表 1）, 事前学習用コーパスに付与された固有表現に関する情報にノイズが多いことが一因とし て考えられる.よって精度の高い固有表現ラベルに 絞ってマスク対象の候補とするなど，より高品質な 情報を持つコーパスを用いることで改善が見込め る. 本実験では全てのタスクにおいて,コーパスへの ラベルの付与を行ったモデルよりも高い精度のモデ ルが作成できている. よって作成したモデルを用い てコーパスへラベルを付与し, 再度言語モデルを作成する，というサイクルを繰り返すことでより性能 の高い言語モデルを作成することが可能と考える.

## 7 おわりに

本論文では, 読影レポートに適した言語モデルの 作成手法を提案し, 臟器分類, 固有表現抽出, 関係性判断の三つのタスクにおいて性能を評価した. 結果 から事前学習に用いるコーパスが後段タスクと同一 のドメインであることの有用性を示した. また言語 モデルの事前学習である MLM において, 臟器単位 にまとめられたテキストを一大力とすることでモデ ルの性能が向上することを示し, さらにマスク対象 を同一入力内に関係を持つ固有表現を有する固有表現に限定することで, 二つのタスクで性能向上が確認された. 今後の課題として, 精度の高い固有表現ラ ベルに絞ってマスク対象を決定するなど,コーパス におけるノイズの影響を調査することや最適な入力範囲幅やマスク選択割合の探索などが挙げられる。

2) http://sociocom.jp/ data/2018-manbyo/index.html

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[3] Biobert: a pre-trained biomedical language representation model for biomedical text mining. 2019

[4] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission, 2020.

[5] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. 2021.

[6] Chen Lin, Timothy Miller, Dmitriy Dligach, Steven Bethard, and Guergana Savova. EntityBERT: Entitycentric masking strategy for model pretraining for the clinical domain. 2021.

[7] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing, 2020.

[8] Shen L Lehman LW Feng M Ghassemi M Moody B Szolovits P Celi LA Mark RG Johnson AE, Pollard TJ. Mimic-iii, a freely accessible critical care database.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[10] Masatoshi Suzuki and Kentaro Inui. Bertbase-mecabipadic-bpe-32k-whole-word-mask. https://github.com/cltohoku/bert-japanese.

[11] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子, 若宮翔子, 荒牧英治. 生成された読影所見の自動評価に 向けた固有表現認識とモダリティ推定, 2020.
表 3 固有表現ラベルと詳細

## Appendix

## データセットについて

本論文で利用した固有表現ラベルに関する説明を 表 3 に示す. 病変, 変化, 性状に関しては実際にそれ が生じているのか否かの事実性についても固有表現抽出のタスク時に推定するために，固有表現ラベル に事実性を表す Positive と Negative を結合したもの (例えば病変 $\mathrm{P}$ や変化 $\mathrm{N}$ など) をラベルとして用意し た。また関係性を考慮する組み合わせは (解剖区域，病変), (性状, 病変), (病名, 病変), (変化, 病変), (計測結果, 病変), (解剖区域, 形状変化), (性状, 形状変化), (病名, 形状変化), (変化, 形状変化) の 9 パターンである.計測項目と撮影条件は関係性を持たないため, 提案手法においてはマスク対象の候補から除外される。

またコーパス内の固有表現ラベルの分布を図 3 に 示す. 部位を表す解剖区域, 読影のターゲットとなる 病変, 病変を説明する性状の順に多い. 本論文の提案手法では, マスク対象の候補を抽出した後は固有表現ラベルの種類に関わらずランダムにマスク箇所を 決定するため, 重要であるが出現頻度の少ない病名 に関する学習が不足している可能性がある.

- 病名- 変化計測項目
- 形状変化 - 病変鼔影条件
- 解剖区域 - 性状計測結果

図 3 コーパス内の固有表現ラベル分布


# 敵対的サンプルを用いた対照学習の性能向上への取り組み

折口希実 ${ }^{1}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学
\{g1620512, koba\}@is.ocha.ac.jp

## 概要

アンカーとされる一つの画像から派生した画像群間の特徵量の類似度を最大化し，アンカーとは異な る画像から派生した画像群の特徵量とは類似度を最小化することにより自己教師あり学習を行う対照学習は，機械学習に新しい技術変革をもたらし優れた 精度向上を実現した. 本研究では, この対照学習を 自然言語処理に導入した SimCSE [1] の枠組みに敵対的サンプルを導入することにより，さらに性能を 向上させた対照学習を提案する. また，とくに，対照学習において明確な制約が存在しない負例の生成 に着目し，様々な負例の導入方法を検討することに より, 対照学習の性能向上を試みた. 評価には意味的にテキストの類似性を測定できる SentEval の STS タスクを用いた．BERT ベースを用いた提案モデル では先行研究モデルのスピアマンの相関 $74.06 \% を$

## 1 はじめに

教師あり学習の精度を向上させるためには，大量 のデータを必要とするが，データ全てに対してラべ ル付けを行うことは，多くの人的コストを要してし まう。一方，自己教師あり学習は，ラベルなしデー タから自動で正解ラベル付きデータを生成すること が可能であり，学習用データ構築のコストを大幅に 下げることに有効な手段である。近年では, 自己教師あり学習に対照学習を用いることで教師あり学習 に匹敵する性能を実現している．対照学習とは，識別空間において識別対象と類似したデータは近く に，異なるデータは遠くに置かれるように学習する 機械学習の手法の一つである. 表現学習では対照学習を用いることで特徴量をうまく抽出できるモデル を得ることが可能であり，様々な下流タスクに利用 できる. 特に対照学習の枠組みを用いた教師なし学習は教師あり学習に匹敵することが示されている [2].本研究では，そのような対照学習をより高性能な ものとするために，敵対的サンプル [3] を導入し，様々な観点から対照学習における負例の導入方法を 検討する。

## 2 提案手法

本研究では，Gao ら [1] によって提案された埋め 込み学習の枠組みである SimCSE モデルをベースに し，敵対的サンプルの導入や負例の生成方法を拡張 したモデルを構築した.

## 2.1 SimCSE

対照学習では，アンカーとされるオリジナルの データ $x_{i}$ に対して, 意味的に近いデータ $x_{i}^{+}$(正例と 呼ぶ) のペアの集合 $D=\left.\{\left(x_{i}, x_{i}^{+}\right)\right.\}_{i=1}^{m}$ が与えられる と, 事前学習済みの汎用言語モデルによって入力 をエンコードし，埋め込みべクトルを獲得する。一方, SimCSE モデルでは $x_{i}=x_{i}^{+}$であり, データをド ロップアウトマスクを用いて 2 度エンコードするこ とで僅かに異なる埋め込みべクトルの正例ぺアを取得する. 以下，汎用言語モデルを BERT として話を 進める. 通常 BERTへの入力の際，バッチ単位で複数の文を同時にそれぞれべクトル化しているが，そ のときのミニバッチ内のアンカーとする対象文以外 の他の文については負例として扱う。損失関数であ る NT-Xent loss を用いて正例のペアのソフトマック スを 1 に近づけるように，そうでないものを 0 に近 づけるように学習することで対照学習を行う.

SimCSE モデルの損失関数は式（1）で示される.

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{i}^{z_{i}^{\prime}}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{j}^{z_{j}^{\prime}}\right) / \tau}}
$

ここで,$N$ はミニバッチ数であり,$z$ はドロップア ウトマスク， $\tau$ はソフトマックスの温度パラメータ である. $\mathbf{h}$ はデータ $x ， x^{+}$それぞれの特徴表現を示 す.また， $\operatorname{sim}(\cdot)$ はコサイン類似度の関数であり，
文同士の類似度を計算している。正のぺアは 1 に，負のペアは 0 に近づくように学習を行う。

対照学習におけるデータの拡張では，単語の削除 や入れ替え等の既存手法が主流であったが [4], ド ロップアウトマスクのみというシンプルな仕組み で，SimCSE モデルは既存手法の精度を更新する十分な精度を実現している。

## 2.2 敵対的サンプルの対照学習への導入

敵対的学習 [3] において，モデルの出力を変えて しまうようなノイズベクトルのことを「敵対的摂動」と呼び，意図的に作成される. 作成方法につ いては，主に 2 つの設定 (White-Box, Black-Box) に より異なり，モデル知識の有無で分かれる. モデ ル知識がない場合が Black-Box であり，ある場合の 設定が White-Box である. 本研究での取り組みは, White-Box に該当するため，以下それについてのみ 言及する. 敵対的サンプルを作成する手法の代表的 なものの 1 つに Fast Gradient Sign Method (FGSM) が ある [3]. 摂動は，式 2 で示すように与えられる。

$
x=x+\epsilon \operatorname{sign}\left(\nabla_{x} \operatorname{Loss}(x, y)\right)
$

ここで,$x$ は入力データ,$y$ はそのラベルである. また, sign 関数は正の値を +1 ，負の値を -1 にする 関数で， $\epsilon$ は摂動に対する調整係数である。損失を 最大化する方向へ入力 $x$ を $\epsilon$ ずつ更新していく.

モデルを誤認識させてしまう敵対的サンプルを混 ぜて学習を行うことでより堅牢なモデルを得られる ことが報告されており $[5,6]$, 本研究においても対照学習における正例に対して，敵対的サンプルを 生成させ，モデルの学習に用いた. 図 1 に概要を示 す. 正例から生成した敵対的サンプルを負例のよう に扱い，損失関数は式 (1)を用いた。

## 2.3 対照学習の性能向上に向けて

敵対的サンプルの導入により，対照学習における 正例の拡張を行なったのと同様に，負例に関しても 拡張を考える. 対照学習における負例の生成におい ては, 制約が緩く, 工夫の余地がある. 以下に，本研究で導入した負例の生成について記す。

## 1. 損失関数のコサイン類似度を用いた負例の拡張 Contrastive Loss を計算過程では文の特徴表現の 類似度としてコサイン類似度にて算出する. 負例は基本的に正例と全く似つかないものである ため負例ぺアの類似度はかなり低いものとなっ

図 1 提案モデル

てしまう．そのため正例ぺアのものと負例ペア のものとの間には類似度に一定の乘離が存在し ている。その乘離部分は正例ペアに近い境界部分の負例のペアの類似度を表していると推測 し，その部分の拡張を行うことは境界部分の データを拡張していることと同義で，潜在空間 をより補完できるのでははないかと考えた．損失関数は式 (3)のように表せる.

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{i}^{z_{i}^{\prime}}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{j}^{z_{j}^{\prime}}\right) / \tau}+\lambda \cdot \sum_{k=1}^{M} e^{\operatorname{sim} A / \tau}}
$

$\operatorname{sim} A$ は正例ペアと負例ぺアの間のコサイン類似度の間の範囲から生成される擬似コサイン類似度であり， $M$ は生成される数を示し， $\lambda$ は調整係数を示すハイパーパラメータである.

## 2. margin を考慮した負例の生成

深層距離学習 [7] において, アンカー, 正例,負例の 3 つ組の埋め込み空間の状態を捉えた損失関数 triplet loss の設定やデータ間の距離を捉 える margin といった考え方がある. アンカー から遠く離れた負例は学習にとってさほど重要 な意味を持たず，アンカーに近ければ近いほど 効果的な学習ができるため, その効果的な学習を可能とする範囲が margin である. 学習に とって理想的な負例は，正例に極めて近いが正例ではない境界の近くに存在するものと考える ことができる. ここでは，学習にとって有益 な負例となるデータが存在する範囲のことを margin とし，文のべクトルにノイズを加え，正例を負例に近づけるように拡張させた敵対的サ ンプル（正例の限界点とみなす）との距離を考
表 1 実験結果 (STS タスク)

図 2 埋め込みの視覚化：(左）BERT（中央）BERT を用いた SimCSE モデル（右）敵対的サンプルを用いた提案モデル

慮することにより，有効な負例を見つけ学習に 用いる. 具体的には，アンカーからもっとも遠 いとみなされる正例の限界点を敵対的サンプル とし，負例との間の範囲を margin としている.敵対的サンプルと新たな負例との間のベクトル を生成することで margin の範囲にある負例と した.

## 3. GS-InfoNCE

Wu ら [8] は，SimCSE をべースとして，その損失関数の分母に, Gauss 分布で表現されるノ イズを追加した手法である Gaussian Smoothing InfoNCE (GS-InfoNCE) を提案している。まず， ガウス分布から文のベクトルと同じ次元で $M$個のガウスノイズベクトル $\mathbf{g}$ をランダムにサン プリングする. これらのべクトルはサンプルと 高い信頼性を持つ負のペアとなる．そのような 負のペアを生成して負例を拡張することによっ て，表現空間をより充実させ，滑らかなものと する．次のような式にて損失関数を示す。

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}, \mathbf{h}_{i}^{+}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{j}, \mathbf{h}_{i}\right) \tau} /+\lambda \cdot \sum_{k=1}^{M} e^{\operatorname{sim}\left(\mathbf{g}_{k}, \mathbf{h}_{i}\right) \tau}}
$

この手法では，SimCSE モデルを上回る結果と なったことが示されており, 本研究での提案手法との比較のための追実験を行った.表 2 実験設定

## 3 実験

提案モデルを含め, $2.2,2.3$ 項で述べた方法につ いて実験を行い，対照学習の性能を向上させる方法 を検証する。

## 3.1 実験設定

表 2 に実験設定を示す. パラメータ等は [1] を元 にして行った.

評価方法 評価方法については, 先行研究と同様 に SentEval: evaluation toolkit for sentence embeddings ${ }^{1 \text { ) }}$ を用いる. SentEval を使用し，STS（Semantic Textual Similarity）を用いてタスク遂行に際して、精度を向上させるような文の埋め込み表現が獲得できたか を評価する．STS は，文章の等価性を評価するタス クであり，2 つの文の関係について類似度を対象と して評価する。本研究では STS の7つのタスグ2)を 用いて評価を行った. 対照学習は「似た表現を近く に，異なる表現を遠くへ」と学習させるものである

1) https://github.com/facebookresearch/SentEval

2) STS12, STS13, STS14, STS15, STS16, STS Benchmark, SICK Relations
表 3 学習済み言語モデルの比較 (Avg.)

ので，類似を評価するSTS タスクを用いることで文 の埋め込み表現のパフォーマンスについて評価が可能である. また，学習された潜在空間のクラスタ化 がなされているかを検証するために $\mathrm{UMAP}^{3}$ )を用い て, データ数約 40 万の amazon の製品レビューでカ テゴリのラベルのついたデータの潜在空間の視覚化 を行う. UMAP とは t-SNE よりも高速・高性能に次元削減・可視化する手法であり，似たカテゴリ同士 は近くに，似ていないカテゴリ同士は遠くに配置さ れる。

## 3.2 実験結果

STS の 7 つのタスクに対し，2.2，2.3 項で述べた 提案手法を用いて評価を行った結果を先行研究らの 追実験の結果と比較し表 1 に示す. 実験で用いた提案モデルは 5 つであり, 手法を組み合わせたモデル も用いた. 表 1 で示すモデルの事前学習済み汎用言語モデルは全て BERT を用いて行ったものとなって いる。また学習済み汎用言語モデルとして BERT と RoBERTa それぞれを採用した際の STS のタスクの 結果の比較を表 3 に示す.この結果は STS の7つの タスクのスピアマン相関の平均值であり, 先行研究 モデルの SimCSE と敵対的サンプルを用いた提案手法で比較を行った.

また，敵対的サンプルを用いた提案手法と先行研究モデルとで可視化し比較したものを図 2 に示 す. 左から BERT，BERT ベースのモデルを用いた SimCSE モデル，敵対的サンプルを用いた提案モデ ルの順になっている。

## 3.3 考察

表 1 に示すように， 5 つの提案モデルは先行研究 モデルである SimCSE と Wu らによって提案された モデル [8] のスコアのほとんど全てを上回ったこと がわかる. これにより，2.2，2.3 項で示した手法は 全て効果的に作用したといえる. しかし， 5 つの提案モデルの結果はタスクによってべストスコアを出 すモデルは異なっているためどの手法が優れてい るかについては一概にはいうことはできない. だ
が，基本的には敵対的サンプルを単独や組み合わ せて用いたモデルが，7 つのタスク中 6 つのタスク で最も高いスピアマンの相関を得ることができて おり，かなり効果的な手法の一つと考える。また， ours(+GS+ae) モデルのように GS-InfoNCE モデルと ours(+adversarial examples) モデルを組み合わせるこ とでスコアを落としてしまうこともあり，安易に手法を組み合わせることで逆効果になり得ることがわ かる.

表 3 からは 7 つのタスクのスピアマン相関の平均スコアが学習済みの汎用言語モデルとして BERT を用いるより RoBERTa を用いる方が SimCSE モデ ル，提案モデルのベストスコアでそれぞれ $3.67 \%$, $2.08 \%$ 上回った. このことから RoBERTa をべースと したモデルの方が優れていることを示している.

図 2 では文の埋め込み表現のパフォーマンスにつ いて BERT，SimCSE モデル，提案手法の一つである 敵対的サンプルを用いた提案モデルの 3 つで比較を 行っているが，敵対的サンプルを用いた提案モデル が最もクラスタが分かれており，効果的な対照学習 はより解きほぐされた表現空間を生成することに繋 がっていることがわかる.

## 4 おわりに

本研究では，自然言語処理において効果的な対照学習を行うことができるように敵対的サンプルを用 いたデータの拡張方法の模索や負例の生成方法につ いて検討をし，実験を行った。実験を通じて，敵対的サンプルを単独，または組み合わせたモデルが STS の 7 つのタスクのほとんどのベストスコアを達成しており，有効な手法であることを示した。損失関数のコサイン類似度を用いて負例を拡張したモデ ルについてもかなり高いスピアマン相関を達成して おり, さらに改善の余地のあるパラメータの調整等 を行うことでより良いスコアを得られるのではない かと考える。今後の課題として、それらを行った実験を行い性能向上に努め，また，具体的な潜在空間 を可視化して負例のデータ分布を margin の中で一様に補完するような負例の生成をしたいと考えてい る. 提案手法は，自然言語処理において優れた表現 の獲得を可能とし，また潜在空間をより明確に整理 が行えるため，分類系統のタスクにおいて特に役立 つと期待している.

## 参考文献

[1] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Empirical Methods in Natural Language Processing (EMNLP), 2021.

[2] Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, and Geoffrey Hinton. Big self-supervised models are strong semi-supervised learners. arXiv preprint arXiv:2006.10029, 2020

[3] Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples, 2015.

[4] Zhuofeng Wu, Sinong Wang, Jiatao Gu, Madian Khabsa, Fei Sun, and Hao Ma. Clear: Contrastive learning for sentence representation, 2020.

[5] Chih-Hui Ho and Nuno Vasconcelos. Contrastive learning with adversarial examples. ArXiv, Vol. abs/2010.12050, , 2020.

[6] Minseon Kim, Jihoon Tack, and Sung Ju Hwang. Adversarial self-supervised contrastive learning. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[7] Kaya and Bilge. Deep metric learning: A survey. Symmetry, Vol. 11, No. 9, p. 1066, August 2019.

[8] Xing Wu, Chaochen Gao, Liangjun Zang, Jizhong Han, Zhongyuan Wang, and Songlin Hu. Smoothed contrastive learning for unsupervised sentence embedding, 2021.