# 半教師あり文書分類のための仮想敵対的学習による 注意機構の頑健性および解釈性の向上

北田俊輔彌冨仁
法政大学大学院 理工学研究科 応用情報工学専攻
\{shunsuke.kitada.8y@stu., iyatomi@\}hosei.ac.jp

## 1 はじめに

深層学習モデルは様々な分野で大きな成功を収め ているにも関わらず、最先端のモデルであっても、大力される㩒動に対して脆弱であることが一般的に 知られている $[1,2]$ 。近年、多くの研究が注目してい る注意機構 [3] においても同様の脆弱性が報告され ている [4]。こうした摄動に対するモデルの頑健性向上のため、Goodfellow ら [2] は敵対的学習 (AT)を 提案した。これはモデルを騙すような摂動である敵対的摄動から滑らかな識別境界の学習を期待するも ので、モデルの頑健性や予測性能の向上が確認され ている [5, 6]。著者らは自然言語処理 (NLP) 分野に おいて注意機構に対する AT を提案し、複数の NLP タスクにおいて高い性能を達成するとともに、より 解釈可能で明確な注意を示すことを確認した [7]。

AT はモデルの頑健性向上に寄与する一方、敵対的摄動の計算は教師あり学習への適用に限定され る。後に ATを教師なしデータを利用可能な半教師 あり設定へと拡張した仮想敵対的学習 (VAT) が提案され [8]、優れた成果が報告されている $[6,9]$ 。こ の手法は現在の予測に基づいて敵対的摄動の方向 を計算することで、教師なしデータを含むすべての データを活用して識別境界を滑らかにする効果があ り、結果的にモデルの頑健性向上が期待できる。一方で、図 1 に示すような注意機構に対するVAT の有効性について、特に NLP タスクの観点から同様の 効果を示した研究は著者らが知る限り存在しない。

本論文では、VAT に基づいた注意機構のための仮想敵対的学習である仮想敵対的注意学習 (Attention VAT) ならびに、より解釈可能性の高い注意機構 のための敵対的学習 [7] を半教師あり学習である VAT で拡張した Attention iVAT を提案する。我々の Attention VAT/iVAT は、著者らの提案する仮説であ る、予測に寄与しうる重要な単語を見つけるために

図 1: 提案法である仮想敵対的注意学習 (Attention VAT/iVAT) の概念図。本手法は利用できるすべての データから仮想的な敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を計算すること で識別境界の平滑化を期待する。このときの摂動は 注意機構に対するノルム $\epsilon$ によって定義される。

は単語の埋め込みそのものよりも注意の重みが重要 である [7] という主張に基づいている。我々の学習法は注意機構を有する様々なモデルに適用可能な汎用性の高い学習法である。

我々の提案の効果を実証するために、広く評価に 利用されている文書分類データセットを用いて最新 の AT/VATを元にした学習法と比較した。また、提案法で得られた注意の重みが (i) 勾配によって計算 される単語の重要度と、(ii) 人手によってアノテー ションされた予測根拠との一致度を評価した。

本研究の貢献 我々の注意機構に対する仮想敵対的学習を評価した結果、次のような知見が得られた: (1) 従来の AT ベースの手法だけでなく、最新の VAT ベースの手法と比較して、半教師あり設定下での予測性能が有意に優れていた; (2) 学習された注意の重 みが勾配を元にした単語の重要度とより強い相関を 示し、人手による予測根拠とより良い一致を示した; (3) 教師なしデータの量を最大 7 倍程度まで増やす ことで予測性能が向上した。

## 2 注意機構のための仮想敵対的学習

本章では、提案する Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習について説明する。提案法を適用するモデルの詳細は付録 A に示す。

## 2.1 仮想敵対的注意学習

Attention VAT は、VAT [8] から着想を得たもので あり、著者らが提案した Attention AT [7] の拡張と捉 えることができる。AT が教師ありデータに基づい て敵対的摂動を決定するのに対し、VAT は教師なし データからも “仮想的”な敵対的摄動を計算できる。 このとき注意機構に対する仮想敵対的摂動は、元の 学習サンプルに対するモデルの予測出力の分布と、元の学習サンプルに摂動を加えた場合に対するモデ ルの予測出力の分布との KL ダイバージェンスを最大化する方向の摂動であり、注意機構に対する最悪 の摂動として定義される。

本研究では半教師あり学習の設定として、教師あ りデータからなる集合 $D$ と教師ありおよび教師な しデータからなる集合 D'を学習対象とする。なお 教師ありデータ数を $N_{1}$ と教師なしデータ数を $N_{\mathrm{ul}}$ と表す。摄動 $\boldsymbol{r}$ が注意スコアに加えられた際の入力単語列 $X_{\tilde{a}}$ を、 $X_{\tilde{a}+r}$ として表す。Attention VAT は注意スコア付き入力単語列に対して仮想敵対的摂動 $r_{\mathrm{VAT}}$ を推定するために、以下の損失項を最小化する：

$
\begin{gathered}
\mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\frac{1}{\left|\mathscr{D}^{\prime}\right|} \sum_{X \in \mathscr{D}^{\prime}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right) \\
\boldsymbol{r}_{\mathrm{VAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \boldsymbol{\epsilon}}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)
\end{gathered}
$

$\left|D^{\prime}\right|=N_{\mathrm{l}}+N_{\mathrm{ul}}$ は学習対象の全データ数、 $\epsilon$ は摂動のノルムを制御するハイパーパラメータ、 $\hat{\boldsymbol{\theta}}$ は現在のモデルの全パラメータである。ここで $\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)$ は $\mathrm{KL}(\cdot \| \cdot)$ で計算される KL ダイ バージェンスである:

$
\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\operatorname{KL}\left(p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}}, \hat{\boldsymbol{\theta}}\right) \| p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}}, \hat{\boldsymbol{\theta}}\right)\right)
$

学習時には、入力データの注意スコア $\tilde{\boldsymbol{a}}$ に対する仮想敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を現在のモデルパラメータ $\hat{\boldsymbol{\theta}}$ に基 づいて計算し、その注意スコアへ付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{vadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}
$

## 2.2 解釈可能な仮想敵対的注意学習

Attention iVAT は解釈可能な単語埋め込みに対す る敵対的学習 (Word iVAT) [6] から着想を得ており、著者ら [7] によって提案された Attention iAT に対す る半教師あり学習への拡張とみなすことができる。 Attention iAT と同様に我々の Attention iVAT は各単語への注意の違いを利用する一方で、我々の手法は 多くの教師なしデータを扱うことで予測性能とモデ ルの解釈性が更に向上することを期待している。

まず $\boldsymbol{d}_{t} \in \mathbb{R}^{T}$ を、文中の $t$ 番目の単語に対する注意スコア $\tilde{a}_{t}$ と任意の $k$ 番目の単語に対する注意ス コア $\tilde{a}_{k}$ との単語の注意差ベクトルを定義する:

$
\boldsymbol{d}_{t}=\left(d_{t, k}\right)_{k=1}^{T}=\left(\tilde{a}_{t}-\tilde{a}_{k}\right)_{k=1}^{T}
$

このベクトルを用いて、 $t$ 番目の単語に対する正規化された単語注意差ベクトルを計算する:

$
\tilde{d}_{t}=d_{t} /\left.\|d_{t}\right.\|_{2}
$

$t$ 番目の単語に対する注意の摄動 $r\left(\boldsymbol{\alpha}_{t}\right)$ を、訓練可能 なパラメータ $\alpha_{t}=\left(\alpha_{t, k}\right)_{t=1}^{T} \in \mathbb{R}^{T}$ と正規化された注意度差ベクトル $\tilde{\boldsymbol{d}}_{t}$ を使って $r\left(\boldsymbol{\alpha}_{t}\right)=\boldsymbol{\alpha}_{t}^{\top} \cdot \tilde{\boldsymbol{d}}_{t}$ と定義す る。全ての $t$ に対する $\alpha_{t}$ を $\alpha$ として、入力文に対 する敵対的摂動 $\boldsymbol{r}(\boldsymbol{\alpha})$ を計算する:

$
\boldsymbol{r}(\boldsymbol{\alpha})=\left(r\left(\boldsymbol{\alpha}_{t}\right)\right)_{t=1}^{T}
$

式 2 の $X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}}$ と同様な $X_{\tilde{\boldsymbol{a}} \boldsymbol{r} \boldsymbol{r}(\boldsymbol{\alpha})}$ を導入し、損失が最大 になる最悪の注意差べクトルの方向を計算する:

$
\boldsymbol{r}_{\mathrm{iVAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \epsilon}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}(\boldsymbol{\alpha})} ; \hat{\boldsymbol{\theta}}\right)
$

式 4 と同様に、注意スコア $\tilde{\boldsymbol{a}}$ に対して計算した敵対的摄動 $\boldsymbol{r}_{\text {iVAT }}$ を付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{ivadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{iVAT}}
$

## 2.3 仮想敵対的学習によるモデルの学習

学習時には、現在のモデル $\hat{\boldsymbol{\theta}}$ に基づいて、仮想敵対的摄動を生成する。このとき生成した摄動を元 に、以下の 2 つの損失項を最小化する:

$
\tilde{\mathscr{L}}=\underbrace{\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { unmodified examples }
\end{array}}+\underbrace{\lambda \mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}_{\mathrm{VADV}}} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { virtual adversarial examples }
\end{array}},
$

$\lambda$ は各損失項を制御するハイパーパラメータであ る。ここで、 $X_{\tilde{\boldsymbol{a}}_{\text {VAV }}}$ は Attention VAT において $X_{\tilde{\boldsymbol{a}}_{\text {vad }}}$ であり、Attention iVAT において $X_{\tilde{\boldsymbol{a}}_{\text {vadv }}}$ である。

## 3 実験設定

本章では、評価に使用するモデルの設定やデータ セット、評価基準について述べる。

## 3.1 モデルの設定と評価データセット

付録 A に示すべースラインモデルに対して、我々 の提案する 2 つの手法 Attention VAT/iVAT と最新 の AT/VAT 手法を教師ありおよび半教師あり設定 で比較した。比較手法の詳細を付録 B に示す。評価用データセットとして、教師ありデータセッ ト [10,11]、教師なしデータセットとして [12]を使用し、学習用、検証用、テスト用にそれぞれ分割し た。これらの詳細を付録 C に示す。

## 3.2 評価基準

予測性能 提案法および比較法によって学習させ たモデルの予測性能を比較した。評価指標として、 [4,7] に従って F1 スコアを用いた。各モデルはそれ ぞれ教師ありおよび半教師ありの設定で評価した。

単語の重要度との相関 提案法および比較法を適用したモデルによって得られる注意の重みと勾配を 元にした単語の重要度 [13] との一致度を比較した。 この一致度を評価するために、注意の重みと単語の 重要度との間のピアソン相関で比較した。

予測根拠の再現性 提案法および比較法を適用し たモデルによって得られる注意の重みと、人手に よってアノテーションされた予測根拠の一致度を ERASER ベンチマーク [14]を用いて比較した。

教師なしデータの効果 半教師あり学習における 教師なしデータの効果を理解するため、教師なし データの量とモデルの予測性能の関係を分析した。

## 4 実験結果

本章では、前章に示した評価基準を元に実験した 結果を共有する。表 1 は教師ありおよび半教師あり 設定における各モデルの (1) 予測性能 (F1 スコア)、 および (2) 注意の重みと勾配を元にした単語の重要度との間のピアソン相関 (Corr.) を示す。

予測性能 教師ありの設定において、提案法であ る Attention VAT/iVAT は (1) vanilla モデルと比較して 明らかな優位性を示し、(2) 単語埋め込みに対する AT (Word AT/iAT) [5, 6] と比較しても優れた性能を 示した。さらに (3) 注意機構に対する AT (Attention AT/iAT) [7] と同等の性能を示した。以上より、注意表 1: 教師ありおよび半教師ありモデルに対する、予測性能 (F1 スコア) および注意と勾配を元にした 単語の重要度のピアソン相関係数 (Corr.) の比較

(a) 教師ありモデル

} & \multicolumn{2}{|c|}{} \\

(b) 半教師ありモデル

機構に対する AT/VAT の有効性を確認できた。

半教師ありの設定において、Word VAT/iVAT は Word AT/iAT より、また提案する Attention VAT/iVAT も同様に Attention AT/iAT より有意な予測性能の向上ならびに勾配に基づく単語の重要度とより高い相関を示し、特に提案法は最もよい結果となった。各 タスクの学習に追加で教師なしデータを利用するこ とで、我々の手法を適用したモデル、特に Attention iVAT では予測性能が大幅に向上したと考えられる。

単語の重要度との相関 注意の重みと単語の重要度の相関については、我々の Attention VAT/iVAT で 得られた単語への注意は、勾配によって計算され た単語の重要度と強く相関していることを確認し た。この傾向は我々の手法のヒントとなった [7] の Attention AT/iAT においても報告されている。我々 は、VATを用いた半教師あり設定がこれらの相関も 顕著な影響を与えていることを観測した。こうした 相関は我々の提案法により強化されたと言える。

予測根拠の再現性 表 2 は vanilla モデルと半教師 ありモデルにおける根拠選択の予測性能を示す。提
表 2: 根拠選択における各モデルの予測性能

† DeYoung ら [14] は根拠選択に最適化されたモデルを構築し ているのに対し、我々の手法を適用したモデルは根拠選択 を直接最適化しているわけではない。

案する Attention VAT/iVAT は注意の重みを元にした 根拠選択において、人手のアノテーションとの一致度が高いことを示した。他の AT/VAT ベースの手法 と比較して、特に我々の Attention iVAT が全ての評価基準において優れていることが分かった。

教師なしデータの効果 図 2 は教師なしデータの 量とモデルの検証スコアの関係を示す。VAT ベー スの手法において、教師なしデータの数が教師あり データの数の約 7 倍程度になるまで予測性能の向上を確認した。本実験において我々が教師なしデー タとして使用したソースは、元のデータセットとは 性質や品質が異なるものである (詳細は付録 $\mathrm{C}$ を参照)。それにも関わらず提案法がモデルの性能と解釈性の両者を向上させたことは注目に値する。

## 5 議論と今後の展望

本研究では、Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習を提案し、教師ありおよ び半教師あり設定にて提案法の有効性を確認した。

## 5.1 注意機構に対する AT/VAT

教師あり設定において、我々のVAT ベースの手法は 2 つの側面 (1) 予測性能 (2) 単語の重要度との相関で、AT ベースの手法と同程度向上した。AT は実際の教師情報を使用する一方で、VAT はモデルの予測出力を利用している。そのため教師あり設定にお いて AT は VAT よりも良い性能であることが期待さ れるが、VAT が同程度の性能を表したことにより、提案法に対して否定的な結果は得られなかった。

半教師あり設定において、我々の VAT ベースの 手法は上記 2 つの側面を更に効果的に向上させてい ることを確認した。これは多くの教師なしデータを 利用することで、識別境界をより滑らかにする VAT の効果を更に高めていると考えられる。特に単語の

(a) $\operatorname{SST}\left(N_{1}=6,920\right)$

(b) $\operatorname{IMDB}\left(N_{1}=17,186\right)$

図 2: SST [10] と IMDB [11] に対する教師なしデー タ [12]の量と各学習法による検証スコアの関係

埋め込みではなく注意機構に VATを適用すること で、モデルの頑健性 (予測性能) が向上し、さらには 解釈性 (人手による根拠との一致度) も向上した。

実験では、提案法を含む VATベースの手法におい て、教師ありデータと異なるソースを教師なしデー タとして使用したにもかかわらず好ましい性能を 示した。これは提案法の汎用性の高さを示している と考えられる。今後は、教師ありデータに教師なし データを構築し、提案法の効果を検証したい。

## 5.2 人手による根拠との一致性

我々の提案法である Attention iVAT は、他の手法 と比較して人手による根拠のアノテーションと の一致率が高かった。これは式 6 に示すように、 Attention iVAT では単語注意差のノルムは 1 に正規化されるため、各単語に対する注意度の差異がより 明確になるとともに、より効果のある仮想的な敵対的摄動が得られているためと考えられる。この類似 の性質は著者ら [7] の Attention iAT においても同様 の議論がされている。さらにこうした明確な注意と 仮想敵対的摄動に伴う注意は、言語の解析や理解に 必要な注意の普遍的な特徴を学習すると期待できる ため、今後さらなる分析を行っていきたい。

## 参考文献

[1] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. In 2nd International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2013.

[2] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In $3 r d$ International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[4] Sarthak Jain and Byron C Wallace. Attention is not explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Association for Computational Linguistics (ACL), pp. 3543-3556, 2019.

[5] Takeru Miyato, Andrew M Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In 5th International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2016.

[6] Motoki Sato, Jun Suzuki, Hiroyuki Shindo, and Yuji Matsumoto. Interpretable adversarial perturbation in input embedding space for text. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, AAAI Press, pp. 4323-4330, 2018.

[7] Shunsuke Kitada and Hitoshi Iyatomi. Attention meets perturbations: Robust and interpretable attention with adversarial training. CoRR arXiv:2009.12064, 2020.

[8] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial training: a regularization method for supervised and semi-supervised learning. IEEE transactions on pattern analysis and machine intelligence, Vol. 41, No. 8, pp. 1979-1993, 2018.

[9] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 8801-8811, 2020

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics (ACL), pp. 1631-1642, 2013.

[11] Andrew L Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Vol. 1 of Association for Computational Linguistics (ACL), pp. 142150, 2011.

[12] Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge,
Thorsten Brants, Phillipp Koehn, and Tony Robinson. One billion word benchmark for measuring progress in statistical language modeling. In Proceedings of the 15th Annual Conference of the International Speech Communication Association, International Speech Communication Association (ISCA), pp. 2635-2639, 2014.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. In 2nd International Conference on Learning Representations, ICLR, Workshop Track Proceedings, 2013.

[14] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C Wallace. Eraser: A benchmark to evaluate rationalized nlp models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 4443-4458, 2019.

## A Vanilla モデルの構築と学習

本章では、ベースラインとなる vanilla モデルに ついて述べる。このモデルは先行研究 $[4,7]$ がその 提案の有効性を示すために使われている。本研究で は広範囲に渡って検証がされているその recurrent neural network (RNN) を元にしたモデルをべースライ ンとして使用した。

## A. 1 注意機構を有するモデルの構築

まず $X$ を one-hot エンコーディングされた単語列 $X=\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right) \in \mathbb{R}^{|V| \times T}$ と表す。なお $T$ は単語列中の単語数、 $|V|$ は語彙数を表す。ここで、単語列を表す表現の省略形である $\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)$ as $\left(\boldsymbol{x}_{t}\right)_{t=1}^{T}$ を導入する。次に、 $x_{t}$ に対応する $d$ 次元の単語埋め込み表現を $\boldsymbol{w}_{t} \in \mathbb{R}^{d}$ とする。このとき、単語列に対する単語埋め込みは $\left(\boldsymbol{w}_{t}\right)_{t=1}^{T} \in \mathbb{R}^{d \times T}$ と表 す。この単語埋め込み表現を双方向 RNN Encを 用いて $m$ 次元の隠れ表現 $\boldsymbol{h}_{t}$ としてエンコードす る: $\boldsymbol{h}_{t}=\mathbf{E n c}\left(\boldsymbol{w}_{t}, \boldsymbol{h}_{t-1}\right)$ 。次に、[3] が提案した additive function を用いて、 $t$ 番目の単語に対する注意スコ ア $\tilde{a}_{t}$ を $\tilde{a}_{t}=\boldsymbol{c}^{\top} \tanh \left(W \boldsymbol{h}_{t}+\boldsymbol{b}\right)$ として定義する。なお $W \in \mathbb{R}^{d^{\prime} \times m}$ と $\boldsymbol{b}, \boldsymbol{c} \in \mathbb{R}^{d^{\prime}}$ はモデルパラメータである。 そして、文全体に対する注意スコア $\tilde{\boldsymbol{a}}=\left(\tilde{a}_{t}\right)_{t=1}^{T}$ か ら、全単語の注意の重み $\boldsymbol{a} \in \mathbb{R}^{T}$ を計算する。

$
\boldsymbol{a}=\left(a_{t}\right)_{t=1}^{T}=\operatorname{softmax}(\tilde{\boldsymbol{a}})
$

注意の重み $\boldsymbol{a}$ と隠れ表現 $\boldsymbol{h}_{t}$ を用いて加重平均 $\boldsymbol{h}_{\boldsymbol{a}}$ を計算する: $\boldsymbol{h}_{\boldsymbol{a}}=\sum_{t=1}^{T} a_{t} \boldsymbol{h}_{t}$ 。 上記の $\boldsymbol{h}_{\boldsymbol{a}}$ は全結合層 Decへと入力され、最終的な予測値を出力する: $\hat{\boldsymbol{y}}=\sigma\left(\boldsymbol{D e c}\left(\boldsymbol{h}_{\boldsymbol{a}}\right)\right) \in \mathbb{R}^{|\boldsymbol{y}|}$ 。このとき $\sigma$ は活性化関数で あり、 $|\boldsymbol{y}|$ は予測するクラスの数である。

## A. 2 注意機構を有するモデルの学習

学習時には、モデルは注意スコア $\tilde{\boldsymbol{a}}$ である単語列 $X$ である $X_{\tilde{a}}$ から、 $\boldsymbol{y}$ の条件付き確率を学習する: $p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)$ 。ここで、 $\boldsymbol{\theta}$ はモデルの全パラメータであ る。このとき、(教師ありの) 学習データ Dを用いて 損失項である以下の負の対数尤度を最小化する:

$
\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \boldsymbol{\theta}\right)=\frac{1}{|\mathscr{D}|} \sum_{(X, \boldsymbol{y}) \in \mathscr{D}}-\log p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)
$

## B モデルの設定

我々は提案法である Attention VAT/iVATを含む、最新の AT および VAT ベースの学習法を比較した。 これらは付録 A に示すべースラインに対して適用表 3: 評価用データセットの統計量。評価には一般的に知られているデータセットを使用した。データ セットを学習 (train) セット、検証 (valid) セット、評価 (test) セットに分割した。分割方法と前処理は著

者ら [7] の先行研究と同様である。

しており、平等な比較のために $[4,7]$ の実験設定に 則った。本研究では、教師ありおよび半教師あり設定の下、以下のモデルを比較した:

教師ありモデル vanilla [4]、Word AT [5]、Word iAT [6]、Attention AT [7]、Attention iAT [7]、そして提案法である Attention VAT および Attention iVAT

半教師ありモデル として、Word AT [5]、Word iVAT [6]、そして提案法である Attention VAT および Attention iVAT

## C データセットとタスク

表 3 は教師ありデータの統計量を示す。我々 は [4] および [7] に従って、実験で使用するデータ セットを学習用、検証用、テスト用に分割し、それ ぞれ前処理を実施した。本研究では、以下の教師あ りおよび教師なしデータセットを使用した:

教師ありデータセット Standard Sentiment Treebank (SST) [10], IMDB, a large movie reviews corpus [11] を使用した。これらのデータセットは文がポジティ ブかネガティブかの感情が付与されており、これら を予測するようにモデルを学習させた。

教師なしデータセット One Billion Word Language Model Benchmark [12] を半教師あり学習のためのラ ベルなしデータとして利用した。このベンチマーク は言語モデルを評価するために幅広く利用されてお り、近年の VAT ベースの研究である [9]においても 使用されている。従って、我々はこのデータセット が私達の実験においても有効であると考え採用し た。教師ありデータサイズが比較的小さいことを考慮して、教師なしデータの $1 \%$ 無作為にサンプリ ングし、半教師あり学習における教師なしデータと して使用した。
 北田俊輔彌冨仁 法政大学大学院 理工学研究科 応用情報工学専攻 \{shunsuke.kitada.8y@stu., iyatomi@\}hosei.ac.jp  