# ニューラル機械翻訳のためのアテンション確率のスムージング とゲーティング学習

張 潚廙
愛媛大学
zhang@ai.cs.ehime-u.ac.jp
二宮崇
愛媛大学
ninomiya@cs.ehime-u.ac.jp
}

田村 晃裕
同志社大学
aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年、人工知能の発展とともに、自然言語処理分野においてもニューラルネットワーク (Neural Network) に基づく手法が主流になっており、特に機械翻訳のタスクにおいてはニューラルネットワー クを用いた機械翻訳 (ニューラル機械翻訳) が高い 精度と自然な翻訳を実現することから大きく注目を集めている。ニューラル機械翻訳モデルとし て、LSTM (Long-Short Term Memory)を用いた回帰型 ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくエンコーダー・デコーダーモデル が提案され [1]、さらにアテンション機構 (Attention Mechanism)[2] によって翻訳精度が大きく改善され た。Transformer[3] は、回帰的構造を持たずアテン ション機構だけから構成されるエンコーダー・デ コーダーモデルであり、言語間アテンションに加 え、原言語文や目的言語文における各単語間のアテ ンション (自己アテンション)を計算することを特徵とする。回帰的構造を持たない代わりに位置エン コーディングを埋め込むことで、単語の位置情報や 前後関係を捉えている。また、マルチヘッドをアテ ンション機構に導入しており、中間表現ベクトルを 各ヘッドに分割し、各ヘッドにおいてアテンション を計算することにより様々な文の特徴を捉えること を可能としている。

Transformer は、非常に高い翻訳精度を実現する ことから、現在も多くの翻訳モデルのベースと なっており、時系列をより強い関係で結びっけ る Monotonic Attention[4] や、異なるアテンションマ スクを導入した Mixed Multi-Head Self Attention[5]、 Highway Transformer[6]、Capsule Networks[7]、Multi-
Hop Attention[8] などが提案されている。また、アテ ンションに関する解析では、アテンションの確率計算は単なる重みの計算ではないという報告がなされ ている [9]。Transformer およびこれらの Transformer に基づく手法のいずれも、そのアテンション計算は ソフトマックス関数を使った関連性計算を行ってお り、計算結果はある単語に対する文中の各単語との 関連性を表す離散的な確率分布になっている。ソフ トマックス関数はその性質から一つや二つの単語 だけにきわめて高いピークの確率を与えることが 多いが、そのため、単語確率分布におけるデータス パースネスや過学習の問題が混在している可能性が ある。

そこで、本論文ではアテンションの関連性計算に 対してスムージング (Smoothing)を適用し、その確率値を調整する手法を提案する。具体的には、ラべ ルスムージング手法 [10] を用いたアテンションス ムージング (Attention Smoothing) と、スムージング のパラメータをモデルに学習させるゲートスムージ ング (Gate Smoothing)を提案する。WAT の ASPEC 英日翻訳タスクにおいて実験を行い、アテンション スムージングによって BLEU(\%) 值が+0.74 向上し、 ゲートスムージングによって BLEU(\%) 值が+0.99 向上することを確認した。

## 2 Transformer

Transformer は近年ニューラル機械翻訳で最もよく 使われるエンコーダー・デコーダーモデルの一種で ある。原言語の文をエンコーダーに入力し、エン コーダからは大力に対する中間表現が出力される。 デコーダーには、エンコーダーの中間表現および現時点までの訳文を入力し、それらを組み合わせて次

の時刻の単語を生成する。長さ $S$ の原言語の文を $X=\left.\{x_{1}, x_{2}, \cdots, x_{S}\right.\}$ とし、長さ $T$ の目的言語の文を $Y=\left.\{y_{1}, y_{2}, \cdots, y_{T}\right.\}$ とすると、生成の過程は以下の 式で表せる。

$
P\left(y_{t} \mid y_{<t}, X\right)=\mathbb{M}\left(y_{<t}, X\right)
$

ただし、Мはモデルを表す。モデルは時刻ごとに次 の単語を生成する確率を算出する。

Transformer のエンコーダーおよびデコーダーは、 それぞれスタックされた 6つのレイヤーから構成さ れる。エンコーダー側のレイヤーは自己アテンショ ン層とフィードフォワード層で構成され、デコー ダー側のレイヤーは自己アテンション層と言語間 アテンション層、フィードフォワード層で構成さ れる。

アテンションの計算について説明する。入力をク エリー $q$ 、キー $k$ 、バリュー $v$ とする。クエリーと キーで単語間の関連度を計算し、それを重みとして バリューの重み付き平均値を計算する。計算過程は 以下の式で表せる。

$
\begin{aligned}
\text { score } & =\mathbf{W}^{q}(q) \cdot \mathbf{W}^{k}(k)^{\top} \\
a & =\operatorname{softmax}(\text { score }) \\
o_{i} & =\sum_{j=1}^{V} a_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ただし、 $W^{(q)} \in \mathbb{R}^{Q \times d}, W^{(k)} \in \mathbb{R}^{K \times d}, W^{(v)} \in \mathbb{R}^{V \times d}, a \in$ $\mathbb{R}^{Q \times K}, o_{i} \in \mathbb{R}^{d} 、 d$ は隠れ層の次元数、 $Q, K, V$ は クエリー、キー、バリューの長さを表し、 $i \in$ $\{1,2, \cdots, Q\}, j \in\{1,2, \cdots, K\}$ かつ $K=V$ を満たして いる。 $\operatorname{softmax}(\cdot)$ はスコアを正規化するための活性化関数であるソフトマックス関数である。ソフト マックスの計算結果は $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約が 課せられる。

自己アテンションでは、クエリー、キー、バリュー はそれぞれ前の層からの出力となる。前の層からの 出力は、エンコーダー側では原言語の中間表現であ り、デコーダー側では目的言語の中間表現である。言語間アテンションでは、クエリーはデコーダー側 の前の層の出力、キーとバリューはエンコーダー側 の最終レイヤーの出力になる。

自己アテンションと並んで Transformer において 重要な部分はマルチヘッドアテンションである。 マルチヘッドの場合は、次元数をへッド数で割り、 ヘッドごとにアテンションの計算を行う。マルチ ヘッドアテンションは自己アテンションや言語間ア テンションに適用される。

## 3 提案手法

従来のマルチヘッドアテンションは単語間の関連性 $a$ を計算するためにソフトマックス関数を 使い $a_{i j} \in(0,1)$ s.t. $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約の 下で単語間の関連性を表す。ソフトマックス関数 で正規化する際には指数関数が適用されるため、関連の高い単語に対する値がより顕著になるよ うな確率值が算出される。その結果、一つや二つ の単語にだけきわめて高い確率が割り振られる $\left(\max _{j}\left[a_{i j}\right] \gg a_{i k}(k \neq j, \forall i)\right)$ ため、アテンション確率においても過学習の問題が混在している可能性が 高い。そこで、本研究ではアテンションで単語間の 関連性を算出する際にスムージングを行う手法を提案する。

## 3.1 アテンションスムージング

分類モデルの学習時に損失を計算する際、正解ラ ベルのみに基づいて損失を計算すると過学習を起こ してしまう可能性がある。ラベルスムージングは、 そのような過学習を抑えるための手法であり、正解 ラベルに対する確率を一定率低くし、正解ラベル以外のラベルに対する確率を一定率高めることで、ラ ベル確率分布を滑らかにする。

本研究では、ラベルスムージングの手法をアテン ションの算出時に適用するアテンションスムージン グを提案する。アテンションスムージングは、ラベ ルスムージングに倣い、アテンションの計算による 単語間関連度を表す確率分布を滑らかにする。具体的には、次式のように、アテンションの確率分布に 対して、最も高い確率を一定率 $(s)$ 低くし、その他 の確率を一定率 $(1 / s)$ 高める方法である。

$
\begin{gathered}
\hat{a}_{i j}=\left.\{\begin{array}{cc}
a_{i j} \cdot s & j=\underset{j}{\arg \max }\left[a_{i j}\right] \\
a_{i j} \cdot \frac{1}{s} & j \neq \underset{j}{\arg \max }\left[a_{i j}\right]
\end{array}\right. \\
o_{i}=\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v} \cdot(v)
\end{gathered}
$

ただし、 $s \in \mathbb{R}$ はスムージングの強さを制御するハ イパーパラメータであり、 $0<s \leq 1$ を満たしてい る。 $s$ をさくするほど、過度なピークの情報を抑 えてアテンションの単語確率分布を滑らかにする。 $s=1$ の場合、アテンションスムージングを用いな い従来手法と同等になる。
表 1 実験結果

## 3.2 ゲートスムージング

アテンションスムージングでは、スムージングの 強さを表すハイパーパラメータ $s$ を人手で調整す る必要がある。本研究では、ゲーティングの仕組み を取り入れて、スムージングの強さもパラメータと して学習するゲートアテンションを提案する。ゲー トアテンションを数式で表現すると以下の通りと なる。

$
\begin{aligned}
\text { score }_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\gamma \cdot \sigma\left(\text { score }_{s}\right) \\
\hat{a} & =a \odot \hat{s} \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v}(v)
\end{aligned}
$

ただし、 $\mathbf{W}^{s q} \in \mathbb{R}^{Q \times d}, \mathbf{W}^{s k} \in \mathbb{R}^{K \times d}, \hat{s} \in \mathbb{R}^{Q \times K}$ であ り、式 8 がスムージングの強さを表すパラメータを 算出する部分である。 $\sigma(\cdot)$ は大力の要素ごとにシグ モイド関数を適用する関数、 $\gamma \in \mathbb{R}$ はスムージング の値域を調整するハイパーパラメータである。

る。このようにすることで、スムージングの強さ $\hat{s}$ を訓練データからモデルで学習させることがで きる。

## 4 実験

本実験では、Vaswani ら [3] の Transformerをべー スラインにして提案手法の有効性を検証する。

## 4.1 実験データ

本実験では、WAT の ASPEC 英日翻訳タスクの訓練データセットの一部である train1.txt $(1,000,000$文対）を訓練データとして用いた。英日両方におい て文長が 50 以下のデータだけを用いて学習した。用いた訓練データ数は 907,356 文対であった。検証データとテストデータは ASPEC 英日翻訳タスク の検証データセットとテストデータセットを使っ た。検証データとテストデータは、それぞれ 1,790文対と 1,812 文対であった。英語文の形態素解析は WAT の手順にしたがい、日本語文の形態素解析は $\mathrm{KyTea}^{1)}$ を使った。

訓練データ $1,000,000$ 文対において出現頻度が 3 以下の単語は語彙辞書には登録せず、辞書に登録 されていない単語は特殊トークン<UNK>に置き換 えた。

## 4.2 モデル設定

提案モデルのパラメータはベースラインモデ ル2)にあわせた。エンコーダーとデコーダーの レイヤー数は 6、ドロップアウトの確率は 0.1、 ウォーミングアップステップ数は 4,000 、バッチ サイズは 200、エポック数は 20 とした。オプティ マイザーは Adam を用い、学習パラメーターは $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.98, \epsilon=1 e-9$ 、学習率減衰 は 0.0001 に設定した。アテンションスムージング では $s=0.9 、$ ゲートアテンションでは $\gamma=2$ とした。

## 4.3 実験結果

実験結果を表 1 に示す。表 1 より、ベースライン モデルと比較して、アテンションスムージングで

BLEU(\%) の性能向上が確認できた。

ただし、ゲートスムージングはレイヤーごとに新 しいパラメータが追加されており、ベースラインモ デルよりもパラメータ数が増えている。その影響を 排除して、ゲートスムージングの効果を確認するた めダミーパラメータモデルを用意した。ダミーパラ メータモデルは下記の計算式に従ってアテンショ ンの計算を行うモデルであり、ベースラインモデル のパラメータ数を単純に増やしたモデルとなって いる。

$
\begin{aligned}
\operatorname{score}_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\operatorname{softmax}\left(\operatorname{score}_{s}\right) \\
\hat{a}_{i j} & =\left(a_{i j}+\hat{s}_{i j}\right) / 2 \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ここで、式 12 と式 13 がゲートスムージングモデル との差分となる。ゲートスムージングでの式 8 が式 12 に対応している。式 13 では $a$ と $\hat{s}$ を要素ごとに

1) http://www.phontron.com/kytea/index-ja.html

2) https://github.com/jadore801120/attention-is-all-you-needpytorch/tree/master/transformer

足して 2で割る。表 1 より、ゲートスムージングは ダミーパラメータモデルよりも性能が高いことがわ かる.この結果から、パラメータ数にかかわらず、式 8、9 の効果（ゲートスムージングの効果）が確認できた。

## 4.4 ゲートスムージングの効果

ゲートスムージングにおいて学習された スムージングに関するゲート值の実例を表 2 に示す。表 2 は、"By deciding strategy, industrygovernment-university should unitarily promote."とい う入力文に対して、ピリオド “.”との関連性を 計算した際に、エンコーダー側の最終レイヤー で算出された $a_{j}$ と $\hat{s}_{j}$ である。表 2 より、関連性 の強い $a_{3}$ (strategy に対する関連) や $a_{5}$ (industrygovernment-university に対する関連) に対し、低め の $\hat{s}_{3}=0.93, \hat{s}_{5}=0.95$ が与えられ、関連性の弱い $a_{7}, a_{8}, a_{9}$ に対し、 $\hat{s}_{7}=1.00, \hat{s}_{8}=0.98, \hat{s}_{9}=0.98$ とい う高い値が与えられた。このことから全体的な分布 を滑らかにする方向に学習していることが確認で きた。

## 5 おわりに

本研究では、アテンションでの関連性計算におい て数単語にきわめて高い確率が与えられるという現象を緩和するため、アテンションスムージングとい う手法を提案した。アテンションスムージングでは 人手でスムージングのパラメータを決める必要があ るが、このスムージングのパラメータをモデルに学習させる手法としてゲートスムージングを提案し た。WAT の ASPEC 英日翻訳タスクで提案手法の有効性を確認した。

今後の課題として、スムージングの関数を変える など、より良い形で関連性を調整できる式を作り たい。

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014.

[2] Dzmitry Bahdanau, KyungHyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. ICLR 2015, 2016.

[3] Ashish Vaswani, Noam Shazeer, and Niki Parmar et.al. Attention is all you need. 31st Conference on Neural Information Processing Systems, 2017.

[4] Yingzhu Zhao, Chongjia Ni, and Cheung-Chi Leung et.al. Cross attention with monotonic alignment for speech transformer. INTERSPEECH 2020, 2020.

[5] Hongyi Cui, Shohei Iida, Po-Hsuan Hung1, Takehito Utsuro1, and Masaaki Nagata. Mixed multi-head selfattention for neural machine translation. Proceedings of the 3rd Workshop on Neural Generation and Translation.

[6] Yekun Chai, Shuo Jin, and Xinwen Hou. Highway transformer: Self-gating enhanced self-attentive networks. $A C L$ 2020, 2020.

[7] Shuhao GU and Yang FENG. Improving multi-head attention with capsule networks. NLPCC 2019, 2019.

[8] Shohei Iida, Ryuichiro Kimura, and Hongyi Cui et.al. Attention over heads: A multi-hop attention for neural machine translation. ACL 2019, 2019.

[9] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, p. 7057-7075, 2020.

[10] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. pp. 2818-2826, 2016.
 張 潚廙 愛媛大学 zhang@ai.cs.ehime-u.ac.jp 二宮崇 愛媛大学 ninomiya@cs.ehime-u.ac.jp }  田村 晃裕 同志社大学 aktamura@mail.doshisha.ac.jp  