# 逆順デコーダを用いた係り受け構造に基づく Transformer ニュー ラル機械翻訳

佐々木 拓馬 ${ }^{1}$, 田村 晃裕 ${ }^{1}$, 出口 祥之 ${ }^{2}$, 二宮 崇 ${ }^{2}$, 加藤 恒夫 ${ }^{1}$
1 同志社大学 理工学部, 2 愛媛大学 大学院理工学研究科
${ }^{1}$ \{cgub0052@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
2 \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp

## 1 はじめに

自然言語処理の分野において機械翻訳は古く から盛んに研究されており，近年では，ニューラ ルネットワークを用いた機械翻訳（Neural Machine Translation; NMT）が主流となっている. NMT の中 でも，特に，文内の単語間の関連の強さを捉える self-attention を備えた Transformer NMT [7] が，NMT 初期に広く使われていた RNN や CNN ベースの NMT の翻訳精度を上回り，現在注目を集めている。

これまで，統計的機械翻訳や NMT では，文構造 （句構造や係り受け構造など）を考慮することで翻訳精度が改善されている. Transformer NMT におい ても例外ではなく, 原言語文や目的言語文の文構造を活用することで，その翻訳精度が向上するこ とが報告されている $[1,3,6,9,10,11,13]$. 出口ら [13] は, self-attention の一部に対して, 係り先の単語に注意が向くような制約を与えて学習すること で，文の係り受け構造を捉える self-attention（以降， dependency-based self-attention（DBSA）と呼ぶ）を提案し，Transformer NMT のエンコーダとデコーダで DBSA を使うことで，翻訳時に原言語文と目的言語文の係り受け構造を考慮して翻訳を行うモデルを提案した. そして, Asian Scientific Paper Excerpt Corpus (ASPEC) [5] の日英, 英日翻訳において翻訳精度の 改善を確認している。

通常の Transformer NMT では，デコーダの selfattention を学習する際，推論時には生成していない 単語に対する関連を算出しないように自身より後方 の単語をマスクする. 出口らのモデルにおいても, デコーダの DBSA が未生成の単語に対して注意を向 けないように，自身より後方の単語に係る係り受け 関係はマスクして学習される. そのため, デコーダ の DBSA は後方に向かう係り受け関係は活用できな
い。一方，言語によっては，後方に向かう係り受け 関係が多く生じる。例えば日本語では，通常，係り 先は自分の文節より後方の文節になる。そのような 言語が目的言語の場合，デコーダの DBSA の効果が 十分に得られないと考えられる。文献 [13] におい て，日英翻訳では提案モデルにより BLEUが 1.04 ポ イント向上したが，英日翻訳では 0.30 ポイントの向上にとどまっていることもこれを裏付けていると考 えられる。

そこで本研究では，ほとんどの係り受け関係に おいて係り先が自身より後方になる日本語が目的言語となる翻訳を想定し，目的言語文（日本語文） の文構造を self-attention で効果的に捉えるための Transformer NMT モデルを提案する。具体的には， DBSA に基づくモデル [13] のデコーダにおいて，目的言語文を文頭単語から順に生成するのではなく,文末単語から順に通常の逆順で生成する。この逆順 デコーダにより，自身より後方の単語に係る係り受 け関係に対して，係り先の単語は係り元の単語より 先に生成されるため，マスクされることなくデコー ダの DBSA で捉えることが可能となる。

ASPEC の英日翻訳実験において提案モデルと従来の出口らのモデル [13] を比較した結果, 目的言語文を逆順で生成することにより，DBSA に基づく Transformer NMT の性能が，学習データが 10 万文対 の場合は BLEU で 0.74 ポイント， 100 万文対の場合 は 0.11 ポイント改善することを確認した.

## 2 従来モデル:DBSAに基づくTransformer NMT

本節では，提案モデルの基礎となる DBSA に基 づく Transformer NMT [13] を概説する。概要図を 図 1 に示す. DBSA に基づくモデルは，Transformer NMT [7] のエンコーダとデコーダに，係り受け関係

図 1 DBSA に基づくTransformer NMT [13] の概要図

を一部のヘッドで捉える multi-head self-attention で ある DBSA を導入し，原言語文と目的言語文の係り 受け構造を考慮した翻訳を行う，図 1 では，DBSA が $p_{\text {enc }}$ 層目のエンコーダと $p_{d e c}$ 層目のデコーダに 組み込まれている.

DBSA に基づくモデルの学習では，次式の目的関数 $\mathscr{L}$ 最小化することで，翻訳と係り受け解析を 同時に学習する.

$
\mathscr{L}=\mathscr{L}_{\text {trans }}+\lambda_{\text {enc }} \mathscr{L}_{\text {encdep }}+\lambda_{\text {dec }} \mathscr{L}_{\text {decdep }}
$

ここで, $\lambda_{\text {enc }}>0$ と $\lambda_{\text {dec }}>0$ はハイパーパラメー タである. $\mathscr{L}_{\text {trans }}$ は翻訳に関する誤差であり，ラ ベル平滑化交差エントロピーにより算出する。ま た, $\mathscr{L}_{\text {encdep }}$ と $\mathscr{L}_{\text {decdep }}$ はそれぞれエンコーダ側と デコーダ側の DBSA で捉える係り受け解析に関する 誤差であり，交差エントロピーによって算出する。 ただし， $\mathscr{L}_{\text {decdep }}$ を算出する際は，推論時には予測 していない単語に注意を向けないようにするため,自身より後方の単語への係り受け関係はマスクさ れる。

## 2.1 Transformer NMT

Transformer NMT は，入力文を中間表現に変換す るエンコーダと中間表現から出力文を生成するデ コーダを組み合わせたエンコーダ・デコーダモデル である. エンコーダやデコーダの入力は, 入力単語 の埋め込み表現に，入力単語の文における位置情報 をエンコードした位置エンコーディングを加えた
ものである．エンコーダとデコーダでは，それぞれ エンコーダレイヤとデコーダレイヤが複数層積み 重ねられている。エンコーダレイヤは，入力側から 順に, self-attention, 位置毎のフィードフォーワード ネットワークの 2 つのサブレイヤで構成されてい る. デコーダレイヤはエンコーダレイヤのサブレ イヤに，原言語文と目的言語文間の encoder-decoder attention を加えた 3 つのサブレイヤで構成されてい る. 各サブレイヤ間では，残差接続を行った後，層正規化が適用される.

self-attention 及び encoder-decoder attention は multihead attention により実現される. multi-head attention は, 単語間の関連の強さを捉える機構であり, 単語の 埋め込み次元 $(d$ 次元 $)$ を $n_{\text {head }}$ 個の $d_{\text {head }}\left(=d / n_{\text {head }}\right)$次元の部分空間に射影し，部分空間毎に attention の計算を行う．各部分空間をへッドと呼ぶ. $h$ 番目のヘッドでは， $h$ 番目の部分空間に射影された multi-head attention の入力 $Q_{h}, K_{h}, V_{h}$ に基づき，次式 の演算により，単語間の関連の強さを重みとする重 み付き和表現 $M_{h}$ を得る。

$
\begin{array}{r}
A_{h}=\operatorname{softmax}\left(d_{\text {head }}^{-0.5} Q_{h} K_{h}^{T}\right) \\
M_{h}=A_{h} V_{h}
\end{array}
$

ここで， $A_{h}$ が単語間の関連の強さを表す行列であ る. ただし，デコーダの self-attention を学習する際 は，推論時には予測していない単語との関連を求め ないように, $Q_{h}$ の各単語に対する後方の単語を表す $K_{h}$ の各成分をマスクしてから $A_{h}$ を求める. 全へッ ドの計算が終わったら，それらの出力 $M_{1, \ldots, n_{\text {head }}}$ を 結合し，単語の埋め込み次元に線形変換した以下の $M$ が， multi-head attention の出力となる.

$
M=W^{M}\left[M_{1} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで， $W^{M} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

目的言語文は，デコーダの最終層の出力を単語の 語彙数次元に線形変換した後，ソフトマックス関数 をかけることで得られる単語出力確率分布に基づき 生成する。

## 2.2 DBSA

DBSA は， multi-head attention の一部のヘッドにお いて, Deep Biaffine parser [2] の要領で係り受け関係 を捉える。具体的には，係り受け関係を捉えるへッ ドの入力を $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると，まず次式 の通り，bi-affine 変換によって単語間の係り受け関
係を示す行列 $A_{\text {dep }}$ を求める.

$
A_{d e p}=\operatorname{softmax}\left(Q_{d e p} U^{(1)} K_{d e p}^{\top}+Q_{d e p} U^{(2)}\right)
$

ここで, $U^{(1)} \in \mathbb{R}^{d_{\text {head }} \times d_{\text {head }}}, U^{(2)}=\overbrace{(\mathbf{u} \ldots \mathbf{u})}^{n}, \mathbf{u} \in$ $\mathbb{R}^{d_{\text {head }}}$ はパラメータ行列である. また, $A_{d e p}$ の要素 $A_{d e p}[v, w]$ は, 単語 $w$ が単語 $v$ の係り先である確率を示している. その後, $A_{d e p}$ と $V_{d e p}$ をかけ合わ せることで単語間の係り受け関係の強さを重みとす る重み付き和表現 $M_{d e p}$ を得る.

$
M_{d e p}=A_{d e p} V_{d e p}
$

multi-head self-attention において，ある 1 つのへッド を $M_{d e p}$, 残りを通常のヘッドとしたものが DBSA である. つまり， $M_{\text {dep }}$ と $n_{\text {head }}-1$ 個の通常のへッ ド $\left(M_{2, \ldots, n_{\text {head }}}\right)$ を結合し, 単語の埋め込み次元に線形変換した以下の $M^{(p)}$ が，DBSA の出力である.

$
M^{(p)}=W^{M^{(p)}}\left[M_{\text {dep }} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで, $W^{M^{(p)}} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

DBSA はサブワード列に適用できるように拡張さ れている. サブワード単位の DBSA は，まず，単語単位の係り受け構造をサブワード単位の係り受け構造に変換する. 具体的には，1つの単語が複数のサ ブワードを含む場合，右端以外の各サブワードの係 り先は隣接する右側のサブワードとし，右端のサブ ワードの係り先は元の単語の係り先1)とする. その 後, 変換したサブワード単位の係り受け構造に対し て DBSA を適用することで，サブワード列に対して DBSA に基づくモデルが適用できる.

## 3 提案モデル：逆順デコーダを用い た DBSA に基づく Transformer NMT

2 節で述べた通り，従来の DBSA に基づくモデル は，デコーダの DBSA を学習する際，自身より後方 の単語に係る係り受け関係はマスクされるため, 目的言語文内の後方への係り受け関係を捉えることが できない。一方で，日本語は自分より後方の文節に 係るという特徴があるため, 日本語が目的言語であ る場合，従来モデルでは日本語文の係り受け関係を ほとんど活用できない.

そこで提案モデルでは，目的言語文を文末から文頭に向かって生成する逆順デコーダを導入すること で前記問題点を解決する．具体的には，提案モデル

1）係り先の単語が複数のサブワードを含む場合，左端のサブ ワードを係り先とする。

(a) 目的言語文とその係り受け構造

(b) 従来モデルのDBSA

(c) 提案モデルのDBSA

図 2 従来モデルと提案モデルのデコーダ側の DBSA の例

を学習する際の目的言語文として，対訳データの目的言語文を逆順に並べ替えた文を用いる。これによ り，元の文では自身より後方にあった係り先が並び 替え後は前方に位置することになり，その係り先へ の係り受け関係がマスクされずに学習できる. そし て推論時には，学習した逆順デコーダを用いて，目的言語文を文末から文頭に向かって生成する.これ により，元の文では後方に向かう係り受け関係を捉 えながら翻訳を行うことが可能となる。そして最後 に，逆順デコーダで生成した逆順の目的言語文を逆 から並べ変えた文を翻訳文として出力する。こうす ることで，自分より後方に係るという特徴を持つ日本語を目的言語とする翻訳において，提案モデルは 日本語文の係り受け構造を活用でき，翻訳精度の向上が期待できる.

図 2 に従来モデルと提案モデルのデコーダ側の DBSA の例を示す. 例文は ASPEC の日本語文の実例である. 図 2 において，斜線のセルはマスクされ る要素，黒いセルは係り先を表す。つまり，学習時 には，係り受け関係を捉えるへッドは黒いセルの確率が 1 に近づくように学習される. 図より, 従来モ デルでは，ほとんどの係り受け関係がマスクされて 考慮されないことが分かる. これは日本語の係り受 け関係が文頭に近い方から文末に近い方に係る特徴 があるためである．また，従来モデルをサブワード
列に適用する際，単語内の各サブワードは，右端の サブワードを除き，右隣に係るように係り受け構造 の変換が行われる（2.2 節参照）ため，単語内のサブ ワード間の係り受け関係も考慮されない。一方で，提案モデルのデコーダでは，目的言語文を逆順にし て扱うため，全ての係り受け関係がマスクされずに 考慮できていることがわかる.

## 4 実験

## 4.1 実験設定

提案モデルの有効性を確かめるため, ASPEC の日英翻訳タスクにおいて，提案モデルを従来の DBSA に基づくモデル [13] と比較する. それぞれのモデ ルを「DBSA (逆順)」,「DBSA (正順)」と表記する. また，係り受け構造を活用しない Transformer NMT に対しても，逆順デコーダの有効性を確認するた め, Transformer NMT モデル [7] とその Transformer NMT において目的言語文を逆順で扱うモデルの 性能も評価する。それぞれのモデルを「Transformer (正順)」,「Transformer（逆順）」と表記する. データ セットは ASPEC[5] の日英対訳コーパスを使用した.学習データは train-1.txt から抽出した上位 10 万文対 と, train-1.txt と train-2.txt から抽出した上位 150 万文対の 2 種類を用いた. 英語の単語分割には Moses Tokenizer，日本語文の単語分割には KyTea を用い た. また，各文は BPEによりサブワードに分割し た. 原言語側と目的言語側で独立に BPE モデルを 学習し, それぞれの語彙数は 16,000 トークンとし た. 英語文の係り受け解析には Stanza, 日本語文の 係り受け解析には EDAを用いた. 従来モデル及び 提案モデルの設定は, 基本的には文献 [13] に従っ た. 文献 [13] の設定からの変更点は, DBSAを組み 込む層を $p_{e n c}=3, p_{d e c}=3$ とし, ミニバッチの大きさ を 100 文，エポック数を学習データが 10 万文対の時 は 50 エポック，150万文対の時は 20 エポックとし た点である. また，ハイパーパラメータ $\lambda_{e n c}, \lambda_{d e c}$ は，0.05,0.1，0.5，1.0を試し，開発データで最も良 い性能であった值を評価時に採用した。

## 4.2 実験結果

表 1 に実験結果を示す。翻訳性能は BLEUにより 評価した. 表 1 より，学習データが 10 万文対と 150 万文対の両方の場合において，DBSA（正順）より 提案モデルである DBSA（逆順）の方が翻訳精度が表 1 実験結果

高いことが分かる. 具体的には，DBSA（逆順）は DBSA（正順）と比べて，学習データが 10 万文対の 場合は BLEUで 0.74 ポイント，学習データが 150 万文対の場合は 0.14 ポイント翻訳性能が高い。これ より，逆順デコーダを用いることで，DBSAに基づ く Transformer NMT の英日翻訳性能が改善でき，提案手法が英日翻訳において有効であることを確認 した.

また，係り受け構造を活用しない Transformer NMT においても，逆順デコーダを用いることで，学習データが 10 万文対の場合は BLEU が 0.53 上が り, 150 万文対の場合は BLEU が 0.24 上がっている ことが分かる. これは, 文献 [8] などで報告されて いる通り, Transformer の self-attention の一部では係 り受け関係などの文構造を捉えている可能性があ り，係り受け構造を教師信号として与えなくても，逆順デコーダを用いることで潜在的に係り受け関係 に近い構造を self-attention で捉えることが可能にな り，DBSA に基づくTransformer モデルと同様の効果 が表れたのではないかと思われる.

## 5 おわりに

本研究では，係り先が自身より後方になる特徵を 持つ日本語が目的言語の場合の翻訳精度を改善す るため，DBSA に基づく Transformer NMT において 目的言語文を逆順で生成する逆順デコーダを活用 する手法を提案した．ASPEC の英日翻訳タスクの 評価実験を通じて，提案手法により，学習データが 10 万文対の場合は BLEU が 0.74 ポイント， 100 万文対の場合は 0.14 ポイント改善することを確認した.今後は中日翻訳などの英日翻訳以外の翻訳対に対す る有効性を確認したい. また，文献 [4] や [12] など のように正順方向と逆順方向のデコーダを組み合わ せた方法への拡張も行いたい。

## 参考文献

[1] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[2] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. arXiv preprint arXiv:1611.01734, 2016.

[3] Chunpeng Ma, Akihiro Tamura, Masao Utiyama, Eiichiro Sumita, and Tiejun Zhao. Improving neural machine translation with neural syntactic distance. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2032-2037, 2019

[4] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. NTT neural machine translation systems at WAT 2019. In Proceedings of the 6th Workshop on Asian Translation, pp. 99-105, 2019.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208, 2016.

[6] Yutaro Omote, Akihiro Tamura, and Takashi Ninomiya. Dependency-based relative positional encoding for transformer nmt. In Proceedings of the International Conference Recent Advances in Natural Language Processing 2019, pp. 854-861, 2019

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[8] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, 2019.

[9] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1403-1409, 2019.

[10] Shuangzhi Wu, Dongdong Zhang, Zhirui Zhang, Nan Yang, Mu Li, and Ming Zhou. Dependency-to-dependency neural machine translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 11, pp. 2132-2141, 2018

[11] Meishan Zhang, Zhenghua Li, Guohong Fu, and Min Zhang. Syntax-enhanced neural machine translation with syntax-aware word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1151-1161, 2019.

[12] Long Zhou, Jiajun Zhang, and Chengqing Zong. Synchronous bidirectional neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 91-105, 2019.

[13] 出口祥之, 田村晃裕, 二宮崇. 係り受け構造に基づく attention の制約を用いた transformerニューラル機械翻訳. 自然言語処理, Vol. 27, No. 3, pp. 553-571, 2020.
 佐々木 拓馬 ${ }^{1}$, 田村 晃裕 ${ }^{1}$, 出口 祥之 ${ }^{2}$, 二宮 崇 ${ }^{2}$, 加藤 恒夫 ${ }^{1}$ 1 同志社大学 理工学部, 2 愛媛大学 大学院理工学研究科 ${ }^{1}$ \{cgub0052@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp 2 \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp  