# An Investigation of Sentiment Recognition with Error Prone Multimodal Language Sequences

Wei Yang and Jun Ogata
Artificial Intelligence Research Center, National Institute
of Advanced Industrial Science and Technology (AIST)
wei.yang@aist.go.jp; jun.ogata@aist.go.jp
}

\begin{abstract}
In this work, we propose to investigate the sentiment recognition accuracy using unaligned multimodal language sequences including error prone textual modality. For that, we firstly construct an ASR system using a publicly available corpus based on Transformer architecture that relying on self-attention mechanism. Then, for automatically creating the textual data for an existing audio dataset, we perform speech-to-text on the audio part of a multimodal dataset. Finally, we perform sentiment recognition experiments with multi-modality language sequences including the textual features that extracted based on automatically created error prone textual data instead of utilizing manually created transcripts. We estimate that the word error rate (WER) of our ASR system is $4.87 \%$ in the case of SentencePiece based subword segmentation applied for the textual data in training process. We obtain the best accuracy of sentiment recognition experiments conducted on error prone multimodal language sequences with $70 \%$.
\end{abstract
## 1 Introduction

Emotion and sentiment recognition is crucial as an application of artificial intelligence (AI) in human-computer interaction $(\mathrm{HCI})$, and it has become an overlapping research between psychology and computer science (CS). But as we know, it is difficult to understand human language by AI, especially through only one behavior (unimodality) as human language is complicated due to human's dynamic multi-modality nature during face-toface communication. In other words, it is always dynamic and variable language sequences including verbal behavior (natural language/textual modality) and nonverbal behaviors (acoustic modality and visual modality). On the basis of experience, more exact intentions should be more easier to capture by considering natural language and nonverbal cues at the same time (multimodality/multimodal).

The crucial process of emotion and sentiment recognition should be helpful by the use of multimodal data driven recognition engine using state-of-the-art AI techniques. Thus, for both training process and evaluating how reliable a multimodal engine is, creating large-scale labelled multimodal datasets in different languages on all domains is essential and extremely important. Some research institutions have consumed a lot of time and effort to construct publicly available dataset, such as CMU-MOSI [20], CMU-MOSEI [1] and IEMOCAP [3]. We should give many thanks to these works. But we also have to notice that manually constructing multimodal dataset in different modalities is time consuming and cost. It is also difficult to apply one system on all scenarios in real life. Consequently, as an application of emotion or sentiment recognition for addressing real world problems with real time-series data becomes a challenge in research and development in artificial intelligence field.

From the previous work, we can see that much effort also has been made to modelling sentiment or emotion recognition from multiple modalities $[15,17]$. In this work, we focus on the "Multimodal Transformer (MulT)" model [15] that used for emotion and sentiment analysis using multimodal datasets. The main advantage of "MulT" is that it can address "unaligned" problem for the time-series (sequences) data in different modalities, as well as the problem of long-range dependencies across modalities by using crossmodal attention mechanism ("repeated reinforce one modality's features with the features from the other modalities" [15]) to adapt streams from one modality to another. Actually, "MulT" is an extended end-to-end model based on standard Transformer architecture [16]. "MulT" can allow us to obtain state-of-the-art results in emotion and sentiment recognition field for several benchmarks. We refer the read to [15] and [16] for a more detail explanation of the overall architecture of "MulT" and the standard Transformer network. In our work, we only use CMU-MOSI as the multimodal dataset for sentiment recognition experiments.

In this paper, we construct an ASR system based on a standard Transformer architecture with a freely available dataset. We then perform speech-to-text experiments
relying on the pre-trained ASR systems for a publicly available multimodal language dataset. Finally, we extract textual features in word embeddings from those automated transcriptions combine with acoustic and visual features to perform sentiment recognition experiments. We obtain a best recognition accuracy with $70 \%$ by utilizing this kind of error prone multimodal language sequences in three modalities. We also compare the result with the accuracy of using only two modalities (acoustic and visual modalities, without textual modality). Three modalities, in spite of containing error prone textual features, still allow us to obtain much better results.

## 2 Sentiment Recognition with Error Prone Multimodal Dataset

## 2.1 Construction of ASR System

Some researchers have tried to work on speech representation learning approach for speech emotion recognition (SER) task through the use of automatic speech recognition (ASR) system [2,19]. Different from these works, in our work, we directly use ASR system to automatically convert audio to text (transcripts) so as to obtain a multimodal language dataset that containing three modalities: language/textual modality, acoustic modality and visual modality. In speech recognition task, recurrent sequence-to-sequence (seq2seq) model using encoder-decoder network have achieved significant word error rate (WER) by introducing different techniques [21]. There also exist several open tookits that used for speech recognition task, for instance, Kaldi [13] and ESPnet [18]. In our experiments, we construct a Pytorch implementation of ASR system refer to ESPnet using a standard Transformer architecture. We do not apply speed perturbation [8] and CMVN (Cepsturm Mean and Variance Normalization) for experimental data preparation and feature extraction, but apply "SpecAugment" [11] for data argument.

In our experiments, we use Transformer architecture to train our ASR models. Thus, for position representations, we use absolute position encodings in selfattention mechanism that introduced in [16]. As using subword information has already become crucial to the improvement of the tasks in natural language processing (NLP), such as machine translation (MT) or the task we are doing here, speech recognition. Some previous work shows that using "subword" is an effective way for addressing unseen word or rare word issues, alleviating the open vocabulary problems [14], so as to obtain a stronger neural machine translation (NMT) system. Thus, we perform subword segmentation to further segment words into "subword" units for preparing the textual data used for training ASR systems.

In our experiments, we apply two different subword

 & Textual data for ASR \\

Table 1: Examples of word/subword based segmentation for the same text from our experimental dataset.

implementations on the textual data. One is "BPE" subword segmentation which means the segmenter relied on byte-pair-encoding (BPE) compression algorithm [5]. Another one is "SentencePiece (sp)" subword segmentation. "SentencePiece (sp)" supports two segmentation algorithms: "BPE" and "unigram language model" [9], here, for the case of "SentencePiece (sp)" we use "unigram language model". Table 1 shows the examples of word/subword segmentation results for the same text from our experimental dataset.

Textual data (transcripts) are automatically created using our Transformer based ASR systems as described above based on "BPE" and "SentencePiece (sp)" respectively. We evaluate and compare the WER of the ASR systems for both test set including in ASR construction experiments and the audio data with their manual transcripts from an existing multimodal dataset (CMUMOSI). We then choose to use the transcripts of the audio dataset that created from the better ASR system with lower WER as the third modality information act on multimodal sentiment recognition. The textual features (word embeddings) will be extracted afterwards for preparing the final experimental data used in sentiment recognition experiments.

## 2.2 Using Error Prone Multimodal Language Sequences in Sentiment Recognition

We propose three protocols to perform sentiment recognition experiments with multi-modality language sequences using "MulT". We compare these three protocols with each other, also with the results given in [15]. The first protocol (aligned) is that we train the sentiment recognition model based on our error prone multimodal language sequences are aligned to the same length. The second protocol (unaligned) is as follows. The length of the textual sequences is the same as the length obtained in the first protocol, but we keep the original length of the audio and visual features without any word-segmented alignment. The third protocol (unaligned but language only) is that we train the sentiment recognition model
using only the textual features that reinforced by audio and visual features.

## 3 Experiments

## 3.1 ASR and Sentiment Recognition Experimental Datasets

The English dataset used in our ASR system construction is a publicly available ASR corpus: LibriSpeech [10]. LibriSpeech is a publicly available ASR corpus $^{1}$ for speech recognition based on public domain audio books in English. We train Transformer based ASR models on the LibriSpeech corpus with 960 hours (train-960) of speech samples at $16 \mathrm{kHz}$, whose contains three subsets (train-clean-100, train-clean-360 and train-other-500). We evaluate our ASR systems with "test-clean" dataset.

For our sentiment recognition experiments, we use the processed CMU-MOSI experimental datase ${ }^{2}$ which consisting multimodal features (language (L), audio (A) and vision (V)) for 2,199 short monologue video clips. The multimodal features are extracted from the textual, acoustic and visual multimodal dataset using Glove word embeddings (glove.840B.300d) [12], COVAREP [4] and Facet [6] respectively.

## 3.2 ASR System Construction and Speechto-text Tasks

We train our ASR systems for 72 hours on 4GPUs. We average the last 8,10 and 20 saved models for decoding the test set and report the best one. The input acoustic features are 40-dimensional filter banks. In the training stage, we used Adam optimizer [7] with $\beta_{1}=0.9$, $\beta_{2}=0.98, \varepsilon=10^{-9}$ and varied the learning rate over the course of training. We used warmup_step $=12000$, we set the residual dropout with 0.1 . Number of blocks for encoder is 12 and number of blocks for decoder is 6 . The model dimension d_model $=320$ and the number of head is set with 4. The feed-forwad inner dimension is 1280 . We use "GLU (Gated Linear Unit)" as the active function type in our experiments. The textual data of "train-960" dataset is used to learn a language model using Transformer as well. The pre-trained language model is also used in final prediction.

As the evaluation results shown in Table 2. Subword size used in our experiments for "sp" and "BPE" are 5,000 and 32,000 respectively. Vocabulary size are 5,000 and 31,398 obtained from subword segmentation results correspondingly. Our pre-trained Transformer based ASR systems allow us to obtain $4.87 \%$
^{1}$ http://www.openslr.org/12

 }^{2}$ http://immortal.multicomp.cs.cmu.edu/raw_ datasets/processed_data/cmu-mosi/seq_length_50/

and $5.25 \%$ in WER on LibriSpeech's "test-clean" dataset based on "SentencePiece (sp)" and "BPE" subword segmentation respectively. Meanwhile, we obtain $52.23 \%$ and $64.59 \%$ on the CMU-MOSI audio dataset, the reference is the original manual transcripts (textual data) in CMU-MOSI dataset. "SentencePiece (sp)" based subword segmentation obtain $12.36 \%$ improvement in WER over "BPE" subword segmentation on CMU-MOSI dataset while $0.38 \%$ relative improvement on the "testclean" of LibriSpeech. The high scores in WER for CMU-MOSI dataset probably due to differences in domains and speaking styles.

Table 3 shows the samples of speech-to-test experiment results for CMU-MOSI dataset. We can see that some audio samples (e.g., id: OtBXNcAL_IE_18) cannot be recognized successfully using our ASR system (empty), maybe they are too short or so rapid to difficult to recognized. Some of the results do not match the reference because there contains "smacking lips" like stress information in the original manual transcripts (e.g., id: tmZoasNr4rU_10). There also exist some cases that ASR based transcripts are much more longer than their original manual transcripts in the dataset, and the ASR based transcripts are more reasonable according to their corresponding audio samples (e.g., id: 2WGyTLYerpo_44).

## 3.3 Construction of Multimodal Sentiment Recognition Systems

We perform the experiments with "aligned" and "unaligned" protocols almost the same as described in [15]. The hyperparameters of "MulT" use here are also the same as used in [15]. The only difference is that instead of using the extracted textual features given in the original CMU-MOSI processed experimental dataset, we replace them with our textual features. They are also extracted using the same "glove.840B.300d", but based on our automatically created error prone textual data (transcripts). Table 4 shows the evaluation results for the three protocols given in Sec. 2.2. Because of the error prone textual data, as expected, we did not obtain the same results in all evaluation metrics in comparison with the results obtained in [15]. But we compare the results with each other, we found that our results are on the contrary to the results obtained based on the original CMUMOSI multimodal language sequences with manual textual data. In our experiments, "unaligned" has better results in comparison with "aligned" protocol. Meanwhile, reinforcing language (L) features with audio (A) and visual (V) features allow us to obtain the best result. This is to say, Multimodal Transformer with crossmodal attention module are so efficient for addressing the problems of long term dependencies across modalities, especially for "unaligned", even "error prone" nature for multimodal language sequences. We also perform the

 & Model &  & Subword segmentation & WER (\%) \\

\cline { 3 - 5 } & & \multirow{2}{*}{ CMU-MOSI } & BPE & 5.25 \\
\cline { 3 - 5 } & & & BPE & 64.59 \\

Table 2: Evaluation results of speech-to-text experiments based on our Transformer ASR systems for both "test-clean" LibriSpeech test set and CMU-MOSI data. The scores in WER for two different subword segmentation strategies is given on the last column. The number in boldface shows the better results.

 \\
\cline { 2 - 3 } & Manual & shes beautiful (it should be about 167 words in total) \\

Table 3: Examples of speech-to-test experiment results for CMU-MOSI dataset. Here the subword segmentation strategy used is "SentencePiece" (after "SentencePiece" model decoding).

 & 19.2 & 57.8 & 57.5 & 1.359 & 0.208 \\

Table 4: Results for the "MulT" model based multimodal sentiment experiments on CMU-MOSI with our error prone aligned and unaligned multimodal language sequences. As the evaluation metrics, expect MAE is the lower the better, others are the higher the better. $A c c_{7}$ : 7class accuracy, $A c c_{2}$ : binary accuracy, Corr: correlation of model's prediction with human, MAE: mean absolute error of the score.

experiments only with acoustic and visual modalities using "MulT". From the results, we can see that textual features is extremely important in sentiment recognition, in spite of these textual data are error prone and not perfect.

## 4 Conclusion

In this paper, we investigated that as an application of emotion or sentiment recognition for solving real life problems, in other words, if we prefer to do some in- dividual projects, how about the sentiment recognition accuracy that perform with error prone multimodal language sequences in multiple modalities. We assume that we only have acoustic and visual data modalities, for having a multimodal dataset including textual modality, we tried to create textual data using an pre-trained ASR system. The results show that three-modality language sequences combine with a robust multimodal emotion or sentiment recognition system can allow us to obtain a better classification result in comparison with using only two modalities, in spite of the textual features in the language aspect suffers from the low quality of automated transcriptions. From our results, we also can conclude that textual modality is definitely an essential and important information provides us to understand human's behaviors and intents more exactly.

## 5 Acknowledgements

Part of this work was supported by Council for Science, Technology and Innovation, "Cross-ministerial Strategic Innovation Promotion Program (SIP), Big-data and AI-enabled Cyberspace Technologies”. (Funding agency: NEDO)

## References

[1] AmirAli Bagher Zadeh, Paul Pu Liang, Soujanya Poria, Erik Cambria, and Louis-Philippe Morency. Multimodal language analysis in the wild: CMUMOSEI dataset and interpretable dynamic fusion graph. In Proceedings of the 56th Annual Meet-
ing of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2236-2246, 2018.

[2] Yonatan Belinkov and James Glass. Analyzing hidden representations in end-to-end automatic speech recognition systems. 2017.

[3] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower, Samuel Kim, Jeannette N. Chang, Sungbok Lee, and Shrikanth S. Narayanan. IEMOCAP: interactive emotional dyadic motion capture database. Language Resources and Evaluation, 42(4):335-359, 2008.

[4] G. Degottex, John Kane, Thomas Drugman, T. Raitio, and Stefan Scherer. COVAREP-a collaborative voice analysis repository for speech technologies. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2014), pages 960-964, 2014.

[5] Philip Gage. A new algorithm for data compression. C Users J., 12(2):23-28, 1994.

[6] iMotions. Facial expression analysis. 2017.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. 2014. URL http://arxiv.org/abs/1412.6980.

[8] Tom Ko, Vijayaditya Peddinti, Daniel Povey, and Sanjeev Khudanpur. Audio augmentation for speech recognition. In INTERSPEECH, 2015.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. 2018.

[10] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An ASR corpus based on public domain audio books. In 2015 IEEE international Conference on Acoustics, Speech and Signal Processing (ICASSP2015), pages 5206-5210, 2015.

[11] Daniel S. Park, William Chan, Yu Zhang, ChungCheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. Proc. Interspeech 2019, pages 2613-2617, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543, 2014.
[13] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, Jan Silovsky, Georg Stemmer, and Karel Vesely. The Kaldi speech recognition toolkit. In IEEE 2011 Workshop on Automatic Speech Recognition and Understanding, 2011.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 17151725, Berlin, Germany, 2016.

[15] Yao-Hung Hubert Tsai, Shaojie Bai, Paul Pu Liang, J. Zico Kolter, Louis-Philippe Morency, and Ruslan Salakhutdinov. Multimodal transformer for unaligned multimodal language sequences. 2019.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS'17 Proceedings of the 31 st International Conference on Neural Information Processing Systems, pages 6000-6010, Long Beach, CA, USA, 2017.

[17] Yansen Wang, Ying Shen, Zhun Liu, Paul Pu Liang, Amir Zadeh, and Louis-Philippe Morency. Words can shift: Dynamically adjusting word representations using nonverbal behaviors. 2018.

[18] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. Espnet: End-to-end speech processing toolkit. In Proceedings of Interspeech, pages 2207-2211, 2018.

[19] Sung-Lin Yeh, Yun-Shao Lin, and Chi-Chun Lee. Speech Representation Learning for Emotion Recognition Using End-to-End ASR with Factorized Adaptation. In Proc. Interspeech 2020, pages 536-540, 2020.

[20] Amir Zadeh, Rowan Zellers, Eli Pincus, and LouisPhilippe Morency. MOSI: Multimodal corpus of sentiment intensity and subjectivity analysis in online opinion videos. IEEE Intelligent Systems 31.6 (2016): 82-88, 2016.

[21] Yu Zhang, William Chan, and Navdeep Jaitly. Very deep convolutional networks for end-to-end speech recognition. 2016.


# End-to-End 音声翻訳のためのデータ拡張の検討

高木景矢
豊橋技術科学大学
takagi.keiya.sk@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba.tomoyoshi.tk@tut.jp
}

塚田元
豊橋技術科学大学
tsukada.hajime.hl@tut.jp

## 1 はじめに

音声翻訳とはソース言語の音声をターゲット言語のテキストに翻訳するタスクである.このタスクを実現させるために, 先行研究では音声認識モデルと機械翻訳モデルを連結させたカスケードモデルや，単一のモデルで直接翻訳する End-to-End モデルが採用されている [1]. End-to-End 音声翻訳モデルは, 誤り伝搬の軽減と低遅延化のために近年注目されている.しかし, End-to-End 音声翻訳において, ソース音声とターゲット文の大規模なぺアデータが必要になることが問題として挙げられる. そこで, 近年,音声合成精度が人間の発話に近くなっている [2]ことから対訳データのソーステキストから音声合成を使用して疑似ペアデータを作成しデータ拡張をする研究が行われている $[3,4]$. これらの研究では,非公開データを使用していたり, 英語講演音声翻訳コーパスに対してドメイン外の MT データを用いたデータ拡張をし, 性能をあげるために音声翻訳デー タで fine-tuning を行っている. 最近, MuST-C と呼ばれる英語講演音声翻訳コーパスが公開された [5]. これは以前からある英語講演音声翻訳コーパスである IWSLT18 [6] よりもサイズが大きく, 品質が良いとされている. 本論文では, IWSLT18 の音声翻訳コーパスと MuST-C の対訳データから End-to-End 音声合成モデルで作成した合成音声-ターゲットテキストの拡張データを用いて End-to-End 音声翻訳モデルを学習することの有効性を調査する。

また, 我々は, 音声認識タスクで単一話者の音声合成を用いたデータ拡張において, 通常用いられる音声特徵量よりも DNN-HMM (Deep Neural Network Hidden Markov model) のボトルネック特徴量を用いることで音声認識精度が改善されることを示した [7]. 音声認識・翻訳はともに sequence-to-sequence の問題であることから, 我々の以前の研究が音声翻訳に応用可能かも調査する.

## 2 End-to-End 音声翻訳と End-to-End 音声合成

End-to-End 音声翻訳とはソース音声系列とター ゲットテキスト系列の組を学習データとし, その変換を直接学習する手法である. 従来の音声認識モデルと機械翻訳モデルを連結させるカスケード方式よりもモデルがシンプルで, 誤り伝搬の軽減と低遅延化のために近年注目されている. End-to-End 音声翻訳は Berard ら [1] が最初に可能性を示した.

End-to-End 音声合成とは, 文字系列とその音声の組を学習データとし, その変換を直接学習する手法である. 近年の End-to-End 音声合成研究では,人間の発話に近い精度を達成している [2]. 本研究では Tacotron2 [8] を用いて合成音声を作成する. Tacotron2 はテキストからメルスペクトログラムを生成するエンコーダデコーダモデルである.メルスペクトログラムから音声波形に変換する機構はボコーダと呼ばれ, 本研究では WaveGlow [9]を使用する. WaveGlow は Glow [10] と WaveNet [11]の見識から開発されたもので, 自己回帰を必要とせず高速で効率的かつ高品質の合成音声を出力する.

## 3 提案手法

提案するデータ拡張法は我々の以前の研究 [7] を音声翻訳に応用したものである. 初期の音声翻訳データに追加のテキスト-テキスト対訳データのソーステキストを音声合成し, 音声翻訳用の音声テキスト対訳データで拡張する.

End-to-End 音声翻訳では通常, log-mel フィルタバンク特徴量などの音響特徴量が入力として用いられるが, 音声に近い特徵量では多様な情報を含んでおり, 多数の話者の学習データが必要になる. そこで, 提案手法では音声とその書き起こしのペアデー タで事前学習した DNN-HMM 音響モデルの DNN から抽出したボトルネック特徴量を End-to-End 音声翻訳の入力特徴量とすることで単一話者の音声合成によるデータ拡張で音声翻訳性能を改善する (図 1).

図 1 提案手法の概略図

図 2 ボトルネック特徴量抽出器の概略図

ボトルネック特徴量の合成には, 図 2 のように DNN-HMM の出力に近く比較的ノード数の少ない層を用いる．音素の事後確率は話者に依存しないので，DNN-HMM の中間特徴量は話者に依存しない表現として有用であると考える. DNN-HMM の学習は従来の手法と同様で, GMM-HMM (Gaussian Mixture Model Hidden Markov model) を使用してフレームごとに HMM の状態をアライメントし，その HMM の状態を予測するようにDNNを学習する。

データ拡張では，機械翻訳のソーステキストデー タから単一話者の音声合成モデルを用いてテキストと対応する音声を合成する. 合成した音声に対し,
ペアデータで学習しておいた DNN-HMM を用いてフレームごとにボトルネック特徴量を抽出する．抽出したボトルネック特徴量と元のターゲットテキス卜を対にして疑似ぺアデータを作成する。元のペアデータに疑似ペアデータを加え End-to-End 音声翻訳モデルを学習する。

## 4 実験

音響特徴量と提案するボトルネック特徵量を用いて End-to-End 音声翻訳モデルを学習しその翻訳精度を比較する。

## 4.1 データセット

本実験では，コーパスとして IWSLT18 と MuST-C を使用した。翻訳タスクとしては英語-ドイツ語を選択した. IWSLT18 コーパスは 271 時間分の英語講演音声とその書き起こし， ドイツ語の翻訳が含まれている. 先行研究 [12] に倣い, アライメント品質の低い発話を削除し約 $137 \mathrm{k}$ の発話を使用した. MuST-C は英語講演音声とその書き起こしとドイツ語やフランス語を含む 8 言語の翻訳が含まれるコー パスである.そのうち， ドイツ語翻訳のある 408 時間分のデータを使用した. 実験では，IWSLT18を初期ペアデータとし, データ拡張用テキストデー タとしては，MuST-Cのテキストを使用した。ただし, MuST-Cについては 40 単語以内のものを使用し
表 1 音声翻訳データの統計情報

た。開発セットには IWSLT18 の $\operatorname{dev} 2010$ を使用し， テストセットには tst2010，tst2013，tst2014，tst2015 と MuST-C のテストセット tst-COMMON, tst-HE を用いた.

## 4.2 データの前処理

まず，テストセットに含まれる講演と学習データに含まれる講演が重複しないように学習データを削除した。また，学習データと開発セットについては 3000 フレームを超えるものや，400 文字を超える発話は削除した. 各データの最終的な情報を表 1 に示す.

テキストデータについてはトークナイズと小文字化は Moses ${ }^{1)}$ のスクリプトを用いて行った. 句読点などの非発話記号は削除し，文字レベルのボキャブラリを使用した。

## 4.3 ボトルネック特徵量抽出

ボトルネック特徵量を合成する DNN-HMM を学習するために Kaldi [13] を用いた. 学習データは初期データである IWSLT18を用いた。入力は 40 次元の MFCC と 100 次元の i-vector で出力は HMM の共有状態 (6056 次元) として学習を行った. 出力に近く比較的次元の少ない層の出力 (レシピでいうと prefinal-xent $の$ batchnor 層) をボトルネック特徴量 (256 次元) として合成した。

## 4.4 データ拡張

疑似ペアデータを作成するために単一話者の音声合成には Tacotron2 [8] と WaveGlow [9]を用いた. モデルは，公開されているモデルを使用した ${ }^{2)}$ 。これ

らのモデルは，単一女性話者によって収録された 24 時間程度の英語音声コーパスである LJSpeech を学習データとしている.

## 4.5 End-to-End 音声翻訳

ESPnet $^{31}$ [14] のレシピに倣い音声データの特徴量抽出を行った。従来使用される音響特徴量として窓幅 $25 \mathrm{~ms}$, フレームシフト $10 \mathrm{~ms}$ で 80 次元の log-mel フィルタバンク特徴量と 3 次元の pitch 情報を得た。 また, この特徵量は学習データの平均と標準偏差で平均化した。簡単のために学習データセットを次のように表記する。

## IWSLT18

発話速度を $0.9 ， 1.0 ， 1.1$ 倍にしデータを拡張した IWSLT18 のソース音声とターゲットテキストのペアデータ.

## TTS_MuST-C

MuST-C のターゲットテキストと対応するソーステキストの合成音声の疑似ペアデータ。

## RAW_MuST-C

性能の上限を調査するための MuST-C のソース音声とターゲットテキストのペアデータ.

これらのデータの組み合わせで実験を行った。

モデルアーキテクチャは ESPnet に従ったもので注意機構を有する VGG-like のモデルである. エンコーダに 4 層の CNN と 1024 次元, 5 層の BiLSTM, デコーダに 1024 次元, 2 層の LSTM が採用されている. バッチサイズは 16 でオプティマイザは adadelta を使用し, 15 Epochの学習を行い，開発セットで最も Accuracy が良かったモデルを最終的なモデルとして選択した。

## 4.6 実験結果

音声翻訳結果を表 2 , 図 3 に示す。図 3 は表 2 を各コーパスのテストセットについて平均した数値をグラフ化したもので，左が fbank+pitch を入力特徵量とする音声翻訳結果で, 右が BNF を入力特徵量とする音声翻訳結果である. 評価指標には Moses の multi-bleu-detok.perl スクリプトを用いた case insensitive BLEUを使用した.

まず，TTS によるデータ拡張の効果を見るために, IWSLT18 と IWSLT18+TTS_MuST-C $の$ 行を比較する. どちらの特徴量を用いた場合でも，データ拡

3) https://github.com/espnet/espnet

図 3 fbank+pitch を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (左), BNF を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (右)

張 (+TTS_MuST-C) によって音声翻訳精度が改善されていることがわかり, シングルスピーカーTTS でデータ拡張する効果が確認できた。次に，その効果を合成ではない実際の音声との対訳でのデータ拡張 (IWSLT18+RAW_MuST-C) と比較してみる.MuST-C テストデータでは音声合成データ (TTS_MuST-C) は実際の音声 (RAW_MuST-C) の性能には至っていないが，IWSLT テストデータでは同等の効果が得られている. 拡張データと評価データに同じコーパスを使った場合 (MuST-C テストデータ) に対し，それぞれが異なるコーパスとなる IWSLT テストデータでは，音声合成でも実音声と同じような効果となった可能性がある。

次に，2つの特徵量 fbank+pitch と BNF の効果を比較する. 学習データのサイズが小規模な場合 (IWSLT18 の行) を比較すると, BNF の方が高い翻訳性能となった。一方, 学習データのサイズが増えた場合 (+TTS_MuST-C および+RAW_MuST-C の行)を比較すると, fbank+pitch の方が翻訳性能が高い.この理由として, BNF は音素表現に近い特徴量を持つがゆえに多様性が小さいため, データリソースが少ない場合は翻訳モデルの学習に有利であったと考えられる。データリソースが増えると, 多様性の大きい特徵量 (fbank+pitch) でも学習が改善され, 音声の表現能力の差から性能が逆転した可能性がある.

## 5 結論

本論文では，英語講演音声翻訳コーパスである IWSLT18 を初期データとして, MuST-C のソーステキストの音声合成とターゲットテキストで作成した疑似ペアデータを用いてデータ拡張を行った。その結果，翻訳性能が大幅に上昇することを確認した。 IWSLT18 のテストセットに関しては，実際の音声との対訳データで拡張した場合と同等の効果が得られた。

また，以前の研究で有用であったボトルネック特徵量を音声翻訳に応用した。学習データのサイズが小さい場合は従来の音響特徴量を用いるよりも提案手法が翻訳性能を上回ることを示した。

今後の課題としては複数話者の音声合成モデルを用いたデータ拡張実験との比較と, End-to-End 音声翻訳モデルを Transformer ベースのモデルにすることが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および 18H01062 の助成を受けた。

## 参考文献

[1] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and translate: A proof of concept for end-to-end speech-to-text translation. arXiv preprint arXiv:1612.01744, 2016.

[2] Jonathan Shen, Ruoming Pang, Ron J Weiss, Mike Schuster, Navdeep Jaitly, Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, Rj Skerrv-Ryan, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4779-4783. IEEE, 2018 .

[3] Ye Jia, Melvin Johnson, Wolfgang Macherey, Ron J Weiss, Yuan Cao, Chung-Cheng Chiu, Naveen Ari, Stella Laurenzo, and Yonghui Wu. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7180-7184. IEEE, 2019.

[4] Juan Pino, Liezl Puzon, Jiatao Gu, Xutai Ma, Arya D McCarthy, and Deepak Gopinath. Harnessing indirect training data for end-to-end automatic speech translation: Tricks of the trade. arXiv, pp. arXiv1909, 2019.

[5] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuSTC: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2012-2017, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Jan Niehues, Ronaldo Cattoni, Sebastian Stuker, Mauro Cettolo, Marco Turchi, and Marcello Federico. The IWSLT 2018 evaluation campaign. In Proceedings of IWSLT, 2018.

[7] 高木景矢, 秋葉友良, 塚田元. ボトルネック特徵量の合成に基づく音声認識のためのデータ拡張の検討. 日本音響学会 2020 年春季研究発表会 (ASJ), 32020.

[8] Jonathan Shen, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions.
CoRR, Vol. abs/1712.05884, , 2017.

[9] Ryan Prenger, et al. Waveglow: A flow-based generative network for speech synthesis. CoRR, Vol. abs/1811.00002, , 2018.

[10] Durk P Kingma and Prafulla Dhariwal. Glow: Generative flow with invertible $1 \mathrm{x} 1$ convolutions. In Advances in neural information processing systems, pp. 10215-10224, 2018.

[11] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio. arXiv preprint arXiv:1609.03499, 2016.

[12] Hirofumi Inaguma, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Multilingual end-to-end speech translation. In 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 570-577. IEEE, 2019.

[13] Daniel Povey, et al. The kaldi speech recognition toolkit. In In IEEE 2011 workshop, 2011.

[14] Shinji Watanabe, et al. Espnet: End-to-end speech processing toolkit. CoRR, Vol. abs/1804.00015, , 2018 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Transformer に基づく英日翻訳器からの 単語アラインメント抽出手法の比較

古澤智博松崎拓也
東京理科大学 理学部第一部 応用数学科
1417092@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 1 はじめに

単語アラインメントとは、対訳文ペアにおいて、意味の上で対応している単語を繋いだものである。単語アラインメントの一例を図 1 に示す。エンコー ダ・デコーダモデルに基づくニューラル機械翻訳では、モデルの内部に単語アラインメントを明示的に持たない方式が一般的である。近年、ニューラル機械翻訳と同時に単語アラインメントを付与する手法が、盛んに研究されている $[1,2]$ 。この理由として、翻訳モデルのブラックボックス化が起き、翻訳過程の可視化が望まれている点 [3]、また応用面では、強調表示などの原文に対するテキスト修飾を訳文の対応する部分に付加する目的 [4] などがあげられる。特に、翻訳モデルとして現在広く使われている Transformer モデルについて、単語アラインメン卜抽出手法の提案が複数なされている $[2,4,5,6]$ 。本研究では、これまで英仏翻訳、英独翻訳などに対して評価結果が報告されている Transformerに基づく単語アラインメント抽出手法を、英日翻訳に適用し、得られる結果を分析する。実験の結果から、
- Saliency に基づくTransformer からの単語アラインメント抽出 [6] では記号類に誤りが多い
- 相対的に、GIZA++ では前置詞 $\rightarrow$ 助詞ペアに誤りが多い

という観察が得られた。

## 2 Transformer に基づく単語アライ ンメント抽出手法

Transformer [7] は、ニューラルネットワークによるエンコーダ・デコーダモデルの一種である。エンコーダの最初の処理として、単語 ID が埋め込みべクトルに変換される。その後、複数の自己注意機構を経たのち、出力ボキャブラリの全単語についての確率分布が出力される。以上の過程は、全体として

Require: $I=$ 入力長, $J=$ 出力長, $\left[M_{i j}\right]=$ Saliency の行列

Ensure: $\left[X_{i j}\right]=$ 単語アラインメントの行列

$X_{i j} \leftarrow$ false $(i=1, \ldots, I, \quad j=1, \ldots, J)$

for $i=1, \ldots, I$ do

$t \leftarrow \max \left(M_{i 1}, \ldots, M_{i J}\right)$

for $j=1 \ldots J$ do

if $M_{i j}>t \alpha$ then

$X_{i j} \leftarrow$ true

for $j=1, \ldots, J$ do

$t \leftarrow \max \left(M_{1 j}, \ldots M_{I j}\right)$

for $i=1, \ldots, I$ do

if $M_{i j}<t \beta$ then

$X_{i j} \leftarrow$ false

図 2 単語アラインメントを取得するアルゴリズム

微分可能である。

Ding ら [6] は、Transformer の内部機構が微分可能である点を利用し、入力の各単語が出力の各単語に与える影響を微分係数の大きさとして数値化し、単語アラインメントを取得する手法を提案した。具体的には、まず入力の単語埋め込みの各成分について、デコーダが出力する各単語の確率の勾配の大きさを計算する。次に、ある出力単語の選択における各入力単語の寄与（Saliency）を表す量を、先ほど得た成分についての勾配をもとに計算する。以上により、(入力単語数) $\times$ (出力単語数) の Saliency の行列を得る。Ding らは、Saliency を表す尺度として、勾配ベクトルのノルムを用いているが、この尺度の選択には検討の余地があるため、後述する実験によって英日翻訳に適した尺度を比較検討した。また、Ding らの実装に含まれる SmoothGrad [8] も加えて実装した。SmoothGrad は、入力を多数複製してノイズを加えたものそれぞれについて勾配を調べる
表 1 Saliency の尺度を変えたときの精度（ $F_{1} ）$

表 2 言語対別の AER の違い

表 3 品詞別の precision $/$ recall $/ F_{1}$ の違い (KFTT)

表 $4 \alpha$ と $\beta$ を変化させたときの精度 $\left(F_{1}\right)$

ことで、精度を向上させる手法である。

Saliency の行列から単語アラインメントを取得する手法として、Ding らは各出力単語に対して Saliency が最大の入力単語を選んだ後に growdiagonal heuristic [9] により補正する方法を用いている。一方、本論文では図 2 に示す方法を用いた。アルゴリズム中のパラメータ $\alpha$ および $\beta$ は、後述する実験によって最適値を探索した。

図 2 に示すアルゴリズムの要約は、次の通りである。まず、入力側の各単語から見て、相対的に高い Saliency を持つすべての出力単語との間にエッジを張る。次に、出力側の各単語から見て、相対的に低いSaliency を持つすべての入力単語との間のエッジを（あれば）削除する。最後に残ったエッジの集まりを単語アラインメントとする。

## 3 実験に使用する英日デー夕

訓練・評価データとする英日の対訳コーパスとして、京都フリー翻訳タスクデータ（KFTT）[10] と Asian Scientific Paper Excerpt Corpus（ASPEC）[11] を使用した。KFTT は Wikipedia の京都に関係する記事から作成された英日対訳コーパスである。ASPEC は学術論文の要旨から作成された英日対訳コーパスである。KFTT は約 44 万文、ASPEC は約 300 万文の対訳文から成る。KFTT の評価データ（1235 文）には、人手で単語アラインメントが付与されている。

## 4 実験設定

Transformer の実装として、fairseq [12] に含まれるものを用い、これを改造することで実験を行った。 KFTT の正解の単語アラインメントと比較する際は、Transformer がコーパス内の目的言語文そのものを出力したとみなし、コーパス内の対訳文に対して単語アラインメントを付与した。ASPEC を用いた実験では、正解の単語アラインメントデータが存在しないため、入力文に対してモデルが出力した目的言語文との間の単語アラインメントを抽出し、分析した。また、Transformer の訓練と単語アラインメントの抽出は、KFTT と ASPEC それぞれで独立に行った。

トークナイズには、SentencePiece [13] を用いた。原言語・目的言語で共通の語彙集合を用い、語彙サイズは、16000とした。語彙集合の生成は、KFTT と ASPEC それぞれで独立に行った。

SmoothGrad の分散とサンプル数は、評価データ上でチューニングを行い、それぞれ 1.0 と 50 とした。

KFTT について、品詞別の単語アラインメントの精度を測定する際、品詞の自動判定に英文には
表 5 誤って付いた単語アラインメントの品詞別分類

 &  & 機能語 & 記号類 & 数詞 \\

$\mathrm{spaCy}^{1)}$ を、和文には $\mathrm{KyTea}^{2}$ を用いた。Transformer から抽出した単語アラインメントは、SentencePiece によるサブトークンの間のアラインメントとして得られる。これを KFTT の単語単位の正解アラインメントと比較する際、KFTT の各単語対と一文字ずつでも重なるサブトークン対にアラインメントが付いていれば、その単語対にはアラインメントが付いているとみなした。

また、比較対象として、代表的な統計的単語アラインメント抽出手法である GIZA++ [14] を用いた。 GIZA++ による単語アラインメントの推定には、 KFTT に含まれる対訳文約 44 万文のみを用いた。

## 5 実験項目

## $5.1 \alpha$ と $\beta$ 関する実験

KFTT に対して、図 2 の手続きのパラメータ $\alpha$ および $\beta$ の值を変化させて、Saliency による単語アラインメントを出力した。ここでは、Saliency の尺度として、成分の絶対值の平均を用いた。

表 4 に、そのときの単語アラインメント精度（ $F_{1}$ スコア）を示す。結果から $\alpha=0.9 、 \beta=0.4$ の時が最も精度が高いことが分かる。以降の実験ではこの值を用いた。

## 5.2 Saliency を表す尺度に関する実験

Saliency を表す尺度については、Transformer から自動微分により各入力単語に対し得られる 512 次元の勾配ベクトルを、SmoothGrad の複製により $512 \times$ 50 の勾配行列にしたものに対して、成分の絶対值の平均、成分のフロベニウスノルム、成分の絶対値の

最大值、成分の平均の絶対值の 4 つを比較した。成分の平均の絶対值は、Ding らの実験で使用された基準と実質的に同等である。

表 1 に、Saliency の尺度を変えたときの KFTT での単語アラインメント精度の比較を示す。SmoothGrad の有無にかかわらず、成分の絶対值の平均が最も精度が高いことが分かる。また、SmoothGrad を用いた場合、成分の絶対值の平均以外については精度が低下していることが分かる。以降の実験では成分の絶対值の平均を Saliency の尺度として用い、 SmoothGrad を併用した。

## 5.3 単語アラインメント精度

GIZA++ 及び Saliency による単語アラインメントを、KFTT の人手による正解アラインメントと比較し、品詞別に precision/recall $/ F_{1}$ を計算したものを表 3 に示す。ただし、得られた単語アラインメントが多く付いた上位の品詞対についてのみ示す。また、表中の「句読点」は、括弧などを含む広義の句読点である。表より、GIZA++ は前置詞 $\rightarrow$ 助詞の精度が相対的に低く、Saliency に基づく手法では句読点 $\rightarrow$補助記号の精度が相対的に低いことがわかる。

また、Ding らの実験結果との比較を、表 2 に示す。表中の数值は Alignment Error Rate (AER) であり、值が小さいほど精度が高いことを表す。Ding らの実験結果と同様に、GIZA++ の精度が Saliency に基づく手法を上回っていることが分かる。

## 5.4 ASPEC を用いた実験

ASPEC に対して、Saliency による単語アラインメントを出力し、英文の文字数が 80 から 90 のもの 69 文、および 270 から 290 のもの 62 文の計 131 文に対して単語アラインメントの誤りの分析を行った。

図 3 Saliencyに基づく手法からの単語アラインメントの例

図 4 GIZA++による単語アラインメントの例

表 5 に誤った単語アラインメントの数を、表 6 に本来付くべきところが付いていない単語アラインメントの数を、品詞別に集計したものを示す。表中の 「単語一部」とは、SentencePiece によって形態素より細かく分割されたサブワードを意味する。KFTT を用いた実験結果と同様、Saliency に基づく手法は記号類に弱いことが分かる。また、出力側の和文の記号類に対して誤ったアラインメントが付きやすいことが分かる。

## 6 考察

Saliency に基づく単語アラインメント抽出手法について、Ding らの英独、英仏、英羅翻訳での実験では、SmoothGrad の使用によって AERを半分近く減少させていた。しかし、本研究では、SmoothGradによる効果は大きくなかった。

また、品詞別の評価において、Saliencyによる単語アラインメントでは、記号類に多く誤りが発生することが確認された。特に、文末のピリオドと句点の対にアラインメントが付かない例が多く見られた。その例を、図 3 に示す。これは、出力側の文末の句点に対する確率は、Transformerにおいて入力側の文末のピリオドに強く依存しているわけではないことを示している。一方、GIZA++ の出力では、前置詞 $\rightarrow$ 助詞のアラインメントが付かない誤りが相対的に多く確認された。その例を、図 4 に示す。図中の上の例では、「about」 $\rightarrow$ 「ほど」にアラインメントが付いていないことが分かる。これは、英語の前置詞と日本語の助詞の間には、単純な一対一ではない意味的な対応があり、GIZA++ の統計モデルではこの関係を適切に学習できなかったためだと考えられる。同一のデータで訓練した Transformer からはより正確な前置詞 $\rightarrow$ 助詞のアラインメントが得られていることは、Transformer の能力の一端を示していると言える。

## 7 おわりに

本研究では、これまで英仏翻訳、英独翻訳などに対して評価結果が報告されている Transformerに基づく単語アラインメント抽出手法を英日翻訳に適用し、得られる結果を分析した。品詞別の単語アラインメント精度を比較することで、全体としての精度の比較では分からない手法別の結果の違いが確認できた。今後の課題として、他の単語アラインメント抽出手法も含めた精度の比較および日英翻訳の場合の評価が挙げられる。

## 参考文献

[1] Xintong Li, Guanlin Li, Lemao Liu, Max Meng, and Shuming Shi. On the word alignment from neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1293-1303, 2019.

[2] Thomas Zenkel, Joern Wuebker, and John DeNero. Endto-end neural word alignment outperforms GIZA++. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1605-1617, 2020.

[3] Yanzhuo Ding, Yang Liu, Huanbo Luan, and Maosong Sun. Visualizing and understanding neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1150-1159, 2017.

[4] Thomas Zenkel, Joern Wuebker, and John DeNero. Adding interpretable attention to neural translation models improves word alignment. CoRR, Vol. abs/1901.11359, , 2019.

[5] Yun Chen, Yang Liu, Guanhua Chen, Xin Jiang, and Qun Liu. Accurate word alignment induction from neural machine translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 566-576, 2020.

[6] Shuoyang Ding, Hainan Xu, and Philipp Koehn. Saliencydriven word alignment interpretation for neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 1-12, 2019.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[8] Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda B. Viégas, and Martin Wattenberg. Smoothgrad: removing noise by adding noise. CoRR, Vol. abs/1706.03825, , 2017.

[9] Philipp Koehn, A. Axelrod, Alexandra Birch, Chris Callison-Burch, M. Osborne, and David Talbot. Edinburgh system description for the 2005 iwslt speech translation evaluation. In IWSLT, 2005.

[10] Graham Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[11] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, 2016.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[13] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[14] Franz Josef Och and Hermann Ney. A systematic comparison of various statistical alignment models. Computational Linguistics, Vol. 29, No. 1, pp. 19-51, 2003.


# 単言語データを用いた逆翻訳と順翻訳による データ拡張の効果の比較

美野 秀弥 ${ }^{1}$ 衣川和卉 ${ }^{1}$ 伊藤 均 ${ }^{1}$ 後藤 功雄 ${ }^{1}$ 山田 一郎 ${ }^{1}$ 田中 英輝 ${ }^{2}$
川上貴之 ${ }^{3}$ 大嶋 聖一 ${ }^{3}$ 朝賀 英裕 ${ }^{3}$
${ }^{1}$ NHK 放送技術研究所 ${ }^{2}$ NHK エンジニアリングシステム ${ }^{3}$ 時事通信社
\{mino.h-gq, kinugawa.k-jg, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp
tanaka.hideki@nes.or.jp, \{kawakami, sohshima, asaka\}@jiji.co.jp

## 1 はじめに

ニューラル機械翻訳（NMT）の精度を向上させるアプローチの 1 つに、単言語データを用いたデータ拡張がある。Sennrich ら [1] は、既存の対訳データで学習した目的言語から原言語へ翻訳する NMT モデルを用いて目的言語の単言語データを原言語に翻訳した擬似的な対訳デー タを生成し、それを既存の対訳データに追加して学習することで翻訳精度が向上することを示した。目的言語から原言語に翻訳することは 「逆翻訳」と呼ばれており、逆翻訳によって生成された擬似対訳データは、目的言語側のデー タの流暢性が担保されていることから、訳文の流暢性が向上することが知られている。一方で、原言語の単言語データを目的言語に翻訳すること (以下、順翻訳と呼ぶ) で得られる擬似的な対訳データを用いたデータ抳張の効果について報告した研究 $[2,3,4]$ は順翻訳によるデー タ拡張による翻訳精度の向上のみに言及しており、逆翻訳との比較や対訳データの規模による違いなどの詳細な分析はない。そこで、本稿では、規模の異なる対訳データと内容がほぼ均衡した日英の単言語データを用い、逆翻訳と順翻訳によって生成された異なる擬似対訳データによるデータ拡張の効果を日英、英日の NMT システムの性能比較を通じて検証した。検証の結果、順翻訳で生成した疑似対訳データと、逆翻訳で生成した疑似対訳データは共に、データ拡張による翻訳の精度向上に寄与することを確認表 1 時事通信社ニュースの各コーパスの文数

した。また、両方の擬似対訳データを併用することでさらに翻訳精度が向上することを確認した。既存の対訳データの分量を小規模にして行った実験では、逆翻訳で生成された擬似対訳データの効果が大きいことを確認した。

## 2 実験概要

## 2.1 データセット

本稿では、国立研究開発法人情報通信研究機構の委託で進められている機械翻訳の研究プロジェクト内で開発されたニュースの日英均衡対訳コーパス $[5,6,7]$ と自動アライメント手法によって抽出された日英自動アライメントコーパスとを用いる。表 1 に各コーパスの文数を示す1)。日英均衡対訳コーパスは、日英翻訳コー パスと日本語修正コーパスの 2 種類に分けられる。日英翻訳コーパスは、時事通信社の日本語記事の文を過不足なく人手で英語に翻訳した対訳コーパスである。日本語修正コーパスは、時事通信社の日英記事に対して記事アライメントを自動で行い、英語記事を文単位で内容が等価になるように日本語文を修正した対訳コーパスである。日英自動アライメント対訳コーパス

1）田中らが構築したコーパス [5] の一部を利用。

は、文単位に分割された日本語と英語のニュー ス記事を入力として日英の文単位間が交差しないように結びっける文アライメントアルゴリズム [8] により抽出された対訳コーパスである。 テストセット、開発用セットには、WAT2020の JIJI タスク [9] のデータセットを用いた ${ }^{21}$ 。

## 2.2 実験設定

NMT システムには、Transformer モデル [10] が実装されている Sockeye 2 [11]を用い、日英、英日の 2 種類の翻訳モデルを学習した。英語については Moses のツール3)、日本語については Kytea [12]をそれぞれ用いてトーカナイズした。語彙サイズは、Byte Pair Encoding (BPE) [13] を用いて 64,000 語に定めた。最大文長は 150 トークン、最大エポック数は 30 とし、チェックポイント間隔は 5,000 とした。連続して 15 回チェックポイントで開発用データのパープレキシティの値が改善しない場合は学習を終了した。学習時のその他の設定は Sockeye のデフォルト值を用いた。翻訳時は、ランダムシードを変えて学習した 5 つのモデルをアンサンブルしたモデルを用い、ビーム幅を 30 とした。全てのシステムは、BLEU [14] で評価した。

## 2.3 ベースライン

ベースラインとして、表 1 の日英均衡コーパス(日英翻訳コーパスと日本語修正コーパス) で学習した翻訳モデルを用意した。事前実験でタグを用いた適応化による効果が得られたため、日英翻訳コーパスには〈J-JIJ〉タグ（日本語が時事通信社のスタイルであることを示すタグ）を、日本語修正コーパスには〈E-JIJ〉タグ （英語が時事通信社のスタイルであることを示すタグ）をそれぞれ原言語側のデータの先頭に付与して翻訳モデルを学習した。翻訳時は、〈E-JIJI〉タグ（日英翻訳時）、または〈J-JIJIタグ （英日翻訳時）を入力文の先頭に付与した。

2）自動アライメント手法により抽出された対訳データからノイズが多いものが人手で取り除かれている。

3) https://github.com/mosessmt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl表 2 各コーパスへの付与タグ (学習時)

## 2.4 単言語データによるデータ拡張

日英均衡コーパスに、日本語と英語の単言語データを翻訳することで構築した 2 種類の擬似対訳コーパスを加えて翻訳モデルを学習した。日本語と英語の単言語データには、日本語側、英語側の内容がほぼ均衡している表 1 の日英自動アライメントコーパスを用いた。

単言語データの翻訳にはベースラインシステムを用い、日英自動アライメントコーパスの英語側を日本語に翻訳した擬似対訳コーパス （以下、MonoEn と呼ぶ）と日本語側を英語に翻訳した擬似対訳コーパス（以下、MonoJa と呼ぶ)、それぞれ 391,538 対を得た。内容がほぼ均衡している日本語、および英語の単言語デー タを用いることで、MonoEn と MonoJaはほぼ同じ情報を有したコーパスとなっている。本稿では、ベースラインシステムの学習で用いた日英均衡コーパスに、MonoENを加えて学習した翻訳モデル、MonoJaを加えて学習した翻訳モデル、MonoEnと MonoJa の両方を加えて学習した翻訳モデル、の 3 種類の翻訳モデルを構築した。Caswell らは、学習時に擬似対訳コーパスと正規の対訳コーパスを区別するタグを付与して学習する手法 [15] を提案しており、本稿でもこの手法を用いた。原言語側、あるいは目的言語側が時事通信社のニュース文のスタイルであることを示すスタイルタグと、対訳データが擬似対訳か正規の対訳かを示す擬似対訳タグ、の 2 種類のタグを原言語側データの先頭に付与して翻訳モデルを学習した。表 2 に、各コーパスに付与するタグを示す。日英翻訳時は“〈E-JIJI> 〈NOMT>”を付与し、英日翻訳時は “〈J-JIJI> 〈NOMT>”を付与した。
表 3 日英翻訳の実験結果

表 4 英日翻訳の実験結果

## 2.5 小規模対訳データ

小規模な対訳データにおけるデータ拡張の効果を確認するために、表 1 の日英翻訳コーパスと日本語修正コーパスから 75,000 データをそれぞれランダムに抽出した日英均衡コーパス 150,000 データを対訳データとし、同様に日英自動アライメントデータを用いてデータ拡張を行い、翻訳モデルを学習した。データ拡張には、日英均衡コーパス 150,000 データで学習した翻訳モデルを利用した。英日翻訳については、タグ付与の翻訳モデルよりもタグ未付与の翻訳モデルの翻訳精度が高かったため、データ拡張時もタグ未付与で学習した。英日翻訳でタグ付与の翻訳モデルの翻訳精度が下がった理由としては、翻訳時に付与するくJ-JIJ〉タグは学習データの原言語（英語）が時事通信社のニュース文ではない翻訳文であることに対応しているが、テストデータは英語、日本語共に時事通信社のニュース文であるため、その乘離が影響したためと考えられる。

## 3 実験結果

日英、英日ニュース翻訳の実験結果を表 3,4 に示す。参考のため、タグを付与しない場合の結果も載せた。日英、英日ともに順翻訳デー タ、逆翻訳データの追加による翻訳精度の向上を確認した。また、順翻訳データと逆翻訳デー タの両方を追加することにより、さらに翻訳精表 5 英日翻訳の一対比較評価（100 文）

度が向上することを確認した。英日翻訳については、テストセットの中の 100 文について、「日英均衡+MonoEn (順翻訳)」、日英均衡+MonoJa (逆翻訳)」、「日英均衡+MonoEn+MonoJa」、で学習した翻訳モデル間の一対比較評価を評価者 1 名により実施した ${ }^{4)}$ 。表 5 に評価結果を示す。BLEUの評価では、順翻訳データ (MonoEn) を加えて学習した翻訳モデルと逆翻訳データ (MonoJa)を加えて学習した翻訳モデルの差はなかった (表 4 の 3,4 行目) が、一対比較評価では逆翻訳データを追加した翻訳モデルよりも順翻訳データを追加した翻訳モデルの結果が良い評価を得た。また、順翻訳、逆翻訳の両方のデータを追加して学習した翻訳モデルは、どちらか一方のデータのみを加えた翻訳モデルと比較して良い評価を得られる傾向があった。本実験結果より、原言語側と目的言語側の両方の単言語データの利用の有効性が確認された。

表 6 に英日翻訳の翻訳例と評価結果を示す。 \#1 の例では、"crew member" の翻訳の違いにより、日英均衡+ MonoJa (逆翻訳) の結果（隊員） よりも日英均衡+MonoEn (順翻訳) を用いた翻訳モデルの結果（乗組員）が良いと評価された。\#2 の例では、"moving service fees” の翻訳の違いにより、日英均衡+MonoEn (順翻訳) の結果（移動サービス料）よりも日英均衡 + MonoJa (逆翻訳) を用いた翻訳モデルの結果（引越し料金）が良いと評価された。

逆翻訳によるデータ拡張により翻訳結果の流暢性が向上することは知られているが、BLEU および人手評価の結果から、順翻訳によるデー タ拡張でも翻訳結果の流暢性が向上することがあることが分かる。

4） 2 の出力のうち、どちらが翻訳として適切かどうかを評価した。同じ品質の場合は「同等」と評価した。

 &  \\

表 7 日英翻訳の実験結果（小規模対訳データ）学習データ文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 20.5$

日英均衡+MonoEn(逆翻訳) $\quad 541,538 \quad 22.7$

日英均衡+MonoJa(順翻訳) $\quad 541,538 \quad 20.6$

日英均衡+MonoEn+MonoJa 933,076 22.8

表 8 英日翻訳の実験結果（小規模対訳データ）学習データ文数 BLEU

日英均衡 (タグ付与) $\quad 150,000 \quad 24.6$

日英均衡+MonoEn(順翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoJa(逆翻訳) $\quad 541,538 \quad 27.8$

日英均衡+MonoEn+MonoJa 933,076 27.9

小規模対訳データを用いた日英、英日ニュー ス翻訳実験結果を表 7,8 に示す。日英翻訳については、順翻訳と比較して逆翻訳のデータ拡張による翻訳精度の向上が大きかった。英日翻訳については、順翻訳、逆翻訳のデータ拡張による翻訳精度の向上に差はなかった。一方で、日英翻訳、英日翻訳ともに、順翻訳と逆翻訳の両方のデータ拡張による翻訳精度の向上は小さかった。

## 4 おわりに

本稿では、単言語データによるデータ拡張の効果を、時事通信社のニュースコーパスを用い
て検証した。原言語側の単言語データによる順方向の翻訳（順翻訳）と、目的言語側の単言語データによる逆方向の翻訳（逆翻訳）の 2 種類のデータ拡張を用いて日英、英日の翻訳実験を行い、両方のデータ拡張を併用することで翻訳精度が向上することを確認した。さらに、対訳データを小規模にして同様の実験を実施したところ、逆翻訳によるデータ拡張の効果が大きくなることを確認した。「逆翻訳」によるデータ拡張は対訳データが小規模のときに有用であることが知られており[1]、これを裏付ける結果となった。小規模の対訳データの実験では、順翻訳と逆翻訳の 2 種類のデータ拡張の併用による BLEU の向上は小さかったが、本稿でも指摘しているように、BLEU の評価で差が小さい場合でも人手による一対評価で差が大きくなる場合があるので、今後人手評価を実施したい。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」により得られたものです。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Advances in Neural Information Processing Systems 32. Curran Associates, Inc., 2020.

[3] Maja Popović, Alberto Poncelas, Marija Brkic, and Andy Way. Neural machine translation for translating into Croatian and Serbian. In Proceedings of the 7 th Workshop on NLP for Similar Languages, Varieties and Dialects, pp. 102-113, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics (ICCL).

[4] Tingxun Shi, Shiyu Zhao, Xiaopu Li, Xiaoxue Wang, Qian Zhang, Di Ai, Dawei Dang, Xue Zhengshan, and Jie Hao. OPPO's machine translation systems for WMT20. In Proceedings of the Fifth Conference on Machine Translation, pp. 282-292, Online, November 2020. Association for Computational Linguistics.

[5] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの構築-第 3 報. 言語処理学会第 27 回年次大会, 2021.

[6] 田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの構築-第 2 報. 言語処理学会第 26 回年次大会, pp. 545-548, 2020.

[7] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡対訳コーパスの構築-第 1 報. 言語処理学会第 25 回年次大会, pp. 371-374, 2019.

[8] Masao Utiyama and Hitoshi Isahara. A japaneseenglish patent parallel corpus. In In proceedings of the Machine Translation Summit XI, 2007.

[9] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, and Kenneth Heafield. The sockeye 2 neural machine translation toolkit at AMTA 2020. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 110115, Virtual, October 2020. Association for Machine Translation in the Americas.

[12] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.


# 知識蒸留によるニューラル機械翻訳の高速化検討

今村 賢治
国立研究開発法人 情報通信研究機構
kenji.imamura@nict.go.jp

## 1 はじめに

知識蒸留 (knowledge distillation)[1, 2] は、teacherstudent 方式とも呼ばれ、教師モデルが学習した知識を生徒モデルに移行する方法の一つである。教師モデルと生徒モデルは、アーキテクチャを含めて異なるものを用いることができる。

一方、ニューラル機械翻訳 (NMT) においても、実行時の高速化は、実用性を高めるために必須である。高速化方法にはいくつもの種類があるが、シンプルな方法としては、モデルを縮小（パラメーター の削減）することによる計算量削減と、ビーム幅を狭くすることによる探索空間の削減がある。知識蒸留と組み合わせる場合、教師モデルより小規模な生徒モデルにすることで、高速化する場合が多い。

本稿では、知識蒸留と組み合わせた機械翻訳の高速化について、翻訳品質と翻訳速度の観点から、実験的に検討を行う。知識蒸留と組み合わせた場合、 どの方法が翻訳品質を落とさずに高速化が可能であるのか、検証するのが本稿の目的である。

## 2 知識蒸留と高速化

## 2.1 知識蒸留

知識蒸留自体は、教師モデル（teacher model、親モデル parent model とも呼ばれる）が出力する結果を模倣するように、生徒モデル (student model)を学習することを言う。

たとえば、マルチクラス分類タスクでは、出力は全クラスの事後確率分布であるので、(正解クラスだけでなく）すべてのクラスの確率分布が教師モデルと一致するように損失関数を設定し、生徒モデルを学習する [1]。NMT でも、各単語はすべての語彙からのマルチクラス分類によって選択されるため、上記の知識蒸留手法が適用できる（単語レベル知識蒸留と呼ぶ)。

しかし、同様な効果を持ち、さらにシンプルな方

(a) 系列レベル知識蒸留 (b) 逆翻訳

図 1 知識蒸留と逆翻訳の手順

法として、教師の翻訳結果で疑似対訳を作成し、それを基に生徒モデルを訓練する方法も提案されている（系列レベル知識蒸留と呼ぶ）[2]。系列レベル知識蒸留は、データの加工のみで知識蒸留を実現し、 モデルや損失関数は既存の方式を使えるという利点がある。機械翻訳で知識蒸留と言った場合、系列レベル知識蒸留を指すことが多い。

なお、知識蒸留の目的は、教師モデルの知識をできる限り正確に生徒モデルに移すことであるので、一般的には生徒モデルが教師モデルの精度を超えることはない1)。

## 2.2 逆翻訳との関係

基になる機械翻訳器を使って、疑似対訳を作成するという点で、系列レベル知識蒸留 (以下、単に知識蒸留と呼ぶ）と、逆翻訳法 [6] は似ている（図 1)。最大の違いは、逆翻訳が目的言語を原言語に翻訳することで疑似対訳を生成するのに対して、知識蒸留は原言語を目的言語に翻訳した疑似対訳を使う点である。疑似対訳を作成するデータについては、逆翻訳は対訳コーパスとは異なる単言語コーパスを用いることを前提としているのに対して、知識蒸留は、使用するコーパスを規定していない。そのため、教

表 1 知識蒸留と逆翻訳の対比

師モデルの訓練に使用した対訳コーパスの原言語部分を使う場合も多い。

知識蒸留と逆翻訳の翻訳方向が逆であるという特徵は、人手作成した対訳コーパスの翻訳方向によって効果が変わってしまうという特徴にも繋がる。

文献 [3] では、人手翻訳の方向と逆翻訳の関係を調べ、逆翻訳は目的言語が original（以下「原文」と訳す）で、原言語が translationese（以下人手翻訳文と訳す）の場合に BLEU が向上することを確認した2)。もともと逆翻訳はデコーダーを強化するために開発された手法なので、目的言語に自然な文を与えると翻訳品質は向上する。逆に原言語はさまざまな入力に対応する必要があるので、多様性が求められる。そのため、疑似対訳作成時にサンプリング、 ノイズ混入、複数逆翻訳で多様性を増強させると、翻訳品質が向上する $[4,5]$ 。

一方、知識蒸留では、原言語が原文で、目的言語が人手翻訳文の方が効果が高まる。これは、目的言語の翻訳文が均質（多様性が少ない）になるため、 デコーダーの学習効果が高まるためと考えられる。 また、知識蒸留は教師モデルの出力を模倣させるため、教師モデルの品質が直接生徒モデルの品質に影響する。そのため教師モデルにはできるだけ高品質なものを用いるのが望ましい。知識蒸留と逆翻訳の対比を表 1 にまとめる。

## 2.3 高速化方法

本稿では、モデルの縮小（パラメーター削減）による高速化と、探索空間の縮小による高速化について検討する。

モデルを縮小するためには、(a) 深層モデルのレイヤー数を削減する方法、(b) 分散表現の次元数を削減する方法がある。

また、ニューラル機械翻訳に特有のパラメーター

2）彼らの実験では、原言語が原文で、目的言語が人手翻訳文の場合は BLEU に対する効果は少なかった。しかし、主観評価では、翻訳方向に関わらず効果があった。削減方法としては、(c) 語彙サイズを縮小する方法がある。語彙サイズを縮小すると、デコーダーの出力層の SoftMax 操作の計算量が削減され、高速化される。近年、NMT ではサブワードを用いることが一般的になっているが、これは語彙数を指定して分割するため、語彙数を制御することが可能である。本稿では、SentencePiece (unigram モデル) [7]によるサブワード化で語彙を縮小する。

探索空間の削減は、(d) 翻訳時のビーム幅を縮小することで高速化を行う。

## 3 実験

## 3.1 実験条件

言語対・コーパス本稿では、日本語と英語の科学技術文献対訳コーパスである ASPEC-JE[8]を使用する。このコーパスは、約 300 万文の訓練セット、1,812 文のテストセットなどで構成されている。 ASPEC は、日本語の文献を英語に翻訳したものなので、日本語が原文で、英語が人手翻訳文である。

翻訳システム・環境本稿では、fairseq 翻訳器 [9]を使用する。これは、PyTorch 上に作られた翻訳器で、Transformer [10]を含んでいる。テストに使用したハードウェアは、Intel Xeon Gold 6150 CPU (2.7GHz)、NVIDIA V100 GPU (32GB) 1 個で、OS は CentOS 7.9 である。

教師モデル・知識蒸留教師モデルは、ASPEC の訓練セットをすべて使用して、ランダムシードを変えた Transformer big モデル（6 層、モデル次元数 $1,024, \mathrm{FFN}$ 次元数 4,096）を 4 個作成した。なお、教師モデルの訓練時には、SentencePiece を用いて、日本語、英語それぞれ約 1.6 万のサブワードに分割した。

知識蒸留には、ASPEC の訓練セットすべての原言語側を使用し、上記 4 モデルのアンサンブルで翻訳し、疑似対訳を作成した。
表 2 翻訳方向による知識蒸留の効果

生徒モデル今回使用する生徒モデルは、 Transformer base モデル（6 層、モデル次元数 512、 FFN 次元数 2,048）を基本にし、設定を以下のとおり可変にする。

(a)エンコーダー、デコーダーのレイヤー数をそれぞれ 1,2,4, 6 層にした場合。

(b)モデル次元数を $128,256,512,1024$ にした場合。 なお、FFN 次元数はモデル次元数の 4 倍とし、 ヘッド数は 64 次元固定とする。つまり、モデル次元数を変えるとへッド数が変わることになる。

(c)語彙数を 4 千、 8 千、 1.6 万、 3.2 万、 6.4 万にした場合。2.3 節で述べたように、語彙数は SentencePiece によるサブワード化で制御する。

(d)生徒モデルとしては Transformer base モデルを用いるが、テスト時のビーム幅を $1,2,3,5,7,10$, 20 と変えた場合。

なお本稿では、知識蒸留による疑似対訳を使用した生徒モデルを知識蒸留モデル、ASPEC 訓練セットを直接使って作成したモデルを直接モデルと呼称する。

評価指標本稿では、翻訳品質の評価は case sensitive BLEU [11] で行う。これは Workshop on Asian Translation [12] の評価方法と同じである。

速度の評価は、 1 秒あたりの翻訳トークン数で行う。これは、テストセットのトークン数を翻訳時間 （初期化を含まない）で割ったものである。

## 3.2 実験結果

## 3.2.1 日英翻訳 vs. 英日翻訳

まず、翻訳方向による知識蒸留の効果を確認するため、日英翻訳 (original $\rightarrow$ translationese) と英日翻訳 (translationese $\rightarrow$ original) の翻訳品質を確認する。

結果を表 2 に示す。知識蒸留の効果は、日英では Base モデルで+2.03 あるのに対して、英日では+0.45 しかなく、知識蒸留は翻訳方向によって、効果に大きな差があることがわかる。

なお、ASPEC データは、日英の対訳記事から自動で文アライメントを作成しているため、対訳文と

図 2 知識蒸留と直接モデルの比較 ((a)レイヤー削減)

図 3 知識蒸留と直接モデルの比較 ((d) ビーム幅)

して（そもそも単語が対応しない）不適切なデータも含まれている。英日翻訳で BLEU が向上した理由は、不適切な対訳文が新たに生成されることで対訳文の品質が向上したためと考えられる。

以下、知識蒸留の効果が大きい日英翻訳に限定して、実験を行う。

## 3.2.2 知識蒸留モデル vs. 直接モデル

次に、知識蒸留の高速化への効果を確認するため、(a)レイヤー削減、(d) ビーム幅変更について、直接モデルと知識蒸留モデルの翻訳品質と速度を比較する。

図 2 は (a)レイヤー削減について、直接モデルと知識蒸留モデルを比較したグラフである。横軸が翻訳速度、縦軸が BLEU スコアを表している。ボックス内の数字はそれそれエンコーダー、デコーダーのレイヤー数である。どちらのモデルも、レイヤー数を削減するに伴い、翻訳速度が向上し、BLEU スコアは低下する傾向がある。しかし、BLEU スコアに着目すると、6レイヤーから1レイヤーに削減した場合、直接モデルでは 4.63 低下したのに対して、知
表 3 エンコーダー・デコーダーのレイヤー数別の翻訳速度と翻訳品質

図4 モデル縮小方式ごとの翻訳速度と翻訳品質

識蒸留モデルでは 1.83 の低下で収まった。

一方、図 3 は、(d) ビーム幅について同様に比較したグラフである。ボックス内の数字はビーム幅を表す。このグラフでは、ビーム幅を狭くするのに伴い翻訳速度が向上するが、BLEU スコアについては、 ビーム幅を 20 から 1 に変更した場合、直接モデルでは 3.18 低下したのに対して、知識蒸留モデルでは 0.66 の低下にとどまった。

知識蒸留モデルは、目的言語の多様性を低減する方式であるため、モデルパラメーターを少なくしたり、探索空間を狭くしても、翻訳品質の劣化が少ない方式であると言える。

## 3.2.3高速化に適したモデル縮小法

本節では、(a) レイヤー削減、(b) 次元数の削減、 (c) 語彙サイズについて、知識蒸留と組み合わせた場合の翻訳品質と速度を検証する。

知識蒸留モデルにおける翻訳速度と翻訳品質の関係を図 4 に示す。各データポイントの詳細は省略しているが、モデル縮小方式ごとの傾向は見てとれる。これによると、まず、高速化を目標とした場合、 レイヤー削減による高速化が最も効果が大きく、次元削減による高速化の効果は限定的である。

また、語彙サイズに関しては、大きい場合に翻訳品質が低下する傾向が得られたが、これを小さくしても速度は大きく向上しない。
レイヤー削減が高速化に高い効果がある傾向が得られたため、次に、これを詳細に分析する。表 3 は、 エンコーダーとデコーダーのレイヤー数を独立に変更したときの翻訳品質と速度の測定結果である。

まず、BLEUスコアに着目すると、エンコーダー・ デコーダーともに 6 層の条件から、エンコーダーのみ 1 層に減らした場合、デコーダーのみ 1 層に減らした場合、それぞれ 29.21、29.28であるので、どちらを減らしても翻訳品質への影響は少ない。

一方、翻訳速度に着目すると、エンコーダーのレイヤー数を変更しても、速度への影響は少ない。逆にデコーダーのレイヤー数を削減すると、翻訳速度を速くすることができる。これは、Transformer のエンコーダーは 1 ステップですべての入力トークンを処理するのに対して、デコーダーは自己回帰型 (autoregressive) 方式で、1トークンずつ生成するためである。まとめると、レイヤー数を削減する場合、デコーダーを優先する方が高速化効果が高い。

## 4 まとめ

知識蒸留は、目的言語の多様性を削減するため、翻訳品質をあまり落とさずに高速化ができる。本稿で確認した知見は以下のとおりである。
- 知識蒸留は、翻訳方向が原文 $\rightarrow$ 人手翻訳文 （ASPEC の場合、日英翻訳）のときに効果が大きい。

・知識蒸留を行うことで、翻訳品質の低下を抑えて高速化することができる。

・モデルの縮小方式には、レイヤー数削減が高速化に効果的である。

・レイヤー数を削減する場合、エンコーダーよりデコーダーを削減した方が効率的に高速化が可能である。

この検討結果を踏まえて、NMT を構築してゆく。

## 参考文献

[1] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network, 2015.

[2] Yoon Kim and Alexander M. Rush. Sequence-level knowl-
edge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, November 2016.

[3] Sergey Edunov, Myle Ott, Marc'Aurelio Ranzato, and Michael Auli. On the evaluation of machine translation SystemsTrained with back-translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2836-2846, Online, July 2020.

[4] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, 2018.

[5] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, 2018.

[6] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018.

[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, Philadelphia, Pennsylvania, USA, 2002.

[12] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020.


# Altering Parallel Data into User-Generated Texts with Zero-Shot Neural Machine Translation

Benjamin Marie Atsushi Fujita
National Institute of Information and Communications Technology
\{bmarie, atsushi.fujita\}@nict.go.jp

## 1 Introduction

Neural machine translation (NMT) requires large parallel data for training. However, even when trained on large clean parallel data, NMT generates translations of very poor quality when translating out-of-domain or noisy texts. For instance, Michel and Neubig [1] empirically showed that NMT systems trained on clean parallel data poorly perform at translating user-generated texts (UGT) from a social media. UGT can be from various domains and manifest various forms of natural noise which are characteristics of their style. In this paper, we posit that the NMT system should preserve the style during the translation.

A major difficulty in training NMT for UGT is that we do not usually have bilingual parallel data of UGT created by professional translators to train or adapt an NMT system. Nevertheless, previous work on NMT for UGT merely focused on scenarios for which we have UGT parallel data, such as the MTNT dataset [1].

In this work, we do not assume the availability of parallel data of UGT. We propose to synthesize parallel data of UGT from monolingual data, through a zero-shot NMT system, to train better NMT systems for UGT.

## 2 Zero-Shot NMT for Synthesizing Parallel Data

## 2.1 Objective and Prerequisites

Let $\mathrm{L} 1$ and $\mathrm{L} 2$ be two languages for clean texts and R1 and R2 for the same languages, respectively, but for UGT. The data prerequisites for our NMT system described in Section 2.2 are as follows:
- P P1-L2 parallel data of clean and formal texts that are usually used for training NMT,
- $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$ monolingual data from any domains, and
- $\mathrm{M}_{\mathrm{R} 1}$ and $\mathrm{M}_{\mathrm{R} 2}$ monolingual data of UGT.

$\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}, \mathrm{M}_{\mathrm{L} 1}$, and $\mathrm{M}_{\mathrm{L} 2}$, parallel and monolingual data, are usually used to build state-of-the-art NMT systems. $\mathrm{M}_{\mathrm{R}}$ and $M_{R 2}$ monolingual data are for UGT, which can be obtained for instance by crawling social media.

Our objective is to synthesize parallel data of UGT, which we henceforth denote $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. To this end, we propose to alter a clean parallel data $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ into $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. We alter the $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data by performing $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ translations.

Note that $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ are both zero-shot translation tasks, since we do not assume any $\mathrm{P}_{\mathrm{L} 1-\mathrm{R} 2}$ or $\mathrm{P}_{\mathrm{L} 2-\mathrm{R} 1}$ parallel data, nor any parallel data using a pivot language.

## 2.2 Zero-Shot NMT

To synthesize parallel data of UGT, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, we build only one multilingual and multidirectional NMT system (see Figure 1). Inspired by previous work in unsupervised NMT [2], we first pre-train a cross-lingual language model to initialize the NMT system. We use the XLM approach [2] trained with the combination of the following two different objectives:

Masked Language Model (MLM): MLM has a similar objective to BERT [3] but uses text streams for training instead of pairs of sentences. We optimize the MLM objective on the $\mathrm{M}_{\mathrm{L} 1}, \mathrm{M}_{\mathrm{L} 2}, \mathrm{M}_{\mathrm{R} 1}$, and $\mathrm{M}_{\mathrm{R} 2}$ monolingual data.

Translation Language Model (TLM): TLM is an extension of MLM where parallel data are leveraged so that we can rely on context in two different languages to predict masked words. We optimize the TLM objective on $\mathrm{P}_{\text {L1-L2 }}$ parallel data, alternatively exploiting both translation directions.

The XLM approach alternates between MLM and TLM objectives to train a single XLM model. We then train

Figure 1 Our zero-shot NMT framework.

an NMT model, initializing its encoder and decoder embeddings with those of the pre-trained XLM model, and exploiting unsupervised NMT objectives [4] to which we associate a supervised NMT objective as follows:

Auto-encoder (AE) objectives: Using a noise model that drops and swaps words, the objective is to reconstruct the original sentences. We use AE objectives for L1, L2, R1, and R2.

Back-translation (BT) objectives: For training translation directions for which we do not have parallel data, a round-trip translation is performed during training in which a sentence $s$ from monolingual data is translated, and its translation back-translated, with the objective of generating $s$. We use the BT objectives corresponding to our targeted zero-shot translation directions: $\mathrm{L} 1 \rightarrow \mathrm{R} 2 \rightarrow \mathrm{L} 1, \mathrm{R} 2 \rightarrow \mathrm{L} 1 \rightarrow \mathrm{R} 2, \mathrm{~L} 2 \rightarrow \mathrm{R} 1 \rightarrow \mathrm{L} 2$, and $\mathrm{R} 1 \rightarrow \mathrm{L} 2 \rightarrow \mathrm{R} 1$.

Machine translation (MT) objectives: We use this objective for $\mathrm{L} 1 \rightarrow \mathrm{L} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{L} 1$, for which we have parallel data.

$\mathrm{AE}$ and BT are unsupervised NMT objectives used to train our zero-shot translation directions. We also use MT objectives for the necessary supervision.

## 3 Parallel Data Alteration

As illustrated in Figure 2, given $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$, we perform $\mathrm{L} 1 \rightarrow \mathrm{R} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{R} 1$ translation for each of $\mathrm{L} 1$ and $\mathrm{L} 2$ sentences, respectively, to obtain a synthetic R1-R2 version, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, of the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$. The resulting

Figure 2 Alteration of $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data to synthesize $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ parallel data.

$\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ can be too noisy to be used to train NMT. To filter $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, we evaluate the similarity between original $\mathrm{L} 1$ and L2 sentences with their respective R1 and R2 versions using sentence-level BLEU [5] (sBLEU). Given a sentence pair in $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, if either $\mathrm{SBLEU}$ of $\mathrm{L} 1$ with respect to $\mathrm{R} 1$ or sBLEU of L2 with respect to R2 is below a pre-determined threshold $T$, we filter out the sentence pair.

## 4 Experiments

## 4.1 Data

We conducted experiments for two language pairs, English-French (en-fr) and English-Japanese (en-ja), with the MTNT translation tasks [1]. The test sets were made from posts extracted from an online discussion website, Reddit.

For parallel data, we did not use any of the Reddit parallel data of the MTNT. To make our settings comparable with previous work, we used only the clean parallel data in MTNT as $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ data for training and validating our NMT systems. For the en-fr pair, $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ data contain 2.2M sentences pairs consisting of the news-commentary (news commentaries) and Europarl (parliamentary debates) corpora provided by WMT15 [6]. For the en-ja pair, $\mathrm{P}_{\text {L1-L2 }}$ data consist of the KFTT (Wikipedia articles), TED (transcripts of online conference talks), and JESC (subtitles) corpora giving in a total of $3.9 \mathrm{M}$ sentence pairs. All $\mathrm{P}_{\mathrm{L1-L} 2}$ parallel data can be considered rather clean and/or formal in contrast to Reddit data.

As monolingual data, $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$, we used the entire News Crawl provided for $\mathrm{WMT}^{1)}$ for Japanese, $3.4 \mathrm{M}$ lines, and a sample of $25 \mathrm{M}$ lines for English and French. As $M_{R 1}$ and $M_{R 2}$, we crawled data using the Reddit API. For English and French, we tokenized and truecased all the data with the Moses tokenizer. As for Japanese, we only tokenized the data with MeCab. ${ }^{2)}$

For English, we selected the noisiest part of Reddit, $25 \mathrm{M}$ sentences, similarly to [1] when they built the MTNT dataset. Since there are significantly less Japanese and French Reddit data, $0.8 \mathrm{M}$ and $1.2 \mathrm{M}$ sentences, respectively, we used all the French and Japanese sentences.

For validation, we used the $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ validation data from the MTNT dataset. For evaluation, we used SacreBLEU [7].3) We tested the significance of our results via bootstrap re-sampling and approximate randomization with MultEval [8].4)

## 4.2 Baselines Systems

We evaluated vanilla NMT systems and other baseline systems exploiting tagged back-translation (TBT) and synthetic noise generation (SNI), using the Transformer [9] implementation in Marian [10] with standard hyperparameters for all the NMT systems.

We generated back-translations from Reddit monolingual data and News Crawl, tagged [11] and concatenated them to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data, and trained a new NMT system from scratch. In all experiments, we used as much monolingual sentences as in the $\mathrm{P}_{\text {L1-L2 }}$ parallel, or all of the Reddit data for French and Japanese since we do not have enough Reddit data to match the size of $\mathrm{P}_{\text {L1-L2 }}$.

We also evaluated the methods proposed by [12] for SNI, since it does not require any manually produced $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}$. We applied their method to $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ using their scripts ${ }^{5}$ to create a noisy version of parallel data, i.e., $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. In addition to the use of the resulting $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ data for fine-tuning as in [12], we also evaluated NMT systems trained from scratch on the concatenation of the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ and $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$.

1) http://www.statmt.org/wmt20/translation-task.html

2) https://taku910.github.io/mecab/

3) The sacreBLEU signatures, where $x x$ is among \{en,fr,ja $\}$ are as follows: BLEU+case.mixed+lang.xxxx+numrefs. 1 +smooth.exp+test.mtnt1.1/test+tok.13a+version.1.4.2; chrF2+case.mixed+lang.en-ja+numchars.6+numrefs. 1 +space.False+test.mtnt1.1/test+version.1.4.2

4) https://github.com/jhclark/multeval

5) https://github.com/MysteryVaibhav/robust_mtnt
Table 1 Results for the MTNT test sets. TBT systems were trained on back-translations of News Crawl or Reddit monolingual data. " + " indicates that the synthesized parallel data were concatenated to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data. "FT" denotes the fine-tuning of the vanilla NMT system. "*" denotes systems significantly better $(p<0.05)$ than the vanilla NMT system.

Table 1 reports on the results. Back-translations of Reddit were mostly useful but dramatically failed for $\mathrm{ja} \rightarrow$ en potentially due to the very low quality of the back-translations generated by the en $\rightarrow$ ja vanilla NMT system. Using backtranslations of News Crawl is more helpful especially for $\mathrm{fr} \rightarrow \mathrm{en}$ and $\mathrm{ja} \rightarrow \mathrm{en}$. Fine-tuning our vanilla NMT system on SNI improves translation quality for all the tasks, except en $\rightarrow \mathrm{ja}$. Using the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ synthetic parallel data concatenated to the original $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}^{\mathrm{S}}$ leads to lower BLEU scores than fine-tuning, except for $\mathrm{ja} \rightarrow \mathrm{en}$.

## 4.3 System Settings for our Approach

To train XLM, we used the data presented in Section 4.1 on which we applied the same BPE segmentation used by our vanilla NMT systems. For the MLM objectives, we used the News Crawl corpora as $\mathrm{M}_{\mathrm{L} 1}$ and $\mathrm{M}_{\mathrm{L} 2}$ and the Reddit corpora as $M_{R 1}$ and $M_{R 2}$ monolingual data. For the TLM objectives, we used the parallel data used to train our vanilla NMT system as $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ parallel data. We used the publicly available XLM framework ${ }^{6}$ ) with the standard hyper-parameters proposed for unsupervised NMT. We used text streams of 256 tokens and a mini-batch size of 64. The Adam optimizer [13] with a linear warmup [9] was used. During training, the model was evaluated every $200 \mathrm{k}$ sentences on the MTNT validation parallel data for TLM and the monolingual validation data of MTNT for MLM. The training was stopped when the averaged perplexity of MLM and TLM had not been improved for 10 consecutive times.

We initialized our zero-shot NMT with XLM and trained

6) https://github.com/facebookresearch/XLM. The only difference is that we used our data in different languages, which is also used to train our own BPE vocabulary.

Figure 3 Examples of English sentences from the Europarl and News Commentary corpora (L1) altered by our approach (R1). Bold indicates the alterations that we want to highlight for each example. We have manually masked a profanity in En4 with “*******”.

Table 2 Results for the MTNT test sets using $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ synthesized by our approach. "zero-shot NMT" is the NMT system used for synthesizing $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$. "FT on $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ " are configurations for which we sampled 100k sentence pairs from $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ to fine-tune the vanilla NMT system. The last row is given for reference: the vanilla NMT system fined-tuned on the official MTNT training parallel data. "*" denotes systems significantly better $(p<0.05)$ than the FT on SNI system.

} \\

With the Reddit training parallel data from MTNT $\begin{array}{lllll}\text { FT on MTNT } & 29.0^{*} & 27.5^{*} & 9.9^{*} & 0.192^{*}\end{array}$

it with the AE, BT, and MT objectives presented in Section 2.2, all having the same weights, using the same hyper-parameters as XLM. We evaluated the model every 200k sentences on the MTNT validation parallel data and stopped training when the averaged BLEU of $\mathrm{L} 1 \rightarrow \mathrm{L} 2$ and $\mathrm{L} 2 \rightarrow \mathrm{L} 1$ had not been improved for 10 consecutive times.

Finally, we synthesized $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ data with our approach using this system, and filtered them with $T=0.5$ for en-fr and $T=0.25$ for en-ja, respectively, resulting 196,788 and 301,519 sentence pairs. Then, we trained our final NMT models on the resulting $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$.

## 4.4 Results

The results of our models are presented in Table 2. First, we checked the performance of our zero-shot NMT system. Whereas for fr $\leftrightarrow$ en, it was comparable with the vanilla NMT system, for ja $\leftrightarrow$ en, it performed much worse than the vanilla NMT model as expected. This is due to the use of unsupervised MT objectives that were shown to be very difficult to optimize for distant and difficult language pairs [14] with almost no shared entries in the respective vocabulary of the two languages.

Fine-tuning on $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ brings larger improvements than doing so on SNI, except for $\mathrm{fr} \rightarrow \mathrm{en}$. Despite the small size of the $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$, concatenating it with $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ achieves the best BLEU with up to 3.0 BLEU points of improvements. We conclude that our approach successfully alters $\mathrm{P}_{\mathrm{L} 1-\mathrm{L} 2}$ into $\mathrm{P}_{\mathrm{R} 1-\mathrm{R} 2}^{\mathrm{S}}$ useful data to train NMT for UGT.

## 5 Example of Clean Sentences Altered into UGT

For a more concrete illustration of our synthetic data, we present in Figure 3 four English example sentences altered by our approach. These examples are all instances of a successful alteration of clean texts into UGT. En1 introduces an English contraction "we're" that is a characteristic of less formal English. En2 and En3 show spelling errors that may guide the system to make itself more robust. En4 introduces an instance of Internet slang with a profanity. We also observed many instances of person names written with Reddit syntax for referring to a Reddit user account by prepending "/u/," e.g., "Berlusconi" becomes "/u/Berlusconi." All these examples are evidences that our approach successfully generates UGT in the style of Reddit.

## 6 Conclusion

We described our method for synthesizing parallel data to train better NMT systems for UGT. We successfully altered clean parallel data into parallel data that exhibit the characteristics of UGT of the targeted style. We showed that it improves translation quality for UGT.

Acknowledgments: This work was partly supported by JSPS KAKENHI grant numbers 20K19879 and 19 H05660.

## References

[1] Paul Michel and Graham Neubig. MTNT: A testbed for machine translation of noisy text. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 543-553, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In Proceedings of Advances in Neural Information Processing Systems 32, pp. 70577067, Vancouver, Canada, 2019. Curran Associates, Inc.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, USA, June 2019. Association for Computational Linguistics.

[4] Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, and Marc' Aurelio Ranzato. Phrase-based \& neural unsupervised machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5039-5049, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Chin-Yew Lin and Franz Josef Och. ORANGE: A method for evaluating automatic evaluation metrics for machine translation. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 501-507, Geneva, Switzerland, aug 23-aug 272004.

[6] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, and Marco Turchi. Findings of the 2015 workshop on statistical machine translation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 1-46, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[8] Jonathan H. Clark, Chris Dyer, Alon Lavie, and Noah A. Smith. Better hypothesis testing for statistical machine translation: Controlling for optimizer instability. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 176-181, Portland, USA, June 2011. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems 30, pp. 5998-6008, Long Beach, USA, 2017. Cur- ran Associates, Inc.

[10] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.

[12] Vaibhav Vaibhav, Sumeet Singh, Craig Stewart, and Graham Neubig. Improving robustness of machine translation with synthetic noise. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1916-1920, Minneapolis, USA, June 2019. Association for Computational Linguistics.

[13] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[14] Benjamin Marie, Haipeng Sun, Rui Wang, Kehai Chen, Atsushi Fujita, Masao Utiyama, and Eiichiro Sumita. NICT’s unsupervised neural and statistical machine translation systems for the WMT19 news translation task. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 294-301, Florence, Italy, August 2019. Association for Computational Linguistics.


# 逆順デコーダを用いた係り受け構造に基づく Transformer ニュー ラル機械翻訳

佐々木 拓馬 ${ }^{1}$, 田村 晃裕 ${ }^{1}$, 出口 祥之 ${ }^{2}$, 二宮 崇 ${ }^{2}$, 加藤 恒夫 ${ }^{1}$
1 同志社大学 理工学部, 2 愛媛大学 大学院理工学研究科
${ }^{1}$ \{cgub0052@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
2 \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp

## 1 はじめに

自然言語処理の分野において機械翻訳は古くから盛んに研究されており，近年では，ニューラルネットワークを用いた機械翻訳（Neural Machine Translation; NMT）が主流となっている. NMT の中でも，特に，文内の単語間の関連の強さを捉える self-attention を備えた Transformer NMT [7] が，NMT 初期に広く使われていた RNN や CNN ベースの NMT の翻訳精度を上回り，現在注目を集めている。

これまで，統計的機械翻訳や NMT では，文構造 （句構造や係り受け構造など）を考慮することで翻訳精度が改善されている. Transformer NMT においても例外ではなく, 原言語文や目的言語文の文構造を活用することで，その翻訳精度が向上することが報告されている $[1,3,6,9,10,11,13]$. 出口ら [13] は, self-attention の一部に対して, 係り先の単語に注意が向くような制約を与えて学習することで，文の係り受け構造を捉える self-attention（以降， dependency-based self-attention（DBSA）と呼ぶ）を提案し，Transformer NMT のエンコーダとデコーダで DBSA を使うことで，翻訳時に原言語文と目的言語文の係り受け構造を考慮して翻訳を行うモデルを提案した. そして, Asian Scientific Paper Excerpt Corpus (ASPEC) [5] の日英, 英日翻訳において翻訳精度の改善を確認している。

通常の Transformer NMT では，デコーダの selfattention を学習する際，推論時には生成していない単語に対する関連を算出しないように自身より後方の単語をマスクする. 出口らのモデルにおいても, デコーダの DBSA が未生成の単語に対して注意を向けないように，自身より後方の単語に係る係り受け関係はマスクして学習される. そのため, デコーダの DBSA は後方に向かう係り受け関係は活用できな
い。一方，言語によっては，後方に向かう係り受け関係が多く生じる。例えば日本語では，通常，係り先は自分の文節より後方の文節になる。そのような言語が目的言語の場合，デコーダの DBSA の効果が十分に得られないと考えられる。文献 [13] において，日英翻訳では提案モデルにより BLEUが 1.04 ポイント向上したが，英日翻訳では 0.30 ポイントの向上にとどまっていることもこれを裏付けていると考えられる。

そこで本研究では，ほとんどの係り受け関係において係り先が自身より後方になる日本語が目的言語となる翻訳を想定し，目的言語文（日本語文） の文構造を self-attention で効果的に捉えるための Transformer NMT モデルを提案する。具体的には， DBSA に基づくモデル [13] のデコーダにおいて，目的言語文を文頭単語から順に生成するのではなく,文末単語から順に通常の逆順で生成する。この逆順デコーダにより，自身より後方の単語に係る係り受け関係に対して，係り先の単語は係り元の単語より先に生成されるため，マスクされることなくデコー ダの DBSA で捉えることが可能となる。

ASPEC の英日翻訳実験において提案モデルと従来の出口らのモデル [13] を比較した結果, 目的言語文を逆順で生成することにより，DBSA に基づく Transformer NMT の性能が，学習データが 10 万文対の場合は BLEU で 0.74 ポイント， 100 万文対の場合は 0.11 ポイント改善することを確認した.

## 2 従来モデル:DBSAに基づくTransformer NMT

本節では，提案モデルの基礎となる DBSA に基づく Transformer NMT [13] を概説する。概要図を図 1 に示す. DBSA に基づくモデルは，Transformer NMT [7] のエンコーダとデコーダに，係り受け関係

図 1 DBSA に基づくTransformer NMT [13] の概要図

を一部のヘッドで捉える multi-head self-attention である DBSA を導入し，原言語文と目的言語文の係り受け構造を考慮した翻訳を行う，図 1 では，DBSA が $p_{\text {enc }}$ 層目のエンコーダと $p_{d e c}$ 層目のデコーダに組み込まれている.

DBSA に基づくモデルの学習では，次式の目的関数 $\mathscr{L}$ 最小化することで，翻訳と係り受け解析を同時に学習する.

$
\mathscr{L}=\mathscr{L}_{\text {trans }}+\lambda_{\text {enc }} \mathscr{L}_{\text {encdep }}+\lambda_{\text {dec }} \mathscr{L}_{\text {decdep }}
$

ここで, $\lambda_{\text {enc }}>0$ と $\lambda_{\text {dec }}>0$ はハイパーパラメー タである. $\mathscr{L}_{\text {trans }}$ は翻訳に関する誤差であり，ラベル平滑化交差エントロピーにより算出する。また, $\mathscr{L}_{\text {encdep }}$ と $\mathscr{L}_{\text {decdep }}$ はそれぞれエンコーダ側とデコーダ側の DBSA で捉える係り受け解析に関する誤差であり，交差エントロピーによって算出する。 ただし， $\mathscr{L}_{\text {decdep }}$ を算出する際は，推論時には予測していない単語に注意を向けないようにするため,自身より後方の単語への係り受け関係はマスクされる。

## 2.1 Transformer NMT

Transformer NMT は，入力文を中間表現に変換するエンコーダと中間表現から出力文を生成するデコーダを組み合わせたエンコーダ・デコーダモデルである. エンコーダやデコーダの入力は, 入力単語の埋め込み表現に，入力単語の文における位置情報をエンコードした位置エンコーディングを加えた
ものである．エンコーダとデコーダでは，それぞれエンコーダレイヤとデコーダレイヤが複数層積み重ねられている。エンコーダレイヤは，入力側から順に, self-attention, 位置毎のフィードフォーワードネットワークの 2 つのサブレイヤで構成されている. デコーダレイヤはエンコーダレイヤのサブレイヤに，原言語文と目的言語文間の encoder-decoder attention を加えた 3 つのサブレイヤで構成されている. 各サブレイヤ間では，残差接続を行った後，層正規化が適用される.

self-attention 及び encoder-decoder attention は multihead attention により実現される. multi-head attention は, 単語間の関連の強さを捉える機構であり, 単語の埋め込み次元 $(d$ 次元 $)$ を $n_{\text {head }}$ 個の $d_{\text {head }}\left(=d / n_{\text {head }}\right)$次元の部分空間に射影し，部分空間毎に attention の計算を行う．各部分空間をへッドと呼ぶ. $h$ 番目のヘッドでは， $h$ 番目の部分空間に射影された multi-head attention の入力 $Q_{h}, K_{h}, V_{h}$ に基づき，次式の演算により，単語間の関連の強さを重みとする重み付き和表現 $M_{h}$ を得る。

$
\begin{array}{r}
A_{h}=\operatorname{softmax}\left(d_{\text {head }}^{-0.5} Q_{h} K_{h}^{T}\right) \\
M_{h}=A_{h} V_{h}
\end{array}
$

ここで， $A_{h}$ が単語間の関連の強さを表す行列である. ただし，デコーダの self-attention を学習する際は，推論時には予測していない単語との関連を求めないように, $Q_{h}$ の各単語に対する後方の単語を表す $K_{h}$ の各成分をマスクしてから $A_{h}$ を求める. 全へッドの計算が終わったら，それらの出力 $M_{1, \ldots, n_{\text {head }}}$ を結合し，単語の埋め込み次元に線形変換した以下の $M$ が， multi-head attention の出力となる.

$
M=W^{M}\left[M_{1} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで， $W^{M} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

目的言語文は，デコーダの最終層の出力を単語の語彙数次元に線形変換した後，ソフトマックス関数をかけることで得られる単語出力確率分布に基づき生成する。

## 2.2 DBSA

DBSA は， multi-head attention の一部のヘッドにおいて, Deep Biaffine parser [2] の要領で係り受け関係を捉える。具体的には，係り受け関係を捉えるへッドの入力を $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると，まず次式の通り，bi-affine 変換によって単語間の係り受け関
係を示す行列 $A_{\text {dep }}$ を求める.

$
A_{d e p}=\operatorname{softmax}\left(Q_{d e p} U^{(1)} K_{d e p}^{\top}+Q_{d e p} U^{(2)}\right)
$

ここで, $U^{(1)} \in \mathbb{R}^{d_{\text {head }} \times d_{\text {head }}}, U^{(2)}=\overbrace{(\mathbf{u} \ldots \mathbf{u})}^{n}, \mathbf{u} \in$ $\mathbb{R}^{d_{\text {head }}}$ はパラメータ行列である. また, $A_{d e p}$ の要素 $A_{d e p}[v, w]$ は, 単語 $w$ が単語 $v$ の係り先である確率を示している. その後, $A_{d e p}$ と $V_{d e p}$ をかけ合わせることで単語間の係り受け関係の強さを重みとする重み付き和表現 $M_{d e p}$ を得る.

$
M_{d e p}=A_{d e p} V_{d e p}
$

multi-head self-attention において，ある 1 つのへッドを $M_{d e p}$, 残りを通常のヘッドとしたものが DBSA である. つまり， $M_{\text {dep }}$ と $n_{\text {head }}-1$ 個の通常のへッド $\left(M_{2, \ldots, n_{\text {head }}}\right)$ を結合し, 単語の埋め込み次元に線形変換した以下の $M^{(p)}$ が，DBSA の出力である.

$
M^{(p)}=W^{M^{(p)}}\left[M_{\text {dep }} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで, $W^{M^{(p)}} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

DBSA はサブワード列に適用できるように拡張されている. サブワード単位の DBSA は，まず，単語単位の係り受け構造をサブワード単位の係り受け構造に変換する. 具体的には，1つの単語が複数のサブワードを含む場合，右端以外の各サブワードの係り先は隣接する右側のサブワードとし，右端のサブワードの係り先は元の単語の係り先1)とする. その後, 変換したサブワード単位の係り受け構造に対して DBSA を適用することで，サブワード列に対して DBSA に基づくモデルが適用できる.

## 3 提案モデル：逆順デコーダを用い た DBSA に基づく Transformer NMT

2 節で述べた通り，従来の DBSA に基づくモデルは，デコーダの DBSA を学習する際，自身より後方の単語に係る係り受け関係はマスクされるため, 目的言語文内の後方への係り受け関係を捉えることができない。一方で，日本語は自分より後方の文節に係るという特徴があるため, 日本語が目的言語である場合，従来モデルでは日本語文の係り受け関係をほとんど活用できない.

そこで提案モデルでは，目的言語文を文末から文頭に向かって生成する逆順デコーダを導入することで前記問題点を解決する．具体的には，提案モデル

1）係り先の単語が複数のサブワードを含む場合，左端のサブワードを係り先とする。

(a) 目的言語文とその係り受け構造

(b) 従来モデルのDBSA

(c) 提案モデルのDBSA

図 2 従来モデルと提案モデルのデコーダ側の DBSA の例

を学習する際の目的言語文として，対訳データの目的言語文を逆順に並べ替えた文を用いる。これにより，元の文では自身より後方にあった係り先が並び替え後は前方に位置することになり，その係り先への係り受け関係がマスクされずに学習できる. そして推論時には，学習した逆順デコーダを用いて，目的言語文を文末から文頭に向かって生成する.これにより，元の文では後方に向かう係り受け関係を捉えながら翻訳を行うことが可能となる。そして最後に，逆順デコーダで生成した逆順の目的言語文を逆から並べ変えた文を翻訳文として出力する。こうすることで，自分より後方に係るという特徴を持つ日本語を目的言語とする翻訳において，提案モデルは日本語文の係り受け構造を活用でき，翻訳精度の向上が期待できる.

図 2 に従来モデルと提案モデルのデコーダ側の DBSA の例を示す. 例文は ASPEC の日本語文の実例である. 図 2 において，斜線のセルはマスクされる要素，黒いセルは係り先を表す。つまり，学習時には，係り受け関係を捉えるへッドは黒いセルの確率が 1 に近づくように学習される. 図より, 従来モデルでは，ほとんどの係り受け関係がマスクされて考慮されないことが分かる. これは日本語の係り受け関係が文頭に近い方から文末に近い方に係る特徴があるためである．また，従来モデルをサブワード
列に適用する際，単語内の各サブワードは，右端のサブワードを除き，右隣に係るように係り受け構造の変換が行われる（2.2 節参照）ため，単語内のサブワード間の係り受け関係も考慮されない。一方で，提案モデルのデコーダでは，目的言語文を逆順にして扱うため，全ての係り受け関係がマスクされずに考慮できていることがわかる.

## 4 実験

## 4.1 実験設定

提案モデルの有効性を確かめるため, ASPEC の日英翻訳タスクにおいて，提案モデルを従来の DBSA に基づくモデル [13] と比較する. それぞれのモデルを「DBSA (逆順)」,「DBSA (正順)」と表記する. また，係り受け構造を活用しない Transformer NMT に対しても，逆順デコーダの有効性を確認するため, Transformer NMT モデル [7] とその Transformer NMT において目的言語文を逆順で扱うモデルの性能も評価する。それぞれのモデルを「Transformer (正順)」,「Transformer（逆順）」と表記する. データセットは ASPEC[5] の日英対訳コーパスを使用した.学習データは train-1.txt から抽出した上位 10 万文対と, train-1.txt と train-2.txt から抽出した上位 150 万文対の 2 種類を用いた. 英語の単語分割には Moses Tokenizer，日本語文の単語分割には KyTea を用いた. また，各文は BPEによりサブワードに分割した. 原言語側と目的言語側で独立に BPE モデルを学習し, それぞれの語彙数は 16,000 トークンとした. 英語文の係り受け解析には Stanza, 日本語文の係り受け解析には EDAを用いた. 従来モデル及び提案モデルの設定は, 基本的には文献 [13] に従った. 文献 [13] の設定からの変更点は, DBSAを組み込む層を $p_{e n c}=3, p_{d e c}=3$ とし, ミニバッチの大きさを 100 文，エポック数を学習データが 10 万文対の時は 50 エポック，150万文対の時は 20 エポックとした点である. また，ハイパーパラメータ $\lambda_{e n c}, \lambda_{d e c}$ は，0.05,0.1，0.5，1.0を試し，開発データで最も良い性能であった值を評価時に採用した。

## 4.2 実験結果

表 1 に実験結果を示す。翻訳性能は BLEUにより評価した. 表 1 より，学習データが 10 万文対と 150 万文対の両方の場合において，DBSA（正順）より提案モデルである DBSA（逆順）の方が翻訳精度が表 1 実験結果

高いことが分かる. 具体的には，DBSA（逆順）は DBSA（正順）と比べて，学習データが 10 万文対の場合は BLEUで 0.74 ポイント，学習データが 150 万文対の場合は 0.14 ポイント翻訳性能が高い。これより，逆順デコーダを用いることで，DBSAに基づく Transformer NMT の英日翻訳性能が改善でき，提案手法が英日翻訳において有効であることを確認した.

また，係り受け構造を活用しない Transformer NMT においても，逆順デコーダを用いることで，学習データが 10 万文対の場合は BLEU が 0.53 上がり, 150 万文対の場合は BLEU が 0.24 上がっていることが分かる. これは, 文献 [8] などで報告されている通り, Transformer の self-attention の一部では係り受け関係などの文構造を捉えている可能性があり，係り受け構造を教師信号として与えなくても，逆順デコーダを用いることで潜在的に係り受け関係に近い構造を self-attention で捉えることが可能になり，DBSA に基づくTransformer モデルと同様の効果が表れたのではないかと思われる.

## 5 おわりに

本研究では，係り先が自身より後方になる特徵を持つ日本語が目的言語の場合の翻訳精度を改善するため，DBSA に基づく Transformer NMT において目的言語文を逆順で生成する逆順デコーダを活用する手法を提案した．ASPEC の英日翻訳タスクの評価実験を通じて，提案手法により，学習データが 10 万文対の場合は BLEU が 0.74 ポイント， 100 万文対の場合は 0.14 ポイント改善することを確認した.今後は中日翻訳などの英日翻訳以外の翻訳対に対する有効性を確認したい. また，文献 [4] や [12] などのように正順方向と逆順方向のデコーダを組み合わせた方法への拡張も行いたい。

## 参考文献

[1] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[2] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. arXiv preprint arXiv:1611.01734, 2016.

[3] Chunpeng Ma, Akihiro Tamura, Masao Utiyama, Eiichiro Sumita, and Tiejun Zhao. Improving neural machine translation with neural syntactic distance. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2032-2037, 2019

[4] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. NTT neural machine translation systems at WAT 2019. In Proceedings of the 6th Workshop on Asian Translation, pp. 99-105, 2019.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208, 2016.

[6] Yutaro Omote, Akihiro Tamura, and Takashi Ninomiya. Dependency-based relative positional encoding for transformer nmt. In Proceedings of the International Conference Recent Advances in Natural Language Processing 2019, pp. 854-861, 2019

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[8] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, 2019.

[9] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1403-1409, 2019.

[10] Shuangzhi Wu, Dongdong Zhang, Zhirui Zhang, Nan Yang, Mu Li, and Ming Zhou. Dependency-to-dependency neural machine translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 11, pp. 2132-2141, 2018

[11] Meishan Zhang, Zhenghua Li, Guohong Fu, and Min Zhang. Syntax-enhanced neural machine translation with syntax-aware word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1151-1161, 2019.

[12] Long Zhou, Jiajun Zhang, and Chengqing Zong. Synchronous bidirectional neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 91-105, 2019.

[13] 出口祥之, 田村晃裕, 二宮崇. 係り受け構造に基づく attention の制約を用いた transformerニューラル機械翻訳. 自然言語処理, Vol. 27, No. 3, pp. 553-571, 2020.