# 多言語 BERT を単語埋め込みに用いる Many-to-Many 翻訳による低資源言語翻訳*

磯部 僚也 ${ }^{\dagger}$ Yizhen Wei ${ }^{\dagger}$ 田村 拓也 $\ddagger$ 宇津呂 武仁 $\dagger$ 永田 昌明 $\S$
$\dagger$ 筑波大学大学院 システム情報工学研究科・群 $\ddagger$ 筑波大学理工学群 エ学システム学類
${ }^{\S}$ NTT コミュニケーション科学基礎研究所

## 1 はじめに

近年，ニューラル機械翻訳 (Neural Machine Translation; NMT) の研究が盛んに行われている。一般的な NMT モデルは，原言語を一言語，目的言語を一言語設定し，原言語文と目的言語文からなる対訳コーパスを訓練に用い，NMT モデルの品質は対訳コーパスの質や量に依存することが知られている。そのため, 日本語とべトナム語 (越語) のような対訳コーパスが少ない低資源言語の翻訳においては, 翻訳品質が低くなってしまう問題がある。そこで，本論文では，日本語から越語 (日-to-越), 越語から日本語 (越-to-日) 等の低資源言語の翻訳に焦点を当て, 他の言語資源が豊富な言語間の対訳コーパスを活用することにより翻訳品質を向上させる手法を提案する，提案手法においては，低資源言語を含む小規模な対訳文集合に加えて，言語資源が豊富な言語間の大規模対訳文集合を多種類同時に用いて NMT モデルを訓練する Many-to-One 翻訳 [1]，および， Many-to-Many 翻訳 [1] のアプローチを採用する. 本論文では特に，NMTにおける Many-to-One 翻訳・Many-to-Many 翻訳アプローチにおいて, NMT モデルの訓練において同時に用いられる訓練事例中の複数の言語間で翻訳パラメータの共有が行われることにより，低資源言語文の翻訳精度を大幅に改善できることを示す. さらに，本論文では，事前訓練型多言語言語モデルである Multilingual-BERT (mBERT) [5] をあわせて適用することにより [15]，低資源言語文の翻訳精度を有意に改善することを示す.

具体的には，本論文では，まず， Many-to-One 翻訳アプローチを適用する場合においては，例えば，日-to-
^{\ddagger}$ Takuya Tamura, College of Engineering Systems, University of Tsukuba

 }^{\S}$ Masaaki Nagata, NTT Communication Science Laboratories, NTT Corporation, Japan

越翻訳の場合には, Asian Language Treebank Parallel Corpus (ALT) [10] の日-to-越対訳文集合 1.8 万文に対して, ドメインの異なる TED Talks Parallel Corpus (TED Talks) [2] の英-to-越対訳文集合 19.9 万文を追加した対訳文集合を訓練事例として，単一の NMT モデルを訓練した。これにより，ALT の日-to-越翻訳の翻訳精度が大幅に向上することを示す. 次に, Many-to-Many 翻訳アプローチを適用する場合においては， ALT の日-to-越対訳文集合 1.8 万文に加えて，TED Talks の日-to 英対訳文集合 19.9 万文を訓練事例として単一の NMT モデルを訓練した。これにより， ALT の日-to越翻訳の翻訳精度が大幅に向上することを示す. 最後に, NMT モデルのエンコーダ・デコーダにおける単語埋め込みとして，事前訓練型多言語言語モデルである mBERT [5] の出力を利用する手法 [15] を, Many-toOne 翻訳 [1] および Many-to-Many 翻訳アプローチ [1] に適用した。mBERT は越語, 日本語を含む豊富な多言語の非対訳単言語コーパスで事前に訓練されたモデルであり,この多言語言語モデルの出力を単語埋め込みとして利用することにより, Many-to-One 翻訳および Many-to-Many 翻訳の翻訳精度がさらに改善することを示す.

## 2 関連研究

低資源言語の翻訳において，当該言語の対訳資源以外を用いる手法としては, 異なる翻訳方向の 1-to-1 対訳文対を混合して単一モデルを訓練することにより，異なる言語$\cdot$翻訳方向の間でパラメータを共有する Many-toOne/One-to-Many/Many-to-Many 翻訳アプローチ [12, 1], および，事前訓練済みモデルに対して，転移学習あるいは fine-tuning 等, 何らかの手法を用いることにより，(低資源言語等の)NMT タスクにおいて利用するアプローチ $[16,4,11,15,8]$ が知られている.

Many-to-One/One-to-Many/Many-to-Many 翻訳アプローチの一つとして, Tan ら [12] は, Aharoni ら [1]の Many-to-One/One-to-Many 翻訳において, 語族および
単語埋め込みの類似した言語間で翻訳パラメータを共有することが有効であることを示した。これに関連して, 本論文では, Many-to-One/Many-to-Many 翻訳において，対訳資源が豊富な言語対における異分野の大規模対訳文集合を利用することにより，低資源言語を含む日-to-越翻訳, および, 越-to-日翻訳の翻訳精度が改善できることを示す.

一方，事前訓練済みモデルを (低資源言語等の)NMT タスクに適用するアプローチの研究事例として, Zoph ら [16] は，大規模な仏英対訳コーパスを用いて訓練されたモデルに対して，小規模なウズベク語-英語対訳コーパスを用いた転移学習により, ウズベク語から英語への翻訳精度が改善することを示した．Dabre ら [4] は, 同じ語族に属する言語の対訳コーパスを用いて事前訓練されたモデルを転移学習に用いることが有効であることを示した.これらのアプローチの研究の一つの方向性として，近年では，大規模言語資源を用いて事前訓練したモデルを NMT タスクに対して利用するアプローチの研究が知られている. それらのモデルのアーキテクチャは, mBERT [5], XLM [6], XLM$\mathrm{R}[3]$ 等, エンコーダのみで構成されるもの, および, mBART [8], MARGE [7], mT5 [14], MASS [11] 等, エンコーダ・デコーダで構成されるものとに大別される。一例として，例えば， Zhu ら [15]においては， Transformer のエンコーダ・デコーダにおいて，多言語の非対訳コーパスによって事前訓練された mBERT の出力する単語埋め込みを用いる BERT-fused NMT の枠組みを提案し，翻訳精度が改善することを示した。また, 同様に, 多言語の非対訳コーパスによって事前訓練された mBART [8], および, MASS [11] 等のモデルにおいては, fine-tuning タスクの事例として NMT タスクへの適用事例が報告されている.

これらに関連して，本論文では，低資源言語を対象とした Many-to-One/Many-to-Many 翻訳のアプローチにおいて, Zhu ら [15] の BERT-fused NMT の枠組みを採用し，低資源言語を含む翻訳タスクの翻訳精度が改善することを示す。

## 3 データセット

## 3.1 Asian Language Treebank Parallel Corpus [10]

Asian Language Treebank Parallel Corpus (ALT) は, BPPT, I2R, IOIT, NECTEC, NIPTICT, PUP, UCSY, NICT 98 機関の共同プロジェクトにより作成された対訳コーパスである. 英語 Wikinews の 20,106 文を他
の 12 言語 1 に翻訳して作成した 13 言語の対訳コーパスであり，18,088 文の訓練文対， 1,000 文の開発文対, 1,018 文の評価文対から構成されている. 本論文の評価においては, 表 1 に示す日本語-越語 (JV), 英語-越語 $(\mathrm{EV})$, 越語-日本語 $(\mathrm{VJ})$, 英語-日本語 $(\mathrm{EJ})$ の訓練文対集合, および, 日本語-越語 $(\mathrm{JV})$, 越語-日本語 $(\mathrm{VJ})$ の開発文対集合, 評価文対集合を用いた. 英語, 越語の Tokenizationには英語用の Moses Tokenizer ${ }^{2}$ を, 日本語の Tokenization には $\mathrm{MeCab}^{3}$ を，それぞれ用いた4

## 3.2 TED Talks Parallel Corpus [2]

TED Talks Parallel Corpus (TED Talks) は, カリフォルニアに拠点を置くTED 会議の講演の英語字幕から作成された 80 言語以上の対訳コーパスである. 本論文の評価においては, 表 1 に示す英語-越語 (EV), 日本語-英語 (JE), 中国語-英語 (ZE), 英語-日本語 (EJ), 英語-中国語 (EZ) の対訳文集合を用いた。英語, 越語の Tokenization には英語用の Moses Tokenizerを, 日本語の Tokenizationには MeCabを，中国語の Tokenization

## 4 Many-to-One 翻訳

本論文では, 表 1 に示す対訳文集合のうち, 日本語, および，越語を目的言語とする対訳文集合を対象として, Google Many-to-One 翻訳手法 [1]を適用した. Google Many-to-One モデルにおいては, 表 1 中の対訳文集合のうち, 目的言語が共通となる対訳文集合のみをまとめて使用し，一つの NMT モデルを訓練する.具体的には, ALT 日-to-越対訳文集合 1.8 万文を用いて訓練した翻訳モデル (図 1(a) 左), および, ALT 越to-日対訳文集合 1.8 万文を用いて訓練した翻訳モデル (図 1(b) 左) をベースラインとすると, 本論文の Google Many-to-One モデル [1] の一例は, 図 1(a) 中, および,図 1(b) 中となる ${ }^{6}$. これらのモデルの訓練時, および,翻訳評価時には, 目的言語が越語の場合には “ $<2 \mathrm{VI}>”$ タグを, 目的言語が日本語の場合には “ $<2 \mathrm{JA}>”$ タグを，それぞれ原言語文の先頭に付与して，モデルの訓練・翻訳評価を行う.
^{2}$ https://github.com/moses-smt/mosesdecoder/

${ }^{3}$ https://taku910.github.io/mecab/

4越語の文においては，漢字の発音がアルフアベット表記されて漢字一文字分ごとに空白で分かち書きされたものや英語由来の単語が混在していることをふまえて, 英語用の Moses Tokenizer をそのまま用いる.

${ }^{5}$ https://github.com/fxsjy/jieba

6 例えば, 図 1(a) 中のモデルでは, ALT 日-to-越対訳文集合 1.8 万文に加えて，他ドメインである TED Talks 英-to-越対訳文集合 19.9 万文をまとめて使用して一つの NMT モデルを訓練する.
}

(a) 日-to-越翻訳モデル

(b) 越-to-日翻訳モデル

図 1: Many-to-One / Many-to-Many 翻訳

図 2: BERT-fused NMT [15]

## 5 Many-to-Many 翻訳

Google Many-to-Many 翻訳手法 [1] を適用する際には，表 1 に示す対訳文集合のうち，評価文対の目的言語とは異なる言語を目的言語とする対訳文集合も追加して一つの NMT モデルを訓練する，具体的には，本論文の Google Many-to-Many モデル [1] の一例は, 図 1(a)右，および，図 1(b) 右となる7 . 前節の Google Manyto-One モデルの場合と同様に，これらのモデルの訓練時，および，翻訳評価時には，目的言語が越語の場合には“ $<2 \mathrm{VI}>$ ” タグを, 目的言語が日本語の場合には“ $<2 \mathrm{JA}>”$ タグを，それぞれ原言語文の先頭に付与

して，モデルの訓練・翻訳評価を行う.この Google Many-to-Many モデルの評価においては，低資源言語である越語を含む翻訳タスクにおいて，評価対象の ALT コーパスの分野とは異分野であり，かつ，低資源言語である越語以外の言語のみから構成される訓練用対訳文を混合することによって, 翻訳精度がどこまで改善可能かの評価を行うことが最大の目的となる.

## 6 BERT-fused NMT [15]

Many-to-One 翻訳，および， Many-to-Many 翻訳に対して，BERT-fused NMT [15] の実装を用いて事前訓練済み多言語言語モデル mBERT を適用した. 図 2 に示す BERT-fused NMT のネットワーク構成は, 図中青枠の通常の Transformer [13] に対して，事前訓練済み多
言語言語モデル mBERT が出力する単語埋め込み, および，BERT-Enc Attention 機構，BERT-Dec Attention 機構を加えた構造となっている。

## 7 評価

評価においては, fairseqツールキット [9] 上で実装された Transformer モデル [13]を用いた ${ }^{8}$. 評価結果を表 2 に示す9. 図 1(a) 左 (日-to-越翻訳), および, 図 1(b) 左 (越-to-日翻訳) のベースラインの翻訳精度 (BLEU) は, それぞれ, 4.73, および, 5.39 と極めて低いが，Manyto-One 翻訳・Many-to-Many 翻訳いずれにおいても, 評価文集合とは異分野である TED Talks コーパスの 19.9 万文対の訓練文対を混合して NMT モデルを訓練することにより，BLEUが $10 \sim 15$ 程度改善することが分かる. 特に, 図 1(a) 右 (日-to-越翻訳), および，図 1(b)中右 (越-to-日翻訳) の設定においては，評価文集合とは異分野である TED Talks コーパスにおいて，低資源言語である越語が含まれなくても，BLEUが $10 \sim 15$ 程度改善している。また, 図 1(a) 右 (日-to-越翻訳), および，図 1(b) 右 (越-to-日翻訳) の Many-to-Many 翻訳の設定においては，評価文集合とは目的言語・分野が異なる訓練文対集合を混合したとしても，BLEUが 10 15 程度改善しており, 提案手法の有効性を示している。 さらに，表 2 において，評価文集合とは異分野である TED Talks コーパスを混合した場合においては，いずれの場合においても，BERT-fused NMT [15]によって Transformer の翻訳精度を有意 $(p<0.05)$ に改善しており, Many-to-One 翻訳・ Many-to-Many 翻訳の枠組みにおいて BERT-fused NMT [15] を適用する本論文のアプローチが有効であることを示している.

## 8 おわりに

本論文では, Many-to-One 翻訳・ Many-to-Many 翻訳アプローチ[1]によって, 日-to-越, 越-to-日の低資源言語翻訳の翻訳精度を大幅に改善できることを示した。さらに，このアプローチにおいて BERT-fused NMT [15] を適用することによって，低資源言語の翻訳精度が有意に改善することを示した，今後の課題としては，低資源言語を対象とした Many-to-One $\cdot$ Many-to-Many 翻
^{8}$ head の数を 4 , エンコーダとデコーダを各 6 層, 単語分散表現を 512 次元，隠れ層を 1,024 次元，ドロップアウトを 0.3 , 学習率を 0.0003 とし, Adam optimizer を使用した. 150,000 ステップの訓練を行い，ALT コーパスに対して，開発文対 1,000 文に対する損失が最小となるモデルを選択し, 評価文対 1,018 文に対して評価を行つた. ハードウェアとして, TITAN RTX 24GB GPU 2 枚を使用した。 BLEU スコアの評価，および，有意差検定においては, Moses デコーダのスクリプト(multi-bleu.perl), および, mteval Toolkit をそれぞれ用いた.

9 同一条件または訓練文対のより少ない条件のもとで翻訳精度最大のものを太字で示す.
}

表 1: 訓練用対訳文集合

} & 英語 & 是越語 & \multirow{5}{*}{19.9 万 } \\

表 2: 評価結果 (「+BERT fused」が Transformer に対して有意差がある $(p<0.05)$ 場合を†で示す $)$

(a) 日本語-to-越語翻訳

(b) 越語-to-日本語翻訳

訳において，エンコーダ・デコーダ型アーキテクチャによって構成される事前訓練済みモデル $[8,14]$ に対する fine-tuning のアプローチを適用することが挙げられる。また，中国語・英語由来の単語が多く含まれる越語に対する本論文の評価結果をふまえて, 越語以外の低資源アジア言語と日本語の間の翻訳に対して, 本論文の手法の有効性を評価することが挙げられる。

## 参考文献

[1] R. Aharoni, M. Johnson, and O. Firat. Massively multilingual neural machine translation. In Proc. NAACL-HLT, pp. 3874-3884, 2019.

[2] M. Cettolo, C. Girardi, and M. Federico. WIT ${ }^{3}$ : Web inventory of transcribed and translated talks. In Proc. 16th EAMT, pp. 261-268, 2012.

[3] A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F.Guzman ` , E. Grave, M. Ott, L. Zettlemoyer, V. Stoyanov. Unsupervised crosslingual representation learning at scale. In Proc. 58th ACL, pp. 8440-8451, 2020.

[4] R. Dabre, T. Nakagawa, and H. Kazawa. An empirical study of language relatedness for transfer learning in neural machine translation. In Proc. 31st PACLIC, pp. 282-286, 2017.

[5] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACLHLT, pp. 4171-4186, 2019.

[6] G. Lample and A. Conneau. Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[7] M. Lewis, M. Ghazvininejad, G. Ghosh, A. Aghajanyan, S. Wang, and L. Zettlemoyer. Pre-training via paraphrasing. In Proc. 34th NeurIPS, pp. 1-14, 2020.

[8] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[9] M. Ott, S. Edunov, A. Baevski, A. Fan, S. Gross, N. Ng, D. Grangier, and M. Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. NAACL-HLT: Demonstrations, pp. 48-53, 2019.

[10] H. Riza, M. Purwoadi, Gunarso, T. Uliniansyah, A. A. Ti, S. M. Aljunied, L. C. Mai, V. T. Thang, N. P. Thai, V. Chea, R. Sun, S. Sam, S. Seng, K. M.
Soe, K. T. Nwet, M. Utiyama, and C. Ding. Introduction of the Asian language treebank. In Proc. 19th O-COCOSDA, pp. 1-6, 2016.

[11] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu. MASS: Masked sequence to sequence pre-training for language generation. In Proc. 36th ICML, pp. 5926-5936, 2019.

[12] X. Tan, J. Chen, D. He, Y. Xia, T. Qin, and T.-Y. Liu. Multilingual neural machine translation with language clustering. In Proc. EMNLP-IJCNLP, pp. 963-973, 2019.

[13] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS, pp. 5998-6008, 2017.

[14] L. Xue, N. Constant, A. Roberts, M. Kale, R. AlRfou, A. Siddhant, A. Barua, and C. Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. arXiv preprint arXiv:2010.11934, 2020.

[15] J. Zhu, Y. Xia, L. Wu, D. He, T. Qin, W. Zhou, H. Li, and T.-Y. Liu. Incorporating BERT into neural machine translation. In Proc. 8th ICLR, pp. 118,2020 .

[16] B. Zoph, D. Yuret, J. May, and K. Knight. Transfer learning for low-resource neural machine translation. In Proc. EMNLP, pp. 1568-1575, 2016.


# Towards Detecting Errors: Classifying Model-Generated Output in Chat Translation

Yunmeng $\mathrm{Li}^{1}$, Ryo Fujii ${ }^{1}$, Makoto Morishita ${ }^{2,1}$, Jun Suzuki ${ }^{1,3}$, Kentaro Inui ${ }^{1,3}$
${ }^{1}$ Tohoku University ${ }^{2}$ NTT ${ }^{3}$ RIKEN
li.yunmeng.r1@dc. tohoku.ac.jp

## 1 Introduction

With the deepening of globalization, an increasing number of people have to face a problem: how to communicate with others who speak different languages that we do not understand. Compared to hiring a translator, more people tend to use a machine translation system to get what they want to say or what they do not understand. Although machine translation has improved rapidly in news, speeches, and biomedical translation tasks [1,2], it is still in its infancy in the area of chat translation. It has been pointed out in recent studies that even a document-level system is not entirely qualified for translating chat due to its unique characteristic of multi-speakers $[3,4,5]$. In this research, we focus on figuring out why machine translation models are of low quality when translating chat. In other words, we need to evaluate the model for chat translation to find errors and make improvements for the future.

Considering the fundamental purpose of translation systems, most users are not familiar with the target language and cannot determine whether the translation is accurate. Therefore, we need a solution to confirm whether the translation model fully conveys the interlocutor's meaning to avoid communication problems or misunderstandings. In chat, in addition to the correctness of words and grammar, we also have to pay attention to the gaps in understanding of each other. Hence, we need to determine whether the translation model can generate texts that are well connected to the context and make parties understand each other. To achieve this goal, we build classifiers for evaluating the performance of generated texts. The task is to predict whether a given utterance is generated by the machine translation model (labeled as 'model-generated') or taken from the corpus (labeled as 'original'). By applying these classifiers to the model-generated translations, we can conclude the behaviors of the translation model.

Figure 1 An example of multilingual chat using translation models.

In this research, we focus on chat defined as a twosentence dialogue between two humans using different languages to simplify the task, assuming both parties do not understand each other's language. Figure 1 is an illustration of multilingual chat of two people with the help of translation models. We trained our models and applied the classifiers on generated translations to find that classifiers had their own merits according to the types of information they had access to. Although they still have some errors, to a large extent, we can use these classifiers to correctly determine most of the chat translations with good cohesion and correct expression.

## 2 Methods

To confirm the translation model's performance on chat translation, we build a translation model and a series of classification models in this research. After training the model, we generate translations and apply binary classification models to label the given utterance. With the results of classification, we can determine the translation model's performance on chat translation.

## 2.1 Translation Model

We condition that a chat is composed of two consecutive sentences. Therefore, we choose the 2-to-2 strategy [6] for training, where the inputs and outputs of the model are composed of two texts. With the generated outputs, we continue to train the classification models to create the classifiers.

## 2.2 Classification Models

We assume that there are two people joining in the chat, each of them speaks different languages and does not understand each other's language. With the assumption, we assign $\mathbf{A}$ and $\mathbf{B}$ to be the languages the speakers use. Additionally, we label the sentences of the chat in order as $\mathbf{1}$ and 2. Combined the two signs, the first pair of texts is labeled as $\mathbf{1 A}$ and $\mathbf{1 B}$; the second pair is labeled as $\mathbf{2 B}$ and $\mathbf{2 A}$. The corresponding labels of the example chat are shown under the texts in Figure 1, and listed in Table 1.

Since applying translation models to both the A-to-B and B-to-A directions will make our task extremely complicated to determine the cause of errors, we simplified the problem by focusing only on the B-to-A side. We assume that all the $1 \mathrm{~A}, 1 \mathrm{~B}$, and $2 \mathrm{~B}$ are from the corpus, and only $2 \mathrm{~A}$ can be either generated by the model or from the corpus. With the assumption, we can apply different classifiers to $2 \mathrm{~A}$ and then synthesize the results to determine its quality. In the experiment, we prepare four different classifiers. These four classifiers are trained with $2 \mathrm{~A}$ together with one or multiple of $1 \mathrm{~A}, 1 \mathrm{~B}$, and $2 \mathrm{~B}$. To make the classifiers able to distinguish the machine-like translations, we label the data as 'model-generated' to indicate the $2 \mathrm{~A}$ part is generated by a model; otherwise, we label the data as 'original' to indicate it is from the corpus.

2B-2A For the first classifier, we use $2 \mathrm{~B}$ and $2 \mathrm{~A}$ as the training data. This classifier can predict whether a translation model generates $2 \mathrm{~A}$, taking $2 \mathrm{~B}$ as the reference information.

1A-2A For the second classifier, during training, we use $1 \mathrm{~A}$ and $2 \mathrm{~A}$ as the training data. This classifier can predict whether a translation model generates $2 \mathrm{~A}$, taking $1 \mathrm{~A}$ as the reference information.

1A-2B-2A For the third classifier, we use 1A, 2B, and $2 \mathrm{~A}$ as the training data. This classifier takes both $2 \mathrm{~B}$ and $1 \mathrm{~A}$ as the reference information.

1A-1B-2B-2A The fourth classifier takes all the 1A, $1 \mathrm{~B}$, and $2 \mathrm{~B}$ as the reference information to predict whether a translation model generates $2 \mathrm{~A}$.

With the different parts of the chat as reference information, the four classifiers can determine whether $2 \mathrm{~A}$ is generated by a model or not. By looking at the results, we can conclude how the reference information contributes to the classification and evaluate the generated translations.

Table 1 An example of chat with the labels 1A, 1B, 2B and 2A.

## 3 Experiment

## 3.1 Dataset

Our ideal corpus needs to contain a considerable amount of chat between two people who speak different languages, and better to have labels indicating whether the conversations are smooth. Unfortunately, no existing corpus fully meets our requirements. In this research, we resorted to choose OpenSubtitles2018 ${ }^{1)}[7,8,9]$ since it has texts closer to chat conversations with multi-speakers' scenes compared with corpora of news, speeches or academic literature.

In the experiment, we selected English and Japanese to be the two languages in the chat. Specifically, we assumed A to be English and B to be Japanese, according to the labels described in section 2.2. Taking 1,000 movie stories from the English-Japanese corpus of OpenSubtitles2018, we split every two consecutive sentences as a pair, and finally obtained $644,000^{2}$ ) lines of chat as the translation model's training data.

To make the classification models' training data, we retranslated the texts used for training the translation model to obtain negative examples. Though those texts are not necessarily unsuitable as a response to the preceding context in the chat, we assume the idea to label model-generated texts as errors is reasonable to some extent. Actually, due to the low quality of OpenSubtitles, our translation model achieved a BLEU score of no more than 27.2, which we believe is not very high.

As mentioned in section 2.2, what we need to classify is the type of $2 \mathrm{~A}$. We took $2 \mathrm{~A}$ from the model-generated texts and $2 \mathrm{~A}$ from the corpus, combined different types of original texts as reference to build the four classifiers. Each line of data is labeled as model-generated or original depending on its $2 \mathrm{~A}$ part. Although the patterns are differ-

Table 2 The accuracy on validation dataset of each classifier after training.

ent, each classification model takes about 1,030,000 lines of data for the training. About 257,600 lines of validation data is used as well to evaluate the learning progress of each model during the training ${ }^{3}$.

For the evaluation, we manually selected 650 lines from the translation model's 80,500 lines of test data to be the test data of the classifiers. These pairs of chat were considered to be smoothly connected. Hence, we could make sure there are no non-chat noises when applying the classifiers to the test data.

## 3.2 Settings

In the experiment, we used fairseq [10] to build the translation model. Following the descriptions in section 2.1, we designed a 2-to-2 translation model in the direction of B-to-A, specifically, Japanese-to-English. To establish the training data for classification, we used the translation model to re-translate the training data, as mentioned in section 2.2. In this way, we obtained the model-generated $2 \mathrm{~A}$ that correspond to the original $2 \mathrm{~A}$ from the corpus.

Based on the languages, we selected the multilingual BERT model [11] as the basis of the classification models. Four classification models were fine-tuned from multilingual BERT through transformers [12], provided by huggingface $^{4}$. We built the four classifiers: the 2B-2A classifier, the $1 \mathrm{~A}-2 \mathrm{~A}$ classifier, the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier, and the 1A-1B-2B-2A classifier, based on the different types of reference data. To track the learning progress, we evaluated the models during the training of the classification models with the validation data. In the test time, the classifiers are to assign the label to the data as model-generated or original, indicating the type of the contained $2 \mathrm{~A}$.

Table 3 The classification accuracy and results on the test data containing only the model-generated $2 \mathrm{~A}$.

Table 4 The classification accuracy and results on the test data containing only the original $2 \mathrm{~A}$.

## 4 Results and Analysis

The accuracy of the classification models on the validation data is listed in Table 2.

We used the 1,300 lines of test data mentioned in section 3.1 to test the four classifiers. The results and accuracy on the separated test data are shown in Table 3 and Table 4 . With only the test data of model-generated $2 \mathrm{~A}$, each model's performance is relatively similar. However, we notice that all the four classifiers are somehow weak on distinguishing the test data containing the original $2 \mathrm{~A}$. We consider the possible reason to be the low quality of OpenSubtitles. Among them, the 1A-2A's performance is worse than others with the test data of original $2 \mathrm{~A}$. Combined with the model's accuracy on validation data, we can conclude that the accuracy of $1 \mathrm{~A}-2 \mathrm{~A}$ is inferior to the remaining three.

When tracking the differences between 2B-2A's results and $1 \mathrm{~A}-2 \mathrm{~A}$ 's results, we find that $1 \mathrm{~A}-2 \mathrm{~A}$ distinguish 107 more pairs of chat originally from the corpus as modelgenerated rather than $2 \mathrm{~B}-2 \mathrm{~A}$. We consider that $2 \mathrm{~B}-2 \mathrm{~A}$ behaves better in predicting whether $2 \mathrm{~A}$ is model-generated compared to $1 \mathrm{~A}-2 \mathrm{~A}$. Yet, we conclude $1 \mathrm{~A}-2 \mathrm{~A}$ is better at distinguishing whether the chat is well-connected while looking at the detailed texts. In the Table 5 with an example chat, it is possible to say that $2 \mathrm{~A}$ is a good and human-like translation if we only focus on 2B and 2A. However, if we

$
\begin{array}{ll}

\end{array}
$

Table 5 An example of chat with a model-generated 2A.

$
\begin{aligned}
& \text { 1A He is a shithead. } \\
& \text { 2B 毎年彼は息子の誕生日を忘れるの } \\
& \text { 2A Every year he forgets his birthday. }
\end{aligned}
$

Table 6 An example of chat with a model-generated 2A.

focus on $1 \mathrm{~A}$ and $2 \mathrm{~A}$, the chat of $1 \mathrm{~A}$ and $2 \mathrm{~A}$ is not transparent because the subject of $2 \mathrm{~A}$ does not match to the preceding context $1 \mathrm{~A}$.

But the 1A-2A classifier incorrectly labeled some of the model-generated data as original-from-corpus when looking into the detailed outputs. As shown in Table 6 with an example of chat, if we look at $1 \mathrm{~A}$ and $2 \mathrm{~A}$, the conversation is connected neatly; but the meaning of $2 B$ is translated incorrectly, missing the information of 'his son.' Fortunately, the 1A-2B-2A classifier can take care of it. 1A-2B-2A relatively combines the features of the first two classifiers. Though the example chat in Table 6 is marked as obtained from the corpus via the $1 \mathrm{~A}-2 \mathrm{~A}$ classifier, it is correctly marked as model-generated through the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier. We consider that the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ can distinguish whether $2 \mathrm{~A}$ is model-generated and whether the translation of $2 \mathrm{~A}$ is accurate as the same time. Moreover, we suggest that the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier can indicate the cohesion of the chat and the accuracy of the translation to ensure that the two parties in the conversation can understand each other well.

Observing the $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifiers' results, we found that $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ can better determine the chat that the second sentence, $2 \mathrm{~B}$ (or $2 \mathrm{~A}$ ), is shorter. The 1A-2B-2A classifier labeled the chat shown in Table 7 as model-generated, considering $2 \mathrm{~A}$ is an incorrect translation of 2B. But with the additional reference $1 \mathrm{~B}$, the $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier correctly recognized that it was from the corpus. In this type of chat, the second sentence is more often just a response to the first sentence. Hence, the first sentence is more significant, containing further information. When judging $2 \mathrm{~A}$, not only $2 \mathrm{~B}$ but also the preceding context $1 \mathrm{~B}$ of $2 \mathrm{~B}$ indirectly determines the quality of $2 \mathrm{~A}$. Moreover, due to the difference between English and Japanese grammar rules, fluency is more de-

Table 7 An example of chat with a $2 \mathrm{~A}$ originally from the corpus.

cisive in chat translation than accuracy when the sentence length is short. However, the difference between the results of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ is considerably insignificant. Compared to $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}, 1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ only correctly predicted 18 more of the 1300 lines of data originally from the corpus. From this, we believe that the overall performance of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ are equivalent. Meanwhile, the performance of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ is not outstanding with longer sentences. We consider the possible reason to be the weakness of the BERT model since BERT can only assign two token ids to mark the order of sequences in the settings.

## 5 Conclusions and Future Work

Overall, the translation model's performance in translating chat can be evaluated to a certain extent through the four classifiers established in this research. However, the classifiers still have inaccurate predictions and could not certainly determine the data originally from the corpus on the test data. We consider the reason to be the quality of OpenSubtitles2018. In future research, we will try to find or create a more proper corpus to train our models. We also hope to further predict the translation results by improving our classification models in the future to identify specific problems.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP19H04425.

## References

[1] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[2] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar,

Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020.

[3] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[4] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018.

[5] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[6] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, 2017.

[7] Jörg Tiedemann. Finding alternative translations in a large corpus of movie subtitle. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 3518-3522, 2016.

[8] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, 2016.

[9] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, pp. 48-53, 2019.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite,
Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語情報とパラ言語情報を考慮したニューラル音声翻訳

徳山 太顕 ${ }^{1}$ Sakriani Sakti ${ }^{1,2}$ 須藤 克仁 ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$
1 奈良先端科学技術大学院大学
2理化学研究所 革新知能統合研究センター AIP
\{tokuyama.hirotaka.ti9, ssakti, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

異なる言語話者同士のコミュニケーションを可能にし，言語の垣根を越える音声から音声への翻訳 (Speech-to-Speech Translation; S2ST) が注目されている. 従来, 音声翻訳は自動音声認識 (Automatic Speech Recognition; ASR)，機械翻訳 (Machine Translation; MT)，テキスト音声合成 (Textto-Speech; TTS)の 3 つのシステムで順々に開発されてきた.

しかし, これらのシステムは言語情報の翻訳に焦点を当てており, 感情や強調などの他の音声特徴を伝えるパラ言語情報を考慮していないものがほとんどである. 最近の研究では, 言語とパラ言語の認識と翻訳をそれぞれ別々にモデル化することでパラ言語の翻訳を提案している [1]. しかし, このシステムでは ASR が隠れマルコフモデル (HMM)，MT がニューラルネットワークと違うモデルをべースとしており，強調を推定，翻訳するシステムもそれぞれ ASR と MT の処理を待つ必要がある. したがって全体的に見れば複雑な構造をしており, 翻訳システムとしても実装面においてもまだ最適ではない.

そこで本研究ではニューラルネットワークを用いることで言語とパラ言語の翻訳を統一的なモデルの中で考慮し, 音声から強調を重視してパラ言語情報をテキストに反映できるかについて検討を行った。評価実験では自然音声データと音声合成データを用意し，それぞれパラ言語を適用できるようにデータを編集して学習させ，自然音声と音声合成でモデルの評価を行った. その結果, 本研究で提案した手法は標準的な言語翻訳とほぼ同様の性能を維持したまま，言語情報とパラ言語情報の両方を翻訳できることが明らかになった。

## 2 パラ言語情報の翻訳モデル

従来の翻訳システムにおいて, Do らはパラ言語

(a) 従来のパラ言語情報を利用した Cascade ASR-MT Model [1]

(b) 提案するパラ言語情報を利用した Cascade ASR-MT Model (例:Emphasis Tag)

(c) 提案するパラ言語情報を利用した Direct ST Multitask Model (例:Emphasis Tag)

図 1 パラ言語情報の翻訳モデル

情報を離散化して翻訳するシステム [1] を提案した。彼らのシステムは図 1(a) (従来の Cascade ASR-MT Model)のように, ASR 処理後に強調を推定, MT 処理後にその強調を適用している。例えば，“今日は暑いです.”という音声を，“暑い”を強調して入力して考えた場合，ASRでは“きょうはあついです” というテキストが出力され，その出力テキストを基に強調推定を行う．次にその“きょうはあついです”というテキストを MT に入力することで“It is hot today.”と翻訳されるが，この時に日本語と英語の対応関係を表す Attention を利用して翻訳箇所と強調の関係を計算し, “hot” が強調されていることが分かるように出力される。しかし，これを一つの翻訳システムで考えた場合，様々なモデルを取り入れることによるシステムの大きさや複雑さ, さらに翻訳の遅延が発生するなど幾つかの制約がある.

そこで，今回の提案として図 1(b) (提案の Cascade

ASR-MT Model) のように，ニューラルネットワークを利用して強調推定や強調翻訳を一つのシステムに統合することを考える．その場合，テキストデー タと強調データを同時に翻訳させるため，テキストデータに強調データを付与させることを考える.

例えば，先ほどと同様の“今日は暑いです.”という音声を入力した場合，ASR では“きょう 0 は 0 あつい 3 です 0 。 0 ”のように“あつい”に強調のデータを表すものを付与させる．次に，これを MT で翻訳した場合，“It0 is0 hot3 today0 .0” のように対応する単語に対して同様に強調のデータを出力できるように考える．強調を含むテキストデータについて，次の 3 種類のテキストデータを提案する。

Emphasis Tag:

Emphasis 1-Token:

きょうは<to3> あついです。 It is $\langle$ to3 3 hot today

## Emphasis All Token:

<to0>きょう<to0>は<to3>あつい<to0>です<to0>。 $<$ to $0>$ it $<$ to $0>$ is $<$ to $3>$ hot $<$ to $0>$ today <to $0>$.

それぞれの ASR とMTを学習させた後, 図 1(c) (提案の Direct ST Multitask Model) のように Ye らのマルチタスクモデル [2] をベースとした一つのモデルにし，音声からパラ言語情報を含む直接 Speech-to-Text (ST) 翻訳を行う. 本来このマルチタスクモデルは ASR から，ASR，MT のデコーダを介さずに TTS のデコーダからスペクトログラムを出力するモデルであるが，今回は学習させた ASR のエンコーダと MT のデコーダを利用して学習を行わせる．つまり，同様に強調した音声を入力した際，“きょう 0 は 0 あつい 3 です 0 。 0 ”を出力せず，そのまま MT のモデルを通して “It0 is0 hot 3 today 0.0 ” と出力させることを考える。

また，言語によっては音声の強調を副詞等を利用して言語的に強調できる可能性がある [3]. したがって，もう一つの提案としてパラ言語情報を言語情報的に翻訳する実験も同時に行う。

## 3 データセット

## 3.1 使用するデータセットについて

本研究では日本語の母語話者による自然音声と, その書き起こしたテキストデータ，また，単語を挿入することでテキストの内容を強調したデータを利用する. これは 1029 文をそれぞれ 5 段階の強調

図 2 強調を含む音声合成の生成

図 3 強調を含むテキストの作成 (強調レベル 3 の場合) レベルで作成されたものであり，また，強調レベルに関しては 0 から 4 までのラベルが割り当てられ， その値が高いほど強調される単語が強く発音される.しかし，このデータは強調を含めて約 5000 文とデータセットとしては非常に少ない. そこで今回は BTEC (Basic Travel Expressions Corpus) コーパス [4]を利用する．ただし，BTEC には強調を含んだテキストデータや，音声データが含まれないため，これらは人工的に作成した. データ作成に関しては次の 3.2 節で述べる.

これらを利用して実験を行うが，前述のとおり自然音声のデータは BTEC と比べてはるかに少ないため，20 倍にオーバーサンプリングして学習データに追加して実験を行う.

## 3.2 強調を含む音声とテキストの生成

音声はまず，図 2 のようにテキストの一番初めに現れる形容詞の単語を中心に分離させる. 次に各分離したテキストにおいて、Google Text-to-Speech ${ }^{1)}$ を利用して合成音声を生成させる. ここで音声の強調を反映させるように，形容詞部分の音声のみを音量を 5 段階に分けて変換させる。最後に各音声を連結させて一つの音声にすることで，強調を含む音声が生成できる.

また, 図 3 のようにテキストも形容詞前後で分離させ，それぞれのシステムに合わせて情報を追加させた.

1) https://pypi.org/project/gTTS/

図 4 単語の挿入例

## 3.3 挿入を含むテキストの生成

まず自然音声のテキストデータのうち，単語が挿入されたテキストの中からどのような単語が挿入されているかを各強調レベルごとに抽出する. これらの抽出した単語のうち最もよく使われている単語 5 つをランダムに選び，図 4 のように形容詞の前に挿入してテキストデータを作成する。そこで MTを利用して, 元のテキストデータから正しい位置に単語が挿入されるかを実験した。

## 4 評価実験

## 4.1 実験設定

実験はオープンソースの OpenNMT-py [5] を利用した. エンコーダとデコーダは Transformer [6] で構成し, 最適化には Adam を使用した. このモデルで ASR と MTを別々に学習させてテストを行い，それぞれの結果から評価を行った。続いて $\mathrm{ST}$ 翻訳では ASR と MTのそれぞれの学習済みのモデルを利用して再度学習させ，MT と同様に評価を行った。また，単語を挿大する実験も同様に MT を利用した。

## 4.2 評価方法

評価方法として，まず各提案したデータセットが，ベースラインである一般的な ASR や MT (No Emphasis) と，2節でも述べた従来法 (Separated) と比較しながら評価を行う，ASRでは単語誤り率 (Word Error Rate：WER)を評価し，MT と ST 翻訳では BTEC と自然音声のテキストデータで, Multi-BLEU, SacreBLEU ${ }^{2}$ を用いて評価する。

また，強調を含む翻訳システムにおいては，出力テキストを評価する言語評価と, 強調部分が正しいかを評価する強調評価に分けて行う。それぞれの評価の際，強調を表すタグとトークンを分離させ，強調評価の場合は, 全単語での強調レベルを正解デー タとの F1-score を計算する. また，挿入の実験では，出力が元のテキストを変化させず，各強調レべ

ルに合った単語を挿入できている割合で評価した。

## 4.3 実験結果

## 4.3.1 言語評価

言語評価は表 1 の通りである. Synthetic においてはトークンを利用したものが ST 翻訳において 2〜 5 ポイントほど高いことが分かる. 特に, All Token は, No Emphasis と同程度，もしくは 2 ポイント前後向上した. これはトークンを利用することで語彙数の変化が小さい事や，トークンを利用して強調レベルを学習できることが考えられる。

逆にタグを付けたものでは ASR の精度が少し向上する一方で，ST 翻訳のスコアは低下した。これは各単語にタグを付けることによって語彙数が増えることから，ASRにおいては強調が違えば別の単語であると認識できる一方で，MT P ST 翻訳においては別の単語であることから翻訳モデルを複雑にしてしまうことが原因であると考えられる。

一方，Natural での ST 翻訳の評価はかなり悪くなってしまった。これは ASRでの影響が大きいため, 自然音声の学習データを増やすなど ASR のスコアを改善する必要がある.

## 4.3.2 強調評価

強調評価は表 2 の通りである. ASR においては従来法よりも同等もしくは高いスコアを出しており,提案法が比較的優れている. 特に提案法では, 言語評価を含めて音声と編集したテキストデータで学習できていることが分かる.

また，MTやST翻訳においては，強調の含まれる単語の位置が翻訳結果に依存するため, 文レベルにおいての強調は正しいとしても，単語の位置による強調が違うことが多かったため, ASR と比べて值は低い。しかし，提案法においては従来法よりも值は大きく，強調を含めた翻訳においても提案法が優れていると言えるであろう。また，従来法での値が非常に低い理由として，強調が Attention の関係性に依存する一方で，該当する単語に強調が当たってない結果が多かったことが挙げられる. また，翻訳結果によって表現が変わることも考えた場合，別の評価方法も考慮する必要がある。

## 4.3.3 挿入評価

挿入評価は表 3 の通りである. 1-Token の方がより高い精度で插入を行えていることが分かるが，これは各トークンと挿入する単語が対応しているこ
表 1 言語評価

表 2 強調評価 (F1-score)

表 3 挿入評価

とが考えられる。一方で Tags や All Token の場合では精度が比較的低い。これらは全ての単語にタグやトークンが付いていることから，学習時にそれぞれの挿入される単語との関係が取れていないことや， それに関連して出現回数が少ない単語に対して対応できていないことが考えられる。

## 5 おわりに

本研究ではパラ言語情報をニューラルネットワー クを用いて翻訳することを目的として，2 節のようなモデルやパラ言語情報を含めたテキストを提案した. 続いて，3節のようにパラ言語情報を含むデー タセットを準備して実験と評価を行った。

実験結果から，従来法と比べると言語評価，強調評価の両方の観点から提案法が高いスコアを出すことができた. 提案法においてはシステムによって得手不得手があるが，ST 翻訳においてはトークン
を利用したものが優れた結果を出しており，実用化を考えた場合は Natural でも従来法より高いスコアを出している All Token が最も適していると考える. また，今回は音声データも含め，学習データの大半が BTEC のものであるため Natural における結果は優れているとは言えないが，Synthetic における評価から学習データによっては現在よりも精度の高いモデルに学習できる可能性がある.

今後の展望として，音声の強調レベルや挿入デー タに関して人間による主観評価を行うことや，言語強調についても直接翻訳が行えるようにモデル考えること必要がある．また，自然音声のデータを確保して Natural の精度を向上させることを目指す.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである.

## 参考文献

[1] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Sequence-to-sequence models for emphasis speech translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1873-1883, 2018.

[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Direct speech-to-speech translation with a sequence-to-sequence model, 2019.

[3] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Toward multi-features emphasis speech translation: Assessment of human emphasis production and perception with speech and text clues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 700-706, 2018.

[4] Genichiro Kikui, Eiichiro Sumita, Toshiyuki Takezawa, and Seiichi Yamamoto. Creating corpora for speech-to-speech translation. In Eighth European Conference on Speech Communication and Technology, 2003.

[5] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander M. Rush. Opennmt: Open-source toolkit for neural machine translation, 2017.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.


# 音声認識仮説の曖昧性を考慮する Multi-task End-to-End 音声翻訳

胡 尤佳 ${ }^{1}$ 須藤 克仁 ${ }^{1,2} \quad$ Sakriani Sakti ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$
1奈良先端科学技術大学院大学
2理化学研究所 革新知能統合研究センター AIP
\{ko.yuka.kp2, sudoh, ssakti, s-nakamura\}@is.naist.jp

## 1 はじめに

音声翻訳 (Speech Translation; ST) は，原言語の音声を入力として目的言語のテキストを出力する技術である。従来は音声認識モデル (Automatic Speech Recognition; ASR) と機械翻訳モデル (Machine Translation; MT) をつなぎ合わせた Cascade モデルにより実現されていた。それに対し，近年ではニュー ラルネットワークを用いた系列変換技術により，原言語の音声を直接目的言語のテキストに翻訳する End-to-End モデルの研究が進んでいる.

Cascade モデルにおいては，音声認識の結果に誤りが含まれている場合，機械翻訳の精度も大きく低下するという問題があり, 音声認識の誤りに頑健な機械翻訳が必要となる. End-to-End モデルでは,事前学習された ASR，MT モデルによる Encoder と Decoder の初期化や，ASR，MT を Sub-taskとして， Main-task と同時に学習をする Multi-task Learning が精度向上のために不可欠である. しかし，一般的な Multi-task Learning では, 正解と一致しない予測結果に対して等しく損失が計算される. そのため, 正解系列と異なるが発音の似た予測結果と, 発音の似ていない予測結果の損失が同じになる場合があり問題となる. よって, End-to-End モデルにおいても， Cascade モデルと同様に, 音声認識出力の曖昧性を考慮した学習方法が必要となる。

本研究では, End-to-End 音声翻訳モデルにおいて,音声認識出力の曖昧性を考慮した Multi-taskによる学習方法を提案する. 提案手法による実験と分析を通じて，本手法が音声翻訳における音声認識出力の曖昧性に対する頑健性の向上と, 翻訳精度の向上に寄与することを確認した.

## 2 関連研究

End-to-End 音声翻訳における Multi-task Learning [1, 2] では，Main-taskである ST-taskを学習するだけで
なく，Encoder とその隠れべクトルを共有した上で Sub-taskである ASR-task の学習も同様にする.

Kano ら [3] は, Multi-task の仕組みを用いて, 語順の差異の大きな英日 End-to-End 音声翻訳において，音声認識，機械翻訳といった比較的簡単なタスクから学習し, 構造を組み替えながら最終的に, 入力音声から出力系列を直接翻訳するモデルをカリキュラム学習する手法を提案し, 翻訳精度を向上させた.

Chuang ら [4] は, Multi-task End-to-End 音声翻訳で，Sub-taskである ASR-task の学習において，予測単語と正解単語の埋め込みべクトルのコサイン類似度を損失関数の計算に利用し，音声翻訳精度を向上させた。これは，ASR-taskにおいて，単語の意味的類似性を考慮することで，音声翻訳の頑健性を向上させる試みと言える。

Osamura ら [5] は, Cascade モデルの音声翻訳において, One-hot ベクトルの代わりに, 音声認識の事後確率分布を表すべクトルを機械翻訳モデルへ渡し学習をすることで，音声認識誤りに対する頑健性を向上させた.

本研究では, Kano ら, Chuang らと同様に Multi-task の手法と, Osamura らの手法をもとに, End-to-End においても音声認識出力の曖昧性に頑健な音声翻訳の実現を試みる。

## 3 関連技術

## 3.1 End-to-End 音声翻訳

End-to-End 音声翻訳モデルは Encoder-Decoder モデルにより実現される. $\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列とし, $\mathbf{Y}=\left(y_{1}, \ldots, y_{N}\right)$ を目的言語記号列とする. ここで, $y_{i} \in V$ であり,$V$ は目的言語の語彙集合， $T$ は音響特徵量のフレーム長， $N$ は目的言語記号列のトークン数を表す。

$v$ を語彙集合 $V$ の元とすると, $i$ 番目の目的言語

図 1 Single-task ST (左) と Multi-task ST (右)

記号の事後確率は以下の式で表される

$
P_{\mathrm{ST}}\left(y_{i}=v\right)=p\left(v \mid \mathbf{X}, y_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, cross entropy loss を用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, y_{i}\right) \log P_{\mathrm{ST}}\left(y_{i}=v\right)
$

式中の $\delta\left(v, y_{i}\right)$ は， $v=y_{i}$ のとき 1 ，そうでなければ 0 とする.

## 3.2 Multi-task End-to-End 音声翻訳

Multi-task 音声翻訳においては，音響特徵量が Encoderにより隠れベクトルに変換され，その後 ST-task (Main-task) の Decoder と ASR-task (Sub-task) の Decoder の両方を用いて学習される. 式 (1) (2) より, $P_{\mathrm{ASR}}$ を $P_{\mathrm{ST}}$ と同様に定義すると, ASR 学習時の損失関数 $\mathscr{L}_{\mathrm{ASR}}$ は以下の式で表される

$
\mathscr{L}_{\mathrm{ASR}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, y_{i}\right) \log P_{\mathrm{ASR}}\left(y_{i}=v\right)
$

ST-task の損失関数を $\mathscr{L}_{\mathrm{ST}}$, ASR-task の損失関数を $\mathscr{L}_{\text {ASR }} ， \mathscr{L}_{\text {ASR }}$ に対する重みを $W_{\text {ASR }}$ とすると，学習時全体の損失関数 $\mathscr{L}$ は以下の式で表される

$
\mathscr{L}=\left(1-W_{\mathrm{ASR}}\right) \mathscr{L}_{\mathrm{ST}}+W_{\mathrm{ASR}} \mathscr{L}_{\mathrm{ASR}}
$

3.1 節で述べたモデルを Single-task ST，本節で述べたモデルを Multi-task ST とし，それぞれの概要図を図 1 に示す。本稿では，式(3)における $\mathscr{L}_{\mathrm{ASR}}$ を， hard label (One-hot reference) による cross entropy loss として $\mathscr{L}_{\text {hard }}$ で表す.

## 4 提案手法

本手法では，Multi-task End-to-End 音声翻訳モデルの ASR-task の学習の際に，事前学習された ASR の

図 2 従来手法 (左) と提案手法 (右)

事後確率分布を reference として与え, ASR 出力の曖昧性を考慮するよう ST を学習する手法を提案する。

従来手法と提案手法の概要図を図 2 に示す. 3.2 節で述べた従来手法では, 正解と一致しない予測結果に対して等しく損失が計算されてしまい，発音の類似した予測結果と類似していない予測結果が同じように損失を計算され，ASR 出力の曖昧性を考慮できないと考えられる。

そこで提案手法では, ASR-task において, One-hot reference の代わりに，ASR 出力の曖昧性を表す ASR 事後確率分布 (ASR posterior distribution) のベクトルを reference として用いる. ASR 事後確率分布は，発音が似ている単語が同じようなスコアを持つことが期待されるため，どの単語が他のどの単語と発音が類似しているか，という情報を保持している.これを reference とすることで，音声認識出力の曖昧性に対して頑健な音声翻訳が学習できると期待できる. Osamura らの方法では, Cascade モデルにおいて, 事前学習された ASR により出力される事後確率分布を, One-hot ベクトルの代わりに MT の入力とし，チューニングすることで音声認識出力の曖昧性に対して頑健な翻訳を実現した。それと比較すると, 本手法では，ASR 事後確率分布をそのまま入力とするのではなく reference として用い，損失関数の計算方法を変える点で違いがある.

ASR 事後確率分布は，事前学習されたASRを用いて得られた，各トークンに対するスコアを持ったべクトルの softmaxを取り，soft label とする． soft label において $i$ 番目のトークン $v$ のスコアを $P_{\mathrm{soft}}(i, v)$ とすると，提案手法よる損失 $\mathscr{L}_{\text {soft }}$ は以下の式で表される

$
\mathscr{L}_{\text {soft }}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} P_{\text {soft }}(i, v) \log P_{\mathrm{ASR}}\left(y_{i}=v\right) .
$
表 1 実験に用いた Fisher CallHome Spanish コーパス ${ }^{1)}$

本実験では， $\mathscr{L}_{\text {ASR }}$ を以下の式として定義し， $\mathscr{L}_{\text {hard }}$ と $\mathscr{L}_{\text {soft }}$ の割合を，重み $W_{\text {soft }}$ で調整できるようにした

$
\mathscr{L}_{\text {ASR }}=\left(1-W_{\text {soft }}\right) \mathscr{L}_{\text {hard }}+W_{\text {soft }} \mathscr{L}_{\text {soft }} .
$

## 5 実験

本実験では，データセットとして，Fisher Spanish CallHome Spanish コーパス [6]を用い, Spanish-English (Es-En) の音声翻訳モデルを作成した. 本データセットは，170 時間のスペイン語による電話での日常会話音声と書き起こし，それらに該当する英語テキストにより構成されている。音響特徴量は, Kaldi [7] により抽出した， 3 次元の pitch が付加された 83 次元の Fbank+pitch を用いた.テキストは句読点，記号を取り除き小文字化し，音響特徴量はフレーム長 3000 ，テキストは文字数が 400 より大きいものを取り除いた. 実験に用いたデータセットの内訳を表 1 に示す. ASR，ST モデルの学習，評価はともに表 1 のデータを用いた. Tokenizer は SentencePiece [8] により, 最大語彙数 1000 として, train データからスペイン語と英語のトークンを共有した辞書を作成し, train, dev, test データに適用した. ASR，ST モデルは ESPnet [9]を用い，Transformer [10] により作成した. モデルの設定を表 2 に示す. soft label の作成に必要な事前学習 ASR モデルは，学習後，dev データの WERが最も低いモデルを用いた. ST モデルは, 学習後, $\operatorname{dev}$ データの BLEU スコア [11]が高いモデルを上から 5 つ取り出し, model averaging をし，最終的なモデルとして test データで評価した.

本実験では，式 (4) (6) における $W_{\mathrm{ASR}}$ を 0.3 とし, $W_{\text {soft }}=\{0.0,0.3,0.5,0.7,1.0\}$ の 5 つの場合に分けて実験をし，BLEU スコアにより評価した。 ベースラインである cross entropy loss を用いた条件

は $W_{\text {soft }}=\{0.0\}$ に対応し，提案手法である soft loss を用いた条件は $W_{\text {soft }}=\{0.3,0.5,0.7,1.0\}$ に対応する.

## 6 実験結果と分析

Fisher CallHome Spanish コーパスの test データによる BLEU スコアの結果を表 3 に示す. $\operatorname{soft} W_{\text {soft }}$ $\operatorname{hard}\left(1-W_{\text {soft }}\right)$ が, 各 $W_{\text {soft }}$ のパラメータでの実験を表す. 例として， soft0.0-hard1.0 が， $W_{\text {soft }}=\{0.0\}$ での実験を表す。また，BLEU 4-ref は 4 つの reference を用いた BLEU スコア，BLEU 1-ref は 1 つの reference を用いた BLEU スコア，】はベースラインと比較し BLEU スコアが低下した結果，太字は BLEU スコアが最も向上した結果を表す.

実験結果から, testデータ全体として見ると, ベー スラインと比較し，提案手法で BLEU スコアが低下したものよりも，向上したものの方が多いことが分かる。また，Fisher test データにおいては，いずれの場合においても，提案手法がベースラインを上回る結果となった．また，いずれの test データにおいても，提案手法である soft1.0-hard0.0， soft0.5-hard0.5 の場合の結果が，ベースラインである soft 0.0 -hard 1.0 の結果を上回った。よって，提案手法が音声翻訳の精度改善に効果的であるということが分かった。

soft0.5-hard0.5 での Fisher test における出力結果を表 4 に示す。例 1 では， ベースラインにおいて，"intensive"と出力されるべきところが，"unthinkable"と誤って出力されている.ここで，"unthinkable"のスペイン語としては"inconcebible", "impensable"が該当する。これらは正解である"intensive"に発音が似ており，ASR-task の出力でこれらの単語を予測して
表 3 test データでの BLEU スコアの結果 (】はベースラインと比較し BLEU スコアが低下した結果)

表 4 Fisher test の出力結果の例 (soft0.5-hard0.5)

例 1

例 2

 \\
 &  \\

しまった結果，誤った翻訳結果を出力したと考えられる。これに対し提案手法では, "intensive"に近い"intense"に翻訳できている。例 2 では，ベースラインにおいて，"risks"と出力すべきところを"colds" と誤訳している。ここで，"colds"のスペイン語として，"resfriados"が該当し，正解である"riesgos"に発音が似ている。そのため, ASR-task における予測誤りをもとに，誤った出力をしたと考えられる。これに対し提案手法では，正しく"risks"と翻訳できている。

これらの例においては，ベースラインと比較し，提案手法の方では音声認識出力の曖昧性を考慮して，正しく出力できていると考えられる.

## 7 まとめと今後の展望

本研究では，音声認識の事後確率分布を用いて， End-to-End 音声翻訳の学習をする方法を提案し，音声認識出力の曖昧性に対して頑健な音声翻訳を期待した. 実験結果から，提案手法により BLEU スコア
の向上が見られ，本手法の有効性を確認できた.今後の課題として，ASR-task の出力分布の可視化をした上での定量的な分析，label smoothing loss [12] を用いた実験での有効性の検証が必要だと考えられる。

また，従来研究において，Salesky ら [13] は，音素情報を読み情報として ST に用いることで，BLEU スコアを向上させ，読み情報が ST の学習に効果的であると報告している。それを踏まえた上で，音素，音節情報を損失関数の計算に用いて，字面から組み取れない読みの曖昧性を考慮した ST モデルを作成できると期待しており，今後実験を進める予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである.

## 参考文献

[1] Antonios Anastasopoulos and David Chiang. Tied multitask learning for neural speech translation. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: $\mathrm{Hu}$ man Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pp. 82-91. Association for Computational Linguistics, 2018.

[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Direct speech-to-speech translation with a sequence-to-sequence model. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 1123-1127. ISCA, 2019.

[3] Takatomo Kano, Sakriani Sakti, and Satoshi Nakamura. End-to-end speech translation with transcoding by multitask learning for distant language pairs. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 1342-1355, 2020.

[4] Shun-Po Chuang, Tzu-Wei Sung, Alexander H. Liu, and Hung-yi Lee. Worse wer, but better bleu? leveraging word embedding as intermediate in multitask end-to-end speech translation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 59986003. Association for Computational Linguistics, 2020.

[5] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. Proceedings of the 15th International Workshop on Spoken Language Translation, 181-188, Oct. 2018.

[6] Christopher Cieri, David Miller, and Kevin Walker. The fisher corpus: a resource for the next generations of speechto-text. In Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC 2004, May 26-28, 2004, Lisbon, Portugal. European Language Resources Association, 2004.

[7] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, et al. The kaldi speech recognition toolkit. In IEEE 2011 workshop on automatic speech recognition and understanding, No. CONF. IEEE Signal Processing Society, 2011.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson-Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, et al. Espnet: End-to-end speech processing toolkit. Proc.
Interspeech 2018, pp. 2207-2211, 2018.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, and Geoffrey E. Hinton. Regularizing neural networks by penalizing confident output distributions. In 5 th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Workshop Track Proceedings. OpenReview.net, 2017.

[13] Elizabeth Salesky and Alan W. Black. Phone features improve speech translation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 2388-2397. Association for Computational Linguistics, 2020.


# Video-guided Machine Translation with Spatial Hierarchical Attention Network Encoder

Weiqi Gu Haiyue Song Chenhui Chu Sadao Kurohashi
Kyoto University, Kyoto, Japan
\{gu, song, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 1 Introduction

Neural machine translation (NMT) has achieved high performance for domains where there is almost no ambiguity in data such as newspaper domain [1,2]. However, for other domains such as spoken language or sports commentary, the ambiguity in data still remains a problem.

Multimodal machine translation (MMT) [3] is one of the key tasks focusing on incorporating multimodal content as auxiliary information sources to resolve the ambiguity, such as audio or visual data. MMT models usually take a sentence in the source language with the corresponding visual data and translate it into a sentence in the target language. Recent studies [4] assume that the spatiotemporal context information in the visual data helps to reduce the ambiguity of objects or motions in the source text data.

Previous MMT works mainly focus on Image-guided Machine Translation (IMT) task on the widely used Multi30K [5] dataset. However, video is a better information source than image because videos usually contain much more information than images. One video contains ordered sequence of frames and provides rich visual features. For each frame, it provides spatial representations for object disambiguation as an image in IMT task. Besides object disambiguation in one frame, the ordered sequences of frames can provide temporal representations for motion disambiguation.

Video-guided Machine Translation (VMT) aims to engage video data and text data for high-quality translation. Due to the lack of datasets, VMT received less attention than IMT. To cope with this problem, Wang et al. [6] collect a new large-scale and reasonable-quality multilingual video description dataset (VATEX). Each video in the dataset contains hundreds of frames and it is impractical to utilize all objects information from all frames. Existing works only used features from pretrained action detection

Figure 1 An example of the object ambiguity problem

models as temporal representations of the video to solve the motion ambiguity, thus the object ambiguity still remains a problem. As shown in Fig 1, the object 'picker' and 'bin' in English are wrongly translated into 'apple' and 'trash bin' in Chinese, which are mistranslations partially due to the object ambiguity.

In this work, we propose our VMT system by using both temporal and spatial representations in a video to cope with both the motion ambiguity problem as well as the object ambiguity problem. To obtain spatial features efficiently, we propose to use a hierarchical attention network (HAN) [7] encoder to model the spatial information from objectlevel to video-level. The HAN framework mainly contains 2 layers for object-to-frame level and frame-to-video level abstractions, a transformer encoder layer [8] is also adopted between 2 layers to obtain contextual spatial information. Experiments on VATEX dataset show 0.2 BLEU score improvement over a strong baseline method.

## 2 Related Work

We introduce different kinds of auxiliary information used in MMT in this section. Pretrained image features are widely used in the initial attempts of IMT, such as using them to initializing the hidden states of the encoder and/or the decoder [9]. ResNet-50 CNN-based image classifier and information extracted from automatic object detectors shows better performance on IMT tasks [10]. Wang et

Figure 2 Proposed model with spatial HAN encoder. The source encoder and the temporal encoder are the same as in VMT baseline model, we concatenate them with our proposed spatial HAN encoder by similar target decoder.

al. [6] introduce a strong baseline model which employs the pretrained I3D model [11] for action recognition to get the motion representation while combines attention mechanism [12]. The model combining keyframes information through keyframe selection algorithm and position information of the ordered sequence of frames in a video further improves the translation quality [13].

Besides the action representation which solves the motion ambiguity, spatial information from a sequence of frames in a video could solve the problem of the object ambiguity. Therefore, we propose a novel model with a spatial HAN encoder in addition to the action detection encoder.

## 3 VMT with Spatial HAN Encoder

Figure 2 shows the overview of the proposed model. It consists of components in VMT baseline model and our proposed spatial HAN encoder. The temporal representations only provide motion disambiguation. An additional spatial encoder can provide object disambiguation. We first introduce the VMT baseline model in section 3.1. We then introduce our proposed spatial HAN encoder in section 3.2.

## 3.1 VMT Baseline Model

Wang et al. [6] provide a strong VMT model for the VATEX dataset related tasks. We directly use this model as our VMT baseline model. VMT baseline model mainly consists of the following three modules:

Source Encoder. Each source sentence is represented as a sequence of $N$ word embeddings $E$, the Bi-LSTM [14] encoder transforms it into the sentence features $U=$ $\left.\{u_{1}, u_{2}, \ldots, u_{N}\right.\}$.

Temporal Encoder. The authors use a pretrained I3D model [11] for action recognition to obtain the visual

Figure 3 Structure of spatial HAN encoder. $r$ denotes representation on object, frame and video levels, $q$ denotes query in attention layers, $h_{w}$ denotes the hidden state of the word embedding for query.

features $X$, then they employ a Bi-LSTM [14] temporal encoder to transform $X$ into the motion features $M=$ $\left.\{m_{1}, m_{2}, \ldots, m_{N}\right.\}$.

Target Decoder. The sentence embedding from the source language encoder and the motion embedding from the temporal encoder are concatenated and fed into the target language decoder with two attention mechanisms [15].

## 3.2 Spatial HAN Encoder

Besides temporal encoder and source sentence encoder in the VMT baseline model, our proposed model contains an additional spatial encoder. The intuition is that the temporal encoder only provides motion disambiguation. And an additional spatial encoder can provide object disambiguation.

After splitting one video into $N$ frames, we extracted the object-level spatial features $S=\left.\{s_{1}, s_{2}, \ldots, s_{N}\right.\}$ of $N$ frames by Faster R-CNN [16], organized them with video ID.

HAN [7] framework can capture context and intersentence connections for translation. We propose to use a spatial encoder with HAN framework, which can extract contextual spatial information from adjacent frames within
one video clip. The overview is shown in Figure 3. The object-level attention layer summarizes information from all separated objects in their respective frames.

$
\begin{gathered}
q_{o}=l_{o}\left(h_{w}\right) \\
r_{f}=f_{t}\left(\operatorname{SoftAttention}\left(q_{o}, r_{o}\right)\right)
\end{gathered}
$

where $h_{w}$ denotes a hidden state of current word embedding. The function $l_{o}$ is a linear layer to obtain the query $q_{o}$. We adopt a soft-dot attention [15] to transform objectlevel spatial features $r_{o}$ into respective frame-level spatial features. Then, We obtain contextual frame-level spatial features $r_{f}$ from a transformer encoder layer $f_{t}$ [8].

The frame-level attention layer then summarizes representations from all ordered frames to video-level abstraction $r_{v}$ :

$
\begin{gathered}
q_{f}=l_{f}\left(h_{w}\right) \\
r_{v}=\operatorname{SoftAttention}\left(q_{f}, r_{f}\right)
\end{gathered}
$

where $l_{o}$ is a linear transformation, $q_{f}$ is the query for softdot attention function.

## 3.3 Target Decoder with Spatial HAN Features

Because we have additional contextual spatial HAN features for the VMT task, the target decoder contains 3 kinds of inputs. We use attention mechanism [15] for both sentence embedding $U$ from the source language encoder and the motion embedding $M$ from the temporal encoder to obtain sentence representations $r_{u}$ and motion representations $r_{m}$ :

$
\begin{gathered}
r_{u}=\operatorname{Attention}_{u}(U) \\
r_{m}=\operatorname{Attention}_{m}(M)
\end{gathered}
$

Sentence representations $r_{u}$, motion representations $r_{m}$ and contextual spatial representations $r_{v}$ are concatenated and fed into the LSTM [14] layer at each decoding step $t$ :

$
y_{t}, h_{t}=f_{l s t m}\left(\left[y_{t-1}, r_{u, t}, r_{m, t}, r_{v, t}\right], h_{t-1}\right)
$

Where $h_{t}$ is the hidden state of the target decoder at step $t, r_{u, t}$ are the sentence representations at step $t, r_{m, t}$ are the motion representations at step $t$ and $r_{v, t}$ are the contextual spatial representations at step $t . f_{b i-l s t m}$ refers to the LSTM layer.

## 4 Experiments

## 4.1 Dataset

We utilize the VATEX [6] dataset for the VMT task. VATEX is built on a subset of action classification benchmark DeepMind Kinetics-600 [17], which consists of 25,991 video clips for training, 3,000 video clips for validation and 6,000 video clips for public test. Each video clip has 5 parallel English-Chinese descriptions for the VMT task. The VATEX dataset only provides bilingual corpus and segment-level temporal motion features, doesn't provide object-level spatial features and original video clips. We recollected 23,707 video clips for training, 2,702 video clips for validation and 5,461 video clips for public test, about $10 \%$ are no longer available, which means we lack $10 \%$ spatial features in the dataset.

## 4.2 Settings

For the common settings in our proposed approach and in the VMT baseline model [6], we set the maximum sentence length to 40 , word embedding size to 1,024 , and the source encoder and temporal encoder of both 2-layer bi-LSTM with hidden dimension of 512. For our proposed spatial HAN encoder, both object-level and frame-level attention layer are soft-dot attention layer with a hidden dimension of 512. The number of layers in the transformer encoder is 6. Each layer uses multi-head attention with 8 heads and a hidden dimension of 512. The decoder is a 2-layer LSTM of hidden dimension 1,536. During training, we use Adam optimizer with a learning rate of 0.001 . The vocabulary size is 10,523 for English and 2,907 for Chinese.

For the baseline model, we adopt text only score and baseline score. Here 'text only' means we only use source encoder, 'baseline' means we use both source encoder and temporal encoder in the VMT model. We retest these scores with the same experiment setting in the baseline model.

## 4.3 Results

We adopt corpus-level BLEU-4 score as our evaluation metric. Table 1 shows the scores of each model on the validation set and the public test set. Our proposed VMT

$
\begin{aligned}
& \text { ex. 1: Chinese (Source): 一个人玩弄着一个黄色头灰色羽毛的鹦鹉。 } \\
& \text { English (Target): A man plays with a parrot with a yellow head and gray feathers. } \\
& \text { VMT baseline: a person is playing with a <UNK> that has a yellow yellow brown brown. } \\
& \text { Our method: a person plays with a bird that has a yellow head on it. }
\end{aligned}
$

ex. 2: Chinese (Source): 一名中年男子打开冰箱, 将物品取出。

English (Target): A middle aged man opens up a fridge and beings to remove items.

VMT baseline: a middle aged man opens a refrigerator and takes it out .

Our method: a middle aged man opens a refrigerator and removes the items out .

ex. 3: Chinese (Source): 一个人打开一扇门，显示浴缸和洗手台。

English (Target): A door is opened showing a bathtub and bathroom sink.

VMT baseline: a person opens a door and shows the bathtub and washing the phone . Our method: a person opens a door and shows the bathtub and washes .

ex. 4: Chinese (Source): 一个穿红色衣服的小女孩正在打开一件大礼物。

English (Target): A little girl in a red dress is unwrapping a large present.

VMT baseline: a little girl in a red dress is opening a large present .

Our method: a little girl is opening a large present and is talking to her.

Figure 4 Four examples from Chinese to English translation. Ex. 1: VMT baseline model gives object omission error, which leads to structural errors. Ex. 2: There is object ambiguity problem in the VMT baseline method. Ex. 3: A wrong object translation in the VMT baseline model. In the above 3 examples, our method has correct object and description translations. Ex. 4 is a wrong translation in our method, where some noise information from the video affected the translation.

Table 1 Corpus-level BLEU-4 scores of English to Chinese translation.

Table 250 translation examples from VMT baseline model and proposed method. We notice that most errors are from the object ambiguity and omission problem.

system with spatial HAN encoder achieves 31.2 score on the validation set and 31.3 score on the public test set, showing 0.2 BLEU score improvement over the VMT baseline model.

Because the reference sentences in public test set are hidden, we divide the former half of the original validation set into a new validation set and the latter half into a new test set to analyze the details of translation results. We train on the newly divided dataset, and compare the results on the new test set. We analyze 50 examples randomly selected from the test set to observe whether our model can translate sentences successfully. The results are shown in Table 2, our method has 6 more correct translations than the VMT baseline model. Figure 4 shows the details of several example analyses from Chinese to English. We observed that our method can alleviate object ambiguity and omission problem in the translation, but sometimes the auxiliary information from video clips may result in wrong translations.

## 5 Conclusion

In this work, we propose a VMT system with spatial HAN encoder, which achieves a 0.2 BLEU score improvement over a strong VMT baseline model. The result shows the effectiveness of spatial features for object disambiguation. Our future work will focus on VMT baseline modification, especially the alignment between source, temporal and spatial representations.

## Acknowledgments

This work was supported by ACT-I, JST.

## References

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv e-prints, p. arXiv:1409.0473, September 2014.

[2] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[3] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[5] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30k: Multilingual english-german image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[6] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Korea (South), October 27 - November 2, 2019, pp. 4580-4590. IEEE, 2019.

[7] Lesly Miculicich Werlen, Dhananjay Ram, Nikolaos Pappas, and James Henderson. Document-level neural machine translation with hierarchical attention networks. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pp. 2947-2954. Association for Computational Linguistics, 2018.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 4-9 December 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[9] Desmond Elliott, Stella Frank, and Eva Hasler. Multilingual image description with neural sequence models, 2015.

[10] Julia Ive, Pranava Madhyastha, and Lucia Specia. Distilling translations with visual awareness. In Proceedings of the 57th Annual Meeting of the Association for Compu- tational Linguistics, pp. 6525-6538, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] João Carreira and Andrew Zisserman. Quo vadis, action recognition? A new model and the kinetics dataset. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu, HI, USA, July 21-26, 2017, pp. 4724-4733. IEEE Computer Society, 2017.

[12] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Yoshua Bengio and Yann LeCun, editors, 3 rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020.

[14] Mike Schuster and Kuldip K. Paliwal. Bidirectional recurrent neural networks. IEEE Trans. Signal Process., Vol. 45, No. 11, pp. 2673-2681, 1997.

[15] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and VQA. CoRR, Vol. abs/1707.07998, , 2017.

[17] Will Kay, João Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, Mustafa Suleyman, and Andrew Zisserman. The kinetics human action video dataset. CoRR, Vol. abs/1705.06950, , 2017.


# Self-supervised Dynamic Programming Encoding for Neural Machine Translation

Haiyue Song ${ }^{\dagger \ddagger} \quad$ Raj Dabre $^{\ddagger} \quad$ Chenhui Chu $^{\dagger} \quad$ Sadao Kurohashi $^{\dagger} \quad$ Eiichiro Sumita $^{\ddagger}$
${ }^{\dagger}$ Kyoto University, Kyoto, Japan
${ }^{\mp}$ National Institute of Information and Communications Technology, Kyoto, Japan
\{song, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre, eiichiro.sumita\}@nict.go.jp

## 1 Introduction

Neural machine translation (NMT) [1] is known to give state-of-the-art translations for a variety of language pairs. Sub-word segmentation [2,3] is one of the key reasons behind it as it enables the NMT model to simulate an infinite vocabulary, thereby eliminating the out-of-vocabulary problem. Among all proposed sub-word segmentation methods, byte pair encoding (BPE) [2] is the most commonly used approach which is used to learn sub-word segementation rules from a monolingual corpus. However, BPE uses a greedy search method to segment words and often ignores the sequence-to-sequence nature of NMT. To solve this, researchers have recently proposed a dynamic programming encoding (DPE) method [4] which uses parallel corpora and a neural network to perform sub-word segmentation. The advantage of DPE is that it employs a non-greedy search method in addition to being aware of the translation process by maximizing the probability of generating the target sentence. Although DPE is slower than BPE, it consistently outperforms BPE and related methods [5]. Compared to BPE, DPE tends to give linguistically intuitive segmentations which can potentially aid in understanding the working of NMT models. Thus far, DPE has been studied in resource-rich situations but its performance and working in low-resource settings is rather unknown.

The advantage of DPE is also its weakness, especially in a low-resource setting where parallel corpora sizes are too small to reliably train neural models. To this end, we decided to study how DPE works in a low-resource setting where monolingual corpora and self-supervision based training objectives are known to be extremely helpful $[6,7]$. This in turn motivates our novel Self-Supervised
DPE (SSDPE) method that simulates a parallel corpus by duplicating a monolingual corpus and then training a DPE model using a self-supervised objective. We use denoising methods involving token masking to prevent the encoderdecoder from learning trivial sequence-to-sequence mappings. The resultant SSDPE model needs only monolingual corpora, in addition to being source language agnostic. By analyzing the segmentation of words in different contexts, we found each word is consistently segmented regardless of its contexts, e.g. DPE has the context-free property. Motivated by this, we propose a novel Word-level DPE (WDPE) that uses only monolingual word-frequency table to train a word segmenter. In the decoding phase, each unique word only needs to be decoded once, which lowers the decoding time complexity.

To verify the utility of SSDPE and WDPE, we experiment with 11 Asian languages to English translation using the the low-resource Asian Language Treebank (ALT) corpus [8] belonging to the Wikinews domain. We observe that they are comparable, if not better than DPE and BPE by up to maximum 0.3 BLEU average improvement for 11 language pairs. Our analyses of the compared methods shows that DPE is actually source language agnostic and context-free which explains why SSDPE and WDPE works as well as DPE even without a parallel corpus and context.

## 2 Related Work

Our work focuses on sub-word tokenization for NMT where methods such as BPE [2], WPM [9] and Sentencepiece Model (SPM) [3] are some of the most popular ones. These methods use greedy search to learn sub-word merge rules, a fundamental component of sub-word methods, in a deterministic way. Stochastic variants of BPE called

BPE-drop [5] and of SPM called SPM-regularization [10] enable multiple sub-word segmentations of the same word thereby making the NMT model more robust.

BPE, SPM and the simple character level [11] methods, despite being effective, are greedy search based methods that tend to give non-intuitive sub-word segmentations. DPE [4] addresses this but its reliance on parallel corpora makes it unsuitable for low-resource settings. Our work fills in this gap by enabling DPE segmentation using only monolingual corpora that are easy to obtain and leverage through self-supervision methods for NLP applications [6, $12]$.

## 3 Proposed Method

## 3.1 Background: DPE

DPE segmentation is performed using an encoderdecoder model where $\boldsymbol{x}$ is the BPE segmented source sentence input to the encoder, $\boldsymbol{y}_{c}$ is the character segmented target sentence input to the decoder. The decoder produces $\boldsymbol{y}$, the DPE segmented target sentence where $z=\left(z_{1}, \ldots, z_{M+l}\right)$ denotes some segmentation indices of $\boldsymbol{y}$ and $Z_{y}$ denotes all possible segmentations of $\boldsymbol{y}$. Note that the decoder's output sub-word vocabulary is obtained using BPE. [4] optimized the exact log marginal likelihood as follows to learn DPE:

$
\begin{aligned}
& \log p(\boldsymbol{y})= \\
& \log \sum_{z \in Z_{y}} \exp \sum_{i=1}^{|z|} \log p\left(\boldsymbol{y}_{z_{i}, z_{i+1}} \mid \ldots, y_{z_{i-1}, z_{i}}, \boldsymbol{x}\right)
\end{aligned}
$

## 3.2 SSDPE: Self-Supervised DPE

We propose SSDPE that relies on replacing $\boldsymbol{x}$ with $\boldsymbol{y}_{M}$ in Equation 1, which is the BPE segmented target sentence $\boldsymbol{y}$ with certain tokens being masked thereby making it a monolingual approach. Consequently, SSDPE training resembles monolingual training tasks such as MASS [6] and Masked Language Model (MLM) in BERT [12]. In this paper, we consider the following:

1. SSDPE-LM: A trivial case where $\boldsymbol{y}_{\boldsymbol{M}}=\boldsymbol{y}$.

2. SSDPE-MASS: Similar to [6], half the tokens in $\boldsymbol{y}$ are masked to give $\boldsymbol{y}_{M}$. The masked tokens are consecutive so as to enforce the model to learn sequence level information.

3. SSDPE-Mask: Motivated by [12], we keep $15 \%$ of the training sentences unmasked to bridge the gap between train phase and inference phase. Of the remaining 85\% training sentences, $\boldsymbol{y}$, each token has a $15 \%$ chance to be masked thereby yielding $\boldsymbol{y}_{M}$.

## 3.3 WDPE: Word-level DPE

Based on SSDPE, we propose WDPE where the input $\boldsymbol{y}_{M}$ and target $\boldsymbol{y}$ are single words rather than sentences. We split sentences into words in the training corpus to keep the frequencies of words the same. We consider three variant methods as in SSDPE: WDPE-LM, WDPE-MASS and WDPE-Mask.

## 4 Experimental Settings

## 4.1 Datasets and Preprocessing

We used the ALT multi-way parallel dataset [8] consisting of 18,088, 1,000 and 1,018 sentences in the train, dev and test set respectively for 12 languages: Bengali (bg), English (en), Filipino (fil), Bahasa Indonesia (id), Japanese (ja), Khmer (km), Lao (lo), Malay (ms), Myanmar (my), Thai (th), Vietnamese (vi) and simplified Chinese (zh). We chose this corpus as it represents a realistic extremely low-resource setting and its multi-way nature enables us to effectively analyze the properties of our proposed method. As SSDPE needs only monolingual data, we experimented with 50,000 randomly selected English sentences from news commentary corpus ${ }^{1)}$ belonging to the same news domain as ALT, to train SSDPE models. For WDPE, we split the same news commentary data into one word one line format.

We used Moses tokenizer [13] to tokenize Vietnamese, Malay, Indonesian, Filipino and English, Indic NLP to tokenize Bengali, deepcut [14] for Thai, LaoNLP ${ }^{2)}$ for Lao, Juman++ [15] for Japanese, Stanford-tokenizer [16] for Chinese, and tokenized data from WAT for Khmer and Myanmar [17].

## 4.2 NMT Model Settings

We used the fairseq framework [18] with the Transformer architecture. We did hyper-parameter tuning to determine optimal vocabulary sizes, number of encoderdecoder layers and attention heads, as low-resource settings are quite sensitive to these parameters. As DPE, SSDPE

Table 1: Asian languages to English MT using various subword segmentation methods. Rows 1-3 show baseline results. Rows 4-6 show proposed SSDPE results. Rows 7-9 shows results using words as training data. Row 10 uses English segmentation from Ms-En DPE model. *indicates statistically significant difference $(p<0.05)$ from DPE method.

Table 2: Results of English to Asian language MT. Japanese and Indonesian SSDPE segmenters used 100k news commentary monolingual sentences.

Table 3: Decoding speed of DPE, SSDPE and WDPE methods of ALT-train set, averaged from 10 runs.

and WDPE use BPE vocabulary, the optimal vocabulary size is determined based on NMT performance only using BPE. Consequently, the optimal combination was: vocabulary size of 8,000, 6 layer encoder, 6 layer decoder and 1 attention head (except for Bengali, Filipino, Japanese and Lao, where 4 encoder layers were sufficient). We keep the same vocabulary size for SPM. We used one GPU with batch-size of 1,024 tokens. We used the ADAM optimizer [19] with betas $(0.9,0.98)$, warm up of 4,000 steps followed by decay, and perform early stopping based on the

Figure 1: WSDR between DPE segmenters trained on JaEn data with different random seeds (red), DPE segmenters trained on Zh-En and Ja-En (blue).

development set BLEU. Dropout of 0.1 and label smoothing of 0.1 is used. We used layer normalization for both the encoder and decoder. Decoding is done with a beam size of 12 and length penalty of 1.4. We reported sacreBLEU and performed statistical significance test.

## 5 Results and Analyses

## 5.1 Main Results: SSDPE and WDPE

First, as shown in rows 1-6 of Table 1, for Asian language to English NMT, DPE gives results that are as good as if not better than BPE and SPM. However, our SSDPE and WDPE methods can improve over DPE by 0.26 and 0.31 BLEU respectively (significant at $p<0.05$ ), averaged over 11 translation directions. For SSDPE methods,

SSDPE-MASS and SSDPE-Mask give segmentations that yield better translations as compared to SSDPE-LM, which shows the advantage of masking based training approaches over trivial copy based methods. WDPE methods show better performance than SSDPE, which suggests that sentence contextual information is unnecessary for subword segmentation. For WDPE, a trivial LM method can give almost the best result. Next, Table 2 shows that SSDPEMask is better than DPE for English to Japanese NMT but worse than DPE for English to Indonesian NMT.

Overall, our results show that in a low-resource setting, a parallel corpus dependent DPE model can simply be replaced with a monolingual corpus dependent SSDPE model and still improve translation quality. Further, a word-frequency table is enough to train the segmenter rather than sentence-level data.

## 5.2 Speed Analysis

Because our WDPE method only needs to decode each unique word once in a corpus, it shows a much faster speed than DPE as well as SSDPE. As shown in Table 3, the speed of WDPE is about 5.9x faster than DPE and SSDPE when decoding the ALT-train set.

## 5.3 Source Language Agnostic Analysis

We show the DPE method is source language agnostic by both the result of NMT and the analysis of word segmentations.

As the ALT corpus is multi-way, we can use the English segmentations obtained by the DPE model from one language pair for NMT task of another language pair. When we used English segmentations from the Malay-English DPE model and used it to train NMT models for Asian language to English translation, we saw (row 10 in Table 1) that the translation scores are barely affected.

To further investigate this issue, we propose word set difference rate (WSDR) between two segmenters to compute the probability that they generate different segmentations for one word. For a word $W$ with frequency nword which has $n$ possible segmentations, let seg $_{i}$ and $f r e q_{i}$ be the segmentation and frequency of the $i^{t h}$ segmentation. We define $S=\bigcup_{i=1 \ldots n}\left[\left(\right.\right.$ seg $_{i}$, freq $\left.\left._{i}\right)\right]$ to be the set of all possible segmentations where $\sum_{i=1}^{n}$ freq $_{i}=$ nword holds true.
Word difference rate (WDR) is defined as:

$
W D R=\frac{\sum_{i=1}^{\left|S_{1}\right|} \sum_{j=1}^{\left|S_{2}\right|} \text { freq }_{i} * \text { freq }_{j} *\left(1_{\text {seg }_{i} \neq \text { seg }_{j}}\right)}{n w o r d^{2}}
$

where $S_{1}$ and $S_{2}$ are segmentations of $W$ generated by two segmenters. Then, word set difference rate (WSDR) for a set of words is defined as:

$
\text { WSDR }=\frac{\sum_{i=1}^{\mid \text {words } \mid} \text { WDR }\left(\text { word }_{i}\right) * \text { nword }_{i}}{\sum_{i=1}^{\mid \text {words } \mid} \text { nword }_{i}}
$

Figure 1 shows the WSDR of sets of words with different frequency ranges in the ALT corpus. Comparing the red bars (2 Japanese-English DPE segmenters with random seeds) against the blue bars (Japanese-English and Chinese-English DPE segmenters), it is clear that the WSDR rates are similar. This means that DPE model is actually source language agnostic. We believe this to be the main reason behind why the SSDPE, which uses masked language as input, works as well as DPE.

## 5.4 Context Agnostic Analysis

WDPE works due to the context agnostic property which means the segmentation of one word is consistent regardless of which sentence it is in.

We set $S_{1}$ equals to $S_{2}$ and calculated WSDR of sets of words with different frequency. We found for any set, the WSDR is less than $1 \%$, which means the segmented result of one word is almost not affected by its context in the sentence. Furthermore, removing the context slightly improve the segmentation quality, shwon by the comparison of WDPE and SSDPE in Table 1.

## 6 Conclusion

We proposed novel SSDPE and WDPE methods for subword segmentation. Experimental results show NMT using proposed methods are either comparable to or significantly better than NMT using BPE and DPE. The WDPE method shows a faster decoding speed compared with the original DPE method. Our analyses show source language agnostic and context agnostic property of DPE. Our future work will focus on the performance of our methods in resource rich MT tasks as well as on developing a statistical SSDPE method which will be substantially faster.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv e-prints, p. arXiv:1409.0473, September 2014.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[4] Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[5] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[6] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and TieYan Liu. MASS: Masked Sequence to Sequence Pretraining for Language Generation. arXiv e-prints, p. arXiv:1905.02450, May 2019.

[7] Zhuoyuan Mao, Fabien Cromieres, Raj Dabre, Haiyue Song, and Sadao Kurohashi. Jass: Japanese-specific sequence to sequence pre-training for neural machine translation. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3683-3691, Marseille, France, May 2020. European Language Resources Association.

[8] Ye Kyaw Thu, Win Pa Pa, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Introducing the Asian language treebank (ALT). In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1574-1578, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[9] M. Schuster and K. Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 51495152, 2012.

[10] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Jörg Tiedemann. Character-based pivot translation for under-resourced languages and domains. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 141-151, Avignon, France, April 2012. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14] Rakpong Kittinaradorn, Korakot Chaovavanich, Titipat Achakulvisut, Kittinan Srithaworn, Pattarawat Chormai, Chanwit Kaewkasi, Tulakan Ruangrong, and Krichkorn Oparad. DeepCut: A Thai word tokenization library using Deep Neural Network., September 2019.

[15] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[16] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[17] Chenchen Ding, Masao Utiyama, and Eiichiro Sumita. Nova: A feasible and flexible annotation system for joint tokenization and part-of-speech tagging. ACM Transactions on Asian and Low-Resource Language Information Processing (TALLIP), Vol. 18, No. 2, p. 17, 2018.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. arXiv e-prints, p. arXiv:1412.6980, December 2014.