# ニューラル機械翻訳のための 日本語の膠着語的性質を考慮したマルチタスク学習

西田悠人 秋葉友良 塚田元
豊橋技術科学大学
\{nishida.yuto.ec, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ステミングタスクを補助タスクとしたマルチタス ク学習 (MTL) モデルが膠着語に属する言語のニュー ラル機械翻訳に有効であるという報告があるが，膠着語である日本語の翻訳にも有効であるかは明らか ではない。そこで，本研究では日本語-英語および 日本語-中国語の双方向翻訳においてステミングを 基本としたタスクを補助タスクとした MTL モデル の性能の評価を行った。実験結果より，ステミング タスクを補助タスクとした MTL モデルの有効性は 限定的であることと，ステミングタスクと英語文/中国語文をソースとした日本語ステム列生成タスクの 両方を補助タスクとした MTL モデルは有効である ことを示した.

## 1 はじめに

膠着語に属する言語は morphologically-rich (形態学的に複雑) であり, それらの言語の翻訳は，特に 学習データが少ない場合に，ニューラル機械翻訳 (NMT) モデルにとって依然として困難なタスクであ ることが知られている [1]. Pan ら [1] はこの問題を 解決するために，トルコ語-英語およびウイグル語中国語の双方向翻訳において，膠着語 (トルコ語, ウイグル語) のステミングタスクを補助タスクとし たマルチタスク学習 (MTL) モデルを提案し，翻訳性能が向上することを示した。しかし，他の言語対 (膠着語-非膠着語の対) において同様の手法が有効 であるかは明らかではない.

本研究では，ケーススタディとして，膠着語のな かでも日本語に着目する. 日本語-英語および日本語-中国語の双方向翻訳を対象として，ステミング タスクを補助タスクとした MTL モデルの性能を評価することで，Pan ら [1]の手法が日本語の翻訳にお いても有効であるかを検証する。また，その他のス
テミングを基本としたタスクについても検討し，よ り有効な補助タスクを探究する。

実験結果より，(1) Pan ら [1] の提案した手法に相当する日本語ステミングタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスク とした MTL モデルの有効性が限定的であることを 示し，(2) $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文を ソースとした日本語ステム列生成タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデルによって翻訳性能が向上することを示し，(3) 翻訳タスクと補助タ スクの混合比を調整することで (2) のモデルに更な る性能改善がみられることを示唆した。

## 2 関連研究

NMT にマルチタスク学習を導入するための様々 な手法が提案されている。翻訳以外の補助タスクを 用いて主タスク (翻訳タスク) の性能向上を図る研究として, Luong ら [2] はドイツ語・英語のオート エンコーダと独英翻訳のマルチタスク学習を提案 し, Currey ら [3] は英語の句構造解析と英語を原言語とした翻訳 (英露翻訳など) のマルチタスク学習 を提案した。あるいは，主タスクと補助タスクを区別せず，複数の翻訳タスクを共同で学習し，その相乗効果によって翻訳性能の向上を図る研究もある. Johnson ら [4] は単一のモデルによる多言語翻訳に よって低資源言語の翻訳性能が向上することを報告 した.

膠着語を対象とした NMT の研究も多くある. Ataman ら [5] は教師なしの形態学的セグメンテー ションモデルによってトルコ語の語彙削減を行うこ とで，土英翻訳の性能が向上することを報告した. Pan ら [6] は膠着語の語幹と接辞に別の処理を施す サブワード分割手法を提案し，土英翻訳およびウイ グル語-中国語翻訳の性能向上を示した。

## 3 日本語の膠着語的性質を考慮した マルチタスク学習

## 3.1 マルチタスク学習

タスクごとに固有のタグを各ソース文の先頭に加 える方法 [4] により, 単一の seq2seq モデルでマル チタスク学習を行う．これにより，標準的な NMT アーキテクチャに変更を加えることなく，マルチタ スク学習を行うことができる. 本研究では，主タス ク (翻訳タスク)であることを示すタグ<MT>と補助タ スクであることを示すタグ<ST>を導入する。本研究 における MTL モデルの概念図を図 1 に示す.

図 1 MTL モデルの概念図

## 3.2 補助タスク

日本語の膠着語的性質を考慮した補助タスクと して, Pan ら [1] が提案した補助タスクに相当する $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と，新たに提案した $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の 2つを導入する. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ は日本語文を入力として，対応する日本語ス テム列を生成するタスクであり, $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は英語文/中国語文を入力として，入力に対する日本語訳文に対応する日本語ステム列を生成するタスクである。な お, 日本語の文節は典型的には 1 つの自立語に 0 個以上の付属語が膠着することで形成されるため, 本研究では日本語文の自立語のみを抽出して原形化す ることで得られるトークン列を日本語ステム列と定義した。

日本語-英語の双方向翻訳を対象とした際の主夕 スクである日英翻訳，英日翻訳と補助タスクである $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データの例を表 1 に示す.

表 1 タスク毎の訓練データの例 (上：ソース文，下：ターゲット文)

} & <MT> 実験 によってこの 結果 が 検証 された。 \\

## 4 評価実験

## 4.1 データセット

対訳データとして，KFTT [7] の京都関連文書対訳 コーパス全文対 (440,288 文対), IWSLT2017 [8] の英日対訳コーパス全文対 (223,108 文対), Asian Scientific Paper Excerpt Corpus (ASPEC) [9] から ASPEC-JE100k (ASPEC-JE の train1 データの先頭 100,000 文対), ASPEC-JC100k (ASPEC-JC の train データの先頭 100,000 文対)を用いる. 開発データおよびテスト データには，それぞれのコーパスの開発/テスト データを用いた。なお，IWSLT2017では開発データ

タの日本語文は MeCab [10] によるトークナイズ を行った. MeCab の辞書には IPA 辞書を用いた.英語文は Moses [11] tokenizerによるトークナイズ， Moses truecaserによる truecasingを行った. 中国語文は jieba [12]によるトークナイズを行った.

補助タスクの訓練データは，対訳データから作成 した. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データのターゲット文 は対訳データの日本語文に対して自立語抽出と語 の原形化を行うことで作成できる。自立語抽出は， MeCabによって文の各形態素の品詞を解析し, 自立語に相当する品詞に該当する形態素以外を除去する ことで行った。なお，自立語に相当する品詞は (1)名詞-動詞非自立的, 名詞-接尾, 名詞-非自立, 名詞特殊を除くすべての名詞，(2) 連体詞，(3) 動詞-自立, (4) 形容詞-自立, (5) 副詞, (6) 接続詞, (7) 感動詞, (8) フィラーとした. 品詞の分類は IPA 品詞体系 [13] に基づく，語の原形化は, 各形態素を MeCab によって得た原形に置換することで行った.

## 4.2 実験条件

モデルの語彙は，対訳データの英語文/中国語文 と日本語文を結合したうえで作成した。語彙サイズ はソース，ターゲットともに同一とし，KFTT では 100,000，その他では 50,000 とした.

翻訳モデルおよび MTL モデルはオープンソース の NMT ツールキット OpenNMT [14] の Python 実装 である OpenNMT-py によって構築した。

モデルの翻訳性能の評価指標には BLEU [15] を用 いた. モデルの訓練で得たチェックポイントから翻訳方向ごとに開発データの BLEU が最も高いものを 選択し，そのチェックポイントにおけるテストデー

タの BLEUをそのモデルの性能とした.

## 4.3 ステミングを基本とした補助タスクを 用いた実験

本節では，ステミングを基本としたタスクを補助 タスクとした MTL モデルの有効性を評価するため に，次に示す 4 つのモデルについて訓練および評価 を行った。

bi-MT 補助タスクを用いない双方向翻訳モデル. これがベースラインモデルとなる.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \quad \mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスクとした MTL モ デル．Pan ら [1] の提案したモデルに相当する. $\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{f} \rightarrow \mathbf{j}}$ 新たに提案した $\mathbf{S T}_{\mathrm{f} \rightarrow \mathrm{j}}$ を補助タスク としたMTL モデル.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \& \mathbf{S} \mathbf{T}_{\mathbf{f} \rightarrow \mathbf{j}} \quad \mathbf{S T}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助 タスクとした MTL モデル.

MTL モデルの訓練に用いるミニバッチは，各ミ ニバッチに占める日英 (日中) 翻訳タスク，英日 (中日) 翻訳タスク，補助タスクのデータの割合が等し くなるように構成した. すなわち，各ミニバッチの 全体 (主タスク＋補助タスク) は，ミニバッチの主タ スクの 1.5 倍となる. また，対訳データとともに用 いる補助タスクのデータはその対訳データから作成 し，外部データは使用しなかった.

各モデルの各翻訳方向の BLEU ( $\mathrm{Ja}-\mathrm{En} / \mathrm{Zh}$ お び En/Zh-Ja) とその算術平均 BLEU (Ave.) を表 2 に 示す.

表 2 より, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU は，IWSLT2017 ではベースライン性能を下回 り，その他ではベースライン性能を上回った。ま た, 各翻訳方向でみると，約半数のケースでベース ライン性能を下回っていることが確認できる.

対照的に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに 対して一貫して平均 BLEU が向上し，その向上幅は 一貫して bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ および bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ より大き い。また，各翻訳方向でみても，ASPEC-JC100k の Ja-Zh を除いて BLEU が向上したことが分かる.

以上より，日本語-英語および日本語-中国語の双方向翻訳において, Pan ら [1] の提案した補助タス ク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した補助タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は単独 では有効性が限定的であることと，両方を組み合わ せて用いた MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は有効 であることが示された.

## 4.4 恒等写像タスクとの比較実験

Luong ら [2] は独英翻訳において，ドイツ語文と 英語文の恒等写像タスクを補助タスクとした MTL モデルが有効であることを示した．そこで，本研究 でも日本語文と英語文/中国語文の恒等写像タスク を補助タスクIMとして導入する ${ }^{1)}$.

Luong ら [2] は翻訳タスクと補助タスクの混合比 を $1: 0.05$ としたとき，MTL モデルの翻訳性能が最 も高いことを報告している. 本研究でも同様の条件 で実験を行うために，訓練に用いる各ミニバッチ の全体が，ミニバッチの主タスクの 1.05 倍となる ようにミニバッチを構成し, MTL モデル bi-MT+IM (1.05x)を訓練した. 各訓練データにおけるモデルの BLEU を表 2 に示す.

表 2 より, bi-MT+IM (1.05x) は一貫して平均 BLEU がべースラインを上回っていることが確認できる。 このことより，IMを補助タスクに用いることは本研究の実験条件においても有効であることが示され た. しかし, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU と比較すると，一貫して bi-MT+IM (1.05x) の平均 BLEU のほうが低く, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ のほうがより有効性が高いことが分かる.

## 4.5 タスク混合比による性能変化

Luong ら [2] は独英翻訳と恒等写像の MTL モデル において，タスク全体に占める恒等写像タスクの割合が高いときにモデルの翻訳性能が低下することを 報告している．そのため，前節までのモデルにおい ても，タスク混合比を調整することで性能が改善す る可能性がある.

そこで, 本節では ASPEC-JE100k と ASPEC-JC100k を対象として, bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \quad$ bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$, bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ について, タスク混合比を変 えて実験を行い，タスク混合比の調整による性能向上を図る。

4.3 節では，ミニバッチを構成する主タスクと補助タスクの比を $10: 5$ としたが，本節では $10: 4$, $10: 3,10: 2,10: 1$ について実験を行った. 各開発データに対する各翻訳方向の算術平均 BLEU が

1）ただし, Luong ら [2] は恒等写像タスクの訓練データとし て外部の単言語資源を用いているのに対して，本研究では外部の単言語資源を用いずに，恒等写像タスクの訓練データを 対訳コーパスから作成するという点で異なる. また, 本研究 とは異なり, Luong ら [2] は MTL モデルとして，複数のエン コーダおよび複数のデコーダから構成されるものを用いてい る.
表 2 ステミングを基本としたタスクまたは恒等写像タスクを補助タスクとして用いた MTL モデルの BLEU

最も高いモデルを $10: 5$ の場合も含めた 5 つの モデルから選択することで，最良のタスク混合比を選択した。実験の結果，ASPEC-JE100k の bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 1$ が, bi-MT+ST $\mathrm{f}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, ASPEC-JC100k の bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が最良の混合比 であることが分かった。最良の混合比におけるモ デルの (テストデータに対する) BLEUを 4.3 節で実験した $10: 5$ の場合のモデルの BLEUとともに表 3 に示す.なお，表中の $\mathrm{E} / \mathrm{Z}$ は En/Zh の略記であり， $\Delta \mathrm{Ave}$. は各モデルの平均 BLEU とべースラインモデ ルの平均 BLEU の差を示す。また，各混合比におけ る BLEU については付録 A. 1 に示す.

表 3 より, ASPEC-JE100k の bi-MT+ST $\mathrm{S}_{\mathrm{j} \rightarrow \mathrm{j}}$ を除い て，タスク混合比を調整したモデルの平均 BLEU が 4.3 節のモデルの平均 BLEU を上回っており，タス ク混合比を調整することで MTL モデルの性能が向上することが示唆された. また，最良のタスク混合比のモデル同士で比較した場合でも， 4.3 節の結果 と同様に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ よりも, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU のほうが高いという傾向がみられた.

## 5 おわりに

本研究では, 膠着語のニューラル機械翻訳のケー ススタディとして, 日本語-英語および日本語-中国語の双方向翻訳を対象とし, (1) Pan ら [1] の提案し たモデルが日本語の翻訳においても有効であるかど うかの検証，(2) そのほかのステミングを基本とし たタスクの提案，(3) 前項のタスクを補助タスクと した MTL モデルの有効性の評価，(4) MTL モデルの タスク混合比の調整を行った。

実験の結果から，日本語-英語および日本語-中国語の双方向翻訳においては，Pan ら [1] の提案した 補助タスクに相当するタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスク とした MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ の有効性は限定的 であることが示され， $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文をソースとした日本語ステム列生成夕 スク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデル $\mathrm{bi}-\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに対する一貫し た各翻訳方向の平均 BLEU の改善をもたらすことが 示された. また, bi-MT+ST $\mathrm{Sij}_{\mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は恒等写像夕 スクを補助タスクとした MTL モデルより翻訳性能 が高いことも実験により確かめた. さらに，双方向翻訳タスクと補助タスクの混合比を調整することに よって前述のモデルの性能が更に向上することが示唆された。

今後の課題として，本研究で提案したモデルが他 の言語対でも有効であるかの調査や，Pan ら [6] の提案したサブワード分割手法の導入，より翻訳性能を 向上させる補助タスクの探究, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の補助タスクに外部の単言語資源を利用できるよう に逆翻訳 [16] を用いることが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$ の助成を受けた。

## 参考文献

[1] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Multitask neural model for agglutinative language translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 103-110, Online, July 2020. Association for Computational Linguistics.

[2] Minh-Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol Vinyals, and Lukasz Kaiser. Multi-task sequence to sequence learning. arXiv preprint arXiv:1511.06114, 2016.

[3] Anna Currey and Kenneth Heafield. Incorporating source syntax into transformer-based neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 24-33, Florence, Italy, August 2019. Association for Computational Linguistics.

[4] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[5] Duygu Ataman, Matteo Negri, Marco Turchi, and Marcello Federico. Linguistically motivated vocabulary reduction for neural machine translation from turkish to english. The Prague Bulletin of Mathematical Linguistics, Vol. 108, pp. 331-342, 2017.

[6] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Morphological word segmentation on agglutinative languages for neural machine translation. arXiv preprint arXiv:2001.01589, 2020.

[7] Graham Neubig. The Kyoto free translation task. http: //www. phontron. com/kftt, 2011.

[8] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the IWSLT 2017 evaluation campaign. In International Workshop on Spoken Language Translation, pp. 2-14, 2017.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[12] Sun Junyi. jieba. https://github.com/fxsjy/jieba. Accessed: 2021-12-25.

[13] 形態素解析ツールの品詞体系. https:// www. unixuser.org/ euske/doc/postag/\#chasen. Accessed: 2021-12-24.

[14] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 付録

## A. 1 各混合比における MTL モデルの翻訳性能

4.5 節で実験した各混合比における MTL モデルの翻訳性能 (BLEU) を表 4 に示す.


 西田悠人 秋葉友良 塚田元 豊橋技術科学大学 \{nishida.yuto.ec, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp  