# 入力側単言語資源と転移学習の利用による 講演字幕を対象とした英日ニューラル機械翻訳の改善

山岸勇輝秋葉友良 塚田元
豊橋技術科学大学
\{yamagishi.yuki.oj, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本論文では、” Technology, Entertainment, Design (TED)”の講演データに対する英日機械翻訳の 性能向上のための取り組みとして、3つの手法の利用を提案する。第 1 に入力側単言語資源で事前学習 された BERT を機械翻訳に利用する手法、第 2 に事前学習モデルへ入力側単言語資源を利用し追加学習を行う手法、第 3 にドメイン外の大量の対訳コー パスを用いて転移学習を行う手法、を検討した。評価実験の結果、事前学習済みモデルを用いた翻訳モ デルと転移学習を組み合わせることで、Trasformer ベースのベースラインモデルから 4.12Point の大幅 な改善を達成した。

## 1 はじめに

近年では世界規模で開かれる講演会の数も増えて きており、このような場では広く英語を用いて講演 が行われる。そこで英語以外の母語のみを扱う人々 にとって講演データを他言語へ翻訳するということ が必要となる。

研究で広く用いられている字幕付き講演データに TED[1] があるが、実際に TED の講演データの翻訳 を行うと英日翻訳が他言語対に比べて大きく性能 が低いという問題がある。原因としては英日翻訳に は他言語対の翻訳に比べ文法・文構造の違いが大き く、少量の講演データでは NMT の学習に対して十分な量でないことが考えられる。

学習データである対訳コーパスを補うために、 Sennrich ら [2] は出力側単言語コーパスを逆翻訳し て疑似対訳コーパスを作成する手法を提案した。対訳コーパスと比べ単言語コーパスの取得は比較的容易であるため、データ拡張の手法として広く用いら れている。しかし本研究の対象である英日講演翻訳 では、出力側単言語コーパスである日本語講演デー
タは人手で翻訳され作成されているため学習データ 以外の入手が困難である。

本研究では、TED 英日翻訳を対象に、利用可能な 言語リソースを検討した上で、適用可能な手法を用 いて性能改善を試みた。第 1 に、入力側単言語資源 で学習された事前学習済みモデルを翻訳モデルに利用した。また事前学習済みモデルを適用した翻訳モ デルへ、入力側単言語資源を利用した追加学習とド メイン外の対訳コーパスを利用した転移学習を適用 した。

## 2 関連研究

## 2.1 BERT

BERT[3] は 2018 年に Google が発表した自然言語処理モデルである。モデルは双方向の Transformer をベースとしたエンコーダーで、あるトークン 列 (単語またはサブワード)を入力として、入力の 各トークンに対応する分散表現を出力する。事前学習に Masked Language Modeling(MLM) と Next Sentence Prediction(NSP)の2つのタスクを行ってい る。BERT は多くのタスクにおいて高い精度を記録していて、SQuAD や GLUE などの複数のベンチ マークタスクにおいて最先端の性能を達成してい る。現在は、BERT を拡張した RoBERTa[4] や軽量版の ALBERT[5] など様々なモデルが提案されてい る。

## 2.2 BERT を利用した機械翻訳

高橋ら [6] は NMT の入力言語側の単語分散表現 に BERT の出力を用いることで翻訳性能の改善を 達成している。BERT の出力を分散表現に用いるこ とで、従来の単語依存の分散表現ではなく、コンテ キストも考慮された分散表現となり、より文脈に 合わせた翻訳が行えるようになった。Zhu ら [7] は

Transformer のエンコーダ・デコーダにおいて BERT の出力への Attention を利用する BERT-fused NMT モ デルを提案し、翻訳性能が改善することを示した。 このモデルは IWSLT2014 の独英翻訳において最先端の性能を達成している。

## 2.3 転移学習

転移学習を利用した手法として、Firat ら [8] は大量のコーパスで学習した NMT モデルのパラメータ を目的となる少量のコーパスで学習したモデルに転送することによって、少量の対訳コーパスを持つ言語間の翻訳精度を大幅に改善した。

## 3 提案手法

本研究では学習データ以外の日本語講演データ の入手が難しい為、目的言語側の単言語コーパスを 用いる Sennrich らの手法は困難と考えた。学習デー タが不足している場合、データ拡張の手法以外に事前学習済みモデルを用いる手法も広く知られてい る。本研究は、事前学習済みモデルである BERTを 機械翻訳モデルに用いる。また利用可能なコーパス を検討し、英語側講演データとドメイン外の英日対訳コーパスが考えられた。この2つのコーパスを用 いて BERTへの追加学習と翻訳モデルへの転移学習 の手法を行う。

## 3.1 事前学習済みモデルの利用

事前学習済みモデルである BERTを機械翻訳モデ ルへ適用した 2 つのモデルを利用する。1つめに BERT 入力モデルとして高橋らが行った、BERT の 出力を NMT の単語分散表現として利用するモデル を用いる。2つめに Zhu らが提案する BERT-fused モ デルを採用する。

## 3.2 事前学習済みモデルへの追加学習

本研究で用いた BERT は、英語版 Wikipedia と BooksCorpus を用いて事前学習を行ったモデルであ る。これらのデータは様々なドメインを含むもので あるため、講演データを用いた BERTへの追加学習 を行うことで、より講演に適した翻訳が出来るよう になると考える。具体的には英語側講演データを用 いて MLM と NSP の2つのタスクを行う。

## 3.3 転移学習

この手法では翻訳のベースとなる英日対訳コー パスを持つ IWSLT とドメイン外の大量の英日対訳 コーパスを用いて行う。はじめにドメイン外対訳 コーパスで学習を行い英日翻訳モデルの構築を行 う。この時ボキャブラリは IWSLT のみから作成し たものを利用し学習を行う。このモデルを翻訳の ベースとなる IWSLT の開発セットを用いて評価を 行う。BLEU スコアにて評価し、最も高い値を示す モデルを転移学習の初期モデルとして選択する。 IWSLT で学習を行う際 NMT のモデルの初期モデル として選択したモデルを用いることで転移学習を行 い英日翻訳モデルの構築を行う。

## 4 実験

提案手法によって TED の英日講演字幕翻訳への 性能が改善されるかを調査する。

## 4.1 データセット

英日対訳コーパスの学習データとして TED の講演データである IWSLT2017を、転移学習のために ASPEC[9] とJESC[10]の3つのコーパスを利用する。 IWSLT2017 の開発データには $\operatorname{dev} 2010$ をテストデー タには tst2010を使用する。ASPECコーパスは科学技術論文抄録のコーパスで、文単位で様々な抄録 から対訳文を抽出した対訳コーパスである。JESC コーパスはインターネット上からクロールされた映画と TV 番組の字幕データで作成された対訳コーパ スである。

表 1 英日対訳コーパス

BERT への追加学習のための入力側単言語コー パスとして、学習に使用している IWSLT2017 の訓練データ、学習に使用していない IWSLT2012 か ら 2017 までの講演データ、JESC の訓練データ、 IWSLT2017 のテストデータの 4 つを利用する。TED の講演データは英語がオリジナルのデータである ため、過去に公開されているデータを利用すること が可能である。また、追加学習で用いるのは大力側

データとなるため、テストデータを直接追加学習に 利用することが可能である。

表 2 追加学習に利用する入力側単言語資源

## 4.2 実験設定

ベースラインは、RNN $に$ LSTM + Attention 機構 のモデルと Transformer のモデルの 2 つを用いた。翻訳の単位は両モデル共に単語単位での翻訳を行 う。レイヤー数は RNN が 2 層、Transformer が 6 層 で隠れ層の次元数は RNN が 768、Transformer が 512 となっている。Optimizer は両モデル共に Adam を使用しドロップアウトも共に 0.3 となっている。学習済みの BERT は Google が公開している BERT-Base モデル [3] を利用した。 12 層の Transformer で構築 され、隠れ層の次元数は 768 となっている。

## 4.3 実験結果

## 4.3.1事前学習済みモデルの利用

事前学習済みモデルを利用した BERT 入力モデル と BERT-fused モデルの性能を調査する。BERT 入力 モデルの NMT は LSTM を使用した為、ベースライ ン (RNN) からの性能を比較、BERT-fused モデルで は NMT は Transformer を使用する為、ベースライン (Transformer) との比較を行う。

表

事前学習済みモデルを利用したモデルは共にベー スラインモデルからの改善が確認できた。BERT 入力モデルでは、RNN から 2.18Point の改善が見られ た。また BERT-fused モデルでは、Transformer から 1.90Point の改善が見られた。2つのモデルを比較す ると NMT に Transformer を利用する BERT-fused モ デルがより高い性能を示した。

## 4.3.2 事前学習済みモデルへの追加学習

BERT-fused モデルにおける BERTへの追加学習 の効果を調べた。 3 種類のコーパスを用いて、追加学習を行い 4 つの翻訳モデルを構築した。元の BERT-fused モデルと比較した。

## Bf+trainIWSLT

BERT-fused モデルの BERTへ学習データである IWSLT2017 の英語側訓練データを用いて追加学習を 行ったモデル

## Bf+otherIWSLT

学習データを含まない IWSLT の英語側講演データ を用いて追加学習を行ったモデル

## Bf+trainJESC

追加学習に用いる IWSLT のデータは数十万文の少量のデータのため、ドメイン外ではあるが講演に近 く大量のデータを持つ JESC の訓練データを用いて 追加学習を行ったモデル

## Bf+testIWSLT

追加学習は入力側データのみで行えることから、目的としている IWSLT2017 のテストデータを直接用 いて追加学習を行ったモデル

表 4 追加学習の性能の比較 (BLEU)

BERT へ追加学習を行った 4 つのモデル全てで、追加学習を行っていない元の BERT-fused モデルか らの改善は見られなかった。原因として講演データ を用いることでより特定のドメインに BERT を強化 できると考えたが、本来 BERT が持つ汎化性能が低下し翻訳性能の低下に繋がったと考える。

## 4.3.3 転移学習

BERT-fused における転移学習の効果を調べた。転移学習には ASPEC とJESC の 2 つのドメイン外対訳 コーパスを用いて 5 つの翻訳モデルを構築した。元 の BERT-fused モデルと比較した。

Bf+transASPEC

ASPEC を用いて BERT-fused モデルに転移学習を
行ったモデル

## Bf+transJESC

JESC を用いて BERT-fused モデルに転移学習を行っ たモデル

## Bf+transASPEC/JESC

ASPEC と JESC を結合したコーパスを用いて BERTfused モデルに転移学習を行ったモデル

## Bf+transJESC'

JESC の 2 文を 1 文に連結したコーパス $\mathrm{JESC}^{2}$ をを用 いて BERT-fused モデルに転移学習を行ったモデル

## Bf+transASPEC/JESC'

ASPEC と JESC'を結合したコーパスを用いて BERT-fused モデルに転移学習を行ったモデル

表 5 転移学習の性能の比較 (BLEU)

転移学習の手法では ASPEC と JESC の 2 つのコー パスで共に改善が見られ、ASPEC を用いた場合が より大きな改善が見られた。科学技術論文の抄録で ある ASPEC に比べ字幕データである JESC は TED の講演データに近いドメインを持つが、ASPEC よ り大きな改善が見られなかった為、各コーパスの 特徴を調査した。各コーパスでの平均文長を調べ ると JESC は IWSLT2017と ASPEC に比べ半分以下 の文長であることが分かった。そこで JESC の 2 文 を 1 文に連結処理した JESC' を作成し転移学習を 行った。

表 6 各コーパスの平均文長

JESC’を転移学習に用いたモデルは ASPEC のみ を用いる場合よりも高い性能を示した。文長をよ り、IWSLT2017 の学習データに近いものとしたた め、性能の改善に繋がったのではないかと考える。
ASPEC と JESC'を混ぜたデータを用いる転移学習 では更なる性能改善は見られなかった。

表 7 はベースラインである Transformer と最も良 い性能を示した Bf+transJESC'の翻訳例である。 Bf+transJESC' は Transformer で翻訳出来ていなかっ た入力文の単語を正しく翻訳出来るようになってい ることが分かる。

表 7 翻訳の改善例

## 5 おわりに

本研究では TED の講演データである IWSLT2017 を用いた英日翻訳性能の改善を目的に、入力側単言語資源で学習された事前学習済みモデルと入力側 である英語データによる事前学習済みモデルへの 追加学習、また大量のドメイン外の英日対訳コーパ スを利用した転移学習の手法を行った。BERT を用 いた翻訳モデルは既存の RNN、Transformer ベース のモデルからより性能が向上することが確認でき た。BERT-fused モデルにおける BERT への追加学習 は性能の改善は確認できなかった。BERT-fused に おける転移学習の効果は大きく、講演データに近 いドメインを含む JESC コーパスを連結処理し用い た転移学習は最も良い性能が確認できた。最終的 にベースラインである Transformer の BLEU スコア 10.58 から 4.12Point の大幅な改善を達成し 14.70 ま で向上が見られた。提案法で得られた BLEU スコア 14.70 は、IWSLT2018 で報告されているべストスコ ア 10.88[11] と比べてもかなり高いものとなってい る。今後の課題としては、追加学習に用いた入力側単言語資源を疑似的な対訳コーパス作成のために利用しデータ拡張の手法を試みる事や、現在提案され ている様々な BERT モデルを用いることなどが考え られる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$

の助成を受けた

## 参考文献

[1] M. Cettolo, M. Federico, L. Bentivogli, J. Niehues, S. Stuker, K. Sudoh, K. Yoshino, and C. Federmann, "Overview of the IWSLT 2017 Evaluation Campaign", In Proceedings of the 14th International Workshop on Spoken Language Translation (IWSLT), 2017.

[2] R. Sennrich, B. Haddow, and A. Birch."Improving neural machine translation models with monolingual data". In Proc. of ACL-2016 (Volume 1: LongPapers), pages 8696, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-training of deep bidirectional transformers for language understanding", In North American Association for Computational Linguistics (NAACL),2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov."RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv e-prints, arXiv:1907.11692,2019.

[5] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations", International Conference on Learning Representations, 2020.

[6] 高橋 竜, 秋葉 友良, 塚田 元,"汎用分散表現 BERT を 用いたニューラル機械翻訳の検討", 言語処理学会第 27 回年次大会, 2020

[7] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, Tie-Yan Liu."Incorporating BERT into Neural Machine Translation",International Conference on Learning Representations, 2020.

[8] O. Firat, K. Cho, and Y. Bengio, "MultiWay, Multilingual Neural Machine Translation with a Shared Attention Mechanism”, ArXiv e-prints,pp.866-875, 2016.

[9] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. "ASPEC: Asian scientific paper excerpt corpus", In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, 2016.

[10] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, Denny Britz. "JESC: Japanese-English Subtitle Corpus",European Language Resources Association,2018.

[11] Yuto Takebayashi, Chu Chenhui, Yuki Arase, Masaaki Nagata. "Word Rewarding for Adequate Neural Machine Translation",In Proceedings of the 15th International Workshop on Spoken Language Translation,2018.
 山岸勇輝秋葉友良 塚田元 豊橋技術科学大学 \{yamagishi.yuki.oj, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp  