# TED 講演の英日翻訳と日英翻訳の検討

足立十一郎山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19002-1545@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた。本稿では、Transformerの翻訳モデルを用い て、英日・日英共通の双方向モデル、TED の英-西 の英語側コーパス、および日本語話し言葉コーパス CSJ の模擬講演を使用したデータ拡張、大量の書き 言葉対訳コーパスである ASPEC を用いた転移学習 などによる改善について報告する。また、TED 講演の BLEU 値が如何に低いかを複数人による翻訳結果の比較と人間による評価により検討した結果に ついて報告する。

## 1 はじめに

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた $[1,2,3]$ 。機械翻訳技術の進展とともに、統計的機械翻訳手法、系列変換によるニューラル機械翻訳手法を検討してきたが、今回、Transformerによる翻訳手法を導入し、改善を図ったので報告する。

TED 講演の英日機械翻訳は、講演が話し言葉であ るため文単位が曖昧であり、また学習に使用するパ ラレルデータが少ないという問題があり、100 万ぺ アある ASPEC のような書き言葉の翻訳と比べて格段に難しい $[2,3]$ 。TED 講演の英日翻訳に関しては、 IWSLT のワークショップで、2021 年には英日の瞬時テキスト翻訳が、2022 年には英日の瞬時音声翻訳 がタスクに加えられている[4,5]。Fukuda らは、 Transformer の学習に TED の英日 22 万文のパラレル コーパス以外に、WMT20 news の 1800 万文ペアを 用いて、IWSLT2021 Devセットに対してテキスト入力のオフライン翻訳で 16.8、瞬時翻訳で 15.6 の BLEU 値を得ている[6]。瞬時翻訳は、オフライン翻訳に比べて BLEU 值で 10\% 20\%程度低下する。ま た、音声入力の音声翻訳は、音声認識性能に大きく 依存するが、テキスト翻訳に比べて、BLEU 値で $10 \%$ ～20\%低下寸る $[4,5]$ 。

パラレルデータ不足を補うために単言語コーパス によるデータ拡張手法がある[7]。これは、単言語コ 一パスを翻訳することで疑似的なパラレルコーパス を作成し、ベースとなるパラレルコーパスと混合し て学習に用いる手法である。山岸らは、本手法の単言語コーパスとして、日本語話し言葉コーパス CSJ の学会講演の書き起こしを使用した[8]。本研究では、 TED の英語-スペイン語のパラレルーパスの英語側 の単言語と CSJ の日本語単言語の模擬講演コーパス を使用する。

同じく山岸らは、Fukuda らと同様に、ドメインの 異なる大規模パラレルコーパスを用いた転移学習を TED 翻訳に適用した $[8]$ 。具体的には、IWSLT2010の TED のテストデータに対して、書き言葉の 100 万文英日ペアの ASPEC や字幕データの 280 万文ぺアの JESC からの転移学習で、それぞれ $14.19,15.47$ の BLEU 値を得ている $[7,9]$ 。本研究でもこの手法を利用する。

低リソース言語のモデルの学習手法として、マル チリンガル学習がある[10]。この手法は、多言語のパ ラレルデータで多言語翻訳モデルを学習し、エンコ 一ダの出力である表現を汎用的な意味空間に写像す るものと考えられ、小規模のパラレルデータでこの モデルを適応学習する方法である。この類似な方法 として、双方向翻訳モデルが提案されている $[11]$ 。こ れは、対訳コーパスからソースとターゲットを順逆両方向の 2 つのパラレルデータを構築して、順逆両方向の翻訳モデルを共通なモデルとして学習する。 Thanh らは、TED 講演の英語-ベトナム語の双方向翻訳に適用し、有効性を示している[12]。本研究ではパ

ラレルコーパスの規模とこの手法の有効性との関係 を明らかにする。最後に TED 講演の翻訳の困難さを BLEUと人手による評価で検討する。

## 2 翻訳モデル

## 2.1 LSTM モデル [13]

LSTM(Long-short Term Memory)はある入力単語シ 一ケンス $\left.\{\mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{\mathrm{i}}\right.\}$ から別の出力単語シーケンス $\left.\{\mathrm{y}_{1}, \mathrm{y}_{2}, \ldots \mathrm{y}_{\mathrm{j}}\right.\}$ に変換するリカレントネットワークによ る sequence-to-sequence モデルである。エンコーダと デコーダはLSTM によって構成される。LSTM とは 再帰型ニューラルネットワーク $(\mathrm{RNN})$ の一種で時系列データも考慮したモデルである。LSTM は忘却ゲ 一ト、入力ゲート、出力ゲートによって RNN で発生 する勾配消失問題の改善を行っている。

本研究ではLSTM モデルの翻訳モデルとして 1 層 の双方向の LSTM をエンコーダ、 1 層の単方向の LSTM をデコーダに利用する。またエンコーダの出力の全体ではなく一部に注目する注意機構を用いた。

## 2.2 Transformer モデル [14]

Transformer モデルは再帰型ニューラルネットワ ークの様に時系列データを用いて学習を行う。出力 を求める際は RNN ではなくセルフアテンション機構を用いる。エンコーダは同じ構成のエンコーダの 積み重ねによって構成されており、それらのエンコ ーダはセルフアテンションとフィードフォワードネ ットワーク(FFNN)により構成される。デコーダも同 じ構成のデコーダが積み重ねられている。一つのデ コーダはセルフアテンションと FFNN に加えてその 間に注意機構が入っている。標準モデルはエンコー ダ 6 層、デコーダ 6 層であるが、最適な数は学習デ 一夕量に依存する。IWSLT の 22 万文ぺアの英日パ ラレルコーパスで 20 epoch 学習した場合は、 6 層-6 層で $0.80,5$ 層-5 層で $1.94,4$ 層-4 層で $10.36,3$ 層-4 層で 13.66, 3 層-3 層で 13.22 の BLEU 値であった。本研究ではエンコーダとデコーダは 3 層とした。

## 2.3 単方向翻訳モデルと双方向翻訳モデル

単方向翻訳モデルの場合は、原言語と目的言語の ペアで学習することで翻訳モデルを作成する。双方向翻訳モデルの場合は原言語と目的言語のぺアとそ れを入れ替えた目的言語と原言語のペアから成るデ ータセットによって学習する。一つの共通モデルで英日、日英翻訳を実現する。

## 3 翻訳モデルの改善

## 3.1 データ拡張

本実験で使用する TED 講演のIWSLT (International Workshop on Spoken Language Translation )のコーパスには英語と日本語の対訳コ 一パスが少ないため、英語または日本語の単言語コ ーパスをベースモデル $\mathrm{g}$ で翻訳することで英語と日本語の疑似対訳コーパスを作成し、翻訳モデル学習 の追加の学習データとすることでデータ拡張を行う。 データ拡張には IWSLT2018 英語-スペイン語ペアの 英語側コーパスと CSJ(Corpus of Spontaneous Japanese )日本語コーパスの模擬講演を用いた。

## 3.2 ASPEC(書き言葉)からの転移学習

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより単方向翻訳モ デル、双方向翻訳モデルを学習し、そのパラメータ を初期値として IWSLT 及びデータ拡張したデータ セットで翻訳モデルを学習する。なお、ASPEC コー パスによる翻訳モデル学習の際には、TED 語彙ファ イルに合わせて学習を行った。

## 4 翻訳実験

## 4.1 使用するデータ

本研究では IWSLT2016 英日対訳コーパスを使用 した。単言語コーパスとして IWSLT2018 英語-スペ イン語ペアの英語側と日本語の単言語コーパスであ るCSJ をデータ拡張に用いた。表 1 に学習文数、開発文数、テスト文数を示す。

## 4.2 各翻訳モデルの仕様

LSTM モデルの学習には OpenNMT[15]Ver. 0.7.0 を使用した。エンコーダは 1 層の双方向 LSTM、デ コーダは 1 層の単方向 LSTM を使用した。LSTM の 隠れ層の次元数と単語分散表現の次元数は 1024 と した。学習の最適化はSGD、学習率はファインチュ ーニング時は 0.01562 、それ以外は 1.0 、学習 step 数 はファインチューニング時は開発データで一番性能 が良かった step 数を選び、それ以外は単方向翻訳モ デルでは 80000 、双方向翻訳モデルでは 100000 とし た。
表 2: TED 講演の翻訳実験結果(BLEU)（無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル）

} & ベースライン & $9.52^{*}$ & 9.94* & $14.42 *$ & $14.10^{*}$ \\

表 1: 使用データセット

 &  &  &  \\

(日本語 $)$ & 21,9229 & & \\

(2 分野 $)$ & (2 分野 $)$ & (24 分野 $)$ \\

バッチサイズは 64 で epoch 数に換算すると単方向 のベースラインは約 23epoch である。語彙サイズは ソース・ターゲットそれぞれ 50000 語とした。

Transformer モデルの学習には fairseq[16]Ver.0.12.2 を使用した。エンコーダとデコーダの層数はそれぞ れ 3 層、単語分散表現の次元数は 1024 とした。学習 の最適化は Adam、学習率は 0.0005、学習 epoch 数 は 20 まで学習した。

## 4.3 評価方法

翻訳モデルの性能評価には BLEU を用いる。本研究では 4-gram までの値を計算し、翻訳モデルの評価 に使用した。また、LSTM モデルについては一部を 除いてランダム初期値のため、5つのモデルを学習 して BLEU 値の平均を求めた。

TED の日本語訳を用いた参照訳は直訳ではなく 意訳が多く、機械による訳と相当異なる結果になる。 そこで、翻訳業者 $\mathrm{A}$ と B 依頼して、新たな参照文 として使用し、比較する。

## 5 翻訳実験結果

## 5.1 翻訳モデルの比較

LSTM と Transformer による各翻訳モデルの主な 評価結果を表 2 に示す(詳細な結果は付録に示す)。 LSTM と Transformer を比べると全体で Transformer の方が BLEU 値で 3 程度性能が良い結果となった。

## 5.2 単方向翻訳モデルと双方向翻訳モデル

LSTM モデルではベースラインから双方向翻訳モ デルにすることによって BLEU 值が+1.17 改善され た。Transformer モデルでは単方向翻訳モデルと双方向翻訳モデルを比較すると BLEU 値の差はあまりな かった。単方向翻訳モデルと双方向翻訳モデルの優劣は学習データ量に依存するかを調べるために ASPEC で評価した。表 3 に結果を示す。Transformer ではすべての場合で単方向翻訳モデルが良かったが、 LSTM モデルにおいて 100 万文では単方向翻訳モデ ルが良く、50万文では同等、 25 万文の場合は双方向翻訳モデルが性能を上回った。

表 3: ASPEC による単方向、双方向翻訳モデル の翻訳結果

## 5.3 単言語データからのデータ拡張

## 一 英語コーパス 対 日本語コーパス 一

(a)英日翻訳

表 2 の「英日翻訳」欄に各モデルの英日翻訳結果

を示す。LSTM モデルの単方向翻訳モデルではデー 夕拡張を行うことでベースラインから BLEU 值が改善されることが分かる。IWSLT2018 と CSJによるデ 一夕拡張を比較すると、CSJ によるデータ拡張の方 が良くなった。双方向翻訳モデルの場合は、CSJ よ りも IWSLT2018 によるデータ拡張の万が良い結果 となった。Transformer モデルでは双方向翻訳モデル +IWSLT2018 によるデータ拡張で BLEU 值が向上し た。

データ拡張による学習後、元の英日コーパス (英日翻訳用）もしくは日英コーパス（日英翻訳用）で ファインチューニングをすると、LSTM モデルでも Transformer モデルでも IWSLT2018 によるデータ拡張をしたモデルで改善が見られた。

(b) 日英翻訳

表 2 の「日英翻訳」欄に各モデルの日英翻訳結果 を示す。LSTM の双方向翻訳モデルでは IWSLT2018 のデータ拡張により多くの場合でBLEU 値が改善さ れた。一方、CSJ によるデータ拡張ではあまり改善 が見られなかった。Transformer モデルの双方向翻訳 モデルでは IWSLT2018 によるデータ拡張で BLEU 値が改善された。

ファインチューニングをすると、英日翻訳の結果 と同じ傾向で LSTM モデルでも Transformer モデル でも IWSLT2018 によるデータ拡張をしたモデルで 改善が見られた。

## 5.4 ASPEC モデルからの転移学習

表 2 に示すように ASPEC モデルからの転移学習で、 LSTM でも Transformer モデルでも多くの場合で BLEU 值が改善された。データ拡張と fine tuning に より日英翻訳で 15.02 の BLEU 値が得られた。

## 5.5 人手による評価

(a) 二つの翻訳業者 A, Bによって翻訳されたIWSLT の 12 講演のうち 3 講演のテスト文 254 文を参照文 とした場合と IWSLT2016 (TED) 参照文と比較した。 また、TED 参照文に翻訳業者 $\mathrm{A}, \mathrm{B}$ の翻訳文を加えた マルチリファレンスとした結果を表 5 示す。翻訳業者同士の比較でも BLEU 值は低い。特に翻訳業者A の BLEU 值が低い。マルチリファレンスでの BLEU 値は 24.03 と大きく改善した。TEDの翻訳は人間で も摇れが大きい。TED 参照文は意訳であり、機械翻訳に対するターゲットとしては必ずしも適切とは言 えない。IWSLT2021では、直訳に近い参照文でも評価され、BLEU スコアが $10 \% \sim 20 \%$ 向上、 2 つマ ルチリファレンスだと $50 \%$ 以上向上している[4]。我々の場合は、 3 つのマルチリファレンスで $100 \%$ 以上向上した。

(b) 二つの翻訳業者による翻訳文と Transformer モデ ル (CSJ によるデータ拡張+ASPEC による転移学習 をした単方向翻訳モデル) による機械翻訳結果を, T $\mathrm{ED}$ 参照文と比較して男女 2 名 (C, D) の人手によっ て 1 文ずつ 5 点満点で評価した結果を表 6 に示す。評価基準を以下に示す。

5: TED 参照文の意味と同じ意味である。

4: TED 参照文の意味と概ね同じ意味である。

3: TED:参照文の意味と大まかには似ており、意図はほぼ通じる。

2: TED 参照文の意味と一部やや外れている。

1 TED:参照文の意味とかなり離れていて、意図 は正しく伝わらない。

結果は、翻訳業者 $\mathrm{B}>$ 翻訳業者 $\mathrm{A}>$ Transformer と、表 4 の BLEU 值と同じ傾向であり、BLEU 值と 人手による評価は相関があると思われる。

表 5: 人手による翻訳との比較（TED 3 講演）

 & 24.03 \\

表 6: 人手による TED 参照文と翻訳結果の比較

## 6 まとめ

本研究では、 22 万文ぺアと小規模データでは双方向翻訳モデルが単方向翻訳モデルよりも翻訳性能が 向上した。データ拡張やファインチューニング、転移学習を組み合わせるとさらに翻訳性能が向上した。 ただし、Transformer のベースラインの性能が高く、 Transformerに対する改善効果は比較的小さい。最良 モデルの英日で 15.02 , 日英で 15.49 の BLEU 值が得 られた。

## 謝辞

本研究は、豊橋技術科学大学の秋葉友良准教授お よび秋葉研究室の学生諸君にご協力をいただいた。 また、JSPS 科研費 18 H01062 の研究助成を受けた。

## 参考文献

[1] 後藤 統興, 山本 一公, 中川 聖一：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討，言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[2] 佐橋 広也, 秋葉 友良, 中川 聖一：科学技術論文抄録と講義の英日機械翻訳のリスコアリ ングの検討，言語処理学会第 25 回年次大会、 pp. 1165-1168, 2019.

[3] 松永凌：トピック分散表現と逆翻訳によるデ 一タ拡張を用いた英日機械翻訳，中部大学卒業論文, 2022

[4] Antonios Anastasopoulos, Ondřej Bojar, et.al: Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[5] Antonios Anastasopoulos, Loïc Barrault, et.al: Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[6] Ryo Fukuda, et al.: NAIST English-to-Japanese simultaneous translation system for IWSLT 2021 simultaneous text-to-text task, Proc. IWSLT-2021, pp. 39-45, 2021.

[7] Rico Sennrich, Barry Haddow, Alexandra Birch: Improving neural machine translation models with monolingual data, Proc. ACL, pp. 86-96, 2016.

[8] 山岸 勇輝, 秋葉 友良, 塚田 元 : 逆翻訳を用 いたデータ拡張と転移学習を利用した英日講演字幕翻訳の改善, 言語処理学会第 26 回全国大会, pp.1277-1280, 2020.

[9] 山岸 勇輝, 秋葉 勇輝, 塚田 元: 入力側単言語資源と転移学習を利用による講演字幕を対象とした英日ニューラル機械翻訳の改善，言語処理学会第 28 回全国大会, pp.1317-1321, 2022.

[10] Raj Dabre, Chenhui Chu, Anoop Kunchukuttan: A survey of multilingual neural machine translation, ACM Computer Surveys, vol.53, no.3, 2020.

[11] Liang Ding,Di Wu, Dachen Tao: Improving neural machine translation by bidirectional training, arXiv:2109.07780, 2021.

[12] Bui Tuan Thanh, 秋葉 友良, 塚田 元: 双方向翻訳モデルと反復逆翻訳を用いた低資源言語 に対するニューラル機械翻訳の性能向上, 言語処理学会第 28 回全国大会, pp. 1756-1760, 2022.

[13] Ilya Sutskever, Oriol Vinyals, Quoc V. Le: Sequence to sequence learning with neural networks, Advances in Neural Information Processing Systems (NIPS 2014), 27, 2014.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob, Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin: Attention is all you need. Conference on Neural Information Processing Systems (NIPS2017), 30, 2017.

[15] Open Source Neural Machine Translation in PyTorch, 2023 年 1 月 12 日, https://github.com/OpenNMT/OpenNMT-py.

[16] Facebook AI Research Sequence-to-Sequence Toolkit written in Python, 2023 年 1 月 12 日, https://github.com/facebookresearch/fairseq.
付録 A: TED 講演の翻訳実験結果 (BLEU) (無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル)

} & \multirow{2}{*}{ 使用データセット } & \multicolumn{2}{|c|}{ LSTM } & \multicolumn{2}{|c|}{ Transformer } \\

付録 B：翻訳例

 \\


 足立十一郎山本一公 中川聖一 中部大学 工学部 情報工学科 }  \{ep19002-1545@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu. ac. jp 