# 低リソース「日本語対応手話-日本語」対訳コーパスによる 助詞挿入と語尾活用に注目したパイプライン手話翻訳

矢野 憲
電気通信大学
yanoken@uec.ac.jp
}

内海 彰
電気通信大学
utsumi@uec.ac.jp

## 1 はじめに

手話は手指動作と被手指動作 (NMS,non-manual signals)を同時に使う視覚言語で，音声言語になら ぶ固有の文法を持った言語である [1][2][3][4][5]. 日本ではろう者同士, またはろう者と聴者の間で生ま れ広がった日本手話 (Japanese Sign Language, JSL) の ほか, 日本語と手話の語をほぼ一対一に対応させた 日本語対応手話, その両者の中間的な表現等が使わ れるが，実際には日本手話と日本語対応手話との区別は曖昧であるとされる. 手話の特徴として, 話言葉における自立語同士の関係性を示す付属語に相当 する語が手指動作に現れない傾向がある [1][2][6].例えば手話では質問・疑問を意味する終助詞「か」 などの例外を除いて, 話言葉の助詞に相当する語は 表現されないことが多い. また日本語では動詞, 助動詞, 形容詞は語の働きの違いにより語尾が活用す るが，手話では一般的にそのような語形の変化が見 られないという特徴がある.このような言語的な違 いに注目して日本語から手話への機械翻訳の既存研究 ([7],[8] 等) は存在するが, 手話から日本語への既存研究は存在しない. 従って, 本研究では助詞の挿入, 語尾活用に注目した日本語対応手話から日本語 への機械翻訳の手法を提案した。

手話を話言葉へ翻訳するタスクでは，通常手話動画から連続する手話動作を認識し中間的な表現に 変換後, その中間表現を話言葉に翻訳するという 2 段階で行われる [9][10][11][12].この中間表現は一般的に gloss（グロス）と呼ばれる. 手話を認識する 問題はこれまでに Computer Vision の分野で活発に 取り組まれてきたが, 本研究では特に手話認識後の gloss 系列から日本語へ翻訳するタスクに取り組み,少量の手話-日本語対訳データからでも精度の高い 翻訳結果を得るパイプラインによる翻訳手法を提案

## した. 実験の結果, 提案手法の有効性を確認した。

## 2 対訳コーパス

## 2.1 日本語対応手話-日本語対訳コーパス

自動機械翻訳の目的で構築された大規模な日本手話または日本語対応手話と日本語の対訳コーパスは 存在しない.このため, 本研究では筆者らが現在取 り組んでいる共同研究で使用している対訳コーパス を用いた。本コーパスには手話の gloss による中間表現と対応する日本語対訳が 1086 件存在する. 本 コーパスの内訳として手話の gloss に含まれる gloss 数が約 $7.5 \mathrm{~K}$, 語彙数が 655 , 語に分割後の日本語対訳に含まれる語数が約 $11 \mathrm{~K}$, 語彙数が $1.2 \mathrm{~K}$ である.本コーパスの特徴として, gloss は $g N(\mathrm{~N}$ は任意の数字列）のように記号表記されていることである. 本 コーパスでは記号表記された gloss と対応する日本語は別に辞書として定義している.これは，一つの gloss が複数の日本語へ対応しているためである.参考までに，表 1 に対訳コーパスに含まれる対訳例, 表 2 に該当する gloss の辞書定義の例を示した。

なお， ドイツ手話 (DGS) やアメリカ手話 (ASL)の 対訳コーパスでは, 辞書を用いずに gloss が意味す る話言葉おける単語を大文字 (capital letters) で表現 していることが多い [10],[6].

表 1 手話 gloss-日本語対訳例

表 2 gloss 辞書定義の例

## 2.2 日本語コーパス

本研究では, 手話と日本語との対訳コーパスの他 に, 現代日本語書き言葉均衡コーパス (BCCWJ) か ら生成した擬似日本語対訳コーパスを用いた。これ は対訳コーパスではサンプル数が十分でないため に, データ駆動による深層学習を用いた機械翻訳手法を適用することが困難なためである. 本研究で用 いた日本語対応手話-日本語対訳コーパスは, 会話 における話言葉が中心であるため，そこに現れる文末のパターン ( か?,〜しました,〜ほしいです,〜 います,〜します,～希望する, 等) で BCCWJ コーパ スの検索を行い該当する約 20 万の文を選択した。選択された日本語コーパスは助詞の挿入や, 語の語尾活用を行う機械学習モデルの教師データとして用 いた. 詳細については 4 . モデルの学習で述べる.

## 3 翻訳手法

## 定義

$\mathscr{G}$ は長さ $\mathrm{N} の$ gloss 系列 $\mathscr{G}=\left(g_{1}, \ldots, g_{N}\right)$ を示し， $\delta$ は長さ $\mathrm{U}$ の日本語列 $\mathcal{S}=\left(w_{1}, \ldots, w_{U}\right)$ を示す. $\delta$ に対してさらに助詞, 語尾活用を示す 2 つの添字 $P P$ と $C$ を定義し, それぞれの添字の前の + と - で 助詞の挿入, 語尾活用が適用されているか否かを示 す. 例えば $\delta_{-P P-C}$ は助詞がなく, 語の活用形を基本形にした日本語列を示し, $\delta_{+P P+C}$ は助詞の挿入,語尾活用後の日本語列を示す.

## アルゴリズム

提案する gloss 系列から日本語への翻訳アルゴリ ズムを Algorithm 1 に以下に示した.

各 Step で行う処理を以下で説明する。
- Step 0: 統計的機械翻訳の手法を用いて gloss 系列を対応する日本語列へ変換する.
- Step 1: seq2seq 機械翻訳モデル (m1)を用いて Step 0 で得られた日本語列に対して助詞を挿入 する.
- Step 2: seq2seq 機械翻訳モデル (m2)を用いて Step 1 で得られた日本語列に対して活用による 語尾活用を行う。

-Step 3: Step 2 で得られた日本語列から助詞を削除する.
- Step 4: seq2seq 機械翻訳モデル (m3)を用いて Step 3 で得られた日本語列に対して助詞を插入

する.
- Step 5: Step 4 で得られた日本語列から語尾活用 された語を基本形に変換する。

Step 1 では語の活用形を基本形にした日本語列への 助詞の挿入に対して, Step 4 では語尾活用後の日本語列への助詞の挿入の違いがある. 表 3 に表 1 で示 した例のパイプラインによる翻訳例を示す.

表 3 パイプラインによる翻訳例

## 4 モデルの学習

翻訳アルゴリズムで用いたモデルの学習方法につ いて説明する.

## 4.1 統計的機械翻訳モデル

翻訳アルゴリズムの Step 0 には統計的機械翻訳 (SMT)[13] を用いた。学習は, 対訳コーパスを用い て行ったが, 目的言語である日本語は $\mathrm{MeCab}^{1}$ によよ る形態素解析の結果から助詞を削除し, 語尾活用の ある語については, 基本形に変換する前処理を行 なった。目的言語の言語モデルとしては， 3-gramの Kneser-Ney smoothing を用いた。なお, 学習データに gloss 辞書の定義を追加の対訳データとして含めた. これはコーパスサイズが少ないため学習データに一度しか現れない gloss が多く存在するためである.

1) https://pypi.org/project/mecab-python3/

## 4.2 seq2seq 機械翻訳モデル

翻訳アルゴリズムの Step 1 における機械翻訳モデ ル (m1)には, Transformer[14]による seq2seq 翻訳モ デル [15]を用いた。対訳コーパスは日本語コーパス に含まれる文から, 原言語, 目的言語を以下のよう にして作成した。
- 原言語:原文の形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に 変換

-目的言語:原文の形態素解析の結果から語尾活用のある語については，基本形に変換

これは単言語コーパスから $\delta_{-P P-C}$ から $\delta_{+P P-C} へ$翻訳する擬似的な対訳コーパスを生成することを意味する. seq2seq のハイパーパラメータについては,事前実験より以下のように定めた: encoder， decoder の embed サイズ:512, FFN のユニット数:2048, layer 数:6, attention head 数:8. また encoderの入力, decoder の出力には tied-embedding を使用した. Optimizerに は Adam を使用し, 学習率は初期値 5e-4 で更新回数 の逆平方根に基づき減衰させた。作成した対訳コー パスを 8:1:1 の割合で, train,dev,test データセットに 分割し, devによる性能が一番高いパラメータで評価を行った。

翻訳アルゴリズムの Step 2 における機械翻訳モデ ル (m2), Step 4 における機械翻訳モデル (m3) は同様 に Transformer ベースの se2seq を用いたが，擬似対訳コーパスの生成方法のみが異なる. 予備実験の結果から得られたパラメータと学習方法は機械翻訳モ デル (m1) と同様であるため詳細は割愛する.

## 5 実験と結果

対訳コーパスからランダムに 10 個の対訳データ をテストに選び, 残りを学習データとして, 統計的機械翻訳モデルを再学習したモデルで翻訳を行う 実験を 100 回繰り返し，その結果得られた 1000 個 の翻訳と，参照訳とで翻訳性能の評価を行った。な お, seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ については，す べての実験で事前に学習済みのパラメータを使用 し，ビームサイズ 5 でデコードを行なった.

比較するベースラインモデルとして以下の 4 つの モデルと, Yin et al. [12] が提案している end-to-end 手話機械翻訳モデル G2T (Gloss to Text) との比較実験を行った. Algorithm 1 で示した提案手法は
SMT+Iterative_seq2seqとした.

・naive: gloss 辞書を用いて, gloss を日本語へ置 き換えることで翻訳を行うモデル．辞書に複数 の日本語が定義されている場合, 一番最初の語 を選択する。

-SMT: 統計的機械翻訳モデルで $\mathscr{G}$ から直接 $S_{+P P+C}$ へ翻訳を行うモデル.

-SMT+1step_seq2seq: Step 1, Step 2 の seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2)$ で行っている $\delta_{-P P-C}$ から $\mathcal{S}_{+P P+C}$ への翻訳を一つの seq 2 seq で翻訳を行 い，逐次的に翻訳結果の更新を行わないモ デル.

-SMT+2step_seq2seq: Step 0 から Step 2 までの処理を行い，逐次的に翻訳結果の更新を行わない モデル.

G2T[12] はドイツ手話またはアメリカ手話のサイ ズの大きい対訳コーパス [10],[6] を使用している 為, 予備実験において日本語対応手話-日本語の対訳 コーパスを用いて，ハイパーパラメータ検索を行い $\operatorname{dev}$ セットにおいて一番性能が良かった以下のパラ メータを用いて実験を行った。 embed サイズ:256, FFN の embed サイズ:1024, layer 数:1, attention head 数:4 (encoder, decoder 共通)

性能評価は，BLEU1/2/3/4个[16], METEOR $\uparrow[17]$, WER(Word Error Rate)】を用いた. 結果を表 4 に示 す. 結果より，gloss 辞書により単純に gloss を日本語へ置き換える翻訳手法では，文法的に正しい日本語にならず低い性能を示す. G2T の性能はいずれ の指標においてもSMT の結果よりも低い值を示し た. 手話言語の違いもあるが，低リソースの場合, seq2seq モデルでは SMT の性能を超えることが困難 であることを示している. SMT と seq2seqによるパ イプラインモデルでは, SMT の性能から大幅に性能 を向上している。これは日本語コーパスから作成し た擬似対訳コーパスで学習された seq2seq モデルが,手話翻訳における助詞の挿入, 語尾活用に非常に有効であることを示している. 更に表 5 に SMT とパ イプライン翻訳モデルの BLEU3, BLEU4 スコア值に よる t-test 検定の結果を示した。

表 5 からパイプラインモデルが SMT よりも有意に性能が高いことがわかる. SMT+1step_seq2seq と SMT+2step_seq2seq とでは有意な差はなかった が，提案手法である SMT+Iteraive_seq2seq は BLEU3 において SMT+1step_seq2seq, SMT+2step_seq2seq 共
表 4 各モデルの翻訳性能の結果 (BLEU1/2/3/4个, METEOR $\uparrow, W E R \downarrow)$

表 5 SMT, SMT+1step_seq2seq, SMT+2step_seq2seq, SMT+Iterative_seq2seq の BLEU3, BLEU4 スコア值による t-test 検定 の結果. 数値は $\mathrm{p}$-value を示す. *は $\mathrm{p}$-value が<0.05, **は $\mathrm{p}$-value が<0.01 を示す.

表 6 SMT+Iterative_seq2seqにより翻訳結果を得るまでに 行ったループ処理の回数とその頻度

に，また BLEU4 については SMT+1step_seq2seq と で有意な差を認めた。このことから, 助詞の挿入 と語尾活用の推測には相互依存性があり逐次的 に双方を修正する SMT+Iteraive_seq2seq は翻訳精度 を高める上で有効な手法であると判断できる. 次 に，SMT+Iteraive_seq2seqによる翻訳が Algorithm 1 の何回目のループで収束したかを調査した. 結果 を表 6 に示す. 表 6 より約 $72 \%$ の結果については， ループ処理の回数が 1 であったことを示す.これは Algorithm 1 の Step 1 の語尾活用前の日本語列に対す る助詞の推定と最初のループ処理での Step 4 におけ る語尾活用後の助詞の推定が同じであったことを 示している. また約 $26 \%$ の結果については 2 回目の ループ処理で結果が収束しており, これは語尾活用前の助詞の推定が最初の Step 4 における語尾活用後 の助詞の推定で修正されたことを示している.ルー プ回数が 4 以上のものは, hallucination[18] エラーが あった場合で, その場合, 出力語列を切り詰めて出力するようにした.

付録の表 7 に各モデルが出力する翻訳例を表 8 に 翻訳元となる gloss の辞書定義を示した. SMT, G2T
の翻訳には文法的な誤りを多く含むことが確認で きる. $\delta_{+P P+C}(1), \delta_{+P P+C}(2)$ は SMT+Iteraive_seq 2 seq のループ処理における 1 回目，2 回目の翻訳結果 である. $S_{+P P+C}(1)$ で見られる助詞挿入の誤りが $S_{+P P+C}(2)$ では修正されていることがわかる. なお,表 7 の最後の例のように助詞推定の曖昧性 (「で」 または「の」) が発生するケースもある.この対策 として, 非手指動作 (NMS) を gloss の付属情報とし て用いることや，会話の文脈情報をモデルに組み込 んで判断することが考えられるが，今後の課題とし たい.

## 6 まとめ

本研究では, SMTにより少量の対訳コーパスを用 いて gloss を対応する日本語へマッピングする翻訳 モデルと大量の日本語コーパスから得られた擬似対訳データにより学習した助詞の挿入を行う seq 2 seq 翻訳モデルと語尾活用を行う seq $2 \mathrm{seq}$ 翻訳モデルを パイプラインで繋いだ手話から日本語への機械翻訳手法について提案した。実験結果より，SMTのみを 用いた場合に比べ BLEU3/4による翻訳性能がそれ ぞれ+4.3/+4.9 向上することを確認した.

## 謝辞

本研究は, 電気通信大学とソフトバンク株式会社 との「聴覚障害者と健聴者を繋ぐ相互コミュニケー ションシステムに関する研究開発」の支援により実施された。

## 参考文献

[1]岡典栄, 赤堀仁美. 日本手話のしくみ. 大修館書店, 2011 .

[2]松岡和美. 日本手話で学ぶ手話言語学の基礎. くろしお 出版, 2015.

[3]Kazuyuki Kanda, Akira Ichikawa, Yuji Nagashima, Yushi Kato, Mina Terauchi, Daisuke Hara, and Masanobu Sato. Notation system and statistical analysis of NMS in JSL. In Revised Papers from the International Gesture Workshop on Gesture and Sign Languages in Human-Computer Interaction, p. 181-192. Springer-Verlag, 2001.

[4]Atsuko Koizumi, Hirohiko Sagawa, and Masaru Takeuchi. An Annotated Japanese Sign Language Corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation, 2002.

[5]Mayumi Bono, Kouhei Kikuchi, Paul Cibulka, and Yutaka Osugi. A Colloquial Corpus of Japanese Sign Language: Linguistic Resources for Observing Sign Language Conversations. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 1898-1904. European Language Resources Association, 2014.

[6]Clayton Valli, Ceil Lucas, Kristin J. Mulrooney, and Miako N.P. Rankin. Linguistics of American Sign Language. Gallaudet University Press, Washington, DC, 2011.

[7]松本忠博, 池田尚志. 日本語テキストから手話テキスト への機械翻訳の試み. 自然言語処理 / 言語処理学会 編, Vol. 15, No. 1, pp. 23-51, 2008.

[8]Taro Miyazaki, Yusuke Morita, and Masanori Sano. Machine Translation from Spoken Language to Sign Language using Pre-trained Language Model as Encoder. In Proceedings of the LREC2020 9th Workshop on the Representation and Processing of Sign Languages: Sign Language Resources in the Service of the Language Community, Technological Challenges and Application Perspectives, pp. 139-144. European Language Resources Association, 2020.

[9]Mathieu De Coster, Mieke Van Herreweghe, and Joni Dambre. Sign language recognition with transformer networks. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6018-6024. European Language Resources Association, May 2020.

[10]N. C. Camgöz, S. Hadfield, O. Koller, H. Ney, and R. Bowden. Neural Sign Language Translation. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7784-7793, 2018.

[11]N. C. Camgöz, O. Koller, S. Hadfield, and R. Bowden. Sign Language Transformers: Joint End-to-End Sign Language Recognition and Translation. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1002010030, 2020.

[12]Kayo Yin and Jesse Read. Better Sign Language Translation with STMC-Transformer. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5975-5989. International Committee on Computational Linguistics, December 2020.

[13]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180,
Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. 2017.

[15]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[16]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, July 2002.

[17]Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics, June 2005.

[18]Chaojun Wang and Rico Sennrich. On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3544-3552, Online, July 2020. Association for Computational Linguistics.

## 付録

表 7 gloss 辞書により $\mathscr{G}$ を日本語単語へ置き換える naive な手法, G2T[12], 統計的機械翻訳 (SMT) と提案手法 SMT+Iteraive_seq2seq による翻訳の例． $S_{-P P-C}$ は SMT による Step 0 の出力を示し， $S_{+P P+C}(1), S_{+P P+C}(2)$ はそれぞれ seq 2 seq モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ により翻訳結果を 1,2 回更新した後の翻訳結果. いずれも更新回数 2 回で翻訳結果が収束して いる例.

表 8 表 7 で使われている gloss の辞書定義

g258 g27 g294 g307 g33 老人、おじいさん 助成、支援、補助負担安い g4 登録

g860 住宅、宿

g87 自分、自己、自

g9 か、あなた


# 時事通信社ニュースの日英対訳コーパスの構築-第 3 報

田中英輝
NHK エンジニアリングシステム
hideki.tanaka@nes.or.jp
}

美野秀弥 伊藤均 後藤功雄 山田一郎 NHK 放送技術研究所

\{mino.h-gq, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp

中澤 敏明

東京大学

nakazawa@logos.t.u-tokyo.ac.jp

川上 貴之 大嶋 聖一 朝賀 英裕
時事通信社
\{kawakami, sohsima, asaka\}@jiji.co.jp

## 1 はじめに

著者らはニュースの日英機械翻訳の研究開発の 基礎となる言語資源の構築のため, 時事通信社の ニュース記事を利用した日英対訳コーパスの開発 を進めている [1][2]. 時事通信社では, 日々日本語 の記事を作成し, 内外の報道機関に記事を提供する と共に，その一部を英訳して同様に配信している。日々の業務で生み出される日英対応記事に文アライ ンメントを適用すると文単位の対訳コーパスを構築 できる。しかし, 日英対応記事の数は日本語記事に 比べてかなり少なく, 英訳時に内容が大きく編集さ れることから [1], 自動文アラインメントだけで現在の機械翻訳システムの学習に適した大規模コーパ スを構築するのは困難である．そこで，文アライン メントに加えて，英訳を持たない日本語単独記事を 翻訳者が翻訳する手法, 日英対応記事の日本語記事 を英語に合わせて翻訳者が修正，翻訳する手法の 2 手法を加えてコーパスを開発している．以下では，過去 3 年で構築してきた 3 種類コーパスの概要を報告すると共に, 日英翻訳実験と調査によりその特徴 を明らかにする。

## 2 コーパスの概要と諸元

時事通信社の翻訳は，内容の大きな編集を伴うこ とが多いが，編集と翻訳を高精度に実現する翻訳シ ステムの実現は現時点では困難である。また，この ようなシステムが実現できたとしても, 人が修正す る下訳用途には使いにくいだろう。むしろ内容を忠実に翻訳するシステムの方が下訳にはふさわしいと考え，著者らはその実現のため，文単位で対応する コーパスを以下の 3 手法で構築した。

文アラインメントコーパス: Align 時事通信社の 日英対応記事に文アラインメントアルゴリズム [3] を適用し文単位で対応する対訳コーパスを構築し た. 本稿では文対応が 1 対 1 で，かつその類似度が 0.3 以上の文対を抽出して作成したコーパスを報告 する1). 時事通信社では日本語記事の内容を大幅に 編集して英語記事を作成するため, 文アラインメン トされた文ぺアの情報には不均衡が生ずる. 実際,表 2 の文長の相関係数は 0.599 と他の 2 種類に比べ ると低い。また，対応付けされる文は記事の一部で あり, 今回の抽出条件で $582 \mathrm{~K}$ の日英文対から抽出 された文対は $240 \mathrm{~K}$ に留まった。一方, 構築コスト は安価である。またコーパスの話題, 日英の表現ス タイルは日英対応記事と一致する。本稿ではこの コーパスを “Align”あるいは“a”と略記する。

日英翻訳コーパス: Manual 日本語単独記事の一部を抽出し, 翻訳者に文ごとに翻訳してもらいコー パスを構築した。得られたコーパスの日英の情報は 均衡しており, 実際, 文長の相関係数は 0.899 と高 かった（表 2），記事の文数，キーワードリストを利用して，翻訳されにくい記事を除外しているが，日英対応記事より広い話題を含んでいると考えられ る。翻訳にあたっては, 翻訳スタイルガイドを事前 に作成して翻訳者に提供し, 時事通信社で使う用語, 翻訳スタイルにできるだけ準拠するようにし た。作成コストは 3 手法の中で一番高い. 必要に応

1）本コーパスは昨年報告したコーパスと同じである [2]. 現在 はさらに規模の大きなコーパスを構築している.
表 1 コーパス構築の 3 手法と特徴

表 2 コーパスの諸元

じて日本語 1 文を複数の英文で翻訳することを許容 した結果，表 2 に示すように 1-1 から 1-5 の日英文対応が含まれ，この対応の 95\%が 1-1であった。本稿ではこのコーパスを “Manual” あるいは “m” と略記する。

日本語修正コーパス: Repair Align の情報の均衡性を高めるため, 日英対応記事の日本語記事を英語記事に合わせて翻訳者が修正，あるいは翻訳する手法でコーパスを作成した。得られた文長相関係数は Manual と同様 0.867 と高かった (表 2). Align 同様, コーパスの話題は日英対応記事と一致する. 英語 1 文に合うように日本語文を修正，翻訳する際，複数文にすることを許容したが，結果的に全て 1 対 1 の 文対応となった (表 2). 日本語記事の修正, 翻訳時 に固有名詞の調査が不要, 文や表現の再利用が可能 などの利点があり, 作成コストは Align と Manual の 間となった。本稿ではこのコーパスを “Repair” ある いは “ $\mathrm{r}$ ”と略記する．以上のコーパスの特徴を表 1 に，数値的な諸元を表 2 に示す.

## 3 日英翻訳実験と調査

2 節で報告した 3 種類のコーパスの効果を確認す るため Sockeye toolkit[4] による実装の Transformer[5] を使った日英翻訳実験を行った。翻訳モデル学習の 設定は以下の通りである。日英記事をそれぞれトー クナイズした後 ${ }^{2}$, 語彙サイズ $30 \mathrm{~K}$ の条件で日英同時 byte-pair encoding を実施した。学習はバッチサイ ズ 5,000トークン, 最大文長 90 トークン, 最大エ

2）日本語は KyTea[6], 英語は Moses toolkit を使った.表 3 実験データの文数

ポック数 30 , チェックポイント間隔 5,000 に設定し た。また連続して 3 回チェックポイントでのパープ レキシティ改善がなければ終了するようにした。そ の他はデフォールトの設定に従った。

自動評価には Bleu 値を使い, 同一学習デー夕か ら5つの初期值でモデルを作成し， 5 種類の翻訳結果の Bleu 値を平均を採用した。

実験に使ったコーパスの大きさを表 3 に示す. 実験用コーパスは見出しを含まない本文だけであり， Manual コーパスは, Align と Repairコーパスに合わ せるため, 日英 1 対 1 の本文を抽出して作成した。 Align の開発, 評価デー夕は日英の対応が良い文対 を翻訳者が選択して作成している.

## 3.1 学習デー夕追加効果

3 種類のコーパスの学習データを $10 \mathrm{~K}$ 文ずつ最大 サイズまで増加してモデルを学習し, 評価デー夕の 翻訳結果の Bleu 値を測定した (図 1). 評価デー夕 と学習データの種類は同一である。 3 種類のコーパ スとも学習データの増加と共に Bleu 値は上昇した。 どの Bleu もまだ飽和には達していないが Manual の Bleu の上昇幅は小さくなりつつある。

Align, Repair, Manual の Blue 值にはかなりの開 きがある。同じ日英ニュースのコーパスではある が，性質に何らかの違いがある可能性がある。そこ で，その原因を探るため以下の実験を行った。

## 3.2 学習・評価デー夕種類の交差

Align, Manual, Repair の各 173K 文 (図 1 の赤線 に相当）を使って学習した 3 種類の翻訳モデルで 前記 3 種類の評価デー夕を翻訳し Bleuを測定した (図 2).グラフを観察すると，まず， Align と Repair の評価データに対する Manual のモデルの Bleu は

図 13 種類のコーパスの学習デー夕の追加効果

表 4 異なり語の Dice 係数

低い. 一方, Manual の評価デー夕に対する Align と Repair のモデルの Bleu は低い，以上の事実は Align と Repair コーパスの性質と Manual コーパスには何 らかの違いが存在することを示唆している.

次に, Align と Repair の評価デー夕に対しては Repair のモデルが Align のモデルよりかなり大きな Bleuを達成したことが分かる. 両者の出典は日英対応記事だが, Repair コーパスは人手をかけて情報の 均衡性を高めており，高いBleu 值はその効果の現 れだと推察できる。

## 3.3 語彙の類似性と語の平均出現数の調査

Manual, Align, Repairの学習デー夕に含まれる語彙の類似性を調査した。それぞれのトークナイズ された学習データから（Repair のほぼ全数である） 195K 文を取り出し，異なり語の Dice 係数を計算し た（表 4）。Dice 係数を見ると日英とも Align-Manual と Repair-Manual はほぼ同じだが, Align-Repair の Dice 係数はこれらより大きい. つまり Manual コー パスと Align, Repairコーパスには語の分布の差, す なわち話題の差があることが分かった。

図 23 種類のコーパスの交差評価

表 5 語の平均出現数

次に語の平均出現数（token-type ratio）を計算した (表 5). Manual の語の平均出現数は日英とも Align, Repair よりかなり小さく, データがより希薄である ことが分かる.これは Manual コーパスは Align や Repairに比べて広い話題を扱っていることの証左と も言える. 図 1 で Repair コーパスに比べて Manual コーパスの Bleu が全領域で低く，また Manual コー パスではデータ追加の効果が現れにくいことが観察 されたが，その理由の 1 つは Manual コーパスの語彙の希薄性にあると思われる。

## 3.4 Manual と Repair の主観評価

図 2 に示した Manual と Repair で作成したモデル を互いに交差評価した部分（図の右から $1,2,4,5$ 番目 の棒グラフの領域，以後，評価領域と呼ぶ）の Bleu にはかなりの差が見られる。そこで，この領域につ いて特許情報機構の 5 段階の内容伝達レベルによる 主観評価を実施した [7] ${ }^{3}$ ． Repair の評価データか らは 93 文，Manual の評価データからはは 94 文の評

3）翻訳に反映されている原文の重要情報の量を 5 段階に分類 した評価基準で 1 が 20\%以下， 5 が 100\%となっている.

図 3 Manual とRepairコーパス翻訳結果の主観評価

価データを抽出し，全てを同一の２名の翻訳者で評価した。評価に当たっては誤りの一部を許容するよ うにした。例えば，時事通信社では日本語記事の日付を英語記事では曜日で翻訳する。現在の日英コー パスは基本的にこのような形になっているが，日付 の曜日への正確な変換は今回の翻訳システムには望 めない. また, 日本語記事には出現しない企業名の 証券コードが英語記事には出現する, 日本語に出現 しない記事の出典情報が英語記事の冒頭に “Tokyo, Sept. 18 (Jiji Press)”のように付与されることがある といった問題も正しく対応できない4). 以上の現象 は別処理, あるいはコーパスのクリーニングで対応 すべき現象であり，今回の評価対象から外した。一方, Bleu の評価ではこのような差異も検出される.

評価の平均値を図 3 に示す。これを図 2 の評価領域と比較する。まず， Manual の評価データに対す る性能は Bleu 值, 主観評価値とも Manual のモデル が高い. 次に，Repair の評価デー夕に着目すると， Bleu 值は Repair のモデルが Manual のモデルより圧倒的に高いが，主観評価スコアは両モデルでほぼ同等となった. 以上の傾向は 2 名の評価者とも同じで あった. Repairの評価結果を観察したところ，主観評価で許容した誤りが Bleu で問題になったケース が見られた。具体例は割愛するが，本質的に扱えな い現象を主観評価で許容したことがBleu 值と主観評価の差につながった可能性が高い. おそらく，実感的な性能は現在の Bleu 値ではなく, 主観評価値
に近いと考える。

## 4 おわりに

本稿では 3 種類のニュースの日英対訳コーパス構築の概要，および，それぞれの性質を翻訳実験，語彙調査, 翻訳結果の主観評価で調査した結果を報告 した。ニュースの日英対訳コーパス構築は 2021 年度で一旦区切りとなる。今後は，コーパスのクリー ニングや改修を加えてより詳細な評価を実施する。 さらに，本コーパスを利用した [8] などの新たな研究へ軸足を移していく。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものです.

## 参考文献

[1] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡 コーパスの構築-第 1 報. 言語処理学会第 25 回年次大会（NLP2019）発表論文集, 2019.

[2] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英対訳 コーパスの構築-第 2 報. 言語処理学会第 26 回年次大会（NLP2020）発表論文集, 2020.

[3] Masao Utiyama and Hitoshi Isahara. A Japanese-English Patent Parallel Corpus. In MT Summit XI, pp. 474-482, 2007.

[4] Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, and Matt Post. The Sockeye Neural Machine Translation Toolkit at AMTA 2018. In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 200-207, 2018.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[6] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, 2011.

[7] 特許庁情報技術統括室. 特許文献機械翻訳の品質評価手順 Ver.1.0, 2014.

[8] 美野秀弥, 衣川和克, 伊藤均, 後藤功雄, 山田一郎, 田中英輝, 川上貴之, 大嶋聖一, 朝賀英裕. 単言語デー夕を 用いた逆翻訳と順翻訳によるデータ拡張の効果の比較. 言語処理学会第 27 回年次大会（NLP2021）発表論文集, 2021.
4） Repair の英語記事には証券コードと出典が完全に記載され ているが，Manual の英語記事には一部を除いてない.


# 多言語対訳サイトの特徴分析に基づく ウェブ上の対訳データのフィルタリング*

三好健悟 $\dagger$ Yizhen Wei ${ }^{\dagger}$ 田村拓也 ${ }^{\ddagger}$ 宇津呂 武仁 $\dagger$ 永田 昌明§
†筑波大学大学院 システム情報工学研究科・群 $¥$ 筑波大学理工学群 エ学システム学類
${ }^{\S}$ NTT コミュニケーション科学基礎研究所

## 1 はじめに

近年，機械翻訳分野においては，ウェブから対訳サイ トを大量に収集し，対訳コーパスを作成する技術の研究が進められている $[3,1,5,6,10]$. しかし, 現時点 において，ウェブを情報源として対訳コーパスを作成 する技術の問題点として，収集される対訳サイト集合 の中に，自動翻訳による対訳サイトが多く含まれる点 が挙げられる．自動翻訳による対訳文対が多く含まれ る対訳コーパスは，そのままでは機械翻訳モデルの訓練・評価データとしては適さない。そのため, 収集さ れる対訳サイト集合のうち人手によって翻訳された対訳サイトのみを抽出することにより, ウェブから収集 された対訳コーパスを高品質化する必要がある.

本論文では，ウェブから収集された日英対訳文対集合である JParaCrawl V2 を対象に，その中から人手翻訳による対訳サイトを自動抽出する手法を提案する。提案手法においては, 自動翻訳された対訳サイトに特有の現象として，(1) 自動翻訳によって生成された文 の特性と，最新の言語モデル [2] に則った文の特性と を比較し, 文中における語彙の選択基準において両者 の間に差異が見られる傾向があること, および， (2) 文中の一部の固有名詞等は異なるものの, 文中の他のフ レーズが共有されるテンプレート文が多く含まれるこ と, の二種類の現象に着目する. (1) の特徴に対して は，日本語文に対して，最新の言語モデルを用いて文中の単語の生成確率を予測し, 確率一位で予測された 単語の含有率を用いるフィルタを適用することによつ て，自動翻訳による対訳サイト 1 のうちの約 8 割を除
^{*}$ Filtering Parallel Sentences collected from the Web based on Analyzing Characteristics of Translated Web Sites

${ }^{\dagger}$ Kengo Miyoshi, Yizhen Wei, Takehito Utsuro, Graduate School of Systems and Information Engineering, University of Tsukuba

${ }^{\ddagger}$ Takuya Tamura, College of Engineering Systems, University of Tsukuba

${ }^{\S}$ Masaaki Nagata, NTT Communication Science Laboratories, NTT Corporation, Japan

1 実際には, 日本語側が統計的機械翻訳 (SMT) によって翻訳さ れた対訳サイトである (3.2 節参照).
}

外できることを示す.一方，(2)の特徴に対しては，二文間の語の一致度を測る尺度である BLEU-1 [7] を用 いたフィルタを適用して自動翻訳による対訳サイトを 除外することにより，79\%の適合率および $88 \%$ の F 值 で人手翻訳による対訳サイトを同定できることを示す. さらに，本論文では，(1)の特徵に対する言語モデル フィルタ, および, (2)の特徵に対する BLEU-1 フィル タを併用して，どちらかいずれかのフィルタによって 自動翻訳による対訳サイトを除外するアプローチを用 いることにより，結果的に，人手翻訳による対訳サイ 卜の同定において 87 88\%前後の適合率・ $\mathrm{F}$ 值が達成 できることを示す.

## 2 JParaCrawl V2: ウェブから収集 された日英対訳文対集合

本論文で高品質化の対象とする JParaCrawl V2 [6] は, ウェブ空間から日本語と英語の対訳文対を収集する システムによって, NTT コミュニケーション科学基礎研究所が作成した対訳コーパスであり，一般に公開 されている².JParaCrawl V2 の日英対訳データ収集過程 $[3,5,6]$ は，以下の四段階に分けられる.

(i) ウェブ空間に存在する大規模なドメイン集合のう ち, 日本語ページおよび英語ページが含まれるド メインにおいて，各ページのテキストデータを収集する.

(ii) 収集されたドメインにおいて，対訳ページの候補 と考えられる日本語ページと英語ページ間のペー ジ間対応付けを行う。

(iii) 日英間で対応付けられたページ対において，日英対訳辞書およびBleualign [9]を用いて文対応付け を行う。

(iv) 対応付けられた全ての文対集合に対して，言語モ デルおよび句読点情報に基づいて不適切な対訳文
^{2}$ http://www.kecl.ntt.co.jp/icl/lirg/ jparacrawl/
}

図 1: URL の分布 (サイト数単位)

図 2: サイトごとの含有文数の分布 (サイト数単位)

対候補を除外するツール Bicleaner ${ }^{3} に よ り ，$ 対訳文対候補のクリーニングを行う。

本論文では，上記のように収集された日英対訳データ 集合に対して，集合内の重複文対排除を行うとともに，英語・日本語以外の言語の文を削除した ${ }^{4}$

## 3 データセット

本節では，JParaCrawl V2 内のサイト集合における URL，および，サイトごとの文数の分布に基づいて，自動翻訳によるサイトを識別・除外する手法の訓練・評価用サイト集合のデータセットを作成する.

## 3.1 サイト URL の分布

JParaCrawl V2 における URL の分布 (サイト数単位)を 図 1 に示す. さらに，JParaCrawl V2 におけるサイトご との含有文数 5 の分布 (サイト数単位) を図 2 に示す.こ こで, サイトごとの含有文数別に，サイト集合を部分集合 $A(1 \sim 99$ 文対), $B(100 \sim 999$ 文対), $C(1,000 \sim 2,999$文対), $\mathrm{D}(3,000 \sim$ 文対) に分割する. そして, これら の部分集合別に，含有文数の文数単位の分布を求めた 結果を図 3 に示す. ただし, サイト集合 D について は，人手翻訳によるサイトの割合が高いことが分かつ
^{3}$ https://github.com/bitextor/bicleaner

4 言語識別においては, polyglot を用いた.

5各サイトから収集された文のうち，JParaCrawl V2 データセッ トに含まれる文の数.
}

図 3: サイト集合 $\mathrm{A} \cdot \mathrm{B} \cdot \mathrm{C} \cdot \mathrm{D}$ ごとの含有文数の分布 (文数単位)

ている“.jp”ドメインと, “.jp”ドメイン以外とに 分けて分布を示す.

## 3.2 パラメータ調整用・評価用サイト集合

図 3 に示すように,「サイト集合 D の“.jp”ドメイン 以外」の総文数がデータセット全体の約半数を占める. そこで，この「サイト集合Dの“.jp”ドメイン以外」中のサイト集合を母集団として，本論文の手法のパラ メータ調整用として 100 サイトを無作為に選定し, 各 サイトの人手翻訳・自動翻訳の別を分析した. その結果, 図 4(a) に示すように，人手翻訳によるサイトが 68 サイト，自動翻訳によるサイトが 32 サイトとなった。 そこで，本論文では，自動翻訳によるサイトを識別・除外する手法のパラメータ調整, および, 評価の対象 を「サイト集合 D の“.jp”ドメイン以外」に設定す る. そして, 上述のパラメータ調整用 100 サイトを用 いてパラメータの調整を行う．また，パラメータ調整用 100 サイトとは別に, 評価用 100 サイトを無作為に 選定し，本論文の手法を適用し評価を行う.

パラメータ調整用 100 サイトに対して, 翻訳方向別 の人手翻訳・自動翻訳の分布, 英語文側の自動翻訳 - 英語母語サイト作成者・英語非母語サイト作成者の分布, および，日本語文側のSMT による自動翻訳・NMT に よる自動翻訳・人手によるページ作成の分布を図 4 に 示す. このうち, 本論文では, 日本語言語モデルを用 いる手法により, 自動翻訳によって生成された日本語 ページを含むサイト (図 4(c) 中の NMT の 3+15 サイ トおよび SMT の 7+5 サイトの合計 30 サイト)を除外 することを目的としてパラメータの調整を行う (4 節参照). 同様に, BLEU-1フィルタを用いたテンプレー ト文の検出手法によって, 図 4(a)に示す「自動翻訳に よるサイト」(32サイト)を排除することを目的として

(a) 翻訳方向別の人手翻訳・自動翻訳の分布

(b) 英語文側の自動翻訳・英語母語サイト作成者・英語非母語サイト作成者の分布

(c) 日本語文側の $\mathrm{SMT} \cdot \mathrm{NMT} \cdot$ 人手によるページ作成の分布

図 4: パラメータ調整用 100 サイトの分析結果

図 5: 「日本語言語モデルを用いたフィルタ」によって除外される自動翻訳文の例 (SMT による自動翻訳文. 対象： www.cots.com.cn)

パラメータの調整を行う (5 節参照).

## 4 言語モデルを用いたフィルタ

本論文では，言語モデルを用いたフィルタによって「自動翻訳による非流暢な文が多く出現するか否か」を識別し，非流暢な文を含むサイトを除外する ${ }^{6}$. 具体的に は，日本語を含む多言語言語モデルとして，大規模な 事前訓練済みニューラル言語モデルである Multilingual BERT (mBERT) [2] を用いて, GLTR [4]によって日本語文中の単語の予測確率の順位分布を求める ${ }^{78}$. そし

図 6: 英語言語モデル GPT-2 [8] による予測確率の 順位の分布の文書単位・文単位間比較 (対象: 英語版 Wikipedia 中の 5 サンプルページ)

て，パラメータ調整用 100 サイトを用いたパラメータ 最適化の結果として,「言語モデルによる予測確率が一位となる単語位置の割合の下限值 $55.0 \%$ 」満たす場合に，人手翻訳によるサイトであると判定する.
表 1: 「テンプレート文検出のための BLEU-1 フィル 夕」によって検出されるテンプレート文 (自動翻訳文) の例 (対象: droidchart.com)

 &  \\

& 不可能の電池を搭載します。 \\
\cline { 2 - 3 } &  \\
\cline { 2 - 3 } &  \\

## 5 テンプレート文検出のための

## BLEU-1 フィルタ

本論文では，テンプレート文を検出するための BLEU1 [7] フィルタによって,「自動翻訳によるサイトにお いては，原言語文・目的言語文とも，文中の一部の固有名詞等は異なるものの, 文中の他のフレーズが共有 されるテンプレート文が多く含まれる」という特徴を 検出する、テンプレート文 (自動翻訳文) の典型例を 表 1 に示す. BLEU-1フィルタにおいては, 日本語側 サイト内から無作為に選定した 1,000 文に対して形態素解析 ${ }^{9}$ 行った後，任意の二文間の単語重複率を求 め, パラメータ調整用 100 サイトを用いたパラメータ 最適化の結果として, 「二文間の BLEU- $1 \leq 70$ となる二文の割合の下限値 $98.29 \%$ を満たす場合に，人手翻訳によるサイトであると判定する.

## 6 評価

4 節，および， 5 節で述べたフィルタ 10 を用いて評価用 100 サイトの評価を行った結果を図 7 に示す.こ のうち，日本語言語モデルを用いたフィルタによって 実際に除外されたサイトの内訳 (図 8) からは, SMT によって自動翻訳された全 11 サイトのうち, 約 8 割 の9サイトが除外できたことが分かる ${ }^{11}$.また, 図 7 の結果から，人手翻訳による対訳サイトの同定の性能 は，BLEU-1 [7] を用いたフィルタを単独では 79\%の 適合率および $88 \%$ の $\mathrm{F}$ 值であるのに対して，言語モデ ルフィルタ，および，BLEU-1フィルタの併用により $87 \sim 88 \%$ 前後の適合率・F 值が達成したことが分かる.

## 7 関連研究

ウェブから収集された対訳文対対集合から高品質な対訳文対集合を抽出する手法の関連研究として，Zhang
^{9}$ IPA 辞書版 MeCab  を用いた。

10 パラメータ調整用 100 サイトにおいて，人手翻訳によるサイト 検出の再現率・適合率・ $\mathrm{F}$ 值がそれぞれ最大值付近となるように下限値等のパラメータを調整した。

 }^{11}$ NMT によって自動翻訳された全 12 サイトについては， 2 割弱 の 2 サイトしか除外できていない.

図 7: 「人手翻訳によるサイト」の同定における再現率・適合率・ $\mathrm{F}$ 值

図 8: 「日本語言語モデルを用いたフィルタ」によつ て除外されたサイトの内訳 (除外されなかった 10 件の NMT サイト，および，2 件の SMT サイトを含む)

ら [10] は, Wikipedia から収集された 104 言語の単言語コーパスを用いて事前訓練された mBERT [2] 等の 言語モデルを用いた対訳文対フィルタ手法を提案し， 1) 英独 ParaCrawl (3,700 万文対) [1]，および，2) ウェ ブから独自に収集した日中対訳文対対集合 $(2,000$ 万文対) の高品質化を行っている. Zhang ら [10] が文対 の特徴分析に基づいて高品質な対訳文対集合を収集す るのに対して，本論文では，対訳サイトを単位とする 特徴分析に基づいて高品質な対訳文集合を収集する点 で大きく異なる. また, Zhang らの手法では, mBERT 等の言語モデルを訓練するために何種類かの言語資源 を必要とする．例えば， mBERT を対訳文対フィルタ タスクに適応する際の fine-tuning においては, 高品質 な対訳文対集合が必要である ${ }^{12}$.したがって，人手を 介して整備する必要のある対訳文対の規模の点におい て，本論文の手法の方が有利であると言える。

## 8 おわりに

本論文では，JParaCrawl V2 を対象として人手翻訳に よるサイトを高性能に抽出することを目的として，言語モデルを用いたフィルタ，および，テンプレート文検出のための BLEU-1フィルタを提案し，一定以上の 適合率・F 値が達成できることを示した。

## 参考文献

[1] M. Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. Ramírez-Sánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proc. 58th ACL, pp. 4555-4567, 2020.

[2] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACLHLT, pp. 4171-4186, 2019.

[3] M. Esplà, M. Forcada, G. Ramírez-Sánchez, and H. Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proc. MT Summit XVII Volume 2: Translator, Project and User Tracks, pp. 118-119, 2019.

[4] S. Gehrmann, H. Strobelt, and A. Rush. GLTR: Statistical detection and visualization of generated text. In Proc. 57th ACL, pp. 111-116, 2019.

[5] M. Morishita, J. Suzuki, and M. Nagata. JParaCrawl: A large scale Web-based JapaneseEnglish parallel corpus. In Proc. 12th LREC, pp. 3603-3609, 2020.

[6] 森下睦, 鈴木潤, 永田昌明. JParaCrawl：大規模 Web ベース日英対訳コーパス. 言語処理学会第 26 回年次大会論文集, pp. 469-472, 2020.

[7] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu. BLEU: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002 .

[8] A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever. Language models are unsupervised multitask learners. 2019.

[9] R. Sennrich and M. Volk. Iterative, MT-based sentence alignment of parallel texts. In Proc. 18th NODALIDA, pp. 175-182, 2011.

[10] B. Zhang, A. Nagesh, and K. Knight. Parallel corpus filtering via pre-trained language models. In Proc. 58th ACL, pp. 8545-8554, 2020.


# NMT の双方向反復的教師なし適応手法における 初期対訳コーパスサイズの影響と翻訳モデル獲得に関する調査

藤澤 兼太
豊橋技術科学大学
fujisawa.kenta.tv
atut.jp
}

秋葉 友良
豊橋技術科学大学
akiba.tomoyoshi.tk
atut.jp
}

塚田元
豊橋技術科学大学
tsukada.hajime.hl
atut.jp

## 1 序論

ニューラル機械翻訳 (Neural Machine Translation) モ デルは，十分な量の対訳コーパスがあれば高い性能 を達成できるため, 近年の機械翻訳に関する研究に おいて広く用いられている。しかし，十分な量の対訳コーパスを用意することが困難な分野 (ドメイン) では，良質な翻訳モデルを学習することは難しく，機械翻訳研究における重要な課題となっている.

このような課題を解決するためのアプローチと して, 比較的構築が容易な単言語コーパスを用いた 手法が多く提案されている。単言語コーパスを用い た代表的な手法として, Sennrich ら [1] が提案した Back-Translation(逆翻訳) アプローチが広く知られて いる.この手法は, 大規模な単言語コーパスを他ド メインの対訳コーパスで予め学習しておいた翻訳モ デルにより翻訳し, その翻訳結果をソース側, 単言語コーパスをターゲット側とする当該ドメインの対訳を学習データに追加して, 高性能な逆方向の翻訳 モデルを新たに学習するという手法である. 様々な 拡張手法が提案されており, Hoang ら [2] や Zhang ら [3], 森田ら [4] は, 逆翻訳および翻訳モデルの学習を双方向かつ反復的に行うことで, 通常の逆翻訳手法よりも高い性能を示せることを報告している。以後, 本論文では森田らの手法を森田らに倣って 「双方向反復的教師なし適応手法」と呼ぶ.

双方向反復的教師なし適応手法は高い翻訳性能を 達成できることが示されているが，その性質は十分 に明らかになっていない。そこで本研究では，以下 の点に関して実験及び分析を行い，この手法の性質 をより明らかにすることを目的とする。

1. 初期対訳コーパスが小規模な場合の効果

2. 翻訳モデルの獲得に焦点を当てた評価

英日・日英翻訳を対象に実験を行い，BLEU[5] に
より評価した結果, 初期対訳コーパスのサイズが 2 万文の場合 (初期モデルでは英日は 1.41 , 日英は 2.92 の BLEU スコア) でも，ドメイン内単言語コー パス 150 万文を用いて手法を適用することで英日は 25.46(+24.05), 日英は 24.08(+21.15) まで BLEU スコ アが向上した。また, 初期対訳コーパスのサイズが 翻訳性能に与える影響を，単なる学習データサイズ の効果とは分離して，評価・分析を行った，単語再現率を用いた評価から，単言語コーパスより新たに 翻訳モデルを獲得できていることを確認した。

## 2 双方向反復的教師なし適応手法

図 1 に，2つの言語 $\mathrm{X} ， \mathrm{Y}$ 間の翻訳に関する双方向反復的教師なし適応手法の流れを示す. 図 1 にお いて， $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ はそれぞれ言語 $\mathrm{X}, \mathrm{Y}$ のドメイン内単言語コーパスを示し, $\left(\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right)$ はドメイン外対訳コーパスを示す。逆翻訳により生成されたコーパ スを $\mathrm{C}^{\prime}$ と表記すると，単言語コーパス $\mathrm{C}_{\mathrm{X}}$ とその 逆翻訳結果 $\mathrm{C}_{\mathrm{Y}}^{\prime}$ を組み合わせた疑似対訳コーパスは $\left(\mathrm{C}_{\mathrm{Y}}^{\prime}, \mathrm{C}_{\mathrm{X}}\right)$ のように表すことができる.

これらの表記方法に従い，双方向反復的教師なし 適応手法の流れを以下に記述する。

1.ドメイン外対訳コーパス $\left(\mathrm{C}_{\mathrm{X}}^{\mathrm{out}}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right)$ を用いて,初期モデルとなる Model $_{\mathrm{X} \rightarrow \mathrm{Y}} 0$, Model $_{\mathrm{Y} \rightarrow \mathrm{X}} 0$ を 学習する。

2.性能が収束するまで以下を反復する。 $(\mathrm{i} \leftarrow 0)$

2.1.単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ を Model $_{\mathrm{Y} \rightarrow \mathrm{X}} \mathrm{i}$ により翻訳し，疑似対訳コーパス $\left(\mathrm{C}_{\mathrm{X}}^{\prime}{ }_{\mathrm{in}}{ }_{\mathrm{i}}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}\right)$ を得る.疑似対訳コーパスとドメイン外対訳コーパ スを結合し，それを用いて逆方向のモデル Model $_{\mathrm{X} \rightarrow \mathrm{Y}}(\mathrm{i}+1)$ を学習する.

2.2.単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ を Model $_{\mathrm{X} \rightarrow \mathrm{Y}} \mathrm{i}$ により翻訳し，疑似対訳コーパス $\left(\mathrm{C}_{\mathrm{Y}}^{\prime}{ }_{\mathrm{i}}{ }_{\mathrm{i}}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}\right)$ を得る。疑似対訳コーパスとドメイン外対訳コーパ

図 1 双方向反復的教師なし適応手法の流れ

スを結合し，それを用いて逆方向のモデル Model $_{\mathrm{Y} \rightarrow \mathrm{X}}(\mathrm{i}+1)$ を学習する。

2.3.i $\leftarrow \mathrm{i}+1$

## 3 実験

## 3.1 実験条件

ドメイン外の対訳コーパスとして, Asian Scientific Paper Excerpt Corpus(ASPEC)[6] の英日対訳コーパス から 100 万文を用いる．対訳コーパスのサイズを 縮小する際には，データ数が多いコーパスが少な いコーパスを常に包含するという条件を保つよう にデータセットを作成する. ドメイン内の単言語 コーパスとしては, NTCIR8-PATMT コーパスから 英語, 日本語それぞれ 150 万文ずつ対訳にならない ように抽出して用いる. バリデーションセットには NTCIR8-PATMT から 2000 対を，テストセットには 同じくNTCIR8-PATMT から 899 対を用いる.

すべてのデータに対して NFKC 変換と小文字化を 適用する. 英語データに対しては Moses tokenizer[7] を用いて事前分割したあと, Sentence Piece[8]によ るサブワード化を行う. 日本語データに対しては事前分割せずに Sentence Piece によるサブワード化を 行う. Sentence Piece は BPE ベースのものを使用し，分割する語彙の上限は 8000 とする. Sentence Piece表 1 NTCIR-8 PATMT 対訳コーパスのベースライン性能 (BLEU)

のモデルの学習には， ドメイン外の対訳コーパスと ドメイン内の単言語コーパス双方の全データを用 いる.

モデルは，エンコーダを 1 層の双方向 LSTM，デ コーダを 1 層の単方向 LSTM としたものを使用し，隠れ状態の次元数は 500 とする. 最適化アルゴリズ ムには Adam を使用し，学習率を 0.001 とする。各 モデルは 10 エポックずつ学習し, 1 エポックごとの チェックポイントの中から最も accuracy が高かった モデルを採用する. モデルの翻訳精度の評価には単語単位の BLEU[5] を用いる.

## 3.2 ベースライン

NTCIR-8 PATMT(ドメイン内) のオリジナルの対訳 コーパスを用いて同様のモデル設計で学習を行い， それをベースラインとする．結果を表 1 に示す.

## 3.3 実験結果

表 2 に，双方向反復的教師なし適応手法を用いて 学習した場合の Model 0, Model 1, Model 10 の BLEU スコアを示す. 初期対訳コーパスサイズが最も大規模な 100 万文 (1M) の場合, Model 10 では英日で 34.60(Model 0 と比べて+21.08), 日英で33.41(+15.15) という BLEU スコアを得た。対訳コーパスサイズを 縮小していくと，BLEU スコアは低下していくが，手法による効果はほとんどのサイズで確認できた.対訳コーパスサイズが 2 万文の場合, Model 0 では 英日が 1.41 , 日英が 2.93 とかなり低い值であるにも 関わらず，Model 10 では英日が 25.46(+24.05), 日英 が24.08(+21.15) という BLEU スコアを得た. 1 万文 (10K) の場合は反復学習による改善が小さく, Model 10 まで学習を行っても 20K 以上の結果と比べてか なり低い BLEU スコアとなった。

表 1 と比較すると, $1 \mathrm{M}$ の結果はドメイン内の対訳コーパスを 50 万文 (500K) 用いた結果と同等の 数值である (34.60 vs. $34.97,33.41$ vs. 33.07). 3 万文 (30K) の場合は, 英日翻訳の性能はドメイン内の対訳コーパスを 10 万文 $(100 \mathrm{~K})$ 使用した結果に比べて
表 2 双方向反復的教師なし適応の効果

図 2 反復による BLEU スコアの推移 (英日翻訳)

0.87 劣っている (27.33 vs. 28.20$)$ が, 日英翻訳の性能 は 0.56 優れている (26.70 vs. 26.14).

図 2 は, 反復学習によりどのように BLEU スコア が上昇していくかを示したグラフである。対訳コー パスサイズが $20 \mathrm{~K}$ 以上の場合は反復により BLEU が上昇していくことが確認できる.

以上の結果から, 双方向反復的教師なし適応手法 は，対訳コーパスのサイズが小規模な場合において も Back-Traslation アプローチ [1](Model 1 に相当)を 大きく上回る性能を達成できることがわかった.

表 2 に示した翻訳性能は，サイズの異なる初期対訳コーパスを加えて学習したモデルの比較を行って いる. 例えば, $100 \mathrm{~K}$ の Model 10 は 100K の初期対訳 コーパスと $1.5 \mathrm{M}$ の疑似対訳コーパスの合計 $1.6 \mathrm{M}$ の 対訳コーパスを用いて学習しているのに対し， $1 \mathrm{M}$表 3 疑似対訳コーパスのみによる翻訳性能

の Model 10 は $1 \mathrm{M}$ の初期対訳コーパスと $1.5 \mathrm{M}$ の疑似対訳コーパスの合計 $2.5 \mathrm{M}$ の対訳コーパスで学習 している。従って，学習データサイズの違いもスコ アに反映されているため，純粋に初期対訳コーパス サイズの効果が比較できない。そこで， Model 10 を 学習する際, 初期対訳コーパスを除いて学習し，学習データサイズを揃えて比較する評価も行った.

具体的には, 通常の双方向反復的教師なし適応手法により Model 9 まで学習を行った後，Model 10 を 学習する際に疑似対訳コーパスのみで学習を行い, その翻訳性能を評価した。実験結果を表 3 に示す。初期対訳コーパスサイズが増えるに従い単調に翻訳性能が改善しており，初期対訳コーパスを増加す る効果が確認できる。しかし，初期対訳コーパスサ イズを 2 倍にしても BLEU の改善は+1 程度である。初期翻訳モデルのブートストラップに必要な初期 コーパスサイズ (本研究では $20 \mathrm{~K}$ 以上) が確保でき れば，初期コーパスのサイズはこの手法にとってそ れほど重要な要因ではないことがわかる.

## 3.4 翻訳モデル獲得の分析

前節の BLEU による翻訳性能の総合的な評価に加 え，翻訳モデルが初期モデルに含まれない語彙を適切に獲得できているかという視点から評価を行っ た。双方向反復的教師なし適応手法では，単言語 コーパスを繰り返し用いることになるため，ソース 側，ターゲット側ともども初期モデルにない単語を 獲得できる。しかしながら獲得された単語間の翻訳 モデルも獲得されるのか明らかではない。この疑問 を明らかにするために単語再現率を用いた分析を 行った。

## 3.4.1 単語再現率

本論文では正解文に含まれる単語がどの程度出力文に現れているかを単語再現率で評価する．単語再現率は式 1 によって計算される。
表 4 正解文データに含まれる各属性の単語数

Word_Recall $=\frac{\sum_{S \in \operatorname{Ref} s} \sum_{w \in g_{X}(S)} \operatorname{Count}_{\text {match }}(w)}{\sum_{w \in g_{X}(\operatorname{Ref} s)} \operatorname{Count}(w)}$

ここで， $S$ は正解文， Refs は正解文の集合， $w$ は 単語, $\operatorname{Count}(w)$ は正解文に含まれる単語の個数, Count $_{\text {match }}$ (word) は正解文と対応する出力文の間 で一致する単語の個数を示す. また, $g_{X}(W)$ は単語集合 $W$ からある属性 $X$ を有する単語だけを抽出す る関数である. 考慮する属性 $X$ は次節で導入する. この式では, 各文ごとに単語再現数を計算した後 に，それらの総和を正解文に含まれる全単語数で割 り，平均を計算している。

## 3.4.2 分析方法と結果

テストデータの各正解文の各単語について，ド メイン外対訳コーパスに含まれるもの (“out”と表記), ドメイン内単言語コーパスにのみ含まれるも の (“in,not out”と表記), どちらにも含まれないもの (“neither”と表記) に分類し，これらを式 1 で考慮す る属性 $X$ として単語再現率を計算する. 反復により 初期モデルに含まれない単言語コーパスの単語の翻訳モデルが獲得されるのであれば, “in,not out”に関 する単語再現率が上昇していくと考えられる.

本節では，初期モデルの対訳コーパスサイズが 5 万文の場合について実験を行った。テストデータの 正解文に含まれる各属性の単語数を表 4 に示す. こ こで，“full”は正解文データ全体を示す.

単語再現率による評価結果を図 3 と図 4 に示す. “out”の単語再現率は, “full”とほとんど同じように 推移している.これは, “out”が“full”に含まれる単語をほぼすべて含んでいるためである. “in, not out” の推移をみると, グラフの形に差はあるものの英日，日英それぞれ反復により上昇していることがわ かる. このことから, ドメイン内の単言語コーパス を繰り返し学習に用いることで，新たに単語翻訳モ デルを獲得できていると考えられる．また，どの データにも含まれていないはずの “neither”について

図 3 反復による単語再現率の推移 (英日翻訳)

図 4 反復による単語再現率の推移 (日英翻訳)

も反復による単語再現率の上昇がみられる。以上の 結果から, 双方向かつ反復的な逆翻訳により新たに 単語翻訳モデルを獲得でき，このことが性能向上に 貢献していることがわかる.

## 4 結論

本論文ではまず，ドメイン外の対訳コーパスサイ ズが小規模な場合の双方向反復的教師なし適応手法 の効果を検証した。実験の結果，対訳コーパスが 2 万文程度しかない場合でも，ドメイン内単言語コー パスが十分にあればドメイン内対訳コーパスが 10 万文存在する場合と同等の性能を達成することが確認できた。続いて，単語再現率という指標において も性能が向上していることを確認し，ドメイン内の 単言語コーパスにしか含まれていない単語の翻訳モ デルを単言語コーパスしか用いていないにもかかわ らず獲得できていることを確認した。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および 18H01062 の助成を受けた。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of
the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. CoRR, Vol. abs/1803.00353, , 2018.

[4] 知熙森田, 友良秋葉, 元塚田. 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討. Technical Report 3, 豊橋技術科学大学, 豊橋技術科学大学, 豊橋技術科学大学, dec 2018.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[6] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# Non-Autoregressive Translation モデルにおける 事前並び替え適用手法の検討

瓦祐希
大阪大学大学院情報科学研究科
kawara.yuki@ist.osaka-u.ac.jp
}

Chenhui Chu
京都大学大学院情報学研究科
chu@i.kyoto-u.ac.jp
}

荒瀬 由紀

大阪大学大学院情報科学研究科

arase@ist.osaka-u.ac.jp
## 1 はじめに

統計的機械翻訳 (SMT) において、原言語と目的言語間の語順の相違は翻訳精度に大きな影響を与える ことが知られている $[8]$ 。この問題を解決する手法 として、翻訳器に入力する前に原言語文を目的言語文の語順に近づくように並び替える事前並び替え手法が提案されてきた $[8,4]$ 。特に英語・日本語間の ように語順の大きく異なる言語対において、事前並 び替えを行うことで SMT での翻訳精度は大きく改善した $[8,4]$ 。しかし、Autoregressive Translation (AT) では、事前並び替えを行なった文をそのまま入力と して使用すると、事前並び替えを行わなかった文を 入力として使用した場合と比較して翻訳精度が低下 することが報告されている $[1,4,5]$ 。

近年では、推論時に翻訳文の全単語を一度に出力する Non-Autoregressive Translation (NAT) が提案さ れ、盛んに研究されている $[2,12,10]$ 。NAT モデル によって翻訳にかかる速度は上昇した。しかし各単語を独立に出力するため、前に出力した単語を考慮 した翻訳が出来ず、AT モデルと比較して翻訳精度 が低下するという問題点がある。また NAT モデル で翻訳を行う際は、デコーダの入力としてエンコー ダの出力をそのままの順序で使用するため、語順の 相違を考慮することが出来ない。

本研究では、NAT モデルにおける事前並び替えの 効果的な適用手法の検討を行う。事前並び替えを行 なった原言語文をエンコーダに入力する手法、エン コーダの出力を並び替える手法、エンコーダの入力 で事前並び替えの情報を使用する方法で検証を行 なった。ASPEC コーパス [9]を使用した英日翻訳実験の結果、NAT モデルでは AT モデルと異なり，事前並び替えを行なった文をそのままエンコーダに入力することで翻訳精度が向上することが明らかと なった。

## 2 関連研究

代表的な AT モデルである Transformer [13] は、 self-attentionを使用して翻訳を行うモデルである。 このモデルは推論の際に以前に出力した単語に基 づいて次の単語の予測を行うため、デコード処理の 並列化ができず、翻訳文の長さに比例した時間がか かる。そこで $\mathrm{Gu}$ ら [2] は翻訳文を一度に出力する NAT モデルを提案した。NAT モデルは AT モデルと 比較すると翻訳速度が大幅に向上したが、各単語を 独立に出力するため周辺の単語に基づいた翻訳が出来ず、翻訳精度が低下してしまうといった問題があ る。特に英語・日本語のように語順の大きく異なる 言語対の翻訳では、語順の考慮が困難である。

Shu ら [12] は潜在変数モデルによる NAT モデル (LaNMT) を提案した。目的言語文の不確かさを低次元の潜在変数によってことでモデリングし、その潜在変数に基づいて翻訳文の出力を行うことでより精度の高い翻訳を可能にしており、最高性能を達成し た翻訳手法の一つである。しかし、エンコーダの出力をそのままの順序で使用してデコーダの入力とし て使用しているため、並び替えは考慮していない。本研究では LaNMT に対し、効果的に事前並び替え を適用する手法を検討する。

Ran ら [10] は、Transformerにより原言語文の語順 を並び替えた隠れ変数を NAT のデコーダに入力す ることで翻訳精度が向上すると報告している。しか し本手法を LaNMT に直接適用することはできず、 また Transformerによる事前並び替えは、AT モデル

図 1 LaNMT モデルの全体図。

と同様、文の長さに比例した時間がかかるという課題がある。

## 3 LaNMT における事前並び替えの 適用

## 3.1 前提知識：LaNMT

LaNMT モデルの全体図を図 1 に載せる。LaNMT は大きく四つのサブモデルからなり、原言語文であ る $x$ から潜在変数 $z$ を予測するモデル、 $x$ と目的言語文 $y$ から $z$ を予測するモデル、 $z$ から目的言語文 の長さ $l_{y}$ を予測するモデル、 $x 、 z 、 l_{y}$ から $y$ を予測 するモデルである。学習は、以下の式 (1) で示され る変分下限を最大化することを目的に学習を行う。

$\mathscr{L}(\omega, \phi, \theta)$

$
\begin{aligned}
& =\mathbb{E}_{z \sim q_{\phi}}\left[\sum_{i=1}^{|y|} \log p_{\theta}\left(y_{i} \mid x, z, l_{y}\right)+\log p_{\theta}\left(l_{y} \mid z\right)\right] \\
& \quad-\sum_{k=1}^{|x|} \operatorname{KL}\left[q_{\phi}\left(z_{k} \mid x, y\right) \| p_{\omega}\left(z_{k} \mid x\right)\right]
\end{aligned}
$

$\omega$ はエンコーダ側の、 $x$ が分かっている時の事前分布をモデル化するパラメータ、 $\phi$ はエンコーダ側 の、 $x$ と $y$ が分かっている時の事後分布をモデル化 するパラメータ、 $\theta$ はデコーダ側のパラメータを表 す。事前分布、事後分布は予測された潜在変数 $z$ か ら linear 層によって計算される。推論時は $y$ は存在 しないため、まず原言語文 $x$ から $z$ の計算を行い、 それをデコーダの入力として使用して翻訳文 $y^{\prime}$ の 予測を行う。それから出力した $y^{\prime} を$ 使用して $z$ の再

図 2 Length-transform の例。この例では、エンコーダの 出力は 6 単語、デコーダへの入力は 4 単語としている。

計算を行い、新たな翻訳文の出力を行う。これを決 められた回数行い、最後の出力を最終的な翻訳文と する。

原言語文の長さと目的言語文の長さは異なる ことがあるため、デコーダの入力はエンコーダ の出力から計算を行う必要がある。LaNMT では length-transform という機構によってエンコーダの出力からデコーダの入力を計算している。図 2 に例を 示す。エンコーダの出力 $z$ からデコーダの入力 $z^{\prime}$ は、以下の式に従って各位置を基準に計算された重 みを使用し $z$ の重み付き和によって計算される。

$
\begin{aligned}
z_{j}^{\prime} & =\sum_{k=1}^{|x|} w_{k}^{j} z_{k} \\
w_{k}^{j} & =\frac{\exp \left(a_{k}^{j}\right)}{\sum_{k^{\prime}=1}^{|x|} \exp \left(a_{k^{\prime}}^{j}\right)} \\
a_{k}^{j} & =-\frac{1}{2 \sigma^{2}}\left(k-\frac{|x|}{l_{y}} j\right)^{2}
\end{aligned}
$

$j$ はデコーダの入力のインデックス、 $k$ はエンコー ダの出力のインデックス、 $a_{k}^{j}$ はデコーダの入力に 対するエンコーダの出力のアテンション、 $w_{k}^{j}$ はデ コーダの大力に対するエンコーダの出力の重みを表 す。各 $z^{\prime}$ に対する重みは式 (3) によってそれぞれの 位置を中心とした正規分布によって計算される。

## 3.2 事前並び替えの適用

本研究では、(1) 事前並び替えを行なった原言語文をエンコーダに入力するシンプルな手法、(2) 潜在変数 $z$ を並び替える手法、(3) 事前並び替えのイン デックスの position encoding を足し合わせる手法に よって事前並び替えの利用の検証を行う。以降では (2) および (3) の手法について説明する。

(2) 潜在変数 $z$ を並び替える手法 LaNMTでは原言語文の潜在変数 $z$ の順番をそのまま使用している

表 1 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを $\uparrow$ で、精度が低下したものをしで示す。

表 2 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを个 で、精度が低下したものをしで示す。“w/o knowledge distillation”と “w/ knowledge distillation”の行はそれぞれ knowledge distillation をせず訓練した結果と knowledge distillation して訓練した結果を表す。

が、そのままでは語順の相違を考慮することが出来 ない。そこで潜在変数 $z$ の変換の際に以下の式 (4) に示すように並び替えた後のインデックスを使用す ることで語順の相違を考慮した翻訳が可能になると 期待される。

$
z_{j}^{\prime}=\sum_{k=1}^{|x|} w_{k}^{j} z_{r_{k}}
$

$r_{k}$ は原言語文の $k$ 番目の単語の、並び替えた後のイ ンデックスである。 $z_{k}$ を並び替えてから重み付き 和を計算することで、対応した目的言語文の位置に 近い $z_{r_{k}}$ の重みが大きくなり、並び替えた後の文に おける周辺単語をより考慮した $z^{\prime}$ が計算できる。

(3) 事前並び替えのインデックスの position encoding を足し合わせる手法 ここでは事前並び 替えを利用するため、事前並び替えのインデックス の position encoding を足し合わせる手法を設計する。 Kawara ら [5] は AT モデルにおいて事前並び替えの インデックスによる position encoding を足し合わせ ることで翻訳精度が向上したことを報告している が、NAT モデルにおける効果は定かではない。NAT
モデルにおいて事前並び替えのインデックスによる position encoding を足し合わせることで、エンコー ダで語順を考慮した潜在変数の計算を行うことが可能になる。

## 4 翻訳実験

## 4.1 実験設定

ASPEC コーパス [9] を使用して英日翻訳実験を行 なった。ASPECコーパスに含まれている訓練デー タは 300 万分、開発データは 1,790 文、テストデー タは 1,812 文である。翻訳器の学習には上位 200 万文のうち、原言語、目的言語がともに 3 単語以上 50 単語以下で、かつ単語数の比が 9 未満である約 180 万文を使用した。

英語文の単語分割および品詞タグ付けに は Stanza1）を使用した。日本語の形態素解析は Juman 2) で行なった。

事前並び替え手法として BTG [8] を使用した。事前並び替えモデルは、訓練データのうち上位 50 万

文からランダムにサンプリングした 10 万文を使用して 20 イテレーションの訓練を行なった。単語 クラスタ数は 256 に設定し、単語アライメントは MGIZA $^{3 ）}$ を使用して計算した。

事前並び替えの適用手法 (2) および (3) は Shu ら による LaNMT の公開モデル $\left.{ }^{4}\right)$ 上に実装した。訓練 は 50000 ステップ行なった。分散表現の次元数およ び学習率は Shu らの設定に従った。また Shu らと同様、翻訳は 1 度 refinement した。翻訳結果において 同じ単語が 2 回以上繰り返されている場合は 2 回目以降を除去した。

評価指標として BLEU [6] と RIBES [3] を使用し た。有意差検定はブートストラップ法 [7] に従って 行なった。

## 4.2 実験結果

実験結果を表 1 に示す。ここで Gold-standard は 単語アライメントの計算をした後、アライメント の交差がなくなるように並び替えたものを指す。 AT モデルでは先行研究同様、事前並び替えをその まま使用するとべースラインと比較して BLEU お よび RIBES が低下した (それぞれ -4.33 ポイント、 -2.53 ポイント)。一方、NAT モデルでは事前並び替 えをそのまま使用するとベースラインと比較して BLEU が向上した (+1.87 ポイント)。Gold-standard を使用して学習を行なった翻訳実験では、AT モデ ルにおいても NAT モデルにおいても大幅に翻訳精度が向上した (AT モデルで BLEU が +9.31 ポイン ト、RIBES が +6.17 ポイント、NAT モデルで BLEU が +10.25 ポイント、RIBES が +6.84 ポイント)。こ れは、翻訳の学習において並び替えの情報が有用で あることを示唆している。

zを並び替える方法では、Gold-standard の順に並 び替える方法においても BTG の順に並び替える 方法においてもべースラインより BLEU が低下し た (Gold-standard で -6.43 ポイント、BTG で -8.65 ポイント)。また、position encoding に並び替えのイ ンデックスを使用する方法でも BLEU は低下した (Gold-standard で -1.09 ポイント、BTG で -6.65 ポイ ント)。翻訳精度が低下した原因として、 $z$ を並び替 えることで潜在変数同士の依存関係が崩れてしまっ たためであると考えられる。また、position encoding を足し合わせる手法では、 $z$ の変換では原言語文の

語順をそのまま使用しているため、並び替え後のイ ンデックスが離れている潜在変数の重みが大きくな る場合があるためであると考えられる。

## 4.3 Knowledge Distillation に対する影響

NAT の訓練では、訓練データの参照訳をそのま ま使用するのではなく、AT モデルで翻訳した出力を使用した訓練を行う Knowledge Distillation によ り、翻訳性能が大幅に向上することが知られている $[2,12]$ 。表 2 に、事前並び替えを適用した各モデル において、Knowledge Distillationをし訓練を行なっ た結果を示す。ここで、BTGで AT モデルの訓練を 行うとべースラインよりも精度が低下し結果とし て NAT モデルの訓練結果も低下すると考えられる ため、Knowledge Distillation は全て Gold-standard な 並び替えを行なった文によって AT モデルを訓練し 翻訳したものを使用している。先行研究と異なり、 Gold-standard による Knowledge Distillation で訓練を 行うと、全てのモデルで Knowledge Distillation しな かったものよりも精度が低下した。今回の実験では Byte Pair Encoding (BPE) [11]を適用しておらず未知語が出力されるため、その影響によって Knowledge Distillation による翻訳結果が低下してしまったと考 えられる。Knowledge Distillation における BPE の有無の影響調査は今後の課題である。

## 5 結論

本研究では LaNMT モデルにおける事前並び替え の適用手法について調查を行なった。NAT モデル では AT モデルの場合と異なり、事前並び替えを行 なった文をそのまま入力することで翻訳精度が向上することが明らかとなった。一方、潜在変数を 並び替える手法や事前並び替えのインデックスの position encoding を足し合わせる手法では翻訳精度 が低下した。今後の課題として、よりうまく語順の 情報を活用した NAT モデルの検討が挙げられる。

謝辞本研究は、日本電信電話株式会社コミュニ ケーション科学基礎研究所および科研費\#19K20343 の助成を受けたものである。

## 参考文献

[1] Jinhua Du and Andy Way. Pre-reordering for neural machine translation: Helpful or harmful? The Prague Bulletin of Mathematical Linguistics (PBML), Vol. 108, pp. 171-182, June 2017.

[2] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O. K. Li, and Richard Socher. Non-autoregressive neural machine translation. In Proc. of the ICLR, Vancouver, Canada, Apr-May 2018

[3] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. of the EMNLP, pp. 944-952, Cambridge, USA, October 2010.

[4] Yuki Kawara, Chenhui Chu, and Yuki Arase. Recursive neural network based preordering for englishto-japanese machine translation. In Proc. of the $A C L-S R W$, pp. 21-27, July 2018.

[5] Yuki Kawara, Chenhui Chu, and Yuki Arase. Preordering encoding on transformer for translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2020.

[6] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. BLEU: a method for automatic evaluation of machine translation. In Proc. of the ACL, pp. 311-318, Philadelphia, USA, July 2002.

[7] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proc. of the EMNLP, pp. 388-395, Barcelona, Spain, July 2004.

[8] Tetsuji Nakagawa. Efficient Top-Down BTG Parsing for Machine Translation Preordering. In Proc. of ACL-IJCNLP, pp. 208-218, Beijing, China, July 2015.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian Scientific Paper Excerpt Corpus. In Proc. of the LREC, pp. 2204-2208, Portorož, Slovenia, May 2016.

[10] Qiu Ran, Yankai Lin, Peng Li, and Jie Zhou. Guiding non-autoregressive neural machine translation decoding with reordering information. AAAI, February 2021.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the ACL, pp. 17151725, Berlin, Germany, 2016.

[12] Raphael Shu, Jason Lee, Hideki Nakayama, and Kyunghyun Cho. Latent-variable nonautoregressive neural machine translation with deterministic inference using a delta posterior. AAAI,
February 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008. Long Beach, USA, December 2017.


# 多言語 BERT を単語埋め込みに用いる Many-to-Many 翻訳による低資源言語翻訳*

磯部 僚也 ${ }^{\dagger}$ Yizhen Wei ${ }^{\dagger}$ 田村 拓也 $\ddagger$ 宇津呂 武仁 $\dagger$ 永田 昌明 $\S$
$\dagger$ 筑波大学大学院 システム情報工学研究科・群 $\ddagger$ 筑波大学理工学群 エ学システム学類
${ }^{\S}$ NTT コミュニケーション科学基礎研究所

## 1 はじめに

近年，ニューラル機械翻訳 (Neural Machine Translation; NMT) の研究が盛んに行われている。一般的な NMT モデルは，原言語を一言語，目的言語を一言語設定し，原言語文と目的言語文からなる対訳コーパスを訓練に 用い，NMT モデルの品質は対訳コーパスの質や量に 依存することが知られている。そのため, 日本語とべ トナム語 (越語) のような対訳コーパスが少ない低資源言語の翻訳においては, 翻訳品質が低くなってしま う問題がある。そこで，本論文では，日本語から越語 (日-to-越), 越語から日本語 (越-to-日) 等 の低資源言語の翻訳に焦点を当て, 他の言語資源が豊富な言語間 の対訳コーパスを活用することにより翻訳品質を向上 させる手法を提案する，提案手法においては，低資源言語を含む小規模な対訳文集合に加えて，言語資源が 豊富な言語間の大規模対訳文集合を多種類同時に用い て NMT モデルを訓練する Many-to-One 翻訳 [1]，お よび， Many-to-Many 翻訳 [1] のアプローチを採用す る. 本論文では特に，NMTにおける Many-to-One 翻訳・Many-to-Many 翻訳アプローチにおいて, NMT モ デルの訓練において同時に用いられる訓練事例中の複数の言語間で翻訳パラメータの共有が行われることに より，低資源言語文の翻訳精度を大幅に改善できるこ とを示す. さらに，本論文では，事前訓練型多言語言語モデルである Multilingual-BERT (mBERT) [5] をあ わせて適用することにより [15]，低資源言語文の翻訳精度を有意に改善することを示す.

具体的には，本論文では，まず， Many-to-One 翻訳 アプローチを適用する場合においては，例えば，日-to-
^{\ddagger}$ Takuya Tamura, College of Engineering Systems, University of Tsukuba

 }^{\S}$ Masaaki Nagata, NTT Communication Science Laboratories, NTT Corporation, Japan

越翻訳の場合には, Asian Language Treebank Parallel Corpus (ALT) [10] の日-to-越対訳文集合 1.8 万文に対し て, ドメインの異なる TED Talks Parallel Corpus (TED Talks) [2] の英-to-越対訳文集合 19.9 万文を追加した 対訳文集合を訓練事例として，単一の NMT モデルを 訓練した。これにより，ALT の日-to-越翻訳の翻訳精度が大幅に向上することを示す. 次に, Many-to-Many 翻訳アプローチを適用する場合においては， ALT の 日-to-越対訳文集合 1.8 万文に加えて，TED Talks の 日-to 英対訳文集合 19.9 万文を訓練事例として単一の NMT モデルを訓練した。これにより， ALT の日-to越翻訳の翻訳精度が大幅に向上することを示す. 最後 に, NMT モデルのエンコーダ・デコーダにおける単語埋め込みとして，事前訓練型多言語言語モデルである mBERT [5] の出力を利用する手法 [15] を, Many-toOne 翻訳 [1] および Many-to-Many 翻訳アプローチ [1] に適用した。mBERT は越語, 日本語を含む豊富な多言語の非対訳単言語コーパスで事前に訓練されたモデ ルであり,この多言語言語モデルの出力を単語埋め込 みとして利用することにより, Many-to-One 翻訳およ び Many-to-Many 翻訳の翻訳精度がさらに改善するこ とを示す.

## 2 関連研究

低資源言語の翻訳において，当該言語の対訳資源以外 を用いる手法としては, 異なる翻訳方向の 1-to-1 対訳文対を混合して単一モデルを訓練することにより，異な る言語$\cdot$翻訳方向の間でパラメータを共有する Many-toOne/One-to-Many/Many-to-Many 翻訳アプローチ [12, 1], および，事前訓練済みモデルに対して，転移学習 あるいは fine-tuning 等, 何らかの手法を用いることに より，(低資源言語等の)NMT タスクにおいて利用する アプローチ $[16,4,11,15,8]$ が知られている.

Many-to-One/One-to-Many/Many-to-Many 翻訳アプ ローチの一つとして, Tan ら [12] は, Aharoni ら [1]の Many-to-One/One-to-Many 翻訳において, 語族および
単語埋め込みの類似した言語間で翻訳パラメータを共有することが有効であることを示した。これに関連し て, 本論文では, Many-to-One/Many-to-Many 翻訳に おいて，対訳資源が豊富な言語対における異分野の大規模対訳文集合を利用することにより，低資源言語を 含む日-to-越翻訳, および, 越-to-日翻訳の翻訳精度が 改善できることを示す.

一方，事前訓練済みモデルを (低資源言語等の)NMT タスクに適用するアプローチの研究事例として, Zoph ら [16] は，大規模な仏英対訳コーパスを用いて訓練さ れたモデルに対して，小規模なウズベク語-英語対訳 コーパスを用いた転移学習により, ウズベク語から英語への翻訳精度が改善することを示した．Dabre ら [4] は, 同じ語族に属する言語の対訳コーパスを用いて事前訓練されたモデルを転移学習に用いることが有効 であることを示した.これらのアプローチの研究の一 つの方向性として，近年では，大規模言語資源を用い て事前訓練したモデルを NMT タスクに対して利用す るアプローチの研究が知られている. それらのモデル のアーキテクチャは, mBERT [5], XLM [6], XLM$\mathrm{R}[3]$ 等, エンコーダのみで構成されるもの, および, mBART [8], MARGE [7], mT5 [14], MASS [11] 等, エンコーダ・デコーダで構成されるものとに大別さ れる。一例として，例えば， Zhu ら [15]においては， Transformer のエンコーダ・デコーダにおいて，多言語 の非対訳コーパスによって事前訓練された mBERT の 出力する単語埋め込みを用いる BERT-fused NMT の枠組みを提案し，翻訳精度が改善することを示した。ま た, 同様に, 多言語の非対訳コーパスによって事前訓練された mBART [8], および, MASS [11] 等のモデル においては, fine-tuning タスクの事例として NMT タ スクへの適用事例が報告されている.

これらに関連して，本論文では，低資源言語を対象 とした Many-to-One/Many-to-Many 翻訳のアプローチ において, Zhu ら [15] の BERT-fused NMT の枠組み を採用し，低資源言語を含む翻訳タスクの翻訳精度が 改善することを示す。

## 3 データセット

## 3.1 Asian Language Treebank Parallel Corpus [10]

Asian Language Treebank Parallel Corpus (ALT) は, BPPT, I2R, IOIT, NECTEC, NIPTICT, PUP, UCSY, NICT 98 機関の共同プロジェクトにより作成された 対訳コーパスである. 英語 Wikinews の 20,106 文を他
の 12 言語 1 に翻訳して作成した 13 言語の対訳コーパ スであり，18,088 文の訓練文対， 1,000 文の開発文対, 1,018 文の評価文対から構成されている. 本論文の評価 においては, 表 1 に示す日本語-越語 (JV), 英語-越語 $(\mathrm{EV})$, 越語-日本語 $(\mathrm{VJ})$, 英語-日本語 $(\mathrm{EJ})$ の訓練文対集合, および, 日本語-越語 $(\mathrm{JV})$, 越語-日本語 $(\mathrm{VJ})$ の 開発文対集合, 評価文対集合を用いた. 英語, 越語の Tokenizationには英語用の Moses Tokenizer ${ }^{2}$ を, 日本語の Tokenization には $\mathrm{MeCab}^{3}$ を，それぞれ用いた4

## 3.2 TED Talks Parallel Corpus [2]

TED Talks Parallel Corpus (TED Talks) は, カリフォル ニアに拠点を置くTED 会議の講演の英語字幕から作成された 80 言語以上の対訳コーパスである. 本論文 の評価においては, 表 1 に示す英語-越語 (EV), 日本語-英語 (JE), 中国語-英語 (ZE), 英語-日本語 (EJ), 英語-中国語 (EZ) の対訳文集合を用いた。英語, 越語の Tokenization には英語用の Moses Tokenizerを, 日本語 の Tokenizationには MeCabを，中国語の Tokenization

## 4 Many-to-One 翻訳

本論文では, 表 1 に示す対訳文集合のうち, 日本語, および，越語を目的言語とする対訳文集合を対象と して, Google Many-to-One 翻訳手法 [1]を適用した. Google Many-to-One モデルにおいては, 表 1 中の対訳文集合のうち, 目的言語が共通となる対訳文集合の みをまとめて使用し，一つの NMT モデルを訓練する.具体的には, ALT 日-to-越対訳文集合 1.8 万文を用い て訓練した翻訳モデル (図 1(a) 左), および, ALT 越to-日対訳文集合 1.8 万文を用いて訓練した翻訳モデル (図 1(b) 左) をベースラインとすると, 本論文の Google Many-to-One モデル [1] の一例は, 図 1(a) 中, および,図 1(b) 中となる ${ }^{6}$. これらのモデルの訓練時, および,翻訳評価時には, 目的言語が越語の場合には “ $<2 \mathrm{VI}>”$ タグを, 目的言語が日本語の場合には “ $<2 \mathrm{JA}>”$ タグ を，それぞれ原言語文の先頭に付与して，モデルの訓練・翻訳評価を行う.
^{2}$ https://github.com/moses-smt/mosesdecoder/

${ }^{3}$ https://taku910.github.io/mecab/

4越語の文においては，漢字の発音がアルフアベット表記されて 漢字一文字分ごとに空白で分かち書きされたものや英語由来の単語 が混在していることをふまえて, 英語用の Moses Tokenizer をその まま用いる.

${ }^{5}$ https://github.com/fxsjy/jieba

6 例えば, 図 1(a) 中のモデルでは, ALT 日-to-越対訳文集合 1.8 万文に加えて，他ドメインである TED Talks 英-to-越対訳文集合 19.9 万文をまとめて使用して一つの NMT モデルを訓練する.
}

(a) 日-to-越翻訳モデル

(b) 越-to-日 翻訳モデル

図 1: Many-to-One / Many-to-Many 翻訳

図 2: BERT-fused NMT [15]

## 5 Many-to-Many 翻訳

Google Many-to-Many 翻訳手法 [1] を適用する際には，表 1 に示す対訳文集合のうち，評価文対の目的言語と は異なる言語を目的言語とする対訳文集合も追加して 一つの NMT モデルを訓練する，具体的には，本論文 の Google Many-to-Many モデル [1] の一例は, 図 1(a)右，および，図 1(b) 右となる7 . 前節の Google Manyto-One モデルの場合と同様に，これらのモデルの訓練時，および，翻訳評価時には，目的言語が越語の場合には“ $<2 \mathrm{VI}>$ ” タグを, 目的言語が日本語の場合に は“ $<2 \mathrm{JA}>”$ タグを，それぞれ原言語文の先頭に付与

して，モデルの訓練・翻訳評価を行う.この Google Many-to-Many モデルの評価においては，低資源言語 である越語を含む翻訳タスクにおいて，評価対象の ALT コーパスの分野とは異分野であり，かつ，低資源言語である越語以外の言語のみから構成される訓練用対訳文を混合することによって, 翻訳精度がどこまで 改善可能かの評価を行うことが最大の目的となる.

## 6 BERT-fused NMT [15]

Many-to-One 翻訳，および， Many-to-Many 翻訳に対 して，BERT-fused NMT [15] の実装を用いて事前訓練済み多言語言語モデル mBERT を適用した. 図 2 に示 す BERT-fused NMT のネットワーク構成は, 図中青枠 の通常の Transformer [13] に対して，事前訓練済み多
言語言語モデル mBERT が出力する単語埋め込み, お よび，BERT-Enc Attention 機構，BERT-Dec Attention 機構を加えた構造となっている。

## 7 評価

評価においては, fairseqツールキット [9] 上で実装され た Transformer モデル [13]を用いた ${ }^{8}$. 評価結果を表 2 に示す9. 図 1(a) 左 (日-to-越翻訳), および, 図 1(b) 左 (越-to-日翻訳) のベースラインの翻訳精度 (BLEU) は, それぞれ, 4.73, および, 5.39 と極めて低いが，Manyto-One 翻訳・Many-to-Many 翻訳いずれにおいても, 評価文集合とは異分野である TED Talks コーパスの 19.9 万文対の訓練文対を混合して NMT モデルを訓練する ことにより，BLEUが $10 \sim 15$ 程度改善することが分か る. 特に, 図 1(a) 右 (日-to-越翻訳), および，図 1(b)中右 (越-to-日翻訳) の設定においては，評価文集合と は異分野である TED Talks コーパスにおいて，低資源言語である越語が含まれなくても，BLEUが $10 \sim 15$ 程度改善している。また, 図 1(a) 右 (日-to-越翻訳), およ び，図 1(b) 右 (越-to-日翻訳) の Many-to-Many 翻訳の 設定においては，評価文集合とは目的言語・分野が異な る訓練文対集合を混合したとしても，BLEUが 10 15 程度改善しており, 提案手法の有効性を示している。 さらに，表 2 において，評価文集合とは異分野である TED Talks コーパスを混合した場合においては，いず れの場合においても，BERT-fused NMT [15]によって Transformer の翻訳精度を有意 $(p<0.05)$ に改善して おり, Many-to-One 翻訳・ Many-to-Many 翻訳の枠組み において BERT-fused NMT [15] を適用する本論文のア プローチが有効であることを示している.

## 8 おわりに

本論文では, Many-to-One 翻訳・ Many-to-Many 翻訳ア プローチ[1]によって, 日-to-越, 越-to-日の低資源言語翻訳の翻訳精度を大幅に改善できることを示した。さ らに，このアプローチにおいて BERT-fused NMT [15] を適用することによって，低資源言語の翻訳精度が有意に改善することを示した，今後の課題としては，低資源言語を対象とした Many-to-One $\cdot$ Many-to-Many 翻
^{8}$ head の数を 4 , エンコーダとデコーダを各 6 層, 単語分散表現 を 512 次元，隠れ層を 1,024 次元，ドロップアウトを 0.3 , 学習率を 0.0003 とし, Adam optimizer を使用した. 150,000 ステップの訓練 を行い，ALT コーパスに対して，開発文対 1,000 文に対する損失が 最小となるモデルを選択し, 評価文対 1,018 文に対して評価を行つ た. ハードウェアとして, TITAN RTX 24GB GPU 2 枚を使用した。 BLEU スコアの評価，および，有意差検定においては, Moses デ コーダのスクリプト(multi-bleu.perl), および, mteval Toolkit をそれぞれ用いた.

9 同一条件または訓練文対のより少ない条件のもとで翻訳精度最大のものを太字で示す.
}

表 1: 訓練用対訳文集合

} & 英語 & 是越語 & \multirow{5}{*}{19.9 万 } \\

表 2: 評価結果 (「+BERT fused」が Transformer に対 して有意差がある $(p<0.05)$ 場合を†で示す $)$

(a) 日本語-to-越語翻訳

(b) 越語-to-日本語翻訳

訳において，エンコーダ・デコーダ型アーキテクチャ によって構成される事前訓練済みモデル $[8,14]$ に対 する fine-tuning のアプローチを適用することが挙げら れる。また，中国語・英語由来の単語が多く含まれる 越語に対する本論文の評価結果をふまえて, 越語以外 の低資源アジア言語と日本語の間の翻訳に対して, 本論文の手法の有効性を評価することが挙げられる。

## 参考文献

[1] R. Aharoni, M. Johnson, and O. Firat. Massively multilingual neural machine translation. In Proc. NAACL-HLT, pp. 3874-3884, 2019.

[2] M. Cettolo, C. Girardi, and M. Federico. WIT ${ }^{3}$ : Web inventory of transcribed and translated talks. In Proc. 16th EAMT, pp. 261-268, 2012.

[3] A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F.Guzman ` , E. Grave, M. Ott, L. Zettlemoyer, V. Stoyanov. Unsupervised crosslingual representation learning at scale. In Proc. 58th ACL, pp. 8440-8451, 2020.

[4] R. Dabre, T. Nakagawa, and H. Kazawa. An empirical study of language relatedness for transfer learning in neural machine translation. In Proc. 31st PACLIC, pp. 282-286, 2017.

[5] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACLHLT, pp. 4171-4186, 2019.

[6] G. Lample and A. Conneau. Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[7] M. Lewis, M. Ghazvininejad, G. Ghosh, A. Aghajanyan, S. Wang, and L. Zettlemoyer. Pre-training via paraphrasing. In Proc. 34th NeurIPS, pp. 1-14, 2020.

[8] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[9] M. Ott, S. Edunov, A. Baevski, A. Fan, S. Gross, N. Ng, D. Grangier, and M. Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. NAACL-HLT: Demonstrations, pp. 48-53, 2019.

[10] H. Riza, M. Purwoadi, Gunarso, T. Uliniansyah, A. A. Ti, S. M. Aljunied, L. C. Mai, V. T. Thang, N. P. Thai, V. Chea, R. Sun, S. Sam, S. Seng, K. M.
Soe, K. T. Nwet, M. Utiyama, and C. Ding. Introduction of the Asian language treebank. In Proc. 19th O-COCOSDA, pp. 1-6, 2016.

[11] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu. MASS: Masked sequence to sequence pre-training for language generation. In Proc. 36th ICML, pp. 5926-5936, 2019.

[12] X. Tan, J. Chen, D. He, Y. Xia, T. Qin, and T.-Y. Liu. Multilingual neural machine translation with language clustering. In Proc. EMNLP-IJCNLP, pp. 963-973, 2019.

[13] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS, pp. 5998-6008, 2017.

[14] L. Xue, N. Constant, A. Roberts, M. Kale, R. AlRfou, A. Siddhant, A. Barua, and C. Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. arXiv preprint arXiv:2010.11934, 2020.

[15] J. Zhu, Y. Xia, L. Wu, D. He, T. Qin, W. Zhou, H. Li, and T.-Y. Liu. Incorporating BERT into neural machine translation. In Proc. 8th ICLR, pp. 118,2020 .

[16] B. Zoph, D. Yuret, J. May, and K. Knight. Transfer learning for low-resource neural machine translation. In Proc. EMNLP, pp. 1568-1575, 2016.


# Towards Detecting Errors: Classifying Model-Generated Output in Chat Translation

Yunmeng $\mathrm{Li}^{1}$, Ryo Fujii ${ }^{1}$, Makoto Morishita ${ }^{2,1}$, Jun Suzuki ${ }^{1,3}$, Kentaro Inui ${ }^{1,3}$
${ }^{1}$ Tohoku University ${ }^{2}$ NTT ${ }^{3}$ RIKEN
li.yunmeng.r1@dc. tohoku.ac.jp

## 1 Introduction

With the deepening of globalization, an increasing number of people have to face a problem: how to communicate with others who speak different languages that we do not understand. Compared to hiring a translator, more people tend to use a machine translation system to get what they want to say or what they do not understand. Although machine translation has improved rapidly in news, speeches, and biomedical translation tasks [1,2], it is still in its infancy in the area of chat translation. It has been pointed out in recent studies that even a document-level system is not entirely qualified for translating chat due to its unique characteristic of multi-speakers $[3,4,5]$. In this research, we focus on figuring out why machine translation models are of low quality when translating chat. In other words, we need to evaluate the model for chat translation to find errors and make improvements for the future.

Considering the fundamental purpose of translation systems, most users are not familiar with the target language and cannot determine whether the translation is accurate. Therefore, we need a solution to confirm whether the translation model fully conveys the interlocutor's meaning to avoid communication problems or misunderstandings. In chat, in addition to the correctness of words and grammar, we also have to pay attention to the gaps in understanding of each other. Hence, we need to determine whether the translation model can generate texts that are well connected to the context and make parties understand each other. To achieve this goal, we build classifiers for evaluating the performance of generated texts. The task is to predict whether a given utterance is generated by the machine translation model (labeled as 'model-generated') or taken from the corpus (labeled as 'original'). By applying these classifiers to the model-generated translations, we can conclude the behaviors of the translation model.

Figure 1 An example of multilingual chat using translation models.

In this research, we focus on chat defined as a twosentence dialogue between two humans using different languages to simplify the task, assuming both parties do not understand each other's language. Figure 1 is an illustration of multilingual chat of two people with the help of translation models. We trained our models and applied the classifiers on generated translations to find that classifiers had their own merits according to the types of information they had access to. Although they still have some errors, to a large extent, we can use these classifiers to correctly determine most of the chat translations with good cohesion and correct expression.

## 2 Methods

To confirm the translation model's performance on chat translation, we build a translation model and a series of classification models in this research. After training the model, we generate translations and apply binary classification models to label the given utterance. With the results of classification, we can determine the translation model's performance on chat translation.

## 2.1 Translation Model

We condition that a chat is composed of two consecutive sentences. Therefore, we choose the 2-to-2 strategy [6] for training, where the inputs and outputs of the model are composed of two texts. With the generated outputs, we continue to train the classification models to create the classifiers.

## 2.2 Classification Models

We assume that there are two people joining in the chat, each of them speaks different languages and does not understand each other's language. With the assumption, we assign $\mathbf{A}$ and $\mathbf{B}$ to be the languages the speakers use. Additionally, we label the sentences of the chat in order as $\mathbf{1}$ and 2. Combined the two signs, the first pair of texts is labeled as $\mathbf{1 A}$ and $\mathbf{1 B}$; the second pair is labeled as $\mathbf{2 B}$ and $\mathbf{2 A}$. The corresponding labels of the example chat are shown under the texts in Figure 1, and listed in Table 1.

Since applying translation models to both the A-to-B and B-to-A directions will make our task extremely complicated to determine the cause of errors, we simplified the problem by focusing only on the B-to-A side. We assume that all the $1 \mathrm{~A}, 1 \mathrm{~B}$, and $2 \mathrm{~B}$ are from the corpus, and only $2 \mathrm{~A}$ can be either generated by the model or from the corpus. With the assumption, we can apply different classifiers to $2 \mathrm{~A}$ and then synthesize the results to determine its quality. In the experiment, we prepare four different classifiers. These four classifiers are trained with $2 \mathrm{~A}$ together with one or multiple of $1 \mathrm{~A}, 1 \mathrm{~B}$, and $2 \mathrm{~B}$. To make the classifiers able to distinguish the machine-like translations, we label the data as 'model-generated' to indicate the $2 \mathrm{~A}$ part is generated by a model; otherwise, we label the data as 'original' to indicate it is from the corpus.

2B-2A For the first classifier, we use $2 \mathrm{~B}$ and $2 \mathrm{~A}$ as the training data. This classifier can predict whether a translation model generates $2 \mathrm{~A}$, taking $2 \mathrm{~B}$ as the reference information.

1A-2A For the second classifier, during training, we use $1 \mathrm{~A}$ and $2 \mathrm{~A}$ as the training data. This classifier can predict whether a translation model generates $2 \mathrm{~A}$, taking $1 \mathrm{~A}$ as the reference information.

1A-2B-2A For the third classifier, we use 1A, 2B, and $2 \mathrm{~A}$ as the training data. This classifier takes both $2 \mathrm{~B}$ and $1 \mathrm{~A}$ as the reference information.

1A-1B-2B-2A The fourth classifier takes all the 1A, $1 \mathrm{~B}$, and $2 \mathrm{~B}$ as the reference information to predict whether a translation model generates $2 \mathrm{~A}$.

With the different parts of the chat as reference information, the four classifiers can determine whether $2 \mathrm{~A}$ is generated by a model or not. By looking at the results, we can conclude how the reference information contributes to the classification and evaluate the generated translations.

Table 1 An example of chat with the labels 1A, 1B, 2B and 2A.

## 3 Experiment

## 3.1 Dataset

Our ideal corpus needs to contain a considerable amount of chat between two people who speak different languages, and better to have labels indicating whether the conversations are smooth. Unfortunately, no existing corpus fully meets our requirements. In this research, we resorted to choose OpenSubtitles2018 ${ }^{1)}[7,8,9]$ since it has texts closer to chat conversations with multi-speakers' scenes compared with corpora of news, speeches or academic literature.

In the experiment, we selected English and Japanese to be the two languages in the chat. Specifically, we assumed A to be English and B to be Japanese, according to the labels described in section 2.2. Taking 1,000 movie stories from the English-Japanese corpus of OpenSubtitles2018, we split every two consecutive sentences as a pair, and finally obtained $644,000^{2}$ ) lines of chat as the translation model's training data.

To make the classification models' training data, we retranslated the texts used for training the translation model to obtain negative examples. Though those texts are not necessarily unsuitable as a response to the preceding context in the chat, we assume the idea to label model-generated texts as errors is reasonable to some extent. Actually, due to the low quality of OpenSubtitles, our translation model achieved a BLEU score of no more than 27.2, which we believe is not very high.

As mentioned in section 2.2, what we need to classify is the type of $2 \mathrm{~A}$. We took $2 \mathrm{~A}$ from the model-generated texts and $2 \mathrm{~A}$ from the corpus, combined different types of original texts as reference to build the four classifiers. Each line of data is labeled as model-generated or original depending on its $2 \mathrm{~A}$ part. Although the patterns are differ-

Table 2 The accuracy on validation dataset of each classifier after training.

ent, each classification model takes about 1,030,000 lines of data for the training. About 257,600 lines of validation data is used as well to evaluate the learning progress of each model during the training ${ }^{3}$.

For the evaluation, we manually selected 650 lines from the translation model's 80,500 lines of test data to be the test data of the classifiers. These pairs of chat were considered to be smoothly connected. Hence, we could make sure there are no non-chat noises when applying the classifiers to the test data.

## 3.2 Settings

In the experiment, we used fairseq [10] to build the translation model. Following the descriptions in section 2.1, we designed a 2-to-2 translation model in the direction of B-to-A, specifically, Japanese-to-English. To establish the training data for classification, we used the translation model to re-translate the training data, as mentioned in section 2.2. In this way, we obtained the model-generated $2 \mathrm{~A}$ that correspond to the original $2 \mathrm{~A}$ from the corpus.

Based on the languages, we selected the multilingual BERT model [11] as the basis of the classification models. Four classification models were fine-tuned from multilingual BERT through transformers [12], provided by huggingface $^{4}$. We built the four classifiers: the 2B-2A classifier, the $1 \mathrm{~A}-2 \mathrm{~A}$ classifier, the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier, and the 1A-1B-2B-2A classifier, based on the different types of reference data. To track the learning progress, we evaluated the models during the training of the classification models with the validation data. In the test time, the classifiers are to assign the label to the data as model-generated or original, indicating the type of the contained $2 \mathrm{~A}$.

Table 3 The classification accuracy and results on the test data containing only the model-generated $2 \mathrm{~A}$.

Table 4 The classification accuracy and results on the test data containing only the original $2 \mathrm{~A}$.

## 4 Results and Analysis

The accuracy of the classification models on the validation data is listed in Table 2.

We used the 1,300 lines of test data mentioned in section 3.1 to test the four classifiers. The results and accuracy on the separated test data are shown in Table 3 and Table 4 . With only the test data of model-generated $2 \mathrm{~A}$, each model's performance is relatively similar. However, we notice that all the four classifiers are somehow weak on distinguishing the test data containing the original $2 \mathrm{~A}$. We consider the possible reason to be the low quality of OpenSubtitles. Among them, the 1A-2A's performance is worse than others with the test data of original $2 \mathrm{~A}$. Combined with the model's accuracy on validation data, we can conclude that the accuracy of $1 \mathrm{~A}-2 \mathrm{~A}$ is inferior to the remaining three.

When tracking the differences between 2B-2A's results and $1 \mathrm{~A}-2 \mathrm{~A}$ 's results, we find that $1 \mathrm{~A}-2 \mathrm{~A}$ distinguish 107 more pairs of chat originally from the corpus as modelgenerated rather than $2 \mathrm{~B}-2 \mathrm{~A}$. We consider that $2 \mathrm{~B}-2 \mathrm{~A}$ behaves better in predicting whether $2 \mathrm{~A}$ is model-generated compared to $1 \mathrm{~A}-2 \mathrm{~A}$. Yet, we conclude $1 \mathrm{~A}-2 \mathrm{~A}$ is better at distinguishing whether the chat is well-connected while looking at the detailed texts. In the Table 5 with an example chat, it is possible to say that $2 \mathrm{~A}$ is a good and human-like translation if we only focus on 2B and 2A. However, if we

$
\begin{array}{ll}

\end{array}
$

Table 5 An example of chat with a model-generated 2A.

$
\begin{aligned}
& \text { 1A He is a shithead. } \\
& \text { 2B 毎年彼は息子の誕生日を忘れるの } \\
& \text { 2A Every year he forgets his birthday. }
\end{aligned}
$

Table 6 An example of chat with a model-generated 2A.

focus on $1 \mathrm{~A}$ and $2 \mathrm{~A}$, the chat of $1 \mathrm{~A}$ and $2 \mathrm{~A}$ is not transparent because the subject of $2 \mathrm{~A}$ does not match to the preceding context $1 \mathrm{~A}$.

But the 1A-2A classifier incorrectly labeled some of the model-generated data as original-from-corpus when looking into the detailed outputs. As shown in Table 6 with an example of chat, if we look at $1 \mathrm{~A}$ and $2 \mathrm{~A}$, the conversation is connected neatly; but the meaning of $2 B$ is translated incorrectly, missing the information of 'his son.' Fortunately, the 1A-2B-2A classifier can take care of it. 1A-2B-2A relatively combines the features of the first two classifiers. Though the example chat in Table 6 is marked as obtained from the corpus via the $1 \mathrm{~A}-2 \mathrm{~A}$ classifier, it is correctly marked as model-generated through the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier. We consider that the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ can distinguish whether $2 \mathrm{~A}$ is model-generated and whether the translation of $2 \mathrm{~A}$ is accurate as the same time. Moreover, we suggest that the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier can indicate the cohesion of the chat and the accuracy of the translation to ensure that the two parties in the conversation can understand each other well.

Observing the $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and the $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ classifiers' results, we found that $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ can better determine the chat that the second sentence, $2 \mathrm{~B}$ (or $2 \mathrm{~A}$ ), is shorter. The 1A-2B-2A classifier labeled the chat shown in Table 7 as model-generated, considering $2 \mathrm{~A}$ is an incorrect translation of 2B. But with the additional reference $1 \mathrm{~B}$, the $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ classifier correctly recognized that it was from the corpus. In this type of chat, the second sentence is more often just a response to the first sentence. Hence, the first sentence is more significant, containing further information. When judging $2 \mathrm{~A}$, not only $2 \mathrm{~B}$ but also the preceding context $1 \mathrm{~B}$ of $2 \mathrm{~B}$ indirectly determines the quality of $2 \mathrm{~A}$. Moreover, due to the difference between English and Japanese grammar rules, fluency is more de-

Table 7 An example of chat with a $2 \mathrm{~A}$ originally from the corpus.

cisive in chat translation than accuracy when the sentence length is short. However, the difference between the results of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ is considerably insignificant. Compared to $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}, 1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ only correctly predicted 18 more of the 1300 lines of data originally from the corpus. From this, we believe that the overall performance of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ and $1 \mathrm{~A}-2 \mathrm{~B}-2 \mathrm{~A}$ are equivalent. Meanwhile, the performance of $1 \mathrm{~A}-1 \mathrm{~B}-2 \mathrm{~B}-2 \mathrm{~A}$ is not outstanding with longer sentences. We consider the possible reason to be the weakness of the BERT model since BERT can only assign two token ids to mark the order of sequences in the settings.

## 5 Conclusions and Future Work

Overall, the translation model's performance in translating chat can be evaluated to a certain extent through the four classifiers established in this research. However, the classifiers still have inaccurate predictions and could not certainly determine the data originally from the corpus on the test data. We consider the reason to be the quality of OpenSubtitles2018. In future research, we will try to find or create a more proper corpus to train our models. We also hope to further predict the translation results by improving our classification models in the future to identify specific problems.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP19H04425.

## References

[1] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[2] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar,

Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020.

[3] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[4] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018.

[5] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[6] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, 2017.

[7] Jörg Tiedemann. Finding alternative translations in a large corpus of movie subtitle. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 3518-3522, 2016.

[8] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, 2016.

[9] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, pp. 48-53, 2019.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite,
Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.


# 言語情報とパラ言語情報を考慮したニューラル音声翻訳

徳山 太顕 ${ }^{1}$ Sakriani Sakti ${ }^{1,2}$ 須藤 克仁 ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$
1 奈良先端科学技術大学院大学
2理化学研究所 革新知能統合研究センター AIP
\{tokuyama.hirotaka.ti9, ssakti, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

異なる言語話者同士のコミュニケーション を可能にし，言語の垣根を越える音声から音声への翻訳 (Speech-to-Speech Translation; S2ST) が 注目されている. 従来, 音声翻訳は自動音声認識 (Automatic Speech Recognition; ASR)，機械翻訳 (Machine Translation; MT)，テキスト音声合成 (Textto-Speech; TTS)の 3 つのシステムで順々に開発され てきた.

しかし, これらのシステムは言語情報の翻訳に焦点を当てており, 感情や強調などの他の音声特徴を 伝えるパラ言語情報を考慮していないものがほとん どである. 最近の研究では, 言語とパラ言語の認識 と翻訳をそれぞれ別々にモデル化することでパラ言語の翻訳を提案している [1]. しかし, このシステ ムでは ASR が隠れマルコフモデル (HMM)，MT が ニューラルネットワークと違うモデルをべースとし ており，強調を推定，翻訳するシステムもそれぞれ ASR と MT の処理を待つ必要がある. したがって全体的に見れば複雑な構造をしており, 翻訳システム としても実装面においてもまだ最適ではない.

そこで本研究ではニューラルネットワークを用い ることで言語とパラ言語の翻訳を統一的なモデルの 中で考慮し, 音声から強調を重視してパラ言語情報 をテキストに反映できるかについて検討を行った。評価実験では自然音声データと音声合成データを用意し，それぞれパラ言語を適用できるようにデータ を編集して学習させ，自然音声と音声合成でモデル の評価を行った. その結果, 本研究で提案した手法 は標準的な言語翻訳とほぼ同様の性能を維持したま ま，言語情報とパラ言語情報の両方を翻訳できるこ とが明らかになった。

## 2 パラ言語情報の翻訳モデル

従来の翻訳システムにおいて, Do らはパラ言語

(a) 従来のパラ言語情報を利用した Cascade ASR-MT Model [1]

(b) 提案するパラ言語情報を利用した Cascade ASR-MT Model (例:Emphasis Tag)

(c) 提案するパラ言語情報を利用した Direct ST Multitask Model (例:Emphasis Tag)

図 1 パラ言語情報の翻訳モデル

情報を離散化して翻訳するシステム [1] を提案した。彼らのシステムは図 1(a) (従来の Cascade ASR-MT Model)のように, ASR 処理後に強調を推定, MT 処理後にその強調を適用している。例えば，“今日は 暑いです.”という音声を，“暑い”を強調して入力 して考えた場合，ASRでは“きょうはあついです” というテキストが出力され，その出力テキストを基 に強調推定を行う．次にその“きょうはあついで す”というテキストを MT に入力することで“It is hot today.”と翻訳されるが，この時に日本語と英語 の対応関係を表す Attention を利用して翻訳箇所と 強調の関係を計算し, “hot” が強調されていること が分かるように出力される。しかし，これを一つの 翻訳システムで考えた場合，様々なモデルを取り入 れることによるシステムの大きさや複雑さ, さらに 翻訳の遅延が発生するなど幾つかの制約がある.

そこで，今回の提案として図 1(b) (提案の Cascade

ASR-MT Model) のように，ニューラルネットワーク を利用して強調推定や強調翻訳を一つのシステム に統合することを考える．その場合，テキストデー タと強調データを同時に翻訳させるため，テキスト データに強調データを付与させることを考える.

例えば，先ほどと同様の“今日は暑いです.”とい う音声を入力した場合，ASR では“きょう 0 は 0 あつい 3 です 0 。 0 ”のように“あつい”に強調のデータを表すものを付与させる．次に，これを MT で翻訳した場合，“It0 is0 hot3 today0 .0” のよう に対応する単語に対して同様に強調のデータを出力 できるように考える．強調を含むテキストデータに ついて，次の 3 種類のテキストデータを提案する。

Emphasis Tag:

Emphasis 1-Token:

きょうは<to3> あつい です。 It is $\langle$ to3 3 hot today

## Emphasis All Token:

<to0>きょう<to0>は<to3>あつい<to0>です<to0>。 $<$ to $0>$ it $<$ to $0>$ is $<$ to $3>$ hot $<$ to $0>$ today <to $0>$.

それぞれの ASR とMTを学習させた後, 図 1(c) (提案の Direct ST Multitask Model) のように Ye らのマル チタスクモデル [2] をベースとした一つのモデルに し，音声からパラ言語情報を含む直接 Speech-to-Text (ST) 翻訳を行う. 本来このマルチタスクモデルは ASR から，ASR，MT のデコーダを介さずに TTS の デコーダからスペクトログラムを出力するモデルで あるが，今回は学習させた ASR のエンコーダと MT のデコーダを利用して学習を行わせる．つまり，同様に強調した音声を入力した際，“きょう 0 は 0 あつい 3 です 0 。 0 ”を出力せず，そのまま MT のモデルを通して “It0 is0 hot 3 today 0.0 ” と出力させ ることを考える。

また，言語によっては音声の強調を副詞等を利用して言語的に強調できる可能性がある [3]. した がって，もう一つの提案としてパラ言語情報を言語情報的に翻訳する実験も同時に行う。

## 3 データセット

## 3.1 使用するデータセットについて

本研究では日本語の母語話者による自然音声と, その書き起こしたテキストデータ，また，単語を挿入することでテキストの内容を強調したデータを 利用する. これは 1029 文をそれぞれ 5 段階の強調

図 2 強調を含む音声合成の生成

図 3 強調を含むテキストの作成 (強調レベル 3 の場合) レベルで作成されたものであり，また，強調レベル に関しては 0 から 4 までのラベルが割り当てられ， その値が高いほど強調される単語が強く発音され る.しかし，このデータは強調を含めて約 5000 文 とデータセットとしては非常に少ない. そこで今回は BTEC (Basic Travel Expressions Corpus) コーパス [4]を利用する．ただし，BTEC には強調を含んだテ キストデータや，音声データが含まれないため，こ れらは人工的に作成した. データ作成に関しては次 の 3.2 節で述べる.

これらを利用して実験を行うが，前述のとおり自然音声のデータは BTEC と比べてはるかに少ないた め，20 倍にオーバーサンプリングして学習データに 追加して実験を行う.

## 3.2 強調を含む音声とテキストの生成

音声はまず，図 2 のようにテキストの一番初めに 現れる形容詞の単語を中心に分離させる. 次に各分離したテキストにおいて、Google Text-to-Speech ${ }^{1)}$ を 利用して合成音声を生成させる. ここで音声の強調 を反映させるように，形容詞部分の音声のみを音量 を 5 段階に分けて変換させる。最後に各音声を連結 させて一つの音声にすることで，強調を含む音声が 生成できる.

また, 図 3 のようにテキストも形容詞前後で分離 させ，それぞれのシステムに合わせて情報を追加さ せた.

1) https://pypi.org/project/gTTS/

図 4 単語の挿入例

## 3.3 挿入を含むテキストの生成

まず自然音声のテキストデータのうち，単語が挿入されたテキストの中からどのような単語が挿入さ れているかを各強調レベルごとに抽出する. これら の抽出した単語のうち最もよく使われている単語 5 つをランダムに選び，図 4 のように形容詞の前に 挿入してテキストデータを作成する。そこで MTを 利用して, 元のテキストデータから正しい位置に単語が挿入されるかを実験した。

## 4 評価実験

## 4.1 実験設定

実験はオープンソースの OpenNMT-py [5] を利用 した. エンコーダとデコーダは Transformer [6] で構成し, 最適化には Adam を使用した. このモデルで ASR と MTを別々に学習させてテストを行い，それ ぞれの結果から評価を行った。続いて $\mathrm{ST}$ 翻訳では ASR と MTのそれぞれの学習済みのモデルを利用し て再度学習させ，MT と同様に評価を行った。また，単語を挿大する実験も同様に MT を利用した。

## 4.2 評価方法

評価方法として，まず各提案したデータセット が，ベースラインである一般的な ASR や MT (No Emphasis) と，2節でも述べた従来法 (Separated) と比較しながら評価を行う，ASRでは単語誤り率 (Word Error Rate：WER)を評価し，MT と ST 翻訳では BTEC と自然音声のテキストデータで, Multi-BLEU, SacreBLEU ${ }^{2}$ を用いて評価する。

また，強調を含む翻訳システムにおいては，出力 テキストを評価する言語評価と, 強調部分が正しい かを評価する強調評価に分けて行う。それぞれの評価の際，強調を表すタグとトークンを分離させ，強調評価の場合は, 全単語での強調レベルを正解デー タとの F1-score を計算する. また，挿入の実験で は，出力が元のテキストを変化させず，各強調レべ

ルに合った単語を挿入できている割合で評価した。

## 4.3 実験結果

## 4.3.1 言語評価

言語評価は表 1 の通りである. Synthetic において はトークンを利用したものが ST 翻訳において 2〜 5 ポイントほど高いことが分かる. 特に, All Token は, No Emphasis と同程度，もしくは 2 ポイント前後向上した. これはトークンを利用することで語彙数の変化が小さい事や，トークンを利用して強調レ ベルを学習できることが考えられる。

逆にタグを付けたものでは ASR の精度が少し向上する一方で，ST 翻訳のスコアは低下した。これ は各単語にタグを付けることによって語彙数が増え ることから，ASRにおいては強調が違えば別の単語 であると認識できる一方で，MT P ST 翻訳において は別の単語であることから翻訳モデルを複雑にして しまうことが原因であると考えられる。

一方，Natural での ST 翻訳の評価はかなり悪く なってしまった。これは ASRでの影響が大きいた め, 自然音声の学習データを増やすなど ASR のス コアを改善する必要がある.

## 4.3.2 強調評価

強調評価は表 2 の通りである. ASR においては従来法よりも同等もしくは高いスコアを出しており,提案法が比較的優れている. 特に提案法では, 言語評価を含めて音声と編集したテキストデータで学習 できていることが分かる.

また，MTやST翻訳においては，強調の含まれる 単語の位置が翻訳結果に依存するため, 文レベルに おいての強調は正しいとしても，単語の位置による 強調が違うことが多かったため, ASR と比べて值は 低い。しかし，提案法においては従来法よりも值は 大きく，強調を含めた翻訳においても提案法が優れ ていると言えるであろう。また，従来法での値が非常に低い理由として，強調が Attention の関係性に依存する一方で，該当する単語に強調が当たってない 結果が多かったことが挙げられる. また，翻訳結果 によって表現が変わることも考えた場合，別の評価方法も考慮する必要がある。

## 4.3.3 挿入評価

挿入評価は表 3 の通りである. 1-Token の方がよ り高い精度で插入を行えていることが分かるが，こ れは各トークンと挿入する単語が対応しているこ
表 1 言語評価

表 2 強調評価 (F1-score)

表 3 挿入評価

とが考えられる。一方で Tags や All Token の場合で は精度が比較的低い。これらは全ての単語にタグや トークンが付いていることから，学習時にそれぞれ の挿入される単語との関係が取れていないことや， それに関連して出現回数が少ない単語に対して対応 できていないことが考えられる。

## 5 おわりに

本研究ではパラ言語情報をニューラルネットワー クを用いて翻訳することを目的として，2 節のよう なモデルやパラ言語情報を含めたテキストを提案し た. 続いて，3節のようにパラ言語情報を含むデー タセットを準備して実験と評価を行った。

実験結果から，従来法と比べると言語評価，強調評価の両方の観点から提案法が高いスコアを出す ことができた. 提案法においてはシステムによって 得手不得手があるが，ST 翻訳においてはトークン
を利用したものが優れた結果を出しており，実用化 を考えた場合は Natural でも従来法より高いスコア を出している All Token が最も適していると考える. また，今回は音声データも含め，学習データの大半 が BTEC のものであるため Natural における結果は 優れているとは言えないが，Synthetic における評価 から学習データによっては現在よりも精度の高いモ デルに学習できる可能性がある.

今後の展望として，音声の強調レベルや挿入デー タに関して人間による主観評価を行うことや，言語強調についても直接翻訳が行えるようにモデル考え ること必要がある．また，自然音声のデータを確保 して Natural の精度を向上させることを目指す.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Sequence-to-sequence models for emphasis speech translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1873-1883, 2018.

[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Direct speech-to-speech translation with a sequence-to-sequence model, 2019.

[3] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Toward multi-features emphasis speech translation: Assessment of human emphasis production and perception with speech and text clues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 700-706, 2018.

[4] Genichiro Kikui, Eiichiro Sumita, Toshiyuki Takezawa, and Seiichi Yamamoto. Creating corpora for speech-to-speech translation. In Eighth European Conference on Speech Communication and Technology, 2003.

[5] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander M. Rush. Opennmt: Open-source toolkit for neural machine translation, 2017.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.


# 音声認識仮説の曖昧性を考慮する Multi-task End-to-End 音声翻訳

胡 尤佳 ${ }^{1}$ 須藤 克仁 ${ }^{1,2} \quad$ Sakriani Sakti ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$
1奈良先端科学技術大学院大学
2理化学研究所 革新知能統合研究センター AIP
\{ko.yuka.kp2, sudoh, ssakti, s-nakamura\}@is.naist.jp

## 1 はじめに

音声翻訳 (Speech Translation; ST) は，原言語の音声を入力として目的言語のテキストを出力す る技術である。従来は音声認識モデル (Automatic Speech Recognition; ASR) と機械翻訳モデル (Machine Translation; MT) をつなぎ合わせた Cascade モデルに より実現されていた。それに対し，近年ではニュー ラルネットワークを用いた系列変換技術により，原言語の音声を直接目的言語のテキストに翻訳する End-to-End モデルの研究が進んでいる.

Cascade モデルにおいては，音声認識の結果に誤 りが含まれている場合，機械翻訳の精度も大きく低下するという問題があり, 音声認識の誤りに頑健 な機械翻訳が必要となる. End-to-End モデルでは,事前学習された ASR，MT モデルによる Encoder と Decoder の初期化や，ASR，MT を Sub-taskとして， Main-task と同時に学習をする Multi-task Learning が 精度向上のために不可欠である. しかし，一般的な Multi-task Learning では, 正解と一致しない予測結果 に対して等しく損失が計算される. そのため, 正解系列と異なるが発音の似た予測結果と, 発音の似て いない予測結果の損失が同じになる場合があり問題となる. よって, End-to-End モデルにおいても， Cascade モデルと同様に, 音声認識出力の曖昧性を 考慮した学習方法が必要となる。

本研究では, End-to-End 音声翻訳モデルにおいて,音声認識出力の曖昧性を考慮した Multi-taskによる 学習方法を提案する. 提案手法による実験と分析を 通じて，本手法が音声翻訳における音声認識出力の 曖昧性に対する頑健性の向上と, 翻訳精度の向上に 寄与することを確認した.

## 2 関連研究

End-to-End 音声翻訳における Multi-task Learning [1, 2] では，Main-taskである ST-taskを学習するだけで
なく，Encoder とその隠れべクトルを共有した上で Sub-taskである ASR-task の学習も同様にする.

Kano ら [3] は, Multi-task の仕組みを用いて, 語順 の差異の大きな英日 End-to-End 音声翻訳において，音声認識，機械翻訳といった比較的簡単なタスクか ら学習し, 構造を組み替えながら最終的に, 入力音声から出力系列を直接翻訳するモデルをカリキュラ ム学習する手法を提案し, 翻訳精度を向上させた.

Chuang ら [4] は, Multi-task End-to-End 音声翻訳 で，Sub-taskである ASR-task の学習において，予測単語と正解単語の埋め込みべクトルのコサイン類似度を損失関数の計算に利用し，音声翻訳精度を向上 させた。これは，ASR-taskにおいて，単語の意味的類似性を考慮することで，音声翻訳の頑健性を向上 させる試みと言える。

Osamura ら [5] は, Cascade モデルの音声翻訳にお いて, One-hot ベクトルの代わりに, 音声認識の事後確率分布を表すべクトルを機械翻訳モデルへ渡し 学習をすることで，音声認識誤りに対する頑健性を 向上させた.

本研究では, Kano ら, Chuang らと同様に Multi-task の手法と, Osamura らの手法をもとに, End-to-End においても音声認識出力の曖昧性に頑健な音声翻訳 の実現を試みる。

## 3 関連技術

## 3.1 End-to-End 音声翻訳

End-to-End 音声翻訳モデルは Encoder-Decoder モ デルにより実現される. $\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列とし, $\mathbf{Y}=\left(y_{1}, \ldots, y_{N}\right)$ を目的言語記号列とする. ここで, $y_{i} \in V$ であり,$V$ は目的言語の語彙集合， $T$ は音響特徵量のフレーム長， $N$ は目的言語記号列のトーク ン数を表す。

$v$ を語彙集合 $V$ の元とすると, $i$ 番目の目的言語

図 1 Single-task ST (左) と Multi-task ST (右)

記号の事後確率は以下の式で表される

$
P_{\mathrm{ST}}\left(y_{i}=v\right)=p\left(v \mid \mathbf{X}, y_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, cross entropy loss を 用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, y_{i}\right) \log P_{\mathrm{ST}}\left(y_{i}=v\right)
$

式中の $\delta\left(v, y_{i}\right)$ は， $v=y_{i}$ のとき 1 ，そうでなければ 0 とする.

## 3.2 Multi-task End-to-End 音声翻訳

Multi-task 音声翻訳においては，音響特徵量が Encoderにより隠れベクトルに変換され，その後 ST-task (Main-task) の Decoder と ASR-task (Sub-task) の Decoder の両方を用いて学習される. 式 (1) (2) よ り, $P_{\mathrm{ASR}}$ を $P_{\mathrm{ST}}$ と同様に定義すると, ASR 学習時 の損失関数 $\mathscr{L}_{\mathrm{ASR}}$ は以下の式で表される

$
\mathscr{L}_{\mathrm{ASR}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, y_{i}\right) \log P_{\mathrm{ASR}}\left(y_{i}=v\right)
$

ST-task の損失関数を $\mathscr{L}_{\mathrm{ST}}$, ASR-task の損失関数を $\mathscr{L}_{\text {ASR }} ， \mathscr{L}_{\text {ASR }}$ に対する重みを $W_{\text {ASR }}$ とすると，学習時全体の損失関数 $\mathscr{L}$ は以下の式で表される

$
\mathscr{L}=\left(1-W_{\mathrm{ASR}}\right) \mathscr{L}_{\mathrm{ST}}+W_{\mathrm{ASR}} \mathscr{L}_{\mathrm{ASR}}
$

3.1 節で述べたモデルを Single-task ST，本節で述べ たモデルを Multi-task ST とし，それぞれの概要図 を図 1 に示す。本稿では，式(3)における $\mathscr{L}_{\mathrm{ASR}}$ を， hard label (One-hot reference) による cross entropy loss として $\mathscr{L}_{\text {hard }}$ で表す.

## 4 提案手法

本手法では，Multi-task End-to-End 音声翻訳モデル の ASR-task の学習の際に，事前学習された ASR の

図 2 従来手法 (左) と提案手法 (右)

事後確率分布を reference として与え, ASR 出力の曖昧性を考慮するよう ST を学習する手法を提案する。

従来手法と提案手法の概要図を図 2 に示す. 3.2 節で述べた従来手法では, 正解と一致しない予測結果に対して等しく損失が計算されてしまい，発音の 類似した予測結果と類似していない予測結果が同じ ように損失を計算され，ASR 出力の曖昧性を考慮で きないと考えられる。

そこで提案手法では, ASR-task において, One-hot reference の代わりに，ASR 出力の曖昧性を表す ASR 事後確率分布 (ASR posterior distribution) のベクトル を reference として用いる. ASR 事後確率分布は，発音が似ている単語が同じようなスコアを持つこと が期待されるため，どの単語が他のどの単語と発音 が類似しているか，という情報を保持している.こ れを reference とすることで，音声認識出力の曖昧性 に対して頑健な音声翻訳が学習できると期待でき る. Osamura らの方法では, Cascade モデルにおい て, 事前学習された ASR により出力される事後確率分布を, One-hot ベクトルの代わりに MT の入力 とし，チューニングすることで音声認識出力の曖昧性に対して頑健な翻訳を実現した。それと比較する と, 本手法では，ASR 事後確率分布をそのまま入力 とするのではなく reference として用い，損失関数の 計算方法を変える点で違いがある.

ASR 事後確率分布は，事前学習されたASRを用い て得られた，各トークンに対するスコアを持ったべ クトルの softmaxを取り，soft label とする． soft label において $i$ 番目のトークン $v$ のスコアを $P_{\mathrm{soft}}(i, v)$ と すると，提案手法よる損失 $\mathscr{L}_{\text {soft }}$ は以下の式で表さ れる

$
\mathscr{L}_{\text {soft }}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} P_{\text {soft }}(i, v) \log P_{\mathrm{ASR}}\left(y_{i}=v\right) .
$
表 1 実験に用いた Fisher CallHome Spanish コーパス ${ }^{1)}$

本実験では， $\mathscr{L}_{\text {ASR }}$ を以下の式として定義し， $\mathscr{L}_{\text {hard }}$ と $\mathscr{L}_{\text {soft }}$ の割合を，重み $W_{\text {soft }}$ で調整できるように した

$
\mathscr{L}_{\text {ASR }}=\left(1-W_{\text {soft }}\right) \mathscr{L}_{\text {hard }}+W_{\text {soft }} \mathscr{L}_{\text {soft }} .
$

## 5 実験

本実験では，データセットとして，Fisher Spanish CallHome Spanish コーパス [6]を用い, Spanish-English (Es-En) の音声翻訳モデルを作成した. 本データ セットは，170 時間のスペイン語による電話での 日常会話音声と書き起こし，それらに該当する英語テキストにより構成されている。音響特徴量は, Kaldi [7] により抽出した， 3 次元の pitch が付加さ れた 83 次元の Fbank+pitch を用いた.テキストは句読点，記号を取り除き小文字化し，音響特徴量は フレーム長 3000 ，テキストは文字数が 400 より大 きいものを取り除いた. 実験に用いたデータセッ トの内訳を表 1 に示す. ASR，ST モデルの学習，評価はともに表 1 のデータを用いた. Tokenizer は SentencePiece [8] により, 最大語彙数 1000 として, train データからスペイン語と英語のトークンを共有 した辞書を作成し, train, dev, test データに適用した. ASR，ST モデルは ESPnet [9]を用い，Transformer [10] により作成した. モデルの設定を表 2 に 示す. soft label の作成に必要な事前学習 ASR モデ ルは，学習後，dev データの WERが最も低いモデ ルを用いた. ST モデルは, 学習後, $\operatorname{dev}$ データの BLEU スコア [11]が高いモデルを上から 5 つ取り出 し, model averaging をし，最終的なモデルとして test データで評価した.

本実験では，式 (4) (6) における $W_{\mathrm{ASR}}$ を 0.3 と し, $W_{\text {soft }}=\{0.0,0.3,0.5,0.7,1.0\}$ の 5 つの場合に 分けて実験をし，BLEU スコアにより評価した。 ベースラインである cross entropy loss を用いた条件

は $W_{\text {soft }}=\{0.0\}$ に対応し，提案手法である soft loss を 用いた条件は $W_{\text {soft }}=\{0.3,0.5,0.7,1.0\}$ に対応する.

## 6 実験結果と分析

Fisher CallHome Spanish コーパスの test データに よる BLEU スコアの結果を表 3 に示す. $\operatorname{soft} W_{\text {soft }}$ $\operatorname{hard}\left(1-W_{\text {soft }}\right)$ が, 各 $W_{\text {soft }}$ のパラメータでの実験を表 す. 例として， soft0.0-hard1.0 が， $W_{\text {soft }}=\{0.0\}$ での 実験を表す。また，BLEU 4-ref は 4 つの reference を 用いた BLEU スコア，BLEU 1-ref は 1 つの reference を用いた BLEU スコア，】はベースラインと比較し BLEU スコアが低下した結果，太字は BLEU スコア が最も向上した結果を表す.

実験結果から, testデータ全体として見ると, ベー スラインと比較し，提案手法で BLEU スコアが低下 したものよりも，向上したものの方が多いことが分 かる。また，Fisher test データにおいては，いずれの 場合においても，提案手法がベースラインを上回 る結果となった．また，いずれの test データにおい ても，提案手法である soft1.0-hard0.0， soft0.5-hard0.5 の場合の結果が，ベースラインである soft 0.0 -hard 1.0 の結果を上回った。よって，提案手法が音声翻訳の 精度改善に効果的であるということが分かった。

soft0.5-hard0.5 での Fisher test における出力結果を 表 4 に示す。例 1 では， ベースラインにおいて，"intensive"と出力されるべきところが，"unthinkable"と 誤って出力されている.ここで，"unthinkable"のス ペイン語としては"inconcebible", "impensable"が該当 する。これらは正解である"intensive"に発音が似て おり，ASR-task の出力でこれらの単語を予測して
表 3 test データでの BLEU スコアの結果 (】はベースラインと比較し BLEU スコアが低下した結果)

表 4 Fisher test の出力結果の例 (soft0.5-hard0.5)

例 1

例 2

 \\
 &  \\

しまった結果，誤った翻訳結果を出力したと考え られる。これに対し提案手法では, "intensive"に近 い"intense"に翻訳できている。例 2 では，ベースラ インにおいて，"risks"と出力すべきところを"colds" と誤訳している。ここで，"colds"のスペイン語とし て，"resfriados"が該当し，正解である"riesgos"に発音 が似ている。そのため, ASR-task における予測誤り をもとに，誤った出力をしたと考えられる。これに 対し提案手法では，正しく"risks"と翻訳できている。

これらの例においては，ベースラインと比較し，提案手法の方では音声認識出力の曖昧性を考慮し て，正しく出力できていると考えられる.

## 7 まとめと今後の展望

本研究では，音声認識の事後確率分布を用いて， End-to-End 音声翻訳の学習をする方法を提案し，音声認識出力の曖昧性に対して頑健な音声翻訳を期待 した. 実験結果から，提案手法により BLEU スコア
の向上が見られ，本手法の有効性を確認できた.今後の課題として，ASR-task の出力分布の可視化 をした上での定量的な分析，label smoothing loss [12] を用いた実験での有効性の検証が必要だと考えら れる。

また，従来研究において，Salesky ら [13] は，音素情報を読み情報として ST に用いることで，BLEU スコアを向上させ，読み情報が ST の学習に効果的 であると報告している。それを踏まえた上で，音素，音節情報を損失関数の計算に用いて，字面から 組み取れない読みの曖昧性を考慮した ST モデルを 作成できると期待しており，今後実験を進める予定 である.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Antonios Anastasopoulos and David Chiang. Tied multitask learning for neural speech translation. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: $\mathrm{Hu}$ man Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pp. 82-91. Association for Computational Linguistics, 2018.

[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Direct speech-to-speech translation with a sequence-to-sequence model. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 1123-1127. ISCA, 2019.

[3] Takatomo Kano, Sakriani Sakti, and Satoshi Nakamura. End-to-end speech translation with transcoding by multitask learning for distant language pairs. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 1342-1355, 2020.

[4] Shun-Po Chuang, Tzu-Wei Sung, Alexander H. Liu, and Hung-yi Lee. Worse wer, but better bleu? leveraging word embedding as intermediate in multitask end-to-end speech translation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 59986003. Association for Computational Linguistics, 2020.

[5] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. Proceedings of the 15th International Workshop on Spoken Language Translation, 181-188, Oct. 2018.

[6] Christopher Cieri, David Miller, and Kevin Walker. The fisher corpus: a resource for the next generations of speechto-text. In Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC 2004, May 26-28, 2004, Lisbon, Portugal. European Language Resources Association, 2004.

[7] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, et al. The kaldi speech recognition toolkit. In IEEE 2011 workshop on automatic speech recognition and understanding, No. CONF. IEEE Signal Processing Society, 2011.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson-Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, et al. Espnet: End-to-end speech processing toolkit. Proc.
Interspeech 2018, pp. 2207-2211, 2018.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, and Geoffrey E. Hinton. Regularizing neural networks by penalizing confident output distributions. In 5 th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Workshop Track Proceedings. OpenReview.net, 2017.

[13] Elizabeth Salesky and Alan W. Black. Phone features improve speech translation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 2388-2397. Association for Computational Linguistics, 2020.