# Decoder のみを用いた機械翻訳モデルの分析

木山朔 金輝燦 平澤寅庄 岡照晃 小町守
東京都立大学
\{kiyama-hajime,kim-hwichan, hirasawa-tosho\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

現在の機械翻訳モデルの主流は Encoder-Decoder モデルである。一方で，Encoder を使わず Decoder のみの翻訳モデル (Decoder-only モデル) が提案され ており，Encoder-Decoder モデルと同程度の BLEU が報告されている. しかし既存研究が実験に用い た評価指標や言語対は限定的であり，十分な検証 が行われているとは言えない。そこで本研究では Encoder-Decoder モデルと Decoder-only モデル間の 詳細な比較・分析を報告する．特に英日方向につい て人手評価の結果，流暢性と妥当性で Decoder-only モデルの有用性が確認された.

## 1 はじめに

自然言語処理の様々なタスクにおいて EncoderDecoder モデルは広く用いられている $[1,2]$. 特に 機械翻訳や文書要約などの生成タスクで EncoderDecoder が主流になっている．その一方 GPT $[3,4,5]$ を代表する Decoder-only モデルの高精度な言語生成 も注目を集めている。

Wang ら [6] は GPT-3 の few-shot learning での翻訳 が教師なしモデルと同程度の BLEUを獲得したこと から, Decoderのみを使った翻訳モデル (Decoder-only モデル)を提案した. 原言語文と目的言語文を結合させ，言語モデリングタスクで Decoderを学習し，翻訳モデルとする。図 1 に Decoder-only モ デルの推論時の概要図を示す. 原言語文とタグ （<en2ja>など）を入力とし目的言語文を生成して いる. また Gao ら [7] は Wang らのモデルに対し 原言語文全体を self-attention で見れるように拡張 することで Encoder-Decoder モデルと同等の BLEU を達成できることを報告した。これよりGao らは Encoder-Decoder モデルは壳長であると主張してい る.しかし彼らの実験では BLEU や TER [8]によ る自動評価しか行われておらず，Encoder-Decoder，

図 1: Decoder-only モデルの推論時の概要図

Decoder-only モデル間の翻訳結果の詳細な分析がな されていない.

そこで本研究では自動評価，人手評価の 2 つの 観点から Decoder-only モデルの詳細な分析を行っ た. 自動評価では流暢性を測るために perplexity を，妥当性を測るために BLEU に加えて COMET [9] と WMD [10] を追加した. 人手評価では定量的な評価 として流暢性と妥当性を，定性的な評価として翻訳 の質の評価（誤訳の分類）を行なった。本研究での 主な発見は以下の通りである：
- 自動評価指標 BLEU，COMET，WMD では Encoder-Decoder モデルの方がスコアが高いが， Perplexity では Deocder-only モデルが EncoderDecoder モデルを上回った.
- 人手評価において流暢性と妥当性は Decoderonly モデルが良く，Mis-translation も EncoderDecoder モデルと比較して少ない.

## 2 関連研究

## 2.1 Encoder-Decoder

機械翻訳とは，原言語文 $\mathbf{x}=\left.\{x_{1}, x_{2}, \ldots, x_{N}\right.\}$ を目的言語文 $\mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{M}\right.\}$ に翻訳するタスクである. ここで $x_{i} \in \mathbf{x}, y_{j} \in \mathbf{y}$ は各言語の文のトークンを示 す。ニューラル機械翻訳では以下の条件付き確率が 最大になるように目的言語文を生成する.

$
P(\mathbf{y} \mid \mathbf{x})=\prod_{t=1}^{M} P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
$

ここで $\mathbf{y}_{<t}$ は $t-1$ 番目までの目的言語文のトー クンである. Sutskever ら [1] は，条件付き確率 $P を$ LSTM [11] で構成される Encoder と Decoder という 二つのニューラルネットワークでモデル化した. 学習時には，対訳データ $\mathbf{X}=\left.\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{j}\right.\}, \mathbf{Y}=\left.\{\mathbf{y}_{1}, \ldots, \mathbf{y}_{j}\right.\}$ を使い，以下の損失が最小になるようにパラメータ を更新する。

$
\begin{aligned}
L_{\mathrm{MT}} & =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})}-\log P(\mathbf{y} \mid \mathbf{x}) \\
& =\sum_{(\mathbf{x}, \mathbf{y}) \in(\mathbf{X}, \mathbf{Y})} \sum_{t=1}^{M}-\log P\left(y_{t} \mid \mathbf{x}, \mathbf{y}_{<t}\right)
\end{aligned}
$

Encoder-Decoder モデルは機械翻訳や文書要約な どの様々なタスクで広く用いられている。特に self-attention を用いた Encoder-Decoder モデルであ る Transformer [2] は現在の手法のベースとなって いる.

## 2.2 Decoder-only

Decoder-only モデルとして GPT が挙げられる $[3$, 4, 5]. GPT は Transformerの Decoder のみを用いたモ デルであり非常に高精度な言語生成が可能である. Wang ら [6] は GPT-3 の few-shot learning での翻訳が 教師なしモデルと同程度の BLEU を獲得したことか ら，LM4MT という Decoder-only の翻訳モデルを提案した. Decoder-only モデルでは，原言語文 $\mathbf{x}$ にタ グ（<en2ja>など）を結合させたものを入力とし，目的言語文 $\mathbf{y}$ を生成する。なお，原言語文 $\mathbf{x}$ は教師強制的 (Teacher forcing) に処理を行い，目的言語文 $\mathbf{y}$ は自己回帰により生成を行う.

Decoder-only モデルの学習時には, 原言語側には 自己符号化の損失 $L_{\mathrm{AE}}$, 目的言語側には $L_{\mathrm{MT}}$ を用い る. ハイパーパラメータ入で重み付けした $L_{\mathrm{AE}}$ と $L_{\mathrm{MT}}$ の和である $L_{\mathrm{LM}}$ が最小になるようにパラメー タを学習する。

$
\begin{aligned}
& L_{\mathrm{AE}}=\sum_{\mathbf{x} \in \mathbf{X}} \sum_{s=1}^{N}-\log P\left(x_{s} \mid \mathbf{x}_{<s}\right) \\
& L_{\mathrm{LM}}=\lambda L_{\mathrm{AE}}+L_{\mathrm{MT}}
\end{aligned}
$

Wang らは学習が進むにつれ入を小さくなるように スケジューリングし，目的言語文側の損失を重視す るように学習している。

Gao ら [7] は上記 Decoder-only モデルの改良を 行った. Gao らは原言語部分の Attention mask を原言語全体が見れるように変更し，原言語文に対し てノイズを加え Decoder-only モデルを学習するこ
とで, Encoder-Decoder と同様の BLEUを達成した. このことから, Encoder-Decoder モデルは壳長であ り，Decoder のみで十分であると主張した.

このように既存研究では, Decoder-only モデルの 有用性が報告されているが，BLEU や TER のみで しか評価がされておらず，その他の自動評価や人手評価を用いた詳細な分析がなされていない. そこ で, 本研究では, BLEU に加え Perplexity, COMET, WMDを用いて自動評価を行い，また，英日対の人手評価として流暢性，妥当性，翻訳の質を分析し た. 人手評価では Decoder-only モデルが流暢性と妥当性がともに高いことがわかった.

## 3 実験設定

データセット en-de, en-ja の 2 つの言語対に実験を行った. en-de では WMT16 [12]を，en-ja では ASPEC [13] を用いた. データサイズは順に 4.5M， 3.0M である. トークナイズには英語とドイツ語で は moses ${ }^{11}[14]$ を, 日本語は $\mathrm{MeCab}^{2)}+$ ipadic を利用 した. その後, en-de 対では joint-BPE ${ }^{3)}$ [15] モデル, en-ja 対では言語ごとに BPE の SentencePiece ${ }^{4)}$ [16] モデルを学習し，サブワード分割を行った．分割回数はそれぞれ 32,000と4,000とした.

モデル Encoder-Decoder, Decoder-only モデルは 共に Transformer ベースのモデルを用いる. EncoderDecoder モデルをベースラインとして Decoder-only モデルとの比較を行う. Encoder-Decoder モデル は，Vaswani ら [2]を参考に，各層を 6 層にした。 Decoder-only モデルは, 層数を 12 層に設定した. また Decoder の入力と出力の単語分散表現を共有した．損失の計算では $\lambda=1$ とする．詳細な八 イパーパラメータは付録 A に示す. 実装は共に fairseq ${ }^{5)}[17]$ を利用した。

自動評価自動評価においては，Perplexity， BLEU， COMET 6) [9]，WMD [10]を用いた。Perplexity は XGLM-1.7B ${ }^{7)}$ [18] を用いており，流暢性 を測る目的で計測した．BLEU は sacreBLEU ${ }^{8)}$ [19] を用いて計測した. COMET は複数言語で学習され た単語分散表現，WMD は目的言語に対応する単

表 1: 各モデルの翻訳の自動評価

表 2: en-ja 対における pair-wise の流暢性と妥当性の人手評価. win は Decoder-only の方が良く，tie は同程度， lose は Decoder-only の方が悪いことを示す.

語分散表現 9）10）[20]を用いて計算を行い，それぞ れ原文，または参照文と出力文との意味的な妥当性を評価する目的で計測した. COMET のモデルは wmt20-comet-qa-daを用いた.

英日モデルの人手評価 日本語話者 4 名による， en-ja モデルの人手評価を行った. ASPEC のテスト データからランダムに 100 文をサンプリングし, pair-wise による流暢性と妥当性の評価，翻訳の質 に関する評価を行なった．翻訳の質の評価として， Under-translation (不十分な翻訳), Mis-translation (誤訳），Over-translation（過翻訳）の 3 つの側面に関し て，人手で計測した。なお評価の際には参考のため 参照訳を併記し，モデル名は伏せた。

## 4 実験結果

自動評価 表 1 に各モデルの翻訳の自動評価結果 を示す. Perplexity は Decoder-only が良く，流暢性と いう観点では Decoder-only が Encoder-Decoderを上回った. 一方で BLEU や COMET, WMD などの自動評価指標では Encoder-Decoder が良い.

英日モデルの人手評価 表 2 に英日対における pair-wise による流暢性と妥当性の人手評価を示す.流暢性に関してはアノテータ 1, 2, 4 は Decoder-only の方が良いと評価している.これは Perplexity の自動評価と一致する結果である．妥当性に関してもア ノテータ 1，2，4 は Decoder-only の方が良いと評価 している。これは COMETや WMD の自動評価とは 相反する結果である.

表 3: 英日対における翻訳の質の人手評価. U は Undertranslation，M は Mis-translation，O は Over-translation を示す.

表 3 に en-ja 対における翻訳の質の人手評価を 示す. Under-translation と Over-translation については 各モデル間で大きな差異がみられなかった.し かし Mis-translation については Deocder-only の方が Encoder-Decoder より大幅に少ない. この結果から 見ても，人手評価では自動評価と反対に Decoderonly の方が妥当性が良いと評価されることがわ かった.

自動・人手評価の考察 ここでは自動評価手法として COMETを使い，自動評価と人手評価 での妥当性の不一致を分析する．翻訳の質に問題がある例で不一致が起きやすいことがわかっ た. 表 4 に Encoder-Decoder は Mis-translation してい るが，Decoder-only は正確に訳せている例を示す. Encoder-Decoder の出力では「放電」という単語が 存在し,「スクラバする」といった誤った訳が出力 されている. 本来は「discharges」が「放出する」と 訳されるはずであるが，「discharges」を名詞として 捉えてしまったため「放電」と訳されたと考えら れる。一方で Decoder-only の出力は参照訳に近く 流暢かつ妥当である. COMET による自動評価で は Encoder-Decoder は 0.9152, Decoder-only は 0.9055 であり Encoder-Decoder が良い. 人手評価では 4 人全員が Decoder-only のほうが妥当性は高く不一致 が起こっている. 同様の例が Under-translation の時 にも見られた (付録 B).これより COMET では Mis-translation や Under-translation といった翻訳の質 の問題に対応しきれていないと考えられる.

人手評価において Decoder-only は妥当性が良く, Mis-translation が Encoder-Decoder と比べ減ることが

図 2: 各アノテータごとの流暢性と妥当性の関係

表 4: Encoder-Decoder で Mis-translation があり，Decoder-only で Mis-translation が見られなかった例

 &  \\

表 5: 英日対における推論速度の比較

わかった. 多言語モデルの学習に関する既存研究 [21] では， パラメータのシェアが言語横断的なモ デルを学習する上で重要であることが示されてい る. Decoder-only は原言語, 目的言語間でパラメー タをシェアしており, Transformer より言語横断的な 内部表現を学習していると考えられ，これが妥当性 の改善につながったと考察する。

流暢性と妥当性の人手評価の分布を調査した.図 2 に各アノテータごとの流暢性と妥当性の関係 を示す. 横が流暢性を，縦が妥当性の評価結果を 示している. どのアノテータも Encoder-Decoder と Decoder-only の流暢性と妥当性を同程度と判断し ているものが最も多い. 一方, Encoder-Decoder で は流暢性が良いが Decoder-only では妥当性が高い, Encoder-Decoder では妥当性が良いが Decoder-only では流暢性が高いといった極端に性質が分かれる例 は少なかった. これは評価の際に原文と参照訳を併記したためと考えられる. 既存研究 [22]では原文 と翻訳結果，参照訳と翻訳結果による人手評価より も，原文と参照訳と翻訳結果のすべての情報を持っ た人手評価の方が良いと示されている.

推論速度 Decoder-only モデルの問題点として推論速度が挙げられる. 表 5 に英日対における推論速度の比較結果を示す. 推論時に使用した GPU
は NVIDIA A6000 である. ASPEC のテストデータ 1,812 文を推論に用いた。1 秒あたりの処理するトー クン数が Encoder-Decoder では 5537.08，2936.39で あり，推論速度は Encoder-Decoder と比べて 4 倍程度遅くなった. 原因としては，原言語文と目的言語文をタグで結合させているためトークン数が 2 倍 になっていること， causal に処理する部分が 2 倍に なっていることで 1 トークンあたりの処理時間が 2 倍になっていることが挙げられる.この点におい て Decoder-only は Encoder-Decoder よりも推論速度 が遅く，改善が必要である.

## 5 おわりに

本論文では Encoder-Decoder と Decoder-onlyを比較しDecoder の性質を調查した. 流暢性は自動評価と人手評価とともに Decoder-only が高く，妥当性 においても人手評価では Decoder-only の方が良い. これは自動評価とは相反する結果であり翻訳の質 を自動評価では考慮しきれていないと考えられる。 Decoder-only で妥当性が上がった理由としては原言語と目的言語間でのパラメータシェアが挙げられ る.また人手評価において，流暢性と妥当性との関連を示唆する結果となった。一方で Decoder-only の 問題点として推論速度の低下がある。

今後の方針としては Decoder-only モデルに基づい た新たな機械翻訳モデルの開発，機械翻訳タスク以外での Decoder-only モデルの再検討, 翻訳の質を考慮した自動評価手法の検討, 人手評価の流暢性と妥当性との関連の分析が挙げられる.

## 謝辞

人手評価を行なった東京都立大学の榎本大晟さ ん，佐藤郁子さん，中島京太郎さんに感謝いたし ます。

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, NeurIPS, Vol. 27. Curran Associates, Inc., 2014.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30. Curran Associates, Inc., 2017.

[3] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 18771901. Curran Associates, Inc., 2020.

[6] Shuo Wang, Zhaopeng Tu, Zhixing Tan, Wenxuan Wang, Maosong Sun, and Yang Liu. Language models are good translators. arXiv preprint arXiv:2106.13627, Vol. abs/2106.13627, , 2021.

[7] Yingbo Gao, Christian Herold, Zijian Yang, and Hermann Ney. Is encoder-decoder redundant for neural machine translation? In AACL, pp. 562-574, Online only, November 2022. Association for Computational Linguistics.

[8] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[9] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics

[10] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In ICML, pp. 957966. PMLR, 2015.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[12] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, and Marcos Zampieri. Findings of the 2016 conference on machine translation. In WMT, pp. 131-198, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao
Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In LREC, pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In NAACL, pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models. EMNLP, 2022.

[19] Matt Post. A call for clarity in reporting BLEU scores. In WMT, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[20] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, Vol. 5, pp. 135-146, 2017.

[21] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In ACL, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.

[22] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. TACL, Vol. 9, pp. 1460-1474, 2021.

## A ハイパーパラメータ

表 6: Encoder-Decoder と Decoder-only のハイパーパラメータの相違点

## B Under-translation での妥当性の不一致

表 7 に Under-translation で妥当性の不一致が起きた例を示す. COMET による自動評価では Encoder-Decoder は 0.1101，Decoder-only は 0.1342であり Decoder-only が良い。人手評価では 4 人全員が Encoder-Decoder が良 いと判断しており，Decoder-only の翻訳を Under-translation と判断している.「ゴムを用いた」という部分が Decoder-only ではないため妥当性が低いと判断された.

表 7: Under-translation で妥当性の不一致が起きた例

 \\
reference & ゴムを用いてアルミニウム合金管の胴部の一部に枝管を成形する実験を行った。 \\

Decoder-only & アルミ合金管の主管の一部に分岐管を形成する実験を行った。 \\


# 漸進的アプローチでの編集量を制御するニューラル機械翻訳

美野秀弥 衣川和卉 後藤功雄 山田一郎
NHK 放送技術研究所
\{mino.h-gq, kinugawa.k-jg, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

言語生成タスクで現在主流となっているモデルは 最終結果のみ観察可能で，生成結果に対して修正を 加えながら最終結果を出力する漸進的なモデルでは ない。本稿では生成タスクの1つである機械翻訳に 焦点を当て，人間のコンテンツ生成のプロセスを参考にした漸進的アプローチによる制御を考慮した ニューラル機械翻訳の手法を提案する。提案手法は 途中結果を確認できる他, 途中の翻訳結果に対して 編集前後の編集量に応じた制御パラメータを与える ことで生成結果を制御することができる．翻訳実験 の結果，提案手法の翻訳精度は既存手法と比較して 有意な差はなかったが，データごとに適切な制御パ ラメータを与えると有意に翻訳精度が向上した.

## 1 はじめに

ニューラル機械翻訳をはじめとしたテキスト生成 タスクの手法は 1 度に正解を出力するモデルが主流 であり，生成結果を段階的に編集しながら正解を出力することを想定していない. しかし，公開資料作成などのコンテンツ生成時，人間は一度にコンテン ツを完成させるのではなく，段階的にコンテンツを 確認，編集しながら完成させることが多い．例えば 翻訳品質を保証するための要求事項を定めた国際規格である ISO17100では，翻訳，セルフチェック，バ イリンガルチェック, 最終検品などのプロセスが定 められており, 図 1 のように段階的な作業が必須と なっている，そこで，本稿では生成タスクの 1 つで ある機械翻訳に焦点を当て，途中の生成結果を確認 でき，かつ制御可能なニューラル機械翻訳の手法を 提案する。制御は編集前後の編集量とする．提案手法は，翻訳元の文に加えて編集前の機械翻訳結果と 制御パラメータとを入力して編集後の翻訳結果を出力するモデルであり，モデルが出力した翻訳結果と 制御パラメータとを繰り返し同じモデルに入力する ことで最終的な翻訳結果を得る。制御パラメータに

図 1 漸進的な翻訳作業の例.

は編集前と編集後との翻訳結果間の編集距離をべー スにしたスコアを用いる。人間のコンテンツ生成の プロセスを参考にした漸進的なアプローチを用いる ことで途中結果を確認できるだけでなく，途中の翻訳結果に対してどの程度編集すべきか編集距離に応 じたスコアを与えることで編集量を制御することが できる。科学技術論文から抜粋された日英対訳コー パスである ASPEC を用いた日英・英日翻訳実験を 行った結果，提案手法は既存のトランスフォーマー ベースのモデルと比較して翻訳精度に有意な差はな かった。しかし，モデルが出力した機械翻訳結果に 対してデータごとに適切な制御パラメータを与える ことで翻訳精度が向上することを確認した。

## 2 提案手法

## 2.1 漸進的アプローチを用いたニューラル 機械翻訳モデル

本稿では，Reid ら [1]の手法を参考にして漸進的 アプローチを用いたニューラル機械翻訳を提案す る. 図 2 に提案手法が用いるモデルの概要図を示 す. 翻訳元の文を $x$ とし，編集ステップごとの出力 を $y_{1}, \ldots, y_{t}$ とし，最終出力である翻訳結果を $y_{T}$ と する。この一連の編集過程を以下のようにモデル化 して学習する。

$
P\left(y_{T}\right)=\prod_{t=1}^{T-1} p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)
$

$\theta$ は学習パラメータである． $y_{1}$ は編集前のデータが 存在しないため特殊なトークン ([NULL])を用いる. $p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)$ は以下の式で計算する.

$
p_{\theta}\left(y_{t+1} \mid y_{t}, x\right)=p_{\theta}^{g e n}\left(y_{t+1} \mid y_{t}, x, e_{t}\right)
$

図 2 提案手法のモデルの概要図.

$e_{t}$ は制御パラメータであり， $y_{t+1}$ と $y_{t}$ との間のトー クンを単位とした編集距離1)を用いる. $t=1$ の場合 は編集前のデータがない特殊なケースと見なし，制御パラメータも特殊な值 (999) を用いる.

翻訳時は，式 1 に，翻訳元データと途中の翻訳結果と制御パラメータとを併せて入力する．ステップ 数 $T$, および制御パラメータ $e_{t}$ は，開発データを用 いた事前実験により固定する。

## 2.2 学習データの構築方法

提案手法のモデルを学習するためには，（翻訳元 データ，編集前の翻訳結果のデータ，編集後の翻訳結果のデータ）の 3 つ組のデータが必要となる2).一般的な対訳データは（翻訳元データ $s$, 最終的な 翻訳結果のデータ $t$ ）から構成されており，途中の 翻訳結果のデータを入手することができないため，新たに構築する必要がある. 人手による翻訳，編集作業結果を用いることが理想だが，膨大なコストが かかるため現実的ではない。そこで，精度の異なる 複数の機械翻訳器を用い, 下記の手順により既存の 対訳データ $(s, t)$ から擬似的な編集前後の翻訳結果 $u$ を含むデータ対 $((s, u), t)$ を構築する.

1. 機械翻訳器 $\mathrm{A}$ により翻訳元文 $s$ の機械翻訳結果 $u_{A}$ を獲得する.

2. 機械翻訳器 $\mathrm{B}$ により翻訳元文 $s$ の機械翻訳結果 $u_{B}$ を獲得する。
3. $\left(\left(s, u_{A}\right), t\right),\left(\left(s, u_{B}\right), t\right)$ を学習データに追加する。

4. 参照訳 $t$ と機械翻訳 $u_{A}$ の編集距離 $e_{t-u_{A}}$, 参照訳 $t$ と機械翻訳 $u_{B}$ の編集距離 $e_{t-u_{B}}$ を計算し， $e_{t-u_{A}}<e_{t-u_{B}}$ の場合は $\left(\left(s, u_{B}\right), u_{A}\right)$ を， $e_{r-u_{A}}>e_{r-u_{B}}$ の場合は $\left(\left(s, u_{A}\right), u_{B}\right)$ を学習デー タに追加する。

精度の異なる複数の機械翻訳器は，ビームサーチや アンサンブルモデルなどのデコード時の工夫や，学習データを減らして学習することなどにより構築可能である。しかし，ベースの機械翻訳器はビーム幅 を最大値にしたアンサンブルモデルであるため，新

表 1 データセットの概要 (ASPEC).

たに構築する機械翻訳器はベースの機械翻訳器と 比較して精度が低くいものとなり，ベースの機械翻訳器の翻訳結果よりも精度の高い翻訳結果を含む 学習データを構築できない. すなわち，デコード時 の工夫のみで構築した機械翻訳器で作る学習デー タ内の編集後のデータは，参照訳を除くと，ベース の機械翻訳器による翻訳結果よりも高い翻訳精度 のデータとならない. 高い翻訳精度を出すために は，編集前のデータにベースの機械翻訳器の翻訳精度以上の翻訳結果を入力し, 編集後のデータとし て編集前よりも高い翻訳精度の結果を出力する必要があり，この条件を満たす学習データの構築が 必要となる。そこで，目的言語側のデータを特権情報として入力時に与える語彙制約付きニューラ ル機械翻訳器 [2] を用いる. 語彙制約付きニューラ ル機械翻訳器は, 目的言語側の参照訳から複数の 単語を翻訳元文と併せて入力することで翻訳結果 に重要な単語が含まれやすくなる。学習時，翻訳時ともに，出力される単語を入力する必要がある ため，特殊な条件が必要だが，ベースとなる機械翻訳器よりも精度の高い機械翻訳器となっており，目的に合致する。本稿では，美野ら [3] の”Propernoun constraint", "Mistranslated-word constraint", "Both constraints", "Random-word constraint”の語彙制約付 きニューラル機械翻訳で学習データを構築する。

## 3 実験

## 3.1 実験設定

提案手法の効果を確認するため，科学技術論文 コーパス ASPEC [4]を用いた日英・英日翻訳実験 を行った. 本稿では ASPEC の中の対訳として対応度の高い 200 万文を用いた。表 1 に本稿で用い るコーパスの統計データを示す. 英語のデータの クリーニング，および単語分割には Moses toolkit ${ }^{3}$ の clean-corpus-n.per ${ }^{4)}$ ， tokenizer.per1 ${ }^{5)}$ を用いた。日

3) https://github.com/moses-smt/mosesdecoder

4) https://github.com/moses-smt/mosesdecoder/blob/master/scripts/ training/clean-corpus-n.perl

5) https://github.com/moses-smt/mosesdecoder/blob/master/scripts/ tokenizer/tokenizer.perl
表 2 実験結果 (BLEU).

本語の形態素解析には, KyTea [5] を利用した. 各 タスクで語彙数を制限するため，バイトペア符号化（byte pair encoding）を用いたサブワード [6] を 用いた. 語彙数は 46,000 とし, 頻度が 35 以下の 語彙はサブワードに分割した。ニューラル機械翻訳には, Transformer モデル [7]を用い, Sockeye3 [8] で実装した。本稿のモデルの学習には Adam [9] を optimizer として用い，学習率は 0.0002 とした. バッ チ内のデータは 5000 トークン以内になるように 構築した. 翻訳時の各エンコーダへの入力の最大長は設定しなかった。 翻訳時は，ビームサーチを 用い，ビーム幅を 10 とした. ハイパーパラメータ であるステップ数 $T$ と制御パラメータ $e_{t}$ は，開発 データを用いた事前実験6)により，日英について は $\left(T=3, e_{2}=5, e_{3}=3\right)$, 英日については $(T=1)$ と なった ${ }^{7)}$. 翻訳の評価には一般的に用いられてい る自動評価尺度 BLEU [10] を用いた. BLEU スコア の計算には SacreBLEU ${ }^{8}$ [11]を用い, case-insensitive BLEU-4 の結果で評価した. また，サンプル数を 10000 に設定した paired-bootstrap.py9)を用い，BLEU スコアにおける提案手法と既存手法との有意差を調 べた.

## 3.2 比較手法

本稿では，下記の 2 つの手法を比較手法とした。 1つ目は，漸進的アプローチを用いない手法 (従来手法)である． 2 つ目は，漸進的アプローチを用い た手法として，拡散モデルをべースにした，翻訳結果にノイズを混入してデータを構築する手法 [1] (ノ イズ付与)である. 2 つ目の比較手法は，学習デー タの構築方法を比較するための手法であり，翻訳結果に挿入，削除ノイズを加えることで，ノイズを加 えたデータを編集前，ノイズを加える前のデータを 編集後のデータとして（翻訳元データ，編集前の翻

6） 事前実験はステップ数 $\mathrm{T}$ の値を 1-30 にして開発データの翻訳を行い，最も精度の高かった値を $T$ とした。

7）制御パラメータ $e_{1}$ は特殊トークン 999 で固定.

8) https://github.com/mjpost/sacrebleu

9) https://github.com/neubig/util-scripts/blob/master/pairedbootstrap.py表 3 データごとに制御パラメータを与えた翻訳結果.

訳結果のデータ, 編集後の翻訳結果のデータ）の学習データを構築する。

## 3.3 実験結果

表 2 に実験結果を示す. 有意差検定を行った結果従来手法と比較して有意な差は確認できなかっ たが，日英翻訳タスクについては従来手法よりも BLEU スコアが高くなった. 英日では，開発データ を用いた事前実験の結果ハイパーパラメータである ステップ数 $T=1$ となってしまい，最初のステップ $(t=1)$ による翻訳のみが行われ，翻訳結果に対する 編集は行われなかった。

参照訳にランダムにノイズを含ませることで学習 データを構築する手法 (ノイズ付与) は翻訳精度が 有意に低下した。この手法は低コストで大量の学習 データを構築可能だが，翻訳時には入力される可能性のない学習データが大量に含まれるおそれがあ る.これらのデータが学習時のノイズとなり精度が 低下したと考えられる。

初期ステップに従来手法の結果を入力するモデル 英日タスクにおいて提案手法の BLEU スコアが低下した原因として，最初のステップ $(t=1)$ で翻訳 ( $x_{1}$ の生成) を行い 2 回目以降のステップで編集を 行っており，翻訳と編集の 2 つのタスクを取り扱う モデルとなっているために翻訳のみに特化した従来手法よりも性能が低下したと考えられる. そこで， $x_{0}$ に [NULL] ではなく，従来手法の結果を用いた場合のモデル（提案手法+初期值修正）で実験を行っ た. 表 2 より，提案手法と同様に，従来手法と比較 して有意に精度が向上することはなかったが，日英 では BLEU スコアが向上したことに加え，英日では 従来手法の結果をそのまま出力することで翻訳精度 の低下を防ぐモデルとなった。

## データごとに適切な制御パラメータを与えた場合

提案手法は，翻訳時の制御パラメータはあらかじ め開発データをもとにタスクごとに固定値を与え た。しかし，実際には適切な制御パラメータはデー タごとに異なるはずである。 そこで，文ごとの適切 な制御パラメータが分かっていると仮定し，文ごと に参照訳との編集距離を算出してそれをオラクル値 として与えた場合の結果を表 3 に示す. その結果，
表 4 大きな制御パラメータ值を与えた翻訳結果.

 &  \\

日英，英日ともに，従来手法と比較して有意に精度 が向上した。提案手法は文ごとに制御パラメータを 推定するようなモデルとはなっていないが，制御パ ラメータを推定する機構を組み込むことで精度向上 が期待できる.

## 制御パラメータによる編集制御

提案手法は，開発データを用いて制御パラメータ を設定した結果小さい値となったが，制御パラメー タを大きくすることで正確性や流暢性をある程度維持しつつ，バリエーションのある翻訳結果を生成で きる可能性がある．そこで，英日タスクで大きな制御パラメータ値を与えてテストセットを翻訳した。表 4 に例を示す. \#1 の例では, 編集前後で文の構造が変わり，編集後の翻訳結果が編集前と比較して 参照訳の構造に近づいていることが分かる。 \#2 の 例では, 編集前の翻訳結果の方が参照訳に近く, 編集後の翻訳結果の「この方法によって得られたデー タについて報告した」の部分が過剩訳となっている ことが分かる．翻訳元にはない情報が過剩訳となる ことで意味が変わってしまい \#3 の例では，＃2 の例 とは異なり，編集後の翻訳結果に訳抜けが生じてい る.「励起光強度依存性の詳細解析により」の訳抜 けについては意味が変わることはないが，「判断し た」の訳抜けは意味が変わってしまい問題である. \#1 の例のように，正確性が損なわれなずに文の構造を変えることができればよいが，＃2 や＃3 の例の ように意味が変わる例もある。翻訳結果のバリエー ションが増やせない単純な文について過剰訳や訳抜 けになる傾向があると考えられる，今後，人手評価 を行い，より詳細な分析を行いたい。

## 4 関連研究

ニューラル機械翻訳には，トランスフォーマー ベースの自己回帰的なモデル [7] に加え，非自己回帰的なモデル [12]も提案されている. 非自己回帰的なモデルの 1 つである Levenshtein Transformer [12] はトークンを並列に予測するプロセスを繰り返すこ とで翻訳を行う．このモデルは，並列計算が可能と なり高速な翻訳を実現するだけでなく, 反復ステッ プにより自動ポストエディットなどのタスクにも有効であることを示したが，翻訳精度は自己回帰的モ デルを下回る.

Reid ら $[1,13]$ は，自己回帰モデルを用いて段階的に編集を行うテキスト生成モデルを提案し [13], それを拡張して拡散モデルベースの生成モデル DIFFUSER を提案した [1]. 提案手法は Reid ら [1] の手法を参考にしているが，参照訳にノイズを付与 して対訳データを作成してノイズを除去するように 学習する拡散モデルを用いず，順方向の機械翻訳器 を用いて対訳データを作成している。

## 5 おわりに

本稿では，翻訳元の文と機械翻訳結果とを入力し て新たな機械翻訳結果を出力する，漸進的なアプ ローチを用いたニューラル機械翻訳を提案してその 効果を検証した．翻訳実験の結果，提案手法が既存手法と同等の精度を出すことを確認した。また，入力する機械翻訳結果の品質評価を適切に行うことが できれば，既存手法よりも精度が向上することを確認した. 今後は，文ごとに適切な制御パラメータを 推定できるような品質評価の機構を組み込んだモデ ルを考案・実装したい，また，本稿では，学習デー タの構築時に, 学習データの目的言語文と機械翻訳結果との編集距離をもとにした制御パラメータを用 いたが，編集距離を挿入，削除，置換に細分化した 制御パラメータを用いることでより細かな制御が可能となると考えられる。適切な制御パラメータを検討して効果を確認していきたい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです.

## 参考文献

[1] Machel Reid, Vincent J. Hellendoorn, and Graham Neubig. Diffuser: Discrete diffusion via edit-based reconstruction, 2022. arXiv preprint arXiv:2210.16886.

[2] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, pp. 3587-3593. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[3] Hideya Mino, Kazutaka Kinugawa, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. NHK's lexicallyconstrained neural machine translation at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 46-52, Online, August 2021. Association for Computational Linguistics.

[4] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation, pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association.

[5] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[6] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast neural machine translation with pytorch, 2022. arXiv preprint arXiv:2207.05851.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.
[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[13] Machel Reid and Graham Neubig. Learning to model editing processes. In Conference on Empirical Methods in Natural Language Processing (EMNLP), Abu Dhabi, UAE, December 2022.


# 事前学習モデルと固有名詞の事後置き換えを用いた 日本語から手話への機械翻訳

宮崎太郎中谷真規 内田翼 金子浩之 佐野雅規
NHK 放送技術研究所
}

\{miyazaki.t-jw, nakatani.n-ge, uchida.t-fi, kaneko.h-dk, sano.m-fo\}@nhk.or.jp
## 概要

手話は先天的あるいは幼少期に聴覚を失った人に とって第一言語であり，それらの人に対する情報提供には手話を用いるのが望ましい。我々は手話での 情報提供をより拡充するために，手話 CG の自動生成システムの開発を進めている。本稿では，手話の 自動生成に用いる日本語-手話の機械翻訳手法につ いて述べる。

手話は対訳コーパスの作成が難しいため，既存の 比較的小規模のコーパスからより良い翻訳精度を得 るために，提案手法では翻訳モデルの Encoder に事前学習モデルを用いる。また，手話では固有名詞の 表現方法が複雑なため, 辞書や固有名詞に特化した 翻訳手法を用いて事後的に固有名詞部分の置き換え をするのが望ましい，そこで，翻訳モデルを用いて 翻訳した後に，得られた翻訳結果と入力の日本語文 から，日本語の固有表現が手話のどの部分に翻訳さ れたかを推定し，固有表現を後から置き換える手法 を提案する。

## 1 はじめに

先天的あるいは幼少期に聴覚を失った人にとっ て，手話は第一言語であり，日本語などの音声言語 やその書き起こしよりも理解がしやすい重要なコ ミュニケーション手段である。そのような人たちに 対して重要な情報を提供する際には，手話を用いる ことが望ましい，総務省が週に 15 分以上の手話放送の実施を普及目標に定めるなど，放送分野におい ても手話による情報提供の拡充が求められている [1].

手話番組を実施するためには番組の音声を手話に 翻訳する手話通訳者の確保などが必要であるが，放送をリアルタイムに翻訳できる手話通訳者の数は限 られており，現状では手話番組の大幅な拡充は難し

図 1 手話 $\mathrm{CG}$ 生成システム概要図

い.そこで，NHKでは日本語の文章を自動で手話に 翻訳する手話 $\mathrm{CG}$ アニメーション（以下，手話 $\mathrm{CG}$ ) の自動生成技術の研究を進めている。これまでに気象情報やスポーツ情報などを対象として，事前に翻訳した定型的な手話表現をテンプレート化し，デー タと組み合わせて手話 $\mathrm{CG}$ を自動生成する技術を 開発してきた $[2,3]$. これらのサービスは定型的な データを基に正確な手話 $\mathrm{CG}$ を生成できる反面，変換できる情報が限定されており，日々のニュースな どの情報を翻訳することはできなかった。我々はよ り幅広い情報を手話 CG に変換するために，機械翻訳を用いた手話 $\mathrm{CG}$ 生成技術の研究を進めている。

機械翻訳を用いた手話 $\mathrm{CG}$ 生成システムの概要図 を図 1 に示す。入力の日本語は機械翻訳技術により 手話単語列に翻訳される. 手話の表現に必要な各単語の動作データはあらかじめモーションキャプチャ により作成してあり，翻訳結果にあわせて動作デー タをつなぎ合わせることで手話 CG が生成できる.

ここで用いる日本語から手話への機械翻訳の課題として，まず学習データの少なさ，ドメインの偏 りが挙げられる。手話はそもそも書き言葉がないた め，機械翻訳の学習データとして使えるような対訳 コーパスが少なく，手話による情報提供がなされて いる分野が限られているため，ドメインには偏りが 生じる. さらに，手話書き起こしの表記方法が用途

や制作者によって異なるため，他者が作成したコー パスをそのまま使うことが難しい. その他の課題と して, 固有表現の翻訳が難しいことが挙げられる。一般の書き言葉であれば固有表現はその発音を基に 音訳したものを用いることができる。一方，手話で は例えば「佐野」という人名は「サノ」という発音 を表す指文字を使用するなど音訳で対応できるもの もあるが，「宮崎」という人名はそれぞれの文字の 意味を基にして翻訳した「宮（神社）」と「先」の 2 単語で表すなど，さまざまな表現方法を組み合わせ て表現される. そのため, 固有名詞の翻訳には固有名詞に特化した翻訳手法が必要であり，それを用い るためには, 文全体の翻訳結果の固有名詞部分を置 き換えることが必要となる.

本稿では，コーパスの少なさを補うための事前学習モデルを用いた機械翻訳手法に，固有名詞をより 正確に表現するための事後置き換えを組み合わせた 翻訳手法を提案する。

## 2 関連研究

## 2.1 プレースホルダーを用いた置き換え

Luong et al.[4] は翻訳が難しい未知語や低頻度語を プレースホルダーに置き換えて翻訳することで，こ れらの翻訳誤りを防ぐ手法を提案した. プレースホ ルダーを用いた翻訳は多くの研究で取り入れられて おり，良好な翻訳性能が報告されている $[5,6]$

これらの手法では，我々がターゲットとしている ニュースなどに頻出し，かつ重要な語句である固有表現の翻訳誤りを軽減可能であるが，プレースホル ダーに置き換えたコーパスから翻訳モデルを学習す る必要がある.

## 2.2 事前学習モデルを用いた翻訳

BERT[7] や RoBERTa[8] などの事前学習モデルを 用いた機械翻訳手法も多く報告されている.

Imamura et al.[9] は BERT を翻訳モデルの Encoder として利用することで, 特に学習データが少ない言語対の翻訳時に翻訳性能が向上することを示した [9]. 本稿では基本となる翻訳モデルにこの Imamura et al. が提案したモデルとほぼ同一のものを用いる.

Clinchant et al.[10] は事前学習モデルを Encoder と して用いることで，単純に BLEU スコアなどの翻訳性能が向上するだけでなく, 学習データと異なるド メインの文章の翻訳性能を向上する効果があるこ

図 2 翻訳モデルの概要

とを示した。また，Zhu et al.[11] は学習データのみ から学習した Encoder と事前学習モデルを Attention Mechanism を用いて組み合わせることにより翻訳性能の向上を実現した.

事前学習モデルは機械翻訳の性能向上に大きな効果が期待できるが，一方で扱うことができる語彙が 事前学習モデルの語彙に限定されるため，プレース ホルダーに置き換えた学習が難しい。

本稿では，事前学習モデルを用いて学習データの 少なさを補いつつ，プレースホルダーを用いた固有表現の置き換えと同様の後処理を可能とすること で，翻訳性能の向上とともに，ニュースで現れる新語や専門用語への対応を可能とすることを目指す.

## 3 翻訳手法

提案手法は，ベースとなる翻訳モデルによる機械翻訳と，翻訳結果の事後置き換えの 2 つのブロック からなる。以下でそれぞれについて説明する。

## 3.1 ベースとなる翻訳モデル

Transformer を用いた Encoder-Decoder モデル [12] をべースとし, Encoder 部に事前学習モデルを用い たものを利用する. 図 2 に翻訳モデルの構成を示 す. 入力日本語 $S=\left.\{s_{1}, s_{2}, \ldots s_{n_{s}}\right.\}$ を事前学習モデ ルからなる Encoderに入力し, 各単語に対応する ベクトル表現 $H=\left.\{h_{s_{1}}, h_{s_{2}}, \ldots h_{s_{n_{s}}}\right.\}$ を得る.このと き， $n_{s}$ は $S$ の Token 数を表す. Decoderには，最初 は文頭を表す記号（図中の $B O S$ ) と, Encoder から の $H$ を大力し, 一単語ずつ次の単語を予想するよう にして翻訳終了を表す記号（図中の EOS）が出力さ れるまで翻訳する。

## 3.2 翻訳結果の事後置き換え

3.1 節で述べた翻訳モデルを用いて，対象とする 入力言語側の固有表現が翻訳結果のどの単語に翻訳 されたかのスコアを計算する。翻訳結果から，この スコアが最大となる部分を辞書などにより置き換え ることで，翻訳結果の事後置き換えを実現する。

入力文 $S$ 中の $n$ から $n^{\prime}$ 番目の単語からなる $S_{n}^{n^{\prime}}$ が置き換えたいフレーズであるとする。この $S_{n}^{n^{\prime}}$ を Encoder に入力した場合に，翻訳結果 $T$ 中の $m$ から $m^{\prime}$ 番目までの単語からなるフレーズ $T_{m}^{m^{\prime}}$ に 翻訳される尤度 $p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ を翻訳モデルから求め る. 具体的には, $T_{m}^{m^{\prime}}$ 中の単語 $t_{\tilde{m}}$ が出力される尤度 $p\left(t_{\tilde{m}} \mid T_{m}^{\tilde{m}-1}, S_{n}^{n^{\prime}}\right)$ は, Encoderに $S_{n}^{n^{\prime}}$ を, Decoder に BOS と $T_{m}^{\tilde{m}-1}$ を入力したときに単語 $t_{\tilde{m}}$ が出力される 尤度として計算ができる. $T_{m}^{m^{\prime}}$ の各単語と翻訳終了 をあらわす EOS が出力される尤度を算出し, 相乗平均を取ったものを部分翻訳尤度 $p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ とする。

$
\begin{aligned}
& p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)= \\
& \left(\left(\prod_{k=m}^{m^{\prime}} p\left(t_{k} \mid T_{m}^{k-1}, S_{n}^{n^{\prime}}\right) \times p\left(\mathrm{EOS} \mid T_{m}^{m^{\prime}}, S_{n}^{n^{\prime}}\right)\right)^{\frac{1}{m^{\prime}-m+2}}\right.
\end{aligned}
$

この部分翻訳尤度を用いて，翻訳元の文中の $S_{n}^{n^{\prime}}$ が翻訳結果中の $T_{m}^{m^{\prime}}$ に翻訳された確度を表す $\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ を以下のようにする.

$
\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)=p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)-\bar{p}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)
$

ここで， $\bar{p}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ は，入力文 $S$ から $S_{n}^{n^{\prime}}$ を除去し たものを Encoder に入力した場合に，翻訳結果 $T$ の $T_{m}^{m^{\prime}}$ を除去した部分が出力される部分翻訳尤度を表 し，これも翻訳モデルから算出する。

入力 $S_{n}^{n^{\prime}}$ に対して $\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ が最大となる $m, m^{\prime}$ について, $S_{n}^{n^{\prime}}$ が $T_{m}^{m^{\prime}}$ に翻訳されたものもある とみなし，翻訳結果 $T$ 中の $T_{m}^{m^{\prime}}$ を辞書により置き換 える。

## 4 実験条件

## 4.1 手話ニュースコーパス

評価実験には，NHKで作成している手話ニュース コーパスを用いた. 手話ニュースコーパスは NHK で放送している「手話ニュース」を 2009 年 4 月か ら収集したもので，番組の日本語音声の書き起こし と, 手話映像, 手話映像の書き起こしを約 160,000 文対が含まれている. 手話映像の書き起こしは, 手表 1 手話ニュースコーパスの例.

日本語気象庁は周囲の状況を確認し，できるかぎり 安全を確保するよう呼びかけています。

$\mathrm{N}$, 天気, 庁, p t 3, 宣伝, N, みんな,

手話状態, 調べる, $\mathrm{N}$, できる, だけ, すべて,落ち着く 1 , 守る 1 , 頼む 1 ，頭を下げる]，宣伝, p t 3, N

話ニュース中の手話映像を基に，ろう者や CoDA ${ }^{11)}$ により単語ごとに書き起こしている。書き起こしの 例を表 1 に示す. 表中の手話書き起こしは，カンマ 区切りで手話単語列を表記している。 $\mathrm{N}$ はうなずき を，pt 3 は指差しをそれぞれ表し， [頭を下げる] は $\mathrm{NMMs}^{2}$ )を表す。また，「落ち着く1」などの単語末尾に付与された数字は，同じ意味を持つ複数の手話単語の分別用に付したもので，「新日本語-手話辞典」[13]に準拠している.

今回はこの中から固有表現（地名，組織名，人名）が含まれる 69,776 文を実験に用い，学習データ が 66,776 文，開発データが 2,000 文，評価データが 1,000 文となるようにランダムに分割した. 事前に 文中に出現する固有表現を人手により抽出し，日本語-手話の間での固有表現の表現の対応付けをした.

## 4.2 実験設定

翻訳モデルなどの実装には Pytorch[14] と Transformers[15] を用いた. 提案手法の Encoder に 用いる事前学習モデルには rinna 株式会社が公開 している japanese-roberta-base[16]を，Decoderには 6 層の Transformer Decoder を用いた. モデルの最適化には RAdam[17] を用い，Decoder 部の学習率を $1.0 \times 10^{-3}$, 事前学習モデルを用いた Encoder 部の学習率を $2.0 \times 10^{-5}$ とした。学習エポック数を最大 20 として開発データの BLEU 值が最大となるモデルを 評価に用いた。学習はそれぞれのモデルについてラ ンダムシードを変えて 3 回行い，その中で最高の性能となるモデルを用いて評価した. デコード時には Beam 幅 10 の Beam Searchを用いた。

手話の語彙は，学習データ中に 3 回以上出現する 全単語からなる 8,767 とした. これに含まれない単語は，学習時点で OOV に変換して学習した。

手話ではうなずきや指差しなど，機能語として用 いられ固有名詞には出現しない単語がある.今回の 実験では，固有名詞の事後置き換えの際に，これら
聴者でかつ第一言語が手話の人のことを指す。

2） Non-Manual Markers: 手指以外を用いて意味を表現する動作.

の機能語が先頭や末尾につくフレーズは日本語の固有名詞と対応付けないルール処理を加えた。

手話では固有表現の表現摇れが大きい，今回は表現摇れによる影響を排除するために，固有表現の置 き換え辞書には，事前に対象となる評価用の文対ご とに人手で日本語-手話の間での固有表現の対応付 けをしたものを用いた。

## 4.3 ベースライン手法

事前学習モデルを用いない No Pre-train，プレー スホルダーを用いる Placeholders の 2 種類の翻訳 モデルをベースラインとして性能を比較する。な お，提案手法の事前学習を用いる翻訳モデルは以下 では With Pre-train と表記する. No Pre-train と With Pre-train では 3.2 節で述べた固有名詞の事後置き換 えをした場合，しない場合の 2 パターンについてそ れぞれ性能を比較する。

No Pre-train 事前学習モデルを使わず，学習デー タのみから翻訳モデルを学習する。翻訳モデルには 6 層の Transformerを用いた. 学習率は最適な結果が 得られた $5.0 \times 10^{-4}$ とした。

Placeholders No Pre-train と同様のモデルを用 い，学習時に固有表現を人名，地名，組織名それぞ れ異なるプレースホルダーに置き換えて学習する。 デコード時には固有表現をプレースホルダーに置き 換えて翻訳した上で，翻訳結果のプレースホルダー を事後処理で置き換える。このモデルのみ，最適化 には予備実験で最適な性能を得た AdamW[19] を用 い，学習率を $3.0 \times 10^{-4}$ とした.

## 5 実験結果

## 5.1 翻訳性能の評価

表 2 に実験結果を示す. 提案手法 (With Pre-train,固有表現置き換え後) が全体で最もよい性能を示し た.これは，事前学習モデルを用いた翻訳性能の向上と固有名詞の事後置き換えの両方の利点が活用で きたためと考えられる.

No Pre-train と with Pre-train を比較すると，事前学習モデルの使用と固有表現の置き換えの使用により それぞれ翻訳性能が向上したことがわかる。また， Placeholders とその他の手法の比較により, 特別に プレースホルダーを用意しなくても，翻訳モデルか ら得られる翻訳尤度を用いた置き換えで十分に固有表現の置き換えが可能であることが示された.

 &  \\

## 5.2 固有表現の日本語-手話対応付け

3.2 節で述べた固有表現の対応付けの性能評価を 行った. 提案手法で得られた対応付けが正解データ と完全一致した場合を正解とした場合の正解率は $71.7 \%$ (正解: 1,029 , 誤り: 407) であった. 誤りで最 も多かったのが，手話で固有名詞の直後につける固有表現の種類を表す単語を出力に含める誤りであっ た. 例えば日本語の「宮崎」は，手話では「宮（神社)」「先」という $2 \supset の$ 手話単語で表現するが，こ のあとに人名か地名かを区別するために，地名であ れば「場所」，人名であれば「彼」「彼女」という単語を後ろにつけて表現する場合がある。この，「場所」や「彼」「彼女」を固有名詞に含めて出力してし まう誤りである.この種類の誤りが 88 回発生した. ついで多かったものが，「周辺」や一帯をあらわす 「みんな」など，地名と組み合わせて範囲を表現す る単語を固有表現の一部として出力する場合であっ た.これは 59 回発生した. これらはパターン化可能なため, ルール等で対応が可能である.

これ以外の誤りも含め, 誤りの多くは 1 単語の過不足によるもので，翻訳結果に大きく影響するほど の誤りは少なかった。

## 6 おわりに

本稿では日本語から手話単語列に翻訳する機械翻訳手法について述べた. 翻訳モデルの Encoder に事前学習モデルを用い，また，プレースホルダーを使 わずに事後的に固有表現を置き換える翻訳手法を提案した. 提案手法はベースライン手法と比較して良好な翻訳性能が得られることを確認した。

今後の課題として, 今回の実験では固有表現に対 する手話の表現摇れの影響を排除するために，評価 データの文対ごとにそのデータから作成した誤りの ない辞書を使用したが，これを一般に使える辞書に 変更した場合の性能を確認する必要がある。また,翻訳性能にも直結する翻訳元と翻訳結果の間での固有名詞の対応付け部分について，専用のモデルを用意するなど，性能向上を図りたい.

## 参考文献

[1] 総務省. 放送分野における情報アクセシビリティに 関する指針, 2018.

[2] Tsubasa Uchida, Taro Miyazaki, Makiko Azuma, Shuichi Umeda, Naoto Kato, Hideki Sumiyoshi, Yuko Yamanouchi, and Nobuyuki Hiruma. Sign language support system for viewing sports programs. In Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility, pp. 339-340, 2017.

[3] Makiko Azuma, Nobuyuki Hiruma, Hideki Sumiyoshi, Tsubasa Uchida, Taro Miyazaki, Shuichi Umeda, Naoto Kato, and Yuko Yamanouchi. Development and evaluation of system for automatically generating sign-language cg animation using meteorological information. In International Conference on Computers Helping People with Special Needs, pp. 233-238. Springer, 2018.

[4] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Soichiro Murakami, Makoto Morishita, Tsutomu Hirao, and Masaaki Nagata. NTT's machine translation systems for WMT19 robustness task. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 544-551, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Bosheng Ding, Junjie Hu, Lidong Bing, Mahani Aljunied, Shafiq Joty, Luo Si, and Chunyan Miao. GlobalWoZ: Globalizing MultiWoZ to develop multilingual task-oriented dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1639-1657, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November
2019. Association for Computational Linguistics.

[10] Stephane Clinchant, Kweon Woo Jung, and Vassilina Nikoulina. On the use of BERT for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 108-117, Hong Kong, November 2019. Association for Computational Linguistics.

[11] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, and Tieyan Liu. Incorporating bert into neural machine translation. In International Conference on Learning Representations, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[13] 日本手話研究所 (編) 米川明彦（監修）. 新日本語手話辞典. 全日本䆍唖連盟出版局, 2006.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[16] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[17] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2019.

[18] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.


# ニューラル機械翻訳のためのノイズ寛容なアンカー学習

根石 将人
東京大学大学院 情報理工学系研究科
neishi@tkl.iis.u-tokyo.ac.jp

## 概要

機械翻訳モデルの学習に用いられる大規模な学習データは収集方法ゆえにノイズデータを含み、そ れらはモデルの性能低下を引き起こす。本研究は、 SVM モデルに打いて提案されたノイズデータがモ デルに及ぼす悪影響を低減するアンカー学習手法に 注目し、これをニューラル機械翻訳 (NMT) 亿導入 することを試みる。実装上問題となる計算コストを 抑えるアンカー表現手法を、ランダムグルーピング 手法と組み合わせ手法の 2 通り提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクでそ の効果を確認した。

## 1 はじめに

高品質な NMT モデルの学習には大規模な対訳文対データが必要であるが、そのようなデータは Web クローリングなどで自動収集されているために対訳関係にないノイズデータが含まれ、これが翻訳モデ ルの品質低下を引き起こすことが知られている [1]。

この問題に対処するため、Conference on Machine Translation (WMT) では 2018 2020 年にかけて対訳 コーパスフィルタリングに関する Shared Task が開催された $[2,3,4]$ 。これらの Shared Taskを通して提案されたフィルタリング手法を用いて、Herold ら [5] は独語から英語の翻訳タスクにおいて合成混入させ たノイズデータの内多くの種類について 90\%以上の 除外成功したと報告している。しかしながら、 イズの種類によっては除外精度が 70\%程度に過ぎ ず、またクメール語から英語のタスクにおいては全体的に精度が低下した。現状のフィルタリング手法 ではノイズデータは除外しきれず、また認識されて いる種類以外のノイズデータの存在も考えられる。

そこで本研究では、Goldberg ら [6]がサポートベ クタマシン (SVM) [7]を用いた分類タスクのために 提案したアンカー学習に注目した。SVM は二値分

\author{
吉永 直樹 \\ 東京大学 生産技術研究所 \\ ynaga@iis.u-tokyo.ac.jp
}

(a) SVM モデルにおけるアンカー学習 [6]

(b) NMT モデルにおけるアンカー学習 (提案手法)

図 1:2つのモデルにおけるアンカー学習

類を行う識別モデルで、学習データとして特徴量べ クトルと二値分類ラベルを使用する。アンカー学習 では、この特徴量ベクトルに各学習データ固有の新 たな特徵量 (アンカー特徵量) を追加し拡張する (図 1a)。この新たに追加されたデータ固有の特徵量に よって、各データがその他のデータに対して線形分離可能になる。これによりSVM モデルは、元々の 特徴量から出力の推論が難しい場合においても、ア ンカー特徴量から正解の出力を推論することを丸覚 えする選択肢が与えられる。こうしてアンカー学習 は、誤った入出力関係をもつノイズデータからの学習におけるモデルへの悪影響を低減し、モデルの性能を向上させることが期待できる。

なお、正確にはアンカー学習は入力から出力の推論が難しい場合 (hard-to-learn cases) に対応しており、 これは翻訳タスクでの例としては低頻度な慣用句 などの厳密にはノイズデータではない場合も含む。本研究では便宜的にそのような場合も含めノイズ データと呼称し、一方で入力から出力の推論が易し いデータを綺麗なデータと呼称する。
本研究では、系列変換モデルを用いた機械翻訳夕 スクを対象としたアンカー学習を提案する。機械学習モデルおよび入力データ形式の違いから、個々の 学習データを弁別化するアンカーとして、アンカー 特徴量ではなくアンカートークンを導入する。ま た、ナイーブにはアンカーは学習データと同数用意 する必要があるが、大規模な学習データを用いる場合にアンカートークンの数が爆発し膨大な計算資源 を必要とする問題がある。この解決のために本研究 では、ランダムグルーピング手法と組み合わせ手法 の 2 種類のアンカートークン手法を提案する。

実験は ASPEC 英日翻訳と WMT2017 英独翻訳の 2つの翻訳タスクでノイズデータを混合したデータ セットで行い、組み合わせ手法によるアンカー学習 が、計算コストの増加を抑えつつ翻訳の BLEU スコ アを向上させることを確認した。

## 2 系列変換モデルのための アンカー学習

本研究では、SVM 分類タスクで提案されたアン カー学習を、系列変換モデルを用いた機械翻訳タス クに導入するのだが、機械学習モデルや学習データ の形式およびデータ数の違いにより、そのままでは 適用出来ない。SVM モデルの入力データは高次元疎ベクトルであり、一方で系列変換モデルの入力は 低次元密ベクトルの系列である。また、SVMによ る分類タスクに比べて機械翻訳のような生成タスク は、一般に学習データ数が大きい。

まず機械学習モデル及びデータの形式の違いに 対応するため、アンカー特徴量の代わりにアンカー トークン (もしくはアンカーベクトル)を導入する (図 1b)。アンカートークンは、モデルの通常入力で ある単語やサブワードなどと同様に扱い、通常入力 に連結することでモデルへ入力する。一方、アン カーは基本的には学習データと同数必要なため、大規模な学習データに対してはアンカーの数が大きく なり、それに対応してアンカートークンをベクトル へ変換する埋め込み層のパラメータ数が増大し、学習時の計算コストが莫大になる問題がある。この学習データサイズの問題に対して、用意するアンカー トークン数を削減する 2 つの手法を提案する。

## 2.1 アンカートークン数削減のための アンカー表現手法

ランダムグルーピング手法 アンカートークン数削減の一つ目の手法として、一つのアンカートーク ンを複数の学習データ間で共有するランダムグルー ピング手法 (RGA: Random Grouping Anchor)を提案 する。この手法では用意するアンカートークンの 数 $N_{g}$ をハイパーパラメータとして設定し、各学習 データに対してランダムにアンカートークンを割り 当てる。

アンカーは本来学習データと同数求められるが、学習データはノイズデータのみならず綺麗なデータ も含み、この綺麗なデータにはアンカーは不要であ る。またノイズデータと綺麗なデータが同一のアン カーを共有している場合、アンカーがノイズデータ の推論に役立つよう学習されることで、逆に綺麗な データについてはアンカーを無視するような学習が 促進される効果も期待できる。しかしながら複数の ノイズデータが同一のアンカーを共有する可能性も あり、この場合は期待されるノイズ低減効果は得ら れず、用意するアンカートークンの数については学習データ中のノイズデータの数や割合を念頭に適切 に調整する必要がある。

組み合わせ手法 ランダムグルーピング手法はア ンカートークンの数を大幅に削減するものの、アン カートークン数は学習データに対して比例の関係に 過ぎない。そこで学習データのさらなる増加に対応出来るように、単一のアンカートークンではなく、複数のアンカートークンの系列をアンカーとして使用する組み合わせ手法 (CA: Combination Anchor) を 提案する。組み合わせ手法では、各学習データに固有のアンカーを用意するために、限られた数のアン カートークンを用意し、それらを組み合わせたアン カートークン系列をアンカーとして利用する。例え ば 32 個のアンカートークンを用意し、系列長を 3 とした場合、 $32^{3}=32768$ 個までの学習データに対し て固有アンカーを割り振ることが出来る。本研究の 実装ではハイパーパラメータとしてアンカートーク ン数 $N_{c}$ のみを設定し、系列長は学習データ数に足 りる最小值を採用した。

組み合わせ手法では系列を構成するアンカートー クンはそれぞれ複数回使用されるため、アンカー トークン系列同士も類似した表現になる可能性があ る。この問題の解決、さらにランダムグルーピング 手法と条件を揃える為に、組み合わせ手法には回帰型ニューラルネットワーク (RNN) を導入し、アン カートークン系列を単一のアンカー表現に変換す る。結果として NMT モデルのパラメータ数は若干
増加するが、学習データと同数のアンカートークン を用意する場合やランダムグルーピング手法と比較 して、増加量は大幅に抑えられる。

## 2.2 アンカートークンの入カ方法

NMT モデルへのアンカートークンの入力箇所と して、エンコーダ側の入力の先頭および最後尾、ま たデコーダ側の入力の先頭の 3 箇所が候補として考 えられる。本研究では、テキスト以外の情報を系列 に追加する先行研究 $[8,9,10,11]$ を踏まえ、先頭を 採用する。またエンコーダ側へのアンカーの入力で は、アンカー情報がエンコーダ内部で入力文との相互処理を経て文脈化され、アンカーがより有用な情報を所持することが期待できる。デコーダ側先頭へ の入力はこれが期待できないため、本研究ではエン コーダ側の入力の先頭を入力箇所として採用する。

アンカーによる推論を補助する情報の追加は、所謂 prompt 手法 [12] と類似しており、特に追加する 情報自体を学習するという点では soft prompt [13] と 同じである。しかしながらメインのモデルの学習と 同時に追加情報であるアンカーを学習する点、また タスク毎ではなく学習データの事例毎に追加情報を 用意する点に違いがある。

先行研究 [6] を参考に、アンカートークンは学習時のみに使用し、推論時は通常通りアンカートーク ンは存在しないまま処理を行う。本研究では NMT モデルとして Transformer[14] ベースのモデルを利用 するが、オリジナルのモデルで使用する絶対的な位置情報では、学習時には常にアンカートークンが特定の位置にあるのに対して、推論時にその特定の位置にアンカートークン以外のトークンが現れるとい う不整合が起きる。これを避けるために本研究では 相対位置に基づく Transformer [15] を採用する。

## 3 実験設定

提案手法が、NMT モデルの学習においてノイズ データの悪影響を低減する効果を確かめるため、2 つの翻訳タスクにおいて実験を行う。学習データと しては、綺麗と見做されているデータセットとノイ ズデータが多いと見做されているデータセットの両方を用意する。基本の実験として両方のデータセッ トを混合したデータセットを用いるが、綺麗と見做 されているデータセットにもノイズデータが含まれ ていることを考慮し、これを単一で用いた場合での 実験も行う。

## 3.1 モデル

NMT モデルとして、PyTorch ${ }^{1)}$ (ver. 1.12.0) で実装 した相対位置を利用する Transformer[15]を用いる。提案手法の実装のために、アンカートークンおよび アンカートークン用の単語埋め込み層、また組み合 わせ手法における RNN として単一の GRU 層をエン コーダに追加実装した。モデルのハイパーパラメー タについては概ね Vaswani らの Base モデル [14] に 従い、また相対位置べクトルの最大距離についての パラメータ $\mathrm{k}$ は 16 とした。

提案手法に関するハイパーパラメータとして、 ランダムグルーピング手法については、用意する アンカートークンの数がノイズデータとされる データの数のおよそ $1,10,100 \%$ となる場合を実験 する。組み合わせ手法のアンカートークン数につい ては、アンカートークン系列長が 3 4 程度となる $N_{c}=128,256,512$ の場合を実験する。

## 3.2 データセット

翻訳タスクとして ASPEC[16] による科学技術論文ドメインの英日翻訳と、WMT2017 [17] による ニュースドメインの英独翻訳を用いる。

ASPEC データセットについては、英語のデー タは Moses toolkit ${ }^{2}$ (ver. 2.2.1)を用いてトークン化及び Truecasing を行い、日本語のデータは $\mathrm{KyTea}^{3)}$ (ver. 0.4.2) による単語分割を行った。以上の処理の 後、SentencePiece[18] により両言語合わせて語彙数 を 16000 として unigram モデルにてサブワード化し た。ASPEC の学習データは対訳文の類似度が高い 順に並べられている4)ため、前半 150 万文を綺麗な データセットとして、また後半 150 万文をノイズの 多いデータセットとして採用した。

WMT2017データセットについては、公式に配布さ れている前処理済みデータ5)を使用し、newstest2015 を開発データ、newstest2016をテストデータとした。 ノイズの多いデータセットとしては ParaCrawl[19] を採用し、Moses toolkitを用いて前処理済みデー

1) https://pytorch.org/

2) http://www.statmt.org/moses/

3) http://www. phontron.com/kytea/

4）データに付属する README に、「訓練データは、類似度の 高い対訳文から順に並べて、上位 100 万文を train-1、次の上位 100 万文を train-2 とし、残りを train-3 とした。それゆえ、 train-2 や train-3 に含まれるデータは、train-1 と比べると対訳文としての質が低い。ととる。

5) https://data.statmt.org/wmt17/translation-task/ preprocessed/
表 1: ASPEC 英日翻訳における BLEU スコアおよび ノイズ混入データでのモデルのパラメータ数

タセットと同様の前処理を行った。以上の処理の 後に、語彙数を 40000 として ASPEC と同様のサブ ワード化を行った。

両データセット共に、学習時には最大文長を 100 とし、それを超えるデータは排除した。

## 3.3 ノイズ混入データ

現実的なノイズデータが混ざった学習データの 条件の設定するために、綺麗なデータセットとノイ ズの多いデータセットの混合データセットを用意 する。Khayrallah ら [1] の実験結果を踏まえ、ノイズ データによるモデルの性能低下を確認できるよう綺麗なデータとノイズデータの割合は 100:50とした。 ASPEC 英日翻訳では先頭 150 万文と後尾 75 万文を 混ぜ、また WMT2017 英独翻訳では配布データセッ トの全 590 万文と ParaCrawl の先頭 300 万文を混ぜ て、ノイズが混入した学習データを作成した。

## 3.4 評価

前処理としてサブワード化を行ったため、評価時 には単語単位での評価のための処理を行う。ASPEC 英日翻訳では出力を全て連結した後に KyTea による 単語分割を再度行い、WMT2017 英独翻訳では出力 に対して Moses toolkit による Detokenizationを行っ た。評価には sacreBLEU[20] を用いた BLEU スコア [21] 使用した。学習は 30 万ステップ行い、 1 万ス テップ毎に開発データでのスコアを算出し、それが 最も高い時点のモデルを最終的なテストデータでの スコア算出に用いた。BLEU スコアの算出のための NMT モデルの出力は全て貪欲法にて行った。

## 4 実験結果

ASPEC 英日翻訳における結果を表 1 に、WMT2017 英独翻訳における結果を表 2 に示す。WMT2017 ノ イズ混入データにおける組み合わせ手法 $\left(N_{c}=512\right)$ のみ通常学習を下回るスコアであった。それ以外で表 2: WMT2017 英独翻訳における BLEU スコアおよ びノイズ混入データでのモデルのパラメータ数

は、どちらの言語対においても、またデータセット のノイズ含有度合いに関わらず、通常の学習に比べ てアンカー学習がより高いスコアを出した。アン カー学習の効果が概ね確認され、さらに綺麗と見做 されているデータセットでもノイズデータの混入に よるモデルの精度低下が認められた。

今回の結果では、2つのアンカー数を抑えた提案手法に BLEU スコアでの優劣差は認められず、それ ぞれのハイパーパラメータについても明確な傾向は 掴めなかった。これらについては学習の複数回試行 を含め、より厳密な分析が必要である。

提案手法によるモデルのパラメータ数の変化につ いて、表 1、2 右端列にノイズ混入データセットに おける実験での NMT モデルのパラメータ数を示す。通常モデルにおける ASPEC 英日翻訳と WMT2017 英独翻訳のパラメータ数の違いは語彙数の違いによ るものである。ランダムグルーピング手法ではアン カートークン数が大きい場合にパラメータ数が大幅 に増加している一方で、組み合わせ手法は GRU 層 の追加によるパラメータ数の増加がありつつも、ア ンカートークン数は大幅に少ないため全体的には 数\%程度の増加に留まっている。結果としてランダ ムグルーピング手法は学習データが大きい場合には 実用的ではなく、組み合わせ手法のみが実用的な範囲に収まっている。

## 5 おわりに

本研究は NMT の学習において、ノイズデータの 悪影響を低減するアンカー学習の手法を導入した。計算コストの面からアンカートークン数を抑える手法として、ランダムグルーピング手法と組み合わせ 手法の 2 つを提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクにてその効果を確認し た。2つの提案手法による BLEU スコアの向上幅は 同程度であり、パラメタ数増加の観点から、組み合 わせ手法の方が優れた手法であると言える。

## 謝辞

本研究は JSPS 科研費 JP21H03494 の助成を受けた ものです。

## 参考文献

[1] H. Khayrallah and P. Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, 2018.

[2] P. Koehn, H. Khayrallah, K. Heafield, and M. L. Forcada. Findings of the WMT 2018 shared task on parallel corpus filtering. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 726739, 2018.

[3] P. Koehn, F. Guzmán, V. Chaudhary, and J. Pino. Findings of the WMT 2019 shared task on parallel corpus filtering for low-resource conditions. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 54-72, 2019.

[4] P. Koehn, V. Chaudhary, A. El-Kishky, N. Goyal, P. Chen, and F. Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, pp. 726-742, 2020.

[5] C. Herold, J. Rosendahl, J. Vanvinckenroye, and H. Ney. Detecting various types of noise for neural machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2542-2551, 2022.

[6] Y. Goldberg and M. Elhadad. SVM model tampering and anchored learning: A case study in Hebrew NP chunking. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 224-231, 2007.

[7] V. N. Vapnik. The nature of statistical learning theory. 1995.

[8] D. Britz, Q. Le, and R. Pryzant. Effective domain mixing for neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp.118126, 2017.

[9] M. Johnson, M. Schuster, Q. V. Le, M. Krikun, Y. Wu, Z. Chen, N. Thorat, F. Viégas, M. Wattenberg, G. Corrado, M. Hughes, and J. Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] S. Sato, N. Yoshinaga, M. Toyoda, and M. Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120127, 2017.

[11] Y. Wang, C. Hoang, and M. Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, 2021.

[12] T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D Ka- plan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[13] B. Lester, R. Al-Rfou, and N. Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, 2021.

[14] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NIPS) 30, pp. 5998-6008, 2017.

[15] P. Shaw, J. Uszkoreit, and A. Vaswani. Self-attention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, 2018.

[16] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 2204-2208, 2016.

[17] O. Bojar, R. Chatterjee, C. Federmann, Y. Graham, B. Haddow, S. Huang, M. Huck, P. Koehn, Q. Liu, V. Logacheva, C. Monz, M. Negri, M. Post, R. Rubino, L. Specia, and M. Turchi. Findings of the 2017 conference on machine translation (WMT17). In Proceedings of the Second Conference on Machine Translation, pp. 169-214, 2017.

[18] T. Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[19] Marta Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. L. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. RamírezSánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[20] M. Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

[21] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A NMT モデルの学習におけるハイパーパラメータ


# トレースからユーザの意図を反映した画像キャプション生成

渡邊清子小林一郎
お茶の水女子大学
\{watanabe.sayako, koba\}@is.ocha.ac.jp

## 概要

近年，画像キャプション生成の研究は画像から得 られる情報だけでなく，コントロールシグナルと呼 ばれる追加情報を与えることにより，制御可能な画像キャプション生成へと発展している. 本研究で は，画像をなぞることをコントロールシグナルとみ なし，なぞった軌跡（‘トレース’と呼ぶ）から推定 されるユーザの意図に基づくキャプション生成手法 を提案する。トレースの滞在時間からユーザの興味度合いを，トレースの順番から説明順序をユーザの 意図として推定する。滞在時間を文長に比例させ， ユーザがトレースした情報を順番に漏らさずに生成文中に表現することを可能にする非自己回帰型の キャプション生成手法を提案する.

## 1 はじめに

コンピュータを操作するユーザインターフェイス は，キーボードを使った文字による CUI (Characterbased User Interface) と，マウスを使った画像による GUI (Graphical User Interface) が主流であった. しか し， PC (Personal Computer) にタッチパッドが搭載さ れたことや，スマートフォンの出現により，「クリッ ク」だけではない「スワイプ」「ピンチアウト」「フ リック」など指先による画面操作方法が多様になっ てきた。また，近年メタバースが注目される中で， VR (Virtual Reality) や MR (Mixed Reality) などを使用 する際には，ハンドコントローラーやハンドトラッ キング技術により手の動きの軌跡を読み取り，画面 を操作している。つまり, 従来画面に合わせて決 まった動かし方しかできなかったユーザインター フェイスは，ユーザの意図に合わせて多様な表現方法ができるように変容し続けている. 更に今後は,「スワイプ」「ピンチアウト」「フリック」などルール に当てはめずともユーザの動きの軌跡から指示を推測するようなユーザインターフェイスに進化してい くと考えている. そこで本研究では，ユーザが描く軌跡に焦点を当て，画像キャプション生成を題材に 実験を行う。

## 2 関連研究

近年，画像キャプショニングの研究は, Faster R-CNN [1] や Semantic Segmentation [2] といった手法 を用いて画像の内容を捉え，画像特徴量や言語モデ ルから画像の内容を深く捉える手法に基づくキャ プション生成手法が提案されている $[3,4,5,6]$. ま た，近年は画像特徴量や言語モデルだけでなく， コントロールシグナルと呼ばれる追加情報を与え て生成キャプションを制御する Controllable Image Captioning が盛んに研究されている. 制御信号には 様々な種類があり，バウンディングボックス [7], シーングラフ [8]，文の長さ [9]，文の詳述さ [10] を 用いた研究が挙げられる. しかし, コントロールシ グナルはキャプションの内容やスタイルに言及した ものが多く，ユーザの意図や興味に沿ったインタラ クティブな題材についてはあまり研究されていな い. このような背景から, 本研究では, ユーザが画像をなぞる軌跡をコントロールシグナルとし，ユー ザの説明意図を反映した新しい画像キャプション 生成手法を提案する．説明をする際に指差しながら 発話するということは，人間の自然な行動である. その為，トレースは画像キャプションのタスクと親和性が高い。また，トレースには画像内の位置を示 す座標情報だけではなく，時間軸やトレースの形状 などの情報も含まれるため，様々な応用が可能であ る. 画像キャプション生成のコントロールシグナ ルにトレースを用いる先行研究として, Yan ら [11] は，トレースとバウンディングボックスの関係をス コアリングすることによって結び付けに成功し，高 い精度を出した. これに対して本研究では，トレー スの座標情報だけでなく，トレースの滞在時間に注目し，ユーザの興味に合わせて説明の詳述さをキャ プションに反映する.

図 1 提案手法の概要

## 3 提案手法

図 1 亿提案手法の概要を示す. 以下，図 1 の各プ ロセスを説明する。

(1)画像のトレース 画像中の説明したい箇所をト レースする. その際，説明を詳細にしたい対象に対 してはトレースを念入りに行う。

(2)説明領域の抽出 トレースの描画範囲から説明領域を抽出し, 各領域のトレースの滞在時間から文長を推定する。また，各領域のバウンディングボッ クスを抽出する。

(3)オブジェクト認識 各領域内でオブジェクト認識を行う。

(4)入力文章(2)で推定した文長と(3)で認識され たオブジェクトの単語から, 画像キャプションを生成モデルに入力する文章を準備する。

(5)画像キャプション生成 (2)よって抽出した 各バウンディングボックスの特徴量と(4)で準備した 文章を入力とし, Deng ら [9] による文長制御可能な 画像キャプション生成モデル LaBERT を用いて，そ れぞれの領域の画像キャプションを生成する.

## 3.1 使用データセット

Pont-Tuset ら [12] は，トレースデータセット Localized Narratives(LN) を構築した. LN は，マウス で画像をなぞりながら画像の内容を音声で説明す るという実験によって収集されたデータセットで ある. LN は Open Images [13], Microsoft COCO [14], Flickr30k [15], ADE20k [16] の 4 つの画像データセッ トから構成されており, 画像, トレース, 画像キャ プション，キャプションの音声が含まれている.

## 3.2 トレースによる説明領域の抽出

図 2 トレースの座標の変化量

ユーザが興味を示した範囲をその順番に沿って キャプションを生成する為に, トレースから説明領域を抽出する．トレース時における人の行動特性を 解明する為に，座標の変化量を特徵量として抽出し た. 横軸に単語数, 縦軸にトレースの $(x \times y)$ 座標 をとったグラフを図 2 に示す. グラフが平らになっ ている範囲が特徵的に表れていたので，発話データ と参照してみたところ，ピリオドの部分に相当して いた. 同じような特徵が他のデータにも多く見受け られた.グラフが平らな範囲は，1 文の発話が終わ り次の文章を発話するまでの間の時間かつ，次の説明物体に移動するまでの間の時間である。このこと から，1 文ずつに分割することを説明領域の抽出方法の指針として，この部分を抽出する. $(x \times y)$ 座標 の変化量が少なく, それが連続している部分を黄色 い点でプロットした.この例の場合, 説明領域は黄色い点を除き分割点とし，4つに分かれる. 画像説明時のトレースにおける人の行動特性は常時このよ うになるわけではなく，他の行動特性も観察された

が，本研究では上記の行動特性を基準とする。

## 3.3 文長とトレース滞在時間の関係

人は画像を説明する時，詳しく説明したい時には トレースを長い時間滞在させ，簡単に説明したい時 には短いトレースになると仮定する。キャプション の単語数とトレースの滞在時間の関係を明らかにす るために，LNのデータを用いて定量的に検証した。横軸を文のキャプションの単語数，縦軸をトレース の滞在時間としたグラフを図 3 に示す. この結果よ り, キャプションの単語数が多くなるにつれて，卜 レースの滞在時間は対数的に伸びていることがわか る. 今回は 7 25 単語で生成するので, 7〜25 単語 に絞ってみてみると，比例的に伸びていることがわ かる.

図 3 キャプションの単語数とトレースの滞在時間

トレースの滞在時間により説明の詳述さを決定す る. 外れ值を排除し, キャプションの単語数 $\div$ ト レースの滞在秒数の中央值を計算すると， 1 秒間あ たり 2.35 単語発話していることがわかった.この 結果から，トレースの滞在秒数を 2.35 倍したものを 文の長さとして設定する.

## 3.4 非自己回帰型キャプション生成

ユーザの興味の度合いを反映した画像キャプショ ンを生成する為に，トレースの滞在時間により説明 の詳述さを決定することを考える．ここでは，説明 の詳述さを生成文の長さとして捉える。一般に, 逐次的に次の単語を予測する自己回帰的な文生成手法 は，生成文の長さを制御できない，また，生成する 文の長さが長くなると計算量は線形的に増加してし まうといった欠点がある.これに対し, Deng ら [9] は，長さ制御可能な画像キャプションの為の非自己回帰型デコーダを考案し, 文長を制御する効率 の良い文生成手法である LaBERT を提案している.
LaBERT では生成文に対して, 各単語の確率分布 を元にスコアが低いトークンを [MASK] に変更し， [MASK] 部分に対して再度単語を予測するという仕組みをとっている. 本研究では，トレースを元に生成を行うため，ユーザの指した情報は生成キャプ ションでも出現させたい. LaBERTをそのまま使用 すると, 生成されたテキストが更新される過程で,残して欲しい単語に関しても [MASK] に変更されて しまう可能性があるため，常にその単語を含むキャ プションを生成するようにデコーダを改良した. 本研究では，LaBERT のデコーダを参考にし，トレー スの滞在時間を文長に比例させ，ユーザの指した情報を順番に漏らさずに文中に挿入することを可能に する非自己回帰型のキャプション生成手法を提案す る. 概要を図 4 に示す. 画像から物体認識されたラ ベルを取り出し，トレースがその物体のバウンディ ングボックス内を一定時間以上滞在した場合，挿入対象単語とみなす. そして, 図 4 の Step 1 において, [MASK] の代わりに挿入対象単語を挿入する. 插入位置は，発話中ずっと指していた場合は中央に，最後にトレースした場合は後方に配置するように，卜 レースがその物体を指していたタイミングに合わせ て挿入する。

図 4 長さ $L_{\text {low }} \sim L_{\text {high }}$ の文生成

## 4 実験

画像とトレースを入力として，トレースからユー ザーの意図を反映した画像キャプション生成を 行った.

精度 SPICE : $0 \%$ METEOR : $14 \%$ ROUGE : $11 \%$ BLEU : $21 \%$

精度 SPICE : $20 \%$ METEOR : $10 \%$ ROUGE : $12 \%$ BLEU : $22 \%$

トレースの滞在時間: 10.9 秒指定単語数 : $20 \sim 25$ 正解単語数 : 12 単諨
original-LaBERT : A lot of trees that are standing in the didt

比較実験 original-LaBERT(20 25単語)：A man with a hat standing on a sidewalk next to a suitcase with three pieces on the ground

図 5 トレースを入力とした画像キャプション生成.

## 4.1 実験設定

表 1 に実験設定を示す. 文生成の精度の評価指標には，BLEU@ 1 [17], ROUGE [18], METEOR [19], SPICE [20]を用いた。

## 4.2 実験結果

実験結果を 5 亿示す. 説明領域 3 では, トレース は女性のバックを強くトレースしており, 正解キャ プションも “bag”について言及している. 物体認識 の結果, Step1 での入力として “bag”が中央に追加さ れ，生成キャプションに“bag”が含まれた. 改良前 の LaBERT で生成した場合，注目する物体を絞らず に周りの情報を多く取り込んでしまった結果, “bag” に関しての記述は無かった. LaBERT を改良したこ とにより，トレースの意図をよく捉えた結果になっ た.

また，トレースの滞在時間からキャプションの単語数を予測した結果, 説明領域(2), (3), (4)では, 単語数の指定範囲に正解単語数が収まっており，正しく 予測出来た. 説明領域(1)は，正解キャプション 12 単語に比べ，大幅に多く推定された。実際はトレー スの滞在時間程，長い文による説明は求められてい
ないことがわかる。しかし，トレースを見ると入念 にトレースがされており詳しい説明を求めている ような特性が見られる. 生成されたキャプション は，“suitcase"を捉えるだけではなく，スーツケース に貼ってあるステッカーを “pictures”と捉え詳細な 説明ができている．説明者の意図には沿えていない が，トレースの意図を汲み取った生成結果となって いる.

比較実験として，統合マルチモーダル事前トレーニ ングモデル OFA [21] と改良前の LaBERT でキャプ ションを生成した.これらの結果は，画像の概要は 説明できている。しかし，提案手法のように説明の 順番や説明の詳述さなど，ユーザの意図に合せて文章を生成することはできていない.

付録に他の実験例を載せる。

## 5 おわりに

本研究では，画像に対してトレースを用いながら 説明するデータセット LN と文長制御が可能な非自己回帰型テキスト生成を行う LaBERT のデコーダを 改良し組み合わせ，トレースからユーザの説明意図 を汲み取りインタラクティブに説明文を生成する画像キャプション生成手法を提案した. 既存のキャプ ション生成手法と提案手法を比較すると，提案手法 では説明の順序や詳述さを反映したキャプションを 生成することに成功している。 しかし, 今回は画像 を指す際に，渦巻きを描き移動し渦巻きを描きとい う特性を持つトレースに絞って実験を行ったが，実際のデータは様々な特性が見られた。

今後の課題として，トレースからユーザの特性を 分析し，それに応じた処理がでいるようなトレース 分析を考えている.

## 参考文献

[1] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[2] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[3] Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, Ji Zhang, Songfang Huang, Fei Huang, Jingren Zhou, and Luo Si. mplug: Effective and efficient vision-language learning by cross-modal skip-connections, 2022.

[4] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. Unified vision-language pre-training for image captioning and vqa, 2019.

[5] Ting-Yao Hsu, C. Lee Giles, and Ting-Hao 'Kenneth' Huang. Scicap: Generating captions for scientific figures, 2021.

[6] Junqi Jin, Kun Fu, Runpeng Cui, Fei Sha, and Changshui Zhang. Aligning where to see and what to tell: image caption with region-based attention and scene factorization, 2015.

[7] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, control and tell: A framework for generating controllable and grounded captions. CoRR, Vol. abs/1811.10652, , 2018.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs, 2020.

[9] Chaorui Deng, Ning Ding, Mingkui Tan, and Qi Wu. Length-controllable image captioning. CoRR, Vol. abs/2007.09580, , 2020.

[10] Zhangzi Zhu and Hong Qu. Improving image captioning with control signal of sentence quality, 2022.

[11] Kun Yan, Lei Ji, Huaishao Luo, Ming Zhou, Nan Duan, and Shuai Ma. Control image captioning spatially and temporally. In ACL/IJCNLP (1), pp. 2014-2025, 2021.

[12] Jordi Pont-Tuset, Jasper Uijlings, Soravit Changpinyo, Radu Soricut, and Vittorio Ferrari. Connecting vision and language with localized narratives. In ECCV, 2020.

[13] Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper R. R. Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Tom Duerig, and Vittorio Ferrari. The open images dataset V4: unified image classification, object detection, and visual relationship detection at scale. CoRR, Vol. abs/1811.00982, , 2018.

[14] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.

[15] B. A. Plummer, L. Wang, C. M. Cervantes, J. C. Caicedo, J. Hockenmaier, and S. Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. In 2015 IEEE International Con- ference on Computer Vision (ICCV), pp. 2641-2649, December 2015.

[16] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ADE20K dataset. CoRR, Vol. abs/1608.05442, , 2016.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[19] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[20] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. CoRR, Vol. abs/1607.08822, , 2016.

[21] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework, 2022.

## A 付録

トレースの滞在時間 : 6.6秒

指定単語数：15 19単語 正解単語数：23単語

比較実験 original-LaBERT : A little boy that is holding a plate of food......... OFA : A little kid eating pizza at a restaurant.

トレースの滞在時間 : 7.6 秒指定単語数 : 15 19 正解単語数：13単語

original-LaBERT : A plate of food with a sandwich and a bowl of soup next to a glass of orange juice......

[MASK]

[MASK]

[MASK] [MASK]

cup cup 生成キャプション Dining table with plates of food and cup and 正解キャプション There are glasses and bottle.

精度 SPICE : 0\% METEOR : 4\% ROUGE : 15\% BLEU : 11\%

トレースの滞在時間 : 3.3 秒指定単語数 $: 7 \sim 9$ 正解単語数 : 5単語 original-LaBERT : A plate of food sitting on a table.


# 表の段階的な縮小による biography 生成

金子知弘船越孝太郎奥村学
東京工業大学
\{kaneko, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

本研究では，人物情報に関する表から説明文を生成する biography 生成における壳長性の改善と網羅性の向上に取り組む。一般に生成モデルでは, 繰り 返しなどの冗長な出力を行う問題があり, biography 生成に打いても表内の項目を複数回記述して兄長 な出力を行ってしまうことがある. 本研究では， biography 生成における冗長な生成を制御する方法 の 1 つとして，表中から記述済みの項目を削除し，表を段階的に縮小する手法を提案する。実験では， SynthBio データセットを用い，自動評価において冗長性の改善，網羅性の向上を確認した.

## 1 はじめに

自然言語処理分野では，表 [1] やグラフ [2]な ど，構造化されたデータからのテキスト生成が重要な課題として位置付けられている。その中で Table-to-text タスク [3,4] は, 図 1 亿示すように, 表 を入力し，表の内容を自然言語で記述するタスクで ある. 生成されたテキストにより，表内の情報の関連性を理解しやすくなる利点がある. 本研究では, その中でも，ある人物に関する情報をまとめた表を 対象に biographyを生成するタスクに取り組む。

一般に生成モデルでは, 繰り返しなどの冗長な出力を行う問題があり, biography 生成においても表内 の項目を複数回記述して冗長な出力を行うことがあ る. 例えば，高い生成性能を持つ事前学習済みモデ ル T5 [5]を Wikiperson データセット [6] で追加学習 しSynthBio データセット [7] で評価すると, 図 1 の ように，表内のセルが生成文で複数回記述され（赤色）㔯長な生成が起きている. さらに，㔯長な生成 により，記述されないセルが発生する（青色）.

本研究は,このような内容記述の壳長性を減らす とともに網羅性を上げることを目的とし，表内から 記述済みのセルを削除し，表を段階的に縮小する手法を提案する.この手法ではまずどのセルが記述さ

Sylvia Audrey Mabika is a Zimbabwean poet and novelist. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe to a
Zimbabwean mother and a Zimbabwean mother. Sylvia Audrey
Mabika's first novel The Reluctant Muse was published in 2007. Sylvia
Audrey Mabika's first novel The Reluctant Muse was published at Yale
University. mabika's first novel The Reluctant Muse was published in
English.

図 1 Table-to-text タスクの表と生成文の例. 表内の赤色 のセルは，生成文の赤色の単語列で複数回記述されてい る. 一方，表内の青色のセルが記述されていない.

れたかを判定し，その後記述されたと判定されたセ ルはクロスアテンションにおいてマスクを行う。こ れにより，人物情報に関する，より理解しやすい表 の内容記述を生成することができる。

近年，人間のアノテータが介入したSynthBio デー タセットが提案され，biography 生成汐けるモデ ル性能をより適切纪評価できるようになった。そこ で, 本研究でも SynthBio データセットを用いて評価 を行い，自動評価においで兄長性の改善と網羅性の 向上を確認した。

## 2 関連研究

人物情報の表から biographyを生成するタス ク $[8,9]$ は, 文生成を目的とした WikiBio データセッ ト [1] とテキスト生成を目的とした Wikiperson デー

図 2 提案手法の流れ. 色付きの文字は，記述されたと判定されたセルとそのセルに該当する出力文の単語列を表す.

タセットで研究されてきた。例えば，Liu ら [10]の 入力にエンティティ情報を結合した学習方法, Wang ら [9] の表とテキストの類似性を制約に加算した生成フレームワーク, Tian ら [11] のデータからスコア を学習する変分ベイズ学習フレームワークなどがあ る. Wang ら [8] は, 忠実度と網羅性の向上を目的と した 2 段階モデルを提案し，従来の最先端モデルの スコアを凌駕した.このモデルは，1 段階目で生成 すべき単語を抽出し，2 段階目でその抽出した単語 を元に，単語の削除と挿入を繰り返し行うことでテ キスト生成を行っている. しかし，この手法ではモ ジュールが多くモデルが複雑化している.

## 3 提案手法

本節では， biography 生成における冗長な生成 を制御する手法として，記述された表内のセル を削除し，表を段階的に縮小する手法を説明す る.まず biography 生成では，表 $T$ を入力とし，説明文 $Y=\left.\{y_{1}, y_{2}, \cdots, y_{m}\right.\}$ を生成する. 表 $T$ は $T=\left.\{c_{1}, c_{2}, \cdots, c_{n}\right.\}$ のようにセル $c_{i}$ の集合として形式化され，セル $c_{i}$ は $c_{i}=\left.\langle k_{i}, v_{i}\right.\rangle$ のようにキー値 $k_{i}$ とバリュー值 $v_{i}$ のペアで構成される. ただし，表 $T$ をモデルに入力するときは，表の構造をモデルが 理解しやすくするため，バリュー値の前後に 2 つ の特別なトークン $<\mathrm{SP} 1>\cdot<\mathrm{SP} 2>$ を挿入する. 例え ば, <birth date, 10 April 1912>は, birth date <SP1> 10 April $1912<$ SP2>とモデルに入力する.

具体的な提案手法の流れを図 2 に示す.まず，表 から 1 文目が生成されたら, 表内のどのセルが記述 されたかの判定を行う（図 2 (1). 次に，記述された と判定されたセルは表から削除する（図2 (2)）そし
て，縮小された表を元に 2 文目を生成し，再び 2 文目において表内のどのセルが記述されたかを判定し (図 2 (1) ), 記述されたと判定されたセルは表から削除する (図 2 (2)').この一連の流れを，表内のセル がなくなるまで繰り返し行うことで，㔯長性を減ら すと共に網羅性を上げる.

## 3.1 どのセルが記述されたかの判定

学習時，デコーダにどのセルが記述されたかを表 すへッドを構築することで判定を行う. 具体的な ヘッド構築の流れを図 3 に示す. まず，エンコーダ の隠れ状態からセル表現を構築する（図 3 (1)）。次 に, 出力文の各トークンからセル表現へのアテン ションスコア（図 3 (2) を計算する。をして，事前 に作成した教師データ（図 3 (3) ) とアテンションス コアからクロスエントロピー損失を計算する. 最後 に，クロスエントロピー損失を言語モデルの学習損失に加算する.

推論時は，構築したヘッドのアテンションスコア を元に，どのセルが記述されたかの判定を行う. 具体的には，生成したトークンからあるセル表現への アテンションスコアが，事前に設定した間値を上回った場合，そのセルは「記述された」と判定する.

セル表現の構築エンコーダの隠れ状態からセル 表現をまず構築する.しかし，セルに含まれる全て のトークンの隠れ状態からセル表現を構築すると， セル同士でテキストが異なるため，隠れ状態の次元数も異なる. その結果，セル同士でセル表現の次元数も異なってしまう．そこで，モデル入力において 各セルに付加した特別なトークン ( $<\mathrm{SP} 1>,<\mathrm{SP} 2>)$ の隠れ状態を結合したものをセル表現として利用す

図 3 どのセルが記述されたかを表すへッドの構築の流れ. (1)は，セルの隠れ状態からセル表現を構築する手順. 例え ば，＜birth date,10 April 1912> はセル表現 $\mathrm{CR}_{\text {birth date }}$ となる. (2)は，出力文の各トークンから各セル表現へのアテンション スコア (青色).(3は，出力文の各トークンから各セル表現への教師データ（緑色）. 例えば，出力文の 10 April 1912 とい うトークン列は，<birth date,10 April 1912> のセル表現 $\mathrm{CR}_{\text {birth date }}$ への教師データが 1 で，それ以外は 0 である.

る. 具体的には，セル $c_{i}$ に対してのセル表現 $\mathrm{CR}_{i}$ は，

$
\mathrm{CR}_{i}=\operatorname{concat}\left(h_{\mathrm{SP}_{i}}, h_{\mathrm{SP}_{i}}\right)
$

となる.ここで, $h_{\mathrm{SP}_{1}}$ と $h_{\mathrm{SP}_{i}}$ はそれぞれセル $c_{i}$ の 特別なトークン $<\mathrm{SP} 1>と<\mathrm{SP} 2>$ の隠れ状態である.

アテンションスコアの計算 Transformer モデ ル [12] の出力文のトークンから入力文のトークンへ のアテンションスコアの計算方法と同様に，出力文 のトークン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンション スコア $A_{i, j}$ を計算する.

$
A_{i, j}=\operatorname{softmax}\left(K_{\mathrm{CR}_{i}} Q_{j}\right)
$

ここで， $K_{\mathrm{CR}_{i}}$ と $Q_{j}$ は

$
\begin{aligned}
K_{\mathrm{CR}_{i}} & =W_{\mathrm{CR}} \times \mathrm{CR}_{i} \\
Q_{j} & =W_{y} \times y_{j}
\end{aligned}
$

であり， $W_{\mathrm{CR}}$ と $W_{y}$ は学習可能な重み行列である.

クロスエントロピー損失の計算 出力文のトー クン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンションスコア $A_{i, j}$ と教師データ $L^{n \times m}$ からクロスエントロピー損失を計算する.

$
\operatorname{loss}_{\mathrm{attn}}=\frac{1}{m} \sum_{1 \leq j \leq m} \frac{1}{n} \sum_{1 \leq i \leq n} L_{i, j} \log A_{i, j}
$

ここで，教師データ $L$ は

$
\begin{array}{ll}
L_{i, p: q}=1, L_{l(\neq i), p: q}=0 & \left(y_{p: q}={ }^{\exists} v_{i}\right), \\
L_{l, p: q}=\frac{1}{n} & \left(y_{p: q} \neq{ }^{\forall} v_{i}\right)
\end{array}
$

である. 式(6) は，あるセル $c_{i}$ のバリュー值 $v_{i}$ と出力文の単語列 $y_{p: q}$ が完全一致1) するとき, 出力文の

1）同じ表内で包含関係にあるバリュー値を持つ複数のセルが 存在する場合（例えば，セル<birth place，Columbia> とセル <university, Columbia University> がある場合), 出力文と最長で完全一致しているセルを優先する.単語列 $y_{p: q}$ からセル表現 $\mathrm{CR}_{i}$ への教師データは 1 であり，それ以外のセル表現 $\mathrm{CR}_{l(\neq i)}$ への教師デー タは 0 であることを意味する。式 (7) は，出力文の トークン列 $y_{p: q}$ が全てのセルのバリュー值と完全一致しないとき2), 出力文の単語列 $y_{p: q}$ から全てのセ ル表現への教師データは $\frac{1}{n}$ であることを意味する.

言語モデルの学習損失への加算 計算したクロス エントロピー損失 $\operatorname{loss}_{a t t n}$ を言語モデルの学習損失 $\operatorname{loss}_{\mathrm{LM}}$ に加算する.

$
\text { loss }=\operatorname{loss}_{\mathrm{LM}}+\operatorname{loss}_{\mathrm{attn}}
$

どのセルが記述されたかの判定を行う手法を説明してきたが，この手法では，生成文に対してどの セルも記述されていないと判定する場合がある. そ のような場合には，記述されたと未だ判定されてい ないセルの中で，生成文の各トークンからのアテン ションスコアが最大のセルをまずリストアップし, その中で最大のアテンションスコアであるセルを記述されたと判定する。

## 3.2 表内のセルの削除

表内のセルの削除は，Transformer モデル [12] の クロスアテンションをマスクすることで仮想的に 行う．クロスアテンションとは，文生成時に入力の どこに注目するかを表す機構なので，クロスアテン ションをマスクするということは，入力の表の特定 のセルに注目させず記述させないことを意味する。

一般に biography 生成用のデータセットでは，表 1 に示すように，セルが参照文で 2 回以上言及される

2）これは, 出力文の単語列 $y_{p: q}$ がどのセルも記述していな いことを意味し, 文章構成上必要な単語列などについてのも のである
表 1 Wikiperson でセルが参照文で言及される回数.

表 2 Wikiperson と SynthBio の統計量.

ことがある．このように参照文で 2 回以上言及され るセルは冗長であると考え，学習時はセルが最後に 言及された時点でマスクし，推論時は 1 回目に記述 された時点でマスクする。

## 4 実験

## 4.1 実験設定

学習データには Wikiperson データセット，検証・評価データには Wikiperson データセットと SynthBio データセットを用いた. これらのデータセットの統計量を表 2 に示す.

自動評価では，PARENT [13] と PARENT-T [9]を 評価指標として用いた. PARENT は，表と参照文の 両方との, n-gram 単位での生成文の一致度を測る。 PARENT-T は，表のみを考慮した n-gram 単位での生成文の一致度を測る。テキスト長は, SentencePiece 3)を用いて文字列をトークン化し，トークン単位で 生成テキストの長さを測ったものである.

先行研究 [8] は SynthBio データセットで評価して おらず，また， Wikiperson データセットでは T5 モ デル [5] が先行研究 [8] よりも PARENT F1 が良いた め, ベースラインとしては, T5 モデルと, 繰り返し 抑制の既存研究である, repetition penalty [14] を T5 上に実装したモデル（rep. penalty モデル）を用い た. 提案モデルも $\mathrm{T} 5$ 上で構築する.

より具体的には, 本研究の実装には Huggingface [15] を用いた. モデルは T5-small を使用し， ヘッド数は 8 , 層数は 6 である. 初期学習率は $5 \mathrm{e}-05$ で, Adam optimizer [16] $\left(\beta_{1}=0.9, \beta_{2}=0.999\right)$ により パラメータを最適化した. 学習は最大 60 エポック 行い，最も検証データに対する損失の低いモデルを 選択した。最大テキスト長は 512 で，語彙サイズは 32,103 である．学習バッチサイズは 64 である．検

表 3 自動評価結果 (Wikiperson).

表 4 自動評価結果（SynthBio）.

$\frac{\text { PARENT }}{\text { Pre. Rec. F1 }} \frac{\text { PARENT-T }}{\text { Pre. Rec. F1 } \text { テキスト長 }}$

証・評価時のビームサイズは 4 とした.

セルが記述されたと判定する閾値は，検証データ でチューニングした結果， 0.50 とした. また，ベー スラインモデルの repetition penalty 値は，検証デー タでチューニングした結果， 1.90 とした.

## 4.2 実験結果

Wikiperson による評価結果を表 3 に，Synthbio に よる評価結果を表 4 に示す. Wikiperson による評価において，提案モデルはベースラインモデルよ りも，PARENT F1，PARENT-T F1 が低い，提案モデ ルは推論時，セルが 1 回目で記述されたらマス クするため，1つのセルは 1 回のみ記述される. Wikiperson は表 1 に示すように，セルの約 $18.0 \%$ が 2 回以上言及されるため, Wikiperson において提案手法の有効性が示せなかったと考えられる。

それに対して，SynthBioによる評価において，提案モデルの PARENT F1, PARENT-T F1 ともにベース ラインモデルよりも高い. 提案モデルはベースライ ンモデルと比較してテキスト長が短くなっており， しかも評価指標の F1 が向上していることから，㔯長性が減った上で網羅性が向上したことがわかる.

## 5 結論

本研究では，冗長性の改善と網羅性の向上を目的 として，記述された表内のセルを削除し，表を段階的に削除する手法を提案した. 評価実験の結果，提案モデルは PARENT, PARENT-T F1 ともにベースラ インモデルを上回った. 特に，提案モデルはベース ラインモデルと比較してテキスト長が短くなってお り, 評価指標の F1 が向上したことから, 穴長性が 改善した上で網羅性が向上したと言える.

## 謝辞

本研究を実施するにあたり，産業技術総合研究所人工知能研究センター 高村大也氏, 奈良先端科学技術大学院大学 上垣外英剛准教授, 東京工業大学 小林尚輝氏に大変お世話になりました. 深く感謝申し 上げます.

## 参考文献

[1] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Soichiro Murakami, Akihiko Watanabe, Akira Miyazawa, Keiichi Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao. Learning to generate market comments from stock prices. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1374-1384, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jekaterina Novikova, Ondřej Dušek, and Verena Rieser. The E2E dataset: New challenges for end-to-end generation. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pages 201-206, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Lya Hulliyyatus Suadaa, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura, and Hiroya Takamura. Towards table-to-text generation with numerical reasoning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 14511465, Online, August 2021. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[6] Qingyun Wang, Xiaoman Pan, Lifu Huang, Boliang Zhang, Zhiying Jiang, Heng Ji, and Kevin Knight. Describing a knowledge base. In Proceedings of the 11th International Conference on Natural Language Generation, pages 10-21, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[7] Ann Yuan, Daphne Ippolito, Vitaly Nikolaev, Chris Callison-Burch, Andy Coenen, and Sebastian Gehrmann. Synthbio: A case study in faster curation of text datasets. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2), 2021.
[8] Peng Wang, Junyang Lin, An Yang, Chang Zhou, Yichang Zhang, Jingren Zhou, and Hongxia Yang. Sketch and refine: Towards faithful and informative table-to-text generation. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pages 48314843, Online, August 2021. Association for Computational Linguistics.

[9] Zhenyi Wang, Xiaoyang Wang, Bang An, Dong Yu, and Changyou Chen. Towards faithful neural table-to-text generation with content-matching constraints. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1072-1086, Online, July 2020. Association for Computational Linguistics.

[10] Tianyu Liu, Xin Zheng, Baobao Chang, and Zhifang Sui. Towards faithfulness in open domain table-to-text generation from an entity-centric view. Proceedings of the AAAI Conference on Artificial Intelligence, 35(15):13415-13423, May 2021.

[11] Ran Tian, Shashi Narayan, Thibault Sellam, and Ankur P. Parikh. Sticking to the facts: Confident decoding for faithful data-to-text generation. CoRR, abs/1910.08684, 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc., 2017.

[13] Bhuwan Dhingra, Manaal Faruqui, Ankur Parikh, MingWei Chang, Dipanjan Das, and William Cohen. Handling divergent reference texts when evaluating table-to-text generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4884-4895, Florence, Italy, July 2019. Association for Computational Linguistics.

[14] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A conditional transformer language model for controllable generation. CoRR, abs/1909.05858, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38-45, Online, October 2020. Association for Computational Linguistics.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.


# 複数の参照訳を考慮したニューラル機械翻訳モデルの学習手法

宮崎桂輔 徳永健伸
東京工業大学 情報理工学院
\{miyazaki.k.am@m, take@c\}.titech.ac.jp

## 概要

文の翻訳では訳者や文脈などの条件により異なる 訳文が期待され，機械翻訳タスクのベンチマークに 用いられる対訳コーパス内にも一つの原文に複数の 参照訳が対応している例が多く存在する。一方で既存の機械翻訳モデルの学習手法ではこうしたコーパ ス内の構造は明示的には用いられない. そこで本研究では，コーパス内の原文が複数の参照訳を持って いるという情報を，機械翻訳モデルの学習に明示的 に用いる手法を提案する. 評価実験において，提案手法を用いて学習したモデルは旧来の最尤誤差損失 のみを用いたモデルに劣る結果となったが，提案手法が文レベル最適輸送損失を用いて学習するモデル の性能向上には寄与することが示された.

## 1 はじめに

文の翻訳において，訳者や文脈などの条件によっ て目的言語の訳文は異なるものが期待されうる。実際，機械翻訳タスクのベンチマークによく用い られる対訳コーパスにおいて, 原文に対して複数 の参照訳を持つ文対が共存することがある. 日英対訳コーパス JESC[1] および英独対訳コーパス WMT14 En-De[2] の学習データセットにおいて, 複数の参照訳を持つ原文の数および原文を共有する参照訳ののべ数を表 1 に示す. また，一つの原文が持 つ参照訳の個数の分布を図 1 に示す. 機械翻訳タス クによく用いられる対訳コーパスに，一つの原文が 複数の参照訳を持つ例が無視できない割合で存在す ることがわかる.

一方で，既存の機械翻訳モデルの学習時に，対訳 コーパス内に前述のような例が存在するという情報 は明示的には用いられない. そこで，本研究では一 つの原文が複数の参照訳を持っているという情報を 明示的にモデリングした機械翻訳モデルの学習損失 を提案する。

提案手法により，対訳コーパス内に存在する，原表 1 学習データセットの統計量

文が複数の参照訳を持っているという情報を機械翻訳モデルの学習に明示的に使用することができ，機械翻訳モデルの性能向上が見込まれる。なお，本研究では機械翻訳タスクのみを扱うが，提案手法は機械翻訳に限らず自己回帰生成を用いた文章生成全体 に適用可能である.

## 2 関連研究

本研究では文レベル最適輸送損失 [3] を用いる.文レベル最適輸送損失は，モデルの生成文と参照訳 を埋め込み空間上の点の集合とみなして得られる 二文間の最適輸送コストであり，自動微分可能な最適輸送アルゴリズムである IPOT[4]を用いて計算す ることでモデルの損失として学習に用いるもので ある。旧来の最尤誤差損失に加えて文レベル最適輸送損失を学習に用いることにより LSTM ベースの GNMT モデル [5] の性能を向上させることが，検証 により示されている [3].

各時刻における次単語予測の最尤誤差の総和とし て計算される旧来の最尤誤差損失よりも，生成文と 参照訳の間の最適輸送コストである文レベル最適輸送損失を活用する方が，複数の参照訳が存在すると いう情報をモデリングするのに適切であると考え， この既存研究に注目した。

## 3 提案手法

## 3.1 損失の定義

提案手法では文レベル最適輸送損失 [3] を用い て，一つの原文が複数の参照訳を持っているとい う情報を明示的に学習に利用する. 文レベル最適

図 1 原文が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持 つ原文の数 (縦軸) の関係

輸送損失は，モデルが生成した訳文 $g$, 参照訳 $r$ に対して，最適輸送アルゴリズム IPOTを用いて $\mathscr{L}_{\text {seq }}(g, r)=\operatorname{IPOT}(g, r)$ と計算される.

データセット内の原文 $s$ に対して，モデルが生成 した訳文を $g$ ，参照訳の集合を $\mathscr{R}=\left(r_{1}, \ldots, r_{n}\right)$ とし たとき，原文 $s$ に対する複数の参照訳を考慮した文 レベル最適輸送損失 $\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})$ は, 生成した訳文と 各参照訳から計算される文レベル最適輸送損失の平均または総和とする。すなわち, 複数の参照訳を考慮した文レベル最適輸送損失を

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\frac{1}{n} \sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\frac{1}{n} \sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

または

$
\mathscr{L}_{\mathrm{seq}}^{*}(g, \mathscr{R})=\sum_{r \in \mathscr{R}} \mathscr{L}_{\mathrm{seq}}(g, r)=\sum_{r \in \mathscr{R}} \operatorname{IPOT}(g, r)
$

と定める。

## 3.2 損失の実装

提案手法はミニバッチ作成の工夫による実現が可能である．具体的には，同一の原文を持つ対訳が同 じミニバッチに入るような制約を課してミニバッチ を作成すればよい。 なお, 本研究では fairseq[6] で実装されているミニバッチ作成のアルゴリズムを利用 し，以下の三通りのミニバッチ作成アルゴリズムを 用いる.

図 2 文対の重複を削除したデータセットにおける，原文 が持つ参照訳の数 $x$ (横軸) と，参照訳を $x$ 個持つ原文の数 (縦軸) の関係

・参照訳の文長が近い文対を集めてミニバッ チを作成する方法 (ベースラインの手法. 以下，"base"と記載)

・同一の原文を持つ対訳が同じミニバッチに 入る制約を設け，参照訳の最大文長が近い 原文を集めてミニバッチを作成する方法 (以下, ”samebatch"と記載)

・同一の原文を持つ対訳が同じミニバッチに入 り，かつミニバッチ内に参照訳を複数持つ原文と参照訳を一つのみ持つ原文が共存しない， という制約を設けて，参照訳の最大文長が近 い原文を集めてミニバッチを作成する方法 (以

下，"divided"と記載)

なお，同一の原文を持つ対訳の数が多すぎて一つの ミニバッチに入りきらない例が存在した場合は，制約を緩和し，複数のミニバッチに分けたうえで，連続する学習ステップで学習に用いられるような処理 を施すこととした。

また，文レベル最適輸送損失の平均をとる式 (1) と総和をとる式 (2) の二種類の計算方法を提案した. これらは，ミニバッチ内で損失の和を計算する際に 単純に総和をとる方法 (ベースラインの手法. 以下 “base” と記載）と，参照訳を $n$ 個持つ原文に関する 損失を $1 / n$ するような重みつき和をとる方法（以
下，“decloss”と記載）により実現可能である。

さらに，本研究で扱うコーパスにおいて，原文・参照訳ともに一致する対訳が散見された. そこで， コーパス内から原文・参照訳ともに一致するよう な対訳の重複を削減する措置 (以下，“deldupl” と表記）をとった. 対訳の重複を削減した後のデータ セットにおける，一種類の原文が持つ参照訳の個数 の分布を表 2 に示す. なお，この処理で削除された 文対の数は, JESC が 1,502 文対, WMT14 En-De が 36,274 文対であった. この処理を行わない手法は以下“base”と表記する.

以上より，実装におけるオプションの種類は

1. ミニバッチ作成の手法: base, samebatch, divided

2. ミニバッチ内の損失の集約に関する手法：base, decloss

3. 重複する対訳の処理に関する手法: base, deldupl のとおりである. 以下ではオプションの選び 方に応じて，手法の表記を“[ミニバッチ作成の 手法 $]+[$ ミニバッチ内の損失の集約に関する手法]+[重複する対訳の処理に関する手法]”のように 記す. 提案手法は samebatch+base+deldupl，または samebatch+decloss+deldupl と表せる.

## 4 実験設定

## 4.1 データセット

本研究では, JESC[1]を用いた英日翻訳と， WMT14 En-De[2] を用いた英独翻訳を行った。

JESC は, MeCab[7]を用いて形態素単位の分かち 書きを行ってから BPEによるサブワード分割を 行った. BPE のマージ回数は, 日本語, 英語ともに 32,000 から文字べースの語彙数を引いた値とした.最終的な英語の語彙数は 31,932 , 日本語の語彙数は 31,604となった.

WMT14 En-De は, fairseq で公開されている前処理 スクリプト1)を用いてデータの前処理および BPE[8] によるサブワード分割を行った。なお，BPEのマー ジ回数は 32,000 とした. 最終的な英語の語彙数は 33,616 , ドイツ語の語彙数は 34,888 となった.

## 4.2 モデル

モデルは Transformer の base モデル [9]を用いた. ベースラインモデルとして，学習に最尤誤差損失の

1) https://github.com/facebookresearch/fairseq/blob/ main/examples/translation/prepare-wmt14en2de.sh
みを用いるモデルを作成した. さらに，最尤誤差損失と文レベル最適輸送損失の和を用いるモデルを 作成した.このモデルは, 提案手法のオプションが base+base+base である場合に相当する。

提案手法として，最尤誤差損失と文レベル最適輸送損失の和を用い, さらにオプションとして samebatch+base+deldupl および samebatch+decloss+deldupl を用いるモデルを作成した。

さらに，アブレーション実験として， 3.2 節に示 した提案手法のオプションの種類を組み合わせた全 12 種類のオプションについてもモデルを作成した.

## 4.3 学習設定

最適化アルゴリズムとして Adam[10]を用いた.学習率は固定の値とせず，ウォームアップステッ プ中の学習率は初期学習率の $10^{-7}$ から最大学習率に線形に推移するようにし, ウォームアップ ステップ以降はステップ数の平方根に反比例す るように学習率を減衰させた. 学習率の最大値 は, $\{0.0001,0.0002,0.0005,0.000666,0.001\}$ から探索 を行った. ウォームアップステップ数は, JESC の 場合 6,000, WMT14 En-De の場合 27,000とした.

ドロップアウト率は 0.3 とし, 最尤誤差損失の計算時に平滑化値 0.1 のラベル平滑化 [11]を行った.

文レベル最適輸送損失では Soft-copying mechanism は適用しないものとし, 微分可能な文章生成のため に $\operatorname{argmax}$ の代わりに温度 $\tau=0.1$ の Soft-argmax を 用いた. 最尤誤差損失に足し合わせる際の重みパラ メータ $\gamma$ は 0.1 とした.

ミニバッチサイズは 1GPU あたり 3,584トークン とし， NVIDIA Tesla P100 GPU を 4 つ用いて学習を 行った.

最大学習ステップ数は 150,000 とした. 1 エポッ ク毎に検証データセットに対するモデルの損失を計算し，損失が一番低いモデルを選択した。

## 4.4 評価方法

各条件においてモデルを 1 回のみ学習し, 評価を 行った. 評価指標は BLEU とし, 脱トークン化した 生成文に対して sacreBLEU[12]により算出した. た だし，JESC を用いた評価時には，目的言語側であ る日本語のテストセット内の文を $\mathrm{MeCab}$ を用いて 形態素単位に分かち書きしてから評価に用いた.

生成時のビームサーチの探索幅については, JESC の場合 1 から 10 までの間で 1 刻みに探索を行っ

た. WMT14 En-De の場合は， 4 に固定した. ビー ムサーチに付随する文長に対する罰則は，JESC， WMT14 En-De ともに 0.5 から 1.5 までの間で 0.1 刻 みに探索を行った。

## 4.5 追加実験

4.3 節に示した学習設定で実験を行ったところ, WMT14 En-De における BLEU スコアが先行研究 [9] で報告されている値よりも著しく低いものとなっ た.そこで，追加実験として，WMT14 En-Deを用 い，学習パラメータを変えて再度実験を行った. 前述した 1 回目の実験と異なる点は，ミニバッチサイ ズを 1GPU あたり 4,096トークンとし, update_freq を 2 とすることで実質ミニバッチサイズを $1 \mathrm{GPU}$ あたり 8,192 とした点, 学習率を 0.0007 とした点, ウォームアップステップ数を 4,000 とした点， ド ロップアウト率を 0.1 とした点である.

## 5 実験結果

実験結果を表 2 に示す. なお，ベースラインモデ ルの一つである base+base+base よりも高い BLEU ス コアは太字で，各データセットにおける最高スコア は太字十下線で示した。

提案手法である samebatch+base+deldupl は，文レ ベル最適輸送損失を用いたべースラインモデルで ある base+base+base よりも一貫して高い性能を示し た.この結果から, 文レベル最適輸送損失を用いて 学習を行う際に samebatch+base+deldupl の提案手法 を追加することの有効性は示された。

一方で，JESC および WMT14 En-De の一回目の実験において, 文レベル最適輸送損失を用いたすべて のモデルが旧来の最尤誤差損失のみを用いるモデル に劣る結果となった. WMT14 En-Deの二回目の実験においても, 文レベル最適輸送損失を用いたべー スラインモデルをはじめとする複数のモデルが旧来 の最尤誤差損失のみを用いるモデルに劣る結果を示 した. この原因として，本実験におけるパラメータ のチューニングが不足しており文レベル最適輸送損失の効果を引き出しきれていないこと，または文レ ベル最適輸送損失の有効性が限定的であることが考 えられる。

また，アブレーション実験を見ると，複数の参照訳を持つ原文の割合が比較的高かった JESC におい て，バッチ作成アルゴリズムに divided を用いた際 の結果が base+base+base よりも 0.4 ポイント以上低表 2 テストデータセットに対する BLEU スコア. dec. は decloss，del. は deldupl の適用の有無を示す.

 & & & & & \\

base & $\times$ & $\times$ & 13.45 & 24.47 & 25.87 \\

samebatch & $\bigcirc$ & $\bigcirc$ & $\mathbf{1 3 . 7 0}$ & $\mathbf{2 4 . 6 2}$ & 25.64 \\
base & $\bigcirc$ & $\times$ & $\mathbf{1 3 . 7 1}$ & $\mathbf{2 4 . 6 3}$ & $\mathbf{2 6 . 1 4}$ \\
base & $\times$ & $\bigcirc$ & 13.40 & $\mathbf{2 4 . 6 4}$ & $\mathbf{2 6 . 0 3}$ \\
base & $\bigcirc$ & $\bigcirc$ & 13.28 & $\mathbf{2 4 . 6 0}$ & 25.71 \\
samebatch & $\times$ & $\times$ & 13.19 & $\mathbf{2 4 . 6 5}$ & $\mathbf{2 6 . 1 4}$ \\
samebatch & $\bigcirc$ & $\times$ & 13.10 & $\mathbf{2 4 . 5 4}$ & $\mathbf{2 6 . 1 5}$ \\
divided & $\times$ & $\times$ & 12.53 & $\mathbf{2 4 . 6 5}$ & 25.81 \\
divided & $\bigcirc$ & $\times$ & 13.00 & $\mathbf{2 4 . 6 2}$ & 25.81 \\
divided & $\times$ & $\bigcirc$ & 12.47 & 24.38 & $\mathbf{2 5 . 9 2}$ \\
divided & $\bigcirc$ & $\bigcirc$ & 13.04 & 24.33 & 25.85 \\

くなっている. さらに，バッチ作成アルゴリズム に samebatch を用い, deldupl を適用しなかった場合 についても base+base+base より劣る結果となってい る.このことから，複数の参照訳を持つ原文の割合 が高く，一つの原文に対して多数の参照訳が紐づく 例が存在するデータセットにおいては, 参照訳の数 が極端に多い原文に影響を受けて，バッチ作成アル ゴリズムを divided にするとバッチ作成時の制約が 強すぎてモデルの学習がうまくいかないこと, そし て samebatch を用いる場合も deldupl を適用しないと 有効なバッチの作成が行えないことが考えられる.

## 6 おわりに

本研究では，コーパス内の原文が複数の参照訳を 持っているという情報を，機械翻訳モデルの学習に 明示的に用いる手法を提案した. 実験において提案手法は旧来の最尤誤差損失のみを用いる学習手法に 劣る結果となったが，文レベル最適輸送損失を用い るモデルに限れば提案手法が既存手法よりも良い性能を示した。

今後取り組むべき課題として，モデル学習時のパ ラメータの探索を行うことが挙げられる。

今後の展望としては, データセット内の複数参照訳を持つ原文の割合が提案手法の性能に与える影響 を調査することを検討している。また，近年機械翻訳を含む幅広いタスクで活用されている近傍事例を 用いて，提案手法を拡張することを検討している。

## 謝辞

研究について貴重なコメントをくださった山中光

さん，飯島慧さん，論文のレビューをくださった石渡太智さん，伊藤光一さん，鈴木偉士さんに感謝の 意を表す。

## 参考文献

[1] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, and Denny Britz. JESC: Japanese-English subtitle corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[2] Ondřej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[3] Liqun Chen, Yizhe Zhang, Ruiyi Zhang, Chenyang Tao, Zhe Gan, Haichao Zhang, Bai Li, Dinghan Shen, Changyou Chen, and Lawrence Carin. Improving sequence-to-sequence learning via optimal transport. In International Conference on Learning Representations, 2019

[4] Yujia Xie, Xiangfeng Wang, Ruijia Wang, and Hongyuan Zha. A fast proximal point method for computing exact wasserstein distance. In Ryan P. Adams and Vibhav Gogate, editors, Proceedings of The 35th Uncertainty in Artificial Intelligence Conference, Vol. 115 of Proceedings of Machine Learning Research, pp. 433-453. PMLR, 22-25 Jul 2020.

[5] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[7] MeCab: Yet Another Part-of-Speech and Morphological Analyzer. https://taku910.github.io/mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 59986008. Curran Associates, Inc., 2017.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[11] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, and Geoffrey Hinton. Regularizing neural networks by penalizing confident output distributions, 2017.

[12] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.