# ニューラル機械翻訳に乱数が与える影響
## 矢野貴大鳥取大学 工学部 \\ b17t2114b@edu.tottori-u.ac.jp

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

## 1 はじめに

機械翻訳の方式の一つに，Neural Machine Translation(以下, NMT)[1] がある. NMT は学習を行う際に乱数を用いている. ぞのた, 同じデータで学習を行った としても出力が異なる.しかし, 精度に大きな差はない とされ，今まであまり考慮されてこなかった．本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果か変動するかについて調査を行う．

## 2 翻訳評価の手法

## 2.1 翻訳確率 (PRED)

翻訳確率とは, 入力が $\mathrm{a}$ であったときに $\mathrm{b}$ が出力され る尤もらしさを数値化したものである.この翻訳確率の 対数をとった値が，PREDである. PRED の值が 0 に近 いほど，良い翻訳である。

## 2.2 BLEU,METEOR,TER

BLEU[2]，METEOR[3]，TER[4] は機械翻訳の自動評価の手法である . 参照文と翻訳結果をもとに評価を行う

## 2.3 人手評価

著者自身が各出力文に対し $\bigcirc, \triangle, \times$ の 3 つの評価基

準を表 1 に示す。

## 表 1 人手評価の基準

 \\

## 3 調査方法

## 3.1 学習

調査方法における学習の過程では, 同じ学習データを 異なる乱数を用いた上でNMT に学習させることで，8 個の NMT を生成する。

## 3.2 翻訳

テスト文を 8 個の NMT 光れ光れに翻訳させ, 8 個の翻訳結果を生成する。

ここで生成された翻訳結果を用いることで，翻訳結果 の変化についての調査を行う.

## 4 実験

4.1 実験条件

本研究における調査では, OpenNMT[5] を用いて日英 ニューラル機械翻訳を行う。

## 4.2 実験データ

調査に用いるデータの内訳を表 2 に示す. なお, 学習文は全て単文である。

表 2 実験データ

## 4.3 出力結果

出力結果を表 3 に示す.なお，表 3 における評価の列 は , 人手評価の結果を示す。

表 3 出力結果

表 3 の結果より，乱数によって出力結果が異なってく ることが確認できた .

## 4.4 自動評価結果

自動評価結果を表 4 に示す.なお，表 4 に示す PRED 值は，テスト文 16,000 文各文に対して導出された PRED 值の平均値である。

表 4 の結果より，自動評価の値も異なってくることが確認 できた . この表の PRED で最良の値を示したのは NMT 7 であった.また，BLEU で最良の値を示したのは NMT 5であった.

## 4.5 人手評価結果

翻訳を行ったテスト文のうちのランダムな 100 文に対 し, 評価を行った．結果を表 5 に示す。

表 5 人手評価結果 (100 文)

表 5 の結果を見ると，モデルによって人手評価の結果 が大きく異なることが確認できる．このことより，NMT は乱数の影響を強く受けるということが言える。

また，ここで表 5 の結果と表 4 の結果を比較する. PRED の最も良かった NMT 7 と，BLEU の最も良かっ た NMT 5 は，どちらも人手評価では振るわなかった．

このことより、自動評価と人手評価の結果が一致する とは限らないということが言える。

## 5 考察

## 5.1 PRED 值平均

人手評価に対応する PRED 値の値の平均を表 6 に示 す.

表 6 人手評価と対応する PRED 値の平均

表 6 より, PRED 值が高いほど良い人手評価になる傾向 にあることが確認できた．

## 5.2 出力結果 (PRED と人手評価の一致した例)

表 7 に PRED が人手評価と対応がとれている例, 表 8 , 9，10に PRED と人手評価が対応が取れていない例を 示す.

表 7 PRED と人手評価の一致した例 1

表 7 については, 人手評価○の文に対しては高めの
PRED 值が , × の文に対しては低めの PRED 値が出てい ることが確認できる。

表 8 PRED と人手評価の一致した例 2 (繰り返し文)

表8について, NMT 1，8の出力では the president が 繰り返し発生している.しかし意味は取れている文であ るため, 人手評価では○とした . 光して PRED について も良い値を示している．このことより，この例において PRED は繰り返し文に対応出来ていた。

表 9 PRED と人手評価の一致した例 3 (He, She 入れ替わり)

表 9 において NMT 5 の出力は He であるべき部分が She となっている. 光してこの出力の PRED 值は下から 2 番目に悪い．PRED 値は類似の例文をもとに導出する．

今回 She の出力で PRED が悪かったのは , 類似の例文 に Heで始まるものが多かったからではないかと考える． 5.3 出力結果 (PRED と人手評価が一致しなかった例)

表 10 PRED と人手評価が一致しなかった例 1 (肯定否定が逆でも PRED に大差なし)

表 10 について説明する.NMT2, 4,8 の出力は翻訳 すると「自分の将来に不安を感じている」といったニュ アンスになる．しかし入力文は「自分の将来に不安を感 じていない」であり，これらの出力文は意味が逆になっ て出力されている.しかし PRED 值においては正解の出力文と大して変わらない値となっている.
表 11 PRED と人手評価が一致しなかった例 2 (意味不明でも PRED は 光こまで悪くない)

表 11 において，NMT4，5，8 の出力は入力文と大き く異なる訳であるにもかかわらず，PRED の値は良い． この原因については , 類似する例文が少なかったから ではないかと推測する。

表 12 PRED と人手評価が一致しなかった例 3(PRED 低いけど人手評価は○)

表 12 において , NMT4, 6 の出力は人手評価では○と した . しかし PRED 值で見ると , ワーストの 2 文である .

## 5.4 各文に対して最良の PRED 値を選択した際の人手評価結果

表 13 に示す.なお, 表の「PRED 最良」の行では各入力文に対する出力文に最も低い PRED 値を選択した際の 結果を示す.また，「理論値」の行では各入力文に対して の出力文に人手評価が最も良いものを選べた際の結果を 示す。

表 13 人手評洒結果 (100 文)

表 5 と表 13 を比較すると，PRED 値が最良の出力を 選択することで人手評価結果が改善することが確認でき た.このことより，PREDによってある程度は翻訳の良 し悪しを判定できることが分かった . しかし理論値と比較すると , 改善の余地があることが分かる．

5.5 エポック数の妥当性について

エポック数の値が 100,000 で適切であるかどうかを検証した . ステップ数別の PRED と BLEU の值を表 14 に 示す.

表 14 を見ると ,PRED の値は 100,000 以降で , BLEU の值は 70,000 以降頭打ちになっている．光のため，エ ポック数の值は 100,000 が適切であると判断した.

## 6 おわりに

本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果が変動するかについて調査を行っ た. 調査結果より, 同一の学習データで学習させたとし ても出力は異なることが分かった . また, 各翻訳評価に おいても差が生じるということが分かった . 考察より， PRED 値を用いることで NMT の出力を改善出来ること が分かった.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[2] K. Papineni, S. Roukos, T. Ward, and W. J. Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, 2002

[3] S. Banerjee and A. Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. pages 6572 , 2005.

[4] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. Proceedings of Association for Machine Translation in the Americas, 2006.

[5] G. Klein, Y. Kim, Y. Deng, J. Senellart, and A. M. Rush. OpenNMT: Open-source toolkit for neural machine translation. ArXiv e-prints, 2017.