# NMT での学習データの単語数制約による翻訳精度の向上

細川楓 1 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部
${ }^{1}$ b20t2096x@edu.tottori-u.ac.jp ${ }^{2}$ murakami@tottori-u.ac.jp

## 1 概要

ニューラルネットワーク翻訳 (Neural Machine Translation：以下，NMT)に関する研究はこれまでに多数行われている [1]. しかし，極端に単語数の多いテスト文の翻訳は困難である。この原因として，学習文とテスト文の単語数の差に着目した. 機械翻訳を回帰分析と考えると，入力に対して学習文を基に出力の予測を行っている．そのため，学習データ中に入力と同じ単語数の学習文が多いほど，より正確な出力の予測ができると考えた.

本論文では，テスト文の単語数と学習文の単語数を揃えて機械翻訳を行う。そして，テスト文に対する学習文の単語数による影響を調査する. 実験の結果，提案手法による翻訳精度の向上が確認できた.

## 2 encoder-decoder モデル

NMT は基本的に encoder-decoder モデル [2]を利用している. encoder は入力文から単語を抽出し、 decoder はそれを入力として翻訳を出力する。また，先頭から単語が出力されていくが，2 単語目以降, decoder は過去の出力も入力として受け取る.

## 3 回帰分析

回帰分析 [3] は出力と入力の関係を説明するモデルを導くことを目的としている. 回帰分析モデルは入力を独立変数 $\mathrm{x}$, 出力を従属変数 $\mathrm{y}$ として, 以下の独立変数 $\mathrm{x}$ の $\mathrm{n}$ 次多項式

$
y=a_{0}+a_{1} x+a_{2} x^{2}+a_{3} x^{3}+\cdots+a_{n} x^{n}+\epsilon
$

として表される。ここで $\mathrm{a}, \mathrm{b}$ は回帰係数， $\epsilon$ は正規分布に従う誤差である.

## 4 回帰次数

回帰分析では回帰次数を決定する方法が問題となる. 機械翻訳においては入力文の単語数を回帰次数だと考えることが出来る [4]. encoderによって抽出
された入力文中の単語から, decoderによって翻訳が生成されるという encoder-decoder モデルの考え方より，入力文中の単語が独立変数に対応するとみなせる. このことから，入力文と同一の単語数の学習文で学習を行うことが妥当である.

## 5 先行研究

Kenton Murray と David Chiang[5] は，翻訳モデルに文レベルの修正を導入することで翻訳精度の向上を試みた。NMT は短すぎる翻訳を生成する傾向がある. この問題に対し，長さ補正として標準のモデルスコアに出力シーケンスの長さと調整された単語報酬と呼ばれる值から計算される定数単語報酬の追加を行うことで対処している.

出力文の単語数に着目したこの研究では, 長さ補正を行った場合，補正を行わない場合と比べて翻訳精度が向上したことが示されている.このことから，単語数という要素が翻訳精度に影響を与えているのではないかと考えられる。

## 6 提案手法

テスト文の単語数に学習文の単語数を揃えて機械翻訳を行う。

本研究では，以下の手法を提案する。

1. 単語数を揃えたテスト文のコーパスを作成

2. テスト文と同じ単語数の学習文のコーパスを作成

3. 作成した学習文のコーパスをNMT で学習

4. 学習した NMT でテスト文を翻訳

## 7 実験

本実験では，OpenNMT-py[6] を用いて翻訳実験を行う. 手法ごとに異なる条件の学習文を学習させる。そして，翻訳結果を比較する。

## 7.1 実験データ

実験には，電子辞書などの例文より抽出したコー パス [7] から単語数ごとに文を抽出して用いる. コーパス内のデータは単文となっている．学習デー タとして，コーパス内から手法ごとに条件に合致した対訳学習文を 2 万 4269 文選んで用いる. また, テストデータとして日本語のテスト文を 2302 文選んで用いる。コーパス中で単語数 9 の文が最も多かったため, 実験では単語数 9 の文をテストデータとする.

提案手法では，単語数 9 の文だけで学習を行う. しかし, 現実的にはテスト文と同一の単語数の学習文だけを集めるのは難しい. そこで，テスト文の単語数に近い範囲の単語数の学習文だけで学習を行う. 範囲はテスト文の単語数の $2 / 3$ から $3 / 2$ とする. テスト文の単語数が 9 単語なので，学習文の範囲は 6 単語から 13 単語にする。

表 1 に本実験で行う 5 種類の手法と用いる学習データを示す.

表 1 本実験で行う 5 種類の手法と用いる学習データ

表 2，3 に学習文 (単語数 9)，テスト文の例文を載せる.

表 2 単文対訳学習文の例文

1 か月で仕事がずいぶん溜まった。

In just one month a lot of work has piled up .

表 3 単文テスト文 (単語数 9) の例文

このビルは通りに面している。

彼は大学に在学している。

## 8 実験結果

## 8.1 自動評価結果

単語数 9 の単文テスト文 2302 文の翻訳結果の出力文に対して自動評価指標 BLEU[8], METEOR[9],
TER[10]，RIBES[11] による自動評価を行った. 表 4 に自動評価の結果を示す.

表 4 学習文 24,269 文でのテスト文 2302 文の自動評価の結果

表 4 より, 学習文の単語数がテスト文の単語数に近づくほど精度は向上していくことがわかる.

## 8.2 人手評価結果

単語数 9 の単文テスト文 2302 文を翻訳した結果から 100 文を抽出し, 人手による対比較評価を行った. 評価者は 1 名である. 表 5 に対比較評価の結果を示す.

表 5 対比較評価の結果

表 5 より，提案手法の方がベースラインより良い結果となっている.

## 8.3 出力結果の例文

表 6 に翻訳例を示す.
表 6 翻訳例

 \\

## 8.4 実験のまとめ

実験結果より，学習文の単語数がテスト文の単語数に近いほど翻訳の精度が向上することがわかる.

## 9 考察

## 9.1 ベースラインと比較した提案手法の翻訳精度

表 4，5 より，提案手法は自動評価と対比較評価においてべースラインよりも良い結果を出している. 以下の表 7 に提案手法の方が良かった翻訳例を示す.表 7 提案手法の方が良かった翻訳例

 \\

しかし，対比較評価では提案手法のほうが良い結果が出ているものの, 得られた正しい翻訳の数は少なかった. 翻訳例 100 例のうち 58 例が提案手法とベースラインの両方で間違っていると評価された. この原因として，学習文の数が少なかったことを考えている，今回の実験では，提案手法のためにテス卜文と同じ単語数の学習文を集めた。しかし，特定の単語数の学習文を大量に集めることは難しかった. そのため，学習文の不足により提案手法とべー スラインの翻訳精度が十分でなかったために翻訳をうまく行えなかった文が多くなったとみている.

## 9.2 幅制限, ベースラインの学習データ中 の単語数分布

幅制限とベースラインはどちらも単語数がバラバラな文を学習している。しかし，表 4 より，幅制限はベースラインよりも良い結果を出している。幅制限はベースラインと比較して，学習文をテスト文の単語数に近い単語数に限定して学習を行っている. そのため, 原因として幅制限，ベースラインの学習データ中の単語数分布に違いがあることが考えられる。

図 1 に幅制限，図 2 にベースラインの学習データ中の単語数分布を示す.

図 1 幅制限の学習データ中の単語数分布

図 2

ベースラインの学習データ中の単語数分布

上図より，幅制限，ベースラインの学習データ中の単語数分布は似た形をとっていることがわかる. しかし，ベースラインでは幅制限よりも含まれるデータの範囲が広い，このことから，ベースラインでは幅制限よりも大きい, または小さい単語数の学習文がノイズとなったために，翻訳精度が低下したとみている。

## 9.3 上カットと下カットの評価結果

表 4 より，上カットと下カットの自動評価結果はベースラインとあまり変わらない結果となっている. 幅制限ではベースラインよりも良い結果が出ていることから，上カット，下カットのどちらかだけでは翻訳精度は向上しないことがわかる. テスト文の単語数と比較して，上カットには単語数の小さすぎる学習文、下カットには単語数の大きすぎる学習文が含まれている. 表 8 に上カットでの単語数の小さすぎる単文対訳学習文の例文，表 9 に下カットでの単語数の大きすぎる単文対訳学習文の例文を載せる.このことから単語数の大小にかかわらず，テスト文の単語数に対して極端に単語数の差がある学習文が翻訳の際にノイズになっていると考えている。表 8 上カットでの単語数の小さすぎる単文対訳学習文の例文

表 9 下カットでの単語数の大きすぎる単文対訳学習文の例文

 \\

## 10 おわりに

本研究では，NMT による機械翻訳においてテスト文と同じ単語数の学習文を学習させて翻訳を行った. その結果，以下のことがわかった.

・テスト文と学習文の単語数を揃えることで翻訳精度が向上する

・学習文の単語数をテスト文の単語数に近い単語数に限定した場合でも翻訳精度は向上する

・テスト文の単語数と極端に差がある学習文は,単語数の大小にかかわらず翻訳精度が低下する原因となる

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. arXiv preprint arXiv:1706.03872, 2017.

[2] 中澤敏明. 機械翻訳の新しいパラダイム:ニュー ラル機械翻訳の原理. 情報管理, Vol. 60, No. 5, pp. 299-306, 2017.

[3] 岩崎学. 統計的因果推論の視点による重回帰分析.日本統計学会誌, Vol. 50, No. 2, pp. 363-379, 2021.

[4] 村上仁一. 多数決による自己回帰モデルに基づく機械翻訳. 2024.2024 年度言語処理学会発表予定.

[5] Kenton Murray and David Chiang. Correcting length bias in neural machine translation. arXiv preprint arXiv:1808.10006, 2018.

[6] Opennmt - open-source neural machine translation, 2017. https://opennmt.net/.

[7] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[10] Gregor Leusch, Nicola Ueffing, and Hermann Ney. A novel string-to-string distance measure with applications to machine translation evaluation. In Proceedings of Machine Translation Summit IX: Papers, 2003.

[11] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法. 言語処理学会第 17 年次大会発表論文集, pp. 1111-1114, 2011.