# 対訳句追加による NMT の翻訳

浅井奏人 村上 仁一
鳥取大学工学部
b18t2002m@edu.tottori-u.ac.jp
murakami@tottori-u.ac.jp

## 概要

近年，機械翻訳の分野においてニューラル機械翻訳 (Neural Machine Translation;NMT) がある。しか し，NMT の翻訳精度は人手による翻訳の精度には 及ばない. 翻訳精度の向上には大量の対訳学習文を 用いる必要がある. しかし，学習に用いるデータが 文のみの場合精度の向上に限界がある. 本論文で は，日英 NMT において対訳句を利用する手法を示 す. 次に，対訳句の正答率を変化した場合について 述べる. 最後に，初期値を変更した場合について述 べる.

## 1 はじめに

近年，機械翻訳の分野においてニューラル機械翻訳 (Neural Machine Translation;NMT) がある. NMT は，従来の手法と比較して，より流暢性の高い翻訳 を出力することができる。 一方で，NMT の翻訳精度は人手による翻訳の精度には及ばない. 翻訳精度 の向上には大量の対訳学習文を用いる必要がある. これを行うには，コストがかかる。

そこで本研究では，日英 NMT において対訳句を 利用する手法を提案する。日英 NMT の学習におい て，対訳学習文に，対訳学習文から抽出した対訳句 を追加する. 対訳句を追加することで，語句の対応情報を強化できるため，翻訳精度を向上すると仮定 する。

## 2 対訳句の利用

要素合成法の問題を以下に示す. この問題は，影響の大小はあるが，すべての翻訳システムに当ては まる。

1. 文を翻訳するとき，入力文を単語ごとに翻訳し ても，文の意味は間違った翻訳になることが 多い.
2. 翻訳精度を向上させるには，文全体の意味を考慮して翻訳する必要がある。これを考慮するた めに，できるだけ長い句ごとに翻訳を行う必要 がある.

例を以下に示す.

・入力文: 彼は我を通した。
- 参照文:He had his own way.
- 出力文:He passed me.

一般的に，「通す」は"pass"，「我」は"me"と訳すこ とが多い. しかし，文全体の意味を考えると間違っ た翻訳になる。そこで，対訳学習文に対訳句を追加学習することで，文全体の意味を考慮した翻訳を行 うことができる．具体的には，対訳学習文に，以下 に示す対訳句を追加学習する。

・日本語句: 我を通した
- 英語句:had his own way

対訳学習文に対訳句を追加することで，翻訳精度 が向上すると考えられる。

## 3 提案手法

本研究では，対訳学習文から抽出した対訳句を，対訳学習文に追加する．対訳句追加の流れを図 1 に 示し、手順を以下に示す.

図 1. 対訳句追加の流れ
手順 1 対訳学習文と, 対訳学習文から抽出した対訳句を組み合わせて，新たな学習データを作成 する。

手順 2 手順 1 で作成した学習データを用いて NMT の モデルの学習を行う.

手順 3手順 2 で学習したモデルを用いて日英ニューラ ル機械翻訳を行う。

## 4 実験

## 4.1 対訳学習データ

本研究では，実験データとして日英重文複文コー パス [1] から抽出した単文を用いる. 対訳学習デー タの内訳を表 1 に，対訳学習文の例を表 2 に示す.

表 2. 対訳学習文の例

入力文 $1:$ 星印のノートを買った。

出力文 1:I bought a star brand notebook.

入力文 $2:$ この動物 園には、コアラがいます。

出力文 2:There are koala bears in this zoo.

入力文 3 : 彼は、この会社の主要な人物である。出力文 $3: \mathrm{He}$ is a central figure in this company.

## 4.2 対訳句

本研究の対訳句は，対訳学習文から自動抽出した ものを用いる. (森本 [2] 参照) 正答率は $95 \%$ であ る. 対訳句の例を表 4 に示す.

表 3. 対訳句データの内訳

$
\text { 対訳句 } 41926 \text { 句 }
$

表 4. 対訳句の例

## 4.3 評価実験

本研究では、NMT の学習データに対訳学習文の みを用いる手法 (以下，ベースライン) と，対訳学習文に対訳句を追加した学習データを用いる手法 (以下，提案手法) を比較する。

評価方法として，自動評価と人手評価を行う，自動評価では実験で得られた 16328 文の出力文に対し て，4つの自動評価指標 (BLEU，METEOR，RIBES， TER) で評価を行う. 人手対比較評価では, 出力文 16328 文より無作為に抽出した 100 文に対して，正確性に基づいて対比較評価を行う.

## 5 実験結果

## 5.1 自動評価

出力文 16328 文において，提案手法とベースライ ンの自動評価の結果を表 5 に示す.

表 5. 自動評価結果

表 5 より，自動評価の結果では，提案手法の翻訳精度が高いことが確認できる.

## 5.2 人手評価

出力文 16328 文から無作為に抽出した 100 文に対 して人手評価を行った. 人手評価は，提案手法と ベースラインとの対比較評価である．評価者は 5 名 である。結果を表 6 に示す. 表 6 の結果は, 5 名が同 じ 100 文を評価し,その結果をまとめた. また，評価 の説明を以下に示す.

## - 提案手法 $\bigcirc$

提案手法とベースラインを比較した際，対訳句追加時の出力文の方が入力文の意味に近い.

## ・ベースライン $\bigcirc$

提案手法とベースラインの比較した際，ベー スラインの出力文の方が入力文の意味に近い.

## ・差なし

提案手法とベースラインを比較した際，両手法の出力文の評価には差がない.

$\cdot$同一

提案手法とベースラインを比較した際，両手法の出力文がほぼ同じである.
表 6. 人手対比較評価結果

表 5 より，提案手法とベースラインを比較して，提案手法の方が翻訳精度が高いことが確認できる。

## 5.3 人手評価例

ベースラインと提案手法との対比較評価におい て，提案手法○とした例を表 7 に，ベースライン とした例を表 9 に，差なしの例を表 10 にそれぞれ 示す.

## 5.3.1 提案手法 $\bigcirc$ の例

表 7. 提案手法○の例

 \\

表 6 の例において，入力文中の語句「静寂」に 対して，ベースラインでは相当する翻訳が得られ ていない。一方，提案手法では比較的正しい出力「stillness」を得られている. 表 7 で使用した対訳句 を表 8 に示す.

表 8 . 使用した対訳句

森の静寂の中 quietude of the woods かすか なa aint

音

noise

聞こえた heard

5.3.2

## ベースライン $\bigcirc の$ 例

表 9. ベースライン○の例

 \\

表 9 の例において，提案手法では一部しか翻訳で きていない。一方,ベースラインでは比較的正しい 出力文を得られている。

## 5.3.3 差なしの例

表 10. 差なしの例

表 10 の例において，ベースラインおよび提案手法に入力文中の語句「輸出入業」に対する出力が得 られていない.このことから，どちらも翻訳ができ ていないと判断して差なし判定とした。

## 6 考察

## 6.1 対訳句の正答率に対する翻訳精度の 変化

本研究で用いた対訳句の正答率は，95\%である. この精度が低下したときの，翻訳精度の変化を調査 した. 本実験の対訳句の正答率を $100 \%$ と仮定して,正答率を 50\%，75\%，90\%に設定した．表 11 に自動評価の結果を示す.

表 11. 正答率変更後の自動評価結果

表 11 より対訳句の正答率を下げた場合，翻訳精度が下がることを確認した。 $75 \%$ まで下げた場合，翻訳精度がベースラインより低下している。

## 6.2 初期値の変更

NMT は，初期値によって翻訳精度が変化する。本節では，提案手法と別の初期値を用いて翻訳し た. 結果を表 12 に示す.
表 12. 初期値変更後の自動評価結果

表 12 より，初期値を変更すると，翻訳精度が変化していることがわかる。しかし，表 11 と表 12 を 比較すると，ほぼ同じ傾向があることがわかる。つ まり，対訳句の正答率が低いと翻訳精度は向上し ない.

## 6.3 対訳句追加による効果

本実験の結果として，対訳句を追加ことで翻訳精度が向上することが確認できた. しかし, 対訳句の 正解率を $75 \%$ もくは $50 \%$ まで下げた場合，対訳句追加前の翻訳精度を下回ることを確認した. このこ とから翻訳精度の向上には, 高精度な対訳句を追加 する必要があると推察される.

## 6.4 関連研究

## 6.4.1 PBSMT に対訳句を追加

本論で述べた手法と似た手法を用いる機械翻訳 に, 句に基づく統計機械翻訳 (Phrase-Based Statistical Machine Translation;PBSMT) がある。（日野 [3]）日野 は，日英翻訳において PBSMT を用いて翻訳精度の 向上に成功している. なお, 日野の研究結果と本論 の研究結果から, NMT の翻訳精度は PBSMT と比較して対訳句の精度による影響が大きいと推察さ れる。

## 6.4.2 複文での調査

本研究の関連研究として, 今仁 [4] の研究を挙げ る. 今仁は本論で述べた実験を, 自動で作成した対訳句と人手で作成した対訳句で比較を行った. その 結果として，高精度かつ多量の人手対訳句を用いた 翻訳が精度が高いことが確認できた. また, 本論で 述べた研究は単文で行ったが，今仁は複文で行って いた。複文で行った場合，人手評価が不安定になる 問題点がある.

## 7 おわりに

NMT の翻訳精度は人手の翻訳には及ばないこと が問題となっていた.そこで，本研究では，対訳学習文から作成した対訳句を，対訳学習文に追加する 手法を提案した. 実験の結果，自動評価および人手評価ともに，提案手法の有効性が確認できた。一方 で，対訳句の精度が低下した場合，翻訳精度はべー スラインより低くなることが確認できた。翻訳精度 が向上した理由は，対訳句を追加することで，語句 の対応情報が強化されたと考えられる．今後はより 人手の翻訳精度に近づける手法を検討し，さらなる 翻訳精度の向上を試みたい.

## 謝辞

人手評価には，以下 5 名の学生の協力を得まし た. 感謝いたします. (新田 玲輔，矢野貴大，齋藤永, 森唯人, 柳原 弘哉)

## 参考文献

[1] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ,pp.119-130, 2012.

[2] 森本世人, 村上仁一. 類似度を利用したb 変換テーブ ルの精度向上. 2021 年度鳥取大学卒業論文, 2021.

[3] 日野聡子, 村上仁一, 徳久雅人, 村田真樹. 日英統計翻訳における対訳句コーパスの効果. 言語処理学会台 19 回年次大会,pp.556-559, 2013.

[4] 今仁優希, 村上仁一.日英ニューラル機械翻訳にお ける対訳句の追加. 言語処理学会台 26 回年次大会,pp.169-172, 2020.
 浅井奏人 村上 仁一 鳥取大学工学部 b18t2002m@edu.tottori-u.ac.jp murakami@tottori-u.ac.jp  