# 論文
## ニューラル機械翻訳での訳抜けした内容の検出

## 後藤 功雄 $^{\dagger \cdot$ 田中 英輝 $\dagger$}

ニューラル機械翻訳 (NMT) は入力文の内容の一部が翻訳されない場合があるという問題があるため, NMT の実用には訳出されていない内容を検出できることが重要である．著者らはアテンションの累積確率と出力した目的言語文から入力文を生成する逆翻訳の確率という 2 種類の確率による, 入力文の内容の久落に対する検出効果を調査した. 日英の特許翻訳での訳抜けした内容の検出実験を実施し, アテンションの累積確率と逆翻訳の確率はいずれも効果があり, 逆翻訳はアテンションより効果が高く, これらを組み合わせるとさらに検出性能が向上することを確認した. また，訳抜けの検出を機械翻訳結果の人手修正のための文選択に応用した場合に効果があることが分かった.

キーワード：ニューラル機械翻訳，訳抜け

## Detecting Untranslated Content for Neural Machine Translation

\author{
IsAo Goto ${ }^{\dagger}$ and HideKi TANAKA ${ }^{\dagger}$
}

Despite its promise, neural machine translation (NMT) presents a serious problem in that source content may be mistakenly left untranslated. The ability to detect untranslated content is important for the practical use of NMT. We evaluated two types of probability with which to identify untranslated content: the cumulative attention probability and the back translation probability from a target sentence to the source sentence. Experiments were conducted to discover missing content in Japanese to English patent translations. The results of the investigation revealed that both the types of probability were each effective, back translation was more effective than attention, and the combination of the two resulted in further improvements. Furthermore, we confirmed that the detection of untranslated content was effectual in terms of sentence selection for the human post-editing processing of machine translation results.

Key Words: Neural Machine Translation, Missing Translation


## 1 はじめに

ニューラル機械翻訳 (NMT) (Sutskever, Vinyals, and Le 2014; Bahdanau, Cho, and Bengio 2015) は流暢な訳を出力できるが，入力文の内容を全て含んでいることを保証できないという問題があり，翻訳結果において入力文の内容の一部が欠落（訳抜け）することがある．欠落は単語レベルの内容だけでなく，節レベルの場合もある．NMTによる訳抜けを含む日英翻訳の翻訳例を図 1 に示す.この翻訳例では網掛け部の訳が出力されていない。内容の欠落は，実際の利用時に大きな問題となる.この他に NMT では, 入力文中の同じ内容を繰り返し訳出してしまうことがあるという問題もある。本稿は, これらの問題のうち訳抜けを対象として扱う.

従来の統計的機械翻訳 (SMT) (Koehn, Och, and Marcu 2003; Chiang 2007) は, デコード中にカバレッジベクトルを使って入力文のどの部分が翻訳済でどの部分が未翻訳であるかを単語レベルで明示的に区別し，未翻訳の部分がなくなるまで各部分を一度だけ翻訳するため，訳抜けの問題および訳出の繰り返しの問題はほとんど1起きない. しかし, NMT では対訳間での対応関係は, アテンションによる確率的な関係でしか得られないため, 翻訳済の原言語単語と未翻訳の原言語単語を明示的に区別することができない. このため, SMTでのカバレッジベクトルによって訳抜けを防ぐ方法をそのまま適用することは出来ない.

入力文中の各単語位置に応じた動的な状態べクトルを導入して, この状態ベクトルをソフトなカバレッジベクトル（カバレッジモデル）と見なす手法がある (Tu, Lu, Liu, Liu, and Li 2016; Mi, Sankaran, Wang, and Ittycheriah 2016). カバレッジモデルを用いる手法は, 訳抜けの問題を軽減できる可能性がある。しかし, 未翻訳部分が残っているかどうかを明示的に検出して翻

 \\

図 1 訳抜けを含む NMT による日英翻訳結果の例。入力の網掛け部の訳が機械翻訳出力に含まれていない。参照訳の網掛け部は入力の網掛け部に対応する部分を表している.

訳の終了を決定しているわけではない。そのため，カバレッジモデルを用いても訳抜けが発生する問題は残る。

本論文 2 では， 2 種類の確率に基づく値に対して，訳出されていない入力文の内容に対する検出効果を調べる．検出方法の 1 つはアテンション (ATN) の累積確率を用いる方法である（3.1 節)。もう 1 つは, 機械翻訳 (MT) 出力から入力文を生成する逆翻訳 (BT) の確率を用いる方法である (3.2 節)，後者は，言語間の単語の対応関係の特定を必ずしも必要とせずに，MT 出力に入力文の内容が含まれているかどうかを推定できるという特徴がある。また， 2 種類の確率に基づく値を訳抜けの検出に使う場合に，それぞれ値をそのまま使う方法と確率の比を用いる方法の 2 つを比較する。さらに，これらの確率を NMT のリランキングに応用した場合（4 節） および機械翻訳結果の人手修正（ポストエディット）のための文選択に応用した場合（5 節）の効果も調べる。これらの効果の検証のために日英特許翻訳のデータを用いた評価実験を行い（6 節），アテンションの累積確率と逆翻訳の確率はいずれも訳抜け部分として無作為に単語を選択する場合に比べて効果があることを確認した。そして，逆翻訳の確率はアテンションの累積確率より効果が高く, これらを同時に用いるとさらに検出精度が向上した. また, アテンションの累積確率または逆翻訳の確率を NMT の $n$-best 出力のリランキングに用いた場合の効果がプレプリント $(\mathrm{Wu}$, Schuster, Chen, Le, Norouzi, Macherey, Krikun, Cao, Gao, Macherey, Klingner, Shah, Johnson, Liu, Kaiser, Gouws, Kato, Kudo, Kazawa, Stevens, Kurian, Patil, Wang, Young, Smith, Riesa, Rudnick, Vinyals, Corrado, Hughes, and Dean 2016; Li and Jurafsky 2016) で報告されているが3, これらと独立した本研究でも同様の有効性を確認した. さらに，訳抜けの検出をポストエディットのための文選択に応用した場合に効果があることが分かった.

## 2 ニューラル機械翻訳

本節では, Bahdanau et al. (2015) に基づく, 本論文で用いたべースラインの NMT について述べる。この NMT は入力文をエンコードするエンコーダーと訳文を生成するデコーダー からなる，入力文が与えられると，その各単語を one-hot 表現に変換し, one-hot 表現の系列 $\mathbf{x}=x_{1}, \ldots, x_{T x}$ を得る. $\mathbf{x}$ の単語位置 $j$ において, エンコーダーは単語の分散表現の行列 $E_{x}$ と LSTM (Hochreiter and Schmidhuber 1997) 関数 $f$ を用いて, 前向きの LSTM の出力ベクトル $\vec{h}_{j}=f\left(\vec{h}_{j-1}, E_{x} x_{j}\right)$ と後ろ向きの LSTM の出力ベクトル $\overleftarrow{h}_{j}=f\left(\overleftarrow{h}_{j+1}, E_{x} x_{j}\right)$ を生成し, それらをつなげたべクトル $h_{j}=\left[\vec{h}_{j}^{\top} ; \overleftarrow{h}_{j}^{\top}\right]^{\top}$ を作成する.

デコーダーは入力 $\mathbf{x}$ を条件とする出力 $\mathbf{y}=y_{1}, \ldots, y_{T y}$ の確率を計算する． $\mathbf{y}$ も単語を表す

one-hot 表現の系列である. デコーダーは $\hat{\mathbf{y}}=\operatorname{argmax}_{\mathbf{y}} p(\mathbf{y} \mid \mathbf{x})$ となる $\hat{\mathbf{y}}$ を探索して出力する.確率 $p(\mathbf{y} \mid \mathbf{x})$ を次のように各単語の確率の積に分解する.

$
p(\mathbf{y} \mid \mathbf{x})=\prod_{i} p\left(y_{i} \mid y_{1}, \ldots, y_{i-1}, \mathbf{x}\right)
$

の各条件付き確率を次のようにモデル化する.

$
\begin{aligned}
p\left(y_{i} \mid y_{1}, \ldots, y_{i-1}, \mathbf{x}\right) & =\frac{\exp \left(y_{i}^{\top} W_{\mathrm{t}} t_{i}\right)}{\sum_{k \in \mathcal{Y}} \exp \left(k^{\top} W_{\mathrm{t}} t_{i}\right)} \\
t_{i} & =m\left(U_{\mathrm{s}} s_{i}+U_{\mathrm{y}} E_{\mathrm{y}} y_{i-1}+U_{\mathrm{c}} c_{i}\right)
\end{aligned}
$

ここで， $s_{i}$ は LSTM の隠れ状態， $c_{i}$ はコンテキストベクトル,$W$. と $U$. は重み行列, $E_{y}$ は目的言語の単語分散表現の行列を表しており， $m$ は Maxout (Goodfellow, Warde-Farley, Mirza， Courville, and Bengio 2013) 関数を表している. 状態 $s_{i}$ は次のように計算する.

$
s_{i}=f\left(s_{i-1},\left[c_{i}^{\top} ; E_{\mathrm{y}} y_{i-1}^{\top}\right]^{\top}\right)
$

コンテキストベクトル $c_{i}$ は $h_{j}$ の重み付け和として， $c_{i}=\sum_{j} \alpha_{i j} h_{j}$ で計算する. ここで，

$
\begin{aligned}
\alpha_{i j} & =\frac{\exp \left(e_{i j}\right)}{\sum_{j} \exp \left(e_{i j}\right)} \\
e_{i j} & =v^{\top} \tanh \left(W_{\mathrm{s}} s_{i-1}+W_{\mathrm{h}} h_{j}+W_{\mathrm{y}} E_{\mathrm{y}} y_{i-1}\right)
\end{aligned}
$

である. $v$ は重みべクトルである.

$\alpha_{i j}$ がアテンション確率であり， $y_{i}$ と $x_{j}$ との確率的な対応関係をある程度表しているとみなすことができる.

## 3 訳抜けした内容の検出

訳抜けした内容の検出への効果について，2 種類の確率とそれらの利用方法について述べる $^{4}$.

## 3.1 累積アテンション確率の利用

高いアテンション確率が割り当てられた原言語単語は訳出された可能性が高く, アテンション確率がほとんど割り当てられなかった原言語単語は訳出されていない可能性が高いと考えられる (Tu et al. 2016). そのため, 入力文の各単語位置でのアテンション確率の累積は, 訳抜け
^{4} 2$ 種類の確率を組み合わせた利用方法は 6.2 節で説明する.
}
検出の手がかりになると考えられる. 入力 $x_{j}$ の内容が $\mathbf{y}$ から欠落している度合いを表すスコア 「累積アテンション確率スコア」(Cumulative attention probability score; ATN-P) $a_{j}$ を (5) 式の $\alpha_{i j}$ を用いて次のように定義する.

$
a_{j}=-\log \left(\sum_{i} \alpha_{i j}\right)
$

(7) 式の括弧内 ${ }^{5}$ は $\mathrm{x}$ の単語位置 $j$ での累積アテンション確率である。 $i$ は $\mathbf{y}$ での目的言語単語位置を表す。

ただし, 本来, 原言語単語が対応する目的言語単語を持たない場合 6 や, 1 つ原言語単語が複数の目的言語単語に対応する場合があり， $a_{j}$ の値がそのまま訳抜けの度合いを表しているとは限らない.

訳抜けしている場合と訳抜けしていない場合とではアテンション確率の累積値に違いがある

の累積值と訳抜けしていない $\mathbf{y}$ における $x_{j}$ のアテンション確率の累積值との比に換算することで，訳抜けの度合いを表すスコアを補正する，ただし，このスコアを計算するためには，訳抜けしていない場合のアテンション確率の累積値を得る必要がある。このために次を仮定する. ここで， $n$-best 出力を $\mathbf{y}^{1}, \ldots, \mathbf{y}^{n}$ と表す.

仮定 : 任意の入力単語の訳の存在入力中の任意の単語 $x_{j},\left(1 \leq j \leq T_{x}\right)$ の訳は, $n$-best 出力 $\mathbf{y}^{d},(1 \leq d \leq n)$ のどこかに存在する. ただし, 本来, 対応先を持たない原言語単語 $x_{j}$ を除く.

以下，この確率比に基づくスコア「累積アテンション確率比スコア」(Cumulative attention probability ratio score; ATN-R) を定義する. 先と同様に入力 $x_{j}$ の内容が $\mathbf{y}^{d}$ から久落している度合いを表すスコア ATN-P を $a_{j}^{d}$ と表す. ここで, $\min _{d} a_{j}^{d}$ 与える出力 $\mathbf{y}^{d}$ に仮定に従って $x_{j}$ の訳が出現しているとみなす 7 . そして, 入力 $x_{j}$ の内容が出力 $\mathbf{y}^{d}$ から欠落している度合いを表す累積アテンション確率比スコア ATN-R $r_{j}^{d}$ を次のように定義する.

$
r_{j}^{d}=a_{j}^{d}-\min _{d^{\prime}}\left(a_{j}^{d^{\prime}}\right)
$

この値は確率の比の対数を表している.
$ であっても，アテンション確率の累積値が 0 になる訳ではなく通常は 0 より大きな値となる. その場合，その対数をとることで計算する $a_{j}$ は $+\infty$ にはならず， $\mathbf{y}$ の単語数を $T_{y}$ とすると $a_{j}$ の値域は $\left(-\log \left(T_{y}\right),+\infty\right)$ となる.
}

## 3.2 逆翻訳確率の利用

MT 出力から入力文を生成することを逆翻訳と定義する。入力文の内容が訳抜けしている場合は，逆翻訳で MT 出力から訳抜けした内容を表す原言語単語を生成する確率（逆翻訳確率） が低くなると考えられる。これを訳抜け検出の手がかりとして利用する。この方法は, 言語間の単語の対応関係の特定を必ずしも必要としないという特徴がある。ここで， $\mathbf{y}^{d}$ける $x_{j}$ に対する逆翻訳確率に基づくスコア「逆翻訳確率スコア」(Back translation probability score; BT-P) $b_{j}^{d}$ を次のように定義する.

$
b_{j}^{d}=-\log \left(p\left(x_{j} \mid x_{1}, \ldots, x_{j-1}, \mathbf{y}^{d}\right)\right)
$

(9) 式での確率は 2 節で述べた NMT を用いて計算する.

さらに前節と同様に訳抜けしていない場合の逆翻訳確率との比に換算する.ここで前節と同様に“任意の入力単語の訳の存在”を仮定し, $\min _{d}\left(b_{j}^{d}\right)$ を与える出力 $\mathbf{y}^{d}$ には $x_{j}$ の訳を含むとみなす 8 . そして, 入力 $x_{j}$ の内容が $\mathbf{y}^{d}$ から欠落している度合いを表す確率比に基づくスコア「逆翻訳確率比スコア」(Back translation probability ratio score; BT-R) $q_{j}^{d}$ を次のように定義する.

$
q_{j}^{d}=b_{j}^{d}-\min _{d^{\prime}}\left(b_{j}^{d^{\prime}}\right)
$

## 4 翻訳スコアへの適用

前節で述べたスコアは $n$-best 出力から訳抜けが少ない出力の選択に役に立つと考えられる. そこで，これらを翻訳スコアに利用して $n$-best 出力をリランキングし，その効果を調べる。

リランキングのスコアには翻訳の尤度 $\left(\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)\right)$ から重み付けした訳抜けのスコアを引いた値を用いる． $r_{j}^{d}$ を用いた場合のスコアとして

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\beta_{r} \sum_{j} r_{j}^{d}
$

$q_{j}^{d}$ を用いた場合のスコアとして

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\beta_{q} \sum_{j} q_{j}^{d}
$

を用いる.ここで， $\beta_{r}$ と $\beta_{q}$ は重みパラメータである。なお, リランキングでは同じ入力に対
$ の逆翻訳確率は, 訓練デー夕の目的言語文にある程度出現する語であれば $x_{j}$ を逆翻訳で生成できるように学習されるため, 通常は 0 より大きな確率となる．その場合，その対数をとることで計算する $b_{j}$ は $+\infty$ にはならず, $b_{j}$ の值域は $(0,+\infty)$ となる.
}

する出力間の比較となるため, ATN-R と ATN-P のリランキング結果は同じになる9ので, 本夕スクでは両方を併記して ATN-P/ATN-R と表記する。同様に BT-R と BT-P のリランキング結果も同じになるので，本タスクでは両方を併記して BT-P/BT-R と表記する。

$r_{j}^{d}$ と $q_{j}^{d}$ を同時に使う場合は, 重みパラメータ $\gamma, \lambda を$ 用いて

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\gamma \sum_{j} r_{j}^{d}-\lambda \sum_{j} q_{j}^{d}
$

をスコアとして用いる。

## 5 ポストエディットのための文選択

訳抜けした内容の検出の応用先の 1 つとして，機械翻訳結果を人手で後修正するポストエディットへの応用がある。機械翻訳の翻訳品質の向上により，ポストエディットによる翻訳は費用や時間のコストを下げる手段として産業的な発展が期待されている. 完全な翻訳が必要な場合は全てのMT 出力文を確認して修正する必要があるが，多少の誤りを含む翻訳でも役に立つ場面も多く存在する，例えば，外国語で書かれた特許などのテキストを母国語で閲覧できるサービスや，歀楽向けのテレビ番組の外国語字幕などである。このような場合に，機械翻訳の出力をそのまま利用することも選択肢の1つとなるが，訳質の低い文を自動で選択して，一部の訳質の低い訳文だけを人手で後修正すれば，限られた労力で訳質を効果的に改善することができる ${ }^{10}$ 。翻訳の誤りは訳抜け以外にも訳語選択の誤りや語順の誤り，訳出の繰り返しなど複数の要因があるが, それぞれの要因の誤りを推定して訳文が含む誤りの程度を推測できることが理想的である ${ }^{11,12}$.

本稿では訳抜けの検出を目的にしているので，ここでは，入力文と訳文のぺアの集合から訳抜けを多く含むぺアの選択をタスクとして考える。このタスクの場合は, 異なる入力文間の比較となるため, ATN-P と ATN-R のスコアの違いや BT-P と BT-R のスコアの違いが結果に影響する。

文のスコアには 4 節と同様に単語のスコア $u_{j}$ の和

$
\sum_{j} u_{j}
$


を用いる. ここで， $u_{j}$ は 3 節で説明した各単語のスコア（ $a_{j}$ など）を表している.

2 種類のスコアを同時に使う場合は, 重みパラメータ $\gamma, \lambda$ を用いて文のスコアの重み付け和を用いる. 例えば $r_{j}$ と $q_{j}$ を用いる場合

$
\gamma \sum_{j} r_{j}+\lambda \sum_{j} q_{j}
$

となる.

## 6 実験

本節では，長い文を含む日英特許翻訳のデータを用いて，訳抜け検出での効果，翻訳への効果，および訳抜けを多く含む文選択への効果を調べた実験について述べる.

## 6.1 設定

実験には, NTCIR-9 と NTCIR-10の日英特許翻訳タスク (Goto, Lu, Chow, Sumita, and Tsou 2011; Goto, Chow, Lu, Sumita, and Tsou 2013)のデー夕を用いた.この訓練デー夕の対訳文対の数は約 320 万である。この中で，日英いずれも 100 単語以下の長さの文ぺアを日英 $(\mathrm{JE})$ 翻訳の訓練に用いた，計算量を削減するために逆翻訳用の英日翻訳の訓練には，日英いずれも 50 単語以下の長さの文ぺアを訓練に用いた。これらの訓練で単言語データは用いていない。夕スクの公式開発データ 2,000 文のうち最初の 1,000 文を開発データとして用いた. テスト文と参照訳からなるテストデータは, NTCIR-9 が 2,000 文対, NTCIR-10 が 2,300 文対である。英語のトークナイザには stepp tagger ${ }^{13}$, 日本語の単語分割には Juman $7.01^{14}$ を用いた。

NMT のシステムには, Kyoto-NMT (Cromieres 2016)を用いた ${ }^{15}$. 本稿で用いたべースラインNMTの設定は次のとおりである。原言語と目的言語の語彙数はそれぞれ頻度が高い 30,000 語を用い，それ以外の語は特別な語 (UNK) に置き換えた. エンコーダーの前向きと後ろ向きの LSTM のユニット数はそれぞれ 1,000 , デコーダーの LSTM のユニット数は 1,000 , 単語の分散表現のベクトルサイズは 620 , 出力層の前のベクトルの次元は 500 とした. これらの設定は Bahdanau et al. (2015) と同じである。ミニバッチサイズには 64 を用いた。ただし，逆翻訳のモデルの訓練には 128 を用いた。 パラメータの推定には Adam (Kingma and Ba 2015)を用いた. NMT モデルの訓練は 6 エポック実施した. 開発データは, ミニバッチ 200 回毎に BLEU スコアを計算してスコアが高いモデルを保存するために利用した．翻訳の探索は，ビーム幅 20 でビームサーチした。出力長は入力長の 2 倍以下に制限した。このビームサーチで得られるす


べての出力文 ${ }^{16 を ~} n$-best 出力として用いた ${ }^{17}$.

4 節の重みパラメータ $\beta_{r}, \beta_{q}, \gamma, \lambda$ は開発データで BLEU スコアが高くなるものを $\{0.1,0.2$, $0.5,1.0,2.0\}$ から選択した.

## 6.2 入力文の内容の訳抜け検出での効果

NTCIR-10 のテストデータをベースライン NMT で英語に翻訳し，訳抜けした内容を人手で特定した. そして，3節のスコアによる訳抜けした内容の検出効果を比較した.

## 評価用データの作成

次の手順で評価用データを作成した。まずNTCIR-10 のテストデータからテスト文 (日本語) とその参照訳 (英語) の長さがいずれも 100 単語以下のテスト文を選択し, 選択したテスト文をベースライン NMT で英語に翻訳した．MT 出力にはビームサーチで 1 位の出力を用いた。訳抜けがありそうな MT 出力を選ぶため, （MT 出力の長さ／ min（参照訳の長さ，入力文の長さ））値が小さいテスト文から順番に選択し，テスト文中で翻訳されていない内容語に人手でタグを付与した。これによって 100 文を選択し, 選択した文の全単語 4,457 語のうち 632 語の訳抜けした内容語を認定した。これらの 632 語を正解データとした。この 100 文を選択する際に，入力文と訳文で訳出された部分の単語対応が特定できない部分があることで，訳抜けした部分を特定できなかった文は除いた。

また，内容語の判定には文字種を用い，漢字，数字，カタカナ，アルファベットのいずれかの文字種を含む語を内容語とした。なぜなら，今回対象とした特許文では，実質的な意味を持つ語は通常上記の文字種が用いられること, そして, 平仮名は文中で主に機能的表現に用いられ, 品詞が動詞などの場合でも平仮名で表記されるもの（例えば「する」など）の多くは形式的な働きが強く実質的な内容を持たないためである.

なお，NMT の出力に含まれる UNK は翻訳元の語の意味を保持していないが，ここでは訳抜けとして扱わない．例えば，日本語の入力文中の表現が「陰極 $211 \mathrm{~b}\rfloor て ゙ ，$ 対応する英語の参照訳が「the cathode 211b」の時に, 対応する出力の表現が「the cathode UNK」の場合, UNK は日本語の「211b」に対応していると考えることができる. このような場合に, 日本語の単語「211」と「b」は訳抜けしていないとして扱う，なぜならば，扱う語彙が制限されているために英語の「211b」を出力する代わりに UNK を出力しているので, これは訳抜けの問題ではなく扱える語彙の問題であるためである.


## 2 種類のスコアの組み合わせ方法

2 種類のスコア $r_{j}^{d}$ と $q_{j}^{d}$ を同時に用いて訳抜けを検出する場合 (BT-R \& ATN-R) は, 6.1 節で選択した重みパラメータ $\gamma, \lambda$ を用いて,

$
\gamma r_{j}^{d}+\lambda q_{j}^{d}
$

をスコアとして用いた。

## 結果と議論

正解を付与した 100 文のテスト文中の全ての語を 3 節のそれぞれのスコアに基づいてランキングし, 正解 (632 語) と比較した ${ }^{18}$. 結果を図 2 に示す. 全単語（4,457 語）から無作為に単語を選択した際の精度の期待値は $0.14=632 / 4,457$ である.この結果から, 次のことが確認された。

図 2 訳抜けした内容の検出結果. Recall が 0.5 の時, グラフのラインは上から BT-R \& ATN-R, BT-R, BT-P, ATN-R, ATN-Pを表している.

- 累積アテンション確率スコア (ATN-P) と逆翻訳確率スコア (BT-P) は無作為な選択に比べて効果がある。

・ 累積アテンション確率比スコア (ATN-R) は累積アテンション確率スコア (ATN-P) より検出精度が高く, 逆翻訳確率比スコア (BT-R) は逆翻訳確率スコア (BT-P) より検出精度が高い。
- 逆翻訳確率比スコア $(\mathrm{BT}-\mathrm{R})$ は累積アテンション確率比スコア $(\mathrm{ATN}-\mathrm{R})$ より検出精度が高い.
- 2 種類のスコアを同時に利用する (BT-R \& ATN-R) とそれぞれのスコア (BT-R, ATN-R) のみを利用する場合より検出精度が高い.

ここで，BT-R でスコアが大きくならずに検出の感度が低かった例を図 3 に示す. 図 3 では，入力文に同一の語 (ISO) が 2 回出現しているが, 出力中にそれらの訳語 (ISO) は 1 つしか出現していない．入力中の下線の “ISO”が訳抜けしていることを検出するためには， 入力中の下線のない “ISO”の訳抜けのスコアは小さく，下線の “ISO”のスコアは大きいことが必要である. しかし, 出力中に “ISO”が含まれているために，原言語単語の “ISO” が逆翻訳で生成されやすい状態となったため，下線の“ISO”のスコアが大きくならなかったと考えられる。

BT-P は，入力中に 1 回しか出現しない内容語の検出の感度は高いと考えられるが，入力中に複数回出現する内容語の検出の感度は低いと考えられる。これに対して, ATN-Pの累積確率は, 目的言語単語を生成する数に依存して値が変わるため, 入力に同一の内容語が複数出現した場合でも，検出の感度は BT-Pのようには低くならないと考えられる。なお, ATN-R は ATN-P に基づいているので，ATN-R は ATN-P と同じ特性があり，同様に BT-R は BT-P に基づいているので，BT-R は BT-P と同じ特性がある。すなわち，BT-R と ATN-R は訳抜けした内容の検出感度（表 1）において一部で相補的な関係にあるため，これが組み合わせで効果があった理由の一つと考えられる。

 \\

図 3 遟翻訳で訳抜けの検出感度が低かった例。入力の網掛け部が訳抜けした部分を表している。参照訳の網掛け部は入力で訳抜けした部分に対応した部分を表している。
表 1 訳抜けした内容の検出感度

## $6.3 n$-best 出力のリランキングでの効果

4 節で説明した方法でベースライン NMT の $n$-best 出力をリランキングし，各スコアの翻訳への効果を調べた。

## 比較したシステム

比較のために, ベースライン NMT システムに 2 つのカバレッジモデル (Mi et al. 2016; Tu et al. 2016) ${ }^{19}$ を導入した結果も計算した. これらのモデルはデコード時に利用するものである. なお， Mi et al. (2016)では, カバレッジモデルに GRU を用いている ${ }^{20}$ が，ここではLSTM を用いた ${ }^{21}$.

Mi et al. (2016)のカバレッジモデルを neural カバレッジモデル (CovERAGE-neural) と呼ぶ. Tu et al. (2016) は linguistic と neural のカバレッジモデルを提案している. ここでは, これらのうち linguistic バージョンを用い, このモデルを linguistic カバレッジモデル (COVERAGE-linguistic) と呼ぶ.

参考として, Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) で, フレーズベース SMT の distortionlimit を 20，階層フレーズベース SMT の max-chart-spanを 1,000 に設定した従来の SMT による結果も計算した。 さらに，言語モデルを用いた $n$-best 出力のリランキングも実施した ${ }^{22}$. このリランキング結果を Rerank with LM と呼ぶ.

## 結果と議論

表 2 に BLEU-4 (Papineni, Roukos, Ward, and Zhu 2002)の結果を示す.この結果から ATNP/ATN-R と BT-P/BT-R を翻訳スコアに利用することに効果があることが分かる。また, ベー
$ et al. (2016) で $\mathbf{U}_{G R U}$ と表記されているモデル.

${ }^{21}$ NMT ベースラインで GRU より LSTM を用いた方が BLEU スコアが高く, カバレッジモデルで Chainer (Tokui, Oono, Hido, and Clayton 2015）の GRU の実装を使うより Chainer の LSTM の実装を使った方が学習速度が速かったためである.

22 KenLM  を用いて訓練データの目的言語文で 5-gram の言語モデルを構築し，この言語モデルで出力文の生成確率の負の対数を計算した． 4 節と同様に重み付けして翻訳の尤度から引いた値でベースライン NMT の $n$-best 出力をリランキングした。この重みは, 他の重み（ $\beta_{r}$ など）と同様に 6.1 節の手順で選択した。
}
表 2 翻訳結果 (BLEU $(\%))$

スライン NMT は従来の SMT より高い BLEU 值が得られている，以下，表記を簡素化するために, ATN-P/ATN-R では ATN-P を代表して用い, BT-P/BT-R では BT-Pを代表して用いる.

以下，要素毎の効果を議論する。まず，ATN-P と BT-P のリランキングでの効果について述べる. ATN-P と BT-Pのどちらもリランキングに効果があった. ATN-P とほほ同じスコアがリランキングに効果があることはプレプリント (Wu et al. 2016) でも確認されており, BT-P がリランキングに効果があることはプレプリント (Li and Jurafsky 2016)でも確認されている. これらの研究と互いに独立した我々の研究でもリランキングに関して同様の効果を確認した. ATN-P と BT-P を比較すると， BT-P のほうが ATN-P より少し BLEU 值が高かった. ATN-P と BT-Pの両方を用いる (Rerank with BT-P/BT-R \& ATN-P/ATN-R) とそれぞれを単独で用いるよりも BLEU 値が高かった。これらの結果は 6.2 節の結果と整合する。表 2 の Rerank with BT-P/BT-R と Rerank with BT-P/BT-R \& ATN-P/ATN-R の差は, ブートストラップ・リサンプリングテスト (Koehn 2004)のツール23を用いた計算で $\alpha=0.01$ で統計的に有意であった. また, Rerank with BT-P/BT-R と Rerank with ATN-P/ATN-R の差は, NTCIR-10では $\alpha=0.01$ で, NTCIR-9 では $\alpha=0.05$ で統計的に有意であった.

次に，カバレッジモデルの効果について議論する。表 2 の NMT Baseline と CovERAGE-neural とでは差が小さく (0.5 BLEU ポイント未満), このデータセットでは COVERAGE-neural の効果はあまりみられなかった. CoverAGE-linguistic は CovERAGE-neural より改善が大きかったが， NMT Baseline と CoveraGe-linguistic との差も 0.5 BLEU ポイント未満であった. それに対して，アテンション確率を用いてリランキングした場合 (Rerank with ATN-P/ATN-R) では, 1 BLEU ポイント以上の向上が得られている．カバレッジモデルはアテンション確率を利用する方法であるため，今回の実験では，アテンション確率の情報を十分に活用できていないこと
^{23}$ https://github.com/odashi/mteval
}

が分かる. すなわち，カバレッジモデルはアテンション確率の情報を十分に活用できるようにエンド・ツー・エンドで学習できるとは限らないと言える。学習の困難の度合いはデー夕に依存すると考えられる。 24

訳抜けが発生するとその分だけ出力が短くなるため, 出力長は訳抜けの程度をある程度表している25.そこで, NTCIR-10のテストデータで 100 単語以下の文を用いて出力長を比較した.入力文長の各クラスでの目的言語文の平均長を図 4 に示す. 図 4 から, NMT ベースラインの

Input length class

図 4 目的言語文の平均長

出力の平均長が参照訳の平均長より短い傾向にあることが分かり，それだけ訳抜けが発生していると考えられる。 それに対して，表 2 の Rerank with BT-P/BT-R \& ATN-P/ATN-R の出力の平均長は NMT ベースラインより長く, 参照訳により近い長さになっている。これは, NMT ベースラインの出力より訳抜けが少なくなっていることを示唆していると考えられる.

表 2 の Rerank with LM はベースライン NMT と比べて BLEU 值が改善していない. 言語モデルを用いたリランキングでの効果は見られなかった.

NMT ベースラインの $n$-best 出力をリランキングした場合の BLEU 値の上限を調べるため, $n$-best 出力から文単位の BLEU 值が最大の出力文を選択した場合の BLEU 值を計算した ${ }^{26}$. その結果は, NTCIR-10テストデータで 47.29, NTCIR-9テストデータで 46.33 であった. これより, $n$-best 出力のリランキングでさらなる改善の余地があることが分かる.

表 2 で最も結果が良かった BT-P と ATN-Pによるリランキング (Rerank with BT-P/BT-R \& ATN-P/ATN-R) で訳抜けが減少しているかどうかを確認するために, テストデータから 100 文を無作為に選択して, ベースライン NMT の結果と Rerank with BT-P/BT-R \& ATN-P/ATN-R の結果での訳抜けと訳出の繰り返しが発生した原言語の内容語の数を調べた。また，カバレッジモデルを用いた手法のうち表 2 で結果が良かった NMT Baseline with CovERAGE-linguistic の結果についても調べた。ここで，文を選択する際に入力長と参照訳長が 100 単語以内のものに限定した. 内容語は 6.2 節で説明した条件を満たす語とした. 結果を表 3 に示す.この結果から，BT-P と ATN-Pによるリランキングによって訳出の繰り返しが増加せずに訳抜けが減少したことを確認した．また，カバレッジモデルを用いても訳抜けが発生したことを確認した．発生した訳抜けはベースライン NMT より少なかったが，BT-P と ATN-P を用いたリランキングより多かった。

表 3 訳抜けした内容語の割合と訳出が繰り返された内容語の割合

括弧内の数字は原言語の内容語の数を表している.


## 6.4 ポストエディットのための文選択での効果

## 評価データと設定

評価データには， 6.2 節での訳抜けした内容語に夕グを付与した入力文 100 文とべースライン NMT の翻訳結果との文のペアと， 6.3 節での訳抜けした内容語に夕グを付与した入力文 100 文とべースライン NMT の翻訳結果との文のぺアを用いた。これらは 6 文が重複していたため,重複を除いた全体の文のペア数は 194 であった。これらの194ペアそれぞれに訳抜けした内容語の数（訳抜け数と呼ぶ）を付与したデータを作成し，これを評価データとして用いた.

そして, 各ペアのスコアを計算し, 文のスコアと訳抜け数とのピアソンの積率相関係数を調べた。相関係数の値域は $[-1,1]$ で，相関が無い場合は 0 になる。相関係数が 1 に近いほど，訳抜け数の予測精度が高いことを示している。

用いた。

## 結果と議論

結果を表 4 に示す. 各スコアは訳抜け数と相関があることから訳抜けを含む文の選択で効果があることが分かる．以下，表 4 の結果について考察する.

まず， 6.2 節の結果から予想されることを示し，次に予想と結果を対比する． 6.2 節で示した単語レベルでの訳抜けした内容の検出精度がそのまま反映されるならば，次のことが予想される。予想 (1) ATN-PよりATN-R，BT-PよりBT-Rの方が相関係数が高い. 予想 (2) ATNより BT のほうが相関係数が高い. 予想 (3) BT-R と ATN-R との組み合わせは構成要素単独より相関係数が高い.これらの予想と結果を対比する.

まず予想 (1)に関して，BT-P と BT-R について比較する，BT-P の相関係数より BT-R の相関係数が高く, BT について予想 (1) と結果は一致した，BT-R は BT-P よりも訳抜け数の多い文の選択で効果が高いことが分かった。

次に予想 (1) に関して, ATN-P と ATN-R について比較する.ATN-P の相関係数に対して

表 4 各文の訳抜けした内容語の数と文のスコアとのピアソンの積率相関係数

ATN-Rの相関係数は高くないため, ATN については予想 (1) と結果は一致しなかった. その原因について分析する。訳抜けするとそれだけ出力が短くなるため，訳出の繰り返しがなければ訳抜け数と入出力長差 ${ }^{27}$ とは相関する ${ }^{28}$. そこで我々は, 入出力長の違いがスコアに反映されている程度が ATN-P と ATN-R とで異なることが原因である可能性があると考え，入力文長から出力文長を引いた値（文長差スコアと呼ぶ）と文のスコアとの相関係数を調べた。その結果, ATN-P の文のスコアと文長差スコアとの相関係数は 0.943, ATN-R の文のスコアと文長差スコアとの相関係数は 0.903 で，ATN-P に基づく文のスコアの方が，ATN-R に基づく文のスコアより入出力長の違いを反映していることが分かった. すなわち, ATN-Pから比に基づくスコア ATN-R に換算することで，ATN-P に基づく文のスコアが保持している入出力長差の情報が劣化したと考えられる。このことが，ATN-Rの個々の単語に対する訳抜け検出精度の向上効果を打ち消したたため，ATN-Rの相関係数は ATN-P の相関係数より大きくならなかったと考えられる 29.

予想 (2) に関して, ATN と BT を比較する。ATN-P と ATN-R の相関係数が BT-P や BT-R の相関係数より高く, 予想 $(2)$ と結果は一致しなかった. その原因を分析する．BT-P および BT-Rの文のスコアと文長差スコアとの相関を調べた。その結果，BT-Pの文のスコアと文長差スコアとの相関係数は 0.695, BT-R の文のスコアと文長差スコアとの相関係数は 0.774 であった。これらは ATN-P の文のスコアと文長差スコアとの相関係数 (0.943) および ATN-R の文のスコアと文長差スコアとの相関係数 (0.903) より低い. そのため, ATN-P および ATN-R の文のスコアは, BT-P および BT-R の文のスコアに比べて入出力長の違いを反映していることが分かった。このことが，BTよりATNの方が相関係数が高かった原因と考えられる.

予想 (3) に関して，スコアの組み合わせの効果を調べる，BT-Rの文のスコアと ATN-R の文のスコアの組み合わせの相関係数は, 組み合わせの構成要素である文のスコア単独での相関係数より高かった。予想 (3)とこの結果は一致した。また，BT-Rの文のスコアと ATN-Pの文のスコアの組み合わせの相関係数も，組み合わせの構成要素である文のスコア単独での相関係数より高かった。個々の単語の訳抜けの検出精度が高い BT-R と入出力長差を文のスコアに反映しやすい ATN-P もしくは ATN-R との組み合わせ (BT-R \& ATN-P および BT-R \& ATN-R) は, それぞれの特徴を活用したことで相関係数が高くなったと考えられる.

ポストエディットのための文選択では，相関係数が最も高かった BT-R と ATN-P の組み合


わせの文のスコアを利用することが良いと思われる。この文のスコアと文の訳抜け数は相関があった（相関係数が $0.925 ）$ ため，この文のスコアはポストエディットのために訳抜けの多い文を選ぶのに役に立つことが分かった。

## 7 関連研究

訳抜けを減らす既存研究として 1 節でカバレッジモデルを紹介した. これらの研究の他に,

我々の研究と互いに独立した研究がある (Tu, Liu, Shang, Liu, and Li 2017; Wu et al. 2016; Li and Jurafsky 2016). Tu et al. (2017) はデコーダーのステートから入力文を生成する確率をリランキングに用いている。この確率は入力文を生成する確率という点で逆翻訳の確率に類似しているが，逆翻訳では出力文の情報のみを用いて入力文の生成確率を計算するのに対して，この確率は出力文の情報に加えて入力文の情報も含んでいるデコーダーのステートから入力文の生成確率を計算しているという違いがある. Wu et al. (2016) は $\operatorname{arXiv}$ のプレプリントで, アテンション確率の累積をリランキングに用いて効果を確認している. Li and Jurafsky (2016)も arXiv のプレプリントで，逆翻訳の確率をリランキングに用いて効果を確認している。これらの研究は, アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価していない. それに対して我々の研究は，アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価し, これらの組み合わせの効果についても調査し, これらの関係についても考察している。また，ポストエディットのための文選択への効果も評価している。

## 8 おわりに

NMT での訳抜けの検出について，アテンションの累積確率と逆翻訳の確率を用いた場合の効果を評価し, 有効性を確認した. そして, これらの値を直接用いるよりも, $n$-best 出力で負の対数が最小の場合との比を用いる方が検出精度が高く, アテンションの累積確率比と逆翻訳の確率比を同時に用いるとさらに検出精度が向上した. また, これらを NMT の $n$-best 出力のリランキングに用いた場合の有効性も確認した。 さらに, 訳抜けの検出をポストエディットのための文選択に応用した場合の効果も評価し, 効果があることが分かった.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of International Conference on Learning Representations.

Chiang, D. (2007). "Hierarchical Phrase-Based Translation." Computational Linguistics, 33 (2), pp. 201-228.

Cromieres, F. (2016). "Kyoto-NMT: A Neural Machine Translation implementation in Chainer." In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 307-311, Osaka, Japan.

Goodfellow, I. J., Warde-Farley, D., Mirza, M., Courville, A., and Bengio, Y. (2013). "Maxout Networks." In Proceedings of the 30th International Conference on International Conference on Machine Learning - Volume 28, pp. III-1319-III-1327. JMLR.org.

Goto, I., Chow, K. P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of the 10th NTCIR Conference, pp. 260-286.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of the 9th NTCIR Workshop Meeting, pp. 559-578.

Goto, I. and Tanaka, H. (2017). "Detecting Untranslated Content for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 47-55, Vancouver. Association for Computational Linguistics.

後藤功雄, 田中英輝 (2017). ニューラル機械翻訳での訳抜けした内容の検出. 言語処理学会第 23 回年次大会発表論文集, pp. 1018-1021.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference for Learning Representations.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics: Demo and Poster Sessions, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 48-54.

Li, J. and Jurafsky, D. (2016). "Mutual Information and Diverse Decoding Improve Neural

Machine Translation." arXiv preprint, arXiv:1601.00372.

Mi, H., Sankaran, B., Wang, Z., and Ittycheriah, A. (2016). "Coverage Embedding Models for Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 955-960, Austin, Texas.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of Advances in Neural Information Processing Systems 27, pp. 3104-3112.

Tokui, S., Oono, K., Hido, S., and Clayton, J. (2015). "Chainer: a Next-Generation Open Source Framework for Deep Learning." In Proceedings of Workshop on Machine Learning Systems in the 29th Annual Conference on Neural Information Processing Systems.

Tu, Z., Liu, Y., Shang, L., Liu, X., and Li, H. (2017). "Neural Machine Translation with Reconstruction." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3097-3103.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 76-85, Berlin, Germany.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, L., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint, arXiv:1609.08144.

## 略歴

後藤功雄：1995 年早稲田大学理工学部電気工学科卒業. 1997 年同大学院理工学研究科修士課程修了. 2014 年京都大学大学院情報学研究科博士課程修了.博士 (情報学)。1997 年 NHK 入局，(株）国際電気通信基礎技術研究所 (ATR) および（独）情報通信研究機構出向を経て，現在，放送技術研究所スマートプロダクション研究部にて自然言語処理の研究に従事.

田中英輝：1982 年九州大学工学部電子工学科卒業. 1984 年同大学院修士課程修了. 同年 NHK 入局, 1987 年放送技術研究所研究員. (株) 国際電気通信
基礎技術研究所 (ATR) 音声言語コミュニケーション研究所第 4 研究室室長, NHK 放送技術研究所上級研究員などを経て 2018 年 7 月より (一財) NHK エンジニアリングシステムシステム技術部上級研究員. テキストの平易化, 機械翻訳などの自然言語処理の研究に従事. 博士 (工学).

(2018 年 4 月 27 日受付)

(2018 年 8 月 2 日再受付)

(2018 年 9 月 18 日採録)