# 論文
## 日英ニューラル機械翻訳におけるアテンションを用いた 未知語置き換えの手法

\author{
伊部早紀
}

ニューラル機械翻訳では, 従来の統計的機械翻訳に比べ文法的に流暢な文が生成されるが，出力結果に未知語が含まれることがしばしば指摘される。この問題に対処する方法としては, 学習コーパス中の低頻度語を分割したり, 未知語に位置情報を付け加えるなどの方法があるが，どれも日英翻訳では効果が低い．そこで本論文では， アテンションから構成した単語アライメント表を用いて出力文中の未知語と対応する入力文中の単語を見つけ，その単語を翻訳した単語で未知語を置き換えることで未知語をなくす手法を提案する。本論文の有効性を示すために ASPEC, NTCIR-10 の 2 種類のコーパスを用いて実験を行った結果, 本論文で提案する単語アライメント表の構成法を用いると，未知語を全く発生させず，かつ，BLEU 値を向上させることができた。

キーワード：機械翻訳，ニューラルネットワーク，未知語, アテンション

## Replacement of Unknown Words Using an Attention Model in Japanese to English Neural Machine Translation

\author{
SAKI Ibe $^{\dagger}$, Yoshitatsu Matsuda $^{\dagger}$ and Kazunori Yamaguchi ${ }^{\dagger}$
}

\begin{abstract}
It is well known that machine translation using recurrent neural networks often composes fluent sentences but may include many unknown words. Although there have been many works to address the unknown word problem, they are ineffective in Japanese to English translation. In this study, we propose a hybrid method that makes an alignment table using an attention weight matrix, detects input words that are aligned with each unknown words, and finally replaces those unknown words with the translated words using a statistical machine translation method. We evaluate our approach by using two corpora: ASPEC and NTCIR-10. The results showed that the proposed method generated no unknown words and improved the BLEU (BiLingual Evaluation Understudy) score.
\end{abstract}

Key Words: Machine Translation, Neural Networks, Unknown Words, Attention Mechanism


## 1 はじめに

ニューラル機械翻訳 (Bahdanau, Cho, and Bengio 2014; Sutskever, Vinyals, and Le 2014; Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014)は,ソース言語を数値ベクトルによる分散表現で表し，それをニューラルネットワークを用いて変換して求めた数値ベクトルからターゲット言語の単語列を求めることで翻訳を行う手法である. 従来の統計的機械翻訳 (Koehn, Och, and Marcu 2003) では対訳コーパスから求めた変換規則の確率を用いてソース言語の単語やフレーズをターゲット言語への単語やフレーズに変換していたため, フレーズ同士の長い区間でのつながりが十分に反映されていなかった。これに対して, ニューラル機械翻訳では, リカレントニューラルネットワークおよびLSTM (Long Short Term Memory) の利用により，長い区間での単語のつながりが考慮されている。そのため, ニューラル機械翻訳を用いると従来の統計的機械翻訳と比べて流暢な文を生成できるが，訳抜けや繰り返しがあることや, 出力結果に未知語 (UNK) が含まれる (Luong, Sutskever, Le, Vinyals, and Zaremba 2015; Jean, Cho, Memisevic, and Bengio 2015) という問題が指摘されている.未知語が含まれる問題に対処するこれまでに提案されている主な手法には以下のものがある.

まず，コーパスに前処理を行う方法としては，コーパス中の未知語をすべて未知語トークンに置き換え，位置情報を付け加えて学習を行う PosUNK(Luong et al. 2015) がある. 通常の手法では, 語彙制限のために未知語が生じた場合は, ソース言語およびターゲット言語内の未知語を一律に特殊な未知語トークンUNKで置き換える。一方 PosUNKにおいては, ソース言語内の未知語はすべて UNKに置き換えるのは同じだが, ターゲット言語の未知語は位置情報を利用して区別する。具体的には，ソース言語を $f_{1}, \ldots, f_{n}$ とし， ターゲット言語を $e_{1}, \ldots, e_{m}$ として, ソース言語に未知語 $f_{i}$ が存在したとする. $f_{i}$ に対応する未知語 $e_{j}$ がターゲット言語内に存在した場合は, 相対位置 $d=j-i$ を利用して, $e_{j}$ を位置情報付き未知語トークン PosUNK ${ }_{d}$ に置き換える。ただし，ソース言語に対応する未知語を持たないターゲット言語の未知語は,空集合 $\phi$ に対応する $\operatorname{PosUNK}_{\phi}$ に置き換える. これにより学習した翻訳機は, 未知語を一律に UNK としてではなく, $\operatorname{PosUNK}_{d}$ として相対位置付きで推定するため, $\mathrm{d}$ を利用して対応するソース言語内の単語を推定することができる。しかしながら, この手法を日英の言語対で実験を行ったところ, 効果が低かった (4.3 節参照). この手法は, ターゲット言語とソース言語において, 単語間の相対位置は同一であると仮定しているため, 日英のような文法構造が大幅に異なる言語間では適用が困難であるためと考えられる.

また,コーパス中の単語を分割して全体の単語の種類を少なくする BPE (Byte Pair Encoding) (Sennrich, Haddow, and Birch 2016) がある，BPEは頻度の低い単語を複数の文字列に分割することで，単語の頻度を増やし学習しやすくする方法である.この手法も日英の言語対で実験を行ったところ, 効果が低かった (4.3 節参照)、ヨーロッパ言語などの文字の種類が少なく単
語の成り立ちが類似する言語間に比べ，日本語と英語では単語の構成が大きく異なり，日本語は文字の種類が多いことが原因たと考えられる。ニューラル機械翻訳のモデルを変更する方法としては，アテンションの計算で単語翻訳確率を考慮する方法 (Arthur, Neubig, and Nakamura 2016), coverage を導入する方法 (Tu, Lu, Liu, Liu, and Li 2016; Tu, Liu, Lu, Liu, and Li 2017),統計的機械翻訳で作成したフレーズテーブルを組み入れる方法 (Stahlberg, Hasler, Waite, and Byrne 2016; Khayrallah, Kumar, Duh, Post, and Koehn 2017; Zhang, Utiyama, Sumita, Neubig, and Nakamura 2018), 入力文中の単語が既知語の場合はそのまま処理し, 未知語の場合は単語を文字に分解して処理する方法 (Luong and Manning 2016) などがあるが，いずれもニューラルネットワークの性能を改善させることが主眼であり，未知語そのものを完全に消去することを目的としていない。ニューラル機械翻訳の出力結果の単語列を統計的機械翻訳を用いて並べ替える手法 (Skadina and Rozis 2016) もあるが, この手法では単語の辞書を作るためだけにニュー ラル機械翻訳を使っており，最終的な翻訳は統計的機械翻訳で行っている。よってニューラル機械翻訳の利点である単語間の長区間でのつながりを考慮した流暢性が失われてしまう。以上のように従来の手法の多くは, 未知語を減少させることはできているが，日英翻訳では翻訳精度の向上が期待できない.

そこで本論文では，ニューラルネットワークのモデルや探索方法を変更することなく未知語を減少させ，かつ翻訳精度を向上させる手法を提案する，そのために，アテンションに基づいたニューラル機械翻訳をソース言語に対して適用することで生成されたアテンションを利用する. アテンションは翻訳におけるソース言語の単語とターゲット言語の単語の対応を数値化したもの (Bahdanau et al. 2014)で，統計的機械翻訳における 2 言語間の単語の対応を表す単語アライメント表 (Koehn et al. 2003) と類似したものである. (Hashimoto, Eriguchi, and Tsuruoka 2016) 及び (Freitag and Al-Onaizan 2016) では, この性質を利用し，アテンションを元に対応する未知語を推定する手法を提案している。ともに未知語が対応する単語はアテンションが最も高い値を持つ単語だとしている。しかしながら，類似しているとはいえ，アテンションは単語アライメント表そのものではなく, 数値の大小と実際のアライメントが一致しない場合も多い. また, 言語学的な性質を満たしているとも限らない. 本研究では, 隣接関係等の, 単語間の対応関係の言語学的性質に関するヒューリスティックを利用して，アテンションから単語アライメント表を推定する手法を提案する。 そして，その単語アライメント表を利用して未知語を置き換える。これによりニューラル翻訳の利点を生かしたアテンションと言語学的な性質の双方を組み合わせた未知語問題の解決を行う。本論文はアテンションを用いた未知語解決に関する論文 (伊部, 松田，山口 2018)の内容を発展させたものである. ASPEC と NTCIR-10の 2 つのコーパスに提案手法を適用したところ，未知語を完全に除くことができ，BLEU 値も上昇させることができた.

## 2 背景

本章では，ニューラル機械翻訳の手法と統計的機械翻訳の手法の中から本論文で使用している手法の説明を行う.

## 2.1 フレーズに基づく統計的機械翻訳

本論文では, 未知語を置き換える単語を探す時にフレーズベース機械翻訳 (Koehn et al. 2003) で生成されるフレーズテーブルを使うため，フレーズベース機械翻訳について説明する。フレー ズベース機械翻訳は，統計的手法を用いて翻訳規則を学習し，翻訳を行う手法である。手順を以下に示す.

（1）対訳コーパスにアライメントモデルを適用し，単語アライメント表を作成する。単語アライメント表の計算では同時に単語翻訳確率 $t(e \mid f)$ も計算される。単語アライメント表をソース言語からターゲット言語, またその逆に対して作成し, grow-diag-final-and (gdfa) などのヒューリスティックを用いて 2 つの表を重ね合わせたものを最終的な単語アライメント表とする.

(2) 作成した単語アライメント表とソース言語・ターゲット言語をもとに, ソース言語における単語列がターゲット言語におけるどの単語列に翻訳されるかを表す翻訳規則と，フレー ズ翻訳確率 $P(\boldsymbol{e} \mid \boldsymbol{f})$ を学習する。規則の抽出は (Och and Ney 2004) などの方法がある.

（3）翻訳規則を利用して出力候補文をいくつか生成する．各候補文に対し翻訳規則の確率と言語モデルを用いて翻訳確率を計算し，翻訳確率が最も高い候補文を出力結果とする。

## 2.2 アテンションに基づくニューラル機械翻訳

アテンションに基づくニューラル機械翻訳 (Bahdanau et al. 2014) は, アテンションを用いて翻訳するソース言語の各単語に異なる重みを与えるニューラル機械翻訳である.

入力文 $\boldsymbol{f}=\left(f_{1}, f_{2}, \ldots, f_{J}\right)$ とその分散表現 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{J}\right)$, 出力文 $\boldsymbol{e}=\left(e_{1}, e_{2}, \ldots, e_{I}\right)$ とその分散表現 $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{I}\right)$ のぺアの条件付き確率を最大化するように学習する.

$
p(\boldsymbol{e} \mid \boldsymbol{f})=\prod_{i=1}^{I} p\left(e_{i} \mid e_{1}, \ldots, e_{i-1}, \boldsymbol{f}\right)
$

$e_{i}$ の生成確率は以下で与えられる.

$
p\left(e_{i} \mid e_{1}, \ldots, e_{i-1}, \boldsymbol{x}\right)=g\left(y_{i-1}, s_{i}, c_{i}\right)
$

$s_{i}$ は $i$ 番目の出力単語列の隠れ状態であり, 以下の式 (3) で計算される.

$
s_{i}=f\left(s_{i-1}, y_{i-1}, c_{i}\right)
$
$c_{i}$ は出力文の $i$ 番目の単語の文脈ベクトルといい, 以下の式 (4)で計算される.

$
c_{i}=\sum_{j=1}^{J} \alpha_{i j} h_{j}
$

$\alpha_{i j}$ はアテンション值といい, $y_{i}$ に関連しているのが $x_{j}$ である確率である. 式 (5) と式 (6) に従って計算する。

$
\begin{gathered}
\alpha_{i j}=\frac{\exp e_{i j}}{\sum_{k=1}^{J} \exp e_{i k}} \\
e_{i j}=a\left(s_{i-1}, h_{j}\right)
\end{gathered}
$

$h_{j}$ は入力文の $j$ 番目の単語の文脈ベクトルで, 式 (7) に従って計算する1.

$
h_{j}=h\left(x_{j}, h_{j-1}\right)
$

以上の $a(), f(), g(), h()$ は入力変数の重み付き線形和を何らかの非線形関数（通常は $\tanh$ 関数）で変換したものである。具体的には， 入力変数群を $v_{1}, \ldots, v_{n}$ とすると， $a\left(v_{1}, \ldots, v_{n}\right)=$ $\tanh \left(\sum_{i} w_{i} v_{i}+c\right)$ と表される. $w_{i}$ は各変数の重みであり， $c$ は切片である. 全ての $\mathrm{w}_{i}$ および $\mathrm{c}$ がパラメータとして, 損失関数を最小化するために最適化される。学習では, 以下の式 (8)で定義されるクロスエントロピーを損失関数として用いる.

$
L=-\sum_{j} z_{j} \log z_{j}^{\prime}
$

$z_{j}$ はコーパスにおける $y_{j}$ に対応する単語 $e_{j}$ の出現確率, $z_{j}^{\prime}$ は学習したパラメータを用いて翻訳を行った時に $y_{j}$ に対応する単語 $e_{j}$ が出力される確率である。学習後の翻訳では式 (1)を最大化する eをビームサーチなどで求める.

## 3 手法

本章ではニューラル機械翻訳を用いてモデル学習し翻訳を行った後, アテンションから単語アライメント表を作成し, 作成した単語アライメント表を用いて未知語を適切な単語に置き換える手法を説明する， 3.1 節では， 単語アライメント表の作成の方法として, 従来手法である intersection と gdfaを説明し, 提案手法である gdfa-f (gdfa fill) を導入する． 3.2 節では, 生成した単語アライメント表にしたがって未知語に対応する単語を決定する方法を説明する.
^{\prime}$ を計算し， $h_{j}$ と $h_{j}^{\prime}$ を連結したベクトルを使うが，ここでは説明は省略する。
}

## 3.1 単語アライメント表の作成

単語アライメント表の作成アルゴリズムの intersection と gdfa は (Koehn et al. 2003) で提案されたもので, gdfa-f は gdfaを改良した提案手法である. ある $i, j$ に対する $a_{i j}$ や単語アライメント表の要素をセルと呼ぶ.

intersection ソース言語とターゲット言語どちらから見てもアテンション値が最も高いセルを対応付ける. 各セルの値 $b_{i j}$ は以下の式に従って計算する.

$
b_{i j}= \begin{cases}1 & \text { if } i=\underset{i^{\prime}}{\arg \max } a_{i^{\prime} j} \text { and } j=\underset{j^{\prime}}{\arg \max } a_{i j^{\prime}} \\ 0 & \text { otherwise }\end{cases}
$

gdfa gdfa では, intersectionにより作成した $b_{i j}=1$ となるセルに隣接するセル群をまず候補として抽出する。最初は全ての候補セルの値は 0 である。 ある候補セルのアテンション値が，他のソース単語に対応するアテンション値と比べて大きい場合，そのセルの値を 1 とする。言い換えれば, そのセルのアテンション値が, その列内で最大値をとる場合, セルの値を 1 とする。また, ある候補セル内のアテンション値が, 他のターゲット単語に対応するアテンション値と比べて大きい場合（すなわち，行内で最大值をとる場合）も， そのセルの値を 1 とする（厳密な定義は以下の式を参照のこと）。これはソース言語の 1 つの単語がターゲット言語において複数の単語に対応している場合, それらは隣り合うことが多いので，すでに単語アライメント表に入っている単語と隣り合う単語のみを表に追加することを許すという考え方による. gdfaによる単語アライメント表 $b_{i j}^{\prime}$ は， $b_{p, q}$ の（上下左右の）隣接セルの中で 1 をるセルの個数を返す関数

$
n e i g h b o r\left(b_{p q}\right)=b_{(p-1) q}+b_{(p+1) q}+b_{p(q-1)}+b_{p(q+1)}
$

を使って以下のように計算する.

gdfa-f gdfaにおいて作成した行列 $b_{i j}^{\prime}$ をとに, ソース言語のそれぞれの単語に対して, 対応付けされているターゲット言語の単語がなければ, アテンション值が最も高いセルに対応付ける. ターゲット言語のそれぞれの単語に対しても同様の操作を行う. gdfa-fによる単語アライメント表 $b_{i j}^{\prime \prime}$ は以下の式に従い計算する.

$
b_{i j}^{\prime \prime}= \begin{cases}1 & \text { if } b_{i j}^{\prime}=1 \text { or }\left(j=\underset{j^{\prime} \in \mathcal{J}}{\arg \max } a_{i j^{\prime}} \text { and } i \in \mathcal{I}\right) \text { or }\left(i=\underset{i^{\prime} \in \mathcal{I}}{\arg \max } a_{i^{\prime} j} \text { and } j \in \mathcal{J}\right) \\ 0 & \text { otherwise }\end{cases}
$

e4 

(a) アテンション $a_{i j}$

(c) gdfa の単語アライメント表 $b_{i j}^{\prime}$

(b) intersection の単語アライメント表 $b_{i j}$

(d) gdfa-f の単語アライメント表 $b_{i j}^{\prime \prime}$

図 1 intersection, gdfa, gdfa-f の例

ここで $\mathcal{I}, \mathcal{J}$ はそれぞれ以下の式で定義される.

$
\mathcal{I}=\left.\{i \mid \sum_{j} b_{i j}^{\prime}=0\right.\} \text { and } \mathcal{J}=\left.\{j \mid \sum_{i} b_{i j}^{\prime}=0\right.\}
$

アテンションから intersection, gdfa, gdfa-f を求めた例を図 1 に示す. 図中の各セルはそれぞれ $b_{i j}, b_{i j}^{\prime}, b_{i j}^{\prime \prime}$ の值を表し, 白は 0 , 灰色は 1 とした. gdfa-fでは, 出力文中の各単語に対して,少なくとも一つの入力文中の単語が必ず対応する。言い換えれば，gdfa-f により，出力文中の全ての未知語に対して，既知の入力文中の単語を必ず割り当てることができる.

## 3.2 未知語の置き換え

生成した単語アライメント表を用いて, ニューラル機械翻訳の出力文中の未知語 $e_{i}$ を単語に置き換える方法について説明する。 まず, $e_{i}$ に対応している入力文中の単語列 $\boldsymbol{f}_{\boldsymbol{i}}$ を $\boldsymbol{f}_{\boldsymbol{i}}=\left.\{f_{j} \mid b_{i j}=1\right.\}$ とする。次に， $\boldsymbol{f}_{\boldsymbol{i}}$ の翻訳となる単語列を決定して未知語 $e_{i}$ と置き換える。本論文では $\boldsymbol{f}_{\boldsymbol{i}}$ の翻訳となる単語列の決定方法として IBM と ChangePhrase (Koehn et al. 2003) と Dict を用いた.

IBM 単語アライメント表の主な作成法は (Hashimoto et al. 2016; Arthur et al. 2016) などで用いられている IBM モデルが挙げられる。ここではIBM モデル 4 を用いた。対訳コー パスに IBM モデル 4 を適用したときの単語翻訳確率 $t(e \mid f)$ を使い, $\boldsymbol{f}_{\boldsymbol{i}}=\left(f_{i_{1}}, \ldots, f_{i_{n}}\right)$ の要素それぞれにおいて最も確率の高い $e_{\text {best }}=\arg \max t\left(e \mid f_{i}\right)$ を選択する手法である.

ChangePhrase $f_{i}$ の翻訳を統計的機械翻訳で作成したフレーズテーブルから参照し，コーパスから計算したフレーズ翻訳確率 $P(\boldsymbol{e} \mid \boldsymbol{f})=\frac{c(\boldsymbol{e}, \boldsymbol{f})}{c(\boldsymbol{f})}$ が最も高いフレーズ $\boldsymbol{e}_{\boldsymbol{b} \boldsymbol{e} \boldsymbol{s}}=\arg \max P\left(\boldsymbol{e} \mid \boldsymbol{f}_{\boldsymbol{i}}\right)$ を選択する手法である. $c(\boldsymbol{f})$ はコーパス中のフレーズ $\boldsymbol{f}$ の出現回数, $c(\boldsymbol{e}, \boldsymbol{f})$ はフレーズ $e$ との同時出現回数である. フレーズで置き換えるため, 未知語を複数単語と置き換えることもある。

Dict外部の辞書から $f_{j}$ の各単語の訳を検索した単語を選択する手法である.

## 4 実験

## 4.1 実験データ・方法

対訳コーパスとしては ASPEC(Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016), NTCIR-10の patentMT(Goto, Chow, Lu, Sumita, and Tsou 2013)2を用いた. コーパスのサイズと単語数を表 1 に示す. モデル学習およびデコーダには nematus ${ }^{3}$ を用い，日英および英日の翻訳を行った。隠れ層の数は 1,000 , 単語べクトルの次元数は $512, \mathrm{RNN}$ は GRU,学習アルゴリズムは Adam, 学習率は 0.0001 , バッチサイズは 40 , dropout は未使用で学習を行った. 英語の構文解析には Stanford Parser4を，日本語のトークン化には KyTea ${ }^{5}$ を用いた。IBM モデル 4 の実装としては GIZA++ ${ }^{6}$ を用いた. フレーズテーブルの抽出は mosesdecoder ${ }^{7}$ 用いた.未知語の置き換えの手法の Dict では外部辞書として EDict (Breen 2000)を用いた. コー パスの前処理としては, (Neubig 2013) を参考に, 単語数 51 以上の文は学習データから取り除いた。

ASPEC で語彙数を 1 万から 5 万まで 1 万ずつ変化させた時の翻訳結果の BLEU 値を計算し

表 1 各コーパスのサイズと全語彙数

train は学習に, devはパラメータチューニングに, test はテストに用いた.

表 2 ASPEC において語彙数を変化させたときの日英の翻訳結果の BLEU 値

太字は最も高い値.

表 3 語彙数を制限した時の未知語の割合

た結果を表 2 に示す.この結果から, 最も BLEU 値が高かった語彙数 4 万を実験で用いた. パラメータを統一するために NTCIR-10でも同じパラメータで実験を行った．語彙数を 4 万に制限した時の（延べ）全単語数における未知語の割合を表 3 に示す.

次にニューラル機械翻訳のコーパスからの学習における適切な更新回数を調べるために，更新回数 1 万から 15 万まで 1 万ごとに損失関数の値を計算した。その結果 ASPEC は 10 万回, NTCIR-10 は 12 万回以降, 損失関数の値が変化しなくなったため, これらを更新回数として設定した。

## 4.2 評価指標

翻訳精度の評価指標には BLEU (Papineni, Roukos, Ward, and Zhu 2002), METEOR (Banerjee and Lavie 2005)の 2 つを用いた.また METEOR は日本語の評価には対応していないため日英翻訳の評価のみに用いた。

## 4.3 実験結果と考察

コーパスとして ASPEC を用いた翻訳の結果を表 4 に示す. baseline はアテンションベースのニューラル機械翻訳のシステムである nematus のデフォルトの設定で学習したモデルである。BPEは (Sennrich et al. 2016), PosUNK は (Luong et al. 2015) を再実装して実験した結果である。語彙数はそれぞれ 4 万とした。語彙数を変更した実験も行ったが，BLUE 値や未知語の割合に大きな変化はなかったため, ここでは提案手法と同様の 4 万とした，学習の更新回数については, 提案手法同様に損失関数の値が最も小さくなった時の BLEU 值を採用した. intersection+ChangePhrase 以下が提案手法を実装して実験した結果である.これは baseline である nematus で求めたアテンションから intersection, gdfa, gdfa-f のいずれかを用いて単語アライメント表を作成し, ChangePhrase, IBM, Dictのいずれかを用いて未知語に置き換える単語列を決めたものである。単語アライメント表の作成方法と未知語に置き換える単語列の決め
方の $3 \times 3$ 通りの全ての組合せを実行した。

表 4 より, 未知語を置き換える手法としては ChangePhrase よりIBM の方が良い結果が出ている. ChangePhraseでは未知語が複数連続している場合にそれらをまとめてフレーズとするため，そのフレーズの訳が見つからなければ置き換えることができないが，IBM では 1 単語ずつ未知語を置き換えているので，学習コーパス中にある単語であ机必ず置き換えることができるので，それが原因として考えられる。

単語アライメントを求める方法としては, gdfa-f とIBM を組み合わせるとすべての未知語を別の単語で置き換えることができている。またBLEU 値もよく使われる手法であるintersection と比べて大差がなく, 同等の結果となっている。一方, 既存手法である BPE と PosUNKでは,未知語の数を大幅に減らすことはできているが，翻訳性能そのものはむしろ悪化している，コー パスとして NTCIR-10を用いて同じ実験を行った結果を表 5 に示す. NTCIR-10では語彙数を 4 万に制限した場合に未知語の数自体が少なくBLEU 値などに差が少ないが，ASPEC と同様に gdfa-f+IBM を使うとすべての未知語を別の単語で置き換えることができている。また BLEU 値も intersection と比べて大差がなく，同等の結果となっている.

表 4 を見ると METEOR では gdfa-f + IBM が最も高い数值を出している. METEOR は BLEU と違い同義語に高いスコアを与える翻訳の評価指標であるため，これは gdfa-f を適用することで意味の近い単語を選択できているということを示唆する。

次に, gdfa-f+IBM において, パラメータ更新回数と BLEU 値および UNK の出現率の関係を

表 4 ASPEC コーパスでの翻訳結果の精度比較結果

 &  &  &  &  \\

BPE & 21.47 & 28.34 & $\mathbf{0 . 0 0}$ & 29.54 & $\mathbf{0 . 0 0}$ \\
PosUNK & 24.25 & 31.63 & 0.07 & 34.47 & 0.17 \\
+intersection+ChangePhrase & 25.34 & 31.97 & 1.10 & 34.64 & 0.57 \\
+intersection+IBM & $\mathbf{2 5 . 5 6}$ & 32.06 & 0.42 & 34.63 & 0.50 \\
+intersection+Dict & 25.05 & 31.71 & 2.00 & 34.58 & 0.81 \\
+ gdfa+ChangePhrase & 25.37 & 32.03 & 1.00 & 34.67 & 0.36 \\
+ gdfa+IBM & 25.50 & 32.14 & 0.14 & 34.65 & 0.23 \\
+gdfa+Dict & 25.04 & 31.72 & 1.96 & 34.58 & 0.99 \\
+gdfa-f+Changephrase & 25.37 & 32.06 & 0.89 & $\mathbf{3 4 . 6 8}$ & 0.16 \\
+ gdfa-f+IBM & 25.51 & $\mathbf{3 2 . 1 6}$ & $\mathbf{0 . 0 0}$ & 34.66 & $\mathbf{0 . 0 0}$ \\
+gdfa-f+Dict & 25.05 & 31.73 & 1.91 & 34.59 & 1.10 \\

太字は最も高い（UNK の場合は最も低い）值.

グラフに表したものが図 2 および図 3 である. ここからパラメータ更新回数が少ない場合でも gdfa-f+IBM を適用することで未知語をなくし，BLEU 値も若干あげることができることがわかる.

表 5 NTCIR-10 コーパスでの翻訳結果の精度比較結果

 &  &  &  &  \\

BPE & 32.95 & 31.12 & $\mathbf{0 . 0 0}$ & 33.26 & $\mathbf{0 . 0 0}$ \\
PosUNK & 34.88 & 33.52 & 0.09 & 36.39 & 0.03 \\
+intersection+ChangePhrase & 35.33 & 33.92 & 1.12 & 36.76 & 0.20 \\
+intersection+IBM & $\mathbf{3 5 . 3 7}$ & 33.99 & 0.21 & $\mathbf{3 6 . 8 3}$ & 0.05 \\
+intersection+Dict & 35.33 & 33.91 & 1.16 & 36.74 & 0.28 \\
+ gdfa+ChangePhrase & 35.31 & 31.88 & 1.08 & 36.77 & 0.18 \\
+ gdfa+IBM & 35.31 & 34.02 & 0.10 & $\mathbf{3 6 . 8 3}$ & 0.03 \\
+ gdfa+Dict & 35.32 & 33.91 & 1.20 & 36.74 & 0.27 \\
+ gdfa-f+changePhrase & 35.33 & 33.90 & 1.01 & 36.77 & 0.21 \\
+gdfa-f+IBM & 35.31 & $\mathbf{3 4 . 0 3}$ & $\mathbf{0 . 0 0}$ & $\mathbf{3 6 . 8 3}$ & $\mathbf{0 . 0 0}$ \\
+ gdfa-f+Dict & 35.32 & 33.91 & 1.17 & 36.73 & 0.26 \\

太字は最も高い（UNK の場合は最も低い）値.

iteration回数とBLEUおよびUNKの関係

図 2 パラメータ更新回数と BLEU 值の関係（日英）

図 3 パラメータ更新回数と BLEU 值の関係（英日）

## 5 おわりに

本論文では，ニューラル機械翻訳により生成されたアテンションをもとに，単語の重複がないように単語アライメント表を作成することで, 出力結果における未知語が入力文のどの単語に対応しているかを判別し, 統計的機械翻訳でのモデルを用いて未知語を適切な単語に置き換える手法を提案した. その結果, 提案手法の gdfa-f を用いて単語アライメント表を作ることで未知語をなくすことができ，BLEU 值なども向上させることができることがわかった. 今後はより大きな外部辞書を活用するなどしてさらに翻訳精度を高めていきたい. また, 本論文で提案した手法はターゲット言語における 1 つの未知語が単語もしくはフレーズに対応しているという仮定に基づいているが，未知語とその周辺の単語またはフレーズが一つの単語に対応している，すなわち置き換えた単語と周辺の単語が重複する状況も考えられる。 そのような場合も考慮した手法を検討していきたい。

## 参考文献

Arthur, P., Neubig, G., and Nakamura, S. (2016). "Incorporating Discrete Translation Lexicons into Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." arXiv preprint arXiv:1409.0473.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of ACL Workshop on In-
trinsic and Extrinsic Evaluation Measures for Machine Translation And/or Summarization, Vol. 29, pp. 65-72.

Breen, J. (2000). "A www Japanese Dictionary." Japanese Studies, 20 (3), pp. 313-317.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar. Association for Computational Linguistics.

Freitag, M. and Al-Onaizan, Y. (2016). "Fast Domain Adaptation for Neural Machine Translation." arXiv preprint arXiv:1612.06897.

Goto, I., Chow, K.-P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In NTCIR.

Hashimoto, K., Eriguchi, A., and Tsuruoka, Y. (2016). "Domain Adaptation and Attentionbased Unknown Word Replacement in Chinese-to-Japanese Neural Machine Translation." In Proceedings of the 3rd Workshop on Asian Translation (WAT2016), pp. 75-83.

伊部早紀, 松田源立, 山口和紀 (2018). 日英ニューラル機械翻訳における未知語への対応. 言語処理学会第 24 年次大会発表論文集, pp. 1046-1049.

Jean, S., Cho, K., Memisevic, R., and Bengio, Y. (2015). "On Using Very Large Target Vocabulary for Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Vol. 1, pp. 1-10.

Khayrallah, H., Kumar, G., Duh, K., Post, M., and Koehn, P. (2017). "Neural Lattice Search for Domain Adaptation in Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), Vol. 2, pp. 20-25.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-based Translation." In NAACL HLT-Volume 1, pp. 48-54. ACL.

Luong, M.-T. and Manning, C. D. (2016). "Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1054-1063.

Luong, T., Sutskever, I., Le, Q., Vinyals, O., and Zaremba, W. (2015). "Addressing the Rare Word Problem in Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Vol. 1, pp. 11-19.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara,

H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Calzolari, N., Choukri, K., Declerck, T., Grobelnik, M., Maegaard, B., Mariani, J., Moreno, A., Odijk, J., and Piperidis, S. (Eds.), Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, PortoroÅ, Slovenia. ELRA.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In ACL System Demonstrations, pp. 91-96.

Och, F. J. and Ney, H. (2004). "The Alignment Template Approach to Statistical Machine Translation." Computational Linguistics, 30 (4), pp. 417-449.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In $A C L$, pp. 311-318. ACL.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1715-1725.

Skadina, I. and Rozis, R. (2016). "Towards Hybrid Neural Machine Translation for EnglishLatvian." In Human Language Technologies-The Baltic Perspective: Proceedings of the Seventh International Conference Baltic HLT 2016, Vol. 289, p. 84. IOS Press.

Stahlberg, F., Hasler, E., Waite, A., and Byrne, B. (2016). "Syntactically Guided Neural Machine Translation." In The 54th Annual Meeting of the Association for Computational Linguistics, p. 299.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Tu, Z., Liu, Y., Lu, Z., Liu, X., and Li, H. (2017). "Context Gates for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 5, pp. 87-99.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 76-85.

Zhang, J., Utiyama, M., Sumita, E., Neubig, G., and Nakamura, S. (2018). "Guiding Neural Machine Translation with Retrieved Translation Pieces." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), Vol. 1, pp. 1325-1335.

## 略歴

伊部早紀：2017 年東京大学教養学部学際科学科卒業. 東京大学大学院総合文化研究科広域システム科学専攻修士課程在学中。言語処理に関する研究開発

## に従事.

松田源立：1997 年東京大学教養学部卒業. 2002 年東京大学大学院総合文化研究科博士課程修了. 博士 (学術). 学振特別研究員 (PD), 青山学院大学理工学部助教を経て, 2013 年より東京大学大学院総合文化研究科学術研究員.

山口和紀 : 1979 年東京大学理学部数学科卒業. 1985 年理学博士 (東京大学). 1992 年東京大学教養学部助教授. 2007 年より東京大学大学院総合文化研究科教授、コンピュータのためのモデリング全般に興味を持つ.

$(2018$ 年 5 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 7 月 30 日 $\quad$ 再受付 $)$
$(2018$ 年 9 月 6 日 $\quad$ 採録 $)$