# 素性空間拡張法に基づくフレーズベース統計翻訳の マルチドメイン適応

今村 賢治 ${ }^{\dagger}$ 隅田英一郎†

ドメイン適応は，機械翻訳を実用に使用するときの大きな課題の一つである．本稿 では，複数ドメインを前提とした，統計翻訳の適応方式を提案する。本稿の方式は, カバレッジが広い (未知語が少ない) コーパス結合モデルと, 素性関数の精度がよい 単独ドメインモデルを併用する。これらを，機械学習のドメイン適応に用いられて いる素性空間拡張法の考え方で結合する。従来の機械翻訳における素性空間拡張法 は, 単一のモデルを用いていたが, 本稿の提案方式は, 複数のモデルを用いること により，両者の利点を活かすことが特徴である，実験では，単独ドメインモデルに 比べ，翻訳品質が向上または同等を保持した。提案法は，当該ドメインの訓練コー パスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つ ドメインへの適応に使用しても, 翻訳品質を下げることなく, ドメインによっては 品質向上の効果がある。基本的な対数線形モデルでも, モデルの選択と設定を適切 に行うことで，最先端品質の適応方式が実現できることを示す.

キーワード：ドメイン適応，フレーズベース統計翻訳，素性空間拡張法，コーパス結合モデ ル, empty 值
## Multi-domain Adaptation for Statistical Machine Translation Based on Feature Augmentation

\author{
Kenji Imamura $^{\dagger}$ and Eirchiro Sumita ${ }^{\dagger}$
}

Domain adaptation is a major challenge when machine translation is applied to practical tasks. In this study, we present domain adaptation methods for machine translation that assume multiple domains. The proposed methods combine two typesof models: a corpus-concatenated model covering multiple domains and single-domain models that are accurate but sparse in specific domains. We combine the advantages of both the models using feature augmentation for domain adaptation in machine learning; however, a conventional method of feature augmentation for machine translation uses a single model. Our experimental results show that the translation qualities of the proposed method improved or were at the same level as those of the single-domain models. The proposed method is extremely effective in low-resource domains. Even in domains having a million bilingual sentences, the translation quality was at least preserved and even improved in some domains. These results demonstrate that stateof-the-art domain adaptations can be realized with appropriate model selection and appropriate settings, even when standard log-linear models are used.


Key Words: Domain Adaptation, Phrase-based Statistical Machine Translation, Feature Augmentation, Corpus-concatenated Model, Empty Value

## 1 はじめに

さまざまな種類のテキストや，音声認識結果が機械翻訳されるようになってきている．しかし， すべてのドメインのデータにおいて，適切に翻訳できる機械翻訳器の実現はいまだ困難であり，翻訳対象ドメインを絞りこむ必要がある.

対象ドメインの翻訳品質を向上させるには, 学習デー夕（対訳文）を大量に収集し, 翻訳器を訓練するのが確実である。しかし，多数のドメインについて，対訳文を大量に収集することはコスト的に困難であるため, 他のドメインの学習データを用いて対象ドメインの翻訳品質を向上させるドメイン適応技術が研究されている (Foster and Kuhn 2007; Foster, Goutte, and Kuhn 2010; Axelrod, He, and Gao 2011; Bisazza, Ruiz, and Federico 2011; Sennrich 2012; Sennrich, Schwenk, and Aransa 2013). このドメイン適応は，機械翻訳を実用に供するときには非常に重要な技術である.

本稿では, 複数ドメインを前提とした, 統計翻訳の適応方式を提案する。本稿の提案方式は,複数のモデルを対数線形補間で組み合わせる方法である. シンプルな方法であるが, 機械学習分野のドメイン適応方法である素性空間拡張法 (Daumé 2007)の考え方を流用することで, 複数ドメインの利点を活かす。具体的には，以下の 2 方式の提案を行う.

（1）複数ドメインの同時最適化を行う方法. この場合, 拡張された素性空間に対して, マルチドメイン対応に変更した最適化器で同時最適化を行う.

（2）複数ドメインを一つ一つ個別に最適化する方法. この場合, 素性空間を制限し，通常の対数線形モデルとして扱う．既存の翻訳システムへの改造が少なくても実現できる.

いずれの方法も，さまざまなドメインで未知語が少ないコーパス結合モデルと， ドメインを限定した際に翻訳品質がよい単独ドメインモデルを併用する. さらに, 複数モデル組み合わせ時のハイパーパラメータをチューニングする.

素性空間拡張法を機械翻訳に適用した例には, Clark, Lavie, and Dyer (2012)がある.これは，翻訳文の尤度の算出に用いられる素性ベクトルの重みだけを適応させていて，素性関数は適応させていない，本稿の新規性は，コーパス結合モデルと単独ドメインモデルを使って，素性関数を適応させていること, および，複数モデル組み合わせ時のハイパーパラメータを適切に設定することの 2 点である. モデルの選択と設定を適切に行うことによって, 最先端のドメイン適応と同等以上の精度が出せることを示す.

なお，本稿では，事前並べ替えを使ったフレーズベース統計翻訳方式 (PBSMT)(Koehn, Och, and Marcu 2003; Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran,

Zens, Dyer, Bojar, Constantin, and Herbst 2007) を対象とする．以下，第 2 節では， 統計翻訳のドメイン適応に関する関連研究を述べる。第 3 節では，提案方式を詳細に説明する。第 4 節では，実験を通じて本方式の特徴を議論し，第 5 節でまとめる.

## 2 統計翻訳のドメイン適応

機械翻訳のドメイン適応は，翻訳対象のドメイン（内ドメイン）データが少なく，他のドメイン（外ドメイン）データが大量にある場合，内外ドメインのデータ双方を使って，内ドメインの翻訳品質を向上させる技術である.

ドメイン適応には，「ニュース」「Web」のように，あらかじめデータがどのドメインに属するか決まっている場合の他に，自動クラスタリングによって仮想的に作られる場合もある。自動で分割されたドメインでも，重みを最適化することによって，トータルの翻訳品質が向上するという報告もある (Finch and Sumita 2008; Sennrich et al. 2013). 本稿では，前者のあらかじめデータのドメインが決まっている場合で議論する.

## 2.1 コーパス結合

最もシンプルなべースラインとして用いられている方法は, 内ドメインと外ドメインのデー 夕を結合して学習し，1つのモデルを構築する方法である（本稿ではコーパス結合方式と呼ぶ）.学習された結合モデルは, 各ドメインの開発セットで最適化される.

一般的な機械学習では，結合されたコーパスで学習したモデルは，内ドメイン，外ドメイン双方の中間的性質を持つため, その精度も内ドメインデータのみ, 外ドメインデータのみで学習されたモデル（単独ドメインモデルと呼ぶ）の中間の精度になることが多い. 一方，機械翻訳の場合，コーパスを結合することにより，カバーする語彙が増加するため未知語が減少し, 単独ドメインモデルより翻訳品質が向上する場合もある。最終的に翻訳品質が向上するか否かは,未知語の減少とモデルパラメータの精度低下のトレードオフになる。

## 2.2 線形補間，対数線形補間

統計翻訳では，翻訳に使用するサブモデル（フレーズテーブル，言語モデル，並ベ替えモデルなど）が返す値（素性関数値）を，線形または対数線形結合して，翻訳文の尤度を算出する。対数線形モデルでは，以下の式で尤度 $\log P(e \mid f)$ を算出する.

$
\log P(e \mid f) \quad \propto \quad \mathbf{w} \cdot \mathbf{h}(e, f)
$

ただし, $e$ は翻訳文, $f$ は原文, $\mathbf{h}(e, f)$ は素性ベクトル, $\mathbf{w}$ は素性関数の重みベクトルである.

このとき，重みべクトル $\mathrm{w}$ をドメイン毎に切り替えることで， ドメイン依存訳を生成する方
法がある．たとえば，Foster and Kuhn (2007) は, PBSMTのサブモデルをドメイン毎に訓練し，線形補間，対数線形補間でドメイン毎の重みを変えて翻訳を行った．彼らはパープレキシティなどを目標関数にして，独自の重み推定を行ったが，近年は，重みの推定に誤り率最小訓練法 (MERT) (Och 2003) などの最適化方法が用いられている (Foster et al. 2010).

素性空間拡張法 (Daumé 2007) は，翻訳に限らず，機械学習全般に使われるドメイン適応方式で，素性関数の重みをドメイン毎に最適化する (3.1節参照). Clark et al. (2012)は, これを対数線形補間方式の一種として翻訳に適用し，効果があったと報告している。 なお, 彼らは単一のモデルを用い，モデルの重みのみをドメイン適応させている.

## 2.3 モデル適応

重みベクトルではなく, 素性べクトル $\mathbf{h}(e, f)$ （素性関数）を変更することによってドメイン適応する方法は，大きく 2 つに分けられる。一つは，訓練済みサブモデル自身を変更する方法である。もう一つは，ドメインに適応させたコーパスからモデルを訓練する方法である。このうち， サブモデル自身を変更する方法には, fill-up 法 (Bisazza et al. 2011), 翻訳モデル混合 (Sennrich 2012), インスタンス重み付け (Foster et al. 2010; Matsoukas, Rosti, and Zhang 2009) が知られている.

fill-up 法は，フレーズテーブルから翻訳候補を取得する際，内ドメインの単独モデルにフレー ズが存在する場合はその素性関数值を使用, 存在しない場合は外ドメインの単独モデルからフレーズを取得し，その値を使用する。

翻訳モデル混合は， 2 つのフレーズテーブルに記録された翻訳確率を重み付きで混合し，新たなフレーズテーブルを生成する。重みは開発セットのパープレキシティが最小になるように，素性関数毎に設定される.

インスタンス重み付けは，フレーズテーブルのモデルパラメーターつ一つを，内ドメインと外ドメインを識別するように内ドメインの開発セットで混合する.

これらの方法は, 素性関数値のみでなく, デコード時のフレーズ候補も 2 つのモデルのフレー ズを使用するため，一般的には未知語は減少する。しかし，フレーズテーブル以外のサブモデルは, 別の構築・混合法を使わなければならないというデメリットも存在する.

## 2.4 コーパスフィルタリング

素性ベクトル $\mathbf{h}(e, f)$ を変更するもう一つの方法は, モデル訓練用コーパスをドメイン適応させる方法である，最初に述べたコーパス結合も，この一種であるが，よりドメインに適応させるには，外ドメインコーパスから対訳文を取捨選択した方がよい。この，外ドメインコーパスから対訳文を取捨選択し，内ドメインコーパスとともにモデルを作成する方式を，コーパスフィルタリングと呼ぶ. Axelrod et al. (2011)は，内ドメインに適した対訳文を，内外ドメインの交
差エントロピーの差に基づき, 外ドメインコーパスから取捨選択した. 選択された文を内ドメインコーパスに追加してモデルを訓練することで, ドメイン適応を行った。

コーパスフィルタリングは，翻訳器が使用する全サブモデルを，その種類を問わず適応させることができる点がメリットであるが，最適な追加訓練文数は，あらかじめ予想できない点がデメリットである.

## 2.5 その他の方法

その他の方法としては, 2 つの翻訳器を直列に接続し, 外ドメイン翻訳器による翻訳結果を, さらに内ドメイン翻訳器を使って訂正する方法もある (Jeblee, Feely, Bouamor, Lavie, Habash, and Oflazer 2014).これは, ドメイン依存訳の生成を一種の誤り訂正ととらえていることに相当する。

## 3 マルチドメイン適応方式

## 3.1 素性空間拡張法

素性空間拡張法 (Daumé 2007) は, 一般的な機械学習におけるパラメータ（統計翻訳では素性の重みに対応）のドメイン適応に用いられる方式である。素性空間を共通，内ドメイン（ター ゲットドメイン)，外ドメイン(ソースドメイン) に分割し，素性を，それが由来するドメインごとに異なる空間に配置する。内ドメインの素性は共通空間と内ドメイン空間に，外ドメインの素性は共通空間と外ドメイン空間にコピーして配置するのが特徴である。そして，全体を最適化することにより，適応された重みべクトルを得る。

素性が踈な二值素性の場合，共通空間に格納される素性は，内ドメインデータから得られる素性と，外ドメインデータから得られる素性の和 $(\mathrm{OR})$ になる，そのため，共通空間にある素性が，内外ドメインの枑いに欠落した素性を補完し，精度が向上する。統計翻訳のような密な実数素性の場合, 共通空間を介して, 外ドメインの素性が内ドメインの事前分布として作用し，より内ドメインに適合した重みに調整される（Daumé (2007)の 3.2 節参照).

通常は，外ドメインを内ドメインに適応するために使用されるが，素性空間拡張法では，外ドメインと内ドメインを同等に扱っており，容易に $D$ ドメインに拡張することができる。その場合，素性空間は共通，ドメイン $1, \ldots$ ドメイン $D$ のように， $D+1$ 空間に分割される（図 1 ）. すなわち，

$
\mathbf{h}(f, e)=\left.\langle\mathbf{h}_{c}, \mathbf{h}_{1}, \ldots, \mathbf{h}_{i}, \ldots, \mathbf{h}_{D}\right.\rangle
$

ただし， $\mathbf{h}_{c}$ は共通空間の素性ベクトル， $\mathbf{h}_{i}$ はドメイン依存空間の素性ベクトルである。共通空

図 1 素性空間拡張とコーパス結合モデル／単独ドメインモデルの併用

間には常に素性が配置されるが，ドメイン依存空間には，データの属するドメインが一致する場合だけ，素性が配置される。

$
\begin{aligned}
& \mathbf{h}_{c}=\boldsymbol{\Phi}(f, e) \\
& \mathbf{h}_{i}= \begin{cases}\boldsymbol{\Phi}(f, e) & \text { if domain }(f)=i \\
\emptyset & \text { otherwise }\end{cases}
\end{aligned}
$

ただし， $\boldsymbol{\Phi}(f, e)$ はモデルスコア等を格納した部分べクトルで, 素性空間を拡張しない場合は, $\mathbf{h}(f, e)$ と同じになる.この素性マトリクスを最適化し, 重みべクトルを得る.

4 節の実験では, Mosesツールキット (Koehn et al. 2007)のデフォルト素性（15 次元）を使用する。素性の一覧を表 1 に示す。これに素性空間拡張法を適用すると, 共通空間では 15 次元, ドメイン依存空間では各 14 次元となる 1 .

Clark et al. (2012)は，アラビア語 $\rightarrow$ 英語翻訳（ドメインは News と Web）およびチェコ語 $\rightarrow$ 英語翻訳（ドメインは Fiction など 6 ドメイン）について素性空間拡張法を適用し，効果が観測されたと報告している，ただし，彼らは，翻訳モデル，言語モデルなどのサブモデルは，コー パス結合モデル 1 種類だけを使用しており，純粋に素性関数の重みだけをドメイン最適化している.

表 1 本稿で用いる素性の一覧

 \\

## 3.2 提案法

## 3.2.1コーパス結合モデルと単独ドメインモデルの導入

機械翻訳では，素性の重みより素性関数の方が翻訳品質に対する影響が大きいため，素性空間によってモデルを切り替えるのは自然な拡張である.

本稿で用いる素性関数は，実数值を返す関数であるが，その実態は，モデルファイルに記録されているインスタンスを読み込み，それに対応する值を返している。もし，訓練データ不足などの理由でモデルファイル中にインスタンスが存在しない場合, 素性関数値は極小值になる. つまり，実数値の素性関数であっても，実際には二値素性と同様に，スパースネスの問題がある。そこで本稿では，二値素性の素性空間拡張法の考え方を素性関数に適用し，共通空間に対応するモデルとして，全ドメインのコーパスから作成したコーパス結合モデルを使用する。ドメイン依存空間には，それぞれの単独ドメインモデルを使用する。具体的には,

・フレーズテーブル, 語彙化並び替えモデル, 言語モデルなどのサブモデルについて, 単独ドメインモデルとコーパス結合モデルを作成しておく．
- 素性空間拡張では, 共通空間にはコーパス結合モデルのスコアを素性関数値として配置し, 各ドメインの空間には, 単独ドメインモデルのスコアを配置し, 最適化する（図 1）.式 (3)(4) は以下の式に置換される。

$
\begin{aligned}
\mathbf{h}_{c} & =\boldsymbol{\Phi}_{c}(f, e) \\
\mathbf{h}_{i} & = \begin{cases}\boldsymbol{\Phi}_{i}(f, e) & \text { if domain }(f)=i \\
\emptyset & \text { otherwise }\end{cases}
\end{aligned}
$

ただし, $\boldsymbol{\Phi}_{c}(f, e)$ はコーパス結合モデルから得られた素性ベクトル, $\boldsymbol{\Phi}_{i}(f, e)$ は, 単独ドメインモデル $i$ から得られた素性ベクトルである.

・ デコーディングの際は，まず，単独ドメインモデルとコーパス結合モデルのフレーズテー ブルをすべて検索し，翻訳仮説を生成する，探索の際には，共通空間と対象ドメインの空間の素性だけを使って尤度計算をする。

翻訳仮説生成にコーパス結合フレーズテーブルを使用することにより，他のドメインで出現した翻訳フレーズも利用でき，未知語の減少が期待できる。また，翻訳仮説が単独ドメインモデルに存在している場合, 高い精度の素性関数値が得られると期待される.

本方式は, 拡張素性空間を最適化することによって, 重みベクトル $\mathbf{w}$ を適応し, コーパス結合モデルと単独ドメインモデルを併用することで, 素性関数 $\mathbf{h}(e, f)$ の適応を行っている. どちらもモデルの種類に依存しないため, 翻訳に使用する全サブモデルについて，適応させることができる.

なお，機械翻訳では，言語モデルを大規模な単言語コーパスから作成する場合がある。このモデルは，いわば非常に多くのドメインを含むコーパス結合モデルに相当するため，共通空間に配置するとよい。このように，外部知識から得られたモデル（素性関数）を追加する場合には，共通空間の次元を増加させる。

## 3.2.2 empty 値

本方式では, コーパス結合モデル, 単独ドメインモデルのどちらか一方にのみ出現するフレー ズ対が多数存在する。これらフレーズなどのインスタンスに関しても素性関数は値を返す必要がある。この值を本稿では empty 值と呼ぶ.これはいわばn-gram 言語モデルにおける未知語確率に相当するものであるので，フレーズの翻訳確率分布から算出されるべきものであるが，本稿では, パイパーパラメータとして扱い, 開発コーパスにおける BLEU スコアが最高になるよう，実験的に設定する²

## 3.3 最適化

## 3.3.1 同時最適化

一般的な機械学習における素性空間拡張法の利点の一つは, 素性空間を操作しているだけなので，最適化アルゴリズムは既存の方法が使えるという点である.

機械翻訳の場合, 最適化方法には, 誤り率最小訓練 (MERT)(Och 2003), ペアランク最適化 (PRO)(Hopkins and May 2011), k ベストバッチ MIRA (KBMIRA) (Cherry and Foster 2012)が知られている。本稿では，高次元の最適化に適した KBMIRA を使用する ${ }^{3}$.

通常の機械学習における最適化と, 機械翻訳の最適化の大きな相違点は, 多くの機械学習の損失関数が，尤度などデコーダが出力するスコアを使用しているのに対して，機械翻訳は BLEU (Papineni, Roukos, Ward, and Zhu 2002)のような, 翻訳文の自動評価値を使用する点である. この自動評価値は，翻訳文と参照訳との比較によって算出され，コーパス単位に計算される場合が多い. 実際, MERT, KBMIRA は開発セットの BLEU スコアを損失関数の一部に使用している 4 . つまり，複数ドメインを同時に最適化する場合は，ドメイン毎に BLEUスコアを算出しないと，結果がドメイン最適にならないことを意味している.

上記問題を解決するため，本稿では KBMIRAを変更する． Cherry and Foster (2012)のアルゴリズム 1 に対する変更点は，以下のとおりである.

(1) 処理済み翻訳文の BLEU 統計量（n-gram一致数など）を保存する変数 $B G$ を，1つからドメイン数 $D$ 個に拡張する.

(2) 各翻訳文の BLEU スコアは，その翻訳文のドメイン $i$ の $B G_{i}$ から算出する.

(3) 素性重みを更新後, その翻訳文の BLEU 統計量を $B G_{i}$ に追加する.

この変更によって, 各ドメイン空間の素性重みは, そのドメインの開発セットに最適化される.

## 3.3.2 個別最適化

同時最適化は，適応させたいドメインが限られている場合にも，すべてのドメインを最適化しなければならないので, 少々非効率である。そこで, 全 $D$ ドメインのうち, ドメイン $i$ だけ適応させたい場合, ドメイン $i$ に関連する空間だけに限り, 最適化を行う。これを本稿では個別最適化と呼ぶ.

個別最適化は，素性空間を共通空間とドメイン $i$ 空間に制限し，チューニングデータもドメイン $i$ に関するものだけにする。すなわち, 式 (2) は式 (7)に置き換える.

$
\begin{aligned}
\mathbf{h}(f, e) & =\left.\langle\mathbf{h}_{c}, \mathbf{h}_{i}\right.\rangle \\
\mathbf{h}_{c} & =\boldsymbol{\Phi}_{c}(f, e) \\
\mathbf{h}_{i} & =\boldsymbol{\Phi}_{i}(f, e)
\end{aligned}
$

これは, 一般的な対数線形モデルであるので, 同時最適化を行わなくても, 既存の最適化器をそのまま使うことができる。また，デコーダも，(1) 複数モデルを同時に使えること， (2) empty 值を設定できること，の 2 点を満たすものであればよいため, 既存のものを少し修正するだけで利用可能となる.

同時最適化に比べると, 共通空間の最適化が弱くなる恐れがあるが, もともと機械翻訳は素性の重みより素性関数の影響の方が大きいため, 実用上は問題は少ないと考えられる。ただし,
^{4}$ Clark et al. (2012) が素性空間拡張法の最適化に使用した PRO は文単位に近似した BLEU スコアを用いている.
}
以下の 2 点に関しては, 同時最適化と共通に満たす必要がある.

(1) 共通空間の素性にコーパス結合モデルを使うこと。

(2) empty 值を適切に設定すること.

## 4 実験

## 4.1 実験設定

## 4.1.1 ドメイン/コーパス

本稿では, 英日／日英翻訳を対象に，以下の 4 つのドメインの最適化を行う，各ドメインのコーパスサイズを表 2 に示す. MEDコーパスは比較的小規模で, それ以外のドメインは 100 万文規模である。なお, 訓練文は 80 単語以下のものだけを使用した.
- MED: 病院等における医師（スタッフ）と患者の疑似対話のコーパス. 内部開発.
- LIVING: 外国人が日本に旅行や在留する際の疑似対話コーパス. 内部開発.
- NTCIR: 特許コーパス. 訓練コーパスと開発コーパスは国際ワークショップNTCIR-8, テストコーパスは NTCIR-9のものを使用 ${ }^{5}$.
- ASPEC: 科学技術文献コーパス (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) ${ }^{6}$. ASPEC-JEのうち, 対訳信頼度の高い 100 万文を使用.

## 4.1.2翻訳システム

各コーパスの対訳文は，内部開発の事前並べ替え（Goto, Utiyama, Sumita, and Kurohashi (2015)の 4.5 節）を適用したのちに使用した. これは, 新聞, Wikipedia, 旅行会話, 生活会話,科学技術文, ブログなどを混合した対訳コーパスから，ランダムに 500 万文程度を抽出して訓練した，特定のドメインに依存しない事前並び替えである，今回は，全ドメイン，全方式について同一の事前並び替えを適用した。

表 2 コーパスサイズ



また, 日本語に関しては, 訓練, テスト等すべての文について, あらかじめ形態素解析器 MeCab(Kudo, Yamamoto, and Matsumoto 2004) で単語分割を行ってから使用した. 英語に関しては, Mosesツールキット (Koehn et al. 2007) 付属の tokenizer, truecaser で前処理した.翻訳システムの訓練のうち, フレーズテーブル, 語彙化並び替えモデルの学習には Moses ツー ルキットをデフォルト設定で使用した。言語モデルは KenLM(Heafield, Pouzyrevsky, Clark, and Koehn 2013) を用いて, 訓練セットの目的言語側から5 グラムモデルを構築した. 最適化は 3.3.1 節で述べたマルチドメイン KBMIRA を使用した.

デコーディングには，内部開発の Moses のクローンデコーダを使用した. デコーダの設定値は Moses のデフォルト値と同じ phrase_table_limit $=20$, distortion_limit $=6$, ビーム幅 200 とした. なお, フレーズ候補取得の際には, 複数のフレーズテーブルをすべて検索して候補を取得後, 拡張素性空間で算出された尤度に従って, 20 個に絞り达んた。

## 4.1.3 empty 值

3.2.1節で述べた empty 値は, -3 から -20 の間の整数値のうち, 全ドメインの開発セット翻訳結果を 1 ドキュメント扱いしたときの BLEU スコアが最高值になる値を採用した. 結果, 英日翻訳に関しては -7 , 日英翻訳は -6 となった. これを確率値とみなした場合, 英日は $\exp (-7) \approx 0.0009$,日英は $\exp (-6) \approx 0.0025$ となる.

## 4.1.4 評価指標

評価指標には BLEU, 翻訳編集率 (TER) (Snover, Dorr, Schwartz, Micciulla, and Makhoul 2006), Meteor (Denkowski and Lavie 2014) (英語のみ), RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010)（日本語のみ）を使用し, MultEval ツール (Clark, Dyer, Lavie, and Smith 2011) ${ }^{7}$ で有意差検定を行った ${ }^{8}$. 危険率は $p<0.05$ とした. 最適化の摇れを吸収するため, 5 回最適化を実施し，その平均値を使用した。なお，単純化のため，本文では BLEUで説明する.

## 4.1.5 比較方式

各ドメインコーパスだけでモデルを構築, 最適化, テストする単独ドメインモデル方式をべー スラインにし，他の方式と比較する。従来法としては， 2 節で述べた以下の方式を使用する.

・ コーパス結合：全ドメインのコーパス結合モデルを使用し, 各ドメインの開発セットで最適化, テストした場合.
- 素性空間拡張法 (Clark)：共通空間, ドメイン空間共に, コーパス結合モデルの素性関

数を使った素性空間拡張法. Clark et al. (2012)の設定と同じだが, 最適化にはマルチドメイン KBMIRAを使用した。
- Fill-up 法：ドメイン適応方式に fill-up 法 (Bisazza et al. 2011) を用いた場合.

・ 翻訳モデル混合：ドメイン適応方式に翻訳モデル混合 (Sennrich 2012)を用いた場合. Moses 付属の tmcombine プログラムで混合した.
- コーパスフィルタリング : Axelrod et al. (2011) が提案した修正 Moore-Lewis フィルタリングで，自分以外のドメインのコーパスから対訳文を選択し， ドメインの訓練文に加えた場合．追加文数は， 10 万文単位に文数を変え，各ドメインの開発セットの BLEU スコアが最高になった文数を採用した9．

提案法は，以下のバリエーションをテストする.
- 提案法（同時最適化）：提案法のうち，3.3.1 節で述べた同時最適化を使用した場合.
- 提案法 (個別最適化) : 提案法のうち, 3.3.2 節で述べた個別最適化を使用した場合.
- 提案法 $($ empty $=-100)$ ：提案法の empty 值を, Moses と同じ -100 に設定した場合. なお，最適化は個別最適化を使用したが，同時最適化でも同じ傾向が観察された。
- 提案法（外ドメイン）：提案法のうち, 共通空間に対応するモデルとして, コーパス結合モデルではなく，内ドメインデータを取り除いた外ドメインコーパス（つまり，内ドメイン以外の 3 ドメインのコーパス）だけから学習したモデルを使用した場合. これも個別最適化を使用した。

## 4.2 翻訳品質

各方式について，英日翻訳および日英翻訳における自動評価スコアを，それぞれ表 3 ，表 4 に示す. なお, 表中太字は方式間最高値, (+) は, 単独ドメインモデル方式をべースラインとしたとき有意に向上したもの，（）は有意に悪化したものを表す $(p<0.05)$.

今回用いたデータは，ドメイン同士の関連性が比較的薄かったため，従来法では，適応によって翻訳品質は軒並み悪化した。たとえば，コーパス結合方式と素性空間拡張法 (Clark) は, 単独モデルより翻訳品質が低下する傾向が強かった. コーパス結合方式は各ドメインが平均化されたモデルが作成され，素性関数の精度が落ちたためと考えられる。

Fill-up 法は，コーパス結合方式に比べると翻訳品質は向上する場合が多かったが，単独ドメインモデルより悪化した．翻訳モデル混合は, ドメインによって有意に向上する場合と悪化する場合があり，この実験での有効性は確認できなかった。コーパスフィルタリングは, ASPEC の英日翻訳を除き，単独ドメインモデルより有意に向上，または同等品質となった. ASPEC 英日翻訳は 10 万文を加えただけだったが，これが悪影響しており，コーパスフィルタリングは有

表 3 方式別の自動評価スコア（英日翻訳）

効だが，最適な追加文数の決定は難しいことを示している。

一方, 提案法は, 同時最適化, 個別最適化ともに, すべてのドメインにおいて単独ドメインモデルより向上あるいは同等品質となり, 適切に適応できた. 同時最適化に比べ, 個別最適化の方が, BLEU スコアが高い傾向がある。なお, empty 值を -100 にすると, 最適化時に BLEU スコアが振動して, 最適化できない場合があった（表中の N/A）。また, 提案法でも, 共通空間に使用するモデルを外ドメインモデルにすると，大部分のケースでは提案法に比べ品質が悪化した. 共通空間に使用するモデルは，内ドメインを含むコーパス結合モデルの方が望ましいことを示している.

まとめると, 提案法はドメイン適応方式の中ではほぼ最高品質を確保できた. 特に, 個別最適化方式のような標準的な対数線形モデルであっても，適切な設定をすれば，最先端方式と同等以上のドメイン適応が実現できることを示している.
表 4 方式別の自動評価スコア（日英翻訳）

## 4.3 シングルドメイン適応としての効果

ドメイン適応が必要となる場面は，新たなドメインデータの翻訳を行わなければならないにも関わらず，十分な量の訓練文が集まらない場合である。本節では， MED 英日翻訳に絞って，訓練コーパスのサイズを変えて翻訳品質を測定する。なお，他のドメインについては変更せず，全訓練文を使用する.

表 5 は，単独ドメインモデル，コーパス結合，コーパスフィルタリングと提案法（個別最適化）を比較した結果である。表中の（+）は単独ドメインモデルと比較して有意に高く，（）は有意に低いことを表す。(†)はコーパス結合と比較して有意に高く，(个)はコーパスフィルタリングと比較して有意に高いことを表している $(p<0.05)$.

訓練コーパスが 1,000 文 (1 k) しかない場合は, 提案法は単独ドメインモデルに比べて非常に
表 5 訓練コーパスサイズ別 BLEU スコア（MED コーパス，英日翻訳）

 & コーパス結合 & \multicolumn{1}{|c}{} & \multicolumn{1}{|c}{} \\

$3 \mathrm{k}$ & 8.99 & $17.52(+)$ & $17.42(+)$ & $\mathbf{1 7 . 9 5}(+)(\dagger)(\uparrow)$ \\
$10 \mathrm{k}$ & 12.54 & $18.19(+)$ & $18.38(+)$ & $\mathbf{1 9 . 0 2}(+)(\dagger)(\uparrow)$ \\
$30 \mathrm{k}$ & 16.49 & $19.18(+)$ & $20.21(+)(\dagger)$ & $\mathbf{2 0 . 2 8}(+)(\dagger)$ \\
$100 \mathrm{k}$ & 20.63 & 20.92 & $22.14(+)(\dagger)$ & $\mathbf{2 2 . 5 3}(+)(\dagger)(\uparrow)$ \\
$223 \mathrm{k}$ (全訓練文) & 23.23 & $22.65(-)$ & $\mathbf{2 4 . 0 2}(+)(\dagger)$ & $23.75(+)(\dagger)$ \\

高い品質となっているが，コーパス結合とはほぼ同じである。訓練コーパスサイズが増えるにしたがい，全方式ともに BLEU スコアが向上するが，コーパス結合の品質向上は単独ドメインモデルより緩やかで, 約 10 万文 $(100 \mathrm{k})$ で単独ドメインモデルの品質が逆転する. 提案法は, 3,000 文 $(3 \mathrm{k})$ 以上では常に単独ドメインモデル，コーパス結合の品質を上回っており，両者の利点をうまく融合させた方式であることを示している.

コーパスフィルタリングは，提案方式とほぼ同様に， 3 万文 $(30 \mathrm{k})$ 以上では，単独ドメインモデル，コーパス結合を有意に上回ったが，提案法を有意に上回ることはなかった， 4.2 節でも述ベたように，コーパスフィルタリングは，最適な追加文数の決定が難しい．実際，この実験では, 10 万文単位での最適な追加文数を決定するため, 1 試行あたり 10 回以上の訓練, 最適化, テストを繰り返した。提案法の訓練回数は, 個別最適化の場合, コーパス結合モデルと単独ドメインモデルの 2 回に固定されており, 使いやすさの観点では提案法がコーパスフィルタリングより優れていると考える.

ここで，表 3,4 に戻る，表 $3 ４$ では，MEDコーパスにおける提案法（同時最適化, 個別最適化）の翻訳品質が英日，日英ともに向上した。この理由は，MEDコーパスが約 22 万文と, 他のコーパスに比べて小規模で，翻訳品質向上の余地を残していたためと推測できる。一方, MED 以外のドメインは, 100 万文規模の大規模コーパスから学習しているため, 必ずしも翻訳品質が向上するわけではない，しかし，特筆したいのは，大規模コーパスに提案方式を適用しても，翻訳品質が下がることがなく，データによっては向上する場合もあるという点である。 その点で，提案方式はコーパスサイズに対して非常にロバストな方式といえる.

## 4.4 末知語

本稿の提案方式の特徵は，コーパス結合モデルと単独ドメインモデルの利点を融合させたものとまとめられる。本節では各モデルの未知語の観点から分析する。

本稿では, Irvine, Morgan, Carpuat, Daumé, and Munteanu (2013) に準じて, 未知語を原言
表 6 未知語を含む文の割合（英日翻訳）

語未知と目的言語未知に分けて考える ${ }^{10}$. 原言語未知は入力の単語あるいはフレーズがフレー ズテーブルに存在しない場合である，目的言語未知は，原言語のフレーズは存在するが，目的言語の単語あるいはフレーズが存在しないために，参照訳が生成できない場合である。これは，強制デコーデイング (Yu, Huang, Mi, and Zhao 2013) を行い，参照訳が生成できるかどうかで判定できる.

英日翻訳におけるドメイン毎の未知語率を表 6 に示す。これは, 5 回の最適化のうちの 1 試行を取り出した結果である。ドメイン毎に割合の差はあるが，単独ドメインモデルに比べ，コー パス結合は原言語未知, 目的言語未知ともに減少する。たとえば，MEDコーパスでは，原言語未知は $9.1 \% \rightarrow 0.9 \%$, 目的言語未知は $38.5 \% \rightarrow 16.1 \%$ と減少し, 他のドメインの単語が利用可能になっている。しかし，最終的な翻訳品質は単独ドメインモデルの方がよかったことを考えると, 未知語の減少が直接品質向上に寄与したわけではない，最適化が重要であることがわかる。

提案法は，NTCIRを除き，さらに未知語が減少した。提案法はコーパス結合モデルと単独ドメインモデルのフレーズテーブルを OR 検索している． 2 つのフレーズテーブルは，重複する訓練コーパスを使用しているにも関わらず，訓練によって得られるフレーズは異なるため，結果的にカバレッジが向上したものと考えられる.

## 4.5 ドメイン適応による翻訳の変化例

統計翻訳のモデルを変更した場合，翻訳文の変化を適切に分類するのは非常に難しい，本提案のドメイン適応に関しても，正確な分類は困難だと判断したが，翻訳品質が向上している場合，典型的には以下の 3 パターンが観察された. ここでは表 7 に示す翻訳例を参照しながら説明する。この例は MED ドメインの英日翻訳から抜き出したものである.
- 単語の翻訳がドメイン依存訳に変化したものがある。例 1 の “first visit” の翻訳に関しては，コーパス結合では「初めて」と一般的な訳になっているが，単独ドメインモデルと

表 7 翻訳の変化例（MED ドメイン, 英日翻訳，テストセット）

 &  \\

提案法では,「初診」となり, 病院における対話に適応した訳となっている. 同様に, 例 2 では “opening hours”の訳が「診療時間」と翻訳されている.
- 例 3,4 のように, コーパス結合では常体の翻訳文になっているが, 単独ドメインモデル,提案法では敬体の翻訳文となっている。コーパス結合モデルでは, 特許や論文のコーパスを用いているため，常体が多数派を占めているためたとと考えられる，提案法は，コー パス結合モデルを併用しているにも関わらず，MEDの単独ドメインモデルを適切に利用して，敬体の翻訳文を生成した。これも一種のドメイン依存訳であると考えられる.
- 例 5,6 では, 単独ドメインモデルでは原言語未知になる単語があった (starvation, Sangenjaya, Shimokitazawa) が，コーパス結合，提案法ではこれが解消されている.

## 5 まとめ

本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案した。本稿の方式は，カバレッジが広い（未知語が少ない）コーパス結合モデルと, 素性関数の精度がよい単独ドメインモデルを併用し, 機械学習分野のドメイン適応方法である, 素性空間拡張法の考え方を利用して両者を結合した。また, empty 值をチューニング対象に追加した.

実験では同時最適化を行った場合，個別最適化を行った場合ともに，単独ドメインモデルに比べ，翻訳品質が向上または同等を保持した，提案法は，当該ドメインの訓練コーパスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つドメインへの適応に使用しても，翻訳品質を下げることなく， ドメインによっては品質向上の効果がある．基本的な対数線形モデルでも，モデルの選択とチューニングを慎重に行うことで，最先端方式と同等以上の適応方式になることを示した。

提案方式は, 対数線形モデルに基づく統計翻訳にはすべて適用可能であるので, 木構造変換のような翻訳方式でも効果を確認したいと考えている。ただし，木構造変換の翻訳方式は，構文解析を利用しているため, 翻訳品質は構文解析自身の精度にも影響を受ける。本稿で用いた事前並び替えも，構文解析を利用している。構文解析などの翻訳に使われているコンポーネントについては, 別途ドメイン適応させる必要がある (森下, 赤部, 波多腰, Neubig, 吉野, 中村 2016) が, 本稿の提案方式は, コンポーネントの適応とは独立に併用可能である.

## 謝 辞

本研究は総務省の情報通信技術の研究開発「グローバルコミュニケーション計画の推進一多言語音声翻訳技術の研究開発及び社会実証一I. 多言語音声翻訳技術の研究開発」の一環として行われました。

## 参考文献

Axelrod, A., He, X., and Gao, J. (2011). "Domain Adaptation via Pseudo In-Domain Data Selection." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 355-362, Edinburgh, Scotland, UK.

Birch, A., Osborne, M., and Koehn, P. (2007). "CCG Supertags in Factored Statistical Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 9-16, Prague, Czech Republic.

Bisazza, A., Ruiz, N., and Federico, M. (2011). "Fill-up versus Interpolation Methods for Phrasebased SMT Adaptation." In Proceedings of the International Workshop on Spoken Language Translation (IWSLT), San Francisco, California, USA.

Cherry, C. and Foster, G. (2012). "Batch Tuning Strategies for Statistical Machine Translation." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 427-436, Montréal, Canada.

Clark, J. H., Dyer, C., Lavie, A., and Smith, N. A. (2011). "Better Hypothesis Testing for Statistical Machine Translation: Controlling for Optimizer Instability." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 176-181, Portland, Oregon, USA.

Clark, J. H., Lavie, A., and Dyer, C. (2012). "One System, Many Domains: Open-Domain Statistical Machine Translation via Feature Augmentation." In Proceedings of the 10th biennial conference of the Association for Machine Translation in the Americas (AMTA 2012), San Diago, California, USA.

Daumé, III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263, Prague, Czech Republic.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380, Baltimore, Maryland, USA.

Finch, A. and Sumita, E. (2008). "Dynamic Model Interpolation for Statistical Machine Translation." In Proceedings of the 3rd Workshop on Statistical Machine Translation, pp. 208-215, Columbus, Ohio, USA.

Foster, G., Goutte, C., and Kuhn, R. (2010). "Discriminative Instance Weighting for Domain Adaptation in Statistical Machine Translation." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 451-459, Cambridge, Massachusetts,

USA.

Foster, G. and Kuhn, R. (2007). "Mixture-Model Adaptation for SMT." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 128-135, Prague, Czech Republic.

Goto, I., Utiyama, M., Sumita, E., and Kurohashi, S. (2015). "Preordering Using a TargetLanguage Parser via Cross-Language Syntactic Projection for Statistical Machine Translation." ACM Transactions on Asian and Low-Resource Language Information Processing, 14 (3), pp. 13:1-13:23.

Heafield, K., Pouzyrevsky, I., Clark, J. H., and Koehn, P. (2013). "Scalable Modified Kneser-Ney Language Model Estimation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 690-696, Sofia, Bulgaria.

Hopkins, M. and May, J. (2011). "Tuning as Ranking." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1352-1362, Edinburgh, Scotland, UK.

Irvine, A., Morgan, J., Carpuat, M., Daumé, III, H., and Munteanu, D. (2013). "Measuring Machine Translation Errors in New Domains." Transactions of the Association for Computational Linguistics, 1, pp. 429-440.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, Massachusetts, USA.

Jeblee, S., Feely, W., Bouamor, H., Lavie, A., Habash, N., and Oflazer, K. (2014). "Domain and Dialect Adaptation for Machine Translation into Egyptian Arabic." In Proceedings of the EMNLP 2014 Workshop on Arabic Natural Language Processing (ANLP), pp. 196-206, Doha, Qatar.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In HLTNAACL 2003: Main Proceedings, pp. 127-133, Edmonton, Alberta, Canada.

Koehn, P. and Schroeder, J. (2007). "Experiments in Domain Adaptation for Statistical Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 224-227, Prague, Czech Republic.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Lin, D. and Wu, D. (Eds.), Proceedings of EMNLP 2004, pp. 230-237, Barcelona, Spain.

Matsoukas, S., Rosti, A.-V. I., and Zhang, B. (2009). "Discriminative Corpus Weight Estimation for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 708-717, Singapore.

森下睦, 赤部晃一, 波多腰優斗, G.Neubig, 吉野幸一郎, 中村哲 (2016). 統語ベース翻訳のための構文解析器の自己学習. 自然言語処理, 23 (4), pp. 353-376.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASEPC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th Edition of the Language Resources and Evaluation Conference (LREC-2016), Portoroz, Slovenia.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167, Sapporo, Japan.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, Philadelphia, Pennsylvania, USA.

Sennrich, R. (2012). "Perplexity Minimization for Translation Model Domain Adaptation in Statistical Machine Translation." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 539-549, Avignon, France.

Sennrich, R., Schwenk, H., and Aransa, W. (2013). "A Multi-Domain Translation Model Framework for Statistical Machine Translation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 832-840, Sofia, Bulgaria.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Biennial Conference of the Association for Machine Translation in the Americas (AMTA-2006), pp. 223-231, Cambridge, Massachusetts, USA.

Yu, H., Huang, L., Mi, H., and Zhao, K. (2013). "Max-Violation Perceptron and Forced Decoding for Scalable MT Training." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1112-1123, Seattle, Washington, USA.

## 略歴

今村賢治：1985 年千葉大学工学部電気工学科卒業. 同年 2014 年日本電信電話株式会社. 1995 年 1998 年 NTT ソフトウェア株式会社. 2000 年 2006 年 ATR 音声言語コミュニケーション研究所. 2014 年より (株) ATR-Trek 所属として, 国立研究開発法人情報通信研究機構 (NICT) へ出向. 現在 NICT 先進的音声翻訳研究開発推進センター主任研究員. 主として自然言語処理技術の研究 - 開発に従事. 博士 (工学). 電子情報通信学会, 情報処理学会, 言語処理学会, ACL 各会員.

隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学) 取得. 1982 年 1991 年（株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員. 主幹研究員. 室長. 2007 年現在国立研究開発法人情報通信研究機構 (NICT) 先進的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.