# 大域的な並べ替えによるサブ言語翻訳の高精度化

法律文書や技術文書等の専門文書に対する機械翻訳では，翻訳対象のサブ言語に特有の大域的な文構造を適切に捉えて翻訳することが高品質な訳文を得る上で必要不可欠である．本論文では，文内の長距離な並べ替えに焦点を当てることによって，大域的な並べ替えを行うための手法を提案する。提案する大域的並べ替え手法では， アノテートされていない平文学習データを対象として, 構文解析を行うことなく大域的な並べ替えモデルを学習する。そして，大域的な並べ替えを従来型の構文解析 による並べ替えと併用することによって, 高精度な並べ替えを実現する。公開特許公報英文抄録 (Patent Abstracts of Japan, PAJ) のサブ言語を対象とした日英翻訳お よび英日翻訳の評価実験を行ったところ，両言語方向において，大域的な並べ替え と構文に基づく並べ替えを組み合わせることによって翻訳品質向上が達成できるこ とがわかった。

キーワード：機械翻訳，並べ替え，サブ言語，文構造，大域的な並べ替え
## Improving Sublanguage Translation via Global Pre-ordering

\author{
Masaru Fuji ${ }^{\dagger, \dagger}{ }^{\dagger}$, Masao Utiyama $^{\dagger}$, Eirchiro Sumita $^{\dagger}$ and Yuj $^{2}$ Matsumoto $^{\dagger \dagger}$
}

When translating formal documents, capturing the sentence structure specific to the sublanguage is extremely necessary to obtain high-quality translations. This paper proposes a novel global reordering method that focuses on long-distance reordering to capture the global sentence structure of a sublanguage. The proposed method learns global reordering models without syntactic parsing from a non-annotated parallel corpus and works in conjunction with conventional syntactic reordering. The experimental results regarding patent abstract sublanguage show concrete improvements in translation quality, both for Japanese-to-English and English-to-Japanese translations.

Key Words: Machine Translation, Reordering, Sublanguage, Sentence Structure, Global Reordering

## 1 はじめに

法律文書や技術文書等の専門文書は，その文種に特有の表現を持っていることから，サブ言語を形成していると考えることができる。サブ言語を対象とした翻訳に関する従来の研究では, サブ言語の翻訳品質を向上させるには, 対象のサブ言語に特徴的に表れる文構造を適切に捉え,対象言語の文構造に変換することが不可欠であることが指摘されている (Buchmann, WarwickArmstrong, and Shane 1984; Luckhardt 1991; Marcu, Carlson, and Watanabe 2000). 図 1 は, 特許抄録のサブ言語に特有な 2 対の対訳文である。いずれの文対でも，適切な訳文を得るために は, 原言語文における $\mathrm{ABC}$ という文構造を目的言語において CBA に変換しなければならない. このようなサブ言語に特徴的な文では，文構造を適切に捉えられなければその後の処理でも良 い翻訳に結びつく可能性が低いため, 初期段階での正確な文構造の把握が極めて重要である.

この課題に対して様々な研究が行われてきた。骨格構造を用いた機械翻訳 (Mellebeek, Owczarzak, Groves, Genabith, and Way 2006; Xiao, Zhu, and Zhang 2014) では, 構文解析器を 用いて入力文から骨格構造, つまり文の大域的な構造を抽出し，従来の統計的機械翻訳を用い て大域的な構造の学習を行って翻訳文を生成する。しかしながらこの方法は, 構文解析の精度 の影響を受けるため, 解析精度が低い場面では結果的に翻訳の精度も低くなるという問題があ る.もう一つの手法としては, 文構造変換のための同時文脈自由文法の規則を人手で構築し, こ れを用いて入力文の文構造を出力側言語の構造に変換する手法が提案されている (Fuji, Fujita， Utiyama, Sumita, and Matsumoto 2015; 富士, 藤田, 内山, 隅田, 松本 2016). こちらの手法 は，新規のサブ言語に対して人手で規則を作成しなければならないという問題がある。これら の手法では, 構文解析精度による制約の問題があったり, 人手による規則作成の問題があるな ど，新たなサブ言語に対して柔軟に適用できる翻訳を実現することができていない.

 \\

 \\

図 1 大域的な並べ替えが必要な, 特許抄録のサブ言語に特徵的な対訳文の例. $\mathrm{A}, \mathrm{B}, \mathrm{C}$ は，文の大域的構造を構成する構造部品を表す.
本論文では，サブ言語に特有な大域的な文構造を捉えるための，大域的な並べ替え手法を提案する。提案手法は，構文解析を用いることなく，アノテートされていない平文テキストデー 夕から大域的並べ替えモデルを学習し，このモデルを用いて新規の入力文に対する大域的な並 べ替えを行う。本手法は構文解析器を用いないため，構文解析器の解析精度の影響を受けるこ とはなく，また新規のサブ言語にも容易に適用できる。

特許抄録のサブ言語を対象にした日英および英日翻訳実験を行って本手法の評価を行ったと ころ，大域的な並べ替えと従来型の構文解析に基づく並べ替えを併用することによって，翻訳品質が向上することがわかった.

本論文の貢献は次のとおりである.
- 構文解析を用いることなく，アノテートされていない平文テキストデータから大域的並 ベ替えモデルを学習できる手法を提案する。
- 大域的な並べ替えと構文解析に基づく並べ替えを併用したときに翻訳品質が向上するこ とが確認できた。
- 特に特許抄録文では, サブ言語に特有な文構造を持った入力文に対して, 日英・英日双方向において翻訳精度が向上した。

## 2 関連研究

翻訳処理の一環として，入力文中の単語の並べ替えを行うことは翻訳品質の向上において有効であることが示されており，様々な手法が提案されてきた。

## 2.1 階層的フレーズベース機械翻訳

階層的フレーズベース機械翻訳 (Chiang 2005) における並べ替え手法は, 統計的機械翻訳研究の初期の頃に提案され，並べ替えを必要とする言語対にとって現在も有効な手法となってい る.この並べ替え手法では, 統計的機械翻訳の学習段階において, アノテートされていない平文学習データから並べ替え規則が自動的に学習され，翻訳実行時にはこの並べ替え規則を用い た翻訳が行われる，構文解析を用いないことと，平文テキストデータから自動的に規則を学習 することから, 新規のサブ言語への適用は容易である。しかしながら, 本手法では, 長距離の単語間の関係を捉えにくいという問題が指摘されており (Dyer, Gimpel, Clark, and Smith 2011), また文の大域的な構造を捉えるための手段は設けられていない.

## 2.2 Tree-to-String 翻訳および String-to-Tree 翻訳

これらの手法では，原言語か目的言語かのいずれかの言語のための構文解析が利用可能なと きに，その構文解析を用いて言語対の翻訳精度を向上させるものである (Yamada and Knight

2001; Ambati and Chen 2007). 片方の言語における言語リソースが限られている場合でも，も う片方の言語の構文情報によって翻訳精度を向上させられるという特長がある. しかしながら， これら手法も構文解析の解析精度に影響されるという問題がある.

## 2.3 骨格構造を用いた機械翻訳

本手法は，文の大域的な構造を捉えることを主眼においた研究である (Mellebeek et al. 2006; Xiao et al. 2014). 手法では, 入力文に対して構文解析器を用いて解析を行い, 骨格構造と言わ れる, 文の大域的な構造を抽出し, これに対して従来の統計的機械翻訳を適用して翻訳を行う.本手法も, 構文解析器を用いているため解析精度の影響を受ける。なお, 関連した研究として は述語項構造による手法も提案されている (Komachi, Matsumoto, and Nagata 2006).

## 2.4 構文解析による事前並べ替え翻訳

構文解析を用いた事前並べ替え翻訳に関する研究は幅広く行われてきた (Isozaki, Sudoh， Tsukada, and Duh 2010; Goto, Utiyama, Sumita, and Kurohashi 2015; de Gispert, Iglesias, and Byrne 2015; Hoshino, Miyao, Sudoh, Hayashi, and Nagata 2015). 現状, 実用面と精度の面 からもっとも使われている手法である。本手法は, 構文解析器を用いるため解析精度の影響を 受けるという問題がある。また，新規分野に適用させるためには，人手によってアノテートし た対象分野の対訳コーパスが大量に必要となるという問題がある.

なお, 本論文の提案する大域的並べ替え手法は, この従来型の構文解析による事前並べ替え 手法の前処理として動作することにより, 従来手法のこれら欠点を補うものである.

## 3 大域的並べ替え手法

本論文で我々は，入力文に対してサブ言語に特有な大域的な文構造を把握して並べ替えるた めの手法を提案する。サブ言語に特有な大域的な文構造は, 対象文書を読みやすくするために,特徴的な表層的手掛かりを使いながら記述される傾向にある (Buchmann et al. 1984). このた め, 本手法では, 対象サブ言語において頻出する表層的な手掛かり表現を取り出し, この手掛 かりをもとに文構造の認識および並べ替えを行う，表層的な手掛かり表現は，単語 $\mathrm{N}$ グラムと して取り出す. 大域的な並べ替えを含む学習文から Nグラムを取り出し, 新たに入力された文 に対してこのNグラムを照合することによって, 大域的な並べ替えの有無を検知し, 必要な場合に並べ替えを行う。

例えば，図 1 は，特許抄録文のサブ言語に属する学習データ中に表れる，大域的な並べ替え を必要とする 2 文の例文である。本論文では以降, 大域的な並べ替えにおける並び替え単位と なる文字列を構造部品と呼ぶ. この例文では, 入力文の大域的構造を $\mathrm{ABC}$ という 3 の構造部

図 2 大域的な並べ替えと従来の並べ替えの両方を適用した後の入力文

品で表しているが, 訳文では大域的な並べ替えを行って構造部品を CBA の順番で出力するこ とによって訳文として自然な文を得る。

ここで, これら学習データにおいて, 入力文を構成する構造部品の境界の左右からユニグラ ムを抽出するとユニグラムが得られる。ここで“いは構造部品の境界位置を表す.

$
\begin{gathered}
\{\text { provide } \mid, \text { a }\} \\
\{\text { apparatus, } \mid, \text { capable }\}
\end{gathered}
$

新たな文 “To provide a heating apparatus capable of maintaining the temperature.”が入力 されると，上記ユニグラムとの照合が行われ, “To provide | a heating apparatus | capable of maintaining the temperature"のように構造部品の境界がマーキングされた文が得られる。ここ で，ピリオドは並べ替え処理の対象外としており，一通りの並べ替えおよび翻訳処理が完了し てから最後にピリオドに相当する句点等を訳文に戻す。入力文において認識されたこれら構造部品は大域的に並べ替えられて, “Capable of maintaining the temperature | heating apparatus | to provide"が得られる. さらに，各構造部品について従来型の並べ替えを行うことによって， “The temperature maintaining of capable | heating appratus | provide to"という文が得られる. これは，目的言語である日本語の文構造および単語順を持った文となっており，図 2 に示すよ うに，統計的機械翻訳を用いて容易に翻訳することができるようになる。

本手法は，2つの手順から構成される。手順 1 では，大域的な並べ替えを必要とする文対を学習データから抽出する。この抽出した文対の原文側文は, 構造部品の境界位置を付与して格納 されるが，このコーパスを以降，大域的並べ替えコーパスと呼ぶ，手順 2 では，大域的並べ替え コーパスから $\mathrm{N}$ グラム等の文の素性を抽出してモデルを学習し，新規入力文に対してこのモデ ルを用いて構造部品の推定を行う．推定した入力文中の構造部品を大域的に並べ替えることに より，大域的な並べ替えが完了する，本論文では，手順 2 の実現方法として，ヒューリスティッ クな方法と機械学習による方法の両者を試した. 次節では, 手順 1 と手順 2 について説明する.

## 3.1 大域的な並べ替えを必要とする文対の抽出

以下では，統計的機械翻訳用の学習コーパスを対象に大域的な並べ替えが必要な文対を抽出 するためのアルゴリズムについて説明する.

大域的な並べ替えを必要とする文対とは，単語アラインメントされた文対において，文を 2 つもしくは 3 つの構造部品に区切ったときに, これら構造部品が原文と訳文の間で, フレーズ
単位 (phrase-based) で swap の位置関係 (Galley and Manning 2008) にある文対，と定義する. なお，3つの構造部品に区切った場合には，隣接する 2 の構造部品同士がそれぞれ $\operatorname{swap}$ の関係にある場合に条件が適用される。例えば図 3 は，3つの構造部品から構成される英日対訳文 の例であり，隣接する 2 つの構造部品の組み合わせがすべて原文側と訳文側で swap の関係に配置されているため, 大域的な並べ替えの対象となる.

なお提案手法は, 理論上は 4 つ以上の構造部品に区切っても適用できるが, 人手による分析 から，2つもしくは 3 つの構造部品に区切ったときに境界位置に特徴的な $\mathrm{N}$ グラムが現れやす いことから，2つもしくは 3 つとしている. さらに，区切る数が多くなると，構文的な単位と差 がなくなって効果が出にくくなることもあげられる.

大域的な並べ替えを必要とする文対を対訳コーパスから抽出するための手順を以下に順を追っ て述べる。

（1）原文・訳文それぞれについて，すべての隣接する 2 単語間位置が構造部品の境界になり 得るとみなし，すべての原文境界位置に対するすべての訳文境界候補を作成する。ここ で，文長 $F$ の原文 $f$ では単語間位置の個数は $F-1$ であり, 文長 $E$ の訳文 $e$ では単語間位置の数が $E-1$ あることから, $(F-1) \times(E-1)$ 個の単語間位置の組み合せを候補と して作成する.

（2）上記各々の組み合わせ候補の中から，境界で区切ることで得られた構造部品が原文と訳文の間で swap の位置関係にある候補を抽出する。ここで, 原文中の $k$ 番目の構造部品が $\phi_{k}$ であり, $K$ 個の構造部品から構成される文が $\left(\phi_{1}, \phi_{2} \cdots \phi_{K}\right)$ であり, 原文中の $k$ 番目 の構造部品が訳文中の $\alpha_{k}$ 番目の構造部品と対応するときに， $\alpha_{k}=\alpha_{k+1}+1$ が成り立つ 構造部品の組み合わせが swap の関係にある構造部品であるが, このような $\operatorname{swap}$ の位置関係にある構造部品から構成される文対をすべて抽出する。なお，上述の「大域的な並 べ替えを必要とする文対」の定義で述べたとおり, 本実験では $K$ は 2 もしは 3 である.

図 3 英日対訳文において, 構造部品 $\phi_{1}, \phi_{2}, \phi_{3}$ が swap の位置関係に配置された例
候補 1

候補 2

図 4 入力言語の主辞位置による候補の選択の例

（3）前記の手順で候補を選択した結果，複数個の候補が残った場合には, 原文言語が主辞先行型か主辞終端型かによって，候補を一つに絞り込む. 我々の分析から，主辞先行型言語では，もっとも重要な構造部品が文頭の近くに表れる傾向があるのに対して，主辞終端型では文末の近くに表れる，という特徴を用いる。実験では，主辞先行型言語の場合 には，文頭に近い構造部品が最短である候補を選択し，主辞終端型言語の場合には，文末に近い構造部品が最短である候補を選択する.

図 4 は, 3 つの構造部品から構成される英語文で, 複数 $(2$ つ) の候補が存在する場合の例 を示す. ここで英語は主辞先行型言語のため, 文頭に近い構造部品である $\phi_{1}$ と $\phi_{2}$ の長 さ (単語数) の合計が短い方を選択する。候補 1 の $\phi_{1}$ と $\phi_{2}$ の単語数の合計は $2+5=7$ であり, 候補 2 の $\phi_{1}$ と $\phi_{2}$ の単語数の合計は $2+2=4$ であるため, この合計値がより短 い候補 2 を選択する。

## 3.2 大域的な並べ替えの学習と推定

前項で抽出した大域的並べ替えコーパスを用いて大域的並べ替えモデルを学習し，翻訳実行時には，大域的並べ替えモデルを用いて入力文を大域的に並べ替えるためのアルゴリズムを以下に説明する。大域的並べ替えコーパスの各例文から単語 N グラムを抽出し，これを用いて大域的並べ替えモデルを学習させる，大域的な並べ替えの学習と推定を実現する手段として，以下に，ヒューリスティックに基づく手法と機械学習に基づく手法について説明する.

## 3.2.1ヒューリスティックに基づく手法

ヒューリスティックに基づく手法では, 大域的な並べ替えの学習と推定において，Nグラム 照合の手順や推定候補の推定など各々の手順をヒューリスティックに基づいて決める.

$\mathbf{N}$ グラム抽出 構造部品 $\phi_{k}$ と $\phi_{k+1}$ の境界の左右両方から $\mathrm{N}$ グラムを抽出する. ヒューリス

ティックに基づく方法では, 構造部品の境界の左右で異なる $\mathrm{N}$ グラムの $\mathrm{N}$ を持つことができ るようにしている。ここで， $B$ が $\phi_{k+1}$ 中の 1 番目の単語位置, $f$ が原言語文, $f_{B}$ が原言語文における位置 $B$ の単語, $n_{L}$ が左側から抽出する $\mathrm{N}$ グラムの $\mathrm{N}$ だとすると, $f_{B}$ の左側から
抽出する $\mathrm{N}$ グラムは式 (1)の通りとなる.

$
\left(f_{B-n_{L}}, f_{B-n_{L}+1} \cdots f_{B-1}\right)
$

同様にして，境界の右側から抽出する $\mathrm{N}$ グラムの $\mathrm{N}$ を $n_{R}$ とすると， $f_{B}$ の右側から抽出する Nグラムは式 (2) の通りとなる.

$
\left(f_{B} \cdots f_{B+n_{R}-2}, f_{B+n_{R}-1}\right)
$

デコード 前項で抽出した $\mathrm{N}$ グラムを用いた，新規入力文に対する大域的並べ替えの推定方法

について以下に説明する，大域的な並べ替えの推定は，入力文に対する $\mathrm{N}$ グラム照合によっ て行う。ここでは，(a) 候補に対する $\mathrm{N}$ グラム合致長が長いほど，およびまたは， (b) 候補の N グラム頻度が高いほどその候補の信頼性が高い，という仮説に基づいて計算する。具体的 には，len が候補に対する $\mathrm{N}$ グラム合致長であり，freqが候補の N グラム頻度だとしたとき，仮説に基づき信頼性を式 (3) で計算する。

$
\log (\text { freq }) \times \text { len }
$

以下では, 具体例を用いて, 2 つ構造部品を含む大域的な並べ替えと, 3 つの構造部品を含 む大域的な並べ替えによるデコードについてそれぞれ説明する。なお照合の結果，2つの構造部品を持つ並べ替えと 3 つの構造部品を持つ並べ替えの両方に合致した場合は, 照合箇所が多 いほうがより信頼度が高いという仮説から，3つの構造部品を持つ並べ替えのほうを採用する。

表 1 は， 2 つの構造部品を含む場合，つまり $K=2$ の場合の大域的な並べ替えの例である.構造部品が 2 つの場合, 隣接する構造部品の間の境界の数は 1 つである. $\mathrm{M} 2: 1$ から M2:4 の候補は，入力文“To prevent imperfect coating and painting.” が入力されたときに合致した N グラ ムであり，“境界位置を表す。ここで，構造部品境界に関わる合致長は, 境界左側の $\mathrm{N}$ グ ラムである $n_{L}$ と右側 $\mathrm{N}$ グラムである $n_{R}$ を足し合わせた len である．例えば候補 $\mathrm{M} 2: 3$ では， len $=n_{L}+n_{R}=2+1=3$ であり, この候補の出現頻度である freqの値は表 1 から 120 として 与えられている。入力文について, 全候補の評価値を式 (3)に基づいて計算し，すべての候補 の評価值が計算できたところで評価値順に候補をソートして最高点を得た候補を出力する.

表 12 つの構造部品から構成される入力文に対する照合の例

表 23 つの構造部品から構成される入力文に対する照合の例

表 2 は， 3 つの構造部品を含む場合, つまり $K=3$ の場合の大域的な並べ替えの例である．構造部品が 3 つの場合, 隣接する構造部品の間の境界の数は 2 つである. M3:1 から M3:5の候補は,入力文 "To provide a household heating device capable of maintaining the room temperature." が入力されたときに合致した $\mathrm{N}$ グラムであり, “”は境界位置を表す.ここで，合致長 len は, 1 番目の境界の左右の $\mathrm{N}$ グラムと， 2 番目の境界の左右の $\mathrm{N}$ グラムを足したものである．例え ば候補 M3:3では, len $=2+1+1+1=5$ となる. そしてこの候補の出現頻度は 112 として与 えられている，2つの構成部品を含む場合と同様に，入力文について，全候補の評価値を式 (3) に基づいて計算し，すべての候補の評価値が計算できたところで評価値順に候補をソートして 最高点を得た候補を出力する.

## 3.2 .2 機械学習に基づく手法

ヒューリスティックに基づく手法では直観に基づいて計算方法などを決める場面が発生する ため，他ドメインへの適応において画一的な方法でチューニングすることが困難である。この ことから，機械学習を導入することによって画一的な最適化を可能にする.

ここでは，境界推定を 2 值分類問題として位置づけ，機械学習器としてサポートベクターマ シン $(\mathrm{SVM})$ を導入する。入力文の各単語について, その次の単語との間の位置が構造部品境界であるか否かの 2 値判定ができるように，当該単語の周辺の素性を与えてSVM モデルを学習させる，実験では，以下の 2 種類の素性を用いて，学習および判定を行った．

N グラム SVMに与える素性として, 学習・推定対象の単語の左右の Nグラムを用いる。ヒュー リスティックに基づく手法とは異なり, 単純化のために, 単語の左側と右側で同じ $\mathrm{N}$ の グ ラムを用いる。学習・推定に利用する $\mathrm{N}$ グラムは式 4 の通りとなる.

$
\left(f_{i-n+1}, f_{i-n+2} \cdots f_{i} \cdots f_{i+n-1}, f_{i+n}\right)
$

文中の単語出現位置 学習・推定対象の各単語について, 文中におけるその単語の出現位置を 素性として与える。この素性は, $\mathrm{N}$ グラム素性が同一の単語が複数個存在する場合に, 適切 な境界位置を学習・推定するために導入した。素性の与え方としては, 当該単語の文頭から

の位置を文長で割った数値を用いている。 $i$ が学習・推定対象の単語の文頭からの位置であ り, $F$ が文長であるとして, 文中単語出現位置の素性は式 (5)に示すとおりに計算する.

$
\frac{i}{F}
$

新規入力文に対する推定の段階では, 各単語位置について素性を抽出して学習されたSVM モ デルに渡して, 境界か否かの推定を繰り返す。全単語に対してこの処理を繰り返すことによっ て, 入力文 $f$ の各単語位置 $i$ に境界であるか否かのマークが付与された状態になる.

なお本手法では, 学習時において構造部品の個数についての制約をかけないため, 新規入力文に対する推定においても，不特定数の構造部品が得られることがある．学習データ中には構造部品が 2 つと 3 つの文しか入っていないため, 出力において 4 つ以上の構造部品が出力され た場合には選択を行って 3 つになるようにする。選択は, 入力言語の主辞方向性を基に行う.具体的には, 英語のような主辞先行型言語ではもっとも文頭に近い構造部品区切り 2 つを採用 し, 日本語のような主辞終端型言語ではもっとも文末に近い構造部品区切り 2 つを採用する.

## 4 評価実験

大域的並べ替え手法の導入による効果を評価するための実験をついて以下に述べる。最初に，大域的並べ替え手法をべースラインや他の並べ替え手法と比較するための設定について説明す る. そして, 大域的並べ替え実験のための準備について説明し, 次に翻訳実験における各種設定について説明する.

## 4.1 比較対象の設定

大域的並べ替え手法の効果を評価するために，以下の 4 つの評価対象構成を設定し，それぞ れに対して評価を行った。

T1 並べ替えを行わない, ベースラインの統計的機械翻訳.

T2 T1に加えて, 大域的並べ替え手法のみを適用した場合. 入力文は構造部品に分解され,大域的な並べ替えが行われる。各構造部品はべースライン統計的機械翻訳によって目的言語に翻訳され，結合されて出力文が作成される.

T3 T1に加えて, 従来型の構文に基づく並べ替えを行った場合. 入力文の単語は，そのまま 構文に基づく従来型の並べ替えによって並べ替えられ，単語が並べ替えられた文が統計的機械翻訳で目的言語に翻訳される.

T4 T1に加えて, 大域的並べ替え手法と, 従来型の構文に基づく並べ替えの双方が適用され た場合. 入力文は構造部品に分解され, 構造部品は目的言語の並びになるように並べ替 えられる。そして, 各構造部品に対して構文に基づく並べ替えが実行され，最後にこれ

らの翻訳された構造部品を結合することによって出力文を作成する. なお, これまで述 べてきたように，大域的並べ替え手法は，構文による並べ替えと併用することによって 精度向上につながることを想定している。

## 4.2 大域的な並べ替えの構築

3.2 節で述べたように本実験では，大域的な並べ替えの学習において，ヒューリスティックに 基づく手法と機械学習に基づく手法の両者を用いている。 ヒューリスティックに基づく手法で は, 出力を見ながら直観に基づいて計算式等を決めており，大域的な並べ替え単体についての，各パラメータを変化させての定量的な測定は行っていない.これに対して機械学習に基づく手法では, 構成を変化させながら機械学習器の推定機能を使って定量評価を行い, 実験に先立っ て最適な構成を決めている。 以下では, 機械学習に基づく手法における最適化について述べる.

3.2.2 節で説明したように, 機械学習に基づく手法では, $\mathrm{N}$ グラムと, 文中単語出現位置の両者を素性として用いる.このうち $\mathrm{N}$ グラムについては，学習条件を変化させることで推定精度 が変化するため, 実験に先立って最適な推定精度が得られる学習条件を見つけるための予備実験を行った． 具体的には， $\mathrm{N}$ グラム抽出対象の文数と， $\mathrm{N}$ グラムの $\mathrm{N}$ を変化させて，推定精度 の変化を測定した．機械学習の学習器としては, 学習・推定ともに, liblinear 1.94 (Fan, Chang, Hsieh, Wang, and Lin 2008)を用いた. liblinearの実行に先立って, ツールキットに同梱された svm-scale によるスケール調整，および grid.pyによるグリッド探索によるパラメータ調整を試 みたがデフォルトと比較して改善が得られなかったため, デフォルト設定のまま学習を行った。

図 5 は，大域的並べ替えコーパスの文数と $\mathrm{N}$ グラムの $\mathrm{N}$ を変化させたときの，日本語入力文 に対する推定精度の変化であり, 図 6 は英語入力文に対して同様の測定を行った結果である.

図 5 SVM モデルを用いた日本語入力文に打ける構造部品境界の推定精度について, $\mathrm{N}$ グラムの $\mathrm{N}$ と大域的並べ替えコーパスの文数を変化させることによる変化. 右側の凡例は，大域的並べ替えコーパ スの文数を表す。

図 6 SVM モデルを用いた英語入力文における構造部品境界の推定精度について, $\mathrm{N}$ グラムの $\mathrm{N}$ と大域的並べ替えコーパスの文数を変化させることによる変化. 右側の凡例は, 大域的並べ替えコーパス の文数を表す.

ここで精度とは, 10 分割による交差確認による, 入力文における構造部品境界の推定精度であ る。なお図中, 大域的並べ替えコーパスの文数が 10 万文（「100kJ）のときに $\mathrm{N}$ を増やすに連 れて逆に精度が下がるという現象がみられるが，これは過学習によることが考えられる。

この測定から, 推定精度が最大となる学習条件を選択した。具体的には, 日本語入力と英語入力の双方において, $\mathrm{N}$ グラムの $\mathrm{N}$ として 5 を選択し, 大域的並べ替えコーパスの文数として は $100 \mathrm{k}$ ，つまり 100,000 文を選択した.

## 4.3 翻訳評価実験の設定

データ 翻訳評価実験の評価データとしては, 日本特許抄録の英語訳である，公開特許公報英文抄録（Patent Abstracts of Japan, 以下 PAJ）1を用いた. PAJ およびPAJ の元となった日本語抄録文の間で自動対応付けを行い，日英対訳文の自動抽出を行った (Utiyama and Isahara 2007). 自動対応付けした対訳文から，1,000,000 文を学習データ，1,000 文を開発デー夕, 1,000 文を評価データとして無作為抽出した，評価データ 1,000 文のうち，Nグラムとの合致があつ た 300 文を対象として評価実験を行った。なお, この翻訳実験用の学習データは, 前述のよ うに，大域的並べ替え手法の学習データとしても用いた。

翻訳評価実験では，学習の一環として，1,000,000 文の学習デー夕に対する単語対応付けを 行った. 現時点では, 大域的な並べ替えの必要な文対を判定するためのソフトウェアプログ ラムの速度性能に問題があるため，翻訳用にアラインメントされた $1,000,000$ の対訳文のう ち，100,000 文対を対象に大域的な並べ替えの必要な文対を抽出した。抽出の結果, 38.194 文

対が得られ，この対訳文の原文を大域的並べ替えコーパスに格納して後段の実験に用いた。 ヒューリスティックに基づく手法では，上記で作成した大域的並べ替えコーパスから $2 \sim 5$ グ ラムを抽出したところ，381,311 個が得られた。

ベースライン統計的機械翻訳翻訳評価実験のベースラインとしては，統計的機械翻訳のツー ルキットである Moses phrase-based SMT (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007)を用い,歪み範囲としては, システムのデフォルト値である 6 を使用した，単語クラスの学習には $m k \operatorname{ls}^{2}$ (Och 1999) を用い，単語クラス数としてはデフォルトの 50 個を用いた。言語モデルの 学習には, KenLM (Heafield, Pouzyrevsky, Clark, and Koehn 2013)を用い, 単語アラインメン トには SyMGIZA++ (Junczys-Dowmunt and Szal 2010)を使用した. モデルの重みづけでは, BLEU 值 (Papineni, Roukos, Ward, and Zhu 2002)を指標として n-best batch MIRA (Cherry and Foster 2012) によるチューニングを行った. 各評価実験において, 重み付けチューニング を 3 回繰り返し，開発セットにおいて最大の BLEU 值を獲得した重み設定を採用した。べー スラインの変形として, フレーズベース統計的機械翻訳における歪み範囲として 20 をした場合と，階層的フレーズベースの実装である Moses hierarchical phrase-base SMT (Chiang 2005) を使用した場合についても併せて評価を行った．また， Tree-to-String 方式の統計的機械翻訳 である $\operatorname{Travatar}^{3}$ (Neubig 2013) についても評価を行った. Travatarの学習では， 入力言語文 の解析において Travatar 推奨の構文解析器である Ckylark ${ }^{4}$ (Oda, Neubig, Sakti, Toda, and Nakamura 2015)を用いた.

従来型の構文解析に基づく並べ替え 本評価実験では, 構文解析器として Berkeley Parser (Petrov, Barrett, Thibaux, and Klein 2006)を用いて, 提案手法によって分割された各構造部品に対して 事前並べ替えを行った。この基本的な構成は，日英・英日方向いずれも同じである. Berkeley Parserのドメイン適用では自己学習の手法を用いた，具体的には最初に，初期モデルを用い て 200,000 文の特許文の解析を行い, 次に, 得られた自動解析結果から構文解析モデルを学習することにより，特許文に適応した解析モデルを構築した．英語の初期モデルについては， Penn Treebank ${ }^{5}$ の文, および我々が人手で木構造を記述した 3,000 文の特許文を用いて学習し た.日本語の初期モデルについては, EDR Treebank ${ }^{6}$ の 200,000 文を用いて学習させた。日本語の初期モデル学習では特許文は用いていない.

並べ替えモデルの学習では，内製の大規模な特許文対訳コーパスを用いて次の手順によって
^{4}$ Ckylark http://odaemon.com/?page=tools_ckylark

5 The Penn Treebank Project https://www.cis.upenn.edu/〜 treebank/

6 国立研究開発法人情報通信研究機構, EDR コーパス https://www2.nict.go.jp/out-promotion/techtransfer/EDR/index.html
}
事前並べ替えモデルを学習させた（(Goto et al. 2015）の 4.5 節).

(1) 対訳コーパスの原言語文を構文解析する

(2) 対訳コーパスに対して単語アラインメントを行う

(3) 原言語文と目的言語文の間でケンドールの順位相関係数 $\tau$ が最大化されるような原言語文に対する並べ替えを行う。このようにして各 2 分ノードは, 子ノードの入れ替えを 行うことを表すSWAP と，入れ替えを行わないことを表すSTRAIGHT に分類される.

（4）上記のデータを用いて，各ノードの SWAP，STRAIGHT を判定するためのニューラ ルネットワーク分類器を学習する.

なお, 従来型の並べ替えの変形として, top-down bracketing transducer grammar (TDBTG) ベースの並べ替え ${ }^{7}$ (Nakagawa 2015) の結果を併記した，TDBTGベースの並べ替えでは， ベー スラインの統計的機械翻訳の学習の過程で得られた mkcls の出力および SyMGIZA++の出力 を用いて並べ替えの学習を行った。

大域的並べ替えモジュール 大域的並べ替えモジュールは，入力文に対する構造部品の推定と，推定した構造部品の大域的な並べ替えから構成される。大域的な並べ替えの学習および推定 ではヒューリスティックに基づく手法と機械学習に基づく手法の両方の手法を用いて実験を 行ったが，双方に対しての評価を行った。

評価尺度 各システムは, BLEU (Papineni et al. 2002)と RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010)の 2 種類の評価指標を用いて評価した。これは，Nグラムベースの評価手法である BLEUのみでは長距離の関係を十分に評価することができず，本研究が目標として いる構造レべルの改善を十分に測定できないと考えたからである. RIBES は順位相関係数に 基づく自動評価手法であり, 評価対象の機械翻訳出力文中の語順と, 参照訳中の語順の比較 を行う． RIBES のこのような特性によって，語順の大きく異なる言語間で頻繁に発生する,構造部品の入れ替えを評価できると考えられる，なお，RIBESは，NTCIR-10ワークショッ プの特許翻訳タスク (PatentMT) (Goto, Chow, Lu, Sumita, and Tsou 2013) や 2nd Workshop on Asian Translation (WAT) (Nakazawa, Mino, Goto, Neubig, Kurohashi, and Sumita 2015; Isozaki and Kouchi 2015) 等においても, 英日・日英の翻訳方向において, 人間評価との高い 相関性が報告されている.

なお，実験で得られた各 BLEU 值と RIBES 値は，MT Eval Toolkit8を用いた反復数 1,000 回 の 100 分割ブートストラップ法による両側検定を行って, 各設定での最高値との有意差を調 べた.

## 5 実験結果

表 3 は日英翻訳，表 4 は英日翻訳の実験結果であり，ともに 4 つの比較対象における BLEU 值掉よびRIBES 値を揭載している。 カッコ内の数字は, ベースライン翻訳システム（歪み範囲 6 の場合）を基準としたときの向上の差分を表している。太字で表した数値は，各列における 最高値に対してブートストラップ法に基づく片側有意差検定を行い，5\%水準で有意差が認めら れない，つまり最高値と同等とみなされる値を示す (Koehn 2004).

実験結果から, 日英翻訳・英日翻訳ともに, 大域的な並べ替えと構文解析に基づく並べ替え を併用したときに, ベースラインと比較して RIBES 值が 20 ポイント以上と大幅に向上してい

表 3 日英翻訳の翻訳評価結果

glob-pre は大域的な並べ替えを表し, pre は従来型の構文解析に基づく並べ替えを表す. $d l$ は歪み範囲を 表し，HPBは階層的フレーズベース翻訳を表す.

表 4 英日翻訳の評価結果

ることがわかる． BLEU 值は, 構文解析に基づく並べ替えのみの構成である T3 と比較しても 有意な差が出ていないが，これは，BLEU 値が大域的な変換を捉えにくいということに起因し ている可能性もある。このようにして, RIBES 值と BLEU 值で異なった傾向が得られたため,次節の考察では, さらに訳文中の文構造の正しさ，および人手評価を行った.

## 6 考察

本手法の目的は適切な文構造を持った訳文を出力するための大域的な並べ替えを行うことで あるが，本手法の適用によって，どのくらいの訳文が文構造的に正しく出力されているかの評価を行った。これまでにも述べてきているとおり，サブ言語の翻訳では，まずは文構造を正し く出力できなければそもそも全体の訳文を適切に出力することができないことから，本評価は 重要であると考えている．評価文としては， 4.3 節の「デー夕」項において，無作為抽出して作成した翻訳評価用文 1,000 文のうち $\mathrm{N}$ グラムに合致した 300 文について述べているが，本評価 ではこの 300 文の先頭 100 文を用いている，本評価では，評価対象訳文が以下の条件を満たし ている場合に, 文構造が正しく翻訳されているとみなした. なお, 各構造部品の内部の訳は評価していない.
- 出力文において, 入力文中のすべての構造部品が過不足なく訳出されていること.
- 出力文において, 入力文中のすべての構造部品が適切な順番で訳出されていること.
- 入力文中で一続きで現れる構造部品が, 出力文中でも一続きの構造部品として訳出され ていること。

表 5 は，100 文の日英翻訳中で文構造が正しく出力された文の文数を表す。表 6 は，100 文の 英日翻訳中で文構造が正しく出力された文の文数を表す。太字で表した数値は，各列における 最高値に対して比率検定に基づく片側有意差検定を行い，5\%水準で有意差が認められない，つ まり最高値と同等とみなされる値を示す.

いずれの表においても，大域的な並べ替えと構文的並べ替えを併用した $\mathrm{T} 4$ は， $\mathrm{T} 1$ および $\mathrm{T} 2$ と比較して文構造の正解率が有意に改善していることがわかる。 さらにいずれの表でも， T2 と $\mathrm{T} 4$ を比較すると T4のほうが有意に改善している。これは， T2で構造部品の並べ替えのみを行 うと構造部品の境界での単語並びが不自然になり結果として訳文中の構造部品境界が不適切に なる場合があったのが，T4でさらに構文的並べ替えを行うことでこの問題が解消する場合があ ることに起因すると考えられる，日英翻訳では，従来の並べ替えである T3 のみと比較して T4 の正解率が有意に改善していることがわかる。これに対して英日翻訳では, 従来の構文解析に 基づく並べ替えの精度がすでに高いため，T3 から T4への精度向上はそれほど顕著ではない． なお，表 3 および表 4 において HPB の BLEU 值がベースラインと比べて大きく上がっていた が，表 5 および表 6 ではそれほど大きな改善とはなっていない.このことから，HPBによる改
表 5 日英翻訳における文構造が正しく出力された文数（100 文中）

表 6 英日翻訳における文構造が正しく出力された文数（100 文中）

善は比較的局所的なために, BLEU 値には反映されやすいが, 文構造の変換にはそれほど寄与 していないと考えられる。

次に，各翻訳結果に対する人手評価を行った。評価文としては，上述の文構造評価で用いた 100 文を用いた. これは, 表 3 および表 4 において, RIBES 值による傾向と BLEU 值による傾向に異なりが見られるため，より人手に近い評価結果を見極めるためである．特に，BLEU 値 で比較すると, 例えば表 3 では, T4 の値は $\mathrm{T} 1$ および $\mathrm{T} 3$ と比較して有意差が見られないという 結果になるが, RIBES 値で比較すると，有意差があるという結果になる。人手評価には手間が かかるため, T1 および T2ではそれぞれ，表 3 および表 4 においてもっと高い値となった設定 について評価を行った， $\mathrm{T} 3$ と $\mathrm{T} 4$ について，設定によって大きな異なりが見られなかったた

め，すべての設定について評価を行った，評価は，対象文書である特許文書の技術内容に精通 した 1 名の評価者が行った，評価文はシャッフルし，評価者には $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3, \mathrm{~T} 4$ のいずれの文 であるかがわからないようにして評価作業を行った。評価尺度は, S (Native level), A (Good), B (Fair), C (Acceptable), D (Nonsense)の 5 段階として，評価者が直観的に付与した。従来の人手評価では正確さと流暢さの 2 つに分けて評価する場合も多い (Denkowski and Lavie 2010) が,正確さと流暢さは相関性が高く実際の場面では分離困難なことも多い (Callison-Burch, Fordyce, Koehn, Monz, and Schroeder 2007) ため上記の 1 つの指標を用いた.

表 7 に日英翻訳の人手評価結果を，表 8 に英日翻訳の人手評価結果を示す.太字で表した数

表 7 日英翻訳に対する人手評価（100 文中）

} \\

表 8 英日翻訳に対する人手評価（100 文中）

} \\

值は，各列における最高値に対して比率検定に基づく片側有意差検定を行い，5\%水準で有意差 が認められない，つまり最高値と同等とみなされる値を示す。結果として，表 7 の日英翻訳で は, $\mathrm{T} 4$ は $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3$ のいずれと比べても有意に評価値が向上しており, このことから, 表 3 の RIBES 值と BLEU 值では，RIBES のほうが人手評価に傾向が似ていると考えられる。表 8 の 英日翻訳では， $\mathrm{T} 4$ は $\mathrm{T} 1, \mathrm{~T} 2$ ，と比べて有意に評価値が向上しており， $\mathrm{T} 3$ との比較では，用い た並べ替え手法によって比較結果が異なっている．英日翻訳でも，RIBES のほうが人手評価に 傾向が似ていると考えられる.

表 9 は，参照訳，および 4 つの比較構成である $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3, \mathrm{~T} 4$ のそれぞれについて，典型的 な翻訳結果を載せたものである。

$\mathrm{T} 1$ ベースラインである $\mathrm{T} 1$ では, 参照訳と比較すると, 原文の構造部品 $\mathrm{C}$ に相当する部分 が訳文から欠落しており, また構造部品 $\mathrm{A}$ と構造部品 $\mathrm{B}$ が適切な順番で出力されていな い. さらに, T1 の訳文では, 構造部品内での単語も適切な順番で訳出されていない.

T2 ベースラインに対して大域的な並べ替えのみを行った T2では， すべての構造部品が訳文中に出力されているとともに, これら構造部品が目標言語として適切な順番で出力さ れている。しかしながら, 各構造部品内の単語は適切でないため, 構造部品単位での訳質はべースラインと比べて向上していない.

T3 ベースラインに対して従来型の構文解析ベース並べ替えのみを行った $\mathrm{T} 3$ では, 各構造部品内での単語の並びが目的言語としてより適切になっている. しかしながら, 構造部品は適切な順番で出力されていない.

T4 ベースラインに対して大域的な並べ替えと従来型の構文解析に基づく並べ替えの両者を

表 9 日英翻訳における典型的な翻訳例

 \\

用いた T4では, 構造部品が目的言語として適切な順番で並べられ, かつ各構造部品内の

単語もより目的言語にふさわしい順番で出力されて翻訳品質が向上している.

なお人手評価では， $\mathrm{T} 4$ であっても評価 $\mathrm{C}$ 以上の評価となる文が日英で $65 \%$ ，英日で $55 \%$ と それほど高くないため, 翻訳失敗文の目視分析を行った。まず，最初の段階の構造部品の認識 が誤った場合は，そこから適切な訳文を生成することは困難となり，人手評価はほぼ D とな る. 次に，構造部品の認識および大域的な並べ替えが正しくても，訳文として不適切となり人手評価が低くなる場合がある。このような翻訳失敗の典型例およびその中間処理結果を表 10 に 示す.ここでは，大域的な並べ替えまでは適切に処理されているが, 各構造部品に対する構造解析に基づく並べ替えにおいて，3つめの構造部品に対する並べ替えが適切に行われていない.具体的には，「うる」のトークンが構文解析に基づく並べ替えによって構造部品の先頭にくるべ きところが，先頭から 5 番目のトークンとして誤って並び替えられ，代わりに「中心部」が構造部品の先頭にきている。これによって SMT 適用後の訳文において, 「光学投影装置」に対応 する "an optical projection device”の後に，本来くるべき “which can ..." ではなく，「中心部」 に対応する“center part”が来てしまい，読み手には “an optical projection device center part" のような一続きの文字列として認識されてしまう。結果として，読み手は訳文において構造部品, ひいては文の構造を認識することができず，低い評価結果となってしまう．原因としては，現在の実験構成では，構文解析に基づく並べ替えを，文単位での入力を前提として訓練してい るが，実験には構造部品を対象に並べ替えていることが考えられる。

表 10 日英翻訳の翻訳失敗例とその中間結果

 \\

## 7 おわりに

本論文では，大域的な並べ替えを行うことによって従来型の構文解析に基づく並べ替えを補 い，対象サブ言語の翻訳精度を向上させるための手法を提案した，提案手法は，大域的な並べ 替えモデルを，構文解析を行うことなく，平文対訳テキストから抽出する．本手法を対象とし た評価実験を行ったところ，日英・英日双方向の翻訳において，大域的な並べ替えと従来型の 構文解析に基づく並べ替えを併用することによって，従来の手法による翻訳精度を向上させら れることが確認できた. 特に日英翻訳では, RIBESによる自動評価, 文構造評価, 人手評価の いずれにおいても，提案手法が従来の手法より有意に訳質を向上させることがわかった.

## 謝 辞

本論文の内容の一部は, The 3rd Workshop on Asian Translation (WAT 2016) (Fuji, Utiyama, and Sumita 2016) で発表したものである.

## 参考文献

Ambati, V. and Chen, W. (2007). Cross Lingual Syntax Projection for Resource-Poor Languages. CMU.

Buchmann, B., Warwick-Armstrong, S., and Shane, P. (1984). "Design of A Machine Translation System for a Sublanguage." In 10th International Conference on Computational Linguistics and 22nd Annual Meeting of the Association for Computational Linguistics, Proceedings of COLING '84, July 2-6, 1984, Stanford University, California, USA, pp. 334-337.

Callison-Burch, C., Fordyce, C., Koehn, P., Monz, C., and Schroeder, J. (2007). "(Meta-) Evaluation of Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 136-158. Association for Computational Linguistics.

Cherry, C. and Foster, G. (2012). "Batch Tuning Strategies for Statistical Machine Translation." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL HLT '12, pp. 427-436, Stroudsburg, PA, USA. Association for Computational Linguistics.

Chiang, D. (2005). "A Hierarchical Phrase-based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, ACL '05, pp. 263-270, Stroudsburg, PA, USA. Association for Computational Linguistics.

de Gispert, A., Iglesias, G., and Byrne, W. (2015). "Fast and Accurate Preordering for SMT
using Neural Networks." In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics - Human Language Technologies (NAACL HLT 2015).

Denkowski, M. and Lavie, A. (2010). "Choosing the Right Evaluation for Machine Translation: An Examination of Annotator and Automatic Metric Performance on Human Judgment Tasks." In Proceedings of the 9th Conference of the Association for Machine Translation in the Americas. AMTA.

Dyer, C., Gimpel, K., Clark, J. H., and Smith, N. A. (2011). "The CMU-ARK German-English Translation System - Research." In Proceedings of the Workshop on Statistical Machine Translation, pp. 337-343.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR: A Library for Large Linear Classification." Journal of Machine Learning Research, 9, pp. 1871-1874.

富士秀, 藤田篤, 内山将夫, 隅田英一郎, 松本裕治 (2016). 特許請求項に特有の文構造に基づ く英中日特許請求項翻訳. 自然言語処理, 23 (5), pp. 407-435.

Fuji, M., Fujita, A., Utiyama, M., Sumita, E., and Matsumoto, Y. (2015). "Patent Claim Translation based on Sublanguage-specific Sentence Structure." In Proceedings of the 15th Machine Translation Summit, pp. 1-16.

Fuji, M., Utiyama, M., and Sumita, E. (2016). "Global Pre-ordering for Improving Sublanguage Translation." In Proceedings of the 3rd Workshop on Asian Translation (WAT 2016), pp. 84-93.

Galley, M. and Manning, C. D. (2008). "A Simple and Effective Hierarchical Phrase Reordering Model." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP '08, pp. 848-856, Stroudsburg, PA, USA. Association for Computational Linguistics.

Goto, I., Chow, K.-P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of the 10th NTCIR Conference on Evaluation of Information Access Technologies, NTCIR-10, National Center of Sciences, Tokyo, Japan, June 18-21, 2013, pp. 260-286.

Goto, I., Utiyama, M., Sumita, E., and Kurohashi, S. (2015). "Preordering Using a TargetLanguage Parser via Cross-Language Syntactic Projection for Statistical Machine Translation." ACM Transaction on Asian and Low-Resource Language Information Processing, 14 (3), pp. 13:1-13:23.

Heafield, K., Pouzyrevsky, I., Clark, J. H., and Koehn, P. (2013). "Scalable Modified Kneser-Ney

Language Model Estimation." In $A C L$ (2), pp. 690-696.

Hoshino, S., Miyao, Y., Sudoh, K., Hayashi, K., and Nagata, M. (2015). "Discriminative Preordering Meets Kendall's $\tau$ Maximization." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 139-144, Beijing, China. Association for Computational Linguistics.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP '10, pp. 944-952, Stroudsburg, PA, USA. Association for Computational Linguistics.

Isozaki, H. and Kouchi, N. (2015). "Dependency Analysis of Scrambled References for Better Evaluation of Japanese Translation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 450-456, Lisbon, Portugal. Association for Computational Linguistics.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2010). "Head Finalization: A Simple Reordering Rule for SOV Languages." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, WMT '10, pp. 244-251, Stroudsburg, PA, USA. Association for Computational Linguistics.

Junczys-Dowmunt, M. and Szal, A. (2010). "SyMGiza++: A Tool for Parallel Computation of Symmetrized Word Alignment Models." In International Multiconference on Computer Science and Information Technology - IMCSIT 2010, Wisla, Poland, 18-20 October 2010, Proceedings, pp. 397-401.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, EMNLP 2004, A Meeting of SIGDAT, a Special Interest Group of the ACL, held in Conjunction with ACL 2004, 25-26 July 2004, Barcelona, Spain, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions, ACL '07, pp. 177-180, Stroudsburg, PA, USA. Association for Computational Linguistics.

Komachi, M., Matsumoto, Y., and Nagata, M. (2006). "Phrase Reordering for Statistical Machine Translation based on Predicate-argument Structure." In IWSLT, pp. 77-82. Citeseer.

Luckhardt, H.-D. (1991). "Sublanguages In Machine Translation." In EACL 1991, 5th Conference
of the European Chapter of the Association for Computational Linguistics, April 9-11, 1991, Congress Hall, Alexanderplatz, Berlin, Germany, pp. 306-308.

Marcu, D., Carlson, L., and Watanabe, M. (2000). "The Automatic Translation of Discourse Structures." In $A N L P$, pp. 9-17.

Mellebeek, B., Owczarzak, K., Groves, D., Genabith, J. V., and Way, A. (2006). "A Syntactic Skeleton for Statistical Machine Translation." In Proceedings of the 11th Conference of the European Association for Machine Translation, pp. 195-202.

Nakagawa, T. (2015). "Efficient Top-Down BTG Parsing for Machine Translation Preordering." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 208-218, Beijing, China. Association for Computational Linguistics.

Nakazawa, T., Mino, H., Goto, I., Neubig, G., Kurohashi, S., and Sumita, E. (2015). "Overview of the 2nd Workshop on Asian Translation." In Proceedings of the 2nd Workshop on Asian Translation, pp. 1-28.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In Proceedings of the ACL Demonstration Track, pp. 91-96, Sofia, Bulgaria.

Och, F. J. (1999). "An efficient method for determining bilingual word classes." In Proceedings of the 9th Conference on European Chapter of the Association for Computational Linguistics, pp. 71-76. Association for Computational Linguistics.

Oda, Y., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2015). "Ckylark: A More Robust PCFG-LA Parser." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 41-45, Denver, Colorado. Association for Computational Linguistics.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, ACL '02, pp. 311-318, Stroudsburg, PA, USA. Association for Computational Linguistics.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics, ACL-44, pp. 433-440, Stroudsburg, PA, USA. Association for Computational Linguistics.

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In Proceedings of the Eleventh Machine Translation Summit, pp. 475-482.

Xiao, T., Zhu, J., and Zhang, C. (2014). "A Hybrid Approach to Skeleton-based Translation." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014, June 22-27, 2014, Baltimore, MD, USA, Volume 2: Short Papers, pp. 563-568.

Yamada, K. and Knight, K. (2001). "A Syntax-based Statistical Translation Model." In Proceedings of the 39th Annual Meeting on Association for Computational Linguistics, pp. 523-530. Association for Computational Linguistics.

## 略歴

富士秀：1987 年英国王立ロンドン大学キングス校工学部卒業. 1988 年より

株式会社富士通研究所研究員，シニアリサーチャー．2014～2017 年国立研究開発法人情報通信研究機構に出向. 2017 年奈良先端科学技術大学院大学博士後期課程終了. 博士 (工学). 2017 年より富士通研究所主任研究員. 機械翻訳の研究に従事. 情報処理学会, 言語処理学会, AAMT, 日本言語類型論学会等各会員.

内山 将夫：1992 年筑波大学卒業. 1997 年同大学院工学研究科修了. 博士 (工学). 現在, 国立研究開発法人情報通信研究機構研究マネージャー. 主な研究分野は機械翻訳. 情報処理学会, 言語処理学会等各会員.

隅田英一郎：1982 年 電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学) 取得. 1982 年 1991 年（株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員, 主幹研究員, 室長. 2007 年 現在 国立研究開発法人情報通信研究機構 (NICT) 先進的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.

松本 裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員．1985～1987 年 (財) 新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.


# シンボルグラウンディングによる分野特有の単語分割の精度向上

本稿は，自動単語分割における精度向上を実現するために，非テキスト情報とその 説明文に対するシンボルグラウンディングを用いた新しい単語分割法を提案する。本手法は，説明文が付与された非テキスト情報の存在を仮定しており，説明文を擬似確率的単語分割コーパスとすることで, 非テキスト情報と分野固有の単語との関係をニューラルネットワークにより学習する。学習されたニューラルネットワーク から分野固有の辞書を獲得し, 得られた辞書を単語分割のための素性として用いる ことでより精度の高い自動単語分割を実現する。将棋局面が対応付けされた将棋解説文から成る将棋解説コーパスを用いて実験を行い, シンボルグラウンディングに より得られた辞書を用いることで単語分割の精度が向上することが確認できた。

キーワード：シンボルグラウンディング，単語分割，辞書
## Improvement in Domain Specific Word Segmentation by Symbol Grounding

\author{
Suzushi Tomori ${ }^{\dagger}$, Hirotaka Kameko $^{\dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger \dagger}$, Shinsuke Mori ${ }^{\dagger \dagger \dagger \dagger}$ \\ and Yoshimasa Tsuruoka ${ }^{\dagger \dagger}$
}

\begin{abstract}
We propose a novel framework for improving a word segmenter using information acquired from symbol grounding. The framework uses a dataset consisting of pairs of non-textual information and a commentary. We generate a pseudo-stochastically segmented corpus from the commentaries, and then build a neural network to predict relationships between non-textual information and the words. We generate a domain specific term dictionary by using the neural network for word segmenter. We applied our method to game records of Japanese chess with commentaries. The experimental results show that the accuracy of a word segmenter can be improved by incorporating the generated dictionary.
\end{abstract}

Key Words: Symbol Grounding, Word Segmentation, Dictionary

## 1 はじめに

近年，インターネットなどからテキストとそれに紐づけられた非テキスト情報を大量に得る ことができ，画像とそのキャプションや経済の解説記事とその株価チャートなどは web など から比較的容易に入手することができる。 しかし, テキストと非テキスト情報を対応させる研究の多くは, 画像から自然言語を出力する手法 (Farhadi, Hejrati, Sadeghi, Young, Rashtchian, Hockenmaier, and Forsyth 2010; Yang, Teo, Daumé, and Aloimonos 2011; Rohrbach, Qiu, Titov, Thater, Pinkal, and Schiele 2013)のように非テキスト情報から自然言語を出力することを目的としている．Kiros らは非テキスト情報を用いることにより言語モデルの性能向上を示した (Kiros, Salakhutdinov, and Zemel 2014).

本稿では, 非テキスト情報を用いた自動単語分割について述べる。本稿では, 日本語の単語分割を題材とする。単語分割は単語の境界が曖昧な言語においてよく用いられる最初の処理であ り, 英語では品詞推定と同等に重要な処理である。情報源として非テキスト情報とテキストが対応したデータが大量に必要になるため, 本研究では将棋のプロの試合から作られた将棋の局面 と将棋解説文がぺアになったデータ (Mori, Richardson, Ushiku, Sasada, Kameko, and Tsuruoka 2016）を用いて実験を行う，似た局面からは類似した解説文が生成されると仮定し，非テキス ト情報である将棋の局面からその局面に対応した解説文の部分文字列をニューラルネットワー クモデルを用いて予測し，その局面から生成されやすい単語を列挙する。列挙された単語を辞書に追加することで単語分割の精度を向上させる。

本手法は 3 つのステップから構成される（図 1).まず，将棋の局面と単語候補を対応させるた めに生テキストから単語候補を生成する。単語候補は将棋解説文を擬似確率的分割コーパスを 用いて部分単語列に分割することで得られる。次に，生成した単語候補と将棋の局面をニュー ラルネットワークを用いて対応させることでシンボルグラウンディングを行う. 最後にシンボ

図 1 提案手法の概観

ルグラウンディングの結果を用いて将棋解説文専用の辞書を生成し, 自動単語分割の手法に取 り入れる。

本稿の構成は以下の通りである。まず 2 章で単語の候補を取り出すために確率的単語分割コー パスを用いる手法について述べる． 3 章で将棋解説文と局面が対応しているデータセットのゲー ム解説コーパスについて触れ, シンボルグラウンディングとして単語候補と将棋局面を対応さ せる手法の説明を行う， 4 章ではベースラインとなる自動単語分割器について述べたあと, 非 テキスト情報を用いた単語分割として, シンボルグラウンディングの結果を用いて辞書を生成 し，単語分割器を構築する手法を述べる． 5 章で実験設定と実験結果の評価と考察を行い，6 章 で本手法と他の単語分割の手法を比較する。最後に 7 章で本稿をまとめる.

## 2 確率的単語分割コーパス

本研究では将棋の局面とその言語表現をシンボルグラウンディングの対象とし, 将棋解説文専用の辞書を獲得する。本章では, 辞書獲得のために用いる確率的単語分割コーパス (Mori and Takuma 2004)について説明する。確率的単語分割コーパスは文字列の分割境界が確率的に与え られたコーパスであり, 確率的単語分割コーパスを用いることでコーパスに出現する各単語の 期待頻度を計算することができる。しかし, 辞書に追加するための単語候補を確率的単語分割 コーパスから選択するためには，コーパスに出現するほとんどすべての文字列を単語候補とし て期待頻度を計算する必要があり, 語彙サイズが非常に大きくなり, 高い計算コストを要する. そのため，本研究では擬似的な確率的単語分割コーパス (森, 小田 2009)を用いる.

## 2.1 確率的単語分割コーパス

確率的単語分割コーパスは生テキストコーパス $C_{r}$ （以下，文字列 $x_{1}^{n_{r}}$ として表す）と境界 の分割確率 $P_{i}$ の組み合わせで定義される。ここで $P_{i}$ はある文字 $x_{i}$ と $x_{i+1}$ の間に分割境界が 存在する確率である。この分割確率は $x_{i}$ と $x_{i+1}$ の周辺の文字列を参照したロジスティック回帰モデル (Fan, Chang, Hsieh, Wang, and Lin 2008)により推定される。ただし， ここで用いる ロジスティック回帰モデルは人手で単語分割したコーパスを用いて学習される。コーパスの最初の文字の前と最後の文字の後は分割確率を 1 とする $\left(P_{0}=P_{n_{r}}=1\right)$. 確率的単語分割コーパ スで推定される単語の期待頻度 $f_{r}(\boldsymbol{w})$ は以下で計算される。

$
\begin{aligned}
f_{r}(\boldsymbol{w}) & =\sum_{i \in O} P_{i}\left.\{\prod_{j=1}^{k-1}\left(1-P_{i+j}\right)\right.\} P_{i+k} \\
O & =\left.\{i \mid x_{i+1}^{i+k}=\boldsymbol{w}\right.\}
\end{aligned}
$

ここで， $O$ はテキストの単語候補となりうる部分文字列 $x_{i+1}^{i+k}$ における $i$ の集合である.

## 2.2 擬似確率的単語分割コーパス

確率的単語分割コーパスを用いた単語の期待頻度の推定は非常に高い時間的・空間的計算コ ストを要する。そのため, 本研究では, 確率的単語分割コーパスから直接単語の期待頻度を推定するのではなく, 擬似確率的単語分割コーパス (森, 小田 2009) と呼ばれる具体的に単語分割 が付与されたコーパスを用いて単語の期待頻度を推定する。

疑似確率的単語分割コーパスは, 確率的単語分割コーパスにより定義される確率分布に従っ て単語分割を行うことにより得られる。具体的には, 確率的単語分割コーパスの各文に対し, そ の文に与えられた確率分布に従って単語分割を行うことで，単語分割文の生成を行う．たたし，同じ文に対して 1 度だけ単語分割文を生成するのではなく, 複数回単語分割を行い, 複数の単語分割文を生成する。この手法はサンプリングの一種であり，より多くの単語分割文を生成す ることで，より良く確率的単語分割コーパスを近似する。生成された疑似確率的単語分割コー パスは陽に単語分割がされているため容易に各単語の期待頻度を推定することができる。次の 手続きは, 確率的単語分割コーパスから擬似確率的単語分割コーパスを生成する具体的な手続 きを表す。
- For $i=1$ to $n_{r}-1$

(1) $x_{i}$ を出力

(2) $0<p<1$ となる $p$ をランダムに生成

(3) if $p<P_{i}$ : 単語境界を出力 otherwise: 何も出力しない

上記のプロセスを $m$ 回繰り返し， $x_{i}$ と $x_{i+1}$ の分割境界の数を $m$ で割ることで $P_{i}$ の推定値を 得ることができる. ここで $m \rightarrow \infty$ とすると, 大数の法則より $P_{i}$ と $P_{i}$ の推定値の誤差が 0 に なることが保証される。

## 3 シンボルグラウンディング

本稿では，将棋の局面とその言語表現をシンボルグラウンディングの対象とする．後述する 実験では， ゲーム解説コーパス (Mori et al. 2016) を用いる。本研究の手法は素性設計を除い て分野特有ではないので, 画像とその説明文の組み合わせ (Regneri, Rohrbach, Wetzel, Thater, Schiele, and Pinkal 2013) など他の種類のデータにも適用可能である.

## 3.1 ゲーム解説コーパス

将棋は 2 人で行うボードゲームで，お互いに自分の駒を動かしながら相手の玉の駒を取るこ とを目的とする．将棋の大きな特徴として, 取った相手の駒は自分の持ち駒として使うことが できることや一部の駒は相手の敵陣に入るなど特定の条件を満たした場合に駒を裏返して別の
動きに変えることができることが挙げられる.

多くのプロ棋士間での対局は，他のプロ棋士により指し手の評価やその局面の状況，次の指 し手の予想などが解説されている．ゲーム解説コーパスの各解説文には, 対象とする局面が対応しており，ほとんどの解説文は局面に対するコメントをしているが局面に関係のないコメン ト（対局者に関する情報など）が少量含まれる.

## 3.2 グラウンディング

将棋局面 $S_{i}(i=1, \ldots, n)$ とその解説文 $C_{i}$ の大量のペアを学習セットとし, 将棋局面 $S_{i}$ は素性ベクトル $f\left(S_{i}\right)$ に変換して用いる。ここで $n$ は学習セットに含まれる局面の数である。まず， $C_{i}$ から擬似確率的単語分割コーパス $C_{i}^{\prime}$ を生成する。 $C_{i}^{\prime}$ は $m$ 個のコーパス $C_{i j}^{\prime}(j=1, \ldots, m)$ を含んでおり，それぞれのコーパスは同じ解説文から成るが，異なる単語分割が与えられてい る（本実験では $m=4$ とした），次に将棋局面の素性べクトル $f\left(S_{i}\right)$ を入力として用いて $C_{i}^{\prime}$ の 単語を予測するモデルを 3 層のフィードフォワードニューラルネットワークで構築する。隠れ 層の次元数は 100 とし, 活性化関数には標準シグモイド関数を用いる. 出力は $d$ 次元の実数値 ベクトル（d は単語候補の総数 $)$ であり, 実数値べクトルのそれぞれの要素はある特定の単語候補に対応しており，解説文にその単語候補が含まれている確率を出力する．学習の際には解説文にその単語候補が含まれていれば 1 , 含まれていなければ 0 とし, 損失関数として 2 乗誤差を用いる。つまり, 将棋局面からその解説文の単語候補の Bag-of-Words 3 層のニューラル ネットワーク用いて予測することでグラウンディングを行う.

将棋局面の素性はコンピュータ将棋プログラムの激指 (Tsuruoka, Yokoyama, and Chikayama 2002)によるゲーム木探索の素性や結果, 評価の一部を用いた。本実験では以下の素性を用いた.

a: 将棋の駒の位置

b: 持ち駒

c: $\mathbf{a}$ と $\mathbf{b}$ の組み合わせ

$\mathrm{d}:$ その他ヒューリスティックな素性

$\mathbf{c}$ は， 2 駒関係（ある 2 の駒の位置関係）や 3 駒関係などであり，d のヒューリスティックな 素性の例として, 駒の価値に関する素性や玉の危険度に関する素性などがある. 将棋局面の素性の多くは a, b, c であり，次元数では $94.7 \%$, 発火数では $87.9 \%$ を占めている.

一般のシンボルグラウンディングとは違い, 解説文から作られた擬似確率的単語分割コーパ スに出現する単語の候補は, 正しい単語文字列と正しく分割されていない文字列が含まれる. それらの正しく分割されていない文字列は正しい単語文字列よりも出現する確率が低いと推測 できる，似た局面からは同じ文字列が出現しやすいと仮定すると，ニューラルネットワークを 用いたモデルでは，それらの局面と正しく分割されていない文字列は強い関係を結ぶことがで きず，出力する値は正しい単語文字列よりも小さくなると推測される.

## 4 シンボルグラウンディングの結果を用いた単語分割

この章ではベースラインとなる自動単語分割とシンボルグラウンディングの結果を用いた単語分割について述べる。

## 4.1 ベースラインとなる単語分割

さまざまな日本語の単語分割手法や形態素解析手法があるが, 品詞情報なしで新しい単語を追加することができる唯一の単語分割手法である点予測に基づく手法 (Neubig, Nakata, and Mori 2011)を採用する.

点予測による単語分割の入力は分割されてない文字列 $x=x_{1}, \ldots, x_{n_{r}}$ である. この単語分割器はサポートベクターマシン (Fan et al. 2008) を用いて単語境界があれば $P_{i}=1$ なければ $P_{i}=0$ として境界を推定する. このときの素性は周辺の 6 文字から文字 $n$-gram と文字種 $n$-gram $(n=1,2,3)$ を用いる.また，もし周辺の文字 $n$-gram が辞書の文字列と一致した場合にはそれ も素性として用いる.

## 4.2 非テキスト情報を用いた自動単語分割器の学習

非テキスト情報を自動単語分割に用いる最初の試みとして, 非テキスト情報と関連性の高い単語候補を加えた辞書を生成する手法を提案する。非テキスト情報から単語候補を予測するニュー ラルネットワークを構築することでシンボルグラウンディングを行う. 構築されたニューラル ネットワークを用いることで非テキスト情報と関連する単語候補を取得できる。例えば将棋の 場合, 局面と局面から生成される解説文の単語は強い関連があり, 似た局面からは同じ単語が 生成される可能性が高いと考える。つまり, 非テキスト情報と強い関連の単語候補を選ぶこと で良い辞書を作ることができる。

辞書生成のために, シンボルグラウンディングの結果として将棋局面 $S_{i}$ から $d$ 次元の実数値 ベクトルを計算し単語候補のスコアを得る。本稿では, 単語候補のスコアから以下の 3 つの方法で辞書を生成する.

sum すべての局面の $d$ 次元の実数値ベクトルの和をとり，上位 $R \%$ の単語を辞書に追加する.

$\max$ すべての局面の $d$ 次元の実数値べクトルの要素の最大値を取り, 上位 $R \%$ の単語を辞書 に追加する.

each 各局面の $d$ 次元の実数値べクトルの上位 $R \%$ の単語を辞書に追加する.

例えば，以下のように局面 $S_{1}, S_{2}$ から計算される単語候補 [四間, 間, 間飛, 飛, 飛車] の 5 次元の実数値ベクトルがあり，その上位 $40 \%$ の単語候補を辞書に加えるとする.
- $S_{1}$ から計算される単語候補のベクトル $[1.4,1.5,0.2,0.5,3.8]$
- $S_{2}$ から計算される単語候補のべクトル $[4.9,0.8,0.1,0.9,3.2]$
sum では $S_{1}, S_{2}$ から計算される単語候補のべクトルの要素を足しあわせた $[6.3,2.3,0.3,1.4,7.0]$ について上位 $40 \%$ の単語候補である「四間」と「飛車」を辞書に加える。 $\boldsymbol{m a x}$ ではそれぞれの 要素の最大値からなるべクトル $[4.9,1.5,0.2,0.9,3.8]$ から「四間」と「飛車」を辞書に加える. each では $[1.4,1.5,0.2,0.5,3.8]$ と $[4.9,0.8,0.1,0.9,3.2]$ のそれぞれの上位 $40 \%$ の単語候補「間」「飛車」と「四間」「飛車」を辞書に追加する。この時すでに辞書に登録されている単語候補（こ の場合は「飛車」）は二重に登録しない.

最後に，それぞれの方法で生成された辞書を用いて自動単語分割器の再学習を行う。

## 5 評価

4 章で述べた提案手法の効果を検証するために自動単語分割の実験を行った．提案手法の効果を検証するために，シンボルグラウンディングにより獲得された辞書を用いる場合（提案手法）と用いない場合を比較した。

## 5.1 コーパス

表 1 は今回の実験で用いたコーパスの詳細を示している. コーパスは, シンボルグラウンディ ングのためのコーパス（シンボルグラウンディング用コーパス）と自動単語分割のための訓練/開発/テストコーパスから成る.

シンボルグラウンディング用コーパスは, 33,151 組の将棋局面と将棋解説文から成る. ただし, シンボルグラウンディング用コーパスの将棋解説文には単語分割が付与されていない. この将棋解説文から疑似確率的単語分割コーパスを生成し, シンボルグラウンディングの学習 (ニュー

表 1 コーパスの概要

 & 33,151 & — & — & 33,151 &  \\

ラルネットワークの学習) を行った.

自動単語分割のための訓練コーパスには, 現代日本語書き言葉均衡コーパス (BCCWJ) (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014) と,日経新聞 (1990-2000) の一部からなる新聞記事のコーパス, 英語表現辞典からなる日常会話文 のコーパスを用いた．BCCWJの一部は学習には用いず，テストコーパスとして用いた。将棋解説文からランダムに抽出した 5,041 文を人手で単語分割し, これを開発コーパス (253 文),局面なしテストコーパス $\left(3,000\right.$ 文), 局面ありテストコーパス（1,788 文）の 3 つに分けた ${ }^{1}$.将棋解説文のための辞書は，局面ありテストコーパスに対し提案手法を適用することで獲得す る. 局面なしテストコーパスは局面の情報を持たない将棋解説文だけから成るコーパスであり，局面ありテストコーパスから得られた辞書の汎用性を評価するために用意した．実験では，局面ありテストコーパスから得られた辞書を用いて，局面なしテストコーパスの単語分割精度を 評価した。

## 5.2 単語分割システム

本実験では以下の 2 つの単語分割モデルを用いてその精度を評価した.

ベースライン： 単語分割のための訓練コーパスと UniDic （234,652 単語）2 を用いて学習さ れたモデル.

十擬似確率的単語分割辞書： ベースラインで用いた言語資源に加え，擬似確率的単語コーパス から出現頻度の高い単語候補を加えた辞書を用いて学習されたモデル。

+シンボルグラウンディング： ベースラインで用いた言語資源に加え, シンボルグラウンディ ングにより獲得された辞書を用いて学習されたモデル。

ベースラインおよび提案手法のいずれにおいてもUniDic を辞書として用いた. 提案手法では UniDic に加えて, シンボルグラウンディング用コーパスから獲得される辞書を用いる. ベース ラインの単語分割モデル構築と辞書獲得のために必要となる擬似確率的単語分割コーパスの生成にはロジスティック回帰を用いており，表 1 に示した自動単語分割のための訓練コーパスを 学習用に用いた. ロジスティック回帰は単語境界の確率値 $P_{i}$ を出力し, ベースラインではこの $P_{i}$ が 0.5 以上なら分割境界があるとし, 擬似確率的単語分割コーパスには $P_{i}$ の出力值をそのま ま用いて生成した. このとき $m=4$ とし, 擬似確率的単語分割コーパスを 4 つ生成した.

シンボルグラウンディングの手法を評価するために, 擬似確率単語分割コーパスの単語を頻度順に並べ，その上位 $R^{\prime} \%$ を追加した辞書を生成し, モデルを構築した。

辞書獲得において, シンボルグラウンデイングの辞書生成の手法 (sum, max, each) と $R^{\prime}, R$ の值には開発セットの単語分割精度（F 値）を用いて最も高くなるパラメータを採用した。擬似確率的単語分割辞書では $R^{\prime}=0.074$ のときに最も精度が高くなり, 辞書には 110 単語が追加 された。提案手法では, 手法 eachで $R=0.074$ のときに最も精度が高くなり, 辞書には 110 単語が追加された。

## 5.3 結果と考察

単語分割精度の評価尺度には以下で表される，適合率と再現率， $\mathrm{F}$ 値を用いた。

$
\begin{aligned}
\text { 適合率 } & =\frac{\text { 正解単語数 }}{\text { システムの出力文の単語数 }} \\
\text { 再現率 } & =\frac{\text { 正解数単語数 }}{\text { 正解文の単語数 }} \\
\mathrm{F} \text { 値 } & =\frac{2 \cdot \text { 適合率 } \cdot \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
\end{aligned}
$

表 2 は BCCWJに対する単語分割の精度を示しており, 表 3 は局面なしの将棋解説文に対す る単語分割精度と局面ありの将棋解説文に対する単語分割の精度を示している。このときの辞書は局面ありの解説文のみを用いて生成された．BCCWJに対する単語分割精度（表 2）と将棋解説文に対するの単語分割精度（表 3）を比較すると，将棋解説文の単語分割は一般ドメインの 単語分割より難しいことが分かる．将棋解説文には将棋特有の単語や表現が大量に含まれるた め単語分割の精度が低くなったことが考えられる。

表 3 において，提案手法はべースラインや擬似確率的単語辞書を追加した手法に比べて精度 が向上しており，再現率についてはマクネマー検定で $1 \%$ の統計的有意差があった. 本手法に おける辞書獲得は教師なし学習にもかかわらず自然注釈による手法 (Liu, Zhang, Che, Liu, and

表 2 BCCWJ （6,025 文）の単語分割結果

表 3 将棋解説文 (4,788 文) の単語分割結果

$\mathrm{Wu}$ 2014) と同程度のエラー削減率を実現できた. この結果よりシンボルグラウンディングによ る単語分割は注釈付けと同様に有用であると言える.

表 3 において, ベースラインと辞書を追加した手法の適合率と再現率を詳しくみると, 再現率 は適合率よりも大きく向上していることが分かる。この結果より, 正しい単語と少量の間違った 単語を学習していることが分かる。実際に，擬似確率的単語分割辞書とシンボルグラウンディ ングによる辞書の両方には「飛車」や「同歩」,「先手」などの将棋解説文に出現する頻度が高い 単語が登録されていた. シンボルグラウンディングによる辞書には「休䄭」や「成」など擬似確率的単語分割辞書には無い単語が追加されており，擬似確率的単語分割辞書には「.」や「・」 などのシンボルグラウンディングによる辞書には存在しなかった単語が追加されていた。また,表 2 より本手法は一般のドメインに深刻な精度低下をもたらさないことが分かる.

表 4 と表 5 は局面なしの将棋解説文と局面ありの将棋解説文の単語分割精度を示している。表 4 より，辞書を追加する 2 つの手法において，局面なしの将棋解説文の単語分割の精度が向上しており，生成された辞書が将棋解説文の分野に対して有効であることがわかる。この精度向上は高頻度で出現する将棋用語によるものと考えられる．局面なしの将棋解説文では，擬似確率的単語分割辞書を追加する手法が最も精度が高かった。しかし, 局面ありの将棋解説文に おいて, シンボルグラウンディングによる辞書を追加した手法が最も精度が高かった（表 5）。 また，局面なしの将棋解説文よりも局面ありの将棋解説文の方が精度向上の割合が大きい．以上より，本稿で提案する手法は局面に対応した単語を効果的に学習できていると結論できる.

最後に, ニューラルネットワークを用いて将棋局面と解説文をグラウンディングする際のデー タサイズを変更し，その学習曲線を図 2 に示す。横軸が学習に用いる局面数であり，縦軸が将棋解説文（4,788 文）における単語分割の精度（F 値）を表している。局面数が 12,000 程度で 学習が収束している.

表 4 局面なしの将棋解説文 (3,000 文) の単語分割結果

表 $\mathbf{5}$ 局面ありの将棋解説文 (1,788 文) の単語分割結果

局面数

図 2 学習のデータサイズを変更したときの学習曲線

## 6 関連研究

本稿では日本語の単語分割を行った。単語分割の代表的な手法は隠れマルコフモデル (Nagata 1994)である。また, Sproat らは類似した手法で中国語の単語分割を行った (Sproat, Gale, Shih, and Chang 1996). これらの手法は単語をモデルの単位として扱っている.

近年，Neubig らはそれぞれの文字の間に単語分割があるかどうかを点予測によって判定する 手法 (Neubig et al. 2011)を提案しており，タグの制約のない，文字への BI タグのタグ付けとし て解くことができる。中国語の単語分割では BIES タグをタグ付けし系列ラベリング問題 (Xue 2003) として解く手法がある．BIES はそれぞれ単語の始まり，その続き，単語の終わり，1文字の単語を表している，我々の予備的な実験で日本語の単語分割では BI タグを用いたサポート ベクターマシンは BIES タグを用いた CRF よりもわずかに精度が高かった。これが本稿で点予測を用いた理由の 1 つである。しかし，本手法は BIES タグと CRF の単語分割にも適用可能で ある.

本稿で述べた提案手法は教師なし学習でハイパーパラメーターを調整するための少量の注釈付きデータを必要とした。この観点では，この手法は自然注釈 (Yang and Vozila 2014; Jiang, Sun, Lü, Yang, and Liu 2013; Liu et al. 2014) に類似している. しかし, これらの研究ではハイ パーテキストのタグは部分的な注釈と見なし，部分的な注釈を含むデータを用いて学習された CRF で単語分割の性能を向上させた。 また, Tsuboi らは大量の生のテキストから新しい単語を 抽出する手法を提案し (Tsuboi, Kashima, Mori, Oda, and Matsumoto 2008), Mori らは類似し た設定でのオンライン手法を提案した (Mori and Nagao 1996).

グラウンディングに基づく教師なし単語分割には (Roy and Pentland 2002; Nguyen, Vogel,
and Smith 2010) がある．Roy らは音声情報と画像情報をグラウンディングすることにより，音声情報から単語を獲得する手法を提案した。これは, 音声信号と画像の物体の類似性を用いて,物体とその名前を連続音声から獲得する. Nguyen らは機械翻訳のための教師なし単語分割を提案した. 分かち書きされている翻訳先の言語の単語と対応するように翻訳元の言語をノンパラ メトリックな手法で単語分割した。これらの研究に対して, 本稿では言語以外のモダリティを 扱い，単一言語内でテキストの単語分割を行う最初の試みとして将棋局面を用いた.

## 7 終わりに

本稿では非テキスト情報を用いた教師なし学習により辞書を生成し, それを用いることによ る自動単語分割の精度向上について述べた。単語候補を生テキストから取り出すために，まず 確率的に文を分割し, 単語の候補と元の解説文に対応する将棋局面をニューラルネットワーク を用いて結びっけてシンボルグラウンディングを行った。最後にシンボルグラウンディングの 結果を参照しスコアの高い単語の候補を辞書に追加した。実験結果より非テキスト情報を用い た手法はテキスト情報のみを用いた手法よりも精度が高く, 非テキスト情報を用いる手法の有効性が確認できた，今後は，この手法を他の深層学習のモデルに適用することやシンボルグラ ウンディングの結果を分散表現として単語分割の手法 (Ma and Hinrichs 2015) に適用, 及び画像などの他の非テキスト情報を用いることが課題としてあげられる.

## 謝 辞

本研究は JSPS 科研費 26540190 及び 16K00293, 25280084 の助成を受けたものである．ここ に敬意を表する。

## 参考文献

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR:

A Library for Large Linear Classification." Journal of Machine Learning Research, 9, pp. 1871-1874.

Farhadi, A., Hejrati, M., Sadeghi, M. A., Young, P., Rashtchian, C., Hockenmaier, J., and Forsyth, D. (2010). "Every Picture Tells a Story: Generating Sentences from Images." In Proceedings of the 11th European Conference on Computer Vision, pp. 15-29.

Jiang, W., Sun, M., Lü, Y., Yang, Y., and Liu, Q. (2013). "Discriminative Learning with Natural Annotations: Word Segmentation as a Case Study." In Proceedings of the 51st Annual

Meeting of the Association for Computational Linguistics, pp. 761-769.

Kiros, R., Salakhutdinov, R., and Zemel, R. (2014). "Multimodal Neural Language Models." In Proceedings of the 31st International Conference on Machine Learning, pp. 595-603.

Liu, Y., Zhang, Y., Che, W., Liu, T., and Wu, F. (2014). "Domain Adaptation for CRF-based Chinese Word Segmentation using Free Annotations." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 864-874.

Ma, J. and Hinrichs, E. W. (2015). "Accurate Linear-Time Chinese Word Segmentation via Embedding Matching." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics, pp. 1733-1743.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48, pp. 345-371.

森信介，小田裕樹 (2009). 擬似確率的単語分割コーパスによる言語モデルの改良. 自然言語処理, 16 (5), pp. 7-21.

Mori, S. and Nagao, M. (1996). "Word Extraction from Corpora and Its Part-of-Speech Estimation Using Distributional Analysis." In Proceedings of the 16th International Conference on Computational Linguistics, pp. 1119-1122.

Mori, S., Richardson, J., Ushiku, A., Sasada, T., Kameko, H., and Tsuruoka, Y. (2016). "A Japanese Chess Commentary Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1415-1420.

Mori, S. and Takuma, D. (2004). "Word n-gram probability estimation from a Japanese raw corpus." In Proceedings of the 8th International Conference on Speech and Language Processing, pp. 1037-1040.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer Using a forward-DP backward-A* N-best Search Algorithm." In Proceedings of the 15th Conference on Computational Linguistics, pp. 201-207.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823.

Regneri, M., Rohrbach, M., Wetzel, D., Thater, S., Schiele, B., and Pinkal, M. (2013). "Grounding Action Descriptions in Videos." Transactions of the Association for Computational

Linguistics, 1 (Mar), pp. 25-36.

Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M., and Schiele, B. (2013). "Translating Video Content to Natural Language Descriptions." In Proceedings of the 14th International Conference on Computer Vision, pp. 433-440.

Roy, D. K. and Pentland, A. P. (2002). "Learning Words from Sights and Sounds: A Computational Model." Cognitive Science, 26 (1), pp. 113-146.

Sproat, R., Gale, W., Shih, C., and Chang, N. (1996). "A Stochastic Finite-state Wordsegmentation Algorithm for Chinese." Computational Linguistics, 22 (3), pp. 377-404.

Tsuboi, Y., Kashima, H., Mori, S., Oda, H., and Matsumoto, Y. (2008). "Training Conditional Random Fields Using Incomplete Annotations." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 897-904.

Tsuruoka, Y., Yokoyama, D., and Chikayama, T. (2002). "Game-Tree Search Algorithm Based On Realization Probability." Journal of the International Computer Games Association, 25, p. 2002.

Xue, N. (2003). "Chinese Word Segmentation as Character Tagging." The Association for Computational Linguistics and Chinese Language Processing, 8, pp. 29-48.

Yang, F. and Vozila, P. (2014). "Semi-Supervised Chinese Word Segmentation Using PartialLabel Learning With Conditional Random Fields." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 90-98.

Yang, Y., Teo, C. L., Daumé, III, H., and Aloimonos, Y. (2011). "Corpus-guided Sentence Generation of Natural Images." In Proceedings of 2011 the Conference on Empirical Methods in Natural Language Processing, pp. 444-454.

## 略歴

友利 涼：2016 年愛媛大学工学部卒業. 同年より京都大学大学院情報学研究科修士課程在学.

亀甲博貴：2015 年東京大学大学院工学系研究科修士課程卒業. 同年より同大学院博士課程在学.

二宮 崇：2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了.同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター 講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL, ACM 各会員.
森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年, 日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授, 2016 年同教授. 京都大学博士（工学）. 1997 年情報処理学会山下記念研究賞受賞. 2010 年, 2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞受賞. 言語処理学会, 情報処理学会,日本データベース学会, ACL 各会員.

鶴岡 慶雅 : 2002 年東京大学大学院工学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2005 年マンチェスター大学研究員. 2009 年北陸先端科学技術大学院大学准教授. 2011 年より東京大学大学院准教授. 東京大学博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 統語的一貫性と非冗長性を重視した機械翻訳のための 能動学習手法

三浦 明波 $^{\dagger} \cdot$ Graham Neubig ${ }^{\dagger, \dagger \dagger} \cdot$ Michael Paul ${ }^{\dagger+\dagger} \cdot$ 中村 哲 ${ }^{\dagger}$
}

能動学習は機械学習において, 逐次的に選択されたデータに対してのみ正解ラベル を付与してモデルの更新を繰り返すことで, 少量のコストで効率的に学習を行う枠組みである。この枠組みを機械翻訳に適用することで，人手翻訳のコストを抑えつ つ高精度な翻訳モデルを学習可能である。機械翻訳のための能動学習では, 人手翻訳の対象となる文またはフレーズをどのように選択するかが学習効率に大きな影響 を与える要因となる. 既存研究による代表的な手法として, 原言語コーパスの単語 $n$-gram 頻度に基づき $n$-gram カバレッジを向上させる手法の有効性が知られている. この手法は一方で, フレーズの最大長が制限されることにより, 句範疇の断片のみ が提示されて, 人手翻訳が困難になる場合がある。また, 能動学習の過程で選択さ

れるフレーズには, 共通の部分単語列が繰り返し出現するため, 単語数あたりの精度向上率を損なう問題も考えられる。本研究では原言語コーパスの句構造解析結果 を用いて句範疇を保存しつつ，包含関係にある極大長のフレーズのみを人手翻訳の 候補とするフレーズ選択手法を提案する。本研究の提案手法の有効性を調査するた め，機械翻訳による擬似対訳を用いたシミュレーション実験および専門の翻訳者に よる人手翻訳と主観評価を用いた実験を実施した。その結果，提案手法によって従来よりも少ない単語数の翻訳で高い翻訳精度を達成できることや, 人手翻訳時の対訳の品質向上に有効であることが示された.

キーワード: 統計的機械翻訳, 能動学習, 人手翻訳, 対訳コーパス, 構文解析, 句構造解析
## Selecting Syntactic, Non-redundant Segments in Active Learning for Machine Translation

\author{
Akiva Miura ${ }^{\dagger}$, Graham Neubig ${ }^{\dagger}{ }^{\dagger \dagger}$, Michael Paul ${ }^{\dagger \dagger}$ and Satoshi Nakamura ${ }^{\dagger}$
}

Active learning is a framework that makes it possible to efficiently train statistical models by selecting informative examples from a pool of unlabeled data. Previous work has found this framework effective for machine translation (MT), making it possible to train better translation models with less effort, particularly when annotators translate short phrases instead of full sentences. However, previous methods for phrase-based active learning in MT fail to consider whether the selected units are coherent and easy for human translators to translate, and also have problems with

selecting redundant phrases with similar content. In this paper, we tackle these problems by proposing two new methods for selecting more syntactically coherent and less redundant segments in active learning for MT. Experiments using both simulation and extensive manual translation by professional translators find the proposed method effective, achieving both greater gain of BLEU score for the same number of translated words, and allowing translators to be more confident in their translations.

Key Words: Statistical Machine Translation, Active Learning, Manual Translation, Parallel Corpus, Syntactic Parsing, Phrase Strucuture Analysis

## 1 はじめに

統計的機械翻訳 (Statistical Machine Translation: SMT (Brown, Pietra, Pietra, and Mercer 1993)) で高い翻訳精度 1 を達成するには, 学習に用いる対訳コーパスの質と量が不可欠である.特に，質の高い対訳データを得るためには，専門家による人手翻訳が必要となるが，時間と予算 の面で高いコストを要するため, 翻訳対象は厳選しなければならない。このように, 正解デー夕 を得るための人手作業を抑えつつ高い精度を達成する手法として, 能動学習 (Active Learning) が知られている．SMTにおいても，能動学習を用いることで人手翻訳のコストを抑えつつ高精度な翻訳モデルを学習可能である (Eck, Vogel, and Waibel 2005; Turchi, De Bie, and Cristianini 2008; Haffari, Roy, and Sarkar 2009; Haffari and Sarkar 2009; Ananthakrishnan, Prasad, Stallard, and Natarajan 2010a; Bloodgood and Callison-Burch 2010; González-Rubio, Ortiz-Martínez, and Casacuberta 2012; Green, Wang, Chuang, Heer, Schuster, and Manning 2014).

SMT や，その他の自然言語処理タスクにおける多くの能動学習手法は，膨大な文書データの 中からどの文をアノテータに示すか, という点に注目している。これらの手法は一般的に，幾 つかの基準に照らし合わせて，SMT システムに有益な情報を多く含んでいると考えられる文に 優先順位を割り当てる。単言語データに高頻度で出現し, 既存の対訳データには出現しないよ うなフレーズを多く含む文を選択する手法 (Eck et al. 2005)，現在のSMT システムにおいて 信頼度の低いフレーズを多く含む文を選択する手法 (Haffari et al. 2009)，あるいは翻訳結果か ら推定される SMT システムの品質が低くなるような文を選択する手法 (Ananthakrishnan et al. 2010a)などが代表的である。これらの手法で選択される文は, 機械学習を行う上で有益な情報 を含んでいると考えられるが，その反面，既存システムに既にカバーされているフレーズも多 く含んでいる可能性が高く，余分な翻訳コストを要する欠点がある.
^{1}$ SMT システムの性能を評価する場合, 評価用原言語コーパスの翻訳結果が目標となる正解訳にどの程度近いかを示 す自動評価尺度を翻訳精度の指標とすることが多く，本稿では最も代表的な自動評価尺度と考えられる BLEU ス コア (Papineni, Roukos, Ward, and Zhu 2002)を用いて評価する.

2 本稿では, フレーズとは特定の文中に出現する任意の長さの部分単語列を表すものとし, 文全体や単語もフレーズ の一種として扱う。また，後述する句構造文法における句とは区別して扱うこととする.
}

このように文全体を選択することで過剰なコストを要する問題に対処するため，自然言語処理タスクにおいては短いフレーズからなる文の部分的アノテーションを行うための手法も提案 されている (Settles and Craven 2008; Tomanek and Hahn 2009; Bloodgood and Callison-Burch 2010; Sperber, Simantzik, Neubig, Nakamura, and Waibel 2014). 特にSMT においては，文の 選択手法では翻訳済みフレーズを㔯長に含んでしまう問題に対処するため，原言語コーパスの 単語 $n$-gram 頻度に基づき，対訳コーパスにカバーされていない原言語コーパス中で最高頻度 の $n$-gram 自体を翻訳対象のフレーズとして選択する手法が提案されている (Bloodgood and Callison-Burch 2010). この手法では，選択されたフレーズ全体が必ず翻訳モデルの $n$-gram カ バレッジ ${ }^{3}$ 向上に寄与し, 余分な単語を選択しないため, 文選択手法よりも少ない単語数の人手翻訳で翻訳精度を向上させやすく，費用対効果に優れている。しかし，この手法には $2 \supset の$問題点が挙げられる。先ず，図 1 (a)に示すように， $n$-gram 頻度に基づくフレーズの選択手法 では複数のフレーズ間で共有部分が多いため宇長な翻訳作業が発生し, 単語あたりの精度向上率を損なう問題がある（フレーズ間の重複問題）。また，最大フレーズ長が $n=4$ などに制限さ れるため, “one of the preceding”のように句範疇の一部がたびたび不完全な形で翻訳者に提示 されて人手翻訳が困難になる問題もある（句範疇の断片化問題）.

本研究では, 前述の 2 つの問題に対処するために 2 種類の手法を提案し, 部分アノテーショ

(a) 従来手法による $n$-gram フレーズ選択 $(n=4)$

(b) 提案手法による極大フレーズ選択

(c) 提案手法による部分構文木選択

図 1 フレーズ選択手法の例，および従来手法と提案手法の比較

ン型の能動学習効率 4 と翻訳結果に対する自信度の向上を目指す（4 節）。フレーズ間の重複問題に対しては，図 1 (b) に示すように包含関係を持つフレーズを統合して，より少ないフレー ズでカバレッジを保つことで学習効率の向上が可能と考えられる（極大フレーズ選択手法, 4.1 節)，重複を取り除き，なるべく長いフレーズを抽出する基準として，本研究では極大部分文字列 (Yamamoto and Church 2001; Okanohara and Tsujii 2009)の定義を単語列に適用し，極大長 となるフレーズの頻度を素性に用いる. 句範疇の断片化問題に対しては, 図 1 (c) に示すよう に，原言語コーパスの句構造解析を行い，部分木をなすようなフレーズを統語的に整ったフレー ズとみなして選択することで，人手翻訳が容易になると考えられる（部分構文木選択手法, 4.2 節）。また，これら 2 つの手法を組み合わせ，フレーズの極大性と構文木を同時に考慮する手法 についても提案する (4.2 節).

本研究で提案するフレーズ選択手法による能動学習効率への影響を調査するため, 先ず英仏翻訳および英日翻訳において逐次的にフレーズ対の追加・モデル更新・評価を行うシミュレー ション実験（5 節）を実施し，その結果， 2 つの提案手法を組み合わせることで従来より少ない 追加単語数でカバレッジの向上や翻訳精度の向上を達成することができた. 次に，部分構文木選択手法が人手翻訳に与える影響を調査するため, 専門の翻訳者に翻訳作業と主観評価を依頼 し，述べ 120 時間におよぶ作業時間で収集された対訳データを用いて実験と分析を行った結果 （6 節）, 同様に高い能動学習効率が示された。また，翻訳者は構文木に基づくフレーズ選択手法において，より長い翻訳時間を要するが，より高い自信度の翻訳結果が得られるという傾向 も得られた 5 .

## 2 機械翻訳のための能動学習

本節では, 機械翻訳のための能動学習手法について述べる。翻訳対象の候補となるフレーズ を含む原言語コーパスから，逐次的に新しい原言語フレーズを選択し翻訳，学習用データとし て対訳コーパスに加える手順をまとめると Algorithm 1 のように一般化できる.

1 行目から 4 行目でデータの定義, 初期化を行う. SrcPool は原言語コーパスの各行を要素と する集合である。Translated は翻訳済みの原言語フレーズと目的言語フレーズの対を要素とす る集合であり, 初期状態は空でもよいが, 既に対訳データが与えられている場合には, Translated を設定することで効率的に追加フレーズの選択を行うことができる. Oracle は任意の入力フ レーズに対して正解訳を与えることができるオラクルであり, 人手翻訳を模したモデルである.

5 行目から 9 行目で翻訳モデルの逐次的な学習を行う. 5 行目の停止条件には, 任意の終了夕 イミングを設定できるが，実際の利用場面では一定の翻訳精度に達成した時点や，予算の許容 する単語数を翻訳し終えた時点などで能動学習を打ち切ることになるだろう。6行目では，そ の時点で保持している対訳コーパス Translated を用いて翻訳モデルの学習を行う。また，実験的評価においては, 翻訳モデルの学習直後に翻訳精度の評価を行う. 7 行目では $S r c P o o l$, Translated，TMを判断材料として，次に翻訳対象となる原言語フレーズを選択する。ここで フレーズ選択時に基準となる要素として，学習済みモデルにおける各フレーズ対の信頼度，コー パス中に出現する各フレーズの代表性，翻訳候補のフレーズから正解訳を得るためのコストな どが考えられる。

次節からは, 先述のアルゴリズム 7 行目で述べたフレーズ選択基準に用いられる具体的な手法として, 既存のフレーズ選択手法 (3節) 扔よび本研究の提案手法 (4 節) について述べる.

## 3 単語 $n$-gram 頻度に基づく文・フレーズ選択手法

本節では, 従来手法である単語 $n$-gram 頻度に基づく文選択手法とフレーズ選択手法につい て紹介する。

## 3.1 単語 $n$-gram 頻度に基づく文選択手法

単語 $n$-gram 頻度に基づく文選択手法では, 原言語コーパスに含まれる単語数が $n$ 以下の全 フレーズのうち，翻訳済みの原言語データに出現せず，かつ頻度が最大となるようなものを含む 文を選択する。逐次的に文を追加していき，翻訳済みのデータが原言語コーパスの全 $n$-gram フ レーズをカバーした時点で能動学習を停止する。この手法によって最頻出の $n$-gram フレーズ を効率的にカバー可能であり，翻訳コストを抑えつつ高い精度を達成できる．Bloodgood らは， $n=4$ の $n$-gram 頻度に基づく文選択手法を用いた能動学習のシミュレーション実験によって,
原言語データ全てを翻訳する場合に比べて， $80 \%$ 未満の文数で同等の BLEU スコア (Papineni et al. 2002)を達成できたと報告している (Bloodgood and Callison-Burch 2010).

しかし，1節で述べたように，この手法は文全体を選択するため，翻訳済みのデー夕に既に力 バーされているフレーズも多く含んでおり，重複部分の単語数だけ余分な翻訳コストがかかる と考えられる，そのため，文全体ではなく高頻出のフレーズのみを選択する手法を 3.2 節から 紹介する。

## 3.2 単語 $n$-gram 頻度に基づくフレーズ選択手法

単語 $n$-gram 頻度に基づくフレーズ選択手法では, 3.1 節の文選択手法とは異なり, 原言語 コーパス中で翻訳済みデータにカバーされていない単語数 $n$ 以下のフレーズそのものを頻度順に選択する。この手法では，文全体の選択を行うよりも少ない単語数の追加で $n$-gram カバ レッジを高めることができるため，翻訳コストの低減によって高い能動学習効率が期待できる. Bloodgood らは, ベースとなる対訳データを元に, 追加の原言語デー夕中の高頻度の未カバー $n$-gram フレーズを順次選択し，アウトソーシングサイトを用いた人手翻訳実験により，少ない 追加単語数と短い翻訳時間でベースシステムよりも大幅に BLEU スコアの向上を確認できたと 報告している (Bloodgood and Callison-Burch 2010).

ただし，このフレーズ選択手法では， 1 節で述べたようにフレーズ長が $n=4$ などに制限さ れるため, 選択されるフレーズどうしの重複が多い問題や, 句範疇の断片が選択される問題が あり，また長いフレーズ対応を学習できないことも機械翻訳を行う上で不利である． $n=5$ な どの，より長いフレーズ長を設定することは根本的な解決にならないばかりか，さらに多くの フレーズ間の重複が発生して逆効果となり得る.

## 4 極大フレーズ選択手法と部分構文木選択手法

本節では，提案手法である極大フレーズ選択手法と，部分構文木選択手法，また，それらの 組み合わせ手法について説明する.

## 4.1 極大フレーズ選択手法

本節では, 単語 $n$-gram 頻度に基づくフレーズ選択手法でフレーズ長の制限によって発生す る，フレーズ間の重複問題を解消するために，極大部分文字列 (Yamamoto and Church 2001; Okanohara and Tsujii 2009)の定義を利用したフレーズ選択手法を提案する. 極大部分文字列 は効率的に文書分類器を学習するために提案された素性であり, 形式的には「その部分文字列 を常に包含するような, より長い部分文字列が存在しない」という性質を持った部分文字列と して定義される。この極大部分文字列の定義は，文字列を任意の要素列に読み替えて，極大部
分要素列とすることができる.

極大部分要素列は下記のような半順序関係の定義を用いて示すことができる.

$
s_{1} \preceq s_{2} \Leftrightarrow \exists \alpha, \beta: s_{2}=\alpha s_{1} \beta \wedge o c c\left(s_{1}\right)=o c c\left(s_{2}\right)
$

ここで $s_{1}, s_{2}, \alpha, \beta$ は長さ 0 以上の要素列であり, $o c c(\cdot)$ は文書中の要素列の出現回数である.例えば,

$
\begin{array}{ll}
p_{1}=\text { "one of the preceding", } & \operatorname{occ}\left(p_{1}\right)=200,000 \\
p_{2}=\text { "one of the preceding claims", } & \operatorname{occ}\left(p_{2}\right)=200,000 \\
p_{3}=\text { "any one of the preceding claims", } & \operatorname{occ}\left(p_{3}\right)=190,000
\end{array}
$

のようなフレーズが原言語コーパス中に出現している場合, $p_{2}=\alpha p_{1} \beta, \alpha="$ “,$\beta=$ "claims" が成り立ち, すなわち $p_{1}$ は $p_{2}$ の部分単語列であり, 同様に $p_{2}$ は $p_{3}$ の部分単語列である. $p_{1}$ は $p_{2}$ の部分単語列であり, コーパス中の出現頻度について $\operatorname{occ}\left(p_{1}\right)=\operatorname{occ}\left(p_{2}\right)=200,000$ が成り立つため, 式 (1)により $p_{1} \preceq p_{2}$ が成り立つ. 一方, $p_{2}$ は $p_{3}$ の部分単語列であるが, $o c c\left(p_{2}\right)=200,000 \neq 190,000=o c c\left(p_{3}\right)$ であるため, $p_{2} \preceq p_{3}$ とはならない. 式 (1) で定義され る半順序 $\preceq$ を用いて，単語列 $p$ について $p \preceq q$ となるような $q$ が $p$ 自体を除いて存在しない 場合に， $p$ は極大性 6 を有し，本稿では極大フレーズと呼ぶこととする．先述の例では， $p_{1} \preceq p_{2}$ であるため $p_{1}$ は極大フレーズではなく, $p_{2} \preceq q$ となるような $q$ は $p_{2}$ 自体を除いて存在しない ため $p_{2}$ は極大フレーズである.

原言語コーパス中のすべての極大フレーズは拡張接尾辞配列 (Kasai, Lee, Arimura, Arikawa, and Park 2001)を用いて原言語コーパスの単語数 $N$ に対して線形時間 $O(N)$ で効率的に列挙可能であるが, 出現頻度を同時に得るためには二分探索のためにそれぞれ $O(\log N)$ 回の文字列比較 が必要なため, 合計 $(N \log N)$ 回の文字列比較が必要となる (Okanohara and Tsujii 2009). 列挙 されうる極大フレーズの数は高々 $N-1$ 個であるが, 頻度で降順に列挙するためには $O(N \log N)$ のソートアルゴリズムを用いることができる，ただし，本提案手法では，極大フレーズが改行文字を含む場合は分割し，また，出現回数が 2 以上のものを列挙するようにしている。これは，原言語コーパス中のほとんどの文を含めた膨大な部分単語列が出現頻度 1 の極大フレーズとし て選択されることを防止するためである.

極大フレーズのみを人手翻訳の対象とし，翻訳済みデータに出現していない最高頻度の極大 フレーズを順次選択する手法を極大フレーズ選択手法として提案する。本提案手法には 2 つの 利点があると考えられる．1つ目の利点は，互いに重複するような複数のフレーズを 1 つ極

大フレーズにまとめ上げて翻訳対象とすることで, 1 度の人手翻訳で複数の高頻度フレーズを 同時にカバーすることが可能となり，翻訳コスト減少による能動学習効率の向上が見込めるこ とである。2つ目の利点は, 既存手法でフレーズ長が 4 単語などの固定長に制限される問題を 解消できることである.

ただし，先述の例で述べたが， $p_{2}$ は $p_{3}$ の一部であり, 二者の出現頻度も近いが一致はして おらず，そのため二者とも極大フレーズとなる．実際の用途を考慮すると，このように出現頻度が完全に一致していなくてもほとんどの場合に重複して出現するフレーズは統合することが 望ましいが，すべての極大フレーズをそのまま翻訳候補とする実装では重複を取り除けない場合がある。そこで，式 (1) の制約をパラメータ $\lambda$ で緩和して，より一般化した半順序関係を下記のように定義する.

$
s_{1} \stackrel{*}{\preceq} s_{2} \Leftrightarrow \exists \alpha, \beta: s_{2}=\alpha s_{1} \beta \wedge \lambda \cdot \operatorname{occ}\left(s_{1}\right)<\operatorname{occ}\left(s_{2}\right)
$

可能であり，通常の極大フレーズ（以下，標準極大フレーズとする）と区別するため $\lambda$-極大フ レーズと呼ぶことにし, このような特徴を持つフレーズを列挙し, 未カバーフレーズを頻度順 に追加する手法を $\lambda$-極大フレーズ選択手法として併せて提案する.

$\lambda$-極大フレーズ選択手法のパラメータ $\lambda$ を 1 より小さく設定することで， 2 つの重複する フレーズの一致条件を取り除き，近似する出現頻度を許容するようになる．特殊な場合として $\lambda=1-\epsilon$ のときには標準極大フレーズ選択手法と同一であり ( $\epsilon$ は正の極小値)， $\lambda=0$ のとき には部分的アノテーションを行わない, 文の乱択手法となる。両者の利点を両立できる可能性 を考慮して，本研究では特に中間の値となる $\lambda=0.5$ を用いた際の影響を他の手法と比較に用 いている.

$\lambda<1$ における $\lambda$-極大フレーズは, 常に標準極大フレーズの条件を満たすため, 原言語コーパ ス中の $\lambda$-極大フレーズの候補は，すべての標準極大フレーズの中から探せばよい．標準極大フ レーズは $O(N)$ 時間で列挙可能であることは先に述べた通りであるが, これは接尾辞配列に対応する接尾辞木の内部ノードをたどりながら列挙する。この時に, 極大フレーズ $p$ に対応する ノードから祖先ノードをたどっていき, 対応する祖先ノードのフレーズ $p_{1}$ が $\lambda \cdot \operatorname{occ}\left(p_{1}\right)<\operatorname{occ}(p)$ である場合， $p_{1}$ は $\lambda$-極大フレーズの条件を満たさないため除外できる．接尾辞木のすべての内部ノードについて，このような処理を行うことで，除外されなかったフレーズは $\lambda$-極大であり，高々 $N-1$ 個の内部ノードに対し, $O(\log N)$ 回の文字列比較で出現頻度比較を行い, 根ノード から帰りがけ順で処理を行えば $O(N \log N)$ 回の文字列比較で $\lambda$-極大フレーズを列挙できる。ま た, 標準極大フレーズと同様に， $\lambda$-極大フレーズとその出現頻度は, $O(N \log N)$ 時間で頻度順 に列挙可能である.

## 4.2 部分構文木選択手法

本節では 4.1 節で述べた提案手法とは別に, 原言語コーパスの句構造解析結果に基くフレー ズ選択手法を提案する。本手法では，図 2 に示すように，翻訳候補となる原言語コーパスの全文を句構造解析器で処理し, 得られた構文木の全部分木をたどりながらフレーズを数え上げ, その後にフレーズを頻度順に選択する。これにより，木をまたがるようなフレーズ選択は行わ れないため, 句範疇が分断されるような問題は発生せず，選択されるフレーズは構文的にまと まった意味を持つと考えられる。本研究では選択されるフレーズが能動学習効率に与える影響 の調査を目的とするため，他の手法と比較しやすいように構文木をフレーズ抽出のみに用いて おり, そのため異なる構造の部分木であっても単語列が一致している場合には同一のものとし てカウントする.

本手法で選択された翻訳候補のフレーズは, 統語情報を用いない他の手法と比べて, 人手翻訳を行う際に有用で, 同じ追加単語数でも質の高い正解データが得られるものと期待できる.

$n$-gram 頻度や極大フレーズの選択手法では, 表層的な単語列を数え上げるため, "two methods are proposed" というフレーズがあると, その一部である “are proposed”も頻度に加えるが,構文木に基づく場合, 図 2 (b) に示すように “are proposed and discussed” の一部である “are proposed”は部分木をまたがるために頻度に加えない.このため, 構文木に基づくフレーズ選択手法では，フレーズの頻度が他の手法による表層的な数え上げよりも小さくなる傾向があり，結果として 2 単語以上からなるフレーズを選択する優先順位が低くなりやすい.

この手法では, 全部分木のフレーズを数え上げるため, 単語 $n$-gram 頻度に基づくフレーズ 選択手法と同様に，フレーズの重複により追加単語数あたりの能動学習効率に悪影響を及ぼす 可能性がある．従って， 4.1 節で提案した $\lambda$-極大フレーズと併用することで, 重複を取り除き,選択するフレーズを絞り込む手法も同時に提案する（ $\lambda$-極大部分構文木選択手法）.

(a) “are proposed” がカウントされる

(b) “are proposed” はカウントされない

図 2 構文木に基づく手法のフレーズカウント条件

## 5 シミュレーション実験

## 5.1 実験設定

4 節で提案したフレーズ選択手法が, 機械学習のための能動学習にどのような影響を与えるか を調査するため, 本研究では先ず，逐次的にフレーズの対訳を追加して翻訳モデルを更新するシ ミュレーション実験を実施し，各ステップにおける翻訳精度の比較評価を行った．本実験では，高精度な句構造解析器を利用可能な英語を原言語とし, 目的言語にはフランス語と日本語を選択した. 対訳コーパスが全く存在しない状態から能動学習を用いることも可能であるが，より 現実的な利用方法を考慮し, 一般分野の対訳コーパスが存在している状態に, 専門分野の追加 コーパスからフレーズを選択し，翻訳モデルの高精度化を目指す。英仏翻訳には, WMT $2014^{7}$ の 翻訳タスクで用いられた欧州議会議事録の Europarl コーパス8 (Koehn 2005) をべースとし, 医療翻訳タスクで用いられたデータのうち EMEA ${ }^{9}$ (Tiedemann 2009), PatTR ${ }^{10}$ (Wäschle and Riezler 2012), Wikipedia タイトルを合わせて追加コーパスとした. 英日翻訳には, 日常的な 英語表現を広くカバーする英辞郎例文データ11をべースの対訳コーパスとし, 科学論文の概要 を元に抽出された ASPEC ${ }^{12}$ (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) を追加の対訳コーパスとして用いた. 前処理として, 日本語コーパスの単語分割 には KyTea(Neubig, Nakata, and Mori 2011)を用いており, 句構造解析と単語アラインメント 推定の精度を確保するため, 学習用対訳コーパスのうち, 単語数が 60 を超える文の対訳は取り 除いた。前処理後の対訳データの内訳を表 1 にまとめる.

本実験では，逐次的なデータの追加とモデルの再学習を行うものの，各ステップで 1 フレー ズずつ追加するのでは数十万フレーズ以上ある翻訳候補すべての影響を現実的な時間で評価で きないと判断したため，ステップ毎の追加フレーズ数は次式に従い可変とした ${ }^{13}$.

$
\# \text { additional_phrases }=\left.\lfloor\frac{\# \text { accmulated_additional_phrases }}{10}\right.\rfloor+1
$

翻訳の枠組みには，フレーズベース機械翻訳 (Koehn, Och, and Marcu 2003)を用い, Moses ツールキット ${ }^{14}$ (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を利用して翻訳モデルの学習やデコードを行っ た. ただし, 少量の対訳を追加して単語アラインメントの再学習およびフレーズテーブルの再

表 1 対訳コーパスのデータ内訳（有効数字 3 桁）

 \\

構築を行うには計算コストが非常に大きい. そのため, 単語アラインメントには GIZA++(Och and Ney 2003) を逐次学習に対応させたinc-giza-pp ${ }^{15}$ を用いており, 翻訳モデルの学習には Moses の MMSAPT(Memory-mapped Dynamic Suffix Array Phrase Tables (Germann 2014)) 機能を利用して，フレーズ抽出を行わずに接尾辞配列による動的なフレーズテーブルの構築を行った。言語モデルの学習には KenLM (Heafield 2011)を用いて, ベースコーパスと追加コーパスの全学習用データから $n=5$ の $n$-gram 言語モデルを学習した. デコード時のパラメータ調整には MERT (Och 2003) を用いたが，フレーズ追加の度に最適化を行うのは時間的に現実的でないた め, ベースコーパス全文で学習した翻訳モデルに対して, 追加コーパス用の開発データセット で自動評価尺度の BLEU スコア (Papineni et al. 2002) が最大となるよう学習を行い, その後は パラメータを固定し能動学習を行った。能動学習に用いるフレーズ選択手法には従来手法と提案手法を含め, 以下のように8つのタスクを設定した.

## 文の乱択 (sent-rand):

追加コーパスの順序をシャッフルし，順次選択

## フレーズの乱択 (4gram-rand):

ベースコーパス中に含まれない追加コーパス中の単語数 4 以下のフレーズを列挙後に シャッフルし，順次選択

## 4-gram 頻度に基づく文選択 (sent-by-4gram-freq):

翻訳済みデータに含まれず, 単語数 4 以下で最高頻度のフレーズを含む文を順次選択 (ベー スライン, 3.1 節)

## 4-gram 頻度に基づくフレーズ選択 (4gram-freq):

翻訳済みデータに含まれず，単語数 4 以下で最高頻度のフレーズを順次選択（ベースラ イン, 3.2 節)

## 標準極大フレーズ選択手法 (maxsubst-freq):

翻訳済みデータに含まれず，追加コーパス中で最高頻度の標準極大フレーズを順次選択

(提案手法, 4.1 節)

## $\lambda$-極大フレーズ選択手法 (reduced-maxsubst-freq):

翻訳済みデータに含まれず，追加コーパス中で最高頻度の $\lambda$-極大フレーズ $(\lambda=0.5)$ を

順次選択（提案手法，4.1 節）

## 部分構文木選択手法 (struct-freq):

追加コーパスの句構造解析結果を元に，部分木を成すようなフレーズの中から翻訳済み

データに含まれず最高頻度のものを順次追加（提案手法， 4.2 節）

## $\lambda$-極大部分構文木選択手法 (reduced-struct-freq):

追加コーパスの句構造解析結果を元に，部分木を成すような $\lambda$-極大フレーズの中から翻

訳済みデータに含まれない最高頻度のものを順次追加（提案手法, 4.1 節, 4.2 節）

それぞれの手法で選択されたフレーズの正解訳を得るために，文の選択に対しては対応する 対訳文をそのまま選択，フレーズの選択に対してはべースコーパスと追加コーパスの全文を用 いて学習した翻訳モデルをオラクルとして，翻訳結果を対訳フレーズとした。構文木に基づく 手法では，句構造解析を行うために Ckylark ${ }^{16}$ (Oda, Neubig, Sakti, Toda, and Nakamura 2015) を使用した ${ }^{17}$. maxsubst-freq や reduced-maxsubst-freq では出現頻度 1 のものを取り除くこと を 4.1 節で述べたが，文を含まないフレーズの出現頻度を扱う他の全ての手法においても条件 を揃えるために，出現頻度 1 のフレーズは除外した ${ }^{18}$.

## 5.2 実験結果

能動学習効率の比較 : シミュレーション実験により得られた結果から，追加単語なし, 1 万単語追加直後, 10 万単語追加直後, 100 万単語追加直後, 全フレーズ追加時点における各手法

の BLEU スコアの推移を表 2 に示す 19 ，全フレーズ追加時点でのスコアは，各手法で選択され うるフレーズの全対訳を用いて学習した翻訳精度であるため, 各手法の性能限界と考えられる が，追加される単語数が大きく異なるため能動学習効率という観点では単純比較ができない.

この表から， 2 つの乱択手法と 2 つのベースライン手法と比較した場合, 10 万単語追加直後 までは安定して 4gram-freq での精度の伸びが良く, 文全体ではなく高頻度のフレーズのみを 選択することによる利点を確認できる。ただし，英仏翻訳における 100 万単語追加時点では， 4gram-freq のスコアが sent-by-4gram-freq を下回っており，また，両言語対における全フレー ズ追加時点では 4gram-freq のスコアが sent-by-4gram-freq や sent-rand を下回っていることか ら，一定量以上の単語数を追加する場合には 4gram-freq では文選択手法より能動学習効率が低下し, 性能限界も高くないことが分かる。これは, 3.2 節でも述べたように, 4gram-freqでは選択されるフレーズの最大長が 4 単語までに制限されており，より長いフレーズの対応を学習で きないことが翻訳する上で不利であるためと考えられる.

次に，提案手法とベースライン手法との比較を行う，提案手法の中では, reduced-maxsubst-

表 2 各手法における BLEU スコアの推移（100万単語追加直後までの各時点において下線は乱択手法 とべースライン手法の中でスコア最大であることを示し，このスコアを上回る提案手法のスコアを ボールド体で示す。また，全手法でスコア最大のものには短剣符†を付記した.）

freq は maxsubst-freq よりほぼ常に高スコアであり, reduced-struct-freq は struct-freq よりほ ぼ常に高スコアであったため， $\lambda$-極大性を利用して長いフレーズを優先することで，結果的に 少ない単語数でカバレッジが向上したと考えられる。このため, $\lambda$-極大性を利用する 2 つの提案手法と 2 つのベースライン手法との, より詳細な比較を行いたい.

図 3 には，それぞれの言語対で 10 万単語まで追加した場合と 100 万単語まで追加した場合の 追加単語数と翻訳精度の変化を示す。また, ベースコーパスと追加コーパスの全対訳データを 用いて学習・評価したスコアをオラクルスコアとして，右側の 100 万単語追加までのグラフに 併せて示す.

reduced-maxsubst-freq は, 英日翻訳ではベースライン手法よりも安定して高いスコアであった が, 英仏翻訳では 100 万単語追加時点まで 4 gram-freq とほぼ同程度のスコアとなった。ただし,両言語対において全フレーズ追加時点でのスコアは 4 gram-freq や 4 gram-rand を大きく上回っ

図 3 追加単語数あたりの BLEU スコア（左上：10 万単語まで追加の英仏翻訳, 右上 : 100 万単語まで 追加の英仏翻訳, 左下：10万単語まで追加の英日翻訳，右下：100万単語まで追加の英日翻訳）

ているため性能限界は高く, 提案手法では先述のような最大フレーズ長制限の問題が発生しない ことが大きな原因と考えられる。また，英仏翻訳において reduced-maxsubst-freq と 4gram-freq で大きな差が見られなかった原因として, 両手法で選択された高頻度フレーズを見たところ, 最高頻度順に “according to claim”（1,502,455 回), “claim 1”（1,133,243 回), "characterized in that”（858,404 回）などと共通のフレーズが選択されており，1節で述べたような，フレーズ間 の重複はあまり発生しておらず，句範疇の断片化の方が目立っていた．複数の高頻度な 4-gram フレーズが共通の部分単語列を多く有するという状態は, 特に高頻度の $n>4$ 単語からなる長 い未カバーフレーズが出現する場合であり，本実験で用いた医療文書コーパス中の高頻度の長 いフレーズは，専門的な表現をあまり含んでいないために一般分野の大規模コーパス中に既に 含まれていたことが原因と考えられる。一方, 英日翻訳では, 4gram-freq で選択された高頻度フ レーズは "results suggest that”（6,352 回), "these results suggest” (5,115 回), "these results suggest that”（4,791 回）などのように多くの重複が見られ, reduced-maxsubst-freq では, こ ういったフレーズを 1 つにまとめられたことが大きいと考えられる。特に，英日翻訳で用いた 一般分野のコーパスは訳 40 万文と比較的小規模であり，日常表現をまとめたものであるため長 いフレーズはあまりカバーされていなかったことの影響もあるだろう。 reduced-struct-freq は, 両言語対においてほぼ安定して最高スコアのフレーズ選択手法であっ た. 英日翻訳における 10 万単語追加時点のみ, reduced-maxsubst-freqが最大スコアとなってい るが僅差であり，学習曲線の振れ幅も大きいため誤差の範囲であろう 20 . 特に英仏翻訳シミュ レーション結果では, 最初から reduced-struct-freq や struct-freq での精度の伸びが良く, 他の 手法よりも精度が大きく上回り, 100 万単語追加時点でも差はほとんど縮まらなかった. 一方 で，英日翻訳の追加単語数が少ないうちは reduced-maxsubst-freq や 4gram-freq とあまり大き な差は見られなかったが，約 4 万単語追加時点から他の手法よりも精度が高くなっており，約 50 万単語追加時点からはフレーズ選択手法の精度がほぼ横這いとなった。

選択されたフレーズ長の傾向：手法毎に翻訳対象のフレーズ選択基準が異なるため, フレー ズ長制限の有無や重複の削減方法の違いによって, 翻訳対象を選び尽くした場合のフレーズ数等に大きな差が出ることになる.フレーズ頻度に基づくそれぞれの手法によって選択されるフ レーズの傾向を調べるため, 翻訳候補を全て追加し終えた時点および約 1 万単語のみ追加した 時点でのフレーズ数, 単語数, 平均フレーズ長を表 3 にまとめる。全翻訳対象を翻訳し終えた時点でカバレッジが収束するため, 翻訳対象の単語数が少ないほどカバレッジの収束が速く，翻訳精度が向上しやすいと考えられる。一方, 一度に追加するフレーズが長いほど, 同時に複数 の $n$-gram をカバーできるため, 平均フレーズ長が大きいほど 4 -gram カバレッジ等を向上させ

表 3 手法ごとに選択されるフレーズ内訳（有効数字 3 桁）

る上で有利と考えられる。提案手法によって選択されたフレーズの平均フレーズ長が英日翻訳 で 3.03 3.58 単語, 英仏翻訳で 5.30 6.68 単語と大きく差が開いているが, これは原言語側の ベースコーパスと追加コーパスの組み合わせのみに依存しており, 目的言語には当然依存しな い.また, 表 3 のフレーズ頻度に基づく手法において, 全フレーズ追加時の平均フレーズ長に 比べ, 1 万単語追加時の平均フレーズ長が短いことを確認できる．短いフレーズほど高頻度と なりやすく優先的に選択されるため当然であるが，構文木に基づく手法では 1 万単語追加時点 の平均フレーズ長が極端に小さくなっており, 長いフレーズの頻度が大幅に下がりやすい傾向 が見られる.

カバレッジの影響：また，各手法によって，翻訳済みのデータが実際に評価データをどの程度カバーしているかを調査する。各手法でフレーズを 1 つずつ選択していき，追加単語数が 1 万，10万，100万にそれぞれ達する時点での評価データの 1-gram カバレッジおよび 4-gram カバ レッジを表 4 にまとめる。この結果から, reduced-struct-freqではどの場合でも最も 1-gram カ バレッジが向上していることが分かり，効率的に未知語がカバーされることになる. struct-freq や， reduced-struct-freq において，他の手法よりも高い 1-gram カバレッジを得られた理由とし ては， 4.2 節で述べたように木構造に基づくフレーズ選択手法では, 表層的な単語列の出現回数ではなく特定の部分木の句範疇をなすフレーズとして出現頻度を数え上げるため, 2 単語以上からなるフレーズの頻度は大きく低下し，優先的に高頻度の未カバー 1-gram を選択したこ との影響が大きいと考えられる。一方で，4-gram カバレッジに関しては， 3 単語以下のフレー ズを追加しても全く影響が出ないため，長いフレーズを追加する方が有利であることは明らか であり, sent-by-4gram-freq で最も効率的に向上が見られる. 英仏翻訳では, 1 万単語追加時点

で 4-gram カバレッジの上 4 桁に変化が見られなかった。このように，フレーズ選択時に長い フレーズを選ぶか，短いフレーズを選ぶかは，カバレッジの影響を考える際にトレードオフの 関係が生じるが， $\lambda$-極大性に基いて重複を取り除くことによって，1-gram カバレッジと 4-gram カバレッジを両立して向上させられることが確認できた.

削減された単語数：3.2 節では, 4gram-freq の問題として, 選択されるフレーズ間で重複して 出現する共通の部分単語列が多いことを挙げ，この問題に対処するために 4.1 節で $\lambda$-極大フレー ズ選択手法を提案した. 表 5 に, 4gram-freq で 1 万単語追加直後, 10 万単語追加直後, 100 万単語追加直後の各時点で選択されたフレーズが, maxsubst-freq や reduced-maxsubst-freq でよ り長いフレーズに統合されて削減された単語数と割合をまとめる．表から，英仏翻訳において

表 4 各フレーズ選択手法がカバレッジに与える影響（小数点第三位を四捨五入， ボールド体は一定の 単語数追加時点でのカバレッジ最大値を示す

表 54 gram-freqで重複して選択されるフレーズの提案手法による削減量

も英日翻訳においても, maxsubst-freq では $1 \%$ から $4 \%$ 程の少量の単語数しか削減できていない が, これは 4.1 節で述べたように，標準極大フレーズでは包含関係にあるフレーズの出現頻度が 完全一致するという厳しい制約があるため, 多くのフレーズが極大フレーズとなったことに起因する。一方, 両言語対において, reduced-maxsubst-freq では $24.70 \%$ 以上, 最大で $50.79 \%$ の 単語が削減された。この結果からも, フレーズの出現頻度の一致条件を緩めることで, 包含さ れたフレーズを効果的により多く削減することができると言えるだろう.

## 6 人手翻訳実験

## 6.1 実験設定

前節のシミュレーション実験で得られた結果が, 現実の人手翻訳による能動学習を行う際に も有効と言えるかどうかを調査するため，外部委託機関を通じて翻訳作業を依頼し，それによっ て得られた結果を用いて従来手法との比較評価を行った。特に，翻訳に要した実作業時間や，得られる対訳の自信度評価も能動学習の効果を比較する上で重要である。

人手翻訳の依頼を行うため, 図 4 に示すような作業用ユーザーインターフェイスを持つ Web ページを作成した。翻訳対象のフレーズのみ提示されても翻訳が困難であったり多くの時間が 必要となる可能性があるため, Bloodgood らの実験手法 (Bloodgood and Callison-Burch 2010) に従い，翻訳候補のフレーズを含むような文を表示して文脈を明らかにした上で，ハイライト されたフレーズのみを翻訳するよう依頼した。フレーズを含む文は複数存在し得るが，本実験 では単純に最も短い文を選択して表示した。各フレーズの翻訳後には, 翻訳者がその翻訳結果 にどの程度確証を持てるかという主観的な自信度を 3 段階で評価するよう併せて依頼した．翻訳時の自信度評価は表 6 に掲載した翻訳作業ガイドラインを基準とし, 翻訳が困難で自信度評価が 1 の場合のみ，翻訳のスキップを許容した。また，翻訳候補が表示されてから対訳が送信 されるまでの時間の記録も行った。

図 4 人手翻訳ユーザーインターフェイスのイメージ
表 6 翻訳作業ガイドライン

比較評価に用いたフレーズ選択手法には, ベースラインとして従来手法の $n=4$ における単語 $n$-gram 頻度に基づく文選択手法 (sent-by-4gram-freq) および単語 $n$-gram 頻度に基づくフレー ズ選択手法 (4gram-freq)の 2 つを, 提案手法として, 前節のシミュレーション実験で最も高い能動学習効率を示した $\lambda$-極大部分構文木選択手法 (reduced-struct-freq) を用いて比較評価を行っ た。翻訳作業を行ったのは専門の翻訳者 3 名であり, それぞれの手法で 1 万単語以上のフレー ズに対する翻訳が得られるよう発注を行った。翻訳者毎の能力や評価の偏りによる影響を小さ くするため, 毎回異なる手法からフレーズを選択して新しい翻訳対象の表示を行った.

実験に用いたデータやツールは，英日翻訳のシミュレーション実験で用いたものと同一であ る (5 節)。しかし, 人手翻訳によって収集した対訳データは, ベースシステムの学習に用いた 対訳データと比較して非常に小規模であり, 追加されたフレーズ対が与える影響が非常に小さ くなってしまう可能性があるため, フレーズ対を追加する度に, ベースシステムの対訳データ

と収集した追加データで個別に 5-gram 言語モデルを学習し, 開発用データセットにおけるパー プレキシティが最小となるよう SRILM (Stolcke 2002)を用いて二者を線形補間で合成して用い $た^{21}$.

## 6.2 実験結果

能動学習効率 : 図 5 のグラフは，本実験で収集した対訳データを用いて翻訳モデルを学習した 際の翻訳精度の推移を表している。翻訳者が翻訳をスキップしたフレーズに関しては, 追加単語数には含めず，累計作業時間には含めているが，実際にスキップされたフレーズ数は極少数で あったため, この影響は小さい. 左のグラフから, reduced-struct-freq で, 従来手法よりも急激 に翻訳精度が向上している様子が分かる. クラウドソーシングのような形で翻訳作業を委託する 際には, 文章量, 特に単語数に応じた予算が必要となることから (Bloodgood and Callison-Burch 2010), こういった状況では提案手法で高い費用対効果を発揮できることになる. 一方, 右のグ ラフから, 作業時間あたりの能動学習効率は, 4gram-freq を上回ることはなかった. これは,前節でテーブル 4 をもとに議論したように, 部分構文木選択手法では, 未カバーの 1-gram, 即 ち未知語を優先的にカバーする傾向があるため, 本実験夕スクでは科学分野の専門用語が多く,翻訳に多くの時間を要したものと考えられるため，後の議論で詳細な分析を行う.

作業時間と自信度評価: 表 7 に, 各手法で 1 万単語をすべて翻訳し終えるのに要した時間と, 3

図 5 各手法における追加単語数あたりの BLEU スコア推移（左）と累計作業時間あたりの BLEU スコ ア推移（右）
(e)$ とすると, 2 つの言語モデル $L_{1}, L_{2}$ を線形補間で合成したモデ ル $L_{1+2}$ の生起確率は $P_{L_{1+2}}(e)=\alpha P_{L_{1}}(e)+(1-\alpha) P_{L_{2}}(e)$ となる. $\alpha$ は 0 から 1 の間を取る補完係数であり,開発用データ $E_{d e v}$ に対して, $P P L\left(E_{d e v}\right)=\exp \left(\frac{\sum_{e \in E_{d e v}}-\log P_{L_{1+2}}(e)}{\left|E_{d e v}\right|}\right)$ が最小となるように調整される.
}
段階で主観評価を行った自信度評価の統計値をまとめる. 表 8 は, 各手法で選択されたフレーズ 数の内訳である。提案手法では，合計作業時間が他の手法の倍近い値になっているが，提案手法 では先述のように専門用語を重点的に選択する傾向が確認されており, 表 8 からは, 4gram-freq と比較していて 4 倍近い数の未知語が選択され，全体的なフレーズ数も多いことが大きな要因 であろう。一方で，選択されたフレーズの翻訳作業に対する自信度評価は提案手法が最大で，全体の約 $79 \%$ のフレーズ翻訳作業で最大評価の 3 が選択されており，質の高い対訳を得られた と考えられる。この結果は, 句構造を保つようなフレーズが選択されることで, 構文的に対応 の取れた翻訳を行えた点が大きく影響していると考えられる.

表 9 には，各手法で選択されたフレーズの翻訳に要した平均時間の傾向を示す。手法の内外 で翻訳候補のフレーズ長に大きく差があり，単純な比較を行うことができないため，フレーズ 長に応じて個別に平均作業時間を求めて比較を行うことにした。この表から， 1 単語の翻訳作業に要した平均時間は，2４単語からなるフレーズの翻訳よりも長くなるという現象が見られ るが, 未カバーの単語はほとんどが専門用語であるため, 辞書やオンライン検索で慎重に意味 を調べる必要性を考えれば納得できる。また，これらは 1 フレーズの翻訳に要した平均時間で あるため, 1 単語の翻訳に要する時間コストとして換算した場合, 1 単語フレーズの翻訳時間は

表 7 合計実作業時間と自信度評価の統計

表 8 各手法で選択されたフレーズ数の内訳

表 9 各手法におけるフレーズの翻訳に要した平均時間

2 単語フレーズの単語翻訳時間の倍以上であり, 専門用語の翻訳に要するコストがいかに大き いかが分かる.

各手法におけるフレーズ長ごとの平均自信度評価を表 10 に示す。この表から，提案手法では 1 単語の翻訳時の平均自信度はベースライン手法よりも低くなっているのが分かるが, ベース ライン手法では 1 単語のみ選択されることが少なく, 提案手法では多くの専門用語が選択され たことが原因と考えられる。一方で，従来手法ではフレーズ長が長くなるほど劇的に自信度が 下がる傾向が見られるが，提案手法においては長いフレーズに対しても安定して高い自信度が 得られており，構文的に整ったフレーズを選択する手法の有効性が如実に現れている。専門用語の対訳を得るには時間がかかるが，調べれば対応する訳語を得られる可能性も高いため，対訳の自信度が高くなる傾向も見られた。

自信度帯による翻訳精度 : 各手法によって得られたフレーズ対をすべて学習に用いた場合の 翻訳精度を表 11 に示す。また，それぞれのフレーズ対に自信度評価が記録されているため，最低保証値を定めて全フレーズ対のうち自信度が 2 以上や 3 のフレーズ対のみを学習に用いた翻訳モデルの評価も行った。その結果, どの手法においても自信度 1 の対訳を除去して 2 以上の フレーズ対のみを用いた場合の方が，全フレーズ対を用いる場合よりも翻訳精度の向上が見ら れた。一方，自信度 3 の対訳のみを用いる場合は精度がかえって減少したが，これは大幅に対訳 データを削ってしまうことによる悪影響であろう，追加データ無しのベースシステムでは BLEU スコアが約 $9.37 \%$ であったが, 提案手法によって収集した 1 万単語分の追加デー夕のうち自信度 2 以上のものを用いて翻訳モデルを学習することで，BLEU スコアは約 $10.72 \%$ となり, 約 1.35 ポイントの翻訳精度向上を達成することができた。

表 10 各手法におけるフレーズ長ごとの平均自信度評価

表 11 保証値以上の自信度を持つフレーズ対のみを学習に用いた場合の翻訳精度

 & 自信度 2 以上 & 自信度 3 \\

4gram-freq & 10.48 & 10.54 & 10.36 \\
reduced-struct-freq & 10.70 & $\mathbf{1 0 . 7 2}$ & 10.67 \\

## 7 まとめ

本研究では, 機械翻訳のための能動学習における, 新しいフレーズ選択手法として, フレー ズの極大性を導入し，それをパラメータ $\lambda$ で一般化して頻度順に追加する $\lambda$-極大フレーズ選択手法と, 句構造解析結果から部分木のみを頻度順に選択する部分構文木選択手法, およびそれ らの組み合わせである $\lambda$-極大部分構文木選択手法を提案した。提案手法の有効性を調査するた め, 先ず，人手翻訳によるアノテーション作業を擬似的にSMT で行うシミュレーション実験を 実施したところ，㔯長に選択されるフレーズを $\lambda$-極大性に基づいて削減することで，従来より 少ない追加単語数で精度向上を達成することができた。また， $\lambda$-極大部分構文木選択手法が実際の人手翻訳に与える影響を調査するため，人手翻訳実験を実施したところ，翻訳精度と翻訳者の自信度評価のどちらにおいても従来手法より高い結果が得られた。

しかし, 今回用いた手法では専門用語が重点的に選択されるため, 従来のフレーズ選択手法 よりも長い翻訳時間を要することも示された。そのため，翻訳時間を短縮しつつ，有効にモデ ルを高度化させられるような能動学習手法を考案することが今後の課題である. 具体的には,未知語の獲得手法 (Daumé III and Jagarlamudi 2011)や，時間効率を最適化するフレーズ選択手法 (Sperber et al. 2014) が改善の手がかりとなり得る。また，フレーズ中の部分フレーズを “one of the preceding X”のように変数でテンプレート化する手法 (Chiang 2007) を用いて能動学習に利用する手法の検討も興味深いと考えている.

## 謝 辞

本研究は，（株）ATR-Trekの助成を受け実施されたものです.また，（株）バオバブには人手翻訳実験のための翻訳作業を支援して頂きました。

## 参考文献

Ananthakrishnan, S., Prasad, R., Stallard, D., and Natarajan, P. (2010a). "A Semi-Supervised Batch-Mode Active Learning Strategy for Improved Statistical Machine Translation." In Proceedings of CoNLL, pp. 126-134.

Ananthakrishnan, S., Prasad, R., Stallard, D., and Natarajan, P. (2010b). "Discriminative Sample Selection for Statistical Machine Translation." In Proceedings of EMNLP, pp. 626-635.

Bloodgood, M. and Callison-Burch, C. (2010). "Bucking the Trend: Large-Scale Cost-Focused

Active Learning for Statistical Machine Translation." In Proceedings of ACL, pp. 854-864.

Brown, P. F., Pietra, V. J., Pietra, S. A. D., and Mercer, R. L. (1993). "The Mathematics of

Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19, pp. 263-312.

Chiang, D. (2007). "Hierarchical Phrase-Based Translation." Computational Linguistics, 33 (2), pp. 201-228.

Daumé III, H. and Jagarlamudi, J. (2011). "Domain Adaptation for Machine Translation by Mining Unseen Words." In Proceedings of ACL, pp. 407-412.

Eck, M., Vogel, S., and Waibel, A. (2005). "Low Cost Portability for Statistical Machine Translation based in N-gram Frequency and TF-IDF." In Proceedings of IWSLT, pp. 61-67.

Germann, U. (2014). "Dynamic Phrase Tables for Machine Translation in an Interactive Postediting Scenario." In Proceedings of AMTA 2014 Workshop on Interactive and Adaptive Machine Translation, pp. 20-31.

González-Rubio, J., Ortiz-Martínez, D., and Casacuberta, F. (2012). "Active Learning for Interactive Machine Translation." In Proceedings of EACL, pp. 245-254.

Green, S., Wang, S. I., Chuang, J., Heer, J., Schuster, S., and Manning, C. D. (2014). "Human Effort and Machine Learnability in Computer Aided Translation." In Proceedings of EMNLP, pp. 1225-1236.

Haffari, G., Roy, M., and Sarkar, A. (2009). "Active Learning for Statistical Phrase-based Machine Translation." In Proceedings of NAACL, pp. 415-423.

Haffari, G. and Sarkar, A. (2009). "Active Learning for Multilingual Statistical Machine Translation." In Proceedings of ACL, pp. 181-189.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of WMT, pp. 187-197.

Kasai, T., Lee, G., Arimura, H., Arikawa, S., and Park, K. (2001). "Linear-Time LongestCommon-Prefix Computation in Suffix Arrays and Its Applications." In Proceedings of CPM, pp. 181-192.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Lin, D. and Wu, D. (Eds.), Proceedings of EMNLP, pp. 388-395.

Koehn, P. (2005). "Europarl: A Parallel Corpus for Statistical Machine Translation." In MT Summit, Vol. 5, pp. 79-86.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of ACL, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Pro-
ceedings of NAACL, pp. 48-54.

三浦明波, Graham Neubig, Michael Paul, 中村哲 (2015). 構文木と句の極大性に基づく機械翻訳のための能動学習. 情報処理学会 第 224 回自然言語処理研究会 (SIG-NL), 19 号, pp. 1-7.三浦明波, Graham Neubig, Michael Paul, 中村哲 (2016). 構文情報に基づく機械翻訳のための能動学習手法と人手翻訳による評価. 言語処理学会第 22 回年次大会 (NLP2016), pp. 605-608. Miura, A., Neubig, G., Paul, M., and Nakamura, S. (2016). "Selecting Syntactic, Non-redundant Segments in Active Learning for Machine Translation." In Proceedings of NAACL, pp. 20-29.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of LREC, pp. 2204-2208.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of ACL, pp. 529-533.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of $A C L$, pp. 160-167.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Oda, Y., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2015). "Ckylark: A More Robust PCFG-LA Parser." In Proceedings of NAACL, pp. 41-45.

Okanohara, D. and Tsujii, J. (2009). "Text Categorization with All Substring Features." In Proceedings of SDM, pp. 838-846.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of ACL, pp. 311-318.

Settles, B. and Craven, M. (2008). "An Analysis of Active Learning Strategies for Sequence Labeling Tasks." In Proceedings of EMNLP, pp. 1070-1079.

Sperber, M., Simantzik, M., Neubig, G., Nakamura, S., and Waibel, A. (2014). "Segmentation for Efficient Supervised Language Annotation with an Explicit Cost-Utility Tradeoff." TACL, 2, pp. 169-180.

Stolcke, A. (2002). "SRILM—An Extensible Language Modeling Toolkit." In Proceedings of ICSLP, pp. 901-904.

Tiedemann, J. (2009). "News from OPUS-A Collection of Multilingual Parallel Corpora with Tools and Interfaces." In Proceedings of RANLP, Vol. 5, pp. 237-248.

Tomanek, K. and Hahn, U. (2009). "Semi-Supervised Active Learning for Sequence Labeling." In Proceedings of ACL, pp. 1039-1047.

Turchi, M., De Bie, T., and Cristianini, N. (2008). "Learning Performance of a Machine Transla-
tion System: A Statistical and Computational Analysis." In Proceedings of WMT, pp. 35-43. Wäschle, K. and Riezler, S. (2012). "Analyzing Parallelism and Domain Similarities in the MAREC Patent Corpus." Multidisciplinary Information Retrieval, pp. 12-27.

Yamamoto, M. and Church, K. W. (2001). "Using Suffix Arrays to Compute Term Frequency and Document Frequency for All Substrings in a Corpus." Computational Linguistics, 27 (1), pp. 1-30.

## 略歴

三浦明波：2013 年イスラエル国テクニオン・イスラエル工科大学コンピュー タ・サイエンス専攻卒業. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同大学院博士後期課程在学. 機械翻訳, 自然言語処理に関する研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

Graham Neubig: 2005 年米国イリノイ大学アーバナ・シャンペーン校工学部 コンピュータ・サイエンス専攻卒業. 2010 年京都大学大学院情報学研究科修士課程修了． 2012 年同大学院博士後期課程修了．2012～2016 年奈良先端科学技術大学院大学助教. 現在, カーネギーメロン大学言語技術研究所助教, 奈良先端科学技術大学院大学客員准教授. 機械翻訳, 自然言語処理に関する研究に従事.

Michael Paul: 1988 年ドイツサーランド大学コンピュータ・サイエンス専攻卒業. 2006 年神戸大学工学博士. 1995 年 ATR 音声翻訳通信研究所研究員, 2000 年 ATR 音声言語コミュニケーション研究所主任研究員, 2006 年 (独) 情報通信研究機構研究センター主任研究員. 2013 年株式会社 ATR-Trek. 音声翻訳，自然言語処理に関する研究・ビジネスソリューション開発に従事．第 58 回前島密賞受賞, アジア太平洋機械翻訳協会 (AAMT) 長尾賞受賞.

中村 哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学工学

博士. シャープ株式会社. 奈良先端科学技術大学院大学助教授, 2000 年 ATR 音声言語コミュニケーション研究所室長, 所長, 2006 年 (独) 情報通信研究機構研究センター長, けいはんな研究所長などを経て, 現在, 奈良先端科学技術大学院大学教授. ATR フェロー. カールスルーエ大学客員教授. 音声翻訳,音声対話, 自然言語処理の研究に従事. 情報処理学会喜安記念業績賞, 総務大臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞. ISCA 理事, IEEE SLTC 委員, IEEEフェロー.

(2016年 11 月 8 日 受付)

(2017 年 2 月 2 日 再受付)

(2017 年 3 月 2 日 採録)