# 特許請求項に特有の文構造に基づく英中日特許請求項翻訳

富士 秀 ${ }^{\dagger} \dagger \dagger$ ・藤田 篤 $\dagger \cdot$ 内山 将夫 $^{\dagger} \cdot$ 隅田英一郎 ${ }^{\dagger}$ 松本 裕治 $^{\dagger}$

近年の統計的機械翻訳の進展によって特許文翻訳の精度は大きく向上したが, 特許文中で特に重要性の高い特許請求項文に対する翻訳精度は依然として低い. 特許請求項文は，(1) 極めて長い 1 文から構成される，(2) 特殊な文構造を持っている，と いう 2 つの特徴を持つサブ言語であるとみなせる. そしてこれらが翻訳精度の低さ の原因となっている。本論文では，サブ言語に特有の特徴を処理する枠組みの導入 によって, 特許請求項の翻訳精度を向上させる手法について述べる。提案手法では,同期文脈自由文法を用いて原言語文が持つサブ言語に特有の文構造を目的言語側の 文構造に変換することにより，適切な文構造を持った訳文を生成する。さらに本手法では, 文全体ではなく, 文を構成する構造部品を翻訳の処理単位とすることによ り長文の問題に対処する. 英日 -日英・中日・日中の 4 翻訳方向で評価実験を行っ たところ, 全翻訳方向において RIBES 值が 25 ポイント以上向上し, 本手法によっ て訳文品質が大幅に改善したことがわかった. 英日・日英翻訳ではさらに BLEU 值 が 5 ポイント程度, 中日・日中では 1.5 ポイント程度向上した.

キーワード：文構造, 統計的機械翻訳, 特許請求項文, 同期文脈自由文法
## Patent Claim Translation based on Sublanguage-specific Sentence Structure

\author{
Masaru Fuji $^{\dagger, \dagger \dagger}{ }^{\dagger}$, Atsushi Fujita ${ }^{\dagger}$, Masao Utiyama ${ }^{\dagger}$, Eilchiro Sumita ${ }^{\dagger}$ and \\ Yuji Matsumoto ${ }^{\dagger \dagger}$
}

Patent claim sentences, despite their legal importance in patent documents, still pose difficulties for state-of-the-art statistical machine translation (SMT) systems owing to their extreme lengths and their special sentence structure. This paper describes a method for improving the translation quality of claim sentences, by taking into account the features specific to the claim sublanguage. Our method overcomes the issue of special sentence structure, by transferring the sublanguage-specific sentence structure from the source language to the target language, using a set of synchronous context-free grammar rules. Our method also overcomes the issue of extreme lengths by taking the sentence components to be the processing unit for SMT. An experiment demonstrates that our proposed method significantly improves the translation quality in terms of RIBES scores by over 25 points, in all of the four translation directions i.e., English-to-Japanese, Japanese-to-English, Chinese-to-Japanese and Japanese-toChinese directions. Alongside the improvement in RIBES scores, improvements of

approximately five points in BLEU scores are observed for English-to-Japanese and Japanese-to-English directions, and that of 1.5 points are observed for Chinese-toJapanese and Japanese-to-Chinese directions.

Key Words: Sentence Structure, Statistical Machine Translation, Patent Claim Sentences, Synchronous Context-free Grammar

## 1 はじめに

日英間や日中間のような, 文法構造の大きく異なる言語間における特許文書を対象とした統計的機械翻訳の精度は, 利用可能な特許対訳コーパスのデータ量の増加に加え, 構文解析にもとづ く単語並べ替え技術 (Isozaki, Sudoh, Tsukada, and Duh 2010b; de Gispert, Iglesias, and Byrne 2015) の進展によって大きく向上した (Goto, Utiyama, Sumita, and Kurohashi 2015). しかし 特許明細書中の請求項文は, 特に重要性が高いにもかかわらず，明細書中の他の文と比較して も依然として翻訳が困難である。

特許請求項文は, 以下の 2 つの特徵を持つサブ言語 (Buchmann, Warwick, and Shann 1984; Luckhardt 1991) と考えることができる.1つ目の特徴は, 非常に長い単一文で構成されること であり，2つ目の特徴は，対象言語に依存しない部品のセットから構成されるということであ る. 特許請求項翻訳の困難さは，まさにこれらの 2 つの特徴に根差している. 1 つ目の特徴で ある特許請求項文の長さによって, 事前並べ替え等で用いられる構文解析器が解析誤りを生じ る可能性が高くなり，ひいては事前並べ替えの精度が下がる．２つ目の特徴であるサブ言語に 特有の文構造は, 特許明細書の他の部分で学習された統計的機械翻訳を用いるだけでは正確に とらえることができない.

本稿では, 特許請求項文に対する統計的機械翻訳の精度を向上させるための手法について述 べる. なお以降の説明では, 特許請求項を構成する要素を「構造部品」と呼ぶ. 我々は, 前述 の特許請求項文の特徵に起因する問題を解決するためのモジュールを追加した統計的機械翻訳 の枠組みを構築した。サブ言語に特有の文構造に基づく我々の手法は 2 つの狙いがある. (1) 事前並べ替えおよび統計的機械翻訳処理を，入力文全体にではなく, 文の構造部品を単位として 実行する。この構成により事前並べ替えおよび機械翻訳への入力を実質的に短縮し, 結果とし て翻訳精度を向上させる。(2) 特許請求項文の文構造を明示的に捉えた上で翻訳を行うことによ り構造的に自然な訳文を生成できるようにする。具体的には，言語非依存の構造部品を得るた めの同期文脈自由文法規則および正規表現を人手で構築し, これら構造部品を非終端記号とし た同期文脈自由文法を用いることによって，原文の文構造を訳文の文構造に反映させる.

我々は，英日・日英・中日・日中の 4 言語対の翻訳について上記提案手法を適用し，その効果を定量的に評価した．提案手法を事前並べ替えと併用した場合に，英日・日英・中日・日中

の 4 言語方向すべての翻訳実験において翻訳品質が RIBES 值 (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010a) で 25 ポイント以上向上した.これに加えて, 英日・日英翻訳では BLEU 値が 5 ポイント程度, 中日・日中翻訳では 1.5 ポイント程度向上した. 英中日 3 言語の請求項文構造 を記述するための共通の構造部品は 5 種類のみであり, これら構造部品を単位として記述した 英日・日英・中日・日中の 4 言語方向の同期文脈自由文法の規則はそれぞれ 10 個以内である.非常に少ない数で，この翻訳精度改善を実現することができた.

## 2 関連研究

語順の大きく異なる言語間の機械翻訳の品質は, 構文情報を取り込む近年の研究によって大幅 に向上した (Collins, Koehn, and Kucerova 2005; Quirk, Menezes, and Cherry 2005; Katz-Brown and Collins 2008; Sudoh, Suzuki, Tsukada, Nagata, Hoshino, and Miyao 2013; Hoshino, Miyao, Sudoh, and Nagata 2013; Cai, Utiyama, Sumita, and Zhang 2014; Goto, Utiyama, Sumita, and Kurohashi 2015).この構文情報を取り込む手法を産業文書等のサブ言語を構成する文書に適用 するためには, サブ言語に特有の情報を取り込む必要があると考えられている (Buchmann et al. 1984; Luckhardt 1991). 産業文書等に見られるサブ言語の特徴としては, 一文が非常に長い ことと, 特殊な文構造を持っていることがあげられる. このため, 長文を含む入力においてサ ブ言語に特有の文構造を適切に扱うことが課題となる。

ヨーロッパ言語間のように語順が近い言語間では, 長文を構成する複数の節を連結する談話連結詞 (discourse connective) の曖昧性を解決することによって訳文の文構造が改善することがわかっ ている (Miltsakaki, Dinesh, Prasad, Joshi, and Webber 2005; Pitler and Nenkova 2009; Meyer, Popescu-Belis, Zufferey, and Cartoni 2011; Hajlaoui and Popescu-Belis 2012; Meyer, PopescuBelis, Hajlaoui, and Gesmundo 2012).これに対して語順の大きく異なる言語間では, 談話連結詞を扱うだけでは不十分であり，例えば長い並列句を含むような原文の文構造を把握して訳文 の文構造に変換するような, 文構造変換を行う必要がある.

文構造変換の1つの手法として, 入力文に対する何らかの解析を行ってから訳文構造に変換する様々な研究が行われてきた。初期の研究では, 日英翻訳における文構造変換を目的とし て, 修辞構造理論 (RST: rhetorical structure theory) に基づくパーザを用いて得られた入力文 の修辞構造を目標言語の構造に変換する手法が提案されている (Marcu, Carlson, and Watanabe 2000). これを発展させた研究としては, RST パーザで得られた結果から目標言語構造への変換規則を自動獲得する研究も行われている (Kurohashi and Nagao 1994; Wu and Fung 2009; Joty, Carenini, Ng, and Mehdad 2013; Tu, Zhou, and Zong 2013). 骨格構造 (skeleton)を用いる手法 (Mellebeek, Owczarzak, Grobes, Van Ganabith, and Way 2006; Xiao, Zhu, and Zhang 2014) で は, 入力文の構文解析結果から文の骨格を形成するキー要素やキー構造を抽出し, 原言語文と
目的言語文それぞれから抽出した骨格構造同士を一般文同士の場合と同様の手段で学習させる.翻訳実行時には，入力文から骨格構造を抽出して骨格構造翻訳を行い，最後に骨格以下の構造 を翻訳して訳文を生成する。分割翻訳 (divide-and-translate) (金, 江原 1994; Jin and Liu 2010; Shinmori, Okumura, Marukawa, and Iwayama 2003; Xiong, Xu, Mi, Liu, and Liu 2009; Sudoh, Duh, Tsukada, Hirao, and Nagata 2010; Bui, Nguyen, and Shimazu 2012) では，入力文を句や節 の単位に分割してそれぞれを目標言語に翻訳し，最後にこれら翻訳された分割部品を結合して 訳文を生成する手法である。ルールベース翻訳による分割翻訳では，接続構造を用いて分割を 行う手法 (金, 江原 1994) や，概念素性を用いて分割する手法 (Jin and Liu 2010) 等が提案され ている。並列構造解析に基づく翻訳 (Roh, Lee, Choi, Kwon, and Kim 2008)では, 入力文の解析結果から並列構造を見つけ出し，これをもとに訳文構造への変換を行う．以上述べてきた文構造変換の手法は，パーザを用いて入力文を解析するため, 特許請求項のような長文を多く含 むサブ言語ではパーザの解析精度が低く, 結果として訳文の品質も低くなるという問題がある。

文構造変換のもう1つの手法としてはパターン翻訳の研究がある (Xia and McCord 2004; 池原, 阿部, 徳久, 村上 2004; 中澤, 黒橋 2008; Murakami, Tokuhisa and Ikehara 2009; 西村, 村上,徳久, 池原 2010; Murakami, Fujiwara and Tokuhisa 2013; 坂田, 徳久, 村上 2014) . パターン翻訳では，原文側と訳文側それぞれについて固定部と変数部を持つパターンを用意しておき，入力文が原文側パターンにマッチしたら変数部を自動翻訳して訳文側固定部に埋め达んで出力す る.この手法は，パターンにマッチさえすれば原文全体を構文解析することなく翻訳できるた め, 長文におけるパーザの解析精度の問題を回避することができる反面, 表層的な手がかりを もとに入力文とのマッチを行うので長文に頻出する並列構造や階層を適切に扱うことができな いという問題がある.

## 3 サブ言語に特有の文構造の変換

特許請求項は, 特許明細書文書の他の部分と比べて, 使われている語彙や表現は共通である 一方, 請求項固有の記述スタイルで記述されるという特徵がある. このことから, 請求項自体 が 1 つのサブ言語を構成しているとみなす.この請求項特有の記述方法は, 特許出願の歴史の 中で徐々に形成され，最近では公的な特許文書の執筆基準書等でも取り上げられるようになっ てきた. 国際特許機関 WIPO の特許執筆基準 (WIPO 2014) によると, 英語の請求項は, 次の 3 つの部品から構成される 1 文として記述されなければならない.

$
\mathrm{S} \rightarrow \text { PREA TRAN BODY }
$

ここで, $\mathrm{S}$ は請求項文, PREA は前提部, TRAN は移行部, BODY は本体部をそれぞれ表す.図 1 に英語・日本語・中国語それぞれの, 前提部, 移行部, 本体部の例を示す. 前提部は特許

(a) 英語

(b) 日本語

(c) 中国語

図 1 英語・日本語・中国語の請求項の例

発明の範疇を表す導入的な要素であり, 本体部は特許発明の中心部であって発明の構成要素や 目的を表し，移行部は前提部と本体部を接続する役割を担っている。なお，実際の特許請求項 における本体部は，発明を構成する要素である「構成要素」，もしくは発明の目的を説明する 「目的部」のいずれかとして記述される。降の図や例では，構成要素を ELEMで，目的部を PURPで表す.

図 1 (a)は, 典型的な英語請求項の構造の例である.この例では, 本体部は構成要素から構成 されている。図 1 (b) は, (a) の英語請求項構造に対応した日本語請求項構造であり, 図 1 (c) は, (a) の英語請求項構造に対応した中国語請求項構造である.ここで， 3 言語の構造において 用いられている構造部品のセットは共通である一方, 言語によって構造部品の出現する順番は 異なることがわかる.

以降では, 英語請求項と日本語請求項の対を例に, 提案手法の概要を説明する. 図 1 (a)およ び (b) から, 両言語において用いられる構造部品のセットは限定されていることがわかったが, さらに我々の調査から，両言語にはそれぞれ厳密な生成規則が存在することがわかった。図 1
(a)の英語請求項文は, 図 2 (a)の英語生成規則によって表される。ここで, ELEM は図 1 (a) における構成要素を表し, 記号“十”は左に隣接する要素が 1 回以上繰り返されることを表す.図 2 (b) はこれに対応する日本語規則であり, 同一の構造部品セットで構成される.

このようにして, 特許請求項は言語に関わりなく文構造の規則性が高いことから, 我々は言語間の構造変換のために，同期文脈自由文法 (synchronous context-free grammar: SCFG)を用 いることとした，例えば，図 2 (a)と (b)の対応する規則を接続することによって，図 2 (c)の SCFG を獲得できる。ここで, 添字の数字は, 両木構造における対応する非終端記号間の関係 を表す。我々は特許請求項の翻訳のために，このような SCFG 規則を人手で構築した。詳細に ついては 4.1 節において述べる.

図 3 は英日対訳の請求項文の例である。ここで，PREA，TRAN，BODYはこれら請求項文 の構造部品名を表すが, 構造部品の出現順は英日で逆順となっていることがわかる。例えば,分割翻訳等の従来の翻訳手法では, 分割して得られた入力文の分割要素をどのような順番で出力するかを制御することが困難である。請求項の翻訳では，入力文の文構造を認識し，それに 対応する目的言語の文構造で出力する必要がある.

$
\begin{array}{ll}
\text { S } & \rightarrow \text { PREA TRAN BODY } \\
\text { TRAN } \rightarrow \text { "comprising:" } \\
\text { BODY } \rightarrow \text { ELEM }+
\end{array}
$

(a) 英語の生成規則

$
\begin{array}{ll}
\text { S } & \rightarrow \text { BODY TRAN PREA } \\
\text { TRAN } \rightarrow \text { “備える” } \\
\text { BODY } \rightarrow \text { ELEM }+
\end{array}
$

(b) 日本語の生成規則

$
\begin{aligned}
& \begin{aligned}
\mathrm{S} & \rightarrow\left.\langle\mathrm{PREA}_{(1)} \mathrm{TRAN}_{(2)} \mathrm{BODY}_{(3)}, \mathrm{BODY}_{(3)} \mathrm{TRAN}_{(2)} \mathrm{PREA}_{(1)}\right.\rangle \\
\mathrm{BODY} & \rightarrow\left.\langle\mathrm{ELEM}^{+}, \mathrm{ELEM}^{+}\right.\rangle
\end{aligned} \\
& \text {TRAN } \rightarrow \text { 〈“comprising:", “備える”〉 }
\end{aligned}
$

(c) (a)および(b)から得られた SCFG 規則

図 2 英語・日本語の生成規則とそこから得られた SCFG 規則

$
\begin{aligned}
& \text { [PREA An apparatus] [TRAN comprising:] [BODY a pencil; an eraser attached to the } \\
& \text { pencil; and a light attached to the pencil.] } \\
& \text { [BODY 鉛筆と；鉛筆に取り付けられた消しゴムと；鉛筆に取り付けられたラ } \\
& \text { イトとを] [TRAN 備える] [PREA 装置。] }
\end{aligned}
$

図 3 英日対訳の請求項文の例

## 4 請求項翻訳のための処理パイプライン

特許請求項文は, 文構造が特殊である一方, 文中で使われる語彙や表現は他の特許明細書文 と共通である。このため本研究の実験では, 特許請求項文のための文構造変換機能を前処理モ ジュールとして用意し, その後段として特許明細書用にチューニングした従来の機械翻訳エン ジンをつなげたパイプラインを構築した。具体的には以下に示す 3 ステップから構成されるパ イプラインを構築し, 特許請求項文が入力されると, 特許請求項に対応した文構造変換が行わ れ, 事前並べ替えを経て, 統計的機械翻訳による翻訳が行われる（図 4).
- ステップ 1 文構造変換：入力文に対して，人手で構築した SCFG 規則を搭載したパーザ を用いて解析を行う。ここでの目的は，入力文に対する精䋊な構文木を得ることではな く, 図 1 に示すようなサブ言語に特有の文構造を入力文の中で見つけ出し, この文構造に 沿って出力の文構造を生成することにある。同時文脈自由文法を用いることにより，入力文の構造部品を認識すると同時に出力側での文構造を生成する。（図 4 (a) $\rightarrow$ (b), (c))
- ステップ 2 事前並べ替え：上述の各構造部品について単語の事前並べ替えを行い, 原言語文の単語を, 目的言語の語順に即して並べ替える。ここで使う事前並べ替えは, 句構造解析をべースにしたものである。なお，上記ステップ10出力が当事前並べ替えへの 入力となるため, 結果として高い解析結果が得られる。（図 $4(\mathrm{c}) \rightarrow(\mathrm{d})$ )
- ステップ 3 統計的機械翻訳による翻訳 : 各構造部品について統計的機械翻訳による翻訳 を行う。上述のように特許請求項文は, 文構造は特殊でも語彙や表現は他の特許明細書文と共通であるため，特許明細書用にチューニングした統計的機械翻訳をそのまま用い ている。ここでも，ステップ1に打いて得られた短い文が入力となるため翻訳品質が向上する. (図 $4(\mathrm{~d}) \rightarrow(\mathrm{e}))$

以降では，上記ステップ 1 およびステップ 2 の詳細について述べる.

## 4.1 文構造変換

1 章で述べたように, 特許請求項翻訳における大きな課題は, 特許明細書の他の項目を用い て学習させた統計的機械翻訳では, 請求項サブ言語に特有の文構造を正確に捉えてこの文構造 を目的言語に正確に伝えることができないということである.

本ステップは, 入力請求項文の文構造を認識し, これに対応する出力側の文構造を同時に生成 することを目的とする，本ステップは，人手で作成した $\mathrm{SCFG}$ 規則を用いて実行される。我々 は，これら規則を以下の手順で作成した。最初に，開発セット中の英中日それぞれの特許請求項を人手で分析することにより，文構造を構成する構造部品は一定であること，ならびに，こ れら構造部品のセットは英中日の 3 言語で共通であることがわかった.このようにして我々が

A button comprising: a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion; and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled.

(a) 入力英語請求項文

[S [PREA A button] [TRAN comprising:] [BODY [ELEM a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion;] [ELEM and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled.]]]

(b) 同期的に生成された英語文構造

[S [BODy [ELEm a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion;] [ELEM and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled]] [TRAN を備える] [PREA A button]]

(c) 同期的に生成された日本語 文構造

[s [BODY [ELEm plate like base portion of circumference towards center from extending plate like base portion of surface on formed integrally first ribs of plurality, each rib radially;] [ELEM and plate like base portion of surface, plurality of first ribs of each center ends coupled are which to on formed integrally annular portion]] [TRAN を備え

b] [PREA A button]]

(d) 各構造部品に対する並べ替え結果

[s [BODy [ELEM 前記板状ベース部の前記表面で一体に形成され、各々が前記板状 ベース部の中心から外周に向かって放射状に延在する複数の第 1 リブと、] [ELEM 前記板状ベース部の前記表面で一体に形成され、前記複数の第 1 リブ 各々の中心端が連結された環状部と、]] [TRANを備える] [PREAボタン]]

(e) 英日 SMT による各構造部品の翻訳

図 4 翻訳パイプラインの概要

抽出した構造部品セット Uは次のとおりである.

$U \in\{$ PREA, TRAN, BODY, ELEM, PURP $\}$

ここで, これら 5 項目 (PREA は前提部, TRAN は移行部, BODY は本体部, ELEM は構成要素，PURPは目的部をそれぞれ表す）はすべて前章で説明したとおりである.

次に, 構造部品セットUを非終端記号とする英語生成規則および日本語生成規則を作成し, 対応する英語生成規則と日本語生成規則を組み合わせることによって, 英日翻訳用および日英翻
訳用の SCFG 規則を作成した。図 5 は，このようにして作成した英日翻訳用のすべての SCFG 規則のセットである。同様にして，構造部品セットUから中国語生成規則を作成し，対応する 中国語生成規則と日本語生成規則を組み合わせることによって，中日翻訳用および日中翻訳用 のSCFG 規則を作成した。日英翻訳・中日翻訳・日中翻訳のためのSCFG 規則は付録を参照さ れたい。付録には日英翻訳のための SCFG 規則に対応する日英対訳例文も掲載している。規則 の数は，英日翻訳用 8 個, 日英翻訳用 10 個, 中日翻訳用 6 個, 日中翻訳用 10 個である.

図 5 は，英日翻訳用 $S C F G$ 規則である $R_{\mathrm{ej} 2}$ の処理対象となるような対訳の例である．入力英文において PREA・TRAN ・BODY ・ TRAN ・BODY の順番で出現する構造部品が, 日本語で は BODY・TRAN・BODY・TRAN・PREAの順番に並べ替えられることによって，日本語と して適切な文構造となることがわかる。

今回作成したSCFG 規則では，規則適用で曖昧性が生じるのは終端記号に対応する規則であ り，これ以外は決定的に動作する解析アルゴリズムとなっている。実際の SCFG 規則の実装で は, 終端記号とのマッチングに正規表現を用いることによって, 各規則について高々 1 回のマッ チのみを認め，終端記号においても決定的に動作するような設計とした．決定的な動作を行う ためには対象言語の主辞方向性を用いており, 例えば主辞先導型言語の英語と中国語では最も 文頭に近い TRAN一つを採用し, 主辞後置型言語の日本語では最も文末に近い TRANを採用 している．例えば，英語の入力特許請求項文中に文字列 “comprising” が複数回出現する場合に は， 入力文中の最初の “comprising”のみとマッチするような正規表現を用意した. 実際の特許請求項では, 執筆者が最初の表現がTRAN となるように意識して書くことが多いため, 最初の TRAN を採用することでほぼ誤りなくマッチする，以下に，Perl 言語風の英語と日本語の正規

 \\

図 5 英日翻訳のための SCFG 規則一覧（日英・中日・日中翻訳のための SCFG 規則は付録に掲載して いる)
[s [PREA An energy management system] [TRAN comprising:] [BODy [ELEm (a) a helmet shell having a bottom edge;] [ELEM (b) a plurality of bell-shaped pockets situated on an inside surface of the helmet shell, each of the bell-shaped pockets having a bottom surface; and [ELEM (c) a bladder positioned inside of each bell-shaped pocket;]] [TRAN wherein] [BODy [PURP the bottom surface of each bell-shaped pocket is configured to allow the bladder to extend beyond the bottom surface of the pocket and beyond the bottom edge of the helmet upon impact.]]]

$
\text { (a) 入力英語請求項文 }
$

(b) 対応する日本語請求項文

図 $6 \mathrm{SCFG}$ 規則 $R_{\mathrm{ej} 2}$ に対応する英日対訳文の例

表現の例を示す.“+”は最長マッチ，“+?”は最短マッチを表す.

$\left(\right.$ \$prea, \$tran, \$body) $=/{ }^{\wedge}(.+?)($ comprising $)(.+) \$ / ;$

$($ \$body, $\$$ tran, \$prea $)=/ `(.+)($ 備えることを特徴とする $)(.+?) \$ / ;$

このようにして作成したヒューリスティック規則はほぼ誤りなくマッチするが，マッチしな い場合には入力文をそのまま返す仕様としている.

## 4.2 事前並べ替え

既存の事前並べ替え技術は, 句構造解析技術に基づくもの (Isozaki et al. 2010b; Goto et al. 2015; Hoshino, Miyao, Sudoh, Hayashi, and Nagata 2015) と依存構造に基づくもの (Yang, Li, Zhang, and Yu 2012; Lerner and Petrov 2013; Jehl, de Gispert, Hopkins, and Byrne 2014; de Gispert et al. 2015) が多い. 以下では，句構造解析技術に基づく例で説明する。英日機械翻訳 では，例えば，入力文 “He likes apples.” に対してまず，図 7 に示すような二分木構造を得る.次に, 分類器によって, 特定の内部ノードの 2 つのノードを入れ替えることによって単語の並べ 替えを行う. 図 7 の例では, 分類器の判定によって, VPノードの 2 つの子ノードである VBZ と NPの入僣えが行われる。 子ノードを 2 つのみ持つすべてのノードについて，入れ替えをす べきかどうかの判定が分類器によって行われ, 入れ替えが行われると, 結果として “He apples likes."のような日本語の語順に近い英語文が得られる。2つの子ノードを入れ替えるか否かは,

図 7 “He likes apples.”の二分木構造と入れ替え結果

ルールに基づく手法 (Isozaki et al. 2010b）や，語順の順位相関係数 $\tau$ を指標として原言語文 と目的言語文の語順が近くなるよう並べ替えを実現する統計的なモデル化 (Goto et al. 2015; Hoshino et al. 2015) などが考えられる．評価実験では後者の統計的なモデル化を採用した．詳 しくは 5.3 節を参照されたい。ただし，提案手法自体は特定の事前並べ替え手法に依存しない.

1 章で説明したように, 請求項翻訳におけるもう1つの課題は, 極端な文の長さへの対処で ある。上述のような事前並べ替え技術は, ある程度正しい構文解析結果が得られることを前提 としているが，極めて長い文が入力された場合に構文解析が失敗し，結果として並べ替え精度 が低くなる。この問題に対して，本ステップでは，長い入力文全体ではなく，前ステップで認識された各構造部品に対して既存の事前並べ替え手法を適用することによって, 構文解析の精度の向上, ならびに事前並べ替えの精度の向上を図る。

## 5 評価実験

文構造変換と事前並べ替えによる翻訳品質の向上度合いを定量的に評価するための評価実験を 行った. 第 4 章でも述べているように，本実験は既存統計的機械翻訳への付加モジュールとして 実現しているため, 既存のフレーズベース統計的機械翻訳 (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を ベースラインとして設定した.

## 5.1 データ

統計的機械翻訳の学習には特許文のコーパスを使っている。中日・日中翻訳では, 特許請求項文だけで大量の対訳コーパスを作ることができたが，英日・日英翻訳では，特許請求項文の みでは分量が不十分のため特許全体から作成したコーパスと特許請求項文から作成したコーパ スを併用した，最終的に，英日・日英・中日・日中翻訳の 4 つの設定で訓練コーパスの規模（文
数）が同じになるようにして実験を行った.

英日・日英の統計的機械翻訳の学習には 2 種類のコーパスを利用した. 1 種類目は，NTCIR-9 ワークショップの特許翻訳タスク (PatentMT) (Goto et al. 2011) において提供された約 320 万文対の日英特許翻訳データから無作為に抽出した 300 万文対である. 以降，この対訳コーパス をコーパス $\mathrm{A}$ と呼ぶ.コーパス $\mathrm{A}$ を用いて統計的機械翻訳を学習させることによって, 請求項翻訳においても語彙選択の面では良好な性能が得られるが，これは語彙や表現は特許文書全体 で共通であり，コーパス Aによって大部分がカバーされるからである。しかしながら、コーパ ス A は請求項文を含まないため, 請求項特有の文構造を適切に扱うことができない。このため,請求項文特有の文構造を取り込むために，100万文の請求項対訳文から構成されるコーパス B を用意し，これをコーパス $\mathrm{A}$ と併用した。コーパス $\mathrm{B}$ の請求項対訳文は，文アラインメント手法 (Utiyama and Isahara 2007) を用いて英日対訳特許文書から抽出したものである. 英日対訳特許文書とは，日本国特許庁が提供する日本語特許明細書データと米国特許庁が提供する英語特許明細書データとを出願番号を用いて対応付けたものであり，2013 年提供分までのデータを 対応付けの対象としている。コーパス $\mathrm{A}$ とコーパス $\mathrm{B}$ を結合して学習コーパスを作成し，この 学習データを用いて, ベースラインシステムおよび提案手法を組み达んだシステムのための統計的機械翻訳を学習させた。

中日・日中の統計的機械翻訳の学習には ALAGIN 言語資源・音声資源として提供される JPO 中日対訳コーパス1の特許請求項文から作成したコーパスのみを用いた。前述の英日・日英用の コーパス B と同様の方法によって中日対訳の特許請求項文から 400 万文対を抽出した.

開発データおよびテストデータについては, 英日・日英・中日・日中の 4 言語対について, 上述の学習データとは独立に次の手順で構築した。まず，学習データより後の特定の年（2014年） の米国特許明細書データから, 明細書毎に最大 5 個の請求項文を抽出した。具体的には, 明細書中の請求項が 5 個以内の場合はすべての請求項を抽出し， 6 個以上の場合は 5 個目までを抽出 している。次に，ここから無作為に 2,000 文を抽出し，機械翻訳の学習やチューニングで用い るという用途を伏せて，特許翻訳専門の翻訳者に依頼して日本語訳文打よび中国語訳文を作成 した。このようにして作成した 2,000 文の英中日多言語コーパスを 1,000 文ずつ 2 つに分けて開発用とテスト用とした. な打上記翻訳作業では, 各英語原文について 1 文の訳文を作成した.

## 5.2 システム

本評価実験では, 統計的機械翻訳のツールキットである Moses のフレーズベース翻訳 (Koehn, Och, and Marcu 2003) および階層的フレーズベース翻訳 (Chiang 2005) をベースラインとして 用いた. 文構造変換, 事前並べ替えおよび両者の組み合わせについて, ベースラインとの比較
^{1}$ ALAGIN 言語資源・音声資源サイトの JPO 中日対訳コーパス https://alaginrc.nict.go.jp/resources/jpo-info/ jpo-outline.html\#jpo-zh-ja
}

を行った。

すべての実験において, 言語モデルの学習に KenLM (Heafield, Pouzyrevsky, Clark, and Koehn 2013) を，単語アラインメントに SyMGIZA++ (Junczys-Dowmunt and Szał 2010) を用いた. モデルの重みづけでは, BLEU 值 (Papineni, Roukos, Ward, and Zhu 2002) を指標として n-best batch MIRA (Cherry and Foster 2012) によるチューニングを行った。各評価実験において，重 み付けチューニングを 3 回繰り返し，開発セットにおいて最大の BLEU 值を獲得した重み設定 を採用した。 ベースラインとしてのフレーズベース翻訳では, 歪み範囲 (d) が 6 の場合と 20 の 場合の測定を行った. Mosesのデフォルトの歪み範囲である 6 と, それに対する長めの歪み範囲として 20 を選んだ。

なお，テストデータに対して文構造変換を行う実験構成でも，学習デー夕に対しては文構造変換を行わずにモデルの学習を行った。文構造変換を行うためには学習データとして請求項文 を用いる必要があるが，今回扱わなかった他の言語も含め, 請求項文の入手可否は対象言語に よって変わってくるため, 比較のために一律の構成とした. この実験構成にしたことによって, Moses の学習段階における長文除去処理で除外される文は発生する.

## 5.3 事前並べ替え

本評価実験では，構文解析パーザとして Berkeley Parser (Petrov, Barret, Thibaux, and Klein 2006)を用いて, 提案手法によって分割された各構造部品に対して事前並べ替えを行った. こ の基本的な構成は，4言語方向いずれも同じである。なお，学習デー夕は二分化されたものを 用いている.

Berkeley Parser のドメイン適応では自己学習の手法を用いた。具体的には, 最初に, 初期モ デルを用いて 200,000 文の特許文の解析を行い，次に，得られた 200,000 件の構文解析結果から 構文解析モデルを学習することにより, 特許文に適応した解析モデルを構築した. 英語の初期 モデルについては, Penn Treebankの文，および我々が人手で木構造を記述した 3,000 文の特許文を用いて学習した。日本語の初期モデルについては, EDRコーパス²の 200,000 文を用いて学習させた．中国語の初期モデルについては，CTB-6 (Zhang and Xue 2012)の文を用いて学習さ せた。日本語および中国語のモデル学習では特許文は用いていない.

並べ替えモデルの学習では，内製の大規模な特許文対訳コーパスを用いて次の手順によって 事前並べ替えモデルを学習させた (de Gispert et al. 2015).

1. 対訳コーパスの原言語文を構文解析する

2. 対訳コーパスに対して単語アラインメントを行う

3. 原言語文と目的言語文の間でケンドールの順位相関係数 $\tau$ が最大化されるような原言語
^{2}$ EDR コーパス https://www2.nict.go.jp/out-promotion/techtransfer/EDR/JPN/Struct/Struct-CPS.html
}
文に対する並べ替えを行う．このようにして各 2 分ノードは，子ノードの入れ替えを行 うことを表すSWAP と，入れ替えを行わないことを表すSTRAIGHT に分類される。

4. 上記のデータを用いて，各ノードの SWAP，STRAIGHT を判定するためのニューラル ネットワーク分類器を学習する.

上述のように, 各ノードの SWAP, STRAIGHT の判定を二值分類問題としてニューラルネッ トワーク学習器に学習させるが, 本実験では, ニューラルネットワーク学習器としてオープン ソースの Neural Probabilistic Language Model Toolkit (NPLM) 3 を用いた。基本的な構成はデ フォルト構成をそのまま使ったが, 出力層では SWAP と STRAIGHT に対応した 2 個の出力を 用いた，入力層では，以下を入力としている：親の親，親，自分，直前の兄弟，直後の兄弟，左 の子供, 右の子供, 左の子供のスパンの左端の前終端記号と単語, 左の子供のスパンの右端の 前終端記号と単語, 右の子供のスパンの左端の前終端記号と単語, 右の子供のスパンの右端の 前終端記号と単語.

## 5.4 評価指標

各システムは, BLEU (Papineni et al. 2002) と RIBES (Isozaki et al. 2010a) の 2 種類の評価指標を用いて評価した。これは, n-gramベースの評価手法である BLEUのみでは長距離の関係 を十分に評価することができず，本研究が目標としている構造レベルの改善を十分に測定でき ないと考えたからである．RIBES は順位相関係数に基づく自動評価手法であり，評価対象の機械翻訳出力文中の語順と，参照訳中の語順の比較を行う． RIBES のこのような特性によって,語順の大きく異なる言語間で頻繁に発生する，構造部品の入れ替えを評価することができると 考えられる。なお, RIBES は, NTCIR-9 ワークショップの特許翻訳タスク (PatentMT) (Goto et al. 2011) 等においても，英日・日英の翻訳方向において，人間評価との高い相関性が報告さ れている.

実験で得られた各 BLEU 值と RIBES 值は, MTEval ${ }^{4}$ を用いた反復数 1,000 回の 100 分割ブー トストラップ検定を行ってべースラインとの有意差を調べた.

## 5.5 自動評価結果

本評価実験の結果を表 1 , 表 2 , 表 3, 表 4 に示す. 表中, PB および HPB は各々, Moses の フレーズベース翻訳および階層的フレーズベース翻訳を表し，PBにおける $\mathrm{d}$ は歪み範囲の値を 表す.カッコ内の数値はベースラインであるフレーズベース翻訳 (P1) との差分を表す.また， P1'から P4のそれぞれについて， ベースラインに対して $5 \%$ 水準で有意差があるものに†を， $1 \%$ 水準で有意差があるものにきを付してある。テスト文としては 5.1 節で述べた 1,000 文を使っ
^{3}$ Neural Probabilistic Language Model Toolkit http://nlg.isi.edu/software/nplm/

 }^{4}$ MTEval Toolkit https://github.com/odashi/mteval

表 1 英日翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（805 文） } \\

表 2 日英翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（860 文） } \\

表 3 中日翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（874 文） } \\

表 4 日中翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（806 文） } \\

ているが，参考情報として，この 1,000 文からトークン数が 200 以下の文を抜き出して使った 場合の結果も併記している。これは，P3の事前並べ替えで用いている句構造パーザ (Berkeley Parser) に入力長制限があり，1,000 文全文に対する事前並べ替えを行うことができないためで ある。このため，テスト文全文を使った評価では P3 は評価対象外としており，表ではこれを N/Aで表している.

表から, 文構造変換と事前並べ替えの組み合わせである $\mathrm{P} 4$ において, 英日・日英・中日・日中翻訳すべての翻訳方向において，RIBES 值および BLEU 值に大幅な上昇がみられる．有意差検定からも，P4のみが，すべての翻訳方向の RIBES 値および BLEU 値の双方において, P1 と 比較して $1 \%$ 水準で有意に上昇している。文構造解析のみを用いた $\mathrm{P} 2$ ，および事前並べ替えの みを用いた P3 でも RIBES 值は大幅に上昇しているが，BLEU 值の上昇は限定的である．文構造解析と事前並べ替えを併用したときに大きな BLEU 値の上昇がみられるが，これは文構造解析と事前並べ替えの相乗効果によるものと考えられる。

参考情報として掲載した，200トークン以内の文に対する翻訳でも，全文を用いた場合と同様 の傾向がみられるが，200 トークンを超える長文を含まないため，ほぼすべてのシステムに対 して高い評価値となっている。言語によって事前並べ替えの精度に差があり，特に日英，中日翻訳では $\mathrm{P} 3$ の方が $\mathrm{P} 4$ よりも高い評価値を達成している場合がある。ただし， P4における文構造変換と事前並べ替えの組み合わせでは，P3 の精度に差に関わらず安定した精度向上がみら れる。

## 5.6 考察

前述の評価結果から，翻訳方向に関わらず，文構造解析と事前並べ替えによって翻訳品質が 大幅に改善することがわかった，以下ではまず，当初の課題としてあげていた特許請求項文の 長さと特有の文構造の問題が，文構造変換と事前並べ替えの導入によっていかに改善されたか 分析する。また，文構造解析の副次的な効果である文短縮についても分析する。さらに，翻訳方向に固有の翻訳特性について述べる.

## 5.6.1 文構造変換と事前並べ替えの相補的効果

図 8 は，日英翻訳における 4 つの実験設定 (P1，P2, P3，P4) の典型的な出力例である. 図 では一貫してラベル付き括弧表示を用いて請求項の構造部品を表している。文構造変換および 事前並べ替えによる効果について以下に述べる.

1. 文構造解析の効果：P1 では入力文と比較して構造部品の順番に変化がみられないが, P2 では文構造解析を導入することによって構造部品が英語の順番に並べなおされているこ とがわかる。これによって，移行部である“comprising”が生成されるようになり，文全体の可読性が上がっている。一方, P1 と P2 を比較したときに, 各構造部品の翻訳品質

 \\

図 8 典型的な日英翻訳の例（P2 と $\mathrm{P} 4$ の部品ラベルはシステムが自動的に付与したものだが，それ以外 の部品ラベルは，意味的に対応する部分に人手で付与している）

は顕著には向上していない。これに対して，P4では P3 と比較して 2 番目の要素の翻訳品質が向上している。このことから，文構造変換は事前並べ替えと併用したときに効果的に動作することがわかる.

2. 事前並べ替えの効果：従来研究でも示されているとおり，事前並べ替え手法を用いるこ とによって，目的言語の語順に即した訳文を生成することができる。図中の例でも，P3 は，P1 と比較して単語がより適切に並んでおり，英語としてより自然な訳文が得られて いる.しかしながら, 前提部が 2 回出現するなど，構造部品が適切に配置されておらず，
文構造の観点からは不適切である。これに対して，P4のように文構造変換を用いて文構造を明示的に指定することによって，このような不適切な現象を抑制することができる。 さらに, 入力文をより短い構造部品に分解することにより, 各構造部品中の単語が適切 に並べ替えられるようになる。

以上の分析から, 構造的かつ語順的に適切な訳文を生成する過程において, 文構造変換と事前並べ替えが相補的に動作することが確認できた。

## 5.6.2 文短縮の効果

これまで述べたように，事前並べ替えは，入力文全体に対してよりも文構造解析で得られた 構造部品に対して, より適切に機能する. 文構造変換による文短縮の効果を見積もるために, まずは実験に用いた構文解析パーザの解析精度を文長毎に評価した。表 5 は，英日翻訳のテス トセット全文から無作為に抽出した 100 文を対象に, 事前並べ替えで用いる英語構文解析器の 解析成功率を集計した結果である。構文解析結果を目視でチェックし，文中で 1 か所でも誤っ た構成素があれば誤りとしてカウントし，すべて正しい場合に正解としてカウントした．表か ら, 短い入力文に対する解析精度は高いものと比較して, 長い入力文に対する解析精度が著し く低いことがわかる．特に，80トークンを超える長さの入力文では, 正しい構文解析結果を得 られた文が 16 文中 1 文のみと，きわめて正解率が低い.

次に, 分割前である P1 と分割後である P2 の双方の実験設定において, 後段処理への入力と なる文字列のトークン数の分布を比較した，図 9 は, (a) 英語入力文, (b) 日本語入力文, (c) 中国語入力文のそれぞれについて，入力文の累積比率と文構造解析結果の累積比率をそれぞれ表 した図である。なお，日英翻訳と日中翻訳では入力日本語文に対して同じ分割結果が得られる。例えば (a) 英語入力文では， 80 トークンを超える長さの入力文が，分割前では全体の $31 \% を$ 占 めていたのに対して, 分割後では全体の $3 \%$ と大幅に減少している。上述の文長毎の解析精度と 併せて考えると，分割によって入力文が高精度に解析される可能性が大幅に高くなったことが

表 5 英日翻訳における英語パーザの解析精度

(a) 英語入力文

(b) 日本語入力文

(c) 中国語人力文

図 9 入力文の累積比率と文構造解析結果の累積比率

わかる。

なお参考情報として, 表 6 に, 入力文数と文構造解析によって得られた構造部品の数を載せ ている。言語によって出現する構造部品の分布は異なるものの, いずれの言語でも入力文 1,000 文に対して 4,000 個前後の構造部品が得られており, 1 入力文が平均して 4 構造部品に分割され ていることがわかる．また，表 7 には，入力文 100 文に対する文構造解析の成功および失敗数 を言語毎に載せている。英語と中国語の成功率が高いのは, これらの言語における請求項の記述の定型性の高さが要因にあると思われる。機械翻訳の精度評価では，日本語を原言語とした 言語対においても，英語や中国語を原言語としたときと同等の翻訳精度が得られていることか

表 6 入力文および構造解析後の構造部品数

(a) 英語の入力文数と構造部品数

(b) 中国語の入力文数と構造部品数

(c) 日本語の入力文数と構造部品数

表 7 文構造解析の成功数・失敗数（100 文あたり）

ら，文構造解析の失敗は影響の少ないものが多いと考えられる.

## 5.6.3言語方向による傾向

実験では，提案手法によって英日・日英・中日・日中すべての翻訳方向において RIBES 値が 25 ポイント以上と大幅に向上している. これは, 英日・日英・中日・日中のすべての翻訳方向 において構造部品の並べ替えが必要であるが, 提案手法によって構造部品が適切に並べ替えら れた結果，長距離の並びの適切さを反映する RIBES 値に表れたものと考えられる。

一方，BLEU 值の向上は，中日・日中で 1.5 ポイント程度と十分に大きな値が得られたが，英日・日英では 5 ポイント程度と極めて大きな向上となった。各構造部品の内部では事前並べ替 えが行われるが，中日と日中翻訳では動詞の移動が中心であるのに対して，英日と日英翻訳で は動詞の移動に加えて修飾方向の移動も関わるため, 事前並べ替えの難易度はより高い.この ため，英日と日英翻訳において，文短縮による事前並べ替えの効果が大きく表れたものと考え られる。

## 6 おわりに

本論文では，英日・日英・中日・日中の特許請求項翻訳において，サブ言語に特有の文構造 を，原言語側から目標言語側に変換するための手法について述べた，我々の手法では，これらの 品質向上を, 非常に少数の同期文脈自由文法規則を用いて実現した，評価実験を行ったところ，文構造変換と事前並べ替えの組み合わせを用いた場合に，英日・日英・中日・日中の 4 方向の 翻訳において RIBES 值で 25 ポイントという大幅な訳質向上が見られた。これに加えて BLEU 値では，英日・日中の翻訳で 5 ポイント程度，中日・日中の翻訳で 1.5 ポイントの大幅な向上 が見られた。

本手法により, 特許請求項翻訳の翻訳品質を, 特許明細書中の他の部分の翻訳品質と同水準 に引き上げることができた. 今後の研究では, 特許請求項の中でも特に長文で複雑な, 独立請求項文の翻訳に注力したい.

## 謝 辞

本論文は，国際会議 The Machine Translation Summit XVで発表した論文に基づいて日本語 で書き直し, 説明や評価を追加したものである (Fuji, Fujita, Utiyama, Sumita, and Matsumoto 2015).

## 参考文献

Buchmann, B., Warwick, S., and Shann, P. (1984). "Design of a Machine Translation System for a Sublanguage." In Proceedings of the 9th International Conference on Computational Linguistics, pp. 334-337.

Bui, T. H., Nguyen, M., L., and Shimazu, A. (2012). "Divide and Translate Legal Text Sentence by Using its Logical Structure." In Proceedings of 7th International Conference on Knowledge, Information and Creativity Support Systems, pp. 18-23.

Cai, J., Utiyama, M., Sumita, E., and Zhang, Y. (2014). "Dependency-based Pre-ordering for Chinese-English Machine Translation." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 155-160.

Cherry, C. and Foster, G. (2012). "Batch Tuning Strategies for Statistical Machine Translation." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 427-436.

Chiang, D. (2005). "A Hierarchical Phrase-Based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 263-270.

Collins, M., Koehn, P., and Kucerova, I. (2005). "Clause Restructuring for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 531-540.

de Gispert, A., Iglesias, G., and Byrne, B. (2015). "Fast and Accurate Preordering for SMT using Neural Networks." In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics - Human Language Technologies, pp. 1012-1017.

Fuji, M., Fujita, A., Utiyama, M., Sumita, E., and Matsumoto, Y. (2015). "Patent Claim Translation based on Sublanguage-specific Sentence Structure." In Proceedings of the Machine Translation Summit XV, pp. 1-16.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of the 9th NII Test Collection for Information Resources (NTCIR) Conference, pp. 559-578.

Goto, I., Utiyama, M., Sumita, E., Kurohashi, S. (2015). "Preordering using a Target-Language Parser via Cross-Language Syntactic Projection for Statistical Machine Translation." In ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 14, No. 3, Article 13, pp. 1-23.

Hajlaoui, N. and Popescu-Belis, A. (2012). "Translating English Discourse Connectives into Ara-
bic: A Corpus-based Analysis and an Evaluation Metric." In Proceedings of the Workshop on Computational Apagesroaches to Arabic Script-based Languages, pp. 1-8.

Heafield, K., Pouzyrevsky, I., Clark, J. H., Koehn, P. (2013). "Scalable Modified Kneser-Ney Language Model Estimation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 13-21.

Hoshino, S., Miyao, Y., Sudoh, K., Hayashi, K., and Nagata, M. (2015). "Discriminative Preordering Meets Kendall's $\tau$ Maximization." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 139-144.

Hoshino, S., Miyao, Y., Sudoh, K., and Nagata, M. (2013). "Two-Stage Pre-ordering for Japaneseto-English Statistical Machine Translation." In Proceedings of the International Joint Conference on Natural Language Processing, pp. 1062-1066.

池原悟, 阿部さつき, 徳久雅人, 村上仁一 (2004). 非線形な表現構造に着目した日英文型パター ン化. 情報処理学会研究報告 2004-NL-160(8), pp. 49-56.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., Tsukada, H. (2010a). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2010b). "Head Finalization: A Simple Reordering Rule for SOV Languages." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 244-251.

Jehl, L., de Gispert, A., Hopkins, M., and Byrne, W. (2014). "Source-side Preordering for Translation using Logistic Regression and Depth-first Branch-and-Bound Search." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 239-248.

Jin, Y. and Liu, Z. (2010). "Improving Chinese-English Patent Machine Translation Using Sentence Segmentation." In Proceedings 2010 International Conference on Natural Language Processing and Knowledge Engineering, pp. 1-6.

Joty, S., Carenini, G., Ng, R., and Mehdad, Y. (2013). "Combining Intra- and Multi-sentential Rhetorical Parsing for Document-level Discourse Analysis." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 486-496.

Junczys-Dowmunt, M. and Szał, A. (2010). "SyMGiza++: A Tool for Parallel Computation of Symmetrized Word Alignment Models." In Proceedings of the International Multiconference on Computer Science and Information Technology, pp. 397-401.

Katz-Brown, J. and Collins, M. (2008). "Syntactic Reordering in Preprocessing for Japanese-

English Translation: MIT System Description for NTCIR-7 Patent Translation Task." In Proceedings of the NTCIR-7 Workshop Meeting, pp. 409-414.

金淵培，江原暉将 (1994). 日英機械翻訳のための日本語長文自動短文分割と主語の補完. 情報処理学会論文誌, 35 (6), pp. 1018-1028.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the Association for Computational Linguistics Demo and Poster Sessions, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology, pp. 48-54.

Kurohashi, S. and Nagao, M. (1994). "Automatic Detection of Discourse Structure by Checking Surface Information in Sentences." In Proceedings of the 15th International Conference on Computational Linguistics, pp. 1123-1127.

Lerner, U. and Petrov, S. (2013). "Source-Side Classifier Preordering for Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.

Luckhardt, H. D. (1991). "Sublanguages in Machine Translation." In Proceedings of the 5th Conference of the European Chapter of the Association for Computational Linguistics, pp. 306-308.

Marcu, D., Carlson, L., and Watanabe, M. (2000). "The Automatic Translation of Discourse Structures." In Proceedings of the 1st North American Chapter of the Association for Computational Linguistics Conference, pp. 9-17.

Mellebeek, B., Owczarzak, K., Groves, D., Van Genabith, J., and Way, A. (2006). "A Syntactic Skeleton for Statistical Machine Translation." In Proceedings of the 11th Conference of the European Association for Machine Translation, pp. 195-202.

Meyer, T., Popescu-Belis, A., Hajlaoui, N., and Gesmundo, A. (2012). "Machine Translation of Labeled Discourse Connectives." In Proceedings of the 10th Biennial Conference of the Association for Machine Translation in the Americas, 10 pages.

Meyer, T., Popescu-Belis, A., Zufferey, S., and Cartoni, B. (2011). "Multilingual Annotation and Disambiguation of Discourse Connectives for Machine Translation." In Proceedings of 12th SIGdial Meeting on Discourse and Dialogue, pp. 194-203.

Miltsakaki, E., Dinesh, N., Prasad, R., Joshi, A., and Webber, B. (2005). "Experiments on Sense Annotations and Sense Disambiguation of Discourse Connectives." In Proceedings of the 4th Workshop on Treebanks and Linguistic Theories.

Murakami, J., Fujiwara, I., and Tokuhisa, M. (2013). "Pattern-Based Statistical Machine Translation for NTCIR-10 PatentMT." In Proceedings of the 10th NTCIR Conference, pp. 350-355.

Murakami, J., Tokuhisa, M., Ikehara, S. (2009). "Statistical Machine Translation adding Patternbased Machine Translation in Chinese-English Translation." In Proceedings of 6th International Workshop on Spoken Language Translation, pp. 107-112.

中澤敏明, 黒橋禎夫 (2008). 自動学習された機能語の翻訳パターンを用いた用例べース機械翻訳. 言語処理学会第 14 回年次大会発表論文集, pp. 37-40.

西村拓哉, 村上仁一, 徳久雅人, 池原悟 (2010). 文単位のパターンを用いた統計翻訳. 言語処理学会第 16 回年次大会発表論文集, pp. 676-679.

Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440.

Pitler, E. and Nenkova, A. (2009). "Using Syntax to Disambiguate Explicit Discourse Connectives in Text." In Proceedings of the Joint conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, Short Papers, pp. 13-16.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 271-279.

Roh, Y. H., Lee, K. Y., Choi, S. K., Kwon, O. W., and Kim, Y. G. (2008). "Recognizing Coordinate Structures for Machine Translation of English Patent Documents." In Proceedings of the 22nd Pacific Asia Conference on Language, Information and Computation, pp. 460-466.

坂田純, 徳久雅人, 村上仁一 (2014), 意味的等価変換方式による句レベルパターン翻訳方式の 調查. 言語処理学会第 18 回年次大会発表論文集, pp. 1-20.

Shinmori, A., Okumura, M., Marukawa, Y., Iwayama, M. (2003). "Patent Claim Processing for Readability-Structure Analysis and Term Explanation-." In Proceedings of the Workshop on Patent Corpus Processing, Association for Computational Linguistics, pp. 56-65.

Sudoh, K., Duh, K., Tsukada, H., Hirao, T., and Nagata, M. (2010). "Divide and Translate: Improving Long Distance Reordering in Statistical Machine Translation." In Proceedings of
the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 418-427. Sudoh, K., Suzuki, J., Tsukada, H., Nagata, M., Hoshino, S., and Miyao, Y. (2013). "NTT-NII Statistical Machine Translation for NTCIR-10 PatentMT." In Proceedings of 9th NTCIR Conference 2013, pp. 294-300.

Tu, M., Zhou, Y., and Zong, C. (2013). "A Novel Translation Framework Based on Rhetorical Structure Theory." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 370-374.

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In Proceedings of the 11th Machine Translation Summit, pp. 475-482.

The World Intellectual Property Organization (WIPO) (2014). "WIPO Patent Drafting Manual." In IP Assets Management Series.

Wu, D. and Fung, P. (2009). "Semantic Roles for SMT: A Hybrid Two-Pass Model." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, pp. 13-16.

Xia, F. and McCord, M. (2004). "Improving A Statistical MT System with Automatically Learned Rewrite Patterns." In Proceedings of the 20th International Conference on Computational Linguistics, pp. 508-514.

Xiao, T., Zhu, J., and Zhang, C. (2014). "A Hybrid Approach to Skeleton-based Translation." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 563-568.

Xiong, H., Xu, W., Mi, H., Liu, Y., and Liu, Q. (2009). "Sub-Sentence Division for Treebased Machine Translation." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing Conference Short Papers, pp. 137-140.

Yang, N., Li, M., Zhang, D. and Yu, N. (2012). "A Ranking-based Approach to Word Reordering for Statistical Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 912-920.

Zhang, X. and Xue, N. (2012). "Extending and Scaling up the Chinese Treebank Annotation." In Proceedings of the 2nd CIPS-SIGHAN Joint Conference on Chinese Language Processing, pp. 27-34.

## 付録

## A 実験に用いた SCFG 規則

本研究の実験で用いた, 日英翻訳用, 中日翻訳用, 日中翻訳用の SCFG 規則一覧を図 10 , 図 11 ,図 12 に示す。なお，英日翻訳用の SCFG 規則一覧は図 5 に掲載している。図 13 には，日英翻訳用 SCFG 規則 $R_{\mathrm{je} 2}$ に対応する日英対訳例を掲載している。この例では, 入力日本語文で文頭 と文末に重複して現れる PREA の構造部品が，対応する英語文では一つの PREA となってい るような, 典型的な特許請求項の対訳文を示している.

 \\

図 10 日英翻訳のための SCFG 規則一覧

 \\

図 11 中日翻訳のための SCFG 規則一覧

 \\

図 12 日中翻訳のための SCFG 規則一覧

[S [PREA 安全ヘルメット] [TRANであって、] [BODY [PURP 接合手段が、一組の防振要素を互いに連結する単一構造を含み、] [PURP 前記単一構造が蜘蛛の形態であ り、その蜘蛛の頭部が上部防振要素に固定され、かつその蜘蛛の各脚が、前記上部防振要素と周囲防振要素との間をつなぎ合わせるように働き、] [PURP 前記上部および周囲防振要素が前記単一構造にオーバーモールドすることによ り得られることを特徴とする、]] [PREA 安全ヘルメット。]]

(a) 入力日本語請求項文

[s [PREA A safety helmet,] [TRAN wherein:] [BODy [PURP the joining means comprises a single structure connecting the set of damping elements to one another,] [PURP wherein the single structure is in the form of a spider, the head of which is fixed to a top damping element and each leg of which performs joining between the top damping element and a peripheral damping element, and] [PURP wherein the top and peripheral damping elements are obtained by overmolding on the single structure.]]]

(b) 対応する英語請求項文

図 13 日英翻訳用 $S C F G$ 規則 $R_{\mathrm{j} 22}$ に対応する日英対訳例

## 略歴

富士秀：1987 年英国王立ロンドン大学キングス校工学部卒業. 1988 年より

株式会社富士通研究所研究員, シニアリサーチャー. 2014 年より国立研究開発法人情報通信研究機構に出向中. 2015 年より奈良先端科学技術大学院大学博士後期課程在学中. 機械翻訳, 多言語処理の研究に従事. 情報処理学会, 言語処理学会, AAMT, 日本言語類型論学会等各会員.

藤田篤：2000 年九州工業大学情報工学部卒業. 2005 年奈良先端科学技術大
学院大学情報科学研究科博士後期課程修了. 博士 (工学). 現在, 国立研究開発法人情報通信研究機構主任研究員. 自然言語処理, 主に言い換え表現の生成と認識, 機械翻訳の研究に従事. 情報処理学会, 言語処理学会等各会員.

内山 将夫：1992 年筑波大学卒業. 1997 年同大学院工学研究科修了. 博士 (工学). 現在, 国立研究開発法人情報通信研究機構主任研究員. 主な研究分野は 機械翻訳. 情報処理学会, 言語処理学会等各会員.

隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学) 取得. 1982 年 1991 年（(株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員, 主幹研究員, 室長. 2007 年 国立研究開発法人情報通信研究機構 (NICT), 現在, 先進的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.

松本 裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. 1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

$(2016$ 年 3 月 24 日 受付 $)$
$(2016$ 年 7 月 3 日 再受付 $)$
$(2016$ 年 8 月 26 日 採録)


# 言語横断質問応答に適した機械翻訳評価尺度の調査

杉山享志朗 $\dagger$ ・水上 雅博 $^{\dagger} \cdot$ Graham Neubig $^{\dagger}$ $\cdot$ 吉野幸一郎 $\dagger$鈴木 優† $\cdot$ 中村 哲 $\dagger$

質問応答システムが高い精度で幅広い質問に解答するためには，大規模な知識べー スが必要である。しかし，整備されている知識べースの規模は言語により異なり，小規模の知識べースしか持たない言語で高精度な質問応答を行うためには，機械翻訳を用いて異なる言語の大規模知識べースを利用して言語横断質問応答を行う必要 がある. ところが, このようなシステムでは機械翻訳システムの翻訳精度が質問応答の精度に影響を与える。一般的に, 機械翻訳システムは人間が与える評価と相関 を持つ評価尺度により精度が評価されている。そのため, この評価尺度による評価值が高くなるように機械翻訳システムは最適化されている。しかし, 質問応答に適 した翻訳結果は, 人間にとって良い翻訳結果と同一とは限らない。つまり, 質問応答システムに適した翻訳システムの評価尺度は, 人間の直感に相関する評価尺度と は必ずしも合致しないと考えた。そこで本論文では, 複数の翻訳手法を用いて言語横断質問応答データセットを作成し, 複数の評価尺度を用いてそれぞれの翻訳結果 の精度を評価する。そして，作成したデータセットを用いて言語横断質問応答を行 い，質問応答精度と翻訳精度との相関を調査する。これにより，質問応答精度に影響を与える翻訳の要因や，質問応答精度と相関が高い評価尺度を明らかにする。さ らに，自動評価尺度を用いて翻訳結果のリランキングを行うことによって, 言語横断質問応答の精度を改善できることを示す.

キーワード：言語横断質問応答，機械翻訳，自動評価尺度
## An Investigation of Machine Translation Evaluation Metrics in Cross-lingual Question Answering

Kyoshiro Sugiyama ${ }^{\dagger}$, Masahiro Mizukami $^{\dagger}$, Graham Neubig $^{\dagger}$, Koichiro $^{\text {Yoshino }}{ }^{\dagger}$,

Yu SuzukI ${ }^{\dagger}$ and Satoshi NaKamura ${ }^{\dagger}$

Through using knowledge bases, question answering (QA) systems have come to be able to answer questions accurately over a variety of topics. However, knowledge bases are limited to only a few major languages, and thus it is often necessary to build QA systems that answer questions in one language based on an information source in another language (cross-lingual QA: CLQA). Machine translation (MT) is one tool to achieve CLQA, and it is intuitively clear that a better MT system improves QA accuracy. However, it is not clear whether an MT system that is better for human consumption is also better for CLQA. In this paper, we investigate the relationship

between manual and automatic translation evaluation metrics and CLQA accuracy by creating a data set using both manual and machine translation, and performing CLQA using this created data set. As a result, we find that QA accuracy is closely related with a metric that considers frequency of words, and as a result of manual analysis, we identify two factors of translation results that affect CLQA accuracy. One is mistranslation of content words and another is lack of question type words. In addition, we show that using a metric which has high correlation with CLQA accuracy can improve CLQA accuracy by choosing an appropriate translation result from translation candidates.

Key Words: Cross-lingual Question Answering, Machine Translation, Evaluation Metrics

## 1 はじめに

質問応答とは, 入力された質問文に対する解答を出力するタスクであり, 一般的に文書, Web ページ，知識ベースなどの情報源から解答を検索することによって実現される．質問応答はその 応答の種類によって, 事実型 (ファクトイド型) 質問応答と非事実型（ノンファクトイド型）質問応答に分類され, 本研究では事実型質問応答を取り扱う。近年の事実型質問応答では, 様々な話題の質問に解答するために, 構造化された大規模な知識ベースを情報源として用いる手法が盛ん に研究されている (Kiyota, Kurohashi, and Kido 2002; Tunstall-Pedoe 2010; Fader, Zettlemoyer, and Etzioni 2014). 知識ベースは言語によって規模が異なり, 言語によっては小規模な知識べー スしか持たない．例えば，Web上に公開されている知識べースには Freebase ${ }^{1}$ や DBpedia ${ }^{2}$ など があるが，2016 年 2 月現在, 英語のみに対応している Freebase に収録されているエンティティ が約 5,870 万件, 多言語に対応した DBpedia の中で英語で記述されたエンティティが約 377 万件であるのに対し，DBpediaに含まれる英語以外の言語で記述されたエンティティは 1 言語あ たり最大 125 万件であり，収録数に大きな差がある．知識べースの規模は解答可能な質問の数 に直結するため，特に言語資源の少ない言語での質問応答では，質問文の言語と異なる言語の 情報源を使用する必要がある。このように，質問文と情報源の言語が異なる質問応答を，言語横断質問応答と呼ぶ.

こうした言語横断質問応答を実現する手段として，機械翻訳システムを用いて質問文を知識 ベースの言語へ翻訳する手法が挙げられる (Shimizu, Fujii, and Itou 2005; Mori and Kawagishi 2005)。一般的な機械翻訳システムは，人間が高く評価する翻訳を出力することを目的としてい るが，人間にとって良い翻訳が必ずしも質問応答に適しているとは限らない. Hyodo ら (Hyodo
^{1}$ https://www.freebase.com/

2 http://wiki.dbpedia.org/
}
and Akiba 2009) は，内容語のみからなる翻訳モデルが通常の翻訳モデルよりも良い性能を示し たとしている。また, Riezler らの提案した Response-based online learning では, 翻訳結果評価関数の重みを学習する際に質問応答の結果を利用することで，言語横断質問応答に成功しやす い翻訳結果を出力する翻訳器を得られることが示されている (Riezler, Simianer, and Haas 2014; Haas and Riezler 2015). Reponse-based learning では学習時に質問応答を実行して正解できた かを確認する必要があるため, 質問と正解の大規模な並列コーパスが必要となり, 学習にかか る計算コストも大きい。これに対して，質問応答に成功しやすい文の特徴を明らかにすること ができれば, 質問応答成功率の高い翻訳結果を出力するよう翻訳器を最適化することが可能と なり, 効率的に言語横断質問応答の精度を向上させることが可能であると考えられる. さらに，質問と正解の並列コーパスではなく, 比較的容易に整備できる対訳コーパスを用いて翻訳器を 最適化することができるため, より容易に大規模なデータで学習を行うことができると考えら れる。

本研究では，どのような翻訳結果が知識べースを用いた言語横断質問応答に適しているかを 明らかにするため，知識べースを利用する質問応答システムを用いて 2 の調査を行う． 1 目 の調査では, 言語横断質問応答精度に寄与する翻訳結果の特徴を調べ, 2 つ目の調査では, 自動評価尺度を用いて翻訳結果のリランキングを行うことによる質問応答精度の変化を調べる。調査を行うため，異なる特徴を持つ様々な翻訳システムを用いて，言語横断質問応答データセッ トを作成する（3節）．作成したデータセットに対し，4節に述べる質問応答システムを用いて 質問応答を行い，翻訳精度（5.1 節）と質問応答精度（5.2 節）との関係を分析する（5.3 節）。ま た, 個別の質問応答事例について人手による分析を行い，翻訳結果がどのように質問応答結果 に影響するかを考察する (5.4 節)。さらに， 5.3 節および 5.4 節における分析結果から明らかと なった, 質問応答精度と高い相関を持つ自動評価尺度を利用して，翻訳 $N$ ベストの中から翻訳結果を選択することによって，質問応答精度がどのように変化するかを調べる（5.5 節)。こ のようにして得られる知見は日英という言語対に限られたものとなるため, さらに一般化する ために様々な言語対で言語横断質問応答を行い，言語対による影響を調査する (5.6 節).

最後に，言語横断質問応答に適した機械翻訳システムを実際に構築する際に有用な知見をま とめ, 今後の展望を述べて本論文の結言とする（6節）.

## 2 本調査の概観

本論文では 2 種類の調査を行う。 1 つ目は言語横断質問応答に対する翻訳結果の影響に関す る調査である。翻訳結果の訳質評価結果と言語横断質問応答精度の関係を求め, その結果から どのような特徴を持つ翻訳結果が言語横断質問応答に適しているかを明らかにする。2つ目は 1 つ目の調査結果から，言語横断質問応答に適応した翻訳をできるかについての調査である。具
体的には 1 つ目の調査で質問応答精度との相関が高かったスコアを用いて翻訳結果のリランキ ングを行い，質問応答精度がどのように変化するかについて調べる。これにより，質問応答精度との相関が高いスコアを用いた翻訳結果によって質問応答精度を改善できることを確認する。

## 2.1 言語横断質問応答精度に影響する翻訳結果の調査

1つ目の調査では，翻訳結果がどのように言語横断質問応答精度に影響を与えるかを調べる。実験の概要を図 1 に示す。本調査は，以下の手順で行う。

翻訳を用いたデータセット作成 質問応答に使用されることを前提として作成された英語質問応答データセットを用意し，その質問文を理想的な翻訳結果と仮定する。まず，理想的 な英語質問セットを人手で和訳し（図中の「人手翻訳」），日本語質問セットを作成する.続いて, これらの日本語質問セットを，様々な翻訳手法を用いて英訳し（図中の「翻訳手法 $1 \sim n\rfloor)$ ，英語質問セットを作成する。

翻訳精度測定 作成した英語質問セットについて，複数の評価尺度を用いて翻訳精度の評価を 行う（翻訳精度評価システム）。この時，参照訳は理想的な英語質問セットに含まれる質問文とする。

質問応答精度測定 理想的な英語質問セットと, 作成した英語質問セットそれぞれについて, 同一の質問応答器による質問応答実験を行い，質問応答精度を測定する。

分析 複数の翻訳精度評価尺度それぞれについて, どのような特徴を持つ評価尺度が質問応答精度と高い相関を持つかを調べる。また, 質問セット単位ではなく, 文単位でも翻訳精度と質問応答精度との相関を分析する。この際，正確な翻訳であっても正解するのが難 しいと思われる質問が存在することを考慮するため，理想的な質問文で正解したかどう

図 1 質問応答精度に影響する翻訳結果の調査実験概要

図 2 自動評価尺度を用いた翻訳結果選択

かで 2 グループに分けて分析する。 さらに，個別の質問応答事例について人手で確認し， どのような翻訳結果が質問応答の結果を変化させるかを考察する.

## 2.2 自動評価尺度を用いた翻訳結果選択による質問応答精度改善

前節に述べた実験により得た知見を元に，できる限り既存の資源・システムを用いて言語横断質問応答精度を向上させる可能性を探る。図 2 に調査方法の概要を示す。まず，翻訳結果を もっともらしいものから $N$ 通り出力する $N$ ベスト出力を行う。質問応答精度と高い相関を持 つ評価尺度を用いて， $N$ ベストから翻訳結果を選択することによって質問応答精度の向上が見 られれば，そのような評価尺度が高くなるように翻訳結果を選択することで質問応答システム の精度が向上することが期待できる.

## 3 データセット作成

本調査では, 日英言語横断質問応答を想定した実験を行うため, 基本となる英語質問応答セッ トとそれを和訳した日本語質問応答セット，日本語質問応答セットから翻訳された英語質問応答セットという 3 種類の質問応答セットを用いた。本節では, これらのデータセットの作成方法について述べる。

## 3.1 作成手順

基本となる英語質問セットとして, Free917 (Cai and Yates 2013)を用いた. Free917 は Freebase と呼ばれる大規模知識べースを用いた質問応答のために作成されており，知識ベースを用いた 質問応答の研究に広く利用されている (Cai and Yates 2013; Berant, Chou, Frostig, and Liang
表 1 各質問セットに含まれる質問文と正解クエリの例

2013).このデータセットは 917 対の英語質問文と正解で構成され, 各正解は Freebase のクエリ の形で与えられている. 先行研究 (Cai and Yates 2013) に従い, このデータセットを train セッ ト（512 対), devセット（129 対), test セット（276 対）に分割した. 以降,この翻訳前の test セットを OR セットと呼ぶ。まず，OR セットに含まれる質問文を和訳し，日本語質問セット （JA セット）とした。和訳は，1名による人手翻訳で行った。なお, 今回は日本語の人手翻訳を 各セットに対して 1 通りのみ用意するが，この人手翻訳における微妙なニュアンスが以降の機械翻訳に影響を与える可能性がある。次に，JA セットに含まれる質問文を後述する 5 種類の翻訳手法によって翻訳し, 各英語質問セット (HT, GT, YT, Mo, Tra)を作成した. 質問応答セッ トの一部を表 1 に示す.

## 3.2 比較した翻訳手法

本節では，質問セット作成で比較のため用いた 5 種類の翻訳手法について述べる.

人手翻訳翻訳業者に日英翻訳を依頼し，質問文の日英翻訳を行った。これによって作成した データセットを HT セットと呼ぶ。人手による翻訳結果は人間にとってほぼ最良の翻訳 であると考えられ，人間が高く評価する翻訳結果が言語横断質問応答にも適しているか を調べるために HT セットを作成した。

商用翻訳システム Web ページを通して利用できる商用翻訳システムである Google 翻訳 ${ }^{3}$ と Yahoo!翻訳4を利用して日英翻訳を行った。これらの枠組みや学習に用いられているデー 夕の詳細は公開されていない. Google 翻訳の翻訳結果を用いて作成した英語質問応答 セットをGT セット，Yahoo!翻訳の翻訳結果を用いて作成したものを YTセットと呼ぶ. これらの機械翻訳システムは商用目的に作成されており，実用的な品質を持つと考えら れるため，機械翻訳の精度についての目安となることを期待して使用した.

フレーズベース翻訳 統計的機械翻訳で最も代表的なシステムである Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を用いて作成されたフレーズベース機械翻訳を用いて質問文を翻訳した，学習には，英辞郎例文 ${ }^{5}$ ，京都フリー翻訳タスクの Wikipediaデータ ${ }^{6}$, 田中コーパス 7 , 日英法令コーパス ${ }^{8}$, 青空文庫 ${ }^{9}$, TED 講演 ${ }^{10}$, BTEC，オープンソース対訳11を利用した。また, 辞書として英辞郎, WWWJDIC ${ }^{12}$, Wikipediaの言語間リンク13 を利用した。合計で，対訳コーパス約 255 万文, 辞書約 277 万エントリーである. Moses による翻訳結果を用いて作成したデータセットを Mo セットと呼ぶ.

Tree-to-string 翻訳Tree-to-string 機械翻訳システムである Travatar (Neubig 2013) を用いて 質問文を英訳した。学習に用いたデー夕は Moses と同様である。Travatarによる翻訳結果を用いて作成したデータセットを Tra セットと呼ぶ.

Mo セット，Tra セットの作成に用いた翻訳器は，翻訳過程に用いられる手法が明らかで あり，翻訳過程という観点からの分析に必要であると考え，これらのセットを作成した。

## 4 質問応答システム

本研究では, 質問応答を行うために SEMPRE ${ }^{14}$ という質問応答フレームワークを利用した. SEMPRE は，大規模知識ベースを利用し，高水準な質問応答精度が示されている (Berant et al. 2013)．本節ではSEMPREの動作を述べ，言語横断質問応答に利用する場合に，どのような翻訳が各動作に影響を与えるかを考察する。図 3 に SEMPRE フレームワークの動作例を示し，そ の動作についてアライメント，ブリッジング，スコアリングの三段階に分けて説明する. アライメント (Alignment) アライメントでは, 質問文中のフレーズからクエリの一部となる エンティティやプロパティを生成する。このためには, レキシコン (Lexicon)と呼ばれる,自然言語フレーズからエンティティ／プロパティへのマッピングを事前に作成する必要が ある。レキシコンは大規模なテキストコーパスと知識ベースを用いて共起情報などを元に 作成される. 本研究では先行研究 (Berant et al. 2013) に従い, ClueWeb09 ${ }^{15}$ (Callan, Hoy,

Yoo, and Zhao 2009) と呼ばれるデータセットに含まれる新聞記事のコーパスと Freebase を用いて作成されたレキシコンを用いた。図 3 の例では, “college”から Type.University のエンティティが生成され，“Obama”から BarackObama のエンティティが生成されて いる.

アライメントに最も影響を及ぼすと考えられる翻訳の要因は，単語の変化である。質問文の中の部分文字列はアライメントにおける論理式の選択に用いられるため, 誤って翻訳された単語はアライメントでの失敗を引き起こすと考えられる。

ブリッジング (Bridging) アライメントによって作成されたエンティティノプロパティの系列 について, 隣接するエンティティやプロパティを統合し, 知識ベースに入力するクエリ を生成する。ブリッジングは隣接する論理式から新たな論理式を生成し, 統合する動作 である。図 3 の例では, Type.University と BarackObama が隣接しており, 両者を繋ぐ 論理式として Education が生成されている.

ブリッジングに影響を及ぼすと考えられる翻訳の要因は，語順の変化である．語順が異 なるとアライメントで生成される論理式の順序が変化するため, 隣接する論理式の組み 合わせが変化する。したがって，翻訳結果の語順が誤っていた場合，ブリッジングでの 失敗を引き起こすと予想される。

スコアリング (Scoring) アライメントとブリッジングでは, 網羅的に組合せを試し, 多数のク エリ候補を出力する。 スコアリングでは, 評価関数に基づいて候補の導出過程を評価し,

## Occidental College, Columbia University

## Type.UniversityпEducation.BarackObama

図 3 SEMPRE フレームワークによる質問応答の動作例
最も適切な候補を選択する。図 3 の例では, Type.University $\sqcap$ Education.BarackObama というクエリ候補のスコアを，「“college”から Type.University を生成」し,「“Obama”か ら BarackObama を生成」し，「Education でブリッジする」という導出過程に対して決定する。質問応答システムの学習では，正解を返すクエリを導出することができた導出過程に高いスコアが付くよう評価関数を最適化する。

言語横断質問応答に最適な評価関数は単言語質問応答と異なる可能性があり，翻訳はこ の処理にも影響する可能性がある。しかしながら，言語横断質問応答に最適化するよう 学習するためには翻訳された学習データセットが必要であり，その作成には大きなコス トがかかる。そのため, 本論文ではこれに関する調査は行っていない.

## 5 実験

本実験では，言語横断質問応答においてどのような翻訳の要因が質問応答精度に影響を及ぼ すかを調査した．そのために， 3 節で述べたデータセットと 4 節で述べた質問応答システムを用 い，日本語の質問文を翻訳システムで英語の質問文に変換し，英語の単言語質問応答器によっ て解答を得るという状況を想定した実験を行った。

## 5.1 実験 1：翻訳された質問セットの訳質評価

翻訳精度と質問応答精度の関係を調査するため, まず翻訳結果の訳質を評価した。

## 5.1.1 実験設定

本実験では，JA セットの質問文から翻訳された 5 つの英語質問応答セットに含まれる質問文の 訳質をいくつかの自動評価尺度および人手評価によって評価した。自動評価尺度の参照訳として は, OR セットの質問文を用いた。これは, JA セットの質問文の理想的な英訳が OR セットの質問文であると仮定することに相当する。評価尺度には，4つの訳質自動評価尺度 (BLEU+1 (Lin and Och 2004), NIST (Doddington 2002), RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010), WER (Leusch, Ueffing, and Ney 2003)) と, 人手による許容性評価 (Acceptability) (Goto, Chow, Lu, Sumita, and Tsou 2013)を用いた.

BLEU+1 BLEU+1は, 最初に提案された自動評価尺度である BLEU (Papineni, Roukos, Ward， and Zhu 2002)の拡張 (平滑化版) である，BLEUは，参照訳と翻訳仮説との間の n-gram 適合率を基準とした評価を行うため，局所的な語順を評価する評価尺度であると言える。短い訳出には参照訳の長さに応じたペナルティを与えることで極端な翻訳に高いスコア を与えないよう設計されている，BLEU はコーパス単位の評価を想定した評価尺度であ るが，BLEU+1 は平滑化を導入することで文単位での評価でも BLEU と比べて極端な值

が出づらくなっている。評価値は $0 \sim 1$ の実数で，参照訳と完全に一致した文の評価は 1 となる.

RIBES RIBES は単語の順位相関係数に基づいた評価尺度であり，大域的な語順を捉えるこ とができる。その特性から，日英・英日のように大きく異なる文構造の言語対の翻訳評価で人間評価と高い相関が認められている。評価値は $0 \sim 1$ の実数で, 参照訳と完全に一致した文の評価は 1 である.

NIST NIST スコアは, BLEU や BLEU +1 と同じく n-gram 適合率に基づいた評価尺度である が, 各 n-gramに出現頻度に基づいて重み付けをする点でそれらと異なる。低頻度の語 ほど大きな重みが与えられ，結果として頻出する機能語よりも低頻度な内容語に重点を 置いた評価尺度となる。評価値は正の実数で与えられ，上限が設定されない。本研究で は，参照訳と完全に一致した文の評価値で除算することで，0１の範囲に正規化した値 を用いる。

WER WER (Word Error Rate: 単語誤り率) は参照訳と翻訳仮説の編集距離を語数で割るこ とで得られる尺度で, BLEU や RIBES より厳密に参照訳との語順・単語の一致を評価す る。WER は誤り率を表し，低いほどよい翻訳仮説となるため，他の評価尺度と軸向きを 揃えるために $1-W E R$ の値を用いた.

許容性 (Acceptability) 許容性は人間による 5 段階の評価である。この評価尺度では, 意味的に正しくなければ 1 と評価され, 意味理解の容易さ, 文法的な正しさ, 流暢性によっ て2から5の評価が行われる。評価値は 1～5の整数であるが，他の評価尺度と比率を合 わせるため，0〜1に正規化した値を用いる.

## 5.1.2 実験結果

JA セットの質問文を入力とし, OR セットの質問文を参照訳とした時の各翻訳結果の評価値 を図 4 に示す.

図 4 より, 人手翻訳の訳質は全ての評価尺度において機械翻訳のものよりも高いことが読み 取れる。次に，GTとYTに着目すると，BLEUと NIST では GT が高く, RIBES と許容性で は YTが高い. これは先行研究 (Isozaki et al. 2010)と同様の結果となっており, 日英翻訳での RIBES と人手評価による許容性との相関が高いという特性が確認された. また, Mo と Traを比 べると，Traの翻訳精度が劣っている，通常，日英間の翻訳では，文構造を捉える Tree-to-string 翻訳の精度が比較的良くなるとされているが, 今回は翻訳対象が質問文であるため, 通常と異な る文型に偏っていることと, 各入力文がそれほど長くなく構造が単純である傾向があるため,文構造を捉える長所が生かされなかったことなどが原因と考えられる。次節で，このような特性が人間相手ではなく質問応答システムの入力として用いた場合でも同様に現れるかどうかを 検証する。

図 4 訳質評価値（平均）

## 5.2 実験 2: 翻訳された質問セットを用いた質問応答

次に，翻訳精度との関係を調査するため，作成したデータセットを用いて質問応答を行い，質問応答精度を測定した。

## 5.2.1 実験設定

本実験では 4 節で述べた質問応答フレームワーク SEMPREを用いて，3節で述べた手順で作成した 4 つの質問セット及び OR セットの質問応答実験を行い，各セットの質問応答精度を測定した.レキシコンには, ClueWeb09 の新聞記事コーパスと Freebase から構築されたものを使用した。また, 評価関数の学習には, Free917の Train セットとDev セットを用いた。テスト セットとして使用した質問 276 問のうち 12 問で, 正解論理式を Freebase に入力した際に出力 が得られなかったため,これらを除いた 264 問の結果を用いて質問応答精度を測定した.

## 5.2.2 実験結果

各データセットの質問応答の結果を図 5 に示す。図 5 より，元のセット（OR セット）であっ ても約 $53 \%$ の精度に留まっていることがわかる。また, HT セットの精度は機械翻訳で作成し た他のデータセットと比較して高いことが読み取れる。しかしながら図 4 に示したように高い 訳質を持つ HT セットであっても，OR セットと比べると質問応答精度は有意水準 $5 \%$ で有意に 低いという結果となった（対応有り $\mathrm{t}$ 検定），機械翻訳で作成したセットの中では，GTが最も

図 5 各データセットにおける質問応答精度

質問応答精度が高く，HT セットの結果との差は有意と言えない結果となった。また，YT は

た.これらの結果は，人間にとって分かりやすい翻訳結果は必ずしも質問応答に適する翻訳結果であるとは限らないことを示唆している. 5.3 節, 5.4 節で, これらの現象について詳細な分析を行う.

## 5.3 質問応答精度と機械翻訳自動評価尺度の関係

質問応答精度に影響を及ぼす翻訳結果の要因をより詳細に分析するため, 訳質評価値と質問応答精度の相関を文単位で分析した。まず，図 5 に示すように，質問応答用に作成されたデー タセット (OR セット）であっても約半数の質問は正解できていない．参照訳で正解できていな い質問は翻訳の結果に関わらず正解することが難しいと考え，質問を 2 つのグループに分けた.「正解グループ」は，OR セットにおいて正解することができた 141 問の翻訳結果 $141 \times 5=705$問からなるグループであり，「不正解グループ」は残りの 123 問の翻訳結果 $123 \times 5=615$ 問か らなるグループである.

正解グループにおける質問応答精度と訳質評価值の関係を図 6 に示す. このグラフにおいて,棒グラフは評価値に対する質問数の分布を表し，折れ線グラフは評価値に対する正答率の変化

の質問の正答率は $35 \%$ 程度である。図中の $R^{2}$ は決定係数である。決定係数は, 線形回帰にお ける全変動に対する回帰変動の割合を示し，値が 1 に近いほどよく当てはまる回帰直線である

ことを示す。この図より，本実験に使用した全ての評価尺度は質問応答精度と相関を持ち，言語横断質問応答において訳質は重要であることを示している。また，質問応答精度は NIST ス コアと最も高い決定係数を示した，前述したように，NIST スコアは単語の出現頻度を考慮し た尺度であり，機能語よりも内容語を重要視する特徵を持つ。この結果から，内容語が言語横断質問応答において重要な役割を持つことが確認でき，これを考慮した翻訳を行うことで質問応答精度が改善できると考えられる。これは，内容語が 4 節に述べたアライメントにおける論理式選択において重要であることを考えると自然な結果と言える。また，NIST スコアによっ てこの影響を自動的に適切に評価できる可能性もこの結果から読み取れる.

一方で，人手評価との相関が高かった RIBES は, 質問応答精度においては決定係数が低いと いう結果となった。つまり，大域的な語順が言語横断質問応答のための翻訳にはそれほど重要 ではない可能性があると言える。これらの結果を合わせると，語順に影響を受けやすいブリッ ジングよりも，単語の変化に影響を受けやすいアライメントの方が誤りに敏感であると考えら れる。

Acceptability の図に着目すると, $1 \rightarrow 2$ と $3 \rightarrow 4$ で精度の上昇の幅が大きく, $2 \rightarrow 3$ や $4 \rightarrow$ 5 ではほとんど変化していない. Acceptability における評価値 1 は，「重要な情報が欠落してい るか，内容が理解できない文」であることを示し，評価値 2 は「重要な情報が含まれており内容も理解できるが，文法的に誤っており理解が困難な文」であることを表す。このことからも，重要な情報や内容が欠落することは質問応答の精度に大きな影響を与えることがわかる。評価値 2 と 3 の差異は「容易に理解できるかどうか」である。この 2 つ評価値間で質問応答精度 が大きく変わらないことは，人間にとっての理解の容易さは，質問応答精度の向上にはそれほ ど寄与しない可能性を示唆している。評価値 3 と 4 の差異は「文法的に正しいかどうか」であ る.この 2 つの間でも精度が大きく上昇しており文法が重要な可能性があるが, 評価值 4 と評価された文が少ないため誤差が含まれている可能性もある.この点については後の分析で述べ る. 評価值 4 と 5 差異は「ネイテイブレベルの英語かどうか」である. この間では質問応答精度がほとんど変わらず, 評価値 5 の方が少し下がる傾向が見られた. 前述したように評価値 4 の文が少ないことによる誤差の可能性もあるが, ネイティブに用いられる言い回しが質問応答器にとっては逆効果となっている可能性も考えられる.

次に, 不正解グループにおける訳質評価値と質問応答精度の関係を図 7 に示す. 不正解グルー プにおいては, 全ての自動評価尺度において正解グループと比較して決定係数が低いという結果となった. この結果より, 参照訳で質問応答器が解答できない問題では, 翻訳を改善するこ とで正解率を向上させるのが難しいということが言える。これは，言語横断質問応答のための 翻訳器を評価する際の参照訳は質問応答器で正解可能であることが望ましいと言うこともでき る。また, 質問応答成功率を予測できれば，質問応答成功率が高い文を参照訳として機械翻訳を 最適化することでこの問題を軽減できると考えられる。 しかし, 正解グループ・不正解グルー

図 6 評価尺度値と質問応答精度の相関（正解 グループ)

横軸：評価値の範囲

棒グラフ（左縦軸）：質問数の割合 $(\%)$折れ線 (右縦軸)：質問応答精度（範囲内平均)

図 7 評価尺度値と質問応答精度の相関（不正解グループ)

横軸：評価值の範囲

棒グラフ (左縦軸)：質問数の割合 $(\%)$折れ線 (右縦軸)：質問応答精度（範囲内平均)

プのどちらにおいても，訳質評価尺度の値に対する質問数の分布は似通っており，訳質評価尺度でこの問題を解決することは困難であると考えられる。

## 5.4 質問応答事例分析

本節では，翻訳によって質問応答の結果が変化した例を挙げながら，どのような翻訳結果の 要因が影響しているかを考察する。

内容語の変化による質問応答結果の変化の例を表 2 に示す. 第 1 列は, 各質問文での質問応答が成功したかどうかを表す記号であり，○が成功， $\times$ が失敗を表す。表 2 の 1 つ目の例 では, “interstate 579”という内容語が翻訳によって様々に変化している（“interstate highway 579”, “expressway 579”など). OR と Traの文のみが “interstate 579”というフレーズを含ん でおり，これらを入力とした場合のみ正しく答えることができている．出力された論理式を見比べると，不正解であった質問文では interstate_579 のエンティティが含まれておらず，別のエ ンティティに変換されていた．例えば，HT に含まれる“interstate highway 579”というフレー ズは interstate_highway という音楽アルバムのエンティティに変換されていた. 2 つ目の例も同様に, “ibrettist”という内容語が翻訳によって様々に変化し, 不正解となっている. ここで, “librettist magic flute”という質問文を作成し質問応答を行ったところ正解することができたが, “who made magic flute”では不正解であったことから，“ibrettist”が重要な語であることがわ かる.この例でも 1 つ目の例と同様に, librettist という Freebase 内のプロパティと一致する表

表 2 内容語の変化による質問応答結果の変化の例

現を含むことが質問応答の精度に寄与することが示唆される例である.

このような例から, 内容語が変化することでアライメントが失敗し, 正しいエンティティが生成されないことや誤ったエンティティが生成されることが重要な問題であることが確認できる. この問題は，正しいエンティティと結びつきやすい内容語の表現を翻訳の過程で考慮すること で改善できる可能性がある。また，これらの結果は本実験で使用した質問応答器の問題である とも考えられ，言い換えを考慮できる質問応答器を用いることでも改善できる可能性がある.

次に，質問タイプを表す語の誤訳が質問応答結果の変化の原因となる例を表 3 に示す. 1 つ目 の例では，内容語と考えられる "tv (television) programs”, “danny devito” (YT は綴りミスあ り), “produce(d)”の3つは全ての翻訳結果に含まれているが，HT 以外は正解できていなかっ た. 正解できた質問文とそれ以外の質問文を比較すると，“how many”という質問タイプを表す 語を含んでいることが必要であると考えられる．GT Poの質問文に対する解答を確認した ところ，番組名をリストアップして答えており，正解とされる数と同じ数だけ答えていた。こ の例より，解答の形式を変化させるような質問タイプを示す語を，正確に翻訳する必要がある ことがわかる。一方で, 2 つ目の例では, “what”や“which”といった語が含まれていない Mo の質問文でも正解することができている。この例より，質問タイプを表す語であっても重要度 が低いものがあると考えられる。したがって，言語横断質問応答のための翻訳器は，解答の形式を変えるような質問タイプ語の一致を重視することが求められる．質問タイプを表す語は内容語と異なり頻出するため，NIST スコアのように頻度に基づいて重要度を決めることは難し く，質問応答固有の指標が必要であると考えられる.

表 3 質問タイプ語の誤訳による質問応答結果の変化の例

文法や語順に関連する例を表 4 に示す。 1 つ目の例では，YT 以外の機械翻訳の結果は文法が 整っていないにも関わらず全て正解している。一方，2つ目の例では，OR と HTでは文法が正 しいにも関わらず不正解となっている. OR と HT の質問応答の結果を調べると, ベーブルー スの打撃成績を出力していた。これは，“babe ruth”と“play”が隣接しており，ブリッジングの 際に結びついたためと考えられる。これらの例は，少なくともFree917に含まれるような単純 な事実型質問においては，語順を正しく捉えることは質問応答精度の向上の観点からは必ずし も重要でないことを示している。ただし，より複雑な事実型質問や，非事実型質問に対して解答する際には，誤った語順の影響が強くなる可能性は否定できない.

これらの例は，使用した質問応答システムが語順の影響を受けづらいものであったことによ る可能性も考えられる。これを明らかにするためには様々な質問応答システムを用いて実験を 行うことが必要であるが，それは今後の課題とする。

5.2.2 節で述べたように，人間にとってわかりやすい翻訳が質問応答にも成功しやすい翻訳と は限らない可能性がある，実際に質問応答の結果を見ると，質問応答の正誤と Acceptability の 評価が反する例が確認された。その一例を表 5 に示す. 1 つ目の例では, “do you”というフレー ズを含むことによって文章の意味が変わっているため Acceptability は 1 と評価されているが，質問応答では正解できている。この例では内容語は正しく翻訳できており，“do you”というフ レーズを無視することができたため正解することができたと考えられる．2つ目の例では，主 に前置詞の意味の違いによって，GTは 2 という低い評価が付けられている。一方で YT は GT と比較して意味的に正しく翻訳されており 3 と評価されているが，質問応答の結果は不正解で

表 4 文法誤りを含む訳による質問応答結果の例

表 5 許容性と質問応答結果が反する例

あった. 質問応答の過程を見ると，OR と GTの文からは areas というテーマパークのエリアを 示すプロパティが得られたのに対し, YTの文からは area という面積を示すプロパティが得ら れていた. このことから, 意味的に正しい文であることよりも内容語の表層的な一致がより重要であることがわかる．3つ目の例では，YT は固有名詞である“manny pacquiao”を“mannie pacquiao”としており，質問応答結果が不正解となっている．人間が固有名詞を判断するときに は少々の誤字が含まれていたとしても読み取れることから，YTの文に 3 という評価値が付け られたと考えられるが，機械による質問応答においては，特に固有名詞中の誤字は重大な問題 であることがこの例により示唆される.

## 5.5 実験 3: 自動評価尺度を用いてリスコアリングされた翻訳結果を用いた質問応答

5.3 節，5.4 節の分析の結果，質問応答精度と最も高い相関を持つ自動評価尺度は NIST スコ アであった. したがって, NIST スコアが高評価となるよう翻訳システムを学習させることで,質問応答に適した翻訳システムとなる可能性がある。そこでまず，多数の翻訳結果から NIST スコアが最も高い翻訳結果を選択することで，質問応答精度が向上するかどうかを調べる。

## 5.5.1 実験設定

翻訳 $N$ ベストの内，最も NISTの高い翻訳を使用した時の質問応答精度を調査する。本実験 では, 翻訳器に Moses と Travatar を用い, $N=100$ とした。また, 比較のため BLEU +1 につ いても同様の実験を行った。
表 6 翻訳 100 ベスト選択実験結果

## 5.5.2 実験結果

表 6 に実験結果を示す。また，比較のため翻訳システム第一位の結果を用いた場合の精度も 表中に示す。表より，翻訳 $N$ ベストの中から適切な選択を行うことで，質問応答の精度が向上 することがわかる．特に Travatar を用いた言語横断質問応答において，BLEU+1 および NIST スコアを用いて翻訳結果を選択することで，有意水準 $5 \%$ 統計的有意に質問応答精度が向上し ている。また，選択基準に NIST スコアを選んた場合の正答率は，選択基準に BLEU +1 を選ん だ時の正答率よりも向上する傾向にある。これらの結果は, 機械翻訳器の最適化によって言語横断質問応答の精度を改善できる可能性を示している.

本実験で使用した選択手法は，質問応答精度の高い参照訳が必要であり，未知の入力の翻訳結果選択に直接用いることはできない。しかし, 質問応答精度と高い相関を持つ評価尺度に基 づいて翻訳器を最適化することで, 質問応答精度の高い翻訳結果を得ることが可能であると考 えられる。

## 5.6 実験 4: 様々な言語対での翻訳精度と質問応答精度の関係調査

実験 1 から 3 では，日英言語横断を行い，訳質と翻訳精度の関係について調査した。次に，日英以外の言語対における言語横断質問応答においても，同様の結果が得られるかどうかを調査 する。

## 5.6.1 データセット作成

Haas らによって作成されたドイツ語版の free917 セット (Haas and Riezler 2015) を入手し, そ のテストセットに含まれる質問文を Google 翻訳16および Bing 翻訳17を用いて英訳し，DE-GT

セットおよび DE-Bing セット（独英）を作成した。また， 3 章に示す手順に従い，OR セット に含まれる質問文を中国語，インドネシア（尼）語，ベトナム（越）語の母語話者に依頼して 人手翻訳してもらい，それぞれの言語の質問セットを新たに作成した。次に，これらの 3 つの 質問セットをそれぞれ Google 翻訳および Bing 翻訳を用いて英訳し，ZH-GT セット（中英）， ID-GT セット (尼英), VI-GT セット (越英), ZH-Bing セット, VI-Bing セット, ID-Bing セッ トの 6 つの英語質問セットを作成した。また比較のため，JA セットをBing 翻訳を用いて英訳 し, JA-Bing セット（日英）を作成した.

## 5.6.2 訳質評価と質問応答精度の関係

作成した 9 つの質問セットを用いて，4章に示す質問応答システムによる質問応答を行い, 質問応答精度を評価した。その結果を図 8 に示す。比較のため, 同翻訳手法を用いた日英の質問 セット (JA-GT) での結果を合わせて示す. 図より, どの言語対においても, 翻訳による質問応答精度の低下は起こっており，その影響を緩和するような翻訳結果を得ることは重要であると 言える。また，中英セットと越英セットの質問応答精度が他と比較して低いことから，同じ翻訳手法を用いても言語対によって影響に差があることがわかる.

次に，5.1.1 節に示す評価尺度の内，許容性評価を除く4つの評価尺度を用いて，前節で作成 した 9つの質問セットの訳質を評価した。また各質問セットについて， 5.3 節と同様に参照訳で の質問応答が正解できているかどうかで 2 つグループに分け，各グループ内での各評価尺度 と質問応答精度との相関を測定した。ただし本実験では，評価値の範囲で平均するのではなく，各文の評価値と質問応答結果（完全正解で 1 ，完全不正解で 0 ）を直接使用した。表 7 ，表 8 に 示す結果より, どの言語対においても不正解グループの決定係数は正解グループに比べて小さ

図 8 様々な言語対における質問応答精度
表 7 評価尺度と質問応答精度との決定係数 (GT) （太字は正解グループ内の最大値）

表 8 評価尺度と質問応答精度との決定係数 (Bing) （太字は正解グループ内の最大値）

く, 無相関に近いことがわかる. 正解グループの決定係数も最大 0.200 となっており図 6 の值 と比べると小さいが，これはほぼ 2 值で表現される質問応答結果と連続值で表される評価尺度 の間で相関を計算したことが原因であると考えられる。まず，全言語対の結果をまとめて計算 した時（表中の右端の列），最も相関が高い評価尺度は NIST スコアであり，本実験で使用した どの言語対においても内容語の表層の一致が重要であることがうかがえる. 各言語対の正解グ ループの決定係数に着目すると, 日英と中英では似た傾向がある一方で, 尼英では $1-W E R$ が最大の決定係数を持っており，言語対によっては異なった特徴が現れている。また独英では，他言語対と比べて NIST スコアと BLEU +1 の差が大きく, 両評価尺度の差である内容語の一致が 特に重要であることが予想できる。このことから，全体として NIST スコアが質問応答精度と 強く相関するが，言語対の特徵を考慮することでより強い相関を持った尺度を得ることができ ると考えられる。しかしながら，言語対によって異なる特徴については, 現段階では詳細に至 るまで分析できておらず，今後さらなる分析が必要とされる。

## 6 まとめ

本研究では, 言語横断質問応答システムの精度を向上させるため, 翻訳結果が質問応答の結果に与える影響を調査した。

具体的には，翻訳精度評価（5.1 節）と言語横断質問応答精度の評価（5.2 節）を行い, 両者 の関係を分析した (5.3 節)。その結果，内容語の一致を重視する NIST スコアが質問応答精度 と高い相関を持つことがわかった。これは質問応答において内容語が重要であるという直感に も合致する結果である。一方で，人手評価が NIST スコアや BLEU+1 といった自動評価よりも
相関が低いこともわかった。この結果より，人間が正しいと評価する翻訳が必ずしも質問応答 に適しているとは限らないという知見が得られた。

この結果に対して, 質問応答結果の事例分析（5.4 節）を行ったところ, 以下の 2 つのことが わかった. 1 つ目は，人間が正しいと評価した内容語でも質問応答システムが正しく解答でき ない場合もあり，翻訳結果に含まれる内容語の正しさの評価基準は人間と質問応答システムで 必ずしも一致しないということがわかった，2つ目は, 質問タイプを表す語の中には, 正しい解答を出すために重要な語と重要でない語があることがわかった．具体的には，“how many”な ど解答の形式を変化させる語は正しい翻訳が必須であり，“what”や“which”などの語は翻訳結果に含まれていなくても正しく解答することができている例が確認できた.

また，NIST スコアに基づいて選択された翻訳結果の質問応答実験（5.5 節）により，内容語 に重点を置いた翻訳結果を使用することで言語横断質問応答精度が改善されることがわかった。 この結果から，機械翻訳器の最適化を行うことで，言語横断質問応答の精度を改善できる可能性を示した。

最後に，日英以外の言語対における言語横断質問応答実験（5.6 節）では，日英以外の 3 言語対においても日英と同様に内容語を重視する訳質評価尺度が質問応答精度と相関が高い傾向が 見られた。このことから，内容語を重視した訳質評価尺度と質問応答精度が高い相関を持つと いう知見は多くの言語対で見られ，一般性のある知見であることが示された。

今後の課題としては，様々な言語対および質問応答システムを用いた言語横断質問応答を行 うことでより一般性のある知見を得ることや, 質問応答精度と高い相関を持つ評価尺度の作成, そのような尺度を用いて機械翻訳器を最適化することによる質問応答精度の変化を確認するこ となどが挙げられる.

## 謝 辞

本研究の一部は, NAIST ビッグデータプロジェクトおよびマイクロソフトリサーチ CORE 連携研究プログラムの活動として行ったものである. また, 本研究開発の一部は総務省 SCOPE （受付番号 152307004）の委託を受けたものである.

## 参考文献

Berant, J., Chou, A., Frostig, R., and Liang, P. (2013). "Semantic Parsing on Freebase from Question-Answer Pairs." In Proceedings of EMNLP, pp. 1533-1544.

Cai, Q. and Yates, A. (2013). "Large-scale Semantic Parsing via Schema Matching and Lexicon Extension." In Proceedings of ACL, pp. 423-433.

Callan, J., Hoy, M., Yoo, C., and Zhao, L. (2009). "Clueweb09 Dataset.".

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-occurrence Statistics." In Proceedings of HLT, pp. 138-145.

Fader, A., Zettlemoyer, L., and Etzioni, O. (2014). "Open Question Answering over Curated and Extracted Knowledge Bases." In Proceedings of ACM SIGKDD, pp. 1156-1165.

Goto, I., Chow, K. P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at The NTCIR-10 Workshop." In Proceedings of NTCIR-10, pp. 260-286.

Haas, C. and Riezler, S. (2015). "Response-based Learning for Machine Translation of Opendomain Database Queries." In Proceedings of NAACL HLT, pp. 1339-1344.

Hyodo, T. and Akiba, T. (2009). "Improving Translation Model for SMT-based Cross Language Question Answering." In Proceedings of FIT, Vol. 8, pp. 289-292.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of EMNLP, pp. 944-952.

Kiyota, Y., Kurohashi, S., and Kido, F. (2002). "Dialog Navigator: A Question Answering System based on Large Text Knowledge Base." In Proceedings of COLING, pp. 1-7.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of ACL, pp. 177-180.

Leusch, G., Ueffing, N., and Ney, H. (2003). "A Novel String-to-string Distance Measure with Applications to Machine Translation Evaluation." In Proceedings of MT Summit IX, pp. 240-247.

Lin, C.-Y. and Och, F. J. (2004). "ORANGE: A Method for Evaluating Automatic Evaluation Metrics for Machine Translation." In Proceedings of COLING, pp. 501-507.

Mori, T. and Kawagishi, M. (2005). "A Method of Cross Language Question-answering based on Machine Translation and Transliteration." In Proceedings of NTCIR-5, pp. 182-189.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In Proceedings of ACL, pp. 91-96.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of ACL, pp. 311-318.

Riezler, S., Simianer, P., and Haas, C. (2014). "Response-based Learning for Grounded Machine Translation." In Proceedings of $A C L$, pp. 881-891.

Shimizu, K., Fujii, A., and Itou, K. (2005). "Bi-directional Cross Language Question Answering using a Single Monolingual QA System." In Proceedings of NTCIR-5, pp. 455-462.

Tunstall-Pedoe, W. (2010). "True Knowledge: Open-domain Question Answering Using Structured Knowledge and Inference." AI Magazine, 31 (3), pp. 80-92.

## 略歴

杉山享志朗：2014 年呉工業高等専門学校機械電気専攻卒業. 2016 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 同年より, 同大学院博士後期課程在学. 自然言語処理に関する研究に従事.

水上 雅博: 2012 年同志社大学理工学部卒業. 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 同年より同大学院博士後期課程在学. 自然言語処理および音声対話システムに関する研究に従事. 人工知能学会，音響学会, 言語処理学会各会員.

Graham Neubig: 2005 年米国イリノイ大学アーバナ・シャンペーン校工学部 コンピュータ・サイエンス専攻卒業. 2010 年京都大学大学院情報学研究科修士課程修了. 2012 年同大学院博士後期課程修了. 同年奈良先端科学技術大学院大学助教. 2016 年より米国カーネギーメロン大学助教. 機械翻訳, 自然言語処理に関する研究に従事.

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業. 2011 年京都大学大学院情報学研究科修士課程修了. 2014 年同博士後期課程修了. 同年日本学術振興会特別研究員 (PD). 2015 年より奈良先端科学技術大学院大学情報科学研究科特任助教. 2016 年より同助教. 京都大学博士 (情報学)。音声言語処理および 自然言語処理，特に音声対話システムに関する研究に従事。2013 年度人工知能学会研究会優秀賞受賞. IEEE, ACL, 情報処理学会, 言語処理学会各会員.

鈴木 優：2004 年奈良先端科学技術大学博士後期課程修了. 博士 (工学). 現在, 奈良先端科学技術大学院大学情報科学研究科特任准教授. 情報検索やク ラウドソーシングに関する研究開発に従事. 情報処理学会, 電子情報通信学会, ACM, IEEE Computer 各会員.

中村 哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学博士 (工学).シャープ株式会社. 奈良先端科学技術大学院大学助教授, 2000 年 ATR 音声言語コミュニケーション研究所室長, 所長, 2006 年（独）情報通信研究機構研究センター長, けいはんな研究所長などを経て, 現在, 奈良先端科学技術大学院大学教授. ATRフェロー. カールスルーエ大学客員教授. 音声翻訳, 音声対話, 自然言語処理の研究に従事. 情報処理学会喜安記念業績賞, 総務大臣表彰, 文部科学大臣表彰, AntonioZampoli 賞受賞. IEEESLTC 委員, ISCA 理事, IEEE フェロー.

(2016 年 4 月 4 日受付)

(2016 年 7 月 11 日 再受付)

(2016 年 8 月 31 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/