# 特許請求項に特有の文構造に基づく英中日特許請求項翻訳

富士 秀 ${ }^{\dagger} \dagger \dagger$ ・藤田 篤 $\dagger \cdot$ 内山 将夫 $^{\dagger} \cdot$ 隅田英一郎 ${ }^{\dagger}$ 松本 裕治 $^{\dagger}$

近年の統計的機械翻訳の進展によって特許文翻訳の精度は大きく向上したが, 特許文中で特に重要性の高い特許請求項文に対する翻訳精度は依然として低い. 特許請求項文は，(1) 極めて長い 1 文から構成される，(2) 特殊な文構造を持っている，と いう 2 つの特徴を持つサブ言語であるとみなせる. そしてこれらが翻訳精度の低さ の原因となっている。本論文では，サブ言語に特有の特徴を処理する枠組みの導入 によって, 特許請求項の翻訳精度を向上させる手法について述べる。提案手法では,同期文脈自由文法を用いて原言語文が持つサブ言語に特有の文構造を目的言語側の 文構造に変換することにより，適切な文構造を持った訳文を生成する。さらに本手法では, 文全体ではなく, 文を構成する構造部品を翻訳の処理単位とすることによ り長文の問題に対処する. 英日 -日英・中日・日中の 4 翻訳方向で評価実験を行っ たところ, 全翻訳方向において RIBES 值が 25 ポイント以上向上し, 本手法によっ て訳文品質が大幅に改善したことがわかった. 英日・日英翻訳ではさらに BLEU 值 が 5 ポイント程度, 中日・日中では 1.5 ポイント程度向上した.

キーワード：文構造, 統計的機械翻訳, 特許請求項文, 同期文脈自由文法
## Patent Claim Translation based on Sublanguage-specific Sentence Structure

\author{
Masaru Fuji $^{\dagger, \dagger \dagger}{ }^{\dagger}$, Atsushi Fujita ${ }^{\dagger}$, Masao Utiyama ${ }^{\dagger}$, Eilchiro Sumita ${ }^{\dagger}$ and \\ Yuji Matsumoto ${ }^{\dagger \dagger}$
}

Patent claim sentences, despite their legal importance in patent documents, still pose difficulties for state-of-the-art statistical machine translation (SMT) systems owing to their extreme lengths and their special sentence structure. This paper describes a method for improving the translation quality of claim sentences, by taking into account the features specific to the claim sublanguage. Our method overcomes the issue of special sentence structure, by transferring the sublanguage-specific sentence structure from the source language to the target language, using a set of synchronous context-free grammar rules. Our method also overcomes the issue of extreme lengths by taking the sentence components to be the processing unit for SMT. An experiment demonstrates that our proposed method significantly improves the translation quality in terms of RIBES scores by over 25 points, in all of the four translation directions i.e., English-to-Japanese, Japanese-to-English, Chinese-to-Japanese and Japanese-toChinese directions. Alongside the improvement in RIBES scores, improvements of

approximately five points in BLEU scores are observed for English-to-Japanese and Japanese-to-English directions, and that of 1.5 points are observed for Chinese-toJapanese and Japanese-to-Chinese directions.

Key Words: Sentence Structure, Statistical Machine Translation, Patent Claim Sentences, Synchronous Context-free Grammar

## 1 はじめに

日英間や日中間のような, 文法構造の大きく異なる言語間における特許文書を対象とした統計的機械翻訳の精度は, 利用可能な特許対訳コーパスのデータ量の増加に加え, 構文解析にもとづく単語並べ替え技術 (Isozaki, Sudoh, Tsukada, and Duh 2010b; de Gispert, Iglesias, and Byrne 2015) の進展によって大きく向上した (Goto, Utiyama, Sumita, and Kurohashi 2015). しかし特許明細書中の請求項文は, 特に重要性が高いにもかかわらず，明細書中の他の文と比較しても依然として翻訳が困難である。

特許請求項文は, 以下の 2 つの特徵を持つサブ言語 (Buchmann, Warwick, and Shann 1984; Luckhardt 1991) と考えることができる.1つ目の特徴は, 非常に長い単一文で構成されることであり，2つ目の特徴は，対象言語に依存しない部品のセットから構成されるということである. 特許請求項翻訳の困難さは，まさにこれらの 2 つの特徴に根差している. 1 つ目の特徴である特許請求項文の長さによって, 事前並べ替え等で用いられる構文解析器が解析誤りを生じる可能性が高くなり，ひいては事前並べ替えの精度が下がる．２つ目の特徴であるサブ言語に特有の文構造は, 特許明細書の他の部分で学習された統計的機械翻訳を用いるだけでは正確にとらえることができない.

本稿では, 特許請求項文に対する統計的機械翻訳の精度を向上させるための手法について述べる. なお以降の説明では, 特許請求項を構成する要素を「構造部品」と呼ぶ. 我々は, 前述の特許請求項文の特徵に起因する問題を解決するためのモジュールを追加した統計的機械翻訳の枠組みを構築した。サブ言語に特有の文構造に基づく我々の手法は 2 つの狙いがある. (1) 事前並べ替えおよび統計的機械翻訳処理を，入力文全体にではなく, 文の構造部品を単位として実行する。この構成により事前並べ替えおよび機械翻訳への入力を実質的に短縮し, 結果として翻訳精度を向上させる。(2) 特許請求項文の文構造を明示的に捉えた上で翻訳を行うことにより構造的に自然な訳文を生成できるようにする。具体的には，言語非依存の構造部品を得るための同期文脈自由文法規則および正規表現を人手で構築し, これら構造部品を非終端記号とした同期文脈自由文法を用いることによって，原文の文構造を訳文の文構造に反映させる.

我々は，英日・日英・中日・日中の 4 言語対の翻訳について上記提案手法を適用し，その効果を定量的に評価した．提案手法を事前並べ替えと併用した場合に，英日・日英・中日・日中

の 4 言語方向すべての翻訳実験において翻訳品質が RIBES 值 (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010a) で 25 ポイント以上向上した.これに加えて, 英日・日英翻訳では BLEU 値が 5 ポイント程度, 中日・日中翻訳では 1.5 ポイント程度向上した. 英中日 3 言語の請求項文構造を記述するための共通の構造部品は 5 種類のみであり, これら構造部品を単位として記述した英日・日英・中日・日中の 4 言語方向の同期文脈自由文法の規則はそれぞれ 10 個以内である.非常に少ない数で，この翻訳精度改善を実現することができた.

## 2 関連研究

語順の大きく異なる言語間の機械翻訳の品質は, 構文情報を取り込む近年の研究によって大幅に向上した (Collins, Koehn, and Kucerova 2005; Quirk, Menezes, and Cherry 2005; Katz-Brown and Collins 2008; Sudoh, Suzuki, Tsukada, Nagata, Hoshino, and Miyao 2013; Hoshino, Miyao, Sudoh, and Nagata 2013; Cai, Utiyama, Sumita, and Zhang 2014; Goto, Utiyama, Sumita, and Kurohashi 2015).この構文情報を取り込む手法を産業文書等のサブ言語を構成する文書に適用するためには, サブ言語に特有の情報を取り込む必要があると考えられている (Buchmann et al. 1984; Luckhardt 1991). 産業文書等に見られるサブ言語の特徴としては, 一文が非常に長いことと, 特殊な文構造を持っていることがあげられる. このため, 長文を含む入力においてサブ言語に特有の文構造を適切に扱うことが課題となる。

ヨーロッパ言語間のように語順が近い言語間では, 長文を構成する複数の節を連結する談話連結詞 (discourse connective) の曖昧性を解決することによって訳文の文構造が改善することがわかっている (Miltsakaki, Dinesh, Prasad, Joshi, and Webber 2005; Pitler and Nenkova 2009; Meyer, Popescu-Belis, Zufferey, and Cartoni 2011; Hajlaoui and Popescu-Belis 2012; Meyer, PopescuBelis, Hajlaoui, and Gesmundo 2012).これに対して語順の大きく異なる言語間では, 談話連結詞を扱うだけでは不十分であり，例えば長い並列句を含むような原文の文構造を把握して訳文の文構造に変換するような, 文構造変換を行う必要がある.

文構造変換の1つの手法として, 入力文に対する何らかの解析を行ってから訳文構造に変換する様々な研究が行われてきた。初期の研究では, 日英翻訳における文構造変換を目的として, 修辞構造理論 (RST: rhetorical structure theory) に基づくパーザを用いて得られた入力文の修辞構造を目標言語の構造に変換する手法が提案されている (Marcu, Carlson, and Watanabe 2000). これを発展させた研究としては, RST パーザで得られた結果から目標言語構造への変換規則を自動獲得する研究も行われている (Kurohashi and Nagao 1994; Wu and Fung 2009; Joty, Carenini, Ng, and Mehdad 2013; Tu, Zhou, and Zong 2013). 骨格構造 (skeleton)を用いる手法 (Mellebeek, Owczarzak, Grobes, Van Ganabith, and Way 2006; Xiao, Zhu, and Zhang 2014) では, 入力文の構文解析結果から文の骨格を形成するキー要素やキー構造を抽出し, 原言語文と
目的言語文それぞれから抽出した骨格構造同士を一般文同士の場合と同様の手段で学習させる.翻訳実行時には，入力文から骨格構造を抽出して骨格構造翻訳を行い，最後に骨格以下の構造を翻訳して訳文を生成する。分割翻訳 (divide-and-translate) (金, 江原 1994; Jin and Liu 2010; Shinmori, Okumura, Marukawa, and Iwayama 2003; Xiong, Xu, Mi, Liu, and Liu 2009; Sudoh, Duh, Tsukada, Hirao, and Nagata 2010; Bui, Nguyen, and Shimazu 2012) では，入力文を句や節の単位に分割してそれぞれを目標言語に翻訳し，最後にこれら翻訳された分割部品を結合して訳文を生成する手法である。ルールベース翻訳による分割翻訳では，接続構造を用いて分割を行う手法 (金, 江原 1994) や，概念素性を用いて分割する手法 (Jin and Liu 2010) 等が提案されている。並列構造解析に基づく翻訳 (Roh, Lee, Choi, Kwon, and Kim 2008)では, 入力文の解析結果から並列構造を見つけ出し，これをもとに訳文構造への変換を行う．以上述べてきた文構造変換の手法は，パーザを用いて入力文を解析するため, 特許請求項のような長文を多く含むサブ言語ではパーザの解析精度が低く, 結果として訳文の品質も低くなるという問題がある。

文構造変換のもう1つの手法としてはパターン翻訳の研究がある (Xia and McCord 2004; 池原, 阿部, 徳久, 村上 2004; 中澤, 黒橋 2008; Murakami, Tokuhisa and Ikehara 2009; 西村, 村上,徳久, 池原 2010; Murakami, Fujiwara and Tokuhisa 2013; 坂田, 徳久, 村上 2014) . パターン翻訳では，原文側と訳文側それぞれについて固定部と変数部を持つパターンを用意しておき，入力文が原文側パターンにマッチしたら変数部を自動翻訳して訳文側固定部に埋め达んで出力する.この手法は，パターンにマッチさえすれば原文全体を構文解析することなく翻訳できるため, 長文におけるパーザの解析精度の問題を回避することができる反面, 表層的な手がかりをもとに入力文とのマッチを行うので長文に頻出する並列構造や階層を適切に扱うことができないという問題がある.

## 3 サブ言語に特有の文構造の変換

特許請求項は, 特許明細書文書の他の部分と比べて, 使われている語彙や表現は共通である一方, 請求項固有の記述スタイルで記述されるという特徵がある. このことから, 請求項自体が 1 つのサブ言語を構成しているとみなす.この請求項特有の記述方法は, 特許出願の歴史の中で徐々に形成され，最近では公的な特許文書の執筆基準書等でも取り上げられるようになってきた. 国際特許機関 WIPO の特許執筆基準 (WIPO 2014) によると, 英語の請求項は, 次の 3 つの部品から構成される 1 文として記述されなければならない.

$
\mathrm{S} \rightarrow \text { PREA TRAN BODY }
$

ここで, $\mathrm{S}$ は請求項文, PREA は前提部, TRAN は移行部, BODY は本体部をそれぞれ表す.図 1 に英語・日本語・中国語それぞれの, 前提部, 移行部, 本体部の例を示す. 前提部は特許

(a) 英語

(b) 日本語

(c) 中国語

図 1 英語・日本語・中国語の請求項の例

発明の範疇を表す導入的な要素であり, 本体部は特許発明の中心部であって発明の構成要素や目的を表し，移行部は前提部と本体部を接続する役割を担っている。なお，実際の特許請求項における本体部は，発明を構成する要素である「構成要素」，もしくは発明の目的を説明する 「目的部」のいずれかとして記述される。降の図や例では，構成要素を ELEMで，目的部を PURPで表す.

図 1 (a)は, 典型的な英語請求項の構造の例である.この例では, 本体部は構成要素から構成されている。図 1 (b) は, (a) の英語請求項構造に対応した日本語請求項構造であり, 図 1 (c) は, (a) の英語請求項構造に対応した中国語請求項構造である.ここで， 3 言語の構造において用いられている構造部品のセットは共通である一方, 言語によって構造部品の出現する順番は異なることがわかる.

以降では, 英語請求項と日本語請求項の対を例に, 提案手法の概要を説明する. 図 1 (a)および (b) から, 両言語において用いられる構造部品のセットは限定されていることがわかったが, さらに我々の調査から，両言語にはそれぞれ厳密な生成規則が存在することがわかった。図 1
(a)の英語請求項文は, 図 2 (a)の英語生成規則によって表される。ここで, ELEM は図 1 (a) における構成要素を表し, 記号“十”は左に隣接する要素が 1 回以上繰り返されることを表す.図 2 (b) はこれに対応する日本語規則であり, 同一の構造部品セットで構成される.

このようにして, 特許請求項は言語に関わりなく文構造の規則性が高いことから, 我々は言語間の構造変換のために，同期文脈自由文法 (synchronous context-free grammar: SCFG)を用いることとした，例えば，図 2 (a)と (b)の対応する規則を接続することによって，図 2 (c)の SCFG を獲得できる。ここで, 添字の数字は, 両木構造における対応する非終端記号間の関係を表す。我々は特許請求項の翻訳のために，このような SCFG 規則を人手で構築した。詳細については 4.1 節において述べる.

図 3 は英日対訳の請求項文の例である。ここで，PREA，TRAN，BODYはこれら請求項文の構造部品名を表すが, 構造部品の出現順は英日で逆順となっていることがわかる。例えば,分割翻訳等の従来の翻訳手法では, 分割して得られた入力文の分割要素をどのような順番で出力するかを制御することが困難である。請求項の翻訳では，入力文の文構造を認識し，それに対応する目的言語の文構造で出力する必要がある.

$
\begin{array}{ll}
\text { S } & \rightarrow \text { PREA TRAN BODY } \\
\text { TRAN } \rightarrow \text { "comprising:" } \\
\text { BODY } \rightarrow \text { ELEM }+
\end{array}
$

(a) 英語の生成規則

$
\begin{array}{ll}
\text { S } & \rightarrow \text { BODY TRAN PREA } \\
\text { TRAN } \rightarrow \text { “備える” } \\
\text { BODY } \rightarrow \text { ELEM }+
\end{array}
$

(b) 日本語の生成規則

$
\begin{aligned}
& \begin{aligned}
\mathrm{S} & \rightarrow\left.\langle\mathrm{PREA}_{(1)} \mathrm{TRAN}_{(2)} \mathrm{BODY}_{(3)}, \mathrm{BODY}_{(3)} \mathrm{TRAN}_{(2)} \mathrm{PREA}_{(1)}\right.\rangle \\
\mathrm{BODY} & \rightarrow\left.\langle\mathrm{ELEM}^{+}, \mathrm{ELEM}^{+}\right.\rangle
\end{aligned} \\
& \text {TRAN } \rightarrow \text { 〈“comprising:", “備える”〉 }
\end{aligned}
$

(c) (a)および(b)から得られた SCFG 規則

図 2 英語・日本語の生成規則とそこから得られた SCFG 規則

$
\begin{aligned}
& \text { [PREA An apparatus] [TRAN comprising:] [BODY a pencil; an eraser attached to the } \\
& \text { pencil; and a light attached to the pencil.] } \\
& \text { [BODY 鉛筆と；鉛筆に取り付けられた消しゴムと；鉛筆に取り付けられたラ } \\
& \text { イトとを] [TRAN 備える] [PREA 装置。] }
\end{aligned}
$

図 3 英日対訳の請求項文の例

## 4 請求項翻訳のための処理パイプライン

特許請求項文は, 文構造が特殊である一方, 文中で使われる語彙や表現は他の特許明細書文と共通である。このため本研究の実験では, 特許請求項文のための文構造変換機能を前処理モジュールとして用意し, その後段として特許明細書用にチューニングした従来の機械翻訳エンジンをつなげたパイプラインを構築した。具体的には以下に示す 3 ステップから構成されるパイプラインを構築し, 特許請求項文が入力されると, 特許請求項に対応した文構造変換が行われ, 事前並べ替えを経て, 統計的機械翻訳による翻訳が行われる（図 4).
- ステップ 1 文構造変換：入力文に対して，人手で構築した SCFG 規則を搭載したパーザを用いて解析を行う。ここでの目的は，入力文に対する精䋊な構文木を得ることではなく, 図 1 に示すようなサブ言語に特有の文構造を入力文の中で見つけ出し, この文構造に沿って出力の文構造を生成することにある。同時文脈自由文法を用いることにより，入力文の構造部品を認識すると同時に出力側での文構造を生成する。（図 4 (a) $\rightarrow$ (b), (c))
- ステップ 2 事前並べ替え：上述の各構造部品について単語の事前並べ替えを行い, 原言語文の単語を, 目的言語の語順に即して並べ替える。ここで使う事前並べ替えは, 句構造解析をべースにしたものである。なお，上記ステップ10出力が当事前並べ替えへの入力となるため, 結果として高い解析結果が得られる。（図 $4(\mathrm{c}) \rightarrow(\mathrm{d})$ )
- ステップ 3 統計的機械翻訳による翻訳 : 各構造部品について統計的機械翻訳による翻訳を行う。上述のように特許請求項文は, 文構造は特殊でも語彙や表現は他の特許明細書文と共通であるため，特許明細書用にチューニングした統計的機械翻訳をそのまま用いている。ここでも，ステップ1に打いて得られた短い文が入力となるため翻訳品質が向上する. (図 $4(\mathrm{~d}) \rightarrow(\mathrm{e}))$

以降では，上記ステップ 1 およびステップ 2 の詳細について述べる.

## 4.1 文構造変換

1 章で述べたように, 特許請求項翻訳における大きな課題は, 特許明細書の他の項目を用いて学習させた統計的機械翻訳では, 請求項サブ言語に特有の文構造を正確に捉えてこの文構造を目的言語に正確に伝えることができないということである.

本ステップは, 入力請求項文の文構造を認識し, これに対応する出力側の文構造を同時に生成することを目的とする，本ステップは，人手で作成した $\mathrm{SCFG}$ 規則を用いて実行される。我々は，これら規則を以下の手順で作成した。最初に，開発セット中の英中日それぞれの特許請求項を人手で分析することにより，文構造を構成する構造部品は一定であること，ならびに，これら構造部品のセットは英中日の 3 言語で共通であることがわかった.このようにして我々が

A button comprising: a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion; and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled.

(a) 入力英語請求項文

[S [PREA A button] [TRAN comprising:] [BODY [ELEM a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion;] [ELEM and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled.]]]

(b) 同期的に生成された英語文構造

[S [BODy [ELEm a plurality of first ribs integrally formed on the surface of the plate-like base portion, each rib radially extending from a center towards the circumference of the plate-like base portion;] [ELEM and an annular portion integrally formed on the surface of the plate-like base portion, to which each center ends of the plurality of first ribs are coupled]] [TRAN を備える] [PREA A button]]

(c) 同期的に生成された日本語文構造

[s [BODY [ELEm plate like base portion of circumference towards center from extending plate like base portion of surface on formed integrally first ribs of plurality, each rib radially;] [ELEM and plate like base portion of surface, plurality of first ribs of each center ends coupled are which to on formed integrally annular portion]] [TRAN を備え

b] [PREA A button]]

(d) 各構造部品に対する並べ替え結果

[s [BODy [ELEM 前記板状ベース部の前記表面で一体に形成され、各々が前記板状ベース部の中心から外周に向かって放射状に延在する複数の第 1 リブと、] [ELEM 前記板状ベース部の前記表面で一体に形成され、前記複数の第 1 リブ各々の中心端が連結された環状部と、]] [TRANを備える] [PREAボタン]]

(e) 英日 SMT による各構造部品の翻訳

図 4 翻訳パイプラインの概要

抽出した構造部品セット Uは次のとおりである.

$U \in\{$ PREA, TRAN, BODY, ELEM, PURP $\}$

ここで, これら 5 項目 (PREA は前提部, TRAN は移行部, BODY は本体部, ELEM は構成要素，PURPは目的部をそれぞれ表す）はすべて前章で説明したとおりである.

次に, 構造部品セットUを非終端記号とする英語生成規則および日本語生成規則を作成し, 対応する英語生成規則と日本語生成規則を組み合わせることによって, 英日翻訳用および日英翻
訳用の SCFG 規則を作成した。図 5 は，このようにして作成した英日翻訳用のすべての SCFG 規則のセットである。同様にして，構造部品セットUから中国語生成規則を作成し，対応する中国語生成規則と日本語生成規則を組み合わせることによって，中日翻訳用および日中翻訳用のSCFG 規則を作成した。日英翻訳・中日翻訳・日中翻訳のためのSCFG 規則は付録を参照されたい。付録には日英翻訳のための SCFG 規則に対応する日英対訳例文も掲載している。規則の数は，英日翻訳用 8 個, 日英翻訳用 10 個, 中日翻訳用 6 個, 日中翻訳用 10 個である.

図 5 は，英日翻訳用 $S C F G$ 規則である $R_{\mathrm{ej} 2}$ の処理対象となるような対訳の例である．入力英文において PREA・TRAN ・BODY ・ TRAN ・BODY の順番で出現する構造部品が, 日本語では BODY・TRAN・BODY・TRAN・PREAの順番に並べ替えられることによって，日本語として適切な文構造となることがわかる。

今回作成したSCFG 規則では，規則適用で曖昧性が生じるのは終端記号に対応する規則であり，これ以外は決定的に動作する解析アルゴリズムとなっている。実際の SCFG 規則の実装では, 終端記号とのマッチングに正規表現を用いることによって, 各規則について高々 1 回のマッチのみを認め，終端記号においても決定的に動作するような設計とした．決定的な動作を行うためには対象言語の主辞方向性を用いており, 例えば主辞先導型言語の英語と中国語では最も文頭に近い TRAN一つを採用し, 主辞後置型言語の日本語では最も文末に近い TRANを採用している．例えば，英語の入力特許請求項文中に文字列 “comprising” が複数回出現する場合には， 入力文中の最初の “comprising”のみとマッチするような正規表現を用意した. 実際の特許請求項では, 執筆者が最初の表現がTRAN となるように意識して書くことが多いため, 最初の TRAN を採用することでほぼ誤りなくマッチする，以下に，Perl 言語風の英語と日本語の正規

 \\

図 5 英日翻訳のための SCFG 規則一覧（日英・中日・日中翻訳のための SCFG 規則は付録に掲載している)
[s [PREA An energy management system] [TRAN comprising:] [BODy [ELEm (a) a helmet shell having a bottom edge;] [ELEM (b) a plurality of bell-shaped pockets situated on an inside surface of the helmet shell, each of the bell-shaped pockets having a bottom surface; and [ELEM (c) a bladder positioned inside of each bell-shaped pocket;]] [TRAN wherein] [BODy [PURP the bottom surface of each bell-shaped pocket is configured to allow the bladder to extend beyond the bottom surface of the pocket and beyond the bottom edge of the helmet upon impact.]]]

$
\text { (a) 入力英語請求項文 }
$

(b) 対応する日本語請求項文

図 $6 \mathrm{SCFG}$ 規則 $R_{\mathrm{ej} 2}$ に対応する英日対訳文の例

表現の例を示す.“+”は最長マッチ，“+?”は最短マッチを表す.

$\left(\right.$ \$prea, \$tran, \$body) $=/{ }^{\wedge}(.+?)($ comprising $)(.+) \$ / ;$

$($ \$body, $\$$ tran, \$prea $)=/ `(.+)($ 備えることを特徴とする $)(.+?) \$ / ;$

このようにして作成したヒューリスティック規則はほぼ誤りなくマッチするが，マッチしない場合には入力文をそのまま返す仕様としている.

## 4.2 事前並べ替え

既存の事前並べ替え技術は, 句構造解析技術に基づくもの (Isozaki et al. 2010b; Goto et al. 2015; Hoshino, Miyao, Sudoh, Hayashi, and Nagata 2015) と依存構造に基づくもの (Yang, Li, Zhang, and Yu 2012; Lerner and Petrov 2013; Jehl, de Gispert, Hopkins, and Byrne 2014; de Gispert et al. 2015) が多い. 以下では，句構造解析技術に基づく例で説明する。英日機械翻訳では，例えば，入力文 “He likes apples.” に対してまず，図 7 に示すような二分木構造を得る.次に, 分類器によって, 特定の内部ノードの 2 つのノードを入れ替えることによって単語の並べ替えを行う. 図 7 の例では, 分類器の判定によって, VPノードの 2 つの子ノードである VBZ と NPの入僣えが行われる。 子ノードを 2 つのみ持つすべてのノードについて，入れ替えをすべきかどうかの判定が分類器によって行われ, 入れ替えが行われると, 結果として “He apples likes."のような日本語の語順に近い英語文が得られる。2つの子ノードを入れ替えるか否かは,

図 7 “He likes apples.”の二分木構造と入れ替え結果

ルールに基づく手法 (Isozaki et al. 2010b）や，語順の順位相関係数 $\tau$ を指標として原言語文と目的言語文の語順が近くなるよう並べ替えを実現する統計的なモデル化 (Goto et al. 2015; Hoshino et al. 2015) などが考えられる．評価実験では後者の統計的なモデル化を採用した．詳しくは 5.3 節を参照されたい。ただし，提案手法自体は特定の事前並べ替え手法に依存しない.

1 章で説明したように, 請求項翻訳におけるもう1つの課題は, 極端な文の長さへの対処である。上述のような事前並べ替え技術は, ある程度正しい構文解析結果が得られることを前提としているが，極めて長い文が入力された場合に構文解析が失敗し，結果として並べ替え精度が低くなる。この問題に対して，本ステップでは，長い入力文全体ではなく，前ステップで認識された各構造部品に対して既存の事前並べ替え手法を適用することによって, 構文解析の精度の向上, ならびに事前並べ替えの精度の向上を図る。

## 5 評価実験

文構造変換と事前並べ替えによる翻訳品質の向上度合いを定量的に評価するための評価実験を行った. 第 4 章でも述べているように，本実験は既存統計的機械翻訳への付加モジュールとして実現しているため, 既存のフレーズベース統計的機械翻訳 (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) をベースラインとして設定した.

## 5.1 データ

統計的機械翻訳の学習には特許文のコーパスを使っている。中日・日中翻訳では, 特許請求項文だけで大量の対訳コーパスを作ることができたが，英日・日英翻訳では，特許請求項文のみでは分量が不十分のため特許全体から作成したコーパスと特許請求項文から作成したコーパスを併用した，最終的に，英日・日英・中日・日中翻訳の 4 つの設定で訓練コーパスの規模（文
数）が同じになるようにして実験を行った.

英日・日英の統計的機械翻訳の学習には 2 種類のコーパスを利用した. 1 種類目は，NTCIR-9 ワークショップの特許翻訳タスク (PatentMT) (Goto et al. 2011) において提供された約 320 万文対の日英特許翻訳データから無作為に抽出した 300 万文対である. 以降，この対訳コーパスをコーパス $\mathrm{A}$ と呼ぶ.コーパス $\mathrm{A}$ を用いて統計的機械翻訳を学習させることによって, 請求項翻訳においても語彙選択の面では良好な性能が得られるが，これは語彙や表現は特許文書全体で共通であり，コーパス Aによって大部分がカバーされるからである。しかしながら、コーパス A は請求項文を含まないため, 請求項特有の文構造を適切に扱うことができない。このため,請求項文特有の文構造を取り込むために，100万文の請求項対訳文から構成されるコーパス B を用意し，これをコーパス $\mathrm{A}$ と併用した。コーパス $\mathrm{B}$ の請求項対訳文は，文アラインメント手法 (Utiyama and Isahara 2007) を用いて英日対訳特許文書から抽出したものである. 英日対訳特許文書とは，日本国特許庁が提供する日本語特許明細書データと米国特許庁が提供する英語特許明細書データとを出願番号を用いて対応付けたものであり，2013 年提供分までのデータを対応付けの対象としている。コーパス $\mathrm{A}$ とコーパス $\mathrm{B}$ を結合して学習コーパスを作成し，この学習データを用いて, ベースラインシステムおよび提案手法を組み达んだシステムのための統計的機械翻訳を学習させた。

中日・日中の統計的機械翻訳の学習には ALAGIN 言語資源・音声資源として提供される JPO 中日対訳コーパス1の特許請求項文から作成したコーパスのみを用いた。前述の英日・日英用のコーパス B と同様の方法によって中日対訳の特許請求項文から 400 万文対を抽出した.

開発データおよびテストデータについては, 英日・日英・中日・日中の 4 言語対について, 上述の学習データとは独立に次の手順で構築した。まず，学習データより後の特定の年（2014年） の米国特許明細書データから, 明細書毎に最大 5 個の請求項文を抽出した。具体的には, 明細書中の請求項が 5 個以内の場合はすべての請求項を抽出し， 6 個以上の場合は 5 個目までを抽出している。次に，ここから無作為に 2,000 文を抽出し，機械翻訳の学習やチューニングで用いるという用途を伏せて，特許翻訳専門の翻訳者に依頼して日本語訳文打よび中国語訳文を作成した。このようにして作成した 2,000 文の英中日多言語コーパスを 1,000 文ずつ 2 つに分けて開発用とテスト用とした. な打上記翻訳作業では, 各英語原文について 1 文の訳文を作成した.

## 5.2 システム

本評価実験では, 統計的機械翻訳のツールキットである Moses のフレーズベース翻訳 (Koehn, Och, and Marcu 2003) および階層的フレーズベース翻訳 (Chiang 2005) をベースラインとして用いた. 文構造変換, 事前並べ替えおよび両者の組み合わせについて, ベースラインとの比較
^{1}$ ALAGIN 言語資源・音声資源サイトの JPO 中日対訳コーパス https://alaginrc.nict.go.jp/resources/jpo-info/ jpo-outline.html\#jpo-zh-ja
}

を行った。

すべての実験において, 言語モデルの学習に KenLM (Heafield, Pouzyrevsky, Clark, and Koehn 2013) を，単語アラインメントに SyMGIZA++ (Junczys-Dowmunt and Szał 2010) を用いた. モデルの重みづけでは, BLEU 值 (Papineni, Roukos, Ward, and Zhu 2002) を指標として n-best batch MIRA (Cherry and Foster 2012) によるチューニングを行った。各評価実験において，重み付けチューニングを 3 回繰り返し，開発セットにおいて最大の BLEU 值を獲得した重み設定を採用した。 ベースラインとしてのフレーズベース翻訳では, 歪み範囲 (d) が 6 の場合と 20 の場合の測定を行った. Mosesのデフォルトの歪み範囲である 6 と, それに対する長めの歪み範囲として 20 を選んだ。

なお，テストデータに対して文構造変換を行う実験構成でも，学習デー夕に対しては文構造変換を行わずにモデルの学習を行った。文構造変換を行うためには学習データとして請求項文を用いる必要があるが，今回扱わなかった他の言語も含め, 請求項文の入手可否は対象言語によって変わってくるため, 比較のために一律の構成とした. この実験構成にしたことによって, Moses の学習段階における長文除去処理で除外される文は発生する.

## 5.3 事前並べ替え

本評価実験では，構文解析パーザとして Berkeley Parser (Petrov, Barret, Thibaux, and Klein 2006)を用いて, 提案手法によって分割された各構造部品に対して事前並べ替えを行った. この基本的な構成は，4言語方向いずれも同じである。なお，学習デー夕は二分化されたものを用いている.

Berkeley Parser のドメイン適応では自己学習の手法を用いた。具体的には, 最初に, 初期モデルを用いて 200,000 文の特許文の解析を行い，次に，得られた 200,000 件の構文解析結果から構文解析モデルを学習することにより, 特許文に適応した解析モデルを構築した. 英語の初期モデルについては, Penn Treebankの文，および我々が人手で木構造を記述した 3,000 文の特許文を用いて学習した。日本語の初期モデルについては, EDRコーパス²の 200,000 文を用いて学習させた．中国語の初期モデルについては，CTB-6 (Zhang and Xue 2012)の文を用いて学習させた。日本語および中国語のモデル学習では特許文は用いていない.

並べ替えモデルの学習では，内製の大規模な特許文対訳コーパスを用いて次の手順によって事前並べ替えモデルを学習させた (de Gispert et al. 2015).

1. 対訳コーパスの原言語文を構文解析する

2. 対訳コーパスに対して単語アラインメントを行う

3. 原言語文と目的言語文の間でケンドールの順位相関係数 $\tau$ が最大化されるような原言語
^{2}$ EDR コーパス https://www2.nict.go.jp/out-promotion/techtransfer/EDR/JPN/Struct/Struct-CPS.html
}
文に対する並べ替えを行う．このようにして各 2 分ノードは，子ノードの入れ替えを行うことを表すSWAP と，入れ替えを行わないことを表すSTRAIGHT に分類される。

4. 上記のデータを用いて，各ノードの SWAP，STRAIGHT を判定するためのニューラルネットワーク分類器を学習する.

上述のように, 各ノードの SWAP, STRAIGHT の判定を二值分類問題としてニューラルネットワーク学習器に学習させるが, 本実験では, ニューラルネットワーク学習器としてオープンソースの Neural Probabilistic Language Model Toolkit (NPLM) 3 を用いた。基本的な構成はデフォルト構成をそのまま使ったが, 出力層では SWAP と STRAIGHT に対応した 2 個の出力を用いた，入力層では，以下を入力としている：親の親，親，自分，直前の兄弟，直後の兄弟，左の子供, 右の子供, 左の子供のスパンの左端の前終端記号と単語, 左の子供のスパンの右端の前終端記号と単語, 右の子供のスパンの左端の前終端記号と単語, 右の子供のスパンの右端の前終端記号と単語.

## 5.4 評価指標

各システムは, BLEU (Papineni et al. 2002) と RIBES (Isozaki et al. 2010a) の 2 種類の評価指標を用いて評価した。これは, n-gramベースの評価手法である BLEUのみでは長距離の関係を十分に評価することができず，本研究が目標としている構造レベルの改善を十分に測定できないと考えたからである．RIBES は順位相関係数に基づく自動評価手法であり，評価対象の機械翻訳出力文中の語順と，参照訳中の語順の比較を行う． RIBES のこのような特性によって,語順の大きく異なる言語間で頻繁に発生する，構造部品の入れ替えを評価することができると考えられる。なお, RIBES は, NTCIR-9 ワークショップの特許翻訳タスク (PatentMT) (Goto et al. 2011) 等においても，英日・日英の翻訳方向において，人間評価との高い相関性が報告されている.

実験で得られた各 BLEU 值と RIBES 值は, MTEval ${ }^{4}$ を用いた反復数 1,000 回の 100 分割ブー トストラップ検定を行ってべースラインとの有意差を調べた.

## 5.5 自動評価結果

本評価実験の結果を表 1 , 表 2 , 表 3, 表 4 に示す. 表中, PB および HPB は各々, Moses のフレーズベース翻訳および階層的フレーズベース翻訳を表し，PBにおける $\mathrm{d}$ は歪み範囲の値を表す.カッコ内の数値はベースラインであるフレーズベース翻訳 (P1) との差分を表す.また， P1'から P4のそれぞれについて， ベースラインに対して $5 \%$ 水準で有意差があるものに†を， $1 \%$ 水準で有意差があるものにきを付してある。テスト文としては 5.1 節で述べた 1,000 文を使っ
^{3}$ Neural Probabilistic Language Model Toolkit http://nlg.isi.edu/software/nplm/

 }^{4}$ MTEval Toolkit https://github.com/odashi/mteval

表 1 英日翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（805 文） } \\

表 2 日英翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（860 文） } \\

表 3 中日翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（874 文） } \\

表 4 日中翻訳の評価結果（N/A は評価対象外を表す）

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 全文 } & \multicolumn{2}{|c|}{200 トークン以内（806 文） } \\

ているが，参考情報として，この 1,000 文からトークン数が 200 以下の文を抜き出して使った場合の結果も併記している。これは，P3の事前並べ替えで用いている句構造パーザ (Berkeley Parser) に入力長制限があり，1,000 文全文に対する事前並べ替えを行うことができないためである。このため，テスト文全文を使った評価では P3 は評価対象外としており，表ではこれを N/Aで表している.

表から, 文構造変換と事前並べ替えの組み合わせである $\mathrm{P} 4$ において, 英日・日英・中日・日中翻訳すべての翻訳方向において，RIBES 值および BLEU 值に大幅な上昇がみられる．有意差検定からも，P4のみが，すべての翻訳方向の RIBES 値および BLEU 値の双方において, P1 と比較して $1 \%$ 水準で有意に上昇している。文構造解析のみを用いた $\mathrm{P} 2$ ，および事前並べ替えのみを用いた P3 でも RIBES 值は大幅に上昇しているが，BLEU 值の上昇は限定的である．文構造解析と事前並べ替えを併用したときに大きな BLEU 値の上昇がみられるが，これは文構造解析と事前並べ替えの相乗効果によるものと考えられる。

参考情報として掲載した，200トークン以内の文に対する翻訳でも，全文を用いた場合と同様の傾向がみられるが，200 トークンを超える長文を含まないため，ほぼすべてのシステムに対して高い評価値となっている。言語によって事前並べ替えの精度に差があり，特に日英，中日翻訳では $\mathrm{P} 3$ の方が $\mathrm{P} 4$ よりも高い評価値を達成している場合がある。ただし， P4における文構造変換と事前並べ替えの組み合わせでは，P3 の精度に差に関わらず安定した精度向上がみられる。

## 5.6 考察

前述の評価結果から，翻訳方向に関わらず，文構造解析と事前並べ替えによって翻訳品質が大幅に改善することがわかった，以下ではまず，当初の課題としてあげていた特許請求項文の長さと特有の文構造の問題が，文構造変換と事前並べ替えの導入によっていかに改善されたか分析する。また，文構造解析の副次的な効果である文短縮についても分析する。さらに，翻訳方向に固有の翻訳特性について述べる.

## 5.6.1 文構造変換と事前並べ替えの相補的効果

図 8 は，日英翻訳における 4 つの実験設定 (P1，P2, P3，P4) の典型的な出力例である. 図では一貫してラベル付き括弧表示を用いて請求項の構造部品を表している。文構造変換および事前並べ替えによる効果について以下に述べる.

1. 文構造解析の効果：P1 では入力文と比較して構造部品の順番に変化がみられないが, P2 では文構造解析を導入することによって構造部品が英語の順番に並べなおされていることがわかる。これによって，移行部である“comprising”が生成されるようになり，文全体の可読性が上がっている。一方, P1 と P2 を比較したときに, 各構造部品の翻訳品質

 \\

図 8 典型的な日英翻訳の例（P2 と $\mathrm{P} 4$ の部品ラベルはシステムが自動的に付与したものだが，それ以外の部品ラベルは，意味的に対応する部分に人手で付与している）

は顕著には向上していない。これに対して，P4では P3 と比較して 2 番目の要素の翻訳品質が向上している。このことから，文構造変換は事前並べ替えと併用したときに効果的に動作することがわかる.

2. 事前並べ替えの効果：従来研究でも示されているとおり，事前並べ替え手法を用いることによって，目的言語の語順に即した訳文を生成することができる。図中の例でも，P3 は，P1 と比較して単語がより適切に並んでおり，英語としてより自然な訳文が得られている.しかしながら, 前提部が 2 回出現するなど，構造部品が適切に配置されておらず，
文構造の観点からは不適切である。これに対して，P4のように文構造変換を用いて文構造を明示的に指定することによって，このような不適切な現象を抑制することができる。 さらに, 入力文をより短い構造部品に分解することにより, 各構造部品中の単語が適切に並べ替えられるようになる。

以上の分析から, 構造的かつ語順的に適切な訳文を生成する過程において, 文構造変換と事前並べ替えが相補的に動作することが確認できた。

## 5.6.2 文短縮の効果

これまで述べたように，事前並べ替えは，入力文全体に対してよりも文構造解析で得られた構造部品に対して, より適切に機能する. 文構造変換による文短縮の効果を見積もるために, まずは実験に用いた構文解析パーザの解析精度を文長毎に評価した。表 5 は，英日翻訳のテストセット全文から無作為に抽出した 100 文を対象に, 事前並べ替えで用いる英語構文解析器の解析成功率を集計した結果である。構文解析結果を目視でチェックし，文中で 1 か所でも誤った構成素があれば誤りとしてカウントし，すべて正しい場合に正解としてカウントした．表から, 短い入力文に対する解析精度は高いものと比較して, 長い入力文に対する解析精度が著しく低いことがわかる．特に，80トークンを超える長さの入力文では, 正しい構文解析結果を得られた文が 16 文中 1 文のみと，きわめて正解率が低い.

次に, 分割前である P1 と分割後である P2 の双方の実験設定において, 後段処理への入力となる文字列のトークン数の分布を比較した，図 9 は, (a) 英語入力文, (b) 日本語入力文, (c) 中国語入力文のそれぞれについて，入力文の累積比率と文構造解析結果の累積比率をそれぞれ表した図である。なお，日英翻訳と日中翻訳では入力日本語文に対して同じ分割結果が得られる。例えば (a) 英語入力文では， 80 トークンを超える長さの入力文が，分割前では全体の $31 \% を$ 占めていたのに対して, 分割後では全体の $3 \%$ と大幅に減少している。上述の文長毎の解析精度と併せて考えると，分割によって入力文が高精度に解析される可能性が大幅に高くなったことが

表 5 英日翻訳における英語パーザの解析精度

(a) 英語入力文

(b) 日本語入力文

(c) 中国語人力文

図 9 入力文の累積比率と文構造解析結果の累積比率

わかる。

なお参考情報として, 表 6 に, 入力文数と文構造解析によって得られた構造部品の数を載せている。言語によって出現する構造部品の分布は異なるものの, いずれの言語でも入力文 1,000 文に対して 4,000 個前後の構造部品が得られており, 1 入力文が平均して 4 構造部品に分割されていることがわかる．また，表 7 には，入力文 100 文に対する文構造解析の成功および失敗数を言語毎に載せている。英語と中国語の成功率が高いのは, これらの言語における請求項の記述の定型性の高さが要因にあると思われる。機械翻訳の精度評価では，日本語を原言語とした言語対においても，英語や中国語を原言語としたときと同等の翻訳精度が得られていることか

表 6 入力文および構造解析後の構造部品数

(a) 英語の入力文数と構造部品数

(b) 中国語の入力文数と構造部品数

(c) 日本語の入力文数と構造部品数

表 7 文構造解析の成功数・失敗数（100 文あたり）

ら，文構造解析の失敗は影響の少ないものが多いと考えられる.

## 5.6.3言語方向による傾向

実験では，提案手法によって英日・日英・中日・日中すべての翻訳方向において RIBES 値が 25 ポイント以上と大幅に向上している. これは, 英日・日英・中日・日中のすべての翻訳方向において構造部品の並べ替えが必要であるが, 提案手法によって構造部品が適切に並べ替えられた結果，長距離の並びの適切さを反映する RIBES 値に表れたものと考えられる。

一方，BLEU 值の向上は，中日・日中で 1.5 ポイント程度と十分に大きな値が得られたが，英日・日英では 5 ポイント程度と極めて大きな向上となった。各構造部品の内部では事前並べ替えが行われるが，中日と日中翻訳では動詞の移動が中心であるのに対して，英日と日英翻訳では動詞の移動に加えて修飾方向の移動も関わるため, 事前並べ替えの難易度はより高い.このため，英日と日英翻訳において，文短縮による事前並べ替えの効果が大きく表れたものと考えられる。

## 6 おわりに

本論文では，英日・日英・中日・日中の特許請求項翻訳において，サブ言語に特有の文構造を，原言語側から目標言語側に変換するための手法について述べた，我々の手法では，これらの品質向上を, 非常に少数の同期文脈自由文法規則を用いて実現した，評価実験を行ったところ，文構造変換と事前並べ替えの組み合わせを用いた場合に，英日・日英・中日・日中の 4 方向の翻訳において RIBES 值で 25 ポイントという大幅な訳質向上が見られた。これに加えて BLEU 値では，英日・日中の翻訳で 5 ポイント程度，中日・日中の翻訳で 1.5 ポイントの大幅な向上が見られた。

本手法により, 特許請求項翻訳の翻訳品質を, 特許明細書中の他の部分の翻訳品質と同水準に引き上げることができた. 今後の研究では, 特許請求項の中でも特に長文で複雑な, 独立請求項文の翻訳に注力したい.

## 謝 辞

本論文は，国際会議 The Machine Translation Summit XVで発表した論文に基づいて日本語で書き直し, 説明や評価を追加したものである (Fuji, Fujita, Utiyama, Sumita, and Matsumoto 2015).

## 参考文献

Buchmann, B., Warwick, S., and Shann, P. (1984). "Design of a Machine Translation System for a Sublanguage." In Proceedings of the 9th International Conference on Computational Linguistics, pp. 334-337.

Bui, T. H., Nguyen, M., L., and Shimazu, A. (2012). "Divide and Translate Legal Text Sentence by Using its Logical Structure." In Proceedings of 7th International Conference on Knowledge, Information and Creativity Support Systems, pp. 18-23.

Cai, J., Utiyama, M., Sumita, E., and Zhang, Y. (2014). "Dependency-based Pre-ordering for Chinese-English Machine Translation." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 155-160.

Cherry, C. and Foster, G. (2012). "Batch Tuning Strategies for Statistical Machine Translation." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 427-436.

Chiang, D. (2005). "A Hierarchical Phrase-Based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 263-270.

Collins, M., Koehn, P., and Kucerova, I. (2005). "Clause Restructuring for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 531-540.

de Gispert, A., Iglesias, G., and Byrne, B. (2015). "Fast and Accurate Preordering for SMT using Neural Networks." In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics - Human Language Technologies, pp. 1012-1017.

Fuji, M., Fujita, A., Utiyama, M., Sumita, E., and Matsumoto, Y. (2015). "Patent Claim Translation based on Sublanguage-specific Sentence Structure." In Proceedings of the Machine Translation Summit XV, pp. 1-16.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of the 9th NII Test Collection for Information Resources (NTCIR) Conference, pp. 559-578.

Goto, I., Utiyama, M., Sumita, E., Kurohashi, S. (2015). "Preordering using a Target-Language Parser via Cross-Language Syntactic Projection for Statistical Machine Translation." In ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 14, No. 3, Article 13, pp. 1-23.

Hajlaoui, N. and Popescu-Belis, A. (2012). "Translating English Discourse Connectives into Ara-
bic: A Corpus-based Analysis and an Evaluation Metric." In Proceedings of the Workshop on Computational Apagesroaches to Arabic Script-based Languages, pp. 1-8.

Heafield, K., Pouzyrevsky, I., Clark, J. H., Koehn, P. (2013). "Scalable Modified Kneser-Ney Language Model Estimation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 13-21.

Hoshino, S., Miyao, Y., Sudoh, K., Hayashi, K., and Nagata, M. (2015). "Discriminative Preordering Meets Kendall's $\tau$ Maximization." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 139-144.

Hoshino, S., Miyao, Y., Sudoh, K., and Nagata, M. (2013). "Two-Stage Pre-ordering for Japaneseto-English Statistical Machine Translation." In Proceedings of the International Joint Conference on Natural Language Processing, pp. 1062-1066.

池原悟, 阿部さつき, 徳久雅人, 村上仁一 (2004). 非線形な表現構造に着目した日英文型パター ン化. 情報処理学会研究報告 2004-NL-160(8), pp. 49-56.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., Tsukada, H. (2010a). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2010b). "Head Finalization: A Simple Reordering Rule for SOV Languages." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 244-251.

Jehl, L., de Gispert, A., Hopkins, M., and Byrne, W. (2014). "Source-side Preordering for Translation using Logistic Regression and Depth-first Branch-and-Bound Search." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 239-248.

Jin, Y. and Liu, Z. (2010). "Improving Chinese-English Patent Machine Translation Using Sentence Segmentation." In Proceedings 2010 International Conference on Natural Language Processing and Knowledge Engineering, pp. 1-6.

Joty, S., Carenini, G., Ng, R., and Mehdad, Y. (2013). "Combining Intra- and Multi-sentential Rhetorical Parsing for Document-level Discourse Analysis." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 486-496.

Junczys-Dowmunt, M. and Szał, A. (2010). "SyMGiza++: A Tool for Parallel Computation of Symmetrized Word Alignment Models." In Proceedings of the International Multiconference on Computer Science and Information Technology, pp. 397-401.

Katz-Brown, J. and Collins, M. (2008). "Syntactic Reordering in Preprocessing for Japanese-

English Translation: MIT System Description for NTCIR-7 Patent Translation Task." In Proceedings of the NTCIR-7 Workshop Meeting, pp. 409-414.

金淵培，江原暉将 (1994). 日英機械翻訳のための日本語長文自動短文分割と主語の補完. 情報処理学会論文誌, 35 (6), pp. 1018-1028.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the Association for Computational Linguistics Demo and Poster Sessions, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology, pp. 48-54.

Kurohashi, S. and Nagao, M. (1994). "Automatic Detection of Discourse Structure by Checking Surface Information in Sentences." In Proceedings of the 15th International Conference on Computational Linguistics, pp. 1123-1127.

Lerner, U. and Petrov, S. (2013). "Source-Side Classifier Preordering for Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.

Luckhardt, H. D. (1991). "Sublanguages in Machine Translation." In Proceedings of the 5th Conference of the European Chapter of the Association for Computational Linguistics, pp. 306-308.

Marcu, D., Carlson, L., and Watanabe, M. (2000). "The Automatic Translation of Discourse Structures." In Proceedings of the 1st North American Chapter of the Association for Computational Linguistics Conference, pp. 9-17.

Mellebeek, B., Owczarzak, K., Groves, D., Van Genabith, J., and Way, A. (2006). "A Syntactic Skeleton for Statistical Machine Translation." In Proceedings of the 11th Conference of the European Association for Machine Translation, pp. 195-202.

Meyer, T., Popescu-Belis, A., Hajlaoui, N., and Gesmundo, A. (2012). "Machine Translation of Labeled Discourse Connectives." In Proceedings of the 10th Biennial Conference of the Association for Machine Translation in the Americas, 10 pages.

Meyer, T., Popescu-Belis, A., Zufferey, S., and Cartoni, B. (2011). "Multilingual Annotation and Disambiguation of Discourse Connectives for Machine Translation." In Proceedings of 12th SIGdial Meeting on Discourse and Dialogue, pp. 194-203.

Miltsakaki, E., Dinesh, N., Prasad, R., Joshi, A., and Webber, B. (2005). "Experiments on Sense Annotations and Sense Disambiguation of Discourse Connectives." In Proceedings of the 4th Workshop on Treebanks and Linguistic Theories.

Murakami, J., Fujiwara, I., and Tokuhisa, M. (2013). "Pattern-Based Statistical Machine Translation for NTCIR-10 PatentMT." In Proceedings of the 10th NTCIR Conference, pp. 350-355.

Murakami, J., Tokuhisa, M., Ikehara, S. (2009). "Statistical Machine Translation adding Patternbased Machine Translation in Chinese-English Translation." In Proceedings of 6th International Workshop on Spoken Language Translation, pp. 107-112.

中澤敏明, 黒橋禎夫 (2008). 自動学習された機能語の翻訳パターンを用いた用例べース機械翻訳. 言語処理学会第 14 回年次大会発表論文集, pp. 37-40.

西村拓哉, 村上仁一, 徳久雅人, 池原悟 (2010). 文単位のパターンを用いた統計翻訳. 言語処理学会第 16 回年次大会発表論文集, pp. 676-679.

Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440.

Pitler, E. and Nenkova, A. (2009). "Using Syntax to Disambiguate Explicit Discourse Connectives in Text." In Proceedings of the Joint conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, Short Papers, pp. 13-16.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 271-279.

Roh, Y. H., Lee, K. Y., Choi, S. K., Kwon, O. W., and Kim, Y. G. (2008). "Recognizing Coordinate Structures for Machine Translation of English Patent Documents." In Proceedings of the 22nd Pacific Asia Conference on Language, Information and Computation, pp. 460-466.

坂田純, 徳久雅人, 村上仁一 (2014), 意味的等価変換方式による句レベルパターン翻訳方式の調查. 言語処理学会第 18 回年次大会発表論文集, pp. 1-20.

Shinmori, A., Okumura, M., Marukawa, Y., Iwayama, M. (2003). "Patent Claim Processing for Readability-Structure Analysis and Term Explanation-." In Proceedings of the Workshop on Patent Corpus Processing, Association for Computational Linguistics, pp. 56-65.

Sudoh, K., Duh, K., Tsukada, H., Hirao, T., and Nagata, M. (2010). "Divide and Translate: Improving Long Distance Reordering in Statistical Machine Translation." In Proceedings of
the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 418-427. Sudoh, K., Suzuki, J., Tsukada, H., Nagata, M., Hoshino, S., and Miyao, Y. (2013). "NTT-NII Statistical Machine Translation for NTCIR-10 PatentMT." In Proceedings of 9th NTCIR Conference 2013, pp. 294-300.

Tu, M., Zhou, Y., and Zong, C. (2013). "A Novel Translation Framework Based on Rhetorical Structure Theory." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 370-374.

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In Proceedings of the 11th Machine Translation Summit, pp. 475-482.

The World Intellectual Property Organization (WIPO) (2014). "WIPO Patent Drafting Manual." In IP Assets Management Series.

Wu, D. and Fung, P. (2009). "Semantic Roles for SMT: A Hybrid Two-Pass Model." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, pp. 13-16.

Xia, F. and McCord, M. (2004). "Improving A Statistical MT System with Automatically Learned Rewrite Patterns." In Proceedings of the 20th International Conference on Computational Linguistics, pp. 508-514.

Xiao, T., Zhu, J., and Zhang, C. (2014). "A Hybrid Approach to Skeleton-based Translation." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 563-568.

Xiong, H., Xu, W., Mi, H., Liu, Y., and Liu, Q. (2009). "Sub-Sentence Division for Treebased Machine Translation." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing Conference Short Papers, pp. 137-140.

Yang, N., Li, M., Zhang, D. and Yu, N. (2012). "A Ranking-based Approach to Word Reordering for Statistical Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 912-920.

Zhang, X. and Xue, N. (2012). "Extending and Scaling up the Chinese Treebank Annotation." In Proceedings of the 2nd CIPS-SIGHAN Joint Conference on Chinese Language Processing, pp. 27-34.

## 付録

## A 実験に用いた SCFG 規則

本研究の実験で用いた, 日英翻訳用, 中日翻訳用, 日中翻訳用の SCFG 規則一覧を図 10 , 図 11 ,図 12 に示す。なお，英日翻訳用の SCFG 規則一覧は図 5 に掲載している。図 13 には，日英翻訳用 SCFG 規則 $R_{\mathrm{je} 2}$ に対応する日英対訳例を掲載している。この例では, 入力日本語文で文頭と文末に重複して現れる PREA の構造部品が，対応する英語文では一つの PREA となっているような, 典型的な特許請求項の対訳文を示している.

 \\

図 10 日英翻訳のための SCFG 規則一覧

 \\

図 11 中日翻訳のための SCFG 規則一覧

 \\

図 12 日中翻訳のための SCFG 規則一覧

[S [PREA 安全ヘルメット] [TRANであって、] [BODY [PURP 接合手段が、一組の防振要素を互いに連結する単一構造を含み、] [PURP 前記単一構造が蜘蛛の形態であり、その蜘蛛の頭部が上部防振要素に固定され、かつその蜘蛛の各脚が、前記上部防振要素と周囲防振要素との間をつなぎ合わせるように働き、] [PURP 前記上部および周囲防振要素が前記単一構造にオーバーモールドすることにより得られることを特徴とする、]] [PREA 安全ヘルメット。]]

(a) 入力日本語請求項文

[s [PREA A safety helmet,] [TRAN wherein:] [BODy [PURP the joining means comprises a single structure connecting the set of damping elements to one another,] [PURP wherein the single structure is in the form of a spider, the head of which is fixed to a top damping element and each leg of which performs joining between the top damping element and a peripheral damping element, and] [PURP wherein the top and peripheral damping elements are obtained by overmolding on the single structure.]]]

(b) 対応する英語請求項文

図 13 日英翻訳用 $S C F G$ 規則 $R_{\mathrm{j} 22}$ に対応する日英対訳例

## 略歴

富士秀：1987 年英国王立ロンドン大学キングス校工学部卒業. 1988 年より

株式会社富士通研究所研究員, シニアリサーチャー. 2014 年より国立研究開発法人情報通信研究機構に出向中. 2015 年より奈良先端科学技術大学院大学博士後期課程在学中. 機械翻訳, 多言語処理の研究に従事. 情報処理学会, 言語処理学会, AAMT, 日本言語類型論学会等各会員.

藤田篤：2000 年九州工業大学情報工学部卒業. 2005 年奈良先端科学技術大
学院大学情報科学研究科博士後期課程修了. 博士 (工学). 現在, 国立研究開発法人情報通信研究機構主任研究員. 自然言語処理, 主に言い換え表現の生成と認識, 機械翻訳の研究に従事. 情報処理学会, 言語処理学会等各会員.

内山将夫：1992 年筑波大学卒業. 1997 年同大学院工学研究科修了. 博士 (工学). 現在, 国立研究開発法人情報通信研究機構主任研究員. 主な研究分野は機械翻訳. 情報処理学会, 言語処理学会等各会員.

隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学) 取得. 1982 年 1991 年（(株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員, 主幹研究員, 室長. 2007 年国立研究開発法人情報通信研究機構 (NICT), 現在, 先進的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. 1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

$(2016$ 年 3 月 24 日受付 $)$
$(2016$ 年 7 月 3 日再受付 $)$
$(2016$ 年 8 月 26 日採録)