# 機能的なリテラルを含む公理体系における仮説推論の効率化

山本 風人 $\dagger \cdot$ 井之上直也 ${ }^{\dagger} \cdot$ 乾 健太郎
}

\begin{abstract}
仮説推論は，与えられた観測に対する最良の説明を見つける推論の枠組みである.仮説推論は 80 年代頃から主に人工知能の分野で長らく研究されてきたが，近年，知識獲得技術の成熟に伴い，大規模知識を用いた仮説推論を実世界の問題へ適用する ための土壌が徐々に整いつつある。しかしその一方で，大規模な背景知識を用いる 際に生じる仮説推論の計算負荷の増大は，重大な問題である。特に言語の意味表示上の依存関係を表すリテラル（本論文では機能リテラルと呼ぶ）が含まれる場合に 生じる探索空間の爆発的増大は, 実問題への仮説推論の適用において大きな障害と なっている。これに対し本論文では，機能リテラルの性質を利用して探索空間の枝刈りを行うことで，効率的に仮説推論の最適解を導く手法を提案する。具体的には，意味的な整合性を欠いた仮説を解空間から除外することで，推論全体の計算効率を 向上させる，また，このような枝刈りが，ある条件が満たされる限り本来の最適解 を損なわないことを示す. 評価実験では, 実在の言語処理の問題に対して, 大規模背景知識を用いた仮説推論を適用し, その際の既存手法との計算効率の比較を行っ た. その結果として, 提案手法が既存のシステムと比べ, 数十〜数百倍ほど効率的 に最適解が得られていることが確かめられた.

キーワード：仮説推論, 談話理解, 共参照解析
\end{abstract
## Boosting Abductive Reasoning with Functional Literals

\author{
Kazeto Yamamoto ${ }^{\dagger}$, NaOya Inoue $^{\dagger}$ and Kentaro Inui $^{\dagger}$
}

\begin{abstract}
Abduction is also known as Inference to the Best Explanation. It has long been considered as a promising framework for natural language processing (NLP). While recent advances in the techniques of automatic world knowledge acquisition warrant developing large-scale knowledge bases, the computational complexity of abduction hinders its application to real-life problems. In particular, when a knowledge base contains functional literals, which express the dependency relation between words, the size of the search space will substantially increase. In this study, we propose a method to enhance the efficiency of first-order abductive reasoning. By exploiting the property of functional literals, the proposed method prunes inferences that do not lead to reasonable explanations. Furthermore, we prove that the proposed method is sound under a particular condition. In our experiment, we apply abduction having a large-scale knowledge base to a real-life NLP task. We show that our method significantly improves the computational efficiency of first-order abductive reasoning when compared with a state-of-the-art system.
\end{abstract}

Key Words: Abduction, Discourse Understanding, Coreference Resolution

## 1 はじめに

仮説推論 (Abduction) は，与えられた観測に対する最良の説明を見つける，論理推論の枠組みのひとつである。仮説推論は，自然言語処理や故障診断システムなどを含む，人工知能分野の様々なタスクにおいて古くから用いられてきた (Ng and Mooney 1992; Blythe, Hobbs, Domingos, Kate, and Mooney 2011; Ovchinnikova, Hobbs, Montazeri, McCord, Alexandrov, and Mulkar-Mehta 2011; 井之上, 乾, Ovchinnikova, Hobbs 2012; 杉浦, 井之上, 乾 2012).

自然言語処理への応用のうち, 代表的な先行研究の一つに Hobbs ら (Hobbs, Stickel, Martin, and Edwards 1993) の Interpretation as Abduction (IA) がある. Hobbs らは, 語義曖昧性解消,比喻の意味理解, 照応解析や談話関係認識などの, 様々な自然言語処理の夕スクを, 一階述語論理に基づく仮説推論により統合的にモデル化できることを示した.

詳しくは 2.1 節で述べるが，IA の基本的なアイデアは，談話解析（文章に対する自然言語処理）の問題を「観測された文章（入力文）に対し，世界知識（言語の知識や常識的知識など）を 用いて, 最良の説明を生成する問題」として定式化することである。最良の説明の中には, 観測 された情報の背後で起きていた非明示的な事象，共参照関係や単語の語義などの情報が含まれ る。例文 “John went to the bank. He got a loan.” に対して，IA による談話解析を行う様子を 図 1 に示す。まず, 入力文の論理式表現が観測として, 世界知識の論理式表現が背景知識として 与えられ, 背景知識に基づいて説明が生成される。例えば, $g o\left(x_{1}, x_{2}\right)$ (John が bank に行った) という観測に対して, $\operatorname{issue}(x, l, y) \Rightarrow g o(y, x) （ x$ が $y$ に対して $l$ を発行するには, $y$ は $x$ の所 に行かなければならない）という因果関係（行為の前提条件）の知識を用いて, issue $\left(x_{2}, u_{1}, x_{1}\right)$ （bank が John に対して何か $\left(u_{1}\right)$ を発行した）という説明を生成している. これは, 非明示的な 情報の推定に相当する。また, この非明示的な情報を根拠の一つとして生成された説明 $x_{1}=y_{1}$ （John と He は同一人物）は，共参照関係の推定に相当する，以上のように IA では，談話解析の様々なタスクが，説明生成という統一的な問題に帰着される.

仮説推論は，以下の様な点で談話解析の枠組みとして適していると考えられる：

（1） 入力から出力が導かれるまでの過程が，解釈可能な形で得られる。すなわち，どのよう な仮説を立てて，どのような知識を用いて観測を説明しているかが，図1のような証明木という形で陽に得られる。

（2）様々な種類の世界知識を統一的，かつ宣言的に記述し利用することができる。すなわち, どのような種類の知識であっても，その知識を解析にどう利用するかの手続きを定義す る必要がなく，論理式として宣言的に記述するだけで談話解析に利用できる.

（3）語義曖昧性解消や照応解析，プラン認識など，談話理解の様々なサブタスクを一つのモデ ルに集約して解くことにより，サブタスク間の相互依存性を自然な形で考慮できる。図 1 においても，照応解析と語義曖昧性の解消が同時に起こっていることが確認できる.

## 入力文: John went to the bank. He got a loan.

図 1 仮説推論による談話解析の例. 点線の四角は観測を, 実線の四角は背景知識を表す. 変数対を繋ぐ 点線はそれらがその仮説において同一の変数であることを表す。青い吹き出しは推論中で用いられ ている背景知識の元となった世界知識を表し，赤い吹き出しは得られた仮説に対する解釈を表す.

IA を始めとした仮説推論に基づく談話解析の研究は，1990 年代が全盛期であったが，近年に なって再び注目を浴びつつある (Blythe et al. 2011; Ovchinnikova et al. 2011; 井之上 他 2012; 杉浦他 2012). これには, 大きく2つの背景があると考えられる. ひとつめに, 仮説推論を実用規模 の問題に適用できる程度の，大規模な世界知識を取り揃える技術が昔に比べて大幅に成熟してき たことが挙げられる (Fellbaum 1998; Ruppenhofer, Ellsworth, Petruck, Johnson, and Scheffczyk 2010; Chambers and Jurafsky 2009; Schoenmackers, Etzioni, Weld, and Davis 2010). 例えば文献 (Ovchinnikova et al. 2011) では, WordNet (Fellbaum 1998) と FrameNet (Ruppenhofer et al. 2010)を用いて約数十万の推論規則からなる背景知識を構築し, 含意関係認識のタスクにIAを 適用している。 ふたつめの背景には, 計算機性能の向上や効率的な仮説推論エンジンが提案さ れた (Mulkar, Hobbs, and Hovy 2007; Blythe et al. 2011; Inoue and Inui 2011a; 井之上 他 2012; Yamamoto, Inoue, Inui, Arase, and Tsujii 2015; Schüller 2015)ことにより，大規模知識を用い た論理推論が計算量の面で実現可能になってきたことが挙げられる。例えば (井之上 他 2012) では，約数十万の推論規則からなる背景知識を用いて含意関係認識のデータセットに対して推論を行い, 先行研究より大幅に高速な推論を行えたことが報告されている.

しかしながら, 仮説推論における計算コストの問題は未だ完全に解決されたとはいえないのが
実情である。詳しくは 3 節で詳述するが，とりわけ，主格関係や目的格関係などの単語間の統語的依存関係を表すためのリテラル（便宜的に「機能リテラル」と呼ぶ．形式的な定義は 3.1 節で与 える）が知識表現に含まれる場合（例えば, $\operatorname{john}(j) \wedge \operatorname{get}(e) \wedge \operatorname{dobj}(e, l) \wedge \operatorname{loan}(l)$ における get と loanの目的格関係を表す $\operatorname{dobj}(e, l)$ ), 推論時間が増大するという問題がある. 最新の仮説推論エ ンジンである (Yamamoto et al. 2015) では， A*アルゴリズムに基づいて説明の構成要素（潜在仮説集合) を列挙し, 仮説推論の問題を「説明の構成要素の組み合わせ最適化問題」へ変換したの ち, 整数線形計画ソルバにより最良の説明を求める。しかし, 機能リテラルが知識表現に含まれ る場合, (1) 機能リテラルをもとにした推論により, 潜在仮説集合の中に, 最良の説明になりえな い構成要素が多く入り达んでしまい (例えば, foolish $\left(e_{1}\right) \wedge \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \wedge \operatorname{nsubj}\left(e_{2}, y\right)$ から, $e_{1}=e_{2}$ を導く), 組み合わせ最適化問題のサイズが無用に肥大化し, 推論時間が増大す る，(2) 潜在仮説集合の生成をガイドするヒューリスティック関数の精度低下が起きてしまい,潜在仮説集合の生成における計算効率が低下する，という問題が起こる。このように，実タス クへの適用は未だ困難な状況であり，前述のような利点が本当にあるかどうか，検証する環境 が完全に整っていない状況である.

以上のような背景を踏まえ，本論文では，知識表現に機能リテラルを含む仮説推論において，機能リテラルの性質を利用して潜在仮説集合の生成手続きを改良し，効率的に最適解を求め，か つヒューリスティック関数の精度低下を抑制する手法を提案する。より具体的には，一つ目の 問題に対しては，潜在仮説集合の生成を行う際に，最良の説明になりえない説明を事前チェッ クするように潜在仮説集合の手続きを拡張する。例えば，矛盾する二つの事象を等価とみなす 説明の構成要素を生成する推論（前述の $e_{1}=e_{2}$ など）を禁止することで, 潜在仮説集合の肥大化を防ぐ。また，二つ目の問題に対しては，ヒューリスティック関数の中で，より良い説明 の構成要素を優先的に探索するために用いられる述語グラフの生成手法を工夫することにより 対処する. 問題の原因は, 背景知識に頻出する機能リテラルがハブとなり, あらゆる説明の構成要素の候補が最良の説明の生成に寄与すると誤って判断されてしまうことにある。これに対 し, 述語グラフにおいて機能リテラルに繋がる一部の枝を適切に排除することにより, 解の最適性を保持しながらヒューリスティック関数の精度を上げる手法を提案する。

本論文における具体的な貢献は次の 3 点である。一つ目に，仮説推論の最新の実装である A*-based Abduction (Yamamoto et al. 2015)の手法に前述の枝刈りを導入する方法を示し, 機能リテラルを知識表現に含む場合でも推論の規模耐性を維持する方法を示す。二つ目に，機能 リテラルの性質に基づく探索空間の枝刈りが，ある条件のもとでは本来の解を損なわないこと を示す. 三つ目に，大規模な知識べースと実在の言語処理の問題を用いて, A*-based Abduction (Yamamoto et al. 2015)のシステムとの推論時間の比較を行い, 提案手法を評価する。本論文 での実験においては，提案手法が (Yamamoto et al. 2015)のシステムと比べ数十〜数百倍ほど 効率的に解仮説が得られていることが確かめられた. 仮説推論に基づく談話解析の枠組みを実

タスクへ適用する上で，効率的な推論アルゴリズムの確立は必須の要件である。本研究の成果 により，仮説推論に基づく談話解析の研究を進めるための環境整備が大きく前進すると考えら れる。

以降の節では，まず仮説推論とその実装に関する先行研究について述べたあと $(2$ 節 $)$, 本論文で取り組む問題について述べ（3節)，提案手法について説明する（4 節, 5 節 $)$ 。次に，提案手法と既存手法の比較実験の結果について報告し（6 節）, 最後に今後の展望を述べる.

## 2 背景

本節では, 本論文の提案手法の基になっている種々の既存研究, すなわち仮説推論およびそ の実装に関して説明する。

## 2.1 仮説推論

仮説推論とは，与えられた観測に対して最良の説明を求める推論である。本論文では，仮説推論の意味表現として一階述語論理 1 を用い, 仮説推論の形式的な定義を次のように与える。な お, 本論文では関数記号のない (function-free) 一階述語論理を用いるものとし, 全てのリテラ ルは論理変数, 定数, スコーレム定数を引数に取る.

Given: 背景知識 $B$, 観測 $O$. ただし, $B$ は含意型の一階述語論理式の集合であり, 各論理式の前件および後件にはリテラルの連言のみを許容する。各論理式の前件に含まれる論理変数は 全称限量されており，前件に含まれない論理変数は存在限量されているものとする。形式的には, 各論理式は $\forall x_{1}, \ldots, x_{n}\left[\exists y_{1}, \ldots, y_{m}\left[p_{1}\left(x_{1}\right) \wedge \ldots \wedge p_{n}\left(x_{n}\right) \Rightarrow q_{1}\left(y_{1}\right) \wedge \ldots \wedge q_{m}\left(y_{m}\right)\right]\right]$ と表現される。ここで， $x_{i}, y_{i}$ はそれぞれ任意個数の引数列を表す2。また， $O$ は，一階述語論理リテラルおよび論理変数間の等価関係を表す等号あるいはその否定の連言であ り, 全ての論理変数は存在限量されているものとする。なお以降の記述では， $B$ および $O$ がそれぞれ矛盾を含まないことを前提とする。

Find: 仮説（または説明）H.H は, 一階述語論理リテラル，および論理変数間の等価関係を 表す等号・不等号の連言であり， $H \cup B \models O$ および $H \cup B \nvdash \perp を$ 満たす3.ここで $\models$ は 論理的含意を表し， $H$ が $O$ を説明する，という。 $\perp$ は偽を表す。また，連言と集合は

相互変換可能であるとし, 連言 $l_{1} \wedge \ldots \wedge l_{n}$ とリテラル集合 $\left.\{l_{1}, \ldots, l_{n}\right.\}$ とも書けるもの とする.

なお, 本論文では背景知識, 観測, 仮説における限量子の記述は基本的に省略する.

一般には, 与えられた $B$ と $O$ に対して, 複数の仮説 $H_{1}, H_{2}, \ldots$ が存在する. 本論文では, そ れぞれの仮説 $H_{i}$ を候補仮説と呼び, 候補仮説 $H_{i}$ に含まれる各リテラル $h \in H_{i}$ を $H_{i}$ の要素仮説と呼ぶ. また, 可能な全ての候補仮説を $H \equiv\left.\{H_{1}, H_{2}, \ldots\right.\}$ で表す. 例えば図 1 では, 点線 で囲まれたリテラルの集合 $\left(j o h n\left(x_{1}\right) \wedge g o\left(x_{1}, x_{2}\right) \wedge \ldots\right)$ が観測 $O$, 実線で囲まれた論理式（例 えば, $\left.\operatorname{issue}\left(x_{2}, u_{1}, x_{1}\right) \Rightarrow g o\left(x_{1}, x_{2}\right)\right)$ が背景知識 $B$ の一部である. 候補仮説として, 例えば $H_{1}=j o h n\left(x_{1}\right) \wedge \operatorname{loan}\left(y_{2}\right), H_{2}=j o h n\left(x_{1}\right) \wedge \operatorname{issue}\left(u_{2}, y_{2}, y_{1}\right) \wedge$ financial_inst $\left(x_{2}\right) \wedge \operatorname{loan}\left(y_{2}\right)$ など が考えられる。

仮説推論の目的は, 何らかの評価指標のもとでの最良の候補仮説 $\hat{H}$ を見つけることである. この $\hat{H}$ を解仮説と呼び，形式的には次のように表す：

$
\hat{H}=\underset{H \in \mathbb{H}}{\arg \max } \operatorname{Eval}(H)
$

ここで，Eval は候補仮説 $H$ の蓋然性を表す何らかの評価値を返す関数を表し，このような関数 を仮説の評価関数と呼ぶ. 先行研究では, さまざまな評価関数が提案されている (Hobbs et al. 1993; Singla and Mooney 2011; Inoue and Inui 2012; Raghavan and Mooney 2010).

例えば，代表的な評価関数の一つである重み付き仮説推論 (Hobbs et al. 1993) は，「単純な （小さい）仮説ほど良い」という基本的な仮定に基いており, 候補仮説の最小性を候補仮説の評価値として定義している。より具体的には, 候補仮説の評価値 $\operatorname{Eval}(H)$ は, $H$ の要素仮説のコ ストの負の総和 $-\sum_{h \in H} \operatorname{cost}(h)$ で定義される. 要素仮説のコスト $\operatorname{cost}(h)$ の詳細な計算方法は (Hobbs et al. 1993) に委ねるが，基本的には，(1) 要素仮説 $h$ が観測 $O$ を説明するのに要する 背景知識の信頼度, (2) 要素仮説 $h$ が他の要素仮説に説明されているか, の二つの要因を基に コストが決定される.

本研究では， 3 節で示す仮説の整合性条件を保証する任意の評価関数を想定する.

## 2.2 潜在仮説集合に基づく候補仮説の表現

$H \cup B \models O, H \cup B \not \models \perp$ を満たす全ての候補仮説を陽に列挙して最良の仮説を求めることは, 時間・空間的計算量の観点で非現実的である. そのため, 仮説推論エンジンの先行研究 (Inoue and Inui 2011a; 井之上 他 2012; Yamamoto et al. 2015) では, (1) 観測からの後ろ向き推論によって 各候補仮説を構成するリテラルの集合 $P$ を列挙するに留め, (2) $P$ の要素の組み合わせ（部分集合）で暗に候補仮説を表現し, 組み合わせ最適化問題を解くことで効率化を実現している.こ の $P$ は，潜在仮説集合と呼ばれる，例えば，図 2 の例では，観測 $O=\operatorname{animal}(x) \wedge \operatorname{bark}\left(e_{1}, x\right)$ と背景知識より, 潜在仮説集合 $P=\{\operatorname{cat}(x), \operatorname{poodle}(x), \operatorname{dog}(x), \operatorname{dog}(y), x=y\}$ を得る. この集合

入力文: 動物が吠えている。

図 2 潜在仮説集合の例。背景知識は, 図中の実線の四角で囲まれた 4 つの含意型論理式である.

の要素の組み合わせ（例えば $\{\operatorname{cat}(x), \operatorname{dog}(x)\} ）$ が，一つの候補仮説に対応する. 本研究では, この潜在仮説集合の生成方法を効率化する手法を提案するため，潜在仮説集合の生成手続きに ついて，より詳しく説明する.

まず，観測に含まれるリテラルの集合を初期状態として $(P=O)$, 次のように定義される後 ろ向き推論操作および単一化仮説生成操作を有限回だけ逐次適用することで，潜在仮説集合 $P$ を生成する。図 2 では, $P=\left.\{\operatorname{animal}(x), \operatorname{bark}\left(e_{1}, y\right)\right.\}$ が初期状態となる.

後ろ向き推論 後ろ向き推論は, 背景知識に含まれる含意型の論理式 $p_{1}\left(x_{1}\right) \wedge \ldots \wedge p_{n}\left(x_{n}\right) \Rightarrow$ $q_{1}\left(y_{1}\right) \wedge \ldots q_{m}\left(y_{m}\right)$ と， $\bigwedge_{i=1}^{m} y_{i} \theta=y_{i}^{\prime}$ を満たす変数置換 $\theta$ が存在するようなリテラルの連言 $q_{1}\left(y_{1}^{\prime}\right) \wedge \ldots \wedge q_{m}\left(y_{m}^{\prime}\right)$ を含む潜在仮説集合 $P$ を入力として，前件部のリテラルの連言 $\bigwedge_{i=1}^{n}\left.\{p_{i}\left(x_{i} \theta\right)\right.\}$ を $P$ に追加する操作である. 本論文では， $q_{1}\left(y_{1}^{\prime}\right), \ldots, q_{m}\left(y_{m}^{\prime}\right)$ をそれぞれ $p_{1}\left(x_{1} \theta\right), \ldots, p_{n}\left(x_{n} \theta\right)$ の根拠と呼ぶこととする。図 2 では, 背景知識 $\operatorname{cat}(x) \Rightarrow \operatorname{animal}(x)$ と $P=\left.\{\operatorname{animal}(x), \operatorname{bark}\left(e_{1}, y\right)\right.\}$ を入力として, $\operatorname{cat}(x)$ を $P$ に追加している.このとき， $\operatorname{cat}(x)$ の根拠は $\operatorname{animal}(x)$ である.

単一化仮説生成 単一化仮説生成は，同一の述語を持つリテラルの対 $p\left(x_{1}, x_{2}, \ldots\right), p\left(y_{1}, y_{2}, \ldots\right)$ に対して，それらのリテラルの引数間の等価関係 $x_{1}=y_{1}, x_{2}=y_{2}, \ldots$ を潜在仮説集合 $P$ に追加する操作である，本論文では， $x=y$ のような, 単一化仮説生成操作によって仮説 される論理変数間の等価関係を等価仮説と呼ぶ. 図 2 では, $P=\{\ldots, \operatorname{dog}(x), \operatorname{dog}(y), \ldots\}$ に対して，本操作を適用し， $x=y$ を $P$ に追加している.

操作の適用回数の決め方には様々な基準が考えられるが, 先行研究 (Inoue and Inui 2011a; 井之
上 他 2012; Yamamoto et al. 2015) では, リテラルの深さという概念を用いて, 適用回数を制限 している. リテラル $l$ の深さとは， $l$ を潜在仮説集合に追加するまでに実行した後ろ向き推論 の回数である，例えば，図 2 では，観測に含まれる全てのリテラルは深さ 0 であり, poodle $(x)$ の深さは 2 である. 先行研究では, 後ろ向き推論を適用する対象をある深さ $d_{\max }$ までのリテ ラルに制限することにより，操作の適用回数の上限を決めている。このように操作の適用範囲 を定めることは，再帰的な推論規則（例えば $p(x) \Rightarrow q(y)$ と $q(y) \Rightarrow p(x)$ ）が背景知識に含まれ る場合において, 特に重要である。操作の適用回数が有限回であるならば, 潜在仮説集合に含 まれる各リテラルもまた有限回の後ろ向き推論によって仮説されたリテラルであるので, 全て の候補仮説 $H \in \mathbb{H}$ について $H \cup B \models O$ の決定可能性が保証される。また，アルゴリズムの停止性，および潜在仮説集合が有限集合であることについても同様に保証される．以上の議論に 基づき，本研究においても以上の手続きによって生成された潜在仮説集合の部分集合を候補仮説として扱う。

## 2.3 仮説推論の実装に関する先行研究

まず，仮説推論の分野における代表的な実装としては Mulkar らの Mini-TACITUS (Mulkar et al. 2007) が挙げられるが，これは計算量の面では非常に非効率であった. そのため，大規模知識を用いた仮説推論を行うにあたっては，より効率的な推論アルゴリズムが必要とされた.

これを受けて Blythe らは, 仮説推論の枠組みを Markov Logic Network (MLN) (Richardson and Domingos 2006)の上で定式化する手法 (MLN-based Abduction) を提案した (Blythe et al. 2011)，彼らは，仮説推論を MLN上で実装することによって，MLN の分野における成熟 した最適化手法を仮説推論にも利用することを可能にした.これにより Mini-TACITUS と比べ 遥かに高速な推論が実現可能になった。

そしてこれよりも更に高い効果をあげたのが, 井之上らが提案した整数線形計画法 (Integer Linear Programming, ILP) に基づく仮説推論 (ILP-based Abduction) であった (Inoue and Inui 2011a, 2012). 井之上らは, 仮説推論の問題を整数線形計画問題により定式化する手法を 提案した。これにより, 仮説推論において解仮説を導出する処理はそのまま ILP 問題の最適解 を導く処理と対応付けられ，外部の高速な ILPソルバを利用することで解仮説を効率的に導出 することが可能になった。文献 (Inoue and Inui 2012)では, ILP-based Abduction の枠組みが MLN-based Abduction と比べても遥かに高速であることが実験によって定量的に示されている.

Yamamoto らは, ILP-based Abduction (Inoue and Inui 2011a, 2012) における計算コストが潜在仮説集合の規模に強く依存することに着目し, 背景知識における述語間の関連度を事前に推定しておくことで，ILP-based Abduction の潜在仮説集合生成の手続きにおいて解仮説に含ま れる見込みの無い要素仮説を潜在仮説集合から除外し, ILP 問題の最適化にかかる時間を大幅 に短縮する手法 (A*-based Abduction) を提案した (Yamamoto et al. 2015).

しかしながら， 3 節で示すように， A*-based Abduction には，機能リテラルを含む知識表現 において推論時間が増大するという問題がある。本研究は, 我々が知る限り最も効率的な枠組 みである A*-based Abduction を拡張する手法を提案するものである。A*-based Abduction の 詳細については 5.1 節で述べる.

## 3 関係を表すリテラルに起因する計算非効率性

本節では, 3.1 節で示される意味表現と評価関数に基づくIA を先行研究の仮説推論エンジン (Inoue and Inui 2011a, 2012; Yamamoto et al. 2015) で実現する場合に生じる，潜在仮説集合の 計算の非効率性について論じる。本節では，まず本研究が前提とする意味表現・評価関数につ いて述べたあと (3.1 節), 既存研究の問題点について述べる (3.2 節).

## 3.1 本研究が前提とする意味表現と評価関数

仮説の評価関数は，2.1 節で述べたとおり仮説の良さを評価する関数であるが,「良さ」の因子には少なくとも，（1）仮説が表す情報の良さ，（2）仮説に含まれる意味表現の文法的正しさ (well-formedness), の二種類が考えられる。本研究は, これらに対してある前提が成立する状況 での推論の非効率性を改善するものであるから, 本節では, 前提とする意味表現と, 仮説の評価関数の概形について述べる.

(1) 意味表現 言語表現によって表される情報を, どのような論理式として表すかは重要な問題の 一つである。特に, 述語と項の関係の表現形式については, これまでに様々な議論が交わされてき た (Davidson 1980; Hobbs 1985; McCord 1990; Parsons 1990; Copestake, Flickinger, Pollard, and Sag 2005, etc.). 述語項関係の表現形式の基本形としては, 大きくDavidsonian 形式 (Davidson 1980) と Neo-Davidsonian 形式 (Parsons 1990) があり，本論文では Neo-Davidsonian 形式の意味表現の利用を想定する.

Davidsonian 形式では，イベントの必須格をリテラルの項の順番に対応させる．例えば，例文“Brutus stabbed Caesar with a knife.”を stab(e,Brutus, Caesar $) \wedge$ with(e,knife) のように表現する。ここでは $\operatorname{stab}(e$, Brutus, Caesar $)$ の 1 番目の引数が stabイベントそのものを参照する 変数, 2 番目の引数がイベントの主格, 3 番目の引数がイベントの目的格に対応している.

一方, Neo-Davidsonian 形式では, 全ての格関係を個別のリテラルとして記述する。例えば,前述の例文を $\operatorname{stab}(e) \wedge n \operatorname{subj}(e$, Brutus $) \wedge \operatorname{dobj}(e$, Caesar $) \wedge$ with $(e, k n i f e)$ のように表現する.こ

あることを, $\operatorname{dobj}(e, x)$ はイベント $e$ の目的格が個体 $x$ であることを表すリテラルである. 本論文では, $n \operatorname{subj}(e, x)$ や $\operatorname{dobj}(e, x)$ のような単語間の統語的な依存関係を表すリテラルを機能リ テラルと呼び, その述語を機能述語と呼ぶ。一方, $\operatorname{stab}(e)$ などの, 機能リテラル以外のリテラ

ルを内容語リテラルと呼ぶ．また，ある機能リテラルの第一引数を他の内容語リテラルが引数 に持つとき，その内容語リテラルを機能リテラルの親と呼び，逆にそのような内容語リテラル が存在しない場合には，その機能リテラルは親を持たないと表現する。例えば上の例において，

Neo-Davidsonian 形式は，イベントに対する部分的な説明を表現できる（例えば police $(x) \Rightarrow$ $\operatorname{arrest}(e) \wedge n s u b j(e, x)$ のようにイベントの主格だけを取り上げた推論が記述できる）ことや,個々のイベントの必須格と任意格の境界を決める必要が無いなどの利点を持つ. 自然言語の動詞は，動詞ごとに必須格・任意格が異なるため，実世界の様々な文を扱う上では， Neo-Davidson 形式は Davidsonian 形式より IA に適した表現形式であると考えられる。 以上の理由により，本論文では Neo-Davidsonian 形式の意味表現を想定する.

ところで，上で述べたように，機能リテラルは言語表現における単語間の統語的依存関係を 表すので，親を持たない機能リテラルは文法的に不正である。このことから本論文では，全て の観測が以下の条件を充足することを仮定する：

条件 1. 全ての観測は親を持たない機能リテラルを含まない.

すなわち, この条件を充足しない観測は，元となった文が文法的に不正であると考えられるの で，本研究ではそのような観測は入力として考えないものとする.

(2) 評価関数 次に, 本論文で想定する評価関数の概形について述べる。まず第一に, 仮説に 含まれる等価仮説の正しさを評価することを前提とし, 次のような条件として定義する：

条件 2 . 評価関数は，不正な等価仮説を含む候補仮説を解仮説として選択しない.

ここでの不正な等価仮説とは, 同一事象を表し得ない変数間の等価仮説を指し, 本論文ではこ のような等価仮説を $e_{1}=* e_{2}$ と書く. 2.2 節で述べたとおり, 候補仮説の生成時には, 同じ述語を持つリテラル対に単一化仮説生成を適用することにより等価仮説が生成される。このとき，例えば $\operatorname{smart}\left(e_{1}\right) \wedge$ foolish $\left(e_{2}\right) \wedge e_{1}=e_{2}$ のように, 同一でない二つの事象を表す論理変数が等価であるという候補仮説が生成されてしまう場合がある。条件 2 が満たされる限り，このよう な候補仮説は解仮説として選択されない.

等価仮説が不正であるか否か，すなわちある 2 つの論理変数が同一事象を表し得るかどうか の判断については，変数の等価性について閉世界仮説 (Reiter 1978)を仮定することで対応する. すなわち, ある論理変数対 $a, b$ が潜在仮説集合 $P$ において同じ型 4 を持つ可能性が存在しない ならば（すなわち同じ述語を持ち, 単一化仮説生成によって等価仮説 $a=b$ を導くような内容語リテラル対が潜在仮説集合 $P$ に存在しないならば) 等価仮説 $a=b$ は不正である $\left(a={ }^{*} b\right)$ と する.

第二に，仮説に含まれる論理式の文法的正しさを評価することを前提とし，以下のような条件で表す：

条件 3. 評価関数は親を持たない機能リテラルを含む候補仮説を解仮説として選択しない.

前述のとおり，親を持たない機能リテラルは文法的に不正であるので，本論文ではこの文法的正しさに関して，評価関数が条件 3 を満たしていることを前提とする。以降では，これらの条件 $1,2,3$ をまとめて仮説の整合性条件と呼ぶ.

## 3.2 機能リテラルに係る推論による計算の非効率化

3.1 節で述べた意味表現と評価関数のもとで, 先行研究の仮説推論エンジンを用いて IA を実現する場合, 機能リテラルを根拠とした単一化仮説生成操作および後ろ向き推論操作により, 解仮説に含まれることのない要素仮説が潜在仮説集合に追加され，推論時間を増大させてしまう という問題がある。

例えば図 3 では, 観測に含まれる $\operatorname{nsubj}\left(e_{3}, j\right)$ と $n \operatorname{subj}\left(e_{4}, t\right)$ に対して単一化仮説生成操作を 適用することで, 等価仮説 $e_{3}=e_{4}$ (smart イベントと foolish イベントは同一事象), および $j=t$ （John と Tom は同一人物）が潜在仮説集合に追加されている。また図 4 では, 観測に含 まれる $\operatorname{smart}\left(e_{1}\right)$ と foolish の主格を表すリテラル $\operatorname{nsubj}\left(e_{2}, t\right)$ を根拠として, $e_{1}=e_{2}$ という仮定のもと知識適用を行い, $\left.\{\operatorname{study}\left(e_{3}\right), n \operatorname{subj}\left(e_{3}, t\right)\right.\}$ を潜在仮説集合に追加している.

しかしながら,これらの推論は論理的には可能であるものの, 3.1 節で述べた仮説の評価関数に関 する前提より, これらの仮説が最良の説明として選択されることは無い.このような推論は同じ述語を持つリテラルに対して組み合わせ的に発生し（例えば,「smartを述語に持つリテラルの数 $\times$ $n s u b j$ を述語に持つリテラルの数」の分だけ発生する)，かつ候補仮説の数は潜在仮説集合の規模 に対して指数関数的に増大するため, 計算負荷の観点において重大な問題であると考えられる.

入力文: John is smart. Tom is foolish.

図 3 不適切な単一化仮説生成によって誤った解釈が導かれる例

入力文: John is smart. Tom is foolish.

図 4 不適切な後ろ向き推論によって誤った解釈が導かれる例

この問題の本質的な原因は, 先行研究の潜在仮説集合生成手続き（2.2 節）における各操作に おいて, 論理変数間の等価性の意味的な整合性を考慮できていないことにある. 例えば図 3 に おいて, $\operatorname{nsubj}\left(e_{3}, j\right)$ と $\operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成操作によって等価仮説 $e_{3}=e_{4}$ が潜在仮説集合に追加されるが，このとき，この等価仮説が不正かどうか（つまり，解釈「studyで あり，かつ mistakeであるようなイベント $e_{3}\left(=e_{4}\right)$ が存在する」が実現可能なものか）は考慮 されていない，その結果，図 3 のように，不正な等価仮説であっても，潜在仮説集合に追加さ れてしまう。

本節で述べた問題は，意味表現として Neo-Davidsonian 形式を採用した場合に一すなわち述語と項の関係を $\operatorname{nsubj}(x, y)$ のように個別のリテラルとして表現した場合に起こる問題である. しかし, これに限らず, Hobbs らの研究 (Hobbs et al. 1993)のように, 名詞間の意味的関係（部分全体関係など）や統語的関係（複合名詞を構成する名詞間の関係など）を part_of $(x, y)$ や $n n(x, y)$ のようなリテラルで表現する場合にも, 上述のような問題が生じる. このようなリテ ラルは一階述語論理式で自然言語の情報を表す上で必要不可欠であり，本節で述べた問題は IA の研究において決して些末な問題ではない.

このような問題に対し本論文では, 2.2 節で述べた潜在仮説集合生成に係る操作において等価仮説の生成を伴う場合, 等価仮説が不正でない場合にのみ操作の適用を許すことで, 解として選ばれ ない等価仮説を潜在仮説集合から除外する手法を提案する。例えば図 3 における $n s u b j\left(e_{3}, j\right)$ と $n \operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成操作の適用時には，まず 3.1 節で述べた基準により $e_{3}=e_{4}$ の正しさをチェックする（つまり，studyかつ mistakeであるような事象が存在しうるか）。こ こで仮に「studyと mistake が同一事象に成り得ない」ことがわかったとすると, $e_{3}=e_{4}$ は不正な等価仮説であり, $e_{3}=e_{4}$ が解仮説に含まれる可能性がないため, 操作の適用を行わない.

4 節では, これらのアイデアに基づき, 2.1 節で説明した潜在仮説集合生成の手続きを拡張し, より効率的に潜在仮説集合を生成する方法を提案する。また 5 節では, これらのアイデアに基

づき， A*-based Abduction (Yamamoto et al. 2015) の計算効率を改善する手法を提案する.

なお，以降の記述では便宜的に，機能リテラルは全て次のような形式をとるものとする：

・アリティは 2 .

・リテラルの第一引数が依存関係の governor, 第二引数が dependent を表す.

自然言語における単語間の依存関係の多くは 2 項間関係として表されること, 多項関係は一般 に 2 項間関係の組み合わせとして一般化できることなどから，このように定義を限定した場合 においても一般性は失われない.

## 4 等価仮説への制約による効率化

本節では, 2.2 節で定義した後ろ向き推論操作，および単一化仮説生成操作に対して適用条件 を付加することにより，不正な等価仮説を探索空間から除外する方法を提案する。

## 4.1 機能的述語の単一化に対する制約

2 節で述べた通り, 先行研究 (Inoue and Inui 2011a; 井之上 他 2012; Yamamoto et al. 2015) における単一化仮説生成の適用は, 述語の同一性にのみ依拠している. しかしながら, 3.1 節で 述べた設定の下では, 機能リテラル対に対する単一化仮説生成操作によって, 不正な等価仮説 が潜在仮説集合に追加されてしまう可能性がある。仮説の整合性条件が充足されているとする と，不正な等価仮説を含む仮説は解仮説として選択されないため，そのような仮説が候補仮説 に含まれてしまうことは, 推論効率の面で無駄が生じる.

我々はこの問題に対処するために，機能リテラル対に対する単一化仮説生成を行う際に「それ ぞれの governor（第一引数）の論理変数の間の等価性を導く, 不正でない等価仮説が既に仮説さ れていること」という条件を追加する。例えば図 3 の観測における機能リテラル対 $\operatorname{nsubj}\left(e_{3}, j\right)$, $n \operatorname{subj}\left(e_{4}, t\right)$ に対する単一化仮説生成の適用は, 等価仮説 $e_{3}=e_{4}$ が潜在仮説集合に既に含まれ ている場合に限定する。これにより，親が互いに同一事象に成り得ない機能リテラル対は単一化仮説生成の対象とならず, 不正な等価仮説が潜在仮説集合に追加されなくなるので, 推論効率の向上が期待できる.

より一般的には, 潜在仮説集合 $P$ において, 機能述語 $d$ を持つ機能リテラル対 $d\left(x_{1}, y_{1}\right), d\left(x_{2}, y_{2}\right)$ に対して単一化可能性を認め, そこから導かれる等価仮説 $x_{1}=x_{2}, y_{1}=y_{2}$ を潜在仮説集合に追加するのは, $x_{1}, x_{2}$ が同一の変数である場合か, 等価仮説 $x_{1}=x_{2}$ が $P$ に含まれている場合に 限る。このような制約により，機能リテラル間の単一化仮説生成が適用されるのは，それぞれ の機能リテラルが表す依存関係の governor が互いに同一である可能性がある場合に限定され，常に不正な等価仮説を導くような単一化仮説生成操作の実行を防止できる。この制約をどのよ うなアルゴリズムとして実装するかについては 4.3 節で述べる.

## 4.2 後ろ向き推論への拡張

後ろ向き推論操作についても, 単一化仮説生成操作と同様の議論を行うことができる。本節 ではそれを踏まえ，前節と同等の制約を後ろ向き推論操作にも課すことを考える。例えば図 4 において，論理式 $\operatorname{study}\left(e_{3}\right) \wedge \operatorname{subj}\left(e_{3}, t\right) \Rightarrow \operatorname{smart}\left(e_{1}\right) \wedge \operatorname{subj}\left(e_{1}, t\right)$ による後ろ向き推論を連言 $\operatorname{smart}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{2}, t\right)$ に対して適用する場合について, この後ろ向き推論操作の適用条件とし て「潜在仮説集合に不正でない等価仮説 $e_{1}=e_{2}$ が含まれていること」を課す.これにより，不正な等価仮説を導く後ろ向き推論を潜在仮説集合の生成手続きから除外することができる.

このとき, 全ての後ろ向き推論に制約を課してしまうと, 本来除外するべきでない推論が除外されてしまう場合があることに注意する必要がある．例えば図 5 における後万向き推論に上 の制約を課した場合, 等価仮説 $x_{1}=x_{3}$ が潜在仮説集合に含まれていることが後ろ向き推論適用の条件となるが, 等価仮説 $x_{1}=x_{3}$ を導くためにはその後ろ向き推論を実行する必要がある. そのため, 上の制約を課した場合にはこの推論は探索空間から除外されてしまう。しかしなが ら, 図 5 の仮説は最終的には不正な等価仮説を含まないため, 本来は除外するべきでない，以上の議論より本論文では, このような場合を引き起こしうる論理式を用いた後ろ向き推論につ いては制約を課さないことによって，除外すべきでない候補仮説一すなわち不正な等価仮説を 含まない候補仮説が探索空間から除外される事態を防ぐ. 上のような場合を引き起こしうる論理式とは, 具体的には, 論理式の後件中の機能リテラルの親になっているリテラルが前件に含 まれるような論理式である。そのような論理式を用いた後ろ向き推論については, 制約の対象 から除外する。例えば図 5 の例では, 後件の機能リテラル $i n\left(x_{1}, x_{2}\right)$ の第一引数 $x_{1}$ が前件のリ テラル $\operatorname{student}\left(x_{1}\right)$ の引数に含まれており, $\operatorname{student}\left(x_{1}\right)$ は $\operatorname{in}\left(x_{1}, x_{2}\right)$ の親であると言えるので, この論理式を用いた後ろ向き推論については制約の対象としない.

以上のアイデアをより一般的に表そう．潜在仮説集合 $P$ において, 含意型論理式 $\bigwedge_{i=1}^{n} p_{i}\left(x_{i}\right) \Rightarrow$ $\bigwedge_{j=1}^{m} q_{j}\left(y_{j}\right)$ を用いた後ろ向き推論を， $P$ に含まれる連言 $\bigwedge_{j=1}^{m} q_{j}\left(z_{j}\right)$ に適用する場合を考える.

図 5 探索空間から除外すべきではないにも関わらず，等価仮説の制約によって実行不可能になってしま う後ろ向き推論の例.

ここで，述語 $q_{f}$ が機能述語であるようなインデックス $f$ の集合を $F$ とすると, この逆向き推論 を適用するのは， $F$ の各要素 $f$ が以下の条件のうち少なくとも一つを満たしている場合に限る：

(1) $q_{f}\left(y_{f}\right)$ の第一引数 $y_{f}^{1}$ を引数に持つリテラルが論理式の前件に存在する. すなわち $y_{f}^{1} \in$ $\bigcup_{i=1}^{n} x_{i}$ が成り立つ.

(2) 論理式の後件の $c$ 番目にある内容語リテラル $\left(q_{c}\left(y_{c}\right)\right.$ とおく) の任意の（ $i$ 番目の）引数 $y_{c}^{i}$ が $y_{f}^{1}$ と同一であるとき, 変数対 $z_{c}^{i}, z_{f}^{1}$ が同一であるか, もしくは潜在仮説集合に等価仮説 $z_{c}^{i}=z_{f}^{1}$ が含まれる.

この条件を満たさない逆向き推論は，常に不正な等価仮説を導くので，探索空間から除外でき る.この制約をどのようなアルゴリズムとして実装するかについては 4.3 節で述べる.

## 4.3 潜在仮説集合の生成手続きの拡張

4.1 節および 4.2 節では, 単一化仮説生成操作および後ろ向き推論操作の適用条件として, 不正な等価仮説を生成しないことを条件とすることにより，不正な等価仮説が潜在仮説集合に追加されることを回避する手法を示した。本節では，これらの手法を実際にアルゴリズムとして 実装する方法を議論する。

まず，各操作の適用条件の充足性と，潜在仮説集合の状態は互いに依存しているため（つま り, 適用条件の充足性は潜在仮説集合の状態で決まり, かつ潜在仮説集合の状態は各操作の適用条件の充足性により変化する), 各操作に対する条件の充足性判定は, 各操作の適用時に一度 ずつ行うだけでは不十分である。なぜなら，潜在仮説集合を生成する過程において，ある時点 では適用条件を充足せず適用不可能な操作であっても, その後の別の時点では, 別の操作の適用により条件が充足され，適用可能となる場合があるからである。そのため, 最終的に適用さ れなかった全ての操作が制約を充足しないことを保証できるよう，各操作に対する適用条件の 充足性を漏れが無いように判定する必要がある.

以上のような考えに基づき， 2.2 節で述べた潜在仮説集合の生成手続きを次のように変更する：

（1） 観測 $O$ を潜在仮説集合 $P$ に追加する。これが初期状態となる.

（2） 潜在仮説集合 $P$ に対して適用可能な後ろ向き推論および単一化仮説生成操作を, A*-based Abduction の手法に基いて網羅的に適用する。ただし， 4.1 節および 4.2 節で提案した適用条件を満たさない単一化仮説生成・後ろ向き推論は実行しない. 制約条件を満たさず に実行されなかった単一化仮説生成・後ろ向き推論については, 別の記憶領域 $S$ に保持 しておく.

（3）この時点で $S$ が空の場合は，潜在仮説集合の生成を終了する.

(4) $S$ に含まれる単一化仮説生成操作および後ろ向き推論操作のそれぞれについて，再び制約を満たすかどうかの判定を行う。満たすのなら操作を適用し， $S$ から除外する。

（5）手続き(4) において一つの操作も実行されなかった場合は潜在仮説集合の生成を終了し,

そうでなければ手続き $(2)$ に戻る.

このような実装を採ることにより，最終的に適用されなかった操作については全て適用条件を 満たさないことが保証される。 4.1 節および 4.2 節での議論より, 適用条件を満たさない操作は 不正な等価仮説を導くので，仮説の整合性条件より，これらの操作によって導かれる要素仮説 が本来の解仮説に含まれることは無い。すなわち，等価仮説への制約を課す前後で解仮説が変化しないことが保証される。

## $5 \quad A^{*$-based Abduction の効率化}

機能リテラルを含む背景知識を用いた仮説推論を A*-based Abduction (Yamamoto et al. 2015) に適用する際，探索空間の枝刈り精度が著しく低下するという問題がある．本節ではそのよ うな問題の解決策として，探索のガイドとして用いるヒユーリスティック関数の計算方法を改良することにより，枝刈りの精度の低下を抑える手法を提案する。

本節では，まず $A^{*}$-based Abduction について説明し（5.1 節），機能リテラルが引き起こす 枝刈り精度低下の問題（5.2 節）と解決策（5.3 節）について述べる.

## 5.1 A*アルゴリズムに基づく仮説推論

まず, A*-based Abduction のベースとなる ILP-based Abduction (Inoue and Inui 2011b, 2012) について説明する. ILP-based Abduction では, まず観測と背景知識を入力として受け取り, そ れらに対して 2.2 節の潜在仮説集合生成手続きを適用し, 潜在仮説集合を生成する. 次に, 潜在仮説集合と評価関数から，ILP 問題を生成する。ここでは，仮説中での各リテラルの有無が ILP 変数の 0-1 值に, 仮説に対する評価関数の値が ILP 問題の目的関数値に対応し, 各リテラ ル間の論理的な依存関係は ILP 制約として表現される。最後に，ILPソルバ5を用いて ILP 問題を解くことにより，解仮説が得られる.

A*-based Abduction は, ILP-based Abduction の潜在仮説集合の生成手続きをA*アルゴリ ズムに基づいて改良するものであり，解仮説に含まれる見达みが高い仮説を生成する操作を優先的に適用していくアルゴリズムである。より具体的には，まず事前準備として，背景知識に おける述語間の意味的な距離を評価しておく。ここでの述語間の意味的な距離とは，一方の述語から他方の述語に至る推論によって生じる評価関数値の増減量のヒューリスティックな見積 もりである。同じ論理式に含まれる述語を互いに隣接関係にあると見なすと, 図 6 のように節点を述語，枝を隣接関係とする無向グラフ（以後，述語グラフと呼ぶ）が得られる ${ }^{6}$. 述語間の 意味的な距離は，このグラフにおける距離一即ち述語間を繋ぐ枝の長さの総和として与えられ
^{5}$ lp_solve (http://lpsolve.sourceforge.net) や Gurobi Optimizer (http://www.gurobi.com) などがある.

6 論理プログラミング分野の慣習に従い，アリティ（引数の数）が $\mathrm{n}$ であるような述語 $\mathrm{p}$ を $p / n$ と表す.
}

図 6 図 1 の背景知識に対応した無向グラフ

る. 各枝の長さは，枝に対応する知識ごとに自由に定義できる ${ }^{7}$ が，本論文では議論の簡単のた めに全ての枝の長さを 1 と定める。このとき述語グラフにおける述語間の距離は, 一方の述語 から他方の述語に至る推論の段数と一致する。例えば図 6 によれば, 図 1 の背景知識において,述語 bank, issue を持つリテラル同士を推論で繋ぐには最低でも 3 つの論理式を経由しなければ ならず，また述語 he, moneyを持つリテラル間を結びつけるような推論は存在しない事が分か る。述語グラフの構造は背景知識にのみ依存するので，あらゆる述語対に対する距離を事前に 計算しておき，行列として保持しておくことが可能である.

次に，述語グラフに基づいて後ろ向き推論操作の良さを見積もりながら，潜在仮説集合の生成を行う．A*-based Abduction の潜在仮説集合の生成手続きでは,「単一化仮説生成に寄与し ないリテラルは解仮説に含まれない」という前提に基づき，解仮説に含まれる見达みがあるリテ ラル，すなわち単一化仮説生成に寄与しうるリテラルを仮説する後ろ向き推論操作のみを, 評価関数の増減量の見込みがより高いものから優先的に実行していく.より具体的には, 述語グ ラフにおける述語間の距離を A*アルゴリズムにおけるヒューリスティック関数として用いて，観測中の個々のリテラルから他のリテラルに至る推論を探索8することによって, 単一化仮説生成に寄与しない後ろ向き推論（すなわち他のどのリテラルとも距離が無限大になるようなリテ ラルを根拠とした後ろ向き推論）は適用対象から除外しつつ，評価関数値の増減量の見込みが 高い後ろ向き推論（すなわち他のリテラルとの述語間距離が近いリテラルを根拠にした後ろ向 き推論）から優先的に適用していく．これにより，解仮説に含まれ得ないリテラルを仮説する ような後ろ向き推論操作は探索空間から除外され, 結果として推論全体の計算効率が改善され る. 例えば図 2 の潜在仮説集合における $\operatorname{cat}(x)$ や poodle $(x)$ は, それ自身が単一化仮説生成操作の対象になることも，そこから仮説されたリテラルが単一化仮説生成操作の対象になること も無いので, これらのリテラルを仮説するような後ろ向き推論操作は実行されない.

また, 評価関数値の増減量の見込みが高い推論が優先して実行されることにより, 潜在仮説集合の生成にかけられる時間が制限された状況においても，より良い解が探索空間に含まれる ように，与えられた時間内で可能な限り最善の探索を行う。これは実用においては極めて大き な利点である。

さて，以降の議論のために用語を一つ定義する。単一化仮説生成の対象となったリテラル対 $l_{1}$, $l_{2}$ と, それらの根拠である観測リテラル対 $o_{1}, o_{2}$ について, $o_{1}, o_{2}$ から $l_{1}, l_{2}$ をそれぞれ仮説する ために必要な後ろ向き推論と, $l_{1}, l_{2}$ 間の単一化仮説生成操作から構成される操作の系列を, $o_{1}$, $o_{2}$ の間の推論パスと呼ぶことにする。例えば図 1 において, リテラル対 $\operatorname{go}\left(x_{1}, x_{2}\right), \operatorname{get}\left(y_{1}, y_{2}\right)$ の間の推論パスは, (1) $g o\left(x_{1}, x_{2}\right)$ から $\operatorname{issue}\left(x_{2}, u_{1}, x_{1}\right)$ への後ろ向き推論, $(2) g o\left(y_{1}, y_{2}\right)$ から $\operatorname{issue}\left(u_{2}, y_{2}, y_{1}\right)$ への後ろ向き推論, (3) issue $\left(x_{2}, u_{1}, x_{1}\right)$ と issue $\left(u_{2}, y_{2}, y_{1}\right)$ の間の単一化仮説生成によって構成される。定義より, 全ての推論パスは, 1 回の単一化仮説生成操作と 0 回以上 の後ろ向き推論操作によって構成されることに注意されたい9．また，ある推論パスについて， そこに含まれる操作の系列に関与している観測リテラルの集合, すなわち推論パスで作られる 推論が説明している観測リテラル集合を，推論パスの根拠と呼ぶ.

さて, 現在の仮説推論の実装としては A*-based Abduction が最も高速であるが, 彼らの枠組 みを適用する際，その評価関数は次の要件を満たしていなければならない。一つ目に，彼らの 枠組みは ILP-based Abduction (Inoue and Inui 2011a, 2012)に基づいた枠組みであるため，評価関数は整数線形計画問題で表現可能であるものでなければならない. 二つ目に，壳長な仮説 に対しては評価が低下すること，すなわち単一化仮説生成に寄与しないリテラルが解仮説に含 まれ得ないことが保証されていなければならない。なお,この条件については, Hobbs らの重 み付き仮説推論をはじめとして, Thagard (Thagard 1978)の提唱する「仮説の良さは簡潔さと 顕現性によって決定される」とする主張に基づいて定義された評価関数であれば一般に充足さ れる。

ここで, 二つ目の条件を Neo-Davidsonian 形式に合わせて拡張することを考えよう．例えば，図 7(a)の Neo-Davidsonian 形式で表現された推論は, 表す意味そのものは図 7(b)の Davidsonian 形式で表現された推論と同等であることから, 図 7(b) と同様に解仮説には含まれ得ないと考え てよい. すなわち図 7(a)のように，単一の内容語リテラルとそれを親とする機能リテラルだけ を根拠とする推論パスは， Thagardの主張に従うならば，解仮説には含まれないものと考えて よい.

以上の議論から, 以降で扱う評価関数は, 整数線形計画問題で等価に表現可能であるととも に，以下に示す条件を充足すると仮定する：
- 評価関数は, 単一化仮説生成に寄与しないリテラルを含む候補仮説を解仮説として選択

(a)

john(J) $\wedge$ apple(A)

観測

(b)

入カ文: John bought an apple.

図 7 異なる意味表現形式における冗長な推論の例。推論 (a) は Neo-Davidsonian 形式で, 推論 (b) は Davidsonian 形式で，それぞれ同様の冗長な推論を表している。

しない.

・ 評価関数は, 単一の内容語リテラルとそれを親とする機能リテラルのみを根拠とした推論パスを含む候補仮説を解仮説として選択しない.

以降ではこれらの条件をまとめて仮説の簡潔性条件と呼ぶ.

## 5.2 述語間距離の推定精度の低下

5.1 節で述べたように A*-based Abduction では, 図 6 のような述語グラフを用いて, 背景知識における述語間の意味的な距離を事前に評価しておき，仮説の探索空間の枝刈りを行う。述語グラフの上では, 論理式の前件に含まれる各述語と後件に含まれる各述語のあらゆる組み合 わせが接続されるため, 機能リテラルのような, 他のリテラルと高頻度で共起するリテラルを 背景知識に含む場合には，述語グラフの中にハブとなるノードが形成される。その結果, 解仮説を含まれ得るような推論が実際には存在しないリテラル対に対しても，誤って距離を近く見積もってしまう，という問題がある.

例えば図 3 で用いられている背景知識 $B$ を考える：

$
\begin{aligned}
& \operatorname{mistake}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{foolish}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right) \\
& \operatorname{study}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right)
\end{aligned}
$

この背景知識に対して 5.1 節で述べた手続きによって述語グラフを生成すると, 図 8(a)のよう な述語グラフが作られる。前述のように，背景知識に含まれる機能述語 $n s u b j / 2$ がハブノード となり，あらゆる内容語述語のペアが互いに到達可能と判定されることがわかる. しかし, こ

(a)

(b)

図 8 提案手法による枝刈りの適用前後における述語グラフ. (a) が従来手法による述語グラフ, (b) が 5.3 節で提案する手法による述語グラフである.

れらの推論パスにより生成される仮説の中には, 解仮説として選択されないことが保証される ものも含まれる，例えば，図 8(a)より，foolish と smart を述語に持つリテラル対を結ぶような 推論パスは存在すると推定されるが，3節で見てきたように，この推論パスから生成される仮説は不正な等価仮説を導くため, 解仮説には成り得ない.

このように，従来の述語グラフでは，述語間を繋ぐ推論が不正な等価仮説を導くかどうか考慮できていないために, 機能リテラルを含む背景知識の上での述語間距離の推定精度が低下し, A*-based Abduction の利点が失われてしまっている.

## 5.3 述語グラフの枝刈りによる高速化

本研究では, 5.2 節で述べた問題を解消するために, 述語グラフから特定の枝を除外すること を提案する。つまり，図 3 における foolish(e) と smart(e)のように，あるリテラル対を繋ぐ推論パスが常に不正な等価仮説を導く時に，それらの間の距離が無限大となるように，述語グラ フの枝を除外する。これにより不正な等価仮説を導く推論は探索空間から除外され，探索を効率化できる。

具体的な手法を述べる。本手法では， A*-based Abduction について，以下の 2 点の拡張を加 える：
- 述語グラフの構築において, 機能リテラルとその親の両方が前件あるいは後件に存在す る含意型論理式に対しては，親に対する枝だけを述語グラフに追加するものとする．例 えば $\operatorname{study}\left(e_{1}\right) \wedge \operatorname{nsubj}\left(e_{1}, x\right) \Rightarrow \operatorname{smart}\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{2}, x\right)$ という論理式に対しては, study と smartの間の枝だけを追加し，nsubjへの枝は追加しない.
- 潜在仮説集合の生成において, 機能リテラルと他のリテラルの間の述語間距離には, 機能リテラルの親の述語間距離を代わりに用いるものとする. 例えば図 3 の観測において,
$n \operatorname{subj}\left(e_{1}, j\right)$ の親は $\operatorname{smart}\left(e_{1}\right)$ であるので, $\operatorname{nsubj}\left(e_{1}, j\right)$ と foolish $\left(e_{2}\right)$ の述語間距離には, $\operatorname{smart}\left(e_{1}\right)$ と foolish $\left(e_{2}\right)$ の述語間距離を用いる. なお，親が複数存在する場合には，それ らの中での最低値を採用するものとする.

このように拡張することで，不正な等価仮説を導く推論は探索空間から除外される．例えば,図 3 の背景知識では, 図 $8(\mathrm{a})$, (b) に示されるように, 機能述語 $n s u b j / 2$ の枝が述語グラフか ら取り除かれる。その結果, 述語 smart と foolishの間の距離が無限大となり, 不正な等価仮説 を導くsmart, foolishを繋ぐ推論は，探索空間から除外される。

なお, 本手法を適用したときに得られる解は, 仮説の整合性条件および簡潔性条件が充足さ れている限り，手法を適用しない場合の解と同様の解が得られること，すなわち元々の解が提案手法によって探索空間から枝刈りされないことが保証される。詳細な説明は付録 $\mathrm{A} に$ 委ねる ものとする。

## 6 実験

## 6.1 基本設定

本節では，本論文にて行った実験における基本的な設定について述べる.

本実験における観測としては, Rahman ら (Rahman and Ng 2012)によって構築されたWinograd Schema Challenge (Levesque 2011)の訓練デー夕の問題 1,305 問をそれぞれ論理表現に変換 したものを用いた．具体的には，各問題文に対して Stanford Core NLP ${ }^{10}$ (Manning, Surdeanu， Bauer, Finkel, Bethard, and McClosky 2014) を用いて構文解析を行い, 文中の単語および単語間の依存関係をそれぞれリテラルに変換した．各観測は平均して 28 個のリテラルから構成され る。観測の例を表 1 の $O$ に示す。なお，全ての観測について整合性条件を充足することを確認 している。以降はこの観測集合を $O_{w s c}$ と表す.

Winograd Schema Challenge は, 例えば “Tony helped Jeff because he wanted to help.”のよう な文を入力として，指定された照応表現（ここでは“he”）の照応先として相応しいものを $2 \supset$ の選択肢（ここでは “Tony”と“Jeff”）から選ぶタスクである。仮説推論の上では，照応先の 選択は等価仮説の有無に対応する。例えば，表 1 の $O$ に対して得られた解仮説に $E_{1}=e_{5}$ が含 まれるなら，“he”の照応先として“Tony”を選ぶことと等しい．なお，本実験では，各問題の 照応先に対応する論理変数には定数（この例では $E_{1}, E_{3}$ ）を割り当てることで，二つの照応先候補を同時に選択することを防いでいる。

また背景知識には，我々が ClueWeb1211から自動獲得した因果関係知識を用いた。具体的に

表 1 実験で用いた観測および背景知識の例。なお観測の例は “Tony helped Jeff because he wanted to help."という文に対応する論理表現である.

$
\begin{aligned}
& O=\text { tony_nn }\left(E_{1}\right) \wedge h e l p \_v b\left(E_{2}\right) \wedge j e f f \_n n\left(E_{3}\right) \wedge b e c a u s e_{-} i n\left(E_{4}\right) \wedge h e \_p r(e 5) \wedge \text { want_vb }\left(E_{6}\right) \wedge \\
& \operatorname{to\_ to}\left(E_{7}\right) \wedge h e l p \_v b\left(E_{8}\right) \wedge \operatorname{nsubj}\left(E_{2}, E_{1}\right) \wedge \operatorname{dobj}\left(E_{2}, E_{3}\right) \wedge \operatorname{mark}\left(E_{6}, E_{4}\right) \wedge \\
& \operatorname{nsubj}\left(E_{6}, e_{5}\right) \wedge \operatorname{advcl}\left(E_{2}, E_{6}\right) \wedge \operatorname{aux}\left(E_{8}, E_{7}\right) \wedge x \operatorname{comp}\left(E_{6}, E_{8}\right) \wedge \operatorname{nsubj}\left(E_{8}, e_{5}\right) \\
& B_{e p}=\text { meet_vb }\left(e_{1}\right) \wedge n \operatorname{subj}\left(e_{1}, x\right) \Rightarrow h a v e_{-} v b\left(e_{2}\right) \wedge n \operatorname{subj}\left(e_{2}, x\right) \wedge d o b j\left(e_{2}, y\right) \wedge \text { interest_nn }(y), \\
& \text { graduate_vb }\left(e_{1}\right) \wedge n s u b j\left(e_{1}, x\right) \Rightarrow \text { give_vb }\left(e_{2}\right) \wedge i o b j\left(e_{2}, x\right) \wedge d o b j\left(e_{2}, y\right) \wedge j o b \_n n(y) \\
& g e t_{-} v b\left(e_{1}\right) \wedge n \operatorname{subj}\left(e_{1}, x\right) \wedge \operatorname{dobj}\left(e_{1}, y\right) \wedge d i s c o u n t \_n n(y) \Rightarrow b u y_{\_} v b\left(e_{2}\right) \wedge n s u b j\left(e_{2}, x\right), \ldots \\
& B_{w n}=p l a y \_n n(x) \Rightarrow \text { action_nn }(x) \\
& \text { attack_vb }(e) \Rightarrow a f f e c t \_v b(e)
\end{aligned}
$

は，まず，ClueWeb12に含まれる各文に対して Stanford Core NLP を適用し，共参照関係にあ る項を持つ動詞・形容詞とその周辺文脈のペア 5 億個を獲得した。例えば, “Tom helped Mary yesterday, so Mary thanked to Tom.” より，Maryを介してぺアとなっている〈Tom help Mary yesterday, Mary thank to Tom〉を獲得した. 獲得したぺアは, そのまま因果関係知識として用 いるには特殊すぎる可能性があるため, これらを統計的な基準によって一般化し, 論理表現に変換した。より具体的には，獲得したぺアをさまざまな抽象度に一般化した上で（例えば，〈Tom

などに変換した）頻度カウントを行い，一定以上の頻度のぺアだけを残す，というフィルタリン グ処理を施した (以降, これらのペアをイベントペアと呼ぶ). 結果として, 278,802 個の含意型論理式の集合 $B_{e p}$ を得た. 知識の例を表 1 の $B_{e p}$ に示す. また, WordNetの Synset によっ て定義される同義語 ・上位語の知識を論理表現に変換し, 結果として 235,706 個の含意型論理式の集合 $B_{w n}$ を得た. WordNet から生成した論理式の例を表 1 の $B_{w n}$ に示す. 提案手法を適用するにあたっては, 背景知識に出現する格関係および前置詞による修飾関係を表す全ての述語を機能述語として扱うこととした.

評価関数には重み付き仮説推論 (Hobbs et al. 1993)を基に, 整合性条件および簡潔性条件を 充足するような評価関数を用いた。具体的には, 重み付き仮説推論の評価関数に対して「全て の候補仮説は仮説の整合性条件および簡潔性条件を満たさなければならない」という制約を加 えている。比較対象としては A*-based Abduction (Yamamoto et al. 2015)を用いた. 以降の記述における従来手法とは A*-based Abduction を指す.

を拡張することによって実装した。

## 6.2 推論効率の比較

本節では, 推論効率の比較実験について報告する。この実験では, 提案手法が従来手法と比 べてどの程度効率的に最適解を導くことができるかを確かめるために, 従来手法でも最適解が 導出できる程度に小規模な設定での比較を行った．また，従来手法のほかに， 4 節の制約のみ を用いた設定，5 節の述語グラフの枝刈りのみを用いた設定との比較も行うことで，個々の手法による効率化の度合いを検証した。

具体的な設定を以下に述べる，観測には $O_{w s c}$ に含まれる全ての問題（1,305 問）を用いた。背景知識には, $B_{e p}$ から 187,732 個の論理式を抽出 ${ }^{13}$ して用いた. また, リテラルの深さの最大値 は $d_{\text {max }}=1$ とした. これにより後ろ向き推論の入力は観測リテラルのみに限定される。また,推論時間が5分を超えるものについてはタイムアウトとした. この実験設定を, 以降は SMALL と呼ぶ.

実験設定 SMALL における実験結果を図 9 , 図 10, 図 11 に示す. 図中の各点は開発セット 1,305 問のうち, 少なくとも一方の実験設定がタイムアウトせずに最適解を求められた問題 1,095

図 9 実験設定 SMALL での, 提案手法と従来手法との速度比較.
^{13} B_{e p}$ の論理式のうち, ClueWeb 中での共起頻度がある閥値を超えるイベントペアから生成された論理式のみを抽出した。背景知識を適当な規模に縮小する以外の意図は無いので，詳細は省略する。
}

図 10 実験設定 SMALL での，等価仮説の制約の有無における速度比較.

図 11 実験設定 SMALL での, 述語グラフの枝刈りの有無における速度比較.

問14について, それぞれの問題における推論時間を表す. 各点の座標は, 横軸が提案手法によ る推論時間に対応し, 縦軸が比較対象での推論時間に対応する。図 9 では A*-based Abduction による推論時間, 図 10 では提案手法において 5 節で述べた述語グラフの枝刈りのみを適用した

場合の推論時間，図 11 では提案手法において 4 節で述べた等価仮説への制約のみを適用した場合の推論時間が，縦軸に対応する。なお，5 分以内に解を導くことが出来ずタイムアウトした問題については 300 秒としてプロットしている。また直線は $y=x$ を表す。よって，この直線よ りも上にある点については提案手法によって推論時間が改善されていると見做すことができる.

図 9 からは，従来手法と比べたときの，提案手法による効率化の程度を確認できる。この結果より，どのような規模の問題においても提案手法は従来手法と比べて遥かに短い時間で，平均して数十倍から数百倍の速度で解を導けていることが確かめられた。

図 10 からは，4 節で提案した等価仮説の制約による効率化の程度を確認することができる。 この結果から，探索空間が極めて小さい一部の問題に対しては効率の低下が見受けられるもの の，それ以外の問題についてはいずれもより効率的な推論が実現できていることが確かめられ た. 推論効率が低下している一部の問題については, この制約によって除外されるような単一化仮説生成操作が探索空間に存在しない，あるいはその数が極めて少ないために，制約の判定 にかかる計算量が制約を課すことで削減される計算量を上回ってしまっていると考えられる.

図 11 からは，5 節で提案した述語グラフの枝刈りによる効率化の程度を確認することができ る。図 9 での結果とほぼ同様の結果であるものの, 述語グラフの枝刈りによって探索空間から 除外される推論は，等価仮説の制約によって探索空間から除外される推論の大半を包含してい ることから，これは極めて自然な結果であるといえる。

また，タイムアウトせずに最適解が得られた問題については，問題設定に関わらず最適解の 評価関数值が同じ値であったことが確かめられた。このことから, 提案手法が解の健全性を損 なわないことが実験的にも示された.

## 6.3 現実的な設定での比較

前節の実験では，提案手法が従来手法と比べて遥かに効率的に解仮説を導出できていること が確かめられた。しかしながら前節の実験設定 (SMALL) では, 従来手法でも最適解が導ける ようにするために, 背景知識や解の探索範囲の縮小や, タイムアウトの時間を長めにとるなど,実際のタスク適用とはかなり乘離した設定になってしまっている.

それを踏まえ本節では，参考実験として，より実際のタスク適用に即した設定において比較実験を行った. この実験では，（本論文の本来のスコープではないものの, ）夕スクの解析精度 をみることで，我々のシステムが行っている推論が，意味的な解釈として一定の妥当性を持つ 推論を実現できていることを確かめる.

具体的な設定を述べる。前述したように，今回用いたデータセットには，因果関係知識のみで は解くことの出来ない種類の問題一例えば否定や逆接を含む問題, 特定の固有名詞に関する知識が必要な問題, 数量表現を扱う問題など一が多数含まれている。そこで本実験では, $O_{w s c}$ に 含まれる観測のうち無作為に選んだ 100 問について, 個々の問題を解くのに必要な知識の種類を
表 2 実験設定 LARGE における実験結果. 各列は従来手法および提案手法での結果を表す. 各行は上か ら順に, 正解できた問題数 (Correct), 不正解だった問題数 (Wrong), 出力が得られなかった問題数 (No Decision), それらの結果から計算した適合率 (Precision) および再現率 (Recall) を表す.

人手で分類した。そして，その 100 問のうち因果関係知識の適用のみで解けると思われる問題 32 問を観測として用いた。背景知識としては， $B_{e p}$ と $B_{w n}$ に含まれる全ての論理式 $(514,508$個）を用いた。またリテラルの深さの最大值は $d_{\max }=2$ とした. これは， 3 個以上の因果関係 を繋げて導かれる仮説は意味的に不自然な説明であることが多いという経験則に基いている. また, 潜在仮説集合の生成は 10 秒で中断し，その時点での潜在仮説集合に対する解を解仮説と して扱った，推論全体では，推論時間が 1 分を超えるものをタイムアウトとした。この実験設定を，以降はLARGE と呼ぶ.

実験設定 LARGE における実験結果を表 2 に示す。この結果より，従来手法では殆どの問題 で解が得られていない一方で，提案手法ではそれがある程度改善されていることが分かる。こ れは，述語グラフの枝刈りを導入したことによって， A*-based Abduction における述語間の距離推定の精度が改善され, 後ろ向き推論の候補をより短い時間で列挙できるようになったこと が大きいと考えられる。

また，夕スクの解析精度については，表 2 の適合率を見る限り，ある程度意味のある推論が 実現できていることが伺える。その一方で再現率は低く, 今後, 解析精度を向上させていくた めには, 背景知識の拡充・高精度化や, 評価関数のモデルパラメータの調整など, 様々な改善 が必要である.しかしながら, 少なくとも今回の提案手法の導入により, 実世界の問題に即し た規模の背景知識および論理表現の上での仮説推論が, 初めて実現可能になった.このことは,当該分野において非常に重要な貢献である.

## 7 まとめ

仮説推論は, 文章に明示されていない情報の顕在化を行うための有望な枠組みと考えられて きた一方，背景知識や観測の規模に対して指数関数的に増大する計算時間が，実問題への応用 を阻んできた。

このような問題に対し本論文では, 格関係や前置詞による修飾関係などの依存関係を表すリ テラルに関して起こる計算量の問題に着目し，そのようなリテラルに対して起こる朵長な推論 を探索空間から除外することによって，仮説推論を効率化する手法を提案した．また，既存手法 との比較実験から，構築したシステムが従来のシステムよりも遥かに高速であることを示した.

今後の展望としては，潜在仮説集合の生成において，言語そのものに対する知識を用いて探索空間の枝刈りをすることが考えられる。その一つの例としては，それぞれの依存関係が持つ性質を利用することが挙げられる。例えば，物体の位置的な上下関係のように推移律が成り立つ 場合や, 述語項関係のように一つの governor に対して一つしか dependent が存在できない場合,物体同士の隣接関係のように対称律が成り立つ場合など，それぞれの関係は固有の性質を持つ. これらの性質を潜在仮説集合の生成の時に考慮することができれば，その性質に反するような 推論を探索空間から除外できることが期待される。例えば，主格関係が一つの governor に対し て一つしか定義できないことが分かっているなら, $g o\left(e_{1}\right) \wedge g o\left(e_{2}\right) \wedge \operatorname{nsubj}\left(e_{1}, x_{1}\right) \wedge \operatorname{nsubj}\left(e_{2}, x_{2}\right)$ のような観測が与えられたとき,$e_{1}=e_{2}$ かつ $x_{1} \neq x_{2}$ であるような仮説は適切な説明ではない ことが分かる. よって, このような仮説を候補仮説として列挙するような手続きを探索空間か ら除外することが出来れば，計算負荷の軽減に繋げられる可能性がある.

また, 潜在仮説集合の生成の手続きと, ILP 問題を最適化する手続きを, 相互にやりとりしな がら進めることによって，推論速度を向上させることも考えられる. 現状ではこれらの手続き は完全に逐次的に行われるが，潜在仮説集合を生成する段階ではどこまで探索すれば十分なの かが全くの不明であるために, 必要最低限の範囲だけを探索することが難しいという問題があ る。これに対して，潜在仮説集合の生成の途中の結果に対する解仮説を随時導出しながら，そ の結果に応じて潜在仮説集合の生成を適切に打ち切ることができれば，全体の計算量を削減で きると考えられる。

他には，仮説推論を実問題へ適用していくことも進めていく．本研究によって仮説推論の計算負荷は大幅に効率化され, 大規模知識を用いた仮説推論は現実的な時間で実現可能となった. これにより，大規模知識を用いた仮説推論の枠組みにおいて，実タスク上での精度評価や，他 の先行研究との定量的な比較が可能になったといえる. よって今後は, 仮説推論に用いるため の高精度かつ大規模な背景知識の構築や, より談話理解のタスクに適した評価関数モデルの構築を進めていきたいと考えている.

## 謝 辞

本研究は, JST 戦略的創造研究推進事業 CREST および文部科学省科研費 (15H01702) から部分的な支援を受けて行われた。

## 参考文献

Blythe, J., Hobbs, J. R., Domingos, P., Kate, R. J., and Mooney, R. J. (2011). "Implementing Weighted Abduction in Markov Logic." In Proceedings of the 9th International Conference on Computational Semantics, IWCS '11, pp. 55-64.

Chambers, N. and Jurafsky, D. (2009). "Unsupervised Learning of Narrative Schemas and their Participants." In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP, ACL '09, pp. 602-610.

Copestake, A., Flickinger, D., Pollard, C., and Sag, I. A. (2005). "Minimal Recursion Semantics: An Introduction." Research on Language and Computation, 3 (2-3), pp. 281-332.

Davidson, D. (1980). Essays on Actions and Events. Oxford University Press.

Fellbaum, C. (Ed.) (1998). WordNet: An Electronic Lexical Database. MIT Press.

Gelfond, M. and Lifschitz, V. (1988). The Stable Model Semantics for Logic Programming, pp. 1070-1080. MIT Press.

Hobbs, J. R., Stickel, M., Martin, P., and Edwards, D. (1993). "Interpretation as Abduction." Artificial Intelligence, 63, pp. 69-142.

Hobbs, J. R. (1985). "Ontological Promiscuity." In Proceedings of the 23rd Annual Meeting of the Association for Computational Linguistics, ACL '85, pp. 61-69, Chicago, Illinois, USA. University of Chicago.

Inoue, N. and Inui, K. (2011a). "ILP-Based Reasoning for Weighted Abduction." In Plan, Activity, and Intent Recognition, Papers from the 2011 AAAI Workshop, AAAI '11, pp. 25-32.

Inoue, N. and Inui, K. (2011b). "An ILP Formulation of Abductive Inference for Discourse Interpretation.” 情報処理学会研究報告. 自然言語処理研究会報告, 2011 (3), pp. 1-13.

Inoue, N. and Inui, K. (2012). "Large-scale Cost-based Abduction in Full-fledged First-order Predicate Logic with Cutting Plane Inference." In Proceedings of the 13th European Conference on Logics in Artificial Intelligence, pp. 281-293.

井之上直也, 乾健太郎, Ekaterina Ovchinnikova, Jerry R. Hobbs (2012). 大規模世界知識を用いた 仮説推論による談話解析の課題と対策. 言語処理学会第 18 回年次大会論文集, pp. 119-122.

Levesque, H. J. (2011). "The Winograd Schema Challenge." In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning. AAAI.

Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S. J., and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations,
pp. 55-60.

McCord, M. C. (1990). Slot Grammar. Springer.

Moore, R. C. (1983). "Semantical Considerations on Nonmonotonic Logic." In Bundy, A. (Ed.), Proceedings of the 8th International Joint Conferences on Artificial Intelligence, pp. 272-279. William Kaufmann.

Mulkar, R., Hobbs, J., and Hovy, E. (2007). "Learning from Reading Syntactically Complex Biology Texts." In Proceedings of the 8th International Symposium on Logical Formalizations of Commonsense Reasoning, Palo Alto.

Ng, H. T. and Mooney, R. J. (1992). "Abductive Plan Recognition and Diagnosis: A Comprehensive Empirical Evaluation." In Proceedings of the 3rd International Conference on Principles of Knowledge Representation and Reasoning, pp. 499-508.

Nienhuys-Cheng, S.-H. and De Wolf, R. (1997). Foundations of Inductive Logic Programming, Vol. 1228. Springer Science \& Business Media.

Ovchinnikova, E., Hobbs, J. R., Montazeri, N., McCord, M. C., Alexandrov, T., and MulkarMehta, R. (2011). "Abductive Reasoning with a Large Knowledge Base for Discourse Processing." In Proceedings of the 9th International Conference on Computational Semantics, IWCS '11, pp. 225-234.

Parsons, T. (1990). Events in the Semantics of English: A Study in Subatomic Semantics / Terence Parsons. MIT Press Cambridge, Mass.

Raghavan, S. and Mooney, R. J. (2010). "Bayesian Abductive Logic Programs." In Proceedings of the AAAI-10 Workshop on Statistical Relational Artificial Intelligence, Vol. WS-10-06 of AAAI Workshops, pp. 82-87.

Rahman, A. and Ng, V. (2012). "Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777-789, Jeju Island, Korea. Association for Computational Linguistics.

Reiter, R. (1978). "On Closed World Data Bases." In Gallaire, H. and Minker, J. (Eds.), Logic and Data Bases, pp. 55-76. Springer US.

Reiter, R. (1987). "A Logic for Default Reasoning." In Ginsberg, M. L. (Ed.), Readings in Nonmonotonic Reasoning, pp. 68-93. Kaufmann, Los Altos, CA.

Richardson, M. and Domingos, P. (2006). "Markov Logic Networks." Machine learning, 62 (1-2), pp. 107-136.

Ruppenhofer, J., Ellsworth, M., Petruck, M. R., Johnson, C. R., and Scheffczyk, J. (2010). "FrameNet II: Extended Theory and Practice.".

Schoenmackers, S., Etzioni, O., Weld, D. S., and Davis, J. (2010). "Learning First-order Horn Clauses from Web Text." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP '10, pp. 1088-1098.

Schüller, P. (2015). "Modeling Abduction over Acyclic First-Order Logic Horn Theories in Answer Set Programming: Preliminary Experiments." In Proceedings of the 22nd RCRA International Workshop on Experimental Evaluation of Algorithms for Solving Problems with Combinatorial Explosion 2015 (RCRA 2015) A Workshop of the XIV International Conference of the Italian Association for Artificial Intelligence, pp. 76-90.

Singla, P. and Mooney, R. J. (2011). "Abductive Markov Logic for Plan Recognition." In Proceedings of the 25th AAAI Conference on Artificial Intelligence, AAAI '11, pp. 1069-1075.

杉浦純, 井之上直也, 乾健太郎 (2012). 説明生成に基づく談話構造解析の課題分析. 言語処理学会第 18 回年次大会論文集, pp. 115-118.

Thagard, P. R. (1978). "The Best Explanation: Criteria for Theory Choice." The Journal of Philosophy, 1, pp. 76-92.

Yamamoto, K., Inoue, N., Inui, K., Arase, Y., and Tsujii, J. (2015). "Boosting the Efficiency of First-order Abductive Reasoning Using Pre-estimated Relatedness between Predicates." International Journal of Machine Learning and Computing, 5 (2), pp. 114-120.

## 付録

## A 提案手法が解の最適性を保持することの証明

本節では, 仮説の整合性条件および簡潔性条件が充足されるならば， 5 節で提案した手法に 基づく述語グラフの枝刈りを用いて得られる解が最適性を保つこと, 即ち手法適用後に探索空間から除外されるような要素仮説について，それらが常に解仮説とならないことを示す. 任意 の述語 $p, q$ に対する, 述語グラフの枝刈り適用前の述語間距離を $h_{1}(p, q)$, 適用後の述語間距離 を $h_{2}(p, q)$ と表す.

まず，述語グラフの枝刈りを適用することによって除外される推論パスの集合 $\mathbb{R}$ に着目する.形式的には, $\mathbb{R}$ は, $h_{1}\left(o_{1}, o_{2}\right)<\infty$ かつ $h_{2}\left(o_{1}, o_{2}\right)=\infty$ を満たすような観測リテラル対 $o_{1}, o_{2}$ を端点とするような推論パスの集合，と定義される，本証明のゴールは，「㡳に含まれるすべて の推論パス $R \in \mathbb{R}$ から生成される候補仮説 $H_{R}$ が, 整合性条件および簡潔性条件が充足される 状況下では，常に解仮説とならないことを示す」ことである.

証明の戦略は次のとおりである。まず， $\mathbb{R}$ の部分集合について，整合性条件と簡潔性条件よ

り，そこに含まれる推論パスから生成される候補仮説が解仮説とならないことを示す. 次に， それ以外の推論パスの集合 $\mathbb{R}^{\prime}$ につて， すべての $R^{\prime} \in \mathbb{R}^{\prime}$ が常に機能リテラルの単一化仮説生成を含むことを証明し，かつその単一化仮説生成操作が常に不正な等価仮説を導くことを示す。

まず， $\mathbb{R} に$ 含まれる推論パスのうち，以下に示すような推論パス $R \in \mathbb{R}$ から生成される候補仮説については, 整合性条件および簡潔性条件により解仮説とならないことが自明である：

（1） $R$ は機能リテラルの単一化仮説生成を含み，かつ単一化仮説生成の対象である機能リテ ラル対の少なくとも一方が親を持たない.

(2) $R$ は不正な等価仮説を導くような後ろ向き推論を含む.

(3) $R$ の端点 $o_{1}, o_{2}$ は同じ親を持つ機能リテラルであり，親以外の内容語リテラルが推論パ スの根拠に含まれない.

(4) $R$ の端点 $o_{1}, o_{2}$ のうち一方は機能リテラルであり，他方がその親であり，親以外の内容語リテラルが推論パスの根拠に含まれない.

(1) 扔よび (2) が示す場合については整合性条件 2,3 より，(3) 拈よび (4) が示す場合について は簡潔性条件より，明らかに解仮説とならない。したがって，以降ではこれらの場合に当ては まらない推論パスの集合 $\mathbb{R}^{\prime} \subseteq \mathbb{R}$ についてのみ検討する。 $\mathbb{R}^{\prime}$ の定義より，すべての $R^{\prime} \in \mathbb{R}^{\prime}$ に ついて，不正な等価仮説を導く後ろ向き推論が $R^{\prime}$ に含まれないことは自明であるから，以降

ことを示す.

まず，すべての $R^{\prime} \in \mathbb{R}^{\prime}$ が常に機能リテラルの単一化仮説生成を含むことを証明する。

証明. 背理法を用いて証明する。すなわち，「推論パス $R^{\prime}$ が常に機能リテラル間の単一化仮説生成操作を含まない」ことを仮定すると，矛盾が生じることを以下に示す。

まず，背理法の仮定は， 3.1 節の定義より，「推論パス $R^{\prime}$ が内容語リテラル間の単一化仮説生成操作を含む場合がある」と言い換えることができる。形式的には， $h_{1}\left(o_{1}, o_{2}\right)<\infty$ かつ $h_{2}\left(o_{1}, o_{2}\right)=\infty$ を満たすような観測リテラル対 $o_{1}, o_{2}$ がそれぞれ内容語リテラル $c_{1}, c_{2}$ を仮説 しており， $c_{1}, c_{2}$ が互いに単一化している場合が存在する，ということである.

このとき, $c_{1}, c_{2}$ は同じ述語を持つことから, 明らかに $h_{1}\left(c_{1}, c_{2}\right)=h_{2}\left(c_{1}, c_{2}\right)=0<\infty$ であ る. $\mathbb{R}^{\prime}$ の定義より， $R^{\prime}$ には不正な等価仮説を導くような後ろ向き推論は含まれないので， $c_{1}$ の直接的な根拠となっている任意のリテラルを $d_{1}$ とおくと $h_{2}\left(c_{1}, d_{1}\right)<\infty$ が成り立つ. 同様に $c_{2}$ の直接的な根拠となっている任意のリテラルを $d_{2}$ とおくと $h_{2}\left(c_{2}, d_{2}\right)<\infty$ が成り立つ. よっ て, $h_{2}\left(c_{1}, c_{2}\right)<\infty$ であるので $h_{2}\left(d_{1}, d_{2}\right)<\infty$ も成り立つ. このような議論は $d_{1}$ および $d_{2}$ の 根拠についても成り立つことから, 帰納的に $h_{2}\left(o_{1}, o_{2}\right)<\infty$ も成り立つ.

しかし，これは前提である $h_{2}\left(o_{1}, o_{2}\right)=\infty$ と矛盾する，以上から， $R^{\prime}$ は，常に機能リテラル 間の単一化を導く。
次に, $R^{\prime}$ におる機能リテラル $f_{1}, f_{2}$ の単一化仮説生成操作が, 常に不正な等価仮説を導く ことを示す.

証明. $f_{1}, f_{2}$ の親をそれぞれ $p_{1}, p_{2}$ とおき, $p_{1}, p_{2}$ が同一事象を表し得ない, すなわち $h_{2}\left(p_{1}, p_{2}\right)=$ $\infty$ であることを，背理法により示す.

背理法の仮定は, $h_{2}\left(p_{1}, p_{2}\right)<\infty$ である. この仮定のもとでは, 機能リテラルにおける述語間距離の計算手続きより,$h_{2}\left(f_{1}, f_{2}\right)<\infty$ となるので, $f_{1}, f_{2}$ を経由する $o_{1}, o_{2}$ についても同様 に $h_{2}\left(o_{1}, o_{2}\right)<\infty$ となる.

しかし, これは前提である $h_{2}\left(o_{1}, o_{2}\right)=\infty$ と矛盾する. この事から， $h_{2}\left(p_{1}, p_{2}\right)=\infty$ であり， $R^{\prime}$ によって単一化仮説生成の対象である機能リテラルの親は, それぞれ同一事象には成り得な いこと，すなわち不正な等価仮説を導くことが示された.

以上から, 提案手法を適用することによって除外される推論パスの集合 $\mathbb{R}$ は, 最初に挙げた 4 つ場合のほかには，機能リテラルに対する単一化仮説生成操作を含み，かつそれらの親が 同一事象に成り得ず，不正な等価仮説を導く場合に限定される。ゆえに，すべての $R \in \mathbb{R} に つ$ いて， $R$ から生成される候補仮説は解仮説とならないことが証明される．以上より, 本手法に よって得られる解は最適性を保つ.

## 略歴

山本 風人：1987 年生. 2011 年東北大学工学部知能情報システム総合学科卒. 2013 年東北大学大学院情報科学研究科博士前期課程修了. 2016 年東北大学大学院情報科学研究科博士後期課程修了, 日本電気株式会社入社, 現在に至る.自然言語処理の研究に従事.

井之上直也：1985 年生. 2008 年武蔵大学経済学部経済学科卒業. 2010 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年東北大学大学院情報科学研究科博士後期課程修了. 2015 年より東北大学大学院情報科学研究科助教, 現在に至る. 自然言語処理の研究に従事. 言語処理学会, 情報処理学会各会員.

乾 健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同研究科助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より東北大学大学院情報科学研究科教授, 現在に至る. 博士 (工学).自然言語処理の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL, AAAI 各会員.


# 統語ベース翻訳のための構文解析器の自己学習

吉野幸一郎
}

構文情報を考慮する機械翻訳手法である統語ベース翻訳では, 構文解析器の精度が 翻訳精度に大きな影響を与えることが知られている。また，構文解析の精度向上を 図る手法の一つとして, 構文解析器の出力を学習データとして用いる構文解析器の 自己学習が提案されている。しかし, 構文解析器が生成する構文木には誤りが存在 することから, 自動生成された構文木が常に精度向上に寄与するわけではない. そ こで本論文では，機械翻訳における自動評価尺度を用いて，このような誤った構文木を学習データから取り除き，自己学習の効果を向上させる手法を提案する．具体的には，解析された $n$-best 構文木それぞれを用いて統語ベース翻訳を行い，それぞ れの翻訳結果に対し, 自動評価尺度でリスコアリングする。この中で，良いスコア を持つ構文木を自己学習に使用することで, 構文構造はアノテーションされていな いが，対訳が存在するデータを用いて，構文解析・機械翻訳の精度を向上させるこ とができる，実験により，本手法で自己学習したモデルを用いることで，統語べー ス翻訳システムの翻訳精度が 2 つの言語対で有意に向上し, また構文解析自体の精度も有意に向上することが確認できた。

キーワード：機械翻訳, 構文解析, 自己学習
## Parser Self-Training for Syntax-Based Machine Translation

\author{
Makoto Morishita ${ }^{\dagger}$, Koichi Akabe ${ }^{\dagger}$, Yuto Hatakoshi ${ }^{\dagger}$, Graham Neubig ${ }^{\dagger}$, \\ Koichiro Yoshino $^{\dagger}$ and Satoshi NaKamura ${ }^{\dagger}$
}

In syntax-based machine translation, it is known that the accuracy of parsing greatly affects the translation accuracy. Self-training, which uses parser output as training data, is one method to improve the parser accuracy. However, because automatically generated parse trees often include errors, these parse trees do not always contribute to improving accuracy. In this paper, we propose a method for removing noisy incorrect parse trees from the training data to improve the effect of self-training by using automatic evaluation metrics of translations. Specifically, we perform syntax-based machine translation using $n$-best parse trees, then we re-scoring parse trees based on the automatic evaluation score of translations. By using the parse trees that have higher score among the candidates for self-training, we can improve parsing and machine translation accuracy by using parallel corpora that are not annotated syntax structure. In experiments, using higher score parse trees for self-training, we found

that our self-trained parsers significantly improve a state-of-the-art syntax-based machine translation system in two language pairs, and self-trained parsers significantly improve the accuracy of the parsing itself.

Key Words: Machine Translation, Syntax Parsing, Self-Training

## 1 はじめに

統計的機械翻訳 (Statistical Machine Translation, SMT) では, 翻訳モデルを用いてフレーズ 単位で翻訳を行い，並べ替えモデルを用いてそれらを正しい語順に並べ替えるフレーズベース 翻訳 (Phrase Based Machine Translation) (Koehn, Och, and Marcu 2003)，構文木の部分木を 翻訳に利用する統語べース翻訳 (Yamada and Knight 2001) などの翻訳手法が提案されている.一般的に，フレーズベース翻訳は英仏間のような語順が近い言語間では高い翻訳精度を達成で きるものの，日英間のような語順が大きく異なる言語間では翻訳精度は十分でない.このよう な語順が大きく異なる言語対においては，統語べース翻訳の方がフレーズベース翻訳と比べて 高い翻訳精度を達成できることが多い.

統語ベース翻訳の中でも，原言語側の構文情報を用いる Tree-to-String (T2S) 翻訳 (Liu, Liu, and Lin 2006)は，高い翻訳精度と高速な翻訳速度を両立できる手法として知られている。たた し, T2S 翻訳は翻訳に際して原言語の構文解析結果を利用するため, 翻訳精度は構文解析器の 精度に大きく依存する (Neubig and Duh 2014).この問題を改善する手法の一つとして, 複数 の構文木候補の集合である構文森をデコード時に利用する Forest-to-String (F2S) 翻訳 (Mi and Huang 2008) が挙げられる。しかし，F2S 翻訳も翻訳精度は構文森を作成した構文解析器の精度に大きく依存し, 構文解析器の精度向上が課題となる (Neubig and Duh 2014).

構文解析器の精度を向上させる手法の一つとして, 構文解析器の自己学習が提案されている (McClosky, Charniak, and Johnson 2006). 自己学習では, アノテーションされていない文を既存のモデルを使って構文解析し，自動生成された構文木を学習データとして利用する。これに より，構文解析器は自己学習に使われたデータに対して自動的に適応し, 語彙や文法構造の対応範囲が広がり, 解析精度が向上する。しかし, 自動生成された構文木は多くの誤りを含み, そ れらが学習データのノイズとなることで自己学習の効果を低減させてしまうという問題が存在 する。

Katz-Brown $ら$ (Katz-Brown, Petrov, McDonald, Och, Talbot, Ichikawa, Seno, and Kazawa 2011) は構文解析器の自己学習をフレーズベース翻訳のための事前並べ替えに適用する手法を 提案している。フレーズベース翻訳のための事前並べ替えとは，原言語文の単語を目的言語の 語順に近くなるように並べ替えることによって，機械翻訳の精度を向上させる手法である。こ の手法では, 構文解析器を用いて複数の構文木候補を出力し, この構文木候補を用いて事前並べ
替えを行う，その後，並べ替え結果を人手で作成された正解並べ替えデータと比較することに よって, 各出力にスコアを割り振る。これらの並べ替え結果のスコアを基に, 構文木候補の中 から最も高いスコアを獲得した構文木を選択し，この構文木を自己学習に使用する。このよう に，学習に用いるデータを選択し，自己学習を行う手法を標的自己学習 (Targeted Self-Training) という．Katz-Brown らの手法では，正解並べ替えデー夕を用いて，自己学習に使用する構文木 を選択することで，誤った並べ替えを行う構文木を取り除くことができ，学習データのノイズ を減らすことができる。また, Liuら (Liu, Li, Li, and Zhou 2012) は，単語アライメントを利用して構文解析器の標的自己学習を行う手法を提案している。一般に, 構文木と単語アライメ ントの一貫性が取れている場合，その構文木は正確な可能性が高い。そのため，この一貫性を 基準として構文木を選択し，それらを用いて構文解析器を学習することでより精度が向上する ことが考えられる。

以上の先行研究を基に，本論文では，機械翻訳の自動評価尺度を用いた統語べース翻訳のた めの構文解析器の標的自己学習手法を提案する. 提案手法は, 構文解析器が出力した構文木を 基に統語べース翻訳を行い，その翻訳結果を機械翻訳の自動評価尺度を用いて評価し，この評価値を基にデータを選択し構文解析器の自己学習を行う，統語ベース翻訳では，誤った構文木 が与えられた場合, 翻訳結果も誤りとなる可能性が高く, 翻訳結果を評価することで間接的に 構文木の精度を評価することができる，以上に加え，提案手法は大量の対訳コーパスから自己学習に適した文のみを選択し学習を行うことで，自己学習時のノイズを減らす効果がある.

Katz-Brown らの手法と比較して，提案手法は事前並べ替えだけでなく統語べース翻訳にも使用可能なほか，機械翻訳の自動評価尺度に基づいてデータの選択を行うため，対訳以外の人手 で作成された正解データを必要としないという利点がある。これにより，既存の対訳コーパス が構文解析器の標的自己学習用学習データとして使用可能になり, 構文解析器の精度や F2S 翻訳の精度を幅広い分野で向上させることができる。また, 既に多く存在する無償で利用可能な 対訳コーパスを使用した場合，本手法におけるデータ作成コストはかからない．さらに，Liu ら の手法とは異なり，翻訳器を直接利用することができる利点もある。このため，アライメント 情報を通して間接的に翻訳結果への影響を計測する Liuらの手法に比べて, 直接的に翻訳結果 への影響を構文木選択の段階で考慮できる.

実験により，提案手法で学習した構文解析器を用いることで，F2S 翻訳システムの精度向上 と, 構文解析器自体の精度向上が確認できた¹.

## 2 Tree-to-String 翻訳

SMT では, 原言語文 $\boldsymbol{f}$ が与えられた時に, 目的言語文 $\boldsymbol{e}$ へと翻訳される確率 $\operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f})$ を最大化する $\hat{e}$ を推定する問題を考える。

$
\hat{\boldsymbol{e}}:=\underset{\boldsymbol{e}}{\operatorname{argmax}} \operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f})
$

様々な手法が提案されている SMT の中でも, T2S 翻訳は原言語文の構文木 $T_{\boldsymbol{f}}$ を使用するこ とで，原言語文に対する解釈の曖昧さを低減し，原言語と目的言語の文法上の関係をルールと して表現することで，より精度の高い翻訳を実現する。T2S 翻訳は下記のように定式化される。

$
\begin{aligned}
\hat{\boldsymbol{e}} & :=\underset{\boldsymbol{e}}{\operatorname{argmax}} \operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f}) \\
& =\underset{\boldsymbol{e}}{\operatorname{argmax}} \sum_{T_{\boldsymbol{f}}} \operatorname{Pr}\left(\boldsymbol{e} \mid \boldsymbol{f}, T_{\boldsymbol{f}}\right) \operatorname{Pr}\left(T_{\boldsymbol{f}} \mid \boldsymbol{f}\right) \\
& \simeq \underset{\boldsymbol{e}}{\operatorname{argmax}} \sum_{T_{\boldsymbol{f}}} \operatorname{Pr}\left(\boldsymbol{e} \mid T_{\boldsymbol{f}}\right) \operatorname{Pr}\left(T_{\boldsymbol{f}} \mid \boldsymbol{f}\right) \\
& \simeq \underset{\boldsymbol{e}}{\operatorname{argmax}} \operatorname{Pr}\left(\boldsymbol{e} \mid \hat{T}_{\boldsymbol{f}}\right)
\end{aligned}
$

ただし， $\hat{T}_{f}$ は構文木の候補の中で, 最も確率が高い構文木であり, 下記の式で表される.

$
\hat{T}_{\boldsymbol{f}}=\underset{T_{\boldsymbol{f}}}{\operatorname{argmax}} \operatorname{Pr}\left(T_{\boldsymbol{f}} \mid \boldsymbol{f}\right)
$

図 1 に示すように, T2S 翻訳 2 で用いられる翻訳ルールは, 置き換え可能な変数を含む原言語文構文木の部分木と，目的言語文単語列の組で構成される。図 1 の例では， $x_{0}, x_{1}$ が置き換え 可能な変数である.これらの変数には, 他のルールを適用することにより翻訳結果が挿入され,変数を含まない出力文となる。訳出の際は, 翻訳ルール自体の適用確率や言語モデル, その他

図 1 日英 $\mathrm{T} 2 \mathrm{~S}$ 翻訳における翻訳ルールの例

の特徴などを考慮して最も事後確率が高い翻訳結果を求める。また，ビーム探索などを用いる ことで確率の高い $n$ 個の翻訳結果を出力することが可能であり，これを $n$-best 訳という.

$\mathrm{T} 2 \mathrm{~S}$ 翻訳では，原言語文の構文木を考慮することで，語順が大きく異なる言語対の翻訳がフ レーズベース翻訳と比べて正確になる場合が多い。しかし， T2S 翻訳は翻訳精度が構文解析器 の精度に大きく依存するという欠点がある。この欠点を改善するために，複数の構文木を構文森と呼ばれる超グラフ (Hyper-Graph) の構造で保持し，複数の構文木を同時に翻訳に使用する F2S 翻訳 (Mi and Huang 2008) が提案されている。この場合, 翻訳器は複数ある構文木の候補か ら構文木を選択することができ，翻訳精度の改善が期待できる (Zhang and Chiang 2012). F2S 翻訳は $\boldsymbol{e} T_{\boldsymbol{f}}$ の同時確率の最大化として下記のように定式化される.

$
\begin{aligned}
\left.\langle\hat{\boldsymbol{e}}, \hat{T}_{\boldsymbol{f}}\right.\rangle & :=\underset{\left.\langle\boldsymbol{e}, T_{\boldsymbol{f}}\right.\rangle}{\operatorname{argmax}} \operatorname{Pr}\left(\boldsymbol{e}, T_{\boldsymbol{f}} \mid \boldsymbol{f}\right) \\
& \simeq \underset{\left.\langle\boldsymbol{e}, T_{\boldsymbol{f}}\right.\rangle}{\operatorname{argmax}} \operatorname{Pr}\left(\boldsymbol{e} \mid T_{\boldsymbol{f}}\right) \operatorname{Pr}\left(T_{\boldsymbol{f}} \mid \boldsymbol{f}\right)
\end{aligned}
$

しかし, 1節で述べたとおり F 2 S 翻訳であっても翻訳精度は構文森を生成する構文解析器の 精度に大きく依存する。 そこで, この問題を解決するため, 自己学習によって構文解析器の精度を向上する手法について説明する。

## 3 構文解析の自己学習

## 3.1 自己学習の概要

構文解析器の自己学習とは, 既存のモデルで学習した構文解析器が解析・生成した構文木を 学習データとして用いることで, 構文解析器を再学習する手法である。言い換えると, 自己学習対象の各文に対して, 式 (6) に基づいて確率が最も高い構文木 $\hat{T}_{\boldsymbol{f}}$ を求め, この構文木を構文解析器の再学習に用いる. この手法は追加のアノテーションを必要としないため, 構文解析器 の学習データ量が大幅に増え, 解析精度が向上する.

Charniak は, Wall Street Journal (WSJ) コーパス (Marcus, Marcinkiewicz, and Santorini 1993) によって学習された確率文脈自由文法 (Probabilistic Context-Free Grammar, PCFG) モデルを 用いた構文解析器では，自己学習の効果は得られなかったと報告している (Charniak 1997)。一方で, 潜在クラスを用いることで構文解析の精度を向上させた PCFG-LA (PCFG with Latent Annotations) モデルは自己学習により大幅に解析精度が向上することが知られている (Huang and Harper 2009). これは, PCFG-LA モデルを用いることで自動生成された構文木の精度が比較的高くなることに加え, PCFG-LA モデルが通常の PCFG モデルと比べて多くのパラメータ を持つので，学習データが増加する恩恵が大きいことが理由として挙げられる．これらの先行研究を基にして, 本論文では PCFG-LA モデルを用いた構文解析器の自己学習を考える.

## 3.2 機械翻訳における構文解析器の自己学習と効果

## 3.2.1事前並べ替えのための標的自己学習

1 節でも述べたように, 構文解析器の自己学習により機械翻訳精度を改善した研究が存在す る. Katz-Brown らは，自己学習に使用する構文木を外部評価指標を用いて選択する手法を提案 し, これにより翻訳精度自体も向上したと報告している (Katz-Brown et al. 2011). この手法の 概要を図 2 に示す.この研究では, 構文解析器により複数の構文木候補を自動生成し, これら の候補を基にした事前並べ替えの結果が人手で作成した正解並べ替えデー夕に最も近いものを 選択し, 自己学習に使用する。これにより, 構文木の候補からより正しい構文木を選択するこ とができるため, 自己学習の効果が増すと報告されている. このように一定の基準を基に学習 データを選択し，自己学習を行う手法を標的自己学習 (Targeted Self-Training) という.

事前並べ替えでは，構文木 $T_{\boldsymbol{f}}$ に基づいて，並べ替えられた原言語文 $f^{\prime}$ を生成する並べ替え 関数 $\operatorname{reord}\left(T_{f}\right)$ を定義し, システムによる並べ替えを正解並べ替え $f^{\prime *}$ と比較するスコア関数 $\operatorname{score}\left(\boldsymbol{f}^{\prime *}, \boldsymbol{f}^{\prime}\right)$ で評価する。学習に使われる構文木 $\bar{T}_{\boldsymbol{f}}$ は，構文木の候補 $\boldsymbol{T}_{\boldsymbol{f}}$ から以下の式によっ て選択される。

$
\bar{T}_{\boldsymbol{f}}=\underset{T_{\boldsymbol{f}} \in \boldsymbol{T}_{\boldsymbol{f}}}{\operatorname{argmax}} \operatorname{score}\left(\boldsymbol{f}^{\prime *}, \operatorname{reord}\left(T_{\boldsymbol{f}}\right)\right)
$

本論文ではこれらの先行研究を基に, 統語べース翻訳のための構文解析器の標的自己学習手法を提案する，4節以降において，提案手法の詳細を示し，実験により提案手法の効果を検証 する。

## 3.2.2フロンティアノードを利用した構文解析器の標的自己学習

統語ベース翻訳を利用して構文解析器の標的自己学習を行う手法として, フロンティアノー ド (Frontier Node)を利用する手法が提案されている (Liu et al. 2012).

図 2 事前並べ替えのための標的自己学習手法
一般に, 構文木と単語アライメントの一貫性が取れている場合, その構文木は正確な可能性が 高い. この一貫性を評価する指標として，フロンティアノードの数が挙げられる．フロンティ アノードとは，対象ノードから翻訳ルールを抽出できるノードのことを指す。例として，5つ のフロンティアノードを持つ構文木を図 3 に示す. 図中の灰色で示されたノードがフロンティ アノードである。各ノード中の数字は上から順にスパン (span), 補完スパン (complement span) を示している ${ }^{3}$. ノード $\mathrm{N}$ のスパンとは，ノード $\mathrm{N}$ から到達可能な全ての目的言語単語の最小連続単語インデックスの集合であり，ノード $\mathrm{N}$ の補完スパンとは， $\mathrm{N}$ おび $\mathrm{N}$ の子孫ノード以外のノードに対応する, 目的言語単語インデックスの和集合とする ${ }^{4}$. フロンティアノードは, スパンと補完スパンが重複しておらず，かつスパンが nullでないという条件を満たすノードの ことを指す (Galley et al. 2006). フロンティアノードの数が多いほど，構文木と単語アライメ ントの一貫性が取れているといえる.

図 35 つのフロンティアノードを含む構文木の例

3 スパンおよび補完スパンは, 文献によってはアライメントスパン (alignment span), 補完アライメントスパン (complement alignment span) とも称される.

4 フロンティアノードについての詳細は (Galley, Graehl, Knight, Marcu, DeNeefe, Wang, and Thayer 2006)を参照.
例えば, 「助詞の P」のスパンは 3-5であり, “of this restaurant"に対応する。また, 補完ス パンは 1-2,4であり, “the speciality", “this”に対応する. この場合, $3-5$ のスパンと, 4 の補完 スパンが部分的に重複しているためフロンティアノードではない.

Liu らの手法では, 構文解析結果の 5 -best の中からフロンティアノードの数が最も多くなる構文木を選択し，選ばれた構文木を自己学習に使用する。これにより，5-best 中で最も精度が高 いと考えられる構文木を選択することができ，従来の自己学習手法よりも効果が高くなる。こ の手法で自己学習した構文解析器により，統語ベース翻訳の翻訳精度が有意に改善されたと報告されている。本論文では，Liuらの手法も比較対象として実験を行う ${ }^{5}$.

## 4 統語ベース翻訳のための構文解析器の標的自己学習

標的自己学習において, どのように自己学習用のデータを選択するかは最も重要な点である.本論文では $\mathrm{F} 2 \mathrm{~S}$ 翻訳の精度を向上させるために, 自己学習に使用する構文木および文の選択法 をいくつか提案する。構文木の選択法を用いることで, 一つの文の構文木候補から精度向上に つながる構文木を選択し，文の選択法を用いることで，コーパス全体から精度向上に有効な文 のみを選択する。以降ではそれぞれの手法について説明する。

## 4.1 構文木の選択法

3.2.1 節で述べたように, Katz-Brown らによって提案された標的自己学習手法 (Katz-Brown et al. 2011) では, 自動生成された構文木と人手で作成した正解並べ替えデー夕を比較すること により， $n$-best 候補の中から最も評価値の高い構文木を選択する。しかし，人手で正解並べ替 えデータを作成するには大きなコストがかかるため, この手法のために大規模なデータセット を作成することは現実的でない。一方で，統計的機械翻訳は対訳コーパスの存在を前提として おり，対訳デー夕は容易に入手できることが多い。そこで，この問題を解決するために，対訳 コーパスのみを使用して構文木を選択する方法を 2 つ提案する。一つは, 翻訳器によって選択 された 1-best 訳に使われた構文木を自己学習に使用する手法である（翻訳器 1-best）。もう一つ は, $n$-best 訳の中から, 最も参照訳に近い訳（Oracle 訳）を自動評価尺度により選択し, Oracle 訳に使われた構文木を自己学習に使用する手法である（自動評価尺度 1-best）.
^{5}$ Liu らは翻訳器が強制的に参照訳を出力する forced decoding を用いる手法も提案しているが, これを実現するた めに特殊なデコーダが必要であり，翻訳に用いるデコーダ自体に大幅な変更を加える必要がある．そのため，フロ ンティアノードに基づく手法や本研究の提案法に比べて実装が困難である。ゆえに，本論文ではフロンティアノー ドに基づく手法のみを比較対象とした。
}

## 4.1.1 翻訳器 1-best

2 節でも述べたように, F 2 S 翻訳では, 構文森から翻訳確率が高くなる構文木を翻訳器が選択 する. 先行研究では, 翻訳ルールや言語モデルの確率を使用することで, F $2 \mathrm{~S}$ 翻訳器は構文森か ら正しい構文木を選択する能力があることが報告されている (Zhang and Chiang 2012). 翻訳器 の事後確率を用いることで, 構文解析器だけでは考慮できない特徴を使用して構文木を選択す るため, F2S 翻訳器が出力した 1-best 訳に使われた構文木は, 構文解析器が出力した 1-best 構文木よりも自己学習に効果的たと考えられる。この際の自己学習に使われる構文木は式 (7)の $\hat{T}_{f}$ となる.

## 4.1.2 自動評価尺度 1-best

翻訳の際, 翻訳器は複数の翻訳候補の中から, 最も翻訳確率が高い訳を 1-best 訳として出力 する。しかし, 実際には翻訳候補である $n$-best 訳の方が, 翻訳器が出力した 1 -best 訳よりも翻訳精度が高いと考えられる場合が存在する。そこで本論文では, 翻訳候補の集合 $\boldsymbol{E}$ の中から最 も参照訳 $\boldsymbol{e}^{*}$ に近い訳を Oracle 訳 $\overline{\boldsymbol{e}}$ と定義し， $\overline{\boldsymbol{e}}$ に使われた構文木を自己学習に使用する。翻訳候補 $\boldsymbol{e}$ と参照訳 $\boldsymbol{e}^{*}$ の類似度を表す評価関数 $\operatorname{score}(\cdot)$ を用いて, Oracle 訳 $\overline{\boldsymbol{e}}$ は下記の通り表さ れる。

$
\bar{e}=\underset{\boldsymbol{e} \in \boldsymbol{E}}{\operatorname{argmax}} \operatorname{score}\left(\boldsymbol{e}^{*}, \boldsymbol{e}\right)
$

## 4.2 文の選択法

4.1 節では, 1 つの対訳文の $n$-best 訳から学習に有用だと考えられる構文木を選択する方法に ついて述べた. しかし, 正しい訳が $n$-best 訳の中に含まれていない場合もあり, これらの例を 学習に用いること自体が構文解析器の精度低下を招く可能性がある. そのため, $n$-best 訳の中 に良い訳が含まれていない場合その文を削除するように，学習データ全体から自己学習に用い る文を選択する手法を提案する，具体的には，翻訳文の自動評価値が一定の閾値を超えた文の みを学習に使用する（自動評価値の閾値）また，学習デー夕全体から翻訳精度を改善すると考 えられる構文木を選択する手法も提案する。具体的には, 翻訳器 1-best 訳と Oracle 訳の自動評価値の差が大きい文のみを使用する (自動評価値の差). 従来の標的自己学習手法では, 構文木 の選択手法は提案されていたものの, 文の選択手法については検討されていなかった. 本論文 では,この文の選択手法についても検討を進める。

文の選択法を使用する場合は, 構文木の選択法として, 自動評価尺度 1-best を使用する。自動評価尺度 1-best を用いて構文木を選択する手法と, 文の選択法を組み合わせた提案手法を図 にすると, 図4のようになる. 図のように原言語文を構文解析器に入力し, 出力された構文森を 翻訳器に入力する。これにより $n$-best 訳と, 翻訳に使われた構文木のペアが出力される。その

図 4 提案手法の概要

後，参照訳を基に自動評価尺度を用いて $n$-best 訳をリスコアリングする。これを基に学習デー 夕を選択し，自己学習を行う。

## 4.2.1 自動評価値の閾値

本節では，学習のノイズとなる誤った構文木を極力除外するために，自動評価値を基にデー 夕を選択する手法を提案する。

コーパスの中には，翻訳器が正しく翻訳することができず，自動評価値が低くなってしまう 文が存在する。自動評価値が低くなる原因としては以下のような理由が考えられる.
- 誤った構文木が翻訳に使用された.

・ 翻訳モデルが原言語文の語彙やフレーズに対応できていない.
- 自動評価値を計算する際に用いられる参照訳が，意訳となっていたり，誤っていたりす るため, 翻訳器が参照訳に近い訳を出力することができない.

このような場合は， たとえ Oracle 訳であっても自動評価値は低くなってしまうことがある. これらのデータは， F 2 S 翻訳器が正しい構文木を選択することができていない場合や, 自動評価尺度が実際の翻訳品質との相関が低い場合があるため, Oracle 訳で使われた構文木であって も誤った構文情報を持つ可能性がある。そのため, これらのデータを学習データから取り除く ことで，学習データ中のノイズが減ると考えられる。そこで，より正確な構文木のみを使用す るために, Oracle 訳の自動評価値が一定の閾値を超えた文のみ学習に使用する手法を提案する.自己学習に使用される構文木 $T_{f^{(i)}}$ の集合は下記の式のように定義される. ここで, $t$ は閾値, $\boldsymbol{e}^{*(i)}$ は文 $i$ の参照訳, $\overline{\boldsymbol{e}}^{(i)}$ は文 $i$ の Oracle 訳, $\overline{\boldsymbol{E}}$ は Oracle 訳全体の集合, $\operatorname{score}(e)$ は訳の自動評価関数を示す.

$
\left.\{T_{f^{(i)}} \mid \operatorname{score}\left(\boldsymbol{e}^{*(i)}, \overline{\boldsymbol{e}}^{(i)}\right) \geq t, \overline{\boldsymbol{e}}^{(i)} \in \overline{\boldsymbol{E}}\right.\}
$

## 4.2.2 自動評価値の差

本節では，翻訳結果を大きく改善すると考えられる構文木を中心に選択する手法を提案する. この際に着目した指標は, 翻訳器 1-best 訳と Oracle 訳の自動評価値の差である.

構文解析器により誤った構文木が高い確率を持った構文森が出力された場合, 翻訳器は誤っ た構文木を選択し，誤った翻訳を 1-best 訳として出力することが多い. 一方, Oracle 訳では構文森の中から正しい構文木が使われた可能性が高い. そのため, 翻訳器 1-best 訳と Oracle 訳の 自動評価值の差が大きい場合, Oracle 訳に使われた構文木を学習データとして使用することで,構文解析器が出力する確率が正しい値へ改善される可能性がある. これにより, 自己学習した 構文解析器を用いた翻訳システムは正しい訳を 1-best 訳として出力するようになり, 翻訳精度 が向上すると考えられる.

文を選択するために，翻訳器 1-best 訳 $\hat{\boldsymbol{e}}^{(i)}$ と Oracle 訳 $\overline{\boldsymbol{e}}^{(i)}$ の自動評価値の差を表す関数 $\operatorname{gain}\left(\overline{\boldsymbol{e}}^{(i)}, \hat{\boldsymbol{e}}^{(i)}\right)$ を定義し, 式 (11) と同様に, 自動評価値の差が大きい文の構文木を選択する. 自動評価値の差を表す関数 $\operatorname{gain}\left(\overline{\boldsymbol{e}}^{(i)}, \hat{\boldsymbol{e}}^{(i)}\right)$ は下記のように定義される.

$
\operatorname{gain}\left(\overline{\boldsymbol{e}}^{(i)}, \hat{\boldsymbol{e}}^{(i)}\right)=\operatorname{score}\left(\boldsymbol{e}^{*(i)}, \overline{\boldsymbol{e}}^{(i)}\right)-\operatorname{score}\left(\boldsymbol{e}^{*(i)}, \hat{\boldsymbol{e}}^{(i)}\right)
$

本手法ではこれに加えて, 学習に用いる文の長さの分布をコーパス全体と同様に保つため, Gascó ら (Gascó, Rocha, Sanchis-Trilles, Andrés-Ferrer, and Casacuberta 2012)によって提案さ れた下記の式を用いて, 文の長さに応じて選択数を調節する ${ }^{6}$. 以下の式では, $|e|$ は目的言語文 $\boldsymbol{e}$ の長さ, $|\boldsymbol{f}|$ は原言語文 $\boldsymbol{f}$ の長さ, $N_{c}(|\boldsymbol{e}|+|\boldsymbol{f}|)$ はコーパス全体で目的言語文, 原言語文の 長さの和が $|e|+|f|$ となる文の数, $N_{c}$ はコーパス全体の文数を表す.

$
p(|\boldsymbol{e}|+|\boldsymbol{f}|)=\frac{N_{c}(|\boldsymbol{e}|+|\boldsymbol{f}|)}{N_{c}}
$

$N_{t}$ を自己学習データ全体の文数とすると, 自己学習データの内, 目的言語文, 原言語文の長 さの和が $|\boldsymbol{e}|+|\boldsymbol{f}|$ となる文数 $N_{t}(|\boldsymbol{e}|+|\boldsymbol{f}|)$ は下記の式で表される.

$
N_{t}(|\boldsymbol{e}|+|\boldsymbol{f}|)=p(|\boldsymbol{e}|+|\boldsymbol{f}|) N_{t}
$

## 5 評価

## 5.1 実験設定

本論文では, 日本語の構文解析器を用いる日英・日中翻訳（それぞれ Ja-En, Ja-Zh と略す）を

対象に実験を行った，翻訳データとして，科学論文を抜粋した対訳コーパスである $\mathrm{ASPEC}^{7}$ を 用いた，ASPECに含まれる対訳文数を表 1 に示す 8 ，自己学習の効果を検証するためのべース ラインシステムとして，アジア言語間での翻訳ワークショップ Workshop on Asian Translation 2014 (WAT2014) (Nakazawa, Mino, Goto, Kurohashi, and Sumita 2014) において高い精度を示 した，Neubigのシステムを用いた $($ Neubig 2014)9․ デコーダには Travatar (Neubig 2013)を用 い，F2S 翻訳を行った。構文解析器には (Neubig and Duh 2014) で最も高い日英翻訳精度を実現 した PCFG-LA モデルに基づく Egret ${ }^{10}$ を用い，日本語係り受けコーパス (JDC) (Mori, Ogura, and Sasada 2014）（約 7,000 文）に対して Travatar の主辞ルールで係り受け構造を句構造に変換 ${ }^{11}$ しものを用いて学習したモデルを, ベースラインの構文解析器として使用した。構文森 は 100-best 構文木に存在する hyper-edge のみで構成し，その他については枝刈りした ${ }^{12}$. 機械翻訳の精度は BLEU (Papineni, Roukos, Ward, and Zhu 2002)と RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010)の 2 つの自動評価尺度, Acceptability (Goto, Lu, Chow, Sumita, and Tsou 2011) という人手評価尺度を用いて評価した。また，文単位の機械翻訳精度は BLEU+1 (Lin and Och 2004) を用いて評価した。自己学習に用いるデー夕は既存のモデルで使用してい る JDC に加え，ASPECのトレーニングデータの中から選択されたものとした．自己学習した モデルは，テスト時にDev セット，Test セットを構文解析する際のみに使用し，Train セット については JDC で学習した既存のモデルで行った. Train セットについても自己学習したモデ ルで構文解析することにより, さらなる精度向上の可能性はあるが，翻訳器を学習し直すには 多くの計算量が必要になってしまう，そのため，本実験では Dev セット，Test セットについて のみ自己学習したモデルで構文解析を行った．実験で得られた結果は，ブートストラップ・リ サンプリング法 (Koehn 2004) により統計的有意差を検証した。次節では，下記の手法を比較評価する。

表 1 ASPEC に含まれる対訳文数

 / / /$ code.google.com/p/egret-parser

11 https://github.com/neubig/travatar/blob/master/script/tree/ja-adjust-dep.pl https://github.com/neubig/travatar/blob/master/script/tree/ja-dep2cfg.pl

12 Egret は極希に構文解析に失敗し, 構文木を出力しない場合がある。そのため, 構文解析に失敗した文は学習デー タから取り除いた。
}

## 構文木の選択法

## Parser 1-best

式 (6) のように, 構文解析器が出力した 1-best 構文木を自己学習に用いる.

## Frontier Node 1-best

3.2.2 節のように, 既存の構文解析器が出力した 5-best 構文木の中から, フロン ティアノードの数が最も多くなる構文木を学習に使用する.

## MT 1-best

4.1.1 節のように, 構文森を翻訳器に入力し, 1-best 訳に使われた構文木を自己学習に使用する。

## BLEU+1 1-best

4.1.2 節のように, 構文森を翻訳器に入力し, 翻訳器が出力した 500 -best 訳の中か ら, 最も BLEU+1 スコアが高い訳に使われた構文木を選択し, 自己学習に用い る.この際, 出力される $n$-best 訳は全て重複が無い文となるようにする.

## 文の選択法

## Random

全トレーニングデータからランダムに文を選択する。この際ランダムに選択され る文は手法毎に異ならず，同一になるようにする ${ }^{13}$.

## $\mathrm{BLEU+\mathbf{1} \geq t$}

4.2.1 節のように, Oracle 訳とその構文木の中でも, 訳の BLEU +1 スコアが閾値 $t$ を超えた文のみを自己学習に使用する.

## BLEU+1 Gain

4.2.2 節のように, Oracle 訳とその構文木の中でも, 翻訳器 1-best 訳と Oracle 訳

の BLEU+1 スコアの差が大きい文のみを自己学習に使用する。この手法では, 文 の長さの分布を式 (13)，(14) に従って調節する.

なお文をランダムに抽出する場合は，日英翻訳では全トレーニングデータの $1 / 20$, 日中翻訳 では $1 / 10$ を抽出した，また，他の手法とほぼ同様の文数となるように，BLEU+1 Gainに関し ては上位 10 万文を抽出した。

以下, 5.2 節では, 自己学習した構文解析モデルを使用して翻訳を行った際の翻訳器の精度評価, 5.3 節では, 構文解析器の精度評価を行う.

## 5.2 翻訳器の精度評価

各手法で自己学習した構文解析器を用いて, 翻訳精度の変化を確認する５.2.1 節では自動評価尺度を用いた評価結果を示し，5.2.2 節で人手評価による評価結果を示す。また，5.2.3 節では 提案手法により改善された翻訳例を示し，どのような場合に提案手法が有効かを検討する.

## 5.2.1自動評価尺度による翻訳精度の評価

日英・日中翻訳の実験結果を表 2 に示す。表中の短剣符は，提案手法の翻訳精度がベースラ インシステムと比較して統計的に有意に高いことを示す $(\dagger: p<0.05, \ddagger: p<0.01)$. また, 表中 の星印は, 提案手法の翻訳精度が Liu らの手法（手法 (c)）と比較して統計的に有意に高いこと を示す $(\star: p<0.05, \star \star: p<0.01)$. 表 2 中の (b), (c), (d), (e) の手法で自己学習に使用してい る文は, Egretが構文解析に失敗した場合を除いて同一である ${ }^{14}$ 。なお，表中の “文数”は自己学習に使用した文数を示し, 既存モデルで使用している JDC の文数は含まない. 本実験では, BLEU+1 を文や構文木選択を行う際の指標としたため, 以降では, 主に BLEU スコアに着目し て分析を行う。

実験により，以下の 3 つの仮説について検証を行った。
- 構文木の選択法を用いた標的自己学習（4.1 節）は翻訳精度向上に効果があるのか
- 文の選択法（4.2 節）は学習データ中のノイズを減らし, 精度を向上させる効果がある のか

・ 標的自己学習したモデルは目的言語に依存するのか，多言語に渡って使用できるのか

表 2 日英・日中翻訳の実験結果

構文木の選択法による効果 : Parser 1-best の構文木を自己学習に使用する手法では，日英，日中翻訳ともに BLEU スコアの向上は見られなかった（表 $2(\mathrm{~b})$ ). Frontier Node 1-best を用いた 場合, Parser 1-best を用いた手法と比較して多少の精度向上は見られたものの, ベースライン との有意な差は見られなかった（表 $2(\mathrm{c})$ ).また, 日英翻訳で MT 1-best を自己学習に用いた 手法では，Parser 1-bestを用いた手法と比較すると精度は向上したもののべースラインシステ 么と比較すると精度は向上しなかった（表 2 (d)）。日中翻訳では，MT 1-best を使用した手法 は Parser 1-best を用いた手法とほぼ同じ結果となった（表 $2(\mathrm{~d})$ )。この際に自己学習に用いら れた構文木を確認したところ，正しい構文木もあるが誤った構文木も散見され，精度向上が確認できなかったのは誤った構文木が学習の妨げになったからたと考えられる。

次に BLEU+1 1-best を用いた手法では, Oracle 訳に使われた構文木が選択されることによ り，BLEU スコアが日英，日中翻訳ともに向上していることがわかる（表 $2(\mathrm{e})$ ). 特に，日中翻訳についてはべースラインより有意に精度が向上している。図 5 に，この手法で自己学習に使 われた Oracle 訳の BLEU+1 スコア分布を示す. 横軸の値 $x$ は， $x$ 以上 $x+0.1$ 未満の BLEU +1 を持つ文を表しており，縦軸が該当する文の数である。この図からもわかるように，Oracle 訳 であっても BLEU+1 スコアが低い文は多く存在する。このため， 4.2 節の文選択を実施した.

文の選択法による効果 : 次に, BLEU +1 スコアの閥値を用いた文選択手法の効果を確認する.結果から，日英翻訳，日中翻訳ともに，この手法は効果的であることがわかった（表 $2(\mathrm{f}),(\mathrm{g})$, (h)）．Liuらの手法（表 2 (c)）と比較を行った場合でも，提案手法の一部では有意に高い精度 が得られている。この結果から，自己学習を行う際には，精度が低いと思われる構文木を極力取り除き，精度が高いと思われる構文木のみを学習データとして使用することが重要であると 言える。さらに，翻訳器 1-best 訳と Oracle 訳で BLEU+1 スコアの差が大きい文のみを使用す る手法でも，BLEU+1 スコアの閾値を用いた手法と同程度の精度向上を達成することができた (表 2 (i)).

図 5 表 2 手法 (e) の BLEU+1 スコア分布
目的言語への依存性 : 最後に, 日英対訳文で自己学習し, 日英翻訳の精度改善に貢献した構文解析器のモデルを, 他の言語対である日中翻訳に使用した場合の翻訳精度の変化を検証した。興味深いことに，この場合でも直接日中対訳文で自己学習したモデルとほぼ同程度の翻訳精度 の改善が見られた（表 $2(\mathrm{j})$ ).これにより，学習されたモデルの目的言語に対する依存性はさほ ど強くなく複数の目的言語のデータを合わせて学習データとすることで, さらに効果的な自己学習が行える可能性があることが示唆された.

## 5.2.2 人手による翻訳精度の評価

提案手法により BLEU スコアは改善されたが, 自動評価尺度は完璧ではなく, 実際にどの程度の質で翻訳できたか明確に判断することは難しい. そのため, 人手評価による翻訳精度の評価を行い，実際にどの程度翻訳の質が改善されたかを確認した，評価基準は，意味伝達と訳の 自然性を両方加味する Acceptability (Goto et al. 2011) とした. 本研究と関わりが無いプロの 翻訳者に各翻訳文に対し評価基準を基に 5 段階のスコアをつけてもらい,これらの平均を評価値とする。評価は日英翻訳システムを対象とし，Test セットからランダムで抽出した 200 文に ついて評価を行った。

各システムの評価結果を表 3 に示す。既存の自己学習手法で学習したモデルでは, ベースラ インシステムと比較して有意な翻訳精度向上は確認できなかった（表 $3(\mathrm{~b})$ ). 一方, 提案手法 で自己学習したモデルでは，ベースラインシステムより有意に良い翻訳精度が実現できており， かつ既存の自己学習手法と比較しても $p<0.1$ 水準ではあるが精度が向上している（表 3 (c)). このように, 自動評価尺度だでなく, 人手評価でも提案手法で自己学習したモデルを用いる ことにより，有意に翻訳精度が向上することが確認できた。

## 5.2 .3 自己学習による訳出改善の例

構文解析器の自己学習によって改善された日英訳の例を表 4 に示す. また, 表 4 の訳出の際 に使用された構文木を図 6 に示す.この文では, 「C 投与群」と「R の活動」という名詞句が含 まれている。ベースラインシステムの構文木は, これらの名詞句を正しく解析できておらず, この構文解析誤りが翻訳結果にも悪影響を与えてしまっている。一方, 提案手法で自己学習し たシステムでは，これらの名詞句を正しく解析できており，翻訳も正しく行われている．これ

表 3 人手による日英翻訳精度の評価

表 4 日英翻訳における訳出改善例

(a) 自己学習前の構文木の例

動詞 $P$

(b) 自己学習後の構文木の例

図 6 自己学習により構文解析の精度が改善した例

は McClosky ら (McClosky, Charniak, and Johnson 2008) が報告していたように, 既存モデル で使用している JDC で既知の単語が，ASPEC で異なる文脈で現れた際に解析精度が向上した 結果であると考えられる.
表 5 自己学習した日本語構文解析器の精度

## 5.3 構文解析器の精度評価

次に, 提案手法により自己学習した構文解析器自体の精度を測定した，ASPEC に含まれる日英対訳データの内，Test セット中の 100 文を人手でアノテーションを行い, 正解構文木を作成 した. その後, 各構文解析器の精度を Evalb ${ }^{15}$ 用いて測定した. 評価には, 再現率, 適合率, およびそれぞれの調和平均である $\mathrm{F}$ 値を用いる。表 5 に構文解析器の精度評価結果を示す.

表からもわかるように, Parser 1-best を用いて自己学習したモデルはベースラインシステム と比較して $p<0.05$ 水準で有意に精度が向上している. これに加えて, Frontier Node 1-best を 用いた手法や提案手法で自己学習したモデルは $p<0.01$ 水準で有意に精度が向上している. こ れらの結果から, 提案手法は機械翻訳の精度だけでなく, 構文解析器自体の精度もより向上さ せることがわかった. よって, 本手法は構文解析器を分野適応させる場合においても有効であ るといえる。

## 5.4 翻訳器の精度が低い場合の自己学習効果

提案手法では, 翻訳結果を用いて間接的に構文木を評価し構文解析器を改良する。そのため,使用する翻訳器の精度によっては十分な学習効果が得られない可能性がある. 本節では, 精度 が低い翻訳器を使用し構文解析器の自己学習を行い, 翻訳精度と自己学習効果の依存性につい て検討する。なお本実験では日英翻訳のみを対象として実験を行った。

## 5.4.1 実験設定

200 万文使用していた学習データを 25 万文に制限し, 低精度の翻訳器を新たに作成した。使用した対訳文数，および翻訳精度を表 6 に示す。学習データが減ったことにより，以前のシス テムと比較して BLEU, RIBES ともに低下している。これ以外の条件は全て 5.1 節と同一であ る。なお, 5.2 節の実験結果との比較のために, 自己学習後の翻訳精度評価には 200 万文を使用 して学習したシステムを用いる。

表 6 使用した対訳文数と翻訳精度

表 7 日英翻訳の実験結果（低精度の翻訳器を用いて自己学習を行った場合）

表 8 自己学習した日本語構文解析器の精度（低精度の翻訳器を用いて自己学習を行った場合）

## 5.4.2 実験結果，考察

低精度翻訳器を自己学習時に使用し, 自己学習した構文解析器を用いて翻訳器を構築しその 精度を測定した。この実験結果を表 7 に示す.また, 構文解析器自体の精度も 5.3 節と同様に 測定した。，測定結果を表 8 に示す.

結果は, 低精度翻訳器を使用した場合でも, 以前の高精度翻訳器を使用して自己学習を行っ た場合（表 7 (b)）と遜色ない自己学習効果が得られた。構文解析器の精度自体も，高精度翻訳器を用いた場合（表 $8(\mathrm{~b})$ ) と大きな差は無いことがわかった. これらの結果から, 提案手法は 既存翻訳器の翻訳精度に依存しないことが示された。これは, 翻訳器が出した 500-best の中か ら Oracle 訳を選択しており，翻訳器が低精度の場合でも 500-best の中にはある程度誤りが少な い訳が含まれているため，比較的正確な構文木が選択できたからだと考えられる。そのため， $n$-best の $n$ を変えるとこの結果は多少変化する可能性がある.

## 5.5 自己学習を繰り返し行った場合の効果

構文解析器の自己学習では, 1 回自己学習を行った構文解析器をベースラインとして使用し 2 回目の自己学習を行うことで, さらなる精度向上が期待できる. 本節では, 自己学習を繰り
表 9 日英翻訳の実験結果（2 回の繰り返し学習）

表 10 自己学習した日本語構文解析器の精度（2 回の繰り返し学習）

返し行うことで，翻訳精度および構文解析精度にどのような影響が及ぶかを検証する。なお本実験では日英翻訳のみを対象として実験を行った。

本実験では, 1 回自己学習を行ったものの構文解析モデルとして, 表 2 中の (g)のモデルを用 いる。その他の実験設定は 5.1 節と同一である.

自己学習を 2 回行った構文解析モデルを使用して翻訳精度を測定した結果を表 9 に示す。ま た, 構文解析器の精度自体も 5.3 節と同様に測定した. 測定結果を表 10 に示す.

実験より，2 回の繰り返し学習を行っても， 1 度のみの場合と比較して翻訳精度, 構文解析精度ともに向上は見られなかった。これは, 学習時に 500-best の中から Oracle 訳を選択している ため, 1 度目でも既にある程度精度の高い構文木が選ばれていたことが原因として考えられる。 また，スコアを基に学習データを制限しているため，2度目の学習時に改善された構文木であっ ても，翻訳結果がスコアの制限を満たさず学習データとして使われなかった可能性がある。そ のため, 本手法では繰り返し学習の効果は薄いと考えられる。

## 6 おわりに

本論文では，統語べース翻訳で用いられる構文解析器の標的自己学習手法を提案し，これに より F 2 S 翻訳および構文解析の精度が向上することを検証した。具体的には，日英，日中翻訳 を対象に実験を行い，本手法で標的自己学習した構文解析器を用いることで，ベースラインシス テムと比較して有意に高精度な翻訳結果を得られるようになったことが確認できた。また，日
英で自己学習した構文解析器のモデルを, 日中の翻訳の際に用いても同様に精度が向上するこ とが確認できた。日英翻訳については訳の人手評価も実施し，人手評価においても有意に翻訳精度の改善が見られた。さらに，提案手法では翻訳精度だけでなく，構文解析の精度自体も向上することを実験により検証した。また，既存翻訳器の精度が十分でない場合でもこの手法は 適用可能であることを確認した。本手法の繰り返し適用に関する検討も行ったが，本手法では 繰り返し学習の効果は薄いと考えられる。

今後の課題としては, さらに多くの言語対で提案手法が適用可能であることを確認することが 挙げられる。また, 自己学習による効果は目的言語によらないという可能性が示唆されたため,実際に多言語で学習データを集めて適用することで，より翻訳精度および構文解析精度を向上さ せることが期待される。 さらに，対訳コーパスに対して他の複数の構文解析器を用いて解析し， それらの解析結果が一致している文を正解とみなして構文解析器の学習に使用する tri-training との比較についても検討を行いたいと考えている。

## 謝 辞

本論文の一部は, JSPS 科研費 25730136 および 24240032 の助成を受け実施したものである.

## 参考文献

Charniak, E. (1997). "Statistical Parsing with a Context-Free Grammar and Word Statistics." In Proceedings of AAAI, pp. 598-603.

Galley, M., Graehl, J., Knight, K., Marcu, D., DeNeefe, S., Wang, W., and Thayer, I. (2006).

"Scalable Inference and Training of Context-Rich Syntactic Translation Models." In Proceedings of $A C L$, pp. 961-968.

Gascó, G., Rocha, M.-A., Sanchis-Trilles, G., Andrés-Ferrer, J., and Casacuberta, F. (2012). "Does More Data Always Yield Better Translations?" In Proceedings of ACL, pp. 152-161.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of NTCIR, Vol. 9, pp. $559-578$.

Huang, Z. and Harper, M. (2009). "Self-Training PCFG Grammars with Latent Annotations Across Languages." In Proceedings of EMNLP, pp. 832-841.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of EMNLP, pp. 944-952.

Katz-Brown, J., Petrov, S., McDonald, R., Och, F., Talbot, D., Ichikawa, H., Seno, M., and

Kazawa, H. (2011). "Training a Parser for Machine Translation Reordering." In Proceedings of EMNLP, pp. 183-192.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of EMNLP, pp. 388-395.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-based Translation." In Proceedings of HLT, pp. 48-54.

Lin, C.-Y. and Och, F. J. (2004). "Orange: A Method for Evaluating Automatic Evaluation Metrics for Machine Translation." In Proceedings of COLING, pp. 501-507.

Liu, S., Li, C.-H., Li, M., and Zhou, M. (2012). "Re-training Monolingual Parser Bilingually for Syntactic SMT." In Proceedings of EMNLP, pp. 854-862.

Liu, Y., Liu, Q., and Lin, S. (2006). "Tree-to-String Alignment Template for Statistical Machine Translation." In Proceedings of ACL, pp. 609-616.

Marcus, M. P., Marcinkiewicz, M. A., and Santorini, B. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19 (2), pp. 313-330.

McClosky, D., Charniak, E., and Johnson, M. (2006). "Effective Self-training for Parsing." In Proceedings of HLT, pp. 152-159.

McClosky, D., Charniak, E., and Johnson, M. (2008). "When is Self-training Effective for Parsing?" In Proceedings of COLING, pp. 561-568.

Mi, H. and Huang, L. (2008). "Forest-based Translation Rule Extraction." In Proceedings of EMNLP, pp. 206-214.

Mori, S., Ogura, H., and Sasada, T. (2014). "A Japanese Word Dependency Corpus." In Proceedings of LREC, pp. 753-758.

Morishita, M., Akabe, K., Hatakoshi, Y., Neubig, G., Yoshino, K., and Nakamura, S. (2015). "Parser Self-Training for Syntax-Based Machine Translation." In Proceedings of IWSLT, pp. 232-239.

Nakazawa, T., Mino, H., Goto, I., Kurohashi, S., and Sumita, E. (2014). "Overview of the 1st Workshop on Asian Translation." In Proceedings of WAT, pp. 1-19.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In Proceedings of ACL Demo Track, pp. 91-96.

Neubig, G. (2014). "Forest-to-String SMT for Asian Language Translation: NAIST at WAT2014." In Proceedings of WAT, pp. 20-25.

Neubig, G. and Duh, K. (2014). "On the Elements of an Accurate Tree-to-String Machine Translation System." In Proceedings of ACL, pp. 143-149.

Oda, Y., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2015). "Ckylark: A More Robust

PCFG-LA Parser." In Proceedings of NAACL, pp. 41-45.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of ACL, pp. 311-318.

Yamada, K. and Knight, K. (2001). "A Syntax-based Statistical Translation Model." In Proceedings of $A C L$, pp. 523-530.

Zhang, H. and Chiang, D. (2012). "An Exploration of Forest-to-String Translation: Does Translation Help or Hurt Parsing?" In Proceedings of ACL, pp. 317-321.

## 略歴

森下睦：2015 年同志社大学理工学部インテリジェント情報工学科中途退学 (大学院への飛び入学のため). 現在, 奈良先端科学技術大学院大学情報科学研究科博士前期課程在籍. 機械翻訳, 自然言語処理に関する研究に従事.

赤部 晃一：2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。機械翻訳, 自然言語処理に関する研究に従事.

波多腰優斗：2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, セイコーエプソン株式会社にて勤務。

Graham Neubig: 2005 年米国イリノイ大学アーバナ・シャンペーン校工学部 コンピュータ・サイエンス専攻卒業. 2010 年京都大学大学院情報学研究科修士課程修了. 2012 年同大学院博士後期課程修了. 同年奈良先端科学技術大学院大学助教. 機械翻訳, 自然言語処理に関する研究に従事.

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業. 2011 年京都大学大学院情報学研究科修士課程修了. 2014 年同博士後期課程修了. 同年日本学術振興会特別研究員 (PD). 2015 年より奈良先端科学技術大学院大学情報科学研究科特任助教. 京都大学博士 (情報学)。音声言語処理および自然言語処理, 特に 音声対話システムに関する研究に従事. 2013 年度人工知能学会研究会優秀賞受賞. IEEE, ACL, 情報処理学会, 言語処理学会各会員.

中村 哲：1981 年京都工芸繊維大学電子卒．京都大学博士（工学）。シャー プ株式会社. 奈良先端大学助教授, 2000 年 ATR 音声言語コミュニケーショ ン研究所室長, 所長, 2006 年（独）情報通信研究機構研究センター長, けい はんな研究所長などを経て, 現在, 奈良先端大学教授. ATR フェロー. カー ルスルーエ大学客員教授. 音声翻訳, 音声対話, 自然言語処理の研究に従事.情報処理学会喜安記念業績賞, 総務大臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞. ISCA 理事, IEEE SLTC 委員, IEEE フェロー.

(2016 年 1 月 5 日 受付)

(2016 年 4 月 20 日 再受付)

(2016 年 6 月 9 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/