# 項の共有関係と統語パターンを用いた事態間関係獲得
## 阿部 修也 也乾 $^{2$ 健太郎 ${ }^{\dagger} \cdot$ 松本 裕治 $\dagger$}

行為一効果関係, 行為一手段関係のような事態間の関係を大規模コーパスから自動的に獲得する，共起パターンを利用する手法では, 事態を表現する述語間で共有される項を認識することが難しいため, 述語間で共有される名詞（アンカー）を用いて共有項を獲得し, 共起パターンを用いて獲得した所与の関係を満たす述語対と共有項を組み合わせることで，共有項と共に事態間関係を獲得する。このとき 2 種類の異なるアンカーを用いることで，精度を保ったまま再現率を向上できることを確認した。

キーワード：関係獲得，事態間関係

## Event Relation Acquisition with Syntactic Patterns and Shared Arguments

\author{
Shuya $\mathrm{Abe}^{\dagger}$, Kentaro $^{\dagger}$ Inui $^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

\begin{abstract}
Addressing the task of acquiring semantic relations between events from a large corpus, we first argue the complementarity between the pattern-based relation-oriented approach and the anchor-based argument-oriented approach. We then proposes a two-phased approach, which first uses lexico-syntactic patterns to acquire predicate pairs and then uses two types of anchors to identify shared arguments. The present results of our empirical evaluation on a large-scale Japanese Web corpus have shown that (a) the anchor-based filtering extensively improves the precision of predicate pair acquisition, (b) the two types anchors are almost equally contributive and combining them improves recall without losing precision, and (c) the anchor-based method achieves high precision also in shared argument identification.
\end{abstract}

Key Words: relation extraction, event relation

## 1 はじめに

質問応答，情報抽出，複数文章要約などの応用では，テキスト間の含意関係や因果関係を理解することが有益である．例えば，動詞「洗う」と動詞句「きれいになる」の間には，「何かを洗うという行為の結果としてその何かがきれいになる」という因果関係を考えることができる.本論文では, このような述語または述語句で表現される事態と事態の間にある関係を大規模に

かつ機械的に獲得する問題について述べる.

事態表現間の因果関係，時間関係，含意関係等を機械的に獲得する研究がいくつか存在する (Lin and Pantel 2001; Inui, Inui, and Matsumoto 2003; Chklovski and Pantel 2005; Torisawa 2006; Pekar 2006; Zanzotto, Pennacchiotti, and Pazienza 2006; Abe, Inui, and Matsumoto 2008, etc.). 事態間関係の獲得を目的とする研究では，事態を表現する述語（または述語句）の間でどの項が共有されているのかを捉えるということが重要である. 例えば，述語「洗う」と述語句「きれいになる」の因果関係は次にように表現できる.

$（ X$ を $)$ 洗う $\rightarrow$ 因果関係 $（ X$ が）きれいになる

この $X$ は述語「洗う」のヲ格と述語句「きれいになる」のガ格が共有されていることを表している.

関係 $R$ を満たす述語対は次のように一般化して表現することができる。

$\left(X\right.$ 項 $\left._{1}\right)$ 述語 $_{1} \rightarrow_{R} \quad\left(X\right.$ 項 $\left._{2}\right)$ 述語 2

述語 ${ }_{i}$ は自然言語における述語（または述語句）であり，典型的には動詞または形容詞である. $X$ はある述語の項ともう一つの述語の項が共有されていることを表している.

我々の目的は, (a) 特定の関係を満たす述語対を見付けだし（述語対獲得），(b) 述語対の間で共有されている項を特定する（共有項同定）ことである. 事態間関係の獲得を目的とする研究は既にいくつかあるが, どの研究も関係述語対獲得または共有項同定の片方の問題のみを対象としており, 両方の問題を対象とした研究はない. 我々が提案する手法は, 目的が異なる 2 種類の手法を段階的に適用して述語間関係を獲得する手法である.

## 2 関連研究

既存の述語間関係獲得の手法は 2 種類の手法に分類することができる。本論文ではそれぞれの手法をパターン方式, アンカー方式と呼称する.

## 2.1 パターン方式

パターン方式に共通する手法は, 多数の事例と共起する様な語彙統語的な共起パターンを作成し，これを用いて特定の関係を満たす述語対を獲得するという手法である。 パターン方式の中で最も基本的な手法は, VerbOcean という知識源を構築するために Chklovski と Pantel (Chklovski and Pantel 2005) が用いたものである. 例えば, to $\left.\langle\right.$ Verb-X〉 and then $\left.\langle\right.$ Verb-Y ${ }^{1}$ のような共起パターンを人手で作成し, strength (e.g. taint-poison)という述語間の関係を獲得した. 述語間

関係毎に共起パターンを人手で作成することで 6 種類の述語間関係を獲得した。このように人手で作成した共起パターンを用いることで少数の共起パターンを用意するだけで多数の述語間関係を獲得することができるが，獲得した述語間関係の再現率は高いが，精度が低くなる傾向がみられる。例えば，Chklovski らが約 29,000の述語間関係を獲得した実験における精度は約 $65.5 \%$ であった. これに対し, 自動獲得した述語間関係から誤り事例を除くための手法も提案されている (Chklovski and Pantel 2005; Torisawa 2006; Zanzotto et al. 2006; Inui et al. 2003).

近年, Abe ら (Abe et al. 2008) が Pantel と Pennacchiotti (Pantel and Pennacchiotti 2006)の手法を拡張した，Pantel らの手法は，実体間関係獲得のために提案されたもので，任意の関係のみとよく共起するパターンと実体対をブートストラップ的に獲得する. Abe らはこの手法を述語間関係獲得に適用できるように拡張し，例えば「〈名詞〉不足により〈動詞〉できなかった」 2 のような, 多数の事例とは共起しないが獲得した述語対の精度が高くなる傾向を持つ共起するパターン（特殊な共起パターン）をブートストラップ的に学習し，述語間関係知識を獲得した。

## 2.2 アンカー方式

アンカー方式は, 述語間関係を決めるための手がかりとして述語の項を埋める表現を用い,主に述語間の類義関係を獲得する場合や含意関係を獲得する場合の前処理として利用される.述語の項を埋める表現を取り扱う方法の違いから，アンカー方式を 2 つに分けることができる. ひとつめ手法は Distributional Hypothesis (Harris 1968)を利用し, 述語の項を埋める表現が似ている述語の間には同義関係が成り立つと仮定する方法であり, Lin ら (Lin and Pantel 2001) と Szpektor ら (Szpektor, Tanev, Dagan, and Coppola 2004) らの研究がこのような手法を用いている.

もうひとつの手法は Pekar (Pekar 2006) が提案している手法である. この手法は, 含意関係を満たす動詞対の候補を見付けるために次の 2 つの基準を用いる.
- 2 つの動詞が同一の談話に出現する.
- 2 つの動詞の項を埋める表現が指しているものが同一である（これをアンカーと呼ぶ）.例えば，次の節対 “Mary bought a house.” と “The house belongs to Mary.” が同一談話に存在する場合, 動詞対 buy (object:X)-belong (subject:X) と buy (subject:X)-belong (to:X) は含意関係の候補である ${ }^{3}$.

## 2.3 パターン方式とアンカー方式の違い

パターン方式とアンカー方式の 2 つの手法を説明したが, この 2 つ手法は独立かつ相補的な関係にある。パターン方式は，アンカー方式と比較して関係の種類を詳細に識別することが

でき，例えば Chklovski と Pantel (Chklovski and Pantel 2005) が用いたパターンは 6 種類の関係を認識し, Abeら (Abe et al. 2008) はInui ら (Inui et al. 2003)によって定義された 4 種類の因果関係のうち 2 種類の関係を認識した。しかし，パターン方式は共起パターンを用いて同一文内で共起した述語対を関係の候補とするが，同一文内ではしばしば述語の項が省略されるため，述語の間で共有されている項を同定することが難しい，例えば，普通は「お茶を淹れてからお茶を飲んだ」とは言わずに「お茶を淹れてから飲んだ」と言うように，同一文内において同じ項が 2 回以上出現する場合は 2 回目以降はその項が省略されることが多い. 一方，アンカー 方式では, 述語の間で共有されている項を用いて述語間関係を発見するため, この手法で獲得した述語対は述語間で共有されている項が同定されている。しかし, 述語間の関係を決めるために用いる情報がせいぜい項の情報であるため, 同義関係や含意関係よりも詳細な因果関係や前提条件を直接的に識別することが難しい.

## 2.4 パターン方式とアンカー方式の組み合わせ

このような独立的かつ相補的な特徴にも関わらず，2つの手法の組み合わせについては十分に研究が行われていない. 興味深い例外として Torisawa (Torisawa 2006)の手法がある. この手法は，一般的な接続表現 $\lceil\langle V e r b-X\rangle て\langle V e r b-Y\rangle 」$ と動詞と項の間の共起情報を組み合わせて時間的な順序関係の制約を持つような事態間の推論規則を獲得する。この手法は有望であるように思えるが，時間的な制約を持つ事態間の推論規則に特化したヒューリスティックを用いているために，別の種類の関係を獲得するためにこの手法を適用できるのかという点が明かではない.

## 32 段階述語間関係獲得手法

パターン方式の関係指向手法とアンカー方式の類義指向手法を組み合わせる手法を提案する. この手法の概要を図 1 に記す.この手法は述語対獲得と共有項同定の 2 つの過程からなる. 最初にパターン方式を用いて所与の関係を満たす述語対を獲得し，これを述語対候補とする．次に，アンカー方式を用いて各述語対候補のフィルタリングと共有項同定を行う．アンカーとして，インスタンスアンカーとタイプアンカーの 2 種類を用いる。述語対候補のアンカーを発見した場合, 述語対候補は確かに所与の関係にあると見なし, アンカーを共有している述語対の項対を共有項とする。一方で, 述語対候補のアンカーがない場合はその述語対候補を破棄する. 5 節で示すように，パターン方式とアンカー方式を組み合わせて述語対の関係を判断することにより精度が向上した。

## パターン方式による述語対獲得

アンカー方式による共有項同定

図 12 段階述語間関係獲得

## 3.1 述語対獲得

述語対獲得ではパターン方式の手法を用いて，所与の関係にある述語対を獲得する。このとき，パターン方式の手法は，関係を詳細に識別して因果関係のような事態間関係を獲得することができれば任意の手法でもよい，例えば，2.1で挙げた手法はこの条件を備えているが， 2.2 で挙げた手法はこの条件を備えていない.

実験ではパターン方式の手法として, Abe ら (Abe et al. 2008)の手法を用いることにした. その理由は, この手法が獲得した事態対の確からしさを表すスコアを持つため, このスコアを用いて信頼度の高い事態対だけを利用することができるという利点を備えているためである。この手法の詳細は (Abe et al. 2008) に記されているが，概要を A 節にも記す.

## 3.2 共有項同定

共有項同定では，パターン方式を用いて獲得した所与の関係にある述語対候補に対して，アンカーを用いることで, フィルタリングと共有項同定を行う，インスタンスアンカーとタイプアンカーの 2 種類のアンカーを用いる。この 2 種類のアンカーはそれぞれ独立的かつ相補的な特徴を持つため, この 2 つのアンカーを組み合わせることで再現率を向上できる可能性がある.

## 3.3 共有項同定：インスタンスアンカー

Pekar (Pekar 2006) が動詞間の含意関係を獲得するためにアンカーを用いた方法に示唆を受けて, 我々は次の 3 つの仮説を置いた。
- 同一談話内において 2 つの述語が項に同じ名詞表現を伴っているとき, この名詞表現は同じものを指している.
- 同一談話内において 2 つの述語の項が同じものを指しているのであれば, この 2 つ述語の項は共有されている。
- 同一談話内において 2 つの述語の項が同じものを指しているのであれば, この 2 つの述語は何らかの関係4を満たす。

例えば図 1 の (2a)はある文章中の談話である.この談話において, 名詞「パン」は 2 回出現し, 1 つめの「パン」は「焼く」のヲ格であり，2つめの「パン」は「焦げる」のガ格である．仮説から，2 回出現した「パン」は同じ「パン」を指していると仮定でき，「焼く」のヲ格と「焦げる」 のガ格は項を共有し, さらに「焼く」と「焦げる」は何らかの関係にあると仮定できる。ここで重要な役割を果す名詞（この例では「パン」）を我々はアンカーと呼び，このようなアンカー を 3.4 で述べる「タイプアンカー」と対比させて「インスタンスアンカー」と呼ぶ.

述語対 Pred $_{1}$, Pred $_{2}$ が与えられたとき, 次の条件を満たす 3 つ組 $\left.\langle\right.$ Pred $_{1}-$ Arg $_{1} ;$ Pred $\left._{2}-A_{2} g_{2} ; A n c\right.\rangle$ を探す。

(a) Web ページ中に出現した Pred $_{1}$ の項の名詞句の主辞 Arg $_{1}$ をアンカー Anc とする.

(b) (a) と同じ Web ページに出現する Pred $_{2}$ の項の名詞句の主辞 $\mathrm{Arg}_{2}$ が $A n c$ と等しい.

(c) Anc がストップリストに含まれていない.

(d) 条件 $\operatorname{PMI}\left(\operatorname{Pred}_{1}, \operatorname{Arg}_{1}\right) \geq \alpha$ かつ $\operatorname{PMI}\left(\operatorname{Pred}_{2}, \operatorname{Arg}_{2}\right) \geq \alpha$ を満たす（ただし実験では $\alpha=-1$ とした).

実験では人手でストップリストを作成した. リストには 219 語の代名詞，数字，「こと」，「もの」，「とき」のように非常に一般的な名詞を含んでいる。条件 (d) の PMI (Pred ${ }_{i}$, Arg $\left._{i}\right)$ は, Pred Pr $_{i}$ $\operatorname{Arg}_{i}$ の間の自己相互情報量である。この条件は, 係り受け解析器のエラーが原因で誤認したアンカーを除くことを目的としている。

インスタンスアンカーの集合は, 項の共有関係を持つ述語対の組 Pred $_{1}-$ Arg $_{1}$ と Pred $_{2}-$ Arg $_{2}$ から次のように求められる。

$
\operatorname{AnchorSet}\left(\text { Pred }_{1}-\text { Arg }_{1}, \text { Pred }_{2}-\text { Arg }_{2}\right)=\left.\{\text { Arg }\left.\langle\text { Pred }_{1}-\text { Arg }_{1} ; \text { Pred }_{2}-\text { Arg }_{2} ; A n c\right.\rangle\right.\} .
$

Pekar は談話の範囲をできるだけ正確に認識しようと勤めているのに対して, 我々は同一 Web ページに含まれる文を同じ談話であると見なし，同一Webページ内でアンカーを共有している述語対は何らかの関係を持つと仮定した. このように Pekar と比較してより少ない制約のみを用いているにもかかわらず，5 節で示すように我々の手法を用いて良い実験結果を得ることができた。この理由は，我々は少ない制約を用いて談話関係を認識したが，代りに語彙統語的パターンを用いて獲得した述語対を用いたため, これが強い制約となり精度の低下を防いでいると考えられる。

## 3.4 共有項同定：タイプアンカー

我々は次の仮説を置いた。
- 同一文内で共起する 2 つの述語は何らかの関係5を満たす.
- 同一文内で 2 つの述語が共起するという状況下において, 2 つの述語の項が伴う名詞をそれぞれの項毎に独立に集めたとき，2つの名詞集合の両方において出現する名詞は， 2 つの述語の項の間で共有されるような名詞である.

図 1 の文 $(3 \mathrm{a})$ と $(3 \mathrm{~b})$ について考察する. この 2 文は独立した文であり, 同一文章内の 2 文であっても，異なる文章の 2 文であってもよい.この 2 文はともに述語「焼く」と述語「焦げる」 を含む．(3a) では名詞「パン」が「焼く」のヲ格にあり， (3b) では名詞「パン」が「焦げる」

のガ格にある. ここから名詞「パン」は，「焼く」のヲ格に伴うことができ，かつ「焦げる」のガ格に伴うこともできるということがわかる．仮説から，「焼く」のヲ格と「焦げる」のガ格は同じ名詞（少なくとも名詞「パン」）を伴うことができるということがわかる.このときの名詞「パン」は，「焼く」のヲ格と「焦げる」のガ格が共有項である可能性を示す名詞である。このような名詞を「タイプアンカー」と呼ぶ.この名称の理由は, (3a)の「パン」と (3b)の「パン」 は同じものを指していないが，同じタイプであるためである.

タイプアンカーの集合は次のように求める。述語対 Pred $_{1}$ と Pred $_{2}$ が与えられたとき，コー パス全体から Pred $_{1}$ と Pred $_{2}$ が共起する文を探し, 次に示すように, どちらか片方の述語の項を埋める名詞の出現頻度を計算する.
- Pred $_{1}$ の項 $\mathrm{Arg}_{1}$ に名詞 $A n c$ があれば, $\left.\langle\right.$ Pred $_{1}-$ Arg $_{1} ;$ Pred $\left._{2} ; A n c\right.\rangle$ の頻度を増やす.
- Pred $_{2}$ の項 $\mathrm{Arg}_{2}$ に名詞 $A n c$ があれば, $\left.\langle\right.$ Pred $_{1} ;$ Pred $_{2}-$ Arg $\left._{2} ; A n c\right.\rangle$ の頻度を増やす. Pred $_{1}-$ Arg $_{1}$ と Pred $_{2}-$ Arg $_{2}$ の間で共有された名詞集合の交差集合を計算する. すなわち,

$
\operatorname{AnchSet}\left(\operatorname{Pred}_{1}-\operatorname{Arg}_{1}, \operatorname{Pred}_{2}-\operatorname{Arg}_{2}\right)=S_{1} \cap S_{2} \text {, }
$

となる.このとき，

$
\begin{aligned}
& S_{1}=\left.\{\text { Arg } \mid\left.\langle\text { Pred }_{1}-\text { Arg }_{1} ; \text { Pred }_{2} ; \text { Anc }\right.\rangle\right.\}, \\
& S_{2}=\left.\{\text { Arg } \mid\left.\langle\text { Pred }_{1} ; \text { Pred }_{2}-\text { Arg }_{2} ; \text { Anc }\right.\rangle\right.\} .
\end{aligned}
$

である.

## 3.5 共有項同定 : アンカー集合の利用

インスタンスアンカーとタイプアンカーに共通する性質を利用して次の目的を達成する.

・アンカーを持つ述語対候補は何らかの関係を満たすという性質を利用し, 何らかの関係を満たさないような述語対候補を除く。
- 述語対の項対の共有項を見付けることができるというアンカーの性質を利用し, 述語対候補の項対の共有項を同定する。

このとき，ある述語対のある項対に対応するアンカーが見付かった場合, その項対はアンカーを持つと言うことにする。また，ある述語対の項対がアンカーを持てば，その述語対もアンカー を持つとみなす。逆にある述語対の項対がアンカーを持てば，その述語対もアンカーを持つとみなす。

図 1 の例を用いて，アンカーによる述語対候補のフィルタリングと共有項同定について説明する. 述語対獲得から述語対候補焼く $\rightarrow$ 行為一効果関係焦げるを得る. この述語対候補のインスタンスアンカーには「パン」「肉」「オーブン」「トースター」の 4 つの名詞が存在するため, この述語対候補はインスタンスアンカーを持つ。同様に，タイプアンカーも４つの名詞を持つた

め, この述語対候補はタイプアンカーも持つ. このときアンカーが存在しなければ，この述語対候補は何の関係も満たさないとみなして候補から除かれるが，この例ではインスタンスアンカーとタイプアンカーを持つため，所与の関係を満たす可能性のある述語対であると見なされる. さらに，この述語対は，アンカー「パン」と「肉」より「焼く」のヲ格と「焦げる」のガ格が共有項であり，アンカー「オーブン」と「トースター」より「焼く」のデ格と「焦げる」のデ格も共有項であるとみなす.

アンカーを用いて，述語対獲得によって獲得した述語対候補それぞれに対して次の手続きを実行する。

(1) アンカーを持たない述語対を除く.

（2） 述語対毎に項対を選ぶ。このとき頻度の高い項対を最大で $k$ 個を選ぶ（実験では $k=3$ ）.

（3） 項対毎にアンカーを選ぶ。このとき頻度の高いアンカーを最大で $l$ 個を選ぶ（実験では $l=3$ ).

## 4 実験設定

述語間関係獲得手法の性能を確認するために，Kawahara と kurohashi が獲得した Webコー パス約 5 億文 (Kawahara and Kurohashi 2006) を用いた。このコーパスに含まれる文に対して Mecab で形態素解析を行い, CaboCha (Kudo and Matsumoto 2002)で係り受け解析を行い, 述語表現の共起事例を獲得した。頻度 20 回未満の共起パターンを伴う述語表現は計算コストを削減するために削除した。

実験では, Inui ら (Inui et al. 2003)の 4 つの因果関係のうち行為一効果関係（Inui らの分類では Effect に相当する）と行為一手段関係（Inui らの分類では Means に相当する）を獲得し，評価した. 行為一効果関係は, 非意志的な出来事 $y$ の起るように直接または間接的にしばしば意志的な行為 $x$ を行うことであり， $x$ と $y$ の間に必然性がなくてもよい. 例えば，行為「Xが運動する」と出来事「Xが汗をかく」は行為一効果関係を満たす。また「飲む」の結果として 「二日酔いになる」ことに必然性はないが，これも行為一効果関係を満たす。一方で行為一手段関係は行為 $x$ を行うためにしばしば行為 $y$ を行うことであり， $x$ と $y$ の間に必然性がなくともよい. 例えば，「Xが走る」は「Xが運動する」ためにしばしば行うことであるため行為一手段関係を満たす。

実験では，12,000 以上の動詞に対して意志性の有無を人手で付与した. これには， 8,968の意志性のある動詞，3,597の意志性のない動詞，547の意志性の有無が曖昧な動詞を含んでいる.意志性のある動詞は「食べる」「研究する」等であり，意志性のない動詞は「温まる」「壊れる」「悲しむ」等である。この動詞の意志性の有無に関する情報は，共起パターンを用いて述語対を獲得する際に述語の素性として用いる.

## 5 実験結果

## 5.1 関係獲得

パターン方式の手法を用いて，行為一効果関係と行為一手段関係の述語対を獲得した. このとき, 行為一効果関係では正例 25 , 負例 4 のシード述語対, 行為一手段関係では正例 174 , 負例 131 のシード述語対を用いた。また, ブートストラップを 40 回繰り返した後, 行為一効果関係では 9,511 共起パターンと 22,489 事態対, 行為一手段関係では 14,119 共起パターンと 13,121 述語対を獲得した。

獲得した述語対を信頼度の順番に並べ，4つの範囲（1-500，501-1,500，1,501-3,500，3,5017,500 ）からそれぞれ 100 述語対をランダムに取得した（行為一効果関係の 400 述語対と行為一手段関係の 400 述語対の合計 800 述語対).この述語対候補に対して，アンカー方式を用いてフィルタリングし, 共有項を付与した. このとき, インスタンスアンカーまたはタイプアンカー によって共有項を付与された述語対は, 行為一効果関係で 254 述語対, 行為一手段関係で 254 述語対であった，共有項を付与できた事例の一部を表 1 に示す.

共有項を付与できた述語対と付与できなかった述語対に対して, 2 人の評価者により述語対の関係が正しいかを判定した（行為一効果関係の 400 述語対と行為一手段関係の 400 述語対の合計 800 述語対を評価した). このとき，与えられた述語対が所与の関係を満たすときに述語対が必要とする項対とアンカーの組を評価者が最低でも 1 つ以上想像できない場合は, その述語対の関係は正しくないと判断した。例えば，述語対「かける」と「つながる」は正しい行為一効果関係であるが，この関係は，「電話」というアンカーが「かける」のヲ格と「つながる」のガ格が共有項であるときに満たされる.

$
\begin{aligned}
& \text { かける（を： } X) \rightarrow \text { 行為一効果関係つながる（が： } X) \\
& (X \in\{\text { 電話 }\})
\end{aligned}
$

表 1 獲得した述語対と共有項とアンカーの例

評価者は，共有項を付与できた述語対については，評価者は共有項とアンカーを想像するために，機械的に付与された共有項とアンカーを参照してもよいとした6.

2 人の評価結果は, 400 事例のうち, 行為一効果関係では 294 事例, 行為一手段関係では 297 事例が一致し，一致度は然程高くない.しかし， 1 人目の評価は一貫して厳しい判定基準で， 2 人目の評価は一貫して寛容な基準であるように見える。その証拠に 2 人目の評価結果が正しいと仮定した場合, 1 人目の評価の精度と相対再現率は行為一効果関係で 0.71 と 0.97 であり, 行為一手段関係で 0.75 と 0.99 となり， 2 人の間で評価の厳しさの基準は異なっているが個々の評価基準は一貫しており，厳しい基準を考えると両者の評価はよく一致していると言える。これを受けて，評価者 2 人が共に正しいとした事例のみを正解とみなした.

評価結果を表 2 に示す。なお，行為一効果関係の評価結果も行為一手段関係の評価結果も同じ傾向を示しているため，行為一効果関係の評価結果に注目して説明する。また，今回の実験で用いたコーパスから獲得可能な全て行為一効果関係（または行為一手段関係）を満たす述語対のリスト，または，特にコーパスを限定しない行為一効果関係（または行為一手段関係）を満たす述語対のリストを用意することができれば再現率を計算できるが，このようなリストを用意することは困難であり，かつこのようなリストは存在しないため再現率を計算することは難しい。そこで，本実験では我々が評価した 400 述語対を用いて相対再現率を計算し，ここから本手法が再現率に及ぼす影響を考察する。

アンカーを用いないパターン方式のみの評価結果を, 表 2 の「パターン方式」の「全て」に示した。先にサンプルした 400 述語対のうち 269 述語対が正しい関係を満たした。精度は, 269 述語対を 400 述語対で割って 0.67 と計算した。また，このときの相対再現率は 1.00 である.

表 2 関係獲得の精度と相対再現率

パターン方式で獲得した述語対候補をアンカー方式でフィルタリングした場合の評価結果を表 2 の「アンカーを持つ事例」に示した．先にサンプルした 400 述語対のうち 175 述語対はインスタンスアンカーを持ち，そのうち 144 述語対は正しい関係を満たした（「アンカーを持つ事例」の「インスタンス」). 142 述語対を 175 述語対で割って精度 0.81 を計算した. さらに，インスタンスアンカーを用いたときに正しく関係を満たす 144 事例を，評価した 400 述語対のうち正しく関係を満たす 269 述語対で割って相対再現率 0.52 を計算した。一方で，タイプアンカー を持つ事例は 169 事例中 143 事例が正しい関係を満たした（「アンカーを持つ事例」の「タイプ」).このときの精度は 0.84 であり，相対再現率は 0.53 である. ここから，インスタンスアンカーを用いた場合もタイプアンカーを用いた場合も同程度の精度と相対再現率であり，どちらも再現率を犠牲にする代わりに高い精度を得ていることがわかる.

インスタンスアンカーまたはタイプアンカーのどちらかのアンカーを持つ述語対の評価結果を「アンカーを持つ事例」の「混成」に示した。インスタンスアンカーのみまたはタイプアンカーのみの場合と比較して, 同程度の精度であるが相対再現率が向上している。この結果から, インスタンスアンカーとタイプアンカーを組み合わせることで精度を犠牲にせずに再現率を改善できることがわかる。夕イプアンカーとインスタンスアンカーは高い精度と低い相対再現率という似た傾向を示すが，カバーしている述語対は互いに異なるため 2 つのアンカーを組み合わせることで再現率が改善されたと考えられる.

本実験で用いたパターン方式の手法は，所与の関係にある述語対をその確からしさを表わすスコアと共に導く，そこで，述語対候補をこのスコアでフィルタリングした場合と，アンカー 方式（インスタンスアンカーとタイプアンカーの組み合わせ）によりフィルタリングした場合で精度と相対再現率を比較する。アンカー方式ではフィルタリングにより結果 400 事例中 254 事例を残した。これと比較するために，400 事例からスコアの高い上位 254 事例について精度と相対再現率を計算した (「パターン方式」の「高スコア 254 件」)，スコアによるフィルタリングの結果（「パターン方式」の「高スコア 254 件」）とアンカー方式（「アンカーを持つ事例」の「混成」）によるフィルタリングの結果を比較すると, 精度と相対再現率の両方においてアンカー方式の方が良い結果である。この結果は, パターン方式の述語対獲得手法にアンカー方式のフィルタリングを組み込むことで述語対獲得の性能を改善できることを示唆している。

さらに，共有項を付与できた 254 述語対（「アンカーを持つ事例」の「混成」）について信頼度毎の述語対の数と, 共有項を付与できない 146 述語対 7 について信頼度毎の述語対の数を比較した結果を図 2 , 図 3 に示す8. ここから, 共有項を付与できた述語対も付与できない述語対も信頼度の面からは類似した傾向を持つため, 共有項を付与できたことと信頼度の間には強い相

関がないことがわかる。この結果から, 共有項によるアンカー方式は信頼度によるパターン方式とは異なる性質を持ち, この 2 つを組み合わせることが有効であることがわかる.

## 5.2 共有項同定

共有項同定の評価結果を示す。評価者 2 人に，インスタンスアンカーとタイプアンカーを組み合わせた手法で共有項を付与することができた述語対の内，所与の関係を満たすと判断された事例について, 付与された共有項が正しいかどうかを尋ねた（行為一結果関係で 203 述語対,行為一手段関係で 196 述語対). 次の 2 種類の基準で共有項の正しさを評価した.
- 共有項 (1-best): 最も頻度の高い共有項が正しい場合を正解とした.
- 共有項 (3-best): 頻度の高い最大 3 つの共有項のうち 1 つ以上が正しい場合を正解とした.評価結果を表 3 に示す.この評価結果も, 評価者 2 人が両方とも正しいとした事例のみを正解とした.

続けて, 共有項によって共有されているアンカーの正しさを, 次の 3 種類の基準で評価した。
- 共有名詞（厳格）：最大 3 つのアンカーが全て正しい場合を正解とした.
- 共有名詞 (寛容) : 最大 3 つのアンカーのうち 1 つ以上が正しい場合を正解とした.

評価結果を表 4 に示す.この評価結果も, 評価者 2 人が両方とも正しいとした事例のみを正解とした.

表 3 と表 4 から，アンカー方式の手法は高い精度で共有項とアンカーを同定できていることがわかる。この手法の精度は, 獲得したアンカーの良さに依存しているが，インスタンスアン

図 2 共有項の有無と信頼度 (行為一効果関係)

図 3 共有項の有無と信頼度 (行為一手段関係)

表 3 共有項同定の精度

表 4 共有項同定と共有名詞同定の精度

カーもタイプアンカーも実際に出現した事例から獲得しているため, 結果的に高い精度に結び付いたと考えられる。しかし,「共有項 (1-best)」かつ「共有名詞（厳格)」の精度はまた改善の余地はあるとみられるが, これは将来の課題である.

また，典型的な誤りとその原因を次に示す.

(1) 項の誤り

(1a) コーパス中において不適切に格を用いていたため，誤った格を伴う知識が獲得されている.

(2b) 係り受け解析器の誤りのため，誤った項を伴う知識が獲得されている.

(2) アンカーの誤り

（2a）コーパス中において表記は等しいが，それが指す実体が異なる名詞をインスタンスアンカーが共有名詞とみなしてしまうことにより，誤った共有項を伴う知識が獲得されている.

(2b）コーパス中において名詞が多義であったため，タイプアンカーにより誤った共有項を伴う知識が獲得されている。

理由 (1a)の問題は低頻度の事例を除くことで, 理由 (1b) の問題は 3.3 で述べた係り受け解析器の誤りを除くための制約を強くすることで解決することができる. しかし, 理由 $(2 \mathrm{a}),(2 \mathrm{~b})$ の問題は本手法で対処することが難しく，これを解決するためには同一表記の実体の同一性を判定する照応技術を導入する必要がある。理由 (2a), (2b) の誤り例を次に示す.

$
\begin{aligned}
& X \text { が操作する } \rightarrow \text { 行為一効果関係 } X \text { が動く }(X=\text { プレイヤー }) \\
& X \text { を雇う } \rightarrow \text { 行為一効果関係 } X \text { に雇われる }(X=\text { 他人 }) \\
& X \text { から到着する } \rightarrow \text { 行為一手段関係 } X \text { から旅する }(X=\text { 空港 })
\end{aligned}
$

## 6 まとめと今後の研究

述語間関係獲得のためにパターン方式の関係指向のアプローチとアンカー方式の項指向のアプローチの相補的な性質に注目し, パターン方式による述語対獲得とアンカー方式による共有項同定を組み合わせた 2 段階手法を提案し，これを実験し評価した。この結果，(a) アンカー方
式のフィルタリングは事態対獲得の精度を改善し, (b) インスタンスアンカーとタイプアンカー は同じくらいの性能で，これらを組み合わせることで精度を犠牲にせずに（相対）再現率を改善でき，(c) アンカー方式は共有項同定で高い精度を達成することがわかった。

将来的には 3 つの方向を考えている．1つめは評価方法の改善であり, コーパスベースの評価とタスクベースの評価を検討している. Szpektor ら (Szpektor and Dagan 2008) は, 英語コーパスに対して事態に関する情報が付与された Automatic Content Extraction (ACE) の event training $\operatorname{set}^{9}$ を用いて，自動獲得した事態間の含意関係知識を評価した。しかし，これは英語に関する評価セットであり, 日本語のコーパスに対して同様の情報を付与した評価セットは存在しない. そのため, Szpektorらのようにコーパスベースの評価を行うためには，日本語の評価セットを作成する必要がある。評価セットの作成を含めてコーパスベースの評価を検討している。また他にも特定のタスクに述語間関係知識を適用し，その結果を評価することを検討している.

2 つめは, ゼロ照応解析 (Iida, Inui, and Matsumoto 2006; Komachi, Iida, Inui, and Matsumoto 2007, etc.) の利用して共有項同定を行うことを検討している。本稿では，所与の関係を満たす述語対とその共有項を獲得するためにパターン方式とアンカー方式を組み合わせる手法を提案したが，もうひとつ方法として， ゼロ照応解析とパターン方式を組み合わせることでも所与の関係を満たす述語対とその共有項を獲得できる可能性がある。しかし, 現在のゼロ照応解析の精度は然程高くないため, 本稿ではパターン方式とアンカー方式を組み合わせる手法を用いた。 ただし, 現状のゼロ照応解析の精度でも，アンカー方式を改善するための前処理としてゼロ照応解析用いることはできる可能性がある。この方法の検証を検討している.

3 つめは，アンカー方式の結果を文内のゼロ照応解析に利用することを検討している。これによりゼロ照応解析の精度を向上させることができる可能性がある.

## 付録

## A パターン方式の手法

実験で用いたパターン方式の手法である Abe ら (Abe et al. 2008)の手法の概要を述べる。本稿ではこの手法を拡張 Espresso と言うことにする。

拡張 Espreso は，共起パターンを利用して実体対を獲得する手法である Espresso を，共起パターンを利用して事態対を獲得するように拡張したものである． Espresso に対する拡張 Espresso の主要な変更点は次の 2 つである.
- Espresso における実体対は名詞句の対であるが，拡張 Espresso の事態対は述語または述
^{9}$ http://projects.ldc.upenn.edu/ace/
}
語句の対である.
- Espresso における共起パターンは名詞句の対の間にある文字列であるが, 拡張 Espresso の共起パターンは係り受け関係の木を考えた場合の事態対の間のパスに相当する.

## A. 1 Espresso

Espresso は，共起パターンを用いた実体間関係獲得手法のひとつであり，共起パターンを用いた手法に共通する，任意の関係のみを表現する共起パターンを用いて任意の関係にある実体対を獲得でき，任意の関係のみで表現される実体対を用いることで，任意の関係のみを表現する共起パターンを獲得できるという仮定を持っている。 さらに Espresso は, 共起パターンまたは実体対が任意の関係を表わす程度を信頼度という指標で表わし, 信頼度の高い共起パターンとよく共起する実体対は信頼度が高く, 信頼度の高い述語対とよく共起する共起パターンも信頼度が高いという仮定をおいた。

このとき, Espresso は人手で作成した任意の関係にある信頼度の高い実体対を入力として, これと共起する信頼度の高い共起パターンを獲得する。次に信頼度の高い共起パターンを用いて，信頼度の高い実体対を獲得する。この操作をブートストラップ的に繰り返すことで，信頼度の高い実体対を大量に獲得する。

## A. 2 共起パターンの信頼度

獲得したい関係にある実体対 $\langle x, y\rangle$ が与えられたとき, Espresso は $x$ と $y$ の両方が含まれた文をコーパスから探し出す. 例えば，is-a 関係の実体対〈Italy,country $\rangle$ が与えられたとき, Espresso はテキスト countries such as Italy が含まれるような文を見つけ出し, 共起パターン Y such as $X$ を獲得する. Espresso は共起パターン $p$ の良さを測るために信頼度 $r_{\pi}(p)$ という尺度を用いる. 共起パターンの信頼度 $r_{\pi}(p)$ は, 共起パターン $p$ と共起する実体対 $i$ の信頼度 $r_{\iota}(i)$ から求められる．Iは共起パターン $p$ と共起する実体対 $i$ の集合である.

$
r_{\pi}(p)=\frac{1}{|I|} \sum_{i \in I} \frac{p m i(i, p)}{\max _{p m i}} \times r_{\iota}(i)
$

$p m i(i, p)$ は式 2 で定義される $i$ と $p$ の pointwise mutual information (PMI) であり, $i$ と $p$ の関連度を表現する．ｍax $x_{m i}$ は，共起パターンと実体対が共起した場合全ての PMI の中で最大となる PMI である.

$
p m i(x, y)=\log \frac{P(x, y)}{P(x) P(y)}
$

PMI は頻度が少ないときに不当に高い関連性を示すという問題が知られている。この問題を
軽减するために, Espresso では式 2 の代りに (Pantel and Ravichandran 2004) で定義された式 3 を用いる。

$
\operatorname{pmi}(x, y)=\log \frac{P(x, y)}{P(x) P(y)} \times \frac{C_{x y}}{C_{x y}+1} \times \frac{\min \left(\sum_{i=1}^{n} C_{x_{i}}, \sum_{j=1}^{m} C_{y_{j}}\right)}{\min \left(\sum_{i=1}^{n} C_{x_{i}}, \sum_{j=1}^{m} C_{y_{j}}\right)+1}
$

$C_{x y}$ は $x$ と $y$ が同時に出現した回数, $C_{x_{i}}$ は個々の $x$ の出現した回数, $C_{y_{j}}$ は個々の $y$ の出現した回数, $n$ は $x$ の異り数, $m$ は $y$ の異り数である.

## A. 3 実体対の信頼度

共起パターンの信頼度と同じように，実体対 $i$ の信頼度 $r_{\iota}(i)$ を次のように定義する.

$
r_{\iota}(i)=\frac{1}{|P|} \sum_{p \in P} \frac{p m i(i, p)}{\max _{p m i}} \times r_{\pi}(p)
$

共起パターン $p$ の信頼度 $r_{\pi}(p)$ は, 前述の式 1 で定義され, $\max _{p m i}$ は先の定義と同じであり，Pは実体対 $i$ と共起する共起パターン $p$ の集合である．共起パターンの信頼度 $r_{\iota}(i)$ と実体対の信頼度 $r_{\pi}(p)$ は再帰的に定義され, 人手で与えたシード $i$ の信頼度を $r_{\iota}(i)=1$ とする. なお, 我々の拡張では, 人手で与えた負例関係にある述語対の信頼度を $r_{\iota}(i)=-1$ とした.

## 謝 辞

$\lceil$ Web 上の 5 億文の日本語テキスト」の使用許可を下さった情報通信研究機構の河原大輔氏と京都大学大学院の黒橋禎夫氏に感謝いたします。

## 参考文献

Abe, S., Inui, K., and Matsumoto, Y. (2008). "Acquiring Event Relation Knowledge by Learning Cooccurrence Patterns and Fertilizing Cooccurrence Samples with Verbal Nouns." In Proceedings of the 3rd International Joint Conference on Natural Language Processing, pp. 497-504.

Chklovski, T. and Pantel, P. (2005). "Global Path-based Refinement of Noisy Graphs Applied to Verb Semantics." In Proceedings of Joint Conference on Natural Language Processing.

Harris, Z. (1968). "Mathematical Structures of Language." In Interscience Tracts in Pure and Applied Mathematics.

Iida, R., Inui, K., and Matsumoto, Y. (2006). "Exploiting syntactic patterns as clues in zeroanaphora resolution." In Proceedings of the 21st International Conference on Computational

Linguistics and the 44th annual meeting of the ACL, pp. 625-632. Association for Computational Linguistics.

Inui, T., Inui, K., and Matsumoto, Y. (2003). "What kinds and amounts of causal knowledge can be acquired from text by using connective markers as clues?" In Proceedings of the 6th International Conference on Discovery Science, pp. 180-193.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 176-183.

Komachi, M., Iida, R., Inui, K., and Matsumoto, Y. (2007). "Learning Based Argument Structure Analysis of Event-nouns in Japanese." In Proceedings of the Conference of the Pacific Association for Computational Linguistics, pp. 120-128.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis using Cascaded Chunking." In Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp. 63-69.

Lin, D. and Pantel, P. (2001). "DIRT: discovery of inference rules from text." In Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 323-328.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, pp. 113-120.

Pantel, P. and Ravichandran, D. (2004). "Automatically Labeling Semantic Classes." In Proceedings of Human Language Technology / North American chapter of the Association for Computational Linguistics, pp. 321-328.

Pekar, V. (2006). "Acquisition of Verb Entailment from Text." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 49-56.

Szpektor, I. and Dagan, I. (2008). "Learning Entailment Rules for Unary Templates." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 849-856.

Szpektor, I., Tanev, H., Dagan, I., and Coppola, B. (2004). "Scaling Web-based Acquisition of Entailment Relations." In Lin, D. and Wu, D. (Eds.), Proceedings of EMNLP 2004, pp. 41-48 Barcelona, Spain. Association for Computational Linguistics.

Torisawa, K. (2006). "Acquiring Inference Rules with Temporal Constraints by using Japanese Coordinated Sentences and Noun-Verb Co-occurrences." In Proceedings of Human Language Technology Conference/North American chapter of the Association for Computational Lin-
guistics annual meeting (HLT-NAACLO6), pp. 57-64.

Zanzotto, F. M., Pennacchiotti, M., and Pazienza, M. T. (2006). "Discovering Asymmetric Entailment Relations between Verbs Using Selectional Preferences." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 849-856.

## 略歴

阿部修也：2008 年奈良先端科学技術大学院大学後期課程単位取得満期退学.

同年, 奈良先端科学技術大学院大学研究員, 現在に至る. 専門は自然言語処理. 情報処理学会員.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 博士 (工学). 同研究科助手, 九州工業大学情報工学部助教授を経て, 2002 年より奈良先端科学技術大学院大学情報科学研究科助教授. 現在同研究科准教授,情報通信研究機構有期研究員を兼任. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL 各会員, Computational Linguistics 編集委員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 博士 (工学). 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. 1985 87 年（財）新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 専門は自然言語処理. 情報処理学会, 人工知能学会, 日本ソフトウェア科学会, 認知科学会, AAAI, ACL, ACM 各会員.


# 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析

小町守 $\dagger$ ・飯田龍乾 - 乾 健太郎 ${ }^{\dagger}$ 松本 裕治 $\dagger$
}

形態素解析や構文解析など自然言語処理の要素技術は成熟しつつあり，意味解析・談話解析といった，より高次な言語処理の研究が盛んになってきた. 特に文の意味理解のためには「誰が」「何を」「誰に」といった要素（項）を同定することが重要であ る. 動詞や形容詞を対象にした項構造解析のことを述語項構造解析と呼ぶが, 文中 の事態を表す表現は動詞や形容詞の他にも名詞も存在することが知られている。そ こで，我々は日本語の名詞を対象とした項構造解析タスクを取り上げ，機械学習を 用いた自動的な解析手法を提案する。日本語の事態性名詞には事態を指すか否か曖昧性のある名詞があるため, まず事態性の有無を判定する事態性判別タスクと項同定タスクの 2 つに分解し, それぞれ大規模なコーパスから抽出した語彙統語パター ンを用いた手法と述語・事態性名詞間の項の共有現象に着目した手法を提案する。

キーワード：述語項構造解析, 意味役割付与, 事態性名詞, 語彙統語パターン
## Argument Structure Analysis of Event-nouns Using Lexico-syntactic Patterns of Noun Phrases

\author{
Mamoru Komachi ${ }^{\dagger}, \mathrm{Ry}^{2} \mathrm{Iida}^{\dagger \dagger}, \mathrm{Kentaro} \mathrm{Inui}^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

As fundamental natural language processing techniques like morphological analysis and parsing have become widely used, semantics and discourse analysis has gained increasing attention. Especially, it is essential to identify fundamental elements, or arguments, such as "who" did "what" to "whom." Predicate argument structure analysis deals with argument structure of verbs and adjectives. However, not only verbs and adjectives but also nouns are known to have event-hood. We thus propose a machine-learning based method for automatic argument structure analysis of Japanese event-nouns. Since there are ambiguous event-nouns in terms of event-hood, we cast the task of argument structure analysis of event-nouns into two parts: eventhood determination and argument identification. We propose to use lexico-syntactic patterns mined from large corpora for the first sub-task and to exploit argumentsharing phenomenon between predicates and event-nouns for the second sub-task.

Key Words: Predicate Argument Structure Analysis, Semantic Role Labeling, Event-nouns, Lexico-syntactic Pattern

## 1 はじめに

形態素解析や構文解析など自然言語処理の要素技術は成熟しつつあり，言語理解のために意味解析・談話解析といった，より高次な言語処理の研究が盛んになりつつある．特に文の意味理解のためには「誰が」「何を」「誰に」「どうした」といった要素を同定することが重要である.

「誰が」「何を」「誰に」といった名詞は項と呼ばれ，「どうした」のような動詞を中心とした述語によって結びつけられる。動詞や形容詞といった述語を対象とした項構造解析は述語項構造解析と呼ばれ, FrameNet や PropBank といった述語項構造解析に対する資源の整備や (Gildea and Jurafsky 2002)による機械学習を用いた解析手法が登場し, 近年盛んに研究されている.

述語項構造解析に関する自然言語処理の評価型ワークショップ CoNLL 2004, 2005 の開催に伴い, 述語項構造解析研究はある程度の水準に達したが, 深い言語理解をするためには, 述語のみを対象とした事態性解析は十分でない，特に，文中の事態を指しうる表現としては，動詞や形容詞の他に名詞もあることが知られている (Grimshaw 1990). たとえば「彼は上司の推薦で抜擢された」という文で，名詞「推薦」は「上司ガ彼ヲ推薦（する）」といった事態を指す.事態とは行為や状態, 出来事を指し, 述語項構造と同様の項構造を考えることができる. そこで，本稿では事態を指す用法で使われていて項を持つ名詞のクラスを事態性名詞と呼び，事態を指す用法で使われているとき事態性があると定義する. 本研究は, 事態性名詞における項構造を抽出することを目標にしている.

事態性名詞の項構造解析とは, 名詞に事態性があるとき項構造を決定し, 項を同定する解析を指す。事態性とは文脈中で名詞がコト（事態1) を指すかモノ（物体）を指すかという意味的な違いに対応する。事態性名詞の中には「レポート」のようにレポートする行為を指すのかレポートされた結果物を表すのかといった, 文脈によって事態性の有無が変化する名詞がある. そこで, 文脈に応じて事態性名詞に事態性があるか否か判別する処理を事態性判別, 項構造を決定して項を同定する処理のことを項同定と呼ぶ.

事態性名詞の項構造解析は, 述語項構造解析と同様, 文中の述語の項構造を決定し, 項を同定する作業の延長と位置づけることができる。英語における動詞の名詞化や日本語におけるサ変名詞など, 動詞と強いつながりを持つ名詞は数多くあり, 述語項構造解析の研究成果を援用して解析を行うことが期待されている. NAIST テキストコーパス (飯田, 小町, 乾, 松本 2007) によると, 述語と名詞を含めた全事態中 $21.1 \%$ が事態性名詞であり, 述語項構造解析技術の次の発展方向として注目されている. 事態性名詞の項構造解析は, 情報抽出や自動要約, 質問応答システム，言い換えや機械翻訳など，自然言語処理のさまざまな分野に応用できる要素技術の一つである.

本研究の主な貢献は以下の 2 点である.

(1) 事態性判別の問題設定 : 事態性判別，つまり事態を指しているかどうか曖昧性を判別する問題を設定し，事態性に関して曖昧性のない事例を用いた事態性名詞の語彙統語パターンのマイニング手法を提案した。

(2) 事態性名詞の項同定に有効な素性の提案：事態性名詞の項構造と述語の項構造の関連性に着目し，2つの種類の素性を新たに提案した. 特に動詞と格要素の共起が事態性名詞の項構造解析に有効かどうか検証し， 項同定 ${ }^{2}$ の正解率向上に役立つことを示した. 動詞と格要素の共起を用いて項同定の正解率が向上したという報告はこれまでにない。また，支援動詞構文のとき事態性名詞と述語が同じ項を共有する現象に着目し，項の対応をつけた辞書を作成して，事態性名詞の項同定に有効かどうか検証した。先行研究では明示的に支援動詞構文に関する資源を作成していないが，支援動詞辞書の整備が事態性名詞の項同定に有効であることを示した.

本論文の構成は以下のようになっている。まず 2 節で事態性名詞の項構造解析の先行研究について紹介する。本研究では事態性名詞の項構造解析を (1) 事態性判別 (2) 項同定の 2 つの処理に分けて解く． 3 節でこの問題を解決するための方針について議論し，4節で事態性の曖昧性のない事例を用いた事態性名詞の語彙統語パターンのマイニング手法を提案する．5 節で項同定のための動詞と格要素の共起の活用と支援動詞構文の利用について述べる.

## 2 関連研究

(Grimshaw 1990)は動詞と同様事態を指す名詞のことを event nominal （事態名詞）と呼び, result nominal （結果名詞）$\cdot$ simple event nominal (単純事態名詞) $\cdot$ complex event nominal (複雑事態名詞）の3つに分類した．結果名詞とは，「梅干」のように「梅を干してできたもの」という結果物を指す名詞であり，単純事態名詞とは「運動会」のように意味役割を持たない名詞である.「推薦」のように「誰が誰を誰に推薦した」という event structure（事態構造）を持つ複雑事態名詞 3 だけが項（必須格）を持つ 4 。このように，事態を指しかつ項を持つ名詞の存在は古くから知られていた。近年この現象に対する自然言語処理的観点からの関心が高まり，複数の言語でコーパスが整備されるに至った，以下で，英語・中国語・日本語における事態性名詞の項構造解析の関連研究について述べる.

## 2.1 英語における事態性名詞の項構造解析

Macleod らは 1997 年から動詞の名詞化に注目し, 高いカバー率の情報抽出を目的とした事態性名詞の辞書 NomLex の作成に着手した (Macleod, Meyers, Grishman, Barret, and Reeves 1997). NomLex は 2001 年に完成・公開され，NomBank プロジェクトに引き継がれる． NomBank は NomLex と同じく英語における動詞の名詞化に着目したコーパス (Meyers, Reeves, Macleod, Szekely, Zielinska, Young, and Grishman 2004c, 2004b) であり, Penn Treebank (Marcus, Santorini, and Marcinkiewicz 1993) に対しPropBank ら (Palmer, Kingsbury, and Gildea 2005) の仕様に従って項構造が付与されている. Meyers らは 2007 年 Penn Treebank II に対するアノテーションを終了し, NomBank 1.0 を公開した。 2008 年と 2009 年の CoNLL 共通タスクでは, NomBankコーパスを用いた事態性名詞の項構造解析もタスクの一つとして行われた.

NomBank を用いた事態性名詞の項構造解析は (Jiang and Ng 2006) や (Liu and Ng 2007) がある. Jiang らは NomBank に対し, 最大エントロピー法を用いた教師あり学習による項構造解析を行った，彼らは PropBank を用いた動詞に対する意味役割付与 (Semantic role labeling) において有効性が確認されている素性に加え, 名詞の語幹やクラスといった事態性名詞についての意味素性や, 支援動詞構文を認識するための述語との位置関係といった統語素性, そして項構造を正しく認識するための項同士の依存関係に関する大域素性を用いた．Liu らは Jiang らの用いた素性をべースに半教師あり学習手法の Alternating Structure Optimization (ASO) (Ando and Zhang 2005) を適用した. ASO は解くべき問題に関連する補助問題を作成することで経験リスク最小化を行う手法であり, 彼らの研究では事態性名詞の項構造解析に有効なさまざまな補助問題が提案されている.

自然言語処理の評価型ワークショップ CoNLL 2008, 2009 では, PropBank と NomBank を用いた述語と事態性名詞に対する項構造解析の共通タスクが行われた。CoNLL 2009 には 20 チー ムが参加するなど，事態性名詞の項構造解析は活発に研究されている.

## 2.2 英語以外の言語における事態性名詞の項構造解析

英語以外の言語における事態性名詞の包括的な研究としては, Xue らによる Chinese Nombank (Xue 2006a) がある. これは英語以外における初めての大規模な事態性名詞のコーパスである.

このコーパスを用いた解析として (Pradhan, Sun, Ward, Martin, and Jurafsky 2004; Xue 2006b) がある. 日本語のサ変名詞と同様, 中国語では動詞と動詞化された名詞は同じ表層形を持つため, 動詞化された名詞は対応する動詞と共通の項構造を持つと仮定すると, 動詞に関する資源を事態性名詞に流用することができる。(Xue 2006b) では，単純に動詞の事例を事態性名詞の事例に追加して実験したところ，同じ事態を指す表現であっても，動詞として使われる場合と名詞として使われる場合では語彙統語パターンが大きく違い，かえって性能が下がった，

と報告している。我々は日本語を対象に，大量に自動獲得した動詞と格要素の共起を用いて事態性名詞の項同定を行い，大きく正解率を向上させることに成功した。また，事態性名詞に特徵的な語彙統語パターンを用いることでさらに性能を改善させた.

一方，日本語においては (黒橋 2005) によって, 京都テキストコーパス第 4.0 版の一部, 約 5,000 文に事態性名詞を含む名詞間の関係夕グが付与された。(笹野，河原，黒橋 2005) は自動構築された名詞の格フレーム辞書の評価として事態性名詞の項同定を行った．彼らは事態性名詞のみについての結果を報告していないため，直接比較することはできないが，我々は事態性名詞の解析に焦点を当て，事態性判別の問題を解いた点，動詞と格要素の共起の情報を用いた点, および事態性名詞に特徴的な語彙統語パターン（支援動詞構文）を用いた点が異なる.

## 2.3 NAIST テキストコーパス

我々は事態性名詞の項構造解析の問題に対し, NAIST テキストコーパス (飯田他 2007) を用いた教師あり学習を行った。このコーパスでは, 文章中の各事態性名詞について事態性の有無を判別し, 事態性がある場合には項構造（必須格となるガ格・ヲ格・二格）の情報が付加されている。たとえば図 1 のような記事に対して,

$
\begin{aligned}
& {[\mathrm{REL}=\text { 管理 }(\text { する)，ガ=〈外界〉， ヨ=リスク }]} \\
& {[\mathrm{REL}=\text { 調査 }(\text { する), ガ=B I S， ヨ=実態 }]}
\end{aligned}
$

のような情報が付与されている。項に関しては,「管理」のヲ格「リスク」や「調査」のガ格「B I S」のように, 項が文内に出現している場合はそれが形態素単位で指示される。また, 「調査」 のヲ格「実態」のように，文外に出現する項でも記事内で特定できる場合はその要素が指示される。 さらに「管理」のガ格のように，必須格で，かつ文内にも記事内にも出現していない場合は特別な〈外界〉タグが付与されている.

現在公開されている NAIST テキストコーパス $1.4 \beta{ }^{5}$ は京都テキストコーパス 3.0 全体約 4 万文に対してタグ付与されており, 京都テキストコーパス 4.0 と比較して大規模な学習を行うことができるという利点がある。

リスク管理の必要性が強く叫ばれているが、市場の実態が把握できていないため打つ手がないのが実情。B I S が昨年春から調査の手法について検討していた。

図 1 NAIST テキストコーパスの事態性名詞のアノテーション

(Taira, Fujita, and Nagata 2008) は NAIST テキストコーパスを用いて構造学習を述語項構造解析および事態性名詞の項同定に適用した結果を報告しているが，彼らは事態性判別の問題を解いていない．また，比較的項同定が難しいガ格について報告せず， 格と二格に対する結果しか議論していない.

## 3 事態性名詞の項構造解析へのアプローチ

事態性名詞の項構造解析を述語項構造解析と比較すると, (1) 名詞の多義性の問題 (2) 解析対象の問題 (3) 格助詞の問題がある.

1 つ目の多義性の問題とは, 事態性名詞の中には文脈によって事態を指す用法と指さない用法といずれも持つ名詞があるため, 曖昧性を解消しなければならないという問題である。たとえば「私は公衆電話で電話をすることがめっきり減った」という文6では, 電話はモノとしての電話であり，これ自体はなんらかの事態を指す用法ではないが, 電話は「電話をする」という行為であり,「私ガ（誰か）二電話をする」という事態を指し, 後者の場合のみ項が存在する. サ変名詞に限定すると, 事態性のある場合は動詞としての用法を考えたときの項構造を基本的に受け継ぐ7ため，文脈中でのこれらの項を同定したい.

2 つ目の解析単位の問題とは, 項の単位の問題である. 日本語の述語項構造解析では主辞が項になるため，項候補として主辞のみを解析対象に加えればよいが，事態性名詞においては主辞以外も項になりうる．たとえば，「民間支援が活性化する」では，事態性名詞支援の項のヨ格が同一文節内の主辞以外の形態素民間を指しており，主辞のみを対象にするとこのような事例を解析することができない.

(飯田他 2007)によると, 述語は同一文節内に項が現れることはほとんどなく, 特にヲ格と二格においては 8 割以上係り受け関係にある文節の主辞が項になっている。一方, 事態性名詞のヲ格とニ格はそれぞれ $50.6 \%, 43.6 \%$ が同一文節内に項を持つ.このことから, 述語項構造解析で有効な統語的素性が事態性名詞の項構造解析で有効であるとは限らないことが示唆される. この問題への対策の一つとして，動詞と格要素の共起という意味的な情報を用いることが考えられる。

3 つ目の格助詞の問題とは，述語項構造解析では明示的に格助詞（ガ・ヲ・ニ）が出現した場合はその格助詞が項同定の強い手がかりになるのに対し, 事態性名詞の項構造解析においては，ほとんどの場合項は格助詞によってマークされていない，という問題である。これは述語におけるゼロ照応解析と同様の問題であり, 文の構造を利用したゼロ照応解析 (Iida, Inui, and

Matsumoto 2006) と同じく, 項同定処理に文内の構造情報を用いることが有効であると考えられる. 特に支援動詞構文のとき，事態性名詞と述語は項を共有するので，明示的な格助詞を伴う述語の項構造を解析に用いることができる。

さて，事態性名詞の項構造解析をするに当たり，我々はまず (1)の問題に対応する事態性判別を行い，その後事態性のある事態性名詞に限って項構造解析を行うという手順で問題を解く.

このようにモデルを分ける利点は, 事態性判別は語義曖昧性解消の問題であり, 項同定と別の素性を用いた解析が有効たと考えられ，モデルを分けることにより事態性判別に特徴的な統語素性を用いることができる点である8.

事態性判別は文中に出現する事態性名詞を事態性あり／なしの 2 クラスに分類する問題なので，事態性に関する曖昧性のない事例を用いて教師なしのパターンマイニングを行うことができる。語義曖昧性解消タスクにおいては曖昧性のある単語周辺の単語の分布が有効な素性であることが知られており，大規模なコーパスから文脈素性を学習することが本タスクにおいても有効であることが期待される。そこで，本論文ではこの方法に従って事態性判別の夕スクと項同定のタスクを分けて扱う手法を提案する。

## 4 事態性判別

事態性名詞には，「リスク管理」や「彼の決断」のように，事態性名詞と同一文節内や係り受け関係にある文節内に項が存在することが多く, こういった名詞の出現パターンを利用することによって事態性判別の精度が向上すると考えられる。

そこで，名詞の出現パターンを捉えるための手段として BACT (Kudo and Matsumoto 2004) （実装は bact ${ }^{9}$ ）を用いて事態性のある名詞と事態性のない名詞との出現パターンを学習することを考えた．BACT は木構造の訓練事例を学習させることによってブースティングで訓練事例の判別に効果の高い重み付き部分木を順次選択するアルゴリズムであり，文の構造を木構造に変換して素性として入れることによって, 訓練事例の判別に効果が高い構造をルールとして学習できる。

## 4.1 事態性名詞の語彙統語パターンの学習

事態性名詞の語彙統語パターンの獲得には, 名詞の出現する前後 3 形態素, 名詞の出現する文節および係り元の文節の形態素列を木構造にして分類器を作成した。事態性に関する曖昧性

がない事例として, 日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997) にサ変動詞として登録されている用言のうち, 一般名詞意味属性体系の「名詞-抽象-事-\{人間活動，事象 $\} 」$ ノードの下にあり，かつそれ以外のノードの下にない 2,253 名詞を曖昧性のない事態性名詞として正例にした．ランダムに 200 個サンプリングして調べたところ， $97 \%$ がサ変名詞，残りの $3 \%$ が動詞由来の名詞で事態性名詞であった。また，一般名詞として登録されている名詞のうち「名詞-具体」ノードの下にあり，かつそれ以外のノードの下にない名詞と固有名詞合わせて 194,098 名詞を曖昧性のない非事態性名詞として負例にした. 同じくランダムに 200 個サンプリングして調べたところ， $16.5 \%$ が一般名詞， $73.5 \%$ が固有名詞で非事態性名詞であった. たとえば「商品取引」の出現パターンは図 2 のような木構造になり, 正例として訓練事例に追加する。

学習には新聞記事約 1 ヶ月分 (毎日新聞社 2002) (正例：117,581 事例, 負例：282,419 事例) を使用し，正例および負例を分類するに当たっての重みが高いルール 6 つを獲得した．獲得したルールは表 1 に示した。重みの絶対値が大きければ大きいほど, 事態性判別に効果が高いと考えられる。

図 2 「商品取引」のパターンの例

表 1 事態性判別に有効な素性として獲得したパターンの例

## 4.2 実験

事態性の判別には語義曖昧性解消で最もよい性能を示している Support Vector Machines (Vapnik 1998）（実装は TinySVM ${ }^{10}$ ）を用い，文脈に応じた事態性名詞の事態性を学習した．多項式 2 次カーネルを使用し，その他のパラメータはデフォルト值を用いた。評価は精度・再現率・ $\mathrm{F}$ 値（精度と再現率の調和平均）で行い，10 分割交差検定によって事態性の有無の判別性能を見た。評価事例には NAIST テキストコーパスから新聞記事 80 記事（800 文）を用いた。含まれる事態性名詞は 1,237 個（うち 590 個が事態性ありの事例）あった. ベースラインには各名詞に対してコーパス中で最も頻度が高い語義を正解としたモデルを用い，BACT によってマイニングした名詞の出現パターンを用いたモデルと比較した. 使用した素性は表 2 にまとめた.

教師なしでマイニングした語彙統語パターンの有効性を示すため，表 3 に事態性判別の実験結果を示した. 提案手法はべースラインより再現率は劣るものの, 精度を大幅に向上させ, $\mathrm{F}$ 值で約 5\%改善することができた，名詞の語彙統語パターンを用いない場合（表 2 の文節内素性と文節外素性のみを用いた場合)，ベースラインより精度は上がるものの再現率は大幅に低下し，文節内の品詞情報など局所的な文法知識が事態性名詞の判別に効果が高いことを示している.

表 2 事態性判別に用いた素性

## 文節内素性

事態性名詞の分類語彙表 (国立国語研究所 2004) 中での分類項目事態性名詞が複合名詞であったとき，各名詞についての分類語彙表中の分類項目の上位 4 桁

## 文節外素性

事態性名詞の前後 1 文節の形態素列

$\lceil\mathrm{A} の \mathrm{~B} 」$ (例：税の軽減）の形のとき, $\mathrm{A}$ に当たる名詞の分類語彙表中の分類項目の上位 4 桁

## 名詞の語彙統語パターン

同一文節中にサ変名詞+サ変名詞がある

後ろにサ変名詞がある

後ろに助詞+サ変名詞が続く

前にサ変名詞がある

後ろに名詞の接尾辞がある

前にサ変名詞，後ろに助詞がある

表 3 事態性判別実験結果

## 4.3 エラー分析

事態性がある事例にも関わらず事態性がないと判別を誤った事例に次のようなものがあった.
- 「野良黒山の会」のリーダー、木場将弘さん方では、妻の和枝さんらが現地と電話のやり取りを続けた。
- 自民党の渡辺美智雄元副総理・外相は四日、宇都宮市で講演、七月の参院選について「社会党と連合が独占している二十三選挙区でも自民党から候補者を擁立すべきだ。連立政権は政権。選挙は選挙だ」と述べ、選挙協力よりも独自候補擁立を優先すべきだとの考えを示した。

これらの事例はいずれも文内に項があるにも関わらず事態性判別を誤った事例であり, 事態性判別に項同定の情報を用いていないために判別に失敗している。これらの事例に正解するためには, 事態性判別と項同定を同時に最適化する必要がある. 解決策として, (Iida et al. 2006) の提案する述語のゼロ照応解析で用いられている探索先行分類モデルを適用し, まず最尤の項候補を求め項同定を先に行った上で事態性判別の一素性として用いる方法や, Markov Logic Network を用いて事態性判別と項同定を同時に行う (Meza-Ruiz and Riedel 2009) といった方法が考えられるが, どのようにするべきかは今後の課題である.

## 5 事態性名詞の項同定に有効な素性の検討

3 節で述べたように, 事態性名詞の項同定は述語の項同定と異なり, 述語項構造解析で有効であった文法的素性が必ずしも有効であるとは限らない。そこで, 動詞と格要素の共起といった意味的素性を用いることを提案する。また, 事態性名詞の項は述語の項と違い格助詞を伴わないという問題に対し, 支援動詞構文において事態性名詞と述語が項を共有する現象に着目し,支援動詞辞書を作ることにより，項の対応関係を認識する手法について述べる.

## 5.1 動詞と格要素の共起の利用

事態性名詞のうち, 対応する動詞がある名詞, たとえばサ変名詞（例：推薦）や動詞由来の名詞（例：動き）の項構造は動詞の項構造と類似しており, 事態性名詞の項同定に動詞に関する知識が有効であろうと考えられる.

述語においてはヨ格の $84 \%$ とニ格の $88 \%$ が係り受けの関係にある文節に項を持つが，事態性名詞においてはそれぞれヲ格の $31 \%$, 二格の $22 \%$ しか係り受け関係の文節に項が存在しない (飯田他 2007). それに加え, 述語では項は普通格助詞ヲやニを伴って出現するため, 表層の格助詞が大きな手がかりとなるが，事態性名詞の項は明示的に格助詞を伴わない.

この問題に対処するため，まず开変名詞とそれに対応する動詞が意味的には共通の項を持つ

ことを仮定し, 動詞と格要素の共起情報を事態性名詞の項同定に用いる11.この手法の利点は,係り受け解析器を用いることで大規模なラベルなしデータから自動的に獲得した共起を獲得し，完全に教師なしに行うことができる点である.

動詞と格要素の共起のモデル化は (藤田, 乾, 松本 2004)のモデルに従った. このモデルは, 名詞 $n$ が格助詞 $c$ を介して動詞 $v$ に係っているときの共起確率 $\mathrm{P}(\langle v, c, n\rangle)$ を推定するため, $\langle v, c, n\rangle$ を $\langle v, c\rangle$ と $n$ の共起と見なす.しかしながら，一般に動詞と格要素の共起事例は非常に疎なので, pLSI(Hoffman 1999)を用いてスムージングを行う.

$
P(\langle v, c, n\rangle)=\sum_{z \in Z} P(\langle v, c\rangle \mid z) P(n \mid z) P(z)
$

$Z$ は共起に関する潜在的な意味クラスを指す確率変数で, 確率分布を用いて単語行列を $|Z|$ 次元に圧縮していることに相当する. $P(\langle v, c\rangle \mid z), P(n \mid z), P(z)$ は $\mathrm{EM}$ アルゴリズムによって求められる。

共起尺度としては自己相互情報量 (Hindle 1990) を用いる.

$
P M I(\langle v, c\rangle, n)=\log _{2} \frac{P(\langle v, c, n\rangle)}{P(\langle v, c\rangle) P(n)}
$

共起尺度の利用に関しては，相対的な共起の強さを用いて項らしさを判定する。そこで，これらの共起尺度により計算されたスコアは, 最尤候補に対する相対値として素性に取り込む。具体的には，項候補となる名詞句をぺアに対し，それらの共起スコアの差（実数値，およびそれを離散化したもの）を素性として用いる。

本論文では藤田らに倣い，新聞記事延べ 19 年分のコーパスから係り受け解析結果を抽出し, $|Z|=1000$ としてモデルを作成した.

事態性名詞と項の共起の分布を調べた予備実験において, 固有名詞を中心に, 動詞と格要素の共起モデル中に出現しなかった事例が全体の $18 \%$ あった。 そこで，共起スコアを計算することができなかった名詞と，共起スコアが負であった名詞に関して，CaboCha の出力する固有表現ラベルおよび ChaSen で品詞が固有名詞であると判定された名詞に対しては，固有表現クラスで推定した共起スコアを用いてスムージングした ${ }^{12}$.

## 5.2 支援動詞辞書の作成

支援動詞構文は述語と事態性名詞が項を共有する統語パターンであり，述語に係る名詞句の格助詞の情報を使うことによって性能を向上させることができると考えられる，そこで，我々は事態性名詞と述語の間で項の対応がついた辞書（支援動詞辞書）を作成し, 支援動詞構文の

認識に用いた。事態性名詞の $21.7 \%$ は支援動詞構文で使われており, 述語項構造解析で有効な格助詞に関する情報を活用できると予想される.

NomBank をコーパスとして用いた分析として, (Meyers, Reeves, and Macleod 2004a)は, 多くの名詞化された動詞は支援動詞構文にあり，主動詞と項を共有することを指摘した ${ }^{13}$. (Jiang and Ng 2006) も同じ現象に着目し，機械学習の素性として支援動詞構文を検出する素性を提案した.

しかしながら，支援動詞構文となる述語は限られており，人手で書き尽くすことができるため, 我々は事態性名詞と述語の間で項を共有するようなぺアについて辞書を作成し，どのような項の対応関係になっているか, という情報を付与して用いることにした.

太郎， ヨ=電話，ニ=花子] であり，事態性名詞の項構造は $[\mathrm{REL}=$ 電話（する）, ガ=太郎 ] である。この場合，述語「する」と事態性名詞「電話」は項「太郎」をそれぞれガ格で共有する.表 5 はこの場合支援動詞辞書のどのエントリにマッチしているのか示した。また，「彼が彼女に勉強を教える」という文では，述語「教える」は事態性名詞と項を共有しているが，述語の二格「彼女」は事態性名詞ではガ格となり (「彼女」ガ「勉強（する）」，格の交替が起きる．表 6 には格交替が起きる場合の項の対応を示した.

NAIST テキストコーパスには異なり 2,173 個，延べ 8,190 個の支援動詞構文の事例が見られた. 頻度上位 10 件の支援動詞構文を表 4 にまとめた. ここから分かるように，実際のコーパスに出現する支援動詞は，いわゆる機能動詞結合で用いられる機能動詞より広い概念である。た

表 4 支援動詞構文の頻度上位 10 件. S, N, E はそれぞれ共有された項, 共有されていない名詞句, 事態性名詞を表す

_{1}$ と $\mathrm{XP}_{2}$ を取り， $\mathrm{XP}_{2}$ が $\mathrm{NP}_{1}$ の主辞の項となって
} いる場合を指す。
表 5 「する」の支援動詞辞書項目と「太郎が花子に電話をする」の項対応. Eには共通の事態性名詞が， Sには共有される項が入る。このエントリはニ格の共有に関する情報は入っていない

表 6 「教える」の支援動詞辞書項目と「彼が彼女に勉強を教える」の項対応． Eには共通の事態性名詞が，Sには共有される項が入る。二格とガ格で格の交替が起きている

とえば，「太郎が電話を続ける」においては，「太郎が電話する」という事態が継続していることを示し, 「続ける」は継続の意味を失っていない. このように, 支援動詞構文にある事態性名詞と述語の示す事態の関係は，テンスやモダリティの付加などがあるが，このような動詞がいくつあり，どのような関係がありうるかは今後の研究課題である.

支援動詞辞書を作成するに当たって，Web 5 億文コーパス (Kawahara and Kurohashi 2006) から事態性名詞が直接係っている述語とその項を 200 万事例抽出した ${ }^{14}$. そのうち, 頻度上位 2,000 件（抽出された 200 万事例中, 延べ $80 \%$ をカバー）を対象に, 事態性名詞が述語と項を共有しているかどうかを判断した。具体的には，述語と事態性名詞のそれぞれの格（ガ・ヲ・ニ） について，事態性名詞の含まれる格と，共有している場合には共有している格の対応関係の情報を付与した. 項対応の判断に関しては, Webコーパス中から取得した周辺文脈を補助的に用い，周辺文脈頻度上位 5 件中 3 件以上で成り立つ場合のみ対応関係を付与した。

## 5.3 実験

事態性名詞に特徴的な語彙統語パターンの情報を用いることで, 項同定の性能が向上することを示す実験を行った。述語項構造解析のトーナメントモデル (Iida, Inui, and Matsumoto 2005) を事態性名詞の項構造解析に適応し, 事態性名詞の項同定システムを作成した.トーナメントモデルに用いる三つ組は事態性名詞, 正解の項, そして項候補である。各三つ組に対し, このシステムは訓練時どちらの候補が勝つか, そしてそれを特徴づける素性を学習する。テスト時には項の候補を順に試し，トーナメントで最後まで勝ち残った候補をシステムの予測する項として提示する.

今回ベースラインシステムと提案する 3 つのモデルを比較した.

ベースラインシステムで用いた素性は表 7 に示した。使用した素性は (Iida et al. 2006) に準じ，事態性名詞で計算することのできない素性 15 は使用しなかった．使用した素性は表 7 にまとめた.

事態性名詞の項同定は形態素単位で行うため，文節内の位置の素性，同一文節内の他の形態素の品詞列の素性を追加した。また, (村木 1990) に掲載されている機能動詞 128 表現を用い,事態性名詞が機能動詞に係っているかどうかの素性と, 機能動詞に係っている場合に機能動詞と項が係り関係にあるかどうかの素性を追加した。本論文で新しく導入された素性にはアスタリスクを付した。

また，実験に用いたデータは NAIST テキストコーパスから新聞記事 1 日分（137 記事，延べ 847 個の事態性名詞， 97 個の支援動詞構文）を訓練事例，それとは異なる 1 日分（150 記事，延べ 722 個の事態性名詞， 113 個の支援動詞構文）を評価事例に用いた。実験に用いた機械学習器は Support Vector Machines (Vapnik 1998)であり，実装は TinySVM ${ }^{16}$ ，多項式 2 次カーネルでパラメータはデフォルト値を使用した.

支援動詞辞書と共起モデルの有効性を示すため，各モデルについてそれぞれの格における正解率を求め，表 8 に示した。ガ・ヲ・二格を対象に，それぞれ文内に項を持つ事例のみを訓練・

表 7 項同定に用いた素性リスト

 & 事態性名詞と項の距離（形態素単位） \\

^{\text {taku/Software/TinySVM/ }}$
}
表 8 事態性名詞の項同定タスクの正解率

テストに用い，項同定の正解率で評価した。「+共起モデル」はベースラインモデルに加え，共起のスコアを実数値の素性として Support Vector Machines に適用したものであり，「+支援動詞辞書」はテスト事例で支援動詞辞書にマッチする項目がある場合, SVM によるトーナメントモデルを用いず，辞書に対応する述語の項をそのままシステムの出力とした 17 もである.

共起モデルを用いた手法はどの格においてもべースラインより高い正解率を示した。また，支援動詞辞書を共起モデルと組み合わせたモデルはヨ格とニ格においてベースラインよりわずかながら高い正解率であった.

## 5.4 議論

支援動詞辞書を用いてもっとも効果が高かったのはガ格であるが，これは項の共有があった格のうち $92 \%$ はガ格であるためだと考えられる。テスト事例で支援動詞構文にあったもののうち，項と述語が係り受け関係にある事例は 38 事例であり， 75 事例（66\%）は省略解析の情報をタグ付きコーパスから取得できたことが精度向上に貢献していると考えられる。ここで示した精度は述語項構造が正しく解析できた場合の上限値であり，述語項構造を自動解析した場合は精度が低下することが考えられるが，実際に省略解析をどのように行い，どのような結果を得るかは解析に採用する解析モデルに依存する.

一方， ヨ格とニ格において，支援動詞辞書を用いるとべースラインシステムより性能が悪くなった。 ヨ格で支援動詞辞書の効果がなかった理由としては， ヲ格の $90 \%$ が既に事態性名詞と同一文節内にあるか係り受け関係にある文節に存在し, 明示的に項の交替関係をモデル化する必要がなかったということが推測される。また, 支援動詞の項の共有情報を素性として用いた実験を行ったところ，ガ格と二格ではべースラインと正解率は変わらず，ヲ格では正解率の低下が見られた。

支援動詞辞書の効果が格によって異なっている原因を調べるため, 支援動詞辞書のみのシステムの性能を求めた. Webコーパスから作成した支援動詞辞書のカバー率は, 新聞記事分野で作成した事態タグつきコーパスに対して $49 \%$ であった。支援動詞辞書のパターン対にマッチ

する事態性名詞に対し, 支援動詞辞書のみを用いた項同定システムの性能を計ると精度は 0.72 ,再現率は 0.35 であった. ヨ格と二格に対してはこの精度はべースラインの正解率を下回っている. そのため, 支援動詞辞書の情報を用いるとヨ格と二格に関しては, 正解率が低下する可能性があることが分かった，実際，表 8 では，まさにチ格とニ格では支援動詞辞書を使うことによって正解率が低下している。この問題への対処法としては， ヲ格と二格に対しては，精度の高い支援動詞構文のみ用いることが考えられる. どのようにして効率的に支援動詞辞書を構築するかは今後の課題である.

提案手法の典型的な誤り事例は，局所的な項を適切に同定できないという誤りである.

-太郎が次郎の連勝を止めた

この例では正しい項構造は $[\mathrm{REL}=$ 連勝, ガ=次郎 $]$ だが，システムは $[\mathrm{REL}=$ 連勝, ガ=太郎 $]$ を出力した.これはこの事例が「Xを止める」という辞書項目にマッチし, 同一名詞句内にある候補「次郎」を解析しなかったためである。この問題に対処するには，局所的な候補から順番に項を探し，ふさわしい候補が見つからなかった場合に探索範囲を広げていく，といった階層的なモデルを用いることが考えられる.

## 6 おわりに

本論文で, 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析について述べた。本論文では項構造解析のタスクを 2 つに分け，マイニングした語彙統語パターンを用いた事態性名詞の事態性判別手法を提案した。また，動詞と格要素の共起と事態性名詞に特徴的な語彙統語パターンが事態性名詞の項同定に有効であることを示した.

提案手法では事態性判別は精度 $76.6 \%$, 再現率 $79.6 \%$ で行うことができる. また, 項同定も文内の項ではガ格・ヨ格・二格それぞれ $68.3 \% \cdot 80.1 \% \cdot 74.6 \%$ の正解率で解析でき，ある程度実用的に項構造解析を行うことができた．まだ高速化・精度改善の余地はあるが，本研究をべー スに情報抽出などの応用に用いる下地ができたと考えている.

今後は形態素解析から固有表現抽出, 係り受け解析までを含めて同時に最適化を行う手法の研究や, 項の間の依存関係を考慮した項同定モデルの研究が課題である.

## 謝 辞

本研究の一部は科研費特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築」 の助成を受けたものである。Web から取得した 5 億文データを使用させてくださった河原大輔氏に感謝する。また，新聞記事から抽出した動詞と格要素の共起モデルおよび自己相互情報量の計算プログラムを利用させてくださった藤田篤氏にお礼申し上げる.

## 参考文献

Ando, R. K. and Zhang, T. (2005). "A Framework for Learning Predictive Structures from Multiple Tasks and Unlabeled Data." Journal of Machine Learning Research, 6, pp. 1817-1853.藤田篤, 乾健太郎, 松本裕治 (2004). 自動生成された言い換え文における不適格な動詞格構造の検出情報処理学会論文誌, 45 (4), pp. 1176-1187.

Gildea, D. and Jurafsky, D. (2002). "Automatic Labeling of Semantic Roles." Computational Linguistics, 28 (3), pp. 245-288.

Grimshaw, J. (1990). Argument Structure. MIT Press.

Hindle, D. (1990). "Noun Classification from Predicate Argument Atructures." In Proceedings of the 28th Annual Meeting of the ACL, pp. 268-275.

Hoffman, T. (1999). "Probabilistic latent semantic indexing." In Proceedings of the 22nd Annual ACM Conference on Research and Development in Information Retrieval, pp. 50-57.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳文, 林良彦（編）(1997).日本語語彙大系. 岩波書店.

Iida, R., Inui, K., and Matsumoto, Y. (2005). "Anaphora resolution by antecedent identification followed by anaphoricity determination." ACM Transactions on Asian Language Information Processing (TALIP), 4 (4), pp. 417-434.

Iida, R., Inui, K., and Matsumoto, Y. (2006). "Exploiting Syntactic Patterns as Clues in ZeroAnaphora Resolution." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL (COLING-ACL), pp. 625-632.

飯田龍, 小町守, 乾健太郎, 松本裕治 (2007). NAIST テキストコーパス: 述語項構造と共参照関係のアノテーション情報処理学会研究会報告 (自然言語処理研究会), pp. 71-78. NL-177-10.

Jiang, Z. P. and Ng, H. T. (2006). "Semantic Role Labeling of NomBank: A Maximum Entropy Approach." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP).

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the fifth International Conference on Language Resource and Evaluation (LREC), pp. 1344-1347.

国立国語研究所 (2004). 分類語彙表. 大日本図書株式会社.

Kudo, T. and Matsumoto, Y. (2004). "Boosting Algorithm for Classification of Semi-Structured Text." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 301-308.

黒橋禎夫 (2005).～京都テキストコーパス Version 4.0. http://nlp.kuee.kyoto-u.ac.jp/nl-
resource/corpus.html.

Liu, C. and Ng, H. T. (2007). "Learning Predictive Structures for Semantic Role Labeling of NomBank." In Proceedings of the 46th Annual Meeting of the ACL.

Macleod, C., Meyers, A., Grishman, R., Barret, L., and Reeves, R. (1997). "Designing a Dictionary of Derived Nominals." In Proceedings of Recent Advances in Natural Language Processing.

毎日新聞社 (2002). 毎日新聞. 毎日新聞社.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19 (2), pp. 313-330.

Meyers, A., Reeves, R., and Macleod, C. (2004a). "NP-External Arguments: A Study of Argument Sharing in English." In Proceedings of the ACL 2004 Workshop on Multiword Expressions: Integrating Processing, pp. 96-103.

Meyers, A., Reeves, R., Macleod, C., Szekely, R., Zielinska, V., Young, B., and Grishman, R. (2004b). "Annotating Noun Argument Structure for NomBank." In Proceedings of the 4th International Conference on Language Resources and Evaluation (LREC), pp. 803-806.

Meyers, A., Reeves, R., Macleod, C., Szekely, R., Zielinska, V., Young, B., and Grishman, R. (2004c). "The NomBank Project: An Interim Report." In Proceedings of the HLT/NAACL 2004 Workshop Frontiers in Corpus Annotation, pp. 24-31.

Meza-Ruiz, I. and Riedel, S. (2009). "Jointly Identifying Predicates, Arguments and Senses using Markov Logic." In Proceedings of Humal Language Technologies: The 2009 Annual Conference on the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2009), pp. i155-163.

村木新二郎 (1990). 日本語動詞の諸相. ひつじ書房.

Palmer, M., Kingsbury, P., and Gildea, D. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Pradhan, S., Hacioglu, K., Krugler, V., Ward, W., Martin, J. H., and Jurafsky, D. (2005). "Support Vector Learning for Semantic Argument Classification." Machine Learning, 60 (1-3), pp. 11-39.

Pradhan, S., Sun, H., Ward, W., Martin, J. H., and Jurafsky, D. (2004). "Parsing Arguments of Nominalizations in English and Chinese." In Proceedings of the HLT/NAACL.

笹野遼平, 河原大輔, 黒橋禎夫 (2005). 名詞格フレーム辞書の自動構築とそれを用いた名詞句の関係解析自然言語処理, 12 (3), pp. 129-144.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese Predicate Argument Structure Analysis using Decision Lists." In Proceedings of Conference on Empirical Methods in Natural

Language Processing (EMNLP 2008), pp. 522-531.

Vapnik, V. N. (1998). The Statistical Learning Theory. Springer.

Xue, N. (2006a). "Annotating the Predicate-Argument Structure of Chinese Nominalizations."

In Proceedings of the fifth International Conference on Language Resource and Evaluation (LREC), pp. 1382-1387.

Xue, N. (2006b). "Semantic Role Labeling of Nominalized Predicates in Chinese." In Proceedings of the HLT-NAACL, pp. 431-438.

## 略歴

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 博士後期課程に進学. 修士 (工学)。2008 年より日本学術振興会特別研究員 (DC2). 大規模なコーパスを用いた意味解析に関心がある。言語処理学会第 14 回年次大会最優秀発表賞受賞. 人工知能学会, 情報処理学会, ACL 各会員.

飯田龍：2007 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年より奈良先端科学技術大学院大学情報科学研究科特任助教. 2008 年 12 月より東京工業大学大学院情報理工学研究科助教. 現在に至る. 自然言語処理の研究に従事. 情報処理学会員.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 博士 (工学). 同研究科助手. 九州工業大学情報工学部助教授を経て, 2002 年より奈良先端科学技術大学院大学情報科学研究科助教授. 現在同研究科准教授, 情報通信研究機構有期研究員を兼任. 自然言語処理の研究に従事. Computational Linguistics 編集委員, 情報処理学会, 人工知能学会, ACL 各会員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 工学博士. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年 (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授. 現在に至る. 専門は自然言語処理. 人工知能学会, 日本ソフトウェア科学会, 情報処理学会, 認知科学会, AAAI, ACL, ACM 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# テキスト結束性を考慮した entity gridに基づく 局所的一貫性モデル

横野 光 ${ }^{\dagger}$ 奥村 学 $\dagger$
}

本論文では entity grid を用いたテキストの局所的な一貫性モデルに対する改善につ いて述べる. entity gridベースの既存モデルに対して, テキスト結束性に寄与する 要素である接続関係, 参照表現, 語彙的結束性, また, より詳細な構文役割の分類 を組み込んだモデルを提案し，その性能を検証する。語彙的結束性に関しては, 語彙的連鎖を用いたクラスタリングを行う。テキスト中の文の並びに対して，より一貫性のある文の順番の判定と，人手による評価に基づいた要約テキストの比較の 2 種類の実験を行い, その結果, 本論文で提案する要素が entity grid モデルの性能の 改善に寄与することが明らかになった.

キーワード：テキスト一貫性，テキスト結束性，テキストの評価
## Local Coherence Model Based on Entity Grid Augmented with Text Cohesion

\author{
Hikaru Yokono $^{\dagger}$ and Manabu Okumura ${ }^{\dagger}$
}

This paper describes improvements made to the entity grid local coherence model for Japanese text. We investigate the effectiveness of taking into account cohesive devices, such as conjunction, explicit reference relation, lexical cohesion, and refining syntactic roles for a topic marker in Japanese. To take into account lexical cohesion, we consider lexical chaining. Through the experiments on discrimination where the system has to select the more coherent sentence ordering, and comparison of the system's ranking of automatically created summaries against human judgment based on quality questions, we show that these factors contribute to improve the performance of the entity grid model.

Key Words: text coherence, text cohesion, text evaluation

## 1 はじめに

テキストの評価は, 自動要約や機械翻訳などのようなテキストを生成するタスクにおいて手法の評価として用いられるだけでなく，例えば人によって書かれた小論文の自動評価 (Miltsakaki and Kukich 2004) といったように，それ自体を目的とすることもある．言語処理の分野においては前者のような手法評価の観点からテキスト評価に着目することが多く，例えば自動要約の

評価で広く用いられている ROUGE (Lin and Hovy 2003; Lin 2004) や機械翻訳で用いられている BLEU (Papineni, Roukos, Ward, and Zhu 2002)のような評価尺度が存在している。これらの評価手法は特に内容についての評価に重点が置かれている。つまり, 評価対象のテキストが含んでいなければならない情報をどの程度含んでいるかということに焦点が当てられている.

しかし，実際にはテキストは単に必要な情報を含んでいれば良いというわけではない。テキストには読み手が存在し，その読み手がテキストに書かれた内容を正しく理解できなければ， そのテキストは意味をなさない. 読み手の理解を阻害する原因には, 難解な語彙の使用, 不適切な論理展開や文章の構成などが挙げられる。これらはテキストの内容に関する問題ではなく, テキストそのものに関する問題である。従って，テキストの内容が正しく読み手に伝わるかどうかを考慮するならば, その評価においては内容に関する評価だけでなく, テキストそのものについての評価も重要となる.

テキストそのものについての性質のうち, テキスト一貫性 (田窪, 西山, 三藤, 亀山, 片桐 2004）とは文章の意味的なまとまりの良さであり, 例えば因果関係や文章構造などによって示される文同士の繋がりである。意味的なまとまりが悪ければ，テキストの内容を読み手が正確に理解することが困難になると考えられる．このことから一貫性の評価はテキストの内容が正しく伝わることを保証するために必要であると言える。また，テキスト一貫性が評価できるようになると，テキストを生成するシステムにおいて，例えば，一貫性が良くなるように文章を構成したり, 一貫性の観点からの複数の出力候補のランク付けが可能となり, 出力するテキストの質を高めることができる。

テキスト一貫性は局所的な一貫性と大域的な一貫性という 2 種類のレベルに分類できる。局所的な一貫性とは相前後する 2 文間における一貫性であり，大域的な一貫性とは文章における話題の遷移の一貫性のことである。一貫性の評価に関しては, この局所的な一貫性と大域的な一貫性の両方についてそれぞれ考えることができるが，局所的な一貫性は大域的な一貫性にとつて重要な要素であり, 局所的な一貫性の評価の精度の向上が大域的な一貫性の評価に影響すると考えられる。

以上のことから, 本論文では, テキスト一貫性, 特に局所的な一貫性に焦点を当て, この観点からのテキストの評価について述べる.

テキストの性質について, テキスト一貫性と並べて論じられるものにテキスト結束性 (Halliday and Hasan 1976) がある. これは意味的なつながりである一貫性とは異なり, 文法的なつながりである。一貫性が文脈に依存しているのに対し, 結束性は脱文脈的で規則的な性質である (庵 2007). テキスト結束性に寄与する要素は大きく参照 ${ }^{1}$, 接続, 語彙的結束性 ${ }^{2}$ に分けられる. こ

れらはテキストの表層において現れる要素である.

一貫性は先に述べたように意味のまとまりの良さであり，これに寄与する要素は明示的な形では現れない。一貫性と結束性はどちらもテキストのまとまりに関する性質であり，それぞれが独立ではなく互いに関係している。従って，テキストの表層に現れる，結束性に関係する要素である接続表現や語彙的結束性を一貫性モデルにおいても考慮することで性能の向上が期待できる。

2 章で述べるように，局所的な一貫性に関する研究はテキスト中の隣接する文間の関係を単語の遷移という観点から捉えているものが多い. その中でも Barzilay ら (Barzilay and Lapata 2005,2008 ) の研究は, この領域における他の研究において多く採用されている entity grid という表現を提案しており, 先駆的な研究として注目に值する.しかし, 3 章で詳述するように, このモデルでは要素の遷移の傾向のみ考慮しており，テキストのまとまりに関係している明示的な特徴はほとんど利用されていない。そこで本論文では 4 章で詳述するように，一貫性モデルに結束性に関わる要素を組み込むことによって，結束性を考慮に入れた局所的な一貫性モデルを提案する。

## 2 関連研究

Barzilay ら (Barzilay and Lapata 2005, 2008)は局所的な一貫性のモデルとして entity grid を提案している.このモデルはテキスト中で述べられている要素の遷移に着目している. これは, センタリング理論 (Grosz, Weinstein, and Joshi 1995) で示されているように, 一貫性のあるテキストではその文中の要素の出現に規則性があるという考えに基ついている.

Elsner ら (Elsner and Charniak 2008)は, entity grid モデルがテキストの一貫性において要素の遷移にのみ着目しているということに言及し, 例えば参照表現や対象の要素がこれまでに既に述べられている要素かどうかなどといった他の要素をモデルに組み込んでいる. Filippova ら (Filippova and Strube 2007) は entity grid モデルに要素間の関係を考慮したモデルを提案し, このモデルをドイツ語の新聞記事に対して適用した結果を報告している.

大域的な一貫性について, Barzilay ら (Barzilay and Lee 2004) は隠れマルコフモデル (HMM) を採用したモデルを提案している。このモデルでは文章中の話題を HMM における隠れ状態と見なし, 話題の一貫性を隠れ状態の遷移確率によって表現している. Soricut ら (Soricut and Marcu 2006) や Elsner ら (Elsner, Austerweil, and Charniak 2007) は局所的な一貫性と大域的な一貫性を同時に考慮するモデルをそれぞれ提案している。これらのモデルは entity grid モデルと HMM を組み合わせたものである.

日本語の文章に対する一貫性の評価手法には, 板倉ら (板倉, 白井, 黒岩, 小高, 小倉 2008) の提案する段落の一貫性指標がある。これは段落内で用いられている単語間の意味的な関係に
基づいている.

これらの手法では文書中の単語の出現に着目してテキスト一貫性を評価しており, 1 章で述べたように一貫性に影響すると考えられる，テキスト結束性に関係する表層的な特徴は考慮されていない.

## 3 Entity Gridに基づく局所的な一貫性モデル

Barzilay ら (Barzilay and Lapata 2008) は，一貫性のあるテキストではその中で述べられる要素の出現の分布には規則性があるという仮説に基づいた一貫性のモデルを提案している。また, このテキスト中の要素の分布パターンを捉えるために, entity grid と呼ばれる表現を導入している。これは，テキストを，行に文を，列に文章中の要素をそれぞれ対応させた行列として表したものである。その各項には文における要素の構文役割が入る。用いられる構文役割は主語 $(\mathrm{S})$, 目的語 $(\mathrm{O})$, その他 $(\mathrm{X})$, 出現せず $(-)$ の 4 種類である. 図 1 に示すテキストに対応する entity gridを表 1 に示す.この一貫性モデルでは entity gridの作成の際に共参照解析を行い，異なる表現であっても同じ要素を指すものをまとめている。例えば，図 1 において $s_{1}$ の “BELL INDUSTRIES Inc.”と $s_{4}$ の “Bell” は同じ要素を指すと判定されると, それらの構文役割は表 1 の同じ列 ("BELL") に記述される.

局所的な一貫性の評価には entity grid を基に作られた文書べクトルを用いる. ベクトルの要素は文 $\mathrm{n}-\operatorname{gram}(n \geq 2)$ における構文役割の遷移確率と，構文役割の出現確率からなる. 構文役
$ increased [its quarterly $]_{O}$ to $[10 \text { cents }]_{X}$ from $[\text { seven cents }]_{X}[a \text { share }]_{X}$. $[\text { The new rate }]_{S}$ will be payable $[\text { Feb. } 15]_{\mathrm{X}}$. [A record date $]_{S}$ hasn't been set.

$[\text { Bell }]_{\mathrm{S}}$, based in [Los Angeles $]_{\mathrm{X}}$, makes and distributes [electronic, computer and building products $]_{\mathrm{O}}$.
}

図 1 テキスト例（Wall Street Journal から引用）

表 1 図 1 のテキストに対する entity grid

 &  &  &  &  &  &  &  \\

割の遷移を計算する際には，文書始めと文書終わりを含んだ遷移も考慮する。この確率は entity grid 中に存在する長さ $n$ の全ての構文役割の遷移の数に対する対象の長さ $n$ の遷移列の割合である。例えば，表 1 に示す entity gridにおいて，[S-] という遷移の確率は，長さ 2 の全ての遷移の数（即ち，50）に対する対象の遷移列（即ち，3）の割合から求められる（即ち，0.06）.

また，テキストにおいて頻出する要素は，そのテキストの話題に関連すると考えられ，そのような要素はそうでない要素とは異なる遷移の傾向を持つという仮定から, 出現頻度によってテキスト中の要素をグループに分け, それぞれのグループにおいて entity grid を作成している.連続する 2 文における遷移確率で構成された文書べクトル $d_{1}, d_{2}$ を図 2 に示す. 図中の “ 0 ”, “1”はそれぞれ文書始め，文書終わりを表す。

Barzilay らは構文役割を dependency parser を使って推定しているが，これに対して本論文では構文役割を格助詞によって決定する（表 2)，また，文書べクトルの作成において，考慮する構文役割の遷移は Barzilay らの手法と同様に文 3-gram までとした.

テキスト一貫性は，対象のテキストについて一貫性がある，一貫性がないといったように絶対的に評価することが困難であるため， Barzilay らはテキストの文の順番を局所的一貫性に基づいて順位付けすることで相対的に評価するモデルを提案している。テキストの順位付けにはスコア関数を導入し，その値を利用する。このスコア関数は，あるテキスト $d_{i}$ の文の順番を並べ替えて生成したテキストを $x_{i j}, x_{i k}$ とし， $x_{i j}$ の方が $x_{i k}$ よりも一貫性があるとしたとき，

$
\mathbf{w} \cdot \Phi\left(x_{i j}\right)>\mathbf{w} \cdot \Phi\left(x_{i k}\right)
$

という条件を満たすような関数である。この $\mathbf{w}$ の値は学習によって推定する。このパラメータの学習には ranking SVM が用いられる． $\Phi(x)$ はテキスト $x$ の一貫性に関する性質を表す素性ベクトルであり，具体的には上述のテキスト中の要素の遷移確率で構成された文書べクトルで

図 2 長さ 2 の遷移列に基づく文書べクトル

表 2 構文役割

ある.

モデルの評価は，テキストの文の順番を決定するというタスクを順位付け問題として定式化して行う。即ち，テキストを文の集合と見なし，それから生成できるテキストの順位付けを行う．元のテキストの順番で構成されたテキストの順位が最も高ければ，そのテキストに対する局所的な一貫性の良し悪しを正しく評価できたと見なす。しかし，実際には，同じテキストから生成された異なる文の順番を持つテキストの一貫性を比較することは困難であるため，元テキストとそのテキストから生成された異なる順番を持つテキストのぺアに対して比較を行い, どの程度元のテキストの方に高い順位を割り当てることができているかで評価する。

この一貫性モデルは，テキスト中の要素の遷移列のみに着目している。参照表現に関しては共参照解析を行い，異なる表現であっても同じ要素を指すものは同一の要素として扱っているが，接続表現や同義語，類義語といったテキストのまとまりに関係しているその他の明示的な特徴は利用されていない.

## 4 テキスト結束性に関わる要素と構文役割の拡張

本論文では, Barzilay ら (Barzilay and Lapata 2008)の局所的な一貫性モデルに対して, テキスト結束性に寄与する，テキストに表層的に現れる文法的要素を考慮することで，その性能の向上を図る。これにより，既存手法では “正しい一貫性を持つテキストの性質”に着目したモデルを構築していたのに対し, 本手法では“正しい結束性を持ち, 且つ, 一貫性を保っているテキストの性質”に着目したモデルを構築できると考えられる。具体的には， 1 章で述べたテキスト結束性に寄与する要素を，それぞれ，文書べクトルへの素性の追加，接続関係毎の遷移確率の計算, 意味的な類似性に基づく文中の要素のクラスタリングという形で, 局所的な一貫性モデルに組み込む。

また，構文役割について，日本語の主題表現を考慮に入れた拡張を行う.

## 4.1 接続関係毎の遷移確率の計算

本論文では文の展開において接続関係の種類毎に文中の要素の構文役割の遷移の傾向が異なるという仮説を立てる，例えば，ある時点までで主題として述べられていた要素は，話題転換後には全く出現しない, あるいは別の主題の補助的な役割として出現するということが考えられる。この仮説による特徴を捉えるために，文の接続関係毎に遷移確率を計算する.

文間の関係の推定には接続表現を利用する。テキスト中の隣接する文に対して，後ろの文の接続詞の種類によって文間の関係を決定する.

接続関係には市川の分類 (市川 1978)を採用し, これに基づいて接続詞を表 3 に示すグループに分類する。表中の括弧内の数字はそのグループに属する接続詞の数である．各グループへの
接続詞の対応付けは人手で行った。接続詞が存在しない場合はその 2 文間には連鎖型の接続関係があると見なす。

文間の関係の種類毎に遷移確率を計算するため, べクトルの素性の数は接続関係の数に比例して増加する。このことはデータのスパース性を導くと考えられるので，さらにこの 8 種類の分類を表 4 に示す文脈形成の関係に基づく 3 種類のグループにまとめる.

図 3 に示すテキストとその entity grid（表 5）から生成される長さ 2 の構文役割の遷移確率のベクトルの例を示す.ここで $s_{1}, \ldots, s_{4}$ は文であり, $e_{1}, \ldots, e_{3}$ は文中の要素, 図中の下付き文字はその要素の文中での構文役割である.

文 $s_{2}$ の文頭に接続詞 “そして”があり，この接続詞は添加型に属するため， $s_{1}$ と $s_{2}$ 間の関係は Group 2 となる. $s_{2}$ と $s_{3}$ 間, $s_{3}$ と $s_{4}$ 間に関しては $s_{3}$ と $s_{4}$ の文頭に接続詞が存在しないの

表 3 接続関係の分類

表 4 文脈形成の観点に基づく接続関係の分類

 & 同列型, 補足型, 連鎖型 & 一つの事柄に対して拡充して述べる関係 \\

図 3 テキスト例 2表 5 図 3 に対する entity grid

図 4 接続関係を考慮した文書べクトルの例 (一部)

で連鎖型と見なし Group 3 となる。遷移確率の計算は各関係每に行う．例えば， Group 3 の [S-] という構文役割の遷移確率は, Group 3 の長さ 2 の全ての遷移の数（即ち，16）に対する [S-] の遷移の数（即ち，1）の割合である 0.06 となる. 図 3 のベクトルを図 4 に示す. $\mathrm{SS}_{\mathrm{G}_{\mathrm{i}}}$ は Group $i$ における構文役割の遷移 $[\mathrm{SS}]$ の遷移確率を表す.

## 4.2 参照表現

参照表現に関して，本論文ではその先行詞が明示的である指示表現のみを考慮する。“この” や“あの”などの指示形容詞が使われている指示表現はその先行詞が前文に現れることが多い.従って，逆に指示形容詞が出現している文の前文にその先行詞が出現していなければ，その 2 文間のつながりは悪いと考えることができる.

このことを考慮するために，指示形容詞を含む参照表現がその先行詞を前文に含む割合を文書ベクトルの素性として追加する．対象とする指示形容詞は “この” ど 8 種類で，割合は“指示形容詞 + 名詞” という表現の出現数に対する, その先行詞が前文に現れている場合の数で求める.これは参照表現が正しく機能している割合と見なすことができる.

Barzilay らの手法では grid を作成する際に共参照解析を行い, 異なる表現であっても同じ要素を指す場合は同一要素と見なしている. これに対して, 本論文では共参照解析は行っていない.

## 4.3 語彙的結束性に基づいた文中の要素のクラスタリング

Barzilay らの entity grid モデルでは遷移確率を計算する際にそれぞれの要素を独立に扱っている。そのために要素間の関係はモデルに反映されていない。この問題に対して，各要素を意味的なクラスタリングによってまとめ, 得られたクラスタを 1 の要素として扱うことで対応する. 本論文ではクラスタリング手法として日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉，大山，林 1997）の意味体系を利用した手法と語彙的連鎖を利用した手法の 2 種類を考える.

要素をクラスタにまとめた際, 同じクラスタにまとめられる要素が 1 文中に複数存在すると, そのクラスタに対して複数の構文役割が存在することになる。このような場合における構文役割の扱いに対して，次の 2 種類を考える。

手法 1(1st). 構文役割の優先順位 ${ }^{3}$ に基づいて, クラスタに対して 1 つの構文役割を決定する.
>\mathrm{O}>\mathrm{X}$.
}

図 5 構文役割の選択

手法 2(comb)．クラスタ中の構文役割を全て利用し，遷移は全組合せを考える.

図 5 にそれぞれの例を示す. 図において， $e_{1}, e_{2}, e_{3}$ は要素であり， $c_{1}$ は $e_{2}$ と $e_{3}$ を含むクラスタである。手法 1 では, 文 $s_{1}$ と $s_{2}$ 間での $c_{1}$ の遷移は $[\mathrm{OS}]$ のみとする. これに対して, 手法 2 では，構文役割の全ての組合せである [OO], [OS], [-O], [-S $]$ を $c_{1}$ の遷移と見なす.

## 4.3.1日本語語彙大系を利用したクラスタリング

日本語語彙大系を使って，要素を同じ概念のグループにまとめる．日本語語彙大系は最大 12 段からなる階層的な構造を持つ意味属性の体系を持つシソーラスである。このそれぞれの意味属性をクラスタとして扱う。

テキスト中に出現する各要素に対して，その要素が持つ意味属性を日本語語彙大系から検索する.このうち特定の段において同じ意味属性を有する要素を同じクラスタにまとめる． 1 つの要素に対して複数の意味属性が存在する場合は, その特定の段の意味属性で見た時に数の多かった意味属性をその要素の意味属性と見なす.

## 4.3.2語彙的連鎖を利用したクラスタリング

語彙的連鎖 (Morris and Hirst 1991) とは意味的に関連している語の列である。この語の列をクラスタとして扱う。本論文では Mochizuki らの手法 (Mochizuki, Iwayama, and Okumura 2000) に基づいて語彙的連鎖を求める。

はじめに, 単語 $X, Y$ 間の共起スコアはコサイン尺度 (1)によって求める.

$
\cos (X, Y)=\frac{\sum_{i=1}^{n} x_{i} \times y_{i}}{\sqrt{\sum_{i=1}^{n} x_{i}^{2}} \times \sqrt{\sum_{i=1}^{n} y_{i}^{2}}}
$

ここで $x_{i}, y_{i}$ はテキスト $i$ において単語 $X, Y$ が出現する回数であり,$n$ はコーパス中のテキストの数である。次に，2つのクラスタ $C_{i}, C_{j}$ 間の類似度は式 $(2)$ によって求める.

$
\operatorname{sim}\left(C_{i}, C_{j}\right)=\max _{X, Y} \cos \left(X \in C_{i}, Y \in C_{j}\right)
$
表 6 構文役割（拡張）

語彙的連鎖の生成アルゴリズムは 1 文中の要素のクラスタリングとテキスト全体の要素のクラスタリングの 2 ステップからなり，テキスト中の全ての文に対してこのステップを繰り返し行う． 1 文中の要素のクラスタリングでは，まずテキストから文を取り出し，その文中のそれぞれの要素を1クラスタと見なして, 全てのクラスタのペアに対して式 (2)によって類似度を計算する．類似度の最も高いぺアの類似度が間値以上であれば，そのペアをマージする。この処理をマージするぺアが無くなるまで繰り返す。次に，テキスト全体のクラスタと先ほど生成した文中のクラスタの全てのペアの類似度を同様に式 (2)によって計算する. 類似度の最も高いぺアの類似度が閥值以上であれば，そのぺアをマージする。この処理をマージするぺアが無くなるまで繰り返す.

## 4.4 構文役割の拡張

Barzilay ら (Barzilay and Lapata 2008)の entity grid モデルではテキストにおいて顕著な使われ方をする要素をそうでない要素と分けて遷移確率を求めている。これは顕著に表れる要素はテキストの主題を表すことが多く, そのような要素は特別な遷移傾向を持つという仮説に基づいている，主題に関しては，日本語の文章では助詞 “は”を用いることでその文の主題を明示的に表すことができる。また, 主題かどうかというだけでなく, 述部に直接係る要素とそうでない要素では文章の展開への寄与が異なると考えられる.

これらのことをモデルに組み込むために，本論文では Barzilay らの entity grid モデルで用いられている 4 種類の構文役割を表 6 に示す主題と述部要素を加えた 6 種類に拡張する。この構文役割の集合においては，その役割間の優先順位関係を $\mathrm{H}>\mathrm{S}>\mathrm{O}>\mathrm{R}>\mathrm{X}$ とする (cf. (Walker, Iida， and Cote 1994)).

## 5 実験と考察

前章で述べた各要素の評価のために 2 種類の実験を行った。1つは文順序に関するタスクであり，もう1つは自動要約で生成された要約テキストのランキングのタスクである.
表 7 検討するモデル

実験において性能を評価するモデルと各モデルから生成される文書べクトルの次元数を表 7 に示す。各モデルに対して接続関係毎に遷移確率を計算してべクトルを作成した場合 $(+\mathrm{CONJ})$ と, それを行わなかった場合 (no CONJ) の両方で実験を行った. 全てのモデルにおいて頻出する要素とそうでない要素に分けて gridを作成する。その閾値は Barzilay らの手法と同様に 2 とした. Baseline は Barzilay ら (Barzilay and Lapata 2008)の設定に従ったモデルである。但し，本論文では Baseline においても共参照解析は行わない.

実験では，形態素解析には $\mathrm{MeCab}^{4}$ ，係り受け解析には CaboCha ${ }^{5}$ を使用した。

## 5.1 予備実験

語彙的結束性の考慮において，日本語語彙大系を利用したクラスタリングの際に使用する意味属性の段と語彙的連鎖によるクラスタリングの際の閥値をあらかじめ決定する必要がある.本論文ではこれらの値を予備実験によって決定した.

予備実験は表 7 の $\mathrm{SC}(1 \mathrm{st})$ と $\mathrm{LC}(1 \mathrm{st})$ のモデルに対して，5.2 節と同じタスクを行った。使用したデータは朝日新聞コーパスの 2003 年の記事のうち, “人もの”というカテゴリに分類されている記事 100 件である。この記事の順番を無作為に並べ替えたものと元の記事を比べて元の記事の方が一貫性があると判定したぺアを正解と見なし，その精度が最も良かった値を使用するパラメータとした。

日本語語彙大系で用いられている意味属性体系は最大で 12 段あり 1 が最も抽象的な概念であ
^{5}$ http://www.chasen.org/ ${ }^{\text {taku/software/cabocha/ }}$
}

る.このうち $3 \sim 9$ の段に対して実験を行った。結果を表 8 に示す.

同様に，語彙的連鎖のクラスタのマージに関する閾値について， 0.05 から 0.5 まで 0.05 刻みで値を変えて行った実験の結果を表 9 に示す.

これらの結果から, 本実験では語彙的連鎖のクラスタのマージの閾値には 0.35 を使用した. また，日本語語彙大系を用いたクラスタリングは語彙的連鎖のクラスタリングに比べて，精度が低いことが判明したため，以降の実験では文中の要素のクラスタリングでは語彙的連鎖によるクラスタリングについてのみ行う.

## 5.2 実験 1: テキストの並べ替え

文順序に関するタスクでは， 3 章で述べた評価方法と同様にオリジナルのテキストと文の順番を並べ替えたテキストとを比較し，どちらが一貫性があるかを正しく判定できた精度でモデルの評価を行った。

各モデル毎に予備実験で使用したデータを使って 10 分割交差検定を行い，最も精度が高いものを使用している。各モデルに対する $c$ の値を表 10 に示す.

表 8 予備実験結果（日本語語彙大系）

表 9 予備実験結果（語彙的連鎖）

表 10 各モデルのコストパラメータの値

^{6}$ http://www.cs.cornell.edu/people/tj/svm_light/
}

また，並べ替えテキスト中の文の順番がオリジナルのテキストの文の順番と大きく異なっていれば，一貫性の判定は容易になると考えられる。このことを検証するために，表 11 に示す 5 種類の並べ替えの比較を行う．swap1 はオリジナルのテキストとの差が最も小さく, random はその差が最も大きくなる。 mix は swap1, swap2, swap3 の混合であり, swap3よりは差は小さい.

本実験では朝日新聞コーパスの 2003 年分の記事から，“行政改革”, “医療”, “教育”というカテゴリに該当するもので， 1 記事あたり 10 文以上で構成されているものを使用した. データセット中に含まれる記事のカテゴリの割合は均等になるように調整している. オリジナルのテキストと比較する並べ替えテキストに関して，表 11 に示す各並べ替えの種類のそれぞれにおいて，1つの記事に対して 20 個の並べ替えテキストを生成した.

この比較する並べ替えのテキストの数に関して, Karamanis (Karamanis 2006) はセンタリング理論に基づいた手法に対して，信頼できる結果を得るために 100,000 個の並べ替えテキストを生成して評価を行っているが，我々は entity grid に基づいたモデルを用いており，このモデルでの精度向上を目的としているため, 使用する並べ替えテキストの数は Barzilay ら (Barzilay and Lapata 2008)の実験の設定にあわせている.

実験はデータセットに対して 10 分割交差検定を行い，テストデータ中の各ペアにおいてオリジナルのテキストの方が一貫性があると判定されたぺアの割合で評価した.

表 12 に 100 記事, 300 記事に対して mix の並べ替えを行ったデータを用いた各モデルの結果を示す. “no CONJ” は各モデルにおいて接続関係毎の遷移確率の計算を行わなかった場合, “+CONJ”は接続関係毎の遷移確率の計算を行った場合を示す.

表中の太字の数値は使用したデータにおいて最も良かったものを表し, 斜字はベースライン（接続関係を未考慮の Baseline）を下回ったものを表す. また, 右肩の記号 ${ }^{* *}(p<0.01),{ }^{*}(p<0.05)$ は符号検定においてべースラインの精度と有意な差があることを示す.

全体としては，いくつかベースラインを下回っているものがあるものの，多くのモデルにおいてべースラインを有意に上回る結果を得ることができた．接続関係毎に遷移確率を計算したモデル（“+CONJ” の列）の方がそうでないモデル（“no CONJ”の列）に比べて良い結果を示

表 11 並べ替えの種類

表 12 モデル別の結果（実験 1）

している．特に各データセットにおいて接続関係のタイプを考慮したモデルが最も良い精度を得ており，文脈の展開を明示的に示す接続表現から得られる接続関係が一貫性の判定に有用であることを示している。

grid から作成される文書べクトルの素性は構文役割の遷移の組合せの数だけ存在する。従って, 構文役割を拡張したモデル $(\mathrm{SR}(\mathrm{H}))$ はベースラインのモデルに比べて素性の数が多くなり, データが少なかった時の影響が顕著に表れると考えられる。

また，参照表現については少数の明示的な指示形容詞のみに限定したため，参照表現を考慮したモデル (REF) でもそれほど差が出なかったと考えられる.

語彙的結束性に基づいたクラスタリングを行ったモデルでは良好な結果を得ることができた.

本論文で提案した要素の全てを考慮したモデルは，全ての場合で最良の結果を得ることはなく語彙的結束性のみを考慮したモデルを下回った場合もあった。これは構文役割を拡張したモデルと同様に, 全ての要素を考慮したモデルと語彙的結束性のみを考慮したモデルとでは文書ベクトルの次元の数が異なることが影響していると考えられる.

本論文で用いている一貫性モデルではモデルの学習に必要なデー夕は人間が書いたテキストのみであり，学習のために特別な情報を付与する必要はない. 従って，学習デー夕の作成に必要なコストはほとんどない．そこで，デー夕を更に増やして実験を行った。この実験ではべー スラインのモデル (Baseline), 構文役割を拡張したモデル $(\mathrm{SR}(\mathrm{H})$ ), 全ての要素を考慮したモデル (ALL-LC $(\mathrm{comb}))$, 接続関係毎に遷移確率を計算したモデル (+CONJ, Baseline) と全ての要素を考慮した接続関係毎に遷移確率を計算したモデル (+CONJ, ALL-LC(comb))のみを使用した。結果を表 13 に，そのグラフを図 6 に示す.

接続関係毎の遷移確率を考慮したモデルはそうでないモデルに比べて，データが増加するにつれて精度が向上することが明らかになった。一方，構文役割を拡張したモデルはデータを増やしていってもべースラインに比べてあまり向上は見られなかった.
表 13 デー夕増加時の精度（実験 1）

図 6 デー夕増加時の精度（実験 1）

表 14 データ別の結果（実験 1）

表 14 に並べ替えの種類毎での結果を示す．比較するテキストの差と問題の難易度との関係については, 差が一番小さい swap1 では精度が最も低く, 一番大きい random では精度が最も高くなっており, 仮説通りの結果が得られた. また, 全てのデータセットにおいて Baseline と比べて本論文のモデルの方が良好な結果を得ることができた.

## 5.3 実験 2: 要約文書の比較

5.2 節で行った実験では，あるテキストとそのテキスト中の文の順番を並べ替えたものとを比較している。このため比較する 2 つのテキストの単語の出現頻度分布は等しいと言える。しかし，実際にはこのような状況は稀であると考えられる，例えば，自動要約の評価においては同じ元文書から生成された要約を用いてシステムの評価を行う。元文書が同じであっても，システム毎に異なる要約が生成されることがあり, これらの単語の出現傾向は異なると考えられる.

そこで，実際に自動要約システムによって生成された要約を比較し， どちらが一貫性があるかを判定するという実験を行った．実験に使用したデータは NTCIR-47(Kando 2004) のサブタスクであった TSC3 (Text Summarization Challenge 3) 8 に提出された要約である. TSC3 では 11 のシステムが 30 件の元文書に対してそれぞれ長短 2 種類の要約を生成している. このうち実際に要約文が出力されている 657 件の要約を使用した.

それぞれの要約には被験者による評価結果が付与されている。この評価では, 被験者は 15 個の Quality question と呼ばれるテキストの質に関するチェック項目 (Hirao, Okumura, Fukushima, and Nanba 2004) が示され, 各項目毎にスコアを付ける. この Quality question は主に要約の読みやすさに対する質問で構成されている。本実験では特に一貫性に関係する項目のスコアのみに着目し, これらから要約の一貫性に関するスコアを計算し比較を行った.

要約のスコアの決定について述べる。 TSC3で用いられた 15 個のチェック項目のうち, 付録 Aに示す 8 個の項目のスコアを利用した.

それぞれチェック項目のスコアは各項目の内容に該当する箇所の個数であり， $q q_{2} \sim q q_{8}$ については $q q_{1}$ の項目に当てはまった重複文は除外して数えられている，以上より，要約 $S$ のスコア $\operatorname{score}(S)$ を以下の式によって求める.

$
\operatorname{score}(S)=\frac{N\left(q q_{2}\right)+\cdots+N\left(q q_{8}\right)}{\text { length }(S)-N\left(q q_{1}\right)}+\frac{N\left(q q_{1}\right)}{\text { length }(S)}
$

ここで, $N\left(q q_{i}\right)$ はチェック項目 $q q_{i}$ のスコアであり, length $(S)$ は要約 $S$ の文数である. $q q_{8}$ の回答は“矛盾している”, “どちらともいえない”, “矛盾していない”のいずれかであり, これらのスコアは順に $1 ， 0.5,0$ として $N\left(q q_{8}\right)$ の值とした. 各スコアは文章中のおかしな箇所の個数であることから， $\operatorname{score}(S)$ は小さい方が良いテキスト，即ち，本実験においては一貫性が高いと考える。

この $\operatorname{score}(S)$ を用いて, 本実験では同じテキストから生成された異なるシステムによる同じ長さの要約のぺアに対し, どちらの要約が一貫性があるかを判定する. 従って, タスクとしては実験 1 と同じものとなる. 比較する要約のスコアが等しいぺアは除外する.

テキスト一貫性の判定を実際に利用する状況では，判定が必要なデー夕を訓練データに用いることはできず，別に訓練デー夕を用意する必要がある．このことを考慮して，本実験では交差検定ではなく 5.2 節の実験において作成した 300 記事とその mix の並べ替えを訓練データとして用い，それによって得られたモデルを用いて判定を行った。実験に使用した学習器や各パラメータの値は 5.2 節での実験と同じである.

また, 5.2 節の実験と同様に，比較するテキストの差による精度の違いの検証も行った. 本実験ではそれぞれの要約のスコアの差が大きければ，一貫性の判定は容易になると考えられる。 そこで比較する要約のペアのスコアの差を 0 から 2.0 まで 0.5 刻みでの範囲で分割し, それぞれでの精度を計算した。

用いたテストデータ全てに対する，各モデルの精度を表 15 に示す. 表中の記号, 字体の意味については前節の実験と同様である.

学習データとテストデータのドメインが異なるために, 前節の実験に比べて全体的な精度は低くなっているが，提案したほぼ全てのモデルにおいてべースラインよりも良い精度を得ることができた。

接続関係を考慮したモデル（表中の “+CONJ” の列）とそうでないモデル（表中の “no CONJ” の列）では, 最も良い精度を得られたモデルは接続関係を考慮しない場合でのものであったが, それぞれのモデルにおいての接続関係の考慮の有無による違いでは考慮した方が良い精度を示しているものが多くなっている。本実験においても, 構文役割の拡張 $(\mathrm{SR}(\mathrm{H}))$ や参照表現の考慮 (REF) を組み込んだモデルは, ほとんど改善が見られなかった. これは前節の実験結果と同様であった。

語彙的結束性に基づくクラスタリングにおいても，同様にベースラインを上回る結果を得ることができた。

比較した要約のスコアの差が小さければ，それらの一貫性を判定することが困難になると考えられる。 そこでテストデータの各ペアのスコアの差毎の精度を求めた。その結果を表 16 に示

表 15 モデル別の結果（実験 2）

表 16 スコアの差毎の結果（実験 2）

 &  &  &  &  \\

& ALL-LC(comb) & $\mathbf{0 . 5 8 9}^{* *}$ & $\mathbf{0 . 5 3 2}^{*}$ & $\mathbf{0 . 5 9 2}^{* *}$ & $\mathbf{0 . 6 6 9}^{* *}$ & $\mathbf{0 . 7 7 5 ^ { * * }}$ \\
+CONJ & CONJ のみ & 0.507 & 0.508 & 0.502 & 0.503 & 0.536 \\
& ALL-LC(comb) & $0.546^{* *}$ & 0.510 & $0.547^{* *}$ & $0.604^{* *}$ & $0.689^{* *}$ \\

表 17 順位相関（実験 2）

す. 1 行目のラベルの括弧の中の数字はその範囲に該当する要約ぺアの数である．差が 2.0 より大きいぺアについては，該当するぺアの数が多くなかったため省略している。

要約のスコアの差と精度の関係については, こちらも仮説通りスコアの差が小さければ判定は難しくなり，差が大きくなれば判定は容易であるという結果になった.

本実験で用いた TSC のデータは 1 つの元文書に対して複数のシステム要約が存在しており，上述の計算式で求められたスコアに基づいて同じ元文書から生成された要約を順位付けすることができる。そこで要約のぺアの比較ではなく，同一文書から生成された要約の順位を推定するという実験を行った。使用したモデルは前述の実験と同じ 300 記事とその mix の並べ替えのデータで学習したものである。評価には Spearman の順位相関係数の平均を使用した．結果を表 17 に示す.

ベースラインに比べて提案したモデルに高い相関を示すものがあったが，全体的に相関は低いという結果が得られた。これは特にスコアの差が小さい場合での判定精度が影響していると考えられる。

本実験結果から， ベースラインと比べると，ある程度実際にテキスト一貫性の判定を行うような設定においても本論文で提案したモデルの方が有効であることが明らかになった. しかし， その精度は高いとは言えず，改良の余地がある.

## 6 おわりに

本論文では接続関係，参照表現，語彙的結束性といった結束装置，また，日本語に特化した構文役割を entity grid モデルに組み込むことで，結束性を考慮したテキストの局所的な一貫性モデルを提案し，その有効性の検証を行った．実験から，提案モデルがテキスト一貫性の高いテキストの判定と自動要約によって作成されたテキストの評価の 2 つのタスクにおいて，オリジナルの entity grid モデルを上回るということを示した.

entity gridによるテキストの一貫性モデルはテキストにおける文中の要素の遷移に着目したものである。本論文ではその要素の遷移は文脈の展開によって違う傾向を示すという仮説を立て，文脈展開の種類を明示的に示す働きを持つ接続関係に着目し，その種類毎に grid を作成するというモデルを提案した，実験の結果，接続関係を考慮したモデルの方がそうでないモデルに比べて良い結果を得ることができ，この仮説がテキストの一貫性の評価において有効であることを示した．また，その他の項目についても一貫性の評価において有効であることを示した.

本論文で採用した entity grid に基づいた局所的一貫性のモデルでは，テキストを 1 つのべクトルとして扱うため, テキスト全体についての一貫性の判定は行えても, テキストの部分についての一貫性の評価は行えない。テキストの部分の一貫性の評価は, 小論文の自動評価など教育の現場での利用において有用であると考えられる。また，例えばテキストにおいて一貫性の悪い箇所の数を用いるなどによって，テキストの部分の一貫性の評価をテキスト全体の評価に用いることも可能であると考えられる。このことから，テキスト内の部分的な単位での一貫性の評価手法の提案が今後の課題である.

## 参考文献

Barzilay, R. and Lapata, M. (2005). "Modeling Local Coherence: an Entity-based Approach." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 141-148.

Barzilay, R. and Lapata, M. (2008). "Modeling Local Coherence: An Entity-Based Approach." Computational Linguistics, 34 (1), pp. 1-34.

Barzilay, R. and Lee, L. (2004). "Catching the Drift: Probabilistic Content Models, with Applications to Generation and Summarization." In HLT-NAACL 2004: Main Proceedings, pp. 113-120.

Elsner, M., Austerweil, J., and Charniak, E. (2007). "A Unified Local and Global Model for Discourse Coherence." In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Proceedings of the Main

Conference, pp. 436-443.

Elsner, M. and Charniak, E. (2008). "Coreference-inspired Coherence Modeling." In Proceedings of ACL-08: HLT, Short Papers, pp. 41-44.

Filippova, K. and Strube, M. (2007). "Extending the Entity-grid Coherence Model to Semantically Related Entities." In Proceedings of the 11th European Workshop on Natural Language Generation.

Grosz, B. J., Weinstein, S., and Joshi, A. K. (1995). "Centering: a Framework for Modeling the Local Coherence of Discourse." Computational Linguistics, 21 (2), pp. 203-225.

Halliday, M. A. K. and Hasan, R. (1976). Cohesion in English. Longman,London.

Hirao, T., Okumura, M., Fukushima, T., and Nanba, H. (2004). "Text Summarization Challenge 3 - Text summarization evaluation at NTCIRWorkshop 4." Working Notes of the 4th NTCIR Workshop Meeting.

市川孝 (1978). 国語教育のための文章論概説. 教育出版.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

庵功雄 (2007). 日本語におけるテキストの結束性の研究. くろしお出版.

板倉由知, 白井治彦, 黒岩丈介, 小高知宏, 小倉久和 (2008). 単語の概念関係を用いた段落一貫性評価指標の有効性. 情報処理学会研究報告 NL-183.

Kando, N. (2004). "Overview of the Fourth NTCIR Workshop." Working Notes of the 4th NTCIR Workshop meeting.

Karamanis, N. (2006). "Evaluating Centering for Sentence Ordering in Two New Domains." In Proceedings of the Human Language Technology Conference of the NAACL, Companion Volume: Short Papers, pp. 65-68.

Lin, C.-Y. (2004). "ROUGE:A Package for Automatic Evaluation of Summaries." In Proceedings of Worksop on Text Summarization Branches Out, Post Conference Workshop of ACL 2004, pp. 74-81.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries Using N-gram CoOccurrence Statistics." In Proceedings of HLT-NAACL-2003.

Miltsakaki, E. and Kukich, K. (2004). "Evaluation of Text Coherence for Electronic Essay Scoring Systems." Natural Language Engineering, 10 (1), pp. 25-55.

Mochizuki, H., Iwayama, M., and Okumura, M. (2000). "Passage-Level Document Retrieval Using Lexical Chains." In Proceedings of RIAO 2000, pp. 491-506.

Morris, J. and Hirst, G. (1991). "Lexical Cohesion Computed by Thesaural Relations as an Indicator of the Structure of Text." Computational Linguistics, 17 (1), pp. 21-48.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU:a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Soricut, R. and Marcu, D. (2006). "Discourse Generation Using Utility-Trained Coherence Models." In Proceedings of the COLING/ACL 2006 Main Conference Poster Sessions, pp. 803-810.

田窪行則, 西山佑司, 三藤博, 亀山恵, 片桐恭弘 (2004). 談話と文脈. 言語の科学 7. 岩波書店.

Walker, M., Iida, M., and Cote, S. (1994). "Japanese Discourse and the Process of Centering." Computational Linguistics, 20 (2), pp. 193-232.

## 付録

## Aスコアの計算に使用した Quality question

$\mathbf{q}_{1}$. 同一の，あるいはほぼ重複する文はいくつあるか?

$\mathbf{q q}_{2}$. （ゼロ）代名詞化, 指示表現化すべき箇所はいくつあるか?

$\mathbf{q q}_{3}$. 先行詞のない指示表現はいくつあるか?

$\mathbf{q q}_{4}$. 固有表現の出現位置がおかしい箇所はいくつあるか?

$\mathbf{q q}_{5}$. 同一事物を参照する表現の一貫性という観点から修正すべき表現はいくつあるか?

q96.（前後の文脈も踏まえた上で）必須要素が欠如している箇所はいくつあるか?

$\mathbf{q q}_{7}$. 接続詞が必要・不必要な箇所はいくつあるか?

$\mathbf{q q}_{8}$. 時系列の関係が矛盾してないか?

## 略歴

横野光（正会員）：2003 年岡山大学工学部情報工学科卒. 2008 年同大大学院自然科学研究科産業創成工学専攻単位取得退学. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 言語処理学会各会員.

奥村学（正会員）：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 工学博士. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在に至る. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマ

イニングに関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会. AAAI, 言語処理学会, ACL, 認知科学会, 計量国語学会各会員. oku@pi.titech.ac.jp, http://oku-gw.pi.titech.ac.jp/ oku/


# 複数の観点で分類した自然言語処理用シソーラス
## 国分 芳宏 $\dagger$ 岡野 弘行 $\dagger$

従来の情報検索に特化されたシソーラスではなく, 構文解析や用語標準化などの自然言語処理を目的とする 420,000 語規模のシソーラスを開発した。各用語の持つ関係語の数が膨大なため, 観点（ファセット）を導入して分類し, 探しやすくしたシソーラスである。 さらに，差別語，表記の摇れなども区別できる。シソーラスを作成する際の留意点・課題もまとめた。 パッケージソフトのカスタマイズ機能およびインターネットや他の辞書との連動機能, 用語の標準化などについても紹介した. キーワード：シソーラス, 観点, 自然言語処理, 用語標準化

## A Thesaurus which Classifies Terms by Facets for Natural Language Processing of Japanese

\author{
YoshiHiro KoKubu $^{\dagger}$ and Hiroyuki OKano ${ }^{\dagger}$
}

\begin{abstract}
Instead of a thesaurus specialized in conventional information retrieval, we developed a thesaurus of 420,000 terms for the purpose of natural language processing such as parsing or the term standardization. Because each entry term has a large number of terms with various semantic relations, we introduce a facet and classify them for finding relative terms easily. Furthermore, we distinguish discriminatory terms, and fluctuating Japanese spellings. We described points to keep in mind and future tasks in making a thesaurus. Our package has the connecting function with the Internet and the other dictionaries.
\end{abstract}

Key Words: Thesaurus, Facet, Natural Language Processing of Japanese, Term standardization

## 1 はじめに

筆者らは, 1990 年, 自然言語処理のための解析辞書の日本語表記の摇れを管理することから始め, 1995 年に同義語辞書の初版を発行した. その後, 用語の意味関係を含むシソーラスのパッケージを発売し，現在 6 版を重ねている。 1 年間に 20,000 語程度を追加していて, 420,000 語に達している。

これまでのシソーラスは, 主として, 情報検索のキーワードを選択するための支援ツールとして開発されてきた，登録されている用語は該当する分野の専門用語が主体で，さらに品詞は名詞だけであった。そのため, 情報検索を越えて, 文書整理や統計処理などのために必要な構

文解析や用語の標準化など，自然言語処理に利用することは難しかった.

筆者らのシソーラスは，自然言語処理を目的とした一般語を主とするシソーラスである。いわゆる名詞だけでなく, 動詞，形容詞，形容動詞，副詞，代名詞，擬態語さらに慣用句までを登録している。これまでのシソーラスでは，作成者の考え方で分類してあった。使用者は，その分類基準に従ってたどって探さなければならなかった。また紙面の物理的な制約もあって意味空間を 1 次元的に整理してあった。本来意味分類は多次元空間のはずで，筆者らのシソーラスでは，複数の観点で多次元的に分類してある.

また，メール整理に代表されるような文書整理のために，時事的な用語や省略語も積極的に登録している。送り仮名や訳語などの差異による異表記語も網羅的に収集した。自然言語処理で使うことを目的としているため，テレビなどから収集した新語や，構文解析で発見した新語を登録している。

用語間の意味関係として, 広義一狭義（上位一下位）関係，関連関係および同義一反義関係を持っている。

流動的に変化する用語の意味および用語間関係への対応とコスト・パフォーマンスの観点から，トップダウン方式ではなく，ボトムアップ方式で開発した。一般語を主体としているが，他の専門シソーラスと併合もできる.

以下, (第 2 章）用語の収集とシソーラスの構造,（第 3 章）用語同士の意味関係,（第 4 章） パッケージソフトの機能について順次述べる.

## 2 用語の収集とシソーラスの構造

用語の収集と分類の仕方について述べる.

## 2.1 用語の収集

市販の辞書は語義が分からない用語を調べるためのものである．筆者らのシソーラスは自然言語処理で使うのが目的なので，市販の辞書に記載されている用語よりも，頻繁に使われる用語を中心に登録している，正しい表記だけでなくよく使われるのであれば「キューピット」(Cupid) のように誤った表記も登録している

筆者らの構文解析（別途 SDK として販売）で新しい記事コーパスを解析した結果，解析できなかった新しい用語は逐次, 解析辞書に登録しているが，同時にシソーラスにも登録している. シソーラス更新中に，追加登録した用語も形態素解析の辞書に登録している。見つけた用語がよく使われている用語かどうかはネットで調べている.

新語を探しだす作業よりもシソーラス上の用語と関連付ける作業の方が工数がかかった.

品詞分類も名詞の意味を除いて解析辞書と同じにしてある (文末付録参照)。構文解析では名
詞を意味で分類しているが, シソーラスでは意味分類が構文解析より詳細なこと, 名詞に複数の意味を持たせられないことなどの理由で意味では分類していない.

自然言語処理用のシソーラスではほとんど全ての自立語が収集の対象になる。構文解析では,解析時に結合して処理するので，複合語の要素だけを網羅すれば十分である。一方シソーラスでは組み合わされた複合語もすべて網羅する必要があるため，語数が多くなる.

自然言語処理では固有名詞も重要な位置をしめるが，日々生成されていて，かつ変化するため辞書として登録するには手が付けられないので，地名など変化の少ないもの以外は登録できていない.

## 2.2 シソーラス構造における分類

## 複数の観点での分類

意味空間は 1 次元ではなく多次元である。どの属性に注目して（観点で）分類するかによって，いろいろな分類の仕方が考えられる。身近な例で「料理」について考えてみる。古今東西の料理の種類は相当な数になり, 分類の仕方も人によって異なる. ここで調理法, 材料, 地域の 3 つの観点で分類するとつぎのようになる.

調理法の観点で分類すると生もの, 煮物, 焼き物

材料の観点で分類すると魚料理, 肉料理, 野菜料理

地域の観点で分類すると和食, 中華, 洋食

例えば「刺し身」は，料理を 3 つの観点によって分類した結果，連想された用語「魚料理」「生もの」「和食」の狭義語である．逆に「刺し身」の広義語が「生もの」「魚料理」「和食」の 3 つあることになる。その結果, 網構造になる。これを図にすると, 図1のようになる.

この他に「料理」のための観点としては「対象」(病人食, 独身料理)「スタイル」(会席料理,飲茶）などが考えられる。いろいろな考え方で探す利用者がいるので，なるべく多くの観点で分類しておく必要がある.

## 人間の感覚に沿った分類

色を分類するときにも参考文献にあげたシソーラスでは「赤系統」「青系統」「黄色系統」などと色相や明度などに従って分類してある。データベースの検索の支援をするためには，人間との関係を重視して「はでな色」「暖かい色」といった人間の感覚に沿った観点での分類も併設した方が実用的である．筆者らのシソーラスもなるべく多くの観点で分類している.

検索された用語を見やすくする目的で，グループに入れる用語を少なくする方針を取ったため階層が深くなってしまった。電子化されたシソーラスでは, クリックするだけで，簡単に上下の階層に移行できるので階層を深くしても問題は少ないのであるが，グループにつける名前が恣意的になりがちなことが課題である.

図 1 「料理」を「調理法」「材料」「地域」の 3 つの観点で分類した例

## 分類作業における摇れの吸収

用語同士の意味的な関係は, 自明な場合だけではない。どこまでを同義語として認めるかは, シソーラスの作業者同士でも食い違うことがある. 現在 3 名で相談しながら，最終的には多数決で決めている.

例えば「明日」と「翌日」を考えて見ると，意味的にほとんど重なっていて同義語と思われるが，厳密に言えば違いがある。同義語にするか関連語にするかが一義的に決定できない.

「明日」

「翌日」

現在

過去

このように微妙に意味の異なる場合にユーザーの意見を聞いて, 同義語として扱った場合が多い.

## 2.3 シソーラス構造における記述

補助的な記述

各の用語の持つ関係語の数が多いため, 用語を 3 つの目的で, (I)で区切って補助的な記述をつけている。

A. 分類の観点を表示する.

狭義語の例

料理 |材料肉料理, 魚料理, 野菜料理

料理 | 地域和食, 洋食, 中華料理

B. 同じ分類に属する用語が膨大な数になるため細分したいときに，細分した分野に対応する適当な用語がなく，恣意的な用語になるのを防ぐ.

狭義語の例

肉料理 | 煮物シチュー

C. 多義語を区別する.

狭義語の例

月｜天体満月，寒月，三日月

月｜時間正月，うるう月

現在関係語が多い用語を中心に, 全体の 4.0 パーセントの用語に補助的な記述が付けてある.

## 語義の違いの記述法

冊子体のシソーラスは木構造で, その構造をたどりながら探していかなければならなかった。筆者らの電子化されたシソーラスはキーボードから直接構造上のどこでも指定できるので，もはや木構造である必要はない，網構造で，複数の広義語を持つことになる．しかしその結果同じ文字列で複数の意味を持つ多義語が区別できないという問題がでてくる．例えば木構造で検索したときには，「時間」からたどった「月」(month) と，「天体」からたどった「月」(moon) の 2 つの異なった意味の用語は区別できるが，直接「月」と指定する方法では区別ができなくなる。

補助的な記述をつけて「月」を「天体」の観点でとらえたときは「月｜天体」で「時間」の観点でとらえたときは「月｜時間」として区別した.

広義語狭義語

月｜天体名月

月｜時間正月

用言

自然言語処理で使うには，名詞だけでなく用言（動詞，形容詞）や副詞も登録しておく必要がある。用言は語幹と活用形で登録してある。 パッケージソフトでは終止形で表示する.

図 2 「月」を中心にした構造
活用形も構文解析に合わせてある.

例動 (く) 動詞力行 5 段活用

赤（い） 形容詞

## 慣用句

日本語では，慣用句が大きな意味的位置を占めている。

慣用句はまとめた形で 1 語にして登録してある.

例 「水をあける」＝「引き離す」

「水をあける」は「引き離す」という意味で「水」の意味はまったくない.「水をあけ（る）」 は 1 つの動詞にして「引き離す」の同義語として登録してある.

慣用句は用法によって間に挟まれる助詞までが変わるものがある.

「山田は顔が広い」（叙述用法）「顔が広（い）」を形容詞として登録してある.

「顔の広い山田は」(限定用法) 「顔の広い」を連体詞として登録してある.

## 誤りのある用語

実際にシソーラスを運用するためには，関係する用語として差別語を出力しないなどといった細かい配慮が必須である．差別語は年々増える方向にある．増える差別語を次々に登録していくためにもいつもシソーラスを更新していかなければならない.

エラーに2つのレベルがある.

誤り語および差別語.

誤り語例ご多聞にもれず（正：ご多分にもれず）

差別語

標準でない用語.

常用漢字以外を含んでいる用語

表記の摇れ例インタフェース （正：インターフェース）

旧地名例浦和市

旧機関名例文部省

商品名例宅急便

## 3 用語同士の意味関係

用語同士の意味関係として，表 1 のものを用意した，広義語一狭義語の関係は自然言語処理で広義語に適用した規則は，狭義語にも適用できるようにするため狭義語になるのは同じ属性のものだけとした。「自動車」一「タイヤ」のような「全体」一「部分」関係は「部分」という観点の関連語とした。原則として自立語だけとたが，一部に接尾辞も採択してある。

## 3.1 同義語

英語で 1 人称単数は「I」だけであるが，日本語には「私」「僕」「我」「小生」「我が輩」「手前」「愚生」と数十あり，話者と相手との関係で使い分けられている．日本語にはなぜ同じ意味の用語, 同義語がこんなに多いのか考えてみる。（表 2 参照）

辞書の中では，「大和言葉」「外来語」などの区別はせず，同等に扱っている.

## 外来語

日本語のなかに奈良時代には中国, 朝鮮から，最近は主に米国から輸入されて日本語の中に入ってきている用語がある。多少のニュアンスの違いはあるが，すべて同義語といえる。このような組み合わせが日本語のなかにたくさんあり，これが同義語を増やしている大きな原因である。大和言葉は親しみやすさを，漢語は権威を，片仮名語は近代的な感じをあたえる。また最近は「計算機」が「コンピューター」に，「写真機」が「カメラ」になるといったふうに，漢語が片仮名語に置き換わる傾向がある.

## 通称

通称と正式名称が両方使われている。

$\lceil$ 首相」=「内閣総理大臣」

表 1 用語同士の意味関係

表 2 同義語の例

## 年号

わが国だけの問題であるが, 年号が 2 種類ある. さらに漢数字とアラビア数字が両方使われる.

$
\lceil 2008 \text { 年 }\rfloor=\lceil\text { 平成 } 20 \text { 年 }\rfloor=\lceil\text { 平成二十年 }\rfloor
$

## 立場による用語の違い

立場によって同じことを違った用語で表す場合がある。例えば「税金」という用語を政府は 「公的資金」という言い方をするが，納税者は「血税」という言葉を使う．検索者は「税金」という用語で探すだろう。このような傾向は社会科学の用語に多い.

## 省略語

「特別急行」 $\rightarrow$ 「特急」のようなものをいうが，「マスコミ」は「マス・コミユニケーション」 の省略形であったというように，現在は省略形の方が 4 拍の新しい用語として定着してしまっているものがたくさんある．省略の程度も地域によって異なる．関東よりも関西の方が積極的に省略するようである。

「弱冷房車」(JR 東日本)

「弱冷車」 (JR 西日本)

頭字語（英語の用語の先頭の文字だけを集めた用語：アクロニム）もこの省略形に入れるべきだろう。

## ROM Read Only Memory

## 表記の摇れ

同義語のうち発音も同じものを表記の摇れ（異表記語ともいう）と言う。日本語では標準とされている表記の他に複数の「表記の摇れ」が許されている用語がある. 個人により, 機関により，いろい万な表記が汇監している。極端な場合には，同じ著者が書いた記事でも表記法が違うことがある．複数の機関の記事を一度に検索しようとする場合には，考えられる摇れをすべてキーにして検索しなければならない.

漢字と仮名による表記の摇れ

犬, イヌ, いぬ

漢字表記の摇れ

沈殿, 沈澱(「澱」の字が常用漢字でないので「殿」の字を代用した. )

超電導 (JIS)

超伝導 (学術用語)

外来語をカタカナ書きするときの摇れ

$
\begin{array}{ll}
\text { インターフェース } & \text { (新聞 } 1996 \text { 年まではインタフェース }) \\
\text { インタフェース } & (\mathrm{JIS}) \\
\text { インターフェイス } & (\text { 学術用語 }) \\
\text { インタフェイス } &
\end{array}
$
古い記事を扱うときは異体字も問題になる.

国語，國語

送り仮名の違いによる表記の摇れ

行う，行なう

打ち合わせ，打ち合せ，打合わせ，打合せ，打合

（内閣告示の「送り仮名の付け方」の中にも複数の表記が許容されている.)

## 推奨語

用語を標準化するために，同義語のグループのなかから，言語工学研究所が推奨する用語である。標準の用語に置き換える機能はパッケージソフトには含まれていない. 別売の用語標準化ソフトとして提供している.

インターフェース（新聞）

インタフェース(JIS)

インターフェイス（学術用語）

インタフェイス

$\Longrightarrow$ インターフェース （言語工学研究所推奨）

米, 米国, USA, U.S.A., アメリカ合衆国, 合衆国, アメリカ（新聞）

$\Longrightarrow$ アメリカ （言語工学研究所推奖）

## 3.2 反義語

意味が対立する用語の関係である。対立の仕方にいくつかある.

A. 片方を否定すると対立する相手になる用語の関係である。「良いこと」を否定すると「悪いこと」になるような関係である.

例善 $\longrightarrow$ 悪

B. ある中間的な点を中心にして逆の方向になる用語の関係である.

例 $上 \leftarrow$ 中 $\rightarrow$ 下

C. 一つの行為を対立する立場で捕らえた用語の関係である.

例売る $\longrightarrow$ 買う

D. さらには「兄」に年齢で対立する用語として「弟」がある。また性別で対立する用語として「姉」がある. どちらも反義語になる.

例兄 $\leftarrow$ 年齢的対立 $\rightarrow$ 弟

$\uparrow$

性別的対立

$\downarrow$

姉

## 3.3 広義語・狭義語

自然言語処理で広義語との関係が狭義語にも適用できるように広義語・狭義語の関係は，属性が同じものだけにした。「自動車」一「タイヤ」のような全体部分関係は関連語にした.

「東京都に住む」，「新宿区に住む」は成り立つが，「都庁に住む」は成り立たない．

## 3.4 関連語

ある程度の意味的な関連性を持つ用語の関係を言う. 大きく分けると同じカテゴリーの用語と異なるカテゴリーの用語との関係がある.

A. 共通の広義語を持つ用語.

広義語狭義語

食材 $\rightarrow$ 肉

野菜

(「肉」と「野菜」とは関連語である.)

B. 異なるカテゴリーであるが，意味的な関係のある用語.

広義語狭義語

食材 $\rightarrow$ 肉

料理 $\rightarrow$ 肉料理

(「肉」と「肉料理」とは関連語と, 人の判断で設定する.)

## 3.5 多義語

英語は多義語が多いと言われているが，日本語，特に大和言葉も多義語が多い. 関係語は別の言葉になる.

大和言葉での例

うめる穴をうめる。

お風呂をうめる。

借金をうめる。

時間をうめる.

外来語での例英語の多義性の影響も受けている.

ライト光, 照明, 明るい, 軽い

## 右，右翼手

権利

書く

多義語は，|で区切って補助的な記述を付けてそれぞれ別の語として扱っている.

## 3.6 共起語

係り受けを構成する組み合わせを集めた辞書である。構文解析で係り先を決定したり，「良しあし」を決定したりするときに用いる。係り側の格助詞を含めて管理している.

構文解析の通常の単語には必要に応じて「良しあし」のフラグが振ってあり, リスク管理やリコメンデーションなどに使っている。しかし例えば下記の例では,

例寿命が延びる（良い）

例寿命が短い（悪い）

「寿命」,「延びる」,「短い」など用語はそれ自体では「良しあし」の情報は持っていないが,係り受けになったときに「良しあし」の性質が出てくる.

共起語として, 7 万組を登録してある。係り, 受けのそれぞれの用語の同義語, 狭義語を実行時に拡張するので，共起語辞書に登録されていない係り受けにも対応できる。

ビールが冷えている.

麦酒年冷えている $\quad$ (同義語)

生ビールが冷えている $\quad$ (狭義語)

組み合わせの意味的な関係として，現在は「良い」「悪い」「それ以外」の 3 種類の情報しか持っていない．将来オントロジーとして発展させていく予定である.

## 共起辞書の作成方法

コーパスを構文解析で係り受けファイルにして，その結果を整理して，共起語辞書に登録する方式を取っている。

## 3.7 用語の意味関係は時と共に変化する

1991 年当時「発泡酒」は「ビール」の意味を含む広義語であった (JIS X 0901-1991). しかし現在は「発泡酒」は「ビール」とは別のものの名前になったため, 「ビール」「発泡酒」は共に 「醕造酒」の狭義語となった。シソーラスには, 原則として最新の意味だけを採択している.

## 広義語狭義語

醸造酒 $\rightarrow$ ビール

発泡酒

## 4 パッケージソフトの機能

筆者らのシソーラスはパッケージで販売するほかにネットからも使えるようにしてある.

## 4.1 操作画面

図 3 「料理」で検索したときの操作画面

観点の「一」は下に表示したどの観点にも属さない関係語を集めたものである.

「かっぽう」に対する「割烹」,「はし休め」に対する「箸休め」など，標準でない標記も表示されている．実際の画面上では文字色で区別している.

（注）「エラーレベル・差別語の表示」(4.5)を参照のこと

以下に「料理」を「調理法」「材料」「地域」の観点で検索したときの画面を示す.

 & & &  &  & &  \\

図 4 「調理法」の観点で検索したときの操作画面

図 5 「材料」の観点で検索したときの操作画面

図 6 「地域」の観点で検索したときの操作画面

## 4.2 未知語の形態素解析

ユーザーがシソーラスに登録されていない用語で検索したときのために，形態素解析をして分解された形態素を自動表示する．画面上の分解された形態素をクリックすると検索できる.

複合語の最後の用語を広義語に，それ以外の用語を関連語とした。接尾辞は同じ意味の自立語に置き換える (下の例を参照)。

例「未知語解析」を形態素解析すると，下記の 3 つの用語が表示される.

未知 (関連語)

言語 (広義語) 「語」は接尾辞なので同じ意味の「言語」に変換する.

解析 (広義語)

## 4.3 語末一致検索

日本語の複合語はほとんどの場合, 意味や品詞を決定する用語が語末に, 修飾する用語が前方にくる。この性質に着目して語末が同じ用語を取り出すと同じ意味の用語が集められ，狭義語を集めたのと同じような効果を持たせることができる。

例えば「トンボ」をキーにして検索すると，語末が一致として下記の用語が表示される.

狭義語「アカトンボ」「イトトンボ」「シオカラトンボ」…...

ノイズ「竹トンボ」「尻切れトンボ」「極楽トンボ」

漏れ「オニヤンマ」「ギンヤンマ」

「トンボ」という言葉を比ゆ的に用いている場合にノイズになる.

接尾辞

シソーラスには接尾辞も登録できる.

## 4.4 カスタマイズ機能

ユーザーがどんな用語を関係語として要求するかは個人によって，また置かれた状態によってまちまちである.「非常勤社員」「フリーター」「非正規社員」の同義語である「テンポラリー・ ワーカー」などという用語は最近の労働問題を調べているひとには必要であるが, 労働問題の歴史を研究しているひとには不要である. 用語同士の関係がそのひとの環境, 世代で異なることもある．筆者らの世代では，「パソコン」は「コンピューター」の狭義語であるが, 最近の社会一般では「パソコン」という言葉の方が一般的になっている．個人別に学習したりする柔らかい機能が必要である．筆者らのシソーラスには次の機能を用意してある.

A. 当面不要な用語をじゃまにならないように, 一時隠しておく機能

B. ユーザーが手持ちのシソーラスをファイルから併合する機能

筆者らのシソーラスには専門用語が登録されていない. 利用者がそれぞれの専門分野の用語を登録する方式を取っている. ユーザー登録語は優先して表示する.

## 4.5 エラーレベル・差別語の表示

エラーのある用語と差別語は赤で表示している。また標準でない次のような用語をピンクで表示している.

常用漢字以外を含んでいる用語例割烹

表記の摇れ例インタフェース

旧地名例浦和市

旧機関名例文部省

商品名例宅急便

画面上正しい用語だけにするために，エラーのある用語と標準でない用語を表示しないよう

図 7 他のシステムとの接続

にする機能もある.

## 4.6 インターネット・辞書との接続

「言葉のポータルサイト」を目指している。画面上の用語をクリックすると Google, Wikipedia などのインターネット検索ができる。また同様に電子化された辞書を串刺し検索できるようにしてある。（図 7 参照）

## 4.7 文章を推敲中の自動検索

ワープロなどで文章を推敲中により適した用語を探すために，クリッピングボード（コピー などのために切り取った文字列）の文字列でシソーラスを自動的に探す.

## 5 おわりに

ネット上の記事が現在のペースで増えていくと, キーワードだけの検索ではノイズが多く早晚限界がくると思われる。ノイズを減らすためにも自然文検索のニーズ高まっている．今後日本語解析などを高度化していくためには意味の分野に立ち入らざるを得ないだろう．そのときにシソーラスが多用されるだろう。

「補助的な記述」(1.4)ではすべて同じ（｜）で区切って示しているが，それぞれの目的で区切り方を分けておくべきであったと思っている，特に多義語は，それ以外とは意味が異なる．

シソーラス・ファイルのコードは外国語との結合を考えて, unicode を使用している.

これから高度な自然言語処理で活用していくためには, 固有名詞も扱わなければならないたろう。

本シソーラスについてご興味のある方は下記までお問い合わせください。

E-mail:kokubu@gengokk.co.jp

## 謝 辞

本稿の改善に有益なコメントを頂いた査読者の方に感謝いたします.

## 参考文献

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

医学中央雑誌刊行会編 (2007). 医学用語シソーラス第 6 版. 医学中央雑誌刊行会.

大野晋, 浜西正人 (1985). 類語国語辞典. 角川学芸出版.

科学技術振興機構編 (1999). JICST 科学技術用語シソーラス. 科学技術振興機構.

言語工学研究所.「類語.jp」(類語辞書オンライン版). http://ruigo.jp.

国立国語研究所 (1964). 分類語彙表. 秀英出版.

日本工業規格 (1991). シソーラスの構成及びその作成方法：JIS X 0901-1991. 日本規格協会.

## 付録

## A 付録 品詞一覧

形容詞

形容動詞

形容動詞と/たる形

副詞

打ち消しの動詞

打ち消しの形容詞

連体詞

接尾辞青（い）

閑静（な）

㫿鑠（たる）

さっぱり

年端もいか (ない：助動詞）

必要 (ない：形容詞)

こんな

*法見出しに*をつける.

## 略歴

国分芳宏（正会員）：1966 年東京理科大学理学部応用物理学科卒. 同年日本科学技術情報センター入社. 1985 年株式会社言語工学研究所設立代表取締役就任. 自然言語処理, シソーラス作成に従事. 情報処理学会会員.

岡野弘行（正会員）：1966 年大阪大学理学部物理学科卒. 同年日本科学技術情報センター入社. 2004 年株式会社言語工学研究所入社. シソーラス作成に従事.