# 集合知を用いた大規模意味的フレーム知識の構築

小原京子
慶大/理研 AIP
ohara@hc.st.keio.ac.jp
河原大輔
早大/理研 AIP
dkw@waseda.jp

## 1 はじめに

本研究の目的は、高度な言語理解の実現に向けて、自然言語処理の手法で構築された「京都大学格フレ 一ム」（KCF）の格フレームと人手で構築中の「日本語フレームネット」（JFN）の意味フレームとを集合知を用いて対応付け、フレーム知識を統合するこ とである. 具体的な目標は 2 つる. 究極的目標は、 $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応付けし、 $\mathrm{KCF}$ 格フレームを構成するすべての文がその $\mathrm{JFN}$ 意味フレームにあてはまるとみなすことによって、 $\mathrm{JFN}$ 意味フレームアノテーション付きコーパスを大幅に増強することである。もう1つはクラウドソー シングの結果から JFN 上の既存のフレーム定義が不完全であることがわかる可能性があるため、これら について人手でチェックすることによりJFNを改良 することである．本論文は、 1 つ目の究極的目標に 向けた中間報告であるとともに、2つ目の目標の指針を決定するためのケーススタディである.

図 $1 \mathrm{KCF}$ 格フレームと JFN 意味フレーム

本研究では、ある述語に対するそれぞれの KCF 格 フレームについて、その述語に対して定義された JFN 意味フレームのいずれかに対応付ける (図 1). この対応付けを大規模かつ高速に行うためにクラウ

\author{
笹野遼平 \\ 名大/理研 AIP \\ sasano@i.nagoya-u.ac.jp satoshi.sekine@riken.jp
}

ドソーシングを用いる．具体的には、一つの KCF 格 フレームを代表する例文を提示文、JFN 意味フレー 么の例文 2 文を選択肢 1,2 として、提示文と用法が 似ている選択肢を選ぶタスクを実行する（図 2）。選択肢 1,2 に加えて、「いずれにも似ていない、も しくは判断できない」という選択肢（以下では “OTHER”と呼ぶ）を別途設け、JFNのいずれの例文 にも似ていない場合、もしくは提示文からは判断が 難しい場合に選択してもらう。この選択肢が多くの クラウドワーカーに選ばれた場合には、提示文、選択肢、あるいはそれ以外の何かを見直した方が良い 可能性がある.

## 提示文中の [...】の語の意味を考え、意味がもっとも似ている選択肢を選んでくだ さい。意味が似ている選択肢がない場合、もしくは判断できない場合は「※どれに も似ていない、もしくは判断できない」を選んでください。

ファイルサイズが指定サイズ以上のファ

我が国のそれそれれの地域・企業において実際に行われている取組みの事例を 【収集】し、分析することとした。

図 2 クラウドソーシングタスク例

$\mathrm{KCF}$ とFN の両方に存在する述語は図 1 に示し た通り 926 述語あり、そのうち JFNにアノテーショ ン例文があるのは 713 述語である.これらのうち 185 述語については既にクラウドソーシングを行い、言語分析者が人手でその結果の評価を行った. その内訳は、表 1 の通りである.

本論文では、表 1 の 85 述語と同様に JFN 上で現在 1 つの意味フレームに割り当てられており、複数 のアノテーション例文が存在する 81 述語のクラウ ドソーシング結果について報告と考察を行う．考察 においては、JFNで 2 つの意味フレームに割り当て

られた 37 述語のクラウドソーシング結果に関する 先行研究[1]、[2]の知見と比較する.

表 1 実施済みクラウドソーシング対象

 &  \\

分析の結果、JFN に一義語として登録されている 述語についても、正解率の高低やクラウドワーカー らの回答には多義語の場合と同様の傾向が見られる ことがわかった. 加えて、クラウドソーシング結果 の正解率の向上と JFN 改良のための指標が得られた.以下では、まず第 2 節で先行研究の知見を概観し た後に、第 3 節で今回の実験について論じる. 第 4 節では今回の実験結果を先行研究のそれと比較する.最後の第 5 節で今後の展望について述べる.

## 2 先行研究

先行研究[1]、[2]では、JFN において 2 つの意味 フレームに割り当てられており（つまり2つの意味 を持つ多義語）、それぞれの $\mathrm{JFN}$ 意味フレームで例文が 1 文以上存在する 37 述語について実験を行つ た. その結果、述語や格フレームによって最多票を 得た回答の正解率にばらつきが見られるが、 2 つの 語義が明らかに隔たっていて JFN 上の意味フレーム 定義に不備がない述語は正解率が高いこと、最多票 の回答が OTHER で得票数が多い格フレーム例文に は複単語表現 (multi-word expression、以下 MWE) が 出現しているものが多いことが明らかとなった.

10 人のクラウドワーカーらの回答について、最多票を獲得した JFN 意味フレームとその例文が正解だ ったかどうかを言語分析者が人手で評価・分析した.各述語の 2 つの語義間の類似度と、それらの意味が 現行のJFNに正確に意味フレームとして登録されて いるかどうかにより、37 述語を 3 つに分類した： カテゴリーI:2つの語義が明らかに隔たっている (9 述語、例：「送る」）。

カテゴリーII:2つの語義が似通っている（11 述語、


例：「書く」）.

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の $\mathrm{KCF}$ 格フレームに見られる全ての 語義を正確に表現していない（17 述語）.以下の 2 種類のケースがある：1) JFN 上で誤った意味フレー ムが当該述語に割り当てられていた(例:「適切だ」); 2) $\mathrm{KCF}$ 格フレームから当該述語が 3 つ以上の語義 を持つことが判明したが、JFN 上の当該述語に対す る意味フレーム割り当てが不完全であった (例:「与 える」).

述語カテゴリー別の、述語の平均正解率は以下の 通りであった.

$
\begin{aligned}
& \text { カテゴリーI: } 83.9 \% \\
& \text { カテゴリーII: } 55.0 \% \\
& \text { カテゴリーIII: } 39.9 \%
\end{aligned}
$

この結果から、クラウドワーカーらはカテゴリーIの 述語、つまり 2 つの語義が明らかに隔たっている述語に対しては、概教正しく $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応づけられたと言える。

また、最多票が OTHER でその得票数が多いKCF 格フレーム例文には複単語表現が関与するものが多 かった. (1)から(3)はその例である (文末のカッコ内 の数字は最多票を得た OTHER の得票数).

（1）自分が青春時代を【送った】（10）

(2) その日に私が話題に【上った】そうだ

(3)ここは私が話を【通そう】（8）

KCF の述語には MWE は含まれず、JFNでも今のと ころ MWE の見出し語は少ないので、KCF 格フレー ムと JFN 意味フレームの対応付けの際には MWE の 扱いに留意する必要がある.

本研究の究極的目標である KCF 上のそれぞれの 格フレームに対して JFN 意味フレームを効率的に対応づけるためにも、当面の目標である JFN コンテン ツの改良のためにも、クラウドソーシング結果を言語分析者が人手で詳細に評価する前にあらかじめ正解率の高い述語や留意すべき格フレームを推定でき ることが望ましい。従って、この先行研究で得られ た、JFN 上の意味フレーム定義に不備がない述語の 正解率が高いという傾向と、OTHER が最多票でな おかつ得票数が多い場合に MWE を含むケースが多

いという傾向が、一義語についても見られるかどう かを調查することにした。

## 3 実験

## 3.1 実験設定

今回の実験では、JFN 上で 1 つの JFN 意味フレー ムに登録されている（すなわち一義語とされている） 81 述語、合計 $1319 \mathrm{KCF}$ 格フレーム（1 述語あたり 平均 16.7 格フレーム) を対象とした.

## 3.2 結果

先行研究と同様に、最多票を獲得した選択肢が正解かどうかを評価した. OTHER が最多票を獲得し た際にそれが正解かどうかを得票数別に調べた。そ の結果を表 2 の OTHER 得票数 6-10 に示す.

## 表 2 格フレームごとの得票数別最多票 OTHER の正解率

} &  &  &  \\

9 & 4 & 4 & 100 \\
8 & 8 & 7 & 87.5 \\
7 & 19 & 9 & 47.4 \\
6 & 39 & 9 & 23.1 \\
5 & 77 & 16 & 20.8 \\
4 & 128 & 20 & 15.6 \\
3 & 218 & 41 & 18.8 \\
2 & 309 & 52 & 16.8 \\
1 & 329 & 41 & 12.5 \\
0 & 184 & 23 & 12.5 \\

まず、OTHER が最多票を取得し、なおかつ正解だ った格フレームについて分析した. OTHER が正解 となった理由としては次の 4 つがある：1) 述語が MWE の一部となっており MWE 全体で別のフレー ムを喚起する、2) JFN 上には 1 つの意味フレームの み割り当てられていたが、実際には他にも語義があ り KCF 格フレーム例文の用法はその別の語義に関 するものであった、3) JFN に割り当てられた意味フ
レームかアノテーション例文に誤りがあった、4)提示文である $\mathrm{KCF}$ 格フレーム例文の意味がわかりら゙ らかった、である(表 3).それぞれの例を(4)から (7) に示す (文末のカッコ内の数字は最多票だった OTHER の得票数).

(4) MWE

多くの人が会場で門前払いを【食った】

(5) 多義

有効の方がメモリを【食い】ません（10）

[Ingestion フレームに加え、 Expend_resourceフレームへ割り当て必要]

(6) JFNの意味フレーム割り当て不正確

いつでも気持ちは「日に【新た】」です (6)

[Familiarityフレームではなく正しくはAge フレーム]

(7) $\mathrm{KCF}$ 例文意味不明

今日も一日が【大幅に】しないとね

表 3 OTHER が正解だった理由の内訳

} & \multirow{2}{*}{} & \multicolumn{4}{|c|}{} \\

表 3 から分かる通り、MWE の関わる KCF 格フレ 一ム例文は、最多票 OTHER が正解でなおかつ得票
数が 7 から 10 までの格フレームに限られた. これ は先行研究で見られた傾向と同じである. これに対 して、JFN 上の意味フレームかアノテーション例文 の誤りに関わる KCF 格フレームは、OTHER 得票数 が少ない格フレームに多く見られた。

次に、OTHER が最多票を獲得した (つまり得票数 が 6 から 10 までだった）が、正解ではなかった 41 格フレームについて調べた (表 2 参照).これらの格 フレームにおいて OTHER が不正解となった理由と して考えられる顕著なものに KCF 例文（提示文） と JFN 例文 (選択肢) の文構造の違いがある (14 述語、計 25 格フレーム)，以下の例(8)-(10)に示すよう に、同一語義・用法であるにもかかわらず両者の文構造が違うためにクラウドワーカーらが同義と認識 できず、OTHERを選択したと考えられる.

(8) 文末 $v s$. 名詞修飾男のほうが顔を【重視】するのだろうな（KCF）；【重視】すべき機能に応じた森林整備の推進 (JFN)

(9) 文末 $v s$. て接続

アップグレードビジネスクラスを【比較】しよ ら! (KCF) ;

商業借款と【比較】して一定の水準以上に優遇 された貸付条件であることが必要とされている (JFN)

(10)否定形 vs.肯定形、能動態 vs.受動態

パソコンがモデムを【認識】しなくなってしま った（KCF）;

大量破壊兵器やその運搬手段である弾道ミサイ ルの移転・拡散は、冷戦後の大きな脅威の一つ として【認識】され続けてきた（JFN）

以上、JFN に一義語として登録されている述語に ついても、最多票の回答が OTHER で得票数が多い 格フレームに MWE が関与しているケースが多いこ とがわかった。さらに、MWE 以外にもその述語の 他の語義が見つかるケースがあることが判明した。 また、クラウドワーカーらは提示文と選択肢の文構造を比較して回答しているらしいことが示唆された.

## 4 考察

今回の実験対象は $\mathrm{JFN}$ 上で 1 つの JFN フレーム に登録されている述語であったが、クラウドソーシ ング結果を評価・分析した結果、 81 述語のうちの 9 述語が多義語であることが判明した. そこで先行研究に倣い、述語の意味的特徴と、それらが現行の JFN に正確に反映されているかどうかに基づき、これら 9 つの多義語をカテゴリーIから III に分類した. 述語カテゴリー別に述語の平均正解率を算出したとこ 万、以下の通りとなった。

カテゴリーI:2つの語義が明らかに隔たつている (2 述語：「食う」、「浮かぶ」）：100\%

カテゴリーII: 2 つの語義が似通っている（2 述語：

「教える」、「泳ぐ」）: 50.95\%

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の KCF 格フレームに見られる全ての 語義を正確に表現していない（5 述語）: $52.7 \%$

1) JFN に誤り（2 述語：「記録」、「重ねる」）： $28.1 \%$

2) 3 つ以上の語義 (3 述語：「吸う」、「決定」、「飲む」）：69.1\%

今回の実験においても 2 つの語義が明らかに隔たつ ており JFN のコンテンツに不備のない述語（カテゴ リーI 述語）は正解率が高いことが示された. ちなみ に、一義語の 72 述語のうち $\mathrm{JFN}$ 上の意味フレーム 割り当てやアノテーション例文に不備のない 59 述語の正解率は $63.2 \%$ 以上 $100 \%$ 以下に分布しており、不備のある残りの一義語（13 述語）の正解率はそれ より低い $0 \%$ 以上 $56.3 \%$ 以下に分布していた.

## 5 まとめと今後の展望

$\mathrm{JFN}$ 上で 1 つの JFN 意味フレームに登録されてい る述語を対象に、 $\mathrm{KCF}$ 格フレーム例文に JFN 意味フ レーム例文を対応づけるクラウドソーシングを行い、 その結果を正解率の向上と JFN 改良の観点から考察 した. 得られた知見は以下の通りである. 1) OTHER が正解となる理由は 4 つある. 2) OTHER が最多票 で得票数が多い場合は正解率が高く、MWE が関与 している可能性が高い．3）一義語・多義語ともに $\mathrm{JFN}$ 上で不備のない述語の正解率が高い. 4) クラウ ドワーカーらは回答の際に KCF 格フレーム例文と JFN フレーム例文の構造を考慮していると推定でき る. 今後 JFN に 1 例文のみ存在する一義語の実験の 際にこれらの仮説をさらに検証していく．

また、多義語と分析した 9 述語の述語カテゴリー への分類では語義間の意味の隔たりを考慮したが、 JFN 意味フレームの粒度と JFN 上のフレーム間関係 に鑑み、多義語については集合知のみならず自動処理を用いて今後検討していきたい。

## 参考文献

1. クラウドソーシングによる日本語 FrameNet と 自動構築した格フレームとの対応付け. 河原大輔,小原京子, 関根聡, 乾健太郎. 言語処理学会第 24 回年次大会, 2018.

2. Linking Japanese FrameNet with Kyoto University Case Frames Using Crowdsourcing. Ohara, Kyoko Hirose, Daisuke Kawahara, Satoshi Sekine, and Kentaro Inui. Proceedings of LREC2018 International FrameNet Workshop 2018: Multilingual Framenets and Constructicons, 2018.
 小原京子 慶大/理研 AIP ohara@hc.st.keio.ac.jp 河原大輔 早大/理研 AIP dkw@waseda.jp  