# 比較文の意味解析のための「深い」係り受け関係の解析

窪田悠介 ${ }^{1}$ 林則序 ${ }^{2}$ 天本貴之 ${ }^{3}$ 峯島宏次 ${ }^{3}$
1 国立国語研究所 2 東京大学 3 慶應義塾大学
kubota@ninjal.ac.jp hayashi-lin@g.ecc.u-tokyo.ac.jp
amamoto@keio.jp minesima@abelard.flet.keio.ac.jp

## 概要

言語学的に複雑な現象に関する意味解析を行うた めの方法として、「深い係り受け」という概念を提案 し、その有効性を検証したパイロット研究の結果を 報告する。「深い係り受け」とは、一言で言って抽象的な意味関係に関わる情報であり、理論言語学で は統語変換などの複雑な操作によって規定される。 このような情報を、深層学習などの最近の機械学習 の手法でどの程度正確に解析できるかを検証した 研究は未だ存在しない。本研究では、日本語比較文 の分析に関わる「深い係り受け」情報の判定器とし て、深層学習モデルと (言語学的知識に基づく) 規則 ベースモデルの二種を実装し、その比較を行った。

## 1 はじめに

深層学習の手法や大規模言語モデルが手軽に利用可能になったことで、自然言語処理 (NLP) 技術を援用して言語理論の問題に取り組む研究が活発化して いる。しかしながら現在までの研究は、既存の NLP 技術で解ける形に言語理論の問題を規定し直す形の ものが多い。このため、「統語変換の概念を実装し た頑健なパーザは構築可能か？」といった、理論言語学側の核心的問題を立脚点とした研究は、一部の 先駆的試み [1] 除いて端緒にすらついていない。

本研究では、理論言語学研究に動機づけられた概念として、「深い係り受け」という概念を提案する。統語解析から意味解析へのパイプラインの途中に深 い係り受けの解析レイヤを組み込むことで、複雑な 意味解析を機械に実装可能な形で行うための見通し が立つ。具体的には、深い係り受けの解析自体が、多くの場合、既存の機械学習の手法を援用すること で比較的容易に高精度で可能であり、また、句構造解析や含意関係認識などの、この解析レイヤの上下 に接合する他のコンポーネントに関しても既存の高精度な解析器がそのまま利用可能となる。本論文で
は、このような設計の意味解析システムのプロトタ イプとして構築した、日本語の比較文の意味解析の ための深い係り受けの解析器を報告する。

## 2 理論的前提

比較文の意味を正確に解析することは、自然言語 の意味論における重要な課題である $[2,3]$ 。また、比較文は (1) に見られるような含意関係をもたらす 言語表現であるため、NLP の含意関係認識において も重要な課題の一つである $[4]$ 。

(1) P1: 太郎は次郎より背が高い。 P2: 次郎は三郎より背が高い。 $\mathrm{C}$ : 太郎は三郎より背が高い。

比較文の意味解析には、表面的な係り受け関係だけ でなく、以下三種類の情報の判定が必要となる [5]。

（2） a. 何と何が比較されているか

b. 比較の尺度 (スケール) は何か

c. 差分がいくらか

以下、便宜的にこの情報を「深い係り受け」と呼ぶ。理論言語学では、比較文を (3) に示す「寄生ス コープ (parasitic scope)」[6] という複雑な統語変換操作で分析する方法が提案されている $[7,8]$ 。

(3)

(3) の分析図は一見複雑に見えるが、実際には、既存の句構造解析器の出力と ( $2 \mathrm{a}-\mathrm{c})$ に示した深い係り 受けの情報があれば、単純な構文木の変換により一意に復元可能である。つまり「寄生スコープ」とは、深い係り受けと浅い係り受けをどう組み合わせれば 文の意味が得られるか、ということに関する母語話者の直観的知識を言語学者が明示的に規則化したも のにほかならない。この手法により、比較文のよう な複雑な意味現象に関して、比較的単純な方法で高階論理の正確な意味表示を導くことが可能となる。

具体的には、(4)の文に関しては、(2a-c)の情報が あれば、単純な構文木の変換により、それぞれ (5) の論理式を得ることができる (4) で用いたラベルに ついては 3.1 節を参照)。

(4) a. 太郎は花子より prej ポチ cont が 好きだdeg。

b. 警察官cont の初任給は 他の公務員よりprej 少しdiff 高いdeg。

(5)
a. $\max d[$ 好き(花子) $($ 太郎 $)(d)]$ $>\boldsymbol{\operatorname { m a x }} d[$ 好き(ポチ) $($ 太郎 $)(d)]$
b. $\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(警察官))(d)] $>\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(他(公務員)))(d)]

文法理論に基づく高階論理解析器 ccg2lambda [9] などで採用されている既存の CCG 構文解析器をそ のまま用いて、(3) の分析図や対応する (5) の高階論理式を得る方法は自明ではない。寄生スコープは、比較文だけでなく、(「同じ/別の」「それぞれ」「平均 して」「合計で」などの）複数名詞句や等位構造と連動して複雑な意味解釈をもたらす一連の言語表現の 分析にも有効であることが知られている [10]。従っ て、寄生スコープ分析に基づく自動解析の方法を模索することは、理論言語学研究への NLP 技術の援用のための道筋をつける目的のみならず、NLP の推論タスクなどへの理論言語学的知見の活用のために も一定の意味があると考えられる。

## 3 深い係り受けの判定器の比較

寄生スコープ分析に基づく比較文の自動解析器を 作り、それを用いてコーパスなどに現れる任意の文 を解析するためには、以下の二つの情報の両方を正確に推定することが必要となる。
- 浅い係り受け: 表面的な依存関係/句構造
- 深い係り受け: (2) の比較文の意味に関わる情報
この二つのうち、浅い係り受けに関しては既存の 句構造文法 (HARUNIWA2 [11] など) や CCG の解析器 (depccg [12] など) を用いることができる。

深い係り受けは (6) の特徴を持つ情報である。

（6） a. 抽象的な意味関係に関わる情報である

b. 部分的に文法的マーキングで表示される

深い係り受けの推定は、(6a) の特徴のため本質的 に困難なタスクだが、(6b) の特徴を持つことから、形態・統語的特徴や意味的類似度などの情報によ り、ある程度の精度で推定できることが予想され る。このため、言語学的知見と NLP 的手法を組み 合わせたアプローチが特に有効と考えられる。し かしながら、我々の知る限り、深い係り受けの推定 （や類似タスク）に関して、異なる特徴を持つ複数 の手法を比較し、それらの性能や利点・欠点を具体的に検討したした研究はいまだ存在しない。

本研究では、深い係り受けの推定に関して、言語学的知見に基づいて規則を手で書いた規則べースの 判定器を用いる手法と、アノテーション・データを 用いた深層学習のラベル認識タスクとして解く手法 を構築し、両者の解析結果を比較した。以下、タス クの定義と、それぞれの判定器の詳細を記述する1)。

## 3.1 タスクの定義

2 つのモデルにおけるトークン化の相違や、係り 受け関係の利用可能性の相違があるため、タスクは 文字列の区間に対するラベル付けタスクとして定義 する。具体的には、日本語の文である任意の文字列 に対し、正解データにおいて付与されているラベル と判定器が予測したラベルの一致率を計算する。

(7) ラベルの種類 prej: 比較句 (例:「花子より」) cont: 比較句と対になる句 (例:「ポチが」) diff: 差分表現 (例: 「少し」「3cm」) deg: 程度述語 （例:「好きだ」「背が高い」）

(8) 正解データの例妻が仕事に精出す一方、[赤沼は] cont [それよ り]prej [もっと]diff [忙しい] deg 。 (BCCWJ LB19_00238, 5950)

1）ソースコードおよびモデルについての情報は https://github.com/ABCTreebank/comparative-nerutils/releases/tag/NLP2023 にて公開中である。

## 3.2 規則ベースの判定器

既存の一般的な言語処理ツール（形態素解析、依存構造解析）を使用して規則べースの判定器を実装 した。まず、入力文を GiNZA [13] によって形態素解析し、依存構造解析を行う。この依存構造は日本語 Universal Dependencies (UD) [14] に基づくもので あり、例えば、(4b) の例には付録図 1 に示したよう な出力（依存構造木）が得られる。

これを用いて、次の順序で特定の条件を満たす構成素に素性を割り振る。構成素の意味的な類似性に ついては、GiNZA が提供する単語埋め込みによるコ サイン類似度を利用した。

1. prej: 依存構造木から「 $\mathrm{N}$ より」「 $\mathrm{N}\{$ と・に $\}$ 比 べ」における名詞 $\mathrm{N}$ を特定し、それを主要部と する部分木を prej とする。(4b) では「公務員」 がNであり、「他の公務員より」が prej となる。

2. deg: $\mathrm{N}$ の親（「高い」）を deg とする。

3. diff: deg の子に副詞（「少し」）があれば、それ を diffとする。

4. cont: 「Xの方」という句がある場合は、 $\mathrm{X}$ を主要部とする部分木を cont とする。「X の方」が ない場合は、prej、deg、diff に含まれていない 要素の中で、 $\mathrm{N}$ ともっとも類似度が高い要素を $\mathrm{X}$ とする。その上で、 $\mathrm{X}$ が名詞であれば、 $\mathrm{X}$ を 主要部とする部分木を cont とし、Xが名詞でな い場合、cont は空とする。(4b) の場合、「警察官」が cont となる。

## 3.3 機械学習に基づく判定器

学習データ BCCWJ [15]から、「より」と「\{と・ に＼$比べ」を含む文で、比較構文に該当する可能性 }$ があるものを 3,460 文抽出した。付録表 1 に内訳を 示したとおり、これらの文は、複文 (連用節、連体節)をなすものを含み、また、比較文でないデータ も含んでいるため、3.1 節で定義した深い係り受け 判定のタスクは一定の複雑さをもつものであると 考えられる。これらの文に対して、アノテーション を上の (8) に示したブラケット形式で、手動で施し た。アノテーションデータのうち、評価用に 350 文 （全体のおよそ 10\%）をランダムに選出し、残りの 3,110 文を学習に用いた。

モデル BERT モデル [16] ${ }^{2)}$ の上に、トークンを

2）日本語 BERT モデルは https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking を用いた。分類する線形ニューラルネットワークを加えたも のをモデルとした。これは、固有表現抽出（Named Entity Recognition, NER）と同じモデルの構成であ る。単語埋め込みベクトルの次元数は 768、入力長 を 256 に設定した。分類ラベルは、空ラベル（O） および (7) に示したラベル (prej, cont, diff, deg) の 5 つで構成した。

モデルの学習上記学習データを用いて学習を 行った。学習時のエポック数は 27 、ミニバッチサイ ズは 16、学習率は $5.0 \times 10^{-5}$ とした。

## 4 結果・考察

## 4.1 評価方法

評価用 350 文について、規則べースモデルと機械学習モデルの 2 種類で予測をし、正解データと照合 した。予測された素性のスパンと正解データのスパ ン同士の可能なマッチングパターンを網羅し、個々 のマッチングペアに、下記の判定に自然に沿うよう なコスト付けを行い、最小コストのマッチングを、線形割当問題ソルバー3)を用いて算出した。マッチ ングペアの判定は次の 4 種類からなる：
- CORRECT（完全一致）
- SPURIOUS（余分な予測）
- MISSING（正解スパンの予測の失敗）

・WRONG_SPAN（スパンが重なるが不一致）

結果の集計のために、MUC-5 評価メトリクス [17] のうち、再現率・精度メトリクス (recall-precision metrics）を用いた。メトリクスには strict と partial の 2 種類を設け、strict における正解は CORRECT のみ、 partial における正解は CORRECT+0.5WRONG_SPAN とした ${ }^{4)}$ 。評価結果は付録表 2 および表 3 の通り。

## 4.2 モデル間の比較

全般的に機械学習モデルのほうがスコアが高い が、素性ごとに 2 つのモデルの差が大きく異なる。 prej はどちらのモデルも F 1 值が 80 以上になった。 prej 「より」「\{と・に\}比べ」を手がかりとして特定できる。機械学習モデルはこの点の学習に成功し ている。一方、規則ベースモデルでは、再現率は機械学習モデルを超えるが、精度が (strict、partial どち

3） scipy.optimize.linear_sum_assignmentを使用した。

4）[18]の partial boundary matching と違い、素性が不一致で範囲が一致するスパンのペアは正解として扱わない。一般的な 固有名認識と違い、我々にとっては素性の不一致は重大な間違いだからである。

らの基準でも) 機械学習モデルに比べ 10 ポイント以上落ちている。その主な原因は、参照している形態素解析、依存構造解析の品詞情報が比較のヨリと起点のヨリ（例：「ロンドンより最近到着した」）を区別していないことにある。起点のヨリに関する過剩 な予測を除外すると、精度 (strict) は素性の単純平均 で 13.1 ポイント上昇する5)。

$\operatorname{deg}$ に関して規則ベースモデルの再現率が機械学習モデルに対して劣る主な要因としては、ヨリ句 と deg の間に他の述語が介在している場合に典型的 に見られる解析エラーが挙げられる（例：「[中央区 に比べ]prej、西区のはずれに位置する平和は空気が [澄ん] deg でいる ${ }^{6}$ )」で「位置（する）」を $\operatorname{deg}$ と予測 する) $)^{7)}$ 。規則べースモデルの diff に関するエラーの 要因としては、prej と同様、品詞情報の不足により、差分表現を特定することが難しい点が挙げられる。 また、規則べースモデルは、 3.2 節で述べたように prej から順に素性を判定するため、上述の prej 誤判定が他の素性の誤判定（精度の低下）の一因になっ ている。これらの点はすべて、規則ベースの手法の 古典的な問題の一種である。本研究が対象とする、一見単純な言語学的知識で解けそうなタスクでも、 アノテーション・データを用いた機械学習が、タス クに特化した教師データなしの規則べースの手法と 比べて実データに対して明らかに頑健であることを 示しており興味深い。

一方で、構造を明示的に参照していないせいで機械学習モデルが判定に失敗している例もある。たと えば、付録 (9a) では cont はブラケットで囲った名詞節全体だが、モデルは名詞節内の非連続な区間を cont と予測する。また、(9b) の「黒人」は従属節の 主語であり、比較構文をなす主節の要素ですらな いが、誤って主節述語に対する cont と予測されて いる。

## 4.3 素性ごとの比較

4 つの素性のうち、判定が最も困難で、かつ意味解析にとって重要なものは、統語的・形態的な手が かりが乏しい cont である。これに関しては、2つの


モデル双方で、予想通り 4 つの素性の中で F1 が最 も低くなった。この主な要因としては、次の 3 つが ある（具体的な例文は付録 (10) を参照）。

意味的類似度の過剩重視 (10a) で比較の対象は 時点だが、言語表現として明示されないので、「cont なし」が正解である。しかし、prej 内の国名「フラ ンス」につられて、「ベトナム民主共和国 (大統領)」 が cont と予測される。(機械学習・規則ベース両方) cont が名詞句の一部であるケース (10b) におい ては、比較の正しい対比は「コウヤマキ cont」と 「他の五樹種 prej」だが、モデルは「コウヤマキ」を 含むより大きな名詞句「...の耐陰性 (...)」全体を cont と予測する。(規則べースのみ)

文脈情報の不足前文脈、および「おっとりした」 から、(10c) の正解は「娘よりも prej」/「花 cont」で あると判断できる。しかし、モデルは一般的に cont になりがちな主語名詞句「おっとりした母」を cont と予測する。（機械学習・規則ベース両方）

## 5 結論

「深い係り受け」の解析を実証的に検証するため、日本語比較文の意味解析を題材に、機械学習と規則 ベースの 2 つのモデルを構成し、性能を比較した。以下簡単に結論をまとめ、今後の方針を述べる。

まず、全般的に機械学習モデルのほうが性能が高 いが、いくつかの弱点に関しては、異なる種類の言語学的情報を明示的に参照することで性能の改善が 見込める。係り受け解析の参照など ( (9) 参照)、規則ベースモデルの要素を何らかの形で取り入れるの が有効と考えられる。また、cont の予測の改善のた めには、(10c) が示唆するように前文脈を考慮する 必要がある。文脈情報の利用で性能向上が見られる かを今後検討する。

「深い係り受け」の解析の先には、これを用い た意味解析が目標としてある。直近の課題は、 ccg2lambda などによる、論理式を介した含意関係判定器への接合である。人間の言語処理が、連結した 複数のコンポーネント間の制約の最適化問題として 規定できることはほぼ疑いの余地がない。深い係り 受けのレイヤを立てた意味解析パイプラインは、こ の設計の機械実装可能な近似と位置づけられる。将来的な課題は、定量的な性能検証が可能な自然言語 の意味処理に関するモデルとして、このような設計 の機械を構築することである。

## 謝辞

本研究は JSPS 科研費 21K00541、国立国語研究所共同研究プロジェクト「計算言語学的手法による 理論言語学の実証的な方法論の開拓」JST CREST JP-MJCR2114 の支援を受けたものである。研究の初期段階において助言を下さった吉川将司氏に感謝 する。

## 参考文献

[1] John Torr, Miloš Stanojević, Mark Steedman, and Shay B. Cohen. Wide-coverage neural A* parsing for Minimalist Grammars. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2486-2505, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Christopher Kennedy. Comparatives, semantics of. In Encyclopedia of Language and Linguistics, pp. 690-694. Elsevier, Oxford, 2 edition, 2005.

[3] 澤田治. 比較構文の語用論. 澤田治美（編）, ひつじ 意昧論講座 2: 構文と意味, pp. 133-155. 2012.

[4] Izumi Haruta, Koji Mineshima, and Daisuke Bekki. Combining event semantics and degree semantics for natural language inference. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1758-1764, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Omid Bakhshandeh and James Allen. Semantic framework for comparison structures in natural language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 993-1002, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Chris Barker. Parasitic scope. Linguistics and Philosophy, Vol. 30, No. 4, pp. 407-444, 2007.

[7] Christopher Kennedy. Modes of comparison. In Proceedings from the Annual Meeting of the Chicago Linguistic Society, Vol. 43, pp. 141-165, 2009.

[8] Ai Matsui and Yusuke Kubota. Comparatives and contrastiveness: Semantics and pragmatics of Japanese hoo comparatives. In Proceedings of Formal Approaches to Japanese Linguistics 5, pp. 126-139, Cambridge, MA, 2010. MITWPL

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of EMNLP 2016, pp. 2236-2242, Austin, Texas, 2016. Association for Computational Linguistics.

[10] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, MA, 2020. Available Open Access at https://direct.mit.edu/books/book/4931/ Type-Logical-Syntax.

[11] Butler Alastair Horn, Stephen Wright and Kei Yoshimoto. Keyaki treebank segmentation and part-of-speech labelling. 言語処理学会第 23 回年次大会発表論文集, pp. 414-1148, 2017.

[12] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of ACL 2017, pp. 277-287, 2017.

[13] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[14] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[15] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Nancy Chinchor and Beth Sundheim. MUC-5 evaluation metrics. In Fifth Message Understanding Conference (MUC-5): Proceedings of a Conference Held in Baltimore, Maryland, August 25-27, 1993, 1993.

[18] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics $(* S E M)$, Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

図 1: 依存構造木の例

表 1 : アノテーションデータの内訳

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 2: 機械学習モデルの結果

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 3: 規則ベースモデルの結果

(9)（機械学習モデルに特有の失敗、下線eont が誤った予測）

a. しかし [論理よりも経験よりも何よりも]prej [たいせつ] deg なことは、 [子がeent 親から信用されることeent]cont である。(BCCWJ LB11_00024,39960)

b. 黒人cont は出生率は増加しているが、[ニューヨークを去る人] cont が [移住してくる人よりも]prej [多い]deg。 (BCCWJ LB13_00134,8920)

(10) （cont の予測の失敗、下線e@ntが誤った予測）

## a. 意味的類似度の過剰重視

ベトナム民主共和国大統領eont が帰りついた祖国の情勢は、[フランスへ向った時よりも]prej [更 に]diff [悪化]deg していた。 (BCCWJ LBc2_00023, 22980)

## b. cont が名詞句の一部であるケース

このことは、[コウヤマキ] cont の耐陰性（少ない光に耐えて育つ能力）がeont、[他の五樹種にくら べて]prej、[いちじるしく]diff [高い]degことを示している。(BCCWJ LBk6_00008, 23250)

## c. 文脈情報の不足

おっとりした母はeont [娘よりも] prej[花に]cont [関心]deg がむいている。(BCCWJ LBh0_00004, 74220)
 窪田悠介 ${ }^{1}$ 林則序 ${ }^{2}$ 天本貴之 ${ }^{3}$ 峯島宏次 ${ }^{3}$ 1 国立国語研究所 2 東京大学 3 慶應義塾大学 kubota@ninjal.ac.jp hayashi-lin@g.ecc.u-tokyo.ac.jp amamoto@keio.jp minesima@abelard.flet.keio.ac.jp  