# 論文
## 日本語の文法機能タイプ付き単語依存構造解析

\author{
田中貴秋 $\dagger \cdot$ 永田昌明 $\dagger$
}

本論文では, 従来の文節依存構造 (文節係り受け) による構文解析と異なり, 解析結果の部分構造が構文の構成素 (constituent) と一致し, 解析結果から文法機能情報を直接取得できる日本語の構文解析を提案する. 提案する構文解析は, 単語間の依存構造に基づき，依存構造に付加されたラベル（文法機能タイプ）により格関係や連体修飾節の種別等の統語情報（文法機能情報）を表示する。この特徴により, 文節依存構造解析では通常別工程として処理していた述語項構造解析を, 単語依存構造解析では構文構造と自然に統合して扱うことが可能になる。京都大学テキストコー パス, 現代日本語書き言葉均衡コーパスの一部に対して構築したコーパスを用いた評価実験により, 単語依存構造解析は, 従来の文節依存構造解析とほぼ同等の精度を保ちつつ, 述語項構造情報等の詳細な統語情報を獲得可能であることを報告する. キーワード: 構文解析, 単語依存構造, 文法機能タイプ, 述語項構造解析, 句構造, コーパスアノテーション, Universal Dependencies

## Word-based Japanese Typed Dependency Parsing with Grammatical Function Analysis

\author{
TAKAAKI TANAKA ${ }^{\dagger}$ and MasAAKI NAGATA ${ }^{\dagger}$
}

\begin{abstract}
We present a novel scheme for word-based Japanese typed dependency parsing which integrates syntactic structure analysis and grammatical function analysis such as predicate-argument structure analysis. Compared to bunsetsu-based dependency parsing, which is predominantly used in Japanese NLP, it provides a natural way of extracting syntactic constituents. This makes it possible to jointly decide dependency and predicate-argument structure, which is usually implemented as two separate steps. By using grammatical functions as dependency types, we can obtain the detailed syntactic information from parsing results, while keeping the converted bunsetsu-based dependency accuracy as high as CaboCha, one of the state-of-the-art dependency parsers.
\end{abstract}

Key Words: Synractic Parsing, Word-based Dependencies, Dependency Type, Predicateargument Structure, Constituent, Corpus Annotation, Universal Dependencies

## 1 はじめに

日本語の構文解析は，標準的に文節間の依存関係により構成される構造「文節依存構造」（あるいは，文節係り受け構造）に基づいて行われてきた。特に，CaboCha (Kudo and Matsumoto 2002) や KNP (Kawahara and Kurohashi 2006) に代表される文節依存構造に基づく解析器は高い解析精度を実現して広範に利用され, 日本語の自然言語処理全般の発展に大きく寄与してきた.しかしながら，文節依存構造による構文構造の表現には， 2 つの問題点があることが指摘されている (Butler, Zhou, and Yoshimoto 2012a; Tanaka and Nagata 2013) 。一つは依存構造の単位が構文の構成素 (constituent) $)^{1}$ と整合しないこと，もう一つは格関係 ${ }^{2}$ や連体修飾節の種別 ${ }^{3}$ などの統語情報（以下，文法機能情報と呼ぶ）を依存構造の中に埋め込むことが困難なことである。これらの問題点は, 述語項構造解析などの構文構造と密接な関係を持つ処理や, 機械翻訳における事前並べ替え (星野，宮尾，須藤，林，永田 2019) や多言語間の質問応答など他の言語との対応付けが必要な処理で，不都合を生じる要因となる。本論文では，構文の構成素と整合する単位に基づき，文法機能情報を埋め込むことが可能なことを特徴とする単語依存構造解析に基づく構文解析を提案する.

以下では，文節依存構造解析の 2 つの問題点を，述語項構造解析との関係を例に具体的に説明し, 我々の解決手段の概要について述べる.

一つ目の依存構造の単位と構文の構成素との不整合は，構文解析結果の部分構造（一つ以上の文節が結合した単位）が，名詞句や動詞句などの構文の構成素と必ずしも一致しないということである．例えば，次の文 (1)のように文節を単位として表現された文から述語項構造を抽出することを考える。

(1) $b_{1}$ 彼が $\left.\right|_{b 2}$ 飲んだ $\left.\right|_{b 3}$ ワインと $\left.\right|_{b 4}$ 酒の $\left.\right|_{b 5}$ リスト he NOM drink PAST wine CONJ sake GEN list

(2) $\left[_{\mathrm{NP}}\left[{ }_{\mathrm{NP}}\right.\right.$ 彼が飲んだ $\left[_{\mathrm{NP}}\right.$ ワインと酒 ] ] のリスト $]$

文 (1)の文節依存構造には, 4 つの依存構造（係り受け構造）一並列構造を含む依存構造 $b 3-b 4$ と，並列構造を含まない依存構造 $b 1-b 2, b 2-b 4$ と $b 4-b 5$ 一が存在している.また，文 (1) には，文 (2)で表されるように，「ワインと酒」「彼が飲んだワインと酒」「彼が飲んだワインと酒のリスト」の3つの名詞句が階層的に含まれている。しかし，文(1)の文節を結合してできる単位は，最初の 2 つの名詞句のどちらとも一致しない。この結果として，文 (1)の文節依存

構造から，述語項構造を抽出しようとしたとき，述語「飲んた」の項として並列構造を含む名詞句である「ワインと酒」を，直接的に取り出すことができない. この不一致は, 他の言語との対応付けを行うときにも同様の問題を生じる．例えば，文 (1) と対訳関係にある文 (3) において，並列構造を含む名詞句 “wine and sake”に対応付けるべき名詞句「ワインと酒」を，直接取り出すことができない.

もう一つの問題点は，文節依存構造では，統語的に異なる構造を区別するための情報を付加することが困難な点である。その典型的な例として，内の関係の連体修飾節（関係節）と外の関係の連体修飾節（内容節や補充節）の区別がある。文 (1) は主名詞句（被修飾名詞句）となる「ワインと酒」が述語「飲む」の対格の格関係を持つ関係節4を含み，文 (4) は主名詞句「理由と事情」が述語との格関係がない外の関係の連体修飾節（内容節）5を含んでいる.

(4) $b_{1}$ 彼が $\left.\right|_{b 2}$ 飲んだ $\left.\right|_{b 3}$ 理由と $\left.\right|_{b 4}$ 事情の $\left.\right|_{b 5}$ 説明 he NOM drink PAST reason CONJ situation GEN explanation

述語項構造を抽出する観点では，文 (1)の名詞句「ワインと酒」は，述語「飲む」の項として抽出するが, 文 (4) の名詞句「理由と事情」は項として抽出しない.このような連体修飾節の違いを区別するためには，依存構造に文法機能情報を付加してそれぞれの統語的な機能を表示することが考えられる。しかし, 文節依存構造の場合, 主名詞句と文節の結合単位が一致しないため, 文 (1), 文 (4) それぞれの文節 $b 2$ と $b 4$ の間の依存構造に文法機能情報を付加しても, 述語と主名詞句の間の関係を適切に表示しているとは言い難い.

我々は，以上のような従来の文節依存構造における問題点を解決することを目的として，日本語において, 構文の構成素を適切に扱い文法機能情報を明示的に扱うことのできる単語単位の依存構造による構文解析を提案する。単語依存構造では，あらかじめ文節のような固定したチャンクを依存構造の単位として設定するのではなく, 全ての関係を単語単位の結合した構造として表現することにより，構文構造を柔軟に表現することを可能にする．構文の構成素との整合性を考慮するには，句構造による構文解析が有力な選択肢と考えられるが，日本語の柔軟な語順への対応のしやすさや, 文節依存構造のアノテーションからの移行のしやすさの点から,依存構造を採用した。ただし，依存構造の設計は，構文の構成素に基づいた構造および文法機能情報を表している句のラベル（非終端記号）を持つことを特徵とする句構造を規範として，句構造の構造・情報を依存構造に変換する形で行った。

本論文で提案する単語依存構造では, 文 (1)に含まれる「ワインと酒」という並列構造は, 図 1 の上の例のように表現する 6,7 . すなわち,「ワイン」と「酒」という単語からなる依存構造に対して文法機能情報を表すラベル（以下，文法機能タイプ）「並列」を付加することにより，それぞれの単語を主辞とする構文要素からなる並列構造が存在することを示している。また，「ワインと酒」という名詞句は, 「ワイン」「と」「酒」の 3 語から構成される依存構造の塊と対応付けることができる。また, 文(1) と文 (4)の区別は, 図 1 のように, 主名詞の主辞となる単語と連体修飾節の主辞となる述語の間の関係に「関係節」や「内容節」のような文法機能タイプを付加することで実現できる.

日本語の単語依存構造には他に, 多言語間で共通の構文構造表示を目指した Universal Dependencies ${ }^{8}$ (以下, UD) (McDonald et al. 2013; de Marneffe et al. 2014; Nivre 2015) の日本語仕様 (金山，宮尾，田中，森，浅原，植松 2015; Tanaka, Miyao, Asahara, Uematsu, Kanayama, Mori, and Matsumoto 2016; 浅原，金山，宮尾，田中，大村，村脇，松本 2019) がある．UDの主目的は多言語間での仕様の共通化であるため，各言語の特徴的な言語現象に対するアノテー ションは捨象される傾向があり, 例に挙げた関係節と内容節の区別も行わない. 本研究は, UD への対応は視野に入れつつも, 主眼は日本語において重要と考えられる文法機能情報を表示可能な単語依存構造を実現することである.

単語依存構造による構文解析は文節依存構造の課題を解決できる一方, 構文解析器により自動解析を行う観点で見ると，文節依存構造と比較して依存関係を結ぶ組合せの数が増大するため, 解析精度への影響が懸念される。また, 日本語の単語依存構造としてどのような構造が適切であるか，すなわち依存構造の主辞をどのように決定すれば良いのかは自明ではない．森ら

図 1 単語単位の依存構造による構文構造の表示例。上：並列の名詞句と内の関係の連体修飾節（関係節） を含む文 (1), 下：並列の名詞句と外の関係の連体修飾節（内容節）を含む文 (4).

は, 単語間に依存構造を付与した大規模なコーパスを構築して, 構文解析器の学習データとして適用した結果として，90\%以上の精度が得られたことを報告している (Mori, Ogura, and Sasada 2014). 森らの依存構造は, 文節依存構造と同様に後方の語が主辞となる単一方向の依存構造から構成されるが，本論文で提案する単語依存構造のように，両方向の依存構造が含まれる場合の解析精度への影響を検証する必要がある。また, 依存構造に付与された文法機能タイプが解析器によりどの程度再現可能であるのかも確認する必要がある.

以下， 2 節で関連する研究について述べ， 3 節で日本語の文法機能タイプ付き単語依存構造の設計について説明し， 4 節で実際に行ったコーパスの構築について述べる。 5 節では依存構造の単位や構造の異なる単語依存構造データから構文解析モデルを構築し, それらの違いが構文解析の精度に与える影響や, 文法機能タイプから得られる述語項構造情報の精度について評価実験を行った結果について述べる。 6 節で単語依存構造において検討すべき課題について述べる.

## 2 関連研究

日本語の構文構造に文法機能情報を表示する研究としては, 語彙化文法に基づくものがある. 主辞駆動型句構造文法 (Head-driven Phrase Structure Grammar, HPSG) (Sag, Wasow, and Bender 2003) がその代表的なものであり, 理論的に精緻な日本語の文法 JPSG (Japanese Phrase Structure Grammar) を提案した Gunji らの研究 (Gunji 1987)，話し言葉を対象に実用的な文法を構築して解析器を実現した Nagata らの研究 (Nagata and Morimoto 1993), 広い言語現象をカバーし, 意味表現 MRS (Minimal Recursion Semantics) (Copestake, Flickinger, Pollard, and Sag 2005) と統合した文法 JACY を構築した Siegel らの研究 (Siegel and Bender 2002), JACY に基づいて大規模なツリーバンクおよび構文解析器のモデルを構築した Bond らの研究 (Bond, Fujita, and Tanaka 2008) などがある.

HPSG の他に, 日本語の語彙機能文法 (Lexical Function Grammar, LFG) (Kaplan and Bresnan 1982) を構築した増市らの研究 (増市, 大熊 2003), 日本語の組合せ範疇文法 (Combinatory Categorial Grammar, CCG) を提案した戸次の研究 (戸次 2010), その文法に基づいたツリーバンクを既存の文節依存構造コーパスと述語項構造データから構築した Uematsu らの研究 (Uematsu, Matsuzaki, Hanaoka, Miyao, and Mima 2013) などがある.

これらのアプローチでは, 統語情報, 意味情報, 語用情報等を統合した精䋊な情報を扱えることが大きな利点であるが, 解析は基本的に単一化に基づく方法で行われ, 高い計算コストを必要とする。また，文節依存構造に比較するとアノテーションコストが高いため，大規模なデー 夕が構築しにくく，また対象ドメインに対して新たにコーパスを用意するのも容易ではない.

語彙化文法に基づく方法に比較して計算コスト，アノテーションコスト両面で軽量で，かつ文法機能情報を活用できる解析の枠組みとして, 文脈自由文法 (Context Free Grammar, CFG)

によるもの, 依存構造文法によるものがある。日本語の CFG を構築して解析器を実装, 評価したものとしては, Noro らの研究 (Noro, Hashimoto, Tokunaga, and Tanaka. 2005) があるが,彼らの研究では前節に挙げたような, 連体修飾節の区別や述語項構造の情報は扱っていない. Tanaka らは, 非終端記号としてこれらの文法機能情報を組み込んだ句構造ホツリーバンクを構築して確率自由文脈文法 (Probablistic Context Free Grammar, PCFG) の構文解析モデルを評価した結果, 文節依存構造解析相当の精度を維持しながら文法機能タイプを扱えることを報告している (Tanaka and Nagata 2013). また, Butler らは, Penn 通時コーパスの規約に従い, より詳細な句構造コーパス Keyaki Treebank を構築し (Butler, Hotta, Otomo, Yoshimoto, Zhou, and Zhu 2012b), PCFGによる構文解析を行った結果についても報告している (Fang, Butler, and Yoshimoto 2014). しかし, 日本語の句構造木の構築は, 従来の文節依存構造の構築よりも難易度が高いため, ドメイン適用のためのデータを構築する障壁となる可能性がある.

単語依存構造は, アノテーションを行う観点からすると同じ依存構造である文節依存構造に近く, 句構造木の構築に比較して低いアノテーションコストで様々なドメインのデータが構築しゃすいと考えられる。日本語の単語単位の依存構造解析については, 森らが, 現代日本語書き言葉均衡コーパス (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014; Den, Nakamura, Ogiso, and Ogura 2008)で定義されている短単位をべー スとして99, 大規模なコーパスを構築している (Mori et al. 2014) . 彼らのコーパスでは単語間の文法機能タイプのアノテーションはなく, 文法機能情報を獲得するためには別のデータを準備することが必要になる。他に，Uchimoto らは，日本語の話し言葉を対象として，主に言い淀みやフィラー等の文節依存構造ではうまく表現が行えない現象に対して, 単語間の依存構造を定義しているが (Uchimoto and Den 2008), 詳細な文法機能を区別するための仕組みは考慮されていない.

文法機能タイプを持つ単語依存構造で構文構造を表現する方法は, 英語等では広く使われており, 中でも Stanford typed dependencies（以下，SD）(de Marneffe and Manning 2008) が代表的なアノテーションスキーマとなっている. 日本語の文法機能タイプは, 標準的な文節依存構造では扱われていないため, 我々は SD で用いられている文法機能タイプを参考にして新たに定めた. ただし, 述語項構造情報を抽出するために必要になる情報など日本語の構文構造を表現するのに不足している情報があるため, 日本語の文法的特徴が付与されている句構造木の非終端記号を変換するという方針により，必要な情報を表現できるように拡張した ${ }^{10}$. 句構造は各部分木が構文の構成素と一致することからも，構造の変換元とすることに適している．本論文では，提案する単語依存構造に基づく最初のコーパスの構築を，既存コーパスの句構造木

に付与された情報を単語依存構造に変換することで行い，変換された構文木を学習データとすることで解析器を実現した。

1 節で述べた多言語横断で共通の構文構造表示を目指すスキーマである UD は，SD を拡張したものであり，日本語 UDの仕様も策定されコーパスの構築が行われている (金山他 2015; Tanaka et al. 2016; 浅原他 2019). 前述したように UD では, 言語特有の文法機能情報はアノテーションされない傾向があるが, 本研究の日本語の単語依存構造の設計を, UD に必要な情報を包含する形で行うことにより，我々の単語依存構造を UD に変換することが可能であると考える。例えば，文法機能タイプに関しては， 3.3 節に述べるようにUDより細かいタイプを採用しており，夕イプを統合することによりUDへの対応付けが可能である.

## 3 日本語文法機能タイプ付き依存構造の設計

本節では，(a) 構文の構成素と整合する部分構造から構成される，(b) 日本語の文法機能情報を表す文法機能タイプを持つ，という２点を満たす日本語の文法機能タイプ付き単語依存構造の設計について述べる。設計は, この 2 つの条件を満たしている句構造を規範として，木の構造と各句の非終端記号が持つ文法機能情報を単語依存構造へ変換するという方針に基づいて行った. 句構造は, Tanaka らの句構造ツリーバンク (Tanaka and Nagata 2013)を用いた.

その方針の上で，具体的に (1) 依存構造を構成する単位を何にするか，(2) 日本語の構文構造に適切な依存構造をどのように定義するか, (3) どのような文法機能タイプ（依存関係タイプ） を定義するか，の３点を定める必要がある，我々は，(1)を後述する長単位に，(2)は句構造からの変換規則の違いにより 6 種類の依存構造スキーマを考え，(3)を句構造の非終端記号から変換した 35 種類の文法機能タイプに定めた. 5 節では, 本節で定めた依存構造の単位, 依存構造スキーマの解析精度に与える影響および，文法機能タイプの有効性を調べるために行った評価実験について述べる。以降では，(1)から (3)のそれぞれについて述べる。

## 3.1 依存構造の単位

依存構造の構成する単位を「単語」とする場合, その単語の定義を何にするかは, 全体設計に大きな影響を与える。本論文では, 摇れが小さく斉一な単位として, 現代日本語書き言葉均衡コーパス（以下，BCCWJ） (Maekawa et al. 2014; Den et al. 2008) で採用されている短単位 (Short Unit Word, SUW) を基礎として考える.

短単位は, 基準がわかりやすくアノテーション作業においても摇れが少ない, 取り出した単位が文脈から離れすぎない (小椋, 小木曽, 小磯, 冨士池, 相馬 2007), という長所があり, 単語についての詳細な情報を保持する解析処理の最小単位として適している。一方で, 統語的な基本単位として依存構造を構成するには短過ぎる傾向がある。例えば，「かもしれない」のよう
表 1 単語分割結果の例（品詞名は簡略化して表記）

}} & を & 食べ & た & \multirow{2}{*}{\multicolumn{4}{|c|}{}} & \multirow{2}{*}{\multicolumn{2}{|c|}{}} \\

な機能語相当の働きを持つ複合辞は，短単位では，「か」「も」「しれ」「ない」の 4 語に分割されるが，これらの間の依存関係を表現しても，あまり意義のある関係は含まれない。そこで，同じくBCCWJで採用されている長単位 (Long Unit Word, LUW) を，依存構造を構成する単位として採用する。長単位は，粗く言えば，一つの文節内を 1 語の内容語と 0 語以上の機能語に分割した際の，内容語，連続した機能語の結合をそれぞれ 1 単位として定義される。長単位では,「かもしれない」等の複合辞は助動詞相当の一語として扱われるため, 重要度の低い依存関係を扱わなくてよいとともに，構文構造を見通しよく表現することができる.

表 1 に，文を短単位, 長単位に単語分割した例を示す。短単位と長単位は階層的な関係になっているため，長単位の依存構造に基づく構文解析を行う場合にも，それぞれの長単位を構成する短単位の情報も解析器の素性として用いることができる．NN，VBなどの品詞シンボルは後述する句構造ツリーバンクで定義された前終端記号を表しており，表 2 のように BCCWJで定義された品詞と対応関係がある.

## 3.2 依存構造スキーマ

日本語の文節依存構造では, 各依存構造を構成する文節間で基本的に右側が主辞になる構造として定義されている（主辞後置型）。しかしながら，日本語において単語間の依存構造を考える場合には，主辞をどのように決定するか，すなわちどのような依存構造を構成するのが適切であるかは自明ではない，そこで我々は，「構文解析結果の部分構造が構文の構成素 (constituent) と一致する」要件を満たす句構造を出発点として, 単語依存構造への変換方法を考えることにより，依存構造の設計を行った。

述語句（述語と後続する 0 語以上の助動詞や助詞で構成される句）とその項を構成素として含むような文に対して，二つのタイプの句構造を考える。一つは述語とその項を先に結合する構造, もう一つは述語と後続する助詞, 助動詞などの機能語を先に結合する構造であり, 本論文では, 前者を述語項結合型（あるいは 1 型）, 後者を述語文節結合型（あるいは 2 型）と呼ぶ.図 2 は, 同じ文を述語項結合型, 述語文節結合型により構成した句構造の例である. 述語項結
表 2 句構造ツリーバンク (Tanaka and Nagata 2013) で前終端記号として用いられている品詞シンボル (本稿では, 句構造から単語依存構造へ変換する規則が参照)

 & & $\mathrm{BCCWJ}$ の品詞 & 例 \\

合型は，文 (5a) や対応する英語の文 (6a)のように HPSG 等で用いられる生成文法的な考えに基づく構造，述語文節結合型は，文 (5b) や対応する英語の文 (6b) のような文節に類似した構造と捉えることもできる.

（5） a. [ [ [ ${ }_{V P}$ 猫が魚を食べ ] た $]$ かもしれない]

S O $\quad$ V aux aux

述語文節結合型 $(2$ 型 $)$

図 2 述語句の結合型の違いによる 2 種類の句構造の構成. 四角で囲んだ VP は, 述語を含む句で優先的に結合する部分木の非終端記号を表す. その他の非終端記号 PP-OBJ, IP-REL_sbj は, それぞれ対格の後置詞句，主格の空所を持つ関係節を表す。

b. [ 猫が [ 魚を $[\mathrm{VP}$ 食べたかもしれない]]]

$\mathrm{S} \quad \mathrm{O} \quad \mathrm{V}$ aux aux

(6) a. [ The cat [ may have $[\mathrm{vp}$ eaten the fish] ] ].

$
\begin{array}{llll}
\mathrm{S} & \text { aux aux } & \mathrm{V} & \mathrm{O}
\end{array}
$

b. [ The cat [ [vp may have eaten] the fish] ].

$\mathrm{S} \quad$ aux aux $\mathrm{V}$

O

これらの句構造から単語間の依存構造へ変換することを考える. 句構造が二分木で構成されている場合を考えると各中間ノードの分岐ごとに左右どちらの要素が主辞になるかを順に決定することで，依存構造を構築することができる。その際, 日本語の文を構成する主要な要素である, 名詞句十機能語 (主に助詞) から成る後置詞句, 述語+機能語（主に助詞, 助動詞）から成

る述語句それぞれにおいて，内容語と機能語のどちらを主辞と扱うかで，二つのタイプに分ける ${ }^{11}$.ここでは便宜的に，後置詞句で機能語を主辞と扱うものを項機能語主辞 (AF-head), 内容語を主辞と扱うものを項内容語主辞 (AC-head), 述語句で機能語を主辞と扱うものを述語機能語主辞 (PF-head), 内容語を主辞と扱うものを述語内容語主辞 (PC-head) と呼ぶ. この主辞型の組合せが 4 通りあり，これらを 2 タイプの句構造の結合型への適用すると 8 通りになるが，述語内容語主辞の 2 つの主辞型については, 句構造結合型の 1 型, 2 型に適用した結果が, 同じ依存構造になるため，実際には，表 3 に示す 6 タイプの依存構造が構成されることになる。これらを依存構造スキーマと呼ぶ.

AF-head+PF-head は主辞後置の原則に則ったスキーマで，述語項結合型（1 型）に適用したものを，主辞後置 1 型 (Head Final type $\left.1, \mathrm{HF}_{1}\right)$ ，述語文節結合型（2 型）に適用したものを，主辞後置 2 型 (Head Final type 2, $\mathrm{HF}_{2}$ ) とする.

主辞後置型から，述語句で内容語（述語）を主辞に変えた AF-head+PC-head は，述語と項がより近い依存関係を持つようにしたもので，述語項結合型，文節結合型いずれに適用したものも同じ依存構造となる。これを述語内容語主辞型 (Predicate Content word Head type, PCH) とする。また，主辞後置型から，後置詞句で内容語を主辞にした，AC-head+PF-head を述語項結合型，述語文節結合型それぞれに適用したものを，それぞれ項内容語主辞 1 型 (Argument Content word Head type 1, $\mathrm{ACH}_{1}$ ), 項内容語主辞 2 型 (Argument Content word Head type 2, $\left.\mathrm{ACH}_{2}\right)$ とする.

さらに, 述語句, 後置詞句の両方において内容語を主辞とした AC-head+PC-head は, 述語と項の内容語同士が直接依存構造を持つようにしたもので, これを内容語主辞型 (Content Word Head type, CWH)とする。この型は, 内容語間の関係を重視し, 少なくとも一方が内容語となる単語間に対して依存構造を考えるUD と類似した依存構造スキーマである。 CWH と UD とは並列構造における主辞の扱い 12 や文法機能タイプなどが異なる.

表 3 句構造の結合型, 主辞型の組合せと依存構造スキーマ

 &  & 述語内容語主辞型 $(\mathrm{PCH})$ & 内容語主辞型 $(\mathrm{CWH})$ \\

これら 6 通りの依存構造スキーマによる構文解析例を図 3 に示す. 各スキーマによって，統語的関係にある語の間の距離が異なることから, 解析器で再現する際の難易度も異なると考えられる。 4 節で，これらの依存構造スキーマに基づいて構築したコーパスについて述べ， 5 節で，解析器への適用面から比較する。

## 3.3 文法機能タイプ

我々は，Stanford typed dependencies を参考に，35 種類の文法機能タイプを定義した ${ }^{13}$. SD との主な違いは, nsubjpass, auxpass, agentなど受動態特有のタイプや $\operatorname{det}$ (determiner), expl

主辞後置 1 型 $\left(\mathrm{HF}_{1}\right)$

主辞後置 2 型 $\left(\mathrm{HF}_{2}\right)$

述語内容語主辞型 $(P C H)$

項内容語主辞 1 型 $\left(\mathrm{ACH}_{1}\right)$

項内容語主辞 2 型 $\left(\mathrm{ACH}_{2}\right)$

内容語主辞型 (CWH)

図 3 各依存構造スキーマによる構文解析例. 枠で囲まれた文字列は句構造において先に結合する構造を示す.

(expletive), xcomp (open clausal complement) など, 日本語では不要もしくは必要性の低いと考えられるタイプを採用していないこと，日本語の多様な連体修飾節に対応するため関係節に関するタイプ remodを細分化したことである。日本語の文法的特徴を反映させるため，日本語句構造ツリーバンクの非終端記号を文法機能タイプに変換することにより，元の句構造の情報が利用されるように定めた。表 4 に，主要な文法機能タイプを示す。参考として，日本語 UD version 2 において定義が類似した文法機能タイプを併記している．以下に，カテゴリごとに定義した文法機能タイプについて説明する。

格関係のタイプ述語と格関係を持つ項との関係に付与する文法機能タイプであり，必須項 (argument) タイプと, 付加項 (adjunct) タイプに大別される。必須項タイプは, nsubj (主格), $\operatorname{dobj}$ (対格), $\operatorname{iobj}$ (与格）を，付加項タイプは， $\bmod$ (場所格)， $t \bmod$ (時間格)， $\arg$ (その他の格）を定義した。アノテーションは，述語項構造情報に基づいて行うが，句構造ツリーバンク (Tanaka and Nagata 2013)の情報を利用する場合は, 非終端記号に付加された文法機能ラべ

表 4 主な文法機能タイプ

} & \multicolumn{2}{|c|}{ 文法機能タイプ } & 例 & UDv2 \\

例は, dependency_type（主辞, 従属部）の形で表記し，“-”は長単位の境界を表す。長単位列のうちどの長単位が主辞になるかは，依存構造スキーマによって異なる。また，UD version 2 との対応は近似的なものであり, 必ずしも同じ定義を持つとは限らない.

ル (-SBJ（主格），-TMP（時間格）など）を変換して行う.

節のタイプ日本語において節と句の境界は曖昧であるが，本論文の文法機能タイプは，句構造ツリーバンク (Tanaka and Nagata 2013) において定義されている節のタイプに基づいている。表 5 に句構造ツリーバンクで分類した節の種類と対応する文法機能タイプを示す。連体修飾節については，内の関係の連体修飾節（関係節）とそれ以外の外の関係の連体修飾節を区別するために，それぞれ，rcmod，ncmod という文法機能タイプを割り当てている. さらに関係節の空所 (gap) になっている格の種類を区別するため, rcmod を, rcmod_nsubj, rcmod_dobj, rcmod_iobj の 3つの文法機能タイプに細分化した。これにより，連体修飾節の主辞の述語と主名詞句の関係を区別し，文法機能タイプにより述語項構造を捉えることが可能になる。外の関係の連体修飾節には，内容節（月に行った-夢）と補充節（月に行った-結果）があるが，句構造ではこれらを区別をせずIP-ADN としており，依存構造でも文法機能タイプを ncmod とした。語・句による修飾関係のタイプ格関係以外の修飾関係（ただし節による修飾を除く）に付与する文法機能タイプで，nmod（名詞類による修飾関係），amod（形容詞類による修飾関係）， vmod （動詞類による修飾関係），advmod（副詞類による修飾関係）などがある。また，名詞句十格助詞「の」による連体修飾句の関係は, post と定義した。

並列関係のタイプ並列関係を持つ要素間に付与する文法機能タイプとして, conj (並列), appos （同格）を定義した．並列要素と並立助詞（「と」「や」など）との関係には，SD と同様に， $c c$ (coordination) を定義した。これは並立要素をマークしている関係を明確にすることで, 並列構造を抽出しやすくするためである。

機能語関係のタイプ機能語と内容語, 機能語と機能語の間の依存関係に付与する文法機能夕イプで，以下のような種類のタイプを定義している。pobj（助詞と内容語との関係），aux（助動詞と内容語との関係), $\operatorname{cop}$ (判定詞と名詞述語の関係) など機能語を含む文法機能タイプ, $p n c$

表 5 節の種類と句構造ツリーバンクで用いられている非終端記号, 単語依存構造で導入した文法機能夕イプ

 &  & \\

(句読点との関係)，par（括弧類との関係）など記号類を含む文法機能タイプがある.

その他のタイプ接続助詞と節の主辞との間の関係 mark, 複合動詞の関係 $v b$, 未定義の関係として $d e p$ を用意している.

様々な文法機能タイプの中でも，特に格関係のタイプと関係節のタイプを導入することの利点は，これらのタイプが付加された依存構造を辿ることにより，述語項構造が抽出できることである。例えば，図 3 の主辞後置 1 型 $\left(\mathrm{HF}_{1}\right)$ の依存構造の場合には，述語と項となる内容語間に 2 つの path を辿ることができる。 すなわち，「魚フライ $(\mathrm{NN}) \leftarrow p o b j \leftarrow \boldsymbol{d o b j} \leftarrow$ 食べ $(\mathrm{VB})\rfloor$ と $\lceil$ 食べ $(\mathrm{VB}) \leftarrow a u x \leftarrow a u x \leftarrow \boldsymbol{r c m o d} \boldsymbol{n} \boldsymbol{s} u b \boldsymbol{j} \leftarrow$ ペルシャ猫 $(\mathrm{NN})\rfloor$ の path である. 二つの文法機能夕イプ dobjと rcmod_nsubj を識別することにより，述語「食べる」の直接目的語と主語としてそれぞれ「魚フライ」と「ペルシャ猫」を抽出することができる.

## 3.4 文法機能タイプ付き依存構造による構文解析例

提案した文法機能タイプ付き依存構造により，詳細化される構文情報について例を示す。本節で示す例は，述語内容語主辞スキーマ PCH によるものである.

述語項構造格関係の文法機能タイプにより, 必須項と付加項との区別を含めて, 述語と項の関係を明示することが可能になる。また，連体修飾節と主名詞の関係を明示することが可能になる。図 4 の一番上に示す例では, 動詞「食べる」に対する格関係が, nsubj (主格), dobj (対

図 4 文法機能タイプ付き依存構造 (PCH) による構文解析例（述語項構造，関係節).

図 5 文法機能タイプ付き依存構造 (PCH) による構文解析例（名詞句の並列，部分並列).

格), $l \bmod$ (場所格）により明示されている．次の二つの例では，動詞「食べる」と主名詞句との関係が，関係節であるか $($ rcmod_dobj)，内容節/補充節であるか $(n c m o d)$ が明示的に区別されている。これらの文法機能情報を構文解析結果から得られることにより，別に解析を行うことなく述語項構造の情報を取得できる。

並列構造並列構造をスコープを含めて的確に表示することが可能になる。図 5 の上の例では, $c c, c o n j$ のリンクにより，結ばれている名詞「猫」と「犬」が並列関係にあることが明示されている。さらにそれぞれの主辞から従属部へと辿ることにより，それぞれが「隣町に住んでいる猫」，「初めて見る犬」の名詞句から構成されていることも捉えることができる。また，図 5 の下は，部分並列の例である（(浅原，松本 2018)の部分並列の例を一部改変)。例のように，複数の項の組を一つの述語が共有する場合でも，単純に全ての項の主辞を同一の述語（「かし」）とし, 項が組になって部分並列の構造になっていること（「本を」と「太郎に」「「ノートを」と「三郎に」）は表示しない。このため, 部分並列の場合, 依存構造の情報のみから正しい述語項構造を取得することはできないが，これは，直接統語的に関係する語の間の依存構造を優先して構成する方針を採っているためである。

## 4 既存コーパスの変換による単語依存構造コーパスの構築

本節では，提案する文法機能タイプ付き単語依存構造コーパスの初期構築を行った際の方法について述べる。 3 節で述べたように，本論文で提案する単語依存構造は句構造を規範として設計しているため, 依存構造の連結した単位（部分構造）や文法機能タイプは, 句構造の部分木の単位や非終端記号との親和性が高い。また, 新たなアノテーションスキームに基づくコー

パスを構築する際には, ゼロからアノテーションを行うより, 既存のコーパスから一定の規則を定めて変換を行う方が，設計の変更への対応や一貫性を保持するに有利であると考えられる。 そこで，我々は提案する単語依存構造に基づくコーパスの最初の構築を既存の句構造コーパスの持つ構造と非終端記号の情報を変換する方法により行った. 実際に 2 種類の句構造コーパスを変換することにより構築した単語依存コーパスの統計量についても述べる。

## 4.1 句構造木から依存構造への変換

3.2 節, 3.3 節で述べたように, 依存構造スキーマ, 文法機能タイプの設計は, 句構造からの変換に基づいて行った。同様に, 文法機能タイプ付き単語依存構造コーパスの構築を, 句構造ツリーバンク (Tanaka and Nagata 2013) から，句構造木の構造と付加された文法機能ラベル（非終端記号）を自動変換することよって行うことを考える。この句構造木は完全な二分木で構成されており, 非終端記号には, 文法機能タイプへの変換に必要な格の情報, 関係節の情報等が含まれる 14 。

句構造から依存構造への変換は，二分木の各分岐に対して主辞決定規則（以下，主辞規則） を適用し, 非終端記号の組合せにより左右どちらの子を主辞とするかを決定することで行う. この主辞規則は，依存構造スキーマに応じて異なる規則を用意する。表 6 に述語内容語主辞型 $\mathrm{PCH}$, 内容語主辞型 $\mathrm{CWH}$, 各スキーマの主辞規則の例を示す. 図 6 は, 変換元となる句構造の例と，表 6 の主辞規則を適応した結果を示す。四角い枠で囲まれた非終端記号は，各分岐ごとに主辞規則を用いて，決定された主辞を示している。

文法機能タイプは，句構造木の各分岐ごとに周辺のノードの非終端記号を参照する文法機能タイプ変換規則によって決定する。表 7 は，文法機能タイプ変換規則の例である．ある葉ノー ドの単語 D（前終端記号 P）と D の主辞との依存構造の文法機能タイプを決定する際には, D から根ノードの方向にたどり $\mathrm{D}$ が主辞とならない最初のノード $\mathrm{C}, \mathrm{C}$ の左の子ノード $\mathrm{L}, \mathrm{C}$

表 6 述語内容語主辞型 PCH (AF-head + PC-head), 内容語主辞型 CWH (AC-head + PC-head) の主辞規則の例

 &  &  \\

NP:PCS & right & left \\
NN:PBD & right & left \\
NP:PBD & right & left \\
VB:AUX & left & left \\
VP:AUX & left & left \\

の姉妹ノード H を参照する。図中の“*”は，任意の非終端記号を表す。

図 7 は, 図 6 の句構造に，表 6 の主辞規則と表 7 の文法機能タイプ変換規則を適用して変換した2タイプの依存構造 PCH, CWH の結果を示す.このように各依存構造スキーマ用の主辞規則と文法機能タイプ変換規則を使用することにより対応するスキーマに基づく依存構造コーパスを構築することができる。

赤い車を買った

述語内容語主辞型 (PCH)

赤い車を買った

内容語主辞型 (CWH)

図 6 変換元になる句構造の例. 四角で囲まれた非終端記号は. 各分岐において主辞規則により主辞と決定されたノードを示す。

表 7 文法機能タイプ変換規則の例

ある葉ノード単語 D（前終端記号 $\mathrm{P}$ ）と D の主辞との依存構造の文法機能タイプを決定する際に，D から根ノードの方向にたどり $\mathrm{D}$ が主辞とならない最初のノード $\mathrm{C} ， \mathrm{C}$ の左の子ノード $\mathrm{L} ， \mathrm{C}$ の姉妹ノー ド H を参照する。“*”は，任意の非終端記号を表す.

述語内容語主辞型 $(P C H)$

内容語主辞型 (CWH)

図 7 句構造から変換された依存構造の例.

## 4.2 構築したコーパスの統計量

単語依存構造への変換する句構造ツリーバンクとして, 京都大学テキストコーパス version 4.0 （以下，京大コーパス）(Kurohashi and Nagao 2003) 40,000 文のうち, 文法機能ラベル付きの句構造木が構築されている 19,953 文 (一般記事 9,953 文, 社説記事 10,000 文), BCCWJ のコアデータのうち同じく句構造木が構築されている 18,400 文を用いた.これらの句構造から述語内容語主辞型スキーマ $(\mathrm{PCH})$ に基づく依存構造に変換したコーパスの統計量を表 8 に示す.

付与された文法機能タイプの統計量から，各コーパス・サブコーパスの構文的な特徴を概観することができる．例えば，書き言葉で書かれたコーパス（京大コーパスや BCCWJ の出版・書籍や新聞など）では，主格の関係にある nsubj は文数よりも多くあらわれる傾向があるが，話し言葉に近い BCCWJ の知恵袋，ブログでは，文数よりも極端に下回っていることがわかる. また，内の関係の関係節の割合は，固めの書き言葉で書かれている白書，新聞で高く，次いで出版・書籍と雑誌, 最も低い割合が，知恵袋，ブログという傾向が見られる．このように，文法機能タイプを様々なコーパスにアノテーションすることによって，それぞれのコーパスに含まれている文の文体や構文的な特徴を分析することにも有効であることが期待される.

表 8 構築したコーパスの統計量（依存構造スキーマPCH）

 &  &  &  &  &  \\

## 5 構文解析器への適用評価

本論文で提案する単語依存構造は, 依存関係を結ぶ組合せの数が, 文節依存構造と比較して増加するだけでなく, 従来の単一方向の依存構造からなる文節依存構造と比較して複雑な構造となっているため, 構文解析器に適用した場合にどの程度の解析精度が得られるかを確認する必要がある。また, 依存構造スキーマによっては, 統語的に重要な関係を持つ語の間の距離ノノー ド間の弧の数）が長くなることによって, 高次の特徴量を使用しないと十分な精度が得られない懸念がある.

本節では, 提案する単語依存構造による構文解析モデルを実際の解析器で構築し, これらの要素がどの程度解析精度に影響するのかを評価する。評価の主眼は，それぞれの依存構造スキー マに基づく単語依存構造に対して解析モデルを最適化することではなく, 既存の解析器の標準的な設定で構築したモデルを使用する際に, 依存構造スキーマ, 依存構造単位（短単位, 長単位, 文節）の違いが解析精度へどう影響するかを確認することである，実験には，単語依存構造解析で実績のある 2 種類の transition ベースの構文解析器を使用することで, 標準的な条件での解析精度が得られることを想定している。また, 本論文の依存構造解析から得られた述語項構造情報を，既存の述語項構造解析により得られた述語項構造情報と比較することにより，導入した文法機能タイプの効果を確認する。

各依存構造スキーマに基づいた依存構造コーパスを学習データとして構文解析モデルを構築し, 解析精度について評価した. 解析評価には, 前節で述べたように句構造ツリーバンクから自動的に変換した依存構造コーパスと, 既存の構文解析器を使用した。評価する観点として,次の 3 点に着目した。

(1) 依存構造スキーマの解析精度への影響

(2) 依存構造単位の解析精度への影響

(3) 文法機能タイプから得られる述語項構造情報の評価

(1) では, 3.2 節で述べた 6 種類の依存構造スキーマに基づいて構築した長単位ベースの依存構造解析モデルの解析精度を比較した。長単位列の正解データを入力として使用し, 形態素解析（短単位へ分割と品詞タグ付与）や長単位へのチャンキングの精度の影響を排除した. (2) では, 短単位列の正解を入力として, 依存構造の単位（短単位, 長単位, 文節）が解析精度に与える影響を調べた。評価のベースラインを揃えるため，短単位列から長単位や文節のチャンキングを行う精度の影響も精度評価に含めた。すなわち比較するのは，(a) 短単位列から直接短単位間の依存構造解析を行う場合, (b) 短単位列から長単位へのチャンキングを行った後, 長単位間の依存構造解析を行う場合, (c) 短単位列から文節へのチャンキングを行った後, 文節間の依存構造解析を行う場合, の 3 種類である。最後に (3)では, 依存構造解析結果から文法機能タイプを利用して抽出した述語項構造解析の情報と, 既存の述語項構造解析器の結果との比較

を行った. 比較する解析器の条件を揃えるため, 平文を入力とし, 依存構造解析を行う場合は,短単位への形態素解析，長単位へのチャンキング，長単位間の依存構造解析を順に行った．表 9 にこれらの実験条件をまとめた.

以下，5.1 節で共通の実験設定について述べた後，(1)-(3) に対応する評価実験についてそれぞれ 5.2 節- 5.4 節で述べ，最後に 5.5 節で評価結果をまとめる.

## 5.1 実験設定

評価実験には，句構造ツリーバンクから 4 節で述べた方法で依存構造に変換したものを使用した。京大コーパスは，全 19,953 文を学習デー夕 15,839 文，開発デー夕 2,114 文，評価デー夕 2,000 文に，BCCWJ は，全 18,400 文を，学習デー夕 14,772 文，開発デー夕 1,919 文，評価デー 夕 1,798 文に分割し，それぞれのコーパスごとに構文解析モデルを構築した。表 10 に学習，開発，評価データの統計量を示す。

解析器の前処理が必要な場合, 短単位への分割および品詞タグ付けは, MeCab (Kudo, Yamamoto, and Matsumoto 2004)，長単位へのチャンキングは, Comainu (小澤, 内元, 伝 2014)を使用して行った ${ }^{15}$.

表 9 実験条件

 \\

解析方法の LUW は長単位ベースの解析，SUW は短単位ベースの解析を表す.

表 10 評価実験に使用したコーパスの統計量

$ は ver. 0.996 を UniDic 辞書 mecab-unidic ver. 2.1.2とともに用い, Comainu は ver. 0.72 を用いた.
}
構文解析器は，夕イプ付き単語依存構造解析で実績のある transition ベースの 2 種類,英語の SD において $80 \%$ 以上のラベル正解率の実績を持つ MaltParser (Nivre, Hall, Nilsson, Chanev, Eryiğit, Kübler, Marinov, and Marsi 2007) および，(2) 主に UD の解析に使用されている UDPipe (Straka and Straková 2017) を用いた ${ }^{16}$.

MaltParser は，解析アルゴリズムに Stack アルゴリズム (projective) を選択し，識別学習ライブラリに LIBLINEAR ${ }^{17}$ を使用してモデル学習を行った。 6 種類の依存構造スキーマそれぞれに対して解析モデルを構築して評価を行った．解析モデルの素性には，表 11 に示す単語属性を組み合わせて用いた。長単位は複合名詞等の構成的な複合語を多く含み，長単位べースの属性で構成した素性は疎になる傾向があるため，短単位ベースの属性を組み合わせた。短単位ベースの単語属性は，対象となる長単位の最左あるいは最右の短単位のものを用いた。例えば,長単位「魚フライ」に対して, 短単位ベースの単語属性は, $S_{L} . l$ (最左の短単位の語彙素「魚」), $S_{R} . l$ （最右の短単位の語彙素「フライ」）等である. また，単語を汎化するため, 日本語語彙大系 (池原，宮崎，白井，横尾，中岩，小倉，大山，林 1997) の属性を用いて単語意味属性（一般名詞属性），固有名詞属性を付与した。単語意味属性は，過度の細分化を防ぐため， 3 階層目までの属性を使用した。

用いた素性テンプレートを表 12 に示す. 依存構造スキーマによって有効な素性は異なると考えられるが, 各依存構造スキーマごとに表 12 の左側に記載しているようなカテゴリを当てはめて素性テンプレートを定義し，評価実験時には全依存構造スキーマの素性テンプレートの和集合を共通に使用した． MaltParser は transition ベースの解析器であり，解析は先頭から順に決定的に行われる。素性テンプレートは，ある解析時点でのスタック $S$ 中の部分木，キュー $Q$ 中

表 11 構文解析器 (MaltParser) の素性テンプレートに用いた単語属性

表 12 構文解析器 (MaltParser) に用いた素性テンプレート

 \\

の単語に関する単語属性の組合せで定義している ${ }^{18}$. 表中, スタック $S$ 中の部分木の根の単語を最上部から, $\left.\{s_{0}, s_{1}, \ldots s_{n}\right.\}$, キュー $Q$ 中の単語を先頭から, $\left.\{q_{0}, q_{1}, \ldots q_{m}\right.\}$ で表している. Stackアルゴリズムでは，スタックの最上位から 2 つの部分木（根がそれぞれ $s_{0}, s_{1}$ ）から新しい弧を作る。スタック中の部分木については,.$h$ （主辞）, $. l_{c}, . l_{d}$ 等の指定子で対象の単語（長単位）を指定している． $l_{c}, . r_{c}$ はそれぞれ部分木の根（主辞）の最左の子（従属部）, 最右の子， $. l_{d} ， . r_{d}$ はそれぞれ部分木の中の根の最左の子孫，最右の子孫を表している.

UDPipe は, MaltParser と同じく transition ベースの解析器であるが，ニューラルネットワー クベースの分類器を用いた予測を行い，素性を設定する必要はない． transition system は，既定値である projective な arc standard system を用いた。また，解析器自身で，単語分割，品詞タグ付けを行うことができるが，他と条件を揃えるため本論文では， UDPipe は依存構造解析のみを行い，短単位への分割，品詞夕グ付けは，前述の MeCabを用いた。

## 5.2 依存構造スキーマの比較

長単位列の正解データを入力として与え， 6 種類の依存構造スキーマに基づく解析モデルにより構文解析を行った。全体の精度として, unlabeled attachment score (UAS) および labeled attachment score (LAS) を表 13 に，文法機能タイプごとの精度 ( $\mathrm{F}_{1}$ score)を表 14 ，表 15 に示す.

全体的な傾向として, 後置詞句において助詞を主辞とするスキーマ $\left(\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}\right)$ の精度が, 内容語を主辞とするスキーマ $\left(\mathrm{ACH}_{1}, \mathrm{ACH}_{2}, \mathrm{CWH}\right)$ よりも高い結果となっている. 特に, 後置詞句, 述語句ともに機能語を主辞とし，述語句を先に結合する $\mathrm{HF}_{2}$ がいずれの場合も最も良い精度となっていることは, 日本語の単語依存構造解析を標準的な transition ベースの構文解析器への適用するにあたって，機能語主辞の構造が精度面で有利であることを示唆していると

表 13 全体解析精度 (長単位)

表 14 文法機能タイプ別解析結果（長単位, 京大コーパス）

## 考えられる。

文法機能タイプ別の精度を見ると、コーパスにおいて大きな割合を占める格関係の依存構造 ( $n s u b j$ など) や連用修飾関係 ( $a d v c l$ ), 並列構造 ( conj など) において, $\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}$ のスキー マによる精度が高い. これらの依存構造において, 主辞を内容語とするよりも格助詞等の機能語とする方が有利であることを反映しており，3つのスキーマの全体精度が高いことに寄与していると考えられる.

一方，連体修飾関係（rcmod，ncmod など）の精度は，述語句で内容語を主辞とするスキーマ
表 15 文法機能タイプ別解析結果（長単位, BCCWJ）

$(\mathrm{PCH}, \mathrm{CWH})$ が比較的高い精度を示していることがわかる。これは, 連体修飾句の主辞となる用言と主名詞の内容語との間で直接依存関係を持つことが, 依存関係先，および文法機能タイプの決定に寄与している結果と考えられる.

必須項の格関係 (nsubj, dobj, iobj)の精度は, 付加項の格関係 $(\operatorname{tmod}, l m o d)$ に比べて, 高い結果となっている，必須項の格関係については，典型的には名詞句に後置される格助詞「が」「を」「に」と動詞の組合せによって正しく推測可能な場合が多くの割合を占めるのに対して, 時間格や場所格は，共起しやすい格助詞「に」「で」がそれ以外の広範な用法を持っており，時間格，
場所格で用いられているのか他の用法で用いられているかの判別が困難であることが多いためと考えられる。

学習コーパス量学習コーパスの規模と解析精度との関係を見るため, 京大コーパス, BCCWJ それぞれについて，MaltParser の学習データとして使う文数を，1,000 文，3,000 文, 5,000 文， 10,000 文, 全文に変えて解析モデル $\left(\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}\right)$ を構築し, 解析精度の変化を調べた結果を，図 8 に示す.どのモデルも，本論文の評価実験で用いた 1,000 文規模で UAS 91 以上の精度を実現し，10,000 文規模で，UAS 93-94に達している，1,000-10,000文の区間では，LASの精度上昇幅が UAS の上昇幅を上回っており, 文法機能タイプの精度を重視する場合, 10,000 文規模の学習データを用いるのが一つ目安と考えられる.

## 5.3 依存構造単位の比較

依存構造の単位による解析精度の違いを調べるため, 京大コーパスのデータに関して, 長単位による依存構造の他に, 短単位の依存構造, 文節単位の依存構造について依存構造解析モデルを構築した。正解の短単位依存構造は, 長単位依存構造のデータを元に, 各長単位を短単位に分割し, 長単位内の隣接する短単位間に依存関係を結び，右側の短単位が左側の短単位の主辞になる構造とした。長単位間の依存構造は, 依存関係元, 依存関係先, それぞれの長単位の中で, 一番右側に来る短単位, すなわち主辞になる短単位の間の依存構造に変換した。また, 長単位内部の短単位間の文法機能タイプは luwに統一した (図 9).

長単位と短単位長単位の依存構造解析モデルと短単位の依存構造解析モデルを比較するため,短単位列の正解データを入力として, 長単位依存構造解析モデル, 短単位依存構造解析モデルそれぞれで解析した。長単位の依存構造解析は, 入力の短単位列を Comainu でチャンキングした結果の長単位列を，長単位依存構造解析モデルで解析した。長単位の正解デー夕を直接入力しないのは, 短単位依存構造解析モデルと入力の条件を揃えることと, 長単位チャンキングの全体解析精度への影響を加味するためである.

表 16 は, 京大コーパスの短単位の形態素情報の正解データを入力として, 長単位依存構造モデルで解析した結果と, 短単位依存構造モデルで解析した結果である。比較のために, 長単位解析モデルの結果も文法機能タイプ luwを用いて短単位の依存構造に変換して集計している.短単位の依存関係で集計すると, 比較的簡単な長単位内部の依存関係 luwが含まれることにより, 精度が高めに計測されるため, 括弧内に依存関係ラベル luwを除いた精度を表示している.

表 16 の MaltParserの結果では，PCH，CWH を除いて短単位モデルの解析精度が長単位モデルより僅かに勝っているのは, 長単位チャンキングの精度（長単位境界の $\mathrm{F}$ 值 99.41, 品詞の F 值 98.80）が影響していると考えられる。一方, UDPipe では, 全体に短単位モデルの結果よりも長単位モデルの結果の方が高く, 長単位で依存構造を捉えることが有効に働いている。同じスキーマで比較する限り, UDPipe の長単位モデルでの解析精度は, MaltParser の長単位お

(a) 京大コーパス

(b) BCCWJ

図 8 学習コーパス量と解析精度の関係.

図 9 長単位依存構造から短単位依存構造への変換の例 (PCH)．長単位を分割し，構成する短単位間に文法機能タイプ luwを持つ依存構造に変換する.

表 16 構文解析結果:依存構造単位の比較（京大コーパス）

短単位間の依存構造で集計している。括弧内は長単位内の短単位間依存関係 $l u w を$ 除いた値を示す.

よび短単位モデル，UDPipe の短単位モデルの結果をほぼ上回っていることから，ある程度のチャンキングの精度と, 依存構造解析器の基本精度があれば，長単位モデルで解析する方が高い精度が得られると考えられる。

長単位/短単位と文節文節単位の依存構造との比較を行うため, 京大コーパスの 20,000 文について単語単位を短単位に置換したデータを人手で作成した。この形態素情報データのうち 15,893 文を CaboCha の学習データとして，文節チャンキングモデル，文節依存構造モデルをそれぞれ構築した。評価データを CaboCha で解析した結果は，CoNLL 形式による短単位間の依存構造

として出力した ${ }^{19}$.

条件を揃えるため，いずれの解析も短単位の正解デー夕を入力として与え，短単位解析は，短単位の依存構造解析，長単位解析は，Comainuによる長単位チャンキングと長単位の依存構造解析，文節解析は，CaboChaによる文節チャンキングと文節依存構造解析を行った. 長単位/短単位依存構造と文節依存構造は, 依存構造の単位が異なるため単純な精度の比較はできないが,構文解析から獲得できる重要な情報として，「格関係」「連体修飾関係」「連用修飾関係」「並列関係」の 4 つの文法機能タイプのカテゴリについて, 正解の単語間の依存構造を出力できる割合（再現率）を調べた。文法機能タイプのカテゴリ分けは，格関係は， $n s u b j, d o b j, i o b j, t m o d$, lmod, arg, 連体修飾関係は，rcmod，rcmod_nsubj, rcmod_dobj, rcmod_iobj, ncmod，連用修飾関係は， advcl，並列関係は，conj, appos とした。CaboCha は文法機能タイプの出力を行わないので，いすれの解析結果についても文法機能タイプの正誤は無視した。結果を表 17 に示す.

スキーマにより違いはあるが, $\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}$ につては, ほぼ文節依存構造と同程度の精度を示している。特に連体修飾関係と並列関係は，文節依存構造よりも高い精度を示す結果となっている。一方，連用修飾関係は，文節依存構造が単語依存構造よりも高い精度を示している。依存関係にある単語間の距離による傾向を見るため, MaltParser の $\mathrm{HF}_{2}$ （長単位）の結果と CaboCha の結果について，連体修飾と連用修飾の依存関係にある単語間の距離（短単位に換算）と再現率の関係を図 10 に示す。連体修飾関係の場合，単語依存構造の方が全般に高い精度を示している。連体修飾関係の依存構造の多くは 5 単位程度の短い距離であり，6-15 短単位の中程度の距離の事例は少ないため, 当てるのが難しい依存関係と考えられる。単語依存構造は, 連体修飾関係のこの中程度の距離において, 再現率の低下を低く抑えられている。一方,連用修飾関係の場合, 後置詞句と述語や, 副詞節と主節など, 絶対的な距離が長くなり得る関係が含まれるが, 15 短単位程度までの距離では単語依存構造, 文節依存構造で差がないのに対し, 15 短単位を超える距離においては文節依存構造の方が精度を維持していることが分かる. これは，文節にチャンキングすることにより，依存構造を持つ単位（文節）の間の実質的な距離を縮めていることと，依存構造を構成する組合せの数を減らしてることが有利に働いていると考えられる。

## 5.4 述語項構造情報

1 節で述べたように, 述語項構造は構文構造と密接な関係があるため, 構文構造に有効な情報を持たせれば，述語と項を直接抽出することが可能である。本節では，文法機能タイプ付き依存構造解析から抽出可能な述語項構造の情報の精度について評価を行う。述語項構造を抽出

表 17 構文解析結果（文法機能タイプ種別再現率）

} & \multicolumn{2}{|c|}{ 依存構造スキーマ } & \multirow{2}{*}{$\frac{\text { 格関係 }}{\frac{86.59}{}}$} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} \\

するために直接目印となる文法機能タイプは, 必須項の格関係 $(n s u b j, d o b j, i o b j)$ と内の関係の関係節 (rcmod_subj, rcmod_dobj,rcmod_iobj) である。依存構造解析結果から，述語を起点としてこれらの文法機能タイプを辿ることによって，述語，格関係，項の 3 つ組 $($ pred, rel, arg $)$ を抽出する，述語 pred は，動詞（サ変名詞を含む）か形容詞（形状詞を含む），項 $\arg$ は，項の主辞の名詞, rel は, 主格 (nsubj), 対格 (dobj), 与格 (iobj) である.

正解デー夕は, 本論文で用いた京大コーパスのデータのうち, NAIST テキストコーパス ver. 1.5 (以下, NAIST コーパス) (Iida, Komachi, Inui, and Matsumoto 2007) に収録されている述語項構造をこの 3 つ組に変換することによって作成した．基本的には，NAISTコーパス中の格関係 “ga”, “o”および “ni”をそれぞれ $n s u b j, d o b j, i o b j$ に対応させた．ただし，能動態，使役態等の格交替が起きている場合でも，NAIST コーパス中の格関係は能動態のものに直して表示されているため，コーパス中の態での格関係になるように人手で修正した。また，抽出された 3 つ組

図 10 依存関係にある単語間の距離と再現率.

のうち，ゼロ代名詞が含まれているものは除外し，コーパス中の依存構造で正解が抽出できる述語項の関係のみに絞った. 最終的に， 6,435 組を正解の述語項関係として抽出した.

本実験では, 述語項構造解析器 SynCha (Iida and Poesio 2011) や項の情報を扱える構文解析器 KNP と条件を合わせて比較するため, 平文を入力として, MeCab で短単位への形態素解析を行い, Comainu での長単位チャンキングを経由して MaltParser または UDPipe で依存構造解析を行った（長単位依存構造解析）. SynCha は, 入力された平文を CaboCha で文節依存構造解析を行った結果に対して, 述語項構造解析を行い, KNP は, 入力された平文を文節依存構造解析と行い, 出力された各関係の情報を述語項構造情報に変換した ${ }^{20}$.

表 18 は, 抽出された述語項の 3 つ組と正解デー夕を比較した結果である. PCH, CWH は, 構文解析精度の結果では $\mathrm{HF}_{1}, \mathrm{HF}_{2}$ に及ばなかったが, 述語項構造情報の精度に関して, MaltParser では PCH, UDPipeでは CWH が最も良い結果となっている。このことは，PCH，CWH が述語句内の内容語を主辞とすることにより, 項になる要素と述語で直接の依存構造が構成される特徴によるものと考えられる．SynChaは， ゼロ代名詞の認定や照応解析も行っており直接的な比較はできないが，本論文の単語依存構造解析結果から抽出した述語項構造の精度は，構文
^{20}$ Syncha は ver. 0.3.1, KNP は, ver. 4.1-beta を用いた.
}
表 18 述語項構造情報獲得結果（長単位）

解析（文節依存構造解析）と述語項構造解析を 2 段階で行っている SynCha の精度を十分に上回っており，依存構造解析時に同時に単語間の格関係を同定することが妥当であることを示していると考えられる。特に，PCH，CWH の結果は，再現率は KNP には及ばないが，適合率， $\mathrm{F}_{1}$ score では同等以上の結果が得られている.

また，本論文の文法機能タイプ付き依存構造解析のように，述語項構造解析と構文解析と同時に行っている場合，構文解析と述語項構造解析を多段で行った場合に比べて両者の整合性を保持しやすい利点がある。典型的な例は，「庭から逃げた猫の足跡」のように，主名詞を含む名詞句に「Aの B」を持つような関係節を含む解析である．名詞 A が関係節の項に成る場合は，通常関係節の述語と名詞 $\mathrm{A}$ の間に依存関係があると考えられるが，単語依存構造解析の場合は，これらの関係を同時に扱うことができる。この例で，述語「逃げる」と統語的に関係のある語を「猫」とするのか，「足跡」なのか判断が難しい場合であっても，述語「逃げる」の主格の項が「猫」になり可能性が高いと推定できたとすると，述語「逃げる」と名詞「猫」の間に rcmod_nsubj という文法機能タイプを持つ依存構造を構成し, 自動的に「逃げる」と「猫」の間に統語的関係があるという解析結果になる.

構文解析と述語項構造解析の多段処理の場合は, 前段の構文解析での判断が難しく, 誤った依存構造を構成してしまうと, 後段の述語項構造解析でその誤りを伝播させる可能性が高まる. また，前段の構文解析結果と後段の述語項構造解析の結果で整合が取れる保証もない.

図 11 は, 単語依存構造解析の結果, 文節依存構造解析と述語構造解析の 2 段処理による結果の実際の例である。単語依存構造解析の結果では, 述語「接する」と項「イタリア」が主格と述
語の連体修飾関係 (rcmod_nsubj) で依存構造を構成しており, 構文解析結果と述語項構造解析結果が整合している，文節依存構造解析では，述語を含む文節「接する」と文節「政治動向は」で誤った依存構造を構成している一方で，述語項構造解析では正しい項「イタリア (の)」を抽出しており, 両解析結果で整合が取れていない. また, 図 12 の単語依存構造解析の結果では, 述語「見落とされる」と項「仕組み」が主格と述語の連体修飾関係 (rcmod_nsubj) で依存構造を構成している。それに対し，文節依存構造解析では，述語を含む文節「見落とされている」と文節「政治の」で誤った依存構造を構成した結果，正しい項「仕組み」を抽出することに失敗している。実験で使用したテストセットに含まれるこのような構造 75 例のうち, 文法機能タイプ付き単語構造解析では 42 例で述語項構造と依存構造が正しく抽出できたのに対して, CaboCha,

単語依存構造解析 (PCH) の結果.

文節依存構造解析 + 述語項構造解析結果.

図 11 単語依存構造解析と述語項構造解析の結果の例 (その 1).

単語依存構造解析 (PCH) の結果.

文節依存構造解析 + 述語項構造解析結果.

図 12 単語依存構造解析と述語項構造解析の結果の例（その 2).

SynCha の多段処理で正しく抽出できたのものは， 6 例に止まった.

## 5.5 評価のまとめ

5 節では, 依存構造スキーマ, 依存構造の単位, 述語項構造情報の 3 点に着目して構文解析器への適用性を評価した。使用した構文解析器は, transition ゙ースの 2 種類に限定しており, 素性設計を最適化しているわけではないため, 確定的な結論は導き出せないが, 評価実験によって得られた本論文の単語依存構造を解析器で使用する場合の傾向, 特性について以下で述べる.依存構造スキーマについては, 後置詞句において機能語を主辞とする項機能語主辞型の $\mathrm{HF}_{1}$, $\mathrm{HF}_{2}, \mathrm{PCH}$ が構文解析の全体的な精度が高い傾向にある。特に, 述語文節結合型と組み合わせた $\mathrm{HF}_{2}$ が他の 2 つのスキーマより僅かに高い精度を出している.この結果は, 格助詞等の機能語で後置詞の統語的役割を決め, 述語は後続する機能語からなる述語句を単位として他の句と統語的関係を持つという日本語の特性を反映していると考えられる。

依存構造の単位を, 長単位にするか短単位にするかは, 表 16 の MaltParser の結果のみからは判断が難しいが，UDPipe の長単位の結果が，ほぼ全てのスキーマにおいて，UDPipe 短単位の結果, MaltParser の長単位, 短単位の結果を上回っていることから, 解析器への適用面でも，構文構造を見通し良く表現できる長単位べースの依存構造を用いるのが良いと考える。また, 本実験の結果は, 長単位チャンキングの誤りを含んでいるので，チャンキングの精度向上によっても, 解析精度全体の向上が期待できる.

また, 表 17 に示されるように, 連用修飾関係以外の主要な文法機能タイプを持つ依存構造について, 長単位ベースの項機能主辞型 $\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}$ の単語依存構造解析の精度が文節依存構造解析の CaboCha の精度と同等以上の結果を出しており, 日本語の構文解析として単語依存構造を用いることは実用性があると考える.

述語項構造情報の取得に関しては, 全てのスキーマで 2 段階解析の SynCha の結果を上回っており, 述語項構造情報を考慮しながら構文解析を行っている効果が表れていると考えている.述語項構造情報の取得に関しては, 内容語主辞型の PCH, CWH が高い精度を出しており, 格助詞等の手がかりがない関係節において，内容語同士の関係を捉えやすいスキーマの特性が反映されていると考えられる。

以上の結果から, 構文解析の精度を重視する場合, 長単位べースで項機能語主辞型のスキー マ, 特に $\mathrm{HF}_{2}$ が第 1 候補として挙げられる。また, 述語項構造情報を扱う場合は, PCH, CWH が有利だと考えられる。ただし，現実的には，夕スクに応じて複数の依存構造スキーマのコー パスや解析モデルを用意することは効率が悪いため, $\mathrm{HF}_{2}$ など一つのスキーマをべースとして, UD を含む他のスキーマへ変換可能な情報を付加した拡張スキーマを策定することが一つの有力な方法であると考える。

## 6 単語間依存構造の課題

## 6.1 名詞句の内部構造の扱い

依存構造の単位として BCCWJ の長単位を採用することで, 機能語間の関係のように重要度の低い依存関係を無視できる反面, 名詞句内の内部構造のような構造の表現能力に制約がある.例えば，「以降」のように短単位品詞が「名詞-普通名詞-副詞可能」である語や，「解消」のように「名詞-普通名詞-サ変可能」である語は, 先行する名詞句と結合して一つの長単位を構成するため，前方から修飾する要素がある場合に長単位全体と依存関係を作ることになる．例えば，「昨年/の/事件以降」「項構造/の/曖昧性解消」という長単位に区切られるため「昨年の事件」「項構造の曖昧性」という単位の名詞句を切り出すことができない。この問題に関しては,全てを短単位の依存構造として扱う方法，あるいは，このような名詞句の構造を別の階層として扱う方法等が考えられるが，前者は解析精度への影響の面，後者は文節依存構造と同様に階層的構造の処理を別に考慮する複雑さが生じるという面がある。また，依存構造解析の単位として，長単位と短単位の中間的な単位を定義するという選択肢も考えられる。ただし，一貫性を確保できる明確な定義など，さらなる検討が必要である.

## 6.2 アスペクト・ムードの扱い

本論文の依存構造では, 複雑になることを避けるため，アスペクト，ムードを含む助動詞，補助動詞等を一括して扱い，項と述語のまとまりに後に結合するか (1 型), 述語と先に結合するか (2 型) の 2 種類に分類した. しかしながら，寺村の分類 (寺村 1984) にあるように，アスペクトを表す補助動詞を述語と結合して「コト」（叙述内容）の構造を一旦構成し，テンス，推量や説明等の概言のムードと呼んでいる助動詞，助詞類を外側に結合するという文の構成を，依存構造や文法機能タイプに反映させることは, 文全体の意味解析処理に利用する上で有用であると考えられる。これを実現するためには，アスペクト，ムードの分類とともに，文法機能夕イプ，依存構造への反映方法が検討事項となる.

## 6.3 Universal Dependencies との関係

UDは，依存構造スキーマCWH と類似した構造を持っているが，本論文の評価結果からは，項機能語主辞型の $\mathrm{HF}_{1}, \mathrm{HF}_{2}, \mathrm{PCH}$ に比べて, 精度面で低くなる傾向が見られている。また, 本論文で文法機能タイプとして導入した連体修飾節の区別は UD では存在しないなど，UDの方が情報量が少ない傾向にあるため，言語リソースを構築する際には，スーパーセットとして本論文で述べたようなスキーマで行い，UD に変換するという方法も有力であると考える ${ }^{21}$. 構
^{21}$ UD の言語依存仕様としてサブタイプを定義する方法も考えられる。
}
文解析器で，UDの結果を得ようとする際には，直接 UD の構造を出力するのではなく，構造の近い PCH で解析結果を得て，UDに変換することも選択肢になると考えられる．UD の主要な文法機能タイプは，連体修飾や付加項の細分類を除いてほぼ同等であるので，文法機能タイプの変換に関しては可能であると考えられる。構造的な変換に関しては，全面的に内容語が主辞になる構造や, 先頭の要素が主辞になる並列構造への等への対応を検討する必要がある.

## 7 まとめ

本論文では，日本語の構文解析において，構文の構成素と整合する単語を単位とし，かつ文法機能情報を利用可能にするため，文法機能タイプ付き単語依存構造解析を提案した。6 タイプの依存構造スキーマを考え, それぞれについて依存構造モデルを構築し, 構文解析器での解析精度について調べた. 全般的に, 後置詞句においては機能語を主辞とするスキーマが精度的に有利であるという傾向があり, 項機能語主辞型の単語依存構造解析は, 文節依存構造解析と同等の精度が実現可能であることが確かめられた。さらに, 単語依存構造解析の文法機能タイプにより得られる述語項構造情報は，構文解析と多段で行う述語項構造解析に匹敵する精度であることが確認された。

意味解析との親和性をより高めるために, 名詞句の構造の洗練化やアスペクト, ムード等の文構造の反映方法が今後の検討事項であると考えている.

また，多言語横断の構文解析の枠組みを目指した Universal Dependencies の対応についても，解析精度や情報量の面で有利である本論文で扱った依存構造スキーマを介して解析，変換を行うことは有力な方法の一つであると考える.

## 謝 辞

Universal Dependencies を通じて, 日本語の単語依存構造について活発にご議論いただいている Universal Dependencies 日本語チームの皆様に感謝申し上げます。本稿は, ACL-IJCNLP 2015: Word-based Japanese Typed Dependency Parsing with Gramatical Function Analysis で発表した内容をもとに，加筆修正を行ったものです.

## 参考文献

浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治 (2019). Universal Dependencies 日本語コーパス. 自然言語処理, 26 (1), pp. 3-36.
浅原正幸, 松本裕治 (2018). 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造アノテーション. 自然言語処理, 25 (4), pp. 331-356.

戸次大介 (2010). 日本語文法の形式理論. くろしお出版.

Bond, F., Fujita, S., and Tanaka, T. (2008). "The Hinoki Syntactic and Semantic Treebank of Japanese." Journal of Language Resources and Evaluation, 42 (2), pp. 243-251.

Butler, A., Zhou, Z., and Yoshimoto, K. (2012a). "Problems for Successful Bunsetsu Based Parsing and Some Solutions." 言語処理学会第 18 回年次大会予稿集, pp. 951-954.

Butler, A., Hotta, H., Otomo, R., Yoshimoto, K., Zhou, Z., and Zhu, H. (2012b). "Keyaki Treebank: Phrase Structure with Functional Information for Japanese.”テキストアノテー ションワークショップ, 国立国語学研究所.

Copestake, A., Flickinger, D., Pollard, C., and Sag, I. A. (2005). "Minimal Recursion Semantics: An Introduction." Research on Language and Computation, 3 (4), pp. 281-332.

de Marneffe, M.-C. and Manning, C. D. (2008). "The Stanford Typed Dependencies Representation." In Proceedings of COLING 2008 Workshop on Cross-framework and Cross-domain Parser Evaluation, pp. 1-8.

de Marneffe, M.-C., Silveira, N., Dozat, T., Haverinen, K., Ginter, F., Nivre, J., and Manning, C. D. (2014). "Universal Stanford Dependencies: A Cross-linguistic Typology." In Proceedings of the 9th International Conference on Language Resources and Evaluation, LREC 2014, pp. 4585-4592.

Den, Y., Nakamura, J., Ogiso, T., and Ogura, H. (2008). "A Proper Approach to Japanese Morphological Analysis: Dictionary, Model and Evaluation." In Proceedings of the 6th International Conference on Language Resources and Evaluation, LREC 2008, pp. 1019-1024.

Fang, T., Butler, A., and Yoshimoto, K. (2014). "Parsing Japanese with a PCFG Treebank Grammar." 言語処理学会第 20 回年次大会予稿集, pp. 432-435.

Gunji, T. (1987). Japanese Phrase Structure Grammar: A Unification-Based Approach. D. Reidel (Kluwer).

星野翔, 宮尾祐介, 須藤克仁, 林克彦, 永田昌明 (2019). 統計的機械翻訳のための統語に基づく単純な事前並べ替え手法. 情報処理学会論文誌, 60 (3), pp. 890-902.

Iida, R., Komachi, M., Inui, K., and Matsumoto, Y. (2007). "Annotating a Japanese Text Corpus with Predicate-argument and Coreference Relations." In Proceedings of the the Linguistic Annotation Workshop, LAW '07, pp. 132-139.

Iida, R. and Poesio, M. (2011). "A Cross-Lingual ILP Solution to Zero Anaphora Resolution." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, ACL-HLT 2011, pp. 804-813.
池原悟, 宮崎雅弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

金山博, 宮尾祐介, 田中貴秋, 森信介, 浅原正幸, 植松すみれ (2015). 日本語 Universal Dependencies の試案. 言語処理学会第 21 回年次大会予稿集, pp. 505-508.

Kaplan, R. M. and Bresnan, J. (1982). "Lexical-Functional Grammar: a Formal System for Grammatical Representation." The Mental Representation of Grammatical Relations, pp. 173-281.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, HLT-NAACL 2006, pp. 176-183.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis Using Cascaded Chunking." In Proceedings of the 6th Conference on Natural Language Learning, Vol. 20 of CoNLL 2002, pp. 1-7.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP 2004, pp. 230-237.

Kurohashi, S. and Nagao, M. (2003). Building a Japanese Parsed Corpus - while Improving the Parsing System, Chap. 14, pp. 249-260. Kluwer Academic Publishers.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.

増市博，大熊智子 (2003). Lexical Functional Grammar に基づく実用的な日本語解析システムの構築. 自然言語処理, 10 (2), pp. 79-109.

McDonald, R., Nivre, J., Quirmbach-Brundage, Y., Goldberg, Y., Das, D., Ganchev, K., Hall, K., Petrov, S., Zhang, H., Täckström, O., Bedini, C., Castelló, N. B., and Lee, J. (2013). "Universal Dependency Annotation for Multilingual Parsing." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, ACL 2013, pp. 92-97.

Mori, S., Ogura, H., and Sasada, T. (2014). "A Japanese Word Dependency Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation, LREC 2014, pp. 753-758.

Nagata, M. and Morimoto, T. (1993). "A Unification-based Japanese Parser for Speech-to-speech Translation." IEICE Transaction on Information and Systems, E76-D (1), pp. 51-61.

Nivre, J. (2015). "Towards a Universal Grammar for Natural Language Processing." In Computational Linguistics and Intelligent Text Processing - 16th International Conference, CICLing

2015, Cairo, Egypt, April 14-20, 2015, Proceedings, Part I, pp. 3-16.

Nivre, J., Hall, J., Nilsson, J., Chanev, A., Eryiğit, G., Kübler, S., Marinov, S., and Marsi, E.

(2007). "MaltParser: A Language-independent System for Data-driven Dependency Parsing." Journal of Natural Language Engineering, 13 (2), pp. 95-135.

Noro, T., Hashimoto, T., Tokunaga, T., and Tanaka., H. (2005). "Building a Large-scale Japanese Syntactically Annotated Corpus for Deriving a CFG." In Proceedings of Symposium on Large-Scale Knowledge Resources, pp. 159-162.

小椋秀樹, 小木曽智信, 小磯花絵, 冨士池優美, 相馬さつき (2007). 「現代日本語書き言葉均

衡コーパス」の短単位解析について. 言語処理学会第 13 回年次大会予稿集, pp. 720-723.

小澤俊介, 内元清貴, 伝康晴 (2014). 長単位解析器の異なる品詞体系への適用. 自然言語処理, 21 (2), pp. 379-401.

Sag, I. A., Wasow, T., and Bender, E. M. (2003). Syntactic Theory: A Formal Introduction. 2nd Edition, CSLI Publications.

Siegel, M. and Bender, E. M. (2002). "Efficient Deep Processing of Japanese." In Proceedings of the 3rd Workshop on Asian Language Resources and International Standardization at the 19th International Conference on Computational Linguistics, Vol. 12, pp. 1-8.

Straka, M. and Straková, J. (2017). "Tokenizing, POS Tagging, Lemmatizing and Parsing UD 2.0 with UDPipe." In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada. Association for Computational Linguistics.

Tanaka, T., Miyao, Y., Asahara, M., Uematsu, S., Kanayama, H., Mori, S., and Matsumoto, Y. (2016). "Universal Dependencies for Japanese." In Proceedings of the 10th International Conference on Language Resources and Evaluation, LREC 2016, pp. 1651-1658.

Tanaka, T. and Nagata, M. (2013). "Constructing a Practical Constituent Parser from a Japanese Treebank with Function Labels." In Proceedings of the Fourth Workshop on Statistical Parsing of Morphologically-Rich Languages, SPMRL 2013, pp. 108-118.

寺村秀夫 (1984). 日本語のシンタックスと意味 I-III. くろしお出版.

Uchimoto, K. and Den, Y. (2008). "Word-level Dependency-structure Annotation to Corpus of Spontaneous Japanese and its Application." In Proceedings of the International Conference on Language Resources and Evaluation, LREC 2008, pp. 3118-3122.

Uematsu, S., Matsuzaki, T., Hanaoka, H., Miyao, Y., and Mima, H. (2013). "Integrating Multiple Dependency Corpora for Inducing Wide-coverage Japanese CCG Resources." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, ACL-2013, pp. 1042-1051.

## 略歴

田中貴秋：1996 年大阪大学大学院基礎工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 2007 年-2012 年西日本電信電話株式会社研究開発センタ勤務. 現在, 日本電信電話株式会社コミュニケーション科学基礎研究所にて自然言語処理の研究に従事. 言語処理学会, 人工知能学会各会員.

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所上席特別研究員.工学博士. 自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 論文
## 外界一人称と二人称を考慮する日本語述語項構造解析の分野適応

\author{
珊瑚彩主紀 $\dagger \cdot$ 西川仁 ${ }^{\dagger}$ 徳永健伸 $\dagger$
}

本稿では, 日本語述語項構造解析に分野適応の技術を導入することを提案する. 述語項構造がアノテーション付けされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) において，メディアの違いにより項の種類の出現頻度が異なることがわかった. 特に外界照応においてその傾向は顕著である。過去の日本語述語項構造解析の多くは,新聞記事コーパスを対象にしているために, この傾向には注目していなかった. この問題に取り組むため, まず，RNN ベースの述語項構造解析器をべースラインとして使用し， 3 種類の異なる分野適応技術とその組み合わせを導入した. 現代日本語書き言葉均衡コーパス (BCCWJ-PAS) を用いた評価実験では, 述語項構造解析には分野依存性があることがわかった. 特にガ格とチ格の解析では, 分野適応が日本語述語項構造解析の性能向上に有効であることが確認され，QA テキストの解析においてべースラインと比較し F1 值が最大で, 0.030 向上した.

キーワード：日本語述語項構造解析，ゼロ照応，外界照応，分野適応

## Domain Adaptation in Japanese Predicate-Argument Structure Analysis considering First and Second Person Exophora

\author{
Mizuki Sango $^{\dagger}$, Hitoshi Nishikawa $^{\dagger}$ and Takenobu Tokunaga ${ }^{\dagger}$
}

\begin{abstract}
This paper proposes introducing domain adaptation into Japanese predicate-argument structure (PAS) analysis. Our investigation of a Japanese balanced-corpus revealed that the distribution of argument types differs across text media. The difference is particularly significant when the argument is exophoric. Previous Japanese PAS analysis research has disregarded this tendency as studies have targeted mono-media corpora. This investigation begins with a PAS analyzer based on a recurrent neural network as its baseline and extends it by introducing three kinds of domain-adaptation techniques and their combinations. Evaluation experiments using a Japanese balanced-corpus (BCCWJ-PAS) confirmed the domain dependency of the PAS analysis. The domain adaptation is effective in improving the performance of the Japanese PAS analysis, especially in the the nominative case. The maximum F1 score in the QA text analysis (0.030) improved in comparison to the baseline.
\end{abstract}

Key Words: Japanese Predicate-Argument Structure Analysis, Zero Anaphora, Exophora, Domain Adaptation

## 1 本研究の位置付け

述語項構造解析は, 様々な自然言語処理アプリケーションの土台となる技術である. 本研究が対象とする日本語のような談話指向言語では, 文から項が省略されることが多い (Kayama 2003). これらの省略された項は, ゼロ代名詞とみなされる。項は述語との係り受け関係があるか否かにより，係り受け関係有りかゼロ照応かに分けられる。 ゼロ照応は, 項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる，文脈照応は，項が述語と同一文内に出現するか否かにより，文内照応か，文間照応に更に分けられる。

例 1.1)メールを書いて ${ }_{v_{1}}$ 送ったよ $v_{2}$. 読んでね $v_{3}$.

例えば, 例 (1.1) は， 3 つの述語 $\left(v_{1}, v_{2}, v_{3}\right)$ と 1 つの明示的な項候補（メール）を含んだテキストである. 例 (1.1)を述語項構造解析した結果は表 1 のようになる。ここで, 角括弧で囲まれた要素は外界照応, 丸括弧は文内照応, 二重丸括弧は文間照応である， $v_{1}$ のヲ格の項である「メール」は，格標識「を」によって明示的に示されており， $v_{1}$ との係り受け関係を持っている。このような名詞は, 括弧をつけないで示している。また, ラベル none は, 述語がその格に対して，項を取らないことを示している。

日本語述語項構造解析は, 意味役割付与 (Zhou and Xu 2015; He, Lee, Lewis, and Zettlemoyer 2017) タスクと類似しているが, ゼロ代名詞の照応解析と, 表 1 において角括弧で示されている外界照応の同定まで行う点において異なる. 日本語述語項構造解析は, 単語が省略されうるという点において, 中国語やトルコ語, またロマンス語であるスペイン語, ポルトガル語のような null-subject 言語におけるゼロ照応解析と類似している (Iida and Poesio 2011; Rello, Baeza-Yates, and Mitkov 2012; Chen and Ng 2016; Yin, Zhang, Zhang, and Liu 2017).

過去の日本語述語項構造解析の研究では, 形態素及び, 構文解析から得られた様々な特徴を利用している (Matsubayashi and Inui 2017; Hayashibe, Komachi, and Matsumoto 2011; Imamura, Higashinaka, and Izumi 2014; Shibata, Kawahara, and Kurohashi 2016; Ouchi, Shindo, Duh, and Matsumoto 2015; Yoshikawa, Asahara, and Matsumoto 2013; Taira, Fujita, and Nagata 2008).近年のアプローチでは，中間解析を必要としない end-to-end の手法による解析もある (Ouchi, Shindo, and Matsumoto 2017; Matsubayashi and Inui 2018).

表 1 例 (1.1)の述語項構造解析結果

本論文は，日本語の文内述語項構造解析を対象とし，以下の 2 つの貢献をした，第一に，文内述語項構造解析において，外界照応の一部を取り入れるように問題を整理した点である。そのために, 本研究では, 外界照応を 3 つのサブカテゴリ, つまり, 書き手である外界一人称 (exo1),読み手である外界二人称 (exo2), その他の外界三人称 ${ }^{1}$ (exoX) に分類する. 日本語のような談話指向言語では，2 者間で行われる会話の際，外界一人称，外界二人称が省略されることが多い. そのため, 文内述語項構造解析においても外界一人称，外界二人称まで解析することは必要であると我々は考えている。例 (1.2)は, サブカテゴリ化の必要性を示している.

例 1.2) サンドイッチ食べる。

（私は）サンドイッチを食べる。／（あなたは）サンドイッチを食べる？

外界照応の書き手 (exo1) と読み手 (exo2) の両方が, 動詞「食べる」の項候補であり, どちらを取るかにより文の意味が変わってくる。これら，2つの意味を区別するために外界照応のサブカテゴリ化が必要である.

第二に，日本語述語項構造解析に分野適応の技術を導入する. Surdeanu, Johansson, Meyers, Màrquez, and Nivre (2008) と, Hajič, Ciaramita, Johansson, Kawahara, Martí, Màrquez, Meyers, Nivre, Padó, Štěpánek, Straňák, Surdeanu, Xue, and Zhang (2009) は訓練データとテストデー 夕の分野（メディア）が異なると，意味役割付与の性能が低下することを報告している．Yang, Zhuang, and Zong (2015) は, 深層学習手法に分野適応を導入することでこの問題に対して取り組んだ. Imamura et al. (2014)を除いて, 日本語述語項構造解析の過去の研究のほとんどが, 新聞記事という単一の種類のテキストのみを対象としていたため, 分野依存性は問題ではなかった. 対話文を解析するために Imamura et al. (2014) は新聞記事を使って述語項構造解析器を訓練している，また，平，田中，藤田，永田 (2014) は, ビジネスメール文を解析するために, 新聞記事を使って述語項構造解析器を訓練している。その結果, 係り受け関係にある述語項や，同一文内にある述語項の場合は，学習済みモデルを比較的流用できる可能性があるが，外界照応については訓練データが足りず解析精度が低いためモデルを作り直す必要があることを述べている。しかし, その他の種類のメディアのテキストについて, 述語項構造解析を行った研究はこれまで行われていない，我々は様々な種類のメディアのテキストを日本語述語項構造解析の対象とするために, 現代日本語書き言葉均衡コーパス (BCCWJ)2 (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)を使用した. BCCWJ には, 紙媒体として, 新聞記事, 書籍, 雑誌, 白書といったメディアのテキスト, 電子媒体として，インターネット上の QA テキスト，ブログテキストといった様々な種類のメディアから集

められたテキストを含んでいる，我々は，約 200 万の単語から構成され，共参照と述語項関係が注釈付けされた BCCWJ のコアデータセット (BCCWJ-PAS) を使用した。次章で詳述するが，外界照応の出現分布はメディアによって大きく異なるため，そのテキストのソースメディアを考慮する必要がある.

本研究では, リカレントニューラルネットワーク (Recurrent Neural Network: RNN) ベー スのベースモデルから始め，以下の 5 種類の分野適応手法を導入し，各手法の有効性を評価する。

(1) Fine-tuning (FT) 手法では，まず，訓練デー夕全体を用いてモデルを学習させる。学習されたパラメータを初期値とし，ターゲット領域のメディアの訓練データを用いて第 2 段階の学習を行う。

(2) Feature augmentation (FA) 手法では，全体で共有されるネットワークと分野固有のネットワークを同時に訓練する (Kim, Stratos, and Sarikaya 2016)，分野共通の知識は共有のネットワークで，分野固有の知識は分野固有のネットワークで学習されることを期待している.

(3) Class probability shift (CPS) 手法では, 項の種類毎に, 項の出現確率の事前分布が分野によって異なることを考慮し，ネットワークが出力する確率にバイアスをかける。

(4) Voting (VOT) 手法では，上記 3 つの手法による多数決をとり，出力を決定する.

(5) Mixture (MIX) 手法では, 上記 (1) から (3)の 3 つの手法を単一のネットワークに組み合わせる.

各手法の詳細は，4節にて説明する。

## 1.1 本論文の構成

本論文は次のように構成されている。第 2 章では, 日本語述語項構造解析における既存研究と本研究の位置付け，コーパスを分析して得られた述語項構造解析の分野依存性について述べる. 第 3 章では, 本研究において使用するリカレントニューラルネットワークベースのモデルについて詳述する。第 4 章では，第 3 章で提案したべースラインモデルに対して導入する 5 種の分野適応手法について詳述する。第 5 章では第 3 章, 及び, 第 4 章で説明したべースラインと分野適応を行ったモデルに対しての評価実験結果とその考察を述べる。第 6 章では，評価実験・考察を踏まえ，今後の方向性を示し結論とする.

## 2 述語項構造解析

本稿では，文内述語項構造解析を対象とする，ただし，外界一人称，外界二人称を文内にある仮想的な項として扱い，一般的な文内照応に加えてこれらの一部の外界照応も解析対象とす

る. 過去の述語項構造解析の関連研究, 及び, その関連研究が対象としてきた項種別について,概説する。

## 2.1 関連研究

日本語述語項構造解析に関する先行研究では様々な種類の項（項種別）を対象としてきた.表 2 は，先行研究が解析の対象としている項を項種別にまとめたものである．表の列は，言語学的観点から項の種類を分類している。項は述語との係り受け関係があるか否かにより，係り受け関係有り (intra(dep)) かゼロ照応かに分けられる。 ゼロ照応は, 項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる，文脈照応は，項が述語と同一文内に出現するか否かにより, 文内照応 (intra(zero)) か, 文間照応 (inter) に更に分けられる. intra(dep) と, intra(zero) はどちらも項が述語と同一文内に出現する. 外界照応には，様々な分け方が存在する. NAIST Text Corpus 1.5 (飯田，小町，乾，松本 2007）と，それに基づいた Imamura et al. (2014) では，外界照応を外界一人称 (exo1), 外界二人称 (exo2), その他の外界照応 (exoX) の 3 種類に分類している。また, Hangyo, Kawahara, and Kurohashi (2013) は, 外界照応を author (外界一人称と同じ), reader（外界二人称と同じ），US:person（外界の人），US:matter（外界のコト)，US:situation（外界の状況）の５つに分類している．ラベル none は，述語がその格に対して，項を取らないことを示す。例えば，自動詞はヲ格をとらない。したがって自動詞のヲ格は none となる. Taira et al. (2008), Imamura, Saito, and Izumi (2009), Sasano and Kurohashi

表 2 先行研究が対象としている項種別

(2011), Hayashibe et al. (2011) は, 外界照応と, noneを区別していない. これらは, 表 2 では, $\triangle$ として示している.

## 2.2 本研究の問題設定

本論文では解析対象のコーパスである BCCWJ-PAS に習い, 外界照応を 3 つのサブカテゴリ，書き手を示す外界一人称 (exo1)，読み手を示す外界二人称 (exo2)，及びその他の外界三人称 (exoX) に分けた。ただし, 外界一人称 (exo1), 外界二人称 (exo2) はともに単数のみを扱う.以下では，項種別を示すために表 2 に示すラベルを使用する。

表 2 から，文間照応よりも，文内照応が盛んに研究されていることがわかる．文間照応の解析は, 文内照応と比較して，より広い空間を探索することが必要になるため, より困難な問題といえる，外界照応 exo1と exo2の項の解析は，文間照応と異なり，探索空間を大幅に増加させない. 次節で詳述するとおり, 様々なメディアのテキストに対して, 文内述語項構造解析をする際，書き手である exo1，読み手である exo2 まで含めて解析することは重要である.

本研究では, 文内述語項構造解析に加え，外界一人称，外界二人称を解析対象とする． exoX と interは，解析対象の述語は，実際に項を取るが，文内には項が現れていないという点において同じであるため, 文内述語項構造解析で解析器が exoXと interを区別することはできない. そのため，今回は unknown というラベルを付け，一䌂めにして扱った。これが我々の研究で, exoXが $\triangle$ となっている理由である. まとめると, 本研究では, intra(dep), intra(zero), exo1, exo2, none, そして exoXと interをまとめた unknownを扱う。解析の対象とする述語は，BCCWJ-PAS において，述語と示されているもののうち，動詞と，事態性名詞とする。

## 2.3 項種別毎の分布による分野依存性

日本語述語項構造解析に関する先行研究では，単一「メディア」のテキストを扱っており，その多くは新聞記事からなる NAIST Text Corpus 1.5 を使用していた. 本研究の提案手法の評価には BCCWJ-PAS を用い，BCCWJ-PASにより定義されている QA テキスト（Yahoo!知恵袋）, ブログテキスト (Yahoo!ブログ), 白書, 書籍, 雑誌, 新聞の 6 種のメディアを用いた. メディアによりテキストの特性が異なる可能性があるため，述語項構造解析の性能はメディアの特性の影響を受ける可能性がある。本研究の目的の 1 つは, メディア固有の特性を考慮するために分野適応の技術を導入し, それが日本語述語項構造解析に有効であることを確認することである.

表 3 は，BCCWJ-PAS で定義されている各メディアのテキストの平均文長を示したものである.インターネットコンテンッである QA とブログのテキストは, 他のテキストに比べ短い傾向がある。文の長さは, 文内述語項構造解析において, 項の候補数や, 述語と項の距離に影響する。

表 4 は，6つのメディアに対して格毎に項種別毎の分布の割合を示したものである. 白書は,
表 3 BCCWJ-PAS における各メディアのテキストの平均文長（形態素数）

表 4 BCCWJ-PAS におけるメディア毎の, 格毎の項種別の出現分布 $(\%)$

 &  &  &  &  &  &  &  \\

他のメディアとは異なり，いずれの格も文内ゼロ照応よりも文間ゼロ照応のほうが明らかに少ない．これは，文内に照応先の項が明示されているケースが多いためであると考えられる。これは，表 3 の白書の平均文長が長くなっていることからも示唆される。ガ格の exo1 と exo2の外界照応の分布（影付きの行）は，メディア全体を通して顕著に異なっている．QAの exo1 と exo2 は他のメディアと比較して，かなり高い数值を示している．これは，QAは，対話掲示板形式の QA テキストであるため，質問者や回答者としての書き手 (exo1) と読み手 (exo2) がテキスト中で明示的に言及されないためである. ブログも exo1 と exo2が高い数值となっているが，これは， QAとは異なり，ブログテキストは，ブログ著者としての書き手 (exo1) が話題の中心となることが多いためであると考えられる，白書は，他のメディアとは異なり，外界三人
称 (exoX) の出現頻度が高い.これは，白書という性質上，組織・集団・団体に対して言及した記述が多く，逆に書き手 (exo1) や読み手 (exo2) を意識した記述は少ないためであると考えられる.また，白書のヲ格も他のメディアとは異なる分布となっている．白書のテキストを見たところ，白書特有の事態性名詞（開発，活用，利用，報告など）が繰り返し多様されており，これらはヲ格を取るため, none は少なくなり, その分 intra(dep)が多くなっている.

出版物（書籍，雑誌，新聞）は，社会的に関心が高く，客観性のある話題が中心となり，テキスト中に情報が欠損してないことが求められるため，外界照応が出現することは少ない．出版物の中では, 雑誌の書き手 (exo1) と読み手 (exo2) の出現頻度が比較的高い. これは, 今回対象とした出版物の中では, 雑誌が最も著者, 読者を意識した記述が多いためであると考えられる.

## 3 深層リカレントモデル

我々は，以下の 3 つの層からなるリカレントニューラルネットワーク (RNN) モデルを用いて，日本語述語項構造解析を実現する。

入力層単語を特徴ベクトルに変換する。

隠れ層 bi-directional RNN 層と全結合層.

出力層ソフトマックス関数により，2 値分類を行う。

我々のモデルは, 1 文を入力とし, 文内の述語ごとに解析を行う. 文内の解析対象の述語に対する項になりやすさを表す尤度を, 入力文の各単語それぞれについて算出する。そして, 全単語を比較して最尤単語を項として選択する. 本研究では, 過去の日本語述語項構造解析に習い, 主要な 3 つの格であるガ格， ヨ格，二格を解析対象とするため，格ごとに 3 つのモデルを使用する．3つのモデルはそれぞれ独立なので，同一の単語が複数の格の項と解析される場合があるが，その場合の対処については何も行っていない.これは，今回使用した BCCWJ-PAS コーパスでは，項が含まれている文節の主辞に項のアノテーションが付与されているため, 同一の単語が，複数の格の項としてアノテーションされていることがあるためである．1文には複数の述語が含まれる場合があるが，その場合は，素性として入力する解析対象の述語の位置を変えた同一文を複数回入力することで，それぞれの述語について解析を行う.

## 3.1 モデルの概要

我々のモデルは, 各単語にバイナリラベルを出力する。 その単語がターゲットの述語に対する解析対象の格の項であるか否かを示すため, それぞれの格に対して別々にモデルを用意する必要がある。図 1 に，モデルの概要を示す。これは, 次のように形式的に表せる.

$
\overline{\boldsymbol{x}}=\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f}
$

図 1 日本語述語項構造解析のための深層リカレントモデル

$
\begin{aligned}
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}\left(\boldsymbol{h}^{1}\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{2}\right)
\end{aligned}
$

我々のモデルは, 1 文ずつ入力文を受け取る. モデルは, 入力文中の単語 $\left.\{w_{t}\right.\}_{0}^{T}$ を, 対応する単語の特徵ベクトル $\left.\{\overline{\boldsymbol{x}}_{t}\right.\}_{0}^{T}$ に変換する. 単語の特徴ベクトル $\overline{\boldsymbol{x}}$ は, 単語埋め込みベクトル $\boldsymbol{w}_{a}$,品詞埋め込みべクトル $\boldsymbol{w}_{f}$, 及び, 構文的特徴べクトル $\boldsymbol{b}_{f}$ を連結したべクトルとして表現される.特徴ベクトル $\overline{\boldsymbol{x}}$ は， 1 層以上の双方向型の Long short-term memory recurrent neural network (BiLSTM) に入力される (Schuster and Paliwal 1997; Graves, Fernández, and Schmidhuber 2005). そして, $\operatorname{BiLSTM}(\cdot)$ は, 各単語に対して, ベクトル $\boldsymbol{h}^{1}$ を計算し出力する. $\operatorname{linear}(\cdot)$ 関数は, $\boldsymbol{h}^{1}$ を受け取り， $\boldsymbol{h}^{2}=\left(h_{0}^{2}, h_{1}^{2}\right)$ を出力する. $h_{0}^{2}$ は単語が述語の項となる程度を表わす値であり, $h_{1}^{2}$ は単語が述語の項にならない程度を表わす値である。最後に $\operatorname{softmax}(\cdot)$ 関数は, $\boldsymbol{h}^{2}$ を受け取り確率 $p$ を出力する.

仮想項本研究のモデルでは, none, exo1, exo2, そして unknown という 4 つのラベルを出力するために，文の先頭の単語の前にそれらを示す仮想項を追加した. これらの仮想項を以下のように割り当てる.
none noneに対してはゼロベクトルを割り当てる.

exo1「僕」の単語べクトルを割り当てる。これは，日本語で一般的な一人称代名詞の一つである。

exo2「おまえ」の単語べクトルを割り当てる。これは，日本語で一般的な二人称代名詞の一つである。

unknown「これ」の単語ベクトルを割り当てる。これは，日本語で一般的な三人称代名詞の一つである.

日本語には一般的な一人称代名詞，二人称代名詞が複数存在する。今回使用した単語埋め込みベクトルは，その性質上，一人称代名詞と二人称代名詞のコサイン類似度が高く, 「私」と「あなた」のコサイン類似度は，それぞれ語彙集合の中で最も高い。そのため，「私」と「あなた」 を exo1，exo2の仮想項として採用してしまうと，exo1と exo2をうまく区別できない可能性がある.「僕」は一般的な一人称代名詞の中心に近く，また，二人称代名詞からは比較的遠い.「おまえ」も同様に, 一般的な二人称代名詞の中心に近く, また, 一人称代名詞からは比較的遠い. そのため，今回は，仮想項の exo1，exo2にそれぞれ「僕」，「おまえ」を採用する。

## 3.2 入力層

単語埋め込み, 品詞埋め込み, および構文的特徴の 3 つの特徴を定義する.

単語埋め込み我々は, Suzuki, Matsuda, Sekine, Okazaki, and Inui $(2016)^{3}$ にって日本語

Wikipedia から作成された単語埋め込みを使用する. 今回使用した単語埋め込みの語军サイズ (形態素数) が $1,015,474$, 今回使用した述語項構造のアノテーションがされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) に対しての未知語の割合は $4.69 \%$ であった.未未知語はいずれも同一のUNKとして扱い，UNK にはランダムに初期化したベクトルをセットした.

品詞埋め込み各単語には, CaboCha4 と同じ品詞夕グが人手で付与されている。本研究では,品詞埋め込みとして, 単語の品詞夕グ, 及び, 3 種類の品詞細分類夕グ, 活用型, 活用形の 6 種類の夕グそれぞれに対して，5 次元のランダムべクトルを割り当てる。したがって品詞埋め込みは，6層のベクトルを連結することによって作る 30 次元のベクトルによって表す. 欠落している層は, ゼロべクトルで埋める。

構文的特徴構文的特徴ベクトルには，以下の 4 種類の特徴が含まれている.

（1）コーパスに注釈付けられている文節に基づく単語が各文節において主辞か否かを示す二值ベクトル.

（2）コーパスに注釈付けられている文節に基づく文頭からの文節距離を示す整数値の特徴べクトル（入力文の最初の文節の単語は, この値がゼロとなる）.
^{4}$ CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzer http://taku910.github.io/cabocha/
}

(3) 解析されるターゲットの述語からの距離を示す整数値の特徵ベクトル.

(4) その単語が解析対象の述語であるか否かを示す二値べクトル

## 3.3 隠れ層

隠れ層では, 各時刻 $t$ に, 特徵べクトル $\overline{\boldsymbol{x}}_{t}$ と $\boldsymbol{h}_{t-1}^{f}$ を前向き $\operatorname{LSTM}\left(\mathrm{LSTM}^{f}\right)$ に入力し $\boldsymbol{h}_{t}^{f}$ を計算する。逆に, 各時刻 $t$ に, 特徴ベクトル $\overline{\boldsymbol{x}}_{t}$ と $\boldsymbol{h}_{t+1}^{b}$ を後ろ向き $\operatorname{LSTM}\left(\mathrm{LSTM}^{b}\right)$ に入力し $\boldsymbol{h}_{t}^{b}$ を計算する，BiLSTM は，各時刻 $t$ で $\boldsymbol{h}_{t}^{f}$ と $\boldsymbol{h}_{t}^{b}$ を連結し， $\boldsymbol{h}_{t}^{1}$ を出力する.

$
\begin{aligned}
\boldsymbol{h}_{t}^{1} & =\operatorname{BiLSTM}\left(\overline{\boldsymbol{x}}_{t}\right) \\
& =\operatorname{LSTM}^{f}\left(\overline{\boldsymbol{x}}_{t}, \boldsymbol{h}_{t-1}^{f}\right) \oplus \operatorname{LSTM}^{b}\left(\overline{\boldsymbol{x}}_{t}, \boldsymbol{h}_{t+1}^{b}\right)
\end{aligned}
$

Matsubayashi and Inui (2018)は，任意の $k$ 層の双方向型の GRU (BiGRU) を用いている。本モデルもこれに習い，BiLSTMには，任意の $k$ 層の BiLSTM を利用する.

次に， 2 次元べクトル $\boldsymbol{h}_{t}^{2}$ を得るために, linear($\cdot$) 関数に $\boldsymbol{h}_{t}^{1}$ を入力する.

$
\boldsymbol{h}_{t}^{2}=\operatorname{linear}\left(\boldsymbol{h}_{t}^{1}\right)
$

## 3.4 出力層

出力層では, 単語が対象とする述語の項であるか否かを判断する。 $\operatorname{softmax}(\cdot)$ 関数は, 2 次元べクトル $\boldsymbol{h}_{t}^{2}$ を単語がどの程度対象とする述語の項としてふさわしいかを示す確率値に変換する。

$
p_{t}=\operatorname{softmax}\left(\boldsymbol{h}_{t}^{2}\right)
$

$p_{t}$ は時刻 $t$ の単語が項である確率を示す. 我々のモデルは, 最も高い確率 $p_{y}$ を持つ単語を項として選択する。

$
y=\underset{0 \leq t \leq T}{\arg \max }\left(p_{t}\right)
$

## 4 分野適応

## 4.1 ベースライン

分野適応に対するべースラインには，以下の５つのベースラインモデルを用意した.

(1) Each-D モデルは，単一のメディアのみのデー夕を使い訓練したモデルである.

(2) All モデルは，すべてのメディアのデータを使って訓練したモデルである.

(3) Small モデルは, 各メディアの訓練データを $75 \%$ に減らし, 訓練データのデータサイズを小さくしたモデルである.

(4) Out-D モデルは，アウトドメインのデータのみを使い訓練したモデルである.

(5) One-H モデルは， すべてのメディアを使って訓練したモデルであるが，All モデルとの違いとして，各メディアを示すための 6 次元の one-hot ベクトルが入力層に追加されている.このモデルは, 分野適応のベースラインとして用いる.

これらのベースラインモデルに対して，以下の 5 種類の分野適応手法を使ったモデルを用意した.

## 4.2 Fine-tuning (FT)

1つ目の手法は再学習を行う手法である。すべてのメディアのデータを使ってモデルを訓練し, All モデルを構築する。次に，初期パラメータをAll モデルのパラメータにし，ターゲットのメディアのデータのみを使って, 訓練することで, 各メディアに特化したモデルを構築する.

## 4.3 Feature augmentation (FA)

2 番目の手法は， すべてのメディアで共通するネットワーク $\operatorname{BiLSTM}^{c}$ に加え，各メディア $m$ に対して固有の $\mathrm{BiLSTM}^{m}$ を用意する手法である (Kim et al. 2016) . このモデルの概要は以下のようになる.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}^{m}(\overline{\boldsymbol{x}}) \oplus \operatorname{BiLSTM}^{c}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}^{m}\left(\boldsymbol{h}^{1}\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{2}\right)
\end{aligned}
$

メディア毎に固有の $\operatorname{BiLSTM}^{m}$ は, そのメディアが固有に持っている特性を学習し, 共通の $\operatorname{BiLSTM}^{c}$ は述語項構造解析の一般的な特性を学習することを狙っている。すべてのメディアから無作為に選択したバッチ毎にこのモデルを訓練する。

## 4.4 Class probability shift (CPS)

3 つ目の手法は, 各格について, メディア毎の項種別毎の出現分布の違いを反映させる. 第 2 章の表 4 から，メディア毎の項種別毎に出現分布に違いがあることが分かった. そこで，モデルの出力に対して，項の種類毎に解析対象のメディアに応じた出現分布で重み付けを行うことで，出現分布の違いを反映させる，訓練データ中で，あるメディア $m$ において，解析対象の格として，項種別 $t p$ が出現する確率を $p_{t p}^{m}$ とする。項種別の分布は解析対象のメディアによって
異なるため, この分布の差を以下のように利用し，重み付けする.

重み付けには，まず，各メディア $m$ に対して，2つの関数 $f^{m}(h)$ と $g^{m}(h)$ を次のように定義する。

$
\begin{aligned}
f^{m}(h) & =\frac{p_{t p}^{m}}{p_{t p}^{\text {All }}} \cdot h \\
g^{m}(h) & =\left(1-\frac{p_{t p}^{m}}{p_{t p}^{\text {All }}}\right) \cdot h
\end{aligned}
$

$t p$ は, none, exo1, exo2, unknown, intra のいずれかとなる. ただし, intra ラベルは, 文内照応の係り受け有り (intra(dep)) と文内ゼロ照応 (intra(zero))の両方を含む.

2 次元べクトル $\boldsymbol{h}^{2}=\left(h_{0}^{2}, h_{1}^{2}\right)$ の $h_{0}^{2}$ は単語が述語の項となる程度を表わす値であり, $h_{1}^{2}$ は単語が述語の項とならない程度を表わす値である.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}\left(\boldsymbol{h}^{1}\right) \\
\boldsymbol{h}^{3} & =\left(f^{m}\left(h_{0}^{2}\right), g^{m}\left(h_{1}^{2}\right)\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{\mathbf{3}}\right)
\end{aligned}
$

式 (18) は, メディア間の項種別の分布を調整することで, 出力を重みづけする.

## 4.5 Voting (VOT)

この手法は, 上記 3 つの手法の出力の多数決を取る. もし, 3 つの手法の出力がすべて異なる場合は，最も確率の高い出力を採用する.

## 4.6 Mixture (MIX)

最後の手法は，上記 3 つの Fine-tuning, Feature augmentation, Class probability shift を 1 つのモデルとして組み合わせたものである。モデルのネットワークは以下の式のように Feature augmentation, Class probability shift を1つに組み合わせる.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}^{m}(\overline{\boldsymbol{x}}) \oplus \operatorname{BiLSTM}^{c}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}^{m}\left(\boldsymbol{h}^{1}\right) \\
\boldsymbol{h}^{3} & =\left(f^{m}\left(h_{0}^{2}\right), g^{m}\left(h_{1}^{2}\right)\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{\mathbf{3}}\right)
\end{aligned}
$

このネットワークを使って, Fine-tuning と同じように，すべてのメディアのデータを使ってモデルを訓練し，次に，ターゲットのメディアのデータのみを使って，訓練する.

## 5 実験

## 5.1 実験設定

現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を使い評価を行う，評価値として，システムが出力した項の位置が BCCWJ-PAS で正解の項を表現している位置と一致すれば正解とし，しなければ不正解とする。ただし，共参照関係がある項については，いずれの項を出力しても正解とする。各メディア毎にデータを訓練用に $70 \%$ ，開発用に $10 \%$ ，テスト用に $20 \%$ に分け使用した。各モデルを最大 10 エポック訓練し，開発用データにおいて最も F1 值が高いモデルを使用した。

ハイパーパラメータ単語埋め込みと品詞埋め达みの次元数は, それぞれ 200 と 30 , 各ハイパー パラメータは, ベースラインの 1 つであるAll モデルに対して, 開発データでの F1 值の全メディアの平均值が最大となるように値を定め，それをすべてのモデルで使用した．多層 BiLSTM の層の深さ $k$ に $\{1,2,3\}$ から 3 を, BiLSTM のドロップアウト率に $\{0.0,0.1,0.2,0.3\}$ から 0.2 を，学習時のバッチサイズに $\{16,32,64\}$ から 64 とした。本研究のモデルは, weight decay は 0 とし, Adam (Kingma and Ba 2014) を使い， $\alpha$ には, $\{0.01,0.001,0.0001,0.00001\}$ から 0.001, $\beta=0.9$ として最適化する. Fine-tuning については, weight decayのみ 0.0001 とした.

## 5.2 ベースライン実験結果

表 5 ，表 6 ，表 7 は，それぞれガ格， ヨ格，二格の各ベースラインモデルの実験結果を示している，それぞれ，行見出しがターゲットのメディアを，列見出しが各モデルを示している．また行見出しの隣にテストデータの項数（テスト項数）を, 列見出しの下に訓練データの項数（訓練項数）を示している。セルの各スコアはテストデータに対する F1 值である。なお，Small,

表 5 ガ格のベースライン実験結果（F1 値）

表 6 ヨ格のベースライン実験結果（F1 値）

表 7 ニ格のベースライン実験結果（F1 値）

Out-D, One-H モデルは, All モデルに対して McNemar 検定を行い得られた P 値の有意水準が 0.05 以下の場合†を， 0.01 以下の場合 ‡を，それぞれ右肩に示している.

Each-D モデルは，訓練データのメディアが解析対象のメディアの F1 值に与える影響を確認するために用意したモデルである。ガ格， ヨ格，二格ともに，訓練データのデータ量がメディアによっては大きく違うにもかかわらず，全体的に，訓練データとテストデータが同じ（インドメイン）メディアの場合, モデルの F1 値が高い. ただし, 解析対象がブログテキストの場合,訓練データが同じメディアであるブログテキストよりも，新聞の方が $\mathrm{F} 1$ 値が高い結果となっている。これは，ブログテキストの訓練データのデータ量が新聞のテキストに比べ圧倒的に少ないためであると考えられる，Each-Dモデルの結果から，ほとんどのメディアにおいては，解析対象のメディアで訓練させたほうがF1 值が高く分野依存性があることがわかる.

ガ格， ヨ格，ニ格ともに，All モデルは, Small モデルよりもF1 值が高い. これは, 訓練デー 夕の量が多い方が $\mathrm{F} 1$ 値が向上することを示している。これらの実験結果から, 訓練デー夕の量と，データのメディアの両方を考慮することが必要であるといえる。

ガ格， ヨ格，二格ともに，All モデルは，すべてのメディアにおいて，Each-Dモデルよりも F1 値が高い. これは，インドメインのデータの他に，アウトドメインの訓練データも学習デー タとして有効に機能することを示している.

ただし，訓練データからインドメインのデータを削除すると，データ量の効果が期待できず性能が低下する。Out-D モデルは，夕ーゲットメディアが新聞である場合5を除いて，Small モデルよりも訓練データのデータ量が多い。にもかかわらず，ガ格では，解析対象が雑誌の場合を除いて, Small モデルよりも F1 値が低い. ヨ格においても, 解析対象が白書の際は 0.037 , 新聞の際は 0.024, Out-D モデルのほうが低い. ヲ格の解析対象がその他のメディア, 及び, 二格については, Small モデルと，Out-D モデルとであまり大きな差は見られないが，Out-D モデルのほうが優位に働くということはない. つまり，訓練データがターゲットメディアのデータを含んでいない場合, データサイズは必ずしも訓練データとテストデータ間でのメディアの不一致を補うとは限らない，性能を上げるためには，訓練データにターゲットのメディアのデータが含まれていることが重要であり，インドメイン，アウトドメイン両方のデータをうまく工夫して使う必要がある.

All モデルと One-H モデルを比較すると，必ずしもOne-H モデルの F1 值が高いというわけでない. ガ格では, 解析対象がブログテキストの場合を除いてAll モデルのほうが性能が高い. つまり，入力データのメディアを判別するための素性を one-hot ゙ククトのような形で与えても，うまくメディアの違いを考慮できないことがわかる.

## 5.3 分野適応

表 8 ，表 9 ，表 10 は，それぞれガ格， ヨ格，二格の各分野適応のモデルの結果を示している. 左から順にそれぞれ, Fine-tuning (FT), Feature augmentation (FA), Class probability shift (CPS), Voting (VOT), Mixture (MIX) の結果を示している. なお, 分野適応の各モデルに対しても同様に，All モデルに対して McNemar 検定より得られた $\mathrm{P}$ 值の有意水準が 0.05 以下の場合 †を， 0.01 以下の場合 ‡を，それぞれ右肩に示している。また，比較として，左側にベースラインのAll モデルの結果を示している. 表 8 のガ格, 及び, 表 9 のヲ格に対する実験結果をみると, VoT モデルは, すべてのメディアにおいて, ベースラインと分野適応の中で最も F1 値が高

表 8 ガ格の分野適応実験結果（F1 値）

表 9 ヨ格の分野適応実験結果（F1 值）

表 10 二格の分野適応実験結果（F1 值 $)$

い. ベースラインの All モデルと比較し，ガ格においては，QAテキストで最大 0.030 , ヨ格においては，ブログテキストで 0.013 向上している。他の分野適応モデルをみてみると，FT, FA, CPS モデルのいずれも，全てのテキストメディアを通じてベースラインよりも F1 值が高いモデルは無く, 解析対象のメディアによって, 効果がある分野適応手法にはばらつきがある。一方,表 10 の二格に対する実験結果を見ると, 分野適応により一部 F1 值の向上が見られるものの, 解析対象のメディアによっては, All モデルや One-H モデルの F1 值が最も高い場合もある. ベー スラインモデルによる実験結果では，ガ格ほど顕著ではないものの， ヲ格，二格も，メディア依存性が見られた。だが，今回使用した分野適応手法は二格では，うまく働かない場合もある.

表 11 ，表 12 , 表 13 は，ガ格， ヲ格，二格それぞれの各メディアにおける項種別毎の F1 值を示している，表 4 によると，ガ格が，QAテキストでは exo1 と exo2が，ブログテキストでは exo1 が比較的頻出する。 そのため, これらの外界照応の F1 值を個別に分析することは, 正しくそのメディアに適応できたかを考える上で重要である.

表 11 では，QAテキストの exo1と exo2，ブログテキストの exo1の箇所（影付きの行）を見ると，一部，例外はあるものの All モデルと比べ，分野適応モデルの F1 值が向上している。 そのため，分野適応を導入することで，これらの外界照応が出現する際の偏りを解決できたといえる。
表 11 ガ格の実験結果詳細（F1 値）

}} & \multicolumn{10}{|c|}{ QA } \\

表 12 ヨ格の実験結果詳細（F1 値）

表 13 二格の実験結果詳細（F1 値）

また, ベースラインのAll モデルと, 分野適応手法において, 最も解析精度の高かった VOT モデルを比較すると，二格のブログテキストのintra(dep)を除き，intra(dep), intra(zero)ともに， すべて解析精度が高くなっている。 そのため，直接係り受け，及び文内ゼロ照応にも分野依存性があり，それらが分野適応の導入によって解消されたといえる。

表 14 は，All モデルでは正しく解析されなかったが，VOT モデルにより正しく解析されるようになったガ格の例を示している。ターゲットの述語は太字で示している。QAテキストには，対話文が含まれているので，最初の例にあるように，読み手 (exo2) は「やめた」のような述語のガ格に当てはまる傾向が高い。ブログテキストには，書き手が自分の経験や意見を書く事が多い．そういった場合，表 14 の 2 番目の例にあるようにガ格には，書き手 (exo1) が埋まる傾向がある，白書は，その性質上，照応先候補として組織・集団・団体が埋まりやすく，それらは外界三人称となることが多い，そのため，今回の実験設定では，unknownが埋まる傾向がある.書籍では，小説のような物語文の場合，照応先候補として物語の登場人物が埋まりやすい，逆に照応先として書き手 (exo1) や読み手 (exo2) が出てくることは稀である．例では, 文中に, 述語のガ格となる，物語の登場人物が出てきていないため，今回の実験設定では, unknown が正解となる，雑誌では，読み手が存在することが想定される，そのため，例のように読み手に訴えかける場合, その述語のガ格には読み手 (exo2) が埋まる傾向がある。新聞の例は, 新聞記事のタイトルの見出しテキストである，見出しテキストでは，最初の句がガ格を埋める場合などにおいては，その格助詞は省略されることがある。表 14 の例は，いずれも，文単体のみを見れば，All モデルの出力も一見間違いではなさそうである。だが，上記のようにそれぞれのメディアの特性を考えると，間違いであることがわかる．我々の分野適応モデルは，多数の例を観察した結果, これらの例に示されているような項の曖昧性が高い文においてメディア別の傾向をうまくとらえていることが確認できた。

表 14 分野適応により正解となった例（ガ格）

## 6 結論

本稿では，日本語の文内述語項構造解析において，外界照応まで扱うために新たな問題設定を定義し，外界一人称（書き手），外界二人称（読み手），外界三人称（その他）として区別して扱うための仮想項の導入，及び，効果的な分野適応手法を提案した。そして，我々は， RNN ベースのモデルと 3 種類の異なる分野適応技術とその組み合わせを導入し, 計 5 つ分野適応方法を提案した. 現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を用いて，6種のメディアに対してコーパスを分析した結果,様々なメディアのテキストを述語項構造解析する際は，外界一人称，外界二人称まで含めて解析する必要があることを示し，分野により項の種類毎に出現数が違うことを示した．また，評価実験によって, 述語項構造解析の分野依存性があることを示した. 特にガ格, ヨ格の解析では，分野適応の導入によって，性能を改善できることを確認した。解析対象のメディアによって幅はあるものの, ベースラインと比較し，ガ格では， 1.6 ポイント〜最大 3.0 ポイント， ヨ格では $0.6 \sim 0.9$ ポイント上昇している. 本研究の提案した, 仮想項, 及び, 分野適応手法は, 今回提案したRNNベースモデル以外にも様々なニューラルネットモデルに対して導入可能である.

## 謝 辞

問題設定に関する議論について, 松林優一郎博士と笹野遼平博士にご意見をいただきました.厚く御礼申し上げます。また，本稿を執筆するにあたり，Enago (www.enago.jp) に英文校正をしていただきました。ありがとうございます。本論文の内容の一部は， The 32nd Pacific Asia Conference on Language, Information and Computation, 第 5 回自然言語処理シンポジウム（第 238 回自然言語処理研究発表会) で報告したものである (Sango, Nishikawa, and Tokunaga 2018;珊瑚, 西川, 徳永 2018).

## 参考文献

Chen, C. and Ng, V. (2016). "Chinese Zero Pronoun Resolution with Deep Neural Networks." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 778-788.

Graves, A., Fernández, S., and Schmidhuber, J. (2005). "Bidirectional LSTM Networks for Improved Phoneme Classification and Recognition." In Proceedings of the 15th International Conference on Artificial Neural Networks: Formal Models and Their Applications - Volume Part II, ICANN'05, pp. 799-804, Berlin, Heidelberg. Springer-Verlag.

Hajič, J., Ciaramita, M., Johansson, R., Kawahara, D., Martí, M. A., Màrquez, L., Meyers, A., Nivre, J., Padó, S., Štěpánek, J., Straňák, P., Surdeanu, M., Xue, N., and Zhang, Y. (2009). "The CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages." In Proceedings of the 13th Conference on Computational Natural Language Learning: Shared Task, CoNLL '09, pp. 1-18, Stroudsburg, PA, USA. Association for Computational Linguistics.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2013). "Japanese Zero Reference Resolution Considering Exophora and Author/Reader Mentions." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 924-934. Association for Computational Linguistics.

Hayashibe, Y., Komachi, M., and Matsumoto, Y. (2011). "Japanese Predicate Argument Structure Analysis Exploiting Argument Position and Type." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 201-209. Asian Federation of Natural Language Processing.

He, L., Lee, K., Lewis, M., and Zettlemoyer, L. (2017). "Deep Semantic Role Labeling: What Works and What's Next." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 473-483. Association for Computational Linguistics.

飯田龍, 小町守, 乾健太郎, 松本裕治 (2007). NAIST テキストコーパス：述語項構造と共参照関係のアノテーション. 情報処理学会研究報告自然言語処理 (NL), 2007 (7), pp. 71-78.

Iida, R. and Poesio, M. (2011). "A Cross-Lingual ILP Solution to Zero Anaphora Resolution." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 804-813. Association for Computational Linguistics.

Imamura, K., Higashinaka, R., and Izumi, T. (2014). "Predicate-Argument Structure Analysis with Zero-Anaphora Resolution for Dialogue Systems." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 806-815, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-argument Structure Analysis with Zero-anaphora Resolution." In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, ACLShort '09, pp. 85-88, Stroudsburg, PA, USA. Association for Computational Linguistics.

Kayama, Y. (2003). "L1 Aquisition of Japanese Zero Pronouns: The Effect of Discourse Factors." In Proceedings of the 2003 Annual Conference of the Canadian Linguistic Association, pp. 109-120.

Kim, Y.-B., Stratos, K., and Sarikaya, R. (2016). "Frustratingly Easy Neural Domain Adaptation." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 387-396. The COLING 2016 Organizing Committee.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." CoRR, abs/1412.6980.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources Evaluation, 48 (2), pp. 345-371.

Matsubayashi, Y. and Inui, K. (2017). "Revisiting the Design Issues of Local Models for Japanese Predicate-Argument Structure Analysis." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 128-133. Asian Federation of Natural Language Processing.

Matsubayashi, Y. and Inui, K. (2018). "Distance-Free Modeling of Multi-Predicate Interactions in End-to-End Japanese Predicate-Argument Structure Analysis." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 94-106. Association for Computational Linguistics.

Ouchi, H., Shindo, H., Duh, K., and Matsumoto, Y. (2015). "Joint Case Argument Identification for Japanese Predicate Argument Structure Analysis." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 961-970. Association for Computational Linguistics.

Ouchi, H., Shindo, H., and Matsumoto, Y. (2017). "Neural Modeling of Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1591-1600. Association for Computational Linguistics.

Rello, L., Baeza-Yates, R., and Mitkov, R. (2012). "Elliphant: Improved Automatic Detection of Zero Subjects and Impersonal Constructions in Spanish." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, EACL '12, pp. 706-715, Stroudsburg, PA, USA. Association for Computational Linguistics.

珊瑚彩主紀, 西川仁, 徳永健伸 (2018). 外界一人称と二人称を考慮する日本語述語項構造解析の分野適応. 情報処理学会第 238 回自然言語処理研究会 NL-238-13, pp. 1-13.

Sango, M., Nishikawa, H., and Tokunaga, T. (2018). "Effectiveness of Domain Adaptation in Japanese Predicate-Argument Structure Analysis." In Pacific Asia Conference on Language, Information and Computation.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames." In IJCNLP, pp. 758-766.

Schuster, M. and Paliwal, K. K. (1997). "Bidirectional recurrent neural networks." IEEE Transactions on Signal Processing, 45, pp. 2673-2681.

Shibata, T., Kawahara, D., and Kurohashi, S. (2016). "Neural Network-Based Model for Japanese Predicate Argument Structure Analysis." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1235-1244. Association for Computational Linguistics.

Surdeanu, M., Johansson, R., Meyers, A., Màrquez, L., and Nivre, J. (2008). "The CoNLL-2008 Shared Task on Joint Parsing of Syntactic and Semantic Dependencies." In Proceedings of the Twelfth Conference on Computational Natural Language Learning, CoNLL '08, pp. 159-177, Stroudsburg, PA, USA. Association for Computational Linguistics.

Suzuki, M., Matsuda, K., Sekine, S., Okazaki, N., and Inui, K. (2016). "Neural Joint Learning for Classifying Wikipedia Articles into Fine-grained Named Entity Types." In Proceedings of the 30th Pacific Asia Conference on Language, Information and Computation: Posters, pp. 535-544.

平博順, 田中貴秋, 藤田早苗, 永田昌明 (2014). ビジネスメール文に対する日本語述語項構造解析の検討. 言語処理学会第 20 回年次大会発表論文集, pp. 1019-1022.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese Predicate Argument Structure Analysis Using Decision Lists." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP '08, pp. 523-532, Stroudsburg, PA, USA. Association for Computational Linguistics.

Yang, H., Zhuang, T., and Zong, C. (2015). "Domain Adaptation for Syntactic and Semantic Dependency Parsing Using Deep Belief Networks." Transactions of the Association for Computational Linguistics, 3, pp. 271-282.

Yin, Q., Zhang, Y., Zhang, W., and Liu, T. (2017). "Chinese Zero Pronoun Resolution with Deep Memory Network." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1309-1318. Association for Computational Linguistics.

Yoshikawa, K., Asahara, M., and Matsumoto, Y. (2013). "Jointly Extracting Japanese PredicateArgument Relation with Markov Logic." Journal of Natural Language Processing, 20 (2), pp. 251-271.

Zhou, J. and Xu, W. (2015). "End-to-end Learning of Semantic Role Labeling using Recurrent Neural Networks." In $A C L$ (1), pp. 1127-1137. The Association for Computer Linguistics.

## 略歴

珊瑚彩主紀：2017 年東北大学工学部情報知能システム総合学科卒業. 2019 年東京工業大学情報理工学院情報工学系終了. 同年, 株式会社メルカリ入社. 修士 (工学). 自然言語処理, 特に述語項構造解析の研究に従事.

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策$\cdot$ メディア研究科修士課程修了. 同年, 日本電信電話株式会社入社. 2013 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. NTTメディアインテリジェンス研究所研究員を経て, 2015 年より東京工業大学情報理工学院助教. 2017 年 IE 経営大学院修士課程修了. 博士 (工学). 自然言語処理, 特に自動要約, 自然言語生成の研究に従事. The Association for Computational Linguistics, 言語処理学会, 人工知能学会, 情報処理学会各会員.

徳永健伸：1983 年東京工業大学工学部情報工学科卒業. 1985 年同大学院理工学研究科修士課程修了. 同年 (株) 三菱総合研究所入社. 1986 年東京工業大学大学院博士課程入学. 現在, 東京工業大学情報理工学院教授. 博士 (工学).専門は自然言語処理, 計算言語学. 情報処理学会, 人工知能学会, 言語処理学会, 計量国語学会, Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/