# 日本語照応解析における深層格推定に基づいた先行詞の同定

伊藤清晃 寺岡丈博
拓殖大学大学院工学研究科
20m301@st.takushoku-u.ac.jp tteraoka@cs.takushoku-u.ac.jp

## 概要

日本語の照応解析において，先行詞の同定は文意 を解釈する必要があるため容易ではない. 照応され 易い語として，一般的に主語や目的語が挙げられ，深層格に対応づけると動作主格と対象格が多い. そ こで，本研究では動詞，名詞，助詞の関係から推定 した深層格を用いて先行詞を同定する手法を提案し た. 先行研究と同様に, NAIST テキストコーパスに おける先行詞の同定精度を評価した結果，本手法の 有用性を確認することができた。

## 1 背景と目的

省略された項をはじめ代名詞や指示詞を照応詞 と呼び，照応解析はそれらと照応関係にある先行詞 を同定する手法である. 本研究における照応関係と は，同じ内容や対象を示す異なる 2 語間に成立する 関係を指す。例えば，「太郎はパンを買った。そし て，それを食べた.」においては，1つ目の文の「太郎」が先行詞，2つ目の文の「それ」が照応詞であ り，両者の間に照応関係が成立する．また，「太郎 は疲れていました。そして眠ってしまいました.」 においては，2つ目の文の「太郎」が先行詞であり， 2つ目の文の「眠ってしまいました」の前に省略さ れた代名詞（ゼロ代名詞）が照応詞となり両者の間 に照応関係が成立する. ゼロ代名詞による照応関係 を特にゼロ照応と呼ぶ．特にゼロ照応では，照応詞 が省略されているものに対してどこに省略部分があ るか，何が省略されているかを明らかにする必要が ある.とりわけ，人間にとって当たり前である事柄 が省略される傾向にあるため, このような表現が含 まれる文は理解が困難である。

照応解析は，機械翻訳や対話システムなどの自然言語処理の応用研究において, 文脈を理解するため に必要とされる技術である. 日本語において，一般的に言い換えられる語や省略され易い語として，主語や目的語が挙げられる. これらの語を述語と項の意味的な関係（深層格）に当てはめると動作主格と 対象格が多い傾向がある．また，照応解析における 従来の研究では，大規模な辞書やシソーラスを用い て学習した人工ニューラルネットワーク（ANN）や 学習モデルを利用した手法がよくみられる。そこで は, 特徴量に, 格フレームや格要素, 動詞と名詞と 助詞の関係性を用いている。これらの研究では，位置関係や格助詞などによって決まる格（表層格）を 利用していることが多い.

人は先行詞を見つける際に，文章と知識を照らし 合わせて，雑多な手がかりを利用している。その中 でも，先行詞を同定しやすくするには，表層格と深層格を組み合わせることが重要だと考える。そこ で，表層格と深層格を組み合わせるために，動詞連想概念辞書 [1] と述語項構造シソーラスを利用する.本研究では，照応解析における先行詞の同定におい て，深層格と表層格を組み合わせて利用する手法の 提案と，その有用性を検証することを目的とする。

## 2 関連研究

照応解析の研究として, 笹野らの研究 [2] や西念 らの研究 [3], 山城らの研究 [4], 河崎らの研究 [5] が挙げられる. 笹野らの研究では, 比較的小規模の 照応関係タグ付きコーパスから獲得した構文的な手 がかり，および，大規模なタグなしコーパスから獲得した意味クラスといった語彙的手がかりを素性と して用いた対数線形モデルを用いて先行詞を同定 している．そして，が格，を格，に格のみを対象と しており，本手法と異なり，他の格を考慮していな い.また，格フレーム辞書から素性を作成している ため，本手法とは異なり，先行詞と深層格の関係を 考慮していない。

西念らの研究では，先行詞候補に対して，概念類似度情報や距離情報などの 素性値を取得し，各素性値の正解先行詞としての尤度を求め，ナイーブベイ ズ法による尤度スコアを求めることにより，先行詞 を同定している。西念らは，先行詞の深層格につい

て考慮されているが，本手法では動詞と名詞，助詞 の関係から ANNで，先行詞候補の深層格を推定し，先行詞を同定する.

山城らの研究では，分散表現で平均化した格フ レームによる解候補削減を用いた日本語文内・文間 ゼロ照応モデルを提案している. 述語や格要素の分散表現をはじめとした素性を使用している. 山城ら は，格フレームにより述語と格要素の関係を利用す ることで，先行詞を同定している．対して，本手法 では，先行詞候補を深層格により絞り込み，動詞連想概念辞書や述語項構造シソーラスから得られる動詞と名詞の関係や名詞と深層格の関係を用いて，先行詞を同定する.

河崎らの研究では，ANNを使用して深層格を用い た照応解析の手法を提案している。河崎らは，ANN による先行詞の誤割り当てを防ぐために名詞クラス と代名詞の作成と導入を行なった. また，使用した ANN は動詞項シソーラスを使用しており，入力と して，動詞と先行詞候補，助詞を入力する．河崎ら の手法では，同じ名詞クラスに分類された名詞を区別することが十分ではなかった. 対して，本研究で は単語分散表現を利用する事で，この問題の解決を 試みた。

## 3 提案手法

図 1 は，提案手法の処理手順を表している. はじ めに，文章から名詞を抽出し，文間距離によって先行詞候補の名詞を決定する。このとき，先行詞候補 に含める文は対象の文に加えて，対象文の前の 3 文 とする.これは，文中のゼロ代名詞が前の 3 文内 に 80 \%の割合で出現することを踏まえて決定して いる.

次に，学習した人工ニューラルネットワーク （ANN）を用いて，先行詞候補の名詞の深層格を求 める. ANNの入力には, 動詞と名詞と助詞の特徴 をそれぞれ数值化したものを入力する．動詞の特徴量として，述語項構造シソーラスにある大分類 2 に 基づいて動詞クラスを 53 クラスに分け, one-hot ベ クトルを作成する. 名詞の特徴量として，分類語彙表 [6] の中項目に基づいて名詞クラスを 51 クラスに 分け, 1 つの名詞が複数のクラスに割り当てること ができるように，ダミ一変数を作成する．助詞の特徵量として，述語項構造シソーラスにある表層格の 助詞が 36 種あり，これらの助詞から one-hot ベクト ルを作成する。

図 1 提案手法の処理手順

この ANN は複数の深層格が割り当てられるよう に，全ての深層格に対して割り当てられる確率を算出可能なニューラルネットワークを用いる．割り当 てる深層格は述語項構造シソーラスの意味役割から 32 種類にしている. ANN の出力の中で，最も高い 出力值の深層格をその先行詞候補の名詞の深層格と する。そしてその出力値を深層格スコアとする.

さらに，動詞と助詞を手がかりに，述語項構造シ ソーラスから先行詞が取り得る深層格を抽出する。先行詞候補の名詞が割り当てられた深層格が，抽出 した深層格と一致しているものを先行詞候補として 残す. 残った先行詞候補の名詞の深層格と動詞連想概念辞書の連想課題を対応させる.この動詞連想概念辞書（VACD）は, 連想実験のデータから構築され た辞書で, 実際に人間が言葉に対して連想した内容 をまとめたものである [1].これを用いることで人間 が普段, 文章を読む際に言葉に対して連想する情報 をコンピュータが利用することができる。

対応させた連想課題と動詞に対応する連想語を 動詞連想概念辞書から抽出する。 そして，抽出した 全ての連想語と先行詞候補の名詞の類似度をそれ ぞれ計算し，得た類似度の最大値を連想スコアとす る.また，京都大学格フレーム（CF）[7] と共起概念ベース（共起 GB）から動詞に対応する語を抽出 し，先行詞候補の名詞と類似度をそれぞれ計算して 得た類似度を動詞スコア，共起スコアとする。これ らのスコアを組み合わせて先行詞の同定を行う.

## 4 評価実験

## 4.1 実験設定

NAIST テキストコーパス（NTC）を利用して，評価用データを作成する。評価対象は，条件を満たす
表 1 実験 1 の結果

表 2 実験 2 の結果

事例のみとする．1 つ目は，NTC の述語項構造・共参照タグにおいて，述語と項の関係がゼロ照応の関係であることである。これは，照応に対する先行詞 の同定の精度を評価するためである. 2 つ目は，先行詞が文章中に存在することである。これは，文章外に照応詞の照応先が存在する外界照応を，本手法 では考慮していないためである．3つ目は，「する」以外の動詞で述語項構造シソーラスに含まれている 動詞であることである。これは，本手法において，「勉強する」といった「名詞十する」からなる動詞は 考慮していないためである。また，未知語も考慮し ていない.

作成した評価データに対して，先行詞の同定を行 い，提案手法の評価を $\mathrm{N}$ 位正解率で行う. 実験は，各スコア単独で先行詞の同定を行うもの（実験 1) と深層格推定による先行詞候補の絞り込みを行わな いANN 単体の手法 (ベースライン) と先行研究を もとに作成した手法，深層格推定による先行詞候補 の絞り込みを行なった ANN 単体の手法, 各スコア を組み合わせて先行詞の同定を行うもの（実験 2） からなる.

## 4.2 結果と考察

表 1 では，ANNと 3 つの言語資源から作成した スコアを使用して先行詞の同定を行った結果をま とめている。 1 位正解率では，格フレーム（CF）が 0.235 , 動詞連想概念辞書（VACD）が 0.265 で 2 割を 上回る正解率となった. 対して, ANN は 1 位正解率が， 0.185 と 2 割を下回った. また，共起 GB は， 0.090 と 1 割を下回る結果となった.これにより，各スコア単体では，先行詞を 1 つに決めることは，難しいことが確認できる.

対して 10 位正解率をみると，ANN，CF，VACD は 8 割を上回っている。また，共起 GB は 6 割を超 えている。これは，各スコア単体では先行詞の候補 から先行詞を上位 10 候補までに， 6 割から 8 割ほど の精度で絞り込むことができていると考えられる。 また，共起 GB の正解率をみると，先行詞の同定に おいて，共起 GB 単体では効果が低いことが考えら れる。

そして，3位正解率と 5 位正解率をみると，共起 GB 以外のスコアは，5 割を上回っており，特に CF と VACD は ANN の正解率を超えている. これらの 結果から先行詞の同定において，各スコア単体でも 少なからず効果がみられた。そして，これらのスコ アを組み合わせることにより，更なる精度向上の見込みがあると考えられる。

表 2 では，先行詞の同定において，ベースライン と先行研究の手法, 提案手法の結果をまとめてい る. ベースラインには，深層格推定による先行詞候補の絞り込みを行わずに ANN のみを用いた手法を 用いた。提案手法として，深層格推定による先行詞候補の絞り込みを行なった手法 (ANN)，深層格推定による先行詞候補の絞り込みと ANN と動詞連想概念辞書（VACD）を組み合わせた手法（AV）, 深層格推定による先行詞候補の絞り込みと ANN と格フ レーム (CF)，VACD，共起 GB を組み合わせた手法 （ACVK）の3つを比較する.

ベースラインと提案手法を比較すると，どの提案手法もべースラインの正解率を上回っている. 深層格推定による先行詞候補の絞り込みが，先行詞の同定における正解率の向上に効果があることが確認で

きる.

先行研究の手法と提案手法の ANNを比較すると， 1 位正解率において提案手法の ANN の方が 15 事例多く正解している. 3 位正解率以降は, 2 つの手法 の正解数にほとんど差がみられなかった. 原因とし て, ANN の違いが挙げられる. 先行研究では, 動詞 と名詞の単語分散表現と助詞の one-hot ベクトルを 入力していることに対して，提案手法では，動詞ク ラスと名詞クラス，助詞の one-hot ベクトルを入力 している. 提案手法では, 動詞と名詞について, 意味や属性によりクラス分けを行なっているため，名詞が取り得る深層格の傾向が先行研究より学習され ているものだと考えられる。

3 つの提案手法をそれぞれ比較すると，AV と ACVK の正解率が，ANN の正解率を上回っている. ANN 単体より，複数のスコアを組み合わせた手法 の方が正解率は高くなるが AV の方が ACVK より 1 位正解率が高くなっていた. つまり, 本研究で使用 した 3 つのスコアのうち動詞連想概念辞書から得 られるスコアが先行詞の同定において，最も効果が 高いことがわかる. つまり，動詞連想概念辞書は先行詞の同定に直接的な効果が期待できる. 対して,格フレームと共起 GB からそれぞれ得られるスコア は，先行詞の同定に効果があまりみられなかった。 つまり，これらの情報は先行詞の同定に直接的な効果が期待できない.

本研究では先行詞の同定に使用するスコア以外の 要素の影響がないようにしているため, 先行詞候補 はスコアの高さによってのみ決定する。 そして，提案手法も 3 位正解率は, 5 割を超えており 10 位正解率になると 8 割を超えていることからスコアのみで の限界がこの正解率であると考えられる。

## 5 まとめ

本研究では，照応解析における先行詞の同定にお いて，深層格と表層格を組み合わせて利用する手法 を提案した. ANNにより, 先行詞の候補を絞り込 み, 候補の名詞に対して, 動詞連想概念辞書と格フ レーム，共起 GB からそれぞれスコアを求めて組み 合わせることにより先行詞を同定する. 先行詞の同定において，スコアごとの効果の比較, 組み合わせ による正解率を比較した，スコア単体でみると，格 フレームと動詞連想概念辞書は, 先行詞の同定に おいて，ANNより正解率が高いことが確認できた. また，深層格推定による先行詞候補の絞り込みの効果があることが確認できた.

ANN と動詞連想概念辞書を組み合わせた手法が 提案手法の中で最も高い正解率を示した. この手法 は， 1 位正解率が 0.345 で， 3 位正解率だと $0.610 ， 10$位正解率までみると 0.840 であった. 先行詞の同定 において，深層格推定と動詞連想概念辞書の有用性 が確認できた. また，この手法は先行詞の候補を 10 個程度までに絞り込むことが確認できたが，1つに 絞り込むことは，ほとんどできなかった。

今後の課題として, 深層格推定による先行詞候補 の絞り込みの精度向上と新たな先行詞らしさのスコ ア計算方法が考えられる. 深層格推定による先行詞候補の絞り込みによって先行詞が省かれてしまう事例があったため，構文情報などを利用してより正確 な深層格推定，絞り込みを行うこと必要だと考えら れる。また，現在の手法は，候補を絞り込んだ後に 先行詞を 1 つに同定することがほとんどできていな い. 先行詞の候補を 1 つに絞り込むために, 現在考慮していない文中の他の名詞との関連性や構文情報 などの情報を取り入れた先行詞らしさのスコアを考 えることで，先行詞の同定精度の向上を目指すこと が考えられる。

## 謝辞

本研究は JSPS 科研費 JP18K12434 の助成を受けた ものです.

## 参考文献

[1] 寺岡丈博, 東中竜一郎, 岡本潤, 石崎俊. 単語間連想関係を用いた換喻表現の自動検出. 人工知能学会論文誌, Vol. 28, No. 3, pp. 335-346, 2013.

[2] 笹野遼平, 黒橋視夫. 大規模格フレームを用いた識別 モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3328-3337, 2011.

[3] 西念星宝, 谷津元樹, 原田実. 語意類似度を用いた指示代名詞の照応解析システム AnasysD. 知能と情報, Vol. 31, No. 5, pp. 797-807, 2019.

[4] 山城堸太, 西川仁, 徳永健伸. 大規模格フレームによる 解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[5] Takumi Kawasaki and Masaomi Kimura. A Novel Japanese Anaphora Resolution Method Using Deep Cases. In International Symposium on Computer Science and Intelligent Controls (ISCSIC), pp. 129-134. IEEE, 2017.

[6] 国立国語研究所. 『分類語彙表増補改訂版データベー ス』(ver.1.0), 2004.

[7] 林部祐太, 河原大輔, 黒橋禎夫. 格パターンの多様性に 頑健な日本語格フレーム構築. 研究報告自然言語処理 (NL), Vol. 2015, No. 14, pp. 1-8, 2015.
 伊藤清晃 寺岡丈博 拓殖大学大学院工学研究科 20m301@st.takushoku-u.ac.jp tteraoka@cs.takushoku-u.ac.jp  