# 質問応答に基づく日本語ゼロ代名詞同定

岩田 晟
渡辺 太郎
奈良先端科学技術大学院大学
\{iwata.sei.is6, taro\}@is.naist.jp

## 1 はじめに

日本語や中国では，文中の主語や目的語などの構成要素が省略されることがあり，このような省略を ゼロ代名詞という．例えば，日英翻訳タスクにおい て日本語側の省略を補完する必要があり，結果とし て，このような省略は自然言語処理の応用タスクへ と大きな影響を与える。

近年では共参照解析やNER などを質問応答 (Question Answering,QA) の一つである SQuAD 形式〉iteSQuAD のスパン予測問題をとして捉える研究がある [1][2].

本研究ではゼロ代名詞検出および同定タスクを QA タスクとして捉えた手法を提案する. 動詞また は形容詞をクエリとし, その単語 (クエリ)を主辞と する節において省略された構成要素の種類およびそ の節の開始位置と終了位置を予測する. 句構造情報 がアノテーションされた NPCMJ[3] を用いたゼロ代名詞同定タスクにおいて，BERT[4]を用いた系列ラ ベリングの手法と比べ, 提案手法は $\mathrm{F} 1$ 值で 2.2 ポイ ントの向上が確認できた.

## 2 関連研究

植田 ら [5] は BERT[4] を用いた述語項構造解析・共参照解析・橋渡し照応解析の同時学習を提案した. Konno ら [6] は BERTを用いた Data Augmentation を 行うことで，ゼロ照応解析の精度を向上させた.

Song ら [7] は，句構造の関係を利用し，BERTを 用いてゼロ代名詞検出をサブタスクにしつつ, ゼロ 代名詞の同定とゼロ照応解析を同時学習を行った. この手法では自己注意機構を用いて, 照応先の開始位置と終了位置を予測することでゼロ照応解析 とした. Aloriani ら [8] と Aloriani ら [9]の研究では,句構造情報を踏まえて, BERT-base Multilingual $の$ 埋 め込みを多層パーセプトロンの入力として用いる ことで，ゼロ代名詞同定とゼロ照応解析を行った. Takeno ら [10] は句構造構文情報の様々な素性を用

\author{
永田 昌明
}

NTTコミュニケーション科学基礎研究所 masaaki.nagata.et@hco.ntt.co.jp

いることで，ゼロ代名詞検出を行った。

Devlin ら [4] は BERTを利用して，QAタスクにお いて質問とそれに対応する応答見つけるために，質問と文書を入力に文書の中から応答のスパンを予測 した. Li ら [2] は NERのタグに対応する質問文を生成し，その質問と文を入力とすることで entity のス パンを予測することで Nested NER の問題に対応し た. Wuら [1] は参照先をとうような質問を生成する ことでを共参照解析として捉えた手法を提案した。

## 3 スパン予測を用いたゼロ代名詞同定

本研究では，入力文における動詞や形容詞をクエ リとし，クエリを主辞とする節にゼロ代名詞が存在 するか，また，節に対応するスパンを予測するタ スクとして定式化する. 入力文 $\boldsymbol{X}=\left.\{x_{1}, x_{2}, \ldots, x_{n}\right.\}$ とすると，とその文内のクエリー $x_{q}$ を与え， そのクエリを主辞とする節に対応するスパン $\left.\{x_{i}, \ldots, x_{j}\right.\}, 1 \leq i \leq j \leq n$ を予測する.

例えば，「宿題をすると私は決意した.」を入力文，動詞である「する」がクエリーとして与えら れた場合，主語が省略されている節のスパン「宿題 をする」を予測する。一方で「決意」がクエリーの 場合，これを主辞とする節「〜と私は決意した.」に は省略がないため，クエリを主辞とする節にはゼロ 代名詞がないと予測する.定式化したタスクに対して，BERT[4]を用いた。

## 3.1 スパン予測を用いたゼロ代名検出

入力はこのクエリー $x_{q}$ とそのクエリーが含まれ る文 $X$ である．具体的には二つの入力を特殊文字 $[C L S]$ と $[S E P]$ を用いて, 次のよう形式で BERT に与える.. $\left.\{[C L S], x_{q},[S E P], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ ここで $[S E P]$ を基準にこれらの入力を基に， $[S E P]$ 以降の $i$ 番目のトークンに対して，スパンの開始確率 $S_{i}$ と スパンの終了確率 $E_{i}$ を予測する. $[C L S]$ の位置を ゼロ代名詞がない場合に対応させ, $S_{[C L S]}$ と $E_{[C L S]}$ は，与えらた文にゼロ代名詞がない確率を表す。 ス

パンの開始確率 $S_{i} \in \mathbb{R}$ は Devlin らの SQuAD v2.0の 手法 [4] と同様，次のように BERT の Encoder の最終層の埋め込みである $T_{i} \in \mathbb{R}^{n}$ を線形層に通して計算される。

$
S_{i}=\operatorname{softmax}\left(T_{i} W_{S}^{\top}+b_{S}\right)
$

ここで重み $W_{S} \in \mathbb{R}^{1 \times n}$, バイアス $b_{S} \in \mathbb{R}$ である. また, 終了確率 $E_{i}$ も同様に求める. 予測の開始位置と終了位置が $1 \leq i \leq j \leq n$ の時, これらの確率を 用いてスパンのスコア定義は次のようにする。

$
\text { Score }_{i}, E_{j}=\log S_{i}+\log E_{j}
$

このスコアが最大となる区間にゼロ代名詞 が存在すると予測する。一方で, 文中にゼ 口代名詞がないスコアは [CLS] に対応する Score $_{\text {null }}=$ Score $_{S_{[C L S]}, E_{[C L S]}}$ とする. そのため, max $_{j \geq i}$ Score $_{S_{i}, E_{j}}<$ Score $_{\text {null }}$ のときは，与えられ た文にはゼロ代名詞がないと予測する.

学習時の損失関数はクロスエントロピーを用いる. そのため, 正解の開始位置と終了位置が $i^{\prime}, j^{\prime}$ のと き，次のように対数尤度の和として定式化できる。

$
\text { loss }_{\text {span }}=-\log S_{i^{\prime}}-\log E_{j^{\prime}}
$

## 3.2 ゼロ代名詞クラス分類

3.1 節ではゼロ代名詞検出の二値分類であったが， ゼロ代名詞同定を行うためにクラス分類を行う1). $[C L S]$ に対応する BERT の Encoder の最終層の埋め 込み $T_{-1} \in \mathbb{R}^{n}$ はクエリーと文の二つの入力が考慮さ れた埋め込みとされている。

この $T_{-1}$ を用いて， ゼロ代名詞の num $_{\text {label }}$ 種類の クラスに対する確率を求める. 重み $W_{\text {label }} \in \mathbb{R}^{2 \times d}$ とバイアス $b_{\text {label }} \in \mathbb{R}^{\text {num label }}$ を用いて次のように表 せる.

$
\begin{aligned}
H & =\operatorname{dropout}\left(T_{-1}\right) \\
P_{\text {label }} & =\operatorname{softmax}\left(H W_{\text {label }}{ }^{T}+b_{\text {label }}\right)
\end{aligned}
$

学習ではクロスエントロピーロスと正解のゼロ代名詞クラスを用いて，損失 loss label 計算する.

## 3.3 同時学習によるゼロ代名詞同定

本研究では, 3.1 節と 3.2 節のそれぞれのタスクを 同時に学習することで, ゼロ代名詞の同定を行う.学習時の損失関数は次のように定義される.

$
\text { loss }_{\text {total }}=\alpha \text { loss }_{\text {span }}+(2-\alpha) \text { loss }_{\text {label }}
$
 クラスは述語の下位範疇に相当する.

表 1 データセットの内訳

ここで， $\alpha$ は $0<\alpha<2$ の間の値を取ることで，各 タスクの損失関数に重みをつけるハイパーパラメー タである． 3.1 節のスパン予測にて省略が存在する とされたものを，3.2 節のタスクで予測したラベル のゼロ代名詞が省略されているとする。一方で，3.1 節のスパン予測にて省略がないと予測された場合 は，このクエリを主辞と仮定したゼロ代名詞がない とする。

## 4 実験

## 4.1 実験データ

本実験のデータとして NINJAL Parsed Corpus of Modern Japanese（NPCMJ）[3]を用いる. NPCMJ は ゼロ代名詞の情報を持つ欅ツリーバンク [11]を拡張 したもので，青空文庫やニュースなどから成る約 4 万文に対して句構造がアノテーションされたコー パスである。ゼロ代名詞は，述語を主辞とする節 (inflectional phrase, IP) の最初の構成要素としてアノ テーションされる.このアノテーションされた構文情報を用いて主辞が動詞 (VB) または形容詞 (ADJN) であり，ゼロ代名詞の有無にかかわらず全ての節を 対象にクエリーを作成する。データセットは文単位 で train : dev : test = 8:1:1 で分割を行う. データセッ トの各述語におけるゼロ代名詞の有無の件数と割合 は表 1 のとおりである.

実験では, NPCMJでアノテーションさているゼロ 代名詞の種類のうち, *pro*,*speaker*,*hearer $*, * T *$ を用い，それ以外は etc に置き換える。構文情報の アノテーションのうち，SBJに関するものは SBJ, OB1 や OB2 などの OBJ に関するものは OBJ，それ 以外は Other タグに変換する．また，ゼロ代名詞が ある述語 37410 件のうち，一つの述語に対して三つ 以上ゼロ代名詞が含まれるものは $1 \%$ 未満である 80 件であった．そのため，今回の実験では一つのスパ ンに一つもしくは二つのゼロ代名詞の組み合わせを ゼロ代名詞クラスとする．三つ以上の物に関しては

 &  & $89.2 \%$ \\

表 2 ゼロ代名詞検出の混同行列 (件数)

etcに置き換える。

## 4.2 モデル設定

事前学習言語モデルとして, NICT-BERT ${ }^{2}$ の BPE なし $\mathrm{BERT}_{B A S E}$ モデルを使用し，述語をクエリ，文 を文脈として，述語を主辞とする節のスパンとゼロ 代名詞の種類を予測するデータでファインチューニ ングした.

各パラメータ設定において，学習エポックは $\{2,4\}$, バッチサイズは 16 , 学習率は 3e-5, ドロッ プアウト確率は 0.1 , 式 6 のハイパーパラメータ $\alpha$ は $0.0 \sim 1.8$ のうち 0.2 間隔で用いた. 単語分割は NICT-BERT に合わせ，MeCab-Juman 辞書で単語分割を行った。

## 4.3 比較手法

ゼロ代名詞同定の実験において，BERT を用いた 系列ラベリングを比較手法とする. Devlin ら [4] の 手法を参考に，文全体を入力とし，BIOES 形式で述語にはゼロ代名詞クラス，それ以外は"O"をラベリ ングするように学習した. 正誤判定は提案手法のク エリーに対応する述語の箇所のみに適切なラベリン グを行ったかで判定した。

## 4.4 実験 1: ゼロ代名詞検出

3.1 節で述べた 質問応答に基づくゼロ代名詞検出 に関する実験を行った.「ゼロ代名詞の有」かつ「そ のゼロ代名詞の存在する節の完全一致」の時，True Positive (TP) とする. 表 2 はエポック 2 における混同行列である. 各セルには件数と割合を記載した.表 2 において，Gold データに対する True Negative (TN) の正答率が TP と比べて高い理由としては， TN は文中にゼロ代名詞が存在しない場合であるため,「節 (span) の一致」は考慮する必要がなく，「ゼロ代名詞の有無」の一致のみであるからと考えられる.


表 3 ゼロ代名詞検出の F1 值

表 4 ゼロ代名詞同定の F1 值

また，表 3 はエポック $\{2,4\}$ におる F1 值, Precision,Recall を載せる. Keyaki tree bank に対して の構文的素性を用いた Takeno ら [10] の F1 值が $73.2 \%$ であり，データセットは異なるため，単純な 比較はできないが，これらの結果を踏まえても，表 3 の $81.3 \%$ は十分に高いスコアと言える.

## 4.5 実験 2: ゼロ代名詞同定

3.3 節の同時学習を用いてゼロ代名詞の同定に関 する実験を行った. TPを「ゼロ代名詞の種類」が一致した場合とする。比較手法としては 4.3 の系列ラ ベリングを用いる．F1值による比較において，結果 を表 4 に記す. 表 4 よれば，ベースラインよりも，提案手法の方が $2.2 \%$ 優れていた. ただし提案法は クエリとなる述語の正解を与えているので，厳密な 比較ではないことに注意する必要がある.

また，式 6 のハイパーパラメータ $\alpha$ を変更した時 の F1 の変化を図 1 に記す. 図 1 より，エポック 2,4 共に，ゼロ代名詞クラス分類に重心を強くして学習 させるほうが，F1 值の精度が高かった.

## 5 エラー分析

提案手法の成果を確認するため，実際の事例を示 す. 下線部がゼロ代名詞の存在する節である.

(1)衝撃や水濡れに強いのがウリの機種に決めました. Gold : pro_SBJ Predict : pro_SBJ

(2)偶然がもたらした大発見といってよいであろう。 Gold : $T \_O B J$ Predict : $T \_O B J$

例文 (1),(2) はゼロ代名詞の種類と主格/目的格を 正確に捕らえらている.

一方で誤り例を示す.

図

実験 2 において， $\alpha$ を変化させたときの $\mathrm{F} 1$ 値

表 5 pro とその亜種の種類エラー率

(3)たまにはおごれよ.

Gold : hearer_SBJ Predict : speaker_SBJ

この場合，SBJ は認識できているが，二人称 (hearer) であるべきところを一人称 (speaker) と誤っ ている。このように主格/目的格は正確に捕らえら れるが，pro とその亜種である hearer,speakerに関し て区別できていないことがある. pro と比べ, 出現頻度低い speaker やhearer はこの傾向が顕著である.

表 5 は正解ラベルが SBJ に関するもの正答率 と proと亜種の種類エラーにおける割合である.正答率において，亜種ラベルのない $T$-SBJ が $3.7 \%$ と比べて, pro とその亜種である speaker と hearer は正答率が大きく下がっている. 例文 (3) のよう な亜種に関するエラーが正答率を下げてる.こ のような亜種のエラーの割合は，"pro"のエラーの うち $10.1 \%$, "speaker"と"hearer"のそのようなエラー の割合は $35 \%$ 後半もある. "pro"と比べ，"speaker" と"hearer"がエラーが多い理由として, それらの付与 されたデータ数の少なさ，および，提案法は文を入力単位としており, 文脈情報を利用していないこと が考えられる.

## 6 おわりに

本研究では QA タスクにおけるスパン予測問題と して定式化したゼロ代名詞の検出・種類同定を提案 し，NPCMJ を用いて評価を行った.今後は推定し た情報を基にゼロ照応解析や他言語のデータセット に対する評価などを行っていきたいと考えている。今回の提案手法では，一つの節に対して一つのクエ リで推定を行っていたが，推定したゼロ代名詞のス
パンを用いて，節と節の関係について文全体で整合性をとることで，精度の向上が期待できる。

## 参考文献

[1]Wei Wu, Fei Wang, Arianna Yuan, Fei Wu, and Jiwei Li. CorefQA: Coreference resolution as query-based span prediction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6953-6963, Online, July 2020. Association for Computational Linguistics.

[2]Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei $\mathrm{Wu}$, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5849-5859, Online, July 2020. Association for Computational Linguistics.

[3]アラステアバトラー, 吉本啓, 岸本秀樹, プラシャント パルデシ. 統語・意味解析情報付き日本語コーパスの アノテーション. 言語処理学会 第 22 回年次大会 発表論文集, 3 月 2016.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]植田暢大, 河原大輔, 黒橋禎夫. Bert と refinement ネッ トワークによる 統合的照応・共参照解析. 言語処理学会第 26 回年次大会 発表論文集, 3 月 2020 年.

[6]Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4956-4968, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7]Linfeng Song, Kun Xu, Yue Zhang, Jianshu Chen, and Dong Yu. ZPR2: Joint zero pronoun recovery and resolution using multi-task learning and BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5429-5434, Online, July 2020. Association for Computational Linguistics.

[8]Abdulrahman Aloraini and Massimo Poesio. Anaphoric zero pronoun identification: A multilingual approach. In Proceedings of the Third Workshop on Computational Models of Reference, Anaphora and Coreference, pp. 22-32, Barcelona, Spain (online), December 2020. Association for Computational Linguistics.

[9]Abdulrahman Aloraini and Massimo Poesio. Cross-lingual zero pronoun resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 90-98, Marseille, France, May 2020. European Language Resources Association.

[10]Shunsuke Takeno, Masaaki Nagata, and Kazuhide Yamamoto. Empty category detection using path features and distributed case frames. In Proceedings of the 2015 Confer-
ence on Empirical Methods in Natural Language Processing, pp. 1335-1340, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11]Alastair Butler, Tomoko Hotta, Ruiko Otomo, Kei Yoshimoto, Zhen Zhou, and Hong Zhu. Keyaki treebank : phrase structure with functional information for japanese., 2012.
 岩田 晟 渡辺 太郎 奈良先端科学技術大学院大学 \{iwata.sei.is6, taro\}@is.naist.jp  