# Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution

今野堸人 $\dagger$

## 1 はじめに

本稿では，EMNLP2021に採択された著者の論文 "Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution” (Konno et al. 2021)について, 論文では語られなかった着想に至るまでの経緯，および今後の展望を交えて解説する。

## 2 本研究の概要

我々は文を読む時，文中の省略を脳内で自動補完しながら読んでいる，省略の例として，「被害者の部屋から犯人の凶器が見つかった。 ハンマーを使用した模様だ.」という文について考えたい．我々は，「ハンマーを使用したのは誰か？」という質問をされたとき，ハンマーは犯人の凶器としてよく使われるという，ハンマーと犯人の凶器の間にある照応関係の知識を無意識に用いることで，「犯人である」と答えることができる。 日本語ゼロ照応解析の解決には，このような照応関係の知識が必要であり，これを大量にマシンに獲得させることが重要だと考える.

本研究では, 生コーパスから照応関係の知識を獲得するための事前学習タスク (Pseudo Zero Pronoun Resolution; PZero) と, この事前学習をうまく活用するためのゼロ照応解析モデル (Argument Selection as Pseudo Zero Pronoun Resolution; AS-PZero) を提案した.

一つ目の提案である PZERO は, 図 1 のように, 生テキスト中に同じ表層形で 2 回以上出現する名詞句の 1 つをマスクし，マスクに入る語を文中から選ぶタスクである。ある文脈で一度出現した名詞句がマスク周辺の異なる文脈で再び出現することをモデルに学習させることで，冒頭で述べたような照応関係の知識の獲得を狙う.

二つ目の提案である AS-PZERO は，図 2 のように，マスクトークン，項を表す格助詞，対象述語からなるフレーズを入力文の末尾に挿入し，マスクに入る語を文中から選ぶことでゼロ照応解析（述語項構造解析）をおこなうモデルである。モデルは PZERO と同様の形式でゼロ照応解析の学習をおこなうため, 事前学習で獲得したモデルパラメータをそのまま引き継ぐことができる.


The university has surveyed teachers' means of transport and found that most teachers use the train.

図 1 PZERO の概要

[CLS]被害者の部屋から犯人の凶器が見つかった。[SEP]ハンマーを使用した模様。[SEP][MASK]が使用した

図 2 AS-PZERO におけるゼロ照応解析

これら二つを組み合わせることで，日本語ゼロ照応解析の性能を向上させられることが実験で明らかとなった。

## 3 着想に至った経緯

研究のきっかけは, ゼロ照応解析を含む照応関係の知識を必要とするタスクの性能がマスク言語モデルによって大きく向上したという事実 (Joshi et al. 2019; Aloraini and Poesio 2020; Song et al. 2020; Konno et al. 2020) と，マスク言語モデルの事前学習でおこなわれている Cloze タスク (Devlin et al. 2019) がゼロ照応解析で解いている問題と似ているという話からだった. マスク言語モデルはマスクトークンに入る語を周辺文脈から判断して補完する。このマスクトークンを省略された語とみなせば，周辺文脈から省略を補完する問題を解いていると考えることができる。この考えから，マスク言語モデルの学習方法や使い方をゼロ照応解析へうまく活用できないかという方向で研究を始めることとなった。

## 3.1 事前学習の提案

Cloze タスクとゼロ照応解析は似ているが，大きく異なっている箇所が存在する．まず，ゼロ照応解析では異なる文脈で登場する語の間の照応関係が重要である一方, Cloze タスクでは文が自然となるようにマスクトークンに入る語を語彙から選ぶことで学習をおこなう．仮に，マスクトークンに入る語が文中に存在する語と同じものであったとしても, Cloze タスクではその間にある照応関係を直接学習しているわけではない。また, Cloze タスクではサブワード単位でマスクトークンへ置換するため，たとえ周辺文脈の意味を理解していなくとも，よく出現する語の並びだけでマスクを補完できてしまうケースがある。さらに，Cloze タスクではマスクトークンの個数が分かっているため, どのような語が入るのか予想しやすい.

PZEROは, このような問題を改善し, 生コーパスから照応関係の知識をより獲得できるよう

にしたものである、マスクのターゲットを述語の項となりうる名詞句に絞り, 名詞句が複数のサブワードから構成されている場合でも，まとめて 1 つのマスクトークンへと置換する。また， マスクトークンに入る語を語彙からではなく文中から直接選択させる。これにより, Cloze 夕スクよりも直接的に照応関係の知識を学習することができると考えた.

モデルに学習させたいことは, ある文脈で登場した語が異なる文脈で再び出現するということである。これを実現するため, transformer 層 (Vaswani et al. 2017)を用いて, 周辺文脈の情報を含んだ語の埋め込み表現が，マスクトークンの埋め込み表現と近くなるように学習をおこなう。この埋め込み表現の近さを表すのが論文中の (2) 式のスコアである. スコアの算出方法は self-attention (Vaswani et al. 2017) から着想を得たものである.

## 3.2 Finetuning $の$ 提案

最近では, 生コーパスを使って事前学習し, 対象タスクで finetuning をおこなうのが一般的となっている (Devlin et al. 2019). また, 両者の学習方法やデータドメインなどの設定を近づけることで，より効果的に事前学習ができることが報告されている (Yang et al. 2019; Gururangan et al. 2020).

この考え方に従い，ゼロ照応解析を Cloze タスクへ近づけることを考える．このとき，両者の異なっている大きな点として，マスクトークンの場所が決まっているかどうかが挙げられる. Cloze タスクではすでに存在する語をマスクして復元するため, マスクトークンの位置は与えられるものである。一方で， ゼロ照応解析ではどこにゼロ代名詞が存在するのかが不明であるため，マスクトークンをゼロ代名詞とみなすのであれば，マスクトークンの挿入箇所を新たに決める必要がある。これまで, 日本語ゼロ照応解析は述語項構造解析の一部として定式化されてきたため, ゼロ代名詞の場所を予測する必要はなかった，今回，マスクトークンをゼロ代名詞とみなすという考えのもと，事前学習と finetuning の問題設定を揃えるため, 文末にマスクトークンを含むフレーズを挿入した.

## 4 実験の過程

実験でしっかりとした結果を出せるかどうかが論文採択を左右する，そのためには，ある程度実験の試行回数を重ねる必要があると考えていた，著者は，出来るだけ無駄なく実験をおこなうためにも，実験の手順，実験で確かめたいこと，望ましい実験の結果を言語化したうえで実験を進めていった.

論文には載せられなかった実験についてここで紹介したい．PZEROの実験では，正解を含まない（文頭の [CLS］を正解とする）学習デー夕を用意してその割合を変化させること，マスクの対象とする語やマスクトークンの個数を変化させること, Cloze タスクと PZERO をマルチタ

スクで解くことなど，様々な試行錯誤をおこなった。結果として，理論含めて論文に載せている方法が最も良いということが判明した. AS-PZERO とそのベースラインも同様に，モデルの構成や学習損失関数の剪定，ハイパラ探索など様々な点で試行錯誤をおこなった.

## 5 実験結果

実験では, 事前学習で Cloze タスク, PZERO の比較をおこない, finetuning でマスクトークンを含まないべースラインと AS-PZEROの比較をおこなった. 結果, 提案手法である PZERO と ASPZERO の組み合わせが最も良いということが判明した。この結果から，事前学習と finetuning どちらか一方を改善するだけよりも，学習全体を改善させた方が相乗効果として良い結果をもたらすという知見が得られた。実験結果の詳細は本論文を参照されたい.

## 6 論文投稿を終えて

ゼロ照応解析はここ数年で大きな進歩を遂げてきたが，その性能はまだ実用化レべルにまで到達していないと考えている。また， 口語文などよりくだけた表現では，項の省略は頻繁に発生するうえ，述語の項だけにどまらずイベント全体が省略されることもしばしばよく起こる。 そのような状況では，省略を補完して文の意味をマシンに理解させる難易度は格段に上がることが予想される。

省略解析が実用化されるとき，その真価を発揮するのは普段の日常で用いられる言葉なのではないかと著者は考えている，日常で人間は，できるだけ少ない労力で相手に自分の考えを伝えようとする。その結果，発する言葉の数は少なくなり，省略も増えていく，人間ですら相手が何を伝えようとしているのか理解できないことがあるように，マシンが完璧に省略を補完することはできないかもしれない，しかし， 口語文などの省略が頻繁に起きている文の解析性能が進めば，より省略解析器の実用化が進むのではないかと考える。著者は学生時代から「省略」 というテーマで研究をおこなってきたが, その興味は未だに尽きない. 著者の現在の興味は,省略が頻繁に起こるドメインでの解析や，イベント全体の省略解析へと向いている．マシンに文の意味を理解させたいという動機のもと, 実用化を目指して「省略」というテーマを今後も深掘りしていきたい.

## 参考文献

Aloraini, A. and Poesio, M. (2020). "Cross-lingual Zero Pronoun Resolution." In Proceedings of LREC, pp. 90-98.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of $A C L$, pp. 8342-8360.

Joshi, M., Levy, O., Zettlemoyer, L., and Weld, D. (2019). "BERT for Coreference Resolution: Baselines and Analysis." In Proceedings of EMNLP-IJCNLP, pp. 5803-5808.

Konno, R., Kiyono, S., Matsubayashi, Y., Ouchi, H., and Inui, K. (2021). "Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution." In Proceedings of EMNLP, pp. 3790-3806.

Konno, R., Matsubayashi, Y., Kiyono, S., Ouchi, H., Takahashi, R., and Inui, K. (2020). "An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution." In Proceedings of COLING, pp. 4956-4968.

Song, L., Xu, K., Zhang, Y., Chen, J., and Yu, D. (2020). "ZPR2: Joint Zero Pronoun Recovery and Resolution using Multi-Task Learning and BERT." In Proceedings of ACL, pp. 5429-5434.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of NIPS, pp. 5998-6008.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J. G., Salakhutdinov, R., and Le, Q. V. (2019). "XLNet:

Generalized Autoregressive Pretraining for Language Understanding." In Proceedings of NeurIPS, pp. 5754-5764.

## 略歴

今野颯人：2019 年東北大学工学部電気情報物理工学科卒業. 2021 年東北大学大学院情報科学研究科博士前期課程終了. 現在，株式会社リクルートおよび東北大学大学院情報科学研究科学術研究員.