# 翻訳言語モデルを中間タスクとするゼロ照応解析

馬越雅人 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{umakoshi, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

日本語と非プロドロップ言語の対訳テキストは,前者で省略されるゼロ代名詞が多くの場合後者では 明示的に言及されるため, 日本語ゼロ照応解析の精度を改善する可能性を秘めている．対訳テキストを 活用するために機械翻訳を中間タスクとする手法が 提案されているが，事前学習タスクとの差異が大き く, 改善の余地がある. 本研究では, より事前学習 タスクに近い翻訳言語モデルを中間タスクとする手法を提案する．実験により，翻訳言語モデルを用い た場合の方が精度が向上することを示す。

## 1 はじめに

誰が誰に何をしたかは情報の基本的な単位であ り，これを理解することは自然言語理解において必要不可欠である。しかし，日本語や中国語のような プロドロップ言語では，文脈から推測できる代名詞 が省略されることがあり，特に困難な問題となる。

図 1 日本語で省略されたゼロ代名詞が英語では明示さ れるような対訳文の例. 日本語で省略されたガ格の項 (著者)が英語では明示的に現れている (I).

図 1(a)のように，省略されたゼロ代名詞 ( $\phi$ ) の照応先を特定することをゼロ照応解析と呼ぶ．日本語 のゼロ照応解析は BERT の導入により飛躍的に性能 が向上したが $[1,2]$, 改善の余地が大きく残されて いる.

大きな課題の一つは学習データの少なさである. アノテーションが付与されている文の数は数万文規模に留まっており，質の高いアノテーションを付与 するには言語学的な専門知識が必要なため，大規模 にコーパスを拡張することが現実的ではない [3].

この点に着目し, 大規模に利用可能な, 日本語と非プロドロップ言語である英語との対訳テキストを 利用する研究がなされている $[4,5]$. コアとなるア イデアは，日本語におけるゼロ代名詞は英語では明示的に言及されることが多く(図 1(b))，このズレを ゼロ代名詞の照応先を解決するための手がかりとで きることにある．このアイデアに基づき，Umakoshi らは事前学習とゼロ照応解析の間の中間タスクとし て機械翻訳 (MT) を用いることで対訳テキストから ゲインが得られることを示した [6].

同手法は一定の有効性は示されたものの，MT が 中間タスクとして適しているかは疑問が残る。様々 なタスクの組み合わせを調査した先行研究では，中間タスクとして MT を用いるとスコアが下がる傾向 が報告されている [7]. 原因として指摘されている ことの 1 つは，中間タスクと事前学習との性質の違 いが事前学習により得られた知識の忘却を引き起こ した可能性である.

そこで本研究では，事前学習に用いられるマス ク言語モデル (MLM) により近い翻訳言語モデル (TLM) [8] を中間タスクとする手法を提案する。よ り乘離の小さいタスクを用いることで効果的に対訳 テキストを活用できることを期待する．実験により TLM を用いた場合の方が MT を用いる場合よりも 精度が向上することを示す.

## 2 関連研究

事前学習と目的タスクとの間に中間タスクを挟み 目的タスクでの精度向上を図る試みがなされてき た $[9,7,10]$. Wang らは MTを中間タスクとした際 に自然言語推論や感情分類など様々な目的タスクで 精度が悪化したことを報告しており，原因として事前学習と中間タスクとの乘離が破滅的忘却を引き起 こした可能性を指摘している [7].

日本語ゼロ照応解析の精度改善のために多言語 テキストを活用することを目的に，比較的大規模 な日英対訳コーパスを用いる手法が提案されてき た $[4,5,6]$. 従来はパイプライン処理に基づくルー

事前学習

(マスク言語モデル)

中間タスク

(翻訳言語モデル)

目的タスク

(ゼ口照応解析と関連タスク)

図 2 提案手法の概要. 左: モデルを多言語コーパスを用いてマスク言語モデル (MLM)により事前学習を行う. 中央: 事前学習したモデルを翻訳言語モデル (TLM) で訓練する. 右: ゼロ照応解析について訓練する. 一部の特殊トークンは図 を簡潔にするために省略した。

ルベースの手法が提案されてきたが，誤り伝搬によ りその効果は限定的であった $[4,5]$. Umakoshi らは MT を中間タスクとした場合にゼロ照応解析の精度 を改善できることを示し, 特に MLM との同時学習 が効果的であることを発見した [6]. MTは事前学習 と乘離が大きく中間タスクとして適しているかは疑問であり，本研究ではより乘離の小さい TLMを用 いる.

## 3 提案手法

## 3.1 ゼロ照応解析モデル

本研究のゼロ照応解析モデルとして，植田らの CAModel [1] を用いる. 強力な事前学習済みエン コーダーを考慮し, 省略の検出と先行詞の識別は項選択により定式化される (図 2(右)). 文書全体を入力し, モデルはその中から述語の各格を埋める項を 選択する。外界照応は，照応先に対応する特殊トー クンを連結してモデルに入力することにより考慮 される. 項を持たない場合は，特殊トークン [NULL] を選択する. 文書全体を入力とすることによって，自然に文内ゼロ照応だけでなく文間ゼロ照応も扱う ことができることに注意されたい，実際には，エン コーダモデルに入力長による制限があり, 出来るだ け多くの先行文を含めるように分割した. また，こ の定式化により，述語と項の間に係り受けの関係が ある格解析も同じ枠組みで扱われる.

具体的には，トークン $t_{j}$ が 述語 $t_{i}$ の格 $c$ の項で ある確率は次のように定式化される。

$
\begin{aligned}
P\left(t_{j} \mid t_{i}, c\right) & =\frac{\exp \left(s_{c}\left(t_{j}, t_{i}\right)\right)}{\sum_{j^{\prime}} \exp \left(s_{c}\left(t_{j^{\prime}}, t_{i}\right)\right)} \\
s_{c}\left(t_{j}, t_{i}\right) & =\boldsymbol{v}^{\top} \tanh \left(W_{c} \boldsymbol{t}_{j}+U_{c} \boldsymbol{t}_{i}\right)
\end{aligned}
$

ここで, $\boldsymbol{t}_{i}$ はエンコーダにより計算されるコンテキ ストにおける $t_{i}$ の埋め込み， $W_{c}$ と $U_{c}$ は格ごとの重 み行列，vは格の間で共有される重みべクトルであ る. 最も高い確率を持つ $t_{j}$ を予測とする. 全ての述語・格に対しこの計算を行う。

入力形式 外界照応などを扱うための特殊トーク ンを入力系列の末尾に追加する: [著者], [読者], [不特定: 人]を外界照応のために，[NULL]を項を取 らないときのために挿入する。また，次のパラグラ フで述べる理由で特殊トークン [NA] も挿入する。 XLM-R [8] を使う際の慣例に従い，特殊トークン $[C L S]$ 及び $[S E P]$ を系列の最初と最後に挿入する.単語が 2 つ以上のサブワードに分割される場合，最初のサブワードを項選択に用いる.

マルチタスク学習 植田ら [1] に従い，一つのモ デルを用いて用言の述語項構造解析 (VPA), 体言 の述語項構造解析 (NPA), 橋渡し照応解析 (BAR),共参照解析 (CR) を同時に行う。これら 4 つのタス クは全て同様に式 (1)として定式化することがで きる. VPA と NPA については格ごとの重みを共有 し，BAR，CRにはそれぞれ別の重みを用いる。エ ンコーダ部分は共有されるために，関連のあるタス クが学習時に互いに影響し合う。

## 3.2 翻訳言語モデル

MT の代わりに翻訳言語モデル (TLM)[8]を用い ることが本研究の提案である. この背景にある直感 は，TLMはMTよりもMLM に近いためより中間夕 スクに適している可能性を秘めていることである。

TLM は多言語タスクを目的に対訳テキストを用 いた事前学習として提案された [8]. 対訳ぺアの文章を連結し，その一部をマスクしてモデルに入力

し，マスクされた単語を予測する (図 2(中央)). マス クされた単語と同じ言語のテキストに加えて対言語 のテキストからも予測を行うことで，2 言語の間の 対応関係をソフトに学習することを期待する。ここ での狙いは，日本語のゼロ代名詞に対応する英単語 を予測するような特徵を捉えられるようになること にある。

Conneau らは原言語と目的言語を同じ割合でラン ダムにマスクしているが，我々の目的においてはマ スクする対象を調整することでより効果的に学習が 行える可能性がある１つの戦略として，単純に英語側の単語のマスクの割合を増やすというものが考 えられる. TLMによるゲインの大部分が英語トー クンを予測することに起因すると仮定するなら，よ り多くの英語トークンを予測させることでさらに精度が向上することが期待される. また，日本語のゼ 口代名詞に相当する単語の多くは英語では代名詞で 現れる点に着目し，英語の代名詞を優先的にマスク する戦略も考えられる. 本研究ではこれら 2 つのマ スク戦略についての実験も行う。

## 4 実験

中間タスクを TLM にすることの有効性及びマス クする際の設定を変化させることによる影響を検証 する。

## 4.1 設定

モデル 大規模な多言語コーパス CC-100で事前学習された大規模事前学習済みモデル XLM$\mathrm{R}_{\text {Large }}$ [11]を用いる.

ゼロ照応解析 本研究では京都大学ウェブ文書リードコーパス [12] と京都大学テキストコー パス [13] の2つのコーパスを用いる。それらの ジャンルに基づき，それぞれのコーパスをウェブ， ニュースと呼ぶ. これらのコーパスには単語分割,品詞や述語項構造などのアノテーションが付与さ れている. 公開されている設定に基づき，およそ 0.75:0.1:0.15 の割合で訓練，検証，評価用データに 分割した. また，訓練の際のハイパーパラメータは 付録 $\mathrm{C}$ に記載した ${ }^{1)}$ ．訓練時は 2 つのコーパスを混 ぜ，評価時はそれぞれ別々に評価を行った。


機械翻訳・翻訳言語モデル読売新聞によって配布されている日英対訳コーパスを用いる2)。この コーパスはおよそ 130 万文ぺアから構成される。ゼ 口照応解析は文間の関係を捉える必要があるため,連続する文はゼロ照応解析の際のトークン長 (170) を超えないよう連結される。また，翻訳言語モデル の訓練時, ゼロ照応解析で日本語を入力する位置 に英語が含まれないよう，英語トークンが 171 番目の位置から始まるように [PAD] トークンを挿入 した ${ }^{3}$. 分割の割合は学習，検証，評価でそれぞれ 0.9, 0.05, 0.05 とした. 訓練の際のハイパーパラメー タは付録 D,E の通り。

代名詞の優先的マスキング 優先マスク対象とす るか否かの判定は spacy 4) を用いて判定した. 詳細 なルールは付録に示す．対象とする単語は訓練デー タ中に約 51 万個含まれていた. 優先マスク対象と 判定された単語に属するサブワードを全てマスクし てもマスクすべきサブワード数に達しない場合はラ ンダムに選んだサブワードをマスクした.

## 4.2 結果

表 1 及び表 2 にウェブ，ニュースにおける結果

ベースラインのスコアが大幅に向上した. +MT w/ MLM は MT と MLM の同時学習による手法であ り, Umakoshi らの提案手法の中で最も高いスコア を達成している [6]. +TLM は TLM を用いるモデ ル, +TLM w/ PR masking は代名詞を優先的にマス クする TLM にそれぞれ対応する。+MLM はゲイン がデータを追加したことに起因する可能性を検証 するために，対訳データの日本語テキストを用いて MLM で訓練したモデルである.

中間タスクによるゲインはデータセットによ り傾向が異なる。ウェブにおいては+MT w/ MLM, +TLM w/ PR masking が最高精度を達成しているが， そのゲインは非常に限定的である.ニュースではど の中間タスクを用いる場合でも精度の向上が見られ たが，+TLM w/ PR masking がもっとも高い精度を 達成した. +TLM w/ PR masking はどちらのデータ セットでも+MT w/ MLM よりも高いか同等の精度 を達成しているため，TLM はより中間タスクに適 していると考えられる.

また，カテゴリごとの結果に着目すると，ウェブ

表 1 ウェブのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †：提案手法. MT w/ MLM, TLM w/ PR masking がもっともよいスコアを達成した.

表 2 ニュースのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †: 提案手法. TLM w/ PR masking がもっともよいスコアを達成した.

のデータセットにおいて文間の方が文内よりもスコ アが高いことは意外な結果である5），文間の方が文内より探索空間が広く難しいカテゴリであると考え られてきたが，この結果はその直感に反する。

英語のマスク割合による影響 英語を復元するタ スクがゼロ照応解析に寄与するのであれば，英語の マスク割合を増加させることでより効果的に学習を 行うことができるはずである．この仮説を検証する ため，英語のマスク割合を変化させた際のニュース におけるゼロ照応解析の精度の推移を計測した. ま た，英語側のマスク復元の精度も同時に計算し，こ れら 2 つの関係を図 3 に示す.

結果から，TLM の精度がマスクの割合が増えるほ ど一貫して低下していることがわかるが，ゼロ照応解析とのはっきりした関連は見られなかった。これ ら二つの相関係数を計算したところ 0.567 であり，弱いながらも相関があることがわかった.

## 5 おわりに

本研究では，事前学習と中間タスクとの乘離に着目し，より事前学習に近い TLM を中間タスクとす る手法を提案した. 実験により，TLMが MT よりも

5）ニュースでこの傾向が見られないのは KC では長い文書を 分割して入力しており，照応先がテキスト中に現れないよう な事例が多く含まれているためと考えられる.

図 3 英語側のマスク割合を変化させた際のゼロ照応解析及び TLM の精度の変化

よい中間タスクであることを示した. 今後は，対訳 テキスト以外のリソースの活用についても考えてい きたい.

## 謝辞

対訳コーパスを提供していただいだ読売新聞東京本社に深く感謝いたします。

## 参考文献

[1] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[2] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, $\mathrm{pp}$. 4956-4968, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3] 阿部航平, 河原大輔, 黒橋禎夫. クラウドソーシング を用いた日本語述語項構造タグ付きコーパスの拡張. 言語処理学会 第 26 回年次大会, pp. 1547-1550,茨城, 2020.

[4] Hiromi Nakaiwa. Automatic extraction of rules for anaphora resolution of Japanese zero pronouns in Japanese-English machine translation from aligned sentence pairs. Machine Translation, Vol. 14, No. 14, pp. 247-279, 1999.

[5] 古川智雅, 中澤敏明, 柴田知秀, 河原大輔, 黒橋禎夫.対訳コーパスを用いたゼロ照応タグ付きコーパ スの自動構築. 言語処理学会第 23 回年次大会, pp. 382-385,つくば, 2017.

[6] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Alex Wang, Jan Hula, Patrick Xia, Raghavendra Pappagari, R. Thomas McCoy, Roma Patel, Najoung Kim, Ian Tenney, Yinghui Huang, Katherin Yu, Shuning Jin, Berlin Chen, Benjamin Van Durme, Edouard Grave, Ellie Pavlick, and Samuel R. Bowman. Can you tell me how to get past sesame street? sentence-level pretraining beyond language modeling. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4465-4476, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Alexis CONNEAU and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Jason Phang, Thibault Févry, and Samuel R. Bowman. Sentence encoders on STILTs: Supplementary training on intermediate labeled-data tasks. arXiv:1811.01088, 2018.

[10] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediatetask transfer learning with pretrained language models: When and why does it work? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online, July 2020. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguis- tics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, Bali, Indonesia, November 2012. Faculty of Computer Science, Universitas Indonesia.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 優先的マスキングのルール

優先マスク対象の単語は spacy (v. 3.2.1) によっ て付与される POS タグに基づき決定した. 具体的 には，

・tag_属性の値が PRP

・pos_属性の値が PRON かつ tag_属性の値が DT のいずれかを満たす単語を優先的なマスク対象と した.

## B 事前学習とファインチューニン グのギャップ

コーパスは基本句単位でアノテーションが付与さ れている一方，事前学習モデルは単語分割なしで訓練されており, ギャップがある. 出来るだけ事前学習のときの条件に近づけるため, トークナイズの際 は単語分割された後の単語に対しトークナイズを行 い，文頭に現れる特殊トークンを削除するという前処理を行なった。

## Ｃ ゼロ照応解析におけるハイパー パラメータ

表 3 ゼロ照応解析におけるハイパーパラメータ
D 機械翻訳におけるハイパーパラ xータ

表 4 機械翻訳におけるハイパーパラメータ

## E 翻訳言語モデルのハイパーパラ メータ

表 5 翻訳言語モデルのハイパーパラメータ
6) https://github.com/huggingface/transformers/blob/v2. 10.0/src/transformers/optimization. py\#L47
 馬越雅人 村脇有吾 黒橋禎夫 京都大学大学院情報学研究科 \{umakoshi, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp  