# 局所および大域的特徵量に基づく語義の曖昧性解消

浅川翔 ${ }^{1}$, 鈴木良弥 ${ }^{2}$, 李吉屹 ${ }^{2}$, 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学大学院修士課程工学専攻
2 山梨大学大学院総合研究部工学域
\{g20tk002, ysuzuki, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

語義の曖昧性解消 (WSD) は，文中に出現する単語 の意味を同定するタスクであり, 機械翻訳や情報抽出などの精度向上に貢献できる. 語義の曖昧性解消 を高精度で行うためには, 精度に貢献する特徴を学習する必要がある.この問題に対し, 近年,ニューラ ルネットワークモデルを用いた手法が数多く提案さ れている.しかし，これらの手法の多くは, 文単位を 基本としており，文書単位での特徴抽出を利用した 研究は少ない. 本研究では, 局所的特徴, すなわち 文内の単語間の依存関係に基づく単語特徴と大域的 な特徴である文書の特徴に注目し，局所及び大域的 な特徴を相補的に利用することが WSD において有益であることを示す.

## 1 はじめに

語義の曖昧性解消 (WSD) は, 文中に出現する単語 の意味を同定するタスクであり, 機械翻訳や情報抽出などのタスクの精度向上に貢献できる. 従来の多 くの WSD システムは，曖昧な単語ごとに独立した 特徴を学習している [1]. 単語埋め込みをそれらの システムに統合した手法も提案されている [2]. 最近になり，訓練により精度に貢献する特徴抽出を行 うためにニューラルモデルが多く利用されている.単語埋め込みに関しては ELMo [3] や BERT [4] など の言語モデルに基づく埋め込み表現が主流となっ ている。これは，Word2Vec や GloVeのような静的単語埋め込みとは異なり, 文脈に応じた単語表現を 獲得することが可能であり, WSD に対して非常に 有効に働くためである [5][6]. 最近の言語モデルに 基づく研究では，文中の単語と文外の単語との間に も依存関係があることに着目し, より長距離の単語間の依存関係を捉える手法が提案されている [7]. しかし，これらの手法の多くは, 文単位でデータを 処理しており，文書単位での特徴抽出に関する言及
は少ない. 本研究では，局所的特徴，すなわち文内 の単語間の依存関係に基づく単語特徴と大域的な特徵である文書の特徴に注目し，局所及び大域的な特徵が WSD において有益であることを示す。

## 2 関連研究

## 2.1 Gloss 文

Gloss 文 (語釈文) は,テキスト内の単語, またはフ レーズの意味を簡潔に表したものであり，語義の 曖昧性解消に重要な要素であることが示されてい る. Luo らは，ニューラル WSD システムの追加入力として Gloss 文を使用し，精度を大幅に向上させ た [8]. Kumar らは，WordNet 上に定義されたグラ フ構造を用いて Gloss 文を埋め込み，概念べクト ルとして使用した. しかし, GlossEncoder は事前学習されたパラメータで初期化を行い，訓練時はパ ラメータを固定するため，知識グラフを学習させ るためのコーパスが別途必要になる [9]. Blevins ら は, ContextEncoder と GlossEncoder の両方を同時に 訓練させることにより, GlossEncoder 用の追加コー パスを必要とせずに Gloss の埋め込み表現 (概念べ クトル)を学習する手法を提案した [10]. 実験で は, BERT と組み合わせることで精度が大幅に向上 することを示した. 本手法は，対象文と Gloss 文を Transformer ネットワークでエンコードし，各ベクト ルの距離に基づきスコアを決定する点で Blevins ら の手法と類似している。一方，局所的な特徴量を高精度で抽出するために、エンコーダの最適化を行っ た点，及び処理単位を文から文書単位に据張し，大域的特徴量抽出を可能にした点で異なる。

## 2.2 文法と位置情報

シソーラス辞書である WordNet では，例えば動詞「evoke」などのように概念の説明文である Gloss の 中に目的語の属性を示すものがあるなど，概念と文
表 1 長距離依存関係の例: 表中, 黄色は生物関連の単語 を示す. mouseの概念には，「動物のマウス」，「コン ピュータマウス」，「目をぶつけたときにできるあざ」，「静かな人」があり，対象単語「mouse」が属する文書内 に生物関連のキーワードがある場合，対象単語の語義は 「動物のマウス」である可能性が高くなる。この例の場合，対象単語「mouse」と生物関連の単語「animal」は文外出現している.

Sentence: We classify mice as "straight haired" or "wavy haired", but a hairless mouse appears .

Sense: mouse\% $1: 06: 00:$ :

Gloss: any of numerous small rodents typically re-sembling diminutive rats ... hairless tails

Text: Some experiments ... We classify mice as “ straight haired " or "wavy haired", but a hairless mouse appears. We can escape from such a diffi-culty by ruling out the animal as not constituting a trial , but ... experiment has the value $* * \mathrm{f}$.

法が深く関わる例が多く見受けられる (例. evoke\#1's Gloss: call forth (emotions, feelings, and responses)). すなわち, 文法情報は WSD の精度貢献に大きく関 わる. 最近の研究では，BERT[4]を用いることによ り文法やフレーズを考慮した埋め込み表現を獲得 できることから，これを用いて入力文や Gloss のエ ンコードを行う手法が主流となっている [11] [10]. Yang らは，BERT の絶対位置情報や MASK トーク ンを用いた事前学習タスクの改善を図り，相対位置情報の使用や Permutation Language Modeling という 新たな事前学習タスクを用い，言語モデルの精度を 向上させた [12]. Song らは，絶対位置情報と相対位置情報を相補的に扱うことでトークン間の依存関係をより正確に表現することにより，これが言語モ デル (MPNet) の精度に貢献することを示した [13]. MPNet は文法情報が重要な要素となるタスク CoLA において，以前の言語モデルの精度を大幅に上回っ ていることから，文法やフレーズを考慮した埋め 込み表現の獲得に優れていることが分かり，WSD にとっても有益であると考えられる。本手法では， MPNet をニューラル WSD システムに統合し, 局所的特徴量をより正確に抽出することで，さらなる精度向上を図った。

## 2.3 文書中の長距離依存関係

従来の WSD は語義の解消を文単位で行う手法が 多い. 本手法は，ニューラル WSD システムを文単位の処理から文書単位の処理へ拡張することにより精度向上を目指す. 表 1 に，文外の依存関係の例を 示す. 文書単位の処理へ拡張することにより，語義 を同定する上で重要な特徴を，周辺文から抽出する ことができるようになる.

## 2.4 訓練コーパスの追加

最近の研究では, 訓練コーパスとして SemCor に加えて WordNet Gloss Corpus(WNGC) と WordNet Example Sentence Corpus(WNEX) を用いることによ り，精度が向上することが報告されている [6][11].本手法においても WNGC と WNEXを訓練コーパス として追加し，さらなる精度向上を図った。

## 3 提案手法

本手法を図 1 に示す。本手法は, 対象単語を 文中の周辺単語に応じて表現する役割を担う SentenceEncoder と，文書全体をべクトルとして表現 する役割を担う TextEncoder，及び語義の定義文で ある Gloss 文をべクトルとして表現する役割を担う GlossEncoder で構成されている. 各エンコーダの深層ネットワーク部分は，事前学習により獲得した一般的な単語の埋め込む表現を用いるために，MPNet により初期化する.

## 3.1 WSD タスクおよび本手法の枠組み

本手法は, 対象単語, 対象単語が属する文と 文書，及び対象単語の候補語義に対応付けら れた Gloss 文の埋め込み表現を用いる。 入力文 $c=c_{0}, c_{1}, \ldots, w, \ldots, c_{m}$ ( $w$ は曖昧性を解消する対象単語) と, 入力文 $c$ が属する文書 $d$, 及び対象単語 $w$ の候補語義 $S_{w}$ の Gloss 文 $g=g_{0}, g_{1}, \ldots, g_{l}$ が 与えられ, 語義 $s=s_{c_{0}}^{0}, s_{c_{0}}^{1}, \ldots, s_{w}^{i}, \ldots, s_{c_{m}}^{j}$ を出力す る ( $i^{\text {th }}$ は対象単語の $i$ 番目の候補語義を示す). SentenceEncoder $T_{c}$ は, 式 (1)のように入力文 $c$ 中の 対象単語 $w$ をサブトークン $w_{l}=w_{j}, \ldots, w_{k}$ 毎にエン コードし，その平均を $w$ の表現 $r_{w}$ として出力する.

$
r_{w}=\frac{1}{k-j} \sum_{l=j}^{k}\left(T_{c}(c)[l]\right)
$

TextEncoder $T_{d}$ は, 式 (2) で示されるように対象単語 $w$ が属する文書 $d$ をエンコードし, 先頭のトーク ン (特殊トークン [CLS] に対応) を $d$ の表現 $r_{d}$ とし て出力する.

$
r_{d}=T_{d}(d)[0]
$

図 1 textBEM の枠組み: ContextEncoder に対象単語が属する文を，TextEncoder に対象単語が属する文書を，GlossEncoder に候補語義の Gloss を入力する．各エンコーダの深層ネットワーク部分は MPNet を用い初期化する。

GlossEncoder $T_{g}$ は，対象単語の候補語義 $s \in S_{w}$ に 対応付けられた Gloss $g=g_{0}, g_{1}, \ldots, g_{l}$ をエンコード し，先頭のトークン (特殊トークン [CLS] に対応) を $s$ の表現 $r_{s}$ として出力する. $i=0, \ldots,\left|S_{w}\right|$ とした時,式 (3) で示すように対象単語の語義 $s$ は，対象単語 $w$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{w}$ と $r_{s_{i}}$ の内積及び，対象単語が属する文書 $d$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{d}$ と $r_{s_{i}}$ の内積の平均で計算される.

$
\Phi\left(w, d, s_{i}\right)=\frac{1}{2}\left(r_{w} \cdot r_{s_{i}}+r_{d} \cdot r_{s_{i}}\right)
$

本手法は，モデルの訓練のために cross-entropy loss を使用した. (対象単語, 対象単語の属する文書, 語義) の組 $\left(w, d, s_{i}\right)$ が与えられた時の損失関数を式 (4) に示す.

$
L\left(w, d, s_{i}\right)=-\Phi\left(w, d, s_{i}\right)+\log \sum_{j=0}^{\left|S_{w}\right|} \exp \left(\Phi\left(w, d, s_{j}\right)\right)
$

## 4 実験

## 4.1 データセットおよび評価方法

実験では，Raganato ら [14] の評価手法を用い 本手法の検証を行った. 訓練コーパスとして， SemCor，WNGC，及びWNEXを用いた. SemCor お よび WNGC は WordNet 上の語義に対し, 人手に より注釈付けされたコーパスである。 WNEXは，
WordNet 上の各語義の例文に自動で注釈付され たコーパスである．検証セットは，SemEval-2015 (S15) [15]を用いた。テストセットは，Senseval2 (S2) [16], Senseval-3 (S3) [17], SemEval-2007(S7) [18], 及び SemEval-2013 (S13) [19]を用いた.

## 4.2 実験結果

## 4.2.1 ベースラインおよび関連研究との比較

表 2 に提案手法である textBEM および最近の state-of-the-art システムの結果を示す. EWISE は， WordNet で定義された語義間の関係性に基づいた 構造化ネットワークを，WSD モデルに統合した モデルである [9]. EWISER は，概念べクトルを事前学習により得たモデルであり, データセットの 拡張やグラフ構造を統合している [11]. BEM は, ContextEncoder と GlossEncoder を同時に訓練するバ イエンコーダモデルである [10]. 本手法は，BEM が より広範囲の情報を捉えることを可能にしたモデ ルであるため, BEM を本研究のベースラインに設定した。 BEM-MPNet は，BEM における各エンコー ダを初期化するための事前学習済みパラメータを， BERT-base から MPNet-base に置き換えたモデルであ る. 表 3 に，提案手法に入力する文書別の結果を示 す. 前一文は，対象単語が属する文の直前の 1 文を 用いた結果を示す．前全文は，対象単語が属する文以前の全ての文を用いた結果を示す. 全文は，対象単語が属する文書全体を用いた結果を示す。
表 2 English all-words WSD タスクにおける F1-score(\%): ALL は，全テスト用データセットを結合して検証した場合の結果. S，G，E はそれぞれ SemCor，WNGC，及び WNEXを示す. T は, 入力の単位が文書であることを示す. "*"は，スコ アが最良のものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく）.

表 3 入力文書別の平均 F1-score: "*"は，スコアが最良の ものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

## 4.2.2 語義の解消結果

表 2 より, EWISER は, EWISE と比較し ALL ス コアが $8.3 \%$ 高く, 大幅な精度の向上が認められる. BEM は，概念べクトルを同時に学習するバイエン コーダモデルにしたことで，概念べクトルを事前学習により取得する EWISE の精度を上回る。また， EWISER と同様のデータセットを使用して学習す ることにより，EWISER と同等の精度が得られてい る. さらに, BEMのエンコーダ初期化用の事前学習済みパラメータを BERT から MPNet に変更する ことにより，さらに優れた精度が得られている. こ のことから, MPNet により局所的特徴量をより正確 に抽出することは，ニューラル WSD モデルにおい て有益であると考えられる. 本手法である textBEM は，ALL 評価セットで最高精度が得られている。特に名詞と動詞に精度の貢献が確認できる. この ことから，より広範囲の文書情報を用いることが ニューラル WSD モデルにおいて有益であると言え る. 本研究では，MPNet-base を用いている. 一方で MPNet-large を用いることでさらなる精度向上も期待できる. しかし, 本研究では文法情報をより正確に捉えられる MPNet と WSD との親和性, さらに ニューラル WSD モデルの局所的特徴量を高精度で 抽出することが目的であるため，メモリ効率の高い MPNet-base を用いた。

表 3 は, 入力文書の違いによる精度を示す. 表 3 よ り, 対象文が属する文書全て (全文)を用いた場合，表 4 エンコーダ初期化用の言語モデル別の平均 F1-score:訓練コーパス SemCorのみを用いて訓練した. 本手法は， バイエンコーダ型を採用し，各エンコーダは BERT-base 及び MPNet-base で初期化した。"*"は，スコアが最良のも のと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

ALL で $81.3 \% て ゙ あ り$ 最高精度であった. 特に名詞 と動詞の精度が高いことがわかる。一方で「入力な し」と「前一文」，及び「入力なし」と「前全文」の ALL スコアには有意差がなかった. このことから，入力文書の範囲は textBEM の精度向上に関係する こと, さらにより広範囲にした方がモデルの精度に 貢献すると言える. 表 4 にエンコーダ初期化用の言語モデル別の結果を示す. MPNet-base を用いた場合 が ALL 評価セットで BERT よりも優れており, 特 に. 名詞，動詞及び形容詞で顕著であった. このこ とから，絶対位置情報と相対位置情報を相補的に扱 う MPNet は，絶対位置情報のみを扱う BERT と比較 し，文法情報が重要な WSD タスクとの親和性が高 いと言える。

## 5 結論

本研究では，局所的な特徴量を高精度で抽出する ためのエンコーダの最適化に加え，バイエンコーダ モデルに TextEncoderを統合し，大域的な特徴量を 学習する手法を提案した。実験の結果，ベースモデ ルの ALL スコアと比較し, $2.5 \%$ の精度向上が見ら れ，エンコーダの最適化および大域的特徴量の抽出手法の有効性が示せた.

## 謝辞

本研究の一部は, 科研費 17K00299, 及び JKA 補助事業の助成を受けたものである.

## 参考文献

[1] Razvan Bunescu Hui Shen and Rada Mihalcea. Coarse to fine grained sense disambiguation in wikipedia. Lexical and Computational Semantics, Vol. 1, pp. 22-31, 2013.

[2] Sascha Rothe and Hinrich Schutze. Autoextend: Extending word embeddings to embeddings for synsets and lexemes. Association for Computational Linguistics, Vol. 53, pp. 1793-1803, 2015.

[3] Mohit Iyyer Matt Gardner Christopher Clark Kenton Lee Luke Zettlemoyer Matthew E. Peters, Mark Neumann. Deep contextualized word representations. Association for Computational Linguistics, Vol. 1, pp. 2227-2237, 2018.

[4] Kenton Lee Kristina Toutanov Jacob Devlin, MingWei Chang. Bert: Pre-training of deep bidirectional transformers for language understanding. Association for Computational Linguistics, Vol. 1, pp.4171-4186, 2019.

[5] Daniel Loureiro and Alipio Jorge. Language modelling makes sense: Propagating representations through wordnet for full-coverage word sense disambiguation. Association for Computational Linguistics, Vol. 57, pp. 56825691, 2019.

[6] Benjamin Lecouteux Lorc Vial and Didier Schwab. Sense vocabulary compression through the semantic knowledge of wordnet for neural word sense disambiguation. Global Wordnet Association, Vol. 10, pp. 108-117, 2019.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Zexue He Qiaolin Xia Zhifang Sui Baobao Chang Fuli Luo, Tianyu Liu. Leveraging gloss knowledge in neural word sense disambiguation by hierarchical co-attention. Association for Computational Linguistics, pp. 1402-1411, 2018.

[9] Karan Saxena Partha Talukdar Sawan Kumar, Sharmistha Jat. Zero-shot word sense disambiguation using sense definition embeddings. Association for Computational Linguistics, Vol. 57, p. 5670-5681, 2019.

[10] Terra Blevins and Luke Zettlemoyer. Moving down the long tail of word sense disambiguation with gloss informed bi-encoders. Association for Computational Linguistics, Vol. 58, pp. 1006-1017, 2020.

[11] Michele Bevilacqua and Roberto Navigli. Breaking through the $80 \%$ glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. Association for Computational Linguistics, Vol. 58, pp. 2854-2864, 2020.

[12] Yiming Yang Jaime Carbonell Ruslan Salakhutdinov Quoc V. Le Zhilin Yang, Zihang Dai. Xlnet: Generalized autoregressive pretraining for language understanding. Neural Information Processing Systems, pp. 5754-5764.

[13] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and TieYan Liu. Mpnet: Masked and permuted pre-training for language understanding. Neural Information Processing Systems, Vol. 34, , 2020.

[14] Roberto Navigli Alessandro Raganato, Jose Camacho-
Collados. Word sense disambiguation: A unified evaluation framework and empirical comparison. Association for Computational Linguistics, Vol. 15, pp. 99-110, 2017.

[15] Andrea Moro and Roberto Navigli. Semeval-2015 task 13: Multilingual all-words sense disambiguation and entity linking. Semantic Evaluation, Vol. 9, pp. 288-297, 2015.

[16] Scott Cotton Lauren Delfs Hoa Trang Dang Martha Palmer, Christiane Fellbaum. English tasks: All-words and verb lexical sample. Semantic Evaluation, Vol. 2, pp. 21-24, 2001.

[17] Benjamin Snyder and Martha Palmer. The english allwords task. Semantic Evaluation, pp. 41-43, 2004.

[18] Dmitriy Dligach Martha Palmer Sameer Pradhan, Edward Loper. Semeval-2007 task-17: English lexical sample, srl and all words. Semantic Evaluations, Vol. 4, pp. 87-92, 2007.

[19] Daniele Vannella Roberto Navigli, David Jurgens. Semeval-2013 task 12: Multilingual word sense disambiguation. Semantic Evaluation, Vol. 2, pp. 222-231, 2013.


# A Data Augmentation Method for Building Sememe Knowledge Base via Reconstructing Dictionary Definitions

Xiaoran Li Toshiaki Takano
Adaptive Systems Lab, Shizuoka Institute of Science and Technology
\{2121026.rs, takano. toshiaki\}@sist.ac.jp

## Abstract

A sememe is a semantic language unit of meaning; it is indivisible. Sememe knowledge bases (SKBs), which contain words annotated with sememes, have been successfully applied to many natural language processing tasks. Some extant construction methods for sememe knowledge bases are performed in a limited lexicon with fixed-size sememe annotations. However, the obtained sememe annotation is challenging to extend to more words from other lexicons. In this paper, we proposed a method via reconstructing word definitions for expanding the lexicon. Moreover, we presented an evaluation sememe method utilizing graph embedding techniques and performed many experiments to prove effective. ${ }^{1)}$

## 1 Introduction

A sememe is a semantic language unit of meaning[1]; it is indivisible. However, people usually employ words as the minimum semantic unit because words as semantic representations are available for writing, yet sememe is only a semantic concept. Usually, there is a sense semantic unit between the sememe and the word (As shown in Figure 1). Moreover, linguists believe that all languages have the same limited sememe space[2] (e.g. HowNet SKB[3], which uses about 2,000 language-independent sememes to manual annotate senses of over 100 thousand Chinese and English words). Moreover, cooperate with the multilingual encyclopedic dictionary as BabelNet[4] to build a multilingual SKB as [5]. Furthermore, Sememe can synthesize words and represent the essential meaning was successfully applied to Neural Networks[6][7], Reverse Dictionaries[8] and Textual Adversarial Attacking[9], etc. However, manual annotation is flawed because the meaning of words is incremental with the amount of information, and it is im-

1) Codes are available at https://github.com/SauronLee/SKB-DA

Figure 1 Word-based semantic units (e.g. "apple”. It has very many senses. However, No matter how a word changes its sense, it is always composed of several primary and single sememes.)

practical to add and modify SKB artificially. Some studies on automatic SKB construction have emerged recently. We previously proposed a method[10] based on deep clustering networks to learn sememe. Specifically, this method is based on an Auto-encoder to achieve minimal semantic clustering. Instead of generating specific languageindependent sememes, it generates word embeddings with approximate sememe meaning, Regrettably, which is imprecise. Moreover, (Qi et al. 2021)[11] explored an automatic way to build an SKB via dictionaries with a Controlled Defining Vocabulary (CDV)[12], and demonstrate the effectiveness of this method; it is even superior to the most widely used HowNet SKB. The method is to extract the CDV as sememes in the dictionary definition. However A CDV is composed of high-frequency words. If the dictionary is large enough, it does not cover all words perfectly, which means some complex words can not acquire sememe.

To solve this problem, we proposed a way of reconstructing word definitions to increase the lexical coverage of CDV. We hypothesized that if the sememe can represent the basic meaning of a word, then if replacing the word with its sememes does not change its original meaning. More specifically, we solve the problem of CDV coverage by replacing the definitions of some words that CDV

widow: A woman whose husband dies is a widow .

husband: A husband is a male in a marital relationship male: Male is the séx of an organism

Figure 2 If "widow" is a complex word and "husband" is not in sememes, we can use the definition instead of "husband".

does not cover with definitions consisting of sememe (As shown in Figure 2). Finally, we employed the sememe internal evaluation criteria defined in [13] for evaluation. Moreover, we proposed a novel method to evaluate sememe by constructing a sememe graph. Because we consider the weight of sememe when constructing the sememe graph, it performs excellently in both evaluation methods. We shown the results in section 3 .

## 2 Methodology

This section will detail the SKB construction method based on reconstructed word definitions and how to build a sememe graph for evaluation.

## 2.1 Building Sememe Knowledge Base

We employed the sememe search strategy of DictSKB[11]. It is intuitive to operate. Because a good sememe can represent the essential meaning of a word, it is most straightforward to extract the sememe from the word's definition. This method starts with finding the highest frequency $m$ words in the dictionary definition to cover as many dictionary words as possible (Previous experience: $m \approx 2 k$ ). Unlike the specialized dictionaries employed by DictSKB, we utilized WordNet ${ }^{2}$ and Wikipedia $^{3)}$ as the base corpus for building SKB. WordNet contains 0.2 million pairs of word senses and definitions, while Wikipedia contains 6 million pairs of words and detailed explanations. Our approach is divided into two modules. Since the word definitions in WordNet are shorter and more precise, we first find the initial Sememe from WordNet and construct a WordNet-based SKB by matching the annotated words in WordNet. Then we expanded it to Wikipedia based on the WordNet-based SKB

2) https://wordnet.princeton.edu/

3) https://dumps.wikimedia.org/
Table 1 Statistics of WordNetSKB, WikiSKB \& WikiSKB-DA. WikiSKB-DA is a data augmented version of WikiSKB, and compared with HowNet and DictSKB. The gray font represents the previous SKB results. ${ }^{6)}$ \#AvgSem denotes the average Sememe number per sense, and "+" represents this average over four.

(Like Figure 3).

## 2.1.1 WordNet-based SKB

First, we remove the stop words ${ }^{4)}$ and meaningless characters and used the entity linking tool TAGME ${ }^{5)}$ to find the $2 k$ most frequent topic words from HowNet word definitions as the base sememes. TAGME can identify meaningful short phrases in an unstructured text and link them to a relevant Wikipedia page. This annotation process has implications that go far beyond the enrichment of the text with explanatory links because it concerns contextualization and, in some way, the understanding of the text. A case in point, the definition "A husband is a male in a marital relationship." is semantically enriched by the relations with the entities "husband", "male" and "marital relationship". We then used the link_probability parameter provided by TAGME to rank the entities in the word's definition and kept only the first four entities with the highest probability as sememes. We compared the filtered results with DicSKB and HowNet (In Table 1).

## 2.1.2 Wikipedia-based SKB

The Wikipedia-based SKB construction is roughly the same as WordNetSKB. The difference is that Wikipedia's explanation is too detailed, and in addition, Wikipedia does not have semantic sense concepts, which significantly increases the noise of constructing SKB. To solve these problems, we took the following trick,
- Only the first two sentences of each entry in Wikipedia are adopted.

Figure 3 SKB Expansion Flow Chart: We use WordNet as the original dictionary and lexical expansion through Wikipedia, sharing a sememe set (As $C D V_{\text {ori }}$ ) between them. From the right side of the illustration, we used the look-up table method to replaced the Definition of Dict ${ }_{\text {oth-DA }}$ with the Sememe of $S K B_{\text {ori }}$, which is a straightforward operation.
- Traverse each word in the Wikipedia entry and use NLTK to terms lemmatization.
- Use TF-IDF to remove words below the threshold from the definition. (We set the lowe bound =4)
- Use the polysemantic annotations in Wikipedia as the sense.
- Delete the senses of polysemous words containing the meaning associated with "film", "novel", "album", "song", "band", "name", “ep", "game", "surname" and "tv series".
- Keep only Wikipedia entries with a one-word title.

The WikiSKB was then constructed using the same $2 k$ sememes as WordNetSKB. The statistics in Table 1. Since WordNet-based sememes do not cover the Wikipedia entry definitions perfectly, we reconstructed the entries that were not covered. In detail, we first used TAGME to extract the entities of each entry and adopted the $2 k$ most frequent entities as sememes according to the same method as WordNetSKB. Then we found these words with the same entities from WordNetSKB and replaced them with the sememes of these words. We also put the statistics of the augmented version for WikiSKB in Table 1.

## 2.1.3 Sememe-based Graph Embedding

Our idea about the evaluation of sememe is to construct a bipartite graph by linking words with sememe to learn the embedding representation of words and then evaluate the quality of sememe by assessing the quality of word embedding (Like Figure 4). We employ second-order similarity of LINE[14] to train the node vectors regarding the graph embedding model, which is fast and intuitive. In detail, the probability of generating a neighbor node $v_{j}$ given a node

Figure 4 Sememe based bipartite graph: We only learn the embedding representation of words by sememe, which means there is no line between words; we use TF-IDF for the weights of edges. The figure shows that "wife" and "husband" contain the same sememe, which should have approximate embedding representations. Note that here we do not consider the embedding representation of the sememe, so we use index instead of the word of the sememe itself.

$v_{i}$ can be expressed in the following form:

$
p\left(v_{j} \mid v_{i}\right)=\frac{\exp \left(\vec{u}_{j}^{\prime T} \cdot \vec{u}_{i}\right)}{\sum_{k=1}^{|V|} \exp \left(\vec{u}_{k}^{\prime T} \cdot \vec{u}_{i}\right)}
$

Where $\vec{u}$ and $\vec{u}^{\prime}$ are denoted as the vector of $v$ itself and $v$ when it is a neighbor, respectively. The empirical probability as $\hat{p}\left(v_{j} \mid v_{i}\right)=\frac{w_{i j}}{d_{i}}$, where $w_{i j}$ is the weight of the edge $i, j$; and $d_{i}$ is the degree of vertex $i$. If we define the importance factor $d_{i}$ of the node, the loss function can be defined as

$
-\sum_{i \in V} d_{i} K L_{\text {divergence }}\left(\hat{p}\left(\cdot \mid v_{i}\right), p\left(\cdot \mid v_{i}\right)\right)
$

## 3 Evaluations

This section uses two methods to evaluate our SKB: a collaborative filtering method[15] in subsection 3.2 and an approach based on constructing sememe graphs in subsection 3.2.

Table 2 The results on Consistency Check of Sememe Annotations: MAP score of WordNetSKB exceeds the DictSKB, which we indicated in boldface.

Table 3 The results on the Sememe graph: We merged WordNetSKB and WikiSKB. These tasks provide human scoring of the relationship between two words, thus assessing the degree of positive word relatedness. The method is to first calculate the cosine similarity of the two words and then compare them with the manual tags to calculate the Spearman correlation coefficient ${ }^{8)}$ for scoring.

## 3.1 Evaluate on Consistency Check of Sememe Annotations

This method is motivated by the idea that semantically close senses should have similar sememes. It actually implements a sememe prediction process that predicts sememes for a small proportion of senses according to the sememe annotations of the other senses. We have evaluated our SKB using open source code ${ }^{7)}$. For hyperparameters, we set the same hyperparameters as the original paper[11], the number of evaluating epochs is 10 , the threshold is 0.8 , and the descending confidence factor is 0.93 . The evaluation results are in Table 2. We discovered that the accuracy decreases with the increase of the dictionary lexicon. It is intuitive that the dictionary has many synonyms, while the sememe is static.

## 3.2 Evaluate on Sememe Graph

Our ultimate goal is to build a large SKB, so we combined the knowledge of both SKBs and evaluated them on some test sets (Shown in Table3). We first performed node embedding training using LINE $^{9)}$, where the size of the node embedding is 200 dimensions, the total number of training samples is 100 million, the starting value of the

Table 4 Sememe comparison on the Ohsumed dataset. Where "non" means no sememe of the word, we have merged WordNetSKB and WikiSKB+ as SKB-DA. More examples can be found in Appendix Table5.

learning rate is 0.025 , the number of negative samples is 5 , and we only used second-order proximity for training. SKB is sense-based, but each word in Word Similarity Tasks has only one meaning. Since the sense of words in Wikipedia is huge, we keep only disambiguation and noun sense for each word, and found that a higher number of sememe for a sense is a more accurate representation of the meaning. It is undoubtedly. Since we use only about four sememes to represent the meaning of a sense, it may lose some semantics, but the essential meaning can be kept. We released the data to reproduce the results. ${ }^{10)}$ Note that since the previous SKBs (As HowNet\&DictSKB) did not provide a weight parameter for each sememe, we cannot compare the previous SKBs. However, to demonstrate that our SKB can better represent specialized words we extracted some specialized words in the Ohsumed dataset ${ }^{11)}$ for comparison (Shown in Table 4). Note that we boost the number of sememe to 5,000 to maximize the lexicon, other parameters are the same as before, and the final lexicon size of our SKB-DA is 910,369 .

## 4 Conclusion

This study focuses on the lexical expansion of SKB, which expands the vocabulary and dramatically increases the lexical sense. It helps in the semantic understanding of particular domain text classification and some downstream tasks. This paper's proposed method of reconstructing dictionary definitions can effectively expand the original SKB and have promising results on some internal evaluation metrics. In future research, we will use sememe to perform short text classification tasks or use SKB knowledge to apply to Abstract Meaning Representation to improve the accuracy of downstream tasks.

## References

[1] Leonard Bloomfield. A set of postulates for the science of language. Language, Vol. 2, No. 3, pp. 153-164, 1926.

[2] Anna Wierzbicka. Semantics: Primes and universals: Primes and universals. Oxford University Press, UK, 1996.

[3] Zhendong Dong and Qiang Dong. Hownet and the computation of meaning (with Cd-rom). World Scientific, 2006.

[4] Roberto Navigli and Simone Paolo Ponzetto. Babelnet: Building a very large multilingual semantic network. In Proceedings of the 48th annual meeting of the association for computational linguistics, pp. 216-225, 2010.

[5] Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, and Zhiyuan Liu. Towards building a multilingual sememe knowledge base: Predicting sememes for babelnet synsets. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8624-8631, 2020.

[6] Yihong Gu, Jun Yan, Hao Zhu, Zhiyuan Liu, Ruobing Xie, Maosong Sun, Fen Lin, and Leyu Lin. Language modeling with sparse product of sememe experts. arXiv preprint arXiv:1810.12387, 2018.

[7] Fanchao Qi, Junjie Huang, Chenghao Yang, Zhiyuan Liu, Xiao Chen, Qun Liu, and Maosong Sun. Modeling semantic compositionality with sememe knowledge. arXiv preprint arXiv:1907.04744, 2019.

[8] Lei Zheng, Fanchao Qi, Zhiyuan Liu, Yasheng Wang, Qun Liu, and Maosong Sun. Multi-channel reverse dictionary model. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 312-319, 2020.

[9] Yuan Zang, Fanchao Qi, Chenghao Yang, Zhiyuan Liu, Meng Zhang, Qun Liu, and Maosong Sun. Word-level textual adversarial attacking as combinatorial optimization. arXiv preprint arXiv:1910.12196, 2019.

[10] 李笑然, 高野敏明. The analysis about building crosslingual sememe knowledge base based on deep clustering network. 人工知能学会研究会資料 言語 - 音声理解と 対話処理研究会 92 回 (2021/9), p. 06. 一般社団法人人工知能学会, 2021 .

[11] Fanchao Qi, Yangyi Chen, Fengyu Wang, Zhiyuan Liu, Xiao Chen, and Maosong Sun. Automatic construction of sememe knowledge bases via dictionaries. arXiv preprint arXiv:2105.12585, 2021.

[12] Sidney I Landau. Bt sue atkins and michael rundell. the oxford guide to practical lexicography., 2009.

[13] LIU Zhiyuan SUN Maosong LIU Yangguang, QI Fanchao. Research on consistency check of sememe annotations in hownet. Vol. 35, No. 4, p. 23, 2021.

[14] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. Line: Large-scale information network embedding. In Proceedings of the 24th international conference on world wide web, pp. 1067-1077, 2015.

[15] Ruobing Xie, Xingchi Yuan, Zhiyuan Liu, and Maosong Sun. Lexical sememe prediction via word embeddings and matrix factorization. In IJCAI, pp. 4200-4206, 2017.

[16] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kraval- ova, Marius Pasca, and Aitor Soroa. A study on similarity and relatedness using distributional and wordnet-based approaches. 2009.

[17] George A Miller and Walter G Charles. Contextual correlates of semantic similarity. Language and cognitive processes, Vol. 6, No. 1, pp. 1-28, 1991.

[18] Herbert Rubenstein and John B Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, No. 10, pp. 627-633, 1965.

Table 5 Sememe comparison on the Ohsumed dataset. Where "non" means no sememe of the word, we have merged WordNetSKB and WikiSKB+ as SKB-DA, note that the SKB-DA* with an asterisk indicates that this sememe is from WikiSKB. We extracted only the first 15 sentences of specialized words in the Ohsumed. When constructing SKB-DA, we did not purposely adjust the medical-related words, but it performed well. We found that DictSKB has insufficient vocabulary and words with similar meanings with the same sememes. e.g., "clostridium" and "colitis". In this way, it is questioning to classify words effectively in the downstream task of natural language processing.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Automatic Interlingual Homograph Recognition with Context Features

Yi Han Ryohei Sasano Koichi Takeda
Graduate School of Informatics, Nagoya University
han.yi.u2@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## Abstract

In this paper, we propose a method that incorporates cross-lingual word embedding similarity and degree of co-occurrence in parallel sentences to automate the process of recognizing interlingual homographs. We conduct experiments with multiple word embedding models and different co-occurrence metrics in both Chinese-Japanese and English-Dutch language pairs. Experimental results demonstrate that our proposed method is able to produce accurate and consistent predictions across languages.

## 1 Introduction

When learning a foreign language, we often come across words in different languages sharing identical orthographic forms. This is commonly seen in languages with similar writing systems. Such form-identical words with similar semantic meaning across languages are called cognates, while those with different semantic meanings are called interlingual homographs [1,2]. For instance, the Dutch word "angle" means "sting", as opposed to its form-identical word in English. It is not unique for phonographic writing systems. In languages sharing logographic writing systems [3] such as Chinese and Japanese, we can also see interlingual homograph examples like the word "平和", which means "gentle" in Chinese whereas "peace" or "harmony" in Japanese. For second language learners, interlingual homographs can cause learning difficulties as second language acquisition often comprises relating a foreign language to ones' native language [4, 5]. Likewise, interlingual homographs can also pose challenges to natural language processing (NLP) tasks. However, unlike the in-depth investigation of monolingual homographs in tasks like word sense disambiguation and machine translation [6], less attention has been paid to the interlingual homographs. Dominant approaches in psychology and lan-

 \\

\cline { 3 - 4 } & &  \\

Figure 1 An Example of cognate and interlingual homograph in Chinese-Japaneses. * denotes the English translation of sentence examples.

guage education introduce interlingual homograph recognition to alleviate the semantic ambiguity. Despite the merits, massive manual annotation works by bilinguals are quite costly [2].

We contribute to this question by automating the process of recognizing interlingual homographs, which can be executed efficiently allowing the absence of linguistic knowledge. Specifically, we manage to involve context features by adopting word embedding similarity and degree of co-occurrence to perform recognition. We conduct experiment on two pairs of languages that are etymologically distant from each other, namely, Chinese-Japanese and English-Dutch to exploit the feasibility of our proposed method. Experimental results on both pairs prove the effectiveness of the proposed method.

## 2 Methodology

In this work, we tackle the interlingual homograph recognition across languages. As we cannot find clues from their appearance, we need to make predictions based on their context information. Motivated by this, we formulate our criterion with two important components: word embedding similarity and degree of co-occurrence in parallel sentences.

## 2.1 Word Embedding Similarity

The distribution hypothesis suggests that the more semantically similar two words are, the more they occur in similar linguistic contexts [7]. An intuitive way to decide whether a pair of words are cognates or interlingual homographs, is to exploit the word embedding similarity. Generally, there are two types of word embedding, namely the static word embedding, such as Glove[8] and fastText[9], and the dynamic/contextual embedding, such as ELMo[10] and BERT[11].

To compute the similarity of word embeddings, we have to assure that they are in the same vector space. As the words in our setting are from two different languages, we need to introduce an operation: cross-lingual mapping. Cross-lingual mapping aligns independently trained monolingual word embeddings into a single shared space. Existing approaches usually use a bilingual dictionary as supervision signals. Formally, let $L_{1}$ and $L_{2}$ represent a pair of languages, and let $u$ and $v$ represent words from $L_{1}$ and $L_{2}$. Given a bilingual dictionary $Z=\left.\{\left(u_{n}, v_{n}\right)\right.\}_{n=1}^{N}$, we obtain representations of each word: $\mathbf{u}_{1}, \ldots, \mathbf{u}_{N}, \mathbf{v}_{1}, \ldots, \mathbf{v}_{N}$, where $\mathbf{u}_{n}, \mathbf{v}_{n} \in \mathbb{R}^{d}$. Mikolov [12] learns the optimal projection matrix $W$ by minimizing:

$
W^{*}=\underset{W \in \mathbb{R}^{d \times d}}{\arg \min }\|W \mathbf{A}-\mathbf{B}\|_{F}
$

where $\mathbf{A}$ and $\mathbf{B}$ are two matrix containing all embeddings of words in $\mathbf{Z}$, namely $\mathbf{A}=\left[\mathbf{u}_{1}, \ldots, \mathbf{u}_{N}\right], \mathbf{B}=\left[\mathbf{v}_{1}, \ldots, \mathbf{v}_{N}\right]$, $\mathbf{A}, \mathbf{B} \in \mathbb{R}^{d \times N}$. Xing [13] restrict $W$ to be orthogonal, turning Equation 1 into the Procrustes problem [14, 15] by:

$
W^{*}=U V^{T}, U \Sigma V^{T}=\operatorname{SVD}\left(\mathbf{B} \mathbf{A}^{T}\right)
$

where $\operatorname{SVD}(\cdot)$ is the singular value decomposition.

We generally follow Xing's method to get a projection matrix, except that we obtain $W$ with parallel sentences instead of bilingual dictionary. Let $\mathrm{D}=\left.\{\left(x_{n}, y_{n}\right)\right.\}_{n=1}^{N}$ represent a parallel corpus of $L_{1}$ and $L_{2}$. For each sentence $x_{n}=w_{1}^{1}, \ldots, w_{I}^{1}, y_{n}=w_{1}^{2}, \ldots, w_{I}^{2}$, we obtain sentence embedding by averaging the word embeddings:

$
\mathbf{x}_{n}=\frac{1}{I} \sum_{i=1}^{I} \mathbf{w}_{i}^{1}, \quad \mathbf{y}_{n}=\frac{1}{I^{\prime}} \sum_{i=1}^{I^{\prime}} \mathbf{w}_{i}^{2}
$

Thus in our setting, $\mathbf{A}=\left[\mathbf{x}_{1}, \ldots, \mathbf{x}_{N}\right], \mathbf{B}=\left[\mathbf{y}_{1}, \ldots, \mathbf{y}_{N}\right]$. We then perform Equation 2 to get $W$.

Figure 2 Overview of our proposed method

For a pair of form-identical words $\left(z^{1}, z^{2}\right), z^{1} \in L_{1}, z^{2} \in$ $L_{2}$, we first obtain word embeddings in corresponding languages $\left(\mathbf{z}^{1}, \mathbf{z}^{2}\right)$, then compute the cosine similarity by:

$
s=\cos \left(W \mathbf{z}^{1}, \mathbf{z}^{2}\right)
$

With contextual word embedding models [16], we obtain the embedding of a single word $z$ in an alternative way: select a set of sentences containing $z$; compute embeddings of $z$ in every sentence; get the average of all embeddings. For Chinese and Japanese, we take an average embedding of all characters comprising word $z$.

## 2.2 Degree of Co-occurrence in Parallel Sentences

Degree of co-occurrence reveals how often two words occur in similar linguistic contexts. We develop this intuition further and assume that a pair of interlingual homographs are less likely to appear in parallel sentences. We introduce two methods to measure degree of co-occurrence: pointwise mutual information (PMI) and Jaccard similarity coefficient. Given a parallel corpus $\mathrm{D}=\left.\{\left(x_{n}, y_{n}\right)\right.\}_{n=1}^{N}$, the PMI of a pair of form-identical words $\left(z^{1}, z^{2}\right)$ is:

$
\operatorname{PMI}\left(z^{1}, z^{2}\right)=\log \frac{P_{\mathrm{D}}\left(z^{1}, z^{2}\right)}{P_{\mathrm{D}}\left(z^{1}\right) P_{\mathrm{D}}\left(z^{2}\right)}
$

where $P_{\mathrm{D}}\left(z^{1}, z^{2}\right)$ represents the probability of $z^{1} \in\left.\{x_{n}\right.\}$ meanwhile $z^{2} \in\left.\{y_{n}\right.\} . P_{\mathrm{D}}\left(z^{1}\right)$ denotes the probability of $z^{1} \in\left.\{x_{n}\right.\}$ and $P_{\mathrm{D}}\left(z^{2}\right)$ denotes the probability of $z^{2} \in\left.\{y_{n}\right.\}$ Jaccard similarity coefficient is:

$
\operatorname{Jaccard}\left(z^{1}, z^{2}\right)=\frac{C\left(z^{1}, z^{2}\right)}{C\left(z^{1}\right)+C\left(z^{2}\right)-C\left(z^{1}, z^{2}\right)},
$

where $C\left(z^{1}, z^{2}\right)$ denotes counts of $z^{1} \in\left.\{x_{n}\right.\}$ meanwhile $z^{2} \in\left.\{y_{n}\right.\} . C\left(z^{1}\right)$ represents counts of $z^{1} \in\left.\{x_{n}\right.\}$ and $C\left(z^{2}\right)$ represents counts of $z^{2} \in\left.\{y_{n}\right.\}$.

Table 1 Statistics of cognates and homograph datasets

## 2.3 Proposed Method

Figure 2 illustrates the framework of our proposed method. Given a pair of form-identical words, we first obtain word embeddings with embedding models and align them to a shared space with a linear mapping estimated with a parallel corpus. Then we get a similarity score by computing the cosine similarity of embeddings across languages. We also extract degree of co-occurrence from parallel sentences. Finally, we compute the z-score of the above two scores and fuse them by addition calculation in pairs. We make decisions whether a pair of words are interlingual homographs or cognates by the fusion scores.

## 3 Experiment

## 3.1 Dataset

We conduct experiments on two languages pairs: Chinese-Japanese and English-Dutch. Each language pair involves two datasets, i.e., cognates and interlingual homographs. For English-Dutch language pair, we directly take advantage of an existing database containing EnglishDutch cognates and interlingual homographs [17]. For Chinese-Japanese, we refer to a Chinese-Japanese homograph dictionary [18] to derive interlingual homographs. Note that, as our work focuses on interlingual homographs with explicit disparity, we exclude the form-identical words with partially overlapped meanings. We then refer to Chinese-Japanese dictionary [19] to extract identical cognates. Table 1 lists the numbers of cognate pairs and homograph pairs for each of the Chinese-Japanese and English-Dutch datasets. We use Wikipedia dataset ${ }^{1)}$ for contextual word embedding extraction. We extract 1 million sentence pairs respectively from Chinese-Japanese and English-Dutch WikiMatrix [20] as parallel sentences.

## 3.2 Word Embedding Models

We employ fastText [9], BERT, and multilingual BERT (mBERT) [11], representing static word embedding model,

Table 2 Pretrained BERT and mBERT Models used in our experiment

monolingual contextual embedding model, and multilingual contextual embedding model, respectively.

For fastText, Facebook has published pretrained 300dimensional word embeddings ${ }^{2)}$ for 157 languages from which we extract embeddings for our target languages. For BERT and mBERT, we use 12-layers transformer encoder pretrained by huggingface with masked language modeling $^{3)}$. The contextual word embeddings produced by these models are all 768-dimensional.

It's worth noting that because in Chinese BERT and mBERT, tokens are processed in the form of characters, so we also choose to use Japanese BERT with character-based tokenization instead of commonly used word-base model for coordination and fair comparison. The models used in this work are summarized in Table 2:

## 3.3 Experimental Settings

As described in Section 2, we explore the proposed method in three groups of experiments, including the word embedding similarity (EmbSim), degree of co-occurrence (CoR), and the fusion of these two, represented as follows.
- EmbSim: fastText, BERT, mBERT
- CoR: PMI, Jaccard
- Fusion: EmbSim+Jaccard

Particularly, we extract contextual embedding of words in our dataset, described in Section 3.1 by the following procedures. (1) For each word, we search the Wikipedia dataset by the word and select 300 sentences. (2) Derive embedding vectors of this word by putting each selected sentence into a pre-trained contextual embedding language model. (3) Take an average of derived vectors as the integrated representation, i.e., contextual embedding of this word.

Note that, to testify our method in a most general scenario, we conform to the original settings of all above

2) https://github.com/facebookresearch/fastText

3) https://huggingface.co

Table 3 Interlingual homograph recognition performance in terms of F1 score and Accuracy.

Table 4 A misleading example with contradictory between co-occurrence statistics and PMI scores.

mentioned pre-trained language models, without parameter tuning.

## 3.4 Experimental Results

Table 3 shows the results of all experiments. We report F1 score and accuracy for the assessment of the interlingual recognition capability of our method.

EmbSim fastText demonstrates superior performance compared with the other two contextual word embedding models. We attribute contextual word embedding models' inferior performance to the absence of fine-tuning process and the challenge brought by their dynamic property. If we compare monolingual BERT and mBERT, the results vary by languages. Specifically, English-Dutch pair benefits more from mBERT, while Chinese-Japanese pair benefits much more from monolingual BERT.

CoR Jaccard much outperforms PMI in both language pairs. We blame PMI's poor performance on the unbalanced numbers of words appearing in WikiMatrix data. Table 4 shows an example to demonstrate this problem, where “委員” is a cognate, which means "committee member" in both Chinese and Japanese, and “一味” is an interlingual homograph, which means "blindly" in Chinese while "conspirators" in Japanese. From the statistics, we can easily draw a conclusion that “一味” is more likely to be an interlingual homograph than “委員”, however, the PMI score shows the opposite result.

Fusion We choose Jaccard to corporate each method in the EmbSim group. As illustrated, all three methods gain improvements with Jaccard, among which, the fast-
Text+Jaccard won the best place among all set-ups. This shows that semantic information contained in word embeddings sometimes is not enough, it is advisable to supplement it with extra knowledge.

## 4 Conclusion and Future Work

In this work, we integrate word embedding similarity into degree of co-occurrence in parallel sentences to automatically recognize interlingual homographs in different languages. We perform it on two language pairs, i.e., Chinese-Japanese and English-Dutch, and the experimental results exhibit the effectiveness of our method. fastText shows better performance than contextualized embeddings and by the supplement of Jaccard information, the performance can be further improved in both language pairs.

A gap can be observed between the performance of Chinese-Japanese with mBERT and the other performances. There is a possible reason that too many Chinese and Japanese identical tokens are shared when pretraining multilingual BERT and the oversharing would bring a negative effect to the multilingual pretrained language model. We will test this assumption and try to mitigate this problem in future work.

## References

[1] Ton Dijkstra, Jonathan Grainger, and Walter JB Van Heuven. Recognition of cognates and interlingual homographs: The neglected role of phonology. Journal of Memory and Language, Vol. 41, pp. 496-518, 1999.

[2] Kristin Lemhöfer and Ton Dijkstra. Recognizing cognates and interlingual homographs: Effects of code similarity in language-specific and generalized lexical decision. Memory \& Cognition, Vol. 32, pp. 533-550, 2004.

[3] Richard Sproat and Alexander Gutkin. The taxonomy of writing systems: How to measure how logographic a system is. Computational Linguistics, pp. 477-528, 2021.

[4] Kexin Xiong and Katsuo Tamaoka. Investigation on the correspondence between the part-speech characteristics of
japanese-chinese homomorphic two-character kanji words (In Japanese). 2014.

[5] Robert W. Long and Yui Hatcho. The first language' $s$ impact on 12: Investigating intralingual and interlingual errors. English Language Teaching, 2018.

[6] Frederick Liu, Han Lu, and Graham Neubig. Handling homographs in neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 13361345, 2018.

[7] Zellig S. Harris. Distributional structure. 1981.

[8] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014

[9] Piotr Bojanowski, Édouard Grave, Armand Joulin, and Tomáš Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics (TACL), Vol. 5, pp. 135-146, 2017.

[10] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (NAACL-HLT), pp. 2227-2237, 2018.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019 .

[12] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv preprint arXiv:1309.4168, 2013.

[13] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized word embedding and orthogonal transform for bilingual word translation. In The 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1006-1011, 2015.

[14] Zirui Wang, Jiateng Xie, Ruochen Xu, Yiming Yang, Graham Neubig, and Jaime G. Carbonell. Cross-lingual alignment vs joint training: A comparative study and A simple unified framework. In 8th International Conference on Learning Representations (ICLR), 2020.

[15] Guillaume Lample, Alexis Conneau, Marc'Aurelio Ranzato, Ludovic Denoyer, and Hervé Jégou. Word translation without parallel data. In 6th International Conference on Learning Representations (ICLR), 2018.

[16] Hanan Aldarmaki and Mona Diab. Context-aware crosslingual mapping. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 3906-3911, 2019.

[17] Eva D Poort and Jennifer M. Rodd. A database of dutch-english cognates, interlingual homographs and translation equivalents. Journal of Cognition, 2019.

[18] Changfu Xu Yongquan Wang, Shinjiro Koizumi. Chinese Japanese Interlingual Homograph Dictionary. Commercial Press (In Chinese), 2009.

[19] Ltd. Obunsha Co. Dual solution to learn Japanese and Chinese dictionaries: Standard Mandarin Dictionary. Foreign language education research publisher (In Chinese), 2005.

[20] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. Wikimatrix: Mining 135m parallel sentences in 1620 language pairs from wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1351-1361, 2021.


# 現代文 BERT を利用した日本語歴史コーパスの語義曖昧性解消

多喜凪
東京農工大学工学部情報工学科
s182739s@st.go.tuat.ac.jp

## 概要

本研究では，現代文 BERT による日本語歴史コー パスの語義曖昧性解消を行う. 分類語彙表の語義 タグが割り当てられた 8 作品 38 単語を対象とす る. 分析を行ったところ, 訓練済み日本語現代文 BERT モデルを用いて固定のハイパーパラメータで fine-tuning した場合に，マクロ平均が $83.30 \%$ ，マイ クロ平均が $85.96 \%$ となり，いずれの結果もベースラ インを有意に上回った. 特に出現頻度が高い単語の 語義曖昧性解消に対して優れた結果を示した.

## 1 はじめに

語義曖昧性解消 (Word Sense Disambiguation, WSD) とは，自然言語処理の機械学習において，文中のあ る単語がどのような意味か判断する処理である. た とえば「plant」という単語の場合，「植物」や「工場」といった複数の語義が挙げられる. このような 多義語の語義を, 対象単語の周囲の単語の品詞や,単語同士の共起関係などを特徴として推定する。

WSD は上記の「plant」の例のように，一つの単語 に対してそれぞれ別の単語が割り当てられるケース があるような機械翻訳の分野において，非常に重要 である．多義語の語義を正確に推定することで，自動翻訳や質問応答など多数のアプリケーションの精度向上に寄与することができる。

古文の WSD を行うにあたり，日本語歴史コーパ ス（CHJ）[1]においてはデータが少量であるため，現代文と比較して語義の識別精度が低いことが課題 である。さらに，研究範囲を古文全体へ広げると奈良時代から江戸時代までが対象となり，言語に時代的な開きがある. これらのことから，様々なタスク で高い精度の古文モデルを得ることは難しいといわ れている.

本研究では，BERT という汎用性の高い自然言語処理モデルによる，日本語歴史コーパスの WSDを 行う． 2019 年に東北大学 [2] から公開された，より

\author{
古宮 嘉那子 \\ 東京農工大学大学院工学研究院 \\ kkomiyaago. tuat.ac.jp
}

高精度の訓練済み日本語現代文 BERT モデルを用い て fine-tuning する手法をとる.

## 2 関連研究

現代文の WSD に関する研究は，数多く行われて いる. なかでも近年の，単語の分散表現を利用し た手法について述べる. 2013 年に Tomas Mikolov ら $[3,4,5]$ が自然言語処理のモデルである word2vec を 公開した。これは，同じ文脈に現れる単語は類似 した意味を持つという考えに基づいた手法である. word2vec の 2 層ニューラルネットワークというシン プルな構造によって，大量の文章データから単語間 の意味関係をべクトルとして，現実的な計算量で得 ることが可能となった.

この技術を利用した，現代日本語書き言葉コーパ スの教師なし all-words の WSD として，鈴木ら [6] の研究がある. 鈴木らは対象単語とその類義語から 周辺単語の分散表現を作成し，ユークリッド距離の 計算によって語義の推定を行っている.

古文用形態素解析辞書の開発に関しては，小木曽 [7] の研究がある。小木曽は, 国立国語研究所が 中心となって開発した電子化辞書 UniDic を古文へ 応用し，幅広い時代の日本語に対応した通時コーパ スを構築する計画を紹介している。UniDicでは，見出し語に摇れの少ない短単位を採用している. さら に，テキストの種類でグループ化し，地の文と会話文を区別して辞書の作成を行うことで，古文用形態素解析辞書の解析精度を向上させることが可能であ ると小木曽は述べている。

高久弓 [8] は，通時的な領域適応によって古文か ら現代文への機械翻訳を行う手法を提案した。高久 らは通時適応で特定の時代にしか現れない語彙を 訳出し, 翻訳品質の改善が見られたと結論づけてい る. 田邊 [9] は word2vec を用いた古文の WSD を行 い，古文コーパスから作った分散表現を初期値とし て，現代文のコーパスで fine-tuning する手法の有効性を示している。

## 3 提案手法

本研究では，東北大学の日本語の訓練済み現代文 BERT モデルを利用する．BERT は，Transformer を ベースにした，自然言語処理モデルである. 2018 年 に Google の Devlin ら [10] によって英語モデルが公開された. Devlin らは深層双方向アーキテクチャの 有用性と，事前学習と fine-tuning が幅広いタスクに 有効であることを示した. fine-tuning は領域適応の 手法の 1 つで，初期のパラメータを再学習によっ て，様々なタスクに応じて微調整する．そこで，学習用の目的データが少ない場合，多量のデータを用 いて事前学習を行い，その学習データを目的データ へ適応させるという手段が考えられる. 本研究では このように，現代文 BERT の古文への fine-tuning を 行う。実験手法は 3 種類設定する.

(1)訓練済み現代文 BERT モデルを古文の WSD の 各対象語に fine-tuning する。

(2)(1)と同様の fine-tuning を行うが，前の対象語の 学習で得られたモデルを次の対象語の学習に使用する.

(3)訓練済み現代文 BERT モデルの出力を 2 つに変更し，古文の文書分類とWSD に対して，同時 に fine-tuning する.

本研究で扱うモデルは BERT-base と同等のアー キテクチャをもち，2020 年 8 月時点の日本語版 Wikipedia データを使用して，事前学習を行って いる。その中でも，より精度が高くなるとされる Whole Word Masking を導入したバージョンを用い る. Whole Word Masking とは, 事前学習時に単語単位で MASKを行い，MASK する単語に対応するサ ブワードも MASKする方式である.

## 4 データ

## 4.1 コーパス

日本語歴史コーパスは，国立国語研究所によって 日本語史研究の基礎資料としての開発のために構築 されているコーパスである．全テキストに読み・品詞などの形態論情報が付与されている. 電子資料と して, 総索引ができることに加え，より高度な検索 や集計を行うことが可能となる。

本研究では, 竹取物語, 土佐日記, 今昔物語集, 方丈記, 宇治拾遺物語, 十訓抄, 徒然草, 虎明本狂言の表 1 日本語歴史コーパスの作品と単語数

8 作品の日本語歴史コーパスを用いる. 作品と単語数について表 1 に示す. 平安時代と鎌倉時代の作品 が中心となる.コーパスの 10 項目のうち, 本研究 では出現書字形 (orthToken), 語彙素 (lemma), 分類語彙表番号（Word List by Semantic Principles,wlsp）の 3 項目を主に利用する。コーパス名 (corpusName),文境界（boundary）の 2 項目は補助的に利用する.

分類語彙表 [11] とは，語を意味によって分類お よび整理したシソーラス（類義語集）である．分類番号を用いることで，上位の概念や同じ概念の単語 を容易に導くことができる．分類語彙表のレコード 総数は 101,070 件で，一つのレコードの構成は「レ コード ID 番号／見出し番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号／語番号／見出し／見出し本体／読み／逆読み」となっている．分類番号は「類／部門／中項目/分類項目」で構成される.

例えば「手」という語は分類語彙表の複数箇所 に出現し，1.1401，1.3081 などの分類番号がある. 1.1401 の語は「手」のほかに「労働力」「男手」など がある．1.3081 の語に，「方法」「すべ」などがある.分類番号は，単語の語義として扱うことができる。

## 4.2 実験データ

日本語歴史コーパス中において分類番号が付与さ れ，かつ 500 回以上出現があった 38 単語を対象語 とする（表 2)．対象語はいずれも多義語である．対象語を含む 1 文を，WSD を行う語に関する 1 つの 入力としてデータを作成する．虎明本狂言以外は句点（。）を文末として，文を区切る．なお，台本形式の虎明本狂言のみ, 文中に句点が出現しない. そ のため，虎明本狂言のみ「および『』，boundary で B （区切り）に該当した読点（、）を文末とみなす。他作品と条件をそろえるため，文末とみなした記号は
表 28 作品の対象語 38 単語

(1) 調整 $\quad 10,20,30 \quad 0.00001,0.0001,0.001$

句点に置き換えた後，分かち書きや Encodeを行う.

日本語歴史コーパスは古語特有の語義を含むこと から，未知語の割合が現代語より高くなると考えら れる.すべての単語を Encode した中の未知語の割合は, 8 作品で $17.06 \%$ となっている.

次に，対象語の抽出方法について述べる。 日本語歴史コーパス中の lemma の項目で完全一致する場合 のみ，BERTへの入力文に採用する. lemmaが基準 であるため, 動詞では基本形が一致していれば活用形が異なっていても該当する. 1 文に 2 回以上対象語の完全一致が見られた場合，それぞれを対象語の 位置が違う別の入力文として扱う.

## 5 実験

## 5.1 実験設定

新納の書籍 $[12,13]$ を参考に実験プログラムを作成する. 対象語を含む 1 文を，語義を判定したい語 に関する 1 つの入力として扱う. 次に, 対象語の語義数を集計し, 語義ごとに 0 から整数の番号をあて る. 入力文はランダムに並び替え, 時代も作品も シャッフルされた状態にする. 対象の 1 文につい て UniDic 基準で分かち書きを行い，BERTによって Encode する. 本研究で使用した BERT 自体の機能 を用いて分かち書きを行う場合は NEologd が採用さ れることになる. しかし, データとなる日本語歴史 コーパスにあらかじめ, 各時代に対応した UniDic 基準の形態論情報が付与されているため, 本研究の 分かち書きではそちらを採用する. 文中の対象語の 位置に先頭から数えた整数の番号をあてる。

最適化関数は SGD，損失関数はクロスエントロ
ピー誤差を用いる。 ハイパーパラメータについては 表 3 で示す. 速度と正答率の観点から事前実験を行 い, epoch（学習回数）を 10, Ir（学習率）を 0.0001 とする. データセットは $4: 1$ で訓練データ（train） とテストデータ（test）に分ける. さらに手法 (1)に ついて，ハイパーパラメータをグリッドサーチで調整する。その際のデータセットの分け方は, $3: 1: 1$ （訓練データ：開発データ：テストデータ）とする. 3 通りの epoch と lr を掛け合わせ，9 通りのモデル を作成する. その中から, 開発データでの正答率が 高いモデルを対象語ごとに採用する.

## 5.2 評価手法

WSD は，1文の入力に対し正解のラベルを持って いる. テストデータにおいて, 入力文の正解ラベル と BERT が予測したラベルが一致した場合を正解と する. 正答数を問題数で割ったマクロ平均とマイク 口平均を正答率とする。ここでのマクロ平均は，各単語の正答率の平均である. マイクロ平均は, 全単語の正答数を問題数で割った正答率である.

なお，例えば 4 種類の語義があるとして，それら がすべて訓練データにもテストデータにも含まれて いるという保障はない. ランダムな文の並べ替えに よって, どちらかのデータにしか出現しない語彙と なっている可能性がある. 2 出力時は WSD と文書分類の同時学習となるが，比較のため文書分類のみ の BERT $の$ fine-tuning も行う. 表 3 で示した手法と ベースラインのマイクロ平均について, カイ二乗検定を行い，手法同士の有意差を調べる。

最頻出語義（Most Frequent Sense, MFS）をベース ラインに設定する. 最頻出語義の確率は, その対象語に関して 1 番多く出現する語義を予測ラベルとし た時の, 正答率を指す. 38 単語の平均語義数は 8.21 個となっている. wlsp が 1 つの単語に 2 つ設定さ れている場合や空欄である場合も，それ自体を 1 つ の語義とみなし, 語義数にカウントする. 2 つ設定 されているのは，2つの語義のどちらともとれる単語, 空欄は語義が不明な単語であると考えられる。 また，空欄の語義が MFS や 2 番目に多く出現する 語義となっている対象語がある。このように曖昧な 状態も数多く判別する必要がある.

## 6 実験結果

実験結果を表 4〜7 に示す. いずれの提案手法も， ベースラインを有意に上回った（表 4). 実験結果
表 4 WSD の実験結果

表 5 各対象語の WSD の実験結果

から，現代文の BERT が古文の WSD に有用である ことが分かる．最も正答率が高かったのは，数字を 太字で示した箇所で，手法(1)となった. (1)をハイ パーパラメータ調整した場合には, マクロ平均で $81.75 \%$ ，マイクロ平均で $84.93 \%$ となった.

表 4，6より，38 単語総合の WSD に関してはすべ ての手法において，マイクロ平均がマクロ平均を上回った. 表 5 は，対象語ごとの手法 (1)の WSD の実験結果である．正答率が $90 \%$ 以上となった箇所を太字で示す. 対象語の配置は，為る，言う，有る…… の順に，分類番号を持つ単語としてのコーパス中の 出現回数が多く，降順になっている。表 7 では, 最 も正答率が高い箇所と最もテストデータが多い箇所 を太字で示す.表 62 出力の WSD の実験結果

表 7 各作品の WSD の実験結果

 \\

土佐日記 & 83.65 & 208 \\
今昔物語集 & $\mathbf{8 8 . 3 9}$ & $\mathbf{5 0 9 1}$ \\

宇治拾遺物語 & 85.52 & 3280 \\
十訓抄 & 83.09 & 1969 \\
徒然草 & 80.44 & 992 \\

## 7 考察

マクロ平均はデータが少ない事例の影響を強く 受ける. マクロ平均がマイクロ平均より常に低いた め，データが少ない場合に正答率が低い傾向にある と推測できる. 表 6 からも, 出現回数が多い表上部の単語に $90 \%$ 以上の正答率が多くみられるため, BERT の WSD では学習データが増えるほど，正答率が高くなると考えられる。

表 4，6より，手法 (2) の単語を超えた重み共有や 手法 (3) の文書分類タスクとの重み共有は，本実験 では全体の正答率を上昇させる条件とならなかった ことが分かる. 本実験の対象語は名詞や動詞が区別 なく交ざっていた。また表 7 でも，時代による特徴 は明確にはみられない。また，今回のデータは鎌倉時代のデータが多く, 時代の影響は比較的少なかっ た可能性がある. よって，対象語同士や作品同士を 関連づけて学習できていないと考えられる。

## 8 おわりに

本研究では，現代文 BERT による日本語歴史コー パスのWSDを行った. 実験により，現代文の BERT は古文の WSD に有効であることを示した。また，単語を超えた重み共有と文書分類タスクとの重み共有は有効でないことが分かった．本実験の対象語は 名詞や動詞が交ざっていたこと，作品や時代による 影響が比較的少なかったことが原因と考えられる。

## 謝辞

本研究は JSPS 科研費 17H00917，17KK0002， 18K11421の助成を受けたものです.また，国立国語共同研究プロジェクト「通時コーパスの構築 と日本語史研究の新展開」および「コーパスアノ テーションの拡張・統合・自動化に関する基礎研究」 の成果です. データセットの作成にあたり，2022 年 1 月 8 日時点で最新の語義タグ付き日本語歴史コー パスを提供してくださった，浅原正幸教授（国立国語研究所）に感謝いたします.

## 参考文献

[1] 国立国語研究所. 『日本語歴史コーパス』 2022 年 1 月 8 日確認. https://ccd.ninjal.ac.jp/chj/.

[2] 東北大学乾研究室. bert-japanese. 2019. https://www. nlp.ecei.tohoku.ac.jp/news-release/3284/.

[3] Tomas Mikolov, Wen tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. Proceedings of NAACL-HLT, pp. 746-751, 2013.

[4] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. Proceedings of ICLR, 2013.

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. Proceedings of NIPS, 2013.

[6] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師 な乙 all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[7] 小木曽智信. 通時コーパスの構築に向けた古文用形態素解析辞書の開発. 研究報告人文科学とコン ピュータ (CH), Vol. 6, No. 2011-CH-92, pp. 1-4, 2011.

[8] 高久雅史, 平澤寅庄, 小町守, 古宮嘉那子. 通時的な領域適応を行った単語分散表現を利用した古文から現代文へのニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[9] 田邊絢. 現代文と古文の情報を利用した日本語歴史 コーパスの語義曖昧性解消の領域適応. 茨城大学大学院理工学研究科 2019 年度修士学位論文, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT, 2019.

[11] 国立国語研究所. 『分類語彙表』 2022 年 1 月 8 日確認. https://ccd.ninjal.ac.jp/goihyo.html.

[12]新納浩幸. Pytorch 自然言語処理プログラミング. イ ンプレス, 2021.

[13] 新納浩幸. Pytorch による物体検出. オーム社, 2020.


# 翻訳言語モデルを中間タスクとするゼロ照応解析

馬越雅人 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{umakoshi, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

日本語と非プロドロップ言語の対訳テキストは,前者で省略されるゼロ代名詞が多くの場合後者では 明示的に言及されるため, 日本語ゼロ照応解析の精度を改善する可能性を秘めている．対訳テキストを 活用するために機械翻訳を中間タスクとする手法が 提案されているが，事前学習タスクとの差異が大き く, 改善の余地がある. 本研究では, より事前学習 タスクに近い翻訳言語モデルを中間タスクとする手法を提案する．実験により，翻訳言語モデルを用い た場合の方が精度が向上することを示す。

## 1 はじめに

誰が誰に何をしたかは情報の基本的な単位であ り，これを理解することは自然言語理解において必要不可欠である。しかし，日本語や中国語のような プロドロップ言語では，文脈から推測できる代名詞 が省略されることがあり，特に困難な問題となる。

図 1 日本語で省略されたゼロ代名詞が英語では明示さ れるような対訳文の例. 日本語で省略されたガ格の項 (著者)が英語では明示的に現れている (I).

図 1(a)のように，省略されたゼロ代名詞 ( $\phi$ ) の照応先を特定することをゼロ照応解析と呼ぶ．日本語 のゼロ照応解析は BERT の導入により飛躍的に性能 が向上したが $[1,2]$, 改善の余地が大きく残されて いる.

大きな課題の一つは学習データの少なさである. アノテーションが付与されている文の数は数万文規模に留まっており，質の高いアノテーションを付与 するには言語学的な専門知識が必要なため，大規模 にコーパスを拡張することが現実的ではない [3].

この点に着目し, 大規模に利用可能な, 日本語と非プロドロップ言語である英語との対訳テキストを 利用する研究がなされている $[4,5]$. コアとなるア イデアは，日本語におけるゼロ代名詞は英語では明示的に言及されることが多く(図 1(b))，このズレを ゼロ代名詞の照応先を解決するための手がかりとで きることにある．このアイデアに基づき，Umakoshi らは事前学習とゼロ照応解析の間の中間タスクとし て機械翻訳 (MT) を用いることで対訳テキストから ゲインが得られることを示した [6].

同手法は一定の有効性は示されたものの，MT が 中間タスクとして適しているかは疑問が残る。様々 なタスクの組み合わせを調査した先行研究では，中間タスクとして MT を用いるとスコアが下がる傾向 が報告されている [7]. 原因として指摘されている ことの 1 つは，中間タスクと事前学習との性質の違 いが事前学習により得られた知識の忘却を引き起こ した可能性である.

そこで本研究では，事前学習に用いられるマス ク言語モデル (MLM) により近い翻訳言語モデル (TLM) [8] を中間タスクとする手法を提案する。よ り乘離の小さいタスクを用いることで効果的に対訳 テキストを活用できることを期待する．実験により TLM を用いた場合の方が MT を用いる場合よりも 精度が向上することを示す.

## 2 関連研究

事前学習と目的タスクとの間に中間タスクを挟み 目的タスクでの精度向上を図る試みがなされてき た $[9,7,10]$. Wang らは MTを中間タスクとした際 に自然言語推論や感情分類など様々な目的タスクで 精度が悪化したことを報告しており，原因として事前学習と中間タスクとの乘離が破滅的忘却を引き起 こした可能性を指摘している [7].

日本語ゼロ照応解析の精度改善のために多言語 テキストを活用することを目的に，比較的大規模 な日英対訳コーパスを用いる手法が提案されてき た $[4,5,6]$. 従来はパイプライン処理に基づくルー

事前学習

(マスク言語モデル)

中間タスク

(翻訳言語モデル)

目的タスク

(ゼ口照応解析と関連タスク)

図 2 提案手法の概要. 左: モデルを多言語コーパスを用いてマスク言語モデル (MLM)により事前学習を行う. 中央: 事前学習したモデルを翻訳言語モデル (TLM) で訓練する. 右: ゼロ照応解析について訓練する. 一部の特殊トークンは図 を簡潔にするために省略した。

ルベースの手法が提案されてきたが，誤り伝搬によ りその効果は限定的であった $[4,5]$. Umakoshi らは MT を中間タスクとした場合にゼロ照応解析の精度 を改善できることを示し, 特に MLM との同時学習 が効果的であることを発見した [6]. MTは事前学習 と乘離が大きく中間タスクとして適しているかは疑問であり，本研究ではより乘離の小さい TLMを用 いる.

## 3 提案手法

## 3.1 ゼロ照応解析モデル

本研究のゼロ照応解析モデルとして，植田らの CAModel [1] を用いる. 強力な事前学習済みエン コーダーを考慮し, 省略の検出と先行詞の識別は項選択により定式化される (図 2(右)). 文書全体を入力し, モデルはその中から述語の各格を埋める項を 選択する。外界照応は，照応先に対応する特殊トー クンを連結してモデルに入力することにより考慮 される. 項を持たない場合は，特殊トークン [NULL] を選択する. 文書全体を入力とすることによって，自然に文内ゼロ照応だけでなく文間ゼロ照応も扱う ことができることに注意されたい，実際には，エン コーダモデルに入力長による制限があり, 出来るだ け多くの先行文を含めるように分割した. また，こ の定式化により，述語と項の間に係り受けの関係が ある格解析も同じ枠組みで扱われる.

具体的には，トークン $t_{j}$ が 述語 $t_{i}$ の格 $c$ の項で ある確率は次のように定式化される。

$
\begin{aligned}
P\left(t_{j} \mid t_{i}, c\right) & =\frac{\exp \left(s_{c}\left(t_{j}, t_{i}\right)\right)}{\sum_{j^{\prime}} \exp \left(s_{c}\left(t_{j^{\prime}}, t_{i}\right)\right)} \\
s_{c}\left(t_{j}, t_{i}\right) & =\boldsymbol{v}^{\top} \tanh \left(W_{c} \boldsymbol{t}_{j}+U_{c} \boldsymbol{t}_{i}\right)
\end{aligned}
$

ここで, $\boldsymbol{t}_{i}$ はエンコーダにより計算されるコンテキ ストにおける $t_{i}$ の埋め込み， $W_{c}$ と $U_{c}$ は格ごとの重 み行列，vは格の間で共有される重みべクトルであ る. 最も高い確率を持つ $t_{j}$ を予測とする. 全ての述語・格に対しこの計算を行う。

入力形式 外界照応などを扱うための特殊トーク ンを入力系列の末尾に追加する: [著者], [読者], [不特定: 人]を外界照応のために，[NULL]を項を取 らないときのために挿入する。また，次のパラグラ フで述べる理由で特殊トークン [NA] も挿入する。 XLM-R [8] を使う際の慣例に従い，特殊トークン $[C L S]$ 及び $[S E P]$ を系列の最初と最後に挿入する.単語が 2 つ以上のサブワードに分割される場合，最初のサブワードを項選択に用いる.

マルチタスク学習 植田ら [1] に従い，一つのモ デルを用いて用言の述語項構造解析 (VPA), 体言 の述語項構造解析 (NPA), 橋渡し照応解析 (BAR),共参照解析 (CR) を同時に行う。これら 4 つのタス クは全て同様に式 (1)として定式化することがで きる. VPA と NPA については格ごとの重みを共有 し，BAR，CRにはそれぞれ別の重みを用いる。エ ンコーダ部分は共有されるために，関連のあるタス クが学習時に互いに影響し合う。

## 3.2 翻訳言語モデル

MT の代わりに翻訳言語モデル (TLM)[8]を用い ることが本研究の提案である. この背景にある直感 は，TLMはMTよりもMLM に近いためより中間夕 スクに適している可能性を秘めていることである。

TLM は多言語タスクを目的に対訳テキストを用 いた事前学習として提案された [8]. 対訳ぺアの文章を連結し，その一部をマスクしてモデルに入力

し，マスクされた単語を予測する (図 2(中央)). マス クされた単語と同じ言語のテキストに加えて対言語 のテキストからも予測を行うことで，2 言語の間の 対応関係をソフトに学習することを期待する。ここ での狙いは，日本語のゼロ代名詞に対応する英単語 を予測するような特徵を捉えられるようになること にある。

Conneau らは原言語と目的言語を同じ割合でラン ダムにマスクしているが，我々の目的においてはマ スクする対象を調整することでより効果的に学習が 行える可能性がある１つの戦略として，単純に英語側の単語のマスクの割合を増やすというものが考 えられる. TLMによるゲインの大部分が英語トー クンを予測することに起因すると仮定するなら，よ り多くの英語トークンを予測させることでさらに精度が向上することが期待される. また，日本語のゼ 口代名詞に相当する単語の多くは英語では代名詞で 現れる点に着目し，英語の代名詞を優先的にマスク する戦略も考えられる. 本研究ではこれら 2 つのマ スク戦略についての実験も行う。

## 4 実験

中間タスクを TLM にすることの有効性及びマス クする際の設定を変化させることによる影響を検証 する。

## 4.1 設定

モデル 大規模な多言語コーパス CC-100で事前学習された大規模事前学習済みモデル XLM$\mathrm{R}_{\text {Large }}$ [11]を用いる.

ゼロ照応解析 本研究では京都大学ウェブ文書リードコーパス [12] と京都大学テキストコー パス [13] の2つのコーパスを用いる。それらの ジャンルに基づき，それぞれのコーパスをウェブ， ニュースと呼ぶ. これらのコーパスには単語分割,品詞や述語項構造などのアノテーションが付与さ れている. 公開されている設定に基づき，およそ 0.75:0.1:0.15 の割合で訓練，検証，評価用データに 分割した. また，訓練の際のハイパーパラメータは 付録 $\mathrm{C}$ に記載した ${ }^{1)}$ ．訓練時は 2 つのコーパスを混 ぜ，評価時はそれぞれ別々に評価を行った。

機械翻訳・翻訳言語モデル読売新聞によって配布されている日英対訳コーパスを用いる2)。この コーパスはおよそ 130 万文ぺアから構成される。ゼ 口照応解析は文間の関係を捉える必要があるため,連続する文はゼロ照応解析の際のトークン長 (170) を超えないよう連結される。また，翻訳言語モデル の訓練時, ゼロ照応解析で日本語を入力する位置 に英語が含まれないよう，英語トークンが 171 番目の位置から始まるように [PAD] トークンを挿入 した ${ }^{3}$. 分割の割合は学習，検証，評価でそれぞれ 0.9, 0.05, 0.05 とした. 訓練の際のハイパーパラメー タは付録 D,E の通り。

代名詞の優先的マスキング 優先マスク対象とす るか否かの判定は spacy 4) を用いて判定した. 詳細 なルールは付録に示す．対象とする単語は訓練デー タ中に約 51 万個含まれていた. 優先マスク対象と 判定された単語に属するサブワードを全てマスクし てもマスクすべきサブワード数に達しない場合はラ ンダムに選んだサブワードをマスクした.

## 4.2 結果

表 1 及び表 2 にウェブ，ニュースにおける結果

ベースラインのスコアが大幅に向上した. +MT w/ MLM は MT と MLM の同時学習による手法であ り, Umakoshi らの提案手法の中で最も高いスコア を達成している [6]. +TLM は TLM を用いるモデ ル, +TLM w/ PR masking は代名詞を優先的にマス クする TLM にそれぞれ対応する。+MLM はゲイン がデータを追加したことに起因する可能性を検証 するために，対訳データの日本語テキストを用いて MLM で訓練したモデルである.

中間タスクによるゲインはデータセットによ り傾向が異なる。ウェブにおいては+MT w/ MLM, +TLM w/ PR masking が最高精度を達成しているが， そのゲインは非常に限定的である.ニュースではど の中間タスクを用いる場合でも精度の向上が見られ たが，+TLM w/ PR masking がもっとも高い精度を 達成した. +TLM w/ PR masking はどちらのデータ セットでも+MT w/ MLM よりも高いか同等の精度 を達成しているため，TLM はより中間タスクに適 していると考えられる.

また，カテゴリごとの結果に着目すると，ウェブ

表 1 ウェブのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †：提案手法. MT w/ MLM, TLM w/ PR masking がもっともよいスコアを達成した.

表 2 ニュースのテストセットにおける精度. 太字のスコアは対応するカテゴリでの最高スコアを表す. †: 提案手法. TLM w/ PR masking がもっともよいスコアを達成した.

のデータセットにおいて文間の方が文内よりもスコ アが高いことは意外な結果である5），文間の方が文内より探索空間が広く難しいカテゴリであると考え られてきたが，この結果はその直感に反する。

英語のマスク割合による影響 英語を復元するタ スクがゼロ照応解析に寄与するのであれば，英語の マスク割合を増加させることでより効果的に学習を 行うことができるはずである．この仮説を検証する ため，英語のマスク割合を変化させた際のニュース におけるゼロ照応解析の精度の推移を計測した. ま た，英語側のマスク復元の精度も同時に計算し，こ れら 2 つの関係を図 3 に示す.

結果から，TLM の精度がマスクの割合が増えるほ ど一貫して低下していることがわかるが，ゼロ照応解析とのはっきりした関連は見られなかった。これ ら二つの相関係数を計算したところ 0.567 であり，弱いながらも相関があることがわかった.

## 5 おわりに

本研究では，事前学習と中間タスクとの乘離に着目し，より事前学習に近い TLM を中間タスクとす る手法を提案した. 実験により，TLMが MT よりも

5）ニュースでこの傾向が見られないのは KC では長い文書を 分割して入力しており，照応先がテキスト中に現れないよう な事例が多く含まれているためと考えられる.

図 3 英語側のマスク割合を変化させた際のゼロ照応解析及び TLM の精度の変化

よい中間タスクであることを示した. 今後は，対訳 テキスト以外のリソースの活用についても考えてい きたい.

## 謝辞

対訳コーパスを提供していただいだ読売新聞東京本社に深く感謝いたします。

## 参考文献

[1] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[2] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, $\mathrm{pp}$. 4956-4968, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3] 阿部航平, 河原大輔, 黒橋禎夫. クラウドソーシング を用いた日本語述語項構造タグ付きコーパスの拡張. 言語処理学会 第 26 回年次大会, pp. 1547-1550,茨城, 2020.

[4] Hiromi Nakaiwa. Automatic extraction of rules for anaphora resolution of Japanese zero pronouns in Japanese-English machine translation from aligned sentence pairs. Machine Translation, Vol. 14, No. 14, pp. 247-279, 1999.

[5] 古川智雅, 中澤敏明, 柴田知秀, 河原大輔, 黒橋禎夫.対訳コーパスを用いたゼロ照応タグ付きコーパ スの自動構築. 言語処理学会第 23 回年次大会, pp. 382-385,つくば, 2017.

[6] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Alex Wang, Jan Hula, Patrick Xia, Raghavendra Pappagari, R. Thomas McCoy, Roma Patel, Najoung Kim, Ian Tenney, Yinghui Huang, Katherin Yu, Shuning Jin, Berlin Chen, Benjamin Van Durme, Edouard Grave, Ellie Pavlick, and Samuel R. Bowman. Can you tell me how to get past sesame street? sentence-level pretraining beyond language modeling. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4465-4476, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Alexis CONNEAU and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Jason Phang, Thibault Févry, and Samuel R. Bowman. Sentence encoders on STILTs: Supplementary training on intermediate labeled-data tasks. arXiv:1811.01088, 2018.

[10] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediatetask transfer learning with pretrained language models: When and why does it work? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online, July 2020. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguis- tics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, Bali, Indonesia, November 2012. Faculty of Computer Science, Universitas Indonesia.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 優先的マスキングのルール

優先マスク対象の単語は spacy (v. 3.2.1) によっ て付与される POS タグに基づき決定した. 具体的 には，

・tag_属性の値が PRP

・pos_属性の値が PRON かつ tag_属性の値が DT のいずれかを満たす単語を優先的なマスク対象と した.

## B 事前学習とファインチューニン グのギャップ

コーパスは基本句単位でアノテーションが付与さ れている一方，事前学習モデルは単語分割なしで訓練されており, ギャップがある. 出来るだけ事前学習のときの条件に近づけるため, トークナイズの際 は単語分割された後の単語に対しトークナイズを行 い，文頭に現れる特殊トークンを削除するという前処理を行なった。

## Ｃ ゼロ照応解析におけるハイパー パラメータ

表 3 ゼロ照応解析におけるハイパーパラメータ
D 機械翻訳におけるハイパーパラ xータ

表 4 機械翻訳におけるハイパーパラメータ

## E 翻訳言語モデルのハイパーパラ メータ

表 5 翻訳言語モデルのハイパーパラメータ
6) https://github.com/huggingface/transformers/blob/v2. 10.0/src/transformers/optimization. py\#L47


# 日本語照応解析における深層格推定に基づいた先行詞の同定

伊藤清晃 寺岡丈博
拓殖大学大学院工学研究科
20m301@st.takushoku-u.ac.jp tteraoka@cs.takushoku-u.ac.jp

## 概要

日本語の照応解析において，先行詞の同定は文意 を解釈する必要があるため容易ではない. 照応され 易い語として，一般的に主語や目的語が挙げられ，深層格に対応づけると動作主格と対象格が多い. そ こで，本研究では動詞，名詞，助詞の関係から推定 した深層格を用いて先行詞を同定する手法を提案し た. 先行研究と同様に, NAIST テキストコーパスに おける先行詞の同定精度を評価した結果，本手法の 有用性を確認することができた。

## 1 背景と目的

省略された項をはじめ代名詞や指示詞を照応詞 と呼び，照応解析はそれらと照応関係にある先行詞 を同定する手法である. 本研究における照応関係と は，同じ内容や対象を示す異なる 2 語間に成立する 関係を指す。例えば，「太郎はパンを買った。そし て，それを食べた.」においては，1つ目の文の「太郎」が先行詞，2つ目の文の「それ」が照応詞であ り，両者の間に照応関係が成立する．また，「太郎 は疲れていました。そして眠ってしまいました.」 においては，2つ目の文の「太郎」が先行詞であり， 2つ目の文の「眠ってしまいました」の前に省略さ れた代名詞（ゼロ代名詞）が照応詞となり両者の間 に照応関係が成立する. ゼロ代名詞による照応関係 を特にゼロ照応と呼ぶ．特にゼロ照応では，照応詞 が省略されているものに対してどこに省略部分があ るか，何が省略されているかを明らかにする必要が ある.とりわけ，人間にとって当たり前である事柄 が省略される傾向にあるため, このような表現が含 まれる文は理解が困難である。

照応解析は，機械翻訳や対話システムなどの自然言語処理の応用研究において, 文脈を理解するため に必要とされる技術である. 日本語において，一般的に言い換えられる語や省略され易い語として，主語や目的語が挙げられる. これらの語を述語と項の意味的な関係（深層格）に当てはめると動作主格と 対象格が多い傾向がある．また，照応解析における 従来の研究では，大規模な辞書やシソーラスを用い て学習した人工ニューラルネットワーク（ANN）や 学習モデルを利用した手法がよくみられる。そこで は, 特徴量に, 格フレームや格要素, 動詞と名詞と 助詞の関係性を用いている。これらの研究では，位置関係や格助詞などによって決まる格（表層格）を 利用していることが多い.

人は先行詞を見つける際に，文章と知識を照らし 合わせて，雑多な手がかりを利用している。その中 でも，先行詞を同定しやすくするには，表層格と深層格を組み合わせることが重要だと考える。そこ で，表層格と深層格を組み合わせるために，動詞連想概念辞書 [1] と述語項構造シソーラスを利用する.本研究では，照応解析における先行詞の同定におい て，深層格と表層格を組み合わせて利用する手法の 提案と，その有用性を検証することを目的とする。

## 2 関連研究

照応解析の研究として, 笹野らの研究 [2] や西念 らの研究 [3], 山城らの研究 [4], 河崎らの研究 [5] が挙げられる. 笹野らの研究では, 比較的小規模の 照応関係タグ付きコーパスから獲得した構文的な手 がかり，および，大規模なタグなしコーパスから獲得した意味クラスといった語彙的手がかりを素性と して用いた対数線形モデルを用いて先行詞を同定 している．そして，が格，を格，に格のみを対象と しており，本手法と異なり，他の格を考慮していな い.また，格フレーム辞書から素性を作成している ため，本手法とは異なり，先行詞と深層格の関係を 考慮していない。

西念らの研究では，先行詞候補に対して，概念類似度情報や距離情報などの 素性値を取得し，各素性値の正解先行詞としての尤度を求め，ナイーブベイ ズ法による尤度スコアを求めることにより，先行詞 を同定している。西念らは，先行詞の深層格につい

て考慮されているが，本手法では動詞と名詞，助詞 の関係から ANNで，先行詞候補の深層格を推定し，先行詞を同定する.

山城らの研究では，分散表現で平均化した格フ レームによる解候補削減を用いた日本語文内・文間 ゼロ照応モデルを提案している. 述語や格要素の分散表現をはじめとした素性を使用している. 山城ら は，格フレームにより述語と格要素の関係を利用す ることで，先行詞を同定している．対して，本手法 では，先行詞候補を深層格により絞り込み，動詞連想概念辞書や述語項構造シソーラスから得られる動詞と名詞の関係や名詞と深層格の関係を用いて，先行詞を同定する.

河崎らの研究では，ANNを使用して深層格を用い た照応解析の手法を提案している。河崎らは，ANN による先行詞の誤割り当てを防ぐために名詞クラス と代名詞の作成と導入を行なった. また，使用した ANN は動詞項シソーラスを使用しており，入力と して，動詞と先行詞候補，助詞を入力する．河崎ら の手法では，同じ名詞クラスに分類された名詞を区別することが十分ではなかった. 対して，本研究で は単語分散表現を利用する事で，この問題の解決を 試みた。

## 3 提案手法

図 1 は，提案手法の処理手順を表している. はじ めに，文章から名詞を抽出し，文間距離によって先行詞候補の名詞を決定する。このとき，先行詞候補 に含める文は対象の文に加えて，対象文の前の 3 文 とする.これは，文中のゼロ代名詞が前の 3 文内 に 80 \%の割合で出現することを踏まえて決定して いる.

次に，学習した人工ニューラルネットワーク （ANN）を用いて，先行詞候補の名詞の深層格を求 める. ANNの入力には, 動詞と名詞と助詞の特徴 をそれぞれ数值化したものを入力する．動詞の特徴量として，述語項構造シソーラスにある大分類 2 に 基づいて動詞クラスを 53 クラスに分け, one-hot ベ クトルを作成する. 名詞の特徴量として，分類語彙表 [6] の中項目に基づいて名詞クラスを 51 クラスに 分け, 1 つの名詞が複数のクラスに割り当てること ができるように，ダミ一変数を作成する．助詞の特徵量として，述語項構造シソーラスにある表層格の 助詞が 36 種あり，これらの助詞から one-hot ベクト ルを作成する。

図 1 提案手法の処理手順

この ANN は複数の深層格が割り当てられるよう に，全ての深層格に対して割り当てられる確率を算出可能なニューラルネットワークを用いる．割り当 てる深層格は述語項構造シソーラスの意味役割から 32 種類にしている. ANN の出力の中で，最も高い 出力值の深層格をその先行詞候補の名詞の深層格と する。そしてその出力値を深層格スコアとする.

さらに，動詞と助詞を手がかりに，述語項構造シ ソーラスから先行詞が取り得る深層格を抽出する。先行詞候補の名詞が割り当てられた深層格が，抽出 した深層格と一致しているものを先行詞候補として 残す. 残った先行詞候補の名詞の深層格と動詞連想概念辞書の連想課題を対応させる.この動詞連想概念辞書（VACD）は, 連想実験のデータから構築され た辞書で, 実際に人間が言葉に対して連想した内容 をまとめたものである [1].これを用いることで人間 が普段, 文章を読む際に言葉に対して連想する情報 をコンピュータが利用することができる。

対応させた連想課題と動詞に対応する連想語を 動詞連想概念辞書から抽出する。 そして，抽出した 全ての連想語と先行詞候補の名詞の類似度をそれ ぞれ計算し，得た類似度の最大値を連想スコアとす る.また，京都大学格フレーム（CF）[7] と共起概念ベース（共起 GB）から動詞に対応する語を抽出 し，先行詞候補の名詞と類似度をそれぞれ計算して 得た類似度を動詞スコア，共起スコアとする。これ らのスコアを組み合わせて先行詞の同定を行う.

## 4 評価実験

## 4.1 実験設定

NAIST テキストコーパス（NTC）を利用して，評価用データを作成する。評価対象は，条件を満たす
表 1 実験 1 の結果

表 2 実験 2 の結果

事例のみとする．1 つ目は，NTC の述語項構造・共参照タグにおいて，述語と項の関係がゼロ照応の関係であることである。これは，照応に対する先行詞 の同定の精度を評価するためである. 2 つ目は，先行詞が文章中に存在することである。これは，文章外に照応詞の照応先が存在する外界照応を，本手法 では考慮していないためである．3つ目は，「する」以外の動詞で述語項構造シソーラスに含まれている 動詞であることである。これは，本手法において，「勉強する」といった「名詞十する」からなる動詞は 考慮していないためである。また，未知語も考慮し ていない.

作成した評価データに対して，先行詞の同定を行 い，提案手法の評価を $\mathrm{N}$ 位正解率で行う. 実験は，各スコア単独で先行詞の同定を行うもの（実験 1) と深層格推定による先行詞候補の絞り込みを行わな いANN 単体の手法 (ベースライン) と先行研究を もとに作成した手法，深層格推定による先行詞候補 の絞り込みを行なった ANN 単体の手法, 各スコア を組み合わせて先行詞の同定を行うもの（実験 2） からなる.

## 4.2 結果と考察

表 1 では，ANNと 3 つの言語資源から作成した スコアを使用して先行詞の同定を行った結果をま とめている。 1 位正解率では，格フレーム（CF）が 0.235 , 動詞連想概念辞書（VACD）が 0.265 で 2 割を 上回る正解率となった. 対して, ANN は 1 位正解率が， 0.185 と 2 割を下回った. また，共起 GB は， 0.090 と 1 割を下回る結果となった.これにより，各スコア単体では，先行詞を 1 つに決めることは，難しいことが確認できる.

対して 10 位正解率をみると，ANN，CF，VACD は 8 割を上回っている。また，共起 GB は 6 割を超 えている。これは，各スコア単体では先行詞の候補 から先行詞を上位 10 候補までに， 6 割から 8 割ほど の精度で絞り込むことができていると考えられる。 また，共起 GB の正解率をみると，先行詞の同定に おいて，共起 GB 単体では効果が低いことが考えら れる。

そして，3位正解率と 5 位正解率をみると，共起 GB 以外のスコアは，5 割を上回っており，特に CF と VACD は ANN の正解率を超えている. これらの 結果から先行詞の同定において，各スコア単体でも 少なからず効果がみられた。そして，これらのスコ アを組み合わせることにより，更なる精度向上の見込みがあると考えられる。

表 2 では，先行詞の同定において，ベースライン と先行研究の手法, 提案手法の結果をまとめてい る. ベースラインには，深層格推定による先行詞候補の絞り込みを行わずに ANN のみを用いた手法を 用いた。提案手法として，深層格推定による先行詞候補の絞り込みを行なった手法 (ANN)，深層格推定による先行詞候補の絞り込みと ANN と動詞連想概念辞書（VACD）を組み合わせた手法（AV）, 深層格推定による先行詞候補の絞り込みと ANN と格フ レーム (CF)，VACD，共起 GB を組み合わせた手法 （ACVK）の3つを比較する.

ベースラインと提案手法を比較すると，どの提案手法もべースラインの正解率を上回っている. 深層格推定による先行詞候補の絞り込みが，先行詞の同定における正解率の向上に効果があることが確認で

きる.

先行研究の手法と提案手法の ANNを比較すると， 1 位正解率において提案手法の ANN の方が 15 事例多く正解している. 3 位正解率以降は, 2 つの手法 の正解数にほとんど差がみられなかった. 原因とし て, ANN の違いが挙げられる. 先行研究では, 動詞 と名詞の単語分散表現と助詞の one-hot ベクトルを 入力していることに対して，提案手法では，動詞ク ラスと名詞クラス，助詞の one-hot ベクトルを入力 している. 提案手法では, 動詞と名詞について, 意味や属性によりクラス分けを行なっているため，名詞が取り得る深層格の傾向が先行研究より学習され ているものだと考えられる。

3 つの提案手法をそれぞれ比較すると，AV と ACVK の正解率が，ANN の正解率を上回っている. ANN 単体より，複数のスコアを組み合わせた手法 の方が正解率は高くなるが AV の方が ACVK より 1 位正解率が高くなっていた. つまり, 本研究で使用 した 3 つのスコアのうち動詞連想概念辞書から得 られるスコアが先行詞の同定において，最も効果が 高いことがわかる. つまり，動詞連想概念辞書は先行詞の同定に直接的な効果が期待できる. 対して,格フレームと共起 GB からそれぞれ得られるスコア は，先行詞の同定に効果があまりみられなかった。 つまり，これらの情報は先行詞の同定に直接的な効果が期待できない.

本研究では先行詞の同定に使用するスコア以外の 要素の影響がないようにしているため, 先行詞候補 はスコアの高さによってのみ決定する。 そして，提案手法も 3 位正解率は, 5 割を超えており 10 位正解率になると 8 割を超えていることからスコアのみで の限界がこの正解率であると考えられる。

## 5 まとめ

本研究では，照応解析における先行詞の同定にお いて，深層格と表層格を組み合わせて利用する手法 を提案した. ANNにより, 先行詞の候補を絞り込 み, 候補の名詞に対して, 動詞連想概念辞書と格フ レーム，共起 GB からそれぞれスコアを求めて組み 合わせることにより先行詞を同定する. 先行詞の同定において，スコアごとの効果の比較, 組み合わせ による正解率を比較した，スコア単体でみると，格 フレームと動詞連想概念辞書は, 先行詞の同定に おいて，ANNより正解率が高いことが確認できた. また，深層格推定による先行詞候補の絞り込みの効果があることが確認できた.

ANN と動詞連想概念辞書を組み合わせた手法が 提案手法の中で最も高い正解率を示した. この手法 は， 1 位正解率が 0.345 で， 3 位正解率だと $0.610 ， 10$位正解率までみると 0.840 であった. 先行詞の同定 において，深層格推定と動詞連想概念辞書の有用性 が確認できた. また，この手法は先行詞の候補を 10 個程度までに絞り込むことが確認できたが，1つに 絞り込むことは，ほとんどできなかった。

今後の課題として, 深層格推定による先行詞候補 の絞り込みの精度向上と新たな先行詞らしさのスコ ア計算方法が考えられる. 深層格推定による先行詞候補の絞り込みによって先行詞が省かれてしまう事例があったため，構文情報などを利用してより正確 な深層格推定，絞り込みを行うこと必要だと考えら れる。また，現在の手法は，候補を絞り込んだ後に 先行詞を 1 つに同定することがほとんどできていな い. 先行詞の候補を 1 つに絞り込むために, 現在考慮していない文中の他の名詞との関連性や構文情報 などの情報を取り入れた先行詞らしさのスコアを考 えることで，先行詞の同定精度の向上を目指すこと が考えられる。

## 謝辞

本研究は JSPS 科研費 JP18K12434 の助成を受けた ものです.

## 参考文献

[1] 寺岡丈博, 東中竜一郎, 岡本潤, 石崎俊. 単語間連想関係を用いた換喻表現の自動検出. 人工知能学会論文誌, Vol. 28, No. 3, pp. 335-346, 2013.

[2] 笹野遼平, 黒橋視夫. 大規模格フレームを用いた識別 モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3328-3337, 2011.

[3] 西念星宝, 谷津元樹, 原田実. 語意類似度を用いた指示代名詞の照応解析システム AnasysD. 知能と情報, Vol. 31, No. 5, pp. 797-807, 2019.

[4] 山城堸太, 西川仁, 徳永健伸. 大規模格フレームによる 解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[5] Takumi Kawasaki and Masaomi Kimura. A Novel Japanese Anaphora Resolution Method Using Deep Cases. In International Symposium on Computer Science and Intelligent Controls (ISCSIC), pp. 129-134. IEEE, 2017.

[6] 国立国語研究所. 『分類語彙表増補改訂版データベー ス』(ver.1.0), 2004.

[7] 林部祐太, 河原大輔, 黒橋禎夫. 格パターンの多様性に 頑健な日本語格フレーム構築. 研究報告自然言語処理 (NL), Vol. 2015, No. 14, pp. 1-8, 2015.


# 過去の対話セッションを考慮した雑談対話システム

高﨑 環 1 佐藤 翔悦 ${ }^{2}$ 吉永 直樹 2 豊田 正史 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学 生産技術研究所
\{takasa-m, shoetsu, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

スマートスピーカーの普及が進み，対話システム とユーザとの雑談が継続的に行われるようになり つつある.そのような環境下では，これまでに行っ た全ての対話の内容を踏まえて，ユーザの知識や情報を把握した上で応答を行うことが望ましい. しか し，現状の深層学習に基づく雑談応答生成では，モ デルの系列長に制限があるため，限られた対話履歴 しか入力することができない，本研究では，膨大な 過去の対話履歴の中から直前の対話履歴と関連度の 高い対話や単語を離散的に選択し，入力に加えるこ との有効性を検証する．実験では，Twitter 上の対話 ログを用いて GPT-2をファインチューニングする際 に，選択された過去の対話履歴を入力に追加して訓練を行い，未知ユーザ同士の対話において提案シス テムの有効性を評価する。

## 1 はじめに

スマートスピーカーの普及が進み，雑談対話シス テムとの会話を継続的に行う機会が増えつつある。 その際に，システムは同一ユーザとの過去の対話の 内容を踏まえ，過去の類似した話題に関する情報 や，個人特有の知識などを考慮した応答を生成する ことが望ましい，具体的には，過去の対話内容を踏 まえて話題を展開したり（図 1), 過去に話した内容 を繰り返さないような応答を生成することが重要で あると考えられる。また，言葉遣いや特有の話題な ど，ユーザの嗜好に即した対話を展開することが期待される。

雑談対話システムにおいて，過去の対話履歴を活用する研究は広く行われてきた. SNS 上の大規模対話ログを模倣するように学習させる深層学習モデ ルが登場した当初は，直前の 1 文のみを発話履歴と して入力する手法 [1] が提案された. その後, 複数文の発話履歴を入力する研究 [2] が登場し，より効果的な学習をするために, 進行中の対話セッション

図 1 過去の対話セッションに手がかりを得た応答生成

の履歴について, 複数の発話をトークン単位・発話単位の 2 階層に分けて処理を行う研究 [3] が提案さ れた。しかし，アーキテクチャの階層化にも限度は あり，対話履歴が膨大な場合は全てを処理すること は難しい. また，これまでの研究では，現在の対話 セッションを超えるような長い対話履歴をモデル に入力した際に，応答生成に及ぼされる効果につい て，十分に検証されていない。

本研究では，雑談対話システムの応答生成におい て，直前までの対話セッションの履歴に加え，過去 にそのユーザと話した対話セッションから得られる 情報を付与することの有用性を検証する（図 1)。モ デルの入力長制限の問題を解決するために，直前の 会話履歴をクエリとして関連度の高い過去の対話の 選択や，ユーザ特有の単語の抽出を行うことで，大規模な対話セッションの情報から重要な情報を離散的に選択した。

実験では，Twitter から収集された対話ログを使用 ᄂ, GPT-2 [4] のファインチューニングを行なった.訓練データに登場していない未知のユーザ同士の対話を用い，自動評価と人手評価によって提案手法を 検証した。

## 2 関連研究

大規模な対話ログからの学習に基づく雑談対話シ ステムでは，運用を通じて獲得できる対話履歴を発話の改善に使用したり $[5,6]$, 対話履歴から知識を 獲得したり $[7,8]$ する研究が行われてきた.

Hancock ら [5] は，雑談対話モデルの運用中に収集した対話ログを用いてモデルを再訓練し，応答性能を継続的に改善する研究を行なった.この研究で は複数人のユーザからの対話ログを収集するが。対話ログを共有する際は，プライバシーの観点で，使用可能な情報に制限がかかる. 一方，本研究では個人の対話の中で動的に生の対話ログを参照するた め，より多くの情報を使用できると考えられる。

現在の対話セッションと異なる対話の情報を利用 して応答を生成する研究として，Examplar を用いた ものがある，Pandey ら [6] は，学習データから類似 した対話を TF-IDFをもとに検索し，応答生成に使用することで，より情報量が多く多様な応答が生成 できたと主張した.この研究では，ユーザを制限せ ず追加する対話セッションを選択するが，本研究で は特定ユーザ間での対話セッションに制限する。

Mazumder ら [7] は，知識べースを参照した質問応答において，知識ベースにない情報をユーザに問 い, 未知の知識を更新し, 以降の応答生成に使用す る手法を提案した。この手法では限られた状況での 質疑応答を対象としており, 応答はトリプレットを 基に作成される簡潔なものである一方で，本研究で 扱うのは雑談応答生成モデルである.

$\mathrm{Wu}$ ら [8] の研究では, 対話履歴から個人特有の 情報をトリプレットで獲得する.この研究の知識獲得の対象はユーザ属性のみであるが，継続的にユー ザ特有の知識を蓄積し，動的に参照する対話システ 么の研究に有用であると主張している. 本研究にお いても，継続的に獲得可能な対話履歴から個人に有用な情報を入力する手法をとっており，関連性が高 い. 一方で, 本研究の場合は個人情報の使用にとど まらず，話題の繰り返しを避けるなど，より広範な 問題をターゲットにしている.

## 3 提案手法

## 3.1 課題

本研究では，雑談対話システムを大規模コーパス で訓練する際に，進行中の対話セッション内の履歴
だけでなく, 過去の対話セッションの履歴も使用す る手法を提案する。この手法では，特定の 2 ユーザ 間の対話をユーザと雑談対話システムと見做し，そ の過去の対話を継続的に行われた対話履歴として使用する.

膨大な対話履歴を扱う必要がある一方で，高性能 なモデルアーキテクチャには，通常は系列長の制限 がある. 入力される系列長に対して線形以上のオ一 ダの計算量が必要である以上，長い系列長は短縮し て入力しなければならない．また，全ての過去の対話履歴が，現在の対話セッションにおける発話生成 に有効ではないため. モデルの最適化が難しくなる 可能性がある．そこで，既定の検索手法を用いるな どの帰納バイアスによって，入力長の圧縮を行う手法が考えられる。

## 3.2 対話セッションの選択・圧縮

入力する過去の対話セッションを選択または圧縮 するために，本研究では二つの手法を提案する。一 つ目は直前の対話履歴をクエリとして，関連する過去の対話セッションを選択する手法（図 2) で，話題の繰り返しを避けるなど，過去の対話を踏まえた 対話を行うことを期待する。二つ目は話者特有の情報を抽出する手法（図 3）で，話者の口癖や頻繁に 出す話題など，個人特有の情報を考慮することを狙 いとしている.

## 3.2.1 現在の対話と関連する過去の対話履歴の選択

継続的な会話を行う際，対話セッションを跨ぐよ うな文脈も考慮し, 同じ話題を繰り返さないなど，長距離文脈を適切に考慮した応答を生成することが 望ましい，しかし，膨大な履歴を全て入力するのは 困難なため，過去の対話セッションのうち，進行中 の対話と関連性の高いものを選択する必要がある. これを実現するために，同じ 2 ユーザ同士の過去の 対話セッションをベクトルで表現し，進行中の対話 セッションとのコサイン類似度が最も高いものを選択する。対話セッションのベクトルは, 出現単語に ついて，その対話セッション中の出現回数 TF と,同ユーザ間の全対話セッション中での単語の希少性 IDF を計算し掛け合わせることで算出され，語彙毎 のスコアを用いて表現される。

過去の対話セッションを選択後，現在の対話セッ ションの履歴とともにモデルに入力する., 現在の 対話セッションの履歴のうち $i$ ターン目の発話を

図 2 過去の対話セッションを選択・入力するモデル $\boldsymbol{u}_{i}=\left(u_{i, 1}, u_{i, 2}, \ldots\right)$, 選択された対話セッションのう ち $i$ ターン目の発話を $\boldsymbol{h}_{i}=\left(h_{i, 1}, h_{i, 2}, \ldots\right)$ としたと き，モデルへの入力は,

$[\mathrm{HEAD}] h_{1,1} \ldots h_{m, l_{m}}[\mathrm{EOH}] u_{1,1} \ldots u_{n, l_{n}}$ [EOS]

とした. ここでの $[\mathrm{EOH}]$ トークンは，過去の対話 セッション履歴の終了を表すトークン，[EOS]トー クンは，現在の対話セッション履歴の終了を表す トークンとする. また，[HEAD] トークンは二種類存在し，最初の話者がユーザ側かシステム側かによっ て使い分けることで，過去の対話セッション上の話者情報を提供する。

## 3.2.2 ユーザ特有の重要語の抽出

この手法では，特定ユーザ同士の過去の対話セッ ションの全てから，話者特有の重要語を抽出し. モ デルの入力に加える（図 3). Fikri ら [9] は，生成さ れる応答の多様性を高めるために，ユーザのツイー 卜から抽出される重要語を入力に加えているが，本手法では，過去の対話セッションから抽出された重要語を入力に加えることで，個人特有の話題や語彙 を考慮した応答が生成されることを期待する。

そこで，あるユーザの対話履歴の各単語につい て，重要度を算出する。具体的には，特定の 2 ユー ザ間での対話セッション履歴を全て結合し，一つの 文章と考え，訓練データ中での TF-IDF 值を計算す る. そして，2 ユーザ間での対話において，TF-IDF 値が高い単語を重要語とみなし, 特定個数選択す る.この個数については，対話履歴の単語の $25 \%$ 以下かつ，50 個以下となるようにした。選択された重要語を $\boldsymbol{w}_{i}=\left(w_{i, 1}, w_{i, 2}, \ldots\right)$ とした時，モデルの入力 は, $h_{1,1} \ldots h_{m, l_{m}}$ [EOW] $u_{1,1} \ldots u_{n, l_{n}}$ [EOS] とした. ここで の [EOW] トークンは，重要語の終端を表すトークン である.

図 3 ユーザ特有の重要語を入力するモデル

## 4 実験設定

本研究の提案手法とベースラインに対して自動評価と人手評価を行い，応答生成の性能を比較した。

## 4.1 データセット

本研究では，我々の研究室で Twitter $\mathrm{API}^{11}$ を用い て収集した Twitter データセットから対話データ セットを構築した. Twitter 上でのリプライツリーを 一連の対話セッションとみなし，2 人のユーザが交互に発話する対話のみを使用した。このうち，bot との対話や，画像データや URL を含むものを除外 し，同一ツイートから枝分かれしている対話は最長 のもののみを使用した。また，対象ユーザは過去の 対話セッションが 2〜9 件存在するものに限定した.今回は，2018 年のデータを訓練・検証データ，2019 年のデータを評価データとし，訓練データに出現し たユーザを評価データから除外した，最終的に，訓練・検証・評価データの特定のユーザペアの数は それぞれ 957,799 件，50,411 件，10,901 件であった。最も新しい対話セッションを進行中の対話，それ以外を過去の対話セッションとし，1 組のユーザペア あたり 1 つの発話応答のサンプルを作成した. 人手評価の際には，アノテータが現在の対話セッション から必要な情報を推測しやすいように，未知語を含 む対話や，ツイートへのリプライで開始されるもの を除外した。また，コストの問題から，評価データ のうち対話セッションを抽出した際の類似度が 0.20 以上のサンプルから 100 件，それ未満のサンプルか ら 100 件選択したデータセットを使用した. 抽出時 の類似度別に評価を行い，発話履歴に類似した対話履歴が応答生成により効果的であるかを検証する。

表 1 自動評価の結果

## 4.2 モデル

先述した提案手法をもとに，GPT-2 [4] の日本語版事前学習済みモデルである, rinna/japanesegpt2-small 2) を最大 3 エポック分ファインチュー ニングした. 入力を直前までの対話履歴のみと し, 同様にファインチューニングを行なったモ デルをべースラインとした. モデルの実装には， huggingface/transformers [10] ライブラリを用いた.評価時の生成応答を多様にするため, 累積確率を 基にした top-p [11] サンプリングを採用した。この 時の $\mathrm{p}$ の値は 0.9 とした. また，対話セッションの 選択や自動評価の際のトークン化には MeCab [12] を用い，GPT-2 のファインチューニングの際には， rinna/japanese-gpt2-small の事前学習で使用される トークナイザーによってトークン化を行った.

## 4.3 評価尺度

生成応答に対し，自動評価および人手評価を行 う. 自動評価指標としては，参照応答との類似度 を測定する BLEU [13], 応答の多様性を測定する dist-n [14]，応答の平均長を用いた.

人手評価では，過去の対話セッションを選択する 提案手法とベースライン間での性能比較を行った. 3 人のアノテータ（著者を含まない大学院生）が, 直前までの発話履歴と選択された過去の対話セッショ ン履歴を踏まえた上で，ベースラインと提案手法の どちらの応答が妥当かを選択した. その上で，提案手法による応答が妥当と選択された問題数が，妥当 でないと選択された問題数に対してどの程度大きい かを示すゲインを測定し，95\%信頼区間を求めた.

## 5 実験結果

## 5.1 自動評価

表 1 に自動評価による結果を示す. 過去の対話 セッションの情報を付与した 2 つの提案手法はべー

表 2 人手評価の結果
スラインに比べ，高い BLEU-2を達成した．提案手法はより参照応答に似た応答を生成すると考えられ る. 生成応答の単語の多様性を測定する dist-2 にお ける評価では，いずれの提案手法でもベースライン を若干下回った。また，提案手法が生成する応答は トークン数が若干多かった。これは，過去の対話の 情報にのみ登場する，音符や三点リーダなどの語尾 やユーザの名前といった追加情報を取り入れ，応答 を生成する傾向が観測されたことと，関連があると 考えられる。

## 5.2 人手評価

表 2 に人手評価による結果を示す. 表に掲載され ている全てのゲインが正であることから．提案手法 がべースラインに比べ，妥当な回答だと選択されて いることがわかる. また，提案手法において対話 セッションを選択した際に，現在の対話との類似度 が低いサンプルについての性能に比べ，類似度が高 いサンプルの方が性能が高いことがわかる。この結果から，現在の対話に関連した過去の対話の情報 が，応答生成に有用な情報を与えていると考えられ る. なお，3人のアノテータの評価について，フラ イスのカッパ係数を用いて相関を測定したところ， 0.3866 とやや低い值となった. これは，挨拶のやり とりなど，過去の対話セッションを用いても応答に 差がつきにくく, 妥当性の判断が難しい対話が含ま れていたためと考えられる。

## 6 おわりに

本研究では，膨大な過去の対話セッションから有用な情報を離散的に選択し，応答生成を行う雑談対話システムを提案した。進行中の対話セッションの 履歴に加え, 過去の対話セッションから関連性の 高いものを選択，もしくは重要語を抽出し， GPT-2 のファインチューニングの入力とした. 実験では, Twitter 上の対話ログを用いて訓練を行い，生成され た応答に対し自動評価および人手評価によって，過去の対話履歴が発話生成に及ぼす効果を検証した。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を 受けています. また，人手評価にご協力くださった 同研究室のメンバーに深く感謝申し上げます.

## 参考文献

[1] Lifeng Shang, Zhengdong Lu, and Hang Li. Neural responding machine for short-text conversation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1577-1586, Beijing, China, July 2015. Association for Computational Linguistics.

[2] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[3] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-toend dialogue systems using generative hierarchical neural network models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 3776-3783. AAAI Press, 2016.

[4] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[5] Braden Hancock, Antoine Bordes, Pierre-Emmanuel Mazare, and Jason Weston. Learning from dialogue after deployment: Feed yourself, chatbot! In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3667-3684, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Gaurav Pandey, Danish Contractor, Vineet Kumar, and Sachindra Joshi. Exemplar encoder-decoder for neural conversation generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1329-1338, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Sahisnu Mazumder, Bing Liu, Shuai Wang, and Nianzu Ma. Lifelong and interactive learning of factual knowledge in dialogues. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pp. 2131, Stockholm, Sweden, September 2019. Association for Computational Linguistics.

[8] Chien-Sheng Wu, Andrea Madotto, Zhaojiang Lin, Peng $\mathrm{Xu}$, and Pascale Fung. Getting to know you: User attribute extraction from dialogues. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 581-589, Marseille, France, May 2020. European Language Resources Association.

[9] Abdurrisyad Fikri, Hiroya Takamura, and Manabu Okumura. Stylistically user-specific response generation. 自然言語処理, Vol. 28, No. 4, pp. 1116-1140, 2021.

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[11] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.


# 知識グラフに基づく応答文生成におけるエンティティ名制約付きデコーディング

佐良和孝 滝口哲也 有木康雄
神戸大学大学院システム情報学研究科
203x110x@gsuite.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

近年，生成ベースの雑談対話システムにおいて，対話履歴のみではなく，検索してきた外部知識を参照することで，情報に富んだ応答文の生成が可能と なっている. しかしながら，既存の生成手法では，検索してきた知識を利用せず応答文を生成してしま う場合がある．本研究では，外部知識として知識グ ラフを用いた応答文生成モデルにおいて，検索して きた知識の利用を促す手法として，エンティティ名制約付きデコーディングを提案する. デコーディン グの際に，知識に関する語彙を生成する場合は，検索した知識に含まれるエンティティ名のみを生成す るように制約をかけることで，検索した知識の利用 を促す. 自動評価の結果，提案手法は既存手法と比較し，検索してきた知識をより多く利用できている ことが分かった.

## 1 はじめに

雑談対話 AI の画期的な課題は，ユーザーに対し て単に一般的な文章を応答するのではく, より情報 や知識に富んだ応答を行うことである。その際に，生成する応答文に含まれる情報や知識が正しいこ とが求められる. 近年では, 応答生成を学習する際 に，対話履歴のみではなく，外部から検索してきた 知識を入力しながら学習を行うことで，正しい知識 を含んだ，情報に富んだ応答の生成が可能になって いる [1]. このような形で学習を行うことで，知識自体をモデルのパラメータに保持するのではなく，検索してきた知識を利用しながら応答文を生成する 仕組みをパラメータに保持することができる。これ により，事実知識に反する尤もらしい文を生成しま う「Hallucination」といった問題を軽減することが でき [2]，さらには，学習データに含まれていない，表 1 知識グラフに基づく対話の例

知識グラフ

新たな知識を用いた応答文の生成が，モデルの再学習を必要とせず可能になるといった利点がある.

しかしながら，既存の応答文生成モデルは，参照 すべき知識が与えられているにも関わらず，その知識を用いることができない，もしくは，間違った使 い方をしてしまうといった現象があることが報告さ れている [3].

本研究では，知識グラフを外部知識として用いる 応答生成モデルが，検索してきた知識をより利用す るよう促すための手法として，エンティティ名制約付きデコーディング (ENCD: Entity Name Constrained Decoding) を提案する． ENCD は，デコーディング時 に，モデルが知識に関する語彙を生成しようとした 場合，参照している知識に含まれるエンティティ名 のみを生成するように，モデルが出力する確率分布

図 1 Entity Name Constrained Decoding

に対し, 制約を行う. 提案手法は, 学習データに対 する簡単な処理と，デコーディング時の処理のみを 含んでいるため，多くのモデルに適用可能である.

自動評価を用いた比較実験の結果，提案手法は既存の手法と比較し，より多くの参照知識を利用でき ていることが分かった. また，提案手法は，既存手法と比較して，より正しい知識の用い方を学習でき ている可能性があることを示した。

## 2 知識グラフに基づく応答文生成

知識グラフに基づく対話例を表 1 に示す. 知識 グラフに基づく応答文生成は, 知識グラフから検索された，応答生成の際に参照する知識トリプル $T=\left(t_{1}, t_{2}, \ldots, t_{n}\right)$, 対話履歴 $D=\left(d_{1}, d_{2}, . ., d_{m}\right)$, 応答文 $r$ を用いて式 1 のように定義できる。 $\theta$ は学習され るパラメータである.

$
P_{\theta}(r \mid D, T)=P\left(r \mid d 1, d 2, . ., d_{m}, t_{1}, t_{2}, . . t_{n}\right)
$

近年では，事前学習済み言語モデルに対して，対話履歴と知識トリプルを繋ぎ合わせ 1 つのテキスト として表現したものを入力し，応答文を生成するよ うにファインチューニングすることでモデル化を行 う手法が広く用いられている. [4,5]. このようにし て学習されたモデルは，与えられた知識トリプルを 参照しながら応答文を生成することが可能である ため，間違った知識を生成するような現象を防いだ
り，学習データに含まれないような新たな知識を用 いた応答文の生成が可能になる。

## 3 提案手法

提案手法である ENCD は「エンティティタグ付き 学習」と「エンティティ名制約モジュール (ENCM: Enity Name Constraint Module)」の 2 つの要素で構成 される. 1 つ目は学習段階で適用されるものであ り，2つ目はデコーディング段階で適用されるもの である。それぞれの要素について詳しく述べる。

## 3.1 エンティティタグ付き学習

ENCD はデコーディングの段階で，モデルが知識 に関する語彙を生成する場合，参照する知識トリプ ルに含まれるエンティティの名称のみを出力するよ うに制限する手法である。しかしながら，従来の学習方法で学習されたモデルは，デコーディングのど のタイムステップで知識に関する語彙を生成しよう としているのかを明示的に知ることは難しい. そこ で, 本研究では, この問題に対処する手法として, エンティティタグ付き学習を提案する.

この手法は，学習データの応答文において，参照 する知識トリプルに含まれるエンティティ名の前後 を"["と"]"で囲うようにタグを挿入する。アノテー ションの具体例を表 2 に示す. 学習の際は，挿入し たタグも含めて生成を行うように学習を行う。これ によって，モデルは知識を参照する際には"["トーク

$d+t_{2}$

$r_{2}$

2. 参照知識の一部を変更したものを入力とし応答文を生成

4. BLEUを用いて類似度を計算

図 2 Entity Replace Sentence Score の算出手順

表 2 エンティティタグの挿入例

 \\

応答文 & in [ 1943 ] called [ A Tree Grows In Brooklyn ] \\

ンを,参照が終わると"]"トークンを生成するように モデルを学習することが可能になり，デコーディン グ時に，どのタイムステップで知識に関する語彙を 生成しょうとしているかが判別できるようになる。今回の実験では，エンティティタグの挿入処理に，文字列マッチングを用いた。

## 3.2 エンティティ名制約モジュール (ENCM)

先ほど述べた，エンティティタグ付き学習を行う ことで，デコーディングの際に，現在のステップで， モデルが知識トリプルを参照しているかどうかが明示的に分かるようになる. そこで，モデルが知識卜 リプルを参照している場合は，ENCMを用いて，卜 リプル内に含まれるエンティティ名のみを生成でき るように, モデルが出力する確率分布に制約を加え る. 提案手法の全体図を図 1 に示す.

## 4 実験設定

## 4.1 データセット

学習と評価には, OpendialkG[6]を用いた. 91K の マルチターンの会話からなり，それぞれが，タスク 指向 (推薦) の会話，または与えられたトピックに 関する雑談の会話である. それぞれの発話は, 話者 が発話をする際に、知識グラフ上のどのトリプルを 参照したかがアノテーションされている. 知識グ ラフには freebase[7] のサブセットが用いられてお
り，100,813 個のエンティティ， 1,358 種類のエッジ， $1,190,658$ 個のトリプルで構成されている. データ の中には，発話の際に知識を参照していないような ものがあるため，今回の実験ではそれらは前処理と して取り除き, $80 \%$ を学習データ, $10 \%$ を開発データ. 10\%をテストデータとして用いた.

## 4.2 評価指標

モデルが知識を用いながら応答を生成できている か, 3 つの自動評価手法を用いて評価を行った。

BLEU[7] モデルが生成した応答文と，真の応答文との間で評価を行う．真の応答文は，モデルが参照する知識グラフと同じものを，人間が参照しなが ら応答したものである.

Entity Score モデルが生成した応答文の中に，参照した知識トリプルを構成するエンティティが，ど れほど含まれているかで評価を行う。

Enity Replaced Sentence Score ただ単に知識を 利用するのではなく，モデルがどれほど知識の用い 方を学習しているかを評価するため，新たな評価指標として ERSS: Entity Replacement Sentence Score を 提案する。モデルが知識をそのまま記憶しているの ではなく, 知識の利用方法を学習できている場合,与える対話履歴をそのままにして，与える知識トリ プルの一部を変更してモデルに入力すると，変更さ れた知識に対応する部分のみが変化した応答文が生成されるはずである。図 2 に提案する評価手法の全体図を示す。

はじめに，評価対象の学習済み応答文生成モデル に対して, 対話履歴 $d$ と参照する知識トリプル $t 1$ を 入力し, 応答文 $r 1$ を生成する. 次に, $d$ と, 知識卜 リプル $t 1$ の一部を，別のエンティティに置き換えた $t 2$ を入力とし, 応答文 $r$ を生成する. そして, 置換 されたエンティティに対応する $r 1$ 中のスパンを特定し，新たなエンティティに置き換えることで $r 3$ を
表 3 応答文生成例. ENCM を用いることで，間違った知識を用いずに応答を生成することができている.

 \\

生成する。最後に $r 2$ と $r 3$ の一致度を BLEU スコア を用いて算出することで，最終的な評価値を得る。

今回の実験では，エンティティを置換する方法と して，2 通りの手法を用いる。1 つ目は，同じ属性 を持つエンティティに置き換えるものである．例え ば，"Japan"というエンティティを置換する際は, 同 じ，国の属性を持つ，"America"や"Germany"といっ たエンティティに置き換える。 2 つ目は，エンティ ティの属性を考慮せず，ランダムに置き換える。本研究において, 前者を ERSS-1, 後者を ERSS-2 と する。

## 4.3 ベースライン

応答文生成モデルとして，事前学習済み言語モデ ル T5[8] の small モデルをファイン・チューニング したものを用いて，通常のデコーディング手法で応答文を生成するものをベースラインとして用いる.

## 4.4 実装

ベースライン，提案手法ともに，Python の OSS ライブラリ, Transformersを用いて実装を行った.最適化手法は AdamW[9], 学習率 1e-3, バッチサイズ 16 で学習を行い，推論時はビーム幅 3 でビームサー チを行った。

## 5 実験結果

実験結果を表 4 に示す. 表から分かる通り，従来手法 (T5-small) と比較し，全ての指標で提案手法が 優れていることが分かる. アブレーション・スタ ディとして ENCM を用いない場合，すなわち，学習段階でエンティティタグを挿入するが，デコーディ ング時は通常のデコーディング手法を用いる場合 についても評価を行った. その結果，ENCMを用い表 4 実験結果

ない場合でも，従来手法と比較し優れていることが 分かり，学習段階でのエンティティタグの挿入が, モデルの学習に大きな影響を与えていることが分 かる．詳しい理由はまだ解析できていないが，エン ティティタグを挿入することで，応答文生成の際に 知識を参照するステップとそれ以外のステップの 切り替えをうまく学習できていることが要因であ ると考えている. この原因特定については今後の課題である．ENCM を用いる場合と用いない場合の比較では，自動評価の観点から見ると，ほぼ同じで あるが，表 3 に示す，実際の生成例を見てみると， ENCM を用いることで，エンティティ名を間違って 出力することを防ぐことが出来ている．このことが ENCM を用いた場合の Entity Score に表れていると 考えられる。

## 6 おわりに

本研究では，知識グラフに基づく応答文生成にお いて，検索してきた知識の利用を促す手法として ENCD を提案した. 自動評価の結果，従来手法と比較し，より多くの検索知識を利用できていることが 分かった. また，提案手法は正しい知識の利用方法 を学習できている可能性があることを示した.

## 謝辞

本研究の一部は,JSPS 科研費 JP21H00906 の支援を 受けたものである.

## 参考文献

[1] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internetaugmented dialogue generation, 2021.

[2] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation, 2021.

[3] Nouha Dziri, Andrea Madotto, Osmar Zaiane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding, 2021.

[4] Yu Li, Baolin Peng, Yelong Shen, Yi Mao, Lars Liden, Zhou Yu, and Jianfeng Gao. Knowledge-grounded dialogue generation with a unified knowledge representation, 2021.

[5] Andrea Madotto, Zhaojiang Lin, Yejin Bang, and Pascale Fung. The adapter-bot: All-in-one controllable conversational model, 2020

[6] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, $\mathrm{ACL}$ ' 02 , USA, 2002. Association for Computational Linguistics.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[9] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2019.