# 埋め込み表現の意味適応による知識ベース語義曖昧性解消

水木栄
東京工業大学情報理工学院
sakae.mizuki@nlp.c.titech.ac.jp
}

岡崎直観
東京工業大学情報理工学院
okazaki@c.titech.ac.jp

## 概要

知識ベース語義曖昧性解消（WSD）の有望な方法論は，文脈依存埋め込みによる埋め込み空間上で 対象単語に最も近い語釈文の語義を選ぶことであ る. 本研究では, 語彙知識を用いて埋め込み表現を WSD に適応させる手法を提案する. 提案手法の鍵 は，関連する語義対および語義・用例対を近づけ て，無関連な語義対および異義対を遠ざけることで ある.これらを実現するため，吸引・反発学習およ び自己学習を用いる。提案手法は知識べース WSD の最高精度を達成した. また分析により, 両学習を 併用する有効性を確認した。

## 1 はじめに

語義曖昧性解消（WSD）とは，文脈を考慮して適切な語義を選択するタスクである．WSD の用途は 評判分析 $[1,2]$, 情報検索 [3], 機械翻訳 [4] がある.本研究は, WordNet [5] の語彙資源のみを用いる知識ベース WSD の精度向上に取り組む. 知識ベース WSD は教師あり WSD に対して精度面で劣るが，高 コストな語義注釈付き用例文を用いずに済む.

知識ベース WSD の有望な方法論は，文脈依存埋め込みによる最近傍法である [6]. 具体的には， BERT [7] などの事前学習ずみ言語モデルを用いて，語釈文の埋め込み一語義埋め込み一および，用例文内の対象単語の埋め込み一文脈埋め込み一を計算 し，文脈に最も近い語義を選択する。最近傍法の鍵 は，語釈文と用例文の対応付けである。すなわち埋 め込み空間上で正しい語義・用例対を近づけ，WSD に適応させたい. 語義注釈付き用例文を用いず，語彙資源のみで対応付けを改善できるだろうか?

既存研究ではふたつの改善策がある. ひとつは語彙知識による埋め込み表現の適応である. SREF [6] は，意味的に関連する語義対の埋め込みを近づけて 精度を改善した. しかし関連しない語義対や，語義・用例対は活用していない，もうひとつは文脈情

a) 吸引・ 反発学習

d) 適応後の理想

b) 自己学習

c) 距離制約図 1 提案手法の概要. BERT の語義・文脈埋め込みを変換して適応させる (上). 変換関数の最適化は，距離制約 のもとで，吸引・反発学習と自己学習を併用する（下）.

報の拡張である。COE [8] は，評価文書内の隣接文な どを用いて最高精度を達成した。しかし，SNS 短文 などの文単体には適用できず，汎用性に欠ける。

本研究は，BERT 埋め込みを変換してWSD に適応させる手法（図 1）に取り組む. 本研究の提案の 核心は，関連する語義対および語義・用例対を近づ け，関連しない語義対および異義対は遠ざけること である。具体的には，距離制約のもとで，吸引・反発学習（図 1-a) および自己学習（図 1-b）を行う.前者は語義間の識別性を，後者は語義と用例の擬似的な対応付けをそれぞれ学習する. 提案手法の主 な新規性は，知識ベース WSDへの吸引・反発学習 の適用および自己学習の併用である。埋め込み表現の意味適応手法の総称 [9] に準じて，提案手法を Semantic Specialization for WSD (SS-WSD) と呼ぶ.

実験の結果，提案手法の精度は従来の埋め込み表現適応法を上回った. また既存研究で有効とされる 最近傍語義探索の経験則を併用すると，文書の情報 を用いずに現時点の世界最高精度を達成した. 本研究の貢献は次の 2 点である. 文単体に適用可能な,吸引・反発学習と自己学習の併用による新手法の提案. 知識ベース WSD の最高精度の達成.

## 2 既存研究

## 2.1 知識ベース WSD

知識ベース WSD では古くから語釈文と用例文の 類似性が使用されている [10]. また BERT 埋め込み は文脈を考慮して疎粒度の語義を捉えるとの報告が ある [11,12]. かかる背景のもと, SREF [6] は BERT 埋め込み表現による最近傍法および，上位下位語義等との加重平均による語義埋め込み適応の有効性を 報告した.これを発展させた COE [8] は, 評価文書内 の隣接文や共起語義1)による文脈埋め込みを併用し て最高精度を達成した. 本研究は文書情報を用いず に，これらを上回る埋め込み表現適応を提案する。

## 2.2 埋め込み表現の意味適応

語彙資源に含まれる知識を事前学習ずみの埋め 込み表現に注入して意味適応させる手法は Semantic Specialization (SS) と総称される. SS の目的は, 文脈類似性に基づく意味的類似度と，語彙資源に基づく 詳細な意味関係の統合である [9]. 先行研究 $[9,14]$ は，上位下位・対義などの関係知識を用いて静的な 単語埋め込みを意味適応させ，単語間意味関係識別 タスクでの有効性を報告した. 本研究は，文脈依存埋め込みの意味適応によるWSDに取り組む。

## 3 提案手法

## 3.1 埋め込み表現の意味適応による WSD

提案手法は，BERTによる埋め込みを変換する。

$
\begin{aligned}
\mathbf{v}_{w} & =H_{w}\left(\hat{\mathbf{v}}_{w}\right) \\
\mathbf{e}_{s} & =H_{s}\left(\hat{\mathbf{e}}_{s}\right)
\end{aligned}
$

入力 $\hat{\mathbf{v}}_{w}$ および $\hat{\mathbf{e}}_{s}$ は BERT を用いて計算した文脈 $w$ および語義 $s$ の埋め込み, 出力 $\mathbf{v}_{w}$ および $\mathbf{e}_{s}$ は適応 ずみ埋め込み, $H_{w}$ および $H_{s}$ は変換関数である. 訓練時は，変換関数を学習する。具体的には $\mathbf{v}_{w}$ およ び $\mathbf{e}_{s}$ を使って吸引・反発学習および自己学習の損失加重和を最小化する．BERT 自体はファインチュー ニングしない. 埋め込みそのものを適応させるので はなく，変換関数を学習することで，任意の文脈埋 め込みを処理できるようにする．推論時は，変換し た（適応ずみの）埋め込みを用いて最近傍の語義を 選ぶ. 具体的には，曖昧性を解消する単語 $w$ および

候補語義 $s^{\prime} \in \mathcal{S}_{w}$ の埋め込みをそれぞれ変換してか ら, cosine 類似度が最大の語義 $s^{*}$ を選択する。

$
\begin{aligned}
s^{*} & =\underset{s^{\prime} \in \mathcal{S}_{w}}{\arg \max } \rho_{w, s^{\prime}} \\
\rho_{w, s} & =\cos \left(\mathbf{v}_{w}, \mathbf{e}_{s}\right)=\frac{\mathbf{v}_{w} \cdot \mathbf{e}_{s}}{\left.\|\mathbf{v}_{w}\right.\|\left.\|\mathbf{e}_{s}\right.\|}
\end{aligned}
$

訓練および推論に必要な語彙資源は WordNetから 取得する。語義の識別子は sense key である. BERT による文脈・語義埋め込みの計算方法は, 先行研究 [6] にならう (付録 B). 語義埋め込みの計算には レンマ・同義語・語釈文・例文の連結を使用する.

## 3.2 変換関数

埋め込みを適応させる変換関数（式 2）は，順伝播型 NN（FFNN）による残差接続で定式化する2).

$
\begin{gathered}
\mathbf{v}_{w}=H_{w}\left(\hat{\mathbf{v}}_{w}\right)=\hat{\mathbf{v}}_{w}+\epsilon\left.\|\hat{\mathbf{v}}_{w}\right.\| F_{w}\left(\hat{\mathbf{v}}_{w}\right) \\
\mathbf{e}_{s}=H_{s}\left(\hat{\mathbf{e}}_{s}\right)=\hat{\mathbf{e}}_{s}+\epsilon\left.\|\hat{\mathbf{e}}_{s}\right.\| F_{s}\left(\hat{\mathbf{e}}_{s}\right) \\
F_{w}(\cdot)=2 \sigma\left(\operatorname{FFNN}_{w}(\cdot)\right)-1 \\
F_{s}(\cdot)=2 \sigma\left(\operatorname{FFNN}_{s}(\cdot)\right)-1
\end{gathered}
$

$\sigma$ はシグモイド関数である. $\epsilon$ は変換による移動 を調整するハイパーパラメータである。具体的に は，変換前の BERT 埋め込みからの相対 L2 距離を $\left.\|\mathbf{v}_{w}-\hat{\mathbf{v}}_{w}\right.\| /\left.\|\hat{\mathbf{v}}_{w}\right.\| \leq \epsilon \sqrt{N_{d}}$ に抑える ${ }^{3)}$. この距離制約 の意図は，自己学習の促進である，BERTによる類似度特性を適度に保つことで，語義・用例の不正確 な対応付けによる精度低下の悪循環を回避する. 距離制約の有効性は実験的に検証する（§ 5.2）.

## 3.3 訓練の目的関数

訓練時の目的関数は，吸引 - 反発学習損失 $L^{\mathrm{AR}}$ お よび自己学習損失 $L^{S T}$ の加重和である.

$
L=L^{\mathrm{AR}}+\alpha L^{\mathrm{ST}}
$

$\alpha$ は自己学習の重要度を制御するハイパーパラメー タである。両学習を併用する動機は，相互補完的な 役割にある。吸引・反発学習は語義間の識別性に寄与するが，語義・用例対への教師信号はない。一方 で自己学習（§ 3.3.2）は語義・用例対への教師信号 を提供するが，単体では BERT が既に対応付けた語義・用例対を強化するのみで新規の情報は限られる はずである。その効果は実験的に検証する（§ 5.1）.

2）層数は 2，活性化関数は ReLU とする.

3）残差接続 $F$ の出力は各次元要素が $[-1,1]$ に制約されるた め. $N_{d}$ は次元数. bert-large-cased では $N_{d}=1,024$.

## 3.3.1 吸引・反発学習

吸引・反発学習に用いる語義対は，WordNet の意味関係知識から作成する. 具体的には語義 $s$ に対し $\tau$, 関連 $\delta_{s}^{P}$, 異義 $\delta_{s}^{N}$, 無関連 $\delta_{s}^{U}$ の 3 種類の語義集合を取得する． $\mathcal{S}_{S}^{P}$ は同義や上位下位など，意味関係でつながる語義である. 正確な定義は先行研究 [6] に従う（付録 A）. $\delta_{s}^{N}$ は共通のレンマを持つ異 なる語義である ${ }^{4)} . \delta_{s}^{U}$ は乱択した語義である. 語義の統計量を付録表 5 に示す.

吸引・反発損失 $L^{\mathrm{AR}}$ の定式化は，対照損失を用い る. 具体的には語義 $s$ に対して, 関連 $\delta_{s}^{P}$ を近づけ て，異義 $\delta_{s}^{N}$ および無関連 $\delta_{s}^{U}$ を遠ざける.まず，乱択ミニバッチ内の語義 $s \in \mathcal{S}^{B}$ を所与とする. 次 に $s$ を除いたものを無関連 $\mathcal{S}_{S}^{U}=\mathcal{S}^{B} \backslash\{s\}$ とする. 同様に $s_{p}$ は $\delta_{s}^{P}$ から 1 個を乱択， $\tilde{S}_{s}^{N}$ は $\delta_{s}^{N}$ から最大 5 個を乱択する。 $L^{\mathrm{AR}}$ の定義は以下のとおり ${ }^{5)}$.

$
\begin{gathered}
L^{\mathrm{AR}}=-\sum_{s \in \mathcal{S}^{B}} \ln \frac{\exp \left(\beta \rho_{s, s_{p}}\right)}{\sum_{s^{\prime} \in\left(\left.\{s_{p}\right.\} \cup \mathcal{S}_{s}^{U} \cup \tilde{\mathcal{S}}_{s}^{N}\right)} \exp \left(\beta \rho_{s, s^{\prime}}\right)} \\
\rho_{s, s^{\prime}}=\cos \left(\mathbf{e}_{s}, \mathbf{e}_{s^{\prime}}\right)
\end{gathered}
$

## 3.3.2 自己学習

自己学習に用いる語義 - 用例対は, WordNet の語義目録から作成する. 具体的には，対象単語 $w$ のレ ンマ・品詞ペアに紐づく語義の集合 $S_{w}$ を取得する.

自己学習損失 $L^{\mathrm{ST}}$ の定式化は，用例に最も近い語義との類似度を最大化する. すなわち, 最近傍語義 を擬似的な正解とする学習である. 具体的には，用例文に含まれる対象単語 $w \in \mathscr{W}^{B}$ の候補語義集合 $S_{w}$ を取得する. そして単語と語義の埋め込みをそ れぞれ変換して cosine 類似度を計算し，候補内での 最大値を取る.

$
\begin{gathered}
L^{\mathrm{ST}}=\sum_{w \in \mathscr{W}^{B}}\left(1-\max _{s \in \mathcal{S}_{w}} \rho_{w, s}\right) \\
\rho_{w, s}=\cos \left(\mathbf{v}_{w}, \mathbf{e}_{s}\right)
\end{gathered}
$

最近傍語義は不変ではなく，変換関数の学習につれ て変わることに注意されたい，変化させる意図は ブートストラップである。すなわち訓練が進捗して 精度が向上する過程で，擬似正解の正確性も向上す る好循環を期待する。変換前後の距離制約（§ 3.2） はその逆，すなわち悪循環を回避する意図である。

4）すなわち，多義語の語義集合から自身を除いたもの.

5）距離学習の先行研究 $[15,16]$ に倣い， $\beta=64$ に設定した.

## 3.4 Try-again Mechanism (TaM) 経験則

推論で最近傍語義を選ぶとき, Try-again Mechanism (TaM) なる経験則が有効であると知られている $[17,6,8]$. そこで，提案手法に TaMを併用する効果 を報告する．TaM の概要は，候補語義を 2 つに絞り 込み，各語義が属する意味カテゴリとの類似度を考慮して再順位付けする処理である。具体的なアルゴ リズム（付録 C）は，先行研究 [17] を参照されたい.

## 4 実験

吸引・反発学習の訓練データとなる語義対は WordNetを用いた（語義数は 206,949）。自己学習 の用例文は，正解語義を削除した ${ }^{6)}$ SemCor コーパ ス [20]を用いた（単語数は 226,036），ハイパーパラ メータ調整（付録 D）の開発データは，評価データ のサブセット SE07 を使用した. WSD タスクの評価 データ・方法は, 標準評価プロトコル [21] に従った.

表 1 にWSD タスクの性能を示す. 提案手法

ベースの先行研究を上回った. 特に $\mathrm{TaM}$ 経験則併用時の SS-WSD $\mathrm{k}_{\mathrm{kb}}$ は，文のみの情報を用いるにも関わ らず，既存の最高精度である COE 0.8 ポイント上回り, 知識ベース WSD の最高精度を更新した. TaM 経験則の寄与は+2.2 ポイント（SS-WSD $\left.\mathrm{kb}_{\mathrm{kb}}-\mathrm{SS}-\mathrm{WSD}_{\mathrm{emb}}\right)$ だった.

次に， TaM 経験則を使用しない場合に注目す る. 提案手法による適応の効果は+9.3 ポイント （SS-WSD emb $-\mathrm{BERT})$ だった. 関連語義対の吸引のみ で適応を行う先行研究 SREF の効果は+5.4 ポイント （SREF emb $-\mathrm{BERT}$ ）なので，提案手法は語彙知識の活用効率が高いことが示唆される。また品詞別に効果を 調べると，動詞の 10.2 ポイントが最大である. この 結果は，動詞の関連語義数・異義数が平均 13.0 およ び 4.1 個と最多であること（付録表 5），すなわち吸引・反発学習の教師信号が豊富な事実と整合する.

最後に, 教師ありWSD の先行研究と比較する.用例文の正解語義を用いて語義埋め込みを計算する Sup-kNN および，正解の語義・用例対を用いて BERT をファインチューニングする BEM に対して，提案手法 SS-WSD $\mathrm{emb}_{\mathrm{mb}}$ との差はそれぞれ +1.4 と -4.1 ポイント だった. 提案手法が教師あり WSD の性能に近づき つつあることは，特筆すべき結果である.

6）自己学習に必要なのはレンマ・品詞のみであるため. 形態素解析・複単語表現解析ずみ平文コーパスでも代用できる.

(括弧内)，および先行研究最高精度との有意差（スチューデントの両側 $t$ 検定， $*: p<0.05$ )を報告. 太字は各区分の最高精度. 下線は開発データの精度. “文書” 列は推論時の文書情報の要否. $\{$ BEM, Sup-KNN, SREF kb, COE $\}$ は原論文から引用.

} & BERT & $x$ & 67.8 & 62.7 & $\overline{54.5}$ & 64.5 & 72.3 & 67.8 & 52.3 & 74.0 & 77.7 & 65.6 \\

表 2 提案手法の一部無効化による性能変化. アブレー ション列は無効化した対象. $\Delta$ 列は無効化前との差分.全差分は統計的に有意 (Welchの両側 $t$ 検定, $p<0.05$ ).

表 3 語義対, 正解語義・用例対の平均 cosine 類似度.

## 5 考察

## 5.1 目的関数の効果

表 2 に，目的関数（§3.3）の一部無効化による性能変化を示す．変化から有効性の源泉を探る。

吸引・反発学習または自己学習を無効化すると， それぞれ 3.3 と 4.4 ポイント性能が低下する. ゆえ に両学習の併用は相補的であることが示唆される.

吸引・反発学習から無関連語義または異義との反発を無効化すると，精度はそれぞれ 5.0 および 1.4 ポイント低下する. したがって意味的なつながりが ない，または異なる語義を遠ざけることはいずれも 有効である。なお無関連語義の寄与が異義を上回る 理由は, 訓練事例数が考えられる。前者は 255 個 ${ }^{7}$ であるが，後者は平均 1.3 個（付録表 5）である.

文脈埋め込みの変換関数を無効化すると，精度は 3.2 ポイント低下する. したがって語義・文脈埋め 込みはいずれも適応させるべきであり，SERFのよう な語義埋め込みの適応のみでは不十分である。

表 3 に類似度の変化を示す. 適応により，無関連

図 2 埋め込み変換関数の距離制約ハイパーパラメータ $\epsilon$ （§3.2）と WSD 性能の関係. デフォルト設定（ $\epsilon=0.015 ）$ の精度を水平点線で表示. *は精度差分の統計的有意性 (Welch の両側 $t$ 検定, $*: p<0.05, * *: p<0.005$ ).

および異義がお互いに離れ，正解語義・用例が近づ いた.この結果は提案手法の狙いと整合している.

## 5.2 距離制約の効果

図 2 に，変換による移動を制約するハイパーパラ メータ $\epsilon$ の性能への影響を示す. $\epsilon$ に対して精度は 逆 $\mathrm{U}$ 字曲線を示すことから，厳しい制約（ $\epsilon$ 小）と 緩い制約 $(\epsilon$ 大) の中間が最適であることが分かる. ゆえに，意味適応を有効に機能させるため，適応時 の類似度空間の変化を制限することが重要である。

## 6 まとめ

本研究では, BERT が計算する語義・文脈埋め込 みを，語彙知識を用いて WSD に適応させる手法を 提案した. 提案手法の性能は，文書情報を用いずに 従来の知識ベース WSD 最高精度を上回った. これ により，文単体のみでも意味適応による高精度が実現できることを示した，有効性の主要因は，吸引・反発学習と自己学習の併用, 文脈埋め込みの適応, および変換時の距離制約であることを示した。

語彙資源のみで高精度を実現する本手法は，資源 が乏しい言語 [22]に好適である. 多言語モデルによ る英語からのゼロショット転移学習，および多言語語彙資源の学習による多言語 WSDに取り組みたい.

## 謝辞

本研究は JSPS 科研費 $19 H 01118$ の助成を受けた.

## 参考文献

[1] Chiraag Sumanth and Diana Inkpen. How much does word sense disambiguation help in sentiment analysis of micropost data? In Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, WASSA@EMNLP 2015, pp. 115-121, 2015.

[2] Chihli Hung and Shiuan-Jeng Chen. Word sense disambiguation based sentiment lexicons for sentiment classification. Knowledge-Based Systems, Vol. 110, pp. 224-232, 2016

[3] Zhi Zhong and Hwee Tou Ng. Word sense disambiguation improves information retrieval. In Proceedings of the 50th Annual Meeting of the formation retrieval. In Proceedings of the 50th Annual Meeting

[4] Niccolò Campolungo, Federico Martelli, Francesco Saina, and Roberto Navigli. Dibimt: A novel benchmark for measuring word sense disambiguation biases in machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 4331-4352, 2022 .

[5] Christiane Fellbaum. WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[6] Ming Wang and Yinglin Wang. A synset relation-enhanced framework with a try-again mechanism for word sense disambiguation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 6229-6240, 2020.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In pre-training of deep bidirectional transformers for language understanding. In of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[8] Ming Wang, Jianzhang Zhang, and Yinglin Wang. Enhancing the context representation in similarity-based word sense disambiguation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8965-8973, 2021.

[9] Ivan Vulic and Nikola Mrksic. Specialising word vectors for lexical entailment. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1134-1145, 2018.

[10] Michael Lesk. Automatic sense disambiguation using machine readable dictionaries: how to tell a pine cone from an ice cream cone. In Proceedings of the 5th Annual International Conference on Systems Documentation, SIGDOC 1986, pp. 24-26, 1986 .

[11] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B. Viégas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and measuring the geometry of BERT. In Advances in Neural Information Processing Systems 32. pp. 8592-8600, 2019 .

[12] Daniel Loureiro, Kiamehr Rezaee, Mohammad Taher Pilehvar, and José Camacho-Collados. Analysis and evaluation of language models for word sense disambiguation. Comput. Linguistics, Vol. 47, No. 2, pp. 387-443, 2021 .

[13] William A. Gale, Kenneth Ward Church, and David Yarowsky. One sense per discourse. In Speech and Natural Language: Proceedings of a Workshop Held at Harriman, New York, USA, February 23-26, 1992, 1992.

[14] Kim Anh Nguyen, Maximilian Köper, Sabine Schulte im Walde, and Ngoc Thang Vu. Hierarchical embeddings for hypernymy detection and directionality. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 233-243, 2017.

[15] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. In IEEE Conference on Computer Vision and Pattern Recognition, pp. 4690-4699, 2019.

[16] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. Cosface: Large margin cosine loss for deep face recognition. In 2018 IEEE Conference on Computer Vision and Pattern Recognition, pp. 5265-5274, 2018.

[17] Ming Wang and Yinglin Wang. Word sense disambiguation: Towards interactive context exploitation from both word and sense perspectives. In putational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 5218-5229, 2021.

[18] Daniel Loureiro and Alípio Jorge. Language modelling makes sense: Propagating representations through wordnet for full-coverage word sense disamfor Computational Linguistics, pp. 5682-5691, 2019

[19] Terra Blevins and Luke Zettlemoyer. Moving down the long tail of word sense disambiguation with gloss informed bi-encoders. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1006-1017, 2020.

[20] George A. Miller, Claudia Leacock, Randee Tengi, and Ross Bunker. A semantic concordance. In Human Language Technology: Proceedings of a Workshop Held at Plainsboro, New Jersey, USA, March 21-24, 1993, 1993 .

[21] Alessandro Raganato, José Camacho-Collados, and Roberto Navigli. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 99-110, 2017.

[22] Tommaso Pasini. The knowledge acquisition bottleneck problem in multilin- gual word sense disambiguation. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, pp. 4936-4942, 2020

[23] Yinglin Wang, Ming Wang, and Hamido Fujita. Word sense disambiguation: A comprehensive knowledge exploitation framework. Knowledge Based System, Vol. 190, p. 105030, 2020.

[24] Michele Bevilacqua and Roberto Navigli. Breaking through the $80 \%$ glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2854-2864, 2020 .

[25] Caterina Lacerra, Michele Bevilacqua, Tommaso Pasini, and Roberto Navigli. CSI: A coarse sense inventory for $85 \%$ word sense disambiguation. In The Thirty-Fourth AAAI Conference on Artificial Intelligence, AAA 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, pp. 8123-8130, 2020.

[26] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 2623-2631, 2019.

[27] Tommaso Pasini, Alessandro Raganato, and Roberto Navigli. XL-WSD: an extra-large and cross-lingual evaluation framework for word sense disambiguation. In Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, pp. 13648-13656, 2021.

[28] Sameer Pradhan, Edward Loper, Dmitriy Dligach, and Martha Palmer Semeval-2007 task-17: English lexical sample, SRL and all words. In Proceedings of the 4th International Workshop on Semantic Evaluations SemEval@ACL 2007, pp. 87-92, 2007.

[29] Jens Behrmann, Will Grathwohl, Ricky T. Q. Chen, David Duvenaud, and Jörn-Henrik Jacobsen. Invertible residual networks. In Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 573-582, 2019.

## A 語彙資源

表 4 WordNet 語彙資源の語義の具体例

表 4 に，提案手法が使用する語彙資源の具体例として，語義 computer\%1:06:00: :8) を示す.

関連語義の定義は先行研究 [6] の論文および実装9) に 従う，具体的には，それぞれの sense key に対して，まず derivationally_related_forms 関係にある sense keys を加 えて集合を拡張する. 次に sense keys が接続する synsets を収集する。そして，各 synset に対して，表 6 で示した 意味関係にある synsetを加えて集合を拡張する．最後に， synsets に属する sense keys を収集し，関連語義とする ${ }^{10)}$.

## B BERTによる埋め込みの計算

BERTによる埋め込みの計算は，先行研究 $[23,24,6]$ に 倣う。モデルは bert-large-cased ${ }^{11}$ を用いる. エンコー ド時には [CLS]および [SEP] トークンを付与して, 次元要素ごとの最終 4 層の和を，サブワードの埋め込みとする。文脈埋め込みは，対象単語を構成するサブワードの平均 とする. 語義埋め込みの計算は，先行研究 SREF [6] に従 う. 具体的には, 所与の sense key に対して，レンマ・同義語 $n$ 個・語釈文・例文 $m$ 個からなる連結文をエンコードす る. そして連結文を構成する全サブワードの平均を，語義埋め込みとする。連結文のテンプレートを以下に示す.

具体例として, 語義 computer\%1:06:00: : の連結文を示す. computer - computer, computing device, data processor, ... - a machine for performing calculations automatically

なお，WordNet 語義の大半は例文がないか，短文であ る. 先行研究 [6] は独自に収集した例文を併用している が，我々は WordNet に収録された例文のみを使用した。

## C Try-again Mechanism (TaM)

Try-again Mechanism (TaM) はいくつかの派生版があ る $[6,8,17]$. 本研究では簡便性に優れる Wang ら [17] のア ルゴリズム ${ }^{12)}$ を使用する。具体的には，対象単語 $w$ に対 する類似度 $\rho_{w, s}$ （式 4）が上位 2 個の候補語義 $s \in\left.\{s_{1}, s_{2}\right.\}$ について，各語義が属する Coarse Sense Inventory (CSI) [25]

8）単語 computer の “計算機” の意味を指す.なお異義 computer\%1:18:00: : は“計算手”の意味を指す.

9) https://github.com/lwmlyy/SREF

10）実装には nltk.corpus.wordnet package を用いた.

11）実装には transformers package を用いた。

12) https://github.com/lwmlyy/SACE表 5 WordNet 語彙資源の統計量（関連・異義数は平均値）

表 6 関連語義の収集に使用する WordNet の意味関係

の意味カテゴリとの類似度を加算した類似度 $\rho_{w, s}^{+}$を計算 する. そのうえで $\rho_{w, s}^{+}$が最大の語義を選択する.

$
\rho_{w, s}^{+}=\rho_{w, s}+\max _{s^{\prime} \in \mathcal{S}_{s}^{\mathrm{CSI}}} \rho_{w, s^{\prime}}
$

$\delta_{s}^{C S I}$ は, 語義 $s$ と同じ意味カテゴリに属する語義の集合13) である. CSI は WordNet 語義を 45 個の意味カテゴリ に分類 ${ }^{14)}$ した語義目録である. よって式 14 の右辺第 2 項 は，粗粒度で同一視できる語義との類似度を表している。

## D 実験設定の詳細

訓練時の最適化アルゴリズムは，Adam (学習率 0.001) を用いた. エポック数は 15 とした. 提案手法のハイパー パラメータは，ミニバッチサイズ $N_{B}=256$, 自己学習の 重要度 $\alpha=0.2$, 変換時の距離制約 $\epsilon=0.015$ に設定した.

ハイパーパラメータの調整は，開発データによる八 イパーパラメータ最適化を使用した。具体的には，パ ラメータ空間 $N_{B} \in\{64,128,256,512,1024\} ， \alpha \in[0.1,10]$, $\epsilon \in[0.001,0.1]$ を探索 ${ }^{15)}$ したあとで， $\epsilon \in[0.01,0.02]$ を刻 み幅 0.001 でグリッドサーチした．最適化の目標は，TaM 経験則無効時の WSD タスク精度とした. 開発データは先行研究 [27] の慣習にならい，評価データのサブセットで ある SE07 (SemEval-2007 [28])を使用した。なお最適化の 結果，256より大きいミニバッチサイズは性能に寄与しな かった. また $\alpha$ は $\epsilon$ よりも鈍感であった.

WSD タスクの評価データ・方法は，標準評価プロトコ ル [21] に従った. 推論アルゴリズムは， TaM 経験則無効 の場合は式 4 ，有効の場合は式 14 である. 評価指標はマ イクロ $\mathrm{F}$ 値である ${ }^{16)}$. 訓練は異なるランダムシードで 5 回実行して，平均および標準偏差を報告した。

## E 性能が向上しなかった手法

予備実験で性能向上に寄与しなかった手法を報告する。

・吸引・反発学習で，異義に重み付けすること

・自己学習で，非最近傍の候補語義を遠ざけること

・移動距離に対する L2 正則化を併用すること

・変換関数を可逆 [29] にすること

・語義・文脈変換関数をパラメータ共有すること

13）語義が CSI に未採録の場合は空集合になる.

14）たとえば語義 computer $\% 1: 06: 00:$ : は，意味カテゴリ CRAFT_ENGINEERING_AND_TECHNOLOGY_に分類される。

15） 探索アルゴリズムは optuna [26] の TPESampler を用いた.

16）提案手法の予測語義数は常に 1 個なので，マイクロ $\mathrm{F}$ 值 は適合率および再現率と一致する [27].


# 文書の分散表現を用いたトピック分析手法の提案

中山悠理 ${ }^{1}$ 小林亮太 ${ }^{1,2}$
1 東京大学大学院 新領域創成科学研究科
2 東京大学 数理・情報教育研究センター
\{3645588575,r-koba\}@edu.k.u-tokyo.ac.jp

## 概要

トピック分析は，多数の文書から主要なテーマを 抽出する技術であり，大規模なテキストデータの分析を可能にする．トピック分析を行う代表的手法と してトピックモデル (LDA など) があり，様々な分野に応用されてきた. 一方で, この手法を文書の単語数が少ないソーシャルメディアデータなどに適用 すると，人間が解釈しやすいテーマ(トピック)が得 れないという問題がある。本研究では文書の分散表現に基づくトピック分析手法を提案し，2つのデー タセットを用いてトピック分析手法の性能を評価 した.

## 1 はじめに

デジタル化が進み，ニュース，Webページ，論文，書籍など様々な形のテキストデータを利用できるよ うになりつつある. テキストデータを整理，理解す るための 1 つの方法は，人間が実際にテキストを読 んで意味解釈を行うことである. しかし，オンライ ン上のテキストデータは爆発的に増えているため，全てのデータを人手で意味解釈することは不可能で ある.

テキストデータの例として，多数のニュース記事 (文書) の集合を考えよう，それぞれのニュース記事 には，政治，経済，スポーツ，科学など記事のテー マがあるだろう．トピック分析の目的は，テキスト データから記事のテーマを自動的に発見し，ニュー ス記事をテーマが似たいくつかのグループに分類 することである．トピック分析を行う代表的手法 として，トピックモデル (Latent Dirichlet Allocation, LDA) [1] が挙げられる. LDA は，1)トピックはいく つかの単語の組み合わせによって決まる，2) 文書 はいくつかのトピックが組み合わさったものであ る，という仮定のもとで，多量のテキストデータか らトピック群を抽出する統計モデルである。トピッ
クモデルは，テキストデータの分析で広く使われ ており，バイオインフォマティクス [2], 科学計量学 (scientometrics) [3], 政治学 [4] などに応用されて いる.

Twitter や Reddit などのソーシャルメディアから 得られるテキストデータの分析は, 東日本大震災 [5] [6] [7] や Covid-19 [8] などの災害，あるいは，選挙 [9] や Covid-19 ワクチン [10] [11] などの社会的課題に対する人々の認識を把握することへの一助 となることが期待されている。 その一方で，ソー シャルメディアデータの特徵として，1) 文書 (ツ イートやコメント)の単語数が少ない，2）誤字脱字 などにより出現頻度の少ない単語が多数現れる， という 2 点が挙げられる. そのため，このような データにLDAを適用すると，人間にとって解釈困難なトピックが得られてしまう. 前者の問題 (文書 の短さ) に対応するため, Author Topic Model [12] や TwitterLDA [13] など LDA を拡張したモデルが提案 されている. しかしながら，ソーシャルメディア データからトピック抽出を行うことは依然として困難な状況にある。

本研究では, 文書の分散表現 (文書の埋め込み) に 基づくトピック分析手法を提案する。 そして，20 Newsgroup と AG's corpus の 2 つのデータセットを 用いて提案手法の性能評価を行い，既存手法である LDA と比較を行った.

## 2 提案手法

本研究では，多量の文書を $K$ 個のトピックに分類 する手法を提案する。提案手法は，

・文書をベクトルに埋め込む（3.1 節）.

・得られた埋め込みべクトルを混合ガウスモデル を用いてクラスタリングを行う（3.2 節）。

の 2 段階に基づく．以降では，上の 1)，2にについて
説明する。

## 2.1 埋め込みべクトルの計算

この節では，文書 (単語列) から埋め込みベクトル を計算する方法を説明する。自然言語処理で広く用 いられている単語埋め込みは文書中の個々の単語を ベクトルに変換することであるが，文書埋め込みは 文書全体を 1 つのベクトルに変換することである. これにより，単語数が異なる文書群をべクトル群と して表現できる.

本研究では 2 つの機械学習モデル, doc2vec [14] と Sentence-BERT (SBERT) [15] を用いた. doc2vec は，単語の埋め込みべクトルを計算する word2vec [16] か ら着想を得て開発されたものである. doc2vecでは 埋め込みべクトルの次元 $D$ を変えることができる.今回は $D=2,4, \cdots, 160$ を検討した. 本研究では, Python ライブラリ gensim[17]を使用して doc2vec の 埋め込みベクトルを計算した.

SBERT [15] は NLI データセットから事前学習さ れた機械学習モデルである. SBERT は, 文書埋め込 みべクトルを得るため，BERT [18]に pooling 処理を 追加したものである. SBERT の出力ベクトルの次元は変更できないため, 固定値 $D=384$ を用いた.本研究では, hugging face を通して公開されている all-MiniLM-L6-v2 ${ }^{1)}$ を使用した.

前処理として, 文書べクトル $\mathbf{v}_{i}$ から平均ベクトル を引いて中心化された文書べクトル $\overline{\mathbf{v}}_{i}$ を計算した.

$
\overline{\mathbf{v}}_{i}=\mathbf{v}_{i}-\mathbf{m}_{\mathbf{v}}
$

ただし, $\mathbf{m}_{\mathbf{v}}=\frac{1}{n} \sum_{i=1}^{n} \mathbf{v}_{i}$ は平均ベクトル,$n$ はデータ セットの文書数を表す。必要に応じて，中心化され たべクトル $\overline{\mathbf{v}}_{i}$ のノルムが 1 になるように正規化を 行なった.

## 2.2 混合ガウス分布によるクラスタリング

次に，埋め込みべクトルを混合ガウスモデルを用 いてクラスタリングした. 埋め込みベクトルの確率分布 $p(\mathbf{x})$ を以下の式で表される混合ガウス分布で フィットした:

$
p(\mathbf{x} \mid \mu, \boldsymbol{\Sigma}, \pi)=\sum_{i=1}^{K} \pi_{i} \mathcal{N}\left(\mathbf{x} \mid \mu_{i}, \boldsymbol{\Sigma}_{i}\right)
$

ただし, $K$ はトピック数, $\mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}_{i}, \boldsymbol{\Sigma}_{i}\right)$ は $D$ 次元ガ ウス分布 (平均ベクトル: $\mu_{i}$, 共分散行列: $\boldsymbol{\Sigma}_{i}$ ), $\pi_{i}$ は 混合比を表す.

1) https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2本研究では，共分散行列 $\Sigma_{i}$ として，以下の 3 つの 場合で比較を行なった:
- full: $\Sigma_{i}$ は正定値行列 (制約なし).
- diag: $\Sigma_{i}$ は正定値かつ対角行列.
- scalar: $\Sigma_{i}$ は正定値かつ単位行列の定数倍.

パラメータ $\mu_{i}, \Sigma_{i}, \pi_{i}$ は逐次的に計算することによっ て推定できる [19]. 混合ガウス分布のパラメータ推定は，python パッケージ scikit-learn[20] を用いて行 なった。

## 3 実験

## 3.1 データセット

本研究では, 20 Newsgroups(20News) [21], AG's corpus [22]の 2 つのデータセットを用いた. 20News はニュース記事のデータが 20 種類のテーマ (医学,銃問題, 中東の政治など) に分類されたものである. このデータセットには，自然言語でない長文が含ま れていたため，単語数が上位 $0.01 \%$ の文書を除いて 分析した.

AG's corpus は 12 万件のニュース記事を集めたも のであり，ニュース記事の本文とタイトルが 4 つ のテーマ (世界, 科学/技術，スポーツ，ビジネス) に分類されている. データセットを，ニュース記事 (AgNews) とタイトル (AgTitle) に分けて分析を行 なった. 表 1 は，データセットの平均単語数，文書数を示す.

表 1 本研究で用いたデータセット

## 3.2 評価指標

本研究では，抽出されたトピックの性能を評価す るための指標として，補正された相互情報量 (AMI, Adjusted Mutual Information) [23] と Coherence スコア $C_{V}$ [24] を用いた. AMI は分類の類似度についての 指標である．今回は人手でつけられた文書の分類結果と，トピック抽出モデルで得られた分類結果の類似度を AMI で評価し，AMI をトピックの分類精度 であると考える。 AMI は 1 以下の值を取る指標であ る. 2 つの分類結果が完全に一致するときのみ AMI

は 1 をり，2つの分類結果の類似度はランダムな 場合と同程度の場合には AMI は 0 をとる. AMI は Python ライブラリ scikit-learn[20] を用いて計算した.

Coherence score $C_{V}$ はトピックの解釈性について の指標であり，トピック内の文書の単語分布によ り計算される。 $C_{V}$ は人間による解釈結果と相関 があり，人にとって解釈しやすいトピックでは高 い値を取る傾向にある. $C_{V}$ は Python ライブラリ gensim [17] を用いて計算した。

## 3.3 埋め込み方法の検討

まず，埋め込み次元を変更できる doc2vec につ いて，次元が分類精度 (AMI) に与える影響を調べ た. 混合ガウスモデルの共分散行列を scalar とし て，トピック数 $K$ はそれぞれのデータセットと同じ 数 (20News: 20, AgNews: 4) にしてトピック抽出を行 なった. 図 1 は，2つのデータセット (A. 20news, B. AgNews) から分類精度を計算した結果である。そ の結果，分類精度は埋め込みの次元に大きく影響を 受け, 20News では 80 次元, AgNews では 8 次元，と すると精度が最も高くなった. また，埋め込み次元 が低次元の場合を除き，正規化 (図 1: オレンジ) は 分類精度を向上させた.

次に，SBERTを用いて文書埋め込みを計算し，正規化が分類精度 (AMI) に与える影響を調べた (表 2). doc2vec の時ほど大きな効果はないものの，正規化 はSBERT を用いた場合でも分類精度を向上させる ことがわかった。また，最適な埋め込み次元を用い た doc2vec と SBERT で分類精度 (AMI)を比較した (表 3). いずれのデータセットに対しても，SBERT の方が高い分類精度を達成した。

以降の解析では，データセットに応じて埋め込み 次元を調整する必要がなく, 高い分類精度を達成し たSBERT (正規化あり)を用いて文書埋め込みを行 なった.

表 2 正規化が分類精度 (AMI) に与える影響. 埋め込み モデルはSBERTを用いた。

埋め込み次元

埋め込み次元

図 1 埋め込み方法 (埋め込み次元と正規化) が分類精度 (AMI) に与える影響 (A. 20news, B. AgNews). 埋め込みモ デルは doc2vecを用いた。

表 3 埋め込み用いる機械学習モデルの違いによる分類精度 (AMI) の比較.太字は最も精度の高い機械学習モデル を示す.

## 3.4 混合ガウスモデルの共分散行列の検討

クラスタリングアルゴリズム ( 2.2 節) の違いが分類精度 (AMI) に与える影響を調べるため，3 種類の 共分散行列 (full， diag， scalar) を用いた混合ガウス モデルでトピック抽出を行い，分類精度を比較し た (表 4).この結果，共分散行列に制限を加えない (full) と，単位行列 (scalar) に比べて分類精度がわず かに向上することがわかった．以降では，共分散行列には制限を加えずに (full) 分析を行なった.

表 4 共分散行列が分類精度 (AMI) に与える影響. 太字 は最も精度の高い共分散行列を示す。

## 3.5 実験結果

最後に，提案手法と既存手法である LDAを用い て，文書群のトピック分析を行い，性能比較を行 なった。提案手法では，機械学習モデルSBERTを 用いて埋め込みを行い，正規化をした上で，制約 なし (full) の共分散行列を持つ混合ガウスモデル を使ってクラスタリングを行なった。また，LDA を用いた実験では，前処理として"I"，"is"，"a"な ど，文書の内容にかかわらず出現する単語（stop words) を除去し, LDA の分析には Python ライブラ リ gensim [17]を用いた。

表 5 は, 20News, AgNews の 2 つのデータセットに ついて，分類精度についての指標である AMI とト ピックの解积性についての指標である $C_{V}$ を比較し たものである. 提案手法は， AMI， $C_{V}$ のいずれの 指標についても, 既存手法 (LDA) に比べて高い性能 を達成した. この結果は, 提案手法のトピック分析結果は, 既存手法に比べて, 人間が分類した結果に より近く，トピックもより解釈しやすいものになっ ていることを示唆している.

次に，ツイートのような文書の単語数が少ない場合の性能を評価するため， AG's corpus のニュースタ イトルを文書としたデータセット (AgTitle) につい てトピック分析を行なった. ニュース記事のデータ セットと同様に，提案手法は，AMI， $C_{V}$ のいずれ の指標についても，既存手法 (LDA) に比べて高い 性能を達成した. 既存手法 (LDA) の分類精度 (AMI)
はチャンスレベルと同程度になっている.この結果は，LDA はトピック分類ができていないことを 示唆している。 その一方で，提案手法は， AgNews (ニュース記事データ)に比べると性能が低下するも のの，ニュースタイトルだけを分析した場合にも AMI: $0.50, C_{V}: 0.84$ と高い性能を示した. この性能 は, AgNewsの LDA よりも高い性能であった.

表 5 提案手法 (SBERT) と既存手法 (LDA) の性能比較.太字は精度が高い手法を示す。

## 4 おわりに

本研究では，テキストデータからトピックを抽出するタスクにおいて, 文書埋め込みと混合ガウ スモデルを組み合わせた手法を提案した。そして，人手によってトピックが付与された 20 News，AG's corpusの 2 つのデータセットを用いて，トピック分析手法の性能評価を行なった。その結果，提案手法は，既存手法である LDA に比べて高い性能であ ること，つまり，より人間に近いトピック分類を 行い (AMI が高い)，トピックが解釈しやすい (Topic Coherence $C_{V}$ が高い)ことが示された. さらに，提案手法は短い文書 (ニュースタイトルのみ) に対して も，高性能なトピックを抽出できることを示唆する 結果が得られた。

## 謝辞

本研究は, JSPS 科研費 JP18K11560, JP19H01133, JP21H03559, JP21H04571, JP22H03695, AMED JP21wm0525004，JST さきがけ JPMJPR1925 の支援を受けたものである.

## 参考文献

[1] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, pp. 993-1022, 2003.

[2] Lin Liu, Lin Tang, Wen Dong, Shaowen Yao, and Wei Zhou. An overview of topic modeling and its current ap-
plications in bioinformatics. SpringerPlus, Vol. 5, No. 1, p. 1608.

[3] Thomas L. Griffiths and Mark Steyvers. Finding scientific topics. Proceedings of the National Academy of Sciences, Vol. 101, No. suppl_1, pp. 5228-5235, 2004.

[4] Justin Grimmer and Brandon M. Stewart. Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Political Analysis, Vol. 21, No. 3, pp. 267-297.

[5] Son Doan, Bao-Khanh Ho Vo, and Nigel Collier. An Analysis of Twitter Messages in the 2011 Tohoku Earthquake. In Patty Kostkova, Martin Szomszor, and David Fowler, editors, Electronic Healthcare, Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, pp. 58-66. Springer.

[6] Misako Takayasu, Kazuya Sato, Yukie Sano, Kenta Yamada, Wataru Miura, and Hideki Takayasu. Rumor Diffusion and Convergence during the 3.11 Earthquake: A Twitter Case Study. PLOS ONE, Vol. 10, No. 4, p. e0121443.

[7] Takako Hashimoto, David Lawrence Shepard, Tetsuji Kuboyama, Kilho Shin, Ryota Kobayashi, and Takeaki Uno. Analyzing temporal patterns of topic diversity using graph clustering. The Journal of Supercomputing, Vol. 77, No. 5, pp. 4375-4388.

[8] Shu-Feng Tsao, Helen Chen, Therese Tisseverasinghe, Yang Yang, Lianghua Li, and Zahid A. Butt. What social media told us in the time of COVID-19: A scoping review. The Lancet Digital Health, Vol. 3, No. 3, pp. e175-e194.

[9] Hao Wang, Doğan Can, Abe Kazemzadeh, François Bar, and Shrikanth Narayanan. A system for real-time twitter sentiment analysis of 2012 us presidential election cycle. In Proceedings of the ACL 2012 System Demonstrations, pp. 115-120.

[10] Ryota Kobayashi, Yuka Takedomi, Yuri Nakayama, Towa Suda, Takeaki Uno, Takako Hashimoto, Masashi Toyoda, Naoki Yoshinaga, Masaru Kitsuregawa, and Luis E. C. Rocha. Evolution of public opinion on covid-19 vaccination in japan: Large-scale twitter data analysis. Journal of Medical Internet Research, Vol. 24, No. 12, p. e41928.

[11] Takako Hashimoto, Takeaki Uno, Yuka Takedomi, David Shepard, Masashi Toyoda, Naoki Yoshinaga, Masaru Kitsuregawa, and Ryota Kobayashi. Two-stage clustering method for discovering people's perceptions: A case study of the covid-19 vaccine from twitter. In 2021 IEEE International Conference on Big Data (Big Data), pp. 614-621, 2021.

[12] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, pp. 487-494. AUAI Press.

[13] Wayne ZHAO, Jing JIANG, Jianshu WENG, Jing HE, Ee Peng LIM, Hongfei YAN, and Xiaoming LI. TwitterLDA. SMU Research Data.

[14] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proceedings of the 31st International Conference on International Conference on Machine Learning - Volume 32, p.
II-1188-II-1196. JMLR.org, 2014.

[15] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[16] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[17] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[19] Christopher M. Bishop. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag, Berlin, Heidelberg, 2006.

[20] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikitlearn: Machine Learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830.

[21] Youngjoong Ko. A study of term weighting schemes using class information for text classification. In Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1029-1030. Association for Computing Machinery.

[22] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 1, p. 649-657, Cambridge, MA, USA, 2015. MIT Press.

[23] Nguyen Xuan Vinh, Julien Epps, and James Bailey. Information theoretic measures for clusterings comparison: Is a correction for chance necessary? In Proceedings of the 26th Annual International Conference on Machine Learning, pp. 1073-1080. Association for Computing Machinery.

[24] Michael Röder, Andreas Both, and Alexander Hinneburg. Exploring the Space of Topic Coherence Measures. In Proceedings of the Eighth ACM International Conference on Web Search and Data Mining, pp. 399-408. Association for Computing Machinery.


# BERT を用いた文埋め込みモデルの単語の暗黙的な重み付け

栗田宙人 1 小林悟郎 ${ }^{1,2}$ 横井祥 ${ }^{1,2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{hiroto.kurita, goro.koba\}@dc.tohoku.ac.jp \{yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

事前学習済みマスク言語モデルに追加学習を加 えた文埋め込みモデルが続々と提案されており，幅広い後段タスクで高い性能を達成している. 不思議 な点として，以前主流であった静的単語埋め込みを 用いた手法では単語を陽に重み付けるという工夫 が肝要であったにも関わらず，マスク言語モデルを 用いた文埋め込みはこの工夫抜きで既存手法を凌駕している. 本研究では，BERT を用いた文埋め込 みモデルたちが各単語を単語頻度に基づく情報量 $-\log P(w)$ で暗黙的に重み付けていることを，特徴寄与測定手法 Integrated Grad との経験的な相関を通 して明らかにする. さらに，この重み付け傾向は事前学習済みの BERTを文埋め込みに適するよう追加学習する過程で強まっていることを報告する。

## 1 はじめに

自然言語文をべクトル表現で表した文埋め込み は文の意味的類似度の計算, 情報検索，文書分類な ど，自然言語処理分野で幅広く使用される有用な道具である。代表的な文埋め込み生成技術として，文 を構成する各単語の静的単語埋め込みの平均を取る 手法がある程度効果的であることが経験的・理論的 に知られている $[1,2,3]$. このとき，単純な平均で はなく，ストップワードの除去や TF-IDF[4] に代表 される単語の逆頻度に基づく重み付けが大きな効果 をもたらすことが知られている。

一方，近年では動的単語埋め込みを生成するマス ク言語モデルである BERT[5] や RoBERTa[6] を追加学習した文埋め込みモデルが続々と提案され, 意味的類似度計算などの後段タスクで静的単語埋め込 みを用いる手法を凌駕している $[7,8]$. これらのモ デルでは，静的単語埋め込みを用いた手法で効果的 だった明示的な重み付けは基本的に行われない。し かし，マスク言語モデルを基にしているため，内部 の複雑な非線形ネットワークにより単語が混ぜ合わ

図 1 本研究の概念図。モデルが文埋め込みを計算する 際の各単語の寄与を逆伝播計算により求め, 求めた単語 の寄与と大規模コーパスから計算された単語の情報量の 比較を行う。

せられ，暗黙的に単語を重み付けながら文埋め込み を生成していると考えられる. 成功を収めている最近の文埋め込みモデルはどのような重み付けを学ん でいるのだろうか.

本研究では BERTを用いた文埋め込みモデルは内部で単語頻度に基づく情報量 $-\log P(w)$ に比例した 暗黙的な単語重み付けを行なっていることを明らか にする。また，この重み付け傾向は BERT の追加学習を通じて強まっていることわかった. すなわち， BERT を用いた文埋め込みモデルは既存手法でポス トホックに外から行われていた重み付けを追加学習 の過程で自ら獲得していることがわかる.

## 2 分析の方針

本稿では BERT を用いた文埋め込みモデルが内部で暗黙的に行う単語の重み付けと頻度に基づく 単語の情報量とを比較する（図 1).モデルが行う 重み付けは勾配を用いた特徴量帰属手法 Integrated Gradients を用いて定量化し，単語の情報量はコーパ ス上で算出された単語頻度を元に計算する。

## 2.1 準備：BERT を用いた文埋め込み

モデルは, 入力文 $s=\left(w_{1}, w_{2}, \ldots, w_{|s|}\right)$ の各単語を単語埋め込み層にて単語埋め込みに変換 し $\left(w_{i} \mapsto \boldsymbol{w}_{i} \in \mathbb{R}^{d}\right)$, この単語埋め込みをまとめ たべクトル列 $W=\left[w_{1}, . ., w_{|s|}\right] \in \mathbb{R}^{|s| \times d}$ を残りの モデル $M$ に入力して文埋め込み $s$ を計算する $\left(M: \boldsymbol{W} \mapsto s \in \mathbb{R}^{d}\right)$. ここで, $d$ は埋め込みの次元数 を表す. なおモデル $M$ の最後尾で文べクトル $s$ を 作るためにおこなわれる最後の処理は，各トークン の隠れ状態のプーリングによるまとめ上げである が，このプーリングには文に含まれる単語の表現 の平均プーリング（MEAN）と文頭に挿入される特殊 トークン [CLS] の隠れ状態を用いる CLS プーリン グ（CLS）の 2 種類が主に使われている.

## 2.2 モデルが行う単語の暗黙的な重み付け

モデルが文埋め込みを生成する際に内部でどの ように各単語を重み付けているかを定量化するた めに，勾配計算を用いた特徴量（ここでは単語）の 帰属手法である Integrated Gradients（IG）[9]を用い た. 特徵量帰属手法は他にも様々あるが, IG は複雑 なニューラルネットに適用でき，さらに単純な微分 を用いる手法の問題点が積分によって克服されてい る，近年もっとも標準的に採用されているアプロー チである $[10,11]$.

今回の問題では, 文中の単語 $w_{i}$ がニューラルネッ トで文埋め込み $s$ を構成する際にどの程度寄与して いるかの度合い $c\left(w_{i}, s\right)$ を, 単語べクトルの各要素 の文ベクトルの各要素への寄与度 $\operatorname{IG}\left(w_{i}[j], s[k] ; M\right)$ に帰着させて以下のように計算することができる [12].

$
\begin{aligned}
& c\left(w_{i}, \boldsymbol{s}\right):=\sqrt{\sum_{j} \sum_{k} \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right)} \\
& \mathrm{IG}\left(\boldsymbol{w}_{i}[j], \boldsymbol{s}[k] ; M\right):=\left(\boldsymbol{W}_{i}^{(k)}-\boldsymbol{B}_{i}^{(k)}\right) \\
& \quad \times \int_{\alpha=0}^{1} \frac{\partial M(\boldsymbol{B}+\alpha \times(\boldsymbol{W}-\boldsymbol{B}))}{\partial \boldsymbol{W}_{i}^{(k)}} d \alpha
\end{aligned}
$

ただし, $v[j]$ はべクトル $v$ の $j$ 次元目の値. $\boldsymbol{B}=\left[\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{|s|}\right]$ は積分の「ベースラインの位置」 を表すべクトル列で，文頭と文末に挿入される 特殊トークン以外の単語を[PAD] に置き換えた [CLS] , [PAD] , . , [PAD] , [SEP] に対応するベクトル 列を用いた．IG はモデルへの入力をベースライン $\boldsymbol{B}$ から実際の入力 $W$ まで徐々に変化させながら対

図 2 単語頻度に基づく情報量 $-\log P(w)$ と各種重み付け 手法の比較. 各種重み付けは STS-Benchmark[13] の頻度情報を基に作成した。

象特徴量の出力への偏微分を計算していき，それら を積分することで（経路全体での寄与を足し合わせ ることで）合計の寄与を計算する。式 1 では文べク トル側と単語ベクトル側の要素のすべての組み合わ せについての寄与の二乗和を計算することで単語の 文への寄与を算出している.

## 2.3 単語の持つ情報量

本研究では, 頻度に基づく単語の情報量 $-\log P(w)$ を文埋め込みモデル内部で行われる重み付けと比較 する。情報量とは確率 $P(x)$ で発生する事象 $x$ を観測した時に得られる情報の量であり, $-\log P(x)$ で 定義される. 文（単語列）を受け取ってその意味を 扱う文埋め込みモデルでは, $P(\cdot)$ を単語頻度分布, $P(w)$ を単語 $w$ が出現する確率とすれば， $-\log P(w)$ は単語 $w$ を観測した時に得られる情報の量に相当 し，低頻度語ほど情報量は大きい。

情報量 $-\log P(w)$ は既存の単語重み付け手法と深 い関係を持つ。文埋め込みにおいては，ストップ ワードの除去や TF-IDF，SIF weighting など，単語の 逆頻度に基づく重み付けが効果的であると知られて いる $[4,14]$. これらの手法は文の意味を理解する上 で不必要な高頻度語を取り除いたり，文の意味を決定づけると期待される低頻度語を重視しているとみ なすことができ，情報量 $-\log P(w)$ の概念と一貫す る. 情報量 $-\log P(w)$ は逆頻度に基づく最も基本的 な重み付けと言え，実際これらの既存の重み付け手法とも類似している（図 2)。これらの理由から，文埋め込みモデル内部で行われる各単語への重み付け の比較対象として情報量 $-\log P(w)$ を用いる.

## 3 実験

BERT を用いた文埋め込みモデル内部での各単語 への重み付けを単語頻度に基づく情報量 $-\log P(w)$ に照らし合わせながら調査する.

モデル BERT を追加学習した文埋め込みモデル には SentenceBERT（SBERT）[7]と SimCSE[8]を用 いた. SimCSE は追加学習時にラベル付きデータを 使っていない Unsupervised SimCSE と，使っている Supervised SimCSE の 2 種類を扱う.また, ベース ラインとして文埋め込み用の追加学習を行う前の BERT-base (uncased)を用いた. 特に，平均プーリン グを採用した BERT (MEAN) と CLS プーリングを採用した BERT (CLS) の 2 種類を扱う。なお，SimCSE および SBERT はそれぞれ BERT (CLS) および BERT (MEAN) を追加学習したモデルである.

データセット モデルへの入力文には，文類似度計算タスクの代表的なデータセットである STS Benchmark[13] の検証データおよびテストデータを 用いた. 今回は簡単のため，サブワード分割が発生せず，文長 7 の合計 617 文のみを対象とした. ま た，単語の情報量 $-\log P(w)$ の計算に用いる単語頻度は BERT の事前学習時コーパスを Wikipedia と BooksCorpurs[15] から再現して算出した.

## 3.1 定量分析

モデルに各文を入力し， 2.2 節で述べた方法でモ デル内部における各単語への重み付けを計算する.続いて，計算された各単語への重み付けと頻度に基 づく単語の情報量 $-\log P(w)$ の関係を比較するため 両者のピアソン相関係数を測定する．また，ベース ラインとして単語頻度 $P(w)$ とのピアソン相関係数 も測定する.

BERT を用いた文埋め込みモデルは $-\log P(w)$ に従って各単語を重み付けている：表 1 より, 文埋め込み用の追加学習を行っていない BERT (CLS) および BERT (MEAN) における単語への重み付けは $-\log P(w)$ と弱い正の相関があった. つまり, 追加学習前の BERT は緩やかに情報量に基づいた単語重 み付けを行なっている事が分かった. 追加学習後の モデルである SBERT および SimCSE では追加学習前の BERT (MEAN/CLS) よりも強い正の相関が見られ，追加学習後のモデルはより情報量に従って単語を重 み付けていることが分かった. これらの結果は，文埋め込み用の追加学習によってモデルが暗黙的に単表 1 各モデルにおける単語の貢献度とのピアソンの相関係数

図 3 BERT (MEAN) と SBERT における $-\log P(w)$ と単語の 重み付けの散布図。他のモデルの散布図は付録 $\mathrm{A}$ 参照.

語の情報量に基づく重み付けを獲得していることを 示唆する. ただし, 同程度の情報量を持つ単語でも モデルの重み付けには分散が見られ，特に高情報量 （低頻度語）側で分散が大きくなっていた（図 3). このことから， $-\log P(w)$ だけでは文埋め込みモデ ルが行う重み付けを完全には説明できていないと考 えられる。例えば，同じ単語でも出現によって異な る重み付けがされており，周囲の単語との関係性な どにも依存して重み付けを変えている可能性があ る. 高情報量での分散傾向の調査は今後の展望の一 つである.

重み付けは $P(w)$ ではなく $-\log P(w)$ に従う：表 1 において $-\log P(w)$ との相関係数と $P(w)$ との相関係数の絶対値を比較すると，どのモデルにおいても 一貫して $-\log P(w)$ との相関の方が強い. つまり， モデル内部での単語の重み付けは単純な単語頻度 $P(w)$ というよりも， $\log$ をけた情報量 $-\log P(w)$ に従っている。

## 3.2 定性分析

各モデルにおける単語への重み付けの具体例を 図 4 に示す. “a woman is cutting an onion.”を入力し た例では，追加学習前の BERT (CLS/MEAN) はどの単

図 4 文ごとの単語の貢献度と $-\log P(w)$.

語にもほぼ均等に重み付けを行なっているが，追加学習後のモデルはよりピーキーな重み付けを行っ ており, $-\log P(w)$ と非常に似ていることがわかる. SBERT の重み付けが特にピーキーで, 文中で情報量 が最も高いonionを最も高く重み付けている。

“there are dogs in the forest." を入力した例でも同様 の傾向が見られ，情報量が最も高い dogs に SBERT が最も高い重み付けを行なっていた。これらのこと から，BERT を追加学習したモデルは $-\log P(w)$ に 近い形で重み付けを行うが，モデルによって重み付 け傾向がやや異なることが示唆される.

## 4 関連研究

静的単語埋め込みを用いた文埋め込み 静的単語埋め込みが持つ加法構成性により, 単純な単語埋め 込みの平均を用いても質の高い文埋め込みを構成で きることが知られている $[1,2,3]$. さらに，各単語埋 め込みを単純に平均する代わりに，単語の逆頻度に 基づいて（TF-IDF や SIF-weighting など）重み付け 和することで，文埋め込みの質が向上する $[14,4]$.本研究では, 文埋め込み構築において効果的である と知られるこれらの重み付け手法と関係深い単語の 情報量 $-\log P(w)$ を比較対象に用いた。

マスク言語モデルを用いた文埋め込み 近年，自然言語処理分野の様々なタスクで成功を納めている マスク言語モデル $[5,6]$ を追加学習した文埋め込み モデルが盛んに開発されている. Reimers ら [7] は BERTを自然言語推論タスクを用いて追加学習させ ることで文埋め込みに適した SBERTを提案した。 また, 最近では画像分野の表現学習において対照学習が成功を収めている（SimCLR[16] など）ことに影響を受け，DeCLUTR[17]，SimCSE[8]，など，対照学習を取り入れた文埋め込み手法が続々と提案さ れている。これらのマスク言語モデルを用いた文埋 め込みモデルでは，既存手法のように単語を明示的 に重み付けることは基本的にない. 例外としては, Wang ら [18] は SBERT の各層から取り出した単語埋 め込みを明示的に重み付けて文埋め込みを構築する ことでより性能を向上させる手法を提案している.本研究では，マスク言語モデルを用いた文埋め込み 手法の中でも代表的である SBERT と SimCSE を対象とし，モデル内部で暗黙的に行われている単語の 重み付けについて調査した。

## 5 おわりに

本稿では，BERTを用いた文埋め込みモデルが内部では単語の情報量 $-\log P(w)$ に基づいて単語を重 み付けていることを明らかにした。また，この重み 付け傾向は BERT の追加学習を通じて獲得されてい ることも示し，BERTを用いた文埋め込みモデルは 既存手法でポストホックに外から行われていた重み 付けを追加学習の過程で自ら獲得していることが示唆される。

今後は，モデルが行う単語重み付けと文脈付きの 情報量や単語の品詞などを比較し, $-\log P(w)$ 単体 では捉えきれなかったモデルが「暗黙的に行う重み 付け」についてさらに調査を進める。また，他の文埋め込みモデルや情報検索などで使用されているテ キスト埋め込みモデルにまで分析の範囲を拡大し，様々な学習がモデルの単語重み付けに与える影響を 分析する方向性も興味深い.

## 謝辞

本研究は JSPS 科研費 JP22H05106，JP22J21492， JST，CREST，JPMJCR20D2 の助成を受けたもので す.また，本研究に関して多くのアドバイスを下 さった栗林樹生氏をはじめ Tohoku NLP グループの 皆様に感謝致します。

## 参考文献

[1] Jeff Mitchell and Mirella Lapata. Composition in distributional models of semantics. Cognitive science, Vol. 34, No. 8, pp. 1388-1429, 2010.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[3] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Towards universal paraphrastic sentence embeddings. In International Conference on Learning Representations, 2016.

[4] Ignacio Arroyo-Fernández, Carlos Francisco MéndezCruz, Gerardo Sierra, Juan Manuel Torres-Moreno, and Grigori Sidorov. Unsupervised sentence representations as word information series: Revisiting tf-idf. Computer Speech and Language, pp. 107-129, July 2019.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019.

[7] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Ax- iomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 3319-3328. JMLR.org, 2017.

[10] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8493-8502, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Self-attention attribution: Interpreting information interactions inside transformer. Vol. 35, pp. 12963-12971, May 2021.

[12] Gino Brunner, Yang Liu, Damian Pascual, Oliver Richter, Massimiliano Ciaramita, and Roger Wattenhofer. On identifiability in transformers. In International Conference on Learning Representations, 2020.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In International Conference on Learning Representations, 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 19-27, 2015.

[16] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[17] John Giorgi, Osvald Nitski, Bo Wang, and Gary Bader. DeCLUTR: Deep contrastive learning for unsupervised textual representations. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 879-895, Online, August 2021. Association for Computational Linguistics.

[18] Bin Wang and C.-C. Jay Kuo. Sbert-wk: A sentence embedding method by dissecting bert-based word models. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2146-2157, 2020.

## A $-\log P(w)$ と単語の重み付けの散

## 布図

$-\log P(w)$ と各モデルが行う単語の重み付けの散布図を示す。

図 $5 \mathrm{BERT}(\mathrm{CLS})$ における $-\log P(w)$ と単語の重み付けの 散布図

図 $6 \mathrm{BERT}(\mathrm{MEAN})$ における $-\log P(w)$ と単語の重み付け の散布図

図 7 SBERT(MEAN) における $-\log P(w)$ と単語の重み付け の散布図

図 8 Unsupervised SimCSE(CLS) における $-\log P(w)$ と単語の重み付けの散布図

図 9 Supervised SimCSE(CLS) における $-\log P(w)$ と単語 の重み付けの散布図


# Transformer 言語モデルの 予測ヘッド内バイアスによる頻度補正効果

小林悟郎 ${ }^{1,2}$ 栗林樹生 1,3 横井祥 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所 ${ }^{3}$ Langsmith 株式会社
}

goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

近年 Transfrormer ネットワークを採用した言語モ デルが大きな成功を収め，注意機構やフィードフォ ワードネットを中心に分析が盛んに行われてきた.本研究ではモデルの出口部分にあたり, 出力に直接作用する予測ヘッドの働きを分析する．実験から予測ヘッド内のバイアスが単語予測を頻度補正してい ることを明らかにする．具体的には，このバイアス が高頻度語の予測確率を上げ，低頻度語の予測確率 を下げることで，予測分布を実際の単語頻度分布に 近づけていることが観察された. さらにこの知見を 応用し，バイアスを制御することで言語モデルに多様かつ人間に近い文章生成を促せることを示す.

## 1 はじめに

Transformer ネットワーク [1] を採用した言語モデ ル (Transformer 言語モデル) $[2,3,4]$ は今や自然言語処理分野全体を支える基盤技術であり，高品質な文章生成を通じて幅広い応用を支えている。さらに， その成功理由の解明や更なる性能改善を求め, 内部機序の分析も盛んに行われている [5]. 分析対象と してこれまで特に注目を浴びてきたのはアーキテク チャの中核をなす Transformer 層であり, 注意機構 の重みの観察からはじまり層正規化やフィードフォ ワードネットの挙動解明に至るまで，知見が順調に 蓄積されてきた $[6,7,8]$.

本研究では, Transformer 言語モデルの出口部分, すなわちすべての Transformer 層を出たあとの予測 ヘッドの働きを分析する（図 1). 予測ヘッドはモデ ルの単語予測に直接的に作用するため解釈もしやす く，また下層での処理をまとめて上書きできるとい う点でモデル改善に接続しやすいと期待できる.

実験の結果，BERT および GPT-2 の予測ヘッド内 のバイアスが，高頻度語の予測確率を上げ，低頻度

図 1 BERT および GPT-2 の構造概要.

語の予測確率を下げていることが分かった.さらに この知見を応用し，バイアスの効果を抑制しながら 文章生成を行うことで，モデルが典型的な（高頻度 な）表現ばかりを生成する問題 $[9,10]$ が軽減し，多様かつ人間に近い文章生成を促せることを示した。

## 2 準備: 言語モデルの予測ヘッド

Transformer 言語モデルは埋め込み層に始まり，モ デルの主要部分は「層」と呼ばれる同じ構造を積み 重ねたネットワークである（図 1），各層は注意機構 などを通じて隠れ表現を更新していく。

層を積み重ねた後には予測ヘッドがあり，これが 本研究の分析対象である。なお本研究では，事前学習で得られた，最終層から隠れ表現を受け取って各単語の予測確率を算出するへッドのことを予測へッ ドと呼ぶ. 具体的には，隠れ表現 $x \in \mathbb{R}^{d}$ を受け取 り，層正規化（LN）[11]を適用してから，埋め込み 層でも参照する単語埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{d \times|\mathscr{V}|} へ$射影することで全語彙数 $|\mathscr{V}|$ 個分の予測確率を計算 する．ただし，BERT では層正規化の前に全結合層 （FC）を適用し，さらに埋め込み行列への射影後に はバイアスパラメータ $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ を加算する.

以下，詳細を述べる. GPT-2 では入力最後尾の単語に対応する隠れ表現 $x$ を受け取り，以下のように
次単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{|\mathscr{W}|}$ を計算する1)：

$
\begin{aligned}
\boldsymbol{p} & =\operatorname{softmax}\left(\mathrm{LN}(\boldsymbol{x}) \boldsymbol{W}_{\mathrm{emb}}\right) \\
\mathrm{LN}(\boldsymbol{x}) & :=\frac{\boldsymbol{x}-m(\boldsymbol{x})}{s(\boldsymbol{x})} \odot \gamma+\boldsymbol{b}_{\mathrm{LN}} \in \mathbb{R}^{d}
\end{aligned}
$

BERT では [MASK] に対応する隠れ表現 $x$ を受け取 り，活性化関数 GELU [12]を含んだ全結合層も用い て穴埋め単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{v}$ を計算する：

$
\begin{aligned}
& \boldsymbol{p}=\operatorname{softmax}\left(\mathrm{LN}\left(\boldsymbol{x}^{\prime}\right) \boldsymbol{W}_{\mathrm{emb}}+\boldsymbol{b}_{\text {last }}\right) \\
& \boldsymbol{x}^{\prime}=\operatorname{GELU}\left(\boldsymbol{x} \boldsymbol{W}_{\mathrm{FC}}+\boldsymbol{b}_{\mathrm{FC}}\right) \in \mathbb{R}^{d}
\end{aligned}
$

ここで， $m(\boldsymbol{x})$ および $s(\boldsymbol{x})$ はそれぞれ要素での平均と標準偏差を指し，๑は要素積を表す。また， $\gamma \in \mathbb{R}^{d}$ および $\boldsymbol{W}_{\mathrm{FC}} \in \mathbb{R}^{d \times d}$ は学習可能な重みパラ メータ, $\boldsymbol{b}_{\mathrm{LN}}, \boldsymbol{b}_{\mathrm{FC}} \in \mathbb{R}^{d}$ および $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ は学習可能なバイアスパラメータを表す. 以上のように， BERT と GPT-2 の予測へッドは共通してバイアス $b_{\mathrm{LN}}$ を持ち, BERT はさらに $b_{\mathrm{FC}}$ と $b_{\text {last }}$ を持つ.

本研究では Transformer 言語モデルの予測ヘッド が単語予測へ与える影響を分析する。今回は分析の 第一歩として，加算という単純な操作で作用するた めに分析が容易なバイアスパラメータに注目する.

## 3 実験

予測ヘッド内のバイアスが単語予測に与える影響 を分析する. 3.1 節ではバイアスがモデルの単語予測分布を実際の単語頻度分布に近づけるような頻度補正を行なっていることを明らかにする． 3.2 節で はバイアスの頻度補正効果を抑制する簡単な方法で 多様かつ人間に近い文章生成を促せることを示す.

モデル事前学習済みの BERT-cased [2] と GPT-2 [3] を対象とした. BERT は base と large の 2 種類, GPT-2 は small, medium, large, $\mathrm{xl} の 4$ 種類を用いた.

$
\text { データモデルへ入力するテキストとして GPT-2 }
$
の事前学習コーパスである OpenWebText のテスト セットの一部 5000 系列を用いた2)．BERT では事前学習の設定に従い，12\%3) のトークンを [MASK] に置換して入力した. GPT-2 で文章生成を行う 3.2 節で は計算コストの観点から，5000 系列からランダム にサンプリングした 100 系列のみを用いた. また 分析時に用いる単語コーパス頻度は，BERT および

1）本稿ではベクトルは横ベクトルとしている.

2) https://github.com/openai/gpt-2-output-dataset で公開されている webtext.testを用いた.

3） BERT の事前学習では入力系列の $15 \%$ が選ばれ，そのうち $80 \%$ （全体の $12 \%$ ）が [MASK] トークンに置換される.

図 2 BERT（base）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 3 GPT-2（small）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

GPT-2 それぞれの学習コーパスで算出した4).

## 3.1 バイアスが予測分布へ与える影響

BERT および GPT-2 の予測ヘッド内の各バイアス が単語予測に与える影響を調べる。各バイアスを除去して出力される単語予測分布を通常のモデルが出力した単語予測分布と比較する.

結果 BERT (base) でバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を除去した際 の単語予測分布の変化を図 2 に示す. 図の横軸は コーパスで算出した実際の単語頻度，縦軸はモデル の単語予測確率である。コーパス単語頻度側で一定間隔にビンを分け，各ビンでの単語予測確率の幾何平均と幾何標準偏差をプロットした. バイアスを除去したところ，高頻度語（図右側）の予測確率が下 がり，低頻度語（図左側）の予測確率が底上げされ，結果的に単語予測分布は平坦 (図 2 中 UNIFORM 直線）に近づいた。言い換えれば，バイアス $b_{\mathrm{LN}}$ は，高頻度語を予測しやすく低頻度語を予測しにくく することで，単語予測分布を実際の単語頻度分布 （図 2 中 UnIGRam 直線）に近づけていることがわ

4） BERT の学習コーパスは Wikipedia と BooksCorpus [13], GPT-2 の学習コーパスは OpenWebText である.それぞれ https://github.com/huggingface/datasets で一般公開され ているデータセットを用いて再現し，単語頻度を算出した。
表 1 各バイアス除去時のモデル単語予測分布とコーパ ス単語頻度分布の KL ダイバージェンス. 值が大きいほ ど，単語予測分布がコーパス単語頻度分布と離れている ことを表す. $\boldsymbol{b}_{\mathrm{FC}}$ と $\boldsymbol{b}_{\text {bias }}$ は BERTにのみ存在する。

かった.この結果は単方向言語モデル（GPT-2）で も一貫した. GPT-2 (small) の結果を図 3，その他の 結果を付録 A に示す。

各バイアスによる頻度補正を定量的に観察するた め, 検証した全てのモデルについて, モデルの単語予測分布とコーパスから算出した実際の単語頻度分布（UnIGRam）の KL ダイバージェンスを測った (表 1).どのモデルでもバイアス $b_{\mathrm{LN}}$ を除去すると 值が大きくなることから， $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づける頻度補正はモデルによ らず行われていることがわかった。なお，BERTに おける $\boldsymbol{b}_{\mathrm{FC}}$ および $\boldsymbol{b}_{\text {last }}$ も同様の頻度補正を行なって いたが $b_{\mathrm{LN}}$ に比べて影響が小さかったため，これ以後は $\boldsymbol{b}_{\mathrm{LN}}$ に絞って分析・検証を行う。

考察：層の外で頻度補正する戦略 単語頻度分布 の情報が予測ヘッドにある程度外出しされているこ とから, 各 Transformer 層は頻度情報に表現力を割 かずに頻度以外の意味について処理をおこなう傾向 にあると考えられる．実際，Transformer 言語モデル の層は入力側から順に表層・構造・意味を処理して いると報告されている [14]. 例えば高頻度な名詞で ある “valley” と低頻度な類義語 “dale” は, 品詞理解 の上でも構文解析の上でも大雑把な意味理解の上で も見分ける必要がなく, 頻度情報を一旦考えないの はむしろ効果的だと考えられる. また，表 1 ではモ デルサイズが大きくなるほどバイアス除去前後の $\mathrm{KL}$ ダイバージェンスの変化は小さく, つまり, 層 の表現力および次元数が低いモデルほど頻度情報を 予測ヘッドに任せており，これは限られた表現力を 別の種類の言語処理に割いているのだろうという考察と一貫する。

考察：単語埋込空間における「頻度方向」の存在 Geva ら [15] に倣い，バイアスパラメータ $b_{\mathrm{LN}}$ を埋

図 4 GPT-2 (small)においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.

め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ へ直接射影し語彙数 $|\mathscr{V}|$ 個のスコ アを算出することで $\left(\boldsymbol{b}_{\mathrm{LN}} \boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{|\mathscr{V}|}\right.$ を観察するこ とで)，バイアスパラメータが単語予測分布に与え る影響を近似的に確認した. 結果，単語頻度と「バ イアスと単語埋込の内積」との間に比例関係が観察 された (図4). バイアスパラメータが高頻度語の予測を強め低頻度語の予測を弱める役割を持つとい う本稿の主張を補強する結果と言える.この結果を 幾何的に解釈すると，単語埋込空間（ $W_{\mathrm{emb}}$ をなす 各単語ベクトルが入っている空間）の特定のわずか 1 次元の方向（ $\boldsymbol{b}_{\mathrm{LN}}$ 方向）に頻度情報がエンコード されていると言える。これまでも，静的な埋込や系列変換器などさまざまなモデルで, 頻度の近い単語群が埋込空間上で偏在することが報告されてきた $[16,17,18]$. Transformer 言語モデルでも同様の現象 が起きていると考えられる.

## 3.2 バイアスが文章生成に与える影響

前節では予測へッド内のバイアスが単語予測を実際の単語頻度に近づけていることが分かった. 本節 では推論時にこのバイアスを制御することで生成さ れる文章の質を改善できる可能性を示す。

手順 バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を制御した GPT-2 で文章生成 し，その品質を評価する。具体的には，新たに係数 $\lambda \in[0,1]$ を導入し，予測へッドの $\boldsymbol{b}_{\mathrm{LN}}$ を $\lambda \boldsymbol{b}_{\mathrm{LN}}$ に置 き換える。入を 0.1 刻みで変化させながら文章を生成させた. デコーディングには 5 種類の方法を用い

デコーディングでの結果について述べる. ただし，本稿での主張は 5 種類全てで支持されている. 詳細設定は付録 Bに示す。

表 2 GPT-2のバイアスを制御した際の予測および生成さ れたテキストの評価. $\lambda=0,1$ と顕著だった $\lambda て ゙ の$ 結果.

評価 生成された文章は多様性と人間らしさの 2 つの観点で評価する。多様性の評価には Distinct-n $\left(D_{n}\right)$ [19] と N-gram diversity $(D)$ [20]を用いた.これ らは生成された文章における N-gram 重複度を測定 する評価指標であり，以下のように計算される。

$
D_{n}=\frac{\# \text { ユニークな n-gram }}{\text { \# 生成された全ての n-gram }}, D=\frac{1}{4} \sum_{n=1}^{4} D_{n}
$

人間らしさの評価には MAUve[21]を用いた. MAUvE は人間が生成した文集合とモデルが生成した文集合 を文埋込空間上の点群として比較することで，モデ ルが生成する文の分布が人間と近いかを評価する。加えて，モデルの単語レベルの予測傾向が人間と近 いかを評価するため Perplexity (PPL) でも評価した.

結果 表 2 に各モデルが生成した文章の評価結果 を示す. どのサイズの GPT-2 でもバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を弱 める $(\lambda<1)$ ことで, 生成される文章の多様性は上 がったが，同時に PPLが悪化し，両者はトレードオ フの関係にあった. 一方で，サイズの大きい 2 モデ ルでは PPL の悪化が微小なのにも関わらず，多様性 およびMAUVEが改善する入があった。すなわち, バ イアス $\boldsymbol{b}_{\mathrm{LN}}$ の補正効果を係数 $\lambda$ で抑制する簡単な操作が，言語モデルに多様かつ人間に近い文章生成を 促しうることがわかった. ただし，これらの指標の みから多様な側面を持つ文章品質の全体像を完全に 把握するのは不可能であり，たとえば人手による流暢性の評価などが今後の展望として残されている。

考察: ロジット補正法との関係 本研究では, Transformer 言語モデルの出口付近のバイアス $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づけてい
ることを明らかにし，また $\boldsymbol{b}_{\mathrm{LN}}$ の効果を抑制する操作が文章生成の制御・改善につながる可能性を示し た.この一連の知見は Menon ら [22] が提案した口 ジット補正法と非常に類似している. ロジット補正 とは，クラス不均衡な分類タスクにおいてモデルが 高頻度クラスばかりを予測するよう学習されてしま う問題をロジットの調整を通じて緩和する技術で ある．彼らが提案した手法の 1 つは，訓練時には口 ジットにクラス頻度分布を加算して予測させ，推論時には加算せず予測させることで，均衡誤差6) の最小化を目指すものである. 本研究の知見と照らし合 わせると，予測へッドでの頻度補正バイアス $b_{\mathrm{LN}}$ の 加算はロジットにクラス頻度分布を加算する操作と 一貫しており，推論時にこれを除去することが生成分布の多様性につながる点も同様である．頻度分布 を外から与えるという工夫を加えていないにも関わ らず，Transformer 言語モデルが暗に均衡誤差の最小化に近い形で学習されていることは興味梁い。

## 4 関連研究

Transformer 言語モデルの分析のスコープとして は，1 節でも述べたように Transformer 層が注目を 集めてきた．また，特に位置埋め込みなどモデル の入り口部分である埋込層にも関心が寄せられて いる $[23,24]$. 我々は分析領域を予測へッドに広げ， その機序について新たな発見を提供した. 予測へッ ドは層正規化を含むなど表現力が高く複雑な処理が 可能であり（式 2)，さらに単語予測に直接作用でき るため積み重ねた Transformer 層の処理の上書きす ら可能な魅力的な分析対象と言える.

## 5 おわりに

本稿では，Transformer 言語モデルの予測ヘッドを 構成するバイアスが予測の頻度補正を行い，予測分布をコーパス単語頻度分布に近づけていることを明 らかにした。さらに，このバイアスの効果を抑制し ながら文章生成させることで，生成される文章の多様性や自然さを改善できる可能性を示した。一連の 知見は，単語埋込空間における幾何やロジット補正法との関連など，Transformer 言語モデルが持つ性質 について興味深い示唆を提供する。

今後は，OPT [25] などのより巨大な言語モデルで も分析を行いたい．また，今回は対象外とした予測 ヘッド内の重みパラメータの分析も興味深い.

6）クラス頻度によらず，各クラスを平等に捉えた誤差.

## 謝辞

言語モデルが生成した文章の評価方法についてア ドバイスをくださった東北大学の佐藤志貴さんに感謝申し上げます。本研究は JSPS 科研費 JP22J21492, JP22H05106, JP22H03654 の助成を受けたものです. また本研究は JST, ACT-X, JPMJAX200S および JST, CREST, JPMJCR20D2 の支援を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems 33 (NeurIPS), Vol. 33, pp. 1877-1901, 2020.

[5] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 842-866, 2021.

[6] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[7] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4547-4568, 2021.

[8] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8493-8502, 2022.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In 8th International Conference on Learning Representations (ICLR), 2020.

[10] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. Neural Text Generation With Unlikelihood Training. In 8th International Conference on Learning Representations (ICLR), 2020.

[11] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450, 2016.
[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415, 2016.

[13] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. In The IEEE International Conference on Computer Vision (ICCV), 2015.

[14] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT Rediscovers the Classical NLP Pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4593-4601, 2019.

[15] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward Layers Are Key-Value Memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[16] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. In 6th International Conference on Learning Representations (ICLR), 2018.

[17] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. In Advances in Neural Information Processing Systems 31 (NeurIPS), pp. 1341-1352, 2018.

[18] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1882-1892, 2020.

[19] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 110-119, 2016.

[20] Clara Meister, Tiago Pimentel, Gian Wiher, and Ryan Cotterell. Locally Typical Sampling. arXiv preprint arXiv:2202.00666v4, 2022.

[21] Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, and Zaid Harchaoui. MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. In Advances in Neural Information Processing Systems 34 (NeurIPS), 2021.

[22] Aditya Krishna Menon, Sadeep Jayasumana, Ankit Singh Rawat, Himanshu Jain, Andreas Veit, and Sanjiv Kumar. Long-tail learning via logit adjustment. In 9th International Conference on Learning Representations (ICLR), 2021.

[23] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On position embeddings in BERT. In 9th International Conference on Learning Representations (ICLR), 2021.

[24] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3309-3321, 2021.

[25] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068v4, 2022.

図 5 BERT (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 6 GPT-2 (medium) におけるバイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去による 単語予測分布の変化.

## A 各モデルサイズでの結果

3.1 節で行った，バイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去した際の予測確率分布の変化を各モデルで可視化した結果を図 5 から 8 に示す. 3.1 節で行った, バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を埋 め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ への射影を BERT (base) で可視化 した結果を図 9 に示す.スペースの都合でその他モ デルでの可視化は省略する.

## B 実験の詳細設定

言語モデルの単語予測分布を観察する実験（3.1 節および 3.2 節の PPL計算）では, BERTには [MASK]部分を単語予測させ，GPT-2 には各系列の 2 単語目以降を単語予測させた. 入力系列の長さがモデルの 最大入力長 $k$ を超える場合は，先頭から $k$ トークン のみを用いた．GPT-2 に文章を生成させる実験（3.2 節）では，先頭から 10 単語を文脈として与え，入力系列と同じ長さになるか終端トークンを生成するま で後続を生成させた. ビーム探索のビーム幅は 5 , Top-k サンプリングの $k$ は 50, Top-p サンプリング の $p$ は 0.9 とした.また，モデルが生成した文章の 多様性を評価する際には，NLTK の単語分割器を適用してから N-gram をカウントした.

図 7 GPT-2 (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 8 GPT-2 (xl) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 9 BERT (base) においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.


# 正準角および部分空間に基づく BERTScore の拡張

石橋陽一 ${ }^{1}$ 横井祥 ${ }^{2,3}$ 須藤 克仁 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 東北大 ${ }^{3}$ 理研 AIP
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp
yokoi@tohoku.ac.jp

## 概要

本研究では生成文自動評価の代表的な手法であ る BERTScore を拡張し、新たな文類似度 SubspaceBERTScore を提案する。我々は文に明示的に含ま れない意味も考慮するため、BERTScore における文表現（ベクトル集合）と指示関数（集合への含まれ 度合い）に着目し、これらを部分空間表現と正準角 を用いて自然に拡張する。生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の 文類似推定性能を安定して改善する事を示す。

## 1 はじめに

生成文の自動評価は、自然言語処理の重要な課題 の1つである。自動評価ではシステム訳文と参照文 を比較することで意味的な同等性を評価すること を目指している [1]。ベクトル集合のマッチングに 基づく類似度の中で代表的な手法である BERTScore [2] はシンプルで利便性が高く、最も使用されてい る手法である。BERTScore は BERT [3] や RoBERTa [4] 等の事前学習済みベクトルを利用して、ベクト ル間のコサイン類似度の総和に基づき文類似度を計算する手法である。

BERTScore において技術的に最も重要なものは指示関数である。これは、文を単語集合と考えたとき に、ある単語集合中のトークン (royal) が、もう一方の単語集合（ $B=\{$ We, are, king, and, queen $\})$ にど の程度含まれているか $($ royal $\in B ） を$ 定量化するも のである。我々が着目するのは、この一件自然なア プローチが，文内のシンボルとしては明示的に含ま れないが文意には影響する意味を取り逃がす可能が あるという点である。例えば king と queenを含む文 が持つ royal という意味情報が、royal という単語が $B$ に含まれないという理由で BERTScore の類似性計算は反映することができない。

そこで、本研究では、部分空間の考え方 [5]を取

## BERTScore

$B=\left.\{b_{1}, b_{2}, b_{3}\right.\}$
Subspace-BERTScore

$\mathbb{S}_{B}=\operatorname{span}\left.\{b_{1}, b_{2}, b_{3}\right.\}$

図 1 提案法 (Subspace-BERTScore) と BERTScore の比較。提案法は文 $(B)$ を部分空間 $\left(\mathbb{S}_{\mathbf{B}}\right)$ で表現し、部分空間と トークンベクトル $\left(a_{i}\right)$ との類似度（う正準角）を計算す ることで、文類似尺度の表現力を向上させている。

り入れることで、BERTScore の指示関数を拡張し、文類似度の改善に取り組んだ。提案法は表現力を向上させるだけでなく、べクトル集合間のマッチン グを Recall、Precision、F-score に帰着させるという BERTScore の基本的な方針を継承しているため、タ スクへの非依存性といった BERTScore の利点は損 なわれていない。本研究では生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を改善する事を示した。

## 2 準備

問題設定 本研究では 2 つの文に対する類似度の 開発を目指している。本手法が対象とするタスク （生成文自動評価・文類似度タスク）では 2 つの文 が与えられ、これらの類似性を判定する。したがっ て本研究では与えられる 2 つ文 $A, B$ を事前学習済みのべクトルで表現した上で、それらの類似度を 計算する。

記法以降の議論を明確にするために、いくつ かの記号を定義しておく。2つの文 $A, B$ のトーク ンの集合をそれぞれ $A=\left.\{a_{1}, a_{2}, \ldots\right.\}, B=\left.\{b_{1}, b_{2}, \ldots\right.\}$ と表記する。事前学習済み埋め込みによって 表現される文脈化トークンベクトルの集合を $\mathbf{A}=\left.\{\boldsymbol{a}_{1}, \boldsymbol{a}_{2}, \ldots\right.\}, \mathbf{B}=\left.\{\boldsymbol{b}_{1}, \boldsymbol{b}_{2}, \ldots\right.\}$ と表記する。ここで $\boldsymbol{a}, \boldsymbol{b}$ をトークンのベクトルとする。また、Aによっ

て張られる部分空間を $\mathbb{S}_{\mathbf{A}}$ と表記する。

## 3 BERTScore

ここでは生成文のマッチングに基づく文類似度に おける最も代表的な評価手法である BERTScore [2] における「文の表現方法」と技術的に最も重要な 「指示関数」を概説しその限界を指摘する。

離散シンボル集合間の類似度 BLEU [1] や METEOR [6] などの BERTScore 以前のいくつかの評価手法は、Recall $(R)$ 、Precision $(P)$ の計算に基づく 手法であった1)。

$
\begin{aligned}
& R=\frac{1}{|A|} \sum_{a_{i} \in A} \mathbb{1}_{\text {set }}\left[a_{i} \in B\right], \\
& P=\frac{1}{|B|} \sum_{b_{i} \in B} \mathbb{1}_{\text {set }}\left[b_{i} \in A\right] .
\end{aligned}
$

ここで指示関数 $\mathbb{1}_{\text {set }}$ は「集合に含まれる (1) か否か (0)」を離散的に定量化する関数である。

$
\mathbb{1}_{\text {set }}\left[a_{i} \in B\right]=\left.\{\begin{array}{lll}
1 & \text { if } & a_{i} \in B, \\
0 & \text { if } & a_{i} \notin B .
\end{array}\right.
$

BERTScore における 3 つの類似度 BERTScore は $R, P$ そして F-score $(F)$ を埋め込みを用いて近似的に計算する手法である。

$
\begin{aligned}
& R_{\mathrm{BERT}}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in \mathbf{A}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right), \\
& P_{\mathrm{BERT}}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in \mathbf{B}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{b}_{i}, \mathbf{A}\right), \\
& F_{\mathrm{BERT}}=2 \frac{P_{\mathrm{BERT}} \cdot R_{\mathrm{BERT}}}{P_{\mathrm{BERT}}+R_{\mathrm{BERT}}} .
\end{aligned}
$

文はトークンベクトルの集合 $\mathbf{A}, \mathbf{B}$ として表現され

関数である。直感的には、この $\mathbb{1}_{\text {vectors }}$ は「ベクト ル集合への $-1 \sim 1$ の含まれ度合い」であり、 $\mathbb{1}_{\text {set }} よ$ りも柔軟な指示関数となっている。具体的には、 $\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right)$ は文 $A$ 中の $i$ 番目のトークンベクトル $a_{i}$ が文 $B$ に対し意味的にどの程度含まれているか を $a_{i}$ と $B$ のトークンベクトルとの $\cos$ 類似度の最大値として定量化している。

$
\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, B\right)=\max _{\boldsymbol{b}_{j} \in B} \cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right) \in[-1,1]
$

ここで $\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)$ は $\boldsymbol{a}_{i}$ と $\boldsymbol{b}_{j}$ の $\cos$ 類似度である。

表現力の問題 指示関数 $\mathbb{1}_{\text {vector }}$ は BERTScore の計算において最も重要な演算である。 $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ は
$-gram のリストが
}使われる。 $\mathbb{1}_{\text {vectors }}$ の和であるし、 $F_{\mathrm{BERT}}$ は $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ に基づ いて計算される。しかしながら BERTScore の指示関数は表現力の観点で問題がある。図 1 左は $\mathbb{1}_{\text {vectors }}$ の計算を可視化したものである。ここで $\mathbb{v}_{\text {vectors }}$ は $B$ のすべてのべクトルとの類似度を計算し、最大值 のみ返す。すなわち、 $B$ 中の「特定の単語」との類似度である。したがって、文が持つ非明示的で重要 な意味情報との類似性が考慮されない。例えばThe king and queen. は royal の意味を含むが、表層的には 含まれない。BERTScore における類似度の計算対象 は文中の単語のみであるので、royal との類似性は 直接計算できない。この問題は文を単なるべクトル 集合で表現していること、そしてそのようなべクト ル集合のための指示関数を採用している事に起因 する。

## 4 Subspace-BERTScore

我々は部分空間の考え [5] に基づいた文表現と 指示関数により BERTScore を拡張した SubspaceBERTScoreを提案する。

部分空間を使った文表現 BERTScoreでは、文が ベクトル集合で表現されていたが、我々は文の非明示的な情報を表現するため、文をトークンベクトル が張る部分空間 $\mathbb{S}$ とてて表現する（図 1)。以前の 研究で、単語ベクトルが張る部分空間が単語集合の 意味的特徴をよく反映する表現であることがわかっ ている $[7,5]$ 。

部分空間に対する指示関数 部分空間と単語の類似性を計算するため、部分空間に適用できる指示関数であるソフト帰属度 [5] を導入する。これは直感的には「部分空間とべクトルの類似度」として機能 する。この指示関数はベクトル $\boldsymbol{a}$ と部分空間 $\mathbb{S}_{\mathbf{B}}$ と のなす最小の角度（第一正準角）に応じて 0 から 1 の連続値を返す2)。

$
\mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)=\max _{\boldsymbol{b}_{j} \in \mathbb{S}_{\mathbf{B}}}\left|\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)\right| \in[0,1]
$

ここで、 $\mathbb{S}_{\mathbf{B}}$ は文 $B$ のベクトルで張られる線形部分空間である (図 1)。

ソフト帰属度は文の全情報を含む部分空間との類似度を計算でき、BERTScore の指示関数の表現力を 改善する。また、式を見るとソフト帰属度 $1_{\text {subspace }}$ （式 8）は BERTScore における指示関数 $\mathbb{1}_{\text {vectors }}$ （式 7） の自然な拡張となっていることがわかる。

提案法: P, R, F の拡張 これまでの議論に基づ き、我々は文の部分空間表現とソフト帰属度を 用いて BERTScore の $R, P, F$ を計算する SubspaceBERTScore を提案する。

$
\begin{aligned}
& R_{\text {subspace }}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in A} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right), \\
& P_{\text {subspace }}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in B} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right), \\
& F_{\text {subspace }}=2 \frac{P_{\text {subspace }} \cdot R_{\text {subspace }}}{P_{\text {subspace }}+R_{\text {subspace }}} .
\end{aligned}
$

ここで、 $R_{\text {subspace }}, P_{\text {subspace }}, F_{\text {subspace }}$ は SubspaceBERTScore の最終的な評価尺度である。

重要度の重み付け 過去の研究で、出現頻度の低 い単語は一般的な単語よりも文において文類似性に 重要な役割を果たすことが知られている $[6,8]$ 。こ のことから BERTscore では重要度を重み付けする方法も提案している。そこで我々の手法も BERTScore と同様に以下のように重み付けを行う。

$
\begin{aligned}
R_{\text {subspace }}= & \frac{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)}{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right)}, \\
P_{\text {subspace }}= & \frac{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right)}{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right)} .
\end{aligned}
$

ここで、weight は重み付け関数である。我々は BERTScore で採用された inverse document frequency (IDF) またはベクトルの L2ノルム [9]を使用する。

## 5 定量的評価

提案法の性能を検証するため、生成文の自動評価 タスクと、文類似度タスクで評価を類似おこ。ここ では複数のデータセットにおける総合的な結果を述 べる。各データセットの個々の結果については付録 の表 4、表 5に記載する。

## 5.1 生成文自動評価タスク

実験設定 先行研究 [2] に習い我々は機械翻訳 における自動評価タスクである WMT18 metrics task [10] の評価データセットを使用した。このデータ セットには機械翻訳システム訳文と参照訳文、そ して人手評価が含まれる。このタスクでは機械翻訳システム訳文と参照訳文の類似度を算出し、人手評価と自動評価のケンドールの順位相関係数 （Kendall's $\tau$ ）で評価する。本実験で我々は 7 言語 から英語への翻訳におけるセグメントレベルの人手評価を使用した。事前学習済み言語モデルには表 1 WMT18におけるセグメントレベルの人手評価との 平均相関係数（Kendall's $\tau$ )。

表 2 各 STS データセットにおける人手評価との平均相関係数（Spearman's $\rho$ )

BERTScore で高い性能を達成したことが報告されて いる RoBERTa $_{\text {large }}{ }^{3}$ [4] の第 17 層を使用した。

結果 結果を表 1に示す。3つの類似尺度 F-score、 Precision、Recallに着目すると、いずれの類似度でも 提案法が最も高い人手評価との相関を達成した。特 に、この3つの中で F-score が最も高い性能であっ た。また、我々は先行研究 [2] と同じくIDFによる 重み付けを BERTScore と提案法に行ったが、両者と も性能向上は確認されなかった。

## 5.2 文類似度タスク

実験設定 文類似度タスク（STS）では 2つの文 の類似度を算出し、人手評価と自動評価のスピア マンの順位相関係数 (Spearman's $\rho)^{4)}$ で評価する。

データセットとして我々は SemEval shared task の 2012-2016 [11, 12, 13, 14, 15]、STS-benchmark (STS-B) [16]、そして SICK-Relatedness (SICK-R) [17]を用い た。我々は事前学習済み言語モデル BERT $_{\text {base }}{ }^{5}$ [3] の最終層のベクトルを使用した。

結果 結果を表 2に示す。F-score、Precision、Recall のいずれの方法でも生成文自動評価タスクと同様、提案法が人手評価との最も高い相関を達成した。こ の中で最も高い性能であったメトリックは F-score であった。また、重要度の重みとして STS において 有効性が確認されている L2ノルム [9] で指示関数 を重み付けした実験を行った結果、提案法および BERTScore ともに性能向上が確認され、両者ともに 重み付けが有効であることがわかった。また、L2ノ ルムによる重み付けを行った場合も提案法が既存法 より優れていた。

## 6 指示関数の効果の分析

提案法は BERTScore よりも文の非明示的な情報 を活用できているだろうか？ここで我々は非明示的 な情報を持つ文に両手法を適用し比較を行う。

## 6.1 実験設定

ここでは「非明示的だが royal の意味を含む文」 と「明示的に royal の意味を含む文」に対して指示関数を適用し比較する。我々は非明示的な文として They are the king and queen. を使用した ${ }^{6)}$ 。この文に は royal という単語は文中に出現していないが、文 の本質的な意味としては royal に近い意味を包含し ている。明示的に含む文は They are royalty. である。指示関数が良く機能するならば、「非明示的な文」 と「明示的に含む文」に対してどちらも royalを意味的に含むと判断するので、両者に対する指示関数 の値には大きな差がないはずである。そこで我々は 提案法と BERTScore の指示関数をこれらの文に使用し、指示関数の値の差で比較した。

## 6.2 結果

結果を表 3に示す。提案法は BERTScore よりも指示関数の値の差が小さいことがわかる。提案法は king や queen が張る空間で文を表現するため、文中 に royal を含まなくともその空間に royal のような 意味が含まれている。したがって、この文に対す

5) https://huggingface.co/bert-base-uncased

6）これ以外の例は付録（表 6）に記載する。表 3 指示関数の比較 ( $\mathbb{1}_{\text {vecs }}$ : BERTScore $の, \mathbb{1}_{\text {sub }}$ : 提案法 の)。両者は文 $B$ に対する単語 royal の包含度合いを計算 する。

 & 0.60 & 0.69 \\

る指示関数の值は royaltyを含む文のそれと近くな り、両者の差が小さくなったと考えられる。一方 で BERTScore の指示関数は提案法のように king と queen どちらも含むような意味空間との類似性は計算できないため、提案法よりも差が大きくなったと 考えられる。以上の結果から、提案法は BERTScore よりも高い表現力を持つことが示唆される。

## 7 関連研究

近年の生成文評価には BLEURT [18]、C-SPEC [19, 20]、COMET [21]などがある。これらは人手評価のデータを使用して評価モデルの学習を行う手法 である。これは本研究と目的が異なる。我々のタス クはモデルの学習は行わないマッチングベースの評価であり、事前学習された言語モデルによる教師な しの類似度を提案している。

BERTScore と類似した手法として MoverScore [22] がある。両者を比較すると BERTScore は基本的な 性能が MoverScore よりも高く、マッチングベース の自動評価において最も使われる手法であることか ら、本研究では BERTScore を拡張した。

## 8 結論

本研究では、BERTScore の表現力の限界を指摘 し、より表現力の高い方法 Subspace-BERTScoreを 提案した。これは BERTScore の自然な拡張になっ ており、類似度としての性能が向上している。実験 では、機械翻訳における生成文自動評価タスクと 文類似度タスクで BERTScore と提案法を比較した。 その結果、全てのタスクと全メトリックで提案法が BERTScore よりも優位であり、部分空間の方法を取 り入れることで性能を向上させることが示された。

また、我々が採用した部分空間に基づくアプロー チは汎用性が高く、現代の自然言語処理で頻繁に使用される計算（文表現やベクトル集合に対する表現形式・類似性計算）を代替できる可能性があり、将来的にあらゆる場面での応用が期待できる。

## 謝辞

本研究は JSPS 科研費 (JP22H03654, JP22H05106)、

JST ACT-X（JPMJAX200S）の支援を受けたものです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedtational Linguistics, July 6-12, 2002, Philadelphia, PA, USA, pp. 311-318. ACL, 2002.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[5] Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, and Satoshi Nakamura. Subspace-based set operations on a pre-trained word embedding space. CoRR, Vol. abs/2210.13034, , 2022.

[6] Satanjeev Banerjee and Alon Lavie. METEOR: an automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare R. Voss, editors, Proceedings of the Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization@ACL 2005, Ann Arbor, Michigan, USA, June 29, 2005 pp. 65-72. Association for Computational Linguistics, 2005.

[7] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Representing sentences as low-rank subspaces. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 629-634. Association for Computational Linguistics, 2017.

[8] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7-12, 2015, pp. 4566-4575. IEEE Computer Society, 2015

[9] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan $\mathrm{He}$, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020

[10] Qingsong Ma, Ondrej Bojar, and Yvette Graham. Results of the WMT18 metrics shared task: Both characters and embeddings achieve good performance. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Shared Task Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 671-688. Association for Computational Linguistics, 2018

[11] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[12] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Simitors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, *SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Seman- tic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016

[16] Daniel M. Cer, Mona T. Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel M. Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation, SemEval@ACL 2017, Vancouver, Canada, August 3-4, 2017, pp. 1-14. Association for Computational Linguistics, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, Reykjavik, Iceland, May 26-31, 2014, pp. 216-223. European Language Resources Association (ELRA), 2014

[18] Thibault Sellam, Dipanjan Das, and Ankur P. Parikh. BLEURT: learning robust metrics for text generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7881-7892. Association for Computational Linguistics, 2020.

[19] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 3553-3558. Association for Computational Linguistics, 2020

[20] Kosuke Takahashi, Yoichi Ishibashi, Katsuhito Sudoh, and Satoshi Nakamura. Multilingual machine translation evaluation metrics finetuned on pseudo-negative examples for WMT 2021 metrics task. In Loïc Barrault, Ondrej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Tom Kocmi, André Martins, Makoto Morishita, and Christof Monz, editors, Proceedings of the Sixth Conference on Machine Translation, WMT@EMNLP 2021, Online Event, November 10-11, 2021 pp. 1049-1052. Association for Computational Linguistics, 2021.

[21] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2685-2702. Association for Computational Linguistics, 2020.

[22] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer and Steffen Eger. Moverscore: Text generation evaluating with contextualized embeddings and earth mover distance. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 563-578. Association for Computational Linguistics, 2019.

## 付録

本研究で実施した生成文自動評価タスクと文類似度タスクの詳細な結果を表 4と表 5に示す。結果の傾向 は実験 5 と同じであり、個々のデータセットに対しても提案法が BERTScore を上回っている。

表 4 英語への機械翻訳自動評価タスクにおけるシステム訳と参照訳のセグメントレベルの人手評価との相関係数 (Kendall's $\tau$ )。BERTScore の結果は [2] から引用した。

表 5 各STS タスクにおける人手評価との相関係数（Spearman's $\rho$ ）

表 6 指示関数（ $\mathbb{1}_{\text {vectors }}$ : BERTScore, $\mathbb{1}_{\text {subspace }}$ : 提案法）の比較。両者は文 $B$ に対する単語 genius の包含度合いを計算する。

 & 0.69 & 0.76 \\


# 時間関係タスクを対象にしたマルチタスク学習におけるデータ の親和性の解析

木村麻友子 ${ }^{1}$ Lis Kanashiro Pereira ${ }^{1}$ 浅原 正幸 ${ }^{2}$
Fei Cheng $^{3}$ 越智 綾子 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論を中心とした時間に 関係する複数のタスクにおける言語モデルの汎用性 に焦点を当て，マルチタスク学習を行うことにより 時間的知識の理解に適した言語モデルの構築を行っ た. マルチタスク学習を行った結果，使用するデー タセットにより精度が向上する場合もあるものの，実験結果にばらつきがあることがわかった. その結果を踏まえ，マルチタスク学習において共有する潜在空間での各データセットの分布を可視化すること による分析を行い，分布が近いデータセット同士を 使用した場合に，マルチタスク学習の精度の向上が 見られることを確認した。

## 1 はじめに

文章中纪表現される時間纪関するイベントに対 して，常識的な時間関係を捉えることは，自然言語理解においてとても重要な課題である. しかしなが ら，近年，幅広い自然言語処理（NLP）タスクで大 きな成果を上げている BERT [1] などの事前学習済 み言語モデルは，時間推論においてはまだ性能が低 いと言われている [2]. 特に困難な課題として, 時間的常識を扱う推論が挙げられる。例えば，「旅行 に行く」と「散歩に行く」という 2 つのイベントが 与えられたとき, 多くの人間は「休睱は散歩よりも 長く, 発生頻度も少ない」という時間的常識を持っ ているが，コンピュータにはこのような時間的常識 を用いて推論することが困難である。

先行研究 [3] では, 時間的常識推論记対するモデ ルの開発に焦点を当て, 対象タスクを解くのに必要 な常識的知識を付加したモデルを提案した. 本研究 では，汎用性という点にも目を向け，マルチタスク学習を導入し, 時間に関する複数のタスクの精度を 同時に向上させつつそれらのタスクに汎用な言語モ デルの構築を目指す.また，マルチタスク学習を通 じて得られた複数のタスクに共有する潜在空間にお いて，使用した各データセットの文章ベクトルの分布を可視化することによって分析し，マルチタスク 学習に使用するデータセットの親和性と精度の関係 について考察を行う。

## 2 マルチタスク学習

マルチタスク学習は，関連する複数のタスクを同時に学習する手法で，モデルの汎化性と性能向上に 効果的であることが確認されている．関連タスクの 共通性と相違性を利用することで性能を向上させる ことができるため, 自然言語処理の分野において普及が進んでいる [4].

本研究では，MT-DNN [5] を用いてマルチタスク 学習を実行し, 複数の時間関連タスクに対する モデルの性能を評価する．MT-DNN は，BERT や RoBERTa などのモデルを共有テキストエンコード 層として組み込むことができるマルチタスク学習フ レームワークである. エンコーダ層では全てのタス クで重みを共有し (Shared layers)，その後，それぞれ のタスクの学習を行う (Task specific layers). タスク に特化した層ではタスクごとに重みが更新され，共有されない. 図 1 に MT-DNN の構造の概要を示す.

## 3 実験

## 3.1 使用データセット

データセットの概要を以下に記す。また，表 1 に それぞれのデータセットの統計情報を示す.

図 1 MT-DNN の概要

表 1 各データセットについて 訓練データ $\quad$ 検証データ $\quad$ 評価データ

MC-TACO [6]: MC-TACO は，自然言語で表現さ れた事象の時間的常識を理解する課題から構成さ れるデータセットである. MC-TACO では，時間特性に関する 5 つの特徵量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており， これらの特徴量のいずれかの特性が記述に含まれる 文章とその文章に関する質問，それに対する答えを 表す複数の選択肢が与えられ、各選択肢が答えとし てふさわしいかどうかが判断される. 以下に例を示 す. ふさわしい選択肢は太字で表記する。

Paragraph: He layed down on the chair and pawed at her as she ran in a circle under it.

Question: How long did he paw at her?
a) 2 minutes
b) 2 days
c) 90 minutes
e) 7 seconds

Reasoning Type: Duration

TimeML [7]: MC-TACO と同様に時間的常識を 問うタスクで，その中でも特に持続時間に関する データセットである. 文章内に含まれるイベントの 持続時間が 1 日より長いか短いかによってそれぞれ yes, no のいずれかがラベル付けされている. イベン トが 1 日より短い例 (no) を以下に示す.

In Singapore, stocks hit a five year low.
MATRES [8] MATRES は，文章内に含まれる二 つの動詞の時間的順序関係に関するデータセットで ある。時間的順序関係によって，AFTER, BEFORE， EQUAL, VAGUE のいずれかがラベル付けされてい る. 以下に二つの動詞 (e1, e2) のラベルが BEFORE の例を示す.

At one point, when it (e1:became) clear controllers could not contact the plane, someone (e2:said) a prayer.

CosmosQA [9]: CosmosQA は，出来事の原因や 影響など，明示的に言及されていない物語の行間を 読むことに焦点を当てている．MC-TACO とは違い，時間に限らず一般的な常識全般に関するデータセッ トであり，四肢択一問題である. 以下に例を示す.

Paragraph: Did some errands today. My prime objectives were to get textbooks, find computer lab, find career services, get some groceries, turn in payment plan application, and find out when KEES money kicks in. I think it acts as a refund at the end of the semester at Murray, but I would be quite happy if it would work now.

Question: What happens after I get the refund?

Option 1: I can pay my bills.

Option 2: I can relax.

Option 3: I can sleep.

Option 4: None of the above choices.

## 3.2 実験設定

本研究では，事前学習済み言語モデルの一つであ る ALBERT [10] をテキストエンコーダとして使用す る. ALBERT は BERT の派生モデルであり，BERT よりも軽量でありながら GLUE などにおいて精度を 改善することに成功している。また，先行研究 [3] において，ALBERT を使用すると，BERT を使用し た場合よりも時間的常識タスクにおいて精度が改善 することが確認されている。ここでは，ALBERT の 中で最も大きい ALBERT $_{\text {xxLARGE }}$ を使用する.

マルチタスク学習時のハイパーパラメータは，文字列の最大長は 512 ，バッチサイズは 16 ，学習率は 1e-5 とし，エポック数は使用するデータセットの組 み合わせによって最も良い精度が出たものを採用し た.また，MT-DNNを用いた学習時には全てのパラ メータを調整する。
表 2 MT-DNNを用いたマルチタスク学習の結果

## 3.3 実験結果

実験結果を表 2 に示す.MT-DNNを用いてシング ルタスク学習を行った場合の結果は青字で表示し, シングルタスク学習の結果を上回った精度は太字で 表示した.

評価指標として，MC-TACO では独自に定められ た Exact Match（EM）スコアと F1 スコア，TimeML と MATRES では Accuracy を用いた．EM スコアは， モデルが各質問に対するすべての回答候補を正しく ラベル付けすることができるかを測定する評価指標 である.

実験の結果，MATRES で精度の向上が見られた が，MC-TACO では学習に用いたタスクによって差 が生じ，TimeML では向上が見られなかった.

また，使用するデータセットによって，精度 が向上する場合 (例: MC-TACO と CosmosQA で学習し，MC-TACO で評価した場合の EM スコアは $59.2 \%$ ）と低下する場合（例：MC-TACO と TimeML と CosmosQA で学習し, MC-TACO で評価した場合 の EM スコアは $53.0 \%$ ）があり，やや不安定な状態 であることがわかった. 精度が改善する場合とそう でない場合について，なぜこのような結果になるの かについて分析を行った内容を次節に示す.

## 3.4 データセットの分析

マルチタスク学習の前提条件の 1 つは，異なる夕 スクとそのデータ間の関連性である. 多くの研究で は，マルチタスク環境において，正の相関を持つタ スクを学習することが望ましいとされている [11]. また，タスクの相性が悪い場合，精度が低下する場合もある [12].

ここでは，使用した各データセットに含まれる データの文章ベクトルを可視化することにより，各 データセットの親和性と実験結果の相関を明らかに することを目指す.

設定 マルチタスク学習をして得られた共通の ベクトル空間における文章ベクトルを求めるため, MC-TACO, TimeML, MATRES, CosmosQA 9 つ を, ALBERT $_{\text {xxLARGE }}$ を用いてマルチタスク学習した モデルをエンコーダとする。各データセットからラ ンダムに 1,000 ずつサンプルを取り，各サンプルの 文章ベクトルを計算する。ここでは，最終層の隠れ 層のベクトルに注目する。ベクトルはトークンご とに出力されるが，文章ベクトルを生成するには， トークンに付与されたべクトルを集約し，単一のべ クトルにする必要がある．今回は，各サンプルの全 トークンのベクトルを合計してトークン数で割るこ とで得られたべクトルを平均化し，これを各サンプ ルの文章ベクトルとする. 得られた文書べクトルを $\mathrm{t}-\mathrm{SNE}^{1)}$ と $\mathrm{UMAP}^{2)}$ の 2 つの手法で 2 次元に次元圧縮 を行い，可視化する。

可視化結果・考察 比較のために，マルチタスク

ダとして用いた場合の文章べクトルを可視化した結果を図 2 に示す. また，マルチタスク学習したモデ ルをエンコーダとして用いた場合の文章ベクトルを 可視化した結果を図 3 に示す.

マルチタスク学習後のベクトル空間では，青で 表示された MC-TACO の文章ベクトルと，緑で表

1) https://lvdmaaten.github.io/tsne/

2) https://umap-learn.readthedocs.io/en/latest/

MC-TACO

TimeML

MATRES

CosmosQA

図 2 ALBERT $_{\text {xxLARGE }}$ をそのままエンコーダとして用いた場合の文章ベクトルの可視化結果

MC-TACO

TimeML

MATRES CosmosQA

図 3 マルチタスク学習後のモデルをエンコーダとして用いた場合の文章ベクトルの可視化結果

示された CosmosQA の文章ベクトルが，ベクトル 空間内で近い位置に分布していることがわかる. t-SNE では少し分かりにくいが，UMAP では顕著で あることが確認できる．また，赤で表示している TimeML は，一部のサンプルに分布のばらつきがあ り，MC-TACO と CosmosQA の分布に近い位置に文章ベクトルが位置するサンプルもあることがわか る. MC-TACO と CosmosQA をマルチタスク学習し た場合，MC-TACO で評価した場合の EM スコアが 上がっていたこと，また，MC-TACO と TimeML を マルチタスク学習した場合も，MC-TACO で評価し た場合の EM スコアがわずかではあるものの上がっ ていたことを踏まえると，学習後の共有されたべク トル空間内において文章ベクトルの分布が近い場合 に，データセットの親和性が高いと言え，そのよう な場合にマルチタスク学習の効果が出ると考えるこ とができる.

一方，MATRES では，すべてのマルチタスク設定 で精度が向上しているが，文章べクトルの分布は他 のデータセットと近いようには見えない. MATRES は，文章ベクトルの分布が広くなく，まとまってい る.そのようなデータセットを対象にマルチタスク 学習を行うことで，補助データセットを有益なノイ ズとして取り入れた敵対的学習が行われ，精度が改善した可能性もあると考えられる.

## 4 おわりに

本研究では，マルチタスク学習を行うことによ り，時間的知識の理解に適した言語モデルの構築を 目指した. 実験の結果，使用するデータセットによ り精度が向上する場合がある一方，精度が下がる場合もあり，結果にばらつきがあることがわかった. その点を踏まえ，各データセットの文章ベクトルを 可視化することによる分析を行い，共有べクトル空間における文章べクトルの分布が近いデータセット 同士を使用した場合に，マルチタスク学習の精度の 向上が期待できることを確認した. 今後の課題とし ては，文章べクトルの分布がまとまっているデータ セットにはマルチタスク学習が有効であるという 考察の検証をすること，また，複数の時間関係の夕 スクで同時に精度を向上できるような汎用言語モ デルの構築のため，使用するデータセットの数を増 やし，さらなる分析と実験を重ねることが考えられ る.また，マルチタスク学習前に，データセットの 表層的な特徴を捉えて相性の良いデータセットの組 み合わせを見つける試みも検討したい.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた. ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[4] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[8] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Pa- pers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[11] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[12] Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil, and Chelsea Finn. Efficiently identifying task groupings for multi-task learning, 2021.