# Transformer 言語モデルの 予測ヘッド内バイアスによる頻度補正効果

小林悟郎 ${ }^{1,2}$ 栗林樹生 1,3 横井祥 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所 ${ }^{3}$ Langsmith 株式会社
}

goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, kentaro.inui\}@tohoku.ac.jp
## 概要

近年 Transfrormer ネットワークを採用した言語モ デルが大きな成功を収め，注意機構やフィードフォ ワードネットを中心に分析が盛んに行われてきた.本研究ではモデルの出口部分にあたり, 出力に直接作用する予測ヘッドの働きを分析する．実験から予測ヘッド内のバイアスが単語予測を頻度補正してい ることを明らかにする．具体的には，このバイアス が高頻度語の予測確率を上げ，低頻度語の予測確率 を下げることで，予測分布を実際の単語頻度分布に 近づけていることが観察された. さらにこの知見を 応用し，バイアスを制御することで言語モデルに多様かつ人間に近い文章生成を促せることを示す.

## 1 はじめに

Transformer ネットワーク [1] を採用した言語モデ ル (Transformer 言語モデル) $[2,3,4]$ は今や自然言語処理分野全体を支える基盤技術であり，高品質な文章生成を通じて幅広い応用を支えている。さらに， その成功理由の解明や更なる性能改善を求め, 内部機序の分析も盛んに行われている [5]. 分析対象と してこれまで特に注目を浴びてきたのはアーキテク チャの中核をなす Transformer 層であり, 注意機構 の重みの観察からはじまり層正規化やフィードフォ ワードネットの挙動解明に至るまで，知見が順調に 蓄積されてきた $[6,7,8]$.

本研究では, Transformer 言語モデルの出口部分, すなわちすべての Transformer 層を出たあとの予測 ヘッドの働きを分析する（図 1). 予測ヘッドはモデ ルの単語予測に直接的に作用するため解釈もしやす く，また下層での処理をまとめて上書きできるとい う点でモデル改善に接続しやすいと期待できる.

実験の結果，BERT および GPT-2 の予測ヘッド内 のバイアスが，高頻度語の予測確率を上げ，低頻度

図 1 BERT および GPT-2 の構造概要.

語の予測確率を下げていることが分かった.さらに この知見を応用し，バイアスの効果を抑制しながら 文章生成を行うことで，モデルが典型的な（高頻度 な）表現ばかりを生成する問題 $[9,10]$ が軽減し，多様かつ人間に近い文章生成を促せることを示した。

## 2 準備: 言語モデルの予測ヘッド

Transformer 言語モデルは埋め込み層に始まり，モ デルの主要部分は「層」と呼ばれる同じ構造を積み 重ねたネットワークである（図 1），各層は注意機構 などを通じて隠れ表現を更新していく。

層を積み重ねた後には予測ヘッドがあり，これが 本研究の分析対象である。なお本研究では，事前学習で得られた，最終層から隠れ表現を受け取って各単語の予測確率を算出するへッドのことを予測へッ ドと呼ぶ. 具体的には，隠れ表現 $x \in \mathbb{R}^{d}$ を受け取 り，層正規化（LN）[11]を適用してから，埋め込み 層でも参照する単語埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{d \times|\mathscr{V}|} へ$射影することで全語彙数 $|\mathscr{V}|$ 個分の予測確率を計算 する．ただし，BERT では層正規化の前に全結合層 （FC）を適用し，さらに埋め込み行列への射影後に はバイアスパラメータ $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ を加算する.

以下，詳細を述べる. GPT-2 では入力最後尾の単語に対応する隠れ表現 $x$ を受け取り，以下のように
次単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{|\mathscr{W}|}$ を計算する1)：

$
\begin{aligned}
\boldsymbol{p} & =\operatorname{softmax}\left(\mathrm{LN}(\boldsymbol{x}) \boldsymbol{W}_{\mathrm{emb}}\right) \\
\mathrm{LN}(\boldsymbol{x}) & :=\frac{\boldsymbol{x}-m(\boldsymbol{x})}{s(\boldsymbol{x})} \odot \gamma+\boldsymbol{b}_{\mathrm{LN}} \in \mathbb{R}^{d}
\end{aligned}
$

BERT では [MASK] に対応する隠れ表現 $x$ を受け取 り，活性化関数 GELU [12]を含んだ全結合層も用い て穴埋め単語の予測確率分布 $\boldsymbol{p} \in \mathbb{R}^{v}$ を計算する：

$
\begin{aligned}
& \boldsymbol{p}=\operatorname{softmax}\left(\mathrm{LN}\left(\boldsymbol{x}^{\prime}\right) \boldsymbol{W}_{\mathrm{emb}}+\boldsymbol{b}_{\text {last }}\right) \\
& \boldsymbol{x}^{\prime}=\operatorname{GELU}\left(\boldsymbol{x} \boldsymbol{W}_{\mathrm{FC}}+\boldsymbol{b}_{\mathrm{FC}}\right) \in \mathbb{R}^{d}
\end{aligned}
$

ここで， $m(\boldsymbol{x})$ および $s(\boldsymbol{x})$ はそれぞれ要素での平均と標準偏差を指し，๑は要素積を表す。また， $\gamma \in \mathbb{R}^{d}$ および $\boldsymbol{W}_{\mathrm{FC}} \in \mathbb{R}^{d \times d}$ は学習可能な重みパラ メータ, $\boldsymbol{b}_{\mathrm{LN}}, \boldsymbol{b}_{\mathrm{FC}} \in \mathbb{R}^{d}$ および $\boldsymbol{b}_{\text {last }} \in \mathbb{R}^{|\mathscr{V}|}$ は学習可能なバイアスパラメータを表す. 以上のように， BERT と GPT-2 の予測へッドは共通してバイアス $b_{\mathrm{LN}}$ を持ち, BERT はさらに $b_{\mathrm{FC}}$ と $b_{\text {last }}$ を持つ.

本研究では Transformer 言語モデルの予測ヘッド が単語予測へ与える影響を分析する。今回は分析の 第一歩として，加算という単純な操作で作用するた めに分析が容易なバイアスパラメータに注目する.

## 3 実験

予測ヘッド内のバイアスが単語予測に与える影響 を分析する. 3.1 節ではバイアスがモデルの単語予測分布を実際の単語頻度分布に近づけるような頻度補正を行なっていることを明らかにする． 3.2 節で はバイアスの頻度補正効果を抑制する簡単な方法で 多様かつ人間に近い文章生成を促せることを示す.

モデル事前学習済みの BERT-cased [2] と GPT-2 [3] を対象とした. BERT は base と large の 2 種類, GPT-2 は small, medium, large, $\mathrm{xl} の 4$ 種類を用いた.

$
\text { データモデルへ入力するテキストとして GPT-2 }
$
の事前学習コーパスである OpenWebText のテスト セットの一部 5000 系列を用いた2)．BERT では事前学習の設定に従い，12\%3) のトークンを [MASK] に置換して入力した. GPT-2 で文章生成を行う 3.2 節で は計算コストの観点から，5000 系列からランダム にサンプリングした 100 系列のみを用いた. また 分析時に用いる単語コーパス頻度は，BERT および

1）本稿ではベクトルは横ベクトルとしている.

2) https://github.com/openai/gpt-2-output-dataset で公開されている webtext.testを用いた.

3） BERT の事前学習では入力系列の $15 \%$ が選ばれ，そのうち $80 \%$ （全体の $12 \%$ ）が [MASK] トークンに置換される.

図 2 BERT（base）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 3 GPT-2（small）におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

GPT-2 それぞれの学習コーパスで算出した4).

## 3.1 バイアスが予測分布へ与える影響

BERT および GPT-2 の予測ヘッド内の各バイアス が単語予測に与える影響を調べる。各バイアスを除去して出力される単語予測分布を通常のモデルが出力した単語予測分布と比較する.

結果 BERT (base) でバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を除去した際 の単語予測分布の変化を図 2 に示す. 図の横軸は コーパスで算出した実際の単語頻度，縦軸はモデル の単語予測確率である。コーパス単語頻度側で一定間隔にビンを分け，各ビンでの単語予測確率の幾何平均と幾何標準偏差をプロットした. バイアスを除去したところ，高頻度語（図右側）の予測確率が下 がり，低頻度語（図左側）の予測確率が底上げされ，結果的に単語予測分布は平坦 (図 2 中 UNIFORM 直線）に近づいた。言い換えれば，バイアス $b_{\mathrm{LN}}$ は，高頻度語を予測しやすく低頻度語を予測しにくく することで，単語予測分布を実際の単語頻度分布 （図 2 中 UnIGRam 直線）に近づけていることがわ

4） BERT の学習コーパスは Wikipedia と BooksCorpus [13], GPT-2 の学習コーパスは OpenWebText である.それぞれ https://github.com/huggingface/datasets で一般公開され ているデータセットを用いて再現し，単語頻度を算出した。
表 1 各バイアス除去時のモデル単語予測分布とコーパ ス単語頻度分布の KL ダイバージェンス. 值が大きいほ ど，単語予測分布がコーパス単語頻度分布と離れている ことを表す. $\boldsymbol{b}_{\mathrm{FC}}$ と $\boldsymbol{b}_{\text {bias }}$ は BERTにのみ存在する。

かった.この結果は単方向言語モデル（GPT-2）で も一貫した. GPT-2 (small) の結果を図 3，その他の 結果を付録 A に示す。

各バイアスによる頻度補正を定量的に観察するた め, 検証した全てのモデルについて, モデルの単語予測分布とコーパスから算出した実際の単語頻度分布（UnIGRam）の KL ダイバージェンスを測った (表 1).どのモデルでもバイアス $b_{\mathrm{LN}}$ を除去すると 值が大きくなることから， $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づける頻度補正はモデルによ らず行われていることがわかった。なお，BERTに おける $\boldsymbol{b}_{\mathrm{FC}}$ および $\boldsymbol{b}_{\text {last }}$ も同様の頻度補正を行なって いたが $b_{\mathrm{LN}}$ に比べて影響が小さかったため，これ以後は $\boldsymbol{b}_{\mathrm{LN}}$ に絞って分析・検証を行う。

考察：層の外で頻度補正する戦略 単語頻度分布 の情報が予測ヘッドにある程度外出しされているこ とから, 各 Transformer 層は頻度情報に表現力を割 かずに頻度以外の意味について処理をおこなう傾向 にあると考えられる．実際，Transformer 言語モデル の層は入力側から順に表層・構造・意味を処理して いると報告されている [14]. 例えば高頻度な名詞で ある “valley” と低頻度な類義語 “dale” は, 品詞理解 の上でも構文解析の上でも大雑把な意味理解の上で も見分ける必要がなく, 頻度情報を一旦考えないの はむしろ効果的だと考えられる. また，表 1 ではモ デルサイズが大きくなるほどバイアス除去前後の $\mathrm{KL}$ ダイバージェンスの変化は小さく, つまり, 層 の表現力および次元数が低いモデルほど頻度情報を 予測ヘッドに任せており，これは限られた表現力を 別の種類の言語処理に割いているのだろうという考察と一貫する。

考察：単語埋込空間における「頻度方向」の存在 Geva ら [15] に倣い，バイアスパラメータ $b_{\mathrm{LN}}$ を埋

図 4 GPT-2 (small)においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.

め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ へ直接射影し語彙数 $|\mathscr{V}|$ 個のスコ アを算出することで $\left(\boldsymbol{b}_{\mathrm{LN}} \boldsymbol{W}_{\mathrm{emb}} \in \mathbb{R}^{|\mathscr{V}|}\right.$ を観察するこ とで)，バイアスパラメータが単語予測分布に与え る影響を近似的に確認した. 結果，単語頻度と「バ イアスと単語埋込の内積」との間に比例関係が観察 された (図4). バイアスパラメータが高頻度語の予測を強め低頻度語の予測を弱める役割を持つとい う本稿の主張を補強する結果と言える.この結果を 幾何的に解釈すると，単語埋込空間（ $W_{\mathrm{emb}}$ をなす 各単語ベクトルが入っている空間）の特定のわずか 1 次元の方向（ $\boldsymbol{b}_{\mathrm{LN}}$ 方向）に頻度情報がエンコード されていると言える。これまでも，静的な埋込や系列変換器などさまざまなモデルで, 頻度の近い単語群が埋込空間上で偏在することが報告されてきた $[16,17,18]$. Transformer 言語モデルでも同様の現象 が起きていると考えられる.

## 3.2 バイアスが文章生成に与える影響

前節では予測へッド内のバイアスが単語予測を実際の単語頻度に近づけていることが分かった. 本節 では推論時にこのバイアスを制御することで生成さ れる文章の質を改善できる可能性を示す。

手順 バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を制御した GPT-2 で文章生成 し，その品質を評価する。具体的には，新たに係数 $\lambda \in[0,1]$ を導入し，予測へッドの $\boldsymbol{b}_{\mathrm{LN}}$ を $\lambda \boldsymbol{b}_{\mathrm{LN}}$ に置 き換える。入を 0.1 刻みで変化させながら文章を生成させた. デコーディングには 5 種類の方法を用い

デコーディングでの結果について述べる. ただし，本稿での主張は 5 種類全てで支持されている. 詳細設定は付録 Bに示す。

表 2 GPT-2のバイアスを制御した際の予測および生成さ れたテキストの評価. $\lambda=0,1$ と顕著だった $\lambda て ゙ の$ 結果.

評価 生成された文章は多様性と人間らしさの 2 つの観点で評価する。多様性の評価には Distinct-n $\left(D_{n}\right)$ [19] と N-gram diversity $(D)$ [20]を用いた.これ らは生成された文章における N-gram 重複度を測定 する評価指標であり，以下のように計算される。

$
D_{n}=\frac{\# \text { ユニークな n-gram }}{\text { \# 生成された全ての n-gram }}, D=\frac{1}{4} \sum_{n=1}^{4} D_{n}
$

人間らしさの評価には MAUve[21]を用いた. MAUvE は人間が生成した文集合とモデルが生成した文集合 を文埋込空間上の点群として比較することで，モデ ルが生成する文の分布が人間と近いかを評価する。加えて，モデルの単語レベルの予測傾向が人間と近 いかを評価するため Perplexity (PPL) でも評価した.

結果 表 2 に各モデルが生成した文章の評価結果 を示す. どのサイズの GPT-2 でもバイアス $\boldsymbol{b}_{\mathrm{LN}}$ を弱 める $(\lambda<1)$ ことで, 生成される文章の多様性は上 がったが，同時に PPLが悪化し，両者はトレードオ フの関係にあった. 一方で，サイズの大きい 2 モデ ルでは PPL の悪化が微小なのにも関わらず，多様性 およびMAUVEが改善する入があった。すなわち, バ イアス $\boldsymbol{b}_{\mathrm{LN}}$ の補正効果を係数 $\lambda$ で抑制する簡単な操作が，言語モデルに多様かつ人間に近い文章生成を 促しうることがわかった. ただし，これらの指標の みから多様な側面を持つ文章品質の全体像を完全に 把握するのは不可能であり，たとえば人手による流暢性の評価などが今後の展望として残されている。

考察: ロジット補正法との関係 本研究では, Transformer 言語モデルの出口付近のバイアス $\boldsymbol{b}_{\mathrm{LN}}$ が単語予測分布を実際の単語頻度分布に近づけてい
ることを明らかにし，また $\boldsymbol{b}_{\mathrm{LN}}$ の効果を抑制する操作が文章生成の制御・改善につながる可能性を示し た.この一連の知見は Menon ら [22] が提案した口 ジット補正法と非常に類似している. ロジット補正 とは，クラス不均衡な分類タスクにおいてモデルが 高頻度クラスばかりを予測するよう学習されてしま う問題をロジットの調整を通じて緩和する技術で ある．彼らが提案した手法の 1 つは，訓練時には口 ジットにクラス頻度分布を加算して予測させ，推論時には加算せず予測させることで，均衡誤差6) の最小化を目指すものである. 本研究の知見と照らし合 わせると，予測へッドでの頻度補正バイアス $b_{\mathrm{LN}}$ の 加算はロジットにクラス頻度分布を加算する操作と 一貫しており，推論時にこれを除去することが生成分布の多様性につながる点も同様である．頻度分布 を外から与えるという工夫を加えていないにも関わ らず，Transformer 言語モデルが暗に均衡誤差の最小化に近い形で学習されていることは興味梁い。

## 4 関連研究

Transformer 言語モデルの分析のスコープとして は，1 節でも述べたように Transformer 層が注目を 集めてきた．また，特に位置埋め込みなどモデル の入り口部分である埋込層にも関心が寄せられて いる $[23,24]$. 我々は分析領域を予測へッドに広げ， その機序について新たな発見を提供した. 予測へッ ドは層正規化を含むなど表現力が高く複雑な処理が 可能であり（式 2)，さらに単語予測に直接作用でき るため積み重ねた Transformer 層の処理の上書きす ら可能な魅力的な分析対象と言える.

## 5 おわりに

本稿では，Transformer 言語モデルの予測ヘッドを 構成するバイアスが予測の頻度補正を行い，予測分布をコーパス単語頻度分布に近づけていることを明 らかにした。さらに，このバイアスの効果を抑制し ながら文章生成させることで，生成される文章の多様性や自然さを改善できる可能性を示した。一連の 知見は，単語埋込空間における幾何やロジット補正法との関連など，Transformer 言語モデルが持つ性質 について興味深い示唆を提供する。

今後は，OPT [25] などのより巨大な言語モデルで も分析を行いたい．また，今回は対象外とした予測 ヘッド内の重みパラメータの分析も興味深い.

6）クラス頻度によらず，各クラスを平等に捉えた誤差.

## 謝辞

言語モデルが生成した文章の評価方法についてア ドバイスをくださった東北大学の佐藤志貴さんに感謝申し上げます。本研究は JSPS 科研費 JP22J21492, JP22H05106, JP22H03654 の助成を受けたものです. また本研究は JST, ACT-X, JPMJAX200S および JST, CREST, JPMJCR20D2 の支援を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems 33 (NeurIPS), Vol. 33, pp. 1877-1901, 2020.

[5] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 842-866, 2021.

[6] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[7] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4547-4568, 2021.

[8] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8493-8502, 2022.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In 8th International Conference on Learning Representations (ICLR), 2020.

[10] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. Neural Text Generation With Unlikelihood Training. In 8th International Conference on Learning Representations (ICLR), 2020.

[11] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450, 2016.
[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415, 2016.

[13] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. In The IEEE International Conference on Computer Vision (ICCV), 2015.

[14] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT Rediscovers the Classical NLP Pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4593-4601, 2019.

[15] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward Layers Are Key-Value Memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[16] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. In 6th International Conference on Learning Representations (ICLR), 2018.

[17] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. In Advances in Neural Information Processing Systems 31 (NeurIPS), pp. 1341-1352, 2018.

[18] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1882-1892, 2020.

[19] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 110-119, 2016.

[20] Clara Meister, Tiago Pimentel, Gian Wiher, and Ryan Cotterell. Locally Typical Sampling. arXiv preprint arXiv:2202.00666v4, 2022.

[21] Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, and Zaid Harchaoui. MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. In Advances in Neural Information Processing Systems 34 (NeurIPS), 2021.

[22] Aditya Krishna Menon, Sadeep Jayasumana, Ankit Singh Rawat, Himanshu Jain, Andreas Veit, and Sanjiv Kumar. Long-tail learning via logit adjustment. In 9th International Conference on Learning Representations (ICLR), 2021.

[23] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On position embeddings in BERT. In 9th International Conference on Learning Representations (ICLR), 2021.

[24] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3309-3321, 2021.

[25] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068v4, 2022.

図 5 BERT (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 6 GPT-2 (medium) におけるバイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去による 単語予測分布の変化.

## A 各モデルサイズでの結果

3.1 節で行った，バイアス $\boldsymbol{b}_{\mathrm{LN}}$ 除去した際の予測確率分布の変化を各モデルで可視化した結果を図 5 から 8 に示す. 3.1 節で行った, バイアス $\boldsymbol{b}_{\mathrm{LN}}$ を埋 め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ への射影を BERT (base) で可視化 した結果を図 9 に示す.スペースの都合でその他モ デルでの可視化は省略する.

## B 実験の詳細設定

言語モデルの単語予測分布を観察する実験（3.1 節および 3.2 節の PPL計算）では, BERTには [MASK]部分を単語予測させ，GPT-2 には各系列の 2 単語目以降を単語予測させた. 入力系列の長さがモデルの 最大入力長 $k$ を超える場合は，先頭から $k$ トークン のみを用いた．GPT-2 に文章を生成させる実験（3.2 節）では，先頭から 10 単語を文脈として与え，入力系列と同じ長さになるか終端トークンを生成するま で後続を生成させた. ビーム探索のビーム幅は 5 , Top-k サンプリングの $k$ は 50, Top-p サンプリング の $p$ は 0.9 とした.また，モデルが生成した文章の 多様性を評価する際には，NLTK の単語分割器を適用してから N-gram をカウントした.

図 7 GPT-2 (large) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 8 GPT-2 (xl) におけるバイアス $b_{\mathrm{LN}}$ 除去による単語予測分布の変化.

図 9 BERT (base) においてバイアス $b_{\mathrm{LN}}$ を埋め込み行列 $\boldsymbol{W}_{\mathrm{emb}}$ に射影した結果.


# 正準角および部分空間に基づく BERTScore の拡張

石橋陽一 ${ }^{1}$ 横井祥 ${ }^{2,3}$ 須藤 克仁 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 東北大 ${ }^{3}$ 理研 AIP
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp
yokoi@tohoku.ac.jp

## 概要

本研究では生成文自動評価の代表的な手法であ る BERTScore を拡張し、新たな文類似度 SubspaceBERTScore を提案する。我々は文に明示的に含ま れない意味も考慮するため、BERTScore における文表現（ベクトル集合）と指示関数（集合への含まれ 度合い）に着目し、これらを部分空間表現と正準角 を用いて自然に拡張する。生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の 文類似推定性能を安定して改善する事を示す。

## 1 はじめに

生成文の自動評価は、自然言語処理の重要な課題 の1つである。自動評価ではシステム訳文と参照文 を比較することで意味的な同等性を評価すること を目指している [1]。ベクトル集合のマッチングに 基づく類似度の中で代表的な手法である BERTScore [2] はシンプルで利便性が高く、最も使用されてい る手法である。BERTScore は BERT [3] や RoBERTa [4] 等の事前学習済みベクトルを利用して、ベクト ル間のコサイン類似度の総和に基づき文類似度を計算する手法である。

BERTScore において技術的に最も重要なものは指示関数である。これは、文を単語集合と考えたとき に、ある単語集合中のトークン (royal) が、もう一方の単語集合（ $B=\{$ We, are, king, and, queen $\})$ にど の程度含まれているか $($ royal $\in B ） を$ 定量化するも のである。我々が着目するのは、この一件自然なア プローチが，文内のシンボルとしては明示的に含ま れないが文意には影響する意味を取り逃がす可能が あるという点である。例えば king と queenを含む文 が持つ royal という意味情報が、royal という単語が $B$ に含まれないという理由で BERTScore の類似性計算は反映することができない。

そこで、本研究では、部分空間の考え方 [5]を取

## BERTScore

$B=\left.\{b_{1}, b_{2}, b_{3}\right.\}$
Subspace-BERTScore

$\mathbb{S}_{B}=\operatorname{span}\left.\{b_{1}, b_{2}, b_{3}\right.\}$

図 1 提案法 (Subspace-BERTScore) と BERTScore の比較。提案法は文 $(B)$ を部分空間 $\left(\mathbb{S}_{\mathbf{B}}\right)$ で表現し、部分空間と トークンベクトル $\left(a_{i}\right)$ との類似度（う正準角）を計算す ることで、文類似尺度の表現力を向上させている。

り入れることで、BERTScore の指示関数を拡張し、文類似度の改善に取り組んだ。提案法は表現力を向上させるだけでなく、べクトル集合間のマッチン グを Recall、Precision、F-score に帰着させるという BERTScore の基本的な方針を継承しているため、タ スクへの非依存性といった BERTScore の利点は損 なわれていない。本研究では生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を改善する事を示した。

## 2 準備

問題設定 本研究では 2 つの文に対する類似度の 開発を目指している。本手法が対象とするタスク （生成文自動評価・文類似度タスク）では 2 つの文 が与えられ、これらの類似性を判定する。したがっ て本研究では与えられる 2 つ文 $A, B$ を事前学習済みのべクトルで表現した上で、それらの類似度を 計算する。

記法以降の議論を明確にするために、いくつ かの記号を定義しておく。2つの文 $A, B$ のトーク ンの集合をそれぞれ $A=\left.\{a_{1}, a_{2}, \ldots\right.\}, B=\left.\{b_{1}, b_{2}, \ldots\right.\}$ と表記する。事前学習済み埋め込みによって 表現される文脈化トークンベクトルの集合を $\mathbf{A}=\left.\{\boldsymbol{a}_{1}, \boldsymbol{a}_{2}, \ldots\right.\}, \mathbf{B}=\left.\{\boldsymbol{b}_{1}, \boldsymbol{b}_{2}, \ldots\right.\}$ と表記する。ここで $\boldsymbol{a}, \boldsymbol{b}$ をトークンのベクトルとする。また、Aによっ

て張られる部分空間を $\mathbb{S}_{\mathbf{A}}$ と表記する。

## 3 BERTScore

ここでは生成文のマッチングに基づく文類似度に おける最も代表的な評価手法である BERTScore [2] における「文の表現方法」と技術的に最も重要な 「指示関数」を概説しその限界を指摘する。

離散シンボル集合間の類似度 BLEU [1] や METEOR [6] などの BERTScore 以前のいくつかの評価手法は、Recall $(R)$ 、Precision $(P)$ の計算に基づく 手法であった1)。

$
\begin{aligned}
& R=\frac{1}{|A|} \sum_{a_{i} \in A} \mathbb{1}_{\text {set }}\left[a_{i} \in B\right], \\
& P=\frac{1}{|B|} \sum_{b_{i} \in B} \mathbb{1}_{\text {set }}\left[b_{i} \in A\right] .
\end{aligned}
$

ここで指示関数 $\mathbb{1}_{\text {set }}$ は「集合に含まれる (1) か否か (0)」を離散的に定量化する関数である。

$
\mathbb{1}_{\text {set }}\left[a_{i} \in B\right]=\left.\{\begin{array}{lll}
1 & \text { if } & a_{i} \in B, \\
0 & \text { if } & a_{i} \notin B .
\end{array}\right.
$

BERTScore における 3 つの類似度 BERTScore は $R, P$ そして F-score $(F)$ を埋め込みを用いて近似的に計算する手法である。

$
\begin{aligned}
& R_{\mathrm{BERT}}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in \mathbf{A}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right), \\
& P_{\mathrm{BERT}}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in \mathbf{B}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{b}_{i}, \mathbf{A}\right), \\
& F_{\mathrm{BERT}}=2 \frac{P_{\mathrm{BERT}} \cdot R_{\mathrm{BERT}}}{P_{\mathrm{BERT}}+R_{\mathrm{BERT}}} .
\end{aligned}
$

文はトークンベクトルの集合 $\mathbf{A}, \mathbf{B}$ として表現され

関数である。直感的には、この $\mathbb{1}_{\text {vectors }}$ は「ベクト ル集合への $-1 \sim 1$ の含まれ度合い」であり、 $\mathbb{1}_{\text {set }} よ$ りも柔軟な指示関数となっている。具体的には、 $\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right)$ は文 $A$ 中の $i$ 番目のトークンベクトル $a_{i}$ が文 $B$ に対し意味的にどの程度含まれているか を $a_{i}$ と $B$ のトークンベクトルとの $\cos$ 類似度の最大値として定量化している。

$
\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, B\right)=\max _{\boldsymbol{b}_{j} \in B} \cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right) \in[-1,1]
$

ここで $\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)$ は $\boldsymbol{a}_{i}$ と $\boldsymbol{b}_{j}$ の $\cos$ 類似度である。

表現力の問題 指示関数 $\mathbb{1}_{\text {vector }}$ は BERTScore の計算において最も重要な演算である。 $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ は
$-gram のリストが
}使われる。 $\mathbb{1}_{\text {vectors }}$ の和であるし、 $F_{\mathrm{BERT}}$ は $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ に基づ いて計算される。しかしながら BERTScore の指示関数は表現力の観点で問題がある。図 1 左は $\mathbb{1}_{\text {vectors }}$ の計算を可視化したものである。ここで $\mathbb{v}_{\text {vectors }}$ は $B$ のすべてのべクトルとの類似度を計算し、最大值 のみ返す。すなわち、 $B$ 中の「特定の単語」との類似度である。したがって、文が持つ非明示的で重要 な意味情報との類似性が考慮されない。例えばThe king and queen. は royal の意味を含むが、表層的には 含まれない。BERTScore における類似度の計算対象 は文中の単語のみであるので、royal との類似性は 直接計算できない。この問題は文を単なるべクトル 集合で表現していること、そしてそのようなべクト ル集合のための指示関数を採用している事に起因 する。

## 4 Subspace-BERTScore

我々は部分空間の考え [5] に基づいた文表現と 指示関数により BERTScore を拡張した SubspaceBERTScoreを提案する。

部分空間を使った文表現 BERTScoreでは、文が ベクトル集合で表現されていたが、我々は文の非明示的な情報を表現するため、文をトークンベクトル が張る部分空間 $\mathbb{S}$ とてて表現する（図 1)。以前の 研究で、単語ベクトルが張る部分空間が単語集合の 意味的特徴をよく反映する表現であることがわかっ ている $[7,5]$ 。

部分空間に対する指示関数 部分空間と単語の類似性を計算するため、部分空間に適用できる指示関数であるソフト帰属度 [5] を導入する。これは直感的には「部分空間とべクトルの類似度」として機能 する。この指示関数はベクトル $\boldsymbol{a}$ と部分空間 $\mathbb{S}_{\mathbf{B}}$ と のなす最小の角度（第一正準角）に応じて 0 から 1 の連続値を返す2)。

$
\mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)=\max _{\boldsymbol{b}_{j} \in \mathbb{S}_{\mathbf{B}}}\left|\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)\right| \in[0,1]
$

ここで、 $\mathbb{S}_{\mathbf{B}}$ は文 $B$ のベクトルで張られる線形部分空間である (図 1)。

ソフト帰属度は文の全情報を含む部分空間との類似度を計算でき、BERTScore の指示関数の表現力を 改善する。また、式を見るとソフト帰属度 $1_{\text {subspace }}$ （式 8）は BERTScore における指示関数 $\mathbb{1}_{\text {vectors }}$ （式 7） の自然な拡張となっていることがわかる。

提案法: P, R, F の拡張 これまでの議論に基づ き、我々は文の部分空間表現とソフト帰属度を 用いて BERTScore の $R, P, F$ を計算する SubspaceBERTScore を提案する。

$
\begin{aligned}
& R_{\text {subspace }}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in A} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right), \\
& P_{\text {subspace }}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in B} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right), \\
& F_{\text {subspace }}=2 \frac{P_{\text {subspace }} \cdot R_{\text {subspace }}}{P_{\text {subspace }}+R_{\text {subspace }}} .
\end{aligned}
$

ここで、 $R_{\text {subspace }}, P_{\text {subspace }}, F_{\text {subspace }}$ は SubspaceBERTScore の最終的な評価尺度である。

重要度の重み付け 過去の研究で、出現頻度の低 い単語は一般的な単語よりも文において文類似性に 重要な役割を果たすことが知られている $[6,8]$ 。こ のことから BERTscore では重要度を重み付けする方法も提案している。そこで我々の手法も BERTScore と同様に以下のように重み付けを行う。

$
\begin{aligned}
R_{\text {subspace }}= & \frac{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)}{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right)}, \\
P_{\text {subspace }}= & \frac{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right)}{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right)} .
\end{aligned}
$

ここで、weight は重み付け関数である。我々は BERTScore で採用された inverse document frequency (IDF) またはベクトルの L2ノルム [9]を使用する。

## 5 定量的評価

提案法の性能を検証するため、生成文の自動評価 タスクと、文類似度タスクで評価を類似おこ。ここ では複数のデータセットにおける総合的な結果を述 べる。各データセットの個々の結果については付録 の表 4、表 5に記載する。

## 5.1 生成文自動評価タスク

実験設定 先行研究 [2] に習い我々は機械翻訳 における自動評価タスクである WMT18 metrics task [10] の評価データセットを使用した。このデータ セットには機械翻訳システム訳文と参照訳文、そ して人手評価が含まれる。このタスクでは機械翻訳システム訳文と参照訳文の類似度を算出し、人手評価と自動評価のケンドールの順位相関係数 （Kendall's $\tau$ ）で評価する。本実験で我々は 7 言語 から英語への翻訳におけるセグメントレベルの人手評価を使用した。事前学習済み言語モデルには表 1 WMT18におけるセグメントレベルの人手評価との 平均相関係数（Kendall's $\tau$ )。

表 2 各 STS データセットにおける人手評価との平均相関係数（Spearman's $\rho$ )

BERTScore で高い性能を達成したことが報告されて いる RoBERTa $_{\text {large }}{ }^{3}$ [4] の第 17 層を使用した。

結果 結果を表 1に示す。3つの類似尺度 F-score、 Precision、Recallに着目すると、いずれの類似度でも 提案法が最も高い人手評価との相関を達成した。特 に、この3つの中で F-score が最も高い性能であっ た。また、我々は先行研究 [2] と同じくIDFによる 重み付けを BERTScore と提案法に行ったが、両者と も性能向上は確認されなかった。

## 5.2 文類似度タスク

実験設定 文類似度タスク（STS）では 2つの文 の類似度を算出し、人手評価と自動評価のスピア マンの順位相関係数 (Spearman's $\rho)^{4)}$ で評価する。

データセットとして我々は SemEval shared task の 2012-2016 [11, 12, 13, 14, 15]、STS-benchmark (STS-B) [16]、そして SICK-Relatedness (SICK-R) [17]を用い た。我々は事前学習済み言語モデル BERT $_{\text {base }}{ }^{5}$ [3] の最終層のベクトルを使用した。

結果 結果を表 2に示す。F-score、Precision、Recall のいずれの方法でも生成文自動評価タスクと同様、提案法が人手評価との最も高い相関を達成した。こ の中で最も高い性能であったメトリックは F-score であった。また、重要度の重みとして STS において 有効性が確認されている L2ノルム [9] で指示関数 を重み付けした実験を行った結果、提案法および BERTScore ともに性能向上が確認され、両者ともに 重み付けが有効であることがわかった。また、L2ノ ルムによる重み付けを行った場合も提案法が既存法 より優れていた。

## 6 指示関数の効果の分析

提案法は BERTScore よりも文の非明示的な情報 を活用できているだろうか？ここで我々は非明示的 な情報を持つ文に両手法を適用し比較を行う。

## 6.1 実験設定

ここでは「非明示的だが royal の意味を含む文」 と「明示的に royal の意味を含む文」に対して指示関数を適用し比較する。我々は非明示的な文として They are the king and queen. を使用した ${ }^{6)}$ 。この文に は royal という単語は文中に出現していないが、文 の本質的な意味としては royal に近い意味を包含し ている。明示的に含む文は They are royalty. である。指示関数が良く機能するならば、「非明示的な文」 と「明示的に含む文」に対してどちらも royalを意味的に含むと判断するので、両者に対する指示関数 の値には大きな差がないはずである。そこで我々は 提案法と BERTScore の指示関数をこれらの文に使用し、指示関数の値の差で比較した。

## 6.2 結果

結果を表 3に示す。提案法は BERTScore よりも指示関数の値の差が小さいことがわかる。提案法は king や queen が張る空間で文を表現するため、文中 に royal を含まなくともその空間に royal のような 意味が含まれている。したがって、この文に対す

5) https://huggingface.co/bert-base-uncased

6）これ以外の例は付録（表 6）に記載する。表 3 指示関数の比較 ( $\mathbb{1}_{\text {vecs }}$ : BERTScore $の, \mathbb{1}_{\text {sub }}$ : 提案法 の)。両者は文 $B$ に対する単語 royal の包含度合いを計算 する。

 & 0.60 & 0.69 \\

る指示関数の值は royaltyを含む文のそれと近くな り、両者の差が小さくなったと考えられる。一方 で BERTScore の指示関数は提案法のように king と queen どちらも含むような意味空間との類似性は計算できないため、提案法よりも差が大きくなったと 考えられる。以上の結果から、提案法は BERTScore よりも高い表現力を持つことが示唆される。

## 7 関連研究

近年の生成文評価には BLEURT [18]、C-SPEC [19, 20]、COMET [21]などがある。これらは人手評価のデータを使用して評価モデルの学習を行う手法 である。これは本研究と目的が異なる。我々のタス クはモデルの学習は行わないマッチングベースの評価であり、事前学習された言語モデルによる教師な しの類似度を提案している。

BERTScore と類似した手法として MoverScore [22] がある。両者を比較すると BERTScore は基本的な 性能が MoverScore よりも高く、マッチングベース の自動評価において最も使われる手法であることか ら、本研究では BERTScore を拡張した。

## 8 結論

本研究では、BERTScore の表現力の限界を指摘 し、より表現力の高い方法 Subspace-BERTScoreを 提案した。これは BERTScore の自然な拡張になっ ており、類似度としての性能が向上している。実験 では、機械翻訳における生成文自動評価タスクと 文類似度タスクで BERTScore と提案法を比較した。 その結果、全てのタスクと全メトリックで提案法が BERTScore よりも優位であり、部分空間の方法を取 り入れることで性能を向上させることが示された。

また、我々が採用した部分空間に基づくアプロー チは汎用性が高く、現代の自然言語処理で頻繁に使用される計算（文表現やベクトル集合に対する表現形式・類似性計算）を代替できる可能性があり、将来的にあらゆる場面での応用が期待できる。

## 謝辞

本研究は JSPS 科研費 (JP22H03654, JP22H05106)、

JST ACT-X（JPMJAX200S）の支援を受けたものです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedtational Linguistics, July 6-12, 2002, Philadelphia, PA, USA, pp. 311-318. ACL, 2002.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[5] Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, and Satoshi Nakamura. Subspace-based set operations on a pre-trained word embedding space. CoRR, Vol. abs/2210.13034, , 2022.

[6] Satanjeev Banerjee and Alon Lavie. METEOR: an automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare R. Voss, editors, Proceedings of the Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization@ACL 2005, Ann Arbor, Michigan, USA, June 29, 2005 pp. 65-72. Association for Computational Linguistics, 2005.

[7] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Representing sentences as low-rank subspaces. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 629-634. Association for Computational Linguistics, 2017.

[8] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7-12, 2015, pp. 4566-4575. IEEE Computer Society, 2015

[9] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan $\mathrm{He}$, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020

[10] Qingsong Ma, Ondrej Bojar, and Yvette Graham. Results of the WMT18 metrics shared task: Both characters and embeddings achieve good performance. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Shared Task Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 671-688. Association for Computational Linguistics, 2018

[11] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[12] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Simitors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, *SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Seman- tic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016

[16] Daniel M. Cer, Mona T. Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel M. Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation, SemEval@ACL 2017, Vancouver, Canada, August 3-4, 2017, pp. 1-14. Association for Computational Linguistics, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, Reykjavik, Iceland, May 26-31, 2014, pp. 216-223. European Language Resources Association (ELRA), 2014

[18] Thibault Sellam, Dipanjan Das, and Ankur P. Parikh. BLEURT: learning robust metrics for text generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7881-7892. Association for Computational Linguistics, 2020.

[19] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 3553-3558. Association for Computational Linguistics, 2020

[20] Kosuke Takahashi, Yoichi Ishibashi, Katsuhito Sudoh, and Satoshi Nakamura. Multilingual machine translation evaluation metrics finetuned on pseudo-negative examples for WMT 2021 metrics task. In Loïc Barrault, Ondrej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Tom Kocmi, André Martins, Makoto Morishita, and Christof Monz, editors, Proceedings of the Sixth Conference on Machine Translation, WMT@EMNLP 2021, Online Event, November 10-11, 2021 pp. 1049-1052. Association for Computational Linguistics, 2021.

[21] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2685-2702. Association for Computational Linguistics, 2020.

[22] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer and Steffen Eger. Moverscore: Text generation evaluating with contextualized embeddings and earth mover distance. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 563-578. Association for Computational Linguistics, 2019.

## 付録

本研究で実施した生成文自動評価タスクと文類似度タスクの詳細な結果を表 4と表 5に示す。結果の傾向 は実験 5 と同じであり、個々のデータセットに対しても提案法が BERTScore を上回っている。

表 4 英語への機械翻訳自動評価タスクにおけるシステム訳と参照訳のセグメントレベルの人手評価との相関係数 (Kendall's $\tau$ )。BERTScore の結果は [2] から引用した。

表 5 各STS タスクにおける人手評価との相関係数（Spearman's $\rho$ ）

表 6 指示関数（ $\mathbb{1}_{\text {vectors }}$ : BERTScore, $\mathbb{1}_{\text {subspace }}$ : 提案法）の比較。両者は文 $B$ に対する単語 genius の包含度合いを計算する。

 & 0.69 & 0.76 \\


# 知識グラフ補完のためのモデル予測に基づくサブサンプリング

Xincan Feng ${ }^{1}$ 上垣外英剛 ${ }^{1}$ 林克彦 $^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 北海道大学
\{feng.xincan.fy2, kamigaito.h, taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

知識グラフの埋め込み (KGE) において，サブサン プリングは知識グラフ (KG) データセットの疎性に より生じる過学習を減少させる効果がある. しか し，現在のサブサンプリングは，エンティティとそ の関係からなるクエリの頻度を考慮するだけである ため，頻度の少ないクエリに含まれるエンティティ や関係の頻度が高い場合，そのようなクエリの出現確率を低く見積もる可能性がある。この問題を解決 するために，KGE モデルの予測を利用することで クエリの出現確率を推定する，モデルに基づくサブ サンプリング (MBS) および混合サブサンプリング (MIX) を提案する．FB15k-237 および WN18RRでの 評価を行った結果，提案法であるサブサンプリング は代表的な KGE モデルである ComplEx, RotatE, お よび HAKE において知識グラフの補完性能が改善 されることを示した。

## 1 はじめに

知識グラフ $(\mathrm{KG})$ とは，エンティティとその関係 を枝として含むグラフである．知識グラフは，対話 [1], 質問応答 [2], 自然言語生成 [3] などの様々な自然言語処理タスクにおいて重要なリソースとして利用されている. しかし，KG 内のエンティティの関係を人手で全て網羅するには多くのコストがかか る. 知識グラフ補完 (KGC) は，知識グラフ中の関係 を基に，含まれていない関係を自動的に補完するこ とでこの問題を解決することができる. $e_{i}$ と $e_{k}$ を エンティティ,$r_{j}$ をそれらの関係とすると，KGCは $\left(e_{i}, r_{j}, ?\right)$ や $\left(?, r_{j}, e_{k}\right)$ などのクエリに対して?を埋 めて回答することにより枝の存在を予測する.

現在，KGC では知識グラフの埋め込み (KGE) を 用いる手法が主流である. KGE はエンティティと その関係を連続べクトルとして表現する. このべク トルの数は $\mathrm{KG}$ 内の枝の数に比例して増加するた め，KGE では学習時の計算量を減らすためにネガ

図 1 FB15k-237 と WN18RR の学習データにおいて，一度だけしか出現しないクエリに含まれるエンティティと 関係が持つ出現頻度 ${ }^{1)}$ 。

ティブサンプリング (NS)を用いることが一般的で ある. NS では，KGE モデルが KG 内の枝からサン プリングして作成された偽の枝と真の枝とを識別す ることで KG を学習する. NS は計算量を削減でき る一方で，サンプリングされた枝は元の KG の偏り を反映してしまうという問題がある。

その解決策として，KGEのNS に対し，サブサン プリング法 [4] が導入された [5]. サブサンプリング は, 頻度の高い枝の頻度を減らし, 頻度の低い枝の 頻度を増やすことで，KGの偏りを緩和する。

しかし，KGEにおける現在のサブサンプリング は，クエリの頻度のみを考慮する．そのため，出現頻度の低いクエリに含まれるエンティティや関係 の出現頻度が高い場合に，そのようなクエリの出現確率を過小評価する可能性がある. 図 1 は, 学習 データに 1 回だけ出現したクエリに含まれるエン ティティと関係の出現頻度を示している.この結果 から，現在のカウントに基づくサブサンプリング (CBS) では，出現頻度の低いクエリに含まれるエン ティティや関係の出現頻度が十分であるにもかかわ らず有効に利用されていない。

この問題に対処するため，我々はモデルに基づく サブサンプリング (MBS) と混合分布に基づくサブ サンプリング (MIX)を提案し，KGE モデルの予測結果に基づいてクエリの出現確率を推定することでこ のような頻度の低いクエリに対処する。

本稿では，一般的に使用されている KGE モデル ComplEx [6], RotatE [5], HAKE [7] に我々の MBS と MIXを適用し, FB15k-237 [8] と WN18RR [9] データ セットを用いた評価を害施した。評価の結果，MBS と MIX はそれぞれの設定において，KGC の評価尺度であるMRR，Hits@1，Hits@3，Hits@10において がベースラインである CBS よりも高いスコアを達成可能であることが分かった.

## 2 KGE に適したサブサンプリング

## 2.1 KGE の定式化

本稿ではエンティティ $h$ と $t$ とその関係 $r$ を表す 枝(トリプレット)を $(h, r, t)$ と表記する．KGCでは クエリ $(h, r, ?)$ や $(?, r, t)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリ を $x$ ，予測すべきエンティティを $y$ とすると，モデル パラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ は $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ を計算する。一般的には， $|D|$ 個の枝を用いて,$p_{\theta}(y \mid x)$ を予測することで， $\theta$ を学習させる. ここで $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ は $p_{d}(x, y)$ に従う観測データとする.

## 2.2 NS におけるサブサンプリング

計算効率の高さから NS は KGE モデルの学習によ く使われる。近年，Kamigaito ら [10] は KGE の NS において使用されている様々なサブサンプリングを 説明可能な一般的な定式化を行った. この定式化に おいてサブサンプリングは二つの項 $A$ と $B$ を用い て次のように表記される:

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
+ & \left.\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

ここで $\sigma$ はシグモイド関数を， $p_{n}\left(y_{i} \mid x\right)$ は負例をサ ンプリングするためのノイズ分布を， $v$ は一つの正例 $(x, y)$ に対してサンプリングする負例の数を， $\gamma$ はマージン項をそれぞれ表す。

表 1 に，KGE において現在提案されているサブサ ンプリング手法を列挙する。これらは Sun ら [5] に よって提案された word2vec [4] のサブサンプリング を用いる手法 (Base), 頻度に基づく手法 (Freq) [10], そして，ユニーク性を考慮した手法 (Uniq) [10] であ る.ここで\#は頻度, $\#(x, y)$ は $(x, y)$ の頻度, $\alpha$ は頻度を平滑化するための温度を各々表している。表 1 現在の KGE で使用されているサブサンプリング法

と対応する項 $A$ と $B$ の一覧.

各 $(x, y)$ の頻度は $\mathrm{KG}$ 上で高々 1 であるため，先行研究では次のようなバックオフ [11]を行い, $(x, y)$ の頻度をクエリの頻度から近似的に導いている:

$
\#(x, y) \approx \#(x, y)_{c b s}=\frac{\#\left(h_{i}, r_{j}\right)+\#\left(r_{j}, t_{k}\right)}{2}
$

ここで， $\left(h_{i}, r_{j}, t_{k}\right)$ は $(x, y)$ に対応する枝であり, $\left(h_{i}, r_{j}\right),\left(r_{j}, t_{k}\right)$ はそのクエリである. 式 (2) は頻度情報に重度に依存しているため，我々は以降，この手法を頻度に基づくサブサンプリング (CBS) と呼ぶ.

## 3 提案手法

CBS は式 (2) に示すように，エンティティと関係 の組の頻度の平均で $\#(x, y)$ を近似する. そのため,少なくとも 1 つの組の頻度が低いと, CBS は\# $(x, y)$ をうまく推定できない。このスパースネス問題に対処するために，以下のように，モデルに基づくサブ サンプリング(MBS) と, 混合分布に基づくサブサン プリング (MIX)を提案する.

## 3.1 モデルに基づくサブサンプリング

頻度の低いエンティティと関係のペアに起因する 問題を回避するため，MBS では，学習済みモデル $\theta$ によって推定される確率を用いて，以下のように各 トリプレットとクエリの頻度を計算する。

$
\begin{aligned}
\#(x, y) & \approx \#(x, y)_{m b s}=|D| p_{\theta^{\prime}}(x, y), \\
\# x & \approx \# x_{m b s}=|D| \sum_{y_{i} \in D} p_{\theta^{\prime}}\left(x, y_{i}\right), \\
p_{\theta^{\prime}}(x, y) & =\frac{e^{\operatorname{score}_{\theta^{\prime}}(x, y)}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} e^{\text {score }_{\theta^{\prime}}\left(x^{\prime}, y^{\prime}\right)}} .
\end{aligned}
$

以下，MBS に使用するモデルをサブモデルと呼ぶ.式 (2) のカウントによって決定される頻度とは異 なり, 式 (5) の score $_{\theta^{\prime}}(x, y)$ は実際の頻度に関わら ず推論によって推定される. したがって，MBS は CBS で生じるスパースネスの問題に対処することが 期待できる. ただし，MBS の能力は選択するサブ モデルに依存するため，その限界については $\$ 4$ で の実験により評価する.
表 2 FB15k-237 での結果. 太字は各サブサンプリング (Base, Freq, Uniq) で最も良い結果であることを，†は各モ デルでの最良の結果を示す。

## 3.2 混合分布に基づくサブサンプリング

言語モデルに関する研究 [12] で言及されている ように，頻度に基づく出現確率とモデル予測に基づ く出現確率には異なる長所と短所が存在する．MIX では，CBS と MBS の短所を緩和して長所を高める

MBS による混合分布に置き換える。

$\lambda \frac{\#(x, y)_{m b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{m b s}^{-\alpha}}+(1-\lambda) \frac{\#(x, y)_{c b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{c b s}^{-\alpha}}$.

そして表 1 中の $\frac{\# x^{-\alpha}|D|}{\sum_{x^{\prime} \in D}^{\# x^{\prime-\alpha}}}$ を下記で置き換える:

$
\lambda \frac{\# x_{m b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{m b s}^{\prime-\alpha}}+(1-\lambda) \frac{\# x_{c b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{c b s}^{\prime-\alpha}} .
$

表 3 WN18RRでの結果．表記は表 2 と同様.

$\lambda$ は混合比率を決定するハイパーパラメータであ る.なお MIX はマルチタスク学習の一種である2).

## 4 実験

データセット: FB15k-237 と WN18RRを使用した31).比較手法: ComplEx, RotatE, HAKE に対し，表 1 の Base, Freq, Uniq を適用し，さらに CBS (\$2.2) と提案手法である MBS (\$3.1) 及び MIX (\$3.2)を適用した.評価尺度: MRR, Hits@1, Hits@3, Hits@10を使用.

実装およびハイパーパラメータ: ComplEx, RotatE に ついては先行研究 [5] の実装とハイパーパラメー 夕を継承し，HAKE についても先行研究 [7] の実装 とハイパーパラメータを継承した. 温度パラメー タ $\alpha$ について，CBSでは，Base の場合は Sun ら [5] を，Freq と Uniq は Kamigaito ら [10] の設定を引き継 いだ. MBS と MIXについては，各手法の検証デー

2）付録 $\mathrm{A}$ を参照

3）各データセットの統計については付録 B を参照.

図 $2 \mathrm{CBS}$ と MBS の各設定において，CBS の頻度で下位 100 件のクエリの出現確率を CBS の頻度で降順に左から右に 整列した際の MBS での出現確率.

タでの MRR の値を基に $\{2.0,1,0.5,0.1,0.05,0.01\}$ か ら $\alpha$ を， $\{0.1,0.3,0.5,0.7,0.9\}$ から混合比 $\lambda$ を選択 した. さらに，MBS と MIX のサブモデルを，開発 データの MRR を元に ComplEx, RotatE から選択し た.サブモデルの学習ではサブサンプリング法の Base を適用した場合とサブサンプリングを用いない 場合の二種類を用意した ${ }^{4}$ ).

## 4.1 実験結果および分析

実験結果 表 2,3 の結果はそれぞれ FB15k-237 と WN18RR における KG の補完性能を示している.こ の結果から，MIXやMBS を用いたモデルは，全て のモデルにおいて最も高い性能を達成していること が分かる.この結果は §1 で説明したように, MBS と MIX によって KG の補完性能が向上するという 考えと一致する. しかし, 各評価尺度に対して個別に手法を比較した場合には， CBS が MIX や MBS の補完性能を上回る場合も存在している。これは， MIX や MBS において推定される頻度が選択したサ ブモデルに依存して変化するためである.

以上より，MIX と MBS は頻度を推定するための サブモデルを適切に選択することで，KG 補完の性能を向上させる可能性があることが分かった.

分析 残された課題，すなわち，MBS のためにど のモデルを選択することが好ましいのかについて を分析する. 表 4 に各 MBS で選択されたサブモデ ルを示す.この表から ComplEx が他のモデルより 頻繁に選ばれていることが分かる. その理由を知 るために，CBS における頻度が下位 100 件のクエ リの MBS における頻度を図 2 に示した. この結果 では，FB15k-237 において RotatEでは ComplEx には ない頻度のスパイクがいくつか見られる．WN18RR表 4 開発データで選択されたサブモデルの一覧.

ではサブサンプリングを用いない ComplEx におけ る MBS の頻度の最大値が他の手法に比べて大きく なっている.

この結果は FB15k-237 と WN18RR においてモデ ルがそれぞれ平滑化の過剰と不足の問題に遭遇し， MBS がこの問題に対処したことを示している. 通常，データが少ないとスパース性が問題になるた め, この推測は FB15k-237 の学習データが WM18RR より大きいという事実に沿う。このように，MBSで は対象とするデータセットに適したサブモデルを選択することが重要であると考えられる。

## 5 おわりに

本論文では，モデルを用いてエンティティと関係 の組の頻度を推定することで，CBS における低頻度 な組が起こす問題に対処することが可能な新しい サブサンプリング法である，MBS と MIX を提案し た. FB15k-237 と WN18RRに対する評価結果から， MBS と MIXによって KG 補完の性能が向上するこ とが示された. さらに，分析の結果，データセット に適したサブモデルを選択することが KG 補完の性能向上に重要であることを明らかにした.

4）その他の詳細は付録 $\mathrm{C}$ に記載.

## 謝辞

本研究は JSPS 科研費 JP21K17801，JP21H03491 の 助成を受けたものです.

## 参考文献

[1] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Denis Lukovnikov, Asja Fischer, Jens Lehmann, and Sören Auer. Neural network-based question answering over knowledge graphs on word and character level. In Proceedings of the 26th International Conference on World Wide Web, WWW '17, p. 1211-1220, Republic and Canton of Geneva, CHE, 2017. International World Wide Web Conferences Steering Committee.

[3] Jian Guan, Yansen Wang, and Minlie Huang. Story ending generation with incremental encoding and commonsense knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 6473-6480, Jul. 2019.

[4] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, 2013.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[6] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. CoRR, Vol. abs/1606.06357, , 2016.

[7] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction, 2019.

[8] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[9] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In AAAI, 2018.

[10] Hidetaka Kamigaito and Katsuhiko Hayashi. Comprehensive analysis of negative sampling in knowledge graph representation learning. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 10661-
10675. PMLR, 17-23 Jul 2022.

[11] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[12] Graham Neubig and Chris Dyer. Generalizing and hybridizing count-based and neural language models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1163-1172, Austin, Texas, November 2016. Association for Computational Linguistics.

## A マルチタスク学習

式(1)において $A$ に CBS を適用したものを $A_{c b s} ， B$ に CBS を適用したものを $B_{c b s}$ とし， $A$ に MBSを適用 したものを $A_{m b s} ， B$ に MBS を適用したものを $B_{m b s}$ とする。ここで式 (1)に CBS を適用した際の損失関数 $\ell_{c b s}$ は

$
\ell_{c b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{c b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{c b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

式 (1) に MBS を適用した際の損失関数 $\ell_{m b s}$ は

$
\ell_{m b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{m b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{m b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

と定義される。また MIXを適用した際の損失関数 $\ell_{\text {mix }}$ は，式 (6) と式 (7) より，

$
\begin{aligned}
\ell_{\text {mix }}=-\frac{1}{|D|} \sum_{(x, y) \in D}[ & \left(\lambda A_{m b s}+(1-\lambda) A_{c b s}\right) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right) \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v}\left(\lambda B_{m b s}+(1-\lambda) B_{c b s}\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right],
\end{aligned}
$

と定義される。ここで式(10) は次のように変形が可能である.

$
\ell_{\text {mix }}=\lambda \ell_{m b s}+(1-\lambda) \ell_{c b s}
$

式 (11) より $\ell_{m i x}$ は $\ell_{c b s}$ と $\ell_{m b s}$ の両損失を混合した損失であることから，MIX は CBS と MBS を使用した場合に対するマルチタスク学習であることが示された.

## B データセットの統計量

表 5 に各データセットの統計を示す.

表 5 各データセットの統計量. Ent はエンティティを，Rel は関係を示す.

## C 学習設定

表 6 に開発データの MRR で選択された各サブサンプリングの設定を示す。なお，MIXにおける $\alpha$ は MBS における最良のものを引き継いでいる.

表 6 開発データで選択されたサブモデルとその設定の一覧.


# 時間関係タスクを対象にしたマルチタスク学習におけるデータ の親和性の解析

木村麻友子 ${ }^{1}$ Lis Kanashiro Pereira ${ }^{1}$ 浅原 正幸 ${ }^{2}$
Fei Cheng $^{3}$ 越智 綾子 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論を中心とした時間に 関係する複数のタスクにおける言語モデルの汎用性 に焦点を当て，マルチタスク学習を行うことにより 時間的知識の理解に適した言語モデルの構築を行っ た. マルチタスク学習を行った結果，使用するデー タセットにより精度が向上する場合もあるものの，実験結果にばらつきがあることがわかった. その結果を踏まえ，マルチタスク学習において共有する潜在空間での各データセットの分布を可視化すること による分析を行い，分布が近いデータセット同士を 使用した場合に，マルチタスク学習の精度の向上が 見られることを確認した。

## 1 はじめに

文章中纪表現される時間纪関するイベントに対 して，常識的な時間関係を捉えることは，自然言語理解においてとても重要な課題である. しかしなが ら，近年，幅広い自然言語処理（NLP）タスクで大 きな成果を上げている BERT [1] などの事前学習済 み言語モデルは，時間推論においてはまだ性能が低 いと言われている [2]. 特に困難な課題として, 時間的常識を扱う推論が挙げられる。例えば，「旅行 に行く」と「散歩に行く」という 2 つのイベントが 与えられたとき, 多くの人間は「休睱は散歩よりも 長く, 発生頻度も少ない」という時間的常識を持っ ているが，コンピュータにはこのような時間的常識 を用いて推論することが困難である。

先行研究 [3] では, 時間的常識推論记対するモデ ルの開発に焦点を当て, 対象タスクを解くのに必要 な常識的知識を付加したモデルを提案した. 本研究 では，汎用性という点にも目を向け，マルチタスク学習を導入し, 時間に関する複数のタスクの精度を 同時に向上させつつそれらのタスクに汎用な言語モ デルの構築を目指す.また，マルチタスク学習を通 じて得られた複数のタスクに共有する潜在空間にお いて，使用した各データセットの文章ベクトルの分布を可視化することによって分析し，マルチタスク 学習に使用するデータセットの親和性と精度の関係 について考察を行う。

## 2 マルチタスク学習

マルチタスク学習は，関連する複数のタスクを同時に学習する手法で，モデルの汎化性と性能向上に 効果的であることが確認されている．関連タスクの 共通性と相違性を利用することで性能を向上させる ことができるため, 自然言語処理の分野において普及が進んでいる [4].

本研究では，MT-DNN [5] を用いてマルチタスク 学習を実行し, 複数の時間関連タスクに対する モデルの性能を評価する．MT-DNN は，BERT や RoBERTa などのモデルを共有テキストエンコード 層として組み込むことができるマルチタスク学習フ レームワークである. エンコーダ層では全てのタス クで重みを共有し (Shared layers)，その後，それぞれ のタスクの学習を行う (Task specific layers). タスク に特化した層ではタスクごとに重みが更新され，共有されない. 図 1 に MT-DNN の構造の概要を示す.

## 3 実験

## 3.1 使用データセット

データセットの概要を以下に記す。また，表 1 に それぞれのデータセットの統計情報を示す.

図 1 MT-DNN の概要

表 1 各データセットについて 訓練データ $\quad$ 検証データ $\quad$ 評価データ

MC-TACO [6]: MC-TACO は，自然言語で表現さ れた事象の時間的常識を理解する課題から構成さ れるデータセットである. MC-TACO では，時間特性に関する 5 つの特徵量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており， これらの特徴量のいずれかの特性が記述に含まれる 文章とその文章に関する質問，それに対する答えを 表す複数の選択肢が与えられ、各選択肢が答えとし てふさわしいかどうかが判断される. 以下に例を示 す. ふさわしい選択肢は太字で表記する。

Paragraph: He layed down on the chair and pawed at her as she ran in a circle under it.

Question: How long did he paw at her?
a) 2 minutes
b) 2 days
c) 90 minutes
e) 7 seconds

Reasoning Type: Duration

TimeML [7]: MC-TACO と同様に時間的常識を 問うタスクで，その中でも特に持続時間に関する データセットである. 文章内に含まれるイベントの 持続時間が 1 日より長いか短いかによってそれぞれ yes, no のいずれかがラベル付けされている. イベン トが 1 日より短い例 (no) を以下に示す.

In Singapore, stocks hit a five year low.
MATRES [8] MATRES は，文章内に含まれる二 つの動詞の時間的順序関係に関するデータセットで ある。時間的順序関係によって，AFTER, BEFORE， EQUAL, VAGUE のいずれかがラベル付けされてい る. 以下に二つの動詞 (e1, e2) のラベルが BEFORE の例を示す.

At one point, when it (e1:became) clear controllers could not contact the plane, someone (e2:said) a prayer.

CosmosQA [9]: CosmosQA は，出来事の原因や 影響など，明示的に言及されていない物語の行間を 読むことに焦点を当てている．MC-TACO とは違い，時間に限らず一般的な常識全般に関するデータセッ トであり，四肢択一問題である. 以下に例を示す.

Paragraph: Did some errands today. My prime objectives were to get textbooks, find computer lab, find career services, get some groceries, turn in payment plan application, and find out when KEES money kicks in. I think it acts as a refund at the end of the semester at Murray, but I would be quite happy if it would work now.

Question: What happens after I get the refund?

Option 1: I can pay my bills.

Option 2: I can relax.

Option 3: I can sleep.

Option 4: None of the above choices.

## 3.2 実験設定

本研究では，事前学習済み言語モデルの一つであ る ALBERT [10] をテキストエンコーダとして使用す る. ALBERT は BERT の派生モデルであり，BERT よりも軽量でありながら GLUE などにおいて精度を 改善することに成功している。また，先行研究 [3] において，ALBERT を使用すると，BERT を使用し た場合よりも時間的常識タスクにおいて精度が改善 することが確認されている。ここでは，ALBERT の 中で最も大きい ALBERT $_{\text {xxLARGE }}$ を使用する.

マルチタスク学習時のハイパーパラメータは，文字列の最大長は 512 ，バッチサイズは 16 ，学習率は 1e-5 とし，エポック数は使用するデータセットの組 み合わせによって最も良い精度が出たものを採用し た.また，MT-DNNを用いた学習時には全てのパラ メータを調整する。
表 2 MT-DNNを用いたマルチタスク学習の結果

## 3.3 実験結果

実験結果を表 2 に示す.MT-DNNを用いてシング ルタスク学習を行った場合の結果は青字で表示し, シングルタスク学習の結果を上回った精度は太字で 表示した.

評価指標として，MC-TACO では独自に定められ た Exact Match（EM）スコアと F1 スコア，TimeML と MATRES では Accuracy を用いた．EM スコアは， モデルが各質問に対するすべての回答候補を正しく ラベル付けすることができるかを測定する評価指標 である.

実験の結果，MATRES で精度の向上が見られた が，MC-TACO では学習に用いたタスクによって差 が生じ，TimeML では向上が見られなかった.

また，使用するデータセットによって，精度 が向上する場合 (例: MC-TACO と CosmosQA で学習し，MC-TACO で評価した場合の EM スコアは $59.2 \%$ ）と低下する場合（例：MC-TACO と TimeML と CosmosQA で学習し, MC-TACO で評価した場合 の EM スコアは $53.0 \%$ ）があり，やや不安定な状態 であることがわかった. 精度が改善する場合とそう でない場合について，なぜこのような結果になるの かについて分析を行った内容を次節に示す.

## 3.4 データセットの分析

マルチタスク学習の前提条件の 1 つは，異なる夕 スクとそのデータ間の関連性である. 多くの研究で は，マルチタスク環境において，正の相関を持つタ スクを学習することが望ましいとされている [11]. また，タスクの相性が悪い場合，精度が低下する場合もある [12].

ここでは，使用した各データセットに含まれる データの文章ベクトルを可視化することにより，各 データセットの親和性と実験結果の相関を明らかに することを目指す.

設定 マルチタスク学習をして得られた共通の ベクトル空間における文章ベクトルを求めるため, MC-TACO, TimeML, MATRES, CosmosQA 9 つ を, ALBERT $_{\text {xxLARGE }}$ を用いてマルチタスク学習した モデルをエンコーダとする。各データセットからラ ンダムに 1,000 ずつサンプルを取り，各サンプルの 文章ベクトルを計算する。ここでは，最終層の隠れ 層のベクトルに注目する。ベクトルはトークンご とに出力されるが，文章ベクトルを生成するには， トークンに付与されたべクトルを集約し，単一のべ クトルにする必要がある．今回は，各サンプルの全 トークンのベクトルを合計してトークン数で割るこ とで得られたべクトルを平均化し，これを各サンプ ルの文章ベクトルとする. 得られた文書べクトルを $\mathrm{t}-\mathrm{SNE}^{1)}$ と $\mathrm{UMAP}^{2)}$ の 2 つの手法で 2 次元に次元圧縮 を行い，可視化する。

可視化結果・考察 比較のために，マルチタスク

ダとして用いた場合の文章べクトルを可視化した結果を図 2 に示す. また，マルチタスク学習したモデ ルをエンコーダとして用いた場合の文章ベクトルを 可視化した結果を図 3 に示す.

マルチタスク学習後のベクトル空間では，青で 表示された MC-TACO の文章ベクトルと，緑で表

1) https://lvdmaaten.github.io/tsne/

2) https://umap-learn.readthedocs.io/en/latest/

MC-TACO

TimeML

MATRES

CosmosQA

図 2 ALBERT $_{\text {xxLARGE }}$ をそのままエンコーダとして用いた場合の文章ベクトルの可視化結果

MC-TACO

TimeML

MATRES CosmosQA

図 3 マルチタスク学習後のモデルをエンコーダとして用いた場合の文章ベクトルの可視化結果

示された CosmosQA の文章ベクトルが，ベクトル 空間内で近い位置に分布していることがわかる. t-SNE では少し分かりにくいが，UMAP では顕著で あることが確認できる．また，赤で表示している TimeML は，一部のサンプルに分布のばらつきがあ り，MC-TACO と CosmosQA の分布に近い位置に文章ベクトルが位置するサンプルもあることがわか る. MC-TACO と CosmosQA をマルチタスク学習し た場合，MC-TACO で評価した場合の EM スコアが 上がっていたこと，また，MC-TACO と TimeML を マルチタスク学習した場合も，MC-TACO で評価し た場合の EM スコアがわずかではあるものの上がっ ていたことを踏まえると，学習後の共有されたべク トル空間内において文章ベクトルの分布が近い場合 に，データセットの親和性が高いと言え，そのよう な場合にマルチタスク学習の効果が出ると考えるこ とができる.

一方，MATRES では，すべてのマルチタスク設定 で精度が向上しているが，文章べクトルの分布は他 のデータセットと近いようには見えない. MATRES は，文章ベクトルの分布が広くなく，まとまってい る.そのようなデータセットを対象にマルチタスク 学習を行うことで，補助データセットを有益なノイ ズとして取り入れた敵対的学習が行われ，精度が改善した可能性もあると考えられる.

## 4 おわりに

本研究では，マルチタスク学習を行うことによ り，時間的知識の理解に適した言語モデルの構築を 目指した. 実験の結果，使用するデータセットによ り精度が向上する場合がある一方，精度が下がる場合もあり，結果にばらつきがあることがわかった. その点を踏まえ，各データセットの文章ベクトルを 可視化することによる分析を行い，共有べクトル空間における文章べクトルの分布が近いデータセット 同士を使用した場合に，マルチタスク学習の精度の 向上が期待できることを確認した. 今後の課題とし ては，文章べクトルの分布がまとまっているデータ セットにはマルチタスク学習が有効であるという 考察の検証をすること，また，複数の時間関係の夕 スクで同時に精度を向上できるような汎用言語モ デルの構築のため，使用するデータセットの数を増 やし，さらなる分析と実験を重ねることが考えられ る.また，マルチタスク学習前に，データセットの 表層的な特徴を捉えて相性の良いデータセットの組 み合わせを見つける試みも検討したい.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた. ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[4] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[8] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Pa- pers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[11] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[12] Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil, and Chelsea Finn. Efficiently identifying task groupings for multi-task learning, 2021.


# ガウス埋め込みに基づく文表現生成

陽田祥平 1 塚越駿 2 笹野遼平 2 武田 浩一 2
1 名古屋大学情報学部 2 名古屋大学情報学研究科
wt.50p.8613@s. thers.ac.jp tsukagoshi . hayato.r2@s.mail . nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

近年、文の持つ情報を埋め込み空間上の点として 表現する文べクトルの研究が盛んである。しかし、点による文の表現は、文の持つ意味の広がりや包含関係などの文同士の非対称的な関係を表現できな いなど、文が持つ多様な情報の一部しか表現できな い。そこで本研究では、文をガウス分布として領域的に埋め込む手法、および、包含関係の認識のため の類似度指標を提案する。実験を通し、自然言語推論タスクにおいて従来の点表現ベースの手法と同等 の性能を達成できること、点表現では困難であった 包含関係の向きの推定が可能であることを示す。

## 1 はじめに

文の持つ情報をべクトルで表現する文埋め込み は、文書分類や類似文検索、質問応答など様々な 自然言語に関するタスクで用いられている。近年 では、事前学習済み言語モデルを用いる機械学習 ベースの文埋め込みの生成法が主流となっており、 トピックや感情といった文が持つ情報を豊かに表現する文埋め込み生成の試みが広く行われて文埋 め込み生成の主なモデルとしては、Siamese Network を用いて BERT [1]を微調整する Sentence-BERT [2] や、正例と負例の文ぺアを構築して対照学習を行う SimCSE [3] などが挙げられる。しかし、これらは文 をべクトルとして表現する手法であり、文同士の類似度の指標としては基本的にコサイン類似度のよう な対称的な指標が用いられることから、包含関係や 階層構造など、 2 文間の非対称的な関係を捉えるこ とができない。

そこで本稿では、単語をガウス分布として表現す るガウス埋め込みを基に、図 1 に示すように文を ガウス分布として表現する手法を提案する。また、 KL ダイバージェンスを用いて文同士の階層構造を 表現可能な非対称的な類似度指標を提案する。自然

$
\begin{aligned}
& \text { 含意 (文1: A soccer game with multiple males playing. } \\
& \text { 文2 : Some men are playing a sport. } \\
& \text { 文3 : The man is sleeping. }
\end{aligned}
$

図 1 従来の点埋め込み (左図) と提案手法による埋め込 み (右図) の概要図。点埋め込みでは包含関係にある文 1 と文 2 のうちどちらが他方を包含するかを表現できない 一方、提案手法では包含関係を表現できる。

言語推論 (Natural Language Inference; NLI) 分類タス ク、および包含関係にある文ぺアに対してどちらが 包含する側であるかを推測するタスクを用いた実験 から、提案手法が従来の文表現と意味表現において 同等の性能を保ちつつ、文同士の包含関係を表現で きることを示す。

## 2 ガウス埋め込みに基づく文表現

本研究では、事前学習済み言語モデルに対照学習による微調整を適用して、包含関係を適切に捉 えた文のガウス埋め込みを獲得する。本節ではま ず、ガウス埋め込みの代表的な研究である Gaussian Embedding、および対照学習を用いた文埋め込みの 獲得手法である SimCSE について述べ、続いてそれ らを組み合わせた提案手法について述べる。

## 2.1 Gaussian Embedding

ガウス埋め达みの先行研究として、グラフの各 ノード $[4,5]$ やレビュー [6] をガウス分布で表現する ものがあるが、その代表的な手法として、単語をガ ウス分布として表現する Gaussian Embedding [7] が 挙げられる。Gaussian Embedding では単語 $w_{i}$ を、平
均ベクトル $\mu_{i}$ と分散共分散行列 $\Sigma_{i}$ を用いて次式の ように表現する。

$
w_{i}=\mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right)
$

平均ベクトルが従来の点での表現に相当し、分散共分散行列が意味の広がりを表す。また 2 つの単語間 の類似度として、次式で示す KL ダイバージェンス を用いている。

$
D_{K L}\left(N_{i}|| N_{j}\right)=\int_{x \in \mathbb{R}^{n}} \mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right) \ln \frac{\mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right)}{\mathcal{N}\left(x ; \mu_{j}, \Sigma_{j}\right)}
$

$\mathrm{KL}$ ダイバージェンスは左辺の引数を入れ替えるこ とで値が変わる非対称的な指標であるため、階層構造といった埋め込み同士の非対称的な関係を捉える ことができる。Vilnis ら [7] は KL ダイバージェンス を基に Skip-gram [8] に倣った手法を用いてモデルを 学習させることで、単語の意味の広がりや含意関係 を捉えた表現を構成できることを示した。

## 2.2 Supervised SimCSE

近年、文埋め込みの生成法についての研究が非常に盛んである [9-14]。その中でも代表的なもの の一つに Supervised SimCSE [3] がある。Supervised SimCSE は、NLI データセットを用いた対照学習に よって、文埋め込みモデルを学習する。NLI デー タセットは前提文と仮説文のペアで構成されてお り、各ペアには、前提文が仮説文を含意することを 示す「含意」、前提文が仮説文と矛盾することを示 す「矛盾」、含意でも矛盾でもないことを示す「中立」のいずれかのラベルが人手で付与されている。 Supervised SimCSE では含意のラベルが付与されて いる文ペアを正例として埋め込みを近づけ、矛盾の ラベルが付与されている文ぺアおよびバッチ内で異 なるぺアに属する 2 文を負例として埋め込みを遠ざ ける対照学習を行うことで、2文間の類似度を推定 する Semantic Textual Similarity (STS) タスクにおいて 高い性能を達成している。

## 2.3 提案手法

本研究では、文 $s_{k}$ の意味をガウス分布 $N_{k}$ として 表現し、NLIデータセットを用いて教師あり対照学習を行うことで、文のガウス埋め込みを獲得する。提案手法の概要を図 2 に示す。まず文 $s_{k}$ を BERT に入力し、[CLS]トークンから文のベクトル表現 $v_{k}$ を獲得する。続いて、 $v_{k}$ を 1 層の線形層からなる ネットワーク2つに入力し、得られた出力をそれぞ

図 2 提案手法の概要図 (左図) と類似度 $\operatorname{sim}$ の概念図 (右図)。 $\operatorname{sim}$ は非対称的であるため、 $\operatorname{sim}\left(s_{1} \| s_{2}\right)$ と $\operatorname{sim}\left(s_{2} \| s_{1}\right)$ は異なる值をとる。

れガウス分布 $N_{k}$ の平均ベクトル $\mu_{k}$ 、分散共分散行列の対角成分 $\sigma_{k}$ とする。なお本手法では計算の効率化のため、Gaussian Embedding と同様に分散共分散行列の対角成分のみを分散の表現として用いる。以降 $\sigma_{k}$ は分散ベクトルと呼ぶ。

次に、文 $s_{j}$ に対する文 $s_{i}$ の類似度指標 $\operatorname{sim}\left(s_{i}|| s_{j}\right)$ を式 (3)により定義する。

$
\operatorname{sim}\left(s_{i} \| s_{j}\right)=\frac{1}{1+D_{K L}\left(N_{i} \| N_{j}\right)}
$

$\mathrm{KL}$ ダイバージェンスの値域は $[0, \infty)$ であることか ら、 $\operatorname{sim}\left(s_{i} \| s_{j}\right)$ の値域は $(0,1]$ となる。また、本指標は引数を入れ替えると値が変化する非対称な指標であり、 $N_{i}$ の分散が $N_{j}$ の分散より大きい場合、 $D_{K L}\left(N_{i} \| N_{j}\right)$ の方が $D_{K L}\left(N_{j} \| N_{i}\right)$ より大きくなる傾向があることから、 $\operatorname{sim}\left(s_{j} \| s_{i}\right)$ の方が $\operatorname{sim}\left(s_{i} \| s_{j}\right)$ よ り大きくなる傾向がある。

包含関係の学習では Gaussian Embedding と同様 に、より多様な文を包含する文ほどその埋め込みの 分散が大きくなるように学習を行う。これを実現 するため含意の文ペアを教師データとして用いて、包含する側である前提文の分散を大きく、包含さ れる側である仮説文の分散を小さくなるように学習する。これは、上述した類似度指標の性質から、 $\operatorname{sim}$ (仮説文\|前提文) が $\operatorname{sim}$ (前提文\|仮説文) より大 きくなるように学習することで実現が可能である。 また、含意関係にない、すなわち意味的に類似して いない文ぺアについては、 $\operatorname{sim}$ (仮説文川前提文)が 小さくなるように学習する。KL ダイバージェンス は分散に比べて平均の変化に大きく影響を受けると いう性質があることから、この操作により 2 文の平均ベクトルの距離が大きくなることが期待される。

モデルの学習には、Supervised SimCSE と同様、 NLI データセットを用いた対照学習を行う。対照学
習では、正例となる文同士の類似度が大きくなるよ うに学習を行うと同時に、負例となる文同士の類似度が小さくなるように学習を行う。本研究では、正例と負例の選定法として以下の 3 種類を用いる。

含意集合 含意ラベルが付与された前提文と仮説文 のペアの集合。意味的に類似した文同士が近づ くよう、含意関係にある文同士を正例とする。

矛盾集合 矛盾ラベルが付与された前提文と仮説文 のペアの集合。含意関係にない文同士が離れる よう、矛盾関係にある文同士を負例とする。

逆向き集合 含意集合の各ぺアにおける前提文と仮説文を入れ替えたもの。包含する側である前提文の分散を大きく、包含される側である仮説文 の分散を小さくなるように学習するため、逆向 きの含意関係にある文同士を負例とする。

図 3 に、あるバッチにおける、上記 3 つの正例と負例の選定法の概要図を示す。

正例と負例の集合の各要素に対し $\operatorname{sim}$ (仮説文 $\|$ 前提文)を計算し、softmax 関数を適用したもののク ロスエントロピー誤差を損失関数として定義する。 データセット中の前提文、含意ラベルが付与された 仮説文、矛盾ラベルが付与された仮説文のガウス埋 め込みをそれぞれ $N_{i} 、 N_{i}^{+} 、 N_{i}^{-}$とし、損失関数のう ち含意集合、矛盾集合、逆向き集合に対応する項を それぞれ $V_{E} 、 V_{C} 、 V_{R}$ としたとき、各バッチにおけ る損失関数は次式のように表せる。なお $n$ はバッチ サイズ、 $\tau$ は $\operatorname{sim}$ の増幅の度合いを調整する温度係数である。

$
\begin{aligned}
& V_{E}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j}^{+} \| N_{i}\right) / \tau} \\
& V_{C}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j}^{-} \| N_{i}\right) / \tau} \\
& V_{R}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j} \| N_{i}^{+}\right) / \tau} \\
& \mathscr{L}=\sum_{i=1}^{n}-\ln \frac{e^{\operatorname{sim}\left(N_{i}^{+} \| N_{i}\right) / \tau}}{V_{E}+V_{C}+V_{R}}
\end{aligned}
$

以上の手法により、意味的に近い文同士はその埋 め込みの平均が近い值をとり、かつ包含関係にある 2 文では包含する側の分散が大きく、包含される側 の分散が小さく学習されることが期待できる。

## 3 評価実験

NLI 分類と包含の向き推定という 2 つのタスクに より、提案手法により得られるガウス分布に基づく 文表現の性能評価を行った。

図 3 学習時における正例と負例の選定法の概要図。行列 の各要素が $\operatorname{sim}$ (縦軸の文 $\|$ 横軸の文) に対応し、正例であ れば 1 に、負例であれば 0 に近づける。

## 3.1 評価方法

NLI 分類 包含関係の認識においての既存の手法との性能を比較するため、NLI 分類を行なった。 NLI 分類は、前提文と仮説文が提示され、前提文が 仮説文を含意しているか、2 文の内容が矛盾してい るか、関係がないかのいずれであるかを推測する夕 スクである。一般には上記の 3 値分類を行うが、本研究では NLI 分類を 2 值分類で行う。具体的には、 $\operatorname{sim}$ (仮説文 $\|$ 前提文) の値が閾値以上であれば含意、 そうでなければその他とする。

検証には Stanford NLI (SNLI) データセット [15] と SICK [16] データセットを使用し、分類の正解率と Precision-Recall (PR) 曲線の AUC を評価指標とした。分類の正解率は、開発セットにおいて閾値を 0 から 1 の間で 0.001 ずつ変化させた中で最も正解率が高 くなる閥値を算出し、その閥値でテストセットの分類をした際の評価値を用いた。なおどちらのデータ セットも各文ペアに含意、中立、矛盾の 3 種類のラ ベルが付与されているため、中立と矛盾を合わせて その他とした。またベースラインとして、学習済み の Supervised SimCSE モデル1)で同様の手法を用い た際の性能も評価した。

包含の向き推定 提案手法で獲得された文表現が 包含関係を階層構造として捉えられるかを評価す るために、含意関係にある事が分かっている 2 文 A、B に対し、どちらが包含する側の文であるかを 予測するタスクを行う。包含の向きを決定する指標として、 $\operatorname{sim}(A|| B)<\operatorname{sim}(B \| A)$ であれば $\mathrm{A}$ 、そう でなければ $\mathrm{B}$ を包含する側だとする類似度べース のものと、埋め込みの各次元の分散の積を $\operatorname{det}\left(\sigma_{A}\right)$ 、

1) https://huggingface.co/princeton-nlp/

sup-simcse-bert-base-uncased

なければ B を包含する側とする分散べースのものを 用いる。検証には SNLI と SICK のそれぞれのテス トセットのうち、含意ラベルが付与されているもの のみを用いた。

## 3.2 実験設定

事前学習済みモデルには HuggingFace2)が公開 しているライブラリである Transformers [17] か ら、BERT-base ${ }^{3}$ を利用した。Supervised SimCSE と 同様に、訓練データとして SNLI と Multi-Genre NLI (MNLI) データセット [18]を組み合わせたものを利用した。その他の詳細な実験設定は付録 A に示す。

損失関数については 2.3 節で述べた、含意集合、矛盾集合、逆向き集合の全てを用いる損失関数に加 え、矛盾集合および逆向き集合が性能にもたらす影響を検証するため、含意集合のみ、含意集合と矛盾集合、含意集合と逆向き集合、含意集合と矛盾集合 と逆向き集合の 4 種類の損失関数で実験を行った。

## 3.3 実験結果

NLI 分類タスクにおける実験結果を表 1 に示 す。実験した 4 つの損失関数の中では、Supervised SimCSE での負例の組み合わせと同じ、含意+矛盾が 最も高い性能を示した。含意と含意+矛盾、含意+逆向きと含意+矛盾+逆向きをそれぞれ比較すると、負例に矛盾集合を含むことで性能が向上し、SICKで は Supervised SimCSE の性能を上回っていることが 確認できる。一方、含意と含意+逆向き、含意+矛盾 と含意+矛盾+逆向きに注目すると、負例に逆向き集合を含むことで性能が低下している。含意の文ペア は意味的に類似しているものが多く、それらを負例 として用いる逆向き集合は NLI 分類においては性能 に悪影響を与えると考えられる。

包含の向き推定の性能を表 2 に示す。包含の向き 推定では、負例に逆向き集合を含むことで性能が大幅に上昇し、特にSNLI では約 $97 \%$ という非常に高 い割合で正しく包含の向きを推定する事ができた。 また、SICK においては包含+逆向きが最も高い性能 を示し、約 $72 \%$ の割合で正しく包含の向きを推定で きることがわかった。包含の向き推定では、SNLI と SICK の間で平均的な性能に大きな差が見られた。 これは、SNLI と SICKで、文ぺアの文長の比につい ての傾向が異なるためであると考えられる。SNLI表 1 各手法の NLI 分類における正解率と PR 曲線の AUC。表中の Sup-SimCSE は Supervised SimCSE を表す。

表 2 包含の向き推定の実験結果。類似度ベースの手法の 性能を「類似度」、分散ベースの手法の性能を「分散」の 列に記載している。

は SICK と比較して、前提文が仮説文より長い傾向 が強いため4)、文が長いほど分散が大きくなるよう に学習を行うことで、包含の向き推定が比較的簡単にできるようになると考えられる。一方で SICK は、前提文と仮説文の長さの比が平均してほとんど 同じであるため、文長の情報は包含の向き推定に寄与しない。したがって、このような文長によるバイ アスを利用できないことが、SICK の性能が相対的 に低いことの要因であると考えられる。これに対し て、提案手法のうち、逆向き集合を含む設定は SNLI と SICK 双方の性能が相対的に高くなっている。こ のことから、逆向き集合を用いる学習手法が、文長 のバイアスの影響を軽減し、意味的に妥当な文の包含関係を捉えるのに有用であることがわかった。

## 4 おわりに

本研究では従来の文埋め込み手法が抱える、文の 意味の広がりや包含関係を表現できないという問題 を解決するため、事前学習済み言語モデルと対照学習を用いた、ガウス埋め込みに基づく文表現の生成手法を提案した。評価実験の結果、従来のベクトル による文表現と同等の NLI 分類性能を達成したこと に加え、非対称的な類似度を用いた学習により、従来では困難であった包含の向きの推定においても高 い性能を達成した。今後はその他のタスクにおける 性能や、平均・分散ベクトルの分布に着目した埋め 込みそのものの解析も行なっていきたい。

2) https://huggingface.co

3) https://huggingface.co/bert-base-uncased

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

[2] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[3] Danqi Chen Tianyu Gao, Xingcheng Yao. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 6894-6910, 2021.

[4] Shizhu He, Kang Liu, Guoliang Ji, and Jun Zhao. Learning to Represent Knowledge Graphs with Gaussian Embedding. Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, 2015.

[5] Aleksandar Bojchevski and Stephan Günnemann. Deep Gaussian Embedding of Graphs: Unsupervised Inductive Learning via Ranking. In 6th International Conference on Learning Representations (ICLR), 2018.

[6] Danushka Bollegala Ichiro Sakata Masaru Isonuma, Junichiro Mori. Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance. In Transactions of the Association for Computational Linguistics (TACL), p. 945-961, 2021.

[7] Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. arXiv:1412.6623, 2015.

[8] Kai Chen Greg Corrado Jeffrey Dean Tomas Mikolov, Ilya Sutskever. Distributed Representations of Words and Phrases and their Compositionality. arXiv:1310.4546, 2013.

[9] Zuozhu Liu Kwan Hui Lim Lidong Bing Yan Zhang, Ruidan He. An Unsupervised Sentence Embedding Method by Mutual Information Maximization. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1601-1610, 2020.

[10] Shaohan Huang Zihan Zhang Deqing Wang Fuzhen Zhuang Furu Wei Haizhen Huang Denvy Deng Qi Zhang Ting Jiang, Jian Jiao. PromptBERT: Improving BERT Sentence Embeddings with Prompts. arXiv.2201.04337, 2021.

[11] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, and Lei Li. On the Sentence Embeddings from Pre-trained Language Models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9119-9130, 2020.

[12] Hongyin Luo Yang Zhang Shiyu Chang Marin Soljačić
Shang-Wen Li Wen-tau Yih Yoon Kim James Glass YungSung Chuang, Rumen Dangovski. DiffCSE: Differencebased Contrastive Learning for Sentence Embeddings. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4207-4218, 2022.

[13] Moin Nabi Tassilo Klein. SCD: Self-Contrastive Decorrelation of Sentence Embeddings. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 394-400, 2022.

[14] Niklas Muennighoff. SGPT: GPT Sentence Embeddings for Semantic Search. arXiv.2202.08904, 2022.

[15] Christopher Potts Christopher D. Manning Samuel R. Bowman, Gabor Angeli. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 632-642, 2015.

[16] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223, 2014.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[18] Samuel Bowman Adina Williams, Nikita Nangia. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), p. 1112-1122, 2018.

[19] Frank Hutter Ilya Loshchilov. Decoupled Weight Decay Regularization. In 7th International Conference on Learning Representations (ICLR), 2019.

## A 詳細な実験設定

提案手法によるモデルの学習では、SimCSE と同様、埋め込みの次元数を 768、エポック数を 3、温度係数を 0.05、最適化手法を AdamW [19] とした。 バッチサイズ、学習率についてはそれぞれ $\{16,32$, 64, 128, 256\}、\{1e-5, 3e-5, 5e-5 の 範囲で探索を行 い、後述するモデルの学習中の評価において最も性能の高い組み合わせを使用した。また学習率は、学習の開始時点から線形に減衰するよう学習率スケ ジューリングを行った。各ハイパーパラメータの組 み合わせごとの結果を表 3 に示す。

各実験では 100 step 毎に SNLI の開発セットを用 いた NLI 分類タスクにおける PR 曲線の AUC を算出し、最も性能が高かった時点のモデルを最終的な 性能評価に用いた。異なる乱数シード值で 5 回評価 を行った際の平均を評価スコアとした。

表 3 各バッチサイズと学習率ごとのモデルに対する NLI 分類の PR 曲線の AUC。表内の数值には 100 をかけて いる。

## B 前提文と仮説文の文長の比

SNLI および SICK の文ぺアに対し、前提文と仮説文の長さの比の対数をとった値についてのヒストグ ラムを図 4 に示す。SICK は文長の差がないことを 表す 0 付近に分布が集中しているが、SNLI は正の領域に分布が集中している。この事から、SNLI では 前提文が仮説文より長い傾向にあることがわかる。

図 4 前提文と仮説文の長さの比のヒストグラム。横軸は 前提文と仮説文の長さの比の自然対数、縦軸は文ぺアの 数を表し、青が SNLI、橙が SICK を表す。


# ニューラル数式ソルバーにおける途中結果の追跡と操作

松本悠太 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 吉川将司 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
yuta.matsumoto.q8@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp
yoshikawa@tohoku.ac.jp kentaro.inui@tohoku.ac.jp

## 概要

言語モデルのより深い理解のためには、「モデル 内部でどのような処理が行われているか」という観点も重要である。我々は単純な数式とその途中結果 に着目することで、Transformer モデルが複数ステッ プに及ぶ処理を行っているかを検証する。途中結果 の情報が符号化されている箇所を特定する Tracing と、符号化されている箇所の状態を操作してモデル に対して因果的介入を行う Manipulation の二つの実験を行なった結果、内部表現の特定の方向が線形に 近い形で途中結果を符号化していること、そしてそ のような方向がモデルの推論結果に対して因果的に も関係していることを示す。

( www.github.com/cl-tohoku/trace-manipulate

## 1 はじめに

近年の言語モデルは数量推論のような複雑な処理 が必要だと思われる問題においてもある程度高い性能を出せることが知られている $[1]$ 。また、複数の 先行研究では線形代数や初等数学のような数値計算 のタスクを通じて言語モデルが持つ潜在的な能力を 測っており [2,3]、現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。

一方で、モデルがこのような問題を解く際、その 内部で何が行われているかについての研究はほとん ど行われていない。しかし、モデルの能力をよりよ く理解するためには、入出力の結果だけでなくその 内部での処理を分析することも非常に重要だと考え られる。我々は過去にモデルが途中結果を介した複数ステップの推論を行なっているかを調べるため に、四則演算を学習した Transformer [4] の隠れ層を 分析し、四則演算の途中結果 ${ }^{1}$ がモデル内部の特定 の方向に保存 (符号化) されていることを示した [5]。
 は 154,290,116, 223 などである。本研究ではこの研究を拡張し、途中結果とモデル 内部状態の相関関係だけでなく、因果関係も調査 する。具体的には、四則演算を学習した Transformer の内部状態から主成分分析を用いて途中結果と相関 の高い、すなわち途中結果を符号化しているような 方向を抽出したのち、その部分のアクティベーショ ンを操作してモデルの予測結果の変化を観察する。 これによって、途中結果を符号化している部分がモ デルの推論に与える因果的な影響を調査する。その 結果、途中結果を符号化しているような方向の中に は実際にモデルの推論時にも使用されているものが あることを確認できた。また、相関が高くてもモデ ルの推論には使用されていない方向も確認されたた め、モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった。

本論文の貢献は、Transformer モデルの内部でどの ような処理が行われているのかを因果推論まで含め て詳細に分析できた点である。

## 2 関連研究

言語モデルと数値 複数の先行研究は、近年の言語モデルが数学的な問題をある程度解けることを 示している。Geva ら [1] は大規模言語モデルを使用 することで、数量推論タスクでほぼ最先端の性能を 達成できることを示した。また、数值計算に特化さ せた Transformer は初等数学や線形代数といった記号推論の問題をある程度解けることも示されてい る $[2,3]$ 。彼らの知見に基づき本研究では、モデル に解ける問題として四則演算を取り上げる。

モデル内部の分析 モデルの内部表現にどのよう な情報が符号化されているかについては、近年高い 関心が集まっている。このような研究の多くはプ ロービングの文脈で行われているが [6, 7]、Shibata ら [8] は我々と似た手法で実験を行っている。彼ら は形式言語で訓練した言語モデルを分析して、形式言語の深さと高い相関を持つアクティベーションの

図 1: 途中結果の追跡 (Tracing) と操作 (Manipulation) の概要。Tracing では PCAを用いて、数式中の途中結果 と相関が高いモデル内の方向を追跡する。Manipulation では、Tracing で追跡された方向に沿ってモデルのア クティベーションを操作した際のモデル予測の変化を観察する。

存在を示した。また、Elzar ら [9] はプロービングに よって抽出できる特徵は必ずしもモデルの推論には 使われていないことを明らかにし、内部表現への因果的介入を行う重要性を示した。本研究ではモデル の隠れ層を分析対象として、途中結果の情報を符号化している部分を抽出し、アクティベーションを連続的に変化させることで抽出された情報がモデルの 推論に使用されているかを調査する。

## 3 手法

本節では図 1 に示した本研究の提案手法について 記述する。まず四則演算のデータで Transformer を 訓練した後、下記に示す 2 つの方法でモデルの内部状態と数式の途中結果の関係を調査する。

## 3.1 途中結果の追跡 (Tracing)

数式 (大力)を変化させると、出力と同時に隠れ 層の表現も変化する。では、この表現は数式中の途中結果とどのような関係があるのだろうか。汎化し たモデルの表現空間はタスクの特徴を捉えたよう な構造になる [10] ことを考慮すると、数式中の途中結果は表現空間になんらかの形で符号化されて いるはずである。我々は一番単純な符号化の形とし て、表現空間中の特定の方向と途中結果の関係を調 べる。まず、モデルの各層に対してその表現空間中 で支配的な方向を見つける。モデルの $l$ 層目, $j$ 番目のトークンにおける表現 $h_{j}^{l}$ を全て連結した表現 $H^{l}=h_{1}^{l} \oplus h_{2}^{l} \oplus \cdots \oplus h_{n}^{l}$ に対して主成分分析 (PCA)を 行うことで、主成分 $p_{k}^{l}, k \in[1, \ldots, K]$ を得ることが

中のあるインスタンス $i$ に対してこの PCA モデル を適用すると、各主成分の重み $p_{i, k}^{l}$ を得ることが できる。次に、数式中の途中結果 $R_{i}^{j}$ と各主成分 $p_{k}^{l}$ の重みの相関 $\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)$ を測る。これを各層に おける全ての途中結果と主成分の直積に対して行

(a) 1 層目

(b) 3 層目

(c) 4 層目

図 2: 層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ。各セルは第 $k$ 主成分の重み（列） とある途中結果（行）との相関係数の絶対値を表す。

うことで、ある途中結果と最も相関の高い主成分で ある最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right):=\operatorname{argmax}_{k}\left(\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)\right)$ を得る。仮に最大相関方向の相関が十分高ければ、対応する途中結果を符号化していると考えることが できる。例えば、図 1 のイメージは $a-(b-c)$ とい う数式における途中結果 $a$ や $b-c$ の値がある層の ある主成分に符号化されていることを表す。

## 3.2 途中結果の操作 (Manipulation)

本節では、Tracing によって得られた最大相関方向 がモデルの推論に使用されているのかを検証するた め、モデルに対して因果的介大を行う。具体的には 図 1 下部に示すように、主成分に沿ってモデルのア クティベーションを操作し、それによるモデルの予測結果の変化を観察する。定式化して表すと、 $l$ 層目の表現 $H^{l}$ に対して次の式に基づいて主成分 $p_{k}^{l}$ の 重みを $r$ 倍することで、操作後の表現 $H^{l^{\prime}}$ を得る。

$
H^{l^{\prime}} \leftarrow H^{l}+(r-1)\left(p_{k}^{l^{\top}} H^{l}\right) p_{k}^{l}
$

直観的には $r$ を変化させることで主成分 $p_{k}^{l}$ に沿っ てアクティベーション $H^{l}$ が移動し、それに伴って モデルの予測結果も変化する。

もし最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化しているのであれば、 $p_{k}^{l}$ の重みを動か すことは数式の途中結果 $R^{j}$ を動かすことに対応し ていると考えられる。すなわち、 $R_{i}^{j}=f\left(p_{i, k}^{l}\right)$ とな るような関数 $f$ を定義できる。この時、逆関数を取 ることで途中結果から主成分の重みを予測する関数 $f_{p}=f^{-1}$ を定義することができる。「 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化している」という仮説 を検証するためには、この $f_{p}$ が正しいかを確かめ れば良い。すなわち、実際に入力項を変更した際の 最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ の重みを $p_{i, k}^{l}=f_{a}\left(R_{i}^{j}\right)$ のよう に表せる実測関数 $f_{a}$ と $f_{p}$ を比較して確かめる。

## 4 実験設定

ニューラル数式ソルバーとして、Sajjad ら [11] を参考に 6 層の Transformer エンコーダを用意し、 [CLS] トークンから線形回帰を行う。足し算と引き 算、括弧を含む四則演算のデータをテンプレートか ら 20 万個自動生成し、3) そのうち 19 万個のデータで モデルを学習する。先行研究 [1] に従い、入力中の 数字は 1 桁ごとにトークン化する。例えば、“ 123 ” という数字は $1, \# \# 2, \# \# 3$ にトークン化される。訓練後、 1 万個の検証データにおいてこのモデルを評価 したところ決定係数 $R^{2}=0.9988$ で、異なるパター ンの数式を並列に学習させてもほぼ正しい答えを出力できることが確認された。

## 5 結果

## 5.1 途中結果の追跡

今回は $a-(b-c)$ という数式を分析の対象とする。各途中結果と上位 10 主成分の重みの関係を測定し た結果を図 2 に示す。図 2(a), 2(b) から、中間層にお いて数式中の途中結果と相関が非常に高い最大相関方向が複数存在することがわかる。例えば、 1 層目 の第 3 主成分の重みと $b$ の値の相関係数は $0.96 、 3$層目の第 2 主成分の重みと $b-c$ の値の相関係数は 0.94 である。

ここから、数式の途中結果はモデル内部の表現空間における特定の方向に線形的、局所的に符号化さ れていると考えることができる。

一方で図 2(c) からは $p_{1}^{4}$ が最終結果とほぼ 1 の相関を持っていることがわかり、 4 層目の時点で数値計算処理が終了していると推察できる。
程式の種類は全部で 87797 種類である。

(a) 重み操作によるモデル予測とそこから導いた途中結果の変化。

(b) 途中結果と主成分の重みに関する実測関数 $f_{a}(b)$ と予測関数 $f_{p}(b)$ 。

図 3: $\hat{p}_{3}^{1}(b)$ に対する Manipulation の結果。影の部分 はデータセット中に現れない重みの範囲を表す。

## 5.2 途中結果の操作

数式 $617-(555-602)$ とその途中結果 $b=555$ を 例に取り、Manipulationを行う。5.1 節から、数式 $a-(b-c)$ において、最大相関方向 $\hat{p}_{3}^{1}(b)$ は 0.96 と いう高い相関を持つ。ここで、 $p_{3}^{1}$ に沿ってモデル のアクティベーションを操作すると、モデルの予測結果は図 3(a) に示されるように、元の予測結果 (664) から約 100-1200 まで変化することがわかる。 この時、予測結果の変化をモデル内の途中結果 $b$ の表現を変えたものによるものだと仮定すると、図 3(a) の右軸を得ることができ、軸を反転するこ とで $p_{i, 3}^{1}=f_{p}(b)$ となるような関数 $f_{p}$ が得られる。 この予測関数 $f_{p}$ を、実際に $b$ の値を変化させた時 の重みを $p_{i, 3}^{1}=f_{a}(b)$ と表せるような実測関数 $f_{a}$ と 比較した結果を図 3(b) に示す。図 3(b) から、予測関数 $f_{p}$ と実測関数 $f_{a}$ は概して一致しており、特に 元データの周りでは一致度が高いことがわかる。こ れは、 $\hat{p}_{3}^{1}(b)$ が $b$ の値を一定の範囲では因果的にも 符号化している証拠だと考えることができる。同じ 実験を異なる値を持つ $a-(b-c)$ の 1000 インスタ

(a) $\hat{p}_{3}^{1}(b)$ に対する Manipulation の結果。

(b) $\hat{p}_{2}^{4}(b)$ に対する Manipulation の結果。

図 4: 1000 個のデータに対して重みの操作を行なっ た際の誤差 $\left|f_{p}(b)-f_{a}(b)\right|$ の中央値。

ンスで行った時の $\left|f_{p}(b)-f_{a}(b)\right|$ の中央值を図 4(a) に示す。図 4(a) から、元データの表現から離れると 必ずしも $\hat{p}_{3}^{1}(b)$ が $b$ の值を因果的に符号化している とは言えないことが定量的にも観察される。逆に、

Manipulation によって因果的には途中結果を符号化 していない最大相関方向を特定することもできる。例えば、 $\hat{p}_{2}^{4}(b)$ は $b$ と 0.81 の高い相関を持つが、こ の方向に対して重みの操作を行なった際の誤差中央値は図 4(b) のようになり、誤差が非常に大きいこと が観測される。これは図 2 から推測される「4 層目 までで途中結果を使用した数値計算処理はほぼ完了 している」という仮説と対応するものである。

## 6 おわりに

本研究では言語モデルが数値計算を行う時に内部で行なっている処理を明らかにするため、数式中 の途中結果に着目し追跡と操作を行なった。その結果、「数値計算ができるモデル」の内部では途中結果の情報が存在し、かつその情報はモデルの推論時 にも使われていることを解明した。本研究の手法は アクティベーションを連続的に変化させることでモ デルに対して詳細な因果推論を行うことができる。今後はこの手法をより一般的な数量推論モデルにも 適用し、分析道具としての有用性を示したい。

## 謝辞

本研究は JST CREST JPMJCR20D2、JSPS 科研費 21K17814 の助成を受けたものです。

## 参考文献

[1] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[2] David Saxton, Edward Grefenstette, Felix Hill, and Pushmeet Kohli. Analysing mathematical reasoning abilities of neural models. In International Conference on Learning Representations, 2019.

[3] François Charton. Linear algebra with transformers, 2021.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[5] 松本悠太, 吉川将司, Benjamin Heinzerling, 乾健太郎.四則演算を用いた transformer の再帰的構造把握能力 の調査. 言語処理学会年次大会, 2022.

[6] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Alessandro Raganato and Jörg Tiedemann. An analysis of encoder representations in transformer-based machine translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[8] Chihiro Shibata, Kei Uchiumi, and Daichi Mochihashi. How LSTM encodes syntax: Exploring context vectors and semi-quantization on natural text. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4033-4043, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Yanai Elazar, Shauli Ravfogel, Alon Jacovi, and Yoav Goldberg. Amnesic probing: Behavioral explanation with amnesic counterfactuals. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 160175, 2021.

[10] Ziming Liu, Ouail Kitouni, Niklas Nolte, Eric J Michaud, Max Tegmark, and Mike Williams. Towards understanding grokking: An effective theory of representation learning. In Alice H. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Informa- tion Processing Systems, 2022.

[11] Hassan Sajjad, Fahim Dalvi, Nadir Durrani, and Preslav Nakov. On the effect of dropping layers of pre-trained transformer models, 2021.

## A 四則演算データセットの詳細

四則演算データは、最大で 5 段の深さを持つ。各項 $x$ の大きさは、訓練、検証データ中では $0<x<1000$ 、 5.1, 5.2 節での分析に使用したデータでは桁数を揃えるために $100<=x<1000$ とした。訓練に使用した数式 の例を表 1 に示す。

表 1: 四則演算データセットの例

## B ニューラル数式ソルバーの詳細

ニューラル数式ソルバーは表 2 に示す設定で訓練を行った。

表 2: ハイパーパラメータの一覧

4) https://huggingface.co/bert-base-uncased

5) https://pypi.org/project/pytorch-pretrained-bert


# リフレーミングに基づいた言い換え生成のための 単言語パラレルコーパスの構築とその分析

河野誠也湯口彰重吉野幸一郎
理化学研究所ガーディアンロボットプロジェクト
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

リフレーミングとは，ある枠組みで捉えられてい る物事の枠組みを外して違う枠組みで見ることを指 す. 言い換えもその結果の一つである。例えば，ネ ガティブな内容を異なった側面から捉えてポジティ ブにリフレーミングし言及することで，対話におい て話し手と聞き手の良好な関係の維持や自己肯定感の向上を期待することができる．このようなネガ ティブな発言をポジティブにリフレーミングするよ うな言語的配慮能力は，社会性を備えた対話システ ムを実現する上で重要である。そこで本研究では， ネガティブな表現をポジティブに言い換えるリフ レーミングの事例を，ウェブや書籍など複数の情報源から人手で収集し，単言語パラレルコーパスとし て整備，分析した。

## 1 はじめに

リフレーミングとは，短期療法や家族療法，ナラ ティブセラピー等で用いられる技法であり，ある枠組みで捉えられている物事の枠組みを外して，違う 枠組みで見ることを指す $[1,2,3]$. 発話によるネガ ティブな感情の発露は, 話し手と聞き手の双方にス トレスを与える可能性がある. このため，ネガティ ブな発話をポジティブにリフレーミングすることは 対話継続性向上の観点から重要で，リフレーミング により話し手の自己肯定感の向上や話し手と聞き手 の良好な関係の維持を期待することができる。この ような，ネガティブな発言をポジティブにリフレー ミングするような言語的配慮能力は，社会性を備え た対話システムを実現する上で重要である $[4,5]$.

そこで，本研究では，対話システムへの応用を志向してネガティブな表現をポジティブな表現にリフ レーミングする言い換え生成モデルを検討する。一般に，こうした言い換え生成の研究では，言い換え元と言い換え先のペアからなる大規模なパラレル データを言い換え生成モデルの学習データして必要 とする [6]. しかしながら，リフレーミングに着目 した言い換えを扱う利用可能なパラレルコーパスは 限られているのが現状である [5,3].

本研究ではネガティブな表現をポジティブな表現 にリフレーミングする言い換え生成モデルを構築す るための最初のステップとして，ウェブや書籍など 複数の情報源からネガティブな表現をポジティブな 表現にリフレーミングした事例を人手で収集し，リ フレーミングに基づいた言い換え生成モデルを学習 するための単言語パラレルコーパスを構築した。次 に，構築したコーパスに含まれるリフレーミング事例の分析と，構築したコーパスを学習データとして 用いた場合，既存の言い換え生成モデルがどの程度 の性能でリフレーミングに基づいた言い換えを生成 できるかについての検証を実施した。

## 2 関連研究

これまでに，発話文の感情極性やスタイルの変換 に着目した研究は数多く行われてきた $[7,3,8]$. 感情極性の変換では，単純には入力文（ないし発話，単語）と意味が真逆な文を生成する [9]. また，対話応答生成のタスクでは，目標応答の感情ラベルを陽 にモデルに生成条件として与えることで，与えた感情ラベルを反映しつつ対話履歴に対しても適切な応答を生成しようとする制御可能なニューラル会話モ デルが提案されている $[10,11]$. このような変換夕 スクでは元々の入力文の構造や属性に依存しないト ピックは変換後の文に保持されるが，変換前の文と 変換後の文の真理条件的意味が必ずしも等しくなる 保障はない.

一方で，スタイル変換のタスクでは，入力文の意味的内容を保持しつつ意味以外の情報を制御する 言い換えを生成することに焦点を当てる. 例えば，
元々の文の難解な表現を平易に言い換えたり，文の 丁寧さのレベルを制御したりする研究が行われてい る [6,12]. 本研究が対象とする，ネガティブな表現 をポジティブな表現にリフレーミングする言い換 えタスクは，スタイル変換のタスクと類似する。例 えば，「私は自己中心的です」という文をリフレー ミングすることを考える場合「私は自分を持ってい る」等と言い換えることができる.このような言い 換えは，言い換え後の文の真理条件的意味は完全に は等価ではないにせよ，フレーム（見方）を変えて 見た場合，一面では等価であるともみなすことがで きる.こうした変換を婉曲表現という観点で行うの が「皮肉」の生成である $[13,14]$. しかしながら，皮肉が他者に対する悪意に紐づいたものである一方 で，リフレーミングでは，より広範な概念を扱う。

リフレーミングに基づいた言い換えを生成する研究も近年行われている [3]. この研究 [3] では，ネガ ティブな発話をポジティブに言い換えるリフレー ミングの事例をクラウドソーシングで収集し，言い 換え生成モデルの学習データとして用いている。し かしながら，基本的には発話レベルでのリフレーミ ングや会話の含意に着目しており単語レベルやフ レーズレベルでの言い換えや，発話中に含まれる表現が持つ意味や含意を分析するには十分ではない. しかしながら, 日本語に着目したリフレーミング事例を収録したコーパスには制限があるのが現状であ る [5]. これに対して, 本研究では, リフレーミング に基づいた言い換え生成モデルを実現するために，様々な言い換えの粒度に基づいたリフレーミング事例を含んだ日本語言い換えコーパスを構築し，その 分析を実施する。

## 3 リフレーミング事例の収集と分析

スタイル変換を含む言い換え生成のタスクは，同一言語内の機械翻訳の問題と考えることができるた め系列変換モデルと相性が良い. 通常，系列変換モ デルは，数十万文対を超える大規模なパラレルコー パスを用いて学習されるが，リフレーミングタスク に着目した日本語のスタイル変換コーパスには限り がある [5]. そこで，本研究では最初のステップと して，ネガティブな表現をポジティブにリフレーミ ングして言い換えた事例を，ウェブや書籍など複数 の情報源から人手で収集し，リフレーミング表現生成モデルを学習するための小規模の単言語パラレル コーパスを構築する。

## 3.1 リフレーミング事例の収集

本研究では，リフレーミングの中でも，「社会的幸福や認知能力の向上を意図し」て行われるネガティ ブな表現をポジティブに言い換えるリフレーミング に着目し，そのようなリフレーミングの事例を Web や書籍から人手で収集した。より具体的には，「リ フレーミング」,「ネガポジ辞典」,「ネガティブポジ ティブ 言い換え」などの検索ワードを手掛かりと した調査を実施し，主に教育心理学，カウンセリン グ，自己啓発等を扱う複数の媒体を選定した。次 に，それらの媒体からネガティブな表現をポジティ ブに言い換えるリフレーミング事例を抽出し，単言語パラレルコーパスとして整備した。構築したコー パスの統計情報は表 1 のとおりである（より詳細な 分析は次節で述べる)。ここで，重複するレコード はマージし, 単一のネガティブ表現に対して複数の ポジティブな表現が可能な言い換え（正解）として 割り当てた。

構築したコーパスは先行研究 [3] とは異なり, 単語単位，フレーズ単位，文単位といった様々な言い 換えの粒度に基づいたリフレーミング事例を収録 している。例えば，「あきらめが早い」というネガ ティブなフレーズについては，「潔い」，「決断が早 い」,「気持ちの切り替えが早い，上手」などの他の ネガティブな表現（単語，フレーズを含む）が正解 として割り当てられている1)。

## 3.2 リフレーミング事例の分析

表 1 に示した通り，構築したコーパスに含まれ るユニークな言い換えぺア数は 2,664 件であり，そ の語彙サイズは 3,697であった（語彙サイズ > ユ ニークな言い換えペア数)。このことから，構築し

たコーパスは比較的小規模なコーパスでありなが らも，多様な語彙をサポートしていることが推察で きる. さらに，コーパスに収録されているポジティ ブ/ネガティブ表現の平均文字数, 平均単語数, 平均文節数を比較したところ，リフレーミング前である ネガティブ表現と比較してリフレーミング後の言い 換えであるポジティブ表現が比較的長いことが確認 できた. また，コーパスに含まれる各ネガティブ表現に対して, 平均して 2.4 件のポジティブ表現が可能な言い換えとして割り当てれられていることが確認できた.このことから，リフレーミングに基づい た言い換えは自由度が高いため，一対一の言い換え だけでなく一対多の言い換えを考慮する必要があ る.また，コーパスに含まれるユニークなネガティ ブ表現の数は 1,817 件であり, このうち 325 件のネ ガティブ表現がコーパス中で複数回出現することが 確認できた．具体的には，「素直」，「慎重」，「行動力がある」といった個人の性格や特性に関連した表現がコーパス中に複数回出現していることが確認で きた.

図 1: ネガティブ/ポジティブ表現を構成する 単語数をクラスとした場合の度数分布

図 1 にコーパス中のネガティブ/ポ゙ティブ表現 を構成する単語数をクラスとした場合の度数分布 を示す. 図 1 は，最もコーパスで出現しやすいネガ ティブぱジティブ表現のパターンとして， 1 単語と 4 単語で構成される単語がコーパス中に特に頻出す ることが確認できた．また，これらをピークとした 右側に裾野が広い分布が確認できる.このことか ら，構築したコーパスは多様な言い換えの粒度（単語，フレーズ，文等）に基づいたリフレーミングの 事例を収録している2)。

2）文字/文節数を基準とした場合の度数分布は付録 $\mathbf{B}$ を参照.

## 4 言い換え生成モデルの検証

本研究で構築したコーパスを学習データとして用 いて，リフレーミングに基づいた言い換え生成モデ ルの構築を検討する．具体的には，利用可能な既存 の言い換え生成モデルがどの程度の性能でネガティ ブな表現をポジティブな表現にリフレーミングして 言い換えることができるかについての評価とその限界について議論する。

## 4.1 言い換え生成モデルの学習と評価

ネガティブな表現をポジティブな表現にリフレー ミングして言い換えるような言い換え生成タスクを 検証する。しかしながら，本研究が構築したコーパ スのサイズは，このようなリフレーミングのための 言い換えを生成するモデルをゼロから学習するには 不十分である．そこで，本研究ではリフレーミング に基づいた言い換え生成モデルのベースラインとし て，他の大量の言語資源で事前学習された大規模言語モデルを，今回構築したコーパスに含まれるリフ レーミング事例でファインチューニングし，その言 い換え性能を評価する．比較に用いたモデルは以下 の通りである。

BERT 分散表現ベクトルのコサイン類似度に基 づいて，入力として与えられたネガティブ表現と最 も類似するポジティブ表現をコーパス中から検索 し，言い換えとする場合. 分散表現ベクトルには，事前学習済み日本語 BERT モデル³) の [CLS]トーク ンに対応する出力ベクトルを用いる。

GPT-2 Transformer decoder block に基づいた事前学習済み日本語 GPT-2 モデル4)をリフレーミング事例でファインチューニングする場合 [15].

T5 Transformer encoder-decoder モデルに基づいた 事前学習済み日本語 $\mathrm{T} 5$ モデル5)をリフレーミング 事例でファインチューニングする場合 $[16,17]$.

Japanese-dialog-transformer 日本語雑談対話 データ (Twitterデータ)で事前学習された Transformer encoder-decoder モデル [18] をリフレーミング事例で ファインチューニングする場合.

リフレーミングに基づいた言い換え生成モデルの 学習と評価には 5 分割交差検証を用いた ${ }^{6}$ ). 言い換
$ を参照
}

え生成の評価指標としては，言い換え生成モデルの 言い換え候補上位 100 件に正解の言い換えが完全一致で含まれている割合 Acc., 言い換え候補上位 100 件を用いたランキング評価値 MRR[19], 生成さ れた言い換えと正解の言い換えの bigram までの一致を考慮した BLEU[20], 生成された言い換えと正解の言い換えの分散表現ベクトルのコサイン類似度の平均 Sim. を用いた. 言い換え候補の順位付け については，BERTでは類似度を基準とし，GPT2， T5, Japanese-dialog-transformer ではランダムサン プリングで生成された言い換え候補の尤度を基準と した.

## 4.2 評価結果

表 2 に，学習した言い換え生成モデルの性能につ いて示す.ここで，括弧は各スコアが最大となるよ うな言い換えを言い換え候補集合から選択した場合の結果である。表 2 より, BERT が他のモデルと 比較して最も高い性能が示された。しかしながら， BERT は本研究で構築したコーパス全体に含まれる ネガティブ表現のセットを検索対象としていること から， GPT2，T5, Japanese-dialog-transformer のよ うに言い換え生成モデルの学習データには必ずしも 含まれないような未知のポジティブ表現を生成する ようなモデルと単純に比較するのは適切ではない. BERT は単純な類似度による検索に基づいており，検索対象のネガティブ表現の集合のサイズが極端に 大きくなるような場合や評価データに存在しないよ うな表現が存在するような場合，その性能は大きく 低下する。

したがって，完全な生成べースのモデルである GPT2, T5, Japanese-dialog-transformer が言い換え 生成モデルの実利用という観点からは重要である. これらのモデルにおいては，言い換えの正解との完全一致に基づいた厳密な指標である Acc. について， Japanese-dialog-transformer が特に高い性能を示し た. ここで，このモデルは今回用いたモデルの中で 最も巨大であり, 事前学習モデルのパラメータサイ ズが性能に影響した可能性がある。また，このモデ ルが他のモデルと異なり, 対話応答生成というタス クに特化した事前学習を行っていることにも留意す る必要がある.

Japanese-dialog-transformerを用いて実際にリフ レーミングのための言い換えをランダムサンプリン グを用いて生成し，その傾向を確認した（付録 $\mathbf{D}$ ).表 2: リフレーミングによる言い換え生成モデルの性能

 & $\mathbf{3 2 . 2}$ & $\mathbf{0 . 0 6}$ & $\mathbf{6 . 9}(\mathbf{4 1 . 9})$ & $0.75(\mathbf{0 . 9 0})$ \\

結果として，例えば，「頑固」といったような短い単語で構成されるようなネガティブ表現については，「協調性がある」といった元のネガティブな表現と は明らかに矛盾するような表現も一部生成されてい るものの，「意志が強い」，「信念がある」といった妥当な言い換えを生成できていることが確認できた.一方で，「受験に失敗して浪人してしまった」といっ た比較的長い文字数で構成されるネガティブ表現が 与えられる場合，「人生に絶望して自殺することに 決めた」といった不適切なリフレーミング事例を生成していることが散見された。これは，長い文字数 で構成されるリフレーミングの事例が学習データに 比較的少数しか出現していないことに起因する.

## 5 おわりに

本研究では，ネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルのため の単言語パラレルコーパスの構築とその分析を行っ た. 構築したコーパスは単語，フレーズ，文単位と いった様々な変換粒度に基づいた多様なリフレーミ ング事例を含むことが確認できた。また，構築した コーパスを用いて大規模言語モデルを活用したリフ レーミングに基づいた言い換え生成モデルを評価 した.

今後の課題としては，構築したコーパスのさらな る拡張と言い換え生成モデルの改善に取り組む. ま た，リフレーミングによって生成された言い換えの 質についてより厳密に評価するために, 自動評価指標による評価だけではなく，人手による評価を実施 する. さらに，リフレーミングという行為は，その 動機や目的に応じて, 複数のタイプに分類すること ができるが，本研究ではそれらを明示的に区別して いない $[3,21]$. したがって，対話システムを始めと した各種アプリケーションでの応用を考えると，リ フレーミングに基づいた言い換え生成モデルが与え られた入力表現に対してどのようなタイプのリフ レーミングをするかを，モデルが明示的に制御でき るような枠組みが必要である.

## 謝辞

本研究は, JSPS 科研費 $\lceil 22 K 17958 」$ 及び JST ACT-X

「JPMJAX22A4」の助成を受けた。

## 参考文献

[1] James P Robson Jr and Meredith Troutman-Jordan. A concept analysis of cognitive reframing. Journal of Theory Construction \& Testing, Vol. 18, No. 2, 2014.

[2] 竹田葉留美. コラム: 出来事の視点を変えてポジ ティブに考える リフレーミングを活用したストレ スマネジメント〜. 情報の科学と技術, Vol. 67, No. 3, pp. 121-122, 2017.

[3] Caleb Ziems, Minzhi Li, Anthony Zhang, and Diyi Yang. Inducing positive perspectives with text reframing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3682-3700, 2022.

[4] Seiya Kawano, Akishige Yuguchi, and Koichiro Yoshino. Analysis of face act in multimodal japanese persuasion dialogue corpus. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2023.

[5] 河野誠也, 湯口彰重, 吉野幸一郎ほか. 大規模言語モ デルを用いたリフレーミング表現の自動生成とその 評価. 研究報告自然言語処理 (NL), Vol. 2022, No. 9 , pp. 1-6, 2022.

[6] Tomoyuki Kajiwara and Mamoru Komachi. Building a monolingual parallel corpus for text simplification using sentence similarity based on alignment between word embeddings. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158, 2016.

[7] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[8] Quan Hung Tran, Ingrid Zukerman, and Gholamreza Haffari. A hierarchical neural model for learning sequences of dialogue acts. In Proc. of ACL, Vol. 1, pp. 428-437, 2017.

[9] Bidisha Samanta, Mohit Agarwal, and Niloy Ganguly. Fine-grained sentiment controlled text generation. arXiv preprint arXiv:2006.09891, 2020.

[10] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. In Proc. of AAAI, 2018.

[11] Chenyang Huang, Osmar Zaiane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proc. of NAACL-HLT, Vol. 2, pp. 49-54, 2018.

[12] Liye Fu, Susan Fussell, and Cristian Danescu-NiculescuMizil. Facilitating the communication of politeness through fine-grained paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5127-5140,
2020.

[13] Mengdi Zhu, Zhiwei Yu, and Xiaojun Wan. A neural approach to irony generation. arXiv preprint arXiv:1909.06200, 2019.

[14] Aditya Joshi, Pushpak Bhattacharyya, and Mark J Carman. Sarcasm generation. In Investigations in Computational Sarcasm, pp. 119-127. Springer, 2018.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[17] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセッ トと訂正システムの構築. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021.

[18] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[19] Ellen M Voorhees, et al. The trec-8 question answering track report. In Trec, Vol. 99, pp. 77-82, 1999.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21]兼折友美子, 畦地博子. 困難事例に対応する看護師の リフレーミングを促す技術. 高知女子大学看護学会誌, Vol. 39, No. 1, pp. 43-50, 2013.

[22] ネガポ辞典. 主婦の友社, 2012.

## 付録

## A 収集したリフレーミングの事例

表 A.1: 収集したリフレーミングの事例（文献 [22] より抜粋)

 \\

## B 文字/文節数に基づいた度数分布

図 B.3: ネガティブ/ポジティブ表現を構成する 文字/文節数をクラスとした場合の度数分布

## C言い換えモデルの学習の詳細

本研究が扱う，リフレーミングに基づいた言 い換え生成タスクは，ネガティブな表現 $N=\left[x_{1}\right.$ $\left., \cdots, x_{T}\right]$ が与えられたとき，それをポジティブに 言い換えたリフレーミング表現 $P=\left[y_{1}, \cdots, y_{T}^{\prime}\right]$ を 生成することである。ここで， $x_{*}, y_{*}$ は単語，T, $T^{\prime}$ はそれぞれ $N$ と $P$ の単語数である. 本研究では，こ のような言い換えを実現するために事前学習済み大規模言語モデルを以下の目的関数を最大化するよう にファインチューニングする。

$
J(\theta)=\frac{1}{\left|D_{N \rightarrow P}\right|} \sum_{\left(P_{i}, N_{i}\right) \in D_{N \rightarrow P}}^{M_{N \rightarrow P}} \log \left[p\left(P_{i} \mid N_{i}, \theta\right)\right]
$

ここで， $D_{N \rightarrow P}$ は，ネガティブな表現とポジティ ブな表現の言い換えぺアの集合（学習データ）， $\theta$ は 大規模言語モデルのパラメータ，p は目標言い換え 表現の生成確率である. より具体的には，言い換え 表現の予測結果と正解表現の間の交差エントロピー 誤差を最小にするようにモデルを学習する。ここ で，(1) 式はネガティブ表現を条件として与えたと きのポジティブ表現の生成確率に着目しているが実際のモデルに対する入力としては，GPT2では「ポ

ティブな表現に言い換えると:***」といったテ ンプレートに基づいた言い換えパターン生成するよ うにモデルを学習した．また，T5では，エンコーダ の入力に対するプレフィックスとして「ネガティブ な表現をポジティブな表現にリフレーミングして言 い換え: 」を与えてモデルの学習を行った。

## D 実際の言い換え生成の例

表 D.2: Japanese-dialog-transformerによる実際の言い換 え生成の例（ランダムサンプリング結果）

 \\