# 文分類問題における精度と解釈性向上のための近傍事例の活用

村岡 雅康 ${ }^{1}$ 趙陽 ${ }^{2}$
日本アイ・ビー・エム株式会社 東京基礎研究所
${ }^{1}$ mmuraoka@jp.ibm.com ${ }^{2}$ yangzhao@ibm.com

## 概要

プロンプトを用いた zero/few-shot 評価は，ファイ ンチューニングを行うことなく大規模言語モデル の下流タスクにおける性能評価を可能にする一方 で，性能面に改善の余地がある. 本稿では，大規模言語モデルからの特徴量を用いて $\mathrm{k}$ 近傍法を行うこ とで，zero/few-shot 評価の枠組みにおいて性能向上 を達成する手法を提案する。また， $\mathrm{k}$ 近傍事例を参照することで，モデルの予測結果に対する解釈性の 向上も期待される. 評価実験により，極性分類，卜 ピック分類，含意関係認識を含む文分類問題（6つ のデータセット）において，近傍事例を活用するこ とで提案手法の性能が大幅に向上することを示す.

## 1 はじめに

BERT [1] や GPT-2 [2], T5 [3] のように大量のテキ ストデータで事前学習された大規模言語モデルが，様々な下流タスクに適用され成功を収めている.こ れらの言語モデルの性能評価を様々なタスクおよび ドメインで行うことは実応用において重要である.

評価方法の一つに下流タスクでファインチュー ニングを行わない zero-shot/few-shot 評価がある [4]. これらは，下流タスクを言語モデルタスクに変換し て評価を行う方法である。この評価方法は，ファイ ンチューニングの学習アルゴリズムや，そのハイ パーパラメタ, モデルパラメタの更新などファイン チューニング由来の要因を排除して言語モデルの性能評価を行うことができるという特長がある.

一方で，これらの評価方法において，使用するプ ロンプトに評価結果が大きく左右されたり $[5,6]$,言語モデルの予測にバイアスが乗るといった問題 が報告されている [7]. Zhao らはこれらの問題の調査・分析を行い，バイアスを除去することで，複数 の下流タスクにおいて言語モデルの性能向上を達成 した [7]. しかしながら, 性能面においてはまだ改善の余地が残されており，また，予測結果からモデ

図 1: 提案手法の概要図

ルの予測理由を推察することが困難である.

そこで本稿では，評価対象である大規模言語モデ ルから抽出した特徴量を用いて $\mathrm{k}$ 近傍法 $[8,9]$ を行 うことで，下流タスクでの更なる性能向上を目指 す. 具体的には，図 1 に示すように，バイアス除去 を行う既存手法の予測確率と，近傍事例からの予測確率を線形補完することで最終的な予測結果を得 る。また，本手法は近傍事例を参照することで，モ デルが入力文をどう解釈したかを推測することがで きるという点で，解釈性の向上にも寄与する.

本手法を多様なドメインのテキスト，および，極性分類 [10]，トピック分類 [11,12]，含意関係認識 $[13,14]$ を含む複数の文分類問題に適用し評価実験 を行ったところ，近傍事例を活用することで性能が 大幅に向上すること確認した．また，定性分析によ り，たとえ提案手法が予測を誤った場合でも，近傍事例からその理由を推測できることもわかった。

## 2 関連研究

プロンプトを用いた評価は，プロンプトと呼ばれ るタスクを解くための指示テキストを用いて，下流 タスクを言語モデルタスクに変換し評価を行う方法である．特に，下流タスクで一切ファインチュー ニングを行わない方法を Tuning-free と呼ぶ [15]. 本研究における提案手法も Tuning-free な評価方法で ある.この評価方法では, zero-shot 評価と in-context few-shot 評価が可能である. zero-shot 評価は，言語 モデルに下流タスクの評価セットの事例のみを提示し答えさせる方法である. in-context few-shot 評価 は，評価事例の前にコンテキストとして訓練セット から抽出した一つ以上の事例を正解付きで追加した 状態でモデルに提示し，予測させる方法である.

Tuning-free の評価方法において，前節で述べた Zhao らの研究 [7] のほかにいくつか関連研究が存在する. Holtzman ら [16] は評価タスクのドメイン 情報を自己相互情報量 (PMI) によって割り引いた 予測確率を求める手法を提案している. Kassner と Schütze [17] は情報検索器を言語モデルに付け加え てk 近傍法を行う手法を提案している.この手法は 新たなモデルパラメタを増やすが，我々の手法は評価対象の言語モデルを特徴量抽出器としてそのまま $\mathrm{k}$ 近傍法に使用するため，新たなモデルパラメタを 増やさずに済む. Shi ら [18] は言語モデルに k 近傍言語モデル [9]を使用し, zero-shot 評価での性能向上を達成した. 本稿では，Zhao らの手法で得られ るバイアスが除去された予測確率と, $\mathrm{k}$ 近傍言語モ デルで使用されているスコア関数を用いて得られる $\mathrm{k}$ 近傍予測確率を組み合わせて更なる性能向上を目指す. 特に，Kassner と Schütze や Shi らは下流タス クの訓練セットに含まれる正解ラベル情報を使わな かったが，本研究では明示的にこれを使用する. そ のほかのプロンプトを用いた評価の関連研究につい ては，文献[15] のサーベイ論文を参照されたい。

## 3 問題設定

本研究では，文分類問題における大規模言語モ デルのプロンプトを用いた zero/few-shot 評価を行 う. 大規模言語モデルは事前学習済みのものを使用 し，評価中にはモデルパラメタの更新，すなわち， ファインチューニングは行わない. few-shot 評価に おいては, in-context few-shot のように予測の際に言語モデルに少量の訓練事例を提示するのではなく， $\mathrm{k}$ 近傍法によって取得される少量の訓練事例を予測の計算に使用する．我々はこれを「example-based few-shot 評価」と呼ぶ.

極性分類問題を例として，基本的なプロンプトを 用いた zero/few-shot 評価について説明する. ${ }^{1)}$ 文分類問題は, 入力文 $x$ が与えられた時に, 出力ラベル $y \in y$ を予測する多クラス問題である. $y$ はラベル 集合であり，事前に定義されているものとする．例 えば，映画のレビュー文に対する極性分類問題 [10] では, $y=\{$ ポジティブ,ネガティブ $\}$ などとなる. データセット $\mathscr{T}$ は, 入力文と正解の出力ラベルの ペア $\left(x, y^{*}\right)$ の集合からなり，評価セット $\mathscr{T}_{\text {test }}$ と訓練 セット $\mathscr{T}_{\text {train }}$ に分かれているものとする. ${ }^{2)}$

この問題を解くためには言語モデルを用いて出力 ラベルに関する条件付き確率分布 $p(y \mid x)$ を求める必要があるが，モデルのファインチューニングは行わ ないため，このままでは上記の条件付き確率分布を 直接モデル化することができない，そこで，これを 穴埋め形式の言語モデルタスクとして定式化する.

事前学習済み大規模言語モデル $M$ は， 大力文中の [MASK]トークンの位置に相応しい単語を予測する：

$
p\left(w_{l} \mid \boldsymbol{w}_{\backslash l} ; M\right)
$

ただし， $\boldsymbol{w}_{\backslash l}$ は，入力文 $x=w_{1} \ldots w_{L}$ のうち位置 $l$ $(1 \leq l \leq L)$ の単語 $w_{l}$ が [MASK] トークンに置き換 えられた文である.ここで，極性分類問題を解かせ るために，プロンプト $f_{\text {prompt }}$ を用いて言語モデルに 解き方をテキストで指示する：

$
f_{\text {prompt }}(x, L)=\underline{\text { Review: }}[x] \text { Sentiment: }[\text { MASK] }
$

$[x]$ には任意の入力文が挿入される.プロンプト適用済み入力文を $x_{\backslash L}^{\prime}=f_{\text {prompt }}(x, L)$ と表し，言語モデ ルに入力することで，[MASK]トークンの位置に入る 単語の予測確率分布 $p\left(w_{L} \mid x_{\backslash L}^{\prime} ; M\right)$ を得る.これは 言語モデルが扱う全ての語彙 $\mathscr{V}$ 上確率分布であ ることに注意されたい. ここから極性分類の出力ラ ベル集合ｙの各要素に対応する確率値のみ抽出し,合計が 1 になるように正規化すれば，所望の確率分布 $p(y \mid x ; M)$ が得られる. $\left.{ }^{3}\right)$

## 4 提案手法

提案手法は，前節のプロンプトを用いた zero/fewshot 評価方法に 2 点改良を加えたものである.
$ を満たさなければならない. 満たしていな い場合は，適宜ラベル集合 $y$ を再定義する必要がある.
}

(1) 言語モデルの予測バイアスの除去 $[7]^{4)}$

(2) 言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法 $[8,9]$

図 1 に概要を示した通り，提案手法の予測する出 カラベルの確率分布は上記 2 つの仕組みからそれぞ れ得られる確率分布の線形和である。

$
\hat{p}(y \mid x ; M, \mathscr{D})=\lambda \hat{p}_{\text {debias }}+(1-\lambda) \hat{p}_{\mathrm{kNN}}
$

Dは $\mathrm{k}$ 近傍法で使用するデータストアであり， $\lambda \in[0,1]$ は線形補完係数である.

バイアス除去 [7] は言語モデルの予測に乗ったバ イアスを，解きたい文分類問題に関係のない文字列 を使って除去する方法である。“N/A” や空文字列な どそれ単体では意味を持たないような文字列を，極性分類問題の入力文だと仮定し，言語モデルに解か せた場合を考える。 それらの文字列に極性はないと 考えるのが自然なので，ポジティブ，ネガティブと もに $50 \%$ と予測されるべきだが，実際はポジティブ $=63 \%$ ， ネガティブ $=37 \%$ のようにバイアスが乗っ た予測になることが報告されている [7].

これらのバイアスをなくすように確率分布を補正 するには，上記のような文分類問題に関係のない文字列を使って得られた確率値の逆数を補正項として 乗ずることで実現できる. 本研究では Zhao らの研究 [7] で用いられた， $\mathscr{C}=\{$ “N/A", “”, “[MASK]” $\}$ の 3 種類を使用する．補正項 $\hat{p}_{\mathrm{cf}}$ は以下で求められる ${ }^{5}$ ：

$
\hat{p}_{\mathrm{cf}}=\frac{1}{\mathscr{C}} \Sigma_{c \in \mathscr{C}} \hat{p}\left(y \mid c_{\backslash L}^{\prime} ; M\right) .
$

ただし, $c_{{ }_{L}^{\prime}}^{\prime}=f_{\text {prompt }}(c, L)$ である. バイアス除去を 用いた出力ラベルの確率分布は次のようになる：

$
\begin{aligned}
\hat{p}_{\text {debias }} & =W_{\text {debias }} \hat{p}\left(y \mid x_{\backslash L}^{\prime} ; M\right), \\
W_{\text {debias }} & =\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)^{-1} .
\end{aligned}
$

$\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)$ は $\hat{p}_{\mathrm{cf}}$ から対角行列を作成する関数である.

$\mathrm{k}$ 近傍法は，評価セットの入力文 $x$ を言語モデ ルでエンコードした特徴量 $\boldsymbol{h}_{\text {test }}$ をクエリとして， データストアに対して $\mathrm{k}$ 近傍探索を行い，得られた 近傍事例を大力文 $x$ に類似した事例とみなし，そ れらの正解ラベル $y_{\text {train }}^{*}$ を予測に使用する方法であ る. 近傍事例から予測を求める方法は複数存在する が $[19,20]$, 本研究では, 近年提案された $\mathrm{k}$ 近傍言語 モデル [9] で用いられている方法を採用する.
{|c|c|c|c|c|}

とも可能である。

5） cf は context-free の頭文字である.
}

表 1: 文分類問題のデータセット

事前に訓練セット $\mathscr{T}_{\text {train }}$ から $\mathrm{k}$ 近傍法のための データストアDを構築しておく。

$
\mathscr{D}=\left.\{\left(\boldsymbol{h}_{i, L}, x_{i}, y_{i}\right) \mid\left(x_{i}, y_{i}\right) \in \mathscr{T}_{\text {train }}\right.\}
$

$\boldsymbol{h}_{i, L} \in \mathbb{R}^{d}$ は言語モデル $M$ で入力文 $x_{i, \backslash L}^{\prime}$ をエンコー ドした時の位置 $L$ の最終隠れ層の特徵量べクトル6) である. 同様に評価セット内の入力文 $x_{\backslash L}^{\prime}$ に対して も言語モデルから特徴量 $\boldsymbol{h}_{\text {test }}$ を得る．続いて k 近傍探索によってデータストアDから特徴量 $\boldsymbol{h}_{\text {test }}$ に最 も近い $\mathrm{k}$ 個の近傍事例 (の集合) $\mathcal{N}$ を得る。

$
\mathcal{N}=\operatorname{argmin}-\mathrm{k}_{\left(\boldsymbol{h}_{i}, x_{i}, y_{i}\right) \in \mathscr{D}} d\left(\boldsymbol{h}_{\text {test }}, \boldsymbol{h}_{i}\right)
$

$d(\cdot, \cdot)$ は距離関数であり, $\mathrm{k}$ 近傍言語モデル [9] に倣 い，L2 距離を使用する。 argmin-k は上位 $\mathrm{k}$ 個の事例 を返すように拡張された argmin 関数である。最終的な $\mathrm{k}$ 近傍事例を用いた確率分布を次式で求める：

$
\hat{p}_{\mathrm{kNN}} \propto \frac{1}{|\mathcal{N}|} \Sigma_{\left(\boldsymbol{h}_{i},-, y_{i}\right) \in \mathcal{N}} \mathbb{1}_{\mathcal{y}}\left(y_{i}\right) \exp \left(-d\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{\text {test }}\right) / T\right)
$

$\mathbb{1}_{y}\left(y_{i}\right)$ は $y_{i}$ の次元のみ 1 , それ以外は 0 の one-hot ベクトル（次元数：|y|）を返す関数であり， $\exp (\cdot)$ の項は $\mathrm{k}$ 近傍言語モデル [9] で使用されている距離関数に基づく確率分布である（ $T$ は温度パラメータ で実験では $T=1000$ を使用7) ） 実際の $\hat{p}_{\mathrm{kNN}}$ は和が 1 になるように正規化を行い使用する。

## 5 実験

文分類問題でよく使われる 6 つのデータセット を用いて評価実験を行う．表 1 に概要を示す. 詳細 は付録 A に記載した。事前学習済み大規模言語モ デルとして RoBERTa [21] を使用した. ${ }^{8)}$ バイアス除去を用いない手法 (No debias) [4]，バイアス除去手法 [7] (Debias)，および， $\mathrm{k}$ 近傍法のみを用いる手法 (kNN only) を比較手法とした. ${ }^{9}$ 前者 2 手法は訓練 セットから無作為に抽出された $k$ 個の事例を用いて

6）特に断りがない場合， $d=768$ とし， $\boldsymbol{h}_{i, L}$ を $\boldsymbol{h}_{i}$ と略記する.

7）予備実験より，異なる值でもほとんど同じ結果が得られた.

8) https://huggingface.co/roberta-base [22].

9）色は図 1 および式 (3) 内の色と対応し，No Debias は $W_{\text {debias }}$ がない式 (5) に対応する.
表 2: 文分類問題の実験結果 (精度). 太字は列内での，下線はデータセット内でのそれぞれ最大精度を表し，下付き数字は標準偏差 (土記号あり) または $\lambda$ の値 (土記号なし)を表す.

(a) SST-2

(d) TREC

(b) DBPedia

(e) QNLI

(c) AGNews

(f) MNLI

in-context few-shot 評価を行う。一方，提案手法 (*+ kNN) および kNN only は， kNN によって抽出された $k$ 個の訓練事例を用いて example-base few-shot 評価 を行う. $k \in\{1,4,8\}$ を使用し，式 (3) における補完係数 $\lambda$ は訓練セットを用いて調整した. ${ }^{10)}$

結果を表 2 に示す. ${ }^{11)}$ QNLI，MNLI 以外のデータ セットにおいて，バイアス除去の有無に関わらず， $\mathrm{k}$ 近傍法を組み合わせることで $(+\mathrm{kNN})$, 組み合わ せない手法に比べ，精度が大幅に向上することを確認した. QNLI, MNLIにおいては, kNN onlyが最も 良かった。これらの結果から，ファインチューニン グを行わなくとも言語モデルは下流タスクを解くた めに有用な情報を， $\mathrm{k}$ 近傍法において効果的にそれ が発揮される形で特徴量に埋め込むことができてい ると言える. ${ }^{12)}$ また，全てのデータセットにおいて，近傍事例数 $k$ をきくするほど，精度が向上した。 ただし，各データセットで最大精度を達成する $\mathrm{k}$ 近傍法と相性の良い手法の組み合わせはデータセッ トに依存することがわかる．このことから，任意の データセットに対して頑健な $\mathrm{k}$ 近傍法と既存手法と の組み合わせは本実験で用いた中にはないと言え る.この頑健性の調査は今後の課題とする.

続いて，SST-2（極性分類問題）の訓練セットを 用いて，提案手法の予測結果の解釈性に関する定性分析を行った. 表 3 に提案手法 (Debias + kNN) を含 む 3 手法の予測結果と提案手法で予測に使われた


表 3: SST-2 における 3 手法の予測結果

 &  &  \\

近傍事例を示す. 3 手法全てが誤った予測をしてい るが，比較手法は予測結果しかなく，誤った予測に なった原因を推測することが難しい。一方，提案手法はその原因を近傍事例から推測できる．表 3 の事例の場合，入力文に対する正解ラベルはネガティブ であるにも関わらず，言語モデルからの特徴量を用 いて得られた近傍事例が全てポジティブな文になっ ていることから，言語モデルは入力文をポジティブ な文と解釈していることがわかる. ${ }^{13)}$ このようにし て，提案手法は，評価対象である言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法の近傍事例により，言語モデル が入力文をどのように解釈しているかを推測する手 がかりを提示できると考える。

## 6 おわりに

本稿では，プロンプトを用いた zero/few-shot 評価 において， $\mathrm{k}$ 近傍法を使用することで精度と解釈性 を向上する手法を提案した．実験結果から，複数の 文分類問題において有効性を確認した，今後は，他 のタスクでの有効性・頑健性を確認したい.

13） 正解ラベルがネガティブなのは，入力文が疑問文である ことより，映画のクオリティにネガティブな印象を持つレ ビュー文だからである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[5] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, 2022.

[6] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and Improving Consistency in Pretrained Language Models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1012-1031, 122021.

[7] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In International Conference on Machine Learning, pp. 12697-12706, 2021.

[8] Pádraig Cunningham and Sarah Jane Delany. K-nearest neighbour classifiers - a tutorial. ACM Computing Surveys, Vol. 54, No. 6 , 2021.

[9] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[11] Xiang Zhang, Junbo Zhao, and Yann LeCun. Character-level convolutional networks for text classification. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, $A d$ vances in Neural Information Processing Systems, Vol. 28, 2015.

[12] Ellen M. Voorhees and Dawn M. Tice. Building a question answering test collection. In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '00, p. 200-207, 2000.

[13] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad- coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, 2018.

[15] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 2022. Just Accepted.

[16] Ari Holtzman, Peter West, Vered Shwartz, Yejin Choi, and Luke Zettlemoyer. Surface form competition: Why the highest probability answer isn' $\mathrm{t}$ always right. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7038-7051, 2021.

[17] Nora Kassner and Hinrich Schütze. BERT-kNN: Adding a kNN search component to pretrained language models for better QA. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3424-3430, 2020.

[18] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. Nearest neighbor zero-shot inference. arXiv preprint arXiv:2205.13792, 2022.

[19] Jianguo Zhang, Kazuma Hashimoto, Wenhao Liu, Chien-Sheng Wu, Yao Wan, Philip Yu, Richard Socher, and Caiming Xiong. Discriminative nearest neighbor few-shot intent detection by transferring natural language inference. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5064-5082, 2020.

[20] Yan Wang, Wei-Lun Chao, Kilian Q Weinberger, and Laurens van der Maaten. Simpleshot: Revisiting nearest-neighbor classification for few-shot learning. arXiv preprint arXiv:1911.04623, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[23] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In 7 th International Conference on Learning Representations, ICLR 2019, 2019.

[24] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, et al. Dbpedia-a largescale, multilingual knowledge base extracted from wikipedia. $\mathrm{Se}$ mantic web, Vol. 6, No. 2, pp. 167-195, 2015.

## A評価タスクおよびデータセット

ここでは，評価実験に使用したタスクおよびデー タセットについて補足する。

SST-2 [10] は，極性分類問題のデータセットである.実際の映画レビューサイト rottentomatoes.comに 書き込まれたレビュー文を使用している。各事例 は，1レビュー文を入力文とし，クラウドソーシン グのアノテーションによって付与された極性ラベル を出力ラベルとしている. 元のデータセットでは，極性ラベルの取りうる值は 5 值だが，それらを 2 值 に変換して使うこともある [23].

DBPedia [11] は，トピック分類問題のデータセット である. DBPedia [24] は Wikipedia から構造化され たデータを抽出するプロジェクトであり，作成され たデータセットはデータベースおよびオントロジー の形式をとる. Zhang ら [11] は，テキスト分類問題用に，このデータセットから 14 のクラスに属する エントリのタイトルと概要文を無作為に抽出し, 新 たなデータセットを作成した。各事例は，概要文を 入力文とし，オントロジー上でのクラスを出力ラベ ルとする. ${ }^{14)}$

AGNews [11] も，トピック分類問題のデータセット である. Gulli によって作成されたニュースコーパ ス15)を元にしており，Zhang ら [11]は，このコーパ スの中で記事数が最も大きい 4 つのクラスに属す る記事を無作為に抽出し, トピック分類用のデータ セットとした。 各事例は，ニュース記事本文とその 記事が属するトピックのペアからなる. 16)

TREC [12] は，質問文に関する分類問題である．異 なる複数のニュースサイトから集められた大量の 文書に対する質問文があり，人手で適切な質問文の み選ばれている．また，各質問文には何に関する質問かを示すカテゴリが付与されている (全 6 種類). TREC データセットの各事例は，質問文を入力文と し，カテゴリを出力ラベルとする. ${ }^{17)}$

QNLI [13] は，質問応答 (QA) に関する含意関係認識問題である. SQuAD [13] と呼ばれる質問応答デー


タセットから Wang らが文分類問題に変換した [23].具体的には，Wikipedia から収集したパラグラフ中 から，質問文の答えを探すタスクだったものを，質問文の答えがパラグラフ中に含まれているかを 2 値 で答える問題に変換した。したがって，各事例は， パラグラフと質問のペアが入力，回答がパラグラフ 中に含まれているかどうかの 2 值が出力となる. プ ロンプトによってパラグラフと質問文が結合され， 1 文としてモデルに与えられる.

MNLI [14] は，含意関係認識問題である. 話し言葉 や書き言葉を含む 10 個の異なるドメインから収集 したテキストペアに対して，一方が他方を含意して いるかをクラウドソーシングによってアノテーショ ンしている。また，ドメイン外の性能評価を行うた め，5つのドメインに関しては，訓練セットに全く 含まれていない，本研究では，訓練セットに含まれ ている 5 つのドメインから各 30,000 事例のみ無作為に抽出し，データストアを構築した。また，評価 は訓練セットに含まれているドメインの評価セッ 卜 (MNLI-matched)を使用した. 各事例のデータ形式は，QNLI と同じである. ${ }^{18)}$

18） 10 個のドメインは次の通り。訓練セットと同一ドメイン： Fiction, Government, Slate (Magazine), Telephone, Travel. 訓練 セットのドメイン外：9/11，Face-to-face，Letters，OUP (Oxford University Press), Verbatim.
 村岡 雅康 ${ }^{1}$ 趙陽 ${ }^{2}$ 日本アイ・ビー・エム株式会社 東京基礎研究所 ${ }^{1}$ mmuraoka@jp.ibm.com ${ }^{2}$ yangzhao@ibm.com  