# 因果的プロンプトによる NLI の敵対的ロバスト性の強化

Pride Kavumba $^{1,2}$ Ana Brassard $^{2,1} \quad$ Benjamin Heinzerling $^{2,1}$
坂口 慶祐 ${ }^{1,2}$ 乾 健太郎 1,2
1 東北大学 2 理化学研究所
kavumba.pride.q2@dc. tohoku.ac.jp
\{ana.brassard, benjamin.heinzerling\}@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## 概要

因果的プロンプトは, \{label\} because \{explanation $\}$ というテンプレートを用いることで，与えられた入力に特定のラベルを割り当てるだけでなく，このラ ベルをサポートする説明を生成することができる. この種のプロンプトはもともとモデルの解釈可能性 を向上させる目的で導入されたが，本論文では，因果的プロンプトが自然言語推論ベンチマークにおけ る敵対的摂動に対して，頑健性を向上させる効果が あることを示す.

## 1 はじめに

因果的プロンプトは，言語モデルに与えられた入力に特定のラベルを割り当てるだけでなく，その ラベルをサポートする説明を言語モデルに生成さ せる. 前提 "A soccer game with multiple males playing" と仮説 “Some men are playing a sport” を持つ自然言語推論（NLI）の例を見てみよう. predict-only の設定 では，モデルは entailment のようなラベルを生成す る必要がある. 因果的プロンプトでは，モデルもラ ベルとこのラベルをサポートする説明，例えば “It is entailment because playing soccer is playing a sport"生成しなければならない。

因果的プロンプトの当初の目的は，モデルの解釈可能性を向上させることであった [1]. この論文では，因果的プロンプトが敵対的な設定におけ るモデル性能の向上にもつながる点を調査する. Adversarial NLI[2] のような敵対的ベンチマークは, SNLI[3] のような従来のベンチマークに含まれる表層的手がかり (superficial cue) による「ショートカッ ト」要因を取り除いたものである.

敵対的ベンチマークにおける因果的プロンプトの 利点を調査するにあたり，本論文では因果的プロン
プトで自然言語推論タスクを解くために言語モデル を細かく設定し，その性能を Predict-only の設定と 比較した. 実験の結果，4つの敵対的な NLI データ セットと 2 つの非敵対的な NLI データセットにおい て，因果的プロンプトが一貫してパフォーマンスを 向上させることを発見した (§4). この性能向上は,異なるアーキテクチャサイズや異なるプロンプトの バリエーションにおいても一貫している. さらに分析を進めた結果，ラベルの具体的な言語化と説明と ラベルの因果関係の両方が，モデルの性能に重要で あることが明らかになった。最後に，Predict-only の 設定においてモデルがショートカットを可能にす る表層的なな手がかりに頼っていないことを確認 した.

## 2 因果的プロンプト

自然言語推論（NLI）では，与えられた入力に entailment や contradiction といったラベルを割り当て るようにモデルが学習される [3]. NLI データセッ トはモデル性能を評価する観点で優れている. しか し，これまでの研究では，NLI や他のデータセット には情報があることが示されている $[4,5,6]$. 例え ば, Gururangan et al.[4] は SNLI において，「not」な どの否定語が contradiction ラベルと強く結びついて いることを発見した.したがって，入力に「not」が 含まれる場合に contradiction と予測することが多い モデルは，高い精度を得ることができるが，実際に は自然言語推論に関する言語能力を獲得しているこ とにはならない。その結果，表層的な手がかりに依存するモデルは元々訓練されたデータセットでは高 い精度を出すが，表層的な手がかりを含まない入力 に対しては精度が低下するということが起きてし まう。

情報の問題に対処するためには，いくつかのアプ

ローチがある，一般的には，既存のデータセットか ら表面的な手がかりを削除するなど，データセット を慎重に作成するアプローチが多い。これは，敵対的フィルタリング (adversarial filtering) アドバー セーリエルフィルテリングによってサンプルを削除するか $[7,8,9]$, データセットを反実仮想的な例 で補強することで実現できる $[6,10]$. その他には敵対的トレーニングなどのトレーニング方法に着目し たアプローチもある $[11,12,13]$. しかし, この方法 では複雑な学習設定と高い計算量が必要になる. ま た，解説付きのマルチタスク学習をべースにしたア プローチもある [14].

Predict-only パラダイムとは異なり，因果的プロン プトでは予測に対するフリーテキストの説明をモデ ルに生成させる必要がある. モデルの解釈性を向上 させるために, Narang et. al. [1] は予測や自由記述 の説明を求めるプロンプトを導入した. 本書では， このパラダイムを因果的プロンプトと呼ぶことに する.

これまでの研究では，様々な条件下でモデルの解釈性を向上させるために，因果的プロンプトを採用 する様々な方法が検討されてきた. [15] は因果的プ ロンプトの説明の忠実度を, $[16,17]$ はモデルから 質の高い説明を抽出する方法を研究している.

このように，因果的プロンプトの解釈可能性は盛 んに研究されているが，敵対的な頑健性については 特に調査されていない. 因果的プロンプトは元のラ ベルと説明文からなる出力形式を持つため, 説明文 を生成する際に表層的な手がかりがモデルによっ て利用される可能性は低いと推測される. したがっ $\tau$ ，我々は因果的プロンプトが敵対的頑健性に正の 効果をもたらすと仮説を立て，以下の節でこの仮説 を検証する。

## 3 手法

プロンプトフォーマット 各 NLI 問題は premise と hypothesis を提供し, モデルは entailment, neutral, contradiction の 3 つのラベルのうち 1 つを出力する 必要がある．これに対して，以下のようなプロンプ ト形式を因果的プロンプトと呼ぶことにする。
- INPUT: Is this true and why? \{premise\} implies \{hypothesis\}
- OUTPUT: $\{$ Yes or No $\}$ it is $\{$ label $\}$ because \{explanation \}

ここでは，入力と出力の両方が（ラベルではなく）自然文になっており，タスクは自然言語の質問と回答という形式をとっている. 予測は大きく 2 のス テップに分かれる. まず，与えられた前提と仮説に 含意関係があるかという分類問題に対し entailment, neutral, contradiction のいずれかのラベルを予測す る. そしてラベルに応じて, entailment の場合は “Yes it is ...” が， neutral と contradiction の場合は “No it is ...” が出力する. 本稿ではこれを「マルチステッ プ・バーバライザー」と呼ぶ.これは，一段階また は一語のバーバライザーを使用した従来の研究とは 異なる。例えば, entailment は “yes”, contradiction と neutral は “no”, “maybe” と一語で表されることが多 い [19]. 最後に，予測の根拠を説明することで出力 は完了する. 本研究では, 因果的プロンプトが敵対的頑健性に及ぼす効果に着目し，プロンプトが性能 へ与える効果を検証した。

ベンチマーク e-SNLI [14], Adversarial NLI (ANLI) [2], SNLI Hard [4], NLI Diagnostic [20], Heuristic Analysis for NLI Systems (HANS) [21], CounterfactuallyAugmented NLI (Counter-NLI) [10] でモデルを評価 する。

トレーニングセットアップ モデルのトレーニン グには，3/4 の e-SNLI とすべての ANLI データが使用される。なお，ANLIでは一部の説明のみで，足 りない部分はプロンプトテンプレートを修正して対応した。

## 4 実験結果

因果的プロンプトは敵対的ロバスト性を向上させ るか？ 因果的プロンプトを用いた学習により，ほ ぼすべてのベンチマークですべてのモデルの性能 が向上し，これまで報告されている State-of-the-art の精度を上回るケースも見られた (表 1)．T5-3B [22] はサイズが小さいにもかかわらず全体的に高い性能を示したが，これは T0 [23] がメモリの制限によ り, 他のモデルで使用するバッチサイズとシーケ ンス長の $1 / 4$ を使用したためである. また, HANS データセットは、 $\mathrm{T} 5$ と $\mathrm{T} 0$ モデルにとって挑戦的であることが証明された。 5 と T0 モデルは、 Subsequence(Sub) や Constituent(Cons) の 敵対的攻撃 に対してまだ脆弱な可能性がある。このモデルの Lexical Overlap (Lex) と subsequence、Constituent の格差は，さらなる分析のための興味深い道であると思 われるが本稿の範囲外である。他のすべてのべンチ マークにおいて, 因果的プロンプトモデルは, ドメ

} & \multicolumn{2}{|c|}{ T5-Small (60M) } & \multicolumn{2}{|c|}{ BART-Base (125M) } & \multicolumn{2}{|c|}{ BART-Large $(400 \mathrm{M})$} & \multicolumn{2}{|c|}{ T5-Large (770M) } & \multicolumn{2}{|c|}{$\mathrm{T} 5-3 \mathrm{~B}(3 \mathrm{~B})$} & \multicolumn{2}{|c|}{$\mathrm{T} 0 *(11 \mathrm{~B})$} \\

表 1: predict-only (PR) と因果的プロンプト (EXP) でトレーニングされたモデルの平均予測精度. 現在の最新技術は WT5 [1], BERT-Sup-ATT [18], InfoBERT [12], RoBERTa-AFLITE [9], BERT [10], RoBERTa-AFLITE [9] e-SNLI、ANLI、および SNLI-Hard は、ドメイン内のテスト セットである.

イン内設定と敵対的ドメイン外設定の両方に対し て明確な改善を示している。このように，因果的プ ロンプトは敵対的攻撃に対するモデルの頑健性を概 ね向上させ，全体として NLI 予測性能を向上させた と結論付けることができる.

結果はアーキテクチャ/サイズに依存するか？ モデルサイズが性能に与える影響を調べるため，パ ラメータが 6,000 万から 30 億までの 6 種類のモデ ルを評価した。これらのモデルには，125M と $400 \mathrm{M}$ のパラメータを持つ BART [24] の 2 つのバリエー ションと，60M，770M，3B のパラメータを持つ T5 の 3 つのバリエーションが含まれている. 表 1 から わかるように，ANLI データセットでは，モデルサ イズと性能の間に明確な関係があり，より大きなモ デルがより良い結果を出していることがわかる.

## モデルは表層的手がかりの影響を受けているか？ モデルが表層的な手がかりの影響を受けているか 調べるため, 先行研究に従って仮説のみで学習した モデルの性能を比較した [4]. 仮説のみで学習する、 つまり、前提がない不完全なタスク設定になるた め，表層的な手がかりの影響を受けないモデルはラ ンダムな精度になると考えられる。

本実験ではラベル予測のみを学習し他モデルと因果的プロンプトで学習したモデルを比較した. その 結果, predict-only モデルはランダム性能を上回って いる $(63.7 \%$ vs $33.3 \%)$ 一方、因果的プロンプトモ
デルはランダムな精度になっており, 表面的な手が かりの影響を受けていないことがわかった。

## 因果的プロンプトはトークンとラベルの関連性を弱めるか？ 入力の単語と学習セットのラベルの関係を理解するために，それらの間の自己相互情報量 (PMI) を計算する。これにより，特定のラベルと強 く結びついている言葉や，因果的プロンプトを使用 したときにその結びつきがどのように変化するかを 特定することが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word, label })}{p(w o r d, \cdot) p(\cdot, \text { label })}
$

Gururangan et al. [4] と同様に，ラベルと最も強 く関連する単語を強調するため，PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語は contradiction というラベルと強く結びついているが，因果的プロンプトを使うとこの関連はなくなる (付録 A，図 1).この結果は，仮説のみのモデルの結果 とも一致する。

## モデルはプロンプトの微小な違いに敏感か？ れまでの研究で，モデルはプロンプトに対して非常 に敏感であることが示されている [19]ため，我々も クラウドソーシングのプロンプトソースプロジェ

表 2: e-SNLI と CounterNLI (CNLI) の開発セットに関するプロンプトの感度. 数値は predict-only/因果的プロ ンプトの平均精度である．因果的プロンプトの標準偏差が低いほど，安定性が高いことを示している。

表 3: 切除した説明文を用いて学習させた $\mathrm{T} 0$ モデル の平均予測精度

クトから入手した 5 種類のプロンプトを用いて比較を行った. 各モデルについて， 3 種類のランダム シードで 3 回の実験を行った. なおリソースの制限 から，この実験では $\mathrm{T} 0$ を除外し，e-SNLI からラン ダムにサンプリングした 2 万個のインスタンスのみ を使用した。

実験の結果，因果的プロンプトモデルはより優れ た汎化性を示し, 敵対的な攻撃に対してより頑健で ある (表 2)ことがわかった。

説明には因果関係が必要か？説明における因果関係の有無の影響を調べるため，因果的プロンプ トの説明文を，全くランダムな文から類似の文ま で，無関係の文に置き換えたモデルで実験を行っ た. 具体的には，（i）ランダムな文字，（ii）ランダ ムな単語，(iii）BookCorpus [25] の低類似度文，(iv) BookCorpus の高類似度文の設定を比較し, 元の説明文との類似度は SentenceBERT [26] を用いた.すべ てのモデルは e-SNLI からランダムにサンプリング した 20K 個のインスタンスで学習させた. 実験の結果，元の説明文を用いた生成が最も高い精度を示し た. ランダムな説明や無関係な説明では性能が低下 するため，因果関係のある説明を予測するようにモ デルを訓練することで，敵対的な頑健性が向上する
ことが確認された (表 3).

因果的プロンプトはモデルのパフォーマンス を向上させるか？ このことを確認するために， 1 段階の発話によるプロンプト (\{label $\}$ because \{explanation \}) と多段階の発話によるプロンプト (Yes/No it is $\{$ label $\}$ because $\{$ explanation $\}$ ) を用い て，説明を加えた場合と加えない場合の両方を $\mathrm{T} 0$ に学習させた. predict-only モデルは，シングルス テップ・バーバライザーで $87.2 \%$ ，マルチステップ・ バーバライザーで $88.4 \%$ の精度を達成した。一方，因果的プロンプトモデルはシングルステップ・バー バライザーで $90.9 \%$ ，マルチステップ・バーバライ ザーで $91.6 \%$ という精度を達成した. predict-only と 因果的プロンプトのいずれの設定でも，多段階の バーバライザーを追加することで，1 段階のものよ りも改善が見られた。

## 5 おわりに

本研究では，因果的プロンプトが自然言語処理モ デルの敵対的頑健性に与える影響について検討し た. 実験の結果から，因果関係のプロンプトを使用 することで，敵対的な攻撃に対するモデルの頑健性 を向上させることができることが示された．具体的 には，因果的プロンプトモデルは，（1）表層的な手 がかりによる影響を受けなくなったこと，（2）因果関係の説明や多段階の言語化で最も効果的であるこ と，（3）プロンプト形式の違いに頑健であること， (4) モデルサイズが大きくなると性能が向上するこ と，そして (5) 因果的プロンプトの使用により入力単語とラベルの関連性が低下すること，を示した。

## 6 謝辞

本研究は，JST，CREST，JPMJCR20D2 の支援を受 けたものである。本研究は JSPS 科研費 JP21K21343,

21K17814 の助成を受けたものです.

## 参考文献

[1] Sharan Narang, Colin Raffel, Katherine Lee, Adam Roberts, Noah Fiedel, and Karishma Malkan. Wt5?! training text-to-text models to explain their predictions, 2020.

[2] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In 58th Annual Meeting of the ACL. ACL, 2020.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In 2015 EMNLP, pp. 632-642, Lisbon, Portugal, September 2015. ACL.

[4] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. ACL.

[5] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In 2018 EMNLP, pp. 4208-4219, Brussels, Belgium, October-November 2018. ACL.

[6] Pride Kavumba, Naoya Inoue, Benjamin Heinzerling, Keshav Singh, Paul Reisert, and Kentaro Inui. When choosing plausible alternatives, clever hans can be clever. In First Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China, November 2019. ACL

[7] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In 2018 EMNLP, pp. 93-104, Brussels, Belgium, October-November 2018. ACL

[8] Rachel Rudinger, Jason Naradowsky, Brian Leonard, and Benjamin Van Durme. Gender bias in coreference resolution. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 8-14, New Orleans, Louisiana, June 2018. ACL

[9] Ronan Le Bras, Swabha Swayamdipta, Chandra Bhagavatula, Rowan Zellers, Matthew Peters, Ashish Sabharwal, and Yejin Choi. Adversarial filters of dataset biases. In Hal Daumé III and Aarti Singh, editors, 37th International Conference on Machine Learning, Vol. 119 of PMLR, pp. 1078-1088. PMLR, 13$18 \mathrm{Jul} 2020$.

[10] Divyansh Kaushik, Eduard Hovy, and Zachary C Lipton. Learning the difference that makes a difference with counterfactually augmented data. ICLR, 2020.

[11] Yonatan Belinkov, Adam Poliak, Stuart Shieber, Benjamin Van Durme, and Alexander Rush. On adversarial removal of hypothesis-only bias in natural language inference. In Eighth Joint Conference on Lexical and Computational Semantics (*SEM 2019), pp. 256-262, Minneapolis, Minnesota, June 2019. ACL.

[12] Boxin Wang, Shuohang Wang, Yu Cheng, Zhe Gan, Ruoxi Jia, Bo Li, and Jingjing Liu. Infobert: Improving robustness of language models from an information theoretic perspective. In ICLR, 2021.

[13] Xiaodong Liu, Hao Cheng, Pengcheng He, Weizhu Chen, Yu Wang, Hoifung Poon, and Jianfeng Gao. Adversarial training for large neural language models, 2020.

[14] Oana-Maria Camburu, Tim Rocktäschel, Thomas Lukasiewicz, and Phil Blunsom. e-snli: Natural language inference with natural language explanations. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp.
9539-9549. Curran Associates, Inc., 2018.

[15] Sarah Wiegreffe, Ana Marasović, and Noah A. Smith. Measuring association between labels and free-text rationales. In 2021 EMNLP, pp. 10266-10284, Online and Punta Cana, Dominican Republic, November 2021. ACL

[16] Ana Marasovic, Iz Beltagy, Doug Downey, and Matthew Peters. Few-shot self-rationalization with natural language prompts. In Findings of the ACL: NAACL 2022, pp. 410-424, Seattle, United States, July 2022. ACL

[17] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. ACL.

[18] Joe Stacey, Yonatan Belinkov, and Marek Rei. Supervising model attention with human explanations for robust natural language inference, 2021

[19] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In 2021 Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 2339-2352, Online, June 2021. ACL.

[20] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. ACL.

[21] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In 57th ACL, pp. 3428-3448, Florence, Italy, July 2019. ACL.

[22] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[23] Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush. Multitask prompted training enables zero-shot task generalization, 2021.

[24] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In 58th Annual Meeting of the ACL, pp. 7871-7880, Online, July 2020. ACL.

[25] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In The IEEE International Conference on Computer Vision (ICCV), December 2015.

[26] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In 2019 EMNLP and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. ACL.

## A PMI

(a) Predict-only $の$ PMI

(b) 因果的プロンプトの PMI

図 1: 仮説語句の PMI 統計. (a) Predict-only 設定での PMI. (b) 因果的プロンプト設定での PMI. 仮説に 含まれる単語は、Predict-only ラベルと強く結びつい ている. 因果的プロンプトでは、仮説語とラベルの 関連は負の関連に低下する。

入力の単語と学習セットのラベルの関係を理解す るために，それらの間の自己相互情報量 (PMI) を計算する。これにより, 特定のラベルと強く結びつい ている言葉や，因果的プロンプトを使用したときに その結びつきがどのように変化するかを特定するこ とが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word }, \text { label })}{p(\text { word }, \cdot) p(\cdot, \text { label })}
$

Gururangan et al.[4] と同様に，ラベルと最も強く関連する単語を強調するため, PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語 は contradiction というラベルと強く結びついている が，因果的プロンプトを使うとこの関連はなくなる (図 1).この結果は, 仮説のみのモデルの結果とも 一致する。


# 日本語の大規模な基盤モデルに対する LoRA チューニング

王昊 ${ }^{1}$ 中町礼文 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学 ${ }^{2}$ LINE 株式会社
conan1024hao@akane.waseda.jp
\{akifumi.nakamachi, toshinori.sato\}@linecorp.com

## 概要

本研究では, 日本語の大規模基盤モデルを用いて， テキスト分類・生成タスクにおける LoRAチューニ ング [1]を検証した. 具体的には, XLSum[2] (要約), JNLI[3] (含意関係認識), JCommonsenseQA[3] (常識推論) の三つのタスクにて, LoRA チューニングとファ インチューニングを行い, チューニングしたモデル の精度や必要なパラメータ数や学習時間などの比較 を行った. 比較実験により,ファインチューニング と比較して, LoRA チューニングは計算時間やメモ リ使用量を大幅に低減でき, 推論の精度がファイン チューニングと同等以上であることを確認した.

## 1 はじめに

自然言語処理の諸課題において, 大規模なテキス トデータを用いた事前訓練による基盤モデルに基づ く手法が広く存在している. 特に, GPT-3[4] をはじめ とする超大規模な基盤モデルの追加訓練を伴わない Prompting に基づく手法が, 対話システム [5] などで 高い精度を達成している. 一方で, 超大規模な基盤モ デルによる Prompting に基づく手法では, Prompt の 複雑な前処理や, 事後フィルタリングを用いた再生成を伴う出力制御などに膨大な計算コストが必要に なる.また, 比較的に小規模な基盤モデルでも追加訓練によって, 特定タスクにおいて超大規模な基盤モ デルと匹敵する精度が出せる場合がある. さらに, 超大規模な基盤モデルでも追加訓練によって, 特定タ スクにて Prompting に基づく手法より高い精度を達成できる場合がある. 計算コストや精度の改善に向 けて, 基盤モデルにおける軽量な追加訓練 $[6,7,8]$ が ある. 本研究では, GPT-3 と同様な形式の日本語の基盤モデルを用いて, LoRA チューニング [1] と通常の ファインチューニングの比較検証を行い, メモリ使用量や訓練に必要な計算時間などの計算コストの評価や予測性能を評価した. 実験により, LoRAチュー

図 1: LoRA のアーキテクチャ

ニングはファインチューニングと同程度の性能を大幅に低い計算コストで達成できることを確認した。

## 2 LoRA チューニング

パラレルコーパス $\mathbf{Z}=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1 \cdots N}$ を用いた基盤モデル $P_{\Phi}(y \mid x)$ の追加訓練のデファクトスタン ダードな手法として, 全てのパラメータ $\Phi$ を, 式 1 のように最適化するファインチューニングがある. ファインチューニングでは, 事前訓練と同様に基盤 モデルのパラメータ $\Phi$ 全てを更新するため, モデル のサイズと比例して計算コストが増大する. LoRA チューニングでは, 式 2 のように, 小規模なパラメー タ $\Delta \Phi(\Theta)$ を導入し, 基盤モデルのパラメータ $\Phi_{0}$ を 固定し $\Phi_{0}+\Delta \Phi(\Theta)$ とし, $\Delta \Phi(\Theta)$ のみを更新する. 特 に, 図 1 で示すように, 基盤モデルのパラメータ $\Phi_{0}$ のうち, パラメータ $W_{0} \in \mathbb{R}^{d \times k}$ を持ち, 入力 $z$ から密 ベクトル $h$ を出力する線形層 $h=W_{0} z$ に対して, 低 ランク行列 $A \in \mathbb{R}^{r \times k}, B \in \mathbb{R}^{d \times r}, r \ll \min (d, k)$ を用い て $h=W_{0} z+B A z$ とし, $B, A$ のみを最適化する.

$
\begin{aligned}
& \max _{\Phi} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\Phi}\left(y_{t} \mid x, y<t\right)\right) \\
& \max _{\Theta} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\left.\Phi_{0}+\Delta \Phi(\Theta)\right)}\left(y_{t} \mid x, y<t\right)\right)
\end{aligned}
$
表 1: データセットの統計量

超大規模な基盤モデルの $W_{0}$ のランク $d$ は非常 に大きく, 例えば 1750 億のパラメータを持つ 175B GPT-3 は $d=12,288$ であるのに対し, $r$ は 1 でも 2 で も実行できる. 英語における先行研究による $175 \mathrm{~B}$ GPT-3 を用いた検証では, GPUメモリを三分の一, 学習可能なパラメータ数を一万分の一に削減しつつ, ファインチューニングと同等以上の精度を達成して いる. GPT-3 の他に, RoBERTa ${ }_{\text {base }}$ [9], DeBERTa ${ }_{x x l}[10]$, GPT $2_{\text {medium }}[11]$ による検証でも, ファインチューニ ングと同等以上の精度であった。

他手法との比較として, Adapter チューニング [7] では, Transformer[12] の各部分に Adapter 層が追加 されることにより, 推論時の計算コストが LoRA チューニングよりも増加する. また, Prefix チューニ ング [8] では, 入力の一部を接頭辞に分ける必要があ るため入力長が短くなるが, LoRA チューニングで は, 入力長を元のモデルのままに保つことができる.

## 3 実験

本実験では, LINE が作成している日本語の GPT のうち, 10 億個のパラメータを持つ $1 \mathrm{~B}$ モデルと 67 億個のパラメータを持つ 6.7B モデルを使用し, XLSum[2], JNLI[3], JCommonsenseQA[3] のタスクで, LoRA チューニングとファインチューニングの比較検証を行った。

## 3.1 データセット

基盤モデルの言語理解の性能評価として, 含意関係認識タスクの JNLI や, 常識推論タスクの JCommonSenseQA の評価を行った. また, 自然言語生成の生成を測るため, 要約ベンチマークデータセッ トの XLSumのうち, 日本語のサンプルのみを抽出し 評価を行なった。

## 3.1.1 JNLI

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる含意関係認識タスクである. 含意関係認識タスクでは, text1, text2 の 2 つの文の間に 含意関係があるかを含意/中立/矛盾の 3 段階で判定
する. 比較実験では, モデルに対して文のぺアをモデ ルに与えて, 含意/中立/矛盾のいずれかの label のテ キストを生成させる. 評価は Accuracy を用いる.

## 3.1.2 JCommonsenseQA

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる常識推論能力を評価するタス クである. 質問文 (question) と 5 つの選択肢のテキ スト (choice0 - 4) のを与え, 正解のテキスト (label) を出力する. ラベルのインデックスを直接出力する BERT[13] などと異なり,ラベルテキストを生成する 形式の本実験では, 選択肢にない回答を出力する場合が存在する. そこで本実験では, モデルに対して質問文と選択肢を与え,生成されたテキストに対して の Exact Match (出力文字列と正解文字列が完全一致 した出力を返した割合)を評価指標として用いる.

## 3.1.3 XLSum

XLSum は, BBC の記事の本文や要約文から作成さ れた 44 言語を含むニュース要約タスクであり, 本文 から要約文を生成する. 日本語の GPT の評価とし て, 本研究では XLSum の日本語部分のみを用いる.自動評価の指標として ROUGE[14] を用いる.

## 3.1.4 データセットの分割

JNLI と JCommonsenseQA は Train データと Validation データのみが公開されており Test データが公開 されていない. そこで, 本研究で ハイパーパラメー タの探索などのための擬似的な Validation データと して元の Validation データの半分を用い, 残り半分 を比較検証の際の Test データとして用いた. それぞ れのタスクのサンプル数と, モデルへの入力フォー マットは, 表 1 に示す.

## 3.2 モデル

本研究では GPT-3 と同様な形式の基盤モデルを使用し比較実験を行う. モデルは LINE が独自に構築 した JPLM コーパスで事前学習を行った. 1B モデル の Layer 数は 24, Hidden Dimension は 2, 048, Attention

※ XLSum の評価指標は ROUGE-1/ROUGE-2/ROUGE-1.

Head は 16 で, 6.7B モデルの Layer 数は 32 , Hidden Dimension は 4, 096, Attention Head は 32である. 両モ デルの Max Position Embedding は 2, 048 である.

## 3.3 実験設定

本実験では, $1 \mathrm{~B}$ モデルと $6.7 \mathrm{~B}$ モデルそれぞれに 対し, LoRA チューニング (LoRA) とファインチュー ニング (FT)を行い, 予測性能や学習時間, メモリ 使用量などの比較した. LoRA, FT それぞれの実験 に用いたハイパーパラメータの探索範囲を表 3 に 示す. LoRA Weight は, Self-Attention の内部の query, key, value の 3 つの線形層と, 出力層 (output)の重み $W_{q}, W_{k}, W_{v}, W_{o}$ への LoRA の適用の組み合わせの設定を表す. LoRA $r$ は, LoRA における低ランク行列 の $r$ である. また, 特に JNLI や JCommonsenseQA に おいて, ラベルを直接生成できる BERT 系モデルと 異なり, モデルが存在しない解答のテキストを生成 する場合があるため, そのような場合は, 解答失敗 として取り扱った. 本実験では NVIDIA A100 (80GB) を用いた. また, 6.7B FTについては, モデルのサイズ の都合上, 8 枚の NVIDIA A100 (80GB) を用いている.

表 3: 比較実験に用いたハイパーパラメータ

## 3.4 実験結果

表 2 に示した結果より, 本研究でのハイパーパラ メータの探索範囲内では, 1B-LoRA は JNLI 以外の タスクにおいて, 適切な推論を行えなかった. 特に， JCommonsenseQA では, 1B-FT はほぼ全ての入力に 対して解答候補のいずれかを生成したが, 1B-LoRA では解答候補が出力されることはなかった. 以上よ り 1B-LoRA は, タスクの難易度やハイパーパラメー タの探索範囲に敏感であると考えられる。

また, 6.7B FT について, XLSumをのぞいて, 6.7B LoRA とほぼ同程度の精度であったが, GPUメモリ の使用量や訓練の計算時間が膨大であった. 特に, 6.7B LoRA や 1B の実験では 1 枚の GPU 上でモデル を訓練できるが, 6.7B FT は 8 枚の GPUを用いての み訓練が可能だった。

6.7B FT 1B FT などと比較して 6.7B-LoRA は全 てのタスクにおいて, 大幅に小規模なメモリと計算時間で高い性能であった. 実験結果より, 6.7B-LoRA は,ハイパーパラメータの探索を広く行うことで, 小規模なモデルより高い性能を得られた。

また, BERT 系モデルとの比較の参考として, RoBERTa-large の評価結果を引用している.1）よって，直接的な比較は行えないが, BERT 系のモデルと同等以上の予測性能であることを確認できた.
^{1)}$ https://github.com/yahoojapan/JGLUE. JGLUE の評価では, Validation データ全てを用いて評価を行っているため, 本研究の他 の実験と評価データが異なる.
}
表 4: XLSum の生成例

}} \\

## 3.5 ハイパーパラメータ探索

$\mathrm{Hu}$ ら [1] は, LoRA の学習率として $2 e-4$ を用い ているため, 本実験も $2 e-4$ を探索範囲に含めた. ハイパーパラメータの探索の結果, 大規模なモ デルのチューニングは, 小規模なモデルに比べて ハイパーパラメータに敏感であることが確認さ れた. 特に, LoRA チューニングの性能は, 学習率 などのハイパーパラメータだけでなく, LoRAを 適用する箇所や $r$ などのハイパーパラメータも 強い影響があり, 多くのハイパーパラメータでは 学習が適切に行えなかった. LoRA の Attention の 重みタイプと低ランク分解行列の次元 $r$ につい ては, JNLI と JCommonsenseQA の両タスクにおい て, 一番コストが小さい組み合わせ $($ Weight Type $=$ $W_{q}+W_{v}$, Adapter Dim =4) が最適となっている一方, XLSum において一番コストが高い組み合わせ $\left(\right.$ Weight Type $=W_{q}+W_{k}+W_{v}+W_{o}$, Adapter Dim $\left.=16\right)$ が最適であった. LoRAチューニングは, タスクに 応じて, 最適な低ランク行列が大きく異なると考え
られる.また, 6.7B FT でも, 1B FT と比較してより 広範な探索が必要であり,超大規模な基盤モデルの チューニングは, 効率的なハイパーパラメータの探索が重要であることが確認された.

## 4 まとめ

本研究では, 日本語の大規模な基盤モデルを用い $\tau$, 含意関係認識, 常識推論, テキスト要約の 3 つ のタスクを用いてファインチューニングと LoRA チューニングの比較を行った. 実験結果より, 日本語の大規模な基盤モデルのチューニングにおいて， LoRA チューニングがメモリ消費量や計算時間の観点で効率的であることを確認した。

## 謝辞

本研究は LINE 株式会社でのインターン成果で ある。

## 参考文献

[1] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. In International Conference on Learning Representations.

[2] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, 2021.

[3] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, pp. 18771901, 2020.

[5] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベー スを統合した HyperCLOVA を用いたマルチモーダ ル雑談対話システム. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), pp. 113-118, 2022.

[6] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 1-9, 2022.

[7] Ruidan He, Linlin Liu, Hai Ye, Qingyu Tan, Bosheng Ding, Liying Cheng, Jiawei Low, Lidong Bing, and Luo Si. On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2208-2222, 2021.

[8] Xiang Lisa Li and Percy Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 4582-4597, 2021.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint
arXiv:1907.11692, 2019

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Chen Weizhu. In International Conference on Learning Representations.

[11] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.


# 日本語に特化した 60 億パラメータ規模の GPT モデルの構築と評価

麻場直喜 梅沢知紀 川村晋太郎
株式会社リコー
}

\{naoki.asaba， tomoki. umezawa， shintaro. kawamura\}@jp. ricoh.com
## 概要

GPT-3をはじめとする Transformerベースの大規模 な事前学習済及言語モデルは，様々な下流タスクを 高精度に解けることが報告されている。一方でこれ らの大規模言語モデルの多くは英語を対象言語とし ており, 日本語を対象言語とした検証はまだ少ない.本稿では, 60 億パラメータの日本語 GPT モデル (Japanese-GPT-6B)の事前学習を行い, 日本語言語理解ベンチマーク JGLUE の質問応答タスク 2 種を用 いて, in-context learning による few-shot 性能評価を 行った結果について報告する.

## 1 はじめに

近年, Transformer[1]をベースアーキテクチャとし たニューラル言語モデルの大規模化が活発に進めら れている. 特に Transformer の decoder のみを用いた 言語モデルで, 重みパラメータ数を大規模化かつ学習データ量を大規模化して事前学習を行った GPT-3[2]や PaLM[3]などのモデルが, 様々な下流夕 スクを高精度に解けることが報告されている. 本稿 では, これら decoder に特化した大規模な言語モデ ルを, BERT[4]に代表される encoder に特化したマス ク言語モデルや, T5[5]に代表される系列変換モデル と区別する意味で, 大規模生成系言語モデルと呼ぶ こととする. なお, 大規模か否かを分ける境界の定説はないが，本稿では重みパラメータ数が概ね数十億 $($ 十億 $=$ Billion, 以後 ' $\mathrm{B}$ ’ と表記）以上のものを 大規模と想定している.

大規模生成系言語モデルは，プロンプトと呼ばれ るタスク説明文と少数の例文を与えるのみで, 重み パラメータを更新することなく様々な言語タスクを 高精度に解くことができる. この手法は in-context learning[2]や prompt-based learning[6]と呼ばれ, 汎用性と高精度を両立した新パラダイムといえる。この パラダイムシフトはビジネス応用において重要であ
り，大規模生成系言語モデルへの入力プロンプトを 最適化するプロンプトエンジニアリングや, 出力文 に対する後処理技術を含めた使いこなし方を確立で きれば，様々なユースケースに対する素早い実用化 が期待できる.

しかし, 既存の大規模生成系言語モデルの多くは 英語を対象としており，日本語を対象とした検証は まだ少ない。言語資源の観点からも, 公開テキスト データ, 公開事前学習済みモデル, 公開ベンチマー クデータセットなどはいずれも英語と比較して日本語では少ない. 例えば英語モデルにおいては, 公開 の事前学習済みモデルである GPT-J-6B[7]は6B パラ メータ, OPT[8]は 175B パラメータ, 非公開の事前学習済みモデルである PaLM は 540B パラメータで ある。一方で日本語モデルにおいては, 公開の事前学習済みモデルとしては株式会社 ABEJA の 2.7B パ ラメータ（gpt-neox-japanese-2.7b）, 非公開の事前学習済みモデルとしては同じく株式会社 ABEJA の 13B パラメータが最大と思われる[9].

本研究では, 日本語に特化した大規模生成系言語 モデルの実用化を目指して, 6B パラメータの日本語 GPT モデル(Japanese-GPT-6B)を開発している. 本稿 では，日本語言語資源を用いた大規模生成系言語モ デルの事前学習及び性能評価事例の共有を目的とし，日本語 170B トークンで事前学習して評価を行った 結果について報告する。評価では日本語言語理解心゙ ンチマーク JGLUE[10]の質問応答タスク 2 種を用い て, in-context learning による few-shot 学習性能を評価した。結果は GPT-J-6B と比較して優位であり,日本語特化の効果を確認した。

## 2 モデル構築

## 2. 1 モデル設計

本稿で報告する Japanese-GPT-6B は Transformer の decoder に特化した自己回帰モデルであり，GPT-3

のアーキテクチャを踏襲している. 重みパラメータ 数は GPT-J-6B 同等の 6B に設定した. 表 1 に主な モデルネットワーク仕様を示す.

トークナイザは, 2.2 節で述べる日本語学習データ の一部を用いて SentencePiecei[11]のユニグラム言語 モデルを学習して構築した. 語彙数は約 5 万とし,

SentencePiece $の$ byte-fallback を有効にすることで未知語の発生を防いでいる.

## 2.2 学習データ

Japanese-GPT-6B の事前学習には以下 4 つの公開 データの日本語版を用いた.

- Wikipedia：インターネット百科事典

- CC100, OSCAR, mC4 : Web 上のテキストをス クレイピングした Common Crawl コーパスを言語分類及びクレンジングしたデータ

日本語版の概算データ容量は Wikipedia $7 \mathrm{~GB}, \mathrm{CC} 100$ 70GB, OSCAR 100GB, mC4 800GB である. これら の学習データに対して, 追加のクレンジング処理と,

2.1 節で述べたトークナイザを用いたトークン化処理を行った. また，一部のデータを事前学習におけ るバリデーション用の開発データとして分割し, 最終的に学習データ量は合計 170B トークンとした.

## 2.3 学習環境

Japanese-GPT-6B の事前学習では 80 個の NVIDIA A100 40GB GPU を用いて分散学習を行った. 学習を 実行するプラットフォームは Amazon SageMaker を 用いた. NVIDIA DGX A100 320GB のインスタンス に搭載された 8 個の A100 GPU にテンソルパラレル でモデルをロードし,そのインスタンスを 10 台用い てデータパラレルで並列化した。

学習コードは Amazon Web Services, Inc.が公開し ている分散学習向けGPT2学習コードサンプルiをべ ースとした. ディープラーニングのフレームワーク は PyTorch である.

## 2.4 ハイパーパラメータ

表 2 に, Japanese-GPT-6B $の$ 事前学習における主 なハイパーパラメータを示す.

https://github.com/aws/amazon-sagemaker-examples/tree/main /training/distributed_training/pytorch/model_parallel/gpt2表 1 Japanese-GPT-6B の主なネットワーク仕様

表 2 Japanese-GPT-6B の事前学習における主なハイ パーパラメータ

バッチサイズは GPT-J-6B と同様に $1 \mathrm{M}$ トークンと した.

学習コストの制約から，学習データ $170 \mathrm{~B}$ トーク ンを一通り学習した時点で事前学習を終了した。す なわちエポック数を 1 とし, 学習ステップ数は $170 \mathrm{k}$ ステップとなった.

学習率の最大值は GPT-3 6.7B モデルと同様に 1.2 $\times 10^{-4}$ とした. 但し, GPT-3 6.7B モデルのバッチサ イズが $2 \mathrm{M}$ トークンであることを考慮すると Japanese-GPT-6B はその 1/2であるため, ノイズスケ ールは 2 倍となることに注意が必要である.

上記ハイパーパラメータにて事前学習 1 エポック の所要時間は 14 日であった。

## 3 評価

2 節で述べた事前学習を行った Japanese-GPT-6B に対して, 下流タスク性能の評価を行った. 主な比較対象は公開の大規模生成系言語モデルである GPT-J-6B とした. 表 3 に各モデルの仕様を示す. Japanese-GPT-6B と GPT-J-6B のモデルサイズは同等で, 主な違いは日本語特化の有無であり, 日本語 に特化することの効果を測る。

## 3. 1 評価方法

本評価においては事前学習済みモデルのファイン チューニングは行わず，プロンプトとしてタスク説明文と少数の例文を与える in-context learning によ る few-shot 学習でタスクを解くこととする.
表 3 評価対象の大規模生成系言語モデルの仕様. Japanese-GPT-6B の学習データとトークナイザは日本語に 特化しており，学習データの末尾の“-ja”は各データの日本語版であることを示す.

 & 170B tokens & SentencePiece \\

評価用のタスク及びデータセットとしては，日本語の生成系タスクのベンチマークで公開されている ものはないため，生成系タスクに近いタスクとして 日本語言語理解ベンチマーク JGLUE iiiから下記 2 種 の質問応答タスクを採用する.

- JCommonsenceQA

- JSQuAD

使用した JGLUE のバージョンは v1.1.0 である. テ ストデータは非公開であるため, 開発データセット と同量のデータ (JCommonsenceQA は question 数が 同量, JSQuAD は title 数が同量）を学習データセッ トからランダム分割してテストデータセットとして 用いた. 残りの学習データセットから few-shot 用の 例文を抽出してプロンプトを作成した．プロンプト のチューニングには開発データセットを用いた.

表 4 に, 各評価タスクにおけるプロンプト及び生成した回答文の例を示す，各タスクに対する回答は 文生成によって行う. 回答文生成には Transformers ${ }^{\text {iv }}$ を用いた。常に確率最上位のトークンを生成する貣欲法にて文生成を行った.

JCommonsenceQA 常識的知識を問う質問文 に対して, 選択肢として与えられた 5 択から最も適切な回答を 1 つ選択するタスクである. JGLUE デー タセットの選択肢には 1 から 5 の選択肢番号が付与 されているが本評価ではその選択肢番号は用いず，選択肢の各文字列を生成させて Exact Match で正否 を判定して Accuracy を算出した. 生成文が選択肢の 文字列のいずれにも合致しない場合は不正解とした。 Exact Match は JCommonsenceQA ベンチマークを解 く条件としては厳しい制約であるが，大規模生成系言語モデルの実用に向けては直接的に回答を生成し てほしいという期待からそのように設定している.
プロンプトとして与える例文の数は 3 例とした.

JSQUAD 与えられたコンテキストに関する質問に対して，回答をコンテキストから抽出するタス クである。評価指標は Exact Match と F1 であり，F1 は文字単位で算出した. 回答は文生成で行うため,生成文はコンテキストから抽出されるとは限らない が，評価指標算出においては回答がコンテキストか ら抽出されているか否かは不問とした。プロンプト として与える例文の数は 2 例とした. テストデータ 4,777 件のうち 6 件で GPT-J-6B の最大トークン長 2,048 トークンを超えたため, その 6 件はいずれのモ デルのテストデータからも除外した.

## 3. 2 評価結果

表 5 に, 本評価タスクにおける評価結果を示す.本評価の 2 つの質問応答タスクのいずれも，我々の Japanese-GPT-6B が GPT-J-6B と比較して性能が高い 結果であった。これは日本語の質問応答タスクに対 して，日本語に特化したモデルであることによる効果と考えられる。

表 6 に, JCommonsenceQA の評価において生成文 が選択肢のいずれかに合致した割合 (選択肢合致率) と，合致しなかった具体的な生成例を示す. いずれ のモデルも選択肢合致率は約 $99 \%$ であり，約 1\%は 選択肢と合致しなかった。しかし選択肢と合致しな かった場合でも意味としては合致しているものが多 く見られた.これらの結果は JCommonsenceQA のよ うな形式のタスクを in-context learning による few-shot 学習で正しく解くには, さらなる大規模化 が望ましいことを示唆している可能性がある.これ についてはさらなる検証が必要であり, 今後の課題 とする.

表 4 各評価タスクにおけるプロンプト及び生成した回答文の例. プロンプトを太字以外のテキストで, 生成した回答文を太字のテキストで示す. プロンプトはタスク説明文，例文，テスト用問題文で構成される.

 &  \\

表 5 JGLUE データセットを用いた in-context learning による few-shot 性能評価結果

表 $6 \mathrm{JC}$ CommonsenceQA データセットを用いた in-context learning による few-shot 性能評価における，選択肢合致率（テストデータ 1,119 件のらち，生成文が選択肢のいずれかに合致した件数の割合）と，合致しなか った生成例. タスク説明文や例文は省略し, テスト用問題文と生成した回答文 (太字)のみを記載している.

 \\

## 4 おわりに

本稿では, $6 \mathrm{~B}$ パラメータの日本語 GPT モデル

(Japanese-GPT-6B)の事前学習を行い, 公開データセ ット JGLUE の質問応答タスク 2 種を用いて in-context learning による few-shot 性能評価を行った 結果について報告した. 評価結果より, 我々の Japanese-GPT-6B は GPT-J-6B と比較して質問応答性能が優位であり, 日本語特化の効果を確認した.今後の展望としては, JGLUE の他のタスクでの in-context learning による few-shot 性能評価と, 同じ くJGLUE データセットを用いてファインチューニ ングした場合の性能評価を行う予定である。 さらに は生成系言語モデルの本来の用途である言語生成夕 スク性能の評価と, 生成文に対する後処理技術の検討を行い，大規模生成系言語モデルのビジネス応用 を目指す。

## 謝辞

本研究のモデル構築にあたり, Amazon Web

Services, Inc.の Amazon Machine Learning Solutions Labによる支援を頂きました。感謝いたします。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, 2020.

[3] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou,
Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. PaLM: Scaling Language Modeling with Pathways. arXiv preprint arXiv:2204.02311, 2022

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.

[6] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. arXiv preprint arXiv:2107.13586, 2021.

[7] Wang Ben and Komatsuzaki Aran. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/mesh-transformer-jax, 2021.

[8] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068, 2022

[9] ABEJA で作った大規模 GPT モデルとその道の り

https://tech-blog.abeja.asia/entry/abeja-gpt-project202207, 2022.

[10] 栗原健太郎，河原大輔，柴田知秀. JGLUE：日本語言語理解ベンチマーク。言語処理学会第 28 回年次大会, 2022 .

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018


# RoBERTa を用いた経済不確実性のテキスト分類

桑名祥平 佐々木稔
茨城大学 工学部 情報工学科
19t4026r@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

近年，新聞記事や SNS などに含まれる政治や経済 に関連するテキストを対象として様々な分析を行う 研究が盛んにおこなわれている。本論文では経済分野の中で、経済指標について焦点を当てた。GDP や 消費者物価指数といった社会経済を表す指標が多数存在するなかで、テキストデータを用いた指標も注目され始めている。その中で、”経済政策不確実性指数” と呼ばれる現状の社会経済が持つ不確実な要因 を数値化した指標に着目し、入力したテキストデー 夕に対して機械学習手法を用いて不確実性を持つか どうかを分類する手法を提案する。提案手法は RoBERTa を用いて二値分類問題を解くもので、不確実性を持つテキストと持たないテキストにラベル付 けされた訓練データで分類モデルを学習し、得られ た分類モデルにテキストを入力して不確実性を持つ かどうか分類する。ラベル間のテキストの類似度も 考慮したデータセットを用いることで、モデル性能 の向上を確認した。

## 1 はじめに

近年, デバイスの小型化や大容量化、通信の高速化などにより、あらゆる分野においてデータを活用 する動きが活発である。従来は人手で行われていた 活動もデータを用いた自動処理に置き換わることも 多くある。中でも近年着目されている技術が、経済分野を対象としたテキストデータの分析である。日本には国内総生産や景気動向指数、企業物価指数 などの経済指標があり、これらの指標は莫大な時間 とコストをかけて算出されている。そのような指標 の中で、大量の新聞記事のテキストデータを用いた 経済指標のひとつとして” 経済政策不確実性指数” というものが存在する。この指数の算出に用いられ るテキストデータは、経済に関する新聞の中でも、不確実性に言及している記事のみであり、人手で抽出するには専門的な知識と経験が必要である。そこ
で、本稿では、経済政策不確実性の算出に用いられ る新聞記事を抽出するために、入力された記事に対 して不確実性についての記述があるかどうかを自動的に判別する手法を提案する。具体的には、経済に 関する新聞記事のテキストデータの中で、不確実性 に言及されているか否かをラベルで表現し、RoBERTa を用いて二值分類問題として分類モデルを学習し、入力テキストに対してこの分類モデルを用いて不確実性の言及があるかどうかを分類する。実験では、 データセットの各文章をベクトル化し、ラベル間の 類似度によって評価データに対する判別の正解率が どのように変化するのか、また適切なデータセット はどのようなものなのかを調査した。ラベル間の類似度に関する説明は 3 章 2 節を参照されたい。

## 2 関連研究 - 関連手法

テキストデータから経済指標を算出する研究は盛 んにおこなわれている。景気ウォッチャー調査と呼 ばれる日本各地でとられた経済に関する 5 段階の評価と選択理由を学習データ、テストデータに日経新聞を用いたセンチメント分析による指標を構築した 研究[1]や、日本銀行が発行するテキストに対してト ピックモデルやニューラルネットワークを用いて指標を構築した研究[2]、さらに本稿でも扱う、新聞記事に含まれる不確実性について指数化した経済政策不確実性指数 [3]などさまざまである。

本稿の先行研究[4]では、経済政策不確実性指数の 算出に用いられる不確実性を含むテキストの抽出を 行っている。具体的には、経済に関する新聞記事の データセットを用意し、不確実性に言及があるもの はラベル 1、それ以外を 0 として、SVM や Bidirectional RNN、BERT, DistilBERT, RoBERTa など 複数のモデルで学習し、比較を行っている。 $\mathrm{F}$ 值が 最も高かったモデルは RoBERTa であったため、本稿でもこのモデルを採用している。

## 3 提案手法

実性に言及されている文章を抽出する方法を紹介す る。

3 節では, 新聞記事のテキストデータから、不確

図 1 : 提案手法の概略

## 3. 1 概要

図 1 に提案手法の概略図を示す。前段階として、経済に関する英字の新聞記事のデータセットを作成 している。そして前処理を行い、データセットのう ち $80 \%$ 学習データ、20\%をテストデータと検証デ 一タとしている。機械学習では、BERT の派生であ る RoBERTa を採用し、ファインチューニングを行 っている。

## 3.2 データの前処理方法

自然言語処理や画像処理の分野では、ノイズや欠損、エラー值などが存在するため、前処理を行うこ とが一般的である。今回の処理の中でも前処理を行 っている。具体的には、経済に関する新聞記事のデ ータセットを用意し、大文字小文字の処理や省略文字、不必要な記号の削除等を行っている。次に新聞記事に含まれる不確実性のラベリングである。テキ ストの中にキーワードとして "uncertain”, “uncertainty”、または同様の意味である”unclear”, “unpredictable"などの単語が含まれている場合には ラベルを 1 ，それ以外のテキストには 0 をラベル付 けしている。テストデータ、検証データに関して、 ラベルが 1 のテキストに含まれる上記の単語群は省 く処理をしている。

上述のように前処理としてラベリングを行ったが、経済政策不確実性に言及があるテキストは、記事全体のうちおよそ $5 \%$ ほどであった。学習の際にはラ ベル間の比率は $1: 1$ で行うため、学習に使用しない ラベル 0 のデータが大量に余る。そこで、Google News データセットの学習済み単語ベクトル用いて 各文章に対して 300 次元のベクトル化を行った。 1 文の単語の集合を $S=\left.\{w_{1}, w_{2}, \ldots w_{n}\right.\}$ とすると、 1 文章のベクトル $V$ 和は以下の式で表せる。

$
V=\sum_{w_{i} \in S} v_{w_{i}}
$

ここで 1 文のベクトル $V$ は 300 次元のベクトルであ る。 $V=\left.\{x_{1}, x_{2}, \ldots x_{n}\right.\}$ とし、(1)の式を正規化すると 以下の式で表せる。

$
\begin{gathered}
V s=\frac{V}{|V|} \\
|V|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

ラベル 1 のテキストのベクトルの代表值を作り、各 ラベル０のベクトルとコサイン類似度を取る。ラベ ル 1 のテキストのベクトルの集合を $V=$ $\left.\{v_{11}, v_{12}, \ldots v_{1 n}\right.\}$ とする、ラベル 1 のベクトルの総和 $V_{1}$ は

$
V_{1}=\sum_{v_{1 i} \in V} v_{1 i}
$

(2)，(3) 同様に総和を正規化するとラベル 1 のベク トルの代表值が得られる。

$
\begin{gathered}
V=\frac{V_{1}}{\left|V_{1}\right|} \\
\left|V_{1}\right|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

（5）でえられたラベル 1 の代表値 $V$ と、各ラベル 0 の テキストに割り振られた (2) 式の $V_{s}$ のコサイン類似度を取ると、あるラベル 0 のテキストとラベル 1 の 代表値の類似度は以下の式で表せる。

$
\cos _{V_{1} V}=\frac{V_{s} \cdot V}{\left|V_{s}\right||V|}
$

（7）で得られた値がラベル間の類似度である。

## 3.3 エンコード手法

先行研究の結果から、ラベル付きのテキストデー タから分散表現を求めるためのエンコード手法とし て RoBERTaを用いる。事前学習済みモデルは roberta-base を採用している。学習時の各パラメータ を以下の表 1 に示す。

表 1, RoBERTa のパラメータ

## 4 実験

## 4. 1 データセット

本実験で使用するデータセットは、マイクロソ フトが提供するマイクロソフトニュースに関するデ
ータセットである MIND'に加え、ロイター通信の 過去の新聞記事の二つのテキストデータにラベリン グ、類似度の振り分けを行ったものである。2二つ のテキストデータではあらかじめ経済に関するテキ ストのみを抽出しており、約 11000 件のデータセッ トとなっている。データセットの内訳は、ラベル 1 が 476 件、ラベル 0 のデータが 10740 件となってい る。ラベル 0 のデータセットにおける類似度別の内訳を以下の表 2 に示す。本実験では、476 件のラベ ル 1 のデータ 476 件に対して、約 11000 件のラベル 0 のデータから類似度別に 476 件を抽出し学習、評価を行う。具体的には、ラベル 1 との類似度が 0.9 以上のラベル 0 のテキストのみを抽出し学習すると いった流れである。類似度が 0.7 以下のデータセッ トは、ラベル 1 の件数よりも下回るため、対象外と している。

表 2. ラベル 0 の類似度別件数

## 4. 2 評価方法

評価の方法としては、データセットを分割し、複数回実行する K 分割交差検証を行う。特に今回は分割するデータセットのラベルの偏りを無くすために 層化 $\mathrm{K}$ 分割交差検証で評価を行う。今回の実験では 分割数を 5 に設定しているため、データセットを 5 分割し $80 \%$ を学習データ、 $20 \%$ をテストデータとし て 5 回実行し、 $\mathrm{F}$ 值の平均値を取り評価を行う。ラ ベルが 0 のデータに関して、データセットから無作為に抽出したデータセット「類似度高」、「類似度低」、「高低 $5: 5$ 」, 「高低 $3: 7$ 」, 「高低 $7: 3$ 」,「類似度 0.9 以上」, 「類似度 0.8 以上 0.9 未満」,「類似度 0.7 以上 0.8 未満」である。ここで類似度高、類似度低は、データセットを類似度でソートし
^{1}$ MIND データセット https://msnews.github.io/

2 ロイターニュースデータセット

https://archive.ics.uci.edu/ml/datasets/reuters-

21578+text+categorization+collection
}

たときの上位と下位という意味である。

## 5 実験結果

4.2 で紹介した類似度別の 8 パターンについて、 $\mathrm{f}$ 值による評価の実験結果を以下の表 3 に示す。

表 3. 各 $\mathrm{f} 1$ 值

## 5. 1 先行研究との差異

先行研究では、ラベル 1, ラベル 0 の比率が 1:4 で行われており、最も高い $\mathrm{F}$ 值を出した RoBERTa で 0.45 であった。本実験では、ラベル間の類似度 を考慮しない実験で $\mathrm{F}$ 値 0.74、ラベル 0 に関して 類似度の低いデータを抽出し学習した場合には $\mathrm{F}$值は 0.96 と先行研究よりも高いスコアを確認し た。

## 5.2 類似度による影響

今回の実験ではラベル比率を $1: 1$ で固定し、デ ータセットのテキストの類似度に着目して学習を行 った。結果、類似度が低いテキストを多く取り入れ ると $\mathrm{F}$ 值は無作為抽出よりも 0.2 ほど上昇した。反対に、似度が高いテキストを多く取り入れると $\mathrm{f}$ 値
は 0.3 ほど低い值を示した。類似度のパーセンテー ジで見た際に、ラベル 1 とラベル 0 の類似度が $90 \%$ を境に F 值が大幅に変化していることが見て取れる。 この結果は、ラベル間の類似度が高い場合、分類の 際の境界が曖昧になり正しく分類できず、反対に類似度が低い場合には境界が明確であるから正しく分類できると予想できる。

## 6 終わりに

本稿では、経済政策不確実性指数の算出に用いら れる不確害性に言及のあるテキストを RoBERT のフ アインチューニングを用いた二値分類問題での抽出 を行った。実験では先行研究での $\mathrm{F}$ 值を上回る結果 となった。先行研究の $\mathrm{F}$ 値を上回った理由は、ラべ ルの比率を均一にしたこと、データセットを類似度別で作り学習したことなどが考えられる。

## 参考文献

[1] K. Seki et al. (2022). "News-based business sentiment and its properties as an economic index" . SienceDirect.

[2] K. Yono., \& K. Izumi. (2017). "Real time sentiment analysis of Bank of Japan using text of Financial report and macroeconomic index”. The 31st annual Conference of the Japanese Society for Artificial Intelligence.

[3] R. Baker et al. (2016). "Measuring economic policy uncertainty”. The Quartwrly journal of economics. Vol.131. issue 4.

[4] Godbole. S. et al. (2020, 7, February). "Economic uncertainty Identification Using Transformers - Improving Current Methods" . Seminar Information Systems(WS19/20).


# 文分類問題における精度と解釈性向上のための近傍事例の活用

村岡 雅康 ${ }^{1}$ 趙陽 ${ }^{2}$
日本アイ・ビー・エム株式会社 東京基礎研究所
${ }^{1}$ mmuraoka@jp.ibm.com ${ }^{2}$ yangzhao@ibm.com

## 概要

プロンプトを用いた zero/few-shot 評価は，ファイ ンチューニングを行うことなく大規模言語モデル の下流タスクにおける性能評価を可能にする一方 で，性能面に改善の余地がある. 本稿では，大規模言語モデルからの特徴量を用いて $\mathrm{k}$ 近傍法を行うこ とで，zero/few-shot 評価の枠組みにおいて性能向上 を達成する手法を提案する。また， $\mathrm{k}$ 近傍事例を参照することで，モデルの予測結果に対する解釈性の 向上も期待される. 評価実験により，極性分類，卜 ピック分類，含意関係認識を含む文分類問題（6つ のデータセット）において，近傍事例を活用するこ とで提案手法の性能が大幅に向上することを示す.

## 1 はじめに

BERT [1] や GPT-2 [2], T5 [3] のように大量のテキ ストデータで事前学習された大規模言語モデルが，様々な下流タスクに適用され成功を収めている.こ れらの言語モデルの性能評価を様々なタスクおよび ドメインで行うことは実応用において重要である.

評価方法の一つに下流タスクでファインチュー ニングを行わない zero-shot/few-shot 評価がある [4]. これらは，下流タスクを言語モデルタスクに変換し て評価を行う方法である。この評価方法は，ファイ ンチューニングの学習アルゴリズムや，そのハイ パーパラメタ, モデルパラメタの更新などファイン チューニング由来の要因を排除して言語モデルの性能評価を行うことができるという特長がある.

一方で，これらの評価方法において，使用するプ ロンプトに評価結果が大きく左右されたり $[5,6]$,言語モデルの予測にバイアスが乗るといった問題 が報告されている [7]. Zhao らはこれらの問題の調査・分析を行い，バイアスを除去することで，複数 の下流タスクにおいて言語モデルの性能向上を達成 した [7]. しかしながら, 性能面においてはまだ改善の余地が残されており，また，予測結果からモデ

図 1: 提案手法の概要図

ルの予測理由を推察することが困難である.

そこで本稿では，評価対象である大規模言語モデ ルから抽出した特徴量を用いて $\mathrm{k}$ 近傍法 $[8,9]$ を行 うことで，下流タスクでの更なる性能向上を目指 す. 具体的には，図 1 に示すように，バイアス除去 を行う既存手法の予測確率と，近傍事例からの予測確率を線形補完することで最終的な予測結果を得 る。また，本手法は近傍事例を参照することで，モ デルが入力文をどう解釈したかを推測することがで きるという点で，解釈性の向上にも寄与する.

本手法を多様なドメインのテキスト，および，極性分類 [10]，トピック分類 [11,12]，含意関係認識 $[13,14]$ を含む複数の文分類問題に適用し評価実験 を行ったところ，近傍事例を活用することで性能が 大幅に向上すること確認した．また，定性分析によ り，たとえ提案手法が予測を誤った場合でも，近傍事例からその理由を推測できることもわかった。

## 2 関連研究

プロンプトを用いた評価は，プロンプトと呼ばれ るタスクを解くための指示テキストを用いて，下流 タスクを言語モデルタスクに変換し評価を行う方法である．特に，下流タスクで一切ファインチュー ニングを行わない方法を Tuning-free と呼ぶ [15]. 本研究における提案手法も Tuning-free な評価方法で ある.この評価方法では, zero-shot 評価と in-context few-shot 評価が可能である. zero-shot 評価は，言語 モデルに下流タスクの評価セットの事例のみを提示し答えさせる方法である. in-context few-shot 評価 は，評価事例の前にコンテキストとして訓練セット から抽出した一つ以上の事例を正解付きで追加した 状態でモデルに提示し，予測させる方法である.

Tuning-free の評価方法において，前節で述べた Zhao らの研究 [7] のほかにいくつか関連研究が存在する. Holtzman ら [16] は評価タスクのドメイン 情報を自己相互情報量 (PMI) によって割り引いた 予測確率を求める手法を提案している. Kassner と Schütze [17] は情報検索器を言語モデルに付け加え てk 近傍法を行う手法を提案している.この手法は 新たなモデルパラメタを増やすが，我々の手法は評価対象の言語モデルを特徴量抽出器としてそのまま $\mathrm{k}$ 近傍法に使用するため，新たなモデルパラメタを 増やさずに済む. Shi ら [18] は言語モデルに k 近傍言語モデル [9]を使用し, zero-shot 評価での性能向上を達成した. 本稿では，Zhao らの手法で得られ るバイアスが除去された予測確率と, $\mathrm{k}$ 近傍言語モ デルで使用されているスコア関数を用いて得られる $\mathrm{k}$ 近傍予測確率を組み合わせて更なる性能向上を目指す. 特に，Kassner と Schütze や Shi らは下流タス クの訓練セットに含まれる正解ラベル情報を使わな かったが，本研究では明示的にこれを使用する. そ のほかのプロンプトを用いた評価の関連研究につい ては，文献[15] のサーベイ論文を参照されたい。

## 3 問題設定

本研究では，文分類問題における大規模言語モ デルのプロンプトを用いた zero/few-shot 評価を行 う. 大規模言語モデルは事前学習済みのものを使用 し，評価中にはモデルパラメタの更新，すなわち， ファインチューニングは行わない. few-shot 評価に おいては, in-context few-shot のように予測の際に言語モデルに少量の訓練事例を提示するのではなく， $\mathrm{k}$ 近傍法によって取得される少量の訓練事例を予測の計算に使用する．我々はこれを「example-based few-shot 評価」と呼ぶ.

極性分類問題を例として，基本的なプロンプトを 用いた zero/few-shot 評価について説明する. ${ }^{1)}$ 文分類問題は, 入力文 $x$ が与えられた時に, 出力ラベル $y \in y$ を予測する多クラス問題である. $y$ はラベル 集合であり，事前に定義されているものとする．例 えば，映画のレビュー文に対する極性分類問題 [10] では, $y=\{$ ポジティブ,ネガティブ $\}$ などとなる. データセット $\mathscr{T}$ は, 入力文と正解の出力ラベルの ペア $\left(x, y^{*}\right)$ の集合からなり，評価セット $\mathscr{T}_{\text {test }}$ と訓練 セット $\mathscr{T}_{\text {train }}$ に分かれているものとする. ${ }^{2)}$

この問題を解くためには言語モデルを用いて出力 ラベルに関する条件付き確率分布 $p(y \mid x)$ を求める必要があるが，モデルのファインチューニングは行わ ないため，このままでは上記の条件付き確率分布を 直接モデル化することができない，そこで，これを 穴埋め形式の言語モデルタスクとして定式化する.

事前学習済み大規模言語モデル $M$ は， 大力文中の [MASK]トークンの位置に相応しい単語を予測する：

$
p\left(w_{l} \mid \boldsymbol{w}_{\backslash l} ; M\right)
$

ただし， $\boldsymbol{w}_{\backslash l}$ は，入力文 $x=w_{1} \ldots w_{L}$ のうち位置 $l$ $(1 \leq l \leq L)$ の単語 $w_{l}$ が [MASK] トークンに置き換 えられた文である.ここで，極性分類問題を解かせ るために，プロンプト $f_{\text {prompt }}$ を用いて言語モデルに 解き方をテキストで指示する：

$
f_{\text {prompt }}(x, L)=\underline{\text { Review: }}[x] \text { Sentiment: }[\text { MASK] }
$

$[x]$ には任意の入力文が挿入される.プロンプト適用済み入力文を $x_{\backslash L}^{\prime}=f_{\text {prompt }}(x, L)$ と表し，言語モデ ルに入力することで，[MASK]トークンの位置に入る 単語の予測確率分布 $p\left(w_{L} \mid x_{\backslash L}^{\prime} ; M\right)$ を得る.これは 言語モデルが扱う全ての語彙 $\mathscr{V}$ 上確率分布であ ることに注意されたい. ここから極性分類の出力ラ ベル集合ｙの各要素に対応する確率値のみ抽出し,合計が 1 になるように正規化すれば，所望の確率分布 $p(y \mid x ; M)$ が得られる. $\left.{ }^{3}\right)$

## 4 提案手法

提案手法は，前節のプロンプトを用いた zero/fewshot 評価方法に 2 点改良を加えたものである.
$ を満たさなければならない. 満たしていな い場合は，適宜ラベル集合 $y$ を再定義する必要がある.
}

(1) 言語モデルの予測バイアスの除去 $[7]^{4)}$

(2) 言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法 $[8,9]$

図 1 に概要を示した通り，提案手法の予測する出 カラベルの確率分布は上記 2 つの仕組みからそれぞ れ得られる確率分布の線形和である。

$
\hat{p}(y \mid x ; M, \mathscr{D})=\lambda \hat{p}_{\text {debias }}+(1-\lambda) \hat{p}_{\mathrm{kNN}}
$

Dは $\mathrm{k}$ 近傍法で使用するデータストアであり， $\lambda \in[0,1]$ は線形補完係数である.

バイアス除去 [7] は言語モデルの予測に乗ったバ イアスを，解きたい文分類問題に関係のない文字列 を使って除去する方法である。“N/A” や空文字列な どそれ単体では意味を持たないような文字列を，極性分類問題の入力文だと仮定し，言語モデルに解か せた場合を考える。 それらの文字列に極性はないと 考えるのが自然なので，ポジティブ，ネガティブと もに $50 \%$ と予測されるべきだが，実際はポジティブ $=63 \%$ ， ネガティブ $=37 \%$ のようにバイアスが乗っ た予測になることが報告されている [7].

これらのバイアスをなくすように確率分布を補正 するには，上記のような文分類問題に関係のない文字列を使って得られた確率値の逆数を補正項として 乗ずることで実現できる. 本研究では Zhao らの研究 [7] で用いられた， $\mathscr{C}=\{$ “N/A", “”, “[MASK]” $\}$ の 3 種類を使用する．補正項 $\hat{p}_{\mathrm{cf}}$ は以下で求められる ${ }^{5}$ ：

$
\hat{p}_{\mathrm{cf}}=\frac{1}{\mathscr{C}} \Sigma_{c \in \mathscr{C}} \hat{p}\left(y \mid c_{\backslash L}^{\prime} ; M\right) .
$

ただし, $c_{{ }_{L}^{\prime}}^{\prime}=f_{\text {prompt }}(c, L)$ である. バイアス除去を 用いた出力ラベルの確率分布は次のようになる：

$
\begin{aligned}
\hat{p}_{\text {debias }} & =W_{\text {debias }} \hat{p}\left(y \mid x_{\backslash L}^{\prime} ; M\right), \\
W_{\text {debias }} & =\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)^{-1} .
\end{aligned}
$

$\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)$ は $\hat{p}_{\mathrm{cf}}$ から対角行列を作成する関数である.

$\mathrm{k}$ 近傍法は，評価セットの入力文 $x$ を言語モデ ルでエンコードした特徴量 $\boldsymbol{h}_{\text {test }}$ をクエリとして， データストアに対して $\mathrm{k}$ 近傍探索を行い，得られた 近傍事例を大力文 $x$ に類似した事例とみなし，そ れらの正解ラベル $y_{\text {train }}^{*}$ を予測に使用する方法であ る. 近傍事例から予測を求める方法は複数存在する が $[19,20]$, 本研究では, 近年提案された $\mathrm{k}$ 近傍言語 モデル [9] で用いられている方法を採用する.
{|c|c|c|c|c|}

とも可能である。

5） cf は context-free の頭文字である.
}

表 1: 文分類問題のデータセット

事前に訓練セット $\mathscr{T}_{\text {train }}$ から $\mathrm{k}$ 近傍法のための データストアDを構築しておく。

$
\mathscr{D}=\left.\{\left(\boldsymbol{h}_{i, L}, x_{i}, y_{i}\right) \mid\left(x_{i}, y_{i}\right) \in \mathscr{T}_{\text {train }}\right.\}
$

$\boldsymbol{h}_{i, L} \in \mathbb{R}^{d}$ は言語モデル $M$ で入力文 $x_{i, \backslash L}^{\prime}$ をエンコー ドした時の位置 $L$ の最終隠れ層の特徵量べクトル6) である. 同様に評価セット内の入力文 $x_{\backslash L}^{\prime}$ に対して も言語モデルから特徴量 $\boldsymbol{h}_{\text {test }}$ を得る．続いて k 近傍探索によってデータストアDから特徴量 $\boldsymbol{h}_{\text {test }}$ に最 も近い $\mathrm{k}$ 個の近傍事例 (の集合) $\mathcal{N}$ を得る。

$
\mathcal{N}=\operatorname{argmin}-\mathrm{k}_{\left(\boldsymbol{h}_{i}, x_{i}, y_{i}\right) \in \mathscr{D}} d\left(\boldsymbol{h}_{\text {test }}, \boldsymbol{h}_{i}\right)
$

$d(\cdot, \cdot)$ は距離関数であり, $\mathrm{k}$ 近傍言語モデル [9] に倣 い，L2 距離を使用する。 argmin-k は上位 $\mathrm{k}$ 個の事例 を返すように拡張された argmin 関数である。最終的な $\mathrm{k}$ 近傍事例を用いた確率分布を次式で求める：

$
\hat{p}_{\mathrm{kNN}} \propto \frac{1}{|\mathcal{N}|} \Sigma_{\left(\boldsymbol{h}_{i},-, y_{i}\right) \in \mathcal{N}} \mathbb{1}_{\mathcal{y}}\left(y_{i}\right) \exp \left(-d\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{\text {test }}\right) / T\right)
$

$\mathbb{1}_{y}\left(y_{i}\right)$ は $y_{i}$ の次元のみ 1 , それ以外は 0 の one-hot ベクトル（次元数：|y|）を返す関数であり， $\exp (\cdot)$ の項は $\mathrm{k}$ 近傍言語モデル [9] で使用されている距離関数に基づく確率分布である（ $T$ は温度パラメータ で実験では $T=1000$ を使用7) ） 実際の $\hat{p}_{\mathrm{kNN}}$ は和が 1 になるように正規化を行い使用する。

## 5 実験

文分類問題でよく使われる 6 つのデータセット を用いて評価実験を行う．表 1 に概要を示す. 詳細 は付録 A に記載した。事前学習済み大規模言語モ デルとして RoBERTa [21] を使用した. ${ }^{8)}$ バイアス除去を用いない手法 (No debias) [4]，バイアス除去手法 [7] (Debias)，および， $\mathrm{k}$ 近傍法のみを用いる手法 (kNN only) を比較手法とした. ${ }^{9}$ 前者 2 手法は訓練 セットから無作為に抽出された $k$ 個の事例を用いて

6）特に断りがない場合， $d=768$ とし， $\boldsymbol{h}_{i, L}$ を $\boldsymbol{h}_{i}$ と略記する.

7）予備実験より，異なる值でもほとんど同じ結果が得られた.

8) https://huggingface.co/roberta-base [22].

9）色は図 1 および式 (3) 内の色と対応し，No Debias は $W_{\text {debias }}$ がない式 (5) に対応する.
表 2: 文分類問題の実験結果 (精度). 太字は列内での，下線はデータセット内でのそれぞれ最大精度を表し，下付き数字は標準偏差 (土記号あり) または $\lambda$ の値 (土記号なし)を表す.

(a) SST-2

(d) TREC

(b) DBPedia

(e) QNLI

(c) AGNews

(f) MNLI

in-context few-shot 評価を行う。一方，提案手法 (*+ kNN) および kNN only は， kNN によって抽出された $k$ 個の訓練事例を用いて example-base few-shot 評価 を行う. $k \in\{1,4,8\}$ を使用し，式 (3) における補完係数 $\lambda$ は訓練セットを用いて調整した. ${ }^{10)}$

結果を表 2 に示す. ${ }^{11)}$ QNLI，MNLI 以外のデータ セットにおいて，バイアス除去の有無に関わらず， $\mathrm{k}$ 近傍法を組み合わせることで $(+\mathrm{kNN})$, 組み合わ せない手法に比べ，精度が大幅に向上することを確認した. QNLI, MNLIにおいては, kNN onlyが最も 良かった。これらの結果から，ファインチューニン グを行わなくとも言語モデルは下流タスクを解くた めに有用な情報を， $\mathrm{k}$ 近傍法において効果的にそれ が発揮される形で特徴量に埋め込むことができてい ると言える. ${ }^{12)}$ また，全てのデータセットにおいて，近傍事例数 $k$ をきくするほど，精度が向上した。 ただし，各データセットで最大精度を達成する $\mathrm{k}$ 近傍法と相性の良い手法の組み合わせはデータセッ トに依存することがわかる．このことから，任意の データセットに対して頑健な $\mathrm{k}$ 近傍法と既存手法と の組み合わせは本実験で用いた中にはないと言え る.この頑健性の調査は今後の課題とする.

続いて，SST-2（極性分類問題）の訓練セットを 用いて，提案手法の予測結果の解釈性に関する定性分析を行った. 表 3 に提案手法 (Debias + kNN) を含 む 3 手法の予測結果と提案手法で予測に使われた

表 3: SST-2 における 3 手法の予測結果

 &  &  \\

近傍事例を示す. 3 手法全てが誤った予測をしてい るが，比較手法は予測結果しかなく，誤った予測に なった原因を推測することが難しい。一方，提案手法はその原因を近傍事例から推測できる．表 3 の事例の場合，入力文に対する正解ラベルはネガティブ であるにも関わらず，言語モデルからの特徴量を用 いて得られた近傍事例が全てポジティブな文になっ ていることから，言語モデルは入力文をポジティブ な文と解釈していることがわかる. ${ }^{13)}$ このようにし て，提案手法は，評価対象である言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法の近傍事例により，言語モデル が入力文をどのように解釈しているかを推測する手 がかりを提示できると考える。

## 6 おわりに

本稿では，プロンプトを用いた zero/few-shot 評価 において， $\mathrm{k}$ 近傍法を使用することで精度と解釈性 を向上する手法を提案した．実験結果から，複数の 文分類問題において有効性を確認した，今後は，他 のタスクでの有効性・頑健性を確認したい.

13） 正解ラベルがネガティブなのは，入力文が疑問文である ことより，映画のクオリティにネガティブな印象を持つレ ビュー文だからである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[5] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, 2022.

[6] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and Improving Consistency in Pretrained Language Models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1012-1031, 122021.

[7] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In International Conference on Machine Learning, pp. 12697-12706, 2021.

[8] Pádraig Cunningham and Sarah Jane Delany. K-nearest neighbour classifiers - a tutorial. ACM Computing Surveys, Vol. 54, No. 6 , 2021.

[9] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[11] Xiang Zhang, Junbo Zhao, and Yann LeCun. Character-level convolutional networks for text classification. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, $A d$ vances in Neural Information Processing Systems, Vol. 28, 2015.

[12] Ellen M. Voorhees and Dawn M. Tice. Building a question answering test collection. In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '00, p. 200-207, 2000.

[13] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad- coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, 2018.

[15] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 2022. Just Accepted.

[16] Ari Holtzman, Peter West, Vered Shwartz, Yejin Choi, and Luke Zettlemoyer. Surface form competition: Why the highest probability answer isn' $\mathrm{t}$ always right. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7038-7051, 2021.

[17] Nora Kassner and Hinrich Schütze. BERT-kNN: Adding a kNN search component to pretrained language models for better QA. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3424-3430, 2020.

[18] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. Nearest neighbor zero-shot inference. arXiv preprint arXiv:2205.13792, 2022.

[19] Jianguo Zhang, Kazuma Hashimoto, Wenhao Liu, Chien-Sheng Wu, Yao Wan, Philip Yu, Richard Socher, and Caiming Xiong. Discriminative nearest neighbor few-shot intent detection by transferring natural language inference. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5064-5082, 2020.

[20] Yan Wang, Wei-Lun Chao, Kilian Q Weinberger, and Laurens van der Maaten. Simpleshot: Revisiting nearest-neighbor classification for few-shot learning. arXiv preprint arXiv:1911.04623, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[23] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In 7 th International Conference on Learning Representations, ICLR 2019, 2019.

[24] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, et al. Dbpedia-a largescale, multilingual knowledge base extracted from wikipedia. $\mathrm{Se}$ mantic web, Vol. 6, No. 2, pp. 167-195, 2015.

## A評価タスクおよびデータセット

ここでは，評価実験に使用したタスクおよびデー タセットについて補足する。

SST-2 [10] は，極性分類問題のデータセットである.実際の映画レビューサイト rottentomatoes.comに 書き込まれたレビュー文を使用している。各事例 は，1レビュー文を入力文とし，クラウドソーシン グのアノテーションによって付与された極性ラベル を出力ラベルとしている. 元のデータセットでは，極性ラベルの取りうる值は 5 值だが，それらを 2 值 に変換して使うこともある [23].

DBPedia [11] は，トピック分類問題のデータセット である. DBPedia [24] は Wikipedia から構造化され たデータを抽出するプロジェクトであり，作成され たデータセットはデータベースおよびオントロジー の形式をとる. Zhang ら [11] は，テキスト分類問題用に，このデータセットから 14 のクラスに属する エントリのタイトルと概要文を無作為に抽出し, 新 たなデータセットを作成した。各事例は，概要文を 入力文とし，オントロジー上でのクラスを出力ラベ ルとする. ${ }^{14)}$

AGNews [11] も，トピック分類問題のデータセット である. Gulli によって作成されたニュースコーパ ス15)を元にしており，Zhang ら [11]は，このコーパ スの中で記事数が最も大きい 4 つのクラスに属す る記事を無作為に抽出し, トピック分類用のデータ セットとした。 各事例は，ニュース記事本文とその 記事が属するトピックのペアからなる. 16)

TREC [12] は，質問文に関する分類問題である．異 なる複数のニュースサイトから集められた大量の 文書に対する質問文があり，人手で適切な質問文の み選ばれている．また，各質問文には何に関する質問かを示すカテゴリが付与されている (全 6 種類). TREC データセットの各事例は，質問文を入力文と し，カテゴリを出力ラベルとする. ${ }^{17)}$

QNLI [13] は，質問応答 (QA) に関する含意関係認識問題である. SQuAD [13] と呼ばれる質問応答デー

タセットから Wang らが文分類問題に変換した [23].具体的には，Wikipedia から収集したパラグラフ中 から，質問文の答えを探すタスクだったものを，質問文の答えがパラグラフ中に含まれているかを 2 値 で答える問題に変換した。したがって，各事例は， パラグラフと質問のペアが入力，回答がパラグラフ 中に含まれているかどうかの 2 值が出力となる. プ ロンプトによってパラグラフと質問文が結合され， 1 文としてモデルに与えられる.

MNLI [14] は，含意関係認識問題である. 話し言葉 や書き言葉を含む 10 個の異なるドメインから収集 したテキストペアに対して，一方が他方を含意して いるかをクラウドソーシングによってアノテーショ ンしている。また，ドメイン外の性能評価を行うた め，5つのドメインに関しては，訓練セットに全く 含まれていない，本研究では，訓練セットに含まれ ている 5 つのドメインから各 30,000 事例のみ無作為に抽出し，データストアを構築した。また，評価 は訓練セットに含まれているドメインの評価セッ 卜 (MNLI-matched)を使用した. 各事例のデータ形式は，QNLI と同じである. ${ }^{18)}$

18） 10 個のドメインは次の通り。訓練セットと同一ドメイン： Fiction, Government, Slate (Magazine), Telephone, Travel. 訓練 セットのドメイン外：9/11，Face-to-face，Letters，OUP (Oxford University Press), Verbatim.


# 文書間の類似度近似と数理最適化を用いた検索結果多様化

大滝啓介 徳久良子 岡田明久 吉田広顕
株式会社豊田中央研究所
\{otaki, tokuhisa, okada, h-yoshida\}@mosk.tytlabs.co.jp

## 概要

蓄積されている技術文書から、自分の関心がある 文書を適切に探し出す情報検索は重要である。本稿 では自然言語処理を用いて「検索クエリと文書」や 「文書と文書」の類似度をべクトル埋め込みを通じ て計算した上で、文書間の類似度を考慮しつつ、多様な文書を出力する検索結果多様化を扱う。既存の モデルでは文書の親子関係のみを考慮して多様化を 行っていたため、表現可能な文書間の関係性に制限 があった。本稿ではこの制限に対処するために一般化した数理モデルを提案し、小規模データでの適用例を通じて手法や今後の課題について議論する。

## 1 はじめに

背景 日々の研究活動では、大量に蓄積される技術文書から自分の関心がある文書を探し出す必要が ある。このような情報検索は研究開発にとって欠か せない行為であり、技術文書検索を支えるため様々 な技術が検討されてきた $[1,2,3]$ 。

本稿では関連スコアベースの検索技術に注目す る。クエリ $q$ と検索対象の文書 $\left.\{d_{1}, \ldots, d_{n}\right.\}$ に対し て、クエリ $q$ と文書 $d_{j}$ との関連性を定量化すること で、評価値に従って文書をソートし、検索結果を出力することができる。具体的には、例えば検索クエ リ $q$ と文書 $d_{j}$ 、文書 $d_{i}$ と文書 $d_{j}$ をべクトルの埋め 込みで表現し、これらのべクトル間の類似度を求め ることで、関連性を定量化した検索システムを構築 することができる [4]。近年では自然言語処理に関 する論文を検索するサービスも提供されている1)。

課題と本稿の貢献 類似度を関連スコアとして 用いて上位 $K$ 個の文書を検索結果として出力する と、出力された文書が相互に類似する傾向がある。一方で、よりユーザ経験豊かな検索システムを実装 するためには、検索結果に多様な文書が含まれるこ とが望ましい。このような問題設定は検索結果多様化 (search result diversification) の文脈で研究されてき た [5]。選択した検索結果の多様性は、文書間の類似度などを用いて評価される。これまでの手法 [6] では文書の親子関係のみを考慮することしか出来な い(詳細は 2 章で述べる)。そのため親・子・孫の関係や、一般に木構造で表現されるような文書間の階層関係を表現することができなかった。

我々は数理最適化を用いて、既存研究を拡張した 一般の森構造関係を考慮できる数理モデルを提案 し、上記の課題を解決する。提案手法によって、文書間の芋づる式の検索や、木構造で表現する複雑な 階層関係を想定した文書群の検索をサポートし、よ り豊かな検索経験が得られると期待される。本稿で は特に、新しく提案した数理モデルの動作検証に注力し、小規模のデータに対して適用した結果を通じ て手法を議論した結果を報告する。

## 2 準備

本稿で提案する数理モデルの元になった既存手法 と問題設定について説明する。

## 2.1 ベクトル埋め込みを用いる検索

システムは $n$ 個の文書 $D=\left.\{d_{1}, d_{2}, \ldots, d_{n}\right.\}$ を管理し、ユーザはクエリ $q$ を検索システムに入力す る。これらの文書やクエリから $\mathbb{R}^{h}$ に属するべク トルへの埋め込みが計算可能として、それぞれを $\mathbf{v}_{q}, \mathbf{v}_{d_{i}} \in \mathbb{R}^{h}$ で表す。クエリと文書間の類似度を計算する関数を $r: \mathbb{R}^{h} \times \mathbb{R}^{h} \rightarrow \mathbb{R}$ と設定し、 $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ で関連スコアを表す。また文書間の類似度を計算す る関数を $s: \mathbb{R}^{h} \times \mathbb{R}^{h} \rightarrow \mathbb{R}$ と設定し、文書間の類似度を $s\left(\mathbf{v}_{d_{i}}, \mathbf{v}_{d_{j}}\right)$ で表す。関連スコアと文書間の類似度には、いずれもコサイン類似度を用いる。

選択した文書の関連スコアを $R(S):=$ $\sum_{d_{j} \in S} r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{j}}\right)$ で定義する。多様化を考慮しな い検索システムは、式 (1) の最適化問題を通じて検索を行う。

1) ACL2Vec:http://clml.ism.ac.jp/ACL2Vec/

$
\max _{S \subseteq D,|S|=K} R(S) .
$

## 2.2 検索結果多様化

式 (1)を拡張し、検索結果多様化を定式化する。検索結果多様化では、選択した文書集合 $S$ 上の多様性スコアを定義し、関連スコアと多様性スコアの両方を持つ目的関数を用いる。文書集合 $S$ に対する多様性スコアが $\Omega(S)$ の場合、多様性を考慮する検索 システムが扱う問題は式 (2) のような多目的最適化問題として定式化される $[6,7]$ 。

$
\max _{S \subseteq D,|S|=K} R(S)+\Omega(S) .
$

本稿では多様化手法のうち、文書間の親子関係に 着目して $S$ を一度に構築する手法である ILP4ID [6] に着目し、拡張した数理モデルを提案する2)。

## 2.2.1 ILP4ID (ILP for Implicit Diversification)

ILP4ID では文書間に親子関係 >を考慮し、親子関係から $\Omega_{\mathrm{ILP} 4 \mathrm{ID}}(S):=\sum_{\left(d_{i}, d_{j}\right) \in S \times S \text { if } d_{i}>d_{j}} s\left(d_{i}, d_{j}\right)$ を 評価した上で、第二項 $\Omega_{\mathrm{ILP} 4 \mathrm{ID}}(\cdot)$ を用いた最適化問題を通じて検索結果を多様化する [6]：

$
\max _{S \subseteq D,|S|=K} \lambda(n-K) R(S)+(1-\lambda) K \Omega_{\mathrm{ILP} 4 \mathrm{ID}}(S)
$

式 (3) では 1 項目の関連スコアと 2 項目の多様性ス コアの両項が、全文書数 $n$ と選択する文書数 $K$ とパ ラメータ $\lambda \in[0,1]$ で重み付けされている。二項目 の $\Omega_{\text {ILP4ID }}(\cdot)$ は親子関係に選択した文書間の類似度 が相互に高い場合に高くなる項である。そのため、親として選んだ文書集合 $S$ は、式 (3)を最適化した 結果として多様化されていることが期待される。な $お \lambda=1$ のとき通常の検索と一致する。

最適化問題としての実装 著者らは整数計画法 を用いて目的関数の式 (3) を実装した [6]。二値変数 $x_{i j} \in\{0,1\}, i \in[n]:=\{1, \ldots, n\}, j \in[n]$ を用いて、 $x_{i i}=1$ によって $d_{i} \in S$ を、 $x_{i j}=1$ によって親子関係 $d_{i}>d_{j}$ を表す。選択していない文書について は、選択した文書に対して親子関係を持ち、制約に $x_{i i}-x_{j i} \geq 0$ を満たす。これは文書 $d_{i} \in S$ を選択して いるときに限り、他の文書 $j$ から $i$ に対して親子関

2) 本稿では大規模事前学習モデル (Pre-trained Language Models) とコサイン類似度を用いる。対象とする技術文書や 教師ラベルの存在によっては、多様化タスクに向けてファイ ンチューニングをしたり、別の類似度を採用してよい。係を認めることを意味する。以上の設定によって、 $\Omega_{\mathrm{ILP4ID}}(S)$ は $\Omega_{\mathrm{ILP4ID}}(\mathbf{x}):=\sum_{i=1}^{n} \sum_{j=1, j \neq i}^{n} x_{i j} \cdot s\left(d_{i}, d_{j}\right)$ で表すことができる。

## 3 類似度近似に基づく計算手法

本章では 2.2 節で述べた既存手法 ILP4IDを拡張す ることで、一般的な文書間の構造を表現できる数理最適化問題を提案する。階層関係を親子関係から森構造に拡張することで、芋づる式の親子関係（文書親 $d_{1}>$ 文書子 $d_{2}>$ 文書孫 $d_{3}$ ）などを表現できるよ うになることが期待できる。一方で $\Omega_{\text {ILP4ID }}$ で扱っ た深さ 1 の親子関係 $d_{1}>d_{2}$ だけではなく、より深 い位置の関係（ $d_{1}$ と $d_{3}$ など）最適化問題の中でモ デリングする必要がある。

## 3.1 提案手法

一般化した階層関係を考慮するモデルを 提案するために、我々は類似度が分解できる 仮定を置く。具体的には $D$ 上の類似度行列 $\mathrm{S}:=\left(s\left(d_{i}, d_{j}\right)\right)_{i, j \in[n]} \in \mathbb{R}^{n \times n}$ を低ランク $(l \ll n)$ の因子行列 $\mathrm{L} \in \mathbb{R}^{n \times l}, \mathrm{R} \in \mathbb{R}^{n \times l}$ によって $\mathrm{S} \approx \mathrm{LR}^{T}$ として 近似できると仮定し、計算モデルを提案する。

選択した文書を根とした根付き森を表現する手法 を説明する。ここで $\langle n\rangle:=\{\boldsymbol{0}\} \cup[n]$ としてダミー文書 $\mathbf{0}$ を用意する。根付き森の上位にダミー文書 $\mathbf{0}$ を 仮定し、根付き森の根を $\mathbf{0}$ の子とみなすことで、根付 き木を用いて間接的に根付き森を表現する。ILP4ID と同様に、選択する集合は $S=\left.\{d_{j} \mid x_{0 j}=1\right.\}$ と解釈 する。決定変数として $x_{i j} \in\{0,1\}, i \in\langle n\rangle, j \in\langle n\rangle$ を 用いて根付き木を表す。ただし $x_{i j}=1$ は $x_{i}>x_{j}$ を 意味する。また木 $T$ は頂点数 $n+1$ の頂点集合と辺集合 $\left.\{\{i, j\} \mid x_{i j}=1\right.\}$ で表現されるとする。スコア計算のために $i \in\langle n\rangle$ について、実変数 $\mathbf{f}_{i}^{\text {sum }} \in \mathbb{R}_{\geq 0}^{l}$ と $g_{i}^{\text {eval }} \in \mathbb{R}_{\geq 0}$ を追加で用意する。

以下に実装の詳細を述べる。

木構造の表現 最も基本的な根付き木の表現を実装する。つまり $\left.\{x_{i j}\right.\}$ について以下を採用する。
- $\sum_{i, j} x_{i j}=n:$ 木の辺の数に関する制約
- $\sum_{j} x_{j i} \leq 1(\forall i \in\langle n\rangle)$ : 木構造の次数に関する 制約
- $x_{i i}=0(\forall i \in\langle n\rangle)$ : 木構造に関する制約（ILP4ID と異なるモデリングによる)
- $\sum_{i \in T^{\prime}, j \in T^{\prime} \backslash\{i\}} x_{i j} \leq\left|T^{\prime}\right|-1\left(\forall T^{\prime} \subseteq\langle n\rangle,\left|T^{\prime}\right| \geq 2\right)$ : ここで $T^{\prime}$ は頂点数 2 以上の全ての部分木に対 する制約である。
目的関数の表現 式 (3)の目的関数を、類似度の 低ランク近似の仮定に基づいて拡張する。補助変数 $\mathbf{f}_{i}^{\text {sum }}$ と $g_{i}^{\text {eval }}$ について以下を設定する。
- $\mathbf{f}_{i}^{\text {sum }}=\mathrm{R}_{i,:}+\sum_{j} \mathbf{f}_{j}^{\text {sum }} x_{i j}(\forall i \in\langle n\rangle)$ : 子の右側評価値 $\mathrm{R}_{i}$ を伝搬する。
- $g_{i}^{\text {eval }}=\left.\langle\mathrm{L}_{i, .}, \sum_{j} \mathbf{f}_{j}^{\text {sum }} x_{i j}\right.\rangle+\sum_{j} g_{j}^{\text {eval }} x_{i j}$ : 子から伝搬 した右側評価值と多様性スコア、自分自身の左側評価値 $\mathrm{L}_{i,:}$ の内積を用いて、全体の多様性ス コアを求める。

以上の補助変数と制約を用いて式 (4)を定義し、検索結果多様化と階層構造の決定を同時に達成する。

$
\begin{aligned}
& \max _{x, f^{\text {sum }}, g^{\text {eval }}} \lambda(n-K) R(x) \\
&+(1-\lambda) K \Omega_{\text {ours }}\left(x, f^{\text {sum }}, g^{\text {eval }}\right) .
\end{aligned}
$

ただし $R(x):=\sum_{i} x_{0, i} r\left(q, s_{i}\right)$ は関連度スコアを、 $\Omega_{\text {ours }}(x, g):=\sum_{i} x_{0}, i g_{i}^{\text {eval }}$ は階層構造に基づいて評価 した多様化スコアを表す。それぞれの項の重み付け は ILP4ID と同様に設定した。

## 3.2 原理確認

人工データを用いて、本稿で提案した計算が可能 なことを検証する。簡単化のために、 $n=6$ につい て、 $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ がベクトル $[5,5,4,1,5,3]$ のように与 えられて、 $K=2$ の場合を考える。多様化を行わな い場合、スコア 5 である $d_{1}, d_{2}, d_{5}$ のうち 2 つが選ば れる。(例えばインデックス $i$ の小さい順に $d_{1}, d_{2}$ が 検索結果として出力される。

一方で検索結果多様化の文脈では、提案手法を用 いることで異なる結果が得られる。図 1 に 2 つの問題設定と最適化問題を解いた結果を示す。類似度行列 S の具体的な例として、クラスタ内の文書数が異 なる 2 クラスタの例を想定し、図 $1 \mathrm{a}$ と図 $1 \mathrm{~b}$ を設定 した。計算の結果得られた文書の親子関係を森構造 として表現したものを図 $1 \mathrm{c}$ と図 $1 \mathrm{~d}$ にそれぞれ示 す。図中の木ノード中の番号と数值は、文書 $d_{i}$ につ いて番号 $i$ とスコア $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ に対して $i\left(r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)\right)$ と描画した。それぞれの森の根として選ばれた文書番号（図 $1 \mathrm{c}$ では 2 と 5 、図 $1 \mathrm{~d}$ では 1 と 5) は、それ ぞれ文書 $\left.\{d_{2}, d_{5}\right.\}$ と $\left.\{d_{1}, d_{5}\right.\}$ が検索結果として得ら れたことを表す。

結果より、図 1c は図 1aのククラスタ構造を、図 $1 \mathrm{~d}$ は図 $1 \mathrm{~b}$ のクラスタ構造をそれぞれ発見しつつ、階層構造を構築しながら、スコアの高い文書 $d_{1}, d_{2}, d_{5}$ から $K=2$ 文書を代表的な検索結果として選択する ことができた。このとき、森の根として選択した文

(a) 設定 1

(c) 計算結果 1

(b) 設定 2

選択した文書

(d) 計算結果 2

図 1: 原理確認のための設定（上段）と結果（下段）。得られた森構造のうち、木の根が検索結果として選択された文書 $K=2$ 個に相当する。

書は多様化を達成しつつ、各文書 $d_{j} \in S$ について は、それと類似した文書を階層構造（木）として表現できる。そのため、ILP4ID と比較して複雑な構造 を森構造として表現しつつ、その根に $K$ 子の文書を 選択することが出来た。

## 3.3 ILP4ID を用いた近似解法

3.1 節で述べた手法によって、全ての部分木構造 を表現した最適化問題を議論することができる。一方で、組合せ最適化によって根付き木や根付き森を 表現することは、工夫なしでは計算量的に困難なこ とが多く、現在の定式化と解法では大量の文書を扱 うことが難しい。よって本稿の実験では、近似的に 木構造を求めることを目的として、深さ 1 の親子関係のみを計算する ILP4IDを繰り返し計算すること で、指定の深さまでの階層構造を作成する手法を実装した。

## 4 実験と考察

提案手法を小規模データに適用し、結果を観察し て評価・議論を行う。

## 4.1 社内文書での適用例

データ原理検証のために、社内文書のタイトル を $d_{i}$ と設定し、クエリ $q$ を 5 種類与えて、多様な タイトルの社内文書を階層構造とセットで取得す

(a) 関連スコア

(b) 文書間類似度 $\mathbf{S}$図 2: 実験用のデータ: $2 \mathrm{a}$ では $y$ 軸が 5 種類のクエリ を、 $x$ 軸が 24 本の文書を示す。 $2 b$ では 24 本の文書間の類似度行列 $S$ を示す。

る問題設定を考える。なお予稿では機密情報の扱い から、文書 $d_{i}$ やクエリ $q$ の情報は公開が容易では ないため、図 2 に類似度の情報のみ可視化したもの を掲載する。図 2a はクエリと文書の関連スコアを、図 2b は多様性スコアの定義に用いる文書間の類似度を示す。タイトルやクエリの埋め込みには日本語 ALBERT モデル（ALINEAR/albert-japanese-v2）を ファインチューニングなしで用いて、ベクトル間の 類似度にはコサイン類似度を用いた。

近似計算の結果得られた階層構造 ILP4IDを繰 り返して解く近似計算法を用いて計算を行った。近似解法では各階層で $K=3$ の文書を選び、深さ 3 まで再帰的に木構造の構築を行った。ILP4ID 自体のパラメータは $\lambda=0.9 ）$ と設定した。図 $1 \mathrm{a} の y$軸に対応するクエリ $q_{0}$ からクエリ $q_{4}$ までの 5 つ のクエリを用いて検索を行った。最適化問題を近似的に解いて求めた文書の森構造を図 3 に可視化 した（クエリ $q_{0}$ の結果が図 $3 \mathrm{a} 、 q_{1}, \ldots, q_{4}$ の順で、 $q_{4}$ の結果が図 $3 \mathrm{e}$ に対応する)。各クエリ $q_{i}$ と文書 $D=\left.\{d_{1}, \ldots, d_{24}\right.\}$ の関連スコアが図 $1 \mathrm{a}$ のように異な るために、得られる森もそれぞれ異なっている。

## 4.2 考察と課題

提案手法を用いてクエリ $q$ に対する検索結果を 根付き森として取得することが出来た。式 (4) で定義したように、各部分木の類似度が高くなるように $\Omega_{\text {ours }}$ が設定されており、構築した木は文書のクラス タを形成する。結果として検索結果多様化が達成さ れる。一方で $R(S)$ については、ILP4ID と同様に選択した文書 $S$ のみ（森の根のみ）で評価し、森構造 を利用していないため、評価指標を一般化したり、修正したりする余地がある。

現在の近似解法は、3.1 節で提案した元の最適化問題が計算量に困難であるために手法である。よっ て元の問題を直接最適化する近似手法や、ニューラ

(a)クエリ $q_{0}$ の結果

(b) クエリ $q_{1}$ の結果

(c)クエリ $q_{2}$ の結果

(d) クエリ $q_{3}$ の結果

(e)クエリ $q_{4}$ の結果

図 3: 得られる高さ 3 までの森構造。森構造のノー ド $i$ は文書 $d_{i}$ を表す。

ルネットワークなどと合わせた手法を構築する余地 があると考えられる。

数理最適化は、制約の表現力が高いという特徴が ある。文書同士を同じクラスタに属するように制約 して森構造を取得したり、ユーザが探索的に文書探索を行う際に、関連した文書を連続的に検索する行為（例えばシリーズ $1 、 2 、 3$ というように順序があ る場合）などに対応した森構造を得ることで、より 良い検索体験に向けた手法を検討できると考えられ る。このように検索システムを指向した最適化問題 へと精緻化することは今後の課題の一つである。

## 5 まとめ

大量の技術文書から、自分の関心がある文書を適切に探し出すタスクは重要である。本稿では類似度 の低ランク近似と数理最適化を用いて、検索結果多様化の新しいモデルを提案して解法を構築し、小規模な実験を用いて議論を行った。今後はオープン データを用いた大規模な実験や、数理最適化モデル の精緻化・計算手法の高速化、更に検索システムの 検証を行う予定である。

## 参考文献

[1] Christopher D Manning. Introduction to information retrieval. Syngress Publishing, 2008.

[2] Ricardo Baeza-Yates, Berthier Ribeiro-Neto, et al. Modern information retrieval, Vol. 463. ACM press New York, 1999.

[3] 打田智子, 古澤智裕, 大谷純, 加藤遼, 鈴木翔吾, 河野晋策. 検索システム 実務者のための開発改善ガイド ブック. ラムダノート, 2022.

[4] 持橋大地. Researcher2vec: ニューラル線形モデルに よる自然言語処理研究者の可視化と推薦. NLP2021, 2021.

[5] Rodrygo L. T. Santos, Craig Macdonald, and Iadh Ounis. Search result diversification. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 9, No. 1, pp. 1-90, 2015.

[6] Hai-Tao Yu, Adam Jatowt, Roi Blanco, Hideo Joho, Joemon Jose, Long Chen, and Fajie Yuan. A concise integer linear programming formulation for implicit search result diversification. In Proceedings of WSDM2017, pp. 191-200, 2017.

[7] Guido Zuccon, Leif Azzopardi, Dell Zhang, and Jun Wang. Top-k retrieval using facility location analysis. In Proceedings of ECIR2012, pp. 305-316. Springer, 2012.


# Doc2Vec と BERT を用いた比較法研究における類似条項の対応付け

小関 龍也 ${ }^{1}$ 長 裕樹 $^{1}$ 中村 誠 $^{1}$
${ }^{1}$ 新潟工科大学 工学部
mnakamur@niit.ac.jp

## 概要

比較法学研究において、日本法と外国法について、自動で類似部分を条項単位で対応づけられれば有用 である。本研究の目的は、外国法と日本法の類似条項の対応付けについて BERT と入力長制限のない Doc2Vecの性能評価をすることである。本研究では、 いくつかの類似文書検索によって生成された文書べ クトルの類似度を用いて、類似条項の検索を行う。実験から、類似した日本法同士の対応付けでは Jaccard 係数が最も高い性能を示したが、NNである Doc2Vec と BERT についても類似条項の対応付けに 有効であることを確認した。

## 1 はじめに

比較法とは、種々の法体系における法制度又は法 の機能を比較することを目的とする学問である。比較とは(1)比較されるものの間にある類似点と相違点を明らかにする。(2)類似点と相違点の生じる原因 を明らかにする。(3)相違点の存する場合は、どちら がより優れているか評価することであるとされてい る[1,2]。また、今日最も確固とした法体系を持つの は国家であるから、比較法は通常国家法相互の比較 を指す[3]。比較法の実務的な効用として、自国法の 立法的整備、解釈・適用の改善が挙げられる。実際 に法制審議会において、図 1 のように比較法として 日本法と諸外国法の類似条項が提示された例がある。

図 1 法制審議会における実際の対応付け比較法研究においては、日本法と外国法の類似点 を足掛かりとして研究を行う場合がある。このとき 日本法と外国法との類似部分を対応付けたデータを 作成することが考えられる。しかし、正確な対応付 けには、専門的な知識が必要であり、非常に労力が かかる。このとき自動で対応付けが出来れば、比較法研究に寄与寸るとともに、一般にも海外とのビジ ネスをする際などに有用である。

類似条項の対応付けはそれぞれの条文を 1 つの文書とした類似文書検索と捉えられ、すでに研究され ている[4,5]。それらの研究では単語の一致数に着目 し、Jaccard 係数や Dice 係数で条項間の類似度を計算している。しかし、それらの手法により日本法と 外国法を対応付けしたところ、ほとんどの条項間で 高い類似度が得られず対応付けに失敗している。そ の後、BERT による文書ベクトルを用いることで、 より高性能なモデルが提案された $[6,7,8]$ 。しかしな がら、法律文の特徴ともいえる文の長さが BERT の 入力長制限を受け、性能の低下を招いていることが 確認された。そこで本稿では、入力長制限がない Doc2Vecを導入する。

したがって、本研究の目的は、外国法と日本法の 類似条項の対応付けについて BERT と Doc2Vec の 性能評価をすることである。

## 2 類似文書検索

本節では、類似文書検索において類似度を計算す る方法について述べる。

## 2.1 Jaccard 係数

類似文書検索においてはそれぞれの文書を単語の 集合とすることで Jaccard 係数を計算することがで きる。Jaccard 係数を式(1)に示す。

$
\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

Jaccard 係数は計算が単純である反面、単語の重要度を考慮しておらず、類義語も全く別の単語として しまうといった久点がある。

## 2.2 BM25

BM25 は文書におけるクエリの単語の出現頻度に基 づいて、文書集合を順位付けする手法である[9]。文書のベクトルを算出することができ、コサイン類似度で類似文書検索を実現している。

単語 $q_{1}, q_{2}, \cdots, q_{n}$ を含むクエリ $Q$ が与えられたとき の文書 $D$ のスコアは以下の式(2)から式(4)のとおり である。

$
\begin{gathered}
\operatorname{score}(D, Q)=\sum_{i=1}^{n} \operatorname{IDF}\left(q_{i}\right) \cdot T F\left(q_{i}\right) \\
\operatorname{IDF}\left(q_{i}\right)=\log \frac{N-n\left(q_{i}\right)+0.5}{n\left(q_{i}\right)+0.5} \\
\operatorname{TF}\left(q_{i}\right)=\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}
\end{gathered}
$

## 2.3 Doc2Vec

Doc2Vec は Word2Vec の入力を文、段落、文書な どの連続する表現に拡張したもので、文書の特徴べ クトルを出力する手法である[10]。Word2Vec から単語ごとの NNを文書ごとの NNに書き換えることで、文書の特徴を計算する。Doc2Vec には 2 つのモデル があり、CBOWを発展させた PV-DM[10]と skip-gram を発展させた PV-DBOW[11]があり、本稿では PVDBOW モデルで学習を行った。

## 2.4 BERT

BERT は、ニューラル言語モデルのひとつで、多 くの NLP タスクにおいて高い性能を示している[12]。現在では複数の事前学習済みモデルが公開されてお り、ファインチューニングを行うだけで高精度な分類を行うことができる。また、最終層の出力を取り 出すことで入力した文書の各トークンに対する単語 ベクトルを得ることができる。しかし、基本的な BERT-BASE モデルは wikipedia などの一般の文書を コーパスとしているため、医療等の特定のドメイン では性能が低いことが報告されている[13]。法律ド メインにおいては、英語のモデルとして LEGALBERT モデル[14]が公開されているが、先行研究では 性能が向上しなかったため[7]、本稿では採用しない。

## 3 提案手法

法律 A と法律 B 間の対応付けを条単位で行ら流 れを図 2 に示す。

1. 法律 A および法律 B の言語が統一された電子 テキストを用意する

2. 条文を 1 文書とする

3. 文書間の類似度を算出する

4. 文書間において、互いに最も類似する文書 であるとした場合、条文を対応付けする

図 2 対応付けの流れ

## 4 実験

## 4.1 実験の手順

本稿では、以下のような 3 段階の実験を行った。

実験1. 日本法同士の対応付け

実験2. 英訳した日本法同士の対応付け

実験3. 英訳した日本民法と英訳したドイツ民法 との対応付け

類似する条文の対応付けに文書ベクトルの類似度 を用いるが、一般の文書と同様に法令文書でも BERT によるべクトル化が有効とは限らない。そこ で、外国法との実験を行う前に、まずは日本法同士 の対応付けを行う。ここでは内容が似ている電気事業法（昭和 39 年法律第 170 号）とガス事業法（昭和 29 年法律第 51 号）を取り上げる。類似条文の対応付けにおける BERT の性能を Jaccard 係数、BM25、 Doc2Vec による対応付けとの比較により検証した。次に、外国法を対応付ける場合はどちらかの言語 に統一する。英訳は翻訳データが多いことから、外国法を対象とした場合でも翻訳精度が高いと考えら れる。そこで、政府提供の英訳された日本法で対応付けを行い、日本語の場合と同様に対応付けが行え

るかを調べた。

最後に政府提供の英訳済み日本民法（家族法）と 政府提供の英訳済みドイツ民法との対応付けを行っ た。

## 4.2 実験の詳細

実験 1 について、実験データの文書を日本語の事前学習済み BERT モデルに入力し、最終層の[CLS] と [PAD]を除く出力を平均したものを文書ベクトル とした。事前学習済タモデルには cl-tohoku/bert-basejapanese-whole-word-masking を利用した。BERT の入 カトークン数は最大の 512 とし、それを超えるトー クンは無視した。異なる法令の文書ベクトル同士の コサイン類似度をすべての組み合わせで計算した。 ある文書に対して最もコサイン類似度が高い文書を 参照し、その文書から見て最も類似度が高くなる文書が元の文書である場合に、2つの文書を対応付け た。そして、電気事業法とガス事業法の対応付け結果は正解データを用いて評価した。

次に、Jaccard 係数、BM25、Doc2Vec を用いた場合と比較するため、同じ文書を MeCabによって形態素に分割し、それぞれの文書間の類似度で対応付け を行った。MeCab の辞書には Neologd を使用した。 また、Doc2Vec のモデル作成には電気事業法とガス 事業法を使用した。

実験 2 では、対応付け実験を英訳版の法令で行っ た。BERT の英語事前学習済みモデルには bert-baseuncased を用いた。

実験 3 では、上記のような 1 対 1 の対応付けでは、 ほとんど正しい対応付けがないことが分かった。そ こで、日本法から見てドイツ法の類似度上位 5 ヶ条 を対応させる方法をとった。結果は、正答率に基づ いて評価した。

## 4.3 実験データ

本実験で使用する法令は、日本語の法令データは e-Govi、日本法の英語訳データは日本法令外国語訳

式で入手した。その抜粋を図 3 に示す。また、ドイ ツ法は政府提供の民法の英語版iiiの book4を取り出 した。これも条文のみを条単位でまとめて 1 文書と した。図 1 はその一部である。

図 3 電気事業法とガス事業法の例

JLT の英訳は最新の法令データではないため、条数や内容の一部が異なる。それぞれのファイルから article タグ配下にあるテキストを抽出して、それぞ れを 1 つ文書として扱った。本実験で使用した法令を表 1 に示す。

表 1 使用法令

 \\

## 4.4 評価方法

電気事業法とガス事業法の対応付け結果を正解デ 一タと比較した。正解データは法律の専門家 2 人に よる人手で、複数の条との対応を許可して作成した。評価手法は先行研究[7] に従って、Accuracy、Recall、 Precision、F1 値を算出した。

また、日本民法のドイツ民法に対しての対応付け 結果は、新注釈民法[15] と新版注釈民法[16,17]から 作成した正解データと比較して評価した。このとき、法律間の対応数は 108 個あった。

## 5 結果と考察

## 5.1 実験結果

実験 1 の対応付け結果を表 2、実験 2 の対応付け 結果を表 3、実験 3 の対応付け結果を表 4 に示す。

表 2 日本語で対応付けした場合の評価結果

表 3 英語で対応付けした場合の評価結果

表 4 日本民法のドイツ民法に対しての対応付け 評価結果

## 5.2 実験 1: 日本法同士の対応付け（表 2）

全ての手法で 0.7 を超える $\mathrm{F} 1$ 値が得られた。その 中でも Jaccard 係数の值が高く、これは電気事業法 とガス事業法の条文が、図 3 の下線部に示すように 単語単位で類似しているためだと考えられる。

また、NN である Doc2Vec と BERT 間では、 Doc2Vec による F1 值が高かった。これは 512 トー クン以降の入力を無視する BERT の入力長制限によ る影響があると考えられる。

## 5.3 実験 2: 英訳版での対応付け（表 3）

英訳版は、法改正が反映されていないにもかかわ らず、現行法の正解データを用いたため、正解に誤 りがある。そのため、全体的に評価値が低い。英訳したデータを対応付けた場合、BERT は同じ NN である Doc2Vec と比較して大きく下回った。こ れは JLT による英訳が元の条文と相違が無いよう、 1 文の長さや構文構造の複雑さなど、標準英語とは かけ離れた文体であるため、英語 Wikipedia を使っ て学習した BERT では上手く解析できなかった一方、対象法令で学習した Doc2Vec では高い精度を示し たと考えられる。また、BERT は 512 トークンの入力長制限による言語的な違いが現れ、精度が振るわ なかった可能性も考えられる。

## 5.4 実験 3: 外国法との対応付け（表 4）

既存の手法である Jaccard 係数と BM25 を比較す ると BM25 の方が高精度であった。これは法令間に 出現する単語が大きく異なることが考えられる。そ のため、単純に文書間の単語集合から類似度を求め る Jaccard 係数が F1 値で最も低い值を示しているの に対し、文書の特徵的な単語から類似度を求める BM25 では、Jaccard 係数に比べ正しく求めることが できたと考えられる。また、NN 間の比較では BERT の方が F1 值で高い値を示していた。対象法令で学習した Doc2Vec よりも汎用的なモデルを持つ BERT が高い性能を示したことから、国家間の英訳された 条例では Doc2 Vec による単語・文脈の意味表現より、 BERTがより深く表現できていると示唆された。

## 6 おわりに

実験から、BERT を用いた類似条項の対応付けが 有効であることが分かった。また、英訳で対応付け を行う場合には Doc2Vec の性能が高くなるという 結果が得られた。

今後は BERT の事前学習及び、ファインチューニ ングの最適化を行っていきたい。

## 謝辞

本研究は、科学研究費補助金 (19H04427、代表 : 中村 誠）の助成を受けたものである。

## 参考文献

[1] 貝瀬幸雄, 比較法学入門, 日本評論社, 2019-0225

[2] 五十嵐清, 比較法ハンドブック, 勁草書房, 201902-20

[3] 滝沢正, 比較法, 三省堂, 2020-10-10

[4] 比較法研究における外国法との類似条項の対応付けと翻訳精度との関係について. 長裕樹. 中村誠,電子情報通信学会信越支部大会, 2021 年, p. 115

[5] The legislative study on Meiji civil code by machine learning. Kaito Koyama, Tomoya Sano, Yoichi

Takenaka. Proceedings of the International Workshop on Juris-Informatics 2021, pp.41-53

[6] 長裕樹, 中村誠. BERT を用いた比較法研究に おける類似条項の対応付け。言語処理学会第 28 回年次大会発表論文集, pp.948--951

(2022)

[7] Hiroki Cho, Aki Shima, Makoto Nakamura. Mapping Similar Provisions between Japanese and Foreign Laws. In: Proceedings of 16th International Workshop on Juris-Informatics 2022, pp.195--206 (2022)

[8] 小関龍也, 中村誠. 法律間の類似条項の対応付 け手法の検討. 2022 年度電子情報通信学会信越支

部大会, p. 56

(2022)

[9] S.E. Robertson, H. Zaragoza and M.J.Taylor, "Simple BM25 extension to multiple weighted fields", DBLP, PP.42- 49 (2004)

[10] Quoc V. Le, Tomas Mikolov, "Distributed

Representations of Sentences and

Documents",arXiv:[1405.4053(2014)

[11] Jey Han Lau, Timothy Baldwin. "An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation”, arXiv:1607.05368(2016)

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, abs/1810.04805, 2019

[13] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and JaewooKang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. CoRR. 2019

[14] LEGAL-BERT: The muppets straight out of law school. Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., \& Androutsopoulos, I., Findings of the
Association for Computational Linguistics: EMNLP 2020, pp.2898-2904

[15] 二宮周平(編)，新注釈民法(17)親族(1)725 条 791 条，有斐閣 (2017)

[16] 中川善之助, 山畠正男(編), 新版注釈民法(24)

親族(4)792 条 817 条の 11 ，有斐閣 (1994)

[17] 於保不二雄, 中川淳(編), 新版注釈民法(25)親

族(5)818 条 881 条，有斐閣 (1994)


# 事前学習済みモデルに基づく検索モデルにおける ドメイン適応手法の比較と相乗効果の検証

飯田大貴 1,2 岡崎直観 1
1 東京工業大学 2 株式会社レトリバ
\{hiroki.iida@nlp.c., okazaki@c.\}titech.ac.jp

## 概要

BERT 等の事前学習済みモデルを用いた検索モデ ルは，教師データのドメイン外で使用すると検索精度が低下することが知られている。特に，学習デー タと対象データの語彙が大きく異なる場合は，大幅 な精度低下につながる．そのため，検索モデルのド メイン外での検索精度を向上させる手法が複数提案 されている. 本論文では，統一された実験設定にお いて各手法の性能やその組み合わせによる相乗効果 の有無を検証した。その結果，事前学習済みモデル のドメイン適応，BM25 など語彙の一致に基づく検索モデルを併用すること，及びその組み合わせが複数の事前学習済みモデルを用いた検索モデルで有効 であることが明らかになった。さらに BM25 のみな らず複数の検索モデルを併用することで，現時点で の世界最高性能を上回る結果を得た。

## 1 はじめに

BERT [1]を始めとする事前学習済みモデルを用い て，教師データとなる検索データセットで検索モデ ルを訓練することにより，BM25 [2]などの語彙の一致に基づく検索モデルを大きく上回る検索精度を 達成できることが明らかになった [3]. 代表的な検索モデルとしては，クエリと文書を密ベクトルに変換し，その内積を関連度スコアとする密ベクトル検索 [4], 疎ベクトルに変換する SPLADE [5]，クエリ の各トークンベクトルに対して，それぞれ文書の全 トークンベクトルとの内積を計算し，その類似度が 最大のものの和をとる ColBERT[6] などが挙げられ る.しかしながら，どの検索モデルを訓練する場合 も，大量の教師データが必要であるため，適用でき るドメインが限定される。 また，大量の教師データ が存在するドメインで訓練した検索モデルは, 語彙 が大きく異なるドメインに適用した場合に，検索精度が大きく低下することが知られている。

そのため，ドメイン外において教師なしで検索モ デルの精度向上を試みる研究が進められており，擬似クエリを使用した密べクトル検索の教師なしドメ イン適応 $[7,8]$, 事前学習済みモデルの継続事前学習を用いた教師なしドメイン適応 [9]，IDFを通じた 重み調整によるドメイン適応 [9], 語彙一致検索と の併用 $[7,10,11]$ などが提案されている.

しかしながら，これらのドメイン適応手法を複数用いた場合の効果は明らかになっていない。また， あるドメイン適応手法がどの検索モデルに対して効果的に働くのか，俯瞰的に分析した事例はない。

そこで，本研究では，まず各ドメイン適応手法が どのような検索モデルに対して効果があるかを明ら かにするために，事前学習済みモデルを用いた代表的な検索モデルである，密ベクトル検索，SPLADE， ColBERT に対して，擬似クエリを使用したドメイン 適応，事前学習済みモデルのドメイン適応，重み調整によるドメイン適応，及び語彙一致検索（BM25） との併用を適用した. その結果，どの検索モデルで も大きな効果を示すドメイン適応方法は, 事前学習済みモデルのドメイン適応と語彙一致検索との併用 であることが分かった.

次に，ドメイン適応手法を複数適用した場合に相乗効果を示すかを明らかにするために，ドメイン適応手法を複数適用した場合について実験を行なっ た. その結果，事前学習済みモデルのドメイン適応 と語彙一致検索との併用を一緒に用いる場合が複数 の検索モデルで有効であること，この二つを適用し た場合に擬似クエリを使用する手法と重み調整は性能向上にほとんど寄与してないことが分かった.

語彙一致検索の併用は複数の検索モデルのアンサ ンブルと見なせる．そこで，検索モデルによるアン サンブルは更なる検索精度の向上をもたらすかを 検証した。事前学習済みモデルのドメイン適応と語

図 1 実験で使用した検索モデルとドメイン適応手法の概要図

彙一致検索との併用を適用すると共に，密べクトル 検索，SPLADE，ColBERT のアンサンブルを行い，現時点での世界最高の性能 $[9,12]$ を上回る結果を 得た.

まとめると，本論文の貢献は以下の通りである.

・異なる検索モデルのアンサンブルが，ドメイン 適応に対して有効であることを示した。

・事前学習済みモデルのドメイン適応が，アンサ ンブルと相乗効果をもたらすことを示した.

## 2 実験手法

本研究では，事前学習済みモデルに基づく検索モ デルを語彙が大きく異なるドメインに適用する際 に，ドメイン適応手法の有効な組み合わせを明らか にすることにある. 以下では，今回用いたドメイン 適応手法を紹介する。

擬似クエリを使用した検索モデルのドメイン適応として，GPL [8] を用いる．GPLでは，元ドメイ ンにおける正例のクエリ・文書ぺアを教師データと し， T5 [13]を用いて文書を入力としたクエリ生成器を学習する. そして, 対象ドメインにおいて各文書からクエリを生成し，そのぺアを正例とする。次 に，生成したクエリで学習対象とする検索モデルで 検索を行い，負例を生成する．その後，クロスエン コーダの検索モデル1) [3] を用いてスコアリングを する．クロスエンコーダは，クエリと文書を結合

トークン（BERT の場合は $[\mathrm{SEP}]$ ）を用いて連結し て，検索モデルとしてファインチューニングした事前学習済みモデルに入力し, クエリと文書の関連度 スコアを推定する方式である．最後に，クロスエン コーダのスコアを用いて，知識蒸留で検索モデルの 訓練を行う。

事前学習済みモデルのドメイン適応として, AdaLM [14] を用いる. AdaLM は，対象ドメインの コーパスを用いて，語彙拡張とマスク付き言語モデ ルによる継続事前学習を行う手法である.これは， Iida and Okazaki [9] において，検索タスクでの有効性が示されている。

重み調整によるドメイン適応において，IDFを用 いた。本稿ではこの手法をIDF 重みと呼ぶ。密べク トル検索では重みつき平均によって重みを反映させ ている. SPLADE はエンコーダの語彙次元の疎べク トルにテキストをエンコードする．そのため，文書側のベクトルの各要素に直接 IDFの重みを付けた。 ColBERT については，クエリのベクトルを IDFで重 み付けした。なお，検索文書中に存在しない語彙に ついては，重みを 1 とした。

語彙一致検索との併用において，語彙一致検索 には，BM25を採用した2) . 本論文ではこの手法を BM25 併用と呼ぶ. 併用方法は，各検索モデルと BM25 のそれぞれ上位 100 件の文書のスコアの和と した ${ }^{3)}$. 和を計算する際，片方の検索結果にしか出

2）具体的には，pyserini [15]を用いた.

3）積を計算する方法 [16] も提案されているが，和を計算す
表 1 各検索モデルにドメイン適応手法を適用した 結果. 適用なしの場合については，数値は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの nDCG@ 10 の平均值である. ドメイン適応手法を適用した結果は適用なしの場合からの差（向上幅）である. 各モデルで最 も性能が向上したものを太字にしている.

現しない文書のスコアとして，もう片方の検索結果 100 位の文書のスコアを用いた。

事前学習済みモデルを利用した検索モデルのアン サンブルでは，語彙一致検索との併用の場合と同様 に，上位 100 件の文書のスコアの和を計算した.

## 3 結果

本節では，事前学習済みモデルを用いた各検索モ デルに対して単一のドメイン適応手法を用いた場合の結果，複数の手法を組み合わせて用いた場合の 結果，及び有効なドメイン適応手法を用いて複数の 検索モデルをアンサンブルした結果を述べる．デー タセットは，ドメイン外での検索性能を計測する際 に広く使われている BEIR [17]を用いた. BEIR は複数のデータセットから構成されており，その中で も NFCorpus [18], TREC-COVID [19], SCIDOCS [20], Scifact [21]を用いた。また， 3.3 節では BioASK [22] も用いた.これらは, 重みつき Jaccard 係数で計測 した場合, 検索モデルを学習した際のデータセット である MS MARCO [23] から最も離れたデータセッ トである [17]. その他の実験設定の詳細は付録 $\mathrm{A}$ に 記した。

## 3.1 各ドメイン適応手法はどのような検索 モデルに対して効果があるか

各ドメイン適応手法の性能を表 1 に記す。全ての ドメイン適応手法が検索の精度を改善していること が分かる. 特に，BM25 併用と AdaLM は性能を大き く向上させている. BM25 併用は密ベクトル検索で 最も検索精度を向上させた. これは, Formal ら [24] が指摘するように，事前学習済みモデルを用いた検索モデルが教師データ中の低頻度な単語の重要度を 低く捉えてしまうという状況を緩和するためと考え られる，BM25 併用を用いることで，単独では最も 検索精度が低かった密ベクトル検索が他の検索モデ

表 2 各検索モデルに, AdaLM と一緒に他のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS，Scifact データセットの $\mathrm{nDCG} @ 10$ の平均值で ある。他のドメイン適応手法を適用した結果は AdaLMを 適用した場合からの差（向上幅）である. 各モデルで性能が最も向上したものを太字にしている.

ルを上回っている.

他のドメイン適応手法の中では，AdaLM が SPLADE と ColBERT に対して最も効果的であった.擬似クエリを用いる GPL は，密べクトル検索で有効であるが，他のモデルにおいてあまり改善してい ない．また，IDF 重みはSPLADE では高い効果を示 すが，他のモデルでは効果が薄かった.

## 3.2 ドメイン適応手法を複数適用した場合 に相乗効果があるか

次に，表 1 の実験で全般的に改善効果が最も高 かった AdaLM を選び，さらに他のドメイン適応手法を適用した場合の結果を表 2 に記す。この実験で は，BM25 併用が全てのモデルにおいて検索精度の 向上をもたらした. ょって, AdaLM には単語重要度の補正以外の効果があると考えられる. 例えば， SPLADE や ColBERT のモデルを考えると， ドメイ ン特有の単語の埋め込みの学習が進んでいることが 期待される.

擬似クエリを用いる GPL は，全ての検索モデル で検索精度が低下した。しかしながら，データセッ トにおける性能を詳しく調べると，その効果はデー タセットによってばらつきがあった．密べクトル検索と ColBERT では，TREC-COVID で大幅に性能が 低下していたため, 平均での検索精度の低下が見ら れたが，それ以外のデータセットでは改善が見られ た.また，SPLADEでは，NFCorpus と Scifactで検索精度が低下している。このように，事前学習済み 言語モデルのドメイン適応を行った場合は，その効果はデータセットやモデルに依存していた.

表 1 では IDF 重みが SPLADE での性能の改善に 大きく寄与していたが，表 2 ではその効果がほぼ見 られなくなった，密べクトル検索では，むしろ IDF 重みは逆効果となっている. IDF 重みは対象ドメイ ンにおける重要語に着目する効果があると考えられ るが，AdaLM でもその効果が果たされているため と考えられる。

さらに, AdaLM と BM25 併用に加えて GPL 及び IDF 重み適用した場合について実験を行なったが， ほとんど効果はなかった. 結果は付録 B に記した。

## 3.3 検索モデルによるアンサンブルは更な る検索精度の向上をもたらすか

BM25 併用は，事前学習済みモデルを用いた検索 モデルとのアンサンブルと見なすことができる. そ こで，事前学習済みモデルを用いた検索モデル間 でアンサンブルをすることで，検索精度の更なる 改善を試みた. 表 2 で最も高い検索精度に達した AdaLM と BM25 併用を適用した密ベクトル検索に 対し, SPLADE と ColBERTをアンサンブルした. 実験結果を表 3 に記す。密ベクトル検索とSPLADEを アンサンブルした場合, 密ベクトル検索と ColBERT をアンサンブルした場合のどちらも，検索の精度に 改善が見られる. よって, AdaLM 及び BM25 併用 によるドメイン適応と事前学習済みモデルを用いた 検索モデルのアンサンブルは検索精度のさらなる改善をもたらした。一方，密ベクトル検索，SPLADE， ColBERT を全てアンサンブルした場合は，密ベクト ル検索と ColBERT をアンサンブルした場合と同程度の検索精度に留まった。

次に, 既存の最高性能の検索モデルと比較する.密ベクトル検索の手法である COCO-DR [12] は,我々の知る限り NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの $\mathrm{nDCG} @ 10$ の平均で最も高い 值に到達している。また， SPLADE に AdaLM，IDF 重み，BM25 併用を適用した CAI [9] は，先ほどの 4 件のデータセットに BioASKを加えた 5 件のデータ セットのnDCG@10の平均で最高値を示している.表 3 においてこれらの検索モデルと比較すると， AdaLM 及び BM25 併用を適用した検索モデルのア ンサンブルが 4 データセットでは COCO-DR と同等 の值を示しており，5 データセットでは ColBERT と アンサンブルした場合に最も高い値に達した.

複数検索モデルのアンサンブル単独による効果を 検証するため，AdaLMを適用しない場合について，各検索モデルのアンサンブルを行った. ドメインに よる違いを観察するために，教師データと同じドメ インである MS MARCO でも実験を行っている. MS MARCO において最も検索精度の高かった ColBERT に対して，密ベクトル検索と SPLADE をアンサン ブルした.これに加えて，BM25 併用を適用した実験も行った. その結果を表 4 に示す. 教師データの ドメイン外である 4 データセットの平均において，表 3 AdaLM と BM25 併用を適用した密ベクトル検索に AdaLM を適用した SPLADE と ColBERT をアンサンブル した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットにおける $\mathrm{nDCG}^{10} 10$ の平均とさ らに BioASKを加えた五データセットにおける nDCG@10 の平均. それぞれ最も性能が良いものを太字にしている。

表 4 ColBERT に対して密ベクトル検索と SPLADE の アンサンブルを行った結果. 数值は MS MARCO におけ るnDCG@10の值と NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットの nDCG@10 の平均値である.

アンサンブルを行うことで検索精度が改善した.ま た，密ベクトル検索，SPLADE，ColBERT の全ての 検索モデルをアンサンブルし，BM25 併用を適用し た場合に，最も高い数値となった．しかしながら， どの結果も表 3 のドメイン適応した検索モデルのア ンサンブル結果を下回っている。この結果より，表 3 において, 特に AdaLMが検索モデルのアンサンブ ルと相乗効果をもたらすと考えられる。

なお, 教師データと同ドメインである MS MARCO においては，アンサンブルを行っても ColBERT の 結果から改善していない. 単純な和によるアンサン ブルはドメイン適応において有効と推察される.

## 4 結論

本論文では，検索モデルのドメイン適応におい て, 事前学習済みモデルのドメイン適応, 語彙一致検索との併用，およびその組み合わせを検証し，語彙が大きく異なるデータの場合に特に効果的である ことを示した。また，語彙一致検索のみならず，複数の検索モデルのアンサンブルが有効であること， その場合も事前学習済みモデルのドメイン適応と相乗効果があることを示した. 今後の課題として，検索モデル相互の特性をより活用したアンサンブル手法の探求などを考えている.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] S E Robertson and S Walker. Some simple effective approximations to the 2-poisson model for probabilistic weighted retrieval. In SIGIR, pp. 232-241, 1994.

[3] Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. arXiv:abs/1901.04085, January 2019.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and WenTau Yih. Dense passage retrieval for Open-Domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] Thibault Formal, Carlos Lassance, Benjamin Piwowarski, and Stéphane Clinchant. SPLADE v2: Sparse lexical and expansion model for information retrieval. arXiv:abs/2109.10086, 2021.

[6] Omar Khattab and Matei Zaharia. ColBERT: Efficient and effective passage search via contextualized late interaction over BERT. In SIGIR, pp. 39-48, 2020.

[7] Ji Ma, Ivan Korotkov, Yinfei Yang, Keith Hall, and Ryan McDonald. Zero-shot neural passage retrieval via domaintargeted synthetic question generation. In EACL, pp. 10751088, 2021.

[8] Kexin Wang, Nandan Thakur, Nils Reimers, and Iryna Gurevych. GPL: Generative pseudo labeling for unsupervised domain adaptation of dense retrieval. In NACL, pp. 2345-2360, 2022.

[9] Hiroki Iida and Naoaki Okazaki. Unsupervised domain adaptation for sparse retrieval by filling vocabulary and word frequency gaps. In AACL-IJCNLP, pp. 752-765, 2022.

[10] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. TACL, Vol. 9, pp. 329-345, 2021.

[11] Luyu Gao, Zhuyun Dai, Tongfei Chen, Zhen Fan, Benjamin Van Durme, and Jamie Callan. Complement lexical retrieval model with semantic residual embeddings. In ECIR, Vol. 12656, pp. 146-160, 2021.

[12] Yue Yu, Chenyan Xiong, Si Sun, Chao Zhang, and Arnold Overwijk. COCO-DR: Combating distribution shifts in Zero-Shot dense retrieval with contrastive and distributionally robust learning. 2022.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.
[14] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. In Findings of ACL-IJCNLP 2021, pp. 460-470, 2021.

[15] Jimmy Lin, Xueguang Ma, Sheng-Chieh Lin, Jheng-Hong Yang, Ronak Pradeep, and Rodrigo Nogueira. Pyserini: A Python toolkit for reproducible information retrieval research with sparse and dense representations. In SIGIR, pp. 2356-2362, 2021.

[16] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval. In Findings of ACL, pp. 35573569, 2022.

[17] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. BEIR: A heterogeneous benchmark for zero-shot evaluation of information retrieval models. In NeurIPS, 2021

[18] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A Full-Text learning to rank dataset for medical information retrieval. In ECIR, pp. 716-722, 2016.

[19] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R. Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: Constructing a pandemic information retrieval test collection. SIGIR Forum, Vol. 54, No. 1, feb 2021.

[20] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In ACL, pp. 2270-2282, 2020.

[21] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In EMNLP, pp. 7534-7550, 2020.

[22] George Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, Matthias Zschunke, Michael R Alvers, Dirk Weissenborn, Anastasia Krithara, Sergios Petridis, Dimitris Polychronopoulos, Yannis Almirantis, John Pavlopoulos, Nicolas Baskiotis, Patrick Gallinari, Thierry Artiéres, Axel-Cyrille Ngonga Ngomo, Norman Heino, Eric Gaussier, Liliana Barrio-Alvers, Michael Schroeder, Ion Androutsopoulos, and Georgios Paliouras. An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition. BMC Bioinformatics, Vol. 16, p. 138, April 2015.

[23] Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, and Li Deng. MS MARCO: A human generated machine reading comprehension dataset. In NIPS, Vol. 1773 of CEUR Workshop Proceedings, 2016.

[24] Thibault Formal, Benjamin Piwowarski, and Stéphane Clinchant. Match your words! a study of lexical matching in neural information retrieval. In ECIR, p. 120-127, 2022.

[25] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The Semantic Scholar Open Research Corpus. In ACL, pp. 4969-4983, 2020.

[26] Sebastian Hofstätter, Sheng-Chieh Lin, Jheng-Hong Yang, Jimmy Lin, and Allan Hanbury. Efficiently teaching an effective dense retriever with balanced topic aware sampling. In SIGIR, pp. 113-122. 2021.

表 6 SPLADE学習時のハイパーパラメータ

学習率2 2 e-5

エポック 30

Warmup ステップ 1000

表 7 ColBERT 学習時のハイパーパラメータ

バッチサイズ 32

最大文書長 220

学習率3e-6

一クエリあたりの負例数 48

エポック 1

最大訓練ステップ数 500,000

表 8 GPL 使用時のハイパーパラメータ（ColBERTを 除く)

## A 実験設定

今回使用した対象データは，BioASK [22]，NFCorpus [18], TREC-COVID [19] がバイオ・医療ドメイン であり，SCIDOCS [20]，Scifact [21] が科学ドメイン である。そのため， AdaLM を適用するコーパスと して, バイオ・医療ドメインは PubMed ${ }^{4)}$ の要旨を用 いた．科学ドメインは S2ORC [25] の要旨を用いた.

元ドメインにおける検索モデルの学習について は，全ての検索モデルでクロスエンコーダ5) [3] を 知識蒸留することで訓練した. 知識蒸留の方法とし て，密ベクトル検索と SPLADEでは，あるクエリに 対する正例文書と負例文書のクロスエンコーダにお けるスコアの差であるマージン二乗誤差損失 [26] を 用いた。また，密ベクトル検索と SPLADE の関連度 スコアは内積を用いて計算した. ColBERT につい ては，クロスエンコーダにおけるスコアと検索モデ ルのスコアそれぞれに対してソフトマックス関数を 適用し，KL ダイバージェンスをとった. GPL学習

4) https://pubmed.ncbi.nlm.nih.gov/

5）モデルには，cross-encoder/ms-marco-MiniLM-L-6-v2 を使用 している.表 9 各検索モデルに，AdaLM，BM25 併用と一緒に他 のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットのnDCG@10 の平均值である. 他のドメイン適応手法を適用した結果 は AdaLM と BM25 併用を適用した場合からの差（改善幅）である。

時にも同様に知識蒸留を行った。

各検索モデルの事前学習済みモデルには $\mathrm{BERT}^{6}$ ) を用いた。学習時のハイパーパラメータを表 $5 ， 6$, 7 に記す。また，密ベクトル検索と SPLADE に対し て，GPLを適用した際のハイパーパラメータを表 8 に記す。なお，ColBERT は GPL 適用時も表 7 と同様である。また，一文書あたりのクエリ数は表 8 と 同様である.

## B AdaLM・BM25 併用に加えてドメ イン適応を行なった結果

AdaLM と BM25 併用に加えて，GPL，IDF を適用 した場合の実験結果を表 9 に記す。GPL はどの手法 においても，検索精度の向上に寄与していない，密 ベクトル検索ではその検索精度が大きく低下してお り，各データセットの詳細を調べても，改善が見ら れたのは SCIDOCS のみであった。密ベクトル検索 において，GPLによる改善効果の多くが AdaLM と BM25 併用で実現されていたと推察される．IDF 重 みについては，検索モデルによって差があり，密べ クトル検索及び SPLADE は検索精度が下がってい る. BM25 は TF-IDF によるランキングアルゴリズ ムであるため，BM25 併用によってすでに IDF 重み と同様の効果が得られたことが要因と考えられる。一方，ColBERT では改善している。AdaLMによる 埋め込みの改善が，語彙 BM25 併用による効果以外 にも改善をもたらしたと考えられる。

6）bert-base-uncased を使用している。