# 事前学習済みモデルに基づく検索モデルにおける ドメイン適応手法の比較と相乗効果の検証

飯田大貴 1,2 岡崎直観 1
1 東京工業大学 2 株式会社レトリバ
\{hiroki.iida@nlp.c., okazaki@c.\}titech.ac.jp

## 概要

BERT 等の事前学習済みモデルを用いた検索モデ ルは，教師データのドメイン外で使用すると検索精度が低下することが知られている。特に，学習デー タと対象データの語彙が大きく異なる場合は，大幅 な精度低下につながる．そのため，検索モデルのド メイン外での検索精度を向上させる手法が複数提案 されている. 本論文では，統一された実験設定にお いて各手法の性能やその組み合わせによる相乗効果 の有無を検証した。その結果，事前学習済みモデル のドメイン適応，BM25 など語彙の一致に基づく検索モデルを併用すること，及びその組み合わせが複数の事前学習済みモデルを用いた検索モデルで有効 であることが明らかになった。さらに BM25 のみな らず複数の検索モデルを併用することで，現時点で の世界最高性能を上回る結果を得た。

## 1 はじめに

BERT [1]を始めとする事前学習済みモデルを用い て，教師データとなる検索データセットで検索モデ ルを訓練することにより，BM25 [2]などの語彙の一致に基づく検索モデルを大きく上回る検索精度を 達成できることが明らかになった [3]. 代表的な検索モデルとしては，クエリと文書を密ベクトルに変換し，その内積を関連度スコアとする密ベクトル検索 [4], 疎ベクトルに変換する SPLADE [5]，クエリ の各トークンベクトルに対して，それぞれ文書の全 トークンベクトルとの内積を計算し，その類似度が 最大のものの和をとる ColBERT[6] などが挙げられ る.しかしながら，どの検索モデルを訓練する場合 も，大量の教師データが必要であるため，適用でき るドメインが限定される。 また，大量の教師データ が存在するドメインで訓練した検索モデルは, 語彙 が大きく異なるドメインに適用した場合に，検索精度が大きく低下することが知られている。

そのため，ドメイン外において教師なしで検索モ デルの精度向上を試みる研究が進められており，擬似クエリを使用した密べクトル検索の教師なしドメ イン適応 $[7,8]$, 事前学習済みモデルの継続事前学習を用いた教師なしドメイン適応 [9]，IDFを通じた 重み調整によるドメイン適応 [9], 語彙一致検索と の併用 $[7,10,11]$ などが提案されている.

しかしながら，これらのドメイン適応手法を複数用いた場合の効果は明らかになっていない。また， あるドメイン適応手法がどの検索モデルに対して効果的に働くのか，俯瞰的に分析した事例はない。

そこで，本研究では，まず各ドメイン適応手法が どのような検索モデルに対して効果があるかを明ら かにするために，事前学習済みモデルを用いた代表的な検索モデルである，密ベクトル検索，SPLADE， ColBERT に対して，擬似クエリを使用したドメイン 適応，事前学習済みモデルのドメイン適応，重み調整によるドメイン適応，及び語彙一致検索（BM25） との併用を適用した. その結果，どの検索モデルで も大きな効果を示すドメイン適応方法は, 事前学習済みモデルのドメイン適応と語彙一致検索との併用 であることが分かった.

次に，ドメイン適応手法を複数適用した場合に相乗効果を示すかを明らかにするために，ドメイン適応手法を複数適用した場合について実験を行なっ た. その結果，事前学習済みモデルのドメイン適応 と語彙一致検索との併用を一緒に用いる場合が複数 の検索モデルで有効であること，この二つを適用し た場合に擬似クエリを使用する手法と重み調整は性能向上にほとんど寄与してないことが分かった.

語彙一致検索の併用は複数の検索モデルのアンサ ンブルと見なせる．そこで，検索モデルによるアン サンブルは更なる検索精度の向上をもたらすかを 検証した。事前学習済みモデルのドメイン適応と語

図 1 実験で使用した検索モデルとドメイン適応手法の概要図

彙一致検索との併用を適用すると共に，密べクトル 検索，SPLADE，ColBERT のアンサンブルを行い，現時点での世界最高の性能 $[9,12]$ を上回る結果を 得た.

まとめると，本論文の貢献は以下の通りである.

・異なる検索モデルのアンサンブルが，ドメイン 適応に対して有効であることを示した。

・事前学習済みモデルのドメイン適応が，アンサ ンブルと相乗効果をもたらすことを示した.

## 2 実験手法

本研究では，事前学習済みモデルに基づく検索モ デルを語彙が大きく異なるドメインに適用する際 に，ドメイン適応手法の有効な組み合わせを明らか にすることにある. 以下では，今回用いたドメイン 適応手法を紹介する。

擬似クエリを使用した検索モデルのドメイン適応として，GPL [8] を用いる．GPLでは，元ドメイ ンにおける正例のクエリ・文書ぺアを教師データと し， T5 [13]を用いて文書を入力としたクエリ生成器を学習する. そして, 対象ドメインにおいて各文書からクエリを生成し，そのぺアを正例とする。次 に，生成したクエリで学習対象とする検索モデルで 検索を行い，負例を生成する．その後，クロスエン コーダの検索モデル1) [3] を用いてスコアリングを する．クロスエンコーダは，クエリと文書を結合


トークン（BERT の場合は $[\mathrm{SEP}]$ ）を用いて連結し て，検索モデルとしてファインチューニングした事前学習済みモデルに入力し, クエリと文書の関連度 スコアを推定する方式である．最後に，クロスエン コーダのスコアを用いて，知識蒸留で検索モデルの 訓練を行う。

事前学習済みモデルのドメイン適応として, AdaLM [14] を用いる. AdaLM は，対象ドメインの コーパスを用いて，語彙拡張とマスク付き言語モデ ルによる継続事前学習を行う手法である.これは， Iida and Okazaki [9] において，検索タスクでの有効性が示されている。

重み調整によるドメイン適応において，IDFを用 いた。本稿ではこの手法をIDF 重みと呼ぶ。密べク トル検索では重みつき平均によって重みを反映させ ている. SPLADE はエンコーダの語彙次元の疎べク トルにテキストをエンコードする．そのため，文書側のベクトルの各要素に直接 IDFの重みを付けた。 ColBERT については，クエリのベクトルを IDFで重 み付けした。なお，検索文書中に存在しない語彙に ついては，重みを 1 とした。

語彙一致検索との併用において，語彙一致検索 には，BM25を採用した2) . 本論文ではこの手法を BM25 併用と呼ぶ. 併用方法は，各検索モデルと BM25 のそれぞれ上位 100 件の文書のスコアの和と した ${ }^{3)}$. 和を計算する際，片方の検索結果にしか出

2）具体的には，pyserini [15]を用いた.

3）積を計算する方法 [16] も提案されているが，和を計算す
表 1 各検索モデルにドメイン適応手法を適用した 結果. 適用なしの場合については，数値は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの nDCG@ 10 の平均值である. ドメイン適応手法を適用した結果は適用なしの場合からの差（向上幅）である. 各モデルで最 も性能が向上したものを太字にしている.

現しない文書のスコアとして，もう片方の検索結果 100 位の文書のスコアを用いた。

事前学習済みモデルを利用した検索モデルのアン サンブルでは，語彙一致検索との併用の場合と同様 に，上位 100 件の文書のスコアの和を計算した.

## 3 結果

本節では，事前学習済みモデルを用いた各検索モ デルに対して単一のドメイン適応手法を用いた場合の結果，複数の手法を組み合わせて用いた場合の 結果，及び有効なドメイン適応手法を用いて複数の 検索モデルをアンサンブルした結果を述べる．デー タセットは，ドメイン外での検索性能を計測する際 に広く使われている BEIR [17]を用いた. BEIR は複数のデータセットから構成されており，その中で も NFCorpus [18], TREC-COVID [19], SCIDOCS [20], Scifact [21]を用いた。また， 3.3 節では BioASK [22] も用いた.これらは, 重みつき Jaccard 係数で計測 した場合, 検索モデルを学習した際のデータセット である MS MARCO [23] から最も離れたデータセッ トである [17]. その他の実験設定の詳細は付録 $\mathrm{A}$ に 記した。

## 3.1 各ドメイン適応手法はどのような検索 モデルに対して効果があるか

各ドメイン適応手法の性能を表 1 に記す。全ての ドメイン適応手法が検索の精度を改善していること が分かる. 特に，BM25 併用と AdaLM は性能を大き く向上させている. BM25 併用は密ベクトル検索で 最も検索精度を向上させた. これは, Formal ら [24] が指摘するように，事前学習済みモデルを用いた検索モデルが教師データ中の低頻度な単語の重要度を 低く捉えてしまうという状況を緩和するためと考え られる，BM25 併用を用いることで，単独では最も 検索精度が低かった密ベクトル検索が他の検索モデ


表 2 各検索モデルに, AdaLM と一緒に他のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS，Scifact データセットの $\mathrm{nDCG} @ 10$ の平均值で ある。他のドメイン適応手法を適用した結果は AdaLMを 適用した場合からの差（向上幅）である. 各モデルで性能が最も向上したものを太字にしている.

ルを上回っている.

他のドメイン適応手法の中では，AdaLM が SPLADE と ColBERT に対して最も効果的であった.擬似クエリを用いる GPL は，密べクトル検索で有効であるが，他のモデルにおいてあまり改善してい ない．また，IDF 重みはSPLADE では高い効果を示 すが，他のモデルでは効果が薄かった.

## 3.2 ドメイン適応手法を複数適用した場合 に相乗効果があるか

次に，表 1 の実験で全般的に改善効果が最も高 かった AdaLM を選び，さらに他のドメイン適応手法を適用した場合の結果を表 2 に記す。この実験で は，BM25 併用が全てのモデルにおいて検索精度の 向上をもたらした. ょって, AdaLM には単語重要度の補正以外の効果があると考えられる. 例えば， SPLADE や ColBERT のモデルを考えると， ドメイ ン特有の単語の埋め込みの学習が進んでいることが 期待される.

擬似クエリを用いる GPL は，全ての検索モデル で検索精度が低下した。しかしながら，データセッ トにおける性能を詳しく調べると，その効果はデー タセットによってばらつきがあった．密べクトル検索と ColBERT では，TREC-COVID で大幅に性能が 低下していたため, 平均での検索精度の低下が見ら れたが，それ以外のデータセットでは改善が見られ た.また，SPLADEでは，NFCorpus と Scifactで検索精度が低下している。このように，事前学習済み 言語モデルのドメイン適応を行った場合は，その効果はデータセットやモデルに依存していた.

表 1 では IDF 重みが SPLADE での性能の改善に 大きく寄与していたが，表 2 ではその効果がほぼ見 られなくなった，密べクトル検索では，むしろ IDF 重みは逆効果となっている. IDF 重みは対象ドメイ ンにおける重要語に着目する効果があると考えられ るが，AdaLM でもその効果が果たされているため と考えられる。

さらに, AdaLM と BM25 併用に加えて GPL 及び IDF 重み適用した場合について実験を行なったが， ほとんど効果はなかった. 結果は付録 B に記した。

## 3.3 検索モデルによるアンサンブルは更な る検索精度の向上をもたらすか

BM25 併用は，事前学習済みモデルを用いた検索 モデルとのアンサンブルと見なすことができる. そ こで，事前学習済みモデルを用いた検索モデル間 でアンサンブルをすることで，検索精度の更なる 改善を試みた. 表 2 で最も高い検索精度に達した AdaLM と BM25 併用を適用した密ベクトル検索に 対し, SPLADE と ColBERTをアンサンブルした. 実験結果を表 3 に記す。密ベクトル検索とSPLADEを アンサンブルした場合, 密ベクトル検索と ColBERT をアンサンブルした場合のどちらも，検索の精度に 改善が見られる. よって, AdaLM 及び BM25 併用 によるドメイン適応と事前学習済みモデルを用いた 検索モデルのアンサンブルは検索精度のさらなる改善をもたらした。一方，密ベクトル検索，SPLADE， ColBERT を全てアンサンブルした場合は，密ベクト ル検索と ColBERT をアンサンブルした場合と同程度の検索精度に留まった。

次に, 既存の最高性能の検索モデルと比較する.密ベクトル検索の手法である COCO-DR [12] は,我々の知る限り NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットの $\mathrm{nDCG} @ 10$ の平均で最も高い 值に到達している。また， SPLADE に AdaLM，IDF 重み，BM25 併用を適用した CAI [9] は，先ほどの 4 件のデータセットに BioASKを加えた 5 件のデータ セットのnDCG@10の平均で最高値を示している.表 3 においてこれらの検索モデルと比較すると， AdaLM 及び BM25 併用を適用した検索モデルのア ンサンブルが 4 データセットでは COCO-DR と同等 の值を示しており，5 データセットでは ColBERT と アンサンブルした場合に最も高い値に達した.

複数検索モデルのアンサンブル単独による効果を 検証するため，AdaLMを適用しない場合について，各検索モデルのアンサンブルを行った. ドメインに よる違いを観察するために，教師データと同じドメ インである MS MARCO でも実験を行っている. MS MARCO において最も検索精度の高かった ColBERT に対して，密ベクトル検索と SPLADE をアンサン ブルした.これに加えて，BM25 併用を適用した実験も行った. その結果を表 4 に示す. 教師データの ドメイン外である 4 データセットの平均において，表 3 AdaLM と BM25 併用を適用した密ベクトル検索に AdaLM を適用した SPLADE と ColBERT をアンサンブル した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットにおける $\mathrm{nDCG}^{10} 10$ の平均とさ らに BioASKを加えた五データセットにおける nDCG@10 の平均. それぞれ最も性能が良いものを太字にしている。

表 4 ColBERT に対して密ベクトル検索と SPLADE の アンサンブルを行った結果. 数值は MS MARCO におけ るnDCG@10の值と NFCorpus, TREC-COVID, SCIDOCS, Scifact の四データセットの nDCG@10 の平均値である.

アンサンブルを行うことで検索精度が改善した.ま た，密ベクトル検索，SPLADE，ColBERT の全ての 検索モデルをアンサンブルし，BM25 併用を適用し た場合に，最も高い数値となった．しかしながら， どの結果も表 3 のドメイン適応した検索モデルのア ンサンブル結果を下回っている。この結果より，表 3 において, 特に AdaLMが検索モデルのアンサンブ ルと相乗効果をもたらすと考えられる。

なお, 教師データと同ドメインである MS MARCO においては，アンサンブルを行っても ColBERT の 結果から改善していない. 単純な和によるアンサン ブルはドメイン適応において有効と推察される.

## 4 結論

本論文では，検索モデルのドメイン適応におい て, 事前学習済みモデルのドメイン適応, 語彙一致検索との併用，およびその組み合わせを検証し，語彙が大きく異なるデータの場合に特に効果的である ことを示した。また，語彙一致検索のみならず，複数の検索モデルのアンサンブルが有効であること， その場合も事前学習済みモデルのドメイン適応と相乗効果があることを示した. 今後の課題として，検索モデル相互の特性をより活用したアンサンブル手法の探求などを考えている.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] S E Robertson and S Walker. Some simple effective approximations to the 2-poisson model for probabilistic weighted retrieval. In SIGIR, pp. 232-241, 1994.

[3] Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. arXiv:abs/1901.04085, January 2019.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and WenTau Yih. Dense passage retrieval for Open-Domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] Thibault Formal, Carlos Lassance, Benjamin Piwowarski, and Stéphane Clinchant. SPLADE v2: Sparse lexical and expansion model for information retrieval. arXiv:abs/2109.10086, 2021.

[6] Omar Khattab and Matei Zaharia. ColBERT: Efficient and effective passage search via contextualized late interaction over BERT. In SIGIR, pp. 39-48, 2020.

[7] Ji Ma, Ivan Korotkov, Yinfei Yang, Keith Hall, and Ryan McDonald. Zero-shot neural passage retrieval via domaintargeted synthetic question generation. In EACL, pp. 10751088, 2021.

[8] Kexin Wang, Nandan Thakur, Nils Reimers, and Iryna Gurevych. GPL: Generative pseudo labeling for unsupervised domain adaptation of dense retrieval. In NACL, pp. 2345-2360, 2022.

[9] Hiroki Iida and Naoaki Okazaki. Unsupervised domain adaptation for sparse retrieval by filling vocabulary and word frequency gaps. In AACL-IJCNLP, pp. 752-765, 2022.

[10] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. TACL, Vol. 9, pp. 329-345, 2021.

[11] Luyu Gao, Zhuyun Dai, Tongfei Chen, Zhen Fan, Benjamin Van Durme, and Jamie Callan. Complement lexical retrieval model with semantic residual embeddings. In ECIR, Vol. 12656, pp. 146-160, 2021.

[12] Yue Yu, Chenyan Xiong, Si Sun, Chao Zhang, and Arnold Overwijk. COCO-DR: Combating distribution shifts in Zero-Shot dense retrieval with contrastive and distributionally robust learning. 2022.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.
[14] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. In Findings of ACL-IJCNLP 2021, pp. 460-470, 2021.

[15] Jimmy Lin, Xueguang Ma, Sheng-Chieh Lin, Jheng-Hong Yang, Ronak Pradeep, and Rodrigo Nogueira. Pyserini: A Python toolkit for reproducible information retrieval research with sparse and dense representations. In SIGIR, pp. 2356-2362, 2021.

[16] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval. In Findings of ACL, pp. 35573569, 2022.

[17] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. BEIR: A heterogeneous benchmark for zero-shot evaluation of information retrieval models. In NeurIPS, 2021

[18] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A Full-Text learning to rank dataset for medical information retrieval. In ECIR, pp. 716-722, 2016.

[19] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R. Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: Constructing a pandemic information retrieval test collection. SIGIR Forum, Vol. 54, No. 1, feb 2021.

[20] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In ACL, pp. 2270-2282, 2020.

[21] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In EMNLP, pp. 7534-7550, 2020.

[22] George Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, Matthias Zschunke, Michael R Alvers, Dirk Weissenborn, Anastasia Krithara, Sergios Petridis, Dimitris Polychronopoulos, Yannis Almirantis, John Pavlopoulos, Nicolas Baskiotis, Patrick Gallinari, Thierry Artiéres, Axel-Cyrille Ngonga Ngomo, Norman Heino, Eric Gaussier, Liliana Barrio-Alvers, Michael Schroeder, Ion Androutsopoulos, and Georgios Paliouras. An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition. BMC Bioinformatics, Vol. 16, p. 138, April 2015.

[23] Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, and Li Deng. MS MARCO: A human generated machine reading comprehension dataset. In NIPS, Vol. 1773 of CEUR Workshop Proceedings, 2016.

[24] Thibault Formal, Benjamin Piwowarski, and Stéphane Clinchant. Match your words! a study of lexical matching in neural information retrieval. In ECIR, p. 120-127, 2022.

[25] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The Semantic Scholar Open Research Corpus. In ACL, pp. 4969-4983, 2020.

[26] Sebastian Hofstätter, Sheng-Chieh Lin, Jheng-Hong Yang, Jimmy Lin, and Allan Hanbury. Efficiently teaching an effective dense retriever with balanced topic aware sampling. In SIGIR, pp. 113-122. 2021.

表 6 SPLADE学習時のハイパーパラメータ

学習率2 2 e-5

エポック 30

Warmup ステップ 1000

表 7 ColBERT 学習時のハイパーパラメータ

バッチサイズ 32

最大文書長 220

学習率3e-6

一クエリあたりの負例数 48

エポック 1

最大訓練ステップ数 500,000

表 8 GPL 使用時のハイパーパラメータ（ColBERTを 除く)

## A 実験設定

今回使用した対象データは，BioASK [22]，NFCorpus [18], TREC-COVID [19] がバイオ・医療ドメイン であり，SCIDOCS [20]，Scifact [21] が科学ドメイン である。そのため， AdaLM を適用するコーパスと して, バイオ・医療ドメインは PubMed ${ }^{4)}$ の要旨を用 いた．科学ドメインは S2ORC [25] の要旨を用いた.

元ドメインにおける検索モデルの学習について は，全ての検索モデルでクロスエンコーダ5) [3] を 知識蒸留することで訓練した. 知識蒸留の方法とし て，密ベクトル検索と SPLADEでは，あるクエリに 対する正例文書と負例文書のクロスエンコーダにお けるスコアの差であるマージン二乗誤差損失 [26] を 用いた。また，密ベクトル検索と SPLADE の関連度 スコアは内積を用いて計算した. ColBERT につい ては，クロスエンコーダにおけるスコアと検索モデ ルのスコアそれぞれに対してソフトマックス関数を 適用し，KL ダイバージェンスをとった. GPL学習

4) https://pubmed.ncbi.nlm.nih.gov/

5）モデルには，cross-encoder/ms-marco-MiniLM-L-6-v2 を使用 している.表 9 各検索モデルに，AdaLM，BM25 併用と一緒に他 のドメイン適応手法を適用した結果. 数值は NFCorpus, TREC-COVID, SCIDOCS, Scifact データセットのnDCG@10 の平均值である. 他のドメイン適応手法を適用した結果 は AdaLM と BM25 併用を適用した場合からの差（改善幅）である。

時にも同様に知識蒸留を行った。

各検索モデルの事前学習済みモデルには $\mathrm{BERT}^{6}$ ) を用いた。学習時のハイパーパラメータを表 $5 ， 6$, 7 に記す。また，密ベクトル検索と SPLADE に対し て，GPLを適用した際のハイパーパラメータを表 8 に記す。なお，ColBERT は GPL 適用時も表 7 と同様である。また，一文書あたりのクエリ数は表 8 と 同様である.

## B AdaLM・BM25 併用に加えてドメ イン適応を行なった結果

AdaLM と BM25 併用に加えて，GPL，IDF を適用 した場合の実験結果を表 9 に記す。GPL はどの手法 においても，検索精度の向上に寄与していない，密 ベクトル検索ではその検索精度が大きく低下してお り，各データセットの詳細を調べても，改善が見ら れたのは SCIDOCS のみであった。密ベクトル検索 において，GPLによる改善効果の多くが AdaLM と BM25 併用で実現されていたと推察される．IDF 重 みについては，検索モデルによって差があり，密べ クトル検索及び SPLADE は検索精度が下がってい る. BM25 は TF-IDF によるランキングアルゴリズ ムであるため，BM25 併用によってすでに IDF 重み と同様の効果が得られたことが要因と考えられる。一方，ColBERT では改善している。AdaLMによる 埋め込みの改善が，語彙 BM25 併用による効果以外 にも改善をもたらしたと考えられる。

6）bert-base-uncased を使用している。
 飯田大貴 1,2 岡崎直観 1 1 東京工業大学 2 株式会社レトリバ \{hiroki.iida@nlp.c., okazaki@c.\}titech.ac.jp  