# 事前学習済みモデル T5 における近傍分布の有効性の調査

丹羽彩奈 ${ }^{1}$ 岡崎直観 1
1 東京工業大学情報理工学院
\{ayana.niwa[at]nlp, naoaki.okazaki[at]\}c.titech.ac.jp

## 概要

大規模なデータストアから近傍事例を検索し，テ キスト生成モデルを補強するメモリ拡張手法が有望視されている。特に最近では、時間ステップごとの モデルの予測分布を近傍事例に基づく分布で補間す ることで追加の学習なしに機械翻訳性能を向上させ るシンプルかつ効果的なアプローチ（kNN-MT）が 提案された [1]。本研究は、そのアプローチを学習 コストの観点から捉え、事前学習済みモデルに $k$ 近傍モデルを組み込むことで少ない学習コストで性能 を向上させることを目的とする。本稿ではそのため の一歩として、kNN-MT の枠組みを事前学習済みの エンコーダ・デコーダモデル $\mathrm{T} 5$ に導入し、様々な 入出力設定をもつ自然言語生成タスクや、zero-shot などの複数の学習設定における近傍事例の有効性を 調査した。その結果、事前学習で得た生成能力と近傍分布を組み合わせることで、少ない学習コストで タスク特化の生成を行える可能性が示唆された。

## 1 はじめに

メモリ拡張モデルは、ベースとなるモデルと大規模なデータストアから検索した近傍事例（kNN）を 組み合わせて最終出力を決定する。このアプローチ ではモデルパラメータの学習による暗黙的な記憶と データストアによる明示的な記憶の両方が性能向上 に寄与するため [2]、品詞タグ付け [3] や構文的曖昧性解消 [4]、用例べース機械翻訳 [5] など、幅広い夕 スクで活用されてきた。

特に最近では、デコーダのみからなる言語モデル GPT-2 [6] の時間ステップごとの予測分布を $k$ 近傍 モデルで補間する $k \mathrm{NN}-\mathrm{LM}$ が追加の学習なしに性能を向上させることに成功し、後続の研究に大きな インパクトを与えた [2]。kNN-LM のアプローチは エンコーダ・デコーダモデルに拡張され、言語モデ リングだけではなく機械翻訳（kNN-MT）[1,7] や自然言語推論 [8]、文法誤り訂正 [9] など個別のタスク
に適用されている。

これらのアプローチは、特に低頻度語などの学習時に覚えきれなかった知識に有効であり、モデルが もつ知識を補間できることが性能向上のひとつの要因であると指摘されている [2]。この知識の補間は、近年自然言語処理タスクで主流になりつつある、事前学習時とは異なるタスク特化の知識を fine-tuning で獲得するアプローチと共通する考え方である。そ こで、本研究では fine-tuning で得るタスクの知識を 近傍分布で補間することで学習コストを削減するこ とを目的とし、事前学習済みのエンコーダ・デコー ダモデルに kNN-MT のアプローチを組み込む。

本稿は、機械翻訳や自動要約などあらゆる自然言語処理タスクを系列から系列への変換としてみなし て統一的な枠組みで扱う T5 モデル [10]をべースの モデルとして採用する。そして、この $\mathrm{T} 5$ モデルを さまざまな自然言語生成タスクに適応させる際に、近傍分布を活用してタスク特化の知識を補間する。既存研究では同一タスク内でのドメイン適応に対す る有効性が示されてきた。本研究は事前学習済み工 ンコーダ・デコーダモデルを別タスクに適応するた めに近傍分布を活用するはじめての研究である。

本項では、そのための一歩として、まず kNN-MT の枠組みを組み込んだ T5を機械翻訳だけではなく 自動要約、対話生成、Data-to-text など様々な入出力 をもつタスクに適用し、その近傍分布の有効性を調 べた。また、学習コスト削減に関する有効性につい て調査するため、全学習事例を用いた fine-tuning だ けではなく、zero-shot や few-shot 設定において近傍分布を組み込み、少ない学習でより良い性能を達成 するアプローチが有望か調査した。実験結果より、現状では近傍分布が有効なタスクは限定的であるも のの、翻訳タスクでは $\mathrm{T} 5$ においても比較的小規模 なデータストアで性能を改善できることを確認し た。また、特定のタスクにおいて近傍分布を活用す ることで、少量の学習事例を用いた few-shot の性能 を全学習事例で fine-tuning した場合の性能に近づけ

図1 生成済みの系列“Obama’s birthplace is”に続くトーク ンを予測する際の手法の概要図

られることを確認した。

## 2 近傍分布を用いたテキスト生成

本研究では、Khandelwal ら [1] が提案した近傍事例を用いたモデル kNN-MT を T5 に適用し、任意の テキスト生成タスクに用いる（図 1）。ベースとな る自己回帰モデルは、入力系列 $x$ と既に生成済みの 系列 $\hat{y}_{1: i-1}$ に基づき、 $i$ 番目のトークンの確率分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を予測する。

## $2.1 \mathrm{kNN-\mathrm{MT}$}

$k$ NN-MT は、 $k$ 近傍モデルをエンコーダ・デコー ダアーキテクチャに統合した機械翻訳のための Transformer モデルである [1]。学習済みの翻訳モデ ルの出力分布 $p_{\mathrm{MT}}(y \mid x)$ をノンパラメトリックな $k$近傍モデルによって求めた近傍分布 $p_{\mathrm{kNN}}(y \mid x)$ で線形補間することで最終的な分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を求 める。ここで、 $\hat{y}$ は既に生成されたトークンを表す。

$
\begin{aligned}
\left.p_{(} y_{i} \mid x, \hat{y}_{1: i-1}\right)= & \lambda p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \\
& +(1-\lambda) p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)
\end{aligned}
$

ここでハイパーパラメータ $0 \leq \lambda \leq 1$ は補完係数で あり、値が大きいほど近傍分布が最終的な分布に大 きな影響を及ぼす。

データストアの構築 データストア $(\mathscr{K}, \mathscr{V})$ は、全ての学習事例 $(X, \mathcal{Y})$ のトークンごとの隠れべク トル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をキー、その隠れべクトルに対応す る正解トークン $y_{i}$ を值とするぺアの集合である。

$
(\mathscr{K}, \mathscr{V})=\left.\{\left(\boldsymbol{h}\left(x, y_{1: i-1}\right), y_{i}\right) \mid \forall y_{i} \in y, y \in \mathcal{Y}\right.\}
$

近傍分布 $p_{\mathrm{kNN}}$ の計算 まず、モデルは入力系列 $x$ と生成済みの系列 $\hat{y}_{1: i-1}$ を受け取り、隠れべクト ル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ を語彙数次元のベクトルに線形変換す ることで次の単語に対する出力分布 $p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。次に、 $k$ 近傍モデルが $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をクエリ としてデータストアから距離関数 $d(\cdot, \cdot)$ に従って近さ Top- $k$ の近傍事例 $\mathcal{N}=\left.\{\left(\boldsymbol{k}_{j}, v_{j}\right) \in(\mathscr{K}, \mathscr{V})\right.\}_{j=1}^{k}$ を 検索する。この距離関数 $d(\cdot, \cdot)$ には $L^{2}$ 距離を用い る。最後に、その負の距離に温度 $T$ のソフトマック ス関数を適用することで、語彙数次元の近傍分布 $p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。

$
\begin{aligned}
& p_{\mathrm{k} N N}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \propto \\
& \sum_{\left(\boldsymbol{k}_{j}, v_{j}\right) \in \mathcal{N}} \mathbb{\square}_{v_{j}=y_{i}} \exp \left(\frac{-d\left(\boldsymbol{k}_{j}, \boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)\right)}{T}\right)
\end{aligned}
$

## $2.2 \mathrm{kNN-\mathrm{T} 5$}

本研究では、事前学習済みモデルに $k$ 近傍モデ ルを統合して低コストで良い性能を達成すること を目的とする。ベースとなる事前学習済みのエン コーダ・デコーダモデルには、Text-to-Text Transfer Transformer (T5) [10]を採用する。T5 は、教師なしタ スクと教師ありタスクで事前学習された Transformer ベース [11]のモデルであり、あらゆる自然言語タス クを text-to-text タスクとして見なし、プレフィック スを用いることで生成タスクを切り替える。

kNN-MT のベースである Transformer モデルを T5 モデルに置き換え、各ステップのモデルの出力分布 $p_{\mathrm{T} 5}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を近傍分布で補間することで最終的な分布を求める。推論時およびデータストア 構築に用いる隠れべクトル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ の計算時に は、入力系列の先頭にタスクごとのプレフィック ス (例: 英独翻訳では“translate English to German：”）を連結してモデルに入力する 1)。隠 れべクトルにはデコーダ側のフィードフォワード層 の最終層への入力を用いる。データストアの構築方法や近傍分布の計算方法は kNN-MT に従う。

## 3 実験

実験では、事前学習された T5 モデルに対する近傍分布の有効性について、幅広い自然言語生成タス クと学習設定で調査する。

## 3.1 実験設定

データセット 自然言語生成タスクのベンチ マークである $\mathrm{GEM}^{2}$ )から自動要約（XSum データ セット、以下XSum [12])、対話生成 (Schema-Guided Dialog データセット、以下 Dialog [13])、Data-to-Text （DART データセット、以下 DART [14]）のタスクを

表 1 実験で用いるデータセットの統計値

選定した。XSum は短い単文への自動要約、Dialog は直前の発話とエージェントの対話行為から応答を生成するタスク志向型の対話生成、DART は Wikipedia に含まれるテーブルからのテキスト生成である。表 1 に示した各データセットの統計情報の通り、これらは比較的小規模なデータセット である。さらに、当ベンチマークセットには含ま れない生成タスクとして機械翻訳（WMT'16 英独） も採用する ${ }^{3)}$ 。これらのデータは全て Huggingface Datasets ${ }^{4)}$ からダウンロードした。

モデル 二種類のサイズの $\mathrm{T} 5$ モデルである t5-small と t5-base を用いる5)。パラメータサイズは それぞれ 60M、220M である。入出力設定が特殊な Dialog、DART、XSum はそれぞれ fine-tuning を行っ た。学習や推論の詳細については付録 B に示した。実装は全て Huggingface Transformers ${ }^{6)}$ で行った。

近傍分布の統合近傍探索ライブラリ faiss [15]を 用いてデータストアから近傍事例を検索した。な お、統合方法に関するハイパーパラメータ $(k, T, \lambda)$ は、 $k \in\{32,128,256,512\} 、 T \in\{10,50,100,200\} 、$ $\lambda \in\{0.2,0.4,0.6,0.8\}$ の組み合わせから開発データ での性能に基づき決定した。

評価 XSum、Dialog、DART は GEM-metrics ${ }^{7}$ で求 めた BLEU [16]、ChrF [17] と ROUGE [18] で評価し た。WMT'16 英独は、既存研究と同様に BLEU で評価する。BLEU の算出では SacreBLEU [19] を用い、大文字小文字を区別した。

## 3.2 実験結果

まず、全ての学習事例で fine-tuning した場合 ${ }^{8)}$ の 近傍分布の統合なしとあり (+kNN) の場合の性能 と近傍分布の統合方法に関するハイパーパラメー

3）機械翻訳は WMT の Shared task でのベンチマークとして確立しているため GEM から除外されている。

4) https://github.com/huggingface/datasets

5) https://huggingface.co/t5-small, https: //huggingface.co/t5-base

6) https://github.com/huggingface/transformers

7) https://github.com/GEM-benchmark/

GEM-metrics

8）事前学習に含まれる翻訳タスクは除く

図 2 用いるデータストアの事例の割合 (横軸) を変化さ せた時の WMT'16 英独の評価データでの BLEU 值（縦軸）

タ、またデータストアのサイズ $D$ を表 2 に示した。結果として、事前学習済みエンコーダ・デコーダモ デルにおける近傍分布の有効性は、タスクによって 大きく異なる傾向を示した。まず、自動要約・対話生成・Data-to-text タスクでは近傍分布が性能向上に ほとんど寄与しない。逆に既存研究でも有効性が示 されている機械翻訳タスクでは 2.6 ポイント以上 BLEU 值が向上した。機械翻訳タスクとその他の夕 スクの最も明示的な違いは、機械翻訳タスクの 1/50 以下しかないデータストアの小ささである。既存研究 [1] で用いられている WMT'19独英のデータスト アのサイズが $770 \mathrm{M}$ であることを踏まえても、今回近傍分布が有効でなかった 3 つのタスクのデータス トアは相対的に著しく小さい。そこで、データスト アのサイズが WMT'16 英独の性能に与える影響を 調べるため、データストアのサイズを小さくした時 の BLEU 值の推移を調べた（図 2)。これによると、 データストアの大きさと性能の間に相関関係がある ことが確認できる。よって、事前学習モデルに近傍分布を統合する際にもデータストアの大きさは重要 であることが示唆される。しかしながら、任意の夕 スクでデータストアのサイズを大きくすることは容易ではない。

そこで、次はデータストアのサイズを大きくする ことなく事前学習済みモデルで近傍分布を有効に活用する方法について調査する。具体的には、事前学習時の知識のみを使ってベースモデルの出力分布 $p_{\mathrm{T} 5}$ を計算させ、タスクの知識を近傍分布のみから 得る zero-shot 設定での性能を調べた（表 3)。その 結果、zero-shot 設定の性能もタスクによって大きな 違いが見られた。特に顕著なのは、Dialog と DART で近傍分布を統合した場合の性能が大きく向上した 点である。Dialog では自然言語文に加えてエージェ
表 2 自然言語生成タスクでの性能と近傍分布に関する最適なハイパーパラメータおよびデータストアのサイズ $D$

表 3 t5-small の実験。B は BLEU 值、R は ROUGE 值を 示す。 $\lambda=1$ は近傍分布のみを用いてテキストを生成した 場合の性能である。

ントの対話行為情報が、DART では自然言語文では なく構造化データが入力として与えられる。そのた め、両タスクとも T5 の事前学習時の入出力設定と は異なり生成の難易度が高く、zero-shot ではほとん ど解くことができない。しかし、近傍分布を統合す ることで事前学習時にはないタスク固有の知識を追加学習なしに活用できるようになる。一方で、これ らの性能は $\lambda=1$ 、つまり近傍分布のみで生成した 結果とほぼ変わらない性能であり、事前学習で獲得 したテキスト生成能力をほとんど使えていない。そ のため fine-tuning ありの場合に比べて性能は大きく 劣り、実用性に欠ける。

そこで、次は学習コストを抑えつつべースモデル の生成能力と近傍分布の両方を有効活用する設定を 探るべく、ランダムサンプリングした 32 件の学習事例を用いて few-shot 学習を行った。結果を表 3 の 下半分に示した。特筆すべきは、Dialog で少数の学習を追加することでベースのモデルの BLEU 値が近傍分布なし・ありともに 8.5 ポイント以上向上した 点である。これは、入力に自然言語文が含まれるこ とから比較的事前学習された知識を転移しやすい設定であるためだと考えられる。学習コストについて考えると、全ての学習データで学習する場合に比べ てステップ数を $1 / 250$ 、延べ学習事例数を $1 / 4000$ に まで削減しつつ、GEM のベースラインの報告値で ある 50.0 (ROUGE-L) ${ }^{9}$ に対して差を 5 ポイント以下にまで近づけられたことになる。つまり学習コス 卜を減らすという目的で近傍分布を組み込むこと が少なくとも特定の条件下では有望であることが わかった。近傍分布の有効性は顕著である一方で、 ベースモデルの性能は依然として低く、学習コスト を下げることで性能を必要以上に犠牲にしてしま う。また、XSum と DART では少量の学習事例だけ ではモデルの生成能力を引き出すことはできなかっ た。事前学習で獲得した生成能力と近傍分布を幅広 い入出力設定のタスクにおいて活用できる few-shot 手法の検討は今後の課題である。

## 4 結論

本研究では、メモリ拡張モデル kNN-MT の枠組み を事前学習済みのエンコーダ・デコーダモデル T5 に適用し、任意のテキスト生成に適用可能な手法と して一般化した上で、低学習コストで高い性能を達成するための近傍分布の活用法の検討に取り組ん だ。機械翻訳、自動要約、対話生成、Data-to-text と いう幅広い入出力の自然言語生成タスクを用いた実験により、近傍分布の統合は少なくとも特定のタス ク設定においては有効であり、学習コストを大幅に 抑えつつ事前学習済みモデルを各タスクにノンパラ メトリックに適応させられる可能性が示された。今後は、近傍分布が有効であるタスクの性質の更なる 分析や、学習コストと性能のトレードオフを改善す る近傍分布の統合方法について調査を進めたい。


## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」（課題 225）により得られたものです。

## 参考文献

[1] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[2] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[3] Walter Daelemans, Jakub Zavrel, Peter Berck, and Steven Gillis. MBT: A memory-based part of speech taggergenerator. In Fourth Workshop on Very Large Corpora, Herstmonceux Castle, Sussex, UK, June 1996.

[4] Claire Cardie. Domain-specific knowledge acquisition for conceptual sentence analysis. Computer Science Department Faculty Publication Series, p. 60, 1994.

[5] Eiichiro Sumita and Hitoshi Iida. Experiments and prospects of example-based machine translation. In 29th Annual Meeting of the Association for Computational Linguistics, pp. 185-192, Berkeley, California, USA, June 1991.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555565, Dublin, Ireland, May 2022.

[8] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. knn-prompt: Nearest neighbor zero-shot inference. arXiv, 2022.

[9] Masahiro Kaneko, Sho Takase, Ayana Niwa, and Naoaki Okazaki. Interpretability for language learners using example-based grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7176-7187, Dublin, Ireland, May 2022.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 1, jun 2022.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.
[12] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topicaware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018.

[13] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards scalable multi-domain conversational agents: The schemaguided dialogue dataset. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8689-8696, Apr. 2020.

[14] Linyong Nan, Dragomir Radev, Rui Zhang, Amrit Rau, Abhinand Sivaprasad, Chiachun Hsieh, Xiangru Tang, Aadit Vyas, Neha Verma, Pranav Krishna, Yangxiaokang Liu, Nadia Irwanto, Jessica Pan, Faiaz Rahman, Ahmad Zaidi, Mutethia Mutuma, Yasin Tarabar, Ankit Gupta, Tao Yu, Yi Chern Tan, Xi Victoria Lin, Caiming Xiong, Richard Socher, and Nazneen Fatema Rajani. DART: Open-domain structured data record to text generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 432-447, Online, June 2021.

[15] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, p. 311-318, USA, 2002.

[17] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015.

[18] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004.

[19] Matt Post. A call for clarity in reporting bleu scores. WMT 2018, p. 186, 2018.

[20] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 211-227, Online, November 2021.

## A 実験設定の詳細

実験で用いる入力系列の設定 DART の入力系列 は、Wikipedia のテーブルに含まれる主語、述語、目的語の三つ組のセットを既存研究 [20] と同様に各要素の前に特殊トークン $<\mathrm{H}>，<\mathrm{R}>，<\mathrm{T}>$ を付けて系列化した。また、T5 モデルに用いたプロンプトは 以下の通りである。

自動要約 “summarize:”

対話生成 “Prompt：， Response

Type: $\longrightarrow$, Type of Slot:

Agent: "

Data-to-text "translate graph to English:"

機械翻訳 "translate English to German:"対話生成のプロンプトは、ベンチマーク GEM で推奨されているものを用いた。

## B 実験の詳細

## B. 1 学習と推論のパラメータ設定

XSum はバッチサイズ 16、学習率 2e-05 で 50 エ ポック、Dialog はバッチサイズ 256、学習率 0.001 で 5000 ステップ、DART はバッチサイズ 24、学習率 7e-05 で 40 エポック学習した。また、推論時のビー 么幅は全て 5 に設定した。

## B. 2 zero-shot 学習に近傍分布を組み込む 際の留意点

近傍分布のハイパーパラメータである $k, T, \lambda を そ$ れぞれ固定した時の全学習事例による fine-tuning あ り（full）の設定と zero-shot（zero）の設定の BLEU 値の分散値の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$ をを 図 4 に示した。值が大きいほど zero-shot における性能がハイパーパラメータに敏感であることを示す。 これによると、データセット間で違いがあるが特に Dialog と DART の zero-shot における性能が両パラ メータに大変敏感であり、温度パラメータや近傍事例数によって大きく性能が異なることがわかる。そ のため、事前学習済みモデルの出力にそのまま近傍分布を統合する場合は入念なハイパーパラメータの 探索が大変重要である。

## B. 3 実験結果

t5-base で zero-shot と few-shot を行った時の性能を 表 5 に示した。t5-smallと同様に、Dialog では少量表 4 各ハイパーパラメータの值を固定した時の fine-tuning した時（full）と zero-shot の時（zero）の BLEU 値の分散の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$

表 5 t5-base の実験。B は BLEU 值、R は ROUGE 值を 示す。

の事例を学習することで性能が大きく改善するが、 XSum と DART では近傍分布の有効性は見られな い。ただ、XSum の性能は few-shot 学習すると近傍分布によって性能が低下する。近傍分布の統合方法 に関する最適なハイパーパラメータも大きく変化 し、特に用いる近傍事例の数 $k$ が大幅に削減された ことから、少量の学習データで隠れべクトルの空間 が大きく変化し、生成に役立つ近傍事例以外の事例 が多く検索されるようになってしまったことが推測 される。この挙動の不安定さについては更なる調査 が必要である。
 丹羽彩奈 ${ }^{1}$ 岡崎直観 1 1 東京工業大学情報理工学院 \{ayana.niwa[at]nlp, naoaki.okazaki[at]\}c.titech.ac.jp  