# Evaluating the Robustness of Discrete Prompts

石橋陽一†

## 1 はじめに

本解説記事では EACL2023 に採択された著者ら1の論文 "Evaluating the Robustness of Discrete Prompts" (Ishibashi et al. 2023) について紹介する。本研究では人間が作成したプロンプトと自動学習されたプロンプトについて頑健性の観点で比較・分析を行い，自動プロンプトが探索で得られたトークンやその位置に対し強く依存していることを明らかにした。

## 2 背景

事前学習済み言語モデル (PLM) は感情分析 (Gao et al. 2021), 自然言語推論 (Schick and Schütze 2021, 2022), 関係抽出 (Shin et al. 2020) など，あらゆる自然言語処理タスクで大きな成功を収めている。これには答えを誘導する適切な指示文（プロンプト）が重要な役割を果たしており，現代の自然言語処理において重要なトピックとなっている，一般に，プロンプトは人間によって書かれるが，優れたプロンプトを作成することはいくつかの理由から容易ではない.まず，特定のドメイン（例：医療）の問題に対し良いプロンプトを作成する事は難しいという点が挙げられる。そのようなプロンプトを作成するためにはそのドメインに関する深い知識が重要となるが，特定のドメインに精通した専門家（例：医者）を常に準備することは現実的に困難である。また，人間が書くプロンプトは作成者によるばらつきがある上，全てのコー ナーケースをカバーできるわけではない。そこで，少数の訓練データから自動でプロンプトを学習する方法 (Shin et al. 2020; Deng et al. 2022) が注目されている. これは人間が手動でプロンプトを作成する代わりに，機械学習により自動的に最適なプロンプトを探索する技術である.例えば最も代表的な手法である AutoPrompt (Shin et al. 2020) は PLM のパラメタを固定し，プロンプトテンプレートのトークンを語彙から探索する方法である.

数多くの下流タスクで優れたパフォーマンスを達成している AutoPrompt だが，得られたプロンプトは人間が書いたものとは大きく異なることが知られている。その一例として，表 1 に関係抽出において学習された自動プロンプトを示す. AutoPromptが高い性能を示す一方で, 我々


表 1 関係抽出における手動プロンプト (Manual) と自動プロンプト (AP)の例. 関係ごとのプロンプトと Precision@1 (P@1) スコアが示されている.

人間の直感に反するような単語（例：fluent!?ẗraditional）やスペルミス（例：commuenrug）が含まれている. AutoPrompt がFew-shot の設定で訓練されている事を考慮すると，このような直感に反したプロンプトは少数の訓練サンプル中のランダムなアーティファクトを捕らえているだけであり，ターゲットタスクに対して汎化できていない可能性がある。そこで我々はプロンプトの頑健性について注目し, 次の疑問 (1) プロンプトに微小でランダムな摂動を加えた場合, ターゲットタスクの性能はどのように変化するのか？（2）プロンプトはドメイン外のデー 夕に対して汎化しているのか？という点に焦点をあてる．頑健性が低いプロンプトでは，句読点を削除するような一見無害な摂動が下流タスクの性能を大きく変化させることがある．したがってこのようなプロンプトの頑健性の評価は良いプロンプトの設計や自動学習されたプロンプトの性質を理解する上で非常に重要である。本研究では，プロンプトの頑健性を分析するために 4 種類の摂動を設定し, これらに対する自動プロンプト学習と手動プロンプトの頑健性を比較・分析する.

## 3 プロンプト学習

このセクションでは手動プロンプトおよび自動プロンプトの代表的な手法を説明する。なお本研究で扱うプロンプト学習法はマスク言語モデルを対象とするものである．また，本研究では共通のタスク（自然言語推論 (NLI) タスク）で評価を行う。

## 3.1 自動プロンプト

AutoPrompt (Shin et al. 2020) はプロンプト学習の代表的な手法で, その学習戦略は fill-inthe-blank タスクに基づいている. この方法では, 初めに手動で作成したプロンプトテンプレー 卜（例えば，［夕スク入力］Ｔ＞．.. <T> <MASK>）が与えられる．このテンプレート内の特殊トークンであるくT>（トリガートークン）をその他のトークンに置換し，夕スク性能を向上させるトークンを探索する。トリガートークンの探索時, プロンプト $x_{\text {prompt }}$ における<MASK>のトー クンを予測しクラス確率に変換する，具体的には，ラベル $y$ に対応するトークン集合 $V_{y}$ (例え

ば，NLIにおいて contradiction ラベルに対し'nobody'や 'nor'といったトークン）を事前に定義しておき，そのトークンの確率の和をクラス確率 $p\left(y \mid x_{\text {prompt }}\right)=\sum_{w \in V_{y}} p\left(<\mathrm{MASK}>=w \mid x_{\text {prompt }}\right)$ とする。そして Gradient-guided search によって言語モデルの語彙からトリガートークンの候補セットを見つける，我々は NLI 用のテンプレートとして， (Shin et al. 2020) が提案したものを使用した（[前提文] <MASK> くT> ... <T> [仮説文 $]$ ).

## 3.2 手動プロンプト

手動プロンプトには，マスク言語モデル全体を訓練データで微調整する Pattern-Exploiting Training (PET) (Schick and Schütze 2021)を採用した.この手法では, 手動で書かれたプロンプト用のテンプレートを用いる，具体的には，〈MASK>を含むテンプレートを入力とし， ラベルに対応するトークンを予測するように学習を行った。なお，プロンプトテンプレートおよびラベルとトークンの対応 (verbalizer) はあらかじめ定義されたものを使用する. 我々は, 先行研究 (Schick and Schütze 2021; Scao and Rush 2021) が使用したテンプレート hypothesis? । <MASK>, premise と, verbalizer \{entailment: "yes", contradiction : "no", neutral : "maybe"\}を使用した. (Schick and Schütze 2021) は異なるテンプレートを使用して複数のファインチュー ニングを行うアンサンブルベースの方法を提案しているが, AutoPrompt では単一のテンプレー トが使用されるため, 我々の実験で公平な比較をするため, 我々は一つのテンプレートを使用した。

## 4 実験

## 4.1 実験設定

手動プロンプトと自動プロンプトを比較する評価タスクとして, 与えられた 2 つの文の間の関係を予測する自然言語推論 (NLI) を採用した。これはプロンプト学習を評価または提案した以前の研究でも使用されている (Shin et al. 2020; Scao and Rush 2021; Webson and Pavlick 2022). 具体的には我々は 2 つのデータセットを使用した：CommitmentBank (CB), Multi-Genre Natural Language Inference Corpus (MNLI). これらのデータセットの各文ぺアは，含意，中立，または矛盾でラベル付けされている。また, 頑健性を評価する指標としてスコアの下落率を使用した. これは，プロンプトに摂動を加えた後にターゲットタスクのスコア（精度, F1 スコア）が元のスコアからどの程度低下するかを表す。したがって, ある摂動を加えた後のモデルの下落率が小さい場合, そのモデルはその摂動に対して頑健であると見なされる。また, 事前学習済みの言語モデルには AutoPrompt などプロンプト学習の先行研究 (Shin et al. 2020; Scao and Rush 2021) で頻繁に使われている RoBERTa-large (Liu et al. 2019)を使用した. 訓練データには, オリジナルの訓練データから少数のインスタンスをランダムに抽出したサブセットを用いた。各手法の訓練

データ数による性能の変化を調査 ${ }^{2}$ するため訓練データ数 $n \in\{10,15,20,30,50,70,100,150,200\}$ を変更し, 複数のサブセットを作成した。なお, 少数データにおける特徴の偏りを考慮し, 訓練データ数あたり 4 つの異なるサブセットを作成した。最終的に得た最適なプロンプトおよびモデルを使用して頑健性の評価実験（4 種類の摂動「トークン並び替え」「トークン削除」「ドメイン外データへの適用」「タスク入力への敵対的摂動」）を行った。

## 4.2 トークン並び替え

プロンプト内のトークンの順序が結果にどの程度影響を与えるかを調查するため，プロンプトテンプレートのトークンをランダムに並び替えてパフォーマンス（精度またはF-score）にどのような影響があるかを評価する。この実験により AutoPrompt はトークンの順序に強く依存していることがわかった。，具体的には，トークン並び替えによってタスクのパフォーマンス

フォーマンスに大きな影響を与えることを示唆している。一方で手動プロンプトの場合は最大で 9\%と AutoPrompt よりも大きな下落は確認できず，比較的頑健であることがわかった.

## 4.3 トークン削除

この実験では, 個々のプロンプトトークンが全体のプロンプトに対してどれだけ重要な影響をもつのかを評価する。具体的には，プロンプトテンプレートから一つ以上のトークンを削除し，パフォーマンスの下落率を計算する。結果として，トークンが削除されると AutoPrompt そして手動プロンプトの両手法で性能が大きく下がった。 具体的には AutoPrompt は最大 $10 \%$,手動プロンプトは最大 $15 \%$ 下落した. また, 削除しても大きな下落が見られないトークンも存在する事, さらに，両手法で性能が下がるデータセットは異なる事から，個々のトークンの重要度がデータセットに依存することが示唆された。

## 4.4 ドメイン外データへの適用

この実験では，我々が用意した 2 つのデータセット（CB と MNLI）のうち，片方を学習に，片方を評価に使用することで，プロンプトが学習環境と異なるデータに汎化するかを評価する。実験の結果, 両手法では CB でのプロンプトを MNLI に使用するとパフォーマンスが下がることが見られた (逆も同様)。これらの結果は, プロンプトのパフォーマンスがデータセット依存であり，学習されたプロンプトがデータセット間でうまく汎化しないことを示している．


## 4.5 タスク入カへの敵対的摂動

この実験ではタスク入力が敵対的摂動を加えられた際の両手法の頑健性を評価する。まず我々は，MNLIと CB からランダムにサンプリングした評価用インスタンスから，敵対的 NLI デー タセットを作成した，ここでは，仮説文を 2 名のアノテータが手動で修正した。ここでは前提文は変更せずに仮説文を変更する。具体的には次の 2 通りの敵対的摂動を加えた，(a) ターゲットラベルは変更せず仮説文の一部を変更，（b）夕ーゲットラベルは変更（例えば含意ラベルを矛盾に，またはその逆）に反転し仮説文の一部を変更．実験の結果，両手法が，ターゲットラベルを変更しない摂動 (a) に対しては比較的頑健であるが，ラベルを変更する設定 (b)では手動プロンプトのパフォーマンスが大きく下落した。これは, AutoPromptが手動プロンプトよりも敵対的摂動に対して比較的頑健であることを示唆している.

## 5 おわりに

本研究は, 人間が書くプロンプトと自動で学習されたプロンプトを頑健性という観点で比較をした。人手で書かれたプロンプトがトークン削除やシャッフルのような摂動に対して頑健であるという事実は，プロンプトの設計と頑健性の向上に関する戦略を再考するための重要な洞察である。一方で人間が書くプロンプトであれば良いというわけではなく, ターゲットタスクに応じて細かな調整が必要である. ChatGPT (GPT-4) のようなモデルでさえ, 特定の出力を引き出すためにプロンプトを経験的に調整する必要があるというのが現状である. 人間が書くプロンプトは自動プロンプトと違い，文法や語彙などの言語的制約を受けているため, 同様の指示内容であれば意味空間では大きな変化が生じないと思われるが, 現状は強力な言語モデルであってもプロンプトの僅かな変化に非常に敏感である．今後，言語モデルの発展によりこのような調整が不要になる日が来るかもしれない。より強力な言語モデルが出現したとき，プロンプトの調整が必要となるのかは興味深い問題である.

## 参考文献

Deng, M., Wang, J., Hsieh, C.-P., Wang, Y., Guo, H., Shu, T., Song, M., Xing, E. P., and Hu, Z. (2022). "RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning." CoRR, abs/2205.12548.

Gao, T., Fisch, A., and Chen, D. (2021). "Making Pre-trained Language Models Better Few-shot Learners." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online. Association for Computational Linguistics.

Ishibashi, Y., Bollegala, D., Sudoh, K., and Nakamura, S. (2023). "Evaluating the Robustness of Discrete Prompts." In Vlachos, A. and Augenstein, I. (Eds.), Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2023, Dubrovnik, Croatia, May 2-6, 2023, pp. 2365-2376. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Scao, T. L. and Rush, A. M. (2021). "How Many Data Points is a Prompt Worth?" In Toutanova, K., Rumshisky, A., Zettlemoyer, L., Hakkani-Tür, D., Beltagy, I., Bethard, S., Cotterell, R., Chakraborty, T., and Zhou, Y. (Eds.), Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pp. 2627-2636. Association for Computational Linguistics.

Schick, T. and Schütze, H. (2021). "Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online. Association for Computational Linguistics.

Schick, T. and Schütze, H. (2022). "True Few-Shot Learning with Prompts-A Real-World Perspective." Transactions of the Association for Computational Linguistics, 10, pp. 716-731.

Shin, T., Razeghi, Y., Logan IV, R. L., Wallace, E., and Singh, S. (2020). "AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online. Association for Computational Linguistics.

Webson, A. and Pavlick, E. (2022). "Do Prompt-Based Models Really Understand the Meaning of Their Prompts?" In Carpuat, M., de Marneffe, M.-C., and Ruíz, I. V. M. (Eds.), Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL 2022, Seattle, WA, United States, July 10-15, 2022, pp. 2300-2344. Association for Computational Linguistics.

## 略歴

石橋陽一：2018 年京都産業大学コンピュータ理工学部卒業. 2020 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 2023 年奈良先端科学技術大学院大学先端科学技術研究科博士後期課程修了. 博士（工学). 同年 4 月より京都大学大学院情報学研究科特定研究員.