# Decoder ベースの大規模言語モデルに基づく テキスト生成の自動評価指標

笠原智仁 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{tomo_k@ruri.,dkw@\}waseda.jp
\{takato.yamazaki,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

テキスト生成の自動評価はタスクの精度を向上 させる上で欠かせないものである。本研究では、 Decoder ベースの言語モデルの大規模化が進む動向 を踏まえ、それらに基づくテキスト生成の自動評価指標を提案する。翻訳評価と意味的類似度計算の 2 種類の日本語のタスクで実験を行い、Encoder ベー スの言語モデルと比較して、同等かそれ以上の精度 を出すことが可能であることを示す。

## 1 はじめに

ニューラルネットワークによるテキスト生成モデ ルは機械翻訳、対話システム、文章要約など、様々 なタスクで用いられる。しかし、モデルからの出力 はオープンエンドであり、正解も 1 つとは限らない ため、生成結果の評価は難しい。人手による評価は 精度が高く、よく用いられるが、時間的、金銭的コ ストが高いという問題がある。そのため、テキスト 生成モデルを迅速に開発するためには自動評価が必要不可欠となる。

テキスト生成の自動評価手法として、かつては BLEU [1] や ROUGE [2] などのような、生成テキスト と正解とされるテキストとの間の表層的な単語の重複による評価が主流であった。近年では、BERT [3] や BART [4] などの自己教師有り学習モデルの発展 に伴い、それらを活用したより精度の高い自動評価手法が提案されている $[5,6,7,8,9,10]$ 。これら の手法では主に Transformer [11] アーキテクチャの Encoder ベースのモデルや Encoder-Decoder ベースの モデルが用いられるが、Decoder ベースのモデルを 利用した手法の研究はなされていない。

しかしながら、自己教師有り学習モデルは
Decoder ベースのモデルの大規模化が顕著であり、 GPT3 [12]、Megatron-Turing [13]、PaLM [14] などが 開発されている。以降、Transformer の Decoder ベー スの自己教師有り学習された大規模言語モデルを LLM と呼ぶ。一方で、Encoder ベースのモデルは Decoder ベースのモデルと比較するとそこまで大規模化が進んでいない。

これらを踏まえ、本論文では LLM を用いたテキ スト生成の自動評価手法を提案する。翻訳評価と意味的類似度計算 (Semantic Textual Similarity, STS) の 2 種類の日本語のタスクで実験を行い、既存のテキス 卜生成自動評価手法と同等かそれ以上の精度を出 すことが可能であることを示す。LLMを 3 種類の Tuning 手法でそれぞれ学習し、Fine-Tuning よりも低 コストな学習手法である LoRA-Tuning [15] において 最も高い精度を出すことが可能であることを示す。 また、本手法ではテキストの埋め込みも得られるた め、テキスト間の意味的比較なども可能であり、応用範囲が広い。

## 2 関連研究

## 2.1 テキスト生成の自動評価指標

テキスト生成を自動評価する際に必要となるも のは、モデルによって生成されたテキストと正解と されるテキストである。古典的な自動評価指標であ る、BLEU や ROUGE、METEOR [16]、CIDEr [17] な どではこれら 2 つのテキスト間で N-gram がどれほ ど重複するかに基づいて評価する。これらの手法で は N-gram が完全に一致していなければスコアが上 がらないため、類義語が含まれている場合でもスコ アが上がらないという久点がある。編集距離に基づ いて評価を行う TER [18] なども同様の欠点を持つ。

METEOR については類義語辞書を利用することで この欠点を克服することを目指したが、文脈を考慮 した類義語判定までは行うことができない。

自己教師有り学習モデルの埋め込みを利用するこ とで、文脈を考慮した上で類義語を似ていると判断 することが可能となる。BERTScore [5] は生成テキ ストと正解テキストをそれぞれ BERTによって埋め 込み、その類似度でスコアを計算する手法である。 BARTScore [6] では Encoderに 1 つ目のテキストを、 Decoderに2つ目のテキストを入力し、2つ目のテキ ストの生起確率に基づいてスコアを計算する。

テキストペアとその類似度ラベルのデータセッ トを用いて自己教師有り学習モデルを Fine-Tuning することで精度を上げる手法もある。翻訳評価の データセットで学習したモデルとして BLEURT [7] COMET [8] などが、STS データセットで学習した モデルとして Sentence-BERT [9] などが挙げられる。 SimCSE [10]のように自然言語推論データセットを 用いて Contrastive Learning を行うことにより文の埋 め込みを学習し、それをテキストペアの類似度計算 に利用する手法も存在する。これらの自己教師有り 学習を利用する手法は Encoder モデルが用いられる ことが多く、Decoder モデルを使用する手法の研究 はなされていない。

## 2.2 自己教師有り学習モデルのチューニン グ手法

自己教師有り学習モデルをタスクへ適応させる 手法として最も主流なものは、モデルのパラメータ 全てをチューニングする Fine-Tuning である。しか し、大規模なモデルの Fine-Tuning はコストが高い ため、一切パラメータをチューニングせずに複数の 例 (Prompt) だけをモデルに入力してタスクを解く Few-Shot Learning [12] や、少数のパラメータのみを チューニングする Prompt-Tuning や LoRA-Tuning な どの手法が提案されている。Prompt-Tuning は学習 によって Promptを最適化する手法であり、離散的な 語彙の中から最適な単語を選択する手法 [19] と、連続的な埋め込みべクトルを用意してそれを最適化す る手法 $[20,21,22,23,24]$ が存在する。LoRA-Tuning は Transformerアーキテクチャの各層に含まれる重 み行列に対して階数分解を行ったパラメータを追加 し、そのパラメータのみを学習する手法である。

図 1 提案モデルのアーキテクチャと入出力関係

## 3 提案手法

本論文では LLM を用いたテキスト生成の自動評価指標を提案する。具体的には、テキストペアと その類似度ラベルのデータセットを用いてLLMを LoRA-Tuning することによって自動評価システムを 構築する。

## 3.1 アーキテクチャと入出力関係

提案モデルのアーキテクチャと入出力関係を図 1 に示す。テキストのペアをモデルに入力し、その 類似度を出力する。類似度の算出は以下の手順で 行う。

1. テキストペアをそれぞれ LLM に入力

2. EOSトークンの 1 つ前の文末のトークンに対応 する埋め込みをそれぞれ得る
3. 2 つの埋め込み間の $\cos$ 類似度を計算
4. 1 層の $\mathrm{FNN}$ 層に $\cos$ 類似度を入力し、その出力 をテキストペアの類似度とする

なお、 1 層の FNN 層を通す理由は $\cos$ 類似度の値 をデータセットのラベル分布に変換するためであ る。また、予備実験の結果から EOS トークンでは なく文末のトークンの埋め込みを利用することとし た。本手法では手順 2 で得られた埋め込みをテキス トの埋め込みべクトルとして利用することも可能で ある。

## 3.2 学習方法

データセットの正解ラベルはあらかじめ $0 \sim 1$ の 間に正規化する。 3.1 節の手順通りにテキストペア の類似度を算出し、その値とラベルとの間の平均二乗誤差に基づいて、LoRA-Tuning のために新たにモ デルに追加したパラメータと FNN のパラメータの みを更新する。なお、FNN の初期値は weight を 1、 bias を 0 に設定する。
表 1 自動評価指標による評価と正解ラベルとの相関係数 (WMT20 en-ja)

## 4 実験

実験に使用する GPU は 40GB の GPU メモリを搭載している NVIDIA A100 SXM4 である。

## 4.1 データセット

実験に使用するデータセットは WMT20 [25] の 英語から日本語への翻訳タスク (WMT20 en-ja) の データセットと、日本語言語理解ベンチマーク JGLUE [26] に含まれる JSTS である。WMT20 のデー タセットには人手による翻訳文、機械翻訳モデル による翻訳文とその評価ラベル (Direct Assessment) が含まれる。JSTS は日本語の STS データセットで あり、文ペアとその類似度ラベルからなる。なお、 WMT20 についてはデータセットが Train、Valid、 Test にあらかじめ分けられていないため、ランダム に 8:1:1 の割合で分割した。

## 4.2 実験設定

実験には、日本語のコーパスで事前学習がなさ れた GPT2-xsmall (37M) ${ }^{1)}$ 、 small $(110 \mathrm{M})^{2) 3}$ ) , medium $\left.(336 \mathrm{M})^{4}\right)$ と、LINE 社が開発した HyperCLOVA [27] と 呼ばれる GPT3 ライクなモデルのパラメータ数 $6.9 \mathrm{~B}$ のモデルを用いる。 4.1 節の 2 種類のデータセット に対してそれぞれモデルを学習させる。

1) https://huggingface.co/rinna/japanese-gpt2-xsmall

2) https://huggingface.co/nlp-waseda/

gpt2-small-japanese

3) https://huggingface.co/rinna/japanese-gpt2-small

4) https://huggingface.co/rinna/japanese-gpt2-medium
LoRA-Tuning $の$ 他に Prompt-Tuning $と$ Fine-Tuning も比較対象として実験する。Prompt-Tuning ではテ キストをトークン列に変換する際、文末のトーク ンの後ろに新たに追加した特殊トークンを配置し、 そのトークンの埋め込みと FNN のパラメータのみ を最適化する。Fine-Tuning では図1のアーキテク チャを用いた上で、モデルのすべてのパラメータと FNN のパラメータを更新する。なお、HyperCLOVA の Fine-Tuning については GPUメモリの不足により 実験することができなかった。

また、ベースラインとして、RoBERTa-large (337M) $[28]^{5}$ の Fine-Tuning、BERTScore $\left.{ }^{6}\right)$ BLEURT $^{7)}$ と比較する。BERTScore では Train データを用いて 埋め込みを得るための最適な出力層を選択した。 BLEURT では追加の学習はしておらず、日本語を含 む多言語で学習された BLEURT-20 [29]を利用した。学習時のハイパーパラメータを付録 A に示す。

## 4.3 実験結果・議論

WMT20 en-ja とJSTS における、自動評価指標 による評価と正解ラベルとの相関係数を表 1 、表 2 に示す。どちらのデータセットにおいても 3 種類の Tuning 手法の全てにおいてモデルサイ ズが大きくなるほど精度が上がることが分かる。 WMT20 en-ja によって LoRA-Tuning した GPT2-xsmall

表 2 自動評価指標による評価と正解ラベルとの相関係数 (JSTS)

表 3 LoRA-Tuning した rinna GPT2-xsmall と HyperCLOVA 6.9B による自動評価例 (WMT20 en-ja)

 &  & 0.52 & 0.74 & 0.51 \\

と HyperCLOVA による自動評価例を表 3 に示す。 GPT2-xsmall に対して HyperCLOVA による自動評価 の方が、正解ラベルとの相関が強いことが分かる。 WMT20 en-ja で は Prompt-Tuning、Fine-Tuning、 LoRA-Tuning の順に精度が上がっていく傾向が 見られ、HyperCLOVA を LoRA-Tuning したモデルが 最も精度が高くなった。一方で JSTS では、PromptTuning、LoRA-Tuning、Fine-Tuning $の$ 順に精度が上 がっていく傾向が見られたが、RoBERTa-large を Fine-Tuning したモデルが最も精度が高くなった。た だし、HyperCLOVAを LoRA-Tuning したモデルも人間 (Human) と同等の精度になっている。テキストペ アの類似度に関するタスクに真の正解は無いため、 Human の精度に近い値が出ていればそれ以上の精度向上に意味は無いと考える。すなわち、JSTS にお いてはモデルにとってタスクが容易すぎるために、手法の比較が正しく行えていない可能性がある。
3 種類の Tuning 手法の Epoch 数を揃えた上での 学習時間の比は Prompt:LoRA:Fine $=0.89: 1: 1.24$ と なり、GPUメモリ使用率の比は Prompt:LoRA:Fine = 0.96:1:1.33 となった。なお、Prompt-Tuning は他の Tuning 手法と比較して学習が収束しにくい傾向があ るため、収束に必要な Epoch 数は大きくなる。

## 5 おわりに

本論文ではLLMを用いたテキスト生成の自動評価手法を提案した。LLM のモデルサイズが大きい 場合には、Encoder モデルを用いた自動評価指標よ りも高い精度を出すことが可能である。3 種類の Tuning 手法を比較し、Fine-Tuning よりもコストの低 い LoRA-Tuning において、Fine-Tuning と同等かそれ 以上の精度を達成できることを示した。今後、LLM のモデルサイズが大きくなるにつれて、それらを用 いた本手法の精度も向上していくと考えられる。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL2002, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT2019, pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL2020, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. ICLR2020, 2020.

[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. NeurIPS2021, Vol. 34, pp. 27263-27277, 2021.

[7] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In ACL2020, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[8] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP2020, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[9] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In EMNLPIJCNLP2019, pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In EMNLP2021, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS2017, 2017.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS2020, Vol. 33, pp. 1877-1901, 2020.

[13] Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, et al. Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model. arXiv, 2022. abs/2201.11990

[14] Aakanksha Chowdhery, Sharan Narang, and Jacob Devlin et al. Palm: Scaling language modeling with pathways. arXiv, 2022. abs/2204.02311.

[15] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora:
Low-rank adaptation of large language models. arXiv, 2021. abs/2106.09685

[16] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[17] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[18] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA2006, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[19] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In EMNLP2020, pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[20] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In NAACL-HLT2021, pp. 5203-5212, Online, June 2021. Association for Computational Linguistics.

[21] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP2021, pp. 4582-4597, Online, August 2021. Association for Computational Linguistics.

[22] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP2021, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[23] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. Gpt understands, too. arXiv, 2021. abs/2103.10385

[24] Tu Vu, Brian Lester, Noah Constant, Rami Al-Rfou', and Daniel Cer. SPoT: Better frozen model adaptation through soft prompt transfer. In ACL2022, pp. 5039-5059, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[25] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong Ma, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[26] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC2022, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[27] Boseop Kim, HyoungSeok Kim, and Sang-Woo Lee et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In EMNLP2021, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[28] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[29] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning compact metrics for MT. In EMNLP2021, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics

## A ハイパーパラメータ

モデルの学習時に設定したハイパーパラメータを表 4 に示す。

表 4 モデルの学習時に設定したハイパーパラメータ

 &  &  &  \\

Epoch Num & 10 & 10 & 30 & 10 \\
LoRA Dim & - & 4 & - & - \\
LoRA Alpha & - & 32 & - & - \\
LoRA Dropout & - & 0.1 & - & - \\


 笠原智仁 ${ }^{1}$ 河原大輔 1 山崎天 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$ 1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社 \{tomo_k@ruri.,dkw@\}waseda.jp \{takato.yamazaki,kenta.shinzato, toshinori.sato\}@linecorp.com  