# 日本語の大規模な基盤モデルに対する LoRA チューニング

王昊 ${ }^{1}$ 中町礼文 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学 ${ }^{2}$ LINE 株式会社
conan1024hao@akane.waseda.jp
\{akifumi.nakamachi, toshinori.sato\}@linecorp.com

## 概要

本研究では, 日本語の大規模基盤モデルを用いて， テキスト分類・生成タスクにおける LoRAチューニ ング [1]を検証した. 具体的には, XLSum[2] (要約), JNLI[3] (含意関係認識), JCommonsenseQA[3] (常識推論) の三つのタスクにて, LoRA チューニングとファ インチューニングを行い, チューニングしたモデル の精度や必要なパラメータ数や学習時間などの比較 を行った. 比較実験により,ファインチューニング と比較して, LoRA チューニングは計算時間やメモ リ使用量を大幅に低減でき, 推論の精度がファイン チューニングと同等以上であることを確認した.

## 1 はじめに

自然言語処理の諸課題において, 大規模なテキス トデータを用いた事前訓練による基盤モデルに基づ く手法が広く存在している. 特に, GPT-3[4] をはじめ とする超大規模な基盤モデルの追加訓練を伴わない Prompting に基づく手法が, 対話システム [5] などで 高い精度を達成している. 一方で, 超大規模な基盤モ デルによる Prompting に基づく手法では, Prompt の 複雑な前処理や, 事後フィルタリングを用いた再生成を伴う出力制御などに膨大な計算コストが必要に なる.また, 比較的に小規模な基盤モデルでも追加訓練によって, 特定タスクにおいて超大規模な基盤モ デルと匹敵する精度が出せる場合がある. さらに, 超大規模な基盤モデルでも追加訓練によって, 特定タ スクにて Prompting に基づく手法より高い精度を達成できる場合がある. 計算コストや精度の改善に向 けて, 基盤モデルにおける軽量な追加訓練 $[6,7,8]$ が ある. 本研究では, GPT-3 と同様な形式の日本語の基盤モデルを用いて, LoRA チューニング [1] と通常の ファインチューニングの比較検証を行い, メモリ使用量や訓練に必要な計算時間などの計算コストの評価や予測性能を評価した. 実験により, LoRAチュー

図 1: LoRA のアーキテクチャ

ニングはファインチューニングと同程度の性能を大幅に低い計算コストで達成できることを確認した。

## 2 LoRA チューニング

パラレルコーパス $\mathbf{Z}=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1 \cdots N}$ を用いた基盤モデル $P_{\Phi}(y \mid x)$ の追加訓練のデファクトスタン ダードな手法として, 全てのパラメータ $\Phi$ を, 式 1 のように最適化するファインチューニングがある. ファインチューニングでは, 事前訓練と同様に基盤 モデルのパラメータ $\Phi$ 全てを更新するため, モデル のサイズと比例して計算コストが増大する. LoRA チューニングでは, 式 2 のように, 小規模なパラメー タ $\Delta \Phi(\Theta)$ を導入し, 基盤モデルのパラメータ $\Phi_{0}$ を 固定し $\Phi_{0}+\Delta \Phi(\Theta)$ とし, $\Delta \Phi(\Theta)$ のみを更新する. 特 に, 図 1 で示すように, 基盤モデルのパラメータ $\Phi_{0}$ のうち, パラメータ $W_{0} \in \mathbb{R}^{d \times k}$ を持ち, 入力 $z$ から密 ベクトル $h$ を出力する線形層 $h=W_{0} z$ に対して, 低 ランク行列 $A \in \mathbb{R}^{r \times k}, B \in \mathbb{R}^{d \times r}, r \ll \min (d, k)$ を用い て $h=W_{0} z+B A z$ とし, $B, A$ のみを最適化する.

$
\begin{aligned}
& \max _{\Phi} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\Phi}\left(y_{t} \mid x, y<t\right)\right) \\
& \max _{\Theta} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\left.\Phi_{0}+\Delta \Phi(\Theta)\right)}\left(y_{t} \mid x, y<t\right)\right)
\end{aligned}
$
表 1: データセットの統計量

超大規模な基盤モデルの $W_{0}$ のランク $d$ は非常 に大きく, 例えば 1750 億のパラメータを持つ 175B GPT-3 は $d=12,288$ であるのに対し, $r$ は 1 でも 2 で も実行できる. 英語における先行研究による $175 \mathrm{~B}$ GPT-3 を用いた検証では, GPUメモリを三分の一, 学習可能なパラメータ数を一万分の一に削減しつつ, ファインチューニングと同等以上の精度を達成して いる. GPT-3 の他に, RoBERTa ${ }_{\text {base }}$ [9], DeBERTa ${ }_{x x l}[10]$, GPT $2_{\text {medium }}[11]$ による検証でも, ファインチューニ ングと同等以上の精度であった。

他手法との比較として, Adapter チューニング [7] では, Transformer[12] の各部分に Adapter 層が追加 されることにより, 推論時の計算コストが LoRA チューニングよりも増加する. また, Prefix チューニ ング [8] では, 入力の一部を接頭辞に分ける必要があ るため入力長が短くなるが, LoRA チューニングで は, 入力長を元のモデルのままに保つことができる.

## 3 実験

本実験では, LINE が作成している日本語の GPT のうち, 10 億個のパラメータを持つ $1 \mathrm{~B}$ モデルと 67 億個のパラメータを持つ 6.7B モデルを使用し, XLSum[2], JNLI[3], JCommonsenseQA[3] のタスクで, LoRA チューニングとファインチューニングの比較検証を行った。

## 3.1 データセット

基盤モデルの言語理解の性能評価として, 含意関係認識タスクの JNLI や, 常識推論タスクの JCommonSenseQA の評価を行った. また, 自然言語生成の生成を測るため, 要約ベンチマークデータセッ トの XLSumのうち, 日本語のサンプルのみを抽出し 評価を行なった。

## 3.1.1 JNLI

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる含意関係認識タスクである. 含意関係認識タスクでは, text1, text2 の 2 つの文の間に 含意関係があるかを含意/中立/矛盾の 3 段階で判定
する. 比較実験では, モデルに対して文のぺアをモデ ルに与えて, 含意/中立/矛盾のいずれかの label のテ キストを生成させる. 評価は Accuracy を用いる.

## 3.1.2 JCommonsenseQA

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる常識推論能力を評価するタス クである. 質問文 (question) と 5 つの選択肢のテキ スト (choice0 - 4) のを与え, 正解のテキスト (label) を出力する. ラベルのインデックスを直接出力する BERT[13] などと異なり,ラベルテキストを生成する 形式の本実験では, 選択肢にない回答を出力する場合が存在する. そこで本実験では, モデルに対して質問文と選択肢を与え,生成されたテキストに対して の Exact Match (出力文字列と正解文字列が完全一致 した出力を返した割合)を評価指標として用いる.

## 3.1.3 XLSum

XLSum は, BBC の記事の本文や要約文から作成さ れた 44 言語を含むニュース要約タスクであり, 本文 から要約文を生成する. 日本語の GPT の評価とし て, 本研究では XLSum の日本語部分のみを用いる.自動評価の指標として ROUGE[14] を用いる.

## 3.1.4 データセットの分割

JNLI と JCommonsenseQA は Train データと Validation データのみが公開されており Test データが公開 されていない. そこで, 本研究で ハイパーパラメー タの探索などのための擬似的な Validation データと して元の Validation データの半分を用い, 残り半分 を比較検証の際の Test データとして用いた. それぞ れのタスクのサンプル数と, モデルへの入力フォー マットは, 表 1 に示す.

## 3.2 モデル

本研究では GPT-3 と同様な形式の基盤モデルを使用し比較実験を行う. モデルは LINE が独自に構築 した JPLM コーパスで事前学習を行った. 1B モデル の Layer 数は 24, Hidden Dimension は 2, 048, Attention

※ XLSum の評価指標は ROUGE-1/ROUGE-2/ROUGE-1.

Head は 16 で, 6.7B モデルの Layer 数は 32 , Hidden Dimension は 4, 096, Attention Head は 32である. 両モ デルの Max Position Embedding は 2, 048 である.

## 3.3 実験設定

本実験では, $1 \mathrm{~B}$ モデルと $6.7 \mathrm{~B}$ モデルそれぞれに 対し, LoRA チューニング (LoRA) とファインチュー ニング (FT)を行い, 予測性能や学習時間, メモリ 使用量などの比較した. LoRA, FT それぞれの実験 に用いたハイパーパラメータの探索範囲を表 3 に 示す. LoRA Weight は, Self-Attention の内部の query, key, value の 3 つの線形層と, 出力層 (output)の重み $W_{q}, W_{k}, W_{v}, W_{o}$ への LoRA の適用の組み合わせの設定を表す. LoRA $r$ は, LoRA における低ランク行列 の $r$ である. また, 特に JNLI や JCommonsenseQA に おいて, ラベルを直接生成できる BERT 系モデルと 異なり, モデルが存在しない解答のテキストを生成 する場合があるため, そのような場合は, 解答失敗 として取り扱った. 本実験では NVIDIA A100 (80GB) を用いた. また, 6.7B FTについては, モデルのサイズ の都合上, 8 枚の NVIDIA A100 (80GB) を用いている.

表 3: 比較実験に用いたハイパーパラメータ

## 3.4 実験結果

表 2 に示した結果より, 本研究でのハイパーパラ メータの探索範囲内では, 1B-LoRA は JNLI 以外の タスクにおいて, 適切な推論を行えなかった. 特に， JCommonsenseQA では, 1B-FT はほぼ全ての入力に 対して解答候補のいずれかを生成したが, 1B-LoRA では解答候補が出力されることはなかった. 以上よ り 1B-LoRA は, タスクの難易度やハイパーパラメー タの探索範囲に敏感であると考えられる。

また, 6.7B FT について, XLSumをのぞいて, 6.7B LoRA とほぼ同程度の精度であったが, GPUメモリ の使用量や訓練の計算時間が膨大であった. 特に, 6.7B LoRA や 1B の実験では 1 枚の GPU 上でモデル を訓練できるが, 6.7B FT は 8 枚の GPUを用いての み訓練が可能だった。

6.7B FT 1B FT などと比較して 6.7B-LoRA は全 てのタスクにおいて, 大幅に小規模なメモリと計算時間で高い性能であった. 実験結果より, 6.7B-LoRA は,ハイパーパラメータの探索を広く行うことで, 小規模なモデルより高い性能を得られた。

また, BERT 系モデルとの比較の参考として, RoBERTa-large の評価結果を引用している.1）よって，直接的な比較は行えないが, BERT 系のモデルと同等以上の予測性能であることを確認できた.
^{1)}$ https://github.com/yahoojapan/JGLUE. JGLUE の評価では, Validation データ全てを用いて評価を行っているため, 本研究の他 の実験と評価データが異なる.
}
表 4: XLSum の生成例

}} \\

## 3.5 ハイパーパラメータ探索

$\mathrm{Hu}$ ら [1] は, LoRA の学習率として $2 e-4$ を用い ているため, 本実験も $2 e-4$ を探索範囲に含めた. ハイパーパラメータの探索の結果, 大規模なモ デルのチューニングは, 小規模なモデルに比べて ハイパーパラメータに敏感であることが確認さ れた. 特に, LoRA チューニングの性能は, 学習率 などのハイパーパラメータだけでなく, LoRAを 適用する箇所や $r$ などのハイパーパラメータも 強い影響があり, 多くのハイパーパラメータでは 学習が適切に行えなかった. LoRA の Attention の 重みタイプと低ランク分解行列の次元 $r$ につい ては, JNLI と JCommonsenseQA の両タスクにおい て, 一番コストが小さい組み合わせ $($ Weight Type $=$ $W_{q}+W_{v}$, Adapter Dim =4) が最適となっている一方, XLSum において一番コストが高い組み合わせ $\left(\right.$ Weight Type $=W_{q}+W_{k}+W_{v}+W_{o}$, Adapter Dim $\left.=16\right)$ が最適であった. LoRAチューニングは, タスクに 応じて, 最適な低ランク行列が大きく異なると考え
られる.また, 6.7B FT でも, 1B FT と比較してより 広範な探索が必要であり,超大規模な基盤モデルの チューニングは, 効率的なハイパーパラメータの探索が重要であることが確認された.

## 4 まとめ

本研究では, 日本語の大規模な基盤モデルを用い $\tau$, 含意関係認識, 常識推論, テキスト要約の 3 つ のタスクを用いてファインチューニングと LoRA チューニングの比較を行った. 実験結果より, 日本語の大規模な基盤モデルのチューニングにおいて， LoRA チューニングがメモリ消費量や計算時間の観点で効率的であることを確認した。

## 謝辞

本研究は LINE 株式会社でのインターン成果で ある。

## 参考文献

[1] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. In International Conference on Learning Representations.

[2] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, 2021.

[3] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, pp. 18771901, 2020.

[5] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベー スを統合した HyperCLOVA を用いたマルチモーダ ル雑談対話システム. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), pp. 113-118, 2022.

[6] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 1-9, 2022.

[7] Ruidan He, Linlin Liu, Hai Ye, Qingyu Tan, Bosheng Ding, Liying Cheng, Jiawei Low, Lidong Bing, and Luo Si. On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2208-2222, 2021.

[8] Xiang Lisa Li and Percy Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 4582-4597, 2021.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint
arXiv:1907.11692, 2019

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Chen Weizhu. In International Conference on Learning Representations.

[11] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.
 王昊 ${ }^{1}$ 中町礼文 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$ 1 早稲田大学 ${ }^{2}$ LINE 株式会社 conan1024hao@akane.waseda.jp \{akifumi.nakamachi, toshinori.sato\}@linecorp.com  