# 大規模言語モデルにおける文生成方向に関する依存性の検証

谷口大輔 1 脇本 宏平 ${ }^{2}$ 丹羽彩奈 1 岡崎 直観 1
1 東京工業大学 2 株式会社サイバーエージェント
\{daisuke.taniguchi@nlp., ayana.niwa@nlp., okazaki@\}c.titech.ac.jp
wakimoto_kohei@cyberagent.co.jp

## 概要

大規模言語モデルは様々な自然言語処理タスクで 使用され，高い性能を示してきた。ところが，事柄 が記述される順序は言語によって偏りがあるため,通常の左から右に（順方向に）単語を予測する言語 モデルではなく, 右から左に（逆方向に）単語を予測するように学習した言語モデルの方が解きやすい タスクが存在するかもしれない. 本研究では，言語 モデルがタスクを解くときに単語の生成方向が与え る影響を検証するため，順方向あるいは逆方向に学習した二種類の大規模言語モデルを常識推論タスク に適用し，その性能の比較・分析を行う。そして， これまで十分に利用が検討されてこなかった逆方向言語モデルの可能性を報告する.

## 1 はじめに

近年，GPT-3[1]をはじめとする大規模言語モデル は，様々な自然言語処理タスクで高い性能を示して いる. 言語モデルは，単語列に対して確率を計算す るものであり，ある単語列が与えられた時，その次 に続く単語を一つずつ予測する処理を繰り返すこと で，単語列を逐次的に生成できる。 $x$ を入力文， $s_{i}$ を入力文中のトークン,$n$ を入力文の長さとした時，言語モデルの学習は，コーパス上で

$
p(x)=\prod_{i=1}^{n} p\left(s_{i} \mid s_{<i}\right)
$

という式を最大化することで行われる.

ここで，言語において事柄が記述される順序には 偏りがあるため，言語モデルの学習コーパスにはそ の偏りが内在しているはずだという点に着目する。例えば日本語では，理由を説明した後に結果や結論 を記述する傾向があるため [2]，日本語のコーパス はその傾向を反映し，理由などの前提が先，結論が 後に記述される文を多く含むと考えられる。一方
で，結論を先，理由を後に記述する文は相対的には 少ないと考えられる. 自己回帰型の大規模言語モデ ルの学習は, 過去のトークン列から現在のトークン を予測するという部分に時刻に関する非対称性があ るため，単語の並び順に関する順序の偏りの影響を 受けていると考えられる。そこで，本研究ではテキ ストを順方向に入力して学習した通常の言語モデル ではなく，逆方向に入力して学習した言語モデルの 方が解きやすいタスクが存在すると考える.

日本語での具体例として，何らかの結論を表す文 が与えられ，それに対して尤もらしい理由を説明す る文を生成する常識推論のタスクを考える．前述の 通り，日本語では理由が先，結論が後で記述される 文が多いため，言語モデルの単語の生成方向を考え ると，結論で条件付けして理由を生成するタスク は，順方向よりも逆方向の言語モデルの方が解きや すいと予想される。これまでにも，逆方向の言語モ デルで文を生成する研究 $[3,4]$ は存在していたが,同一タスクを順方向・逆方向の言語モデルで解き， その性能差を単語の並び順の偏りに位置付けて検証 した研究はない.

本研究では，言語モデルにおける単語の生成方向 がタスク処理に与える影響を検証するため，日本語 コーパスで学習した GPT-2 [5] medium 相当の順方向 および逆方向の言語モデルを利用する。常識推論 のデータセットである Choice of Plausible Alternatives (COPA) [6] を人手で日本語に翻訳したもの ${ }^{1)}$ を評価 データとし，zero-shotによる生成的な常識推論タス クに両モデルを適用し，その性能の比較・分析を行 う。その実験結果から，これまで利用が十分に検討 されてこなかった逆方向言語モデルの方が，通常の 順方向言語モデルよりも有利に処理できる文生成夕 スクが存在することを報告する2).

散歩に行く。というのも ので、散結論 い美気だ。結果として、! だからだ天気いい、ならなぜ 逆順に1 理由

図 1 順方向（GPT-2）および逆方向（RGPT-2）の言語モデルの使用例・タスク例

## 2 検証方法

本研究では，単語の生成の順番が順方向および逆方向の大規模言語モデルを学習する. 両モデルと も, MeCab と WordPiece[7] による東北大 BERT-v2 $2^{3}$ のトークナイザを利用し，GPT-2 medium 相当の日本語言語モデルを学習した。

## 2.1 逆方向言語モデル

本研究で用いる逆方向言語モデルを説明する。通常の順方向言語モデルの学習は, 式 1 の最大化に よって行われるが，逆方向言語モデルの場合は以下 の式 2 の最大化を行うこととなる.

$
p(x)=\prod_{i=n}^{1} p\left(s_{i} \mid s_{>i}\right)
$

つまり，未来のトークン列から現在のトークンを予測する学習が行われ，結果として，文末から文頭の 向きに単語列を生成するモデルを構築できる。

以降，本研究で用いる順方向言語モデルを GPT-2,逆方向言語モデルを Reversed GPT-2 (RGPT-2) と称す る.RGPT-2 の実際の学習では，入力文を順方向言語モデルと同じトークナイザによって処理した後, トークン列を逆順に並び替えてモデルへの入力と し，通常の言語モデルの学習を行うことにより，実質的に式 2 の最大化を行う.

## 2.2 生成的な常識推論タスク

GPT-2 と RGPT-2 の性能比較を行うため, 生成的 な常識推論タスクを考える，具体的には，結論の文 が与えられ，それに対する理由を生成するタスク と，それとは逆に，理由の文が与えられ，それに対 する結論を生成するタスクの二つである. これら二
 bert-base-japanese-v2
つのタスクは，入力と出力が入れ替わったタスク対 であるため，言語モデルの文生成方向に関する依存性により，各タスクでモデルの性能に差が生じると 予想される. GPT-2 と RGPT-2 がこれらのタスクを 解く例を図 1 に示す。

結論から理由を推論するタスク 理由などが先 で，結論が後で記述されやすいという，日本語にお ける説明の順序の偏りにより，RGPT-2 の方が GPT-2 よりも解きやすいと考えられる．そこで，与えら れた結論に対して，言語モデルによる理由の生成 を zero-shot にて行う. 各モデルが出力した理由が,結論に対する理由付けとして適切かどうかを評価 する。

理由から結論を推論するタスク GPT-2 の方が RGPT-2 よりも解きやすいと考えられる. 与えら れた理由に対して，言語モデルによる結論の生成 を zero-shot にて行う. 各モデルが出力した結論が，理由から導かれる結論として適切かどうかを評価 する。

## 2.3 プロンプティング

本研究では，理由から結論，および結論から理由 を生成するタスクを，プロンプトによる zero-shot 生成タスクとして解く. 図 1 に GPT-2 および RGPT-2 によるタスクの解き方を示す. なお，図中の赤字 は，接続表現を表す。

GPT-2 与えられる結論（または理由）に続けて，接続表現を連結したものをプロンプトとし，それに 続く単語列として理由（または結論）を出力する。

RGPT-2 与えられる結論（または理由）の直前 に，接続表現を連結したものをプロンプトとし，こ れをトークン単位で逆順にした上で，言語モデルに 入力する. その続きをモデルに生成させ，その出力 をトークン単位で逆順にしたものが，理由（または
結論）の出力となる.

本研究では，GPT-2 と RGPT-2 の常識推論におけ る能力を公平に比較したいので，用いるプロンプ トによる不公平をできるだけ排除する必要があ る. 理由を生成するタスクを考えると，GPT-2 で は「(結論）なぜなら，（理由）」のようなプロンプ ト，RGPT-2では「(理由）ので，（結論)」のような プロンプト4)を用いることになる. GPT-2 と RGPT-2 で同じプロンプトを用いることが理想ではあるが， （日本語でそのような言い方がされないため）現実 には不可能で，実験に用いるプロンプトは両者で異 なるものにならざるを得ない.

そこで，順方向と逆方向の言語モデルの比較にお いて，常識推論に優れたプロンプトの存在も利点・欠点に含まれると考え, 両者の言語モデルにとって できるだけよいプロンプトを選び，実験を行うこと とする.

## 3 実験

## 3.1 実験設定

大規模言語モデル GPT-2，RGPT-2 の学習には， rinna 株式会社5) が提供しているコードベース6 ${ }^{6}$ を使用した．学習コーパスはコードベースに従い，日本語の CC-100 と, Wikipedia のダンプ7)を使用した. これらは自然な日本語文を多く含み，日本語におい て事柄が記述される順序の偏りを内包していると期待される.このコーパス上で両モデルをそれぞれ， バッチサイズ 3 で 4,680,000 ステップ学習した. 検証用データにおけるパープレキシティはそれぞれ， 9.80，9.79で，同程度のパープレキシティと言える.

データセット 生成的な常識推論のデータセット として, Choice of Plausible Alternatives (COPA) [6] を 人手で日本語に翻訳したものを使用する。COPA は 本来，原因（または結果）を表す前提文に対する結果（または原因）としてふさわしい文を，二つの選択肢から選ぶ問題であるが，本実験では，そのう ちの正解文と前提文のみを抽出し, 理由（原因）と 結論（結果）の文ペアとして用いる。また，GPT-2 と RGPT-2 の性能を極力公平に評価するため，「彼

4） 日本語として読みやすい順序で記述したが，RGPT-2 は右 から左の向きに単語列の予測を行うことに注意されたい.

5) https://rinna.co.jp/

6) https://github.com/rinnakk/ japanese-pretrained-models

7） 2021 年 12 月 13 日時点のもの
（ら）」，「彼女（ら）」「それ（ら）」，「そこ」といっ た代名詞が理由・結論のいずれにも含まれないぺア のみを評価対象とした ${ }^{8)}$. 開発データは 186 件，評価データは 182 件である.

接続表現 理由・結論のプロンプティングに利用 する接続表現の候補を，言語モデルの学習コーパス の中から手動で収集した. GPT-2による理由の推論 と RGPT-2 による結論の推論，および GPT-2 による 結論の推論と RGPT-2 による理由の推論で同じ接続表現の候補を利用することとし，各 8 件ずつ候補を 用意した.それらの接続表現が学習コーパス内で出現した回数を付録 A に示す. 実験では，開発データ の全事例における zero-shot 生成の BLEU スコアが高 くなるものを採用し，両モデルの性能を比較する。

自動評価 自動評価指標として，BLEUスコア とパープレキシティを使用する。BLEU の測定に は SacreBLEU [8]を用い， 2.3 節と同様に，モデルに よって生成した理由または結論と, 評価データの参照文との間でスコアを計算する．接続表現の品質の ばらつきによる影響を抑えるため，8 個の接続表現 の候補のうち，開発データでの BLEU が最も高い 5 個をモデルの性能比較に用いる。 パープレキシティ は，言語モデルの確率推定において，出力すべき文 がどれだけ妥当と予測されるかを計測する.

人手評価 人手評価では開発データでの BLEUが 最も高い接続表現で推論した理由・結論を評価して もらう. 評価者は株式会社サイバーエージェントの アノテータで, 出力した理由（または結論）の内容 や形式が，モデルに前提として与えた結論（または 理由）に対してどれだけ適切か, 絶対評価と相対評価をお願いした. 評価基準を表 1 に示す. 絶対評価では，定められた基準に従って各モデルの出力 を評価する．相対評価では，同じ前提文に関して， GPT-2 と RGPT-2 のどちらの出力が優れているかを 比較してもらう. 相対評価でも絶対評価と同様の基準を採用するが，3 段階の基準では表せないような 僅かな差も評価できる. 優劣を判断できない場合は 「わからない」という回答してもらうことにした。

## 3.2 実験結果

自動評価 表 2 に自動評価の結果を示す（詳細は 付録 B 参照のこと). 開発データでの BLEU スコア

8）例えば RGPT-2 に代名詞が含まれる文を入力した場合，逆方向の文生成が持つ特性により，常識推論タスクのみなら ず，代名詞が指している名詞を復元するタスクが意図せず含 まれ，文生成が不当に難しくなる可能性がある.
表 1 人手評価の基準

 &  \\

表 2 自動評価結果表 3 理由推論の人手評価結果 [\%] 表 4 結論推論の人手評価結果 [\%]

がトップ 5 に入る接続表現のみで，評価データにお ける評価値の平均をとったものを比較する．BLEU

RGPT-2 が，結論の推論では GPT-2が優れており，仮説通りの結果となっている。ただ，いずれも BLEU スコアの絶対値は低い。これは理由または結論に対 して様々な説明が可能であることに起因すると考え られる.

一方，パープレキシティではその優劣が逆転して いる. パープレキシティの評価では理由と結論の両方がモデルに与えられるため，このタスクにおける モデルの文生成能力を評価するという目的に合致し ないことが原因と考えられる。

人手評価 自動評価における BLEU スコア（表 $8,9,10,11 ）$ により，人手評価で使用する接続表現を 決定した. 図 1 のように，GPT-2による理由の推論 では「というのも、」，結論の推論では「。結果とし て、」, RGPT-2による理由の推論では「ので、」, 結論 の推論では「なぜなら、」を使用した.

表 3 と 4 に，人手評価の結果を示す. 絶対評価で 「高」と評価された割合，および相対評価の結果に よると, 本研究の仮説通り, 理由の推論は RGPT-2 が，結論の推論は GPT-2 が優れている結果となり，本タスクを解くことに関する性能に差が表れること を確認できた. すなわち，通常の左から右の言語モ デルではなく, 文生成向きが右から左となっている 逆方向の言語モデルの方が解きやすいタスクが存在
することが示唆される.

出力例 モデルによる実際の出力例と相対評価の 結果を表 5 に示す.「私は運動した。」という結論に 対して GPT-2 による「腰が痛くて動けない」という 理由は適切でなく, RGPT-2 の方が適切に理由付け できている。また，「私は 1 日中勉強した。」という 理由に対する結論としては，「良い点数を取れた」 という GPT-2 の出力内容が自然である. RGPT-2 は, GPT-2 に比べて長い文を出力する傾向にあった.

## 4 おわりに

日本語における説明の順序の偏りが大規模言語モ デルに与える影響を検証するため，単語列の生成向 きが順方向あるいは逆方向の大規模言語モデルを構築し，生成的な常識推論タスクに適用した。実験の 結果，結論に対して理由を生成するタスクでは逆方向言語モデルが優れており，理由に対する結論を生成するタスクでは順方向言語モデルが適しているこ とが分かった。これらのタスクにおける両モデルの 性能差は，日本語における，事柄を記述する順序の 偏りが言語モデルに引き継がれているためだと推測 される。

本稿では，これまでまだ利用が十分に検討されて こなかった，単語列の生成の向きに関して逆方向の 言語モデルの価値を示した. 今後は, 日本語以外の 言語での実験や，常識推論以外のタスクでの検証を 進めていきたい.

## 謝辞

本研究にあたってご助言いただいた，株式会社サ イバーエージェントの皆様に感謝いたします。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] 影山太郎. 動詞意味論: 言語と認知の接点. 日英語対照研究シリーズ, No. 5. くろしお出版, 1996.

[3] Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena D. Hwang, and Yejin Choi. Reflective decoding: Beyond unidirectional generation with off-the-shelf language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1435-1450, Online, August 2021. Association for Computational Linguistics.

[4] 山田康輔, 人見雄太, 田森秀明, 岡崎直観, 乾健太郎. 指定語句を確実に含む見出し生成. 言語処理学会第 27 回年次大会, 2021.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, 2011.

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[8] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 接続表現の出現回数

本研究で用いている各接続表現が、言語モデル学習コーパス内に出現した回数を表 6 と 7 に示す.「(理由) ので、(結論)」のように，順方向に理由から結論を導く接続表現の方が，結論から理由を導く接続表現より も多いことが分かる．ただし，表に示した接続表現の出現回数は，理由と結論を接続する用法以外の表現も 含む場合があるため，注意が必要である。

表 6 順方向に結論から理由を導く接続表現

表 7 順方向に理由から結論を導く接続表現

## B自動評価の結果の詳細

表 8,9,10,11 に自動評価の結果の詳細を示す。使用する接続表現に依存して，言語モデルによる理由・結論 の推論の性能が大きく変化することが分かる.

表 8 GPT-2 による理由の推論の自動評価開発評価

表 10 GPT-2による結論の推論の自動評価開発 評価

表 9 RGPT-2 による理由の推論の自動評価開発

表 11 RGPT-2による結論の推論の自動評価開発

評価


# 画像キャプショニングのための制約語の抽出法

芳賀あかり ${ }^{1}$ 平尾努 2 帖佐克己 ${ }^{2}$
本多右京 ${ }^{1}$ 出口祥之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{haga. akari. ha0, honda.ukyo.hn6, deguchi.hiroyuki.db0, taro\}@is.naist.jp
\{tsutomu.hirao.kp, katsuki.chousa.bg\}@hco.ntt.co.jp

## 概要

従来の画像キャプショニングには画像とは無関係 の語を含むキャプションをしばしば生成するという 問題がある。これを解決するため，画像に関連する 語をあらかじめ与えた上でキャプションを生成する 手法が提案されているが，その自動決定法について は議論がされていない. 本研究では, 物体検出器が 出力するラベル (物体名)をその信頼度スコアと顕著性スコアを組み合わせてランキングすることでキャ プションに含めるべき語を決定する手法を提案す る. 提案法で得た単語と人手生成の正解キャプショ ン中の単語を比較した結果，自動抽出した単語のう ち半数程度はキャプションに含まれていた. さらに 人手評価を行ったところ，キャプションには含まれ ない単語であっても，その多くはキャプション生成 が可能な程度に画像に関連した語であることがわ かった.

## 1 はじめに

画像キャプショニングとは，画像を説明する一文を生成するタスクであり，Vision and Language 分野における主要なタスクの一つである。近年では， Vision transformerによる系列変換モデルで実現され ることが多くなってきたが，Transformer に基づく系列変換モデルには，流暢な文を生成する一方，入力 とは関連のない文をしばしば生成するという問題 がある [1]. 画像キャプショニングも例外では無く,画像には写っていないものや画像とは関連ない語を 含むキャプションを生成する Object hallucination と いう問題が生じることが知られている [2]. この問題を抑制するための一つの方法として語彙に制約を 与えてキャプションを生成する手法が提案されてい る [3]. しかし，この手法ではキャプションに含め るべき語 (以下，制約語)をどのように決定するか議論していない，もちろん，人手で与えることも可能 ではあるが大量の画像を処理する場合にはコストの 観点から現実的でない。

そこで，本研究では制約語を画像から自動的织抽出する方法を提案する。人間は画像の構図，視覚的顕著性などに基づきキャプションに含める語を決定 していると考えられることから，画像に対して物体検出器が出力するラベルをとの信頼度スコアと顕著性スコアを組み合わせることでランキングし，その 上位 $n$ 件を制約語とする手法を提案する。

$\mathrm{MSCOCO}$ キャプションの検証セットのキャプ ションに提案法で抽出した制約語が含まれる割合，制約語の平均正解率は $49.9 \%$ であった. ただし，人手評価を行ったところ，正解率の低い画像でもキャ プションに含めてよい語は $50 \%$ を超え，正解率が高 い画像ではそれが約 $80 \%$ 達した。

## 2 準備

物体検出とは画像に写る物体を矩形 (以下, バウ ンディングボックス) で特定し，その名称をラベル として出力する. ラベルはあらかじめ定められてい るので，その決定は多值分類問題に帰結する。

物体検出器により決定できるラベル数は大きく異 なる. たとえば，Detic [4] は CLIP [5]を使用するこ とにより，学習データにはないラベルを検出可能と しており，21,000ラベルまでの異なる粒度で物体検出を行うことができるという特徴がある. Detic は COCO, Objects365, OpenImages, Lvisの4つのカス タムラベルセットを提供しており，容易に異なるラ ベルセットで物体検出を行うことができる。各ラベ ルセットはそれぞれ 80，365，500，1203 カテゴリ である. 使用するラベルセットにより検出する物体 の粒度が異なり，カテゴリ数が少ないほどカテゴリ の抽象度が高くなり，カテゴリ数が多いほど具体的 になる。例えばカテゴリ数 80 の COCO ラベルセッ
トで行った物体検出では「bird」ラベルを与える物体を，カテゴリ数 365 の objects365 ラベルセットで は「goose」や「duck」と，より具体的なラベルを与 える。

一方，画像には人間の視覚注意により注視を集め やすい領域とそうでない領域がある。これを画像の 各ピクセルに対してスコアを与えることで表現した ものを顕著性マップと呼び，画像中の顕著な場所， すなわち目立つ領域の特定に活かすことができる [6]. Hou らが提案した Spectral Residual アプローチ [7] は，画像データを周波数に変換して分析を行う ことで顕著性マップを作成する. この手法は特徴量 やカテゴリなどの物体に関する事前知識を利用せ ず，高速かつ頑健に顕著性を検出することができ る。また，Montabone らは解像度を下げない，きめ 細かい顕著性マップを作成する方法を提案してお り，このマップは明確な境界線を抽出するという特徵がある [8]. 本研究では Spectral Residual アプロー チを用いて顕著性マップを作成する。

人間が画像に対しキャプションを生成する際，多 くの場合は画像に写っている物体に言及するであ ろうし，複数の物体が写っているのであればどこに 焦点をあてるべきかの取捨選択も行うであろう．た とえば，図 1 には様々な物体が写っているが，人間 がキャプションを生成する際には「cat 」，「glove $\lrcorner ，$「ball」といった物体に言及するだろう. 実際，こ の画像に対するキャプションには「cat」，「baseball glove $\lrcorner$ 「ball」という語が利用されている。一方， フォーカスされていない右後方の机や左後方のサイ ドテーブルには言及していない。つまり，人間は画像中の顕著性の高い物体について言及すると考える のが自然である．そこで，本稿では物体検出と画像 の顕著性マップを組み合わせることで人間がキャプ ションで言及すると考えられる顕著なラベルを特定 し，制約語として用いる。

## 3 提案手法

本稿では，物体検出器が検知した物体のラベルの スコアをその信頼度スコアと物体のバウンディング ボックス内部の顕著性スコアの重み付き線形和で計算し，ランキングすることでより確度の高い制約語 を得る。

制約語候補の抽出 画像に対して物体検出器を 適用し，それが出力するすべてのバウンディング

1) MSCOCO val2014 COCO_val2014_000000518974.jpg

図 1 物体検出例 ${ }^{1}$

ボックス $(b)$ とラベル $(\ell)$ の対を得る.この時，バ ウンディングボックスに対しては割り当てられた ラベルに対する信頼度スコア Conf. $(b, \ell)$ が与えられ る.そして，信頼度の低いラベルは削除するため Conf. $(b, \ell) \geq 0.5$ となるラベルのみを制約語候補と して利用する.

制約語候補の顕著性スコアの計算 顕著性スコア は画像中のすべてのピクセルに対して与えられるの で，制約語候補の顕著性スコアを計算するにあたっ ては，対応するバウンディングボックス内部の各ピ クセルの顕著性スコアを利用する。本稿では，バウ ンディングボックス内部における顕著性スコアの最大値を制約語候補の顕著性スコア Sal. $(b, \ell)$ とし,次の式で計算する。

$
\text { Sal. }(b, \ell)=\max _{r_{k} \in b} \operatorname{Sc}\left(r_{k}\right)
$

ここで $r_{k}$ は物体検出器が検出したバウンディング ボックス内の $k \times k$ ピクセルのボックスをあらわし， $\mathrm{Sc}\left(r_{k}\right)$ はその顕著性スコアである。 バウンディング ボックス内の $i$ 行 $j$ 列目の顕著性スコアの值を $x_{i, j}$ とするとき, $\operatorname{Sc}\left(r_{k}\right)$ は次のように計算する.

$
\operatorname{Sc}\left(r_{k}\right)=\sum_{i=0}^{k-1} \sum_{j=0}^{k-1} x_{i, j}
$

顕著性スコアの算出までの流れを図 2 に示す. 図 2 の例では制約語候補が bird であり，太枠の長方形が 制約語候補 bird に対応するバウンディングボックス を示す。バウンディングボックス内の顕著性スコア の最大值を 1 ピクセルを基本単位として与えるとど のようなバウンディングボックスに対しても非常に 高い值をとる可能性がある。これを緩和するため， バウンディングボックス内にそれよりも小さな正方形のボックスを設け内部のピクセルに対する顕著性 スコアの和 $\mathrm{Sc}\left(r_{k}\right)$ を計算し，バウンディングボック ス内のすべての可能な正方形ボックスの顕著性スコ ア $\mathrm{Sc}\left(r_{k}\right)$ の最大值を制約語候補の顕著性スコアと

する. 図 2 の例では，バウンディングボックス内に $k \times k(k=3)$ ピクセルの正方形ボックスを設け, 各ピ クセルの顕著性スコア，0.7,0.5, ..0.7 を合計し, 正方形ボックスの顕著性スコアとする。次に，正方形 ボックスをバウンディングボックス内部で 1 ピクセ ルスライドさせ，同じように合計を計算する.これ を繰り返して全ての $k \times k$ ボックスのスコアを計算 し，この最大値を制約語候補 bird の顕著性スコアと する。

制約語候補のランキング 制約語候補のスコア $F$ を物体検出器の信頼度スコアと顕著性スコアの重み 付き線形和として以下の式で定義する.

$
F(b, \ell)=\alpha \operatorname{Sal} .(b, \ell)+(1-\alpha) \operatorname{Conf} .(b, \ell)
$

ここで， $\alpha(0 \leq \alpha \leq 1)$ は 2 つ項のバランスをとる ためのパラメータである. 画像中の各制約語候補に 対し上記スコアを計算しその上位 $n$ 件を制約語とみ なす.

## 4 実験

制約語の正解データはないため，提案法で得た制約語が人手で作成された正解のキャプションにどれ だけ含まれるかで評価を行った.

## 4.1 実験設定

データセットは MSCOCO の val2014を採用し，自動評価には 40500 画像を使用した. 物体検出に は imagenet データセット [9]を用いて学習された モデルであるDetic[4]を用いた。顕著性マップは Spectral Residual アプローチを実装した OpenCV の SpectralResidual 関数を用いて取得した. パラメータ は $k=20, \alpha=0.2$ を採用している.

## 4.2 自動評価

抽出した制約語候補のうち，人手作成のキャプ ションに含まれる語の割合, 正解率を用いて自動評価を行った. なお, Detic のラベルセットは Object365, Open Images, Lvis の 3 種を用いた. ラべ ル数はそれぞれ，365，500，1203 となる．ラベル数 が少ないほど抽象的で多いほど具体的な名称ラベル を与える。

キャプションに制約語が含まれているか否かは語 の完全一致で行う. しかし, 完全一致で評価した場合，同義語，類義語が無視されてしまうため，類語 も正解とする処理も取り入れた. ここでの類語とは表 1 カテゴリ数による正解率の変動

 \\

Open Images & 500 & 0.440 & 0.478 \\
Lvis & 1203 & 0.408 & 0.490 \\

異なるラベルセットで物体検出を行った結果，同じ バウンディングボックスを指しているラベルを指 し，これらも正解として扱い評価を行う。例えば， あるバウンディングボックスの物体を bird と表す ラベルセットと, goose と表すラベルセットがある とする。この場合， bird と goose を類語とする。な お，バウンディングボックスの一致については物体検出で使用される一般的な評価指標である IoU (Intersection over Union) が 0.8 以上である場合に一致 とみなした. 二つの任意の図形 $A, B$ の IoU は以下 のように計算される [10].

$
I o U=\frac{|A \cap B|}{|A \cup B|}
$

顕著性スコアの効果 制約語のスコアを計算する 際のパラメータ $\alpha$ を動かして, 顕著性スコアの効果 を調べた. その結果を図 3 に示す. 図の縦軸は正解率，横軸はパラメータ $\alpha$ の値であり， $\alpha=0$ が物体検出の信頼度スコアのみ， $\alpha=1$ は顕著性スコアの みを利用することを表す. 全てのカテゴリ数におい て $\alpha=0.2$ 付近で正解率が向上していることから，物体検出の信頼度スコア, 顕著性スコアのみではな く，双方を考慮することの有効性がわかる．以下は $\alpha=0.2$ を採用した結果である.

カテゴリ数による正解率の変動 各ラベルセット での評価結果を表 1 に示す. 表より，完全一致の 正解率でみた場合，Lvisを用いた場合が最も低く， Object365を用いた場合が最も高い。この結果は, MSCOCO データセットのキャプションが比較的抽象的な語を用いて記述されている，つまり，Livsの ような具体的なラべルを利用すると語の完全一致で は不利になるからであると考える. 実際，類語処理 を導入すると正解率はどのラベルセットでも 5 割近 くになっており，顕著な差はみられなくなることが これを支持している.

## 4.3 人手評価

自動評価は類語も含めて評価をしているが，すべ ての類語を網羅できているとは限らず，不当に低い スコアになっている可能性がある. そこで，自動評価の結果が悪いもの・良いもののうちそれぞれラン

図 2 制約語候補の顕著性スコアの算出 ${ }^{2)}$

図 3 パラメータ $\alpha$ による正解率の変動

ダムに 25 件サンプリングし，人手評価を行った。自動評価の結果が悪いものとは正解率が 0.2 以下，良いものとは正解率が 0.8 以上のものをさす. 評価指標として，キャプションに含まれて良いラベルの 割合，またキャプションに必須のラベルの割合を主観で評価した。

例えば図 4 のような画像の場合，surf, surfboard, wet suit, person などの語をキャプションに含まれる 可能性があるラベルとみなし， surf や person のよう に中心的な語を必須のラベルとみなした. 自動評価 の結果が悪いものの結果を表 2 , 良いものの結果を 表 3 に示す. 表 2 より, 自動評価の結果が悪いのも のでも， $\alpha=0.2$ ではキャプションに含まれてもいい だろうというラベルは 5 割以上あることがわかる. $\alpha=0$ のとき，差は小さいもののもっとも良い結果 となった理由は, 物体を多く検知するような場合,顕著性スコアの高い領域と人間がキャプションを生成する際に着目する領域にずれが生じるからではな いかと考える. さらに, 表 3 より, 自動評価の結果 が良いものでは，キャプションに含まれてもいいだ 万うというラベルは 8 割近くあり，キャプション必須のラベルは 6 割以上含まれている.ここで， $\alpha=0$ は顕著性スコアのみ， $\alpha=1$ は物体検出の信頼度ス コアのみとなっており，自動評価の結果が良いもの では $\alpha=0.2$ で最も高い割合となったことから, 両者を用いることの有効性が手動評価でも明らかと

図 4 人手評価に使用した画像の例 ${ }^{3}$

表 2 人手評価結果（正解率 $\leq 0.2$ ）

} &  \\

0.2 & 0.522 & 0.376 \\
0.5 & 0.509 & 0.353 \\
1.0 & 0.458 & 0.322

表 3 人手評価結果（正解率 $\geq 0.8 ）$

 &  \\

0.2 & 0.799 & 0.641 \\
0.5 & 0.781 & 0.617 \\
1.0 & 0.739 & 0.560 \\

なった.

## 5 おわりに

本論文では，物体検出と画像の顕著性を示す顕著性マップを用いて制約語を自動的に抽出・ランキン グする手法を提案した。さらにランキング上位の制約語がキャプションにどの程度含まれているか評価 を行った。その結果, 自動評価と人手評価双方によ り物体検出スコアと顕著性スコア双方を考慮するこ との有効性を示した. 本手法で自動抽出した制約語 を実際に画像キャプショニングへ組み込むことが今後の課題である.

2) MSCOCO val2014 COCO_val2014_000000324670.jpg

3) MSCOCO val2014 COCO_val2014_000000374010.jpg

## 参考文献

[1] Guangxiang Zhao, Junyang Lin, Zhiyuan Zhang, Xuancheng Ren, Qi Su, and Xu Sun. Explicit sparse transformer: Concentrated attention through explicit selection. CoRR, Vol. abs/1912.11637, , 2019.

[2] Anna Rohrbach, Lisa Anne Hendricks, Kaylee Burns, Trevor Darrell, and Kate Saenko. Object hallucination in image captioning. In EMNLP, 2018.

[3] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Guided open vocabulary image captioning with constrained beam search. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 936-945, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[6] Laurent Itti, Christof Koch, and Ernst Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on pattern analysis and machine intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998.

[7] Xiaodi Hou and Liqing Zhang. Saliency detection: A spectral residual approach. In 2007 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.

[8] Sebastian Montabone and Alvaro Soto. Human detection using a mobile platform and novel features derived from a visual saliency mechanism. Image and Vision Computing, Vol. 28, No. 3, pp. 391-402, 2010.

[9] Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, and Olga Russakovsky. Towards fairer datasets: Filtering and balancing the distribution of the people subtree in the imagenet hierarchy. In Conference on Fairness, Accountability, and Transparency, 2020.

[10] Hamid Rezatofighi, Nathan Tsoi, JunYoung Gwak, Amir Sadeghian, Ian Reid, and Silvio Savarese. Generalized intersection over union: A metric and a loss for bounding box regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 658-666, 2019.


# 因果的プロンプトによる NLI の敵対的ロバスト性の強化

Pride Kavumba $^{1,2}$ Ana Brassard $^{2,1} \quad$ Benjamin Heinzerling $^{2,1}$
坂口 慶祐 ${ }^{1,2}$ 乾 健太郎 1,2
1 東北大学 2 理化学研究所
kavumba.pride.q2@dc. tohoku.ac.jp
\{ana.brassard, benjamin.heinzerling\}@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## 概要

因果的プロンプトは, \{label\} because \{explanation $\}$ というテンプレートを用いることで，与えられた入力に特定のラベルを割り当てるだけでなく，このラ ベルをサポートする説明を生成することができる. この種のプロンプトはもともとモデルの解釈可能性 を向上させる目的で導入されたが，本論文では，因果的プロンプトが自然言語推論ベンチマークにおけ る敵対的摂動に対して，頑健性を向上させる効果が あることを示す.

## 1 はじめに

因果的プロンプトは，言語モデルに与えられた入力に特定のラベルを割り当てるだけでなく，その ラベルをサポートする説明を言語モデルに生成さ せる. 前提 "A soccer game with multiple males playing" と仮説 “Some men are playing a sport” を持つ自然言語推論（NLI）の例を見てみよう. predict-only の設定 では，モデルは entailment のようなラベルを生成す る必要がある. 因果的プロンプトでは，モデルもラ ベルとこのラベルをサポートする説明，例えば “It is entailment because playing soccer is playing a sport"生成しなければならない。

因果的プロンプトの当初の目的は，モデルの解釈可能性を向上させることであった [1]. この論文では，因果的プロンプトが敵対的な設定におけ るモデル性能の向上にもつながる点を調査する. Adversarial NLI[2] のような敵対的ベンチマークは, SNLI[3] のような従来のベンチマークに含まれる表層的手がかり (superficial cue) による「ショートカッ ト」要因を取り除いたものである.

敵対的ベンチマークにおける因果的プロンプトの 利点を調査するにあたり，本論文では因果的プロン
プトで自然言語推論タスクを解くために言語モデル を細かく設定し，その性能を Predict-only の設定と 比較した. 実験の結果，4つの敵対的な NLI データ セットと 2 つの非敵対的な NLI データセットにおい て，因果的プロンプトが一貫してパフォーマンスを 向上させることを発見した (§4). この性能向上は,異なるアーキテクチャサイズや異なるプロンプトの バリエーションにおいても一貫している. さらに分析を進めた結果，ラベルの具体的な言語化と説明と ラベルの因果関係の両方が，モデルの性能に重要で あることが明らかになった。最後に，Predict-only の 設定においてモデルがショートカットを可能にす る表層的なな手がかりに頼っていないことを確認 した.

## 2 因果的プロンプト

自然言語推論（NLI）では，与えられた入力に entailment や contradiction といったラベルを割り当て るようにモデルが学習される [3]. NLI データセッ トはモデル性能を評価する観点で優れている. しか し，これまでの研究では，NLI や他のデータセット には情報があることが示されている $[4,5,6]$. 例え ば, Gururangan et al.[4] は SNLI において，「not」な どの否定語が contradiction ラベルと強く結びついて いることを発見した.したがって，入力に「not」が 含まれる場合に contradiction と予測することが多い モデルは，高い精度を得ることができるが，実際に は自然言語推論に関する言語能力を獲得しているこ とにはならない。その結果，表層的な手がかりに依存するモデルは元々訓練されたデータセットでは高 い精度を出すが，表層的な手がかりを含まない入力 に対しては精度が低下するということが起きてし まう。

情報の問題に対処するためには，いくつかのアプ

ローチがある，一般的には，既存のデータセットか ら表面的な手がかりを削除するなど，データセット を慎重に作成するアプローチが多い。これは，敵対的フィルタリング (adversarial filtering) アドバー セーリエルフィルテリングによってサンプルを削除するか $[7,8,9]$, データセットを反実仮想的な例 で補強することで実現できる $[6,10]$. その他には敵対的トレーニングなどのトレーニング方法に着目し たアプローチもある $[11,12,13]$. しかし, この方法 では複雑な学習設定と高い計算量が必要になる. ま た，解説付きのマルチタスク学習をべースにしたア プローチもある [14].

Predict-only パラダイムとは異なり，因果的プロン プトでは予測に対するフリーテキストの説明をモデ ルに生成させる必要がある. モデルの解釈性を向上 させるために, Narang et. al. [1] は予測や自由記述 の説明を求めるプロンプトを導入した. 本書では， このパラダイムを因果的プロンプトと呼ぶことに する.

これまでの研究では，様々な条件下でモデルの解釈性を向上させるために，因果的プロンプトを採用 する様々な方法が検討されてきた. [15] は因果的プ ロンプトの説明の忠実度を, $[16,17]$ はモデルから 質の高い説明を抽出する方法を研究している.

このように，因果的プロンプトの解釈可能性は盛 んに研究されているが，敵対的な頑健性については 特に調査されていない. 因果的プロンプトは元のラ ベルと説明文からなる出力形式を持つため, 説明文 を生成する際に表層的な手がかりがモデルによっ て利用される可能性は低いと推測される. したがっ $\tau$ ，我々は因果的プロンプトが敵対的頑健性に正の 効果をもたらすと仮説を立て，以下の節でこの仮説 を検証する。

## 3 手法

プロンプトフォーマット 各 NLI 問題は premise と hypothesis を提供し, モデルは entailment, neutral, contradiction の 3 つのラベルのうち 1 つを出力する 必要がある．これに対して，以下のようなプロンプ ト形式を因果的プロンプトと呼ぶことにする。
- INPUT: Is this true and why? \{premise\} implies \{hypothesis\}
- OUTPUT: $\{$ Yes or No $\}$ it is $\{$ label $\}$ because \{explanation \}

ここでは，入力と出力の両方が（ラベルではなく）自然文になっており，タスクは自然言語の質問と回答という形式をとっている. 予測は大きく 2 のス テップに分かれる. まず，与えられた前提と仮説に 含意関係があるかという分類問題に対し entailment, neutral, contradiction のいずれかのラベルを予測す る. そしてラベルに応じて, entailment の場合は “Yes it is ...” が， neutral と contradiction の場合は “No it is ...” が出力する. 本稿ではこれを「マルチステッ プ・バーバライザー」と呼ぶ.これは，一段階また は一語のバーバライザーを使用した従来の研究とは 異なる。例えば, entailment は “yes”, contradiction と neutral は “no”, “maybe” と一語で表されることが多 い [19]. 最後に，予測の根拠を説明することで出力 は完了する. 本研究では, 因果的プロンプトが敵対的頑健性に及ぼす効果に着目し，プロンプトが性能 へ与える効果を検証した。

ベンチマーク e-SNLI [14], Adversarial NLI (ANLI) [2], SNLI Hard [4], NLI Diagnostic [20], Heuristic Analysis for NLI Systems (HANS) [21], CounterfactuallyAugmented NLI (Counter-NLI) [10] でモデルを評価 する。

トレーニングセットアップ モデルのトレーニン グには，3/4 の e-SNLI とすべての ANLI データが使用される。なお，ANLIでは一部の説明のみで，足 りない部分はプロンプトテンプレートを修正して対応した。

## 4 実験結果

因果的プロンプトは敵対的ロバスト性を向上させ るか？ 因果的プロンプトを用いた学習により，ほ ぼすべてのベンチマークですべてのモデルの性能 が向上し，これまで報告されている State-of-the-art の精度を上回るケースも見られた (表 1)．T5-3B [22] はサイズが小さいにもかかわらず全体的に高い性能を示したが，これは T0 [23] がメモリの制限によ り, 他のモデルで使用するバッチサイズとシーケ ンス長の $1 / 4$ を使用したためである. また, HANS データセットは、 $\mathrm{T} 5$ と $\mathrm{T} 0$ モデルにとって挑戦的であることが証明された。 5 と T0 モデルは、 Subsequence(Sub) や Constituent(Cons) の 敵対的攻撃 に対してまだ脆弱な可能性がある。このモデルの Lexical Overlap (Lex) と subsequence、Constituent の格差は，さらなる分析のための興味深い道であると思 われるが本稿の範囲外である。他のすべてのべンチ マークにおいて, 因果的プロンプトモデルは, ドメ

} & \multicolumn{2}{|c|}{ T5-Small (60M) } & \multicolumn{2}{|c|}{ BART-Base (125M) } & \multicolumn{2}{|c|}{ BART-Large $(400 \mathrm{M})$} & \multicolumn{2}{|c|}{ T5-Large (770M) } & \multicolumn{2}{|c|}{$\mathrm{T} 5-3 \mathrm{~B}(3 \mathrm{~B})$} & \multicolumn{2}{|c|}{$\mathrm{T} 0 *(11 \mathrm{~B})$} \\

表 1: predict-only (PR) と因果的プロンプト (EXP) でトレーニングされたモデルの平均予測精度. 現在の最新技術は WT5 [1], BERT-Sup-ATT [18], InfoBERT [12], RoBERTa-AFLITE [9], BERT [10], RoBERTa-AFLITE [9] e-SNLI、ANLI、および SNLI-Hard は、ドメイン内のテスト セットである.

イン内設定と敵対的ドメイン外設定の両方に対し て明確な改善を示している。このように，因果的プ ロンプトは敵対的攻撃に対するモデルの頑健性を概 ね向上させ，全体として NLI 予測性能を向上させた と結論付けることができる.

結果はアーキテクチャ/サイズに依存するか？ モデルサイズが性能に与える影響を調べるため，パ ラメータが 6,000 万から 30 億までの 6 種類のモデ ルを評価した。これらのモデルには，125M と $400 \mathrm{M}$ のパラメータを持つ BART [24] の 2 つのバリエー ションと，60M，770M，3B のパラメータを持つ T5 の 3 つのバリエーションが含まれている. 表 1 から わかるように，ANLI データセットでは，モデルサ イズと性能の間に明確な関係があり，より大きなモ デルがより良い結果を出していることがわかる.

## モデルは表層的手がかりの影響を受けているか？ モデルが表層的な手がかりの影響を受けているか 調べるため, 先行研究に従って仮説のみで学習した モデルの性能を比較した [4]. 仮説のみで学習する、 つまり、前提がない不完全なタスク設定になるた め，表層的な手がかりの影響を受けないモデルはラ ンダムな精度になると考えられる。

本実験ではラベル予測のみを学習し他モデルと因果的プロンプトで学習したモデルを比較した. その 結果, predict-only モデルはランダム性能を上回って いる $(63.7 \%$ vs $33.3 \%)$ 一方、因果的プロンプトモ
デルはランダムな精度になっており, 表面的な手が かりの影響を受けていないことがわかった。

## 因果的プロンプトはトークンとラベルの関連性を弱めるか？ 入力の単語と学習セットのラベルの関係を理解するために，それらの間の自己相互情報量 (PMI) を計算する。これにより，特定のラベルと強 く結びついている言葉や，因果的プロンプトを使用 したときにその結びつきがどのように変化するかを 特定することが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word, label })}{p(w o r d, \cdot) p(\cdot, \text { label })}
$

Gururangan et al. [4] と同様に，ラベルと最も強 く関連する単語を強調するため，PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語は contradiction というラベルと強く結びついているが，因果的プロンプトを使うとこの関連はなくなる (付録 A，図 1).この結果は，仮説のみのモデルの結果 とも一致する。

## モデルはプロンプトの微小な違いに敏感か？ れまでの研究で，モデルはプロンプトに対して非常 に敏感であることが示されている [19]ため，我々も クラウドソーシングのプロンプトソースプロジェ

表 2: e-SNLI と CounterNLI (CNLI) の開発セットに関するプロンプトの感度. 数値は predict-only/因果的プロ ンプトの平均精度である．因果的プロンプトの標準偏差が低いほど，安定性が高いことを示している。

表 3: 切除した説明文を用いて学習させた $\mathrm{T} 0$ モデル の平均予測精度

クトから入手した 5 種類のプロンプトを用いて比較を行った. 各モデルについて， 3 種類のランダム シードで 3 回の実験を行った. なおリソースの制限 から，この実験では $\mathrm{T} 0$ を除外し，e-SNLI からラン ダムにサンプリングした 2 万個のインスタンスのみ を使用した。

実験の結果，因果的プロンプトモデルはより優れ た汎化性を示し, 敵対的な攻撃に対してより頑健で ある (表 2)ことがわかった。

説明には因果関係が必要か？説明における因果関係の有無の影響を調べるため，因果的プロンプ トの説明文を，全くランダムな文から類似の文ま で，無関係の文に置き換えたモデルで実験を行っ た. 具体的には，（i）ランダムな文字，（ii）ランダ ムな単語，(iii）BookCorpus [25] の低類似度文，(iv) BookCorpus の高類似度文の設定を比較し, 元の説明文との類似度は SentenceBERT [26] を用いた.すべ てのモデルは e-SNLI からランダムにサンプリング した 20K 個のインスタンスで学習させた. 実験の結果，元の説明文を用いた生成が最も高い精度を示し た. ランダムな説明や無関係な説明では性能が低下 するため，因果関係のある説明を予測するようにモ デルを訓練することで，敵対的な頑健性が向上する
ことが確認された (表 3).

因果的プロンプトはモデルのパフォーマンス を向上させるか？ このことを確認するために， 1 段階の発話によるプロンプト (\{label $\}$ because \{explanation \}) と多段階の発話によるプロンプト (Yes/No it is $\{$ label $\}$ because $\{$ explanation $\}$ ) を用い て，説明を加えた場合と加えない場合の両方を $\mathrm{T} 0$ に学習させた. predict-only モデルは，シングルス テップ・バーバライザーで $87.2 \%$ ，マルチステップ・ バーバライザーで $88.4 \%$ の精度を達成した。一方，因果的プロンプトモデルはシングルステップ・バー バライザーで $90.9 \%$ ，マルチステップ・バーバライ ザーで $91.6 \%$ という精度を達成した. predict-only と 因果的プロンプトのいずれの設定でも，多段階の バーバライザーを追加することで，1 段階のものよ りも改善が見られた。

## 5 おわりに

本研究では，因果的プロンプトが自然言語処理モ デルの敵対的頑健性に与える影響について検討し た. 実験の結果から，因果関係のプロンプトを使用 することで，敵対的な攻撃に対するモデルの頑健性 を向上させることができることが示された．具体的 には，因果的プロンプトモデルは，（1）表層的な手 がかりによる影響を受けなくなったこと，（2）因果関係の説明や多段階の言語化で最も効果的であるこ と，（3）プロンプト形式の違いに頑健であること， (4) モデルサイズが大きくなると性能が向上するこ と，そして (5) 因果的プロンプトの使用により入力単語とラベルの関連性が低下すること，を示した。

## 6 謝辞

本研究は，JST，CREST，JPMJCR20D2 の支援を受 けたものである。本研究は JSPS 科研費 JP21K21343,

21K17814 の助成を受けたものです.

## 参考文献

[1] Sharan Narang, Colin Raffel, Katherine Lee, Adam Roberts, Noah Fiedel, and Karishma Malkan. Wt5?! training text-to-text models to explain their predictions, 2020.

[2] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In 58th Annual Meeting of the ACL. ACL, 2020.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In 2015 EMNLP, pp. 632-642, Lisbon, Portugal, September 2015. ACL.

[4] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. ACL.

[5] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In 2018 EMNLP, pp. 4208-4219, Brussels, Belgium, October-November 2018. ACL.

[6] Pride Kavumba, Naoya Inoue, Benjamin Heinzerling, Keshav Singh, Paul Reisert, and Kentaro Inui. When choosing plausible alternatives, clever hans can be clever. In First Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China, November 2019. ACL

[7] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In 2018 EMNLP, pp. 93-104, Brussels, Belgium, October-November 2018. ACL

[8] Rachel Rudinger, Jason Naradowsky, Brian Leonard, and Benjamin Van Durme. Gender bias in coreference resolution. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 8-14, New Orleans, Louisiana, June 2018. ACL

[9] Ronan Le Bras, Swabha Swayamdipta, Chandra Bhagavatula, Rowan Zellers, Matthew Peters, Ashish Sabharwal, and Yejin Choi. Adversarial filters of dataset biases. In Hal Daumé III and Aarti Singh, editors, 37th International Conference on Machine Learning, Vol. 119 of PMLR, pp. 1078-1088. PMLR, 13$18 \mathrm{Jul} 2020$.

[10] Divyansh Kaushik, Eduard Hovy, and Zachary C Lipton. Learning the difference that makes a difference with counterfactually augmented data. ICLR, 2020.

[11] Yonatan Belinkov, Adam Poliak, Stuart Shieber, Benjamin Van Durme, and Alexander Rush. On adversarial removal of hypothesis-only bias in natural language inference. In Eighth Joint Conference on Lexical and Computational Semantics (*SEM 2019), pp. 256-262, Minneapolis, Minnesota, June 2019. ACL.

[12] Boxin Wang, Shuohang Wang, Yu Cheng, Zhe Gan, Ruoxi Jia, Bo Li, and Jingjing Liu. Infobert: Improving robustness of language models from an information theoretic perspective. In ICLR, 2021.

[13] Xiaodong Liu, Hao Cheng, Pengcheng He, Weizhu Chen, Yu Wang, Hoifung Poon, and Jianfeng Gao. Adversarial training for large neural language models, 2020.

[14] Oana-Maria Camburu, Tim Rocktäschel, Thomas Lukasiewicz, and Phil Blunsom. e-snli: Natural language inference with natural language explanations. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp.
9539-9549. Curran Associates, Inc., 2018.

[15] Sarah Wiegreffe, Ana Marasović, and Noah A. Smith. Measuring association between labels and free-text rationales. In 2021 EMNLP, pp. 10266-10284, Online and Punta Cana, Dominican Republic, November 2021. ACL

[16] Ana Marasovic, Iz Beltagy, Doug Downey, and Matthew Peters. Few-shot self-rationalization with natural language prompts. In Findings of the ACL: NAACL 2022, pp. 410-424, Seattle, United States, July 2022. ACL

[17] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. ACL.

[18] Joe Stacey, Yonatan Belinkov, and Marek Rei. Supervising model attention with human explanations for robust natural language inference, 2021

[19] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In 2021 Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 2339-2352, Online, June 2021. ACL.

[20] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. ACL.

[21] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In 57th ACL, pp. 3428-3448, Florence, Italy, July 2019. ACL.

[22] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[23] Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush. Multitask prompted training enables zero-shot task generalization, 2021.

[24] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In 58th Annual Meeting of the ACL, pp. 7871-7880, Online, July 2020. ACL.

[25] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In The IEEE International Conference on Computer Vision (ICCV), December 2015.

[26] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In 2019 EMNLP and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. ACL.

## A PMI

(a) Predict-only $の$ PMI

(b) 因果的プロンプトの PMI

図 1: 仮説語句の PMI 統計. (a) Predict-only 設定での PMI. (b) 因果的プロンプト設定での PMI. 仮説に 含まれる単語は、Predict-only ラベルと強く結びつい ている. 因果的プロンプトでは、仮説語とラベルの 関連は負の関連に低下する。

入力の単語と学習セットのラベルの関係を理解す るために，それらの間の自己相互情報量 (PMI) を計算する。これにより, 特定のラベルと強く結びつい ている言葉や，因果的プロンプトを使用したときに その結びつきがどのように変化するかを特定するこ とが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word }, \text { label })}{p(\text { word }, \cdot) p(\cdot, \text { label })}
$

Gururangan et al.[4] と同様に，ラベルと最も強く関連する単語を強調するため, PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語 は contradiction というラベルと強く結びついている が，因果的プロンプトを使うとこの関連はなくなる (図 1).この結果は, 仮説のみのモデルの結果とも 一致する。


# 日本語に特化した 60 億パラメータ規模の GPT モデルの構築と評価

麻場直喜 梅沢知紀 川村晋太郎
株式会社リコー
}

\{naoki.asaba， tomoki. umezawa， shintaro. kawamura\}@jp. ricoh.com
## 概要

GPT-3をはじめとする Transformerベースの大規模 な事前学習済及言語モデルは，様々な下流タスクを 高精度に解けることが報告されている。一方でこれ らの大規模言語モデルの多くは英語を対象言語とし ており, 日本語を対象言語とした検証はまだ少ない.本稿では, 60 億パラメータの日本語 GPT モデル (Japanese-GPT-6B)の事前学習を行い, 日本語言語理解ベンチマーク JGLUE の質問応答タスク 2 種を用 いて, in-context learning による few-shot 性能評価を 行った結果について報告する.

## 1 はじめに

近年, Transformer[1]をベースアーキテクチャとし たニューラル言語モデルの大規模化が活発に進めら れている. 特に Transformer の decoder のみを用いた 言語モデルで, 重みパラメータ数を大規模化かつ学習データ量を大規模化して事前学習を行った GPT-3[2]や PaLM[3]などのモデルが, 様々な下流夕 スクを高精度に解けることが報告されている. 本稿 では, これら decoder に特化した大規模な言語モデ ルを, BERT[4]に代表される encoder に特化したマス ク言語モデルや, T5[5]に代表される系列変換モデル と区別する意味で, 大規模生成系言語モデルと呼ぶ こととする. なお, 大規模か否かを分ける境界の定説はないが，本稿では重みパラメータ数が概ね数十億 $($ 十億 $=$ Billion, 以後 ' $\mathrm{B}$ ’ と表記）以上のものを 大規模と想定している.

大規模生成系言語モデルは，プロンプトと呼ばれ るタスク説明文と少数の例文を与えるのみで, 重み パラメータを更新することなく様々な言語タスクを 高精度に解くことができる. この手法は in-context learning[2]や prompt-based learning[6]と呼ばれ, 汎用性と高精度を両立した新パラダイムといえる。この パラダイムシフトはビジネス応用において重要であ
り，大規模生成系言語モデルへの入力プロンプトを 最適化するプロンプトエンジニアリングや, 出力文 に対する後処理技術を含めた使いこなし方を確立で きれば，様々なユースケースに対する素早い実用化 が期待できる.

しかし, 既存の大規模生成系言語モデルの多くは 英語を対象としており，日本語を対象とした検証は まだ少ない。言語資源の観点からも, 公開テキスト データ, 公開事前学習済みモデル, 公開ベンチマー クデータセットなどはいずれも英語と比較して日本語では少ない. 例えば英語モデルにおいては, 公開 の事前学習済みモデルである GPT-J-6B[7]は6B パラ メータ, OPT[8]は 175B パラメータ, 非公開の事前学習済みモデルである PaLM は 540B パラメータで ある。一方で日本語モデルにおいては, 公開の事前学習済みモデルとしては株式会社 ABEJA の 2.7B パ ラメータ（gpt-neox-japanese-2.7b）, 非公開の事前学習済みモデルとしては同じく株式会社 ABEJA の 13B パラメータが最大と思われる[9].

本研究では, 日本語に特化した大規模生成系言語 モデルの実用化を目指して, 6B パラメータの日本語 GPT モデル(Japanese-GPT-6B)を開発している. 本稿 では，日本語言語資源を用いた大規模生成系言語モ デルの事前学習及び性能評価事例の共有を目的とし，日本語 170B トークンで事前学習して評価を行った 結果について報告する。評価では日本語言語理解心゙ ンチマーク JGLUE[10]の質問応答タスク 2 種を用い て, in-context learning による few-shot 学習性能を評価した。結果は GPT-J-6B と比較して優位であり,日本語特化の効果を確認した。

## 2 モデル構築

## 2. 1 モデル設計

本稿で報告する Japanese-GPT-6B は Transformer の decoder に特化した自己回帰モデルであり，GPT-3

のアーキテクチャを踏襲している. 重みパラメータ 数は GPT-J-6B 同等の 6B に設定した. 表 1 に主な モデルネットワーク仕様を示す.

トークナイザは, 2.2 節で述べる日本語学習データ の一部を用いて SentencePiecei[11]のユニグラム言語 モデルを学習して構築した. 語彙数は約 5 万とし,

SentencePiece $の$ byte-fallback を有効にすることで未知語の発生を防いでいる.

## 2.2 学習データ

Japanese-GPT-6B の事前学習には以下 4 つの公開 データの日本語版を用いた.

- Wikipedia：インターネット百科事典

- CC100, OSCAR, mC4 : Web 上のテキストをス クレイピングした Common Crawl コーパスを言語分類及びクレンジングしたデータ

日本語版の概算データ容量は Wikipedia $7 \mathrm{~GB}, \mathrm{CC} 100$ 70GB, OSCAR 100GB, mC4 800GB である. これら の学習データに対して, 追加のクレンジング処理と,

2.1 節で述べたトークナイザを用いたトークン化処理を行った. また，一部のデータを事前学習におけ るバリデーション用の開発データとして分割し, 最終的に学習データ量は合計 170B トークンとした.

## 2.3 学習環境

Japanese-GPT-6B の事前学習では 80 個の NVIDIA A100 40GB GPU を用いて分散学習を行った. 学習を 実行するプラットフォームは Amazon SageMaker を 用いた. NVIDIA DGX A100 320GB のインスタンス に搭載された 8 個の A100 GPU にテンソルパラレル でモデルをロードし,そのインスタンスを 10 台用い てデータパラレルで並列化した。

学習コードは Amazon Web Services, Inc.が公開し ている分散学習向けGPT2学習コードサンプルiをべ ースとした. ディープラーニングのフレームワーク は PyTorch である.

## 2.4 ハイパーパラメータ

表 2 に, Japanese-GPT-6B $の$ 事前学習における主 なハイパーパラメータを示す.

https://github.com/aws/amazon-sagemaker-examples/tree/main /training/distributed_training/pytorch/model_parallel/gpt2表 1 Japanese-GPT-6B の主なネットワーク仕様

表 2 Japanese-GPT-6B の事前学習における主なハイ パーパラメータ

バッチサイズは GPT-J-6B と同様に $1 \mathrm{M}$ トークンと した.

学習コストの制約から，学習データ $170 \mathrm{~B}$ トーク ンを一通り学習した時点で事前学習を終了した。す なわちエポック数を 1 とし, 学習ステップ数は $170 \mathrm{k}$ ステップとなった.

学習率の最大值は GPT-3 6.7B モデルと同様に 1.2 $\times 10^{-4}$ とした. 但し, GPT-3 6.7B モデルのバッチサ イズが $2 \mathrm{M}$ トークンであることを考慮すると Japanese-GPT-6B はその 1/2であるため, ノイズスケ ールは 2 倍となることに注意が必要である.

上記ハイパーパラメータにて事前学習 1 エポック の所要時間は 14 日であった。

## 3 評価

2 節で述べた事前学習を行った Japanese-GPT-6B に対して, 下流タスク性能の評価を行った. 主な比較対象は公開の大規模生成系言語モデルである GPT-J-6B とした. 表 3 に各モデルの仕様を示す. Japanese-GPT-6B と GPT-J-6B のモデルサイズは同等で, 主な違いは日本語特化の有無であり, 日本語 に特化することの効果を測る。

## 3. 1 評価方法

本評価においては事前学習済みモデルのファイン チューニングは行わず，プロンプトとしてタスク説明文と少数の例文を与える in-context learning によ る few-shot 学習でタスクを解くこととする.
表 3 評価対象の大規模生成系言語モデルの仕様. Japanese-GPT-6B の学習データとトークナイザは日本語に 特化しており，学習データの末尾の“-ja”は各データの日本語版であることを示す.

 & 170B tokens & SentencePiece \\

評価用のタスク及びデータセットとしては，日本語の生成系タスクのベンチマークで公開されている ものはないため，生成系タスクに近いタスクとして 日本語言語理解ベンチマーク JGLUE iiiから下記 2 種 の質問応答タスクを採用する.

- JCommonsenceQA

- JSQuAD

使用した JGLUE のバージョンは v1.1.0 である. テ ストデータは非公開であるため, 開発データセット と同量のデータ (JCommonsenceQA は question 数が 同量, JSQuAD は title 数が同量）を学習データセッ トからランダム分割してテストデータセットとして 用いた. 残りの学習データセットから few-shot 用の 例文を抽出してプロンプトを作成した．プロンプト のチューニングには開発データセットを用いた.

表 4 に, 各評価タスクにおけるプロンプト及び生成した回答文の例を示す，各タスクに対する回答は 文生成によって行う. 回答文生成には Transformers ${ }^{\text {iv }}$ を用いた。常に確率最上位のトークンを生成する貣欲法にて文生成を行った.

JCommonsenceQA 常識的知識を問う質問文 に対して, 選択肢として与えられた 5 択から最も適切な回答を 1 つ選択するタスクである. JGLUE デー タセットの選択肢には 1 から 5 の選択肢番号が付与 されているが本評価ではその選択肢番号は用いず，選択肢の各文字列を生成させて Exact Match で正否 を判定して Accuracy を算出した. 生成文が選択肢の 文字列のいずれにも合致しない場合は不正解とした。 Exact Match は JCommonsenceQA ベンチマークを解 く条件としては厳しい制約であるが，大規模生成系言語モデルの実用に向けては直接的に回答を生成し てほしいという期待からそのように設定している.
プロンプトとして与える例文の数は 3 例とした.

JSQUAD 与えられたコンテキストに関する質問に対して，回答をコンテキストから抽出するタス クである。評価指標は Exact Match と F1 であり，F1 は文字単位で算出した. 回答は文生成で行うため,生成文はコンテキストから抽出されるとは限らない が，評価指標算出においては回答がコンテキストか ら抽出されているか否かは不問とした。プロンプト として与える例文の数は 2 例とした. テストデータ 4,777 件のうち 6 件で GPT-J-6B の最大トークン長 2,048 トークンを超えたため, その 6 件はいずれのモ デルのテストデータからも除外した.

## 3. 2 評価結果

表 5 に, 本評価タスクにおける評価結果を示す.本評価の 2 つの質問応答タスクのいずれも，我々の Japanese-GPT-6B が GPT-J-6B と比較して性能が高い 結果であった。これは日本語の質問応答タスクに対 して，日本語に特化したモデルであることによる効果と考えられる。

表 6 に, JCommonsenceQA の評価において生成文 が選択肢のいずれかに合致した割合 (選択肢合致率) と，合致しなかった具体的な生成例を示す. いずれ のモデルも選択肢合致率は約 $99 \%$ であり，約 1\%は 選択肢と合致しなかった。しかし選択肢と合致しな かった場合でも意味としては合致しているものが多 く見られた.これらの結果は JCommonsenceQA のよ うな形式のタスクを in-context learning による few-shot 学習で正しく解くには, さらなる大規模化 が望ましいことを示唆している可能性がある.これ についてはさらなる検証が必要であり, 今後の課題 とする.

表 4 各評価タスクにおけるプロンプト及び生成した回答文の例. プロンプトを太字以外のテキストで, 生成した回答文を太字のテキストで示す. プロンプトはタスク説明文，例文，テスト用問題文で構成される.

 &  \\

表 5 JGLUE データセットを用いた in-context learning による few-shot 性能評価結果

表 $6 \mathrm{JC}$ CommonsenceQA データセットを用いた in-context learning による few-shot 性能評価における，選択肢合致率（テストデータ 1,119 件のらち，生成文が選択肢のいずれかに合致した件数の割合）と，合致しなか った生成例. タスク説明文や例文は省略し, テスト用問題文と生成した回答文 (太字)のみを記載している.

 \\

## 4 おわりに

本稿では, $6 \mathrm{~B}$ パラメータの日本語 GPT モデル

(Japanese-GPT-6B)の事前学習を行い, 公開データセ ット JGLUE の質問応答タスク 2 種を用いて in-context learning による few-shot 性能評価を行った 結果について報告した. 評価結果より, 我々の Japanese-GPT-6B は GPT-J-6B と比較して質問応答性能が優位であり, 日本語特化の効果を確認した.今後の展望としては, JGLUE の他のタスクでの in-context learning による few-shot 性能評価と, 同じ くJGLUE データセットを用いてファインチューニ ングした場合の性能評価を行う予定である。 さらに は生成系言語モデルの本来の用途である言語生成夕 スク性能の評価と, 生成文に対する後処理技術の検討を行い，大規模生成系言語モデルのビジネス応用 を目指す。

## 謝辞

本研究のモデル構築にあたり, Amazon Web

Services, Inc.の Amazon Machine Learning Solutions Labによる支援を頂きました。感謝いたします。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, 2020.

[3] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou,
Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. PaLM: Scaling Language Modeling with Pathways. arXiv preprint arXiv:2204.02311, 2022

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.

[6] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. arXiv preprint arXiv:2107.13586, 2021.

[7] Wang Ben and Komatsuzaki Aran. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/mesh-transformer-jax, 2021.

[8] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068, 2022

[9] ABEJA で作った大規模 GPT モデルとその道の り

https://tech-blog.abeja.asia/entry/abeja-gpt-project202207, 2022.

[10] 栗原健太郎，河原大輔，柴田知秀. JGLUE：日本語言語理解ベンチマーク。言語処理学会第 28 回年次大会, 2022 .

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018


# 日本語の大規模な基盤モデルに対する LoRA チューニング

王昊 ${ }^{1}$ 中町礼文 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学 ${ }^{2}$ LINE 株式会社
conan1024hao@akane.waseda.jp
\{akifumi.nakamachi, toshinori.sato\}@linecorp.com

## 概要

本研究では, 日本語の大規模基盤モデルを用いて， テキスト分類・生成タスクにおける LoRAチューニ ング [1]を検証した. 具体的には, XLSum[2] (要約), JNLI[3] (含意関係認識), JCommonsenseQA[3] (常識推論) の三つのタスクにて, LoRA チューニングとファ インチューニングを行い, チューニングしたモデル の精度や必要なパラメータ数や学習時間などの比較 を行った. 比較実験により,ファインチューニング と比較して, LoRA チューニングは計算時間やメモ リ使用量を大幅に低減でき, 推論の精度がファイン チューニングと同等以上であることを確認した.

## 1 はじめに

自然言語処理の諸課題において, 大規模なテキス トデータを用いた事前訓練による基盤モデルに基づ く手法が広く存在している. 特に, GPT-3[4] をはじめ とする超大規模な基盤モデルの追加訓練を伴わない Prompting に基づく手法が, 対話システム [5] などで 高い精度を達成している. 一方で, 超大規模な基盤モ デルによる Prompting に基づく手法では, Prompt の 複雑な前処理や, 事後フィルタリングを用いた再生成を伴う出力制御などに膨大な計算コストが必要に なる.また, 比較的に小規模な基盤モデルでも追加訓練によって, 特定タスクにおいて超大規模な基盤モ デルと匹敵する精度が出せる場合がある. さらに, 超大規模な基盤モデルでも追加訓練によって, 特定タ スクにて Prompting に基づく手法より高い精度を達成できる場合がある. 計算コストや精度の改善に向 けて, 基盤モデルにおける軽量な追加訓練 $[6,7,8]$ が ある. 本研究では, GPT-3 と同様な形式の日本語の基盤モデルを用いて, LoRA チューニング [1] と通常の ファインチューニングの比較検証を行い, メモリ使用量や訓練に必要な計算時間などの計算コストの評価や予測性能を評価した. 実験により, LoRAチュー

図 1: LoRA のアーキテクチャ

ニングはファインチューニングと同程度の性能を大幅に低い計算コストで達成できることを確認した。

## 2 LoRA チューニング

パラレルコーパス $\mathbf{Z}=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1 \cdots N}$ を用いた基盤モデル $P_{\Phi}(y \mid x)$ の追加訓練のデファクトスタン ダードな手法として, 全てのパラメータ $\Phi$ を, 式 1 のように最適化するファインチューニングがある. ファインチューニングでは, 事前訓練と同様に基盤 モデルのパラメータ $\Phi$ 全てを更新するため, モデル のサイズと比例して計算コストが増大する. LoRA チューニングでは, 式 2 のように, 小規模なパラメー タ $\Delta \Phi(\Theta)$ を導入し, 基盤モデルのパラメータ $\Phi_{0}$ を 固定し $\Phi_{0}+\Delta \Phi(\Theta)$ とし, $\Delta \Phi(\Theta)$ のみを更新する. 特 に, 図 1 で示すように, 基盤モデルのパラメータ $\Phi_{0}$ のうち, パラメータ $W_{0} \in \mathbb{R}^{d \times k}$ を持ち, 入力 $z$ から密 ベクトル $h$ を出力する線形層 $h=W_{0} z$ に対して, 低 ランク行列 $A \in \mathbb{R}^{r \times k}, B \in \mathbb{R}^{d \times r}, r \ll \min (d, k)$ を用い て $h=W_{0} z+B A z$ とし, $B, A$ のみを最適化する.

$
\begin{aligned}
& \max _{\Phi} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\Phi}\left(y_{t} \mid x, y<t\right)\right) \\
& \max _{\Theta} \sum_{(x, y) \in \mathbf{Z}} \sum_{y_{i}}^{|y|} \log \left(P_{\left.\Phi_{0}+\Delta \Phi(\Theta)\right)}\left(y_{t} \mid x, y<t\right)\right)
\end{aligned}
$
表 1: データセットの統計量

超大規模な基盤モデルの $W_{0}$ のランク $d$ は非常 に大きく, 例えば 1750 億のパラメータを持つ 175B GPT-3 は $d=12,288$ であるのに対し, $r$ は 1 でも 2 で も実行できる. 英語における先行研究による $175 \mathrm{~B}$ GPT-3 を用いた検証では, GPUメモリを三分の一, 学習可能なパラメータ数を一万分の一に削減しつつ, ファインチューニングと同等以上の精度を達成して いる. GPT-3 の他に, RoBERTa ${ }_{\text {base }}$ [9], DeBERTa ${ }_{x x l}[10]$, GPT $2_{\text {medium }}[11]$ による検証でも, ファインチューニ ングと同等以上の精度であった。

他手法との比較として, Adapter チューニング [7] では, Transformer[12] の各部分に Adapter 層が追加 されることにより, 推論時の計算コストが LoRA チューニングよりも増加する. また, Prefix チューニ ング [8] では, 入力の一部を接頭辞に分ける必要があ るため入力長が短くなるが, LoRA チューニングで は, 入力長を元のモデルのままに保つことができる.

## 3 実験

本実験では, LINE が作成している日本語の GPT のうち, 10 億個のパラメータを持つ $1 \mathrm{~B}$ モデルと 67 億個のパラメータを持つ 6.7B モデルを使用し, XLSum[2], JNLI[3], JCommonsenseQA[3] のタスクで, LoRA チューニングとファインチューニングの比較検証を行った。

## 3.1 データセット

基盤モデルの言語理解の性能評価として, 含意関係認識タスクの JNLI や, 常識推論タスクの JCommonSenseQA の評価を行った. また, 自然言語生成の生成を測るため, 要約ベンチマークデータセッ トの XLSumのうち, 日本語のサンプルのみを抽出し 評価を行なった。

## 3.1.1 JNLI

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる含意関係認識タスクである. 含意関係認識タスクでは, text1, text2 の 2 つの文の間に 含意関係があるかを含意/中立/矛盾の 3 段階で判定
する. 比較実験では, モデルに対して文のぺアをモデ ルに与えて, 含意/中立/矛盾のいずれかの label のテ キストを生成させる. 評価は Accuracy を用いる.

## 3.1.2 JCommonsenseQA

日本語の言語理解ベンチマークデータセットの JGLUE[3] に含まれる常識推論能力を評価するタス クである. 質問文 (question) と 5 つの選択肢のテキ スト (choice0 - 4) のを与え, 正解のテキスト (label) を出力する. ラベルのインデックスを直接出力する BERT[13] などと異なり,ラベルテキストを生成する 形式の本実験では, 選択肢にない回答を出力する場合が存在する. そこで本実験では, モデルに対して質問文と選択肢を与え,生成されたテキストに対して の Exact Match (出力文字列と正解文字列が完全一致 した出力を返した割合)を評価指標として用いる.

## 3.1.3 XLSum

XLSum は, BBC の記事の本文や要約文から作成さ れた 44 言語を含むニュース要約タスクであり, 本文 から要約文を生成する. 日本語の GPT の評価とし て, 本研究では XLSum の日本語部分のみを用いる.自動評価の指標として ROUGE[14] を用いる.

## 3.1.4 データセットの分割

JNLI と JCommonsenseQA は Train データと Validation データのみが公開されており Test データが公開 されていない. そこで, 本研究で ハイパーパラメー タの探索などのための擬似的な Validation データと して元の Validation データの半分を用い, 残り半分 を比較検証の際の Test データとして用いた. それぞ れのタスクのサンプル数と, モデルへの入力フォー マットは, 表 1 に示す.

## 3.2 モデル

本研究では GPT-3 と同様な形式の基盤モデルを使用し比較実験を行う. モデルは LINE が独自に構築 した JPLM コーパスで事前学習を行った. 1B モデル の Layer 数は 24, Hidden Dimension は 2, 048, Attention

※ XLSum の評価指標は ROUGE-1/ROUGE-2/ROUGE-1.

Head は 16 で, 6.7B モデルの Layer 数は 32 , Hidden Dimension は 4, 096, Attention Head は 32である. 両モ デルの Max Position Embedding は 2, 048 である.

## 3.3 実験設定

本実験では, $1 \mathrm{~B}$ モデルと $6.7 \mathrm{~B}$ モデルそれぞれに 対し, LoRA チューニング (LoRA) とファインチュー ニング (FT)を行い, 予測性能や学習時間, メモリ 使用量などの比較した. LoRA, FT それぞれの実験 に用いたハイパーパラメータの探索範囲を表 3 に 示す. LoRA Weight は, Self-Attention の内部の query, key, value の 3 つの線形層と, 出力層 (output)の重み $W_{q}, W_{k}, W_{v}, W_{o}$ への LoRA の適用の組み合わせの設定を表す. LoRA $r$ は, LoRA における低ランク行列 の $r$ である. また, 特に JNLI や JCommonsenseQA に おいて, ラベルを直接生成できる BERT 系モデルと 異なり, モデルが存在しない解答のテキストを生成 する場合があるため, そのような場合は, 解答失敗 として取り扱った. 本実験では NVIDIA A100 (80GB) を用いた. また, 6.7B FTについては, モデルのサイズ の都合上, 8 枚の NVIDIA A100 (80GB) を用いている.

表 3: 比較実験に用いたハイパーパラメータ

## 3.4 実験結果

表 2 に示した結果より, 本研究でのハイパーパラ メータの探索範囲内では, 1B-LoRA は JNLI 以外の タスクにおいて, 適切な推論を行えなかった. 特に， JCommonsenseQA では, 1B-FT はほぼ全ての入力に 対して解答候補のいずれかを生成したが, 1B-LoRA では解答候補が出力されることはなかった. 以上よ り 1B-LoRA は, タスクの難易度やハイパーパラメー タの探索範囲に敏感であると考えられる。

また, 6.7B FT について, XLSumをのぞいて, 6.7B LoRA とほぼ同程度の精度であったが, GPUメモリ の使用量や訓練の計算時間が膨大であった. 特に, 6.7B LoRA や 1B の実験では 1 枚の GPU 上でモデル を訓練できるが, 6.7B FT は 8 枚の GPUを用いての み訓練が可能だった。

6.7B FT 1B FT などと比較して 6.7B-LoRA は全 てのタスクにおいて, 大幅に小規模なメモリと計算時間で高い性能であった. 実験結果より, 6.7B-LoRA は,ハイパーパラメータの探索を広く行うことで, 小規模なモデルより高い性能を得られた。

また, BERT 系モデルとの比較の参考として, RoBERTa-large の評価結果を引用している.1）よって，直接的な比較は行えないが, BERT 系のモデルと同等以上の予測性能であることを確認できた.
^{1)}$ https://github.com/yahoojapan/JGLUE. JGLUE の評価では, Validation データ全てを用いて評価を行っているため, 本研究の他 の実験と評価データが異なる.
}
表 4: XLSum の生成例

}} \\

## 3.5 ハイパーパラメータ探索

$\mathrm{Hu}$ ら [1] は, LoRA の学習率として $2 e-4$ を用い ているため, 本実験も $2 e-4$ を探索範囲に含めた. ハイパーパラメータの探索の結果, 大規模なモ デルのチューニングは, 小規模なモデルに比べて ハイパーパラメータに敏感であることが確認さ れた. 特に, LoRA チューニングの性能は, 学習率 などのハイパーパラメータだけでなく, LoRAを 適用する箇所や $r$ などのハイパーパラメータも 強い影響があり, 多くのハイパーパラメータでは 学習が適切に行えなかった. LoRA の Attention の 重みタイプと低ランク分解行列の次元 $r$ につい ては, JNLI と JCommonsenseQA の両タスクにおい て, 一番コストが小さい組み合わせ $($ Weight Type $=$ $W_{q}+W_{v}$, Adapter Dim =4) が最適となっている一方, XLSum において一番コストが高い組み合わせ $\left(\right.$ Weight Type $=W_{q}+W_{k}+W_{v}+W_{o}$, Adapter Dim $\left.=16\right)$ が最適であった. LoRAチューニングは, タスクに 応じて, 最適な低ランク行列が大きく異なると考え
られる.また, 6.7B FT でも, 1B FT と比較してより 広範な探索が必要であり,超大規模な基盤モデルの チューニングは, 効率的なハイパーパラメータの探索が重要であることが確認された.

## 4 まとめ

本研究では, 日本語の大規模な基盤モデルを用い $\tau$, 含意関係認識, 常識推論, テキスト要約の 3 つ のタスクを用いてファインチューニングと LoRA チューニングの比較を行った. 実験結果より, 日本語の大規模な基盤モデルのチューニングにおいて， LoRA チューニングがメモリ消費量や計算時間の観点で効率的であることを確認した。

## 謝辞

本研究は LINE 株式会社でのインターン成果で ある。

## 参考文献

[1] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. In International Conference on Learning Representations.

[2] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, 2021.

[3] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, pp. 18771901, 2020.

[5] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベー スを統合した HyperCLOVA を用いたマルチモーダ ル雑談対話システム. 第 96 回言語・音声理解と対話処理研究会 (第 13 回対話システムシンポジウム), pp. 113-118, 2022.

[6] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 1-9, 2022.

[7] Ruidan He, Linlin Liu, Hai Ye, Qingyu Tan, Bosheng Ding, Liying Cheng, Jiawei Low, Lidong Bing, and Luo Si. On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2208-2222, 2021.

[8] Xiang Lisa Li and Percy Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 4582-4597, 2021.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint
arXiv:1907.11692, 2019

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Chen Weizhu. In International Conference on Learning Representations.

[11] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[14] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.


# Doc2Vec と BERT を用いた比較法研究における類似条項の対応付け

小関 龍也 ${ }^{1}$ 長 裕樹 $^{1}$ 中村 誠 $^{1}$
${ }^{1}$ 新潟工科大学 工学部
mnakamur@niit.ac.jp

## 概要

比較法学研究において、日本法と外国法について、自動で類似部分を条項単位で対応づけられれば有用 である。本研究の目的は、外国法と日本法の類似条項の対応付けについて BERT と入力長制限のない Doc2Vecの性能評価をすることである。本研究では、 いくつかの類似文書検索によって生成された文書べ クトルの類似度を用いて、類似条項の検索を行う。実験から、類似した日本法同士の対応付けでは Jaccard 係数が最も高い性能を示したが、NNである Doc2Vec と BERT についても類似条項の対応付けに 有効であることを確認した。

## 1 はじめに

比較法とは、種々の法体系における法制度又は法 の機能を比較することを目的とする学問である。比較とは(1)比較されるものの間にある類似点と相違点を明らかにする。(2)類似点と相違点の生じる原因 を明らかにする。(3)相違点の存する場合は、どちら がより優れているか評価することであるとされてい る[1,2]。また、今日最も確固とした法体系を持つの は国家であるから、比較法は通常国家法相互の比較 を指す[3]。比較法の実務的な効用として、自国法の 立法的整備、解釈・適用の改善が挙げられる。実際 に法制審議会において、図 1 のように比較法として 日本法と諸外国法の類似条項が提示された例がある。

図 1 法制審議会における実際の対応付け比較法研究においては、日本法と外国法の類似点 を足掛かりとして研究を行う場合がある。このとき 日本法と外国法との類似部分を対応付けたデータを 作成することが考えられる。しかし、正確な対応付 けには、専門的な知識が必要であり、非常に労力が かかる。このとき自動で対応付けが出来れば、比較法研究に寄与寸るとともに、一般にも海外とのビジ ネスをする際などに有用である。

類似条項の対応付けはそれぞれの条文を 1 つの文書とした類似文書検索と捉えられ、すでに研究され ている[4,5]。それらの研究では単語の一致数に着目 し、Jaccard 係数や Dice 係数で条項間の類似度を計算している。しかし、それらの手法により日本法と 外国法を対応付けしたところ、ほとんどの条項間で 高い類似度が得られず対応付けに失敗している。そ の後、BERT による文書ベクトルを用いることで、 より高性能なモデルが提案された $[6,7,8]$ 。しかしな がら、法律文の特徴ともいえる文の長さが BERT の 入力長制限を受け、性能の低下を招いていることが 確認された。そこで本稿では、入力長制限がない Doc2Vecを導入する。

したがって、本研究の目的は、外国法と日本法の 類似条項の対応付けについて BERT と Doc2Vec の 性能評価をすることである。

## 2 類似文書検索

本節では、類似文書検索において類似度を計算す る方法について述べる。

## 2.1 Jaccard 係数

類似文書検索においてはそれぞれの文書を単語の 集合とすることで Jaccard 係数を計算することがで きる。Jaccard 係数を式(1)に示す。

$
\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

Jaccard 係数は計算が単純である反面、単語の重要度を考慮しておらず、類義語も全く別の単語として しまうといった久点がある。

## 2.2 BM25

BM25 は文書におけるクエリの単語の出現頻度に基 づいて、文書集合を順位付けする手法である[9]。文書のベクトルを算出することができ、コサイン類似度で類似文書検索を実現している。

単語 $q_{1}, q_{2}, \cdots, q_{n}$ を含むクエリ $Q$ が与えられたとき の文書 $D$ のスコアは以下の式(2)から式(4)のとおり である。

$
\begin{gathered}
\operatorname{score}(D, Q)=\sum_{i=1}^{n} \operatorname{IDF}\left(q_{i}\right) \cdot T F\left(q_{i}\right) \\
\operatorname{IDF}\left(q_{i}\right)=\log \frac{N-n\left(q_{i}\right)+0.5}{n\left(q_{i}\right)+0.5} \\
\operatorname{TF}\left(q_{i}\right)=\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}
\end{gathered}
$

## 2.3 Doc2Vec

Doc2Vec は Word2Vec の入力を文、段落、文書な どの連続する表現に拡張したもので、文書の特徴べ クトルを出力する手法である[10]。Word2Vec から単語ごとの NNを文書ごとの NNに書き換えることで、文書の特徴を計算する。Doc2Vec には 2 つのモデル があり、CBOWを発展させた PV-DM[10]と skip-gram を発展させた PV-DBOW[11]があり、本稿では PVDBOW モデルで学習を行った。

## 2.4 BERT

BERT は、ニューラル言語モデルのひとつで、多 くの NLP タスクにおいて高い性能を示している[12]。現在では複数の事前学習済みモデルが公開されてお り、ファインチューニングを行うだけで高精度な分類を行うことができる。また、最終層の出力を取り 出すことで入力した文書の各トークンに対する単語 ベクトルを得ることができる。しかし、基本的な BERT-BASE モデルは wikipedia などの一般の文書を コーパスとしているため、医療等の特定のドメイン では性能が低いことが報告されている[13]。法律ド メインにおいては、英語のモデルとして LEGALBERT モデル[14]が公開されているが、先行研究では 性能が向上しなかったため[7]、本稿では採用しない。

## 3 提案手法

法律 A と法律 B 間の対応付けを条単位で行ら流 れを図 2 に示す。

1. 法律 A および法律 B の言語が統一された電子 テキストを用意する

2. 条文を 1 文書とする

3. 文書間の類似度を算出する

4. 文書間において、互いに最も類似する文書 であるとした場合、条文を対応付けする

図 2 対応付けの流れ

## 4 実験

## 4.1 実験の手順

本稿では、以下のような 3 段階の実験を行った。

実験1. 日本法同士の対応付け

実験2. 英訳した日本法同士の対応付け

実験3. 英訳した日本民法と英訳したドイツ民法 との対応付け

類似する条文の対応付けに文書ベクトルの類似度 を用いるが、一般の文書と同様に法令文書でも BERT によるべクトル化が有効とは限らない。そこ で、外国法との実験を行う前に、まずは日本法同士 の対応付けを行う。ここでは内容が似ている電気事業法（昭和 39 年法律第 170 号）とガス事業法（昭和 29 年法律第 51 号）を取り上げる。類似条文の対応付けにおける BERT の性能を Jaccard 係数、BM25、 Doc2Vec による対応付けとの比較により検証した。次に、外国法を対応付ける場合はどちらかの言語 に統一する。英訳は翻訳データが多いことから、外国法を対象とした場合でも翻訳精度が高いと考えら れる。そこで、政府提供の英訳された日本法で対応付けを行い、日本語の場合と同様に対応付けが行え

るかを調べた。

最後に政府提供の英訳済み日本民法（家族法）と 政府提供の英訳済みドイツ民法との対応付けを行っ た。

## 4.2 実験の詳細

実験 1 について、実験データの文書を日本語の事前学習済み BERT モデルに入力し、最終層の[CLS] と [PAD]を除く出力を平均したものを文書ベクトル とした。事前学習済タモデルには cl-tohoku/bert-basejapanese-whole-word-masking を利用した。BERT の入 カトークン数は最大の 512 とし、それを超えるトー クンは無視した。異なる法令の文書ベクトル同士の コサイン類似度をすべての組み合わせで計算した。 ある文書に対して最もコサイン類似度が高い文書を 参照し、その文書から見て最も類似度が高くなる文書が元の文書である場合に、2つの文書を対応付け た。そして、電気事業法とガス事業法の対応付け結果は正解データを用いて評価した。

次に、Jaccard 係数、BM25、Doc2Vec を用いた場合と比較するため、同じ文書を MeCabによって形態素に分割し、それぞれの文書間の類似度で対応付け を行った。MeCab の辞書には Neologd を使用した。 また、Doc2Vec のモデル作成には電気事業法とガス 事業法を使用した。

実験 2 では、対応付け実験を英訳版の法令で行っ た。BERT の英語事前学習済みモデルには bert-baseuncased を用いた。

実験 3 では、上記のような 1 対 1 の対応付けでは、 ほとんど正しい対応付けがないことが分かった。そ こで、日本法から見てドイツ法の類似度上位 5 ヶ条 を対応させる方法をとった。結果は、正答率に基づ いて評価した。

## 4.3 実験データ

本実験で使用する法令は、日本語の法令データは e-Govi、日本法の英語訳データは日本法令外国語訳

式で入手した。その抜粋を図 3 に示す。また、ドイ ツ法は政府提供の民法の英語版iiiの book4を取り出 した。これも条文のみを条単位でまとめて 1 文書と した。図 1 はその一部である。

図 3 電気事業法とガス事業法の例

JLT の英訳は最新の法令データではないため、条数や内容の一部が異なる。それぞれのファイルから article タグ配下にあるテキストを抽出して、それぞ れを 1 つ文書として扱った。本実験で使用した法令を表 1 に示す。

表 1 使用法令

 \\

## 4.4 評価方法

電気事業法とガス事業法の対応付け結果を正解デ 一タと比較した。正解データは法律の専門家 2 人に よる人手で、複数の条との対応を許可して作成した。評価手法は先行研究[7] に従って、Accuracy、Recall、 Precision、F1 値を算出した。

また、日本民法のドイツ民法に対しての対応付け 結果は、新注釈民法[15] と新版注釈民法[16,17]から 作成した正解データと比較して評価した。このとき、法律間の対応数は 108 個あった。

## 5 結果と考察

## 5.1 実験結果

実験 1 の対応付け結果を表 2、実験 2 の対応付け 結果を表 3、実験 3 の対応付け結果を表 4 に示す。

表 2 日本語で対応付けした場合の評価結果

表 3 英語で対応付けした場合の評価結果

表 4 日本民法のドイツ民法に対しての対応付け 評価結果

## 5.2 実験 1: 日本法同士の対応付け（表 2）

全ての手法で 0.7 を超える $\mathrm{F} 1$ 値が得られた。その 中でも Jaccard 係数の值が高く、これは電気事業法 とガス事業法の条文が、図 3 の下線部に示すように 単語単位で類似しているためだと考えられる。

また、NN である Doc2Vec と BERT 間では、 Doc2Vec による F1 值が高かった。これは 512 トー クン以降の入力を無視する BERT の入力長制限によ る影響があると考えられる。

## 5.3 実験 2: 英訳版での対応付け（表 3）

英訳版は、法改正が反映されていないにもかかわ らず、現行法の正解データを用いたため、正解に誤 りがある。そのため、全体的に評価値が低い。英訳したデータを対応付けた場合、BERT は同じ NN である Doc2Vec と比較して大きく下回った。こ れは JLT による英訳が元の条文と相違が無いよう、 1 文の長さや構文構造の複雑さなど、標準英語とは かけ離れた文体であるため、英語 Wikipedia を使っ て学習した BERT では上手く解析できなかった一方、対象法令で学習した Doc2Vec では高い精度を示し たと考えられる。また、BERT は 512 トークンの入力長制限による言語的な違いが現れ、精度が振るわ なかった可能性も考えられる。

## 5.4 実験 3: 外国法との対応付け（表 4）

既存の手法である Jaccard 係数と BM25 を比較す ると BM25 の方が高精度であった。これは法令間に 出現する単語が大きく異なることが考えられる。そ のため、単純に文書間の単語集合から類似度を求め る Jaccard 係数が F1 値で最も低い值を示しているの に対し、文書の特徵的な単語から類似度を求める BM25 では、Jaccard 係数に比べ正しく求めることが できたと考えられる。また、NN 間の比較では BERT の方が F1 值で高い値を示していた。対象法令で学習した Doc2Vec よりも汎用的なモデルを持つ BERT が高い性能を示したことから、国家間の英訳された 条例では Doc2 Vec による単語・文脈の意味表現より、 BERTがより深く表現できていると示唆された。

## 6 おわりに

実験から、BERT を用いた類似条項の対応付けが 有効であることが分かった。また、英訳で対応付け を行う場合には Doc2Vec の性能が高くなるという 結果が得られた。

今後は BERT の事前学習及び、ファインチューニ ングの最適化を行っていきたい。

## 謝辞

本研究は、科学研究費補助金 (19H04427、代表 : 中村 誠）の助成を受けたものである。

## 参考文献

[1] 貝瀬幸雄, 比較法学入門, 日本評論社, 2019-0225

[2] 五十嵐清, 比較法ハンドブック, 勁草書房, 201902-20

[3] 滝沢正, 比較法, 三省堂, 2020-10-10

[4] 比較法研究における外国法との類似条項の対応付けと翻訳精度との関係について. 長裕樹. 中村誠,電子情報通信学会信越支部大会, 2021 年, p. 115

[5] The legislative study on Meiji civil code by machine learning. Kaito Koyama, Tomoya Sano, Yoichi

Takenaka. Proceedings of the International Workshop on Juris-Informatics 2021, pp.41-53

[6] 長裕樹, 中村誠. BERT を用いた比較法研究に おける類似条項の対応付け。言語処理学会第 28 回年次大会発表論文集, pp.948--951

(2022)

[7] Hiroki Cho, Aki Shima, Makoto Nakamura. Mapping Similar Provisions between Japanese and Foreign Laws. In: Proceedings of 16th International Workshop on Juris-Informatics 2022, pp.195--206 (2022)

[8] 小関龍也, 中村誠. 法律間の類似条項の対応付 け手法の検討. 2022 年度電子情報通信学会信越支

部大会, p. 56

(2022)

[9] S.E. Robertson, H. Zaragoza and M.J.Taylor, "Simple BM25 extension to multiple weighted fields", DBLP, PP.42- 49 (2004)

[10] Quoc V. Le, Tomas Mikolov, "Distributed

Representations of Sentences and

Documents",arXiv:[1405.4053(2014)

[11] Jey Han Lau, Timothy Baldwin. "An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation”, arXiv:1607.05368(2016)

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, abs/1810.04805, 2019

[13] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and JaewooKang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. CoRR. 2019

[14] LEGAL-BERT: The muppets straight out of law school. Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., \& Androutsopoulos, I., Findings of the
Association for Computational Linguistics: EMNLP 2020, pp.2898-2904

[15] 二宮周平(編)，新注釈民法(17)親族(1)725 条 791 条，有斐閣 (2017)

[16] 中川善之助, 山畠正男(編), 新版注釈民法(24)

親族(4)792 条 817 条の 11 ，有斐閣 (1994)

[17] 於保不二雄, 中川淳(編), 新版注釈民法(25)親

族(5)818 条 881 条，有斐閣 (1994)


# Fusion-in-Decoder を用いた論文分類手法の検討

奥田あずみ 美野秀弥 後藤淳
NHK 放送技術研究所
\{okuda.a-gc,mino.h-gq, goto.j-fw\}@nhk.or.jp

## 概要

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ る. 特に，近年，大量のテキストデータを扱うこと が増え，テキスト分類の需要は高まっている. そこ で，本稿では，大量の論文を分析するための論文の ラベル分類タスクに取り組む．質問応答タスクで用 いられている Fusion-in-Decoder の手法を参考に，論文などの長いテキストに対しても高精度のラベル分類できるような手法を提案した. 論文のラベル分類 タスクで評価実験を行った結果，提案手法の効果を 確認した。

## 1 はじめに

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ り，多くの手法が提案されている [1]. 特に，近年 は計算機などのハードウェアの技術進歩により大量 のテキストデータが扱えるようになり，テキスト分類の需要は高まっている. 最近では，新型コロナウ イルスに関する論文が大量に公開され1)，それらの 論文の迅速な解析が求められた. そこで, 本研究で は，論文のラベル分類タスクに取り組む.

BERT [2] などの事前学習モデルには入力長の制限値が設定されており，論文などの文長の長いデータ を一度に扱えない課題がある. この課題への対応と して，論文の全文を事前学習モデルの入力長の制限值以下に分割して複数のラベルを出力し，複数のラ ベルを結合して単一ラベルを出力する手法が提案 されているが [3], 分割された各データのラベル分類に対する重要度を考慮しておらず，十分な精度が 達成できていない可能性がある．そこで，本研究で は，長文のテキストのラベル分類の高精度化のため

に，質問応答 $(\mathrm{QA})$ タスクで用いられている手法を 応用した手法を提案する．具体的には，論文の重要 な情報が集約されていると考えられる概要部分を用 いて論文の全文からラベル分類に有効な文集合を抽出し，抽出した文集合の各文のベクトル表現を結合 してラベルを推定する．質問応答タスクで高い性能 を達成している Fusion-in-Decoder [4] を用いること で，ニューラルネットワークを用いたベクトル表現 の結合を実現した．新型コロナウイルスの科学技術論文データ CORD-19 [5] を用いた評価実験を行い，提案手法の効果を確認した。

## 2 関連研究

論文のラベル分類の手法に Sentence-LabelClassification(SLC) [3] がある. SLC は学術論文の ような長い文章に対し，BERT [2] の入力長の制限値 (512 トークン) 以下になるように 1-3 文程度の短い 文集合に分割し，その単位ごとに BERT モデルを用 いて追加学習を行う．分割した文集合それぞれでモ デルを学習するため学習データが増え, 低頻度ラべ ルの学習に効果がある。しかし，この手法は，ラべ ルの統合時に各出力の平均值などを用いており, 各文の重要度を考慮できていないため, 改善の余地が ある.

本稿では，SLCを改善するために，質問応答 (QA) タスクで用いられている手法を参考にして，ラべ ル統合時にニューラルネットワークを用いる手法 を提案する。QAタスクの多くは，質問と回答を 見つけ出すための文書集合から解答を見つけ出す タスクである. Karpukhin ら [6] は文書集合から関連する箇所を検索する Dense Passage Retriever (DPR) を提案し，オープンドメイン $\mathrm{QA}$ タスク ${ }^{2}$ で高精度な結果を達成した. Lee ら [7] は, オープンドメ イン QA タスクに取り組み，Open-Retrieval Question

## retriever

図 1 提案手法の概要

Answering (ORQA) モデルを提案した. ORQA モデ ルは，解答を得るのに適切な文集合を外部知識 から検索する retriever と, retriever が検索した文集合と質問を合わせたものから解答を見つけ出 す reader の 2 つで構成される. Izacard ら [4] は, ORQA モデルをべースに, reader 部分を改良して Fusion-in-Decoder (FiD) を提案した。さらに，Izacard ら [8] は reader の知識を用いて retriever を学習する 手法を提案し， $\mathrm{QA}$ タスクの精度を向上させた. 本稿では，Izcard らの FiDの手法を論文のラベル分類 に応用している。

## 3 提案手法

## 3.1 概要

本研究では, Izcard らが提案した reader と retriever の 2 つの機構を持つ Fusion-in-Decoder (FiD) を，論文のラベル分類に応用する手法を提案する. 提案手法の概要図を図 1 に示す.

reader は，ラベル分類に有効な情報 (question)と 論文中のラベル分類に有効な文集合 (ctxs) を入力と し, 論文のラベル (answer) を出力するモデルである.入力には，文集合中の各文 (context) に加え, context とは別の answer を推定するのに有効な情報である questionを用いることができ, question と context を 合わせたものを passage と呼ぶ. passage は複数用意 することができ，それぞれ reader の encoder に入力
して埋め込み表現を得る。そして，獲得した複数の 出力結果を連結して decoder に入力して answer を生成するように学習する。

retriever は，論文全体を入力とし，ラベル分類に 有効な文集合である ctxs を検索するモデルであ る. reader は複数の passage を encoderに入力して ラベル分類を行う過程で， question と passage との cross-attention スコアが計算される. cross-attention ス コアの高い passage は answer の推定に寄与している という仮定のもと， retriever は，ラベル分類に有効 な文集合を抽出するため，cross-attention スコアと question と passage の埋め込み表現の内積が関連付く ように学習する。

reader が用いる passage は retrieverにより更新さ れる. retriever は学習時に reader が出力過程で計算 する cross-attention スコアの結果を用いる. reader と retriever は相互に関係しており，reader と retriever を 繰り返し学習することでそれぞれのモデルを高精度化する。

## 3.2 手順

Izcard ら [4] は retrieverの検索対象として, wikipedia のような大量のデータを含む外部知識を用いてい る. 本研究では，図 1 にあるように，論文全文を 文単位で分割して格納した論文データベースを外部知識とみなし，retrieverを用いて論文データベー ス内の全文からラベル分類に有効な文を抽出する.
学習データは，短いテキストである論文の概要部分 (abstract)，長いテキストである論文全文 (fulltext),論文のジャンルを表すラベル (answer)，の 3 つで構成される.

学習時の具体的な手順は以下の通りである.

1. reader の学習学習データの abstract と fulltextを 1 文ごとに分割する. reader の encoder に分割 した abstract を context として入力し, 正解ラ ベルを answer として reader の最初の学習を行 う. question には全論文共通で “What genre best describes this abstract?”3)を用いる.

2. retriever の学習 訓練済みの reader が途中で計算 する cross-attention スコアをもとに， question と context の内積が適切な值となるように retriever を学習する。

3. retriever による推論 2 で学習した retrieverによ り論文データベースから関連する文を faiss [9] で最近傍探索を行い関連度が高い文を抽出す る. 極端に短い文は抽出しないようにした。こ の抽出作業を passage retrieval と呼ぶ.

4. reader の再学習 question と 3 で抽出した context とを readerに入力して再度 readerを学習する。

5. 交互に学習 3-5を繰り返し, reader と retriever を 交互に学習する。

ラベル分類を行う際は， abstract を 1 文ごとに分割 して最終的に得られた reader にかけ, 出力結果の answer が推定ラベルとなる.

## 4 実験

## 4.1 実験設定

Allen Institute for AI が収集していた新型コロナウ イルス感染症 (Covid-19) に関する科学論文リソース である The Covid-19 Open Research Dataset (CORD-19) を用いて実験を行った. CORD-19 は PubMed Central やWHO など, 複数のリソースから学術文献検索 サービス Semantic Scholar で検索して取得した論文 を統合しており，著者名や投稿日時や取得ソースが abstract と併せてメタデータに記載されている. 本稿では CORD-19 から抽出した bioRxiv に投稿され た 7127 本の論文と，各論文に付与された 25 種類の 研究分野のラベルを用いた. 提案手法のモデルに入

表 1 実験結果. question には共通の文を用いた. context

力するデータは付録 A のような JSON 形式のデータ である.

context の集合である ctxs は retriever の結果を用 いるが，初回の reader の学習時には retriever の学習 は行われず用いることができない。そこで，ctxs の 初期値として, 論文の abstract がラベル分類に有効な文集合であると仮定し，学習データの各論文 の abstractを文単位に分割したものを用いた。単語 の分散表現には T5 (Text-to-Text Transfer Transformer) [10]を用いた. retrieverの出力には論文データベー スの検索結果から 10 単語以下で構成される文を除 いた Top 20 を用いた.

比較手法には Sentence-Label-Classification(SLC) [3] を用いた。

評価には分類タスクで一般的に用いられている Micro-F1 と Macro-F1を用いた.

## 4.2 実験結果

実験結果を表 1 に示す. 繰り返し回数は, reader と retrieverの学習の回数を示す.

先行研究であるSLC と繰り返し回数 0 回の提案手法を比較すると，Macro-F1 はほぼ変わらず， Micro-F1 は向上した. SLC は文ごとにラベル分類を 行い，それらの結果をもとにルールベースでラベル を推定する。一方，提案手法は文ごとの encoder 結果を連結し，それを decoder で処理してラベルを推定しており，ニューラルネットワークを用いた手法 である. 提案手法が SLC より Macro-F1 で向上した 要因として, ラベル分類にニューラルネットワーク を用いる利点が考えられる. context 中のすべての文 の重要度を考慮せずにラベル分類する SLC とは異 なり，提案手法は文集合中のどの文がラベル分類に 重要かを考慮したラベル分類が可能になっている。

次に, retriever と reader の学習を繰り返して, retrieverによる passage retrieval の効果を検証した。繰り返し 1 回目では, retrieve を用いない場合 (繰 り返し回数:0) と比較して, Micro-F1 は若干向上し
表 2 分析用の実験結果

たが，Micro-F1 は下がった. さらに繰り返し回数 を重ねると，4 回目まで Micro-F1 はほぼ変わらず， Macro-F1 は向上した. 5 回目で Micro-F1，Macro-F1 ともに数値が下がったため, 学習の繰り返しを終了した. 提案手法を用いた QA タスクにおける実験 [4] でも，4 回目程度まで性能が向上したと報告 されており，本研究でも同様の傾向となった.

## 5 分析

本章では，retriever を用いない場合の reader の性能を分析する.

## 5.1 初期 context に全文を利用

提案手法では, reader で用いる context の初期値 (繰 り返し回数:0) にラベル分類に有効な情報であると 考えられる abstract を用いた. しかし， contextには 大量のデータを用いることが可能である. そこで， context の初期値に論文全文を入れて 4 章と同様の実験を行った.

表 2 の 2 行目が実験結果である. 4 章の実験の繰 り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が向上した. この結果より，context に入力するデータ数を増やすこと で精度が向上すると考えられる。一方で，reader の context の初期值に論文全文を用いると計算に時間 がかかるという課題がある. 本研究の実験環境4)で は，readerの学習に全文で約 9 時間，abstract のみで は約 3 時間かかった。

## 5.2 question に abstract を利用

4 章の実験の繰り返し回数 0 回の結果 (表 1 の 2 行目) は，retriever を用いずに abstract を用いてラベル を推定しており，abstractにラベル分類に有効な情報 が含まれているかの判断材料となる. Micro-F1 の值 は SLC (表 1 の 1 行目)よりも高いことから, Abstract にはラベル分類に有効な情報が含まれていると考え られる。そこで， questionに共通の固定ベクトルを 用いるのではなく, abstract の分散表現ベクトルを 用いて実験を行った. 表 2 の 3 行目が実験結果であ

4） NVIDIA V100 1 コアを用いて実験を行った.
る. 4 章の実験の繰り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が 向上した. この結果より, question にラベル分類に 有効な情報を入力することでラベル分類の精度が向上すると考えられる。

## 6 まとめ

本研究では，質問応答タスクで用いられている， retriever と reader からなる Fusion-in-Decoder を分類 タスクに応用して，論文のラベル分類に取り組ん だ. retriever では，文章全体の特徴を表す短い文と question を用いて長いテキストからラベル分類に有効な文集合を抽出し，reader では抽出された複数の 文を統合し，ラベル分類を行った. 新型コロナウイ ルス関連の論文を集めたデータセットを用いてラべ ル分類実験を行い提案手法の効果を確認した. 今後 は，より有効な question の選び方や単語埋め込み表現の改善を通じて，retriever の性能を上げる方法を 検討する．また，異なるデータセットでの実験を行 い，他の先行研究とも比較して提案手法の有効性を 示したい.

## 謝辞

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎シニアリード，宮﨑太郎研究員，安田有希研究員，石渡太智研究員に感謝します。

## 参考文献

[1] Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu, and Jianfeng Gao. Deep learning-based text classification: A comprehensive review. ACM Comput. Surv., Vol. 54, No. 3, pp. 62:162:40, 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 奥田あずみ, 宮﨑太郎, 美野秀弥, 後藤淳. 文単位の分類器を用いた論文分類手法の検討. 2021 年映像情報 メディア学会冬季大会, 2021.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 874-880, 2021.

[5] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[6] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[7] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6086-6096, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering. In The International Conference on Learning Representations, 2021

[9] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

## A 入力例

\{

"id": "047xpt2c",

"question": "What genre best describes this abstract?",

"answers": [

"pharmacology and toxicology"

],

"ctxs": [

"text": "A novel coronavirus SARS-CoV-2, also called novel coronavirus 2019 (nCoV-19), started to circulate among humans around December 2019, and it is now widespread as a global pandemic.",

"id": "047xpt2c0",

"title": " "

\} ,

"text": "The disease caused by SARS-CoV-2 virus is called COVID-19, which is highly contagious and has an overall mortality rate of $6.96 \%$ as of May $4,2020 . "$,

"id": "047xpt2c1",

"title": "

\} ,

"text": "There is no vaccine or

antiviral available for SARS-CoV-2.",

"id": "047xpt2c2",

"title": " "

\},

]

\}


# 大規模言語モデルを用いた情報検索のための coarse-tuning 手法の提案

欅 惇志 1 田中 リベカ ${ }^{2}$
1 一橋大学ソーシャル・データサイエンス教育研究推進センター
2 お茶の水女子大学 文理融合 AI・データサイエンスセンター
a.keyaki@r.hit-u.ac.jp tanaka.ribeka@is.ocha.ac.jp

## 概要

大規模言語モデルを用いた情報検索 (LLM-IR)の fine-tuning では，タスクに特化した学習に加えて， クエリの埋め込み表現（クエリ表現）とクエリー 文書の関係を学習する必要がある. 本研究では, pre-training と fine-tuning を繋ぐ中間段階の学習とし て coarse-tuning を導入する. coarse-tuning において クエリ表現とクエリー文書の関係を学習することで， fine-tuning の負荷を軽減して学習効果の向上を目指 す.その際，クエリー文書ペアの適切性を推定する Query-Document Pair Prediction (QDPP) を提案する.評価実験の結果，提案手法によって情報検索タスク Robust04 の検索性能 (nDCG@20) が 6\% 向上した.

## 1 はじめに

BERT [1] の登場によって情報検索コミュニティ においてパラダイムシフトが生じた. BERT 以前に も深層学習ベースの情報検索手法 (pre-BERT 深層学習） $[2,3,4]$ は多数提案されていたが，文献 [5] に おける徹底的な実験によって，適切にハイパーパラ メータ・チューニングされた古典的手法 [6] に対し て pre-BERT 深層学習ベースの手法は実質的な性能改善はないということが示された. そのような中, BERT の登場により，大規模言語モデルを用いた情報検索 (LLM-IR) 手法の性能は大幅に改善した [7].

ただし，本来は大規模言語モデルを用いた finetuning では軽微な追加学習で高性能の達成が期待さ れるにも関わらず，実情は情報検索データセットを 用いて fine-tuning をするだけでは大幅な性能改善は もたらされない [8]. 高い性能を発揮するためには 高コストな fine-tuning（例えば，BERT の出力を情報検索特化型のネットワークに入力して行う追加の 学習 $[9,10]$ や大量データ [11] を用いた fine-tuning)
が必要である. 非事前学習型の Transformer ベース の検索手法 $[12,13]$ よりも BERT などの事前学習を ベースとした検索手法がより高性能を示すことか ら，大量の言語資源を用いた事前学習の効果は明ら かであるものの，高コストな fine-tuning を前提とし た LLM-IR では事前学習の恩恵を最大限に受けられ ているとはいえない.

高コストな fine-tuning が必要となる一因として，入力データ構造の違いが考えられる. 大規模言語モ デルの pre-training の入力は自然文のテキストであ る. 対して，情報検索タスクの入力は，数語程度の 単語列であるクエリと数十から数百語程度の自然文 である文書という不均衡な二つ組から構成される データ構造を持つ. 更に，クエリは自然文の文法に 従わない [14] ため，自然文を用いて訓練されたモ デルとは䶡敬がある1). BERT の pre-training におい ても，クエリの性質を反映した埋め込み表現（クエ リ表現）を適切に学習できていない可能性が高い. また，クエリと文書は文法や語数に大きな相違があ るものの，出現語には一定の傾向がある.すなわ ち，クエリに適合する候補文書中にはクエリ語や その関連語が出現し ${ }^{2)}$ ，無関係な文書には出現しな い. BERT の pre-training では，このようなクエリー 文書の関係も学習されていない。従って，LLM-IR の fine-tuning では，後段タスク（クエリに対する適合度順の検索結果作成）に特化した学習に加えて， クエリ表現とクエリー文書関係の学習を全て同時に 行う必要がある．以上の理由から LLM-IR における fine-tuning が高コストになっていると推測される.

そこで，本研究では， pre-training と fine-tuning を 繋ぐ中間段階の学習である coarse-tuning を提案す

図 1 coarse-tuning モデルの概要図

る. coarse-tuning においてクエリ表現とクエリー文書関係を学習することで，fine-tuning ではクエリに対 する文書の適合度の推定に注力し, 検索性能を改善 することを目指す.

BERT の事前学習では単語の穴埋め問題を解く Masked Language Model (MLM) と文の連続性を予測 する Next Sentence Prediction (NSP) が採用されてい る. 本研究においても, クエリ表現の学習に MLM を用いる。加えて，クエリ一文書関係の学習では， NSP に着想を得て，クエリー文書ペアの適切性を推定する Query-Document Pair Prediction (QDPP) を 提案する. 本稿では，クリックログ（検索エンジン に発行されたクエリとクリックされた検索結果中の 文書の情報）からクエリー文書ペアを作成する。

情報検索データセットである Robust04 における 性能評価の結果，fine-tuning に先立ち coarse-tuning を適用することで，nDCG@20 が 6\%向上した.ま た，文書からクエリを推定するタスクにおいて， coarse-tuning によってクエリ表現やクエリ-文書関係 が学習されたことを示唆する結果が得られた。

## 2 提案手法

coarse-tuning の学習モデルの概要を図 1 に示す. モデルのアーキテクチャは, BERT と同様に, 複数層の双方向 Transformer で構成される. coarse-tuning では MLM と QDPP が同時に行われることで，クエ リ表現とクエリー文書の関係が学習される。

## 2.1 モデルの入カ

coarse-tuning の学習モデルは情報検索タスク特化型であるため，クエリと文書が入力される。クエリ
と文書はそれぞれトークン化され，特殊トークンと ともに単一のシーケンスとして結合される。その 際，文書トークンの末尾が最大トークン長を超える 場合には，最大トークン長以降の文書トークンは除去する。また，一般的にクエリ長よりも文書長が 大きい傾向があるが，稀に長文クエリが存在する.長文クエリは無意味な文字列であったり，そうで なくても学習への悪影響が懸念されるため, 経験則的に最大トークン長の半分よりも大きなトーク ン長を持つクエリはノイズとして除外する。なお，特殊トークンには，BERT で用いられる [CLS][SEP] [PAD] に加えて，[Q] と [D] が含まれる。 [Q] と [D] は LLM-IR 9 fine-tuning で用いられる特殊トークン [20] である. [Q] はクエリトークンの前に挿入され， クエリを表す. [D] は文書トークンの前に挿入さ れ，文書を表す。

## 2.2 Masked Language Model

深い双方向のクエリ表現の学習のため MLM によ る学習を行う．まず，クエリと文書それぞれをトー クン化する。その後，一定割合のトークンをランダ ムにマスク化（[MASK]トークンと置換）する。マス ク化されたトークンに対して，マスク化前のオリジ ナルのトークンを推定することで学習が行われる。

## 2.3 Query-Document Pair Prediction

QDPP では，入力されたクエリと文書ペアが適切 か (IsPair) 不適切か (NotPair) を推定するタスクを 通して，クエリ一文書の関係を学習する。クエリー文書ペアの適切性判断として最も信頼性の高い情報源 は，情報検索データセット中の qrel（クエリー文書に
対する適合性判定）である. しかしながら qrel のア ノテーションコストは高く，大量に作成することは 難しいため, 汎用的なクエリー文書関係の学習に用 いるデータセットとしては適切とはいえない。これ を踏まえると， coarse-tuning 用のデータが満たす条件は下記の通りである。

・クエリと文書を含む

・クエリー文書の何らかの関係性を保持する

$\cdot$(研究用途で) されている

これらの条件を満たすデータとして, ORCAS (Open Resource for Click Analysis in Search) [21] が該当 する. ORCAS は研究用途で利用可能なクリックロ グデータセットであり， 1,900 万のクエリ-文書ペア （1,000万種類のクエリ）が含まれる. Bing で収集さ れた膨大な量のログからノイズを除去したうえで， $k$-匿名化と不適切なクエリの除去を行っている.

クエリー文書のクリック関係は適合性とも関連を 持ち，クリックされた文書を擬似適合文書として扱 うことで性能改善が実現した事例も多数存在する [22, 2, 23]. 従って, 本研究では，クリック関係を持 つクエリー文書を適切なクエリー文書ペアとする。

## 2.4 学習手順

coarse-tuning はクエリ表現とクエリ-文書関係の学習に主眼を置いており，汎用的な言語表現の獲得は 目的としていない. 従って, 既に言語表現が学習さ れている事前学習済みモデルに対して, coarse-tuning を適用することを想定する。下記の手順にて後段の 情報検索タスク用モデルが学習される。

1. 事前学習済みの大規模言語モデルを取得する

2. coarse-tuning (MLM と QDPP)を行う

3. 情報検索データセットで fine-tuning を行う

## 3 評価実験

## 3.1 実験設定

比較手法は下記の 4 手法である.

1. pre-trained 事前学習済みモデルを用いる

2. coarse-tuned 事前学習済みモデルに対して coarse-tuning を行う

3. fine-tuned (baseline) 事前学習済みモデル に対して fine-tuning を行う

4. coarse+fine (proposed) 事前学習済みモデル に対して coarse-tuning 後に fine-tuning を行う表 1 情報検索タスク Robust04 の性能評価

なお，本稿では，単純化のため，fine-tuning は coarsetuning と同一のモデルを用いてクエリー文書ペアの 適合度ラベルを推定する分類タスクとして学習を行 い，適合ラベルの推定確率を文書のスコアとした。

検索性能評価では単一の設定に対して 3 回の試行 を行った平均値を用いる。事前学習済みモデルには prajjwal1/bert-tiny $\left.{ }^{3}\right)(L=2, H=128)$ を用いて，最大 トークン長は 256 とした。その他の設定については A. 1 を参照されたい. 予備実験の結果，最適な設定 は，ORCAS のサンプリング率 $5 \%$ ， coarse-tuning の epoch 数 1 , fine-tuning $の$ epoch 数 2 となった. 予備実験結果の一部も A. 1 に掲載する．次節の実験では 最適な設定を用いた際の性能を報告する。

## 3.2 情報検索データセット

情報検索データセットは Robust04 [24] を用いる. Robust04 はキーワードマッチに基づく古典的な検索手法では性能が低い高難易度のクエリから構成され ているため, 近年の LLM-IR の評価でも多用される. 250 個のクエリ，50万件のニュース記事， 31 万件の qrel（クエリー文書の適合性判定）を含み，平均的な 情報検索データセットと比較してクエリあたりの qrel 数は大きく,リッチな評価が行われている. qrel の適合度ラベルは，非適合 $(94.4 \%)$ ，適合 $(5.3 \%)$,強く適合 $(0.3 \%)$ の 3 段階であり, 評価実験では少数ラベルである強く適合は適合に変換して用いた。 fold1-fold4 の 200 クエリを訓練，fold5 の 50 クエリ を評価クエリとして用いる。評価指標は，関連研究 [17] に準拠して $\mathrm{nDCG} @ 20$ と $\mathrm{P} @ 20$ を採用する. $n D C G @ k$ は順位を考慮した指標であり，より上位に より多くの適合文書を提示することで高い值を示す ため，情報検索の評価では $\mathrm{P} @ k$ より重視される.

## 3.3 後段の情報検索タスクに関する評価

Robust04 による評価実験結果を表 1 に示す. 比較手法のなかで最も高精度な検索精度を示した手法は coarse+fine (proposed) であり, fine-tuned

表 2 クエリ表現とクエリー文書関係の獲得に関する評価

(baseline) と比較して nDCG@20 は 6\% 改善し た. 後段タスクに特化した学習を行っていない pre-trained と coarse-tunedでは想定の通り低い検索性能が確認された, fine-tuning による性能の改善 が認められ，さらに，先立って coarse-tuningを行う ことで更に高精度な検索性能を達成した。

## 3.4 クエリ表現とクエリー文書関係の獲得 に関する評価

coarse-tuning によってクエリ表現やクエリー文書関係が獲得できたかどうかを評価するため，文書か らクエリを予測するタスクを行った。具体的には，与えられた文書からシーケンスを作成する際に， クエリトークンの位置に [MASK] トークンを挿入す る. その後各モデルで [MASK]トークンを予測する。 ORCAS クエリの平均は 3.27 語のため, 予測するク エリのトークン数は 3 とする。

表 2 は，英語版 Wikipedia 記事の “Information retrieval"4)の冒頭から最大トークン長まで入力した 際に予測されたクエリトークン $\left(\mathrm{Tok}_{\mathrm{Q} 1}, \mathrm{Tok}_{\mathrm{Q} 2}, \mathrm{Tok}_{\mathrm{Q} 3}\right)$ の上位 5 件である. pre-trained と fine-tuned (baseline) ともにサブワードを含むランダムな トークン群が予測されている. coarse-tuned で は，クエリの先頭トークンである $\mathrm{Tok}_{\mathrm{Q} 1}$ において "how”や “what”，2つ目のトークンである $\mathrm{Tok}_{\mathrm{Q} 2}$ に おいて “of”が出現しており，ある程度のクエリ表現が学習できていると考えられる。また, “data”, “information", "search” は入力中に出現する語であ り, “computer” と “citations” は入力された範囲より も後の文書中に出現する語である。このことから，予測されたクエリが文書中の語やその関連語から 構成されるため, クエリー文書関係も学習されてい る形跡が認められた。なお， $\mathrm{Tok}_{\mathrm{Q} 3}$ の “wikipedia” は 入力中に含まれないが，ORCAS クエリの中には末尾に“Wikipedia”を含むクエリが多数存在するため, その特徴が現れていると考察される。

また, coarse+fine (proposed) では, 予測されて いるトークン群に一貫性があるものの，入力され

4) https://en.wikipedia.org/wiki/Information_retrieval
た文書とは異なるトピックに関するトークン群 が出力されている.これは, fine-tuning の過程で, coarse-tuning で学習されたクエリ表現やクエリ-文書関係の一部が失われたためであると考えられる。

今後の課題として，詳細な分析を通したより高性能な coarse-tuning 手法の提案や，クエリ表現やクエ リ一文書関係を損失しない fine-tuning 手法の提案を 行う予定である。また，より大きな BERT モデルを 用いた場合の振る舞いの差異の評価や，より高性能 な fine-tuning 手法の適用も今後の課題である.

## 4 関連研究

文献 [25] では後段タスクに応じた事前学習の必要性が主張されている．LLM-IR に関する研究の主流 は fine-tuning であるが $[26,27,28]$, 事前学習に着目 した研究も存在する $[17,18,19,29]$. 文献 [17, 18, 19] ではいずれも文書から生成した疑似クエリを事前学習に利用しているため, 実クエリー文書ペアから クエリ表現やクエリー文書関係を学習する本研究 とはアプローチが異なる. WebFormer [29] は事前学習に Web 文書の構造を利用する手法であり, 本研究とは着眼点が異なる. 文書からクエリを生成す る doc2query [30] や docTTTTTquery [31] は実クエリー 文書ペアを用いて学習を行うという点で共通点す るが，クエリ-文書ペアが相互にインタラクション を行う本研究とは目的が異なる. 効率性向上のた めクエリと文書のインタラクションを遅延させる ColBERT [20] は本研究と対極に位置するといえる.

## 5 おわりに

本研究では，大規模言語モデルを用いた情報検索において, pre-training と fine-tuning を繋ぐ coarsetuning を提案した. coarse-tuning は，クエリ表現を 学習する MLM とクエリー文書関係を学習する QDPP から構成される. coarse-tuning によって, 後段の情報検索タスクの検索性能向上が確認された. また，文書からクエリを予測するタスクにおいて，クエリ 表現とクエリー文書関係の獲得が示唆された。

## 謝辞

本研究の一部は, 学術研究助成基金助成金研究活動スタート支援（課題番号 22K21303）の助成を受 けて遂行された.また，本研究を遂行するうえで必要不可欠であった計算機を提供頂いた一橋大学ソー シャル・データサイエンス教育研究推進センター教授の七丈直弘氏に謝意を表する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of the NAACL 2019, 2019.

[2] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. In Proc. of the CIKM 2013, 2013.

[3] Jiafeng Guo, Yixing Fan, Qingyao Ai, and W. Bruce Croft. A Deep Relevance Matching Model for Ad-hoc Retrieval. In Proc. of the CIKM 2016, 2016.

[4] Chenyan Xiong, Zhuyun Dai, Jamie Callan, Zhiyuan Liu, and Russell Power. End-to-End Neural Ad-hoc Ranking with Kernel Pooling. In Proc. of the SIGIR 2017, 2017.

[5] Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin. Critically Examining the "Neural Hype": Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. In Proc. of the SIGIR 2019, 2019.

[6] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. Okapi at TREC-3. In Proc. of the TREC 1994, 1994.

[7] Jimmy Lin. The Neural Hype, Justified! A Recantation. ACM SIGIR Forum, Vol. 53, pp. 88-93, 2019.

[8] Jimmy Lin, Rodrigo Nogueira, and Andrew Yates. Pretrained Transformers for Text Ranking: BERT and Beyond. arXiv:2010.06467, 2020.

[9] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. CEDR: Contextualized Embeddings for Document Ranking. In Proc. of the SIGIR 2019, 2019.

[10] Canjia Li, Andrew Yates, Sean MacAvaney, Ben He, and Yingfei Sun. PARADE: Passage Representation Aggregation for Document Reranking. arXiv:2008.09093, 2020.

[11] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, and Tong Wang. MS MARCO: A Human Generated MAchine Reading COmprehension Dataset. arXiv:1611.09268, 2018.

[12] Sebastian Hofstätter, Markus Zlabinger, and Allan Hanbury. TU Wien @ TREC Deep Learning '19 - Simple Contextualization for Re-ranking. arXiv:1912.01385, 2019.

[13] Bhaskar Mitra, Sebastian Hofstätter, Hamed Zamani, and Nick Craswell. Conformer-Kernel with Query Term Independence for Document Retrieval. arXiv:2007.10434, 2020 .
[14] Cory Barr, Rosie Jones, and Moira Regelson. The Linguistic Structure of EnglishWeb-Search Queries. In Proc. of the EMNLP 2008, 2008.

[15] Kuzman Ganchev, Keith Hall, Ryan McDonald, and Slav Petrov. Using Search-Logs to Improve Query Tagging. In Proc. of the ACL 2012, 2012.

[16] Atsushi Keyaki and Jun Miyazaki. Part-of-speech Tagging for Web Search Queries Using a Large-scale Web Corpus. In Proc. of the SAC 2017, 2017.

[17] Xinyu Ma, Jiafeng Guo, Ruqing Zhang, Yixing Fan, Xiang $\mathrm{Ji}$, and Xueqi Cheng. PROP: Pre-Training with Representative Words Prediction for Ad-Hoc Retrieval. In Proc. of the WSDM 2021, 2021.

[18] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering. In Proc. of the ACL 2019, 2019.

[19] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training Tasks for Embedding-based Large-scale Retrieval. In Proc. of the ICLR 2020, 2020

[20] Omar Khattab and Matei Zaharia. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. In Proc. of the SIGIR 2020, 2020.

[21] Nick Craswell, Daniel Campos, Bhaskar Mitra, Emine Yilmaz, and Bodo Billerbeck. ORCAS: 18 Million Clicked Query-Document Pairs for Analyzing Search. arXiv:2006.05324, 2020.

[22] Filip Radlinski and Thorsten Joachims. Query Chains: Learning to Rank from Implicit Feedback. In Proc. of the KDD 2005, 2005.

[23] Xuanhui Wang, Michael Bendersky, Donald Metzler, and Marc Najork. Intent Based Relevance Estimation from Click Logs. In Proc. of the SIGIR 2016, 2016.

[24] Ellen M. Voorhees. Overview of the TREC 2004 Robust Retrieval Track. In Proc. of the TREC 2004, 2004.

[25] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proc. of the ACL 2020, 2020.

[26] Rodrigo Nogueira, Wei Yang, Kyunghyun Cho, and Jimmy Lin. Multi-Stage Document Ranking with BERT. arXiv:1910.14424, 2019.

[27] Zeynep Akkalyoncu Yilmaz, Wei Yang, Haotian Zhang, and Jimmy Lin. Cross-Domain Modeling of SentenceLevel Evidence for Document Retrieval. In Proc. of the EMNLP-IJCNLP 2019, 2019.

[28] Zhuyun Dai and Jamie Callan. Deeper Text Understanding for IR with Contextual Neural Language Modeling. In Proc. of the SIGIR 2019, 2019.

[29] Qifan Wang, Yi Fang, Anirudh Ravula, Fuli Feng, Xiaojun Quan, and Dongfang Liu. WebFormer: The Web-page Transformer for Structure Information Extraction. In Proc. of the WWW 2022, 2022.

[30] Rodrigo Nogueira, Wei Yang, Jimmy Lin, and Kyunghyun Cho. Document Expansion by Query Prediction. arXiv:1904.08375, 2019.

[31] Rodrigo Nogueira and Jimmy Lin. From doc2query to docTTTTTquery, 2019

## A 付録 (Appendix)

## A. 1 実験の設定と環境，予備実験

予備実験では ORCAS サンプリング率，coarsetuning epoch 数, fine-tuning epoch 数の 3 項目に対し てグリッドサーチで性能評価を行ったが，各項目に 対して独立にパラメータチューニングを行った際の 挙動と，他の項目を変化させた場合の挙動とは概ね 同じであった. そのため，チューニング対象の項目以外はデフォルト值 (1)を用いた結果を掲載する。
- mlm_prob MLM におけるマスク化されるトー クンの割合は，BERT の pre-training にならい 0.15 とした.
- qdpp_prob QDPPにおける学習データ生成に おいて isPair のサンプルが生成される確率は, BERT の pre-training にならい 0.5 とした.

・ORCAS サンプリング率ORCAS は膨大なクエ リー文書ペアを含むため，全データを用いた場合には学習が完了しなかった。そこで 1\%-10\% まで $1 \%$ 刻みでデータセットからクエリー文書 ペアのランダムサンプリングを行った. その結果，サンプリング率 $5 \%$ の場合に最も高い検索性能を示した（表 3 参照）.
- coarse-tuning epoch 数 coarse-tuning では最大 5 epoch まで学習を行った. 1 epoch 目で最も高性能を示した（表 4 参照）.
- fine-tuning epoch 数 fine-tuning では最大 10 epoch まで学習を行った. 単独での実験では 1 epoch 目で最も高性能を示した（表 5 参照）が，他項目を変化させたときに 2 epoch 目で最高精度となる設定が多数を占めた。

・バッチサイズ coarse-tuning では 80, fine-tuning では 128 を設定した。

・開発 システムの実装と評価には Hugging Face の Transformers ${ }^{5)}$ を用いた.

・計算機 スペックは CPU：AMD Ryzen 9 5900X 12-Core Processor, GPU : GeForce RTX 3060 VENTUS 2X 12G OC，メモリ：128GB である.

## A. 2 追加のクエリ推定結果

coarse-tuned から推定された「沖縄美ら海水族館」の記事6)のクエリを表 6 に記載する.

5) https://huggingface.co/docs/transformers/index

6) https://www.okinawatraveler.net/en/feature/special01

表 4

coarse-tuning における epoch 数と検索性能

表 5

表 6

「沖縄美ら海水族館」の記事から推定されたクエリ