# 大規模言語モデルにおける文生成方向に関する依存性の検証

谷口大輔 1 脇本 宏平 ${ }^{2}$ 丹羽彩奈 1 岡崎 直観 1
1 東京工業大学 2 株式会社サイバーエージェント
\{daisuke.taniguchi@nlp., ayana.niwa@nlp., okazaki@\}c.titech.ac.jp
wakimoto_kohei@cyberagent.co.jp

## 概要

大規模言語モデルは様々な自然言語処理タスクで 使用され，高い性能を示してきた。ところが，事柄 が記述される順序は言語によって偏りがあるため,通常の左から右に（順方向に）単語を予測する言語 モデルではなく, 右から左に（逆方向に）単語を予測するように学習した言語モデルの方が解きやすい タスクが存在するかもしれない. 本研究では，言語 モデルがタスクを解くときに単語の生成方向が与え る影響を検証するため，順方向あるいは逆方向に学習した二種類の大規模言語モデルを常識推論タスク に適用し，その性能の比較・分析を行う。そして， これまで十分に利用が検討されてこなかった逆方向言語モデルの可能性を報告する.

## 1 はじめに

近年，GPT-3[1]をはじめとする大規模言語モデル は，様々な自然言語処理タスクで高い性能を示して いる. 言語モデルは，単語列に対して確率を計算す るものであり，ある単語列が与えられた時，その次 に続く単語を一つずつ予測する処理を繰り返すこと で，単語列を逐次的に生成できる。 $x$ を入力文， $s_{i}$ を入力文中のトークン,$n$ を入力文の長さとした時，言語モデルの学習は，コーパス上で

$
p(x)=\prod_{i=1}^{n} p\left(s_{i} \mid s_{<i}\right)
$

という式を最大化することで行われる.

ここで，言語において事柄が記述される順序には 偏りがあるため，言語モデルの学習コーパスにはそ の偏りが内在しているはずだという点に着目する。例えば日本語では，理由を説明した後に結果や結論 を記述する傾向があるため [2]，日本語のコーパス はその傾向を反映し，理由などの前提が先，結論が 後に記述される文を多く含むと考えられる。一方
で，結論を先，理由を後に記述する文は相対的には 少ないと考えられる. 自己回帰型の大規模言語モデ ルの学習は, 過去のトークン列から現在のトークン を予測するという部分に時刻に関する非対称性があ るため，単語の並び順に関する順序の偏りの影響を 受けていると考えられる。そこで，本研究ではテキ ストを順方向に入力して学習した通常の言語モデル ではなく，逆方向に入力して学習した言語モデルの 方が解きやすいタスクが存在すると考える.

日本語での具体例として，何らかの結論を表す文 が与えられ，それに対して尤もらしい理由を説明す る文を生成する常識推論のタスクを考える．前述の 通り，日本語では理由が先，結論が後で記述される 文が多いため，言語モデルの単語の生成方向を考え ると，結論で条件付けして理由を生成するタスク は，順方向よりも逆方向の言語モデルの方が解きや すいと予想される。これまでにも，逆方向の言語モ デルで文を生成する研究 $[3,4]$ は存在していたが,同一タスクを順方向・逆方向の言語モデルで解き， その性能差を単語の並び順の偏りに位置付けて検証 した研究はない.

本研究では，言語モデルにおける単語の生成方向 がタスク処理に与える影響を検証するため，日本語 コーパスで学習した GPT-2 [5] medium 相当の順方向 および逆方向の言語モデルを利用する。常識推論 のデータセットである Choice of Plausible Alternatives (COPA) [6] を人手で日本語に翻訳したもの ${ }^{1)}$ を評価 データとし，zero-shotによる生成的な常識推論タス クに両モデルを適用し，その性能の比較・分析を行 う。その実験結果から，これまで利用が十分に検討 されてこなかった逆方向言語モデルの方が，通常の 順方向言語モデルよりも有利に処理できる文生成夕 スクが存在することを報告する2).


散歩に行く。というのも ので、散結論 い美気だ。結果として、! だからだ天気いい、ならなぜ 逆順に1 理由

図 1 順方向（GPT-2）および逆方向（RGPT-2）の言語モデルの使用例・タスク例

## 2 検証方法

本研究では，単語の生成の順番が順方向および逆方向の大規模言語モデルを学習する. 両モデルと も, MeCab と WordPiece[7] による東北大 BERT-v2 $2^{3}$ のトークナイザを利用し，GPT-2 medium 相当の日本語言語モデルを学習した。

## 2.1 逆方向言語モデル

本研究で用いる逆方向言語モデルを説明する。通常の順方向言語モデルの学習は, 式 1 の最大化に よって行われるが，逆方向言語モデルの場合は以下 の式 2 の最大化を行うこととなる.

$
p(x)=\prod_{i=n}^{1} p\left(s_{i} \mid s_{>i}\right)
$

つまり，未来のトークン列から現在のトークンを予測する学習が行われ，結果として，文末から文頭の 向きに単語列を生成するモデルを構築できる。

以降，本研究で用いる順方向言語モデルを GPT-2,逆方向言語モデルを Reversed GPT-2 (RGPT-2) と称す る.RGPT-2 の実際の学習では，入力文を順方向言語モデルと同じトークナイザによって処理した後, トークン列を逆順に並び替えてモデルへの入力と し，通常の言語モデルの学習を行うことにより，実質的に式 2 の最大化を行う.

## 2.2 生成的な常識推論タスク

GPT-2 と RGPT-2 の性能比較を行うため, 生成的 な常識推論タスクを考える，具体的には，結論の文 が与えられ，それに対する理由を生成するタスク と，それとは逆に，理由の文が与えられ，それに対 する結論を生成するタスクの二つである. これら二
 bert-base-japanese-v2
つのタスクは，入力と出力が入れ替わったタスク対 であるため，言語モデルの文生成方向に関する依存性により，各タスクでモデルの性能に差が生じると 予想される. GPT-2 と RGPT-2 がこれらのタスクを 解く例を図 1 に示す。

結論から理由を推論するタスク 理由などが先 で，結論が後で記述されやすいという，日本語にお ける説明の順序の偏りにより，RGPT-2 の方が GPT-2 よりも解きやすいと考えられる．そこで，与えら れた結論に対して，言語モデルによる理由の生成 を zero-shot にて行う. 各モデルが出力した理由が,結論に対する理由付けとして適切かどうかを評価 する。

理由から結論を推論するタスク GPT-2 の方が RGPT-2 よりも解きやすいと考えられる. 与えら れた理由に対して，言語モデルによる結論の生成 を zero-shot にて行う. 各モデルが出力した結論が，理由から導かれる結論として適切かどうかを評価 する。

## 2.3 プロンプティング

本研究では，理由から結論，および結論から理由 を生成するタスクを，プロンプトによる zero-shot 生成タスクとして解く. 図 1 に GPT-2 および RGPT-2 によるタスクの解き方を示す. なお，図中の赤字 は，接続表現を表す。

GPT-2 与えられる結論（または理由）に続けて，接続表現を連結したものをプロンプトとし，それに 続く単語列として理由（または結論）を出力する。

RGPT-2 与えられる結論（または理由）の直前 に，接続表現を連結したものをプロンプトとし，こ れをトークン単位で逆順にした上で，言語モデルに 入力する. その続きをモデルに生成させ，その出力 をトークン単位で逆順にしたものが，理由（または
結論）の出力となる.

本研究では，GPT-2 と RGPT-2 の常識推論におけ る能力を公平に比較したいので，用いるプロンプ トによる不公平をできるだけ排除する必要があ る. 理由を生成するタスクを考えると，GPT-2 で は「(結論）なぜなら，（理由）」のようなプロンプ ト，RGPT-2では「(理由）ので，（結論)」のような プロンプト4)を用いることになる. GPT-2 と RGPT-2 で同じプロンプトを用いることが理想ではあるが， （日本語でそのような言い方がされないため）現実 には不可能で，実験に用いるプロンプトは両者で異 なるものにならざるを得ない.

そこで，順方向と逆方向の言語モデルの比較にお いて，常識推論に優れたプロンプトの存在も利点・欠点に含まれると考え, 両者の言語モデルにとって できるだけよいプロンプトを選び，実験を行うこと とする.

## 3 実験

## 3.1 実験設定

大規模言語モデル GPT-2，RGPT-2 の学習には， rinna 株式会社5) が提供しているコードベース6 ${ }^{6}$ を使用した．学習コーパスはコードベースに従い，日本語の CC-100 と, Wikipedia のダンプ7)を使用した. これらは自然な日本語文を多く含み，日本語におい て事柄が記述される順序の偏りを内包していると期待される.このコーパス上で両モデルをそれぞれ， バッチサイズ 3 で 4,680,000 ステップ学習した. 検証用データにおけるパープレキシティはそれぞれ， 9.80，9.79で，同程度のパープレキシティと言える.

データセット 生成的な常識推論のデータセット として, Choice of Plausible Alternatives (COPA) [6] を 人手で日本語に翻訳したものを使用する。COPA は 本来，原因（または結果）を表す前提文に対する結果（または原因）としてふさわしい文を，二つの選択肢から選ぶ問題であるが，本実験では，そのう ちの正解文と前提文のみを抽出し, 理由（原因）と 結論（結果）の文ペアとして用いる。また，GPT-2 と RGPT-2 の性能を極力公平に評価するため，「彼

4） 日本語として読みやすい順序で記述したが，RGPT-2 は右 から左の向きに単語列の予測を行うことに注意されたい.

5) https://rinna.co.jp/

6) https://github.com/rinnakk/ japanese-pretrained-models

7） 2021 年 12 月 13 日時点のもの
（ら）」，「彼女（ら）」「それ（ら）」，「そこ」といっ た代名詞が理由・結論のいずれにも含まれないぺア のみを評価対象とした ${ }^{8)}$. 開発データは 186 件，評価データは 182 件である.

接続表現 理由・結論のプロンプティングに利用 する接続表現の候補を，言語モデルの学習コーパス の中から手動で収集した. GPT-2による理由の推論 と RGPT-2 による結論の推論，および GPT-2 による 結論の推論と RGPT-2 による理由の推論で同じ接続表現の候補を利用することとし，各 8 件ずつ候補を 用意した.それらの接続表現が学習コーパス内で出現した回数を付録 A に示す. 実験では，開発データ の全事例における zero-shot 生成の BLEU スコアが高 くなるものを採用し，両モデルの性能を比較する。

自動評価 自動評価指標として，BLEUスコア とパープレキシティを使用する。BLEU の測定に は SacreBLEU [8]を用い， 2.3 節と同様に，モデルに よって生成した理由または結論と, 評価データの参照文との間でスコアを計算する．接続表現の品質の ばらつきによる影響を抑えるため，8 個の接続表現 の候補のうち，開発データでの BLEU が最も高い 5 個をモデルの性能比較に用いる。 パープレキシティ は，言語モデルの確率推定において，出力すべき文 がどれだけ妥当と予測されるかを計測する.

人手評価 人手評価では開発データでの BLEUが 最も高い接続表現で推論した理由・結論を評価して もらう. 評価者は株式会社サイバーエージェントの アノテータで, 出力した理由（または結論）の内容 や形式が，モデルに前提として与えた結論（または 理由）に対してどれだけ適切か, 絶対評価と相対評価をお願いした. 評価基準を表 1 に示す. 絶対評価では，定められた基準に従って各モデルの出力 を評価する．相対評価では，同じ前提文に関して， GPT-2 と RGPT-2 のどちらの出力が優れているかを 比較してもらう. 相対評価でも絶対評価と同様の基準を採用するが，3 段階の基準では表せないような 僅かな差も評価できる. 優劣を判断できない場合は 「わからない」という回答してもらうことにした。

## 3.2 実験結果

自動評価 表 2 に自動評価の結果を示す（詳細は 付録 B 参照のこと). 開発データでの BLEU スコア

8）例えば RGPT-2 に代名詞が含まれる文を入力した場合，逆方向の文生成が持つ特性により，常識推論タスクのみなら ず，代名詞が指している名詞を復元するタスクが意図せず含 まれ，文生成が不当に難しくなる可能性がある.
表 1 人手評価の基準

 &  \\

表 2 自動評価結果表 3 理由推論の人手評価結果 [\%] 表 4 結論推論の人手評価結果 [\%]

がトップ 5 に入る接続表現のみで，評価データにお ける評価値の平均をとったものを比較する．BLEU

RGPT-2 が，結論の推論では GPT-2が優れており，仮説通りの結果となっている。ただ，いずれも BLEU スコアの絶対値は低い。これは理由または結論に対 して様々な説明が可能であることに起因すると考え られる.

一方，パープレキシティではその優劣が逆転して いる. パープレキシティの評価では理由と結論の両方がモデルに与えられるため，このタスクにおける モデルの文生成能力を評価するという目的に合致し ないことが原因と考えられる。

人手評価 自動評価における BLEU スコア（表 $8,9,10,11 ）$ により，人手評価で使用する接続表現を 決定した. 図 1 のように，GPT-2による理由の推論 では「というのも、」，結論の推論では「。結果とし て、」, RGPT-2による理由の推論では「ので、」, 結論 の推論では「なぜなら、」を使用した.

表 3 と 4 に，人手評価の結果を示す. 絶対評価で 「高」と評価された割合，および相対評価の結果に よると, 本研究の仮説通り, 理由の推論は RGPT-2 が，結論の推論は GPT-2 が優れている結果となり，本タスクを解くことに関する性能に差が表れること を確認できた. すなわち，通常の左から右の言語モ デルではなく, 文生成向きが右から左となっている 逆方向の言語モデルの方が解きやすいタスクが存在
することが示唆される.

出力例 モデルによる実際の出力例と相対評価の 結果を表 5 に示す.「私は運動した。」という結論に 対して GPT-2 による「腰が痛くて動けない」という 理由は適切でなく, RGPT-2 の方が適切に理由付け できている。また，「私は 1 日中勉強した。」という 理由に対する結論としては，「良い点数を取れた」 という GPT-2 の出力内容が自然である. RGPT-2 は, GPT-2 に比べて長い文を出力する傾向にあった.

## 4 おわりに

日本語における説明の順序の偏りが大規模言語モ デルに与える影響を検証するため，単語列の生成向 きが順方向あるいは逆方向の大規模言語モデルを構築し，生成的な常識推論タスクに適用した。実験の 結果，結論に対して理由を生成するタスクでは逆方向言語モデルが優れており，理由に対する結論を生成するタスクでは順方向言語モデルが適しているこ とが分かった。これらのタスクにおける両モデルの 性能差は，日本語における，事柄を記述する順序の 偏りが言語モデルに引き継がれているためだと推測 される。

本稿では，これまでまだ利用が十分に検討されて こなかった，単語列の生成の向きに関して逆方向の 言語モデルの価値を示した. 今後は, 日本語以外の 言語での実験や，常識推論以外のタスクでの検証を 進めていきたい.

## 謝辞

本研究にあたってご助言いただいた，株式会社サ イバーエージェントの皆様に感謝いたします。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] 影山太郎. 動詞意味論: 言語と認知の接点. 日英語対照研究シリーズ, No. 5. くろしお出版, 1996.

[3] Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena D. Hwang, and Yejin Choi. Reflective decoding: Beyond unidirectional generation with off-the-shelf language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1435-1450, Online, August 2021. Association for Computational Linguistics.

[4] 山田康輔, 人見雄太, 田森秀明, 岡崎直観, 乾健太郎. 指定語句を確実に含む見出し生成. 言語処理学会第 27 回年次大会, 2021.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, 2011.

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[8] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 接続表現の出現回数

本研究で用いている各接続表現が、言語モデル学習コーパス内に出現した回数を表 6 と 7 に示す.「(理由) ので、(結論)」のように，順方向に理由から結論を導く接続表現の方が，結論から理由を導く接続表現より も多いことが分かる．ただし，表に示した接続表現の出現回数は，理由と結論を接続する用法以外の表現も 含む場合があるため，注意が必要である。

表 6 順方向に結論から理由を導く接続表現

表 7 順方向に理由から結論を導く接続表現

## B自動評価の結果の詳細

表 8,9,10,11 に自動評価の結果の詳細を示す。使用する接続表現に依存して，言語モデルによる理由・結論 の推論の性能が大きく変化することが分かる.

表 8 GPT-2 による理由の推論の自動評価開発評価

表 10 GPT-2による結論の推論の自動評価開発 評価

表 9 RGPT-2 による理由の推論の自動評価開発

表 11 RGPT-2による結論の推論の自動評価開発

評価


 谷口大輔 1 脇本 宏平 ${ }^{2}$ 丹羽彩奈 1 岡崎 直観 1 1 東京工業大学 2 株式会社サイバーエージェント \{daisuke.taniguchi@nlp., ayana.niwa@nlp., okazaki@\}c.titech.ac.jp wakimoto_kohei@cyberagent.co.jp  