# 多段の数量推論タスクに対する 適応的なモデルの振る舞いの検証

青木洋一 ${ }^{1}$ 工藤慧音 ${ }^{1}$ Ana Brassard ${ }^{3,1}$ 栗林樹生 ${ }^{1,2}$ 吉川将司 1,3 乾健太郎 ${ }^{1,3}$
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{youichi.aoki.p2,keito.kudo.q4\}@dc.tohoku.ac.jp,
ana.brassard@riken.jp, \{kuribayashi,yoshikawa,inui\}@tohoku.ac.jp

## 概要

数量推論において, Transformer [1] ベースのモデル は演算の複雑さが異なる問題に対しても常に固定の 層の数で推論が行われるため, 演算をモデル内部で 表現することが難しいと考えられる. 本稿では問題 に応じて層の深さを適応的に変化させるモデルであ る PonderNet [2] が多段の推論を要する数量推論タス クに対してどのように作用するのかを検証した. そ の結果, 形式言語によって構成される数量推論デー タセットの中でも簡単な演算に対しての正解率は 非適応的なモデルと適応的なモデルでは大きな差は 見られなかったが, 適応的なモデルの層の深さは入力に応じて変化することが確認できた.

## 1 はじめに

深層学習ベースの自然言語処理システムの数量推論性能が向上することは科学や金融などの分野 における応用において有益である一方, 数量推論に 対する全体的な解決策はまだ見つかっていない [3].例えば, 算術演算を要する読解問題タスクである DROP [4] に対して, GenBERT [5] が高い精度を達成 する一方で, FinQA [6] のような現実の問題に近い 設定の場合,ニューラルネットワークは人間のパ フォーマンスにははるかに及ばない事が分かってい る. また, 学習時に見たことがない桁の数に対する操作や演算を行えない外挿 [7] の問題も有名である.

このような問題は, モデルの構造が数量推論に適 していない事に起因すると本稿では仮説する。一般的に使われている Transformer ベースのモデルに解 かせる場合，「1+1」や，「922×312」のように演算 の複雑さが異なる問題に対しても, 常に固定の層の 数で推論が行われる. したがって, 問題に応じて層の 深さが変化する事がないモデルは演算を内部で表現
することが難しいと考えられる。

本稿では, 問題に応じて層の深さが適応的に変化 するモデルとして, PonderNet [2] が多段の推論を要 する数量推論タスクに対してどのように作用する のかを検証し, 非適応的なモデルとの比較を行う. PonderNet などの適応的なモデルは入力に応じて行 う推論の深さを変化させる事により, 質問応答や多段推論など, 数量推論ではない他のタスクでは非適応的なモデルよりも高い精度を達成することが分 かっている.

実験では, 多段の推論を要する推量推論タスクに おいて, 適応的な機構を持つ Ponder Transformer の振 る舞いを検証し, 標準的な Transformerなどの非適応的なモデルと比較を行う. データセットは形式言語 によって構成され, 解答に要する推論の深さを明示的に定めることが可能となっている. また, 形式言語 で書かれたデータセットは, DROP のような自然言語上の数量推論データセットから問題の構造のみ取 り出したものと考えることができるため, 形式言語上でモデルの振る舞いを検証することは, 自然言語上での数量推論に対するモデルの振る舞いを検証す る手助けになると考えられる。

本稿では, 現状で確認できている範囲の結果を共有し, 最後に冒頭の仮説を検証するための今後の方針を整理する. 実験の結果, 形式言語によって構成さ れる数量推論データセットの中でも簡単な演算に対 しての正解率は非適応的なモデルと適応的なモデル では大きな差は見られなかったが, 入力に応じて適応的なモデルの層の深さが変化することが確認で きた.

## 2 PonderNet

標準的なニューラルネットワークでは, 入力に応 じて層の数が増減することは無い.一方で,一部では

図 1 Ponder Transformer

そのような仕組みをモデルに組み込む研究が注目さ れており [8, 9], 本研究では中でも PonderNet [2] に着目する. PonderNet は大力に基づいて再帰回数を調整 する事ができ, また, 既存のアーキテクチャに対して も簡単に適用可能なアルゴリズムである.

アーキテクチャ： PonderNet の基本となるアー キテクチャは, 入力 $x$, 状態 $h_{n}$ として, ステップ関数 $s$ を用いて式(1)のように表される.

$
y_{n}, h_{n}, \lambda_{n}=s\left(x, h_{n-1}\right)
$

式 (1) のステップ関数 $s$ は, MLP [10] や LSTM [11] な どの任意のニューラルネットワークや, Transformer の 1 層として考えることができる. また,このステッ プ関数 $s$ は最大 $N$ 回まで再帰的に適用され, 各 $n$ 回目のモデルの出力が $y_{n}$ となる. $\lambda_{n}$ はこの $n$ 回目の 再帰的処理を停止する確率, $h_{n}$ は $h_{0}$ を初期状態とし た時の中間状態である. モデルは $\lambda_{n}$ の值を元に停止 するかどうかの決定を行い, 停止した際の $y_{n}$ の値が モデルの出力となる.

損失関数： 損失関数は,ラベルを $y$ として, 再構築項 $L_{R e c}$ と正則化項 $L_{R e g}$ で式 2 のように構成さ れる。

$
\begin{gathered}
L=L_{R e c}+\beta L_{R e g} \\
=\sum_{n=1}^{N} p_{n} \mathscr{L}\left(y, y_{n}\right)+\beta \operatorname{KL}\left(P \| P_{G}\left(\cdot ; \lambda_{p}\right)\right)
\end{gathered}
$

$p_{n}$ は $\lambda_{n}$ によって求められる $n$ ステップ目で初め て停止する確率 $\left(p_{n}=\lambda_{n} \prod_{j=1}^{n-1}\left(1-\lambda_{j}\right)\right), P$ は $p_{n}$ の分布である (i.e., $P(n)=p_{n}$ ). また, $L_{R e c}$ は, タスクで定義された損失関数 $\mathscr{L}$ の停止確率による期待値, $L_{R e g}$ は $P$ と式 3 のように定義された事前分布（Nで切
り捨てられた幾何分布, $\lambda_{p}$ でパラメータ化されたも の）の間の KL ダイバージェンスである.

$
P_{G}\left(n ; \lambda_{p}\right)=\lambda_{p} \prod_{j=1}^{n-1}\left(1-\lambda_{p}\right)
$

## 3 人工数量推論データセット

本研究では, 事前学習用の簡単なデータセットと メインの多段推論用のデータセットの 2 つをプログ ラムによって人工的に生成し, 実験に用いる.

## 3.1 事前学習用データセット

多段推論で訓練する前にモデルが簡単な数量推論 が可能になるように事前学習を行う. 図 2 上のよう に, 数値は $0 \sim 199$ の範囲, 演算子は足し算「+」の 1 種類, 各式は 2 項演算によって構成されたデータ セットを用いる. 事例の数は $40 \mathrm{~K}$ である.

## 3.2 多段推論用データセット

各モデルの比較に用いるデータセットとしては,図 2 下のようなデータセットを作成した. データ セットは図のように数値の範囲が数値は $0 \sim 199$, 演算子は足し算「+」の 1 種類, 変数は $\mathrm{a} \sim \mathrm{e} の 5$ 種類 で構成されている.

このデータでは, 式は $\mathrm{b}=\mathrm{a}+1$ のような (最後の質問 を除いた) 文脈中に出現するカンマ区切りの文字列 と定義し, 「 $c=23+b, a=1, b=a+1, b=? 」$ という事例 の場合, 式の数は 3 である. また，「推論の深さ」は，「解答に必要な式の数」として定義する. 文脈中には 解答に必要のない式もダミーの式として含まれてい
事前学習用データセット

Q: $25+32=$ A: 57

多段推論用データセット

推論の深さが1の場合

$\mathrm{Q}: \mathrm{e}=34, \mathrm{c}=\mathrm{e}+3, \mathrm{e}=$ ?

A: 34

推論の深さが2の場合

Q: $b=12+a, d=b+3, c=11, a=c+67, a=$ ?

A: 78

推論の深さが3の場合

Q: $a=65+c, c=43+d, d=11, a=$ ?

A: 119

図 2 データセット概要図

るが,これらは問題を解くことに要する「推論の深 さ」には影響しない. よって, 図 2 の深さ 2 の例は $c=11 \rightarrow a=c+67$ という推論過程を踏むため深さ 2 とみなされる。

検証にこのような形式言語による多段推量推論夕 スクを採用する強みは，

1. データの分布をコントロールする事ができる

2. 推論の深さなど問題の形式を自由に調整できる

の 2 点である. 1 に関しては, DNN モデルは, データ セット中の分布の偏りに敏感であり, 本来の問題の 構造に依らない解法を見つけてしまうことが知られ ている $[12,13]$. 人工データを用いる事によりこの問題を極力排し, モデルの数量推論能力をより直接的 に評価することができる. 2 に関しては, 推論の深さ,数値の範囲やダミーの式の有無など, 検証に必要な 要素を自由に制御可能なことにより,DNN モデルの 数量推論に関する強みや限界を詳細に評価できる。

## 4 実験

## 4.1 モデル

以降の実験では以下のモデルを事前学習用データ セット (§ 3.1) で事前学習し, 多段推論用データセッ 卜 (§ 3.2)で追加学習・評価を行う.

Vanilla Transformer: エンコーダ層, デコーダ層 が共に 6 層ずつの標準的な Transformer.
Ponder Transformer: PonderNet ( $\begin{aligned} & (2)\end{aligned}$ を Transformer 層に適用したものである. エンコーダ層， デコーダ層が共に 1 層ずつの図 1 のような Transformer の亜種であり, 図中の停止ノードの出力であ る停止確率を元にループの回数が決定する. 今回の 実験では, エンコーダ層の [CLS] トークンに当たる 出力を停止ノード (線形層) に入力し, 停止確率 $\lambda_{n}$ を 求める. また, 最大停止回数 $N$ は 6 , 損失関数の正則化項 $L_{\text {Reg }}$ に対する重み $\beta$ は $\{0.1,0.01,0.001\}$ を探索 して最適な値, 幾何分布を決定するパラメータ $\lambda_{p}$ は $1 / 4$ とした.

Loop Transformer: Ponder Transoformer と同様に, エンコーダ層, デコーダ層が共に 1 層ずつの Transformer であり, 同じ層に繰り返し表現ベクトル 列を入力する (i.e., Vanilla Transformer の層間のパラ メータを共有した亜種). Ponder Transformer と異なる 点としてはループの回数が動的に変化せず, 6 回で 固定されている点である.

各モデルに共通するハイパーパラメータとして，最適化手法は Adam [14], 学習率は 0.0001 , 埋め込み ベクトルの大きさは 512 , アテンション層のユニッ 卜数は 512,アテンションヘッドの数は 8 とした. ま た, 入力に対する埋め込みは文字単位で行い, タスク は 1 棪ずつの生成で解く.

## 4.2 多段の数量推論

学習・評価セット中に含まれる推論の深さ (§3) = $1,2,3$ の事例の割合を変化させながらモデルの性能 を評価した (表 1). 各設定ごとにデータセット全体を 生成したのち, 学習・訓練データの割合が $8: 2$ となる ようにランダムに分割した. また, ランダムにダミー の推論ステップを使う事で各事例中の式の数は 1～ 4 の範囲になるように設計する。

Ponder Transformer と Vanilla, Loop Transformer を比較すると,精度による違いはあまり見られなかった。 これは簡単な足し算のみのデータ上での比較である ためと考えられ, 今後更に複雑な問題上でも比較を 行っていく必要がある. しかしながら, 推論の染さ 1 のものが解ける段階から深さ 2 の問題が解けるよう になるためには, 実験データに含まれる推論の深さ 2 の事例数が $5 K$ では不十分だった (表 3 行目) のに 対し, 推論の深さが 3 の事例を解くことができるた めには, データ中に推論の深さ 3 の事例を $5 \mathrm{~K}$ 含める だけで正解率がほぼ 1.0 になるという興味深い現象 が見られた.ここから, 推論の深さ 2 の問題の解き方

図 3 解答に必要な式の数が 2 , 文脈中に出現する式の数 が 2 4 の事例に対する Ponder Transformer の再帰回数の ヒストグラム

の知識があれば, 深さ 3 の問題に対しては少量の事例のみで足りることが見て取れる.

表 1 推論の深さ (解答に必要な式の数) の割合を変化さ せた場合の正解率. $x / y / z$ は推論の深さが $1 / 2 / 3$ の事例が学習・評価データに合計して $\mathrm{x}, \mathrm{y}, \mathrm{z}$ 個あることを表している

## 4.3 Ponder Transformer の再帰回数に関す る分析

以下の実験では, 再度推論の深さ $1,2,3$ の事例を それぞれ $1 \mathrm{~K}, 15 \mathrm{~K}, 15 \mathrm{~K}$ 個用意し, 学習・訓練データ に 8:2でランダムに分割しモデルを訓練した. 学習 させたモデルに対して, 推論の深さが 2 , 式の数が 2 4 の事例に対する再帰回数の変化を調査した. 具体例として,「a=1, b=a+1, b=?」は推論の深さが 2 ,式の数が 2 の事例であり, ダミ一の式を加えること が式の数の増加に対応する。

実験の結果, 図 3 のように, ダミーの式が増えるに つれてモデルの再帰回数も増加し, ダミーの式の有無にも依存してモデルが計算を行なっている事が分 かった. これは, 今回構築したデータセットが文脈中 に出現する変数の中からランダムにその値を問う形式になっていることに起因していると考えられる.例えば，「c=23+b a=1, b=a+1, b=?」のような入力 に対しては, b の値だけではなく文脈中に出現する どの変数の値に対してもモデルが回答可能なように $a, c$ の値も同時に計算していると仮説が考えられる.

図 4 文脈中に出現する式の数が 4 , 解答に必要な式が 1３の事例に対する Ponder Transformer の再帰回数のヒ ストグラム

また, 各事例中の式は, 他の式に出現していない変数 に対し演算を行い, 鎖状に多段の数量推論を表現し ているため, 推論鎖の長さがモデルの再帰回数の変化に反映されたということが図から観察される。

続いて, 文脈中に出現する式の数を固定して推論 の深さを変化させた場合に対する再帰回数を調査し た. 結果は図 4 のように, 解答に必要な式の数とは直接的に関係なく再帰回数が決定した.これは上記で 述べたように, 答えるのに必要な式だけを見ている のではなく, 全ての変数の値を計算しているという 仮説と一致する結果である。

## 5 おわりに

本稿では, PonderNet が数量推論においてどのよう に作用するのかを人工的なデータセットを用いて検証した. その結果, 簡単な演算に対する正解率は非適応的/適応的なモデル間では大きな差は見られな かったが, PonderNetが問題の構造に応じて再帰回数 を変化させるていることが確認できた. この挙動に 対する説明としての仮説を実験の節では提示した が, 仮説に対する厳密な評価は今後の課題である.

今回の実験は簡単な足し算のみのデータセット上 での比較であったが, 我々は今後人工数量推論問題 を用いてさらなる調査を行う予定である. 将来的に は数量推論において, 適応的なモデルを用いて簡単 な演算に対しては推論過程を短く行うように学習 し, 複雑な演算に対してはより長い推論を行うこと による汎化性の向上を目指している.

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 JP20J22697, 20K23314 の助成を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[2] Andrea Banino, Jan Balaguer, and Charles Blundell. Pondernet: Learning to ponder, 2021.

[3] Avijit Thawani, Jay Pujara, Pedro A. Szekely, and Filip Ilievski. Representing numbers in nlp: a survey and a vision, 2021

[4] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. Drop: A reading comprehension benchmark requiring discrete reasoning over paragraphs, 2019.

[5] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models, 2020.

[6] Zhiyu Chen, Wenhu Chen, Charese Smiley, Sameena Shah, Iana Borova, Dylan Langdon, Reema Moussa, Matt Beane, Ting-Hao Huang, Bryan Routledge, and William Yang Wang. Finqa: A dataset of numerical reasoning over financial data, 2021.

[7] Eric Wallace, Yizhong Wang, Sujian Li, Sameer Singh, and Matt Gardner. Do NLP models know numbers? probing numeracy in embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5307-5315, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Alex Graves. Adaptive computation time for recurrent neural networks, 2017.

[9] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, and Lukasz Kaiser. Universal transformers. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[10] David E. Rumelhart and James L. McClelland. Learning Internal Representations by Error Propagation, pp. 318-362. 1987.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[12] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[13] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Em- pirical Methods in Natural Language Processing, pp. 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2017.


# Transformer を多層にする際の勾配消失問題と解決法について

高瀬翔 1 清野舜 2,3 小林堸介 4,3 鈴木潤 3,2
${ }^{1}$ 東京工業大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 東北大学 ${ }^{4}$ Preferred Networks
sho.takase@nlp.c.titech.ac.jp shun.kiyono@riken.jp
sosk@preferred.jp jun.suzuki@tohoku.ac.jp

## 概要

Transformer は機械翻訳や要約のような系列変換タ スクをはじめ，様々なタスクに用いられている。他 のニューラルネットワークと同様に，Transformer も 性能向上のためには層の数を増やす戦略が取られる が，例えば 18 層以上のように多層化する場合には 学習の安定性のために Layer Normalization（LN）の 位置を変えた構造を使うことが主流になっている。本研究では，オリジナルの構造での多層化における 学習の不安定性は LN による勾配消失であることを 示し，Residual Connection を追加するだけで多層化 が可能になることを示す．また，多層化において主流の LN の位置を変えた構造は性能が低いことを実験的に示し，提案手法により性能に悪影響を与える ことなく多層化できることを示す.

## 1 はじめに

多層ニューラルネットワークの学習において，勾配の爆発や消失を防ぐために Batch Normalization [1] や Residual Connection [2] が考案されてきた. Batch Normalization は適用位置を変化させたときの挙動も 議論されており，性能の高い多層のネットワークを 構築するためには構造にも気を配る必要がある [3].

機械翻訳や要約のような系列変換タスクをはじ め，自然言語処理の様々なタスクに用いられている Transformer では Layer Normalization（LN）[4] が採用 されている [5]. Transformer についても LN の適用位置に関しての議論がある. 最初に提案された構造 である Post-LN は多層にすると勾配消失問題で学習 が不安定になり，サブレイヤの入力に LN を適用す る Pre-LN と呼ばれる構造（各構造を図示した図 2 も 参照のこと）の方が学習が安定していると示されて いる [6,7]. 例えば， 18 層 Transformer エンコーダ・ デコーダについて，機械翻訳で広く使われている WMT 英-独の訓練および開発データでの損失値を図

(a) Train loss

(b) Valid loss図 118 層 Transformer エンコーダ・デコーダの訓練デー タ，開発データの損失値.

1 の (a)，(b) に示した. この図から Post-LN は損失値が高いままで，学習を続けても性能が改善されて いないことが分かる.このため，多層の Transformer では Pre-LN を採用した研究が多い $[8,9]$.

Pre-LN と Post-LN との議論では学習の安定性が沮上に上がることがほとんどであり，性能差に言及し た研究は少ない.しかしながら，Liu らは機械翻訳 において，学習が成功した場合（例えば 6 層のよう に多層でない場合）には Post-LN が Pre-LN よりも 高い性能を達成したことを報告している [10]. この 結果は学習の不安定性に目をつぶれば，Post-LN は Pre-LN よりも優れていることを示唆している.

そこで本研究では，Post-LN の学習の安定性向上 に取り組む. 特に，本研究では図 1 のような，学習 を続けても性能が改善されない現象を学習の不安定性とし，これの改善に取り組む。まず，Post-LN を多層にした際に学習が不安定になる問題は LN による勾配消失が原因であることを示す。加えて， Post-LN と Pre-LN との性能差がどこに起因するかを 調査する，上記の観測に基づき，Post-LNに Residual Connection を追加するだけで，学習パラメータの追加や計算コストを増加させることなく，高い性能を 維持したまま多層での学習を安定させることが可能 になると示す。

(a) Post-LN

(b) Pre-LN

(c) Post-LN with B2T connection

図 2 Transformerを用いたエンコーダ・デコーダの構造. (a) は Post-LN，(b) は Pre-LN，(c) は Post-LN に提案手法を組み 合わせたものである.

## 2 Post-LN と Pre-LN

本節では Post-LN と Pre-LNを概説する. オリジ ナルの Transformer [5] では各 Residual Connection の 後に LN を置く，Post-LN となっている. サブレイ ヤへの入力を $x$ ，フィードフォワードネットやマル チヘッドアテンションのようなサブレイヤを $\mathscr{F}(\cdot)$ とすると，Post-LNは次のようになる：

$
\operatorname{PostLN}(x)=\mathrm{LN}(x+\mathscr{F}(x)) .
$

一方，Pre-LN は各サブレイヤの前にLNを置く：

$
\operatorname{PreLN}(x)=x+\mathscr{F}(\mathrm{LN}(x)) .
$

図 2 の (a) と (b) はそれぞれ Post-LN と Pre-LN を図示したものである.

## 3 Transformer における勾配

Liu らが報告しているように，Post-LN では勾配消失が発生する [10]. 図 3 は機械翻訳で広く使わ れている WMT 英独の訓練データにおける，18 層 Transformer エンコーダ・デコーダの (a) エンコーダ 側と (b) デコーダ側の各層の勾配のノルムを示した ものである. この図における勾配のノルムは対数目盛りとしてあるため，デコーダ側において Post-LN の勾配は層が浅くなるにつれ指数的に減少している ことが分かる。すなわち，Post-LN のデコーダ側で は勾配消失が発生しており，この勾配消失が図 1 に

(a) Encoder side

(b) Decoder side図 3 Transformer エンコーダ・デコーダの勾配のノルム.

示したように多層 Post-LN の学習を不安定にしてい ると考えられる。

勾配消失の詳細な原因を知るため，図 2(a)の (1) (5) における勾配のノルムを調査した. 図 4 は 18 層目の (1) - (5) における勾配のノルムを示している. この図から，(4) から (3)，(2) から (1) で勾配が大き く減衰していることが分かる。この勾配が大きく減衰している点はLN の位置と合致しており，LNが 勾配消失の原因であると推測される。

さらに Post-LN と Pre-LN との勾配のながれの違 いを探るために，式 (1)と (2) の微分值を計算する.各微分値は次のようになる：

$
\begin{aligned}
\frac{\partial \operatorname{PostLN}(x)}{\partial x} & =\frac{\partial \mathrm{LN}(x+\mathscr{F}(x))}{\partial(x+\mathscr{F}(x))}\left(1+\frac{\partial \mathscr{F}(x)}{\partial x}\right), \\
\frac{\partial \operatorname{PreLN}(x)}{\partial x} & =1+\frac{\partial \mathscr{F}(\mathrm{LN}(x))}{\partial \mathrm{LN}(x)} \frac{\partial \mathrm{LN}(x)}{\partial x} .
\end{aligned}
$

(1) (2) (3)
Location of Figure $1(\mathrm{a})$

$(5)$

図 4 WMT 英-独で学習した際の 18 層の Post-LNにおけ る 18 層目のデコーダの各位置における勾配のノルム.

式 (3) のように，Post-LN の微分はLN の微分お よびサブレイヤ F と Residual Connection の微分の 積となる.これに対し, Pre-LNの微分は Residual Connection の微分が LN の微分と独立の項となって いる．LN の微分が勾配を大きく減衰させたとして も，この Residual Connection の微分が勾配を維持す るため，Pre-LNでは勾配消失が発生していないと考 えられる。

## 4 各層による変換

Post-LN では LNによって勾配が減衰し，これに よって低層では勾配消失が発生しうる。このため多層の Post-LN の学習は困難であるが，実験の節にあ るように，学習に成功した場合は Post-LN は Pre-LN よりも高い性能を達成する.この性能差は各層にお ける変換の程度に依存すると考えられる。

図 5 は Transformer エンコーダ・デコーダについ て, WMT データセット内のいくつかの系列を入力 した際の，各層の出力間のコサイン類似度を平均し 図示したものである. この図において，Pre-LNの左下の類似度は Post-LN の左下の値よりも高いことが 分かる. すなわち, Post-LN と比較して, Pre-LN は 最初の層と最終層の出力との類似度が高い. 式 (2) のとおり，Pre-LNでは入力 $x$ が Residual Connection によってサブレイヤの $\mathscr{F}(\cdot)$ を回避しており，その 結果, 入力 $x$ が最終層の出力に直接足し込まれる. これにより勾配消失は防ぐことができるが，各層か らの出力の類似度が高くなってしまう。言い換えれ ば，Pre-LN は入力を変換する作用が Post-LNよりも 小さく，これが Pre-LNが Post-LNよりも性能が低い 原因であると考えられる.

(a) Post-LN

(b) Pre-LN

(c) B2T connection図 5 各層からの出力間のコサイン類似度.

## 5 提案手法: B2T Connection

本節では Post-LN の高い性能を維持したまま多層化する手法を提案する．多層化による勾配消失を防 ぐためには式 (4) にあるような，微分した際に勾配 を維持する項が必要である。これを満たすため，各層における最後の LN 以外の LNを回避する Residual Connection を追加する1). 図 2(c) の赤い矢印で示し たように，提案手法は各層への入力をフィードフォ ワードネットの結果へと結合する。本研究ではこれ を Bottom-to-Top (B2T) Connection と呼ぶ。詳細には 次式で表現される：

$
x_{\mathrm{inp}}+x_{\mathrm{ffn}}+\mathrm{FFN}\left(x_{\mathrm{ffn}}\right)
$

ここで $x_{\mathrm{inp}}$ は層への入力， $x_{\mathrm{ffn}}$ はフィードフォワー ドネットへの入力， $\mathrm{FFN}(\cdot)$ はフィードフォワード ネットである. つまり， $x_{\text {inp }}$ はセルフおよびエン コーダ・デコーダ間のマルチヘッドアテンション 後の LNを回避し，勾配の維持に貢献する. 実際,図 3(b) は B2T Connection が 18 層のエンコーダ・デ コーダにおいて勾配消失を防いでいることを示し ており, 図 1 に示すように学習も安定している。ま た, 図 5(c) は B2T Connection は出力間の類似度の傾向が Post-LN と似ており，層ごとの変換を Pre-LN よ りも行えることを示している。

## 6 機械翻訳での実験

系列変換タスクとして，機械翻訳タスクでの実験 を行う．要約，自動音声認識タスクについては付録 に記した。

1）各層の最後の LN も含め全ての LNを回避する Residual Connection も試してみたが，性能が大きく低下した．全ての LNを回避した場合には大力が出力に直接つながることにな り，節 4 で議論したように各層での変換作用が小さくなり， Post-LN の利点が消失するからであると考えられる.

## 6.1 データセット

機械翻訳タスクはオリジナルの Transformerを はじめ, Transformer エンコーダ・デコーダの性能 を調べるために広く使われているタスクであ る $[5,11,6,7,10]$. 本研究では広く使われている， WMT 英-独の 450 万文対を含む訓練データを用 いる $[5,11]$. 既存研究と同様, 語彙の構築には BPE [12] を用いる．性能評価には newstest2013-2016 を用いる。

## 6.2 比較手法

実験では Post-LN，Pre-LN，Post-LN に提案手法 である B2T Connectionを組み合わせたもの（B2T Connection）の比較を行う．層の数は広く使われて いる設定および多層の設定として 6 層と 18 層を採用する。中間層の次元数については Vaswani ら [5] の base 設定と同一の値とする，上記に加えて，多層 Post-LN の学習を安定化する, 下記の既存手法と比較を行う．なお，既存手法は学習を安定化させるた めに追加のパラメータおよび計算を要する。

DLCL Wang らは下層の出力の重み付き和を次 の層への入力とする, Dynamic Linear Combination of Layers（DLCL）を提案した [6]. 各層内に Residual Connection を追加する提案手法とは異なり，DLCL は各層間を接続する経路を設ける. 各出力への重み はパラメータであり学習によって適切な值を得る.

Admin 多層の Transformer の学習を安定化させ るため, Liu らは Adaptive Model Initialization (Admin) を提案した [10]. これは, 各層の出力の分散を元に 初期化したパラメータを導入することで，学習初期 での安定性を高めている。追加したパラメータを初期化するためには各層の出力が必要であるため，実際に学習を開始する前に, 複数回の前向き計算を要 する。すなわち，本手法はパラメータを追加してい ることに加え，必要とする計算量も増加している.

## 6.3 結果

表 1 に newstest2013-2016における各手法の SacreBLEU [14] ${ }^{2)}$ で計算した BLEU スコアとその平均值 を示した. 表 1 の上部は 6 層, 下部は 18 層の結果 を示している。表 1 の上部から，Pre-LN の BLEU ス コアは他の手法と比べて低いことが分かる。すなわ

2) SacreBLEU の signature は BLEU+nrefs:1+case:mixed+ eff:no+tok:13a+smooth:exp+version:2.0.0.表 1 WMT newstest2013-2016 における各手法の BLEU ス

ち，構造として Post-LNを用いた方が Pre-LNよりも 高い性能を達成している.

表 1 の下部では，18 層，すなわち，多層にした際 に素朴な Post-LN は学習が失敗していることを示し ている。具体的には図 1 に示したように，学習を続 けても性能が改善しなかった.これに対し，提案手法（B2T Connection）は学習に成功しており，また， Pre-LNよりも高い性能を達成している.これらの 結果から, Post-LN は学習が成功すれば Pre-LN より も高い性能を達成すること，提案手法は Post-LN の 利点を維持しつつ多層の学習の安定性を向上させて いることが分かる.

従来手法との比較では提案手法が同等以上の性能 を達成しており, 追加での学習パラメータや計算コ ストを要求しない点も鑑みると提案手法が優れてい ると言える. 付録に要約タスクでの比較も示した.

## 7 おわりに

本研究では Post-LN の学習の安定性向上に取り 組んだ. Post-LNを多層にした際は LNによる勾配消失のために学習が不安定になることを示し， Pre-LN と Post-LN の性能差が各層での変換の差に 起因する可能性を示した. Post-LNの利点を維持し たまま多層での学習を安定させる手法として，B2T Connection という，層内の LNを回避する Residual Connection を提案した. 系列変換タスクでの実験を 通して以下の 3 点を明らかにした. 1. Post-LN は学習が成功すれば Pre-LN よりも高い性能を達成可能 である. 2. 提案手法により多層 Post-LN の学習が安定する. 3. 提案手法は Post-LN の利点を維持したま ま学習を安定させることで，多層にした際に Pre-LN よりも高い性能を達成できる.

## 謝辞

本研究は JSPS 科研費 JP21K17800 および JST, ACT-X，JPMJAX200I の助成を受けたものです。ま た，本研究の一部（基礎研究）は JST ムーンショッ ト JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of ICML, Vol. 37, pp. 448-456, 2015.

[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[3] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In Bastian Leibe, Jiri Matas, Nicu Sebe, and Max Welling, editors, ECCV, pp. 630-645, 2016.

[4] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008. 2017.

[6] Qiang Wang, Bei Li, Tong Xiao, Jingbo Zhu, Changliang Li, Derek F. Wong, and Lidia S. Chao. Learning deep transformer models for machine translation. In Proceedings of ACL, pp. 1810-1822, 2019.

[7] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tie-Yan Liu. On layer normalization in the transformer architecture. In Proceedings of ICML, pp. 10524-10533, 2020.

[8] Alexei Baevski and Michael Auli. Adaptive input representations for neural language modeling. In Proceedings of ICLR, 2019.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, pp. 18771901, 2020.

[10] Liyuan Liu, Xiaodong Liu, Jianfeng Gao, Weizhu Chen, and Jiawei Han. Understanding the difficulty of training transformers. In Proceedings of EMNLP, pp. 5747-5763, 2020.

[11] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of WMT, pp. 1-9, 2018.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral machine translation of rare words with subword units. In Proceedings of ACL, pp. 1715-1725, 2016.

[13] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of NAACL-HLT, pp. 5767-5780, 2021.

[14] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of WMT, pp. 186-191, 2018.

[15] Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of EMNLP, pp. 379-389, 2015.

[16] Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of AKBC-WEKEX, pp. 95-100, 2012.

[17] Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In NeurIPS, pp. 90549065, 2019.

[18] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of WMT, pp. 1-61, 2019.

[19] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In ICASSP, pp. 5206-5210, 2015 .

[20] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast speech-to-text modeling with fairseq. In Proceedings of AACL-IJCNLP, pp. 33-39, 2020.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of EMNLP, pp. 66-71, 2018.
表 2 見出し文生成 [15] における各手法の ROUGE-1，2， LのF-1スコア（それぞれ R-1，R-2，R-Lとする．

表 3 LibriSpeechにおける各手法の単語誤り率.

## A 要約・自動音声認識での実験

## A. 1 データセット

生成型要約タスクは機械翻訳に並んで代表的な 系列変換タスクある. 本研究ではニュースの 1 文目を入力とし，見出し文を生成する見出し文生成 に取り組む. Rush ら [15]によって Annotated English Gigaword [16] から構築されたデータセットを用い る. 本データセットは 380 万文対の訓練データと 1951 文対のテストデータからなる. また, 既存研究 [13] にならい, REALNEWS [17] と NewsCrawl [18] か ら構築した 1300 万文対の追加の訓練データを用い る. 機械翻訳と同様，BPE で語彙の構築を行う.

加えて，言語以外のモダリティとして自動音声認識での実験を行う. 英語の音声認識で広く使われ ているデータセットとして LibriSpeech [19] を用い る. 既存研究 [20] にならい, 利用可能な全ての訓練 データを学習に用い, 開発，テストセットについて Clean と Otherの 2 種を用いる. デコーダ側の語彙 は SentencePiece [21] で構築する.

## A. 2 比較手法

要約においては機械翻訳タスクでの実験と同様,

Post-LN, Pre-LN, B2T connection, DLCL, Admin との比較を行う. 層の数は 6 層および 18 層とする.

自動音声認識では Post-LN，Pre-LN，B2T connec- tion の比較を行う. なお，従来研究 [20] はエンコー ダ側を多層にすることで性能が向上することを示 しているため，本実験ではエンコーダ側のみ多層に し，デコーダ側の層数は 6 層で固定とする. エン コーダ側の層数は 6 層および 12 層とする.

## A. 3 結果

表 2 に見出し文生成のテストデータにおける ROUGE-1，2，LのF-1 スコアを示す. 層の数が 6 層の場合には Post-LN および提案手法は Pre-LN よ りも高いスコアを達成している. 18 層の場合には Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, Pre-LNよりも高い性能を 達成している. この結果から, 見出し文生成におい ても，学習に成功すれば Post-LN は Pre-LN よりも高 い性能を達成可能なこと，提案手法は Post-LN の利点を活かしたまま多層にした際の学習の安定性を向上させることが分かる.

既存研究である DLCL [6]，Admin [10] との比較で は， 6 層， 18 層のどちらの場合でも提案手法が高い 性能を達成している。機械翻訳タスクでの結果とあ わせると，提案手法はこれら従来手法と同等以上の 性能を達成すると言える。なお，提案手法には追加 での学習パラメータや計算コストを要求しない点を 再度強調したい。

表 3 に各手法の単語誤り率を示す. エンコーダの 層数が 6 層の場合には，機械翻訳や要約タスクと同様，Post-LN および提案手法が良い性能を達成して いる. エンコーダの層数が 12 層の場合には素朴な Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, dev-clean を除いて Pre-LN よりも高い性能を達成している。この結果も機械翻訳や要約タスクと同様，提案手法は多層にした際の 学習の安定性を向上させること, Post-LN のように 高い性能を達成可能であることを示している。


# ニューラル言語モデルの効率的な学習に向けた 代表データ集合の獲得

鈴木潤1,2* 全炳河 ${ }^{1}$ 賀沢秀人1
${ }^{1}$ Google 合同会社 ${ }^{2}$ 東北大学
\{junsuzuki, heigazen, kazawa\}@google.com

## 概要

本稿では，大規模な学習データから選択した少量 の代表データ集合を用いてニューラル言語モデルを 学習した際に, 元の学習データ全てで学習した場合 と同等な性能を達成できるかという研究課題につい て検証する。実験では，二つの特性の違う言語モデ ルの尤度差に基づく選別方法により代表データ集合 を獲得し，GLEUベンチマークデータで評価をおこ なった. 元データの 20 分の 1 から 50 分の 1 程度ま で削減した代表データ集合から学習したニューラル 言語モデルの GLUE 平均スコアが, 全データから学習した場合と同等であることを示す.

## 1 はじめに

自然言語処理の研究分野では, 2017 年頃から ニューラル言語モデルの研究が注目され, 以降数多 くの研究成果が報告されている $[1,2,3,4,5,6]$. こ れまでに発表された多くの研究において，ニューラ ル言語モデルを事前学習済みモデルとして解きたい タスクに特化したモデルに組み込むことで，事前学習済みニューラル言語モデルを用いない場合と比較 して飛躍的に性能を向上できることを示している. つまり，特定のタスクに依存しない大規模な生テキ ストから学習した事前学習済みニューラル言語モデ ルは, 多種多様な自然言語処理タスクの汎用特徵量 (universal feature) として効果的に機能することを示 している.このことからも，ニューラル言語モデル は，昨今の自然言語処理の成功の根幹を担う必須の 基盤技術と言える。

事前学習済みニューラル言語モデルに関しては,最近の様々な研究により, 学習データ量, および, モデルサイズを大きくすることが比較的一貫性を もって性能を向上できる二大要因であることが検証され，実験的に立証されている $[2,3,6]$. ただし， その性能向上の効率に関しては，例えばデータ量や モデルサイズに対して概ね対数線形程度で効果が得 られる場合が多いことも同時に知られている $[7,8]$. つまり，あるデータ量で得られる性能からデータを 増やして得られる性能向上と同程度の性能向上をさ らに目指す場合は，増やしたデータの 10 倍増やす 必要がある.このことから，より性能の高い言語モ デルを獲得するには，膨大な量の学習データ，およ び，その処理に必要な大規模な計算リソースが必要 になることを意味する．実際に，性能の高い事前学習済みニューラル言語モデルは，潤沢な計算リソー スを持つ大手企業や研究機関からリリースされるこ とがほとんどであり，例えば大学の研究室などの多 くの計算リソースや研究資金を持たない場合は，高性能な事前学習済みニューラル言語モデルを構築す るのは非常に困難である. このようにな現状から，事前学習済みニューラル言語モデルのような重要な 基盤研究を，多数の研究機関で取り組むことができ ない状況が発生していると考えられる. 重要な要素技術の研究に対して広く研究者が参加できないのは あまり適切な状況とは言えない。

そこで，本稿では，ニューラル言語モデルの学習 データに着目し，大規模なニューラル言語モデルを 学習する際に用いるデータから，同等かそれ以上の 性能を持つニューラル言語モデルを学習できる部分集合を抽出できるかについて検証をおこなう．本稿 では，便宜上，ある特定のデータセットに対して， そのデータセットの性質を適切に保持する部分集合 を「代表データ集合」と呼ぶこととする。もし，効果的な代表データ集合を抽出できれば，現実的な計算リソースおよび研究資金で事前学習済みニューラ ル言語モデルの研究ができるようになり，より多く の研究者が参加し分野の発展がより早く進むことが 期待できる。
^{*}$ Google Visiting Researcher として実施した研究成果
}

## 2 関連研究

本研究と同様に，少ない計算資源と研究資金で事前学習済み言語モデルの研究を実現することを主目的とした取り組みが既になされている [9]. この論文では，24 時間で BERT[2] の学習を実現するため に必要な学習時の設定やモデルの改良などを示して いる (通称 24hBERT). この論文により, 計算リソー スが少ない環境でもニューラル言語モデルの効率的 に学習する知見が数多く示されている。

これまでのニューラル言語モデルの研究では，性能向上の方策の一つとしてデータ量を増やしていっ た.しかし, 最近では, Common Craw1 ${ }^{11}$ などの現在比較的簡単に取得可能な生テキストのうち最大級の データ（webテキスト）を使うのが当たり前となり， これ以上は安易にデータが増やせない状況になって きた.このように，データ量増加に関して頭打ちに なりつつあることから，次に量から質を高める方向 が注目されるようになった. 実際に，データの質を 制御あるいは向上させることで，最終的なニューラ ル言語モデルの性能が向上したという報告も散見さ れるようになった [10]. 従来のように方法論として モデルの改良ではなく，データに焦点をあてデータ を改良することで最終的なタスク性能を向上させよ うという取り組み（例：[11,12,12]）を，最近では データ中心 $\mathrm{AI}$ (Data-centric AI）研究と総称し新た に注目すべき研究カテゴリとなっている2). 本研究 も，こういったデータに着目した研究の一環と捉え ることができる.

## 3 代表データ集合の選別

本来，この代表データ集合という用語を定義する ために，データセットの性質と計測方法など上記の 説明を定量的かつ明確に計算するための定義が必要 であるが，ここでは直接的な定義は設けない。その 代わり，目的タスクにおいて，データ全体を用いた 時と同等かそれ以上の性能を達成することができ る部分集合のデータと定義する. つまり, 直接の計測は困難なので，目的タスクの性能をもって，代表 データ集合が元のデータ集合の性質を保持している と間接的に計測する方法をとる。本稿においては，言語モデルの性能について評価することが目的であ るため，言語モデルの性能評価に一般的に用いられ

るベンチマークデータの性能を比較することで，効果的な代表データ集合が獲得できたかを判断する。

代表データ集合を選出する方法論には，多くの方法が考えられる.ここでは，簡単な方法論として文献 [13] にて提案された尤度差に基づく方法論を取り 上げる. 注意点として, 本手法は全く何もない状態 から代表データを抽出する汎用の方法ではない。ま た，それを目指しているわけでもない。あくまでも 最新のニューラル言語モデルが存在し, その学習が 可能な環境があることを前提とし，それを出発点と して，いかに有用な代表データ集合を選別できるか を考える。これは，代表データ集合を一度作成する ことができれば，以降はこのデータを使うことで，少ないデータから高品質な言語モデルを作成できる ようになり，言語モデルそのものの研究を限定され た計算環境しかない場合でも実行できるようにした い，という目的を達成するためである.

## 3.1 尤度差に基づく選別

言語モデルに効果的なデータかどうかを判断す る方法として，文献 [13] にて提案された二つの言語モデルの尤度差を利用する方法を, 本研究の目的 に合わせた形で流用する。この方法は, 特定のドメ インに特化したデータ (in-domain data) から学習した 言語モデルと，特定のドメインに特化しないデータ (non-domain-specific data) から学習した言語モデルに より計算される対象テキストの尤度差により，特定 のドメインにより適したデータを選別する方法で ある．以降ここでは，便宜上，前者を特化型言語モ デル，後者を汎用言語モデルと呼ぶことにする。ま た，評価対象となる文章を $X$ とする。このとき，特化型言語モデル $M_{I}$ による $X$ の尤度を $L_{M_{I}}(X)$, 汎用言語モデルによる $X$ の尤度を $L_{\mu_{N}}(X)$ とすると，尤度差に基づくスコア $S_{L}$ は以下の式により計算で きる。

$
S_{L}=L_{\Omega_{I}}(X)-L_{\mu_{N}}(X)
$

ただし，ここでの $L_{M_{I}}(\cdot), L_{M_{N}}(\cdot)$ は. 文章中に出現 する各単語の対数尤度の和を用いる。

前に述べた通り，本研究では「少ないデータから 学習したニューラル言語モデルでも性能が高い」こ とが目的である. そこで，特化型言語モデルとし て，事前学習済みニューラル言語モデルを用いて， ある自然言語処理タスクを実行した際に，より高い 性能が得られると考えられるデータで学習された

ニューラル言語モデルと仮定する. 具体的に利用す る学習データに関しては，実験（4 節）にて述べる。 また, 汎用言語モデルは，通常の手順により得られ るニューラル言語モデルと仮定する。

## 3.2 ランキング

本研究において実際に実現したいことは，代表 データ集合の獲得であるが，扱えるデータ集合の量 は実際には各ユーザの計算機環境や研究資金に依存 して決まるので, 事前に規定するのは難しい. そこ で今回は，代表データ集合として適切かどうかを表 すスコアを個々のデータに付与する方法を採用す る.これにより, 実際に利用したいユーザの環境に 応じて，そのスコアの順番に従って上位のデータを 取得することで，代表データ集合を利用者が比較的自由に取得できる仕組みとする。

## 4 実験

本稿では, 従来通り大規模なデータを使って学習 した通常の事前学習済みニューラル言語モデルと，代表データ集合を使って学習したニューラル言語モ デルの性能を比較し, 本研究で用いた代表データ集合の選出方法が有効か検証することを目的に実験を 実施する．以降，簡単のため， 3 節の方法で得られ る代表データ集合をRepSet と表記する。

## 4.1 ベースラインニューラル言語モデル

本実験では，ベースとなるニューラル言語モデル として Text-to-text Transfer-Transformer (T5)[3] を用い た. ニューラル言語モデルの性能は, モデルサイズ により大きく変わることが知られている. 本実験で

タ), Base ( $2250 \mathrm{M}$ パラメタ), Large ( $\approx 800 \mathrm{M}$ パラメタ), $\mathrm{XL}(\sim 3 \mathrm{~B}$ パラメタ)の 4 モデルを用いた. モデルパ ラメタや学習時のハイパーパラメタの設定は, 基本的に上記文献およびサイトで配布されている設定に 従う.

## 4.2 学習用/評価用データセット

本実験で用いるデータセットは 2 種類ある。一つ は，ニューラル言語モデルの学習用データである生 テキストの集合であり，もう一つは，言語モデルの 性能評価に用いるべンチマークデータである.

表 $1 \mathrm{C} 4$ データ，および，代表データ集合 (RepSet) に関 する統計量. \#docs: 文書数, \#words: 単語数（トークン区切り未使用), ratio: C4 (default) に対する filesizeでの比率.

まず，ニューラル言語モデルの学習用データと して, Colossal Clean Crawled Corpus (C4) データ $[3]^{4}$ ) を用いた. また，ニューラル言語モデルの評価用 ベンチマークデータとしては, GLUEデータセット [15]を用いた. 本実験の全てのデータは Tensorflow Datasets (tfds) から直接呼び出して利用した.

ここで注意点として，本実験の評価は全て開発用 データの結果である. 本実験では，データの傾向を 調査することが目的であり，設定を変えて多数の 実験を実施することになる.このような場合には，評価用データを用いるのは不適切と考えられるた め5)，開発用データにて評価するのは妥当と考えら れる。

## 4.3 実験で用いる設定

RepSetを得るには，式 1 に示した特化型ニューラ ル言語モデル $M_{I}$ と汎用ニューラル言語モデル $M_{N}$ が必要となる. 本実験では，それぞれの目的に合っ た学習データを用意することで 2 種類のニューラ ル言語モデルを区別して構築する。まず，汎用言語モデル $\mu_{N}$ の学習には標準的な $\mathrm{C} 4$ データを用 いた. 次に, 特化型ニューラル言語モデル $M_{I}$ の学習用には，C4 の部分集合として事前に定義されて いる $4 /$ realnewslike と 4 //webtextlike を選択した. 更 に，これらのデータに文献 [10] に紹介されている重複削除 (deduplication) の処理を適用した.これらの データ集合から学習した $M_{I}$ および $M_{N}$ を用いて式 1 により C4 データ内の各事例のスコア付け，およ び，ランキングを実施した.

次に RepSet として，4つのサイズの違う集合 RpeSet-1, 2, 3, 4 を用意した. 表 1 に，C4 の全体の データサイズ，および，作成した RepSet の規模に 関する統計量を示す.更に，RepSet と同じデータ量

図 1 データ選択基準 RepSet と RANDOM の違いによる 平均 GLUE スコアの比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) $の$ 值.

図 2 モデルサイズの違いによる平均 GLUE スコアの 比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) の值.

をランダムに抽出したデータ集合（以下，このデー 夕集合をRANDOM と呼ぶ）を用意した。

RepSet または RANDOM を使い事前学習済みニュー ラル言語モデルとして T5をそれぞれ学習した. そ の後, GLUE の学習データを全て統合し一括でファ インチューニングした6) 最終的に得られたファイン チューニング済みモデルを GLUE ベンチマークデー タを用いて比較することで，間接的に RepSet の有効性を検証する。

## 4.4 実験結果および検証

図 1 に, データ選択基準 RepSet と RANDOM の違い による平均 GLUE スコア（縦軸）とデータ量（横軸：対数スケール）の関係および比較を示す. モデ ルサイズとしては Small と Base の結果である. 次 に，図 2 にモデルサイズ Small, Base, Large, XL に対 する RepSet の結果をプロットした.

6）タスク毎にファインチューニングしタスク毎の特化モデル を構築するのではなく, 全タスクの評価に一つのモデルを使用する設定である.本実験においては，基本的な性質としてデータ量 は多ければ多いほど性能は安定的に高くなるとい う傾向が見られた。同様に，モデルサイズに関して も，モデルサイズが大きくなればなるほど性能が高 くなった (Small $<$ Base $<$ Large $<\mathrm{XL}$ ). これらの結果 は直感やこれまでの多くの研究成果と同じ傾向の結果と言える。

次に，データを選択する際にRepSetを使うことで RANDOMよりも良い結果が得られることがわかった. つまり，少ないデータ量の設定でも RepSet が効果的なデータを選択できていることを示唆している.例えば，RepSetを用いることで，データ量（ファイ ルサイズ）を 21 分の 1 程度までなら Small から XL まで全てのモデルサイズで性能を維持できるという 結果になった. このことから，T5 の論文と同等の 実験をしようと思った際に， 21 分の 1，あるいは， Base であれば 47 分の 1 程度のデータ量でも同様の 実験ができることが期待できる．ただし，モデルサ イズが大きくなると，データ選択でデータ量を減ら した際に，性能の劣化が早く訪れることが観測され たので注意が必要である (例: XL の RepSet-3 と 4).

RANDOM によりデータ量を削減する場合に，事前の予測ほど性能の低下は大きくなかった，これ は，元データに冗長性があることが想定される。 よって，㔯長性を排除する方法論を組み合わせるこ とで，更に性能向上できる可能性が考えられる.

## 5 おわりに

本稿では，大規模な学習データから代表データ集合を選択しニューラル言語モデルを学習した際に，元の学習データ全てで学習したニューラル言語モデ ルと同等な性能を達成できるか, という研究課題の 検証をおこなった. 本稿の実験では，尤度差に基づ くランキングにより獲得した代表データ集合は，元 データの 21 分の 1 程度のデータ量でも GLUE の平均性能の観点で同等の性能が得られることを示し た. また，ランダム選択の場合は，データ量を減ら した場合に顕著に性能が低下することも示した. こ れらの結果から, 少ない計算リソースと研究資金し かない研究組織においても最先端の事前学習済み言語モデルの研究をやりやすくする，という本研究の 最終目的の実現可能性を示した. 代表データ集合を 利用することで，事前学習済み言語モデルを改善す る研究が更に推進することを期待する。

## 謝辞

本研究に関して Google 合同会社 澤井裕一郎氏に アドバイスを頂きました. 感謝いたします.

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep Contextualized Word Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[7] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[8] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, Chris Hallacy, Benjamin Mann, Alec Radford, Aditya Ramesh, Nick Ryder, Daniel M. Ziegler, John Schulman, Dario Amodei, and Sam McCandlish. Scaling Laws for Autoregressive Generative Modeling, 2020.

[9] Peter Izsak, Moshe Berchansky, and Omer Levy. How to Train BERT with an Academic Budget. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10644-10652, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan
Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating Training Data Makes Language Models Better, 2021.

[11]

[12] Timothy Nguyen, Roman Novak, Lechao Xiao, and Jaehoon Lee. Dataset Distillation with Infinitely Wide Convolutional Networks, 2021.

[13] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In Proceedings of the ACL 2010 Conference Short Papers, pp. 220-224, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[14] Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, 2021.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# Iterative Back-translation は対訳語彙を獲得できるか?

谷川琢磨秋葉友良塚田元
豊橋技術科学大学
}

\{tanigawa.takuma.fu, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp
## 概要

ニューラル機械翻訳におけるデータ拡張手法と して, Iterative Back-translation (IBT) が知られている. IBT は，翻訳対象言語対の 2 つの単言語コーパスを 相互に逆翻訳とモデルの更新を繰り返し行うこと で，疑似対訳データと翻訳モデルの質を向上させる 手法である.IBT は効果的な手法であることが知ら れているが，その知識獲得の過程は十分に解明され ていない. 本研究では, IBT を用いたドメイン適応 を対象に，単言語コーパスからどのような過程で ターゲットドメインの対訳語彙を獲得しているかに ついて調査を行った. その結果，反復を繰り返すご とに対訳語彙を獲得していき，最終的には獲得可能 な 6 割以上の対訳語彙が獲得できていることが示さ れた.

## 1 はじめに

近年のニューラル機械翻訳（NMT）における 有効的なデータ拡張手法として, Iterative Backtranslation(IBT)[1][2] が知られている. IBT は，翻訳対象言語対の 2 つの単言語コーパスを相互に逆翻訳とモデルの更新を繰り返し行うことで，疑似対訳 データと翻訳モデルの質を向上させる手法である.

IBT は効果的なデータ拡張手法であることが実験的に示されている一方，その原理については十分に 明らかになっているとは言えない. 特に，互いに対応関係のない 2 言語の単言語コーパスから，実際に 翻訳に関する知識が獲得されるかどうか，詳細に調 べた研究は存在しない. そこで本研究では，IBTを 用いたドメイン適応の問題設定を対象に，単言語 コーパスからドメイン固有の対訳語彙が獲得される かどうかを調査することで，IBT の知識獲得の過程 を明らかにする。その際，対訳語彙を 2 つの単言語 コーパスから獲得するには，少なくとも対訳となる 単語対それぞれが各単言語コーパスに存在する必要 があると考えられるため, 理想的な設定として単語対が必ず含まれることが保証されるコンパラブル コーパスを用いた実験も行った．加えて，翻訳モデ ルの処理単位が対訳語彙の獲得に与える影響を調査 するために，サブワード単位および単語単位の翻訳 モデルで比較を行った。

## 2 Iterative Back-translation(IBT)

Iterative Back-translation(IBT) に基づくドメイン適応手法の手順を説明する．ここで，Xと $\mathrm{Y}$ はそれぞ れの言語を示し，言語 $\mathrm{X}$ から $\mathrm{Y}$ の翻訳を X-Y，Y か らXへの翻訳を Y-X と記す。

いて, Model ${ }_{X-Y} 0$ と Model $_{\mathrm{Y}-\mathrm{X} 0}$ を学習する.
2. $\mathrm{i}$ を 0 に初期化して以下を反復する.

2.1ターゲットドメインの単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ を Model $_{\mathrm{Y}-\mathrm{X}}$ により翻訳し，疑似対訳コー パス ( $\left.\mathrm{C}_{\mathrm{X}}^{\text {in }}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}\right)$ を作成する. 疑似対訳コー パスと（ $\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}$ )を結合した学習データ を用いて， Model ${ }_{X-Y}$ から Fine-tuning を行 い $\operatorname{Model}_{X-Y}(i+1)$ を学習する.

2.2ターゲットドメインの単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ を Model ${ }_{X-Y} \mathrm{i}$ にり翻訳し，疑似対訳コー パス（ $\mathrm{C}_{\mathrm{Y}}^{\text {in }}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ )を作成する. 疑似対訳コー

を用いて， Model $\mathrm{Y}_{\mathrm{Y}-\mathrm{X}}$ から Fine-tuning を行 い Model $_{Y-X}(i+1)$ を学習する.

$2.3 \mathrm{i} \leftarrow \mathrm{i}+1$

## 3 調査手法

ターゲットドメインの知識獲得の過程を確認す るために，本実験では対訳語彙の獲得を調査した.言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の対訳語彙獲得を調査するために 行った手順は以下のとおりである.

1. 言語 $\mathrm{X}$ のソースドメインの学習データ (対訳 コーパス) に存在する単語集合 $\mathrm{O}_{\mathrm{X}}$ とターゲッ トドメインの学習データ (単言語コーパス) に存

図 1 Iterative Back-translation の手順

在する単語集合 $\mathrm{I}_{\mathrm{X}}$ をそれぞれ求め，ターゲッ トドメインの学習データにのみ存在する単語集合 $\mathrm{D}_{\mathrm{X}}=\mathrm{I}_{\mathrm{X}}-\mathrm{O}_{\mathrm{X}}$ を特定する. 同様に言語 $\mathrm{Y}$ の $\mathrm{D}_{\mathrm{Y}}=\mathrm{I}_{\mathrm{Y}}-\mathrm{O}_{\mathrm{Y}}$ も求める.

2. Moses[3] の単語アライメントツールを用いて, テストデータにおける言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の単語 アライメントを求める ${ }^{11}$ ．テストデータ中でア ライメントされた単語対 $\left(w_{X}, w_{Y}\right)$ について，両言語の単語がともに $\mathrm{D}_{\mathrm{X}} ， \mathrm{D}_{\mathrm{Y}}$ に含まれているも の $\mathrm{T}=\left.\{\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right) \mid \mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}} \wedge \mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}\right.\}$ を獲得目標の対訳語彙とする。

3. 調査対象の翻訳モデルによってテストデータ の翻訳を行い， $\mathrm{T}$ の対訳語彙の入力側の単語 $\mathrm{w}_{\mathrm{X}}$ それぞれに対して，対応する単語 $\mathrm{w}_{\mathrm{Y}}$ が翻訳結果に出力されていれば，その対訳単語対 $\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right)$ が獲得できているとみなす.

翻訳モデルごとに対訳語彙の獲得を比較するため に，テストデータの対訳語彙 $\mathrm{T}$ に含まれる入力単語延べ数に対する対訳語を獲得できた割合を対訳語彙獲得率と定義し, 本研究の評価指標とした。

## 4 実験

IBT によってドメイン適応を行い，翻訳モデルの 翻訳結果からターゲットドメインの対訳語彙獲得を 確認することにより，ドメイン知識の獲得を調査す る。また，コーパスの前処理や単言語コーパスの違

1）単語アライメントの精度を向上させるため，ドメイン適応実験で単言語コーパスとして利用するものも含め、利用でき る対訳コーパスを全て用いて EM 学習を行った。
いによって対訳語彙の獲得にどの程度影響を与える のか調査する.

## 4.1 データセット

ソースドメインの対訳コーパスには，対訳 440,288 文からなる Wikipedia 日英京都関連文書対訳コーパ ス (KFTT)を用いた. ターゲットドメインの単言語 コーパスには，英語と日本語の対訳コーパスであ る Asian Scientific Paper Excerpt Corpus (ASPEC)[4] の 対訳データの全文 100 万文を 50 万文ずつ分割して，両言語に前半 50 万文を単言語コーパスとして使用 したコンパラブルなもの (以降，この単言語コーパ ス対を CP と表記) と，英語の前半 50 万文と日本語 の後半 50 万文をそれぞれ使用した非コンパラブル なもの (以降，NCP と表記) について調査した。 $\mathbf{C P}$ は各言語の単言語コーパスに，同じコンテキストで 対訳語が出現する理想的な条件，NCP は必ずしも同 じコンテキストで対訳語が出現するとは限らない現実的な条件，に相当する。テストデータと開発デー タには ASPEC 指定のものを用いた。

コーパスの前処理については，処理単位をサブ ワードとした場合と単語の場合の 2 通りを実験し た. 処理単位をサブワードとする場合は，すべての テキストデータに対して NFKC 正規化を行い，さら に英語データに対しては Moses[3] のトークナイザ による形態素解析と truecaserによる小文字化を行っ た. そして，両言語を Sentence Piece [5] を用いてサ ブワード単位の分割を行った。ボキャブラリサイズ は 16,000 に設定した。処理単位を単語とする場合 は，同様に NFKC 正規化を行った後，日本語デー タには MeCab[6] を用いた形態素解析，英語データ に対しては Moses のトークナイザによる形態素解析と truecaserによる小文字化を行った. truecaser と Sentence Piece のモデルの学習には，ソースドメイン の対訳コーパスとターゲットドメインの単言語コー パスの両方を用いた。

調査対象の対訳語彙を求める際の単語アライメン 卜作成には，ASPEC コーパスに NFKC 正規化，形態素解析，全英単語の小文字化の前処理を行った．英語の形態素解析には Moses のトークナイザを，日本語には MeCabを使用した。その後，Mosesを用いた 単語アライメントを作成するために，どちらかの言語で 40 単語を超える文を含む文ぺアの削除を行っ た. EM 学習には，ターゲットドメインの利用でき る全ての対訳データを用いて単語アライメントを作
表 1 調査対象対訳語彙の統計

成し, 調査対象のテストデータの単語アライメント だけを実験に利用した. 文ぺア削除後のテストデー タのサイズは 1,557 文対であった.

## 4.2 実験方法

3 章の手順に従って対訳語彙の特定を行った. まず，KFTT 対訳コーパスに出現する単語集合 $\mathrm{O}_{\mathrm{En}}, \mathrm{O}_{\mathrm{Ja}}$, ASPEC 単言語コーパスに出現する単語集合 $\mathrm{I}_{\mathrm{En}}, \mathrm{I}_{\mathrm{Ja}}$ ，からターゲットドメインの ASPEC 単言語コーパスにのみ存在する単語 $\mathrm{D}_{\mathrm{En}}, \mathrm{D}_{\mathrm{Ja}}$ を求めた. その後，テストデータ間の単語アライメントを作成 して，作成したアライメントと $\mathrm{D}_{\mathrm{En}} ， \mathrm{D}_{\mathrm{Ja}}$ を用いて 調査対象の対訳語彙 $\mathrm{T}$ を特定した。

翻訳モデルの学習は 2 章で記述した IBT の手順に 従った。まず，ソースドメイン対訳コーパス KFTT から翻訳モデル Model0を学習し，ターゲットドメ イン単言語コーパスである ASPEC Model0を用 いて翻訳して疑似対訳コーパスを作成した。次に， KFTT の対訳コーパスと ASPEC の疑似対訳コーパス を連結した学習データを用いて Model0を fine-tuning して翻訳モデル Model1を得た. その後, 再び単言語コーパスを Model1を用いて翻訳して疑似対訳 コーパスを作成した. 以降もこのような手順を双方向かつ反復的に行うことでモデルの学習を行った.

次に，学習した各種モデルを用いてテストデータ を翻訳した。翻訳モデルの処理単位をサブワードと した場合は，翻訳結果のサブワード列をデトークナ イズした後, 日本語は MeCabによる形態素解析を 行い，単語列に変換した. 得られた単語列に対し て，3章の手順に従って翻訳結果に対訳語彙が出力 されているか確認を行った.

## 4.3 実験条件

ニューラル機械翻訳システムには OpenNMT[7] を 用いた. モデルには Transformer を使用し, 最適化 アルゴリズムには Adam を用いて学習率を 2 とし た. 学習ステップは Model0 では 30000 ステップ,以降の Model では 5,000 ステップずつ学習を行い続 け，開発データに対する accuracy が 3 回連続で向上

図 2 英日方向の対訳語彙獲得率

図 3 英日方向の BLEU

しない場合に終了し，もっとも高かった accuracy の モデルを選択した. 処理単位を単語とする場合は， ボキャブラリサイズ 50,000 に加えて，調査対象の 対訳語彙の単語をすべてボキャブラリに追加した. これは，単語単位の翻訳の場合，そもそもボキャブ ラリに含まれない単語を出力することはできない ため，語彙獲得不可能となってしまうからである.翻訳のボキャブラリには含まれているという条件 の下で，対訳語彙獲得を調査した. また，単語単位 の翻訳モデルでは，翻訳時に未知語を入力側のもっ ともらしい単語にそのまま置き換える OpenNMT の replace_unkを使用した. モデルの翻訳精度の評価に は BLEUを用いた.

## 4.4 実験結果

表 1 に調查対象の対訳語彙に関する統計を示す.英日と日英方向の翻訳実験それぞれについて，単言語コーパス対がコンパラブルである場合 $(\mathbf{C P})$ と 非コンパラブルである場合 $(\mathbf{N C P})$ ，翻訳単位をサ ブワードとした場合 (subword) と単語とした場合 (word), の組み合わせで $2 \times 2=4$ 通りの実験を 行った. 図 2 と図 3 に，英日方向の対訳語彙獲得率 と翻訳性能の結果を，それぞれ示す.また図 4 と図 5 に，日英方向の対訳語彙獲得率と翻訳性能の結果

図 4 日英方向の対訳語彙獲得率

図 5 日英方向の BLEU

を，それぞれ示す. 各グラフの横軸は，IBT の反復回数を示し, Model0がソースドメイン対訳コーパス だけで学習した場合, Model1 が一度だけターゲッ トドメインの単言語コーパスを逆翻訳した場合 [8], Model2 以降が IBT に相当する.

実験結果から，どの翻訳方向と実験状況の場合 でも，IBT の反復を繰り返すことで対訳語彙獲得率が徐々に上昇するとともに翻訳性能 (BLEU) も 向上していることがわかる. 理想的な条件である $\mathbf{C P}+$ subword において，対訳語彙獲得率は英日方向 で約 $67 \%$, 日英方向で $61 \%$ となり, 獲得可能な 6 割以上の対訳語彙が獲得できた。現実的な条件である NCP+subword においても，英日方向で約 $63 \%$, 日英方向で $59 \%$ と 6 割前後の対訳語彙が獲得されてい た.この結果から, IBT は対訳語彙の獲得が可能で, その性質が翻訳性能の向上に寄与していると考えら れる. また，両言語で対訳語が同じコンテキストで 出現するとは限らない現実的な条件である NCP で さえ対訳獲得獲得はそれほど低下しなかったことか ら，IBT は使用する単言語コーパス対に依存せずロ バストに語彙獲得できることが示された.

処理単位がサブワードである場合と単語の場合 を比較すると， subword は word よりも高い対訳語彙獲得率を達成した。これにより, 対訳語彙獲得に表 2 実際に獲得できた対訳語彙の例

は処理単位をサブワードとすることの有効性が示 された. 実際，Model0，すなわちソースドメインの 対訳コーパスのみで学習した場合，ターゲットドメ インの対訳は獲得できないはずであるが，それでも subword の場合は少量の対訳語彙が獲得できてい る.これは，サブワードを使用するだけで音訳的な 対訳語の獲得 (例えば、albumin とアルブミン、UHV と UHV、など) ができているためである.しかしな がら，単語単位であってもIBT の反復によって 4 割程度の対訳語彙獲得が達成できていることから，サ ブワードの利用が対訳語彙獲得の必要条件ではない ことを示している.

NCP+subword の設定で，実際に獲得できた対訳語彙の例を表 2 に示す. 科学技術論文ドメインであ る ASPECから，trivial ではない対訳語が多数獲得で きていることがわかる. また，IBT の繰り返しによ る翻訳結果の変化の例を付録の表 3 に示す.

## 5 結論

本研究では，IBT のターゲットドメインの知識の 獲得過程を，対訳語彙の獲得を確認することで調査 を行った. 結果として, IBTの反復を繰り返すごと に対訳語彙を獲得していき，最終的にターゲットド メインの獲得可能な対訳語彙の 6 割以上を獲得した ことを確認した. 同様に BLEU も向上していること から，IBTではドメイン内コーパスの対訳語彙を獲得することによって，翻訳性能の向上に寄与してい ることが明らかになった。 また，IBT は利用する単言語コーパスがコンパラブルかそうでないかに関わ らず，単言語コーパスのみから対訳語彙の単語同士 の関係を学習できていること，翻訳の処理単位にサ ブワードを用いることで対訳語彙獲得率を向上させ ること，がわかった.

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$

の助成を受けた。

## 参考文献

[1] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative Back-Translation for Neural Machine Translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[2] 森田知熙, 秋葉友良, 塚田元. Fine-Tuninng と混成的な 逆翻訳サンプリングに基づくNMT の双方向反復的教師なし適応の改善. 言語処理学会第 27 回年次大会 発表論文集,pp.1669-1673, 2021.

[3] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[4] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC' 16), pp. 2204-2208, 2016.

[5] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018

[6] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis, In Proceedings of the Conference on Emprical Methods in Natural Language Processing, pp.230237, 2004.

[7] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation. In Proceedings of ACL 2017, System Demonstrations, pp 67-72, 2017.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch, Improving Neural Machine Translation Models with Monolingual Data, In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.86-96, 2016.

## A 付録

表 3 対訳語彙獲得の例


# ラウンドトリップ翻訳を用いた ニューラル機械翻訳のデータ拡張

紺谷 優志 秋葉 友良 塚田 元
豊橋技術科学大学
\{kontani.yushi.qu,akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) は学習に膨大な規模 の対訳コーパスを必要とするが，ドメインによって は大量の学習データを用意することが難しい場合も ある. 本研究では，ラウンドトリップ翻訳を用いて 学習データを追加のリソースを用いることなく拡張する手法を提案する．疑似対訳コーパスを用いて 翻訳モデルの性能を向上させる手法である Iterative Back Translation に本手法を結合した実験を行った結果，本手法がモデルの翻訳性能を有効に向上させら れることが分かった。

## 1 はじめに

近年，機械翻訳手法の一つであるニューラル機械翻訳（NMT）が従来手法である統計的機械翻訳を大 きく上回る翻訳性能を持つことが報告されている. しかし NMT を構築するためには数十万〜数百万文 という大量の対訳コーパスが必要であり，十分な量 の対訳コーパスを用意できない場合は十分な性能の 翻訳モデルを作ることはできない．また，翻訳モデ ルは学習データのドメイン (分野) にも強い影響を 受ける. ドメインによっては大量のデータを用意す ることが困難な場合もあり，そのような場合におい ても良質な翻訳モデルを構築するのは困難となる。

本研究では，ある言語の文を別の言語の文に翻訳 し，その結果を元の言語の文に逆翻訳するプロセス であるラウンドトリップ翻訳を用いて，対訳コーパ スをデータ拡張する手法を提案する。 そして本デー 夕拡張手法を Iterative Back Translation と組み合わせ ることで，追加の学習データなしで翻訳精度を向上 できることを示す.

## 2 関連研究

モデルの精度向上の方法として，対訳コーパスに 何らかの操作を行うことで，データを拡張する手法 が提案されている. Fadaee ら [1] は，大量の単言語 データで学習した言語モデルを活用し，対訳文中の 一部の単語を低頻度語に入れ替え学習データに加え る方法を提案している。張ら [2] は，単語アライメ ント情報を用いて対訳コーパスから抜き出した部分的な対訳文を用いて学習データを拡張する方法を提案している。

また，別の学習データを活用するアプローチも 取られている. Sennrich ら [3] は目的言語の単言語 コーパスを原言語へと逆翻訳して疑似対訳コーパ スを生成し，対訳コーパスと合成して翻訳モデル の再学習に使う手法を提案した。森田ら [4], Hoang ら [5], Zhang ら [6] は Sennrich ら [3] の手法を双方向かつ反復的に拡張することで，2つの翻訳方向の モデルを相互に改善する方法である Iterative Back Translation(IBT) を提案した. IBTでは対訳コーパス と，比較的入手が容易な単言語データを用意し，対訳コーパスを単言語データでデータ拡張し，各方向の翻訳モデルを反復更新する．IBTによって， Sennrich ら [3] の手法を大幅に上回る翻訳性能を達成できることが報告されている。

## 3 提案手法

## 3.1 データ拡張手法

本論文では random sampling を交えたラウンドト リップ翻訳を行うことで，データ拡張を行う手法を 提案する。ここで，ラウンドトリップ翻訳とは，あ る言語の文を別の言語の文に翻訳し，その結果を元 の言語に逆翻訳するプロセスのことを指す。また， random sampling は文の翻訳を行う際，出力される単
語にランダム性を加える方法である．NMT モデル は対訳コーパスから入力文に対する出力文の事後確率分布を学習する。通常の翻訳では，この事後確率分布に従い, 入力された単語列に対して最も出力 される確率が高い単語列が出力される. それに対し て, 事後確率分布に基づきランダムに単語列を選択し出力するのが random sampling である. random sampling をラウンドトリップ翻訳と組み合わせるこ とでパラフレージングに似た効果を期待できる。

2 つの言語の文 $D_{X}$ と $D_{Y}$ から成る対訳コーパス を用いて $\mathrm{X} \rightarrow \mathrm{Y}$ 方向と $\mathrm{Y} \rightarrow \mathrm{X}$ 方向の翻訳モデルを 学習したと仮定する. 両方向の翻訳モデルを用い て， $D_{X}$ を翻訳して言語 $\mathrm{Y}$ の文 $D_{Y}^{\prime}$ を生成し， $D_{Y}^{\prime}$ を 翻訳して $D_{X}^{\prime}$ を生成したとき, 対訳文 $D_{X}-D_{Y}$ と疑似対訳文 $D_{X}^{\prime}-D_{Y}^{\prime}$ は表現の大きく異なる対訳文にな ると考えられる.これが，本研究で提案するラウン ドトリップ翻訳によるデータ拡張の基本的な流れで ある.

本論文では，ラウンドトリップ翻訳と random sampling を用いて目的言語の表現を多様化する 3 つ のデータ拡張手法を提案する。なお，すべてのパ ターンにおいて, $\left(D_{X}^{\prime}, D_{Y}^{\prime \prime}\right)$ を疑似対訳コーパスと し，モデルの再学習に使用する.

(a) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow D_{Y}^{\prime \prime}$ (図??)

(b) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow$ $D_{Y}^{\prime \prime}$ (random sampling で生成)（図??)

(c) $D_{Y} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow D_{Y}^{\prime \prime}$ (図??)

(a) 手法 a

(b) 手法 b

(c) 手法 c

図 1: ラウンドトリップ翻訳で目的言語を多様化す るデータ拡張手法（提案手法）

## 3.2 提案手法の双方向反復的適用

提案手法を用いて行う実験全体の流れを以下に 示す.

1 対訳コーパス $D_{X}-D_{Y}$ を用いて X-Y 方向と Y-X 方向の翻訳モデルを学習する.

2 両方向の翻訳モデルを用いて $D_{X}$ に対してラウ ンドトリップ翻訳によるデータ拡張を行い，疑似対訳コーパス $D_{X p}^{Y-X}-D_{Y p}^{Y-X}$ を生成する.

3 元の対訳コーパス $D_{X}-D_{Y}$ と疑似対訳コーパス $D_{X p}^{Y-X}-D_{Y p}^{Y-X}$ を結合した学習データを用いて，Y $\rightarrow \mathrm{X}$ 方向の翻訳モデルを更新する.

また，以上の手順を逆向きの言語方向に適用するこ とで， $\mathrm{X} \rightarrow \mathrm{Y}$ 方向の翻訳モデルも構築できる. 本実験ではこれらの手順を森田ら [4] の手法のように双方向に繰り返し適用することで両方向の翻訳モデル を更新していく，全体的な手順を図 2 に示す.

## 4 実験

## 4.1 データセット

学習用データセットとして TED の講演内容を 書き起こした話し言葉のコーパスである IWSLT 2017 データセット [7] を使用した. training データ は IWSLT2017 データセットに含まれる英日コーパ ス（223,108 文）を用いた. dev データと test データ はデータセット内の 2010 年版のデータ（それぞれ 871 文と 1,549 文）を用いた。

前処理として英語文，日本語文ともに NFKC 正規化し, 英語文は Moses[8] に付属するトークナイ ザーと truecaser でトークナイズと大文字小文字 の表記統一を行った. 学習前の事前処理として SentencePiece[9] によるサブワード化を行った.

## 4.2 実験設定

NMT システムには OpenNMT-py[10] の Transformer を使用した. エンコーダ，デコーダともに 6 層と し，隠れ層の次元を 512 とした. 初期モデルは訓練 データを 25000 ステップまで学習させて作成した.以降のモデルは 1000 ステップごとに保存した. 性能評価には BLEU[11]を用いた. 英日翻訳モデルを 評価する際には，テストデータの翻訳結果をデトー クナイズした後 MeCab[12] により分かち書きし評価 を行った. また，本実験内で random sampling 翻訳

図 2: 提案手法を用いた双方向反復的データ拡張の流れ

を行う際は，いずれも事後確率の上位 10 語の中か ら語彙をランダムに選択し出力するオプションを指定した.

## 4.3 実験条件

3.1 節に示した 3 パターンのデータ拡張法で実験 を行った．また，ラウンドトリップ翻訳による目的言語のデータ拡張の有効性を検証するため, 図 3 に 示すような比較手法の実験も行った. なお，すべて のパターンにおいて，最後の 2 つのデータを疑似対訳コーパスとする。また，図 1 と同様，図 3 中の内容は $\mathrm{Y} \rightarrow \mathrm{X}$ 方向の翻訳モデルを学習するための疑似対訳コーパスの作成内容である. $\mathrm{X} \rightarrow \mathrm{Y}$ 方向の翻訳モデルを学習するためには, 図中の内容を逆向き の言語方向に行い，疑似対訳コーパスを作成する.

(d) $D_{X} \rightarrow D_{Y}^{\prime}$ （図??)

(e) $D_{X} \rightarrow D_{Y}^{\prime}$ (random sampling で生成)（図??)

(f) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) (図??)

(d) 手法 d

(e) 手法 e

(f) 手法 $\mathrm{f}$図 3: 比較手法手法 d は森田ら [4] の手法で単言語データから疑似対訳コーパスを作成する手順と同一である。ま た，手法 $\mathrm{f}$ は $D_{Y}^{\prime}$ と $D_{X}^{\prime}$ のペアを用いて $\mathrm{Y} \rightarrow \mathrm{X}$ 方向のモデルを学習している。全ての実験において baseline のモデル (モデル 0) には全て同一のモデル を使い，IBTで 4 回モデル更新を行った（モデル 1～ $4)$.

## 4.4 実験結果

手法 $\mathrm{a} \sim \mathrm{f}$ までの英日翻訳モデルと日英翻訳モデ ルの BLEU スコアの推移を図 4 と図 5 に示す. 提案手法 $\mathrm{a} \sim \mathrm{c}$ はいずれもモデル 4 までの時点で，モデ ルの更新に従って BLEU スコアが順調に増加して おり，中でも手法 a は突出したスコアを記録して おり，英日方向の BLEU は baseline の 8.97 からモデ ル 4 で 10.09 まで，日英方向の BLEU は baseline の 9.53 から 10.77 まで増加した. それと比べ，比較手法 d f は BLEU スコアがごく僅かな増加に留まっ ており，モデル 1 やモデル 2 以降の段階で減少に転 じているものがほとんどである.

以上のことから，提案法により元の対訳コーパス のみでモデルの性能を改善できること，比較手法よ りも性能向上の効果が大きいこと，ラウンドトリッ プ翻訳によるデータ拡張の構成として
- $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}($ random sampling で生成 $) \rightarrow D_{Y}^{\prime \prime}$ という組み合わせが最も良い効果を発揮することが 示された. 本手法により, 例えば表 1 の $D_{X}^{\prime}-D_{Y}^{\prime}$ の

図 4: 英日翻訳における各手法の BLEU の推移

図 5: 日英翻訳における各手法の BLEU の推移

## ような新たな対訳が学習データに追加される.

ラウンドトリップ翻訳を用いない手法 $\mathrm{d} \sim \mathrm{f}$ に関 して, 手法 $\mathrm{d}$ ではモデルの学習に使用した学習デー タをそのまま疑似対訳コーパスの作成に流用してい る.そのため, 元の対訳コーパスと疑似対訳コーパ スの内容がほとんど変化しないためデータ拡張とし ての意味をなさず，モデルの精度向上にもつながら なかった。

手法 $\mathrm{e}$ は手法 $\mathrm{d}$ と異なり原言語側 $D_{Y}^{\prime}$ の表現は多様化するが, 目的言語側 $D_{X}$ の表現は多様化しな い.このことが，翻訳精度向上に結びつかない原因 だと考えられる. 手法 $\mathrm{f}$ は $D_{Y}^{\prime}$ が $D_{Y}$ とほぼ同じに なるため, random sampling を用いて目的言語側の表現を多様化させてはいるものの, self training と同等 の処理となるため，翻訳精度向上に結びつかなかっ たと考えられる。

## 5 おわりに

本研究ではラウンドトリップ翻訳を用いたデータ 拡張手法を提案し，提案手法とIBT の手法を結合し た実験を行いその有効性を検証した. 実験の結果， 4 度のモデル更新を通して BLEU が英日方向で 1.12,日英方向で 1.24 の増加を達成し, 本手法が元の対訳 コーパスだけでモデルの精度を向上させられること表 1: 手法 a での翻訳結果の一例

 \\

を示した．また，比較手法により目的言語の多様化 が精度向上の鍵となっていることが示唆された。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および $18 \mathrm{H} 01062$ の助成を受けた。

## 参考文献

[1] Marzieh Fadaee, Arianna Bisazza, and Christof Monz. Data augmentation for low-resourse neural machine translation. In Proc. 55th Annual Meeting of the Assoc. for Computational Linguistics (Volume 2: Short Papers), pp.567573, Vancouver, Canada, 2017.

[2] 張津一, 松本忠博. ニューラル機械翻訳における長文分割によるコーパスの拡張. 言語処理学会第 25 回年次大会 発表論文集, pp. 683-686, 2019.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[4] 森田知熙, 秋葉友良, 塚田元. 双方向ニューラル機械翻訳の反復的な教師なし適応の検討. 言語処理学会第 25 回年次大会 発表論文集, pp. 1451-1454, 2019.

[5] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[6] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data, In AAAI, 2018.

[7] M. Cettolo, M. Federico, L. Bentivogli, J. Niehues, S. Stüker, K. Sudoh, K. Yoshino, and C. Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation(IWSLT), 2017.

[8] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, Evan Herbst, Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual

Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[9] Taku Kudo, John Richardson, SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[10] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, Alexander M. Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation, In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.


# Prompting Candidate Words for Refined Word-Level Quality Estimation

Yizhen $\mathrm{Wei}^{1}{ }^{1}$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
 }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan

\begin{abstract}
Based on refined word-level $\mathrm{QE}$, we propose a new function that prompts candidate words for replacement and insertion. In order to implement such a function, we models prompting candidate words as a blank infilling task. Methodologically, we adopted several pre-trained language models including BERT, XLM-R, and mBART to solve the task. En-Zh experiments using a small-scale manually annotated dataset and a large-scale pseudo dataset are conducted. Best performance reaches $34.11 \%$, indicating that over one-third of the blanks whose answers can be correctly prompted by our model.
\end{abstract
## 1 Introduction

Post-editing refers to the process of editing a rough machine-translated sentence (MT) into a correct one.

There are many methods for post-editing assistance to help post-editors doing their work. Schwartz et al. [8] revealed the importance of word alignment for post-editing assistance as showing alignment statistically significantly improves the post-editing quality. However, simple word alignment fails to tell where translation errors are. Original word-level quality estimation (word-level QE) is another traditional method for post-editing assistance [9]. This task outputs QE tags expressed as OK or BAD. However, such a dualistic judgement is not enough because BAD is too ambiguous for post-editors to determine a specific operation. Wei et al. [10] proposed a new task that incorporates source-MT word alignment (referred to as extended word alignment) with the original word-level QE [9]. They succeeded in indicating specific operations for post-editors, which is believed to be an improvement for post-editing efficiency. We consider their task as refined word-level QE. Nevertheless, refined word-level QE only points out where certain operations including replacement, insertion, and deletion should be done. For an operation like insertion or replacement, post-editors still need to think for themselves about specific content to be inserted into MT.

Based on refined word-level $\mathrm{QE}$, we take a step further, proposing a novel downstream function which prompts a list of candidate words for replacement and insertion. To implement it, we trained pre-trained language models including BERT [3], XLM-RoBERTa [1] (XLM-R), and multilingual BART [5] (mBART) for blank infilling task.

We conduct En-Zh experiments to prove the feasibility of our method. Results show that the best model pre-trained by a large pseudo dataset successfully prompts correct answers for more than one-third of the blanks in the test set.

## 2 A Useful New Function for Refined Word-Level QE

## 2.1 Original and Refined Word-Level QE

According to Specia et al. [9], word-level QE is a task that takes a pair of a source sentence and its machinetranslated counterpart (MT) as input. In the original settings, word-level QE outputs QE tags for source words, MT words and gaps between MT words (MT gaps). All those tags are expressed either as OK or BAD.

Regarding the fact that BAD is ambiguous and cannot indicate specific operations, Wei et al. [10] proposed a method that incorporates extended word alignment with original word-level QE. In the proposal of Wei et al. [10], they adopted a supervised method based on multilingual BERT [3] proposed by Nagata et al. [6] to extract extended word alignment. They illustrated a user interface showing extended word alignment and original QE word tags. According to them, BAD-tagged words with aligned counterpart indicate replacement while BAD-tagged null-aligned words indicate insertion (at the source side) or deletion (at the MT side). Therefore, post-editors know what operations to do after seeing the interface.

Figure 1 Enhancing refined word-level QE by prompting candidate answers for REP-tagged MT words and INS-tagged MT gaps.

To make the previous proposal easier to understand, we refine BAD into specific tags including REP, INS, and DEL representing different operations. We refer to such a task as refined word-level QE.

## 2.2 Prompting Candidate Words for Refined Word-Level QE

In terms of post-editing assistance, the usefulness of refined word-level QE can be further enhanced if the function of prompting candidate words is implemented. Refined word-level QE succeeds in indicating specific operations, but an operation like replacement or insertion needs further assistance. Namely, correct words to be added into the MT still needs manual consideration.

We formally illustrate the new function we propose in Figure 1. As it is shown, based on refined word-level QE, an MT word like “黒 $W$ " that is tagged as REP is a mistranslation to be replaced. Instead of asking posteditors to come up with correct translations on themselves, our system prompts several candidate answers. Among those candidate answers, there is an appropriate one “白 い”. Same process could be applied to INS-tagged MT gaps such as the one between “猫” and “が好き”.

We believe that prompting candidate words for REPtagged and INS-tagged elements in refined word-level QE makes a system for post-editing assistance more useful.

## 3 Methodology

## 3.1 Multi-Candidate Blank Infilling

We model the task that prompts candidate words as a blank infilling task. Generally, blank infilling is a task that takes a sentence with some spans substituted by blanks as input. Models are trained to fill in the blanks with proper words to restore the original sentence.
In our case, when given a pair of source sentence and MT along with refined word-level QE tags, it is clear that REPtagged MT words and INS-tagged MT gaps are positions where new content should be added. Therefore, we can turn those elements into blanks, training models to fill in the blanks with correct answers. Moreover, keeping DEL-tagged MT words in the context is meaningless (even adding noise), so that we remove them. For example, if we are given a pair of source sentence and MT like Figure 1 shows, we could build a blanked version of MT as follows “私は [blank] 猫 [blank] が好きだ”. Here, [blank] stands for a special token. Note that we also want the model to output multiple candidates with high probability. We will describe the specific implementation in the next sections.

## 3.2 Blank Infilling with Encoder Architecture

We firstly introduce approaches based on pre-trained language models of transformer encoder architecture.

Masked language model [3] (MLM), the representative task to pre-train BERT, is a simple approach for blank infilling. The input sequence of MLM is a monolingual sentence with partial tokens masked. Because the input must be monolingual, we cannot incorporate source sentence which contains important information for post-editing.

To address this issue, we have also tried translation language model [2] (TLM) based on XLM-R [1]. TLM takes a pair of concatenated parallel sentences with some tokens masked as input. ${ }^{1)}$ TLM evolves from MLM but the model is trained to attend to not only intra-lingual but also inter-lingual information to unmask tokens. In our case, by inputting a concatenation of source sentence and blanked MT, we expect the model to be able to mimic human post-

1) Note that being different from the original TLM, only MT tokens are masked in our case.

(a) Blank infilling with BERT

(b) Blank infilling with XLM-R

Figure 2 " $[\mathrm{M}]$ " in the input sequences stands for mask token. Some text for illustration in (b) is omitted. Please refer to (a).

editors, using the source sentence as reference.

Both approaches based on transformer encoder architecture have a same issue. There might be multiple words (multiple tokens of course) corresponding to a blank token. But output tokens of transformer encoder strictly corresponds to input tokens one by one. As we do not know the token number of the answer, we do not know how many mask tokens should be there in the input sequence.

As a solution, we try multiple values ${ }^{2}$ ) in parallel. Then, we select the top candidates with highest token-wise mean of probability among all output. Figure 2 shows the image of using BERT and XLM-R to do blank infilling.

## 3.3 Blank Infilling with Encoder-Decoder Architecture

Inspired by Donahue et al. [4], we also developed a method that utilizes pre-trained language models based on encoder-decoder architecture to do blank infilling task. Donahue et al. [4] proposed a monolingual text infilling framework which output concatenation of answer spans joined by an answer token after a blanked sentence. Unfortunately, their method only supports monolingual text infilling and they trained a GPT-2 [7] which is also monolingual. To adapt the method for our purpose, we adopt multilingual BART [5], an encoder-decoder architecture. Figure 3 illustrates our idea.

Specifically, we concatenate source sentence and the blanked MT, keeping blank tokens unchanged. The decoder is trained to do beam search and freely decodes multiple answer sequences which are concatenation of answer spans corresponding to blanks in blanked MT in order. Because mBART generates answer sequence freely, we no longer need to worry about the issue mentioned in Section

2) We tried a range from one to five masks for a blank independently.
3.2. As for multiple candidates, we analyze each answer sequence and split answer spans in order. For each blank, we select answers with top sequence-wise frequency as results. $\left.{ }^{3}\right)$

## 4 Experiment

## 4.1 Dataset and Experimental Settings

We generated the training and test sets based on a smallscale annotated En-Zh datasets for refined word-level QE following the method described in Section 3.1. As a result, we obtained 597 pairs of source and blanked MT along with correct answers for training and 136 pairs for test.

Besides of the training data above, we also created largescale pseudo data. Based on randomly sampled 1 million of sentence pairs from the parallel data provided by WMT20 QE task ${ }^{4}$, we randomly blanked out $15 \% \%^{5}$ ) of words in a target sentence to make a blanked MT. That provides us an additional 0.8 million of sentence pairs.

As for number of candidates, we expect the models to output top 10 candidate answers which is a reasonable quantity in practice. For BERT and XLM-R, we simply set the model to output 10 tokens for each mask. For mBART, we set number of beams to 10 during beam search.

We used pre-trained language models provided by Huggingface ${ }^{6}$. We adopted bert-base-chinese for BERT, $x l m$ roberta-large for XLM-R, mbart-large-cc 25 for mBART.

3) Note that number of answer spans in a sequence is not necessarily equivalent to number of blanks because of free decoding. If number of answer spans is greater, we ignore redundant spans.

4) https://www.statmt.org/wmt20/ quality-estimation-task.html

5) We set the blank probability to 0.15 because we observed such a probability in the annotated set.

6) https://github.com/huggingface/transformers

Figure 3 " $[\mathrm{B}]$ " stands for the blank token and " $[\mathrm{A}]$ " stands for the answer token. Following the settings of mBART, we append language tokens at the end of source and blanked MT. The first token input for decoding is the token of target language " $<$ ja>".

The script run_language_model.py from transformersv3.3.1 is modified for our own experiments. For pretraining on pseudo data, we train all models for 2 epochs with a learning rate of 3e-5. For training on the annotated data, we train all models for 10 epochs with a learning rate of 3e-5. All the other hyper-parameters are kept unchanged as default of the original scripts. All experiments run on an NVIDIA TITAN RTX (24GB) with CUDA 10.1.

## 4.2 Experimental Results

We evaluate the performance of models by counting answer spans that exactly match the top 1 candidate answer (Top-1 Match Rate) or exists in the top $\mathrm{K}$ candidate answers $(\text { Top-K Match Rate })^{7}$. Among 136 sentence pairs in the test set, there are 384 blanks need to be infilled. As the target language is Chinese, we remove all spaces between words during evaluation. For each model, we tried both training on the annotated dataset only, or pre-training on large-scale pseudo dataset and then training on the annotated dataset. ${ }^{8)}$ The results are shown in Table 1.

According to the result, we confirmed the effectiveness of pre-training. Except for the top 1 match rate for BERT, in most cases pre-training on large-scale pseudo dataset boosts the performance. Nevertheless, the best top-K match rate of pre-trained BERT reaches $34.11 \%$, which means that BERT successfully provides a correct candidate in its predictions for over one-third of the blanks in the test set.

7) For mBART, because of possible candidate duplication, we cannot guarantee that there are same number of candidate answers as beam number (which is 10 in our experiments) for each blank. That is the reason we call it Top $\mathrm{K}$ rather than Top 10.

8) We have tried to do blank infilling with off-the-shelf BERT and XLM-R directly. But the performance is very poor.
Table 1 Top-1 and Top-K match rate of all models. "pt" stands for pre-training.

 &  \\

As a comparison of different architectures, BERT as a monolingual model outperforms XLM-R and mBART. Such a phenomenon is beyond our expectation as we believe that source sentence is an important reference to predict candidate answers correctly. It may proves that our current way to encode source sentence is not proper. In the future, we would like to investigate into more variants that exploit information in the source sentence better.

## 5 Conclusion

In order to improve post-editing assistance efficiency, based on refined word-level $\mathrm{QE}$, we further propose a new function that prompts candidate words for those MT words and gaps tagged as REP and INS. Such a function is modeled as a blank infilling task and we adopted architectures including BERT, XLM-R, and mBART to solve the task. Specifically, we generate a large-scale pseudo dataset by randomly blanking out some tokens as well as a small-scale manually annotated dataset. Results of En-Zh experiment shows that our best model can do it for more than one-third blanks, giving 10 candidate answers in which the correct one exists.

## References

[1] A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proc. 58th ACL, pages 8440$8451,2020$.

[2] A. Conneau and G. Lample. Cross-lingual language model pretraining. In Proc. 33rd NeurIPS, pages 7059-7069, 2019.

[3] J. Devlin, M. Chang, K. Lee, and Toutanova K. BERT: Pretraining of deep bidirectional transformers for language understanding. In Proc. 17th NAACL-HLT, pages 41714186, 2019.

[4] C. Donahue, M. Lee, and P. Liang. Enabling language models to fill in the blanks. In Proc. 58th ACL, pages 2492-2501, 2020.

[5] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, pages 726-742, 2020

[6] M. Nagata, K. Chousa, and M. Nishino. A supervised word alignment method based on cross-language span prediction using multilingual BERT. In Proc. EMNLP, pages 555-565, 2020.

[7] A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[8] L. Schwartz, I. Lacruz, and T. Bystrova. Effects of word alignment visualization on post-editing quality \& speed. In Proc. MT Summit XV, 2015.

[9] L. Specia, F. Blain, M. Fomicheva, E. Fonseca, V. Chaudhary, F. Guzmán, and A. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proc. 5th WMT, pages 741-762, 2020.

[10] Y. Wei, T. Utsuro, and M. Nagata. Word-level quality estimation for machine translation based on source-mt word alignment. In Proc. 27th Annual Meeting of the Association for Natural Language Processing, pages 16641668, 2021.


# 確信度を考慮した言語モデルの関係知識評価

吉川和 ${ }^{1,2}$ 岡崎直観 1
1 東京工業大学 情報理工学院 2 富士通株式会社 富士通研究所
\{hiyori.yoshikawa@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿では，事前学習済み言語モデルが学習の過程 で獲得した関係知識を評価する LAMA probe タスク において，モデル出力に対する確信度を考慮した選択的予測の設定を導入し，その評価を行う。選択的予測の設定では，クエリに対する予測結果の確信度 を算出し，予測結果を出力するか否かを決定する. これにより，予測を行った事例に対する精度に加 え，誤った予測を出力するリスクをどの程度低減で きるかを考慮した評価が可能となる．本稿では，言語モデルのパラメータと出力のみを用い，追加の訓練データを必要としない複数の確信度指標を提案 し, LAMA probe タスクを選択的予測の設定で評価 する. 実験では，特定の確信度指標の組み合わせが 複数のデータセットで有効であり, さらに予測に直接用いた場合に予測精度そのものを改善できること が示された。

## 1 はじめに

近年，大量のテキストで学習した言語モデル を様々な後段タスクに転用する研究が盛んであ る $[1,2]$. このようなことが可能となる背景として，言語モデルが事前学習の過程で語彙や文法といった 言語知識 $[3,4]$ だけでなく常識や世界知識 $[5,6]$ をテ キストから獲得していることが示唆されている. し かし, これらの知識は言語モデルのパラメータに埋 め込まれており，シンボリックな知識べースに対す るような明示的なアクセスや編集は困難である.

Petroni ら [7] は, 言語モデルの保持する常識や事実といった関係知識の量を評価することを目的と し, ベンチマークタスク LAMA probe を提案した. LAMA probe では，問い合わせたい関係知識を自然文の穴埋めタスクに変換し，言語モデルが正しく穴埋めできた場合，言語モデルがその関係に関する 「知識をもつ」と判断する．実験により，BERT 言語 モデル [1] がテキストからの関係抽出に基づく手法
と同等かそれ以上の精度を達成すると報告された..一方で，このようにして言語モデルから取り出さ れた知識の信頼性, 逆に言うと誤った知識が出力 されるリスクは LAMA probe の枠組みでは考慮され ない. シンボリックな知識ベースにおいては，知識 ベースに含まれる三つ組の信頼性を人手やシステム により評価し，信頼性の高い三つ組のみを残すこと で知識ベースの質が担保される $[8,9]$. 結果として,実用上は知識ベースに含まれる三つ組は信頼性の高 いものとみなすことができる. しかしながら，知識 への明示的なアクセスができない言語モデルにおい ては，個々の関係知識の信頼性を評価し，編集・削除する方法が確立されていない。ゆえに，知識べー スや言語モデルから知識を取り出すとき，次のよう な違いが生じる．知識べースでは，問い合わせに対 して適切な関係知識が存在しない場合，空の結果を 返す。一方，LAMA probe などでの言語モデルへの 問い合わせでは，与えられた問い合わせに対して何 らかの出力を行うことを前提としているため, 学習 で獲得できなかった知識に対して常に誤った出力を 返す. 誤った出力は正しい出力と一見して区別がつ かないため，この違いは解答される知識の信頼性を 重視する様々な応用において，重大な障壁となる.言語モデルの性能を向上させたとしても，学習コー パスに無い事実に関する問い合わせや，答えの存在 しない問い合わせ [10] は存在しうるので，モデルが 誤った知識を出力するリスクを無視できない.

こうした背景から, 本研究では言語モデルが返す 知識の誤りリスクを定量化するため，予測に対す る振る舞いを考慮したシステムおよび評価方法を 検討する。具体的には， LAMA probe タスクに選択的予測 (selective prediction) [11,12] の設定を導入す る. 選択的予測は機械学習の枠組みの一つで，シス テムはモデルの予測結果に基づき予測を実際に出力するか控えるかを選択できる。本研究では特に， Geifman と El-Yaniv [12] により提案されたリスク保証のある設定を考える。この枠組みでは，予測に基

づき計算される確信度スコアにより, 予測の出力可否を判断する. システムの評価では，決められた予測精度を保証しつつ，如何に多くの事例に対し予測 を出力できるかを測定する.

本研究では，言語モデルの知識評価に選択的予測 の設定を適用するため，言語モデルの出力のみを用 いて計算可能な複数の確信度指標を提案し, 実験を 通じて最適な指標を比較検討する. 実験の結果, 最適な確信度指標はモデルやデータセットにある程度依存するものの, 特定の確信度指標の組み合わせが 一貫して有効であることが確認できた. さらに, 確信度計算に有効な指標は予測の決定に直接用いた場合においても有効であることを確認した。

## 2 選択的予測

本節では機械学習一般における選択的予測 $[11,12]$ の枠組みについて説明する．選択的予測 の設定では, 入力に応じて予測結果を実際に出力 するかを判断する 選択的分類器 (selective classifier) を導入する. 入力空間 $x$ からラベル集合 $y$ かの 分類問題を考える. 選択的分類器はもとの分類モ デル $f: X \rightarrow Y$ および選択関数 (selection function) $g: X \rightarrow\{0,1\}$ の組 $(f, g)$ として定義される. 選択関数は, 分類器が入力 $x \in \mathcal{X}$ に対する予測 $f(x) \in \mathcal{Y}$ を実際に出力するかを決定する：

$
(f, g)(x):=\left.\{\begin{array}{ll}
f(x) & \text { if } g(x)=1 \\
\text { don't know } & \text { if } g(x)=0
\end{array} .\right.
$

Geifman と El-Yaniv [12] は，確信度指標に基づく 選択関数を用いたリスク保証ありの設定 (selection with guaranteed risk; SGR) を導入した. SGR では選択関数として, 確信度に基づく以下の関数を考える:

$
g(x)=\left.\{\begin{array}{ll}
1 & \text { if } \phi(x) \geq \beta \\
0 & \text { if } \phi(x)<\beta
\end{array} .\right.
$

ここで $\phi(x): X \rightarrow \mathbb{R}$ は $f$ 確信度関数 (confidence score function) で，その值が閾値 $\beta \in \mathbb{R}$ を超えたと きに限り分類器は予測結果を出力する. この形式で は， $\beta$ の值を適切に設定することによってシステム に課す誤りリスクの許容範囲を調整できる。 $\beta$ が大 きければ大きいほど，予測を出力する事例数が減少 するが，誤った予測を行うリスクを低減できる。

リスク保証ありの設定においては，選択的分類器 が誤った予測を行うリスク

$
\text { Risk }=\frac{1-N_{\text {corr }}}{N_{\text {pred }}}
$

と実際に予測を行った事例の割合（カバレッジ）

$
\text { Coverage }=\frac{N_{\text {pred }}}{N}
$

との間にトレードオフ (risk-coverage tradeoff) が存在 する。ここで， $N, N_{\text {pred }}, N_{\text {corr }}$ はそれぞれ全事例数，実際に予測を行った事例数，正しい予測を行った 事例数である．選択的分類器の性能は選択関数 (式 (2)) の閾値 $\beta$ を動かして得られるリスクーカバレッジ 曲線の AUC (RC-AUC) を用いて評価する. RC-AUC の值が小さいほど，予測を行った事例に対してリス クが小さく，良い分類器とみなされる.

## 3 LAMA Probe タスクへの選択的予測の適用

## 3.1 LAMA Probe タスクとモデル出力

LAMA probe では，問い合わせたい関係知識をテ ンプレートにより自然文に変換して言語モデルに 入力する。例えば “Dante” と born-in の関係にある エンティティについて問い合わせる際には, “Dante was born in [MASK]." という文がモデルへの入力とな る.ここで [MASK] は単語マスクを示す特別なトー クンで，このトークンに対して予測された単語をク エリに対する回答と見なす. ${ }^{1)}$ テンプレートは関係 の種類ごとに人手で作成されている.

本研究における実験では Petroni ら [7] と同様に，双方向言語モデルを評価対象とする．モデルへの入力は，関係知識を問うクエリを単語マスクを含む自然文に変換したものである (例: “Dante was born in [MASK].”). 言語モデルは位置 $t$ がマスクされた大力文 $x=W_{\backslash t}:=\left(w_{1}, \ldots, w_{t-1}\right.$, [MASK], $\left.w_{t+1}, \ldots, w_{|W|}\right)$ を 受け取り, 位置 $t$ の単語の予測確率 $P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)$ を 出力する. すなわち, 言語モデルによる予測確率最大の単語 $w^{\prime}$ を予測単語とする:

$
f(x)=w^{\prime}:=\arg \max _{w_{t}} P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)
$

以下，マスク付き入力文 $W_{\backslash t}$ のマスク位置を予測単語 $w^{\prime}$ で置き換えた文を $W^{\prime}$ と表す。

## 3.2 確信度関数

LAMA probe はもともと言語モデルが学習で獲得 した関係知識を評価するものであることから，確信度関数を構築するときには新しいデータによる言語

1）ここでは，言語モデルとして特に masked language model の ような双方向言語モデルを想定している. また，簡単のため 予測対象は一単語からなるエンティティに限定されている.

モデルの追加学習を必要としないことが望ましい.本節ではこの前提のもと，言語モデルの出力のみを 利用するいくつかの確信度関数を提案する.

Token ( $\mathrm{T}$ ) マスク位置における単語 $w^{\prime}$ の対数予測確率を用いる:

$
\phi_{\mathrm{T}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right) .
$

予測単語の推定（式 (5)）に用いた指標をそのま ま確信度計算に用いることに相当する。

Sent (S) 文の容認性やファクトチェックの文脈 では，文としての確からしさの指標として言語モデルによる文の生成確率が用いられて いる [13, 14]. ここでは，マスク付き言語モデ ルに基づく文の擬似尤度 (pseudo-log-likelihood; PLL) [15] を文長で正規化したものを採用する. マスク位置を予測単語 $w^{\prime}$ で置き換えた文 $W^{\prime}$ に 対し，確信度は以下のように計算される:

$
\phi_{\mathrm{S}}(x)=\frac{1}{\left|W^{\prime}\right|} \sum_{u=1}^{\left|W^{\prime}\right|} \log P_{\mathrm{LM}}\left(w_{u} \mid W_{\backslash u}^{\prime}\right)
$

Gap (G) 予測単語における予測確率が他の単語の ものと比べて顕著に大きいときにモデルが確信 をもって予測を行っているという仮定に基づ く. マスク位置における予測確率が最大の単語 $w^{\prime}$ と二番目に大きい単語 $w^{\prime \prime}$ との対数予測確率 の差を用いて，次にように確信度を計算する:

$
\phi_{\mathrm{G}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right)-\log P_{\mathrm{LM}}\left(w^{\prime \prime} \mid W_{\backslash t}\right) .
$

Reranking (R) 異なる指標で予測を評価した際に も，評価対象の予測が他の単語と比べて一貫し て優位にあるとき，予測確信度が高いという仮定に基づく．まず，式 (5) にあるようなマスク 位置における単語予測確率に基づき上位 $K$ 件 の予測候補 WV を得る. 次に，得られた予測候補を別の指標 $\psi$ を用いて並べ替える。並べ替え 後の $w^{\prime}$ の順位を $\operatorname{rank}_{\psi}\left(w^{\prime}\right)$ としたとき，確信度指標は以下の式で求められる:

$
\begin{aligned}
\phi_{\mathrm{R}}(x) & =\log _{2} \frac{K}{\operatorname{rank}_{\psi}\left(w^{\prime}\right)} \\
& =\log _{2} K-\log _{2} \operatorname{rank}_{\psi}\left(w^{\prime}\right) .
\end{aligned}
$

上式は本質的には並べ替え後の順位のみに基 づく指標であり，言語モデルによるプライバ シー情報の記憶リスクの評価にも用いられて いる [16]. 実験では $K=100$ とし， $\psi$ としては Sent スコア $\phi_{S}(x)$ を用いる.表 1 データセット毎の RC-AUC. 確信度が $X+Y$ のよう に表記されている場合，複数の確信度指標の和を用いて いる. GRE: Google-RE, TR: TREx, CN: ConceptNet, SQ: SQuAD，All: 全データセット。

## 4 実験

## 4.1 実験設定

本実験で用いる LAMA probe タスク [7] は言語 モデルのもつ関係知識を評価するためのベンチ マークタスクであり, Google-RE, TREx, ConceptNet, SQuAD の 4 つのサブタスクから構成される. 事前学習済み言語モデルとしては BERT-base および BERT-large [1] を用いる. 評価データ中のクエリの 全てについて, Wikipedia 内に少なくとも一つの正解が存在する. BERT は Wikipedia で学習されてい るため, クエリに正解するための情報は学習データ に含まれると考えられる. システムは，言語モデル がクエリに回答する知識を学習によって獲得できて いる場合には正答を返し，そうでない場合には予測 を行わないことが求められる。

## 4.2 結果

## 4.2.1 モデル・データセットと確信度関数

表 1 に，各確信度指標を用いた場合の RC-AUC を 示す. 全データセットに対する結果を見ると，単独 の確信度指標を用いた場合，Token (T)が最もよい性
表 2 予測に用いる指標を変えた場合の予測精度 (P@1) と，RC-AUC の最小值とそれを達成した確信度指標.

能を示した. 2 つの確信度指標を組み合わせた場合 には, Token と Reranking を組み合わせた場合 $(\mathrm{T}+\mathrm{R})$ に最もよい性能となった. この傾向は BERT-base, BERT-large に共通であった.

データセット中の全ての事例に回答した場合の誤 りリスクは BERT-base で 0.757, BERT-large で 0.739 である。これに対し， $\mathrm{T}+\mathrm{R}$ を確信度指標として用い た場合，いずれのモデルについてもカバレッジを 0.3 程度に設定することで誤りリスクを 0.5 未満まで 抑えることができた. 具体的なリスクーカバレッジ 曲線は付録 $\mathrm{A}$ 節に示す。

次に，データセット毎にそれぞれ RC-AUC を計算した結果を見ると，BERT-base では TREx を除い た 3 つのデータセットにおいて Token と Reranking の組み合わせ $(\mathrm{T}+\mathrm{R})$ が最高性能であるのに対し， BERT-large ではこれらのデータセットにおいて Token (T) を単独で用いた場合に最高性能であった. しかしながら， $\mathrm{T}+\mathrm{R}$ を確信度指標として用いた場合 の結果は，各データセットにおける最高性能と比較 して大きく劣るものではなかった．このことから， $\mathrm{T}+\mathrm{R}$ を確信度指標がいずれのデータセットにおいて も比較的よい性能を示すが，最適な確信度指標はモ デル・データセット毎に異なる場合があることが示唆される. TREx データセットについて関係の種類毎の比較を行った結果を付録 B 節に示す。

## 4.2.2 予測指標と確信度関数

3.2 節で提案した確信度指標の一部は, 最適な予測を決めるための指標として式 (5) の代わりに用い ることができる．そこで，各指標を予測に直接用 いた場合に LAMA probe の精度 (P@1) を改善できる か，またそれぞれの予測指標に対しどの確信度指標 を組み合わせることが最適かを調べた。予測指標と
して用いたのはToken (T)，Sent (S)，Reranking (R) お よびそれらの組み合わせである. Reranking につい ては，順位付けに用いる指標 $\psi$ として Token (T) と Sent (S) の二種類を用い， R の添え字で区別する． S と $\mathrm{R}_{\mathrm{S}}, \mathrm{T}$ と $\mathrm{R}_{\mathrm{T}}$ をそれぞれ単独で用いた場合の予測 は定義から同一になることから，Reranking を単独 で用いた場合の結果は省略する。また，Gap (G) は 予測指標が決まって初めて定義される指標であるた め対象外とする．なお，計算コストの都合上， $\mathrm{T}$ 以外の各予測指標に基づく予測結果の決定において は，まず $\mathrm{T}$ による指標（式 (5)）により候補を上位 100 件に絞り込んだのち，各予測指標を用いてリラ ンキングすることで予測結果を近似した.

表 2 に結果を示す. BERT-base，BERT-large いず れにおいても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を予測に用いた場合に最高精度を達成した. さらに，いずれの指標を予測指標と して用いた場合においても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を確信度指標と して用いた場合に RC-AUC が最善となった.このこ とから， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ が予測指標としても確信度指標とし ても有効な指標であると考えられる。

## 5 まとめ

本稿では，言語モデルのもつ関係知識を評価する LAMA probe タスクに選択的予測の設定を導入し， モデル出力の精度に加え，モデル出力の正しさを何 らかの確信度指標を用いて判別できるかを評価し た. 実験結果から，一般的に予測に用いられるマス ク単語の予測確率値をそのまま用いるよりも，提案 した Reranking スコアと組み合わせて用いることが 予測・確信度計算双方において効果的であることが 示唆された。また，適切な確信度指標は用いるモデ ルや評価対象のデータセットによって異なる場合が あることを示した. 今後は，対象タスクやモデルと 最適な確信度指標の関係を詳細に調査し, 多様なモ デル・タスクにおけるモデル出力の信頼性を担保す るための手法を検討したい。

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたも のです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chap-
ter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Alessio Miaschi, Dominique Brunato, Felice Dell'Orletta, and Giulia Venturi. Linguistic profiling of a neural language model. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 745-756, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[7] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Chun How Tan, Eugene Agichtein, Panos Ipeirotis, and Evgeniy Gabrilovich. Trust, but verify: Predicting contribution quality for knowledge base construction and curation. In Proceedings of the 7th ACM International Conference on Web Search and Data Mining, WSDM '14, pp. 553-562, New York, NY, USA, 2014. Association for Computing Machinery.

[9] Shengbin Jia, Yang Xiang, Xiaojun Chen, Kun Wang, and Shijia. Triple trustworthiness measurement for knowledge graph. In The World Wide Web Conference, WWW '19, p. 2865âĂŞ2871, New York, NY, USA, 2019. Association for Computing Machinery.

[10] Najoung Kim, Ellie Pavlick, Burcu Karagol Ayan, and Deepak Ramachandran. Which linguist invented the light- bulb? presupposition verification for question-answering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3932-3945, Online, August 2021. Association for Computational Linguistics.

[11] Ran El-Yaniv and Yair Wiener. On the Foundations of Noise-free Selective Classification. Journal of Machine Learning Research, Vol. 11, No. 53, pp. 1605-1641, 2010.

[12] Yonatan Geifman and Ran El-Yaniv. Selective Classification for Deep Neural Networks. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS' 17, pp. 4885-4894. Curran Associates Inc., 2017.

[13] Jey Han Lau, Carlos Armendariz, Shalom Lappin, Matthew Purver, and Chang Shu. How furiously can colorless green ideas sleep? sentence acceptability in context. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 296-310, 2020.

[14] Nayeon Lee, Yejin Bang, Andrea Madotto, and Pascale Fung. Towards few-shot fact-checking via perplexity. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1971-1981, Online, June 2021. Association for Computational Linguistics.

[15] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[16] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evaluating and testing unintended memorization in neural networks. In Proceedings of the 28th USENIX Conference on Security Symposium, SEC'19, pp. 267-284, USA, 2019. USENIX Association

## A リスク-カバレッジ曲線

図 1 LAMA probe データセット全体に $\mathrm{T}$ おび $\mathrm{T}+\mathrm{R}$ を用 いた場合のリスクーカバレッジ曲線.

図 1 に予測指標を $\mathrm{T}$, 確信度指標を $\mathrm{T}$ または $\mathrm{T}+\mathrm{R}$ とした場合のリスクーカバレッジ曲線を示す. 図中 の最も右，カバレッジが 1.0 の場合のプロットが全 ての事例に対し予測を行った場合のリスクに相当す る.いずれのモデルにおいても全ての事例に対し予測を行った場合の誤りリスクは 0.7 を超えているの に対し，いずれかの確信度指標を用いて選択的予測 を行った場合，カバレッジを 0.3 程度に抑えること でリスクを 0.5 未満に抑えることができる.

## B 関係タイプによる比較

実験に用いたデータセットのうち，TREx データ セット中では一対一関係 (1-1)，多対一関係 (N-1),多対多関係 (N-M)をもつ複数の関係タイプに関する クエリが混在している。関係タイプごとに RC-AUC を計算した結果を表 3 に示す. 用いる確信度指標に よる性能差は，多対一や多対多の関係においてより 顕著であることが見て取れる. 関係の種類ごとに最適な確信度指標は異なるが，BERT-base では G+R， BERT-large では $\mathrm{T}+\mathrm{R}$ が一貫して最適な確信度指標表 3 TREx データセットにおける，関係タイプ毎の RC-AUC．表記方法は表 1 に準ずる。

に匹敵する性能を示している。