# 教師付き視覚的注意を用いたマルチモーダルニューラル機械翻訳

西原 $\quad$ 哲郎 $\dagger \cdot$ 田村 晃裕 ${ }^{\dagger} \cdot$ 二宮 崇 $\dagger \cdot$ 表 悠太郎 $\dagger \cdot$ 中山 英樹 $+\dagger \dagger$

本稿では，マルチモーダルニューラル機械翻訳 (MNMT) のための教師付き視覚的注意機構を提案する。提案手法は, 人手で付与された画像内の領域と単語との対応関係を視覚的注意の教師データとして与え, これらの対応関係を制約にして直接視覚的注意機構の学習を行う. 教師なしで学習される従来の視覚的注意機構に比べてよ り正確に単語と画像領域との関係性を捉えることが期待される。実験では Multi30k データセットを用いた英独・独英翻訳，Flickr30k Entities JP データセットを用いた 英日・日英翻訳を行い, 提案する教師付き視覚的注意機構によって Transformer ベー スの MNMT モデルの性能が改善することが確認できた。また, 教師付きの言語間注意機構と組み合わせることにより, さらに性能が改善され, 最大で BLEU スコア が 1.61 ポイント， METEOR スコアが 1.7 ポイント向上することが確認できた.

キーワード：マルチモーダル機械翻訳，視覚的注意機構
## Supervised Visual Attention for Multimodal Neural Machine Translation

Tetsuro Nishihara $^{\dagger}$, Akihiro Tamura $^{\dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger}$, Yutaro Omote $^{\dagger}$ and Hideki NaKayama ${ }^{\dagger \dagger \dagger}$

This paper proposed a supervised visual attention mechanism for multimodal neural machine translation (MNMT), trained with constraints based on manual alignments between words in a sentence and their corresponding regions of an image. The proposed visual attention mechanism captures the relationship between a word and an image region more precisely than a conventional visual attention mechanism trained through MNMT in an unsupervised manner. Our experiments on EnglishGerman and German-English translation tasks using the Multi30k dataset and on English-Japanese and Japanese-English translation tasks using the Flickr30k Entities JP dataset show that a Transformer-based MNMT model can be improved by incorporating our proposed supervised visual attention mechanism and that further improvements can be achieved by combining it with a supervised cross-lingual attention mechanism (up to +1.61 BLEU, +1.7 METEOR).

Key Words: Multimodal Machine Translation, Visual Attention Mechanism

## 1 はじめに

現在，ニューラルネットワークを用いた機械翻訳（ニューラル機械翻訳）が機械翻訳の主流 となっている。注意機構を用いた再帰型ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくニューラル機械翻訳モデルは初期のころから広く使用されてきたモデルであり，原言語文内の単語と目的言語文内の単語間の関係を捉える言語間注意機構を用いることで, 従来 の RNN ベースのニューラル機械翻訳よりも高い精度を実現した (Bahdanau et al. 2015; Luong et al. 2015). また, 従来の言語間注意機構に加えて, 同じ文中の単語間の関係を捉える自己注意機構を導入した Transformer モデル (Vaswani et al. 2017) が提案され，RNN や畳み込みニュー ラルネットワーク (Convolutional Neural Network; CNN) を用いた手法と比べて高い精度を実現することから，近年注目されている。

ニューラル機械翻訳の性能を改善する手法については様々な研究がなされているが，その内の 一つに，上述の言語間注意機構に制約を与える研究がある (Liu et al. 2016; Mi et al. 2016; Garg et al. 2019). これらの研究では，アライメントツールを用いて原言語文と目的言語文間の単語 の対応関係を予め取得し，その対応関係を教師データとして与えて言語間注意機構を学習させ ることで翻訳性能の向上を実現している.

機械翻訳手法の一つとして，原言語文とそれに対応する内容の画像を入力することで翻訳性能の改善を目指すマルチモーダルニューラル機械翻訳 (Barrault et al. 2018) が提案されている.翻訳時に与えられる画像は，翻訳の曖昧性解消や省略補完の手がかりとして役立つと考えられ，画像を参照することでより質の高い翻訳が実現されることが期待されている．マルチモーダル ニューラル機械翻訳のモデルとして, Helcl ら (Helcl et al. 2018)は, CNN によって抽出した画像の特徴量を翻訳に活用するために，文中の単語と画像の領域との対応関係を捉える視覚的注意機構を Transformer モデルのデコーダ内に導入したモデルを提案している. また, Delbrouck ら (Delbrouck and Dupont 2017) は，RNN ベースのマルチモーダルニューラル機械翻訳モデル のエンコーダに視覚的注意機構を導入したモデルを提案している。しかし，これらの視覚的注意機構は，マルチモーダルニューラル機械翻訳の訓練時に教師なしで自動的に学習が行われて いる。そのため，本来捉えるべき対応関係を常に捉えられているとは限らない.

本稿では，マルチモーダルニューラル機械翻訳の性能改善のために，人手により与えられた 文中の単語と画像領域との対応関係に基づいて教師付き学習を行う制約付き視覚的注意機構を 提案する。具体的には, 原言語文中の単語と画像内のオブジェクトとの対応関係が付与された データを教師データとして用いることで, Transformer モデルエンコーダ内の視覚的注意機構を 直接学習させることを行う。

Multi30k データセット (Elliott et al. 2016) を用いた英独翻訳および独英翻訳と Flickr30k Entities JP データセット (Nakayama et al. 2020) を用いた英日翻訳および日英翻訳の評価実験

を行い，提案する教師付き視覚的注意機構によって Transformer ベースのマルチモーダル機械翻訳モデルの翻訳性能が改善することが確認できた。また, 教師付きの言語間注意機構と組み 合わせることにより, さらに翻訳性能が改善されることを確認した。

本稿の構成は以下の通りである。2 節で本研究の背景について述べ， 3 節で提案手法について 説明する． 4 節では実験について述べ， 5 節で実験結果の考察を行う． 6 節で関連研究について 述べ，最後に 7 節でまとめと今後の課題について述べる.

## 2 Transformer ベースのニューラル機械翻訳

本節では, 本研究で提案するマルチモーダル機械翻訳モデルの基礎となる Transformer ベー スのニューラル機械翻訳を説明する。まず最初に Transformer モデルの概要を述べる。次に， Transformer モデルにおける教師付き言語間注意機構について説明する.

## 2.1 Transformer モデルの概要

Transformer モデルは，原言語文を受け取って中間表現に変換するエンコーダと，その中間表現を受け取って目的言語文を生成するデコーダから構成されている. エンコーダとデコーダ はそれぞれエンコーダレイヤとデコーダレイヤを複数スタックした構成となっている。各エン コーダレイヤは自己注意機構と位置毎の全結合レイヤの 2 つのサブレイヤを持っている。また,各デコーダレイヤは上記の 2 つのサブレイヤの間に，言語間注意機構を加えた 3 つのサブレイ ヤから構成されている。これらのサブレイヤ間では, 残差接続 (He et al. 2016) とレイヤの正規化 (Ba et al. 2016) が用いられる.

自己注意機構と言語間注意機構 (Att) は以下の式で表される.

$
\begin{aligned}
\operatorname{Att}(Q, K, V) & =A V \\
A & =\operatorname{softmax}\left(\frac{Q K^{\top}}{\sqrt{d_{k}}}\right)
\end{aligned}
$

ここで， $A$ は注意行列と呼ばれる。また， $Q, K, V$ はエンコーダ及びデコーダにおける隠れ状態を表し， $d_{k}$ は $Q, K, V$ の次元数を表す. 自己注意機構では, 上式の $Q, K, V$ として直前のサ ブレイヤの出力を用いる。また，言語間注意機構では， $Q$ としてデコーダ内の直前のサブレイ ヤの出力, $K$ と $V$ としてエンコーダの出力を用いる. 自己注意機構では同一文中の単語間の関係を計算することができる。また，言語間注意機構では原言語文内の単語と目的言語文内の単語間の関係を計算することができる.

Transformer の特徵として, 隠れ状態を部分空間に分割し, 各部分空間において様々な情報を 表現することを可能にするマルチヘッド注意機構がある． $h$ 個のヘッドからなるマルチヘッド
注意機構 (MHA) は以下のように表される.

$
\begin{aligned}
\operatorname{MHA}(Q, K, V) & =\left[\text { head }_{1} ; \ldots ; \text { head }_{h}\right] W^{O} \\
\text { head }_{i} & =\operatorname{Att}\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right)
\end{aligned}
$

ここで， [] はべクトルを結合することを表している。 $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V} \in \mathbb{R}^{d_{\text {model }} \times d_{k}}$ はそれぞれ ヘッド毎に定義されるパラメータ行列であり， $d_{\text {model }}$ 次元ベクトルを線形変換により $d_{k}$ 次元に 縮退させる。この $d_{k}$ 次元べクトルが各ヘッドに渡される。 $W^{O} \in \mathbb{R}^{h d_{k} \times d_{\text {model }}}$ はパラメータ行列であり，各ヘッドの出力を結合したべクトルに対し線形変換を行う．なお， $d_{\text {model }}$ は埋め込 み次元数を表しており, $d_{k}=d_{\text {model }} / h$ である.

単語位置毎の全結合レイヤ (FFN) における計算は, 以下の式で表される.

$
F F N(x)=\max \left(0, x W_{1}+b_{1}\right) W_{2}+b_{2}
$

ここで, $W_{1} \in \mathbb{R}^{d_{\text {model }} \times d_{f f}}, \quad W_{2} \in \mathbb{R}^{d_{f f} \times d_{\text {model }}}$ はパラメータ行列, $b_{1} \in \mathbb{R}^{d_{f f}}, b_{2} \in \mathbb{R}^{d_{\text {model }}}$ はバ イアス項である。また, 全結合レイヤへの入力と出力の次元数は $d_{m o d e l}$, 中間レイヤの次元数 は $d_{f f}$ である.

Transformer では語順の情報を組み込むために以下で表される位置エンコーディングが導入 されている.

$
\begin{gathered}
P E_{(p o s, 2 i)}=\sin \left(\text { pos } / 10000^{2 i / d_{\text {model }}}\right) \\
P E_{(p o s, 2 i+1)}=\cos \left(p o s / 10000^{2 i / d_{\text {model }}}\right)
\end{gathered}
$

ここで，pos は単語の位置， $i$ は各成分の次元を表す.この位置エンコーディングを単語の埋め 达み表現に加えることで，単語の語順の情報を付与することができる。

## 2.2 教師付き言語間注意機構

Garg ら (Garg et al. 2019)は, Transformer モデルの言語間注意機構に原言語と目的言語間の 単語の対応関係を教師データとして与えて学習を行う手法を提案している．アライメントツー ルを用いて言語間の対応関係を取得し，マルチヘッド言語間注意機構のある 1 つのヘッドとの 間で計算される誤差を最小化することによって注意機構の学習を行う，誤差は以下の交差エン トロピーによって計算される.

$
\mathcal{L}_{a}(A)=-\frac{1}{M} \sum_{m=1}^{M} \sum_{n=1}^{N} G_{m, n} \times \log \left(A_{m, n}\right)
$

ここで， $M$ は目的言語文の文長， $N$ は原言語文の文長， $A$ は式 (4)によって計算される言語間注意機構の注意行列， $G$ は教師データとなる単語の対応関係を表した行列である. なお， $n$ 番
目の原言語文の単語と $m$ 番目の目的言語文の単語が対応関係にある場合は, $G_{m, n}$ は 1 となり, それ以外は 0 となる.この機械翻訳モデルの目的関数 $\mathcal{L}$ としては, 上述の $\mathcal{L}_{a}(A)$ を翻訳の誤差 $\mathcal{L}_{t}$ に加えた以下の損失関数を用いる.

$
\mathcal{L}=\mathcal{L}_{t}+\lambda \mathcal{L}_{a}(A)
$

ここで, $\lambda$ はイパーパラメータである.

## 2.3 Transformerベースのマルチモーダルニューラル機械翻訳に関する研究

マルチモーダルニューラル機械翻訳モデルとして様々なネットワーク構造のモデルが提案 されているが, 近年は, Transformer モデルベースのモデルが盛んに研究されている。例えば, Takushima ら (Takushima et al. 2019)は CNN と Transformer エンコーダからなる画像エンコー ダを Transformer モデルに導入したマルチモーダルニューラル機械翻訳モデルを提案している.彼らのモデルでは，まず，画像エンコーダで入力画像に対して CNNを適用し， 入力画像の特徵量を獲得する. その後, 獲得した特徵量を Transformer モデルのエンコーダに入力し, 自己注意機構によって画像の領域間の関係を考慮したエンコードを行う。画像のエンコードと並行 して Transformer エンコーダにより原言語文をエンコードし, 画像と原言語文のエンコード結果を結合した中間表現から Transformer モデルのデコーダにより目的言語文を生成する。また， Helcl ら (Helcl et al. 2018) は, Transformer デコーダの内部で言語間注意機構の出力と CNN の 出力を用いた視覚的注意機構によって画像情報を活用するモデルを提案している. 図 1 に視覚的注意機構の例を示す. 図において, 原画像がより鮮明に見えている部分に強く注意が向けら れていることを表している。入力された画像は，CNNによって高次元の目の粗い格子状の特徴量へと変換される. 特徴量中の各領域は, 元の画像の領域に対応しており, 高次元の特徴量を 持っている. 例えば, 図 1 (b) は $4 \times 4$ の領域に変換されていて, 各領域が 2,048 次元の特徴量

(a) 原画像

(b) 単語 crane に対する視覚的注意機構の例

図 1 視覚的注意機構の例

を保有している。視覚的注意機構では，各単語はこれらの画像特徴量の領域に対して注意が向 けられる。このため, 視覚的注意は, 領域のヒートマップとして可視化することが出来る.

## 3 教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳

本節では, 教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳を提案する. まず，ベースラインとして用いる Transformer ベースのマルチモーダルニューラル機械翻訳モ デルを説明する。その後，マルチモーダルニューラル機械翻訳の翻訳性能を向上させるための 教師付き視覚的注意機構を提案する.

## 3.1 Transformer ベースのマルチモーダルニューラル機械翻訳モデル

図 2 に本研究で用いる Transformer ベースのマルチモーダルニューラル機械翻訳モデルの概要図を示す。本モデルは, 原言語文エンコーダとデコーダに加えて, 画像エンコーダを持つ.画像エンコーダでは，まず，入力した画像に対して CNN を適用し，画像の特徴量を得る。次

図 2 マルチモーダルニューラル機械翻訳モデル

に，CNN の出力に対して自己注意機構を適用する。この自己注意機構によって画像の領域間の 関係性が計算される。最後に, 自己注意機構の出力に対して位置毎の全結合レイヤを適用した ものが画像エンコーダ全体の出力となる.

本モデルでは，従来のモデルとは異なり，原言語文エンコーダの内部において原言語文に対 する自己注意機構の出力と画像エンコーダの出力を用いて, 注意機構の一種である視覚的注意機構 (Libovický et al. 2018) により，原言語文の単語と画像の領域との関係性を計算する。視覚的注意機構では, 式 (1)において, $Q$ として原言語文エンコーダの自己注意機構の出力, $K$ と $V$ として画像エンコーダの出力を用いる.

## 3.2 教師付き視覚的注意機構

提案する教師付き視覚的注意機構は, 原言語文の単語と画像内のオブジェクトとの対応関係 を人手で付けたものを教師データとして与えて視覚的注意機構を学習する．具体的には，画像 エンコーダの出力と原言語文エンコーダ内の自己注意機構の出力との間の視覚的注意機構が教師データに近づくような制約を与える。視覚的注意機構に対する制約は，教師となる対応関係 を示した行列と, 式 (2)で計算される注意行列との間の誤差が最小となるように適用される. 誤差は以下の交差エントロピーによって計算される.

$
\mathcal{L}_{i m g_{-} s r c}(A)=-\frac{1}{M} \sum_{m=1}^{M} \sum_{n=1}^{N} G_{m, n} \times \log \left(A_{m, n}\right)
$

ここで， $M$ は原言語文の文長を， $N$ は CNN によって畳み込まれた画像の領域数を表す。また， $A$ は注意行列を， $G$ は教師データとなる原言語文内の単語と画像内のオブジェクトの対応関係 を示した行列を表す。原言語文内の $m$ 番目の単語が画像の $n$ 番目の領域に対応しているとき， $G_{m, n}$ は 1 となり，それ以外の時は 0 となる.

本研究では, Flickr30k Entities データセット (Plummer et al. 2017) を用いて視覚的注意機構に対する教師データを作成した。このデータセットは Flickr30k データセット (Young et al. 2014) から作られたデータセットである。一つの画像に対して 5 つのキャプション文がつけら れており，各キャプション文中の単語が画像内のオブジェクトと関係がある場合，図 3 のよう にその単語が画像内のどの領域と関係があるかが示されたデータセットとなっている.

今回はこのデータセットから原言語文内の単語と画像内のオブジェクトとの対応関係を抽出 し，教師データを作成する。まず，Flickr30k Entities データセットに付与されている単語とオ ブジェクト間の対応関係を CNN で畳み込んた際の領域にスケールさせる。例えば，画像エン コーダに用いる CNN によって画像を $4 \times 4$ に畳み込んた場合，画像内の各オブジェクトと 16 個の領域との対応関係を求める．複数の領域に対応する場合は，各領域に等しく対応が張られ るように値を平均化する。すなわち，値を「1 / 対応付いた領域数」とする（図 4(a)）.その後,

図 3 Flickr30k Entities の例

(a) 単語 man と画像領域との対応関係の例

(b) 線形化

図 4 教師付き視覚的注意機構に対する教師データの作成例

2 次元の領域を 1 次元に線形化する（図 4(b)）。この手続きを原言語文のすべての単語に対し て行う. 画像内のオブジェクトと対応がない単語については, Liu ら (Liu et al. 2016) や Mi ら (Mi et al. 2016) に倣い, 特殊トークンを用いて処理を行った. Liu らや Mi らは教師付き言語間注意機構を学習する際に特殊トークンを導入している。本手法では, 図 4(b) に示した行列の 先頭に特殊トークンを付与し, 画像内のどのオブジェクトとも対応関係にない単語は特殊トー クンに対応付ける。

教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳モデルの目的関数 $\mathcal{L}$ は 以下のように表される.

$
\mathcal{L}=\mathcal{L}_{T}+\lambda_{1} \mathcal{L}_{i m g_{\_} s r c}
$

ここで， $\mathcal{L}_{T}$ はマルチモーダルニューラル機械翻訳モデルの損失関数， $\mathcal{L}_{i m g_{-} s r c}$ は視覚的注意機構における注意行列と教師データとなる行列との損失関数を表している。また， $\lambda_{1}$ は翻訳誤差 $\mathcal{L}_{T}$ と教師付き視覚的注意機構に関する誤差 $\mathcal{L}_{i m g_{-} s r c}$ の重みを制御するためのハイパーパラ メータである.

## 3.3 教師付き視覚的注意機構と教師付き言語間注意機構の組み合わせ

本研究では, 教師付き視覚的注意機構に加えて, 2.2 節で説明した教師付き言語間注意機構 を我々のマルチモーダルニューラル機械翻訳モデルに導入し，翻訳性能の改善を図る。教師付

図 5 言語間注意機構に対する教師データの例

き言語間注意機構を学習するためには, 原言語文内の単語と目的言語文内の単語との対応関係 を取得する必要がある。本研究では, Liu ら (Liu et al. 2016) や Garg ら (Garg et al. 2019)の ように，アライメントツールを用いて単語間の対応関係を取得した。アライメントツールとし ては，GIZA++ (Och and Ney 2003) をマルチスレッドで動作させることを可能とした MGIZA (Gao and Vogel 2008)を用いた.

目的言語文内のある 1 単語が複数の原言語文内の単語と対応関係にある場合, 等しく対応が 張られるように値を平均化する。 すなわち, 値を「1/対応付いた単語数」とする. また, 3.2 節 のように, どの単語とも対応関係がない単語については, 特殊トークンを用いて処理を行った.具体的には，図 5 に示すように原言語文の先頭に特殊トークンを設置し, 原言語文内のどの単語とも対応関係を持たない目的言語文の単語はこの特殊トークンに対応が張られるようにする.

教師付き視覚的注意機構と教師付き言語間注意機構の両方を用いるマルチモーダルニューラ ル機械翻訳モデルの目的関数 $\mathcal{L}$ は次式のように表される。

$
\mathcal{L}=\mathcal{L}_{T}+\lambda_{1} \mathcal{L}_{i m g_{\_} s r c}+\lambda_{2} \mathcal{L}_{\text {src_tgt }},
$

ここで， $\mathcal{L}_{s r c_{-} t g}$ は言語間注意機構における注意行列と教師データとの損失関数を表している. また， $\lambda_{1}$ は，翻訳誤差 $\mathcal{L}_{T}$ と視覚的注意機構に関する誤差 $\mathcal{L}_{i m g \_s r c}$ との重みを制御するハイ パーパラメータであり， $\lambda_{2}$ は，翻訳誤差 $\mathcal{L}_{T}$ と言語間注意機構に関する誤差 $\mathcal{L}_{s r c \_t g t}$ との重み を制御するハイパーパラメータである.

## 4 実験

## 4.1 実験設定

本研究では, 英独翻訳, 独英翻訳, 英日翻訳, 日英翻訳の 4 つの実験を行った. 英独翻訳およ び独英翻訳では, Multi30k データセット (Elliott et al. 2016)を用いた. このデータセットは,
画像とその説明文が対になったもので，訓練データは 29,000 文対，開発デー夕は 1,014 文対で ある。また，テストデータとしては test2016（1,000 文対）を用いた.

英日翻訳および日英翻訳では, Flickr30k Entities JP データセット (Nakayama et al. 2020) を用いた．Multi30k データセットのテキストの前処理に倣い，英文には小文字化，句読点の正規化, Moses のトークナイザ (Koehn et al. 2007) を施している。日本語文については KyTea (Neubig et al. 2011) を用いて単語分割を行った。また，訓練デー夕には日英共に 100 単語以下 の対訳文のみを用いた。訓練デー夕は 59,516 文対，開発デー夕は 2,027 文対，テストデー夕は 2,000 文対である.

画像に対する前処理として, 画像サイズを $256 \times 256$ になるようにリサイズした後, $224 \times 224$ と なるように中央部にクロップ処理を施した。画像エンコーダにおいて使用する CNN は ResNet50 (He et al. 2016) を用いた。なお, ResNet50 から取得する画像特徴量は最終の畳み込みレイヤ の出力を用いた. したがって, 抽出される画像特徴量のサイズは $7 \times 7 \times 2048$ である. また,学習時に CNN の fine-tuning は行わない。画像エンコーダ，原言語文エンコーダおよびデコー ダレイヤはそれぞれ 6 レイヤから成る. マルチヘッド注意機構におけるへッド数は 8 , 埋め达 み次元数は 512 とした. また, 単語位置毎の全結合レイヤの中間レイヤの次元数は 2,048 とし た. モデルの学習時にはミニバッチサイズを 128 とし, 40 エポックの学習を行った. 最適化手法には Adam (Kingma and Ba 2014) を用いた。英独および独英実験では BPE (Sennrich et al. 2016)を適用した．英側の単語と独側の単語を合わせて BPEを学習し，マージのオペレーショ ン数は 6,000 とした. 推論時には目的言語文の生成を貪欲法により行った. 実験では機械学習 ライブラリである PyTorch のバージョン 1.1.0を用いて実装したモデルを使用した.

翻訳性能は BLEU (Papineni et al. 2002) と METEOR (Denkowski and Lavie 2014) を用い て評価した。テスト時には開発データに対する BLEU 値が最も高かったエポックのモデルを 選択し，テストデータに対する性能を評価した。また，ブートストラップ・リサンプリング法 (Koehn 2004)により統計的有意差の検定を行った. BLEU の検定には paired_bootstrap_v13a ${ }^{1}$ を，METEOR の検定には jhclark/multeval ${ }^{2}$ を fork した ozancaglayan $/$ multeval $^{3}$ を用いた．実験では，画像無しの Transformer モデル (NMT), 画像無しの Transformer モデルに教師付き言語間注意機構を適用したモデル $(\mathrm{NMT}+\mathrm{SCA})$, 教師付き注意機構を用いないマルチモーダル Transformer モデル (MNMT), 教師付き視覚的注意機構のみを用いるモデル (MNMT+SVA),教師付き言語間注意機構のみ用いるモデル (MNMT+SCA), 教師付き視覚的注意機構と教師付 き言語間注意機構の両方を用いるモデル (MNMT+SVA+SCA) を比較した. また, 教師付き視覚的注意機構及び教師付き言語間注意機構では，6 レイヤスタックされた原言語文エンコーダレ

イヤおよびデコーダレイヤの内，最終の 6 レイヤ目の注意機構の一つのヘッドに対して制約を

は Garg らに倣い， $\lambda_{1}=0.05, \lambda_{2}=0.05$ とした. また，教師付き視覚的注意機構のみを用いる モデルのハイパーパラメータは $\lambda_{1}=0.05$ とした．本実験で利用したデータセットには，単語 と画像内のオブジェクトとの対応は英語のキャプション文にのみ与えられている. 英独翻訳と 英日翻訳については，人手によって付けられた，英語のキャプション文内の単語と画像内の才 ブジェクトとの対応関係を直接利用して，視覚的注意機構に対する教師データを作成した．独英翻訳と日英翻訳については，初めに人手によって付けられている英語のキャプション文内の 単語と画像内のオブジェクトとの対応関係を，MGIZAによって得た言語間の対応関係を用いて 独語および日本語の文と画像内のオブジェクトとの対応関係に変換し, 視覚的注意機構に対す る教師データを作成した。なお，今回英日および日英実験で用いた Flickr30k Entities JP デー タセットには，原言語文内の単語と目的言語文内の単語との間に人手で対応関係がつけられて いる。そこで, $\mathrm{NMT}+\mathrm{SCA}, \mathrm{MNMT}+\mathrm{SVA}, \mathrm{MNMT}+\mathrm{SCA}, \mathrm{MNMT}+\mathrm{SVA}+\mathrm{SCA}$ の場合につい て,この人手での対応関係を用いた実験も行った。

## 4.2 実験結果

実験結果を表 1 に示す。表を見ると，MNMT+SVA はすべての実験において MNMT のスコア を上回っており，英独および英日・日英実験については検定によりその有意差が確認できる。ま た, MNMT+SCA については, 英独および独英実験においては MNMT のスコアを上回っており，

表 1 実験結果. B と M はそれぞれ BLEU と METEORを表す。*マークは MNMT と比較して有意水準 5\% ( $p \leq 0.05)$ で検定を行い, 有意と判定されたことを表す。また，†マークは MNMT + SVA と比較して有意水準 $5 \%$ で検定を行い, 有意と判定されたことを表す。さらに，‡マークは MNMT+SCA と比較して有意水準 $5 \%$ 検定を行い，有意と判定されたことを表す.
有意差もあることが確認できる．MNMT+SVA+SCA では，英独実験については MNMT+SVA やMNMT+SCA と比較してそれぞれ同程度スコアが向上しており, 教師付き視覚的注意機構と 教師付き言語間注意機構を組み合わせて利用することの有効性が確認できた。また，英日およ び日英実験については，MNMT+SCA では MNMT と比較して同程度もしくは下がる結果であ るが，教師付き視覚的注意機構と合わせた MNMT+SVA+SCA では MNMT+SVAを上回って おり，教師付き言語間注意機構と教師付き視覚的注意機構を組み合わせることの有効性が確認 できた.

次に, 人手による対応関係を用いた実験結果を見ると, NMT+SCA (人手) および MNMT+SCA (人手) では MGIZAによって対応関係を取得した NMT+SCA および MNMT+SCA と比較し て性能が向上していることが確認できた。 しかし， MNMT+SVA+SCA と MNMT+SVA+SCA (人手) を比較すると, $\mathrm{MNMT}+\mathrm{SVA}+\mathrm{SCA}$ (人手) のスコアは同程度かもしくは少し下がる結果となった。この結果より，人手で付けられた対応関係を用いて言語間注意機構を教師付き学習する際には，教師付き視覚的注意機構を同時に用いることの相乗効果は見られなかった.

## 5 考察

## 5.1 視覚的注意の例

図 6 と図 7 はそれぞれ英日翻訳におけるテストデータ中の単語 man と単語 lamp に対する視覚的注意を表している。これらの図において，より暗くなっている部分はより強く注意が向け られていることを表している。図を見ると，視覚的注意機構に制約を与えない通常の視覚的注意機構では画像全体に等しく注意が向けられている（図 6(b), 図 7(b)).これに対し，制約を 与えて学習させた教師付き視覚的注意機構では，それぞれ対応する領域に注意が向けられてお り, 視覚的注意が改善する事例があることが確認できた（図 6(c), 図 7(c)).これらの結果より,教師付き視覚的注意機構が，各単語の注意を関連する領域に向けさせた可能性があると考えら れる。

(a) 正解データ

(b) 制約なし

(c) 制約あり

図 6 単語 man に対する視覚的注意

(a) 正解データ

(b) 制約なし

(c) 制約あり

図 7 単語 lamp に対する視覚的注意

## 5.2 翻訳例

図 8 は日英翻訳と独英翻訳のテストデータに対する翻訳結果の例を表している。図を見ると，教師付き注意機構を用いないマルチモーダル機械翻訳モデル (MNMT) によって翻訳された文 は，原言語文のいくつかの情報が抜け落ちていることが分かる，例えば，図 8(a)では，画像内 の男性が持っている「携帯電話」および男性の状態を表す「話しながら」という情報が抜け落 ちている。また, 図 8(b) では,「a yellow shovel」という情報が，図 8(c) では画像内の男性の特徵である「dreadlocks」という情報が抜け落ちている。これに対し, 教師付き視覚的注意機構を 用いたモデル (MNMT+SVA) ではこれらの抜け落ちていた情報を正しく翻訳できる事例がある ことが確認できた。これは，教師付き視覚的注意機構によって原言語文の各単語と画像内の関連する領域が対応付けられた可能性があると考えられる。

## 6 関連研究

ニューラル機械翻訳は，原言語の単語と目的言語の単語間での自動もしくは人手による対応関係に基づいて言語間注意機構を訓練することによって，その性能が改善されている．Liu ら (Liu et al. 2016) や Mi ら (Mi et al. 2016) は RNN ベースのニューラル機械翻訳モデルに, Garg ら (Garg et al. 2019) は Transformer ベースのニューラル機械翻訳モデルにおいて制約付き言語間注意機構を提案している。

ニューラル機械翻訳の性能改善に画像が有効であることが示されている (Elliott 2018; Caglayan et al. 2019). マルチモーダルニューラル機械翻訳の研究も盛んに行われ，様々なモデルが提案 されている。初期のころは，RNN ゙ースのニューラル機械翻訳 (Bahdanau et al. 2015) を拡張 させた RNN ベースのマルチモーダルニューラル機械翻訳 (Calixto et al. 2017; Caglayan et al. 2017; Delbrouck and Dupont 2017) が主流であった。近年は, Transformer ベースのマルチモー ダルニューラル機械翻訳の研究が盛んに行われている (Helcl et al. 2018; Libovický et al. 2018;

Source:

MNMT:

$\mathrm{MNMT}+\mathrm{SVA}$

Reference: an asian man walking down an alley talking on his cellphone with brightly colored fabric behind him

明るい色の布を背にして路地を歩いているアジア人男性。

明るい色の布を背にして携帯電話で話しながら路地を歩くアジア 人男性。

明るい色の布を背に携帯電話で話しながら路地を歩くアジア系の 男性。

(a) 英日翻訳の例

Source: 赤いシャツを着た男の子が、黄色いシャベルで砂を掘っている。

MNMT: $\quad$ boy in a red shirt is shoveling sand .

MNMT+SVA: a boy in a red shirt is digging in the sand with a yellow shovel .

Reference: a boy wearing a red shirt digs into the sand with a yellow shovel .

(b) 日英翻訳の例

Source:

ein rothaariger mann mit dreadlocks sitzt und spielt auf einer akustischen gitarre .

MNMT: $\quad$ a man with red-hair sits on an acoustic guitar .

MNMT+SVA: a red-haired man with dreadlocks is sitting and playing an acoustic guitar .

Reference: a red-haired man with dreadlocks is sitting playing and acoustic guitar .

(c) 独英翻訳の例

図 8 翻訳例

Grönroos et al. 2018; Ive et al. 2019; Zhang et al. 2020). ほとんどのマルチモーダルニューラル 機械翻訳モデルでは，視覚的注意機構によって画像の特徴を組み込んでいる。原言語文の単語と 画像領域との関係を捉えるために視覚的注意機構を利用している研究 (Delbrouck and Dupont 2017; Zhang et al. 2020)や，目的言語文の単語と画像領域を捉えるために視覚的注意機構を利用している研究 (Calixto et al. 2017; Helcl et al. 2018; Libovický et al. 2018; Ive et al. 2019; Takushima et al. 2019) がある. なお, これらの研究で利用されている視覚的注意機構は訓練時 に自動的に学習が行われており，視覚的注意機構に制約を加えた手法ではない.

## 7 結論

本稿では，教師付き視覚的注意機構を用いるマルチモーダルニューラル機械翻訳モデルを提案した。提案手法では, 画像領域とその説明文中の単語との間に人手で付けられている対応関係を用いて視覚的注意機構の教師データを作成し, その教師データによってマルチモーダル ニューラル機械翻訳モデルのエンコーダ内の視覚的注意機構に制約を与えて学習する。実験で は，Multi30k データセットを用いた英独翻訳および独英翻訳と Flickr30k Entities JP データ セットを用いた英日翻訳および日英翻訳を行い，提案手法によって Transformer ベースのマル チモーダルニューラル機械翻訳モデルの性能が改善できることを確認した．今後は，本実験で 用いた Transformer ベースのマルチモーダルニューラル機械翻訳モデル以外のモデルに対して も，提案手法である制約を与えた視覚的注意機構が有効であるかどうかを検証していきたい.

## 謝 辞

本論文は国際会議 The 28th International Conference on Computational Linguistics (COLING2020) に採択された論文 (Nishihara et al. 2020) に基づいて日本語で書き直し，説明や評価 を追加したものである。

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 JP20K19864 の助成を受けたものである。ここに謝意を表 する。

## 参考文献

Ba, J., Kiros, J. R., and Hinton, G. E. (2016). "Layer Normalization." ArXiv, abs/1607.06450. Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.

Barrault, L., Bougares, F., Specia, L., Lala, C., Elliott, D., and Frank, S. (2018). "Findings of the Third Shared Task on Multimodal Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 304-323.

Caglayan, O., Aransa, W., Bardet, A., García-Martínez, M., Bougares, F., Barrault, L., Masana, M., Herranz, L., and van de Weijer, J. (2017). "LIUM-CVC Submissions for WMT17 Multimodal Translation Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 432-439, Copenhagen, Denmark. Association for Computational Linguistics.

Caglayan, O., Madhyastha, P., Specia, L., and Barrault, L. (2019). "Probing the Need for Visual Context in Multimodal Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4159-4170, Minneapolis, Minnesota. Association for Computational Linguistics.

Calixto, I., Liu, Q., and Campbell, N. (2017). "Doubly-Attentive Decoder for Multi-modal Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1913-1924, Vancouver, Canada. Association for Computational Linguistics.

Delbrouck, J.-B. and Dupont, S. (2017). "Modulating and Attending the Source Image During Encoding Improves Multimodal Translation." CoRR, abs/1712.03449.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380, Baltimore, Maryland, USA. Association for Computational Linguistics.

Elliott, D. (2018). "Adversarial Evaluation of Multimodal Machine Translation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2974-2978, Brussels, Belgium. Association for Computational Linguistics.

Elliott, D., Frank, S., Sima'an, K., and Specia, L. (2016). "Multi30K: Multilingual EnglishGerman Image Descriptions." In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74.

Gao, Q. and Vogel, S. (2008). "Parallel Implementations of Word Alignment Tool." In Software Engineering, Testing, and Quality Assurance for Natural Language Processing, pp. 49-57, Columbus, Ohio. Association for Computational Linguistics.

Garg, S., Peitz, S., Nallasamy, U., and Paulik, M. (2019). "Jointly Learning to Align and Translate with Transformer Models." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4452-4461, Hong Kong, China. Association for Computational Linguistics.

Grönroos, S.-A., Huet, B., Kurimo, M., Laaksonen, J., Merialdo, B., Pham, P., Sjöberg, M., Sulubacak, U., Tiedemann, J., Troncy, R., and Vázquez, R. (2018). "The MeMAD Submission to the WMT18 Multimodal Translation Task." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 603-611, Belgium, Brussels. Association for Computational Linguistics.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778.

Helcl, J., Libovický, J., and Variš, D. (2018). "CUNI System for the WMT18 Multimodal Translation Task." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 616-623.

Ive, J., Madhyastha, P., and Specia, L. (2019). "Distilling Translations with Visual Awareness." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6525-6538, Florence, Italy. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." CoRR, abs/1412.6980.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Libovický, J., Helcl, J., and Mareček, D. (2018). "Input Combination Strategies for MultiSource Transformer Decoder." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 253-260, Brussels, Belgium. Association for Computational Linguistics.

Liu, L., Utiyama, M., Finch, A., and Sumita, E. (2016). "Neural Machine Translation with Supervised Attention." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Mi, H., Wang, Z., and Ittycheriah, A. (2016). "Supervised Attentions for Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2283-2288, Austin, Texas. Association for Computational Linguistics.

Nakayama, H., Tamura, A., and Ninomiya, T. (2020). "A Visually-Grounded Parallel Corpus with Phrase-to-Region Linking." In Proceedings of The 12th Language Resources and Evaluation

Conference, pp. 4204-4210, Marseille, France. European Language Resources Association.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable

Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Nishihara, T., Tamura, A., Ninomiya, T., Omote, Y., and Nakayama, H. (2020). "Supervised Visual Attention for Multimodal Neural Machine Translation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4304-4314, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Plummer, B. A., Wang, L., Cervantes, C. M., Caicedo, J. C., Hockenmaier, J., and Lazebnik, S. (2017). "Flickr30K Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models." International Journal of Computer Vision, 123 (1), pp. 74-93. Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Takushima, H., Tamura, A., Ninomiya, T., and Nakayama, H. (2019). "Multimodal Neural Machine Translation Using CNN and Transformer Encoder." In Proceedings of the 20th International Conference on Computational Linguistics and Intelligent Text Processing (CICLING 2019).

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Young, P., Lai, A., Hodosh, M., and Hockenmaier, J. (2014). "From Image Descriptions to Visual Denotations: New Similarity Metrics for Semantic Inference Over Event Descriptions." Transactions of the Association for Computational Linguistics, 2, pp. 67-78.

Zhang, Z., Chen, K., Wang, R., Utiyama, M., Sumita, E., Li, Z., and Zhao, H. (2020). "Neural Machine Translation with Universal Visual Representation." In 8th International Conference
on Learning Representations, ICLR 2020, Apr 26-May 1.

## 略歴

西原 哲郎：2020 年愛媛大学工学部情報工学科卒業. 2020 年より同大学院理工学研究科修士課程に在学.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮 崇：1996 年東京大学理学部情報科学科卒業. 1998 年同大学大学院理学系研究科修士課程修了. 2001 年同大学大学院理学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

表 悠太郎：2019 年愛媛大学工学部情報工学科卒業. 2019 年より同大学院理工学研究科修士課程に在学.

中山 英樹：2006 年東京大学工学部機械情報工学科卒業. 2011 年同大学大学院情報理工学系研究科知能機械情報学専攻博士課程修了. 博士 (情報理工学). 2012 年より東京大学大学院情報理工学系研究科創造情報学専攻講師. 2018 年 より同准教授, 現在に至る. 画像認識, 自然言語処理, 機械学習の研究に従事. 情報処理学会, 電子情報通信学会, IEEE, ACM 各会員.

$(2020$ 年 11 月 1 日 $\quad$ 受付 $)$
$(2021$ 年 2 月 8 日 再受付 $)$
$(2021$ 年 3 月 10 日 採録)


# 訓練事例の影響の軽量な推定

小林 颯介 ${ }^{\dagger,+\dagger}$ - 横井 祥 ${ }^{\dagger,+\dagger \dagger}$ - 鈴木 潤 ${ }^{\dagger,+\dagger \dagger}$ - 乾 健太郎 ${ }^{\dagger,+\dagger \dagger}$

機械学習モデルの挙動の解釈において，各訓練事例がもたらす影響を理解すること は重要である。単純にはデータセットから対象の訓練事例を除いて再訓練してモデ ルの変化を解析することもできるが, 必要な計算量が非常に大きくなってしまい, 特 に膨大なパラメータのニューラルネットワークモデルへの適用が困難であった。本論文では, ニューラルネットワークモデルへの各訓練事例の影響の推定手法として，既存手法に比べて非常に効率的な方法を提案する，提案手法では，各事例の学習時 に dropoutを用いて, 事例ごとに固有のサブネットワークのパラメータを更新せず に訓練を進めることで，訓練終了後には各訓練事例の影響を受けていないサブネッ トワークを自由に抽出し，それを影響值の推定に活かすことができる。実験では，提案手法を, 文書分類と画像物体認識において, BERT およびVGGNet に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを 示した。また, サブネットワークの学習曲線の解析やデータフィルタリングの実験 を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した。 キーワード：影響関数, Dropout
## Efficient Estimation of Influence of a Training Instance

\author{
Sosuke Kobayashi ${ }^{\dagger, \dagger \dagger}$, Sho Yoko $^{\dagger, \dagger \dagger \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger \dagger}$ and Kentaro Inu ${ }^{\dagger,+\dagger \dagger}$
}

Understanding the influence of a training instance on a machine-learning model is important for interpreting the behavior of the model. However, it has been difficult and inefficient to evaluate the influence, considering how the prediction of a model would be changed if a training instance were not used. This prevents the application of influence estimation in neural networks with a large number of parameters. In this paper, we propose an efficient method for estimating the influence for neural networks. The method is inspired by dropout, which zero-masks a sub-network and prevents the sub-network from learning each training instance. By switching between dropout masks, we can use sub-networks that learned or did not learn each training instance and estimate its influence based on the difference between the subnetworks. Through experiments with BERT and VGGNet on classification datasets, it was demonstrated that the proposed method can enhance the interpretability of error predictions. Quantitative evaluations were also performed by analyzing learning curves of sub-networks and applying the method to data filtering.

Key Words: Influence Function, Dropout

## 1 はじめに

機械学習モデルは, モデルの構造やその最適化手法に加え, 実際に学習する事例集合によって 性能と挙動が特徴づけられる。それを踏まえ，ある訓練事例が学習後のモデルに与える影響の 解析は，これまで広く研究がなされてきた (Cook 1977; Koh and Liang 2017; Zhang et al. 2018; Hara et al. 2019). 事例ごとの影響を正しく把握することで，学習後のモデルの挙動や予測を解釈することに役に立つほか，事例の貢献度を考慮したデータフィルタリングなどの応用にもつ ながる．特に，自然言語処理などの分野で幅広く使われているディープニューラルネットワー クモデルについては, 性能の向上が著しい (Devlin et al. 2019). その一方で, 学習後のモデル の挙動や特性を理解することが極めて困難であるブラックボックス性が応用上の課題となって おり，データに紐付けて説明を行うアプローチはその解決手段の一つとして有望視されている (Koh and Liang 2017; Plumb et al. 2018; Ouchi et al. 2020).

この事例ごとの影響値の最も素朴な計算方法は, あるモデルをデータセット全体で訓練し, そ の後同様の訓練手続きを一事例だけ除いたデータセットの上でも実施することである。このよ うな操作 (leave-one-out retraining) で作成した 2 つのモデルの予測の差を比較することは, 除外対象の一事例の影響値を計測することに概ね相当する。しかし，この方法は解析したい事例 ごとにモデルを再訓練して保存する必要があり，データセット全体への解析や解釈などを行う 際には，非常に長い計算時間とモデルの保存容量を要する。例えば，予測に最も寄与した事例 をユーザーに提示することでモデルの解釈性を高めたい場合を考える。このとき，訓練事例数 $|D|$ に依存した回数の訓練と個数のモデルの保存が予め必要となる. さらに, 実際に推論する際 にも，事例ごとの $|D|$ 回分の推論のたびに新たにモデルを読み込む必要があり，BERT (Devlin et al. 2019)のような巨大なモデルの場合，読み込みにも無視できない時間がかかる。この単純 な leave-one-out の再訓練を行う他に，影響值を近似的に推定する手法がこれまで提案されてき たが (Koh and Liang 2017; Hara et al. 2019), 計算量の課題や適用可能なモデルの制約などが 依然として存在するため，実用性を大きく損なっている。ニューラルネットワークを用いた実験も行われているが，典型的にモデルサイズが非常に小さく(Koh and Liang 2017; Hara et al. 2019)，また，より大きいモデルに適用を試みた実験でも上述の計算量の課題が報告されている (Han et al. 2020).

そこで，本論文では，訓練事例の影響の計算を巨大なニューラルネットワークモデルにおいて も実用的にするため，新たな推定手法 turn-over dropout を提案する． turn-over dropout はその 名の通り dropout (Srivastava et al. 2014; Hinton et al. 2012) を活用した手法であり， dropout を事例ごとに決定的なサブネットワークのみを訓練する手法として新たに定式化したものであ る。訓練終了後には，各事例について，影響を受けていないサブネットワークと受けているサ ブネットワークの両方で予測が行えるため, その差分から事例ごとの影響を近似的に推定する

ことができる。この推定では, ニューラルネットワークの前向き計算による予測を 2 回実行す るだけであり, (Hara et al. 2019) と (Koh and Liang 2017) の手法に比べて大幅に高速である. また，訓練に関しても，通常通りに一つのデータセット上で訓練を一度行ったモデルを用意す るだけで，そこに含まれる全事例に関して推定を行うことができ，再訓練も複数のモデルの保存も必要がない，本論文では，先行研究に対する計算量における優位性を議論するとともに，文書分類タスクと画像物体認識のタスクにおいて推定の有効性を示す実験を行った．提案手法 を文書分類と画像物体認識における BERT (Devlin et al. 2019) および VGGNet (Simonyan and Zisserman 2015) に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を 解析できることを示した．また，サブネットワークの学習曲線の解析やデータフィルタリング の実験を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した.

## 2 訓練事例の影響値

## 2.1 問題設定

まずはじめに，本論文で扱う問題設定と定式化に関して説明する。本論文では, (Hara et al. 2019）の定義にならい，ある訓練事例を学習に用いた際の，また一方のある事例（典型的にはテ ストデータセット内の事例) の予測に関する影響値 (influence) について議論する. $z:=(x, y)$ をある訓練事例とし，その内の入力を $x \in X$ および（正解）出力を $y \in Y$ とする。また, $D:=\left.\{z_{i}\right.\}_{i=1}^{N}$ で $N$ 個の事例集合からなるデータセットを表す. データセット $D$ を訓練事例集合として, SGD どの最適化手法を適用することで, 関数 $f_{D}: X \rightarrow Y$ を学習する. 特に本論文では学習されたパラメータを持つニューラルネットワーク $f_{D}$ について議論する。 $L(f, z)$ を 損失関数とすると，学習の目的は $\hat{f}_{D}:=\operatorname{argmin}_{f} \mathbb{E}_{z_{i} \in D} L\left(f, z_{i}\right)^{1}$ を得ることである. 本論文の実験では，特に分類問題の正解ラベルと予測の差に関するクロスエントロピーを損失関数として 用いるが，提案手法は一般的な他の損失関数に関しても適用可能である.

影響値 $($ influence $) I\left(z_{\text {target }}, z_{i} ; D\right)$ は，事例 $z_{\text {target }}$ に関する予測について，訓練事例 $z_{i}$ を学習したことの定量的な利得を表す. $f_{D \backslash\left.\{z_{i}\right.\}}$ をデータセット $D$ から事例 $z_{i}$ を抜いて訓練した場合のモデルとすると

$
I\left(z_{\text {target }}, z_{i} ; D\right)=L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right) .
$

と影響値は表される。直観的には，影響値が正に大きくなるほど，訓練事例 $z_{i}$ は事例 $z_{\text {target }}$ の 予測に関する損失の減少に大きく貢献していることになる。典型的には, この推定時の参照事
}$ について $\mathbb{E}_{z_{\operatorname{dev}} \in D_{\mathrm{dev}}} L\left(f, z_{\mathrm{dev}}\right)$ となる最適化を目指すことが多い.
}
例 $z_{\text {target }}$ は，テストや開発用のデータセットに含まれている事例である。特に，あるテスト事例に対する誤り予測ラベルでの損失に関して, 訓練事例ごとに式 (1)の值を計算し比較するこ とで，その誤りに寄与した訓練事例たちを特定することができ，モデルの解析に有用であると して研究されてきた (Koh and Liang 2017).

## 2.2 関連手法

式 (1) の影響值を素朴に計算するためには, 事例ごとに新たにモデルの訓練が必要になり, そ の計算量は非常に大きい. その代替として, これまで幾つかの推定手法が提案されてきた.

まず, Koh・Liang (Koh and Liang 2017)の推定手法は影響関数 (influence function) に基づい て提案されたものである。定式化としては強凸な関数のみに適用可能であり，また，解析対象 のモデルについても，大域的最適解として損失の最小化が済んだパラメータを仮定している². ニューラルネットワークを始めとする多くのモデルはその条件を満たさないが, (Koh and Liang 2017) や (Han et al. 2020) などは, 手法に一部修正を施すことで簡易的にニューラルネットワー クに適用した場合においても実験的には有用な推定が行えることを議論している. その一方で，実験対象のモデルサイズは非常に小さい (Koh and Liang 2017). モデルサイズが大きい場合の 検証はこれまで少ない他, その計算量の大きさについても実用上の観点から依然として大きな 課題になっている (Han et al. 2020).

次に, Hara ら (Hara et al. 2019) は上記のような制約のない推定手法を新たに提案した. し かし, その手法は訓練過程の多くのモデルスナップショットを保存するための大きな保存容量 を必要とするほか，推定時にはモデルの更新回数に依存したスナップショットの読み出しと重 い計算処理を行う。そのため, 同様に，大きなモデルに対して適用することは計算量と保存容量の観点から現状困難である.

## 2.3 関連手法との計算量の比較

これらの既存手法に比べて, 本論文での提案手法（3節で後述）は非常に効率的である. 計算量の理論的な比較のため, 訓練の時間計算量 (Training), モデルの保存に要するディスク保存容量 (Storage), 影響值推定時の時間計算量 (Estimation) を表 1 にまとめた。影響値推定の時間計算量は，あるテスト事例 1 つの予測に関して訓練データセット $D$ 内の各事例の影響值を推定する状況での計算量を記述した。 例えば，あるテスト事例の予測に関して各訓練事例の寄与
\right.\}}$ と $f_{D}$ の差を議論している. 一方で, 我々と Hara ら (Hara et al. 2019) の定式化では, そのような条件や制約はなく, より広い問題として扱っている。本論文では, Hara ら (Hara et al. 2019) に従い，式 (1) の定義は $f_{D}$ 及び $f_{D \backslash\left.\{z_{i}\right.\}}$ について，同じ初期値から事例 $z_{i}$ を除いて同じ最適化手続きを行う限り，モデルの制約を付けない，例えば，確率的勾配降下法 (SGD) においては，ミニバッチの順序及 び構成についても $z_{i}$ を除き，完全に一致した最適化を行う設定で議論するが，その更新回数などにも制約はない.
}

表 1 提案手法, (Hara et al. 2019), (Koh and Liang 2017) ごとに必要な計算量と保存容量の比較. あ るテスト事例 1 つの予測に関して，訓練データセット $D$ の全事例の影響値を計算した場合につい て示した. $|\theta|$ はモデルのパラメータ数, $F$ は前向き計算あるいは後ろ向き計算の計算量, $F^{\prime}$ は二階微分の後ろ向き計算の計算量, $T$ は訓練中の更新回数, $B$ は訓練中のミニバッチ内の事例数. (Koh and Liang 2017)の $b$ は近似計算時のミニバッチ内の事例数, $r t$ はハイパーパラメータの一種であ り, 典型的には $r t \approx|D|$ である. 詳細は本文を参照.

を解析したいケースはこの状況に相当する。表 1 から明らかなように，提案手法はどの項目に おいても最も効率的な水準であり，いずれの既存手法よりも総合的に効率的であると言える.

まず，モデルの訓練にかかる時間については，データごとに新たにモデルを用意する必要が ある Re-train では大幅にコストがかかる。その他の手法 Hara+, Koh+, 本提案手法について は，訓練にかかる時間は基本的に同じである。次に，保存容量については，除外対象のデータご とに個別のモデルを保存しておく必要がある Re-train や，訓練中のモデルのスナップショット を頻繁に保存する必要がある Hara+ ではコストが大きい。そして，推定においては，Re-train 及び本提案手法では，ニューラルネットワークの 2 度の前向き計算（推論 $)^{3}$ を行うだけで済むの に比べ, Hara+, Koh+では大きな計算量がかかってしまう. さらに, Re-train, Hara+, Koh+ では推論時の計算の一部あるいは全部を，1つの対象データごとに別々のミニバッチ（すなわ ちバッチサイズが1）で計算する必要がある。一方で，提案手法では異なる訓練事例に関する推定を同じミニバッチで一括処理することが可能であり，GPUでの計算の効率性を大きく上げら れる利点がある ${ }^{4}$. 実験的には，BERT-base を用いた含意関係認識タスクで，あるテスト事例 1つの予測に関して 10,000 個の訓練事例の影響値を求めた場合, Koh・Liang (Koh and Liang 2017) の手法が約 10 分かかった (Han et al. 2020)一方で，提案手法では 同条件の 10,000 訓練

事例から 1 テスト事例への影響值推定に 35 秒しかかからなかった 5 . よって, このケースでは,提案手法では先行研究の (Koh and Liang 2017)の手法に比べて約 17 倍高速に処理を終えること ができた。このように提案手法の優位性はその非常に高速に処理を終えることができる点であ り, 訓練事例の影響の推定を実応用に向けて進展させることができたと考えられる。なお，大量の事例に対して同様に推定を行いたい場合では，複数 GPUを用いて並列計算を行うことで 高速化を行うことができるが，それは表 1 に示した 4 つの手法全てで適用可能であり, 速度の 比自体に大きな変化はない.

## 3 提案手法

## 3.1 Dropout

Dropout (Hinton et al. 2012; Srivastava et al. 2014) は, ニューラルネットワークの訓練にお いて頻繁に使われる正則化手法である。訓練中には，ある層の隠れ状態べクトルについてその 次元数 $d$ と同じサイズの $d$ 次元のマスクベクトル $\boldsymbol{m}$ をサンプリングし, 隠れ状態の值に要素積をとる．マスクベクトル $\boldsymbol{m} \in\left.\{0, \frac{1}{p}\right.\}^{d}$ の各要素 $m_{j}$ は, 確率 $p$ のベルヌーイ分布から独立に サンプリングされて係数 $\frac{1}{p}$ によって定数倍された値である $\left(m_{j}:=\frac{m_{j}^{\prime}}{p}, m_{j}^{\prime} \sim \operatorname{Bernoulli}(p)\right) . p$ は要素が非ゼロとなる確率を表すハイパーパラメータであるが，本論文では 0.5 とする。すな わち, 約半数の要素がゼロとなる設定を考える. dropout では，学習後の推論時にはマスクを 使わないモデルで素朴に計算を行う.

典型的な dropout は上記のように隠れ状態に対する要素積として実施されるが, より一般化 すると，マスクベクトルによる dropout はモデルのパラメータへ適用されているものとして解釈できる．例えば，あるパラメータ行列 $W$ をかける前の隠れ状態にマスクベクトル $\boldsymbol{m}$ で要素積をとった場合, 隠れ状態内の各次元に対応する $W$ の行に一括で積をとっていることに相当す る. 特に，あるマスクベクトルの要素が 0 であるとき，対応する $W$ 内のパラメータに 0 がかか るため, モデルの計算においてそのパラメータは全く寄与しなくなる. 言い換えると, このよ うに dropout をニューラルネットワークの各層で行う場合，あたかもマスクベクトル $\boldsymbol{m}$ に応 じて枝刈りされたサブネットワーク $f^{m}$ を用いた演算を行っているように見なせる。訓練時に は，各更新ごとに異なるマスクベクトルが使われるため, 様々なサブネットワークがランダム に選ばれ学習していくことになる.これまでの研究 (Hinton et al. 2012; Srivastava et al. 2014;
^{5}$ Han ら (Han et al. 2020) は, Koh・Liang (Koh and Liang 2017) の手法を BERT-base モデルに適用し，含意関係認識の Multi-Genre NLI dataset (Williams et al. 2018) に打いて, 10,000 個の訓練事例からある 1 事例への影響値の推定を行う場合, NVIDIA GeForce RTX 2080 Ti GPU 一つを用いて 10 分かかったと報告している. 我々 も同様に，同データセットと同じ GPU の製品を用いて実験を行ったところ，提案手法の turn-over dropout では， 35 秒で 1 事例への推定を終えることができた。なお, どちらの実装も同じライブラリ (Wolf et al. 2019) から派生 したもので，実装による速度の差異は軽微であると考えられる。
}

Bachman et al. 2014; Baldi and Sadowski 2014; Bulò et al. 2016)でも，上記のように dropout が多数のサブネットワークの訓練をし，推論時の全体ネットワークはそれらのアンサンブルと して演算されていると言われている.

## 3.2 提案手法: Turn-over Dropout

上で述べた典型的な dropout では，マスクベクトルは訓練中の更新ごとに独立にランダムサ ンプリングされる。一方, 本提案手法では, 各訓練事例 $z$ ごとに異なる事例固有マスク $\boldsymbol{m}(z)$ を決定的に使い続けるものとする。より正確には，事例固有のマスクは同様にベルヌーイ分布 からサンプリングされたランダムな値をとるが，それを事例ごとに固定させ，ある事例を用い た訓練時には必ず決定的に同じ値を使い続けるものとする。そのため, 図 1 の上部に示すよう に，ある事例 $z$ で訓練を行う際には同じ $\boldsymbol{m}(z)$ が使われるため，その前向き計算及び後ろ向き 計算も常に固有のサブネットワーク $f^{m(z)}$ (赤) によってのみ行われることになる。言い換え ると，サブネットワーク $f^{m(z)}$ のパラメータが更新される一方で，そのマスクを反転，すなわ ちゼロ・非ゼロ要素の位置を逆転させたようなマスク（以下，反転マスク） $\widetilde{\boldsymbol{m}}(z)=\frac{1}{p}-\boldsymbol{m}(z)$

図 1 提案手法の概略図. Dropout は各訓練事例 $z$ ごとにサブネットワークを生成することができる。そ して，その残ったパラメータのみ (赤; 上部) を更新する. 反対に, 反転したサブネットワーク（青;下部）はその事例 $z$ の影響を受けないままになる。提案手法ではこの二つのサブネットワークの差 を推定に用いる。

（図 1 の中央参照）を使った相対するサブネットワーク $f^{\widetilde{\boldsymbol{m}}(z)}$ のパラメータは一切 $z$ の影響を受 けて更新されることがないと言える。したがって, このようなサブネットワーク $f^{\widetilde{\boldsymbol{m}}(z)}$ は, 本来のモデルのネットワーク $f$ に比べて表現力が弱まっているものの, まさしく「ある事例 $z$ を 使わずに訓練したモデル」となっている。そして，サブネットワーク $f^{m(z)}$ は同等の表現力を 持つ「ある事例 $z$ も使って訓練したモデル」である. 本論文では, この 2 つのサブネットワー クを類推的に式 (1) の $f_{D}$ と $f_{D \backslash\left.\{z_{i}\right.\}}$ の近似として活用し，その出力を推定に使うことを提案 する. すなわち，影響値 $I\left(z_{\text {target }}, z_{i} ; D\right)=L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right)$ を次のように推定 する.

$
\hat{I}\left(z_{\text {target }}, z_{i} ; D\right):=L\left(f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{i}\right)}, z_{\text {target }}\right)-L\left(f_{D}^{\boldsymbol{m}\left(z_{i}\right)}, z_{\text {target }}\right),
$

これは $z_{\text {target }}$ の予測に関して, $f_{D}^{\widetilde{m}\left(z_{i}\right)}$ の代わりに $f_{D}^{\boldsymbol{m}\left(z_{i}\right)}$ を使った場合の利得（損失の減少）を 表す. 本提案手法を, 以後 turn-over dropout と呼ぶ. turn-over dropout の利点は影響値の推定 のために必要なコストが非常に小さいことであり，以下のようにまとめられる.
- 計算時間が少ない: 提案手法は, ある事例ぺアの影響值推定に関して，モデルの前向き 計算を 2 回行うだけで実行可能である。また，一つのミニバッチ内で別の訓練事例に関 する処理をまとめて行うことができる ${ }^{6}$.
- モデルの保存容量が少ない: 訓練時に提案手法を組み达んでおくことで, 1 度の訓練で データセット中の全事例に関して推定が行える. 更新ごとのスナップショットや再訓練 は不要である.
- 実装が簡易: 提案手法の仕組みは極めてシンプルであり，実装の修正が最小限で済む，実装の例を付録 Bに示した。

本提案手法では, サブネットワークへの 1 訓練事例の影響を推定し，それを全体のネットワー クへと転用して推定している。 (Hinton et al. 2012; Srivastava et al. 2014; Bachman et al. 2014; Baldi and Sadowski 2014; Bulò et al. 2016) が論じたように，ニューラルネットワークの全体の ネットワークは各サブネットワークのアンサンブルに相当している。全体のネットワークの性質はパラメータ集合に分散的に学習されているため, そのパラメータの部分集合を用いる各サ ブネットワークもその全体のネットワークと非常に近い挙動を示す. 例えば，一例として，学習後の全体のネットワークを枝刈り (Blalock et al. 2020)した場合も同様の精度を達成する。ま た，全体のネットワークの出力（分類層の直前）とdropout によるサブネットワークを比べた

り, サブネットワーク同士の出力を比べてたりしてみても, 経験的にはそれらの出力は非常に 近い値になる 7 . 本提案手法では，上記の「異なるサブネットワーク間の挙動は平均的には同じ である」及び「サブネットワークと全体ネットワークの挙動は平均的には同じである」という ニューラルネットワークの特性を利用している。これは，典型的に性能を保持したまま枝刈り が行えるような，㔯長なパラメータを持つネットワークではしばしば成り立つと考えられる。一方で，もし十分なパラメータを持たない小さなモデルや低次元空間で計算を行うような場合 では，サブネットワークごとの挙動に違いが生まれやすくなり，提案手法の有効性も下がりや すい。本論文では，そのような小さいネットワークのモデルは扱わず，提案手法の高速という 利点が特に役に立つ BERT などの巨大なネットワークでのみ実験を行った.

## 3.3 効率的な事例固有のマスクの実装

愚直には，事例固有のマスクを用いるということは，データセット内の事例数に比例して新 たにパラメータを用意する必要があり，メモリ空間やデイスク容量増加の原因になりうる。し かし, このコストは本節で提案する 揮発性マスク生成によって $O(|D|)$ から $O(1)$ へと劇的に 減らすことができる.

まず注目すべき点として，提案手法の turn-over dropout では，マスクはランダムなべクトル であればよく，かつ訓練中に更新されることはない．また，一般的なランダム配列生成の実装 ではシード值とサイズを与えることで決定的な挙動をし，常に固定のベクトルを生成すること ができる．例えば，事例ごとのインデックス番号をシード値として与えることで，常にその事例に応じたべクトルを生成することができる。したがって，マスクのベクトルそのものは保存 しておく必要がなく，それらべクトルを生成する手続き（生成アルゴリズムとシード値）さえ 保持しておいて必要な際に生成を行えばマスクのパラメータが得られることになる。保存や保持のための容量や空間計算量を減らす代わりに，ランダム値の再生成の時間計算量がかかるこ とになるが，一般にランダム值の生成は非常に高速なためほとんど無視することができる8.

## 4 実験

本論文の貢献は，式 (1)の値を推定するための高速な手法を提案することである。これによ

り, 先行研究の (Koh and Liang 2017) や (Hara et al. 2019)の手法では膨大な計算コストがか かってしまう，モデルの予測結果ごとの解析を短時間で実行できる。提案手法の計算量につい ての優位性は, 2.3 節で議論した。本節では, 提案手法 turn-over dropoutを幾つかの分類タス クで学習するニューラルネットワークモデルに適用し, 速度面以外のその有効性を示す。まず, 4.2 節では, turn-over dropout の適用時に, サブネットワークがどのような振る舞いをしている のかをその学習過程を観察することで検証する。そして， 4.3 節では，実際にモデルが誤り予測をした場合についてその原因となった訓練事例を解析し，解釈性の高い予測根拠 (Jacovi and Goldberg 2020)を提示できていることを示す. 4.4 節では，推定された値が予測に紐付いてお り信頼性のあることを確認するために，影響值を用いたデータフィルタリングの実験を行い，“悪い” 影響をもたらしていると推定された訓練事例を除外した場合にモデルの汎化性能が向上 することを示す. 最後に, 4.5 節では, dropout やスパースなネットワークでの訓練がときとし てモデルの性能を悪化させうる問題について議論する.

## 4.1 データセットとモデル

まず1つ目のデータセットとして, 二值極性分類タスクの Stanford Sentiment TreeBank (SST2) (Socher et al. 2013) を用いた. SST-2では, 映画のレビューテキストについてそのテキスト が “positive”なのか “negative” なのかの二值ラベルが付与されている. 元の訓練データセット からランダム抽出した 5,000 事例を訓練データセットとして使い, 開発データセットとしては 元の 872 事例をそのまま用いた. モデルは, 事前訓練済みの BERT (Wolf et al. 2019) に基づく 分類器を, adapter modules (Wolf et al. 2019) によって構築した. これはBERT のネットワー クの各ブロックについて, 新たに枝分かれネットワークを挿入し, 元のネットワーク出力に対 する残差として和を取るような構造を持つ. 元々の BERT のネットワークは事前訓練後のパラ メータを固定し，新たに追加される枝分かれネットワークと分類層のみを SST-2 で fine-tuning する。また, turn-over dropout も同様に fine-tuning が行われる箇所のみに適用する.

2つ目に, さらに複雑なタスクとして, Yahoo! Answers Dataset (Zhang et al. 2015)をデータ セットとして用いた。これは，投稿者の質問のトピックが 10 種類の分類のうちどれに属するか を予測するタスクであり，単語だけでは判別できないような抽象度の高いトピックへ分類する 必要がある. 訓練事例数やモデル等の設定は上の SST-2 と同様にした.

3 つ目のデータセットとして, 自然言語処理だけでなく画像認識への応用として, 犬・飛行機などからなる 10 クラスの画像分類タスクである CIFAR-10 (Krizhevsky 2009)の 50,000 事例 の訓練データセットと 10,000 事例の開発データセットを用いた. 畳み込みニューラルネット ワークからなる VGGNet19 (Simonyan and Zisserman 2015) による分類器を訓練した. turn-over dropout は, 11 層目以降に適用した.

BERT と VGGNet19の両分類器は共に分類の正解ラベルと予測の差に関するクロスエントロ

ピーの最小化で最適化した. より詳細な設定は付録 A に示した.

## 4.2 学習曲線

turn-over dropout では，事例固有マスクを適切に切り替えて生まれるサブネットワークが各事例を見ていないサブネットワークとして使えることを前提に置いている。本節では，そのよ うな特性が turn-over dropout によって本当に獲得されているのかを直接的に検証するために， サブネットワークごとの損失の値について学習曲線を観察する。具体的には，各訓練事例を見 ていない反転マスク $\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}$ が，その対応する訓練事例 $z_{\text {train }}$ について過剰適合 (overfitting) しないことを確認する．BERTをSST-2 で訓練した際の損失関数の変化を図 2 に示した.

まずはじめに，2つの点線が示すのはテストデータセットで計算された損失であり，下に行け ば行くほど性能は改善しているとみなせる，2つの点線はどちらも訓練が進むにつれて，一定の 値まで下がっていった後に概ね停滞し，最後にはわずかに上昇していく．赤い点線が示すのは,

練に使っていないテストデータセットにおける性能は一般に汎化性能を表すことから, 事例固有 マスクによるサブネットワーク $f_{D}^{\boldsymbol{m}\left(z_{\operatorname{train}}\right)}$ とその反転マスクによるサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\operatorname{train}}\right)}$ の間では未知のデータに対しては大きな性能差はないことが言える。

次に，2つの実線が表す訓練データセット上での損失に注目する。赤い実線が示すのは，事例固有マスク $\boldsymbol{m}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\boldsymbol{m}\left(z_{\text {train }}\right)}$ で計算した訓練データセット上での損失 $L\left(f_{D}^{\boldsymbol{m}\left(z_{\text {train }}\right)}, z_{\text {train }}\right)$ である。すなわち, 事例固有のマスクで訓練していく中で計算されて最小化 される損失そのものである。この値は下降し続け, 通常の訓練でよく見られる最適化の傾向をた

図 2 BERT をSST-2 で訓練した場合の損失関数の学習曲線.

どっている。 そして, 青い実線が示すのは, 反転マスク $\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}$ を用いて計算した訓練データセット上での損失 $L\left(f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}, z_{\operatorname{train}}\right)$ である. 注目すべき特徴と して，青い実線では，今述べた赤い実線とは異なり，点線によるテストデータセットでの損失 に近い値を取り続けている。 すなわち, 反転マスクに基づくサブネットワークは, 訓練データ セット上に過剰適合することなく, 対応する訓練データを見なかったかのように振る舞ってい ることを示唆している。これにより, 本実験では, turn-over dropout が各訓練事例に過剩適合 しないサブネットワークを生み出せていることを確認できた。また, この観察は, 開発用デー タセットを別途用意したり交差検定を行わずとも訓練データセットのみから汎化性能を計測す ることができる応用の可能性も示唆しており, turn-over dropoutのさらなる活用先として今後 の研究領域となりうると考えられる.

#
4.3 訓練事例への紐付けによる誤り予測の解釈

ニューラルネットワークによる予測モデルは, 挙動の仕組みが人間にとって理解し難いブラッ クボックス性を持ち, それが信頼性や使い勝手を害しているとしばしば批判されている (Ribeiro et al. 2016). その課題に関しても，訓練事例の影響値の推定を用いれば，ある予測に関して大 きな影響を及ぼした訓練事例を特定できることを (Koh and Liang 2017) が示した. ある誤り予測に際して影響力のあった訓練事例を探し出すことができれば，それは予測を誤った原因を解釈するのに役に立つ，本節の実験では，本提案手法が，十分に解釈性 (plausibility) (Jacovi and Goldberg 2020)の高い「モデルの誤った予測に最も貢献した訓練事例」を提示できることを示 す.モデルを訓練し終えた後に，開発用データセットの全事例について予測を行い，その中か ら誤った分類を与えていた事例だけを集めた。そして，それらの誤分類事例について，誤った ラベルの損失を低くする方向に最も大きい影響値を持つ訓練事例，すなわち，誤った分類に最 も貢献してしまったような事例を特定した。

まず, 図 3 に, BERT \&SST-2で訓練した場合の結果を1つ示した. 上に示したテキストは本来

\author{
Test input: if s \#\#te \#\#ven so \#\#der \#\#berg \#\#h ' s ` solar \#\#is ' \\ is a failure it is a glorious failure . \\ (if steven soderbergh ' $s$ ' solaris ' is a failure it is a glorious failure .) \\ [positive $\rightarrow$ negative] \\ Influential: un \#\#fo \#\#cus \#\#ed, ex \#\#c \#\#ru \#\#ciating \#\#ly te \#\#dious \\ (unfocused, excruciatingly tedious)
}

図 3 BERT をSST-2 で訓練した場合における，テストセットの中で誤った予測がなされたテキストと， その誤ったラべルを持つ訓練事例の中で最も影響値が大きかったテキスト，誤って予測されたラべ ルを赤, 正しいラべルを黒で示した.
“positive” と予測されるべきところ，誤って “negative”と予測した. 最も影響を及ぼしたのは, その下に示した事例である。両者の共通点として，一般的な単語単位よりさらに細かく subword (Schuster and Nakajima 2012) として分解されたようなトークンを多く含んでいることが目を引 く. 特に固有表現 (steven, soderbergh, solaris) やその他の低頻度の単語 (excruciatingly) は細 かく多くの subword に分割されやすく，このケースではそのような多くに散逸した subword の 処理に失敗し, 同様に多くの subword を含んでいた訓練事例からの影響で誤ったラべルを予測 してしまったと推察できる。

さらに複雑なタスクとして, Yahoo! Answers Dataset (Zhang et al. 2015)を用いて同様の実験 を行った. 図 4 に Yahoo! Answers Dataset での結果を示した. 誤分類された入力テキストは, “ch \#\#rist”というフレーズを含み，それは影響値の高い訓練事例にも含まれている。この夕 スクでのトピック分類は “Society \& Culture”や “Business \& Finance” などであり抽象度は高 い. そのため，本来であれば“ch \# \#rist”のフレーズだけからはトピックを分類できないよう な低次の特徴であるが，その箇所に引っ張られて，フレーズを共有している訓練事例の影響か ら誤って “Business \& Finance”と予測してしまっていると考えられる.

次に，VGGNet を CIFAR-10で訓練した場合の結果について，図 5 に示した. 画像ではテキ ストよりもさらに直感的に解釈できる結果となった。例えば，左端の 2 列では，上の “bird”の 画像をモデルは “airplane”として誤って予測した。その誤り予測に最も影響した訓練事例は,対応列の下側に示してある．どちらについても鳥の向きや羽の広げ方が飛行機の状態に類似し ており，ほとんどシルエットしか見えないテスト事例については，誤って予測してしまうこと

図 4 BERT を Yahoo! Answers Dataset で訓練した場合における, テストセットの中で誤った予測がなさ れたテキストと，その誤ったラベルを持つ訓練事例の中で最も影響値が大きかったテキスト．誤っ て予測されたラベルを赤, 正しいラベルを黒で示した.

## Misclassified test images

bird

$\rightarrow$ airplane

bird

$\rightarrow$ airplane

bird

$\rightarrow$ dog

$\operatorname{dog}$

deer

Most influential training images with the misclassified label

図 5 VGGNet をCIFAR-10で訓練した場合における，テストセットの中で誤った予測がなされた画像 （上の行）と，その誤ったラべルを持つ訓練事例の中で最も影響值が大きかった画像（下の行）．誤つ て予測されたラベルを赤, 正しいラベルを黒で示した.

にも納得が行く結果となった。右側の残る 3 事例ぺアについても "bird” $\rightarrow$ “dog", “dog" $\rightarrow$ “deer", “deer" $\rightarrow$ "bird”のような誤り予測について, 誤り原因と考えられる学習特徴（形やレ イアウトや色など）が推察できるような訓練事例を見つける事ができている。

## 4.4 データフィルタリング

影響値（式 (1)）は，前節の代表的な応用の他に，データフィルタリングにも応用できること がこれまで示されている (Koh and Liang 2017; Hara et al. 2019). 本節では，提案手法による 影響値の計算結果の妥当性・信頼性 (faithfulness) (Jacovi and Goldberg 2020)を，データフィ ルタリングの実験を通して検証する9．

開発用データセット全事例に対する平均損失に関して，訓練事例ごとに式 (1)の値を計算し 比較することで，どの訓練事例が汎化を妨げてしまうのか予想することができる．前節の誤り 予測の解釈で論じたように，訓練データセットの中では，他の事例への予測に害をなす事例も 存在する。例えば，ある訓練事例がテスト時の様々な未知事例に対して平均的に誤分類を誘発 するとき，その訓練事例は汎化性能を損なう事例だといえる。本実験では，そのような訓練事例を特定し除外（フィルタリング）したのちに，モデルをフィルタリング後のデータセットで

訓練し直すことで，汎化性能を向上させることができることを示す。一方で，「汎化性能を損な う事例」がそもそも訓練データセットに含まれていなければフィルタリングで性能が上がるこ とはない，今回は，訓練データセットの中に「汎化性能を損なう事例」が十分含まれているこ とが担保されているような応用上のケースとして，訓練時とテスト時でデータのドメインが変 わるドメインシフトの設定で実験を行う。

訓練データセットとして映画レビューである SST-2 を用いて, 一方で最終的な性能評価の テストデータとしては電化製品レビューである Multi-Domain Sentiment Dataset (Blitzer et al. 2007)の electronics サブセット (Elec) を用いた. Elecデータセットは 200 事例を開発用データ, 1,800 事例をテスト用データとしてランダムに分割した。なお，性能を最大化したい場合には最後の訓練時に開発用データも混ぜて訓練するなどが考えられるが，今回はデータフィルタリン グの効果のみを検証するために，Elec のデータセットは訓練データセットには一切含めずに性能を比較した。

まず初めに SST-2 データセットで BERT を turn-over dropout を用いた fine-tuning で訓練 し, その後に各訓練事例から Elecの開発用デー夕に対する平均的な影響値を計算した。そして， その平均影響値が最も悪い（負に大きい）訓練事例を上位 $1 \%$ 取り除いたような，フィルタリン グ済みの訓練データセットを抽出し，再度 BERT を turn-over dropoutなしで訓練した。そし て, Elec のテストデータで性能を計測し，結果を表 2 に示した (1\% Filtering). 比較対象とし て，ランダムに同量の $1 \%$ だけデータを取り除いた場合 (1\% Random Filtering) とデータを取り 除かずに訓練した場合 (No Filtering) の性能も並べて示した. turn-over dropout はデータフィ ルタリングの段階でのみ用いており, 表で比較されている数値はすべて turn-over dropout なし で訓練された BERTのものである。実験は異なるシード値によって 4 回行い, それらの結果の 平均と標準偏差を載せた，結果，分類精度についても口スの値についても，データフィルタリ ングを行った場合に性能が向上することが確認できた。単にランダムにデータを取り除いた場合にはやはり性能が向上することはなく, turn-over dropout の推定量に基づくフィルタリング のみが効果的であった。この結果により，影響值の推定のターゲットを一事例でなく事例集合 に設定して平均的な影響値を見ることで，対象ドメインでの汎化性能への影響を考慮し，デー タフィルタリングを行えることを示した。

表 2 データフィルタリングによる性能の変化. Loss はクロスエントロピーの値. 4 回の実験の平均と標準偏差を示した。

## 4.5 Dropout の適用箇所

提案手法 turn-over dropout は対象となるモデルに dropout を導入し, 訓練後に効率的に訓練事例の影響値を推定できるようにする手法である. dropout 自体は様々なニューラルネット ワークで用いられており汎化性能の向上にも役立つことが多いが, 過剰に適用した場合には， ス パースなネットワークの訓練と同様にモデル性能が悪化してしまうことも考えられる10。その ような訓練の不安定性については未だ明らかになっていない点も多い (Evci et al. 2020). 本節 では，どのようにdropout を適用すれば「性能劣化の防止」と「訓練事例の影響値の推定」を 両立できるかを最後に議論する。

まず，SST-2 で BERT を adapter module 付きで訓練する場合の, 性能低下（テストデータ における分類精度 (accuracy) の低下）の可能性について論じる。実験では，事例数が 5,000 の 小さなデータセットで訓練した場合において, ベースラインの性能が $90.0 \%$ たっったのに対して turn-over dropout を用いた場合に $88.3 \%$ へとわずかに精度が低下した. 事例数がもう少し多い 20,000 事例での実験では，それぞれ $90.5 \%$ と $90.2 \%$ の精度となり，ほぼ性能劣化が見られなく なった. したがって，効率的な turn-over dropout が特に有用であるような大規模なデータセッ 卜を扱う場合においては性能の劣化が十分に小さくなり, 実用性も十分保てる可能性を示唆し ている。一方で, adapter module を用いずに, 元の BERT をそのまま使って全層で turn-over dropout を用いた場合には，訓練が不安定になり性能も劣化した。これは turn-over dropout 特有の新たな問題ではなく, 通常の動的な dropoutを $p=0.5$ で用いた場合にも同様である.こ れは事前訓練の段階で扱っている dropout の非ゼロ要素率 $p=0.9$ よりもかなり小さな $p=0.5$ を使うことで情報の伝播を大きく妨げてしまい，BERT が安定した計算を行えていない可能性 がある. adapter なしの fine-tuning でこのような小さい $p$ を使えるようにする解決策としては,事前訓練の段階から小さい $p$ を予め使っておくことが考えられる。また, 事前訓練直後のモデ ルのパラメータを固定しておき, fine-tuning ではそのパラメータからの差分値のみを別途学習 し，その差分値パラメータにのみ dropout をかけるようにすると, 情報の伝播を大きく途切れ させることなく turn-over dropout を適用できる可能性がある。これは dropout の亜種である mixout (Lee et al. 2020) に turn-over dropout を応用したケースとしてみなせる.

画像分類の CIFAR-10 データセットで CNN ベースの VGGNet を全層への turn-over dropout で訓練した場合にも，訓練の不安定性や性能劣化が観測されたが，全層に適用する代わりに一部の層のみに適用した場合には訓練が安定するようになった。そこで我々は，各画像固有の影響を強く受ける層にのみ適用することで，訓練の安定性を上げながら推定を行えるようにする
^{10} p=0.5$ の dropout 自体は様々なニューラルネットワークで用いられており, 汎化性能の向上にも役立っている. しかし, 全結合層や限られた層のみに適用されている場合も多く, BERT や CNN の全ての層に $p=0.5$ で適用し た場合の影響については未知数である。また，本提案手法で新たに導入された，事例ごとに紐付いた静的なマスク を使った場合についても, 性能への影響もこれまで明らかにはなっていない.
}

ことを考えた。 (Asano et al. 2020) は，CNN の序盤の層は画像群の統計值について限られた情報のみを保持しており，その低次の統計量についてはたった一枚の画像からですら学習可能で あることを示している。この知見に基づき，序盤の層は各画像ごとに固有の情報を多く学習す ることは少ないと仮定し, 後半の層（11 層以降）のみに turn-over dropout を適用した。その 結果, 分類精度は $86.2 \%$ となり, ベースラインの $92.0 \%$ よりやや悪い程度の訓練を行えるよ うになった。ここにさらに, 正則化としてのランダムな dropout も合わせて適用することで, $91.3 \%$ まで性能が回復し, ベースラインに匹敵する性能を出すことができた.

BERT と VGGNet に基づくこれらの検証により，いくつかのケースでは, dropout を適用しつ つ性能を保持するために適用方法を修正・探索する必要性やその対策方法の例が明らかになっ た. dropout やスパースなネットワークにおける学習の不安定性 (Evci et al. 2020) については,現状明らかになっていない点も多く, 提案手法の枠内に閉じない今後の重要な研究課題である.

## 5 結論

本論文では, 旧来の手法が直接的に適用しづらいようなパラメータ数と計算量が膨大なニュー ラルネットワークを用いる場合についても，非常に小さい実用的な計算コストで訓練事例の影響値を推定する方法を提案した，提案手法では，訓練時にdropoutが従来用いている確率的な マスクベクトルの代わりに訓練事例ごとに紐付いたマスクを決定的に用いる。これにより，訓練後のネットワークは，各事例の影響を受けていないパラメータだけからなるサブネットワー クを個別に併せ持つことができ，そのサブネットワークの出力を比較することで影響値を推定 できる。また，事例とサブネットワークの紐付け情報を保存しなくてはいけないコストについ ても，マスクのランダムベクトルそのものでなくそれを生成するためのランダムシードのみを 保存することで, 劇的に保存容量や空間計算量を抑えられる。実験では, 実際に各サブネット ワークは過適合していないことを検証し，さらに提案手法が誤り予測の事例ベースの解釈に活用できることを，データフィルタリングによる定量評価も用いて示した．今後のさらなる研究課題としては，提案手法のみならずスパースなネットワークを訓練した際に見られる性能低下現象の解析が考えられる。また, さらなる応用の模索としても, 4.2 節で示唆された汎化性能を 訓練データセットのみから計測できる性質に基づいた交差検定の代替としての活用法や，オン ラインに高速に影響値を推定できる点を生かして各事例の学習自体を改善する方向性も有望だ と考えられる。

## 謝 辞

本研究の一部は, JST, CREST, JPMJCR20D2 (JPMJCR20D2)の助成を受けたものである.

また, 本研究の一部は, JSPS 科研費 JP19H04162, 人工知能研究振興財団研究助成事業 30AI036-8 の助成を受けたものである。また, 本研究の一部は, JST, ACT-X, JPMJAX200S の支援を受 けたものである。

本論文の一部は, First Workshop on Simple and Efficient Natural Language Processing で発表したものである (Kobayashi et al. 2020).

## 参考文献

Asano, Y. M., Rupprecht, C., and Vedaldi, A. (2020). "A Critical Analysis of Self-supervision, or What We Can Learn from a Single Image." In International Conference on Learning Representations (ICLR).

Bachman, P., Alsharif, O., and Precup, D. (2014). "Learning with Pseudo-Ensembles." In Advances in Neural Information Processing Systems 27, pp. 3365-3373.

Baldi, P. and Sadowski, P. (2014). "The Dropout Learning Algorithm." Artificial Intelligence, 210 (C), pp. 78-122.

Blalock, D., Gonzalez Ortiz, J. J., Frankle, J., and Guttag, J. (2020). "What is the State of Neural Network Pruning?" In Dhillon, I., Papailiopoulos, D., and Sze, V. (Eds.), Proceedings of Machine Learning and Systems, Vol. 2, pp. 129-146.

Blitzer, J., Dredze, M., and Pereira, F. (2007). "Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 440-447, Prague, Czech Republic. Association for Computational Linguistics.

Bulò, S. R., Porzi, L., and Kontschieder, P. (2016). "Dropout distillation." In Proceedings of The 33rd International Conference on Machine Learning, Vol. 48, pp. 99-107.

Cook, R. D. (1977). "Detection of Influential Observation in Linear Regression." Technometrics, pp. $15-18$.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Evci, U., Ioannou, Y. A., Keskin, C., and Dauphin, Y. N. (2020). "Gradient Flow in Sparse Neural Networks and How Lottery Tickets Win." CoRR, abs/2010.03533.

Han, X., Wallace, B. C., and Tsvetkov, Y. (2020). "Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions." In Proceedings of the 2020 Annual

Conference of the Association for Computational Linguistics (to appear).

Hara, S., Nitanda, A., and Maehara, T. (2019). "Data Cleansing for Models Trained with SGD."

In Advances in Neural Information Processing Systems 32, pp. 4215-4224.

Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. R. (2012).

"Improving Neural Networks by Preventing Co-adaptation of Feature Detectors." CoRR, abs/1207.0580.

Jacovi, A. and Goldberg, Y. (2020). "Towards Faithfully Interpretable NLP Systems: How Should We Define and Evaluate Faithfulness?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online. Association for Computational Linguistics.

Kobayashi, S., Yokoi, S., Suzuki, J., and Inui, K. (2020). "Efficient Estimation of Influence of a Training Instance." In Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing, pp. 41-47, Online. Association for Computational Linguistics.

Koh, P. W. and Liang, P. (2017). "Understanding Black-box Predictions via Influence Functions." In Proceedings of the 34th International Conference on Machine Learning, pp. 1885-1894.

Krizhevsky, A. (2009). "Learning Multiple Layers of Features from Tiny Images." Tech. rep..

Lee, C., Cho, K., and Kang, W. (2020). "Mixout: Effective Regularization to Finetune Large-scale Pretrained Language Models." In International Conference on Learning Representations (ICLR).

Mosbach, M., Andriushchenko, M., and Klakow, D. (2021). "On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines." In International Conference on Learning Representations.

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Konno, R., and Inui, K. (2020). "Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6452-6459.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc.

Plumb, G., Molitor, D., and Talwalkar, A. S. (2018). "Model Agnostic Supervised Local Explanations." In Advances in Neural Information Processing Systems 31, pp. 2515-2524.

Qi, P., Zhang, Y., Zhang, Y., Bolton, J., and Manning, C. D. (2020). "Stanza: A Python Natural

Language Processing Toolkit for Many Human Languages." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108.

Ribeiro, M., Singh, S., and Guestrin, C. (2016). ""Why Should I Trust You?": Explaining the Predictions of Any Classifier." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 97-101, San Diego, California. Association for Computational Linguistics.

Schuster, M. and Nakajima, K. (2012). "Japanese and Korean Voice Search." In International Conference on Acoustics, Speech and Signal Processing, pp. 5149-5152.

Simonyan, K. and Zisserman, A. (2015). "Very Deep Convolutional Networks for Large-Scale Image Recognition." In International Conference on Learning Representations.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Wan, L., Zeiler, M., Zhang, S., Cun, Y. L., and Fergus, R. (2013). "Regularization of Neural Networks using DropConnect." In Dasgupta, S. and McAllester, D. (Eds.), Proceedings of the 30th International Conference on Machine Learning, Vol. 28 of Proceedings of Machine Learning Research, pp. 1058-1066, Atlanta, Georgia, USA. PMLR.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana. Association for Computational Linguistics.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., and Brew, J. (2019). "HuggingFace's Transformers: State-of-the-art Natural Language Processing." arXiv, abs/1910.03771.

Zhang, T., Wu, F., Katiyar, A., Weinberger, K. Q., and Artzi, Y. (2021). "Revisiting Few-sample BERT Fine-tuning." In International Conference on Learning Representations.

Zhang, X., Zhao, J., and LeCun, Y. (2015). "Character-level Convolutional Networks for Text Classification." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett,

R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 649-657. Curran Associates, Inc.

Zhang, X., Zhu, X., and Wright, S. (2018). "Training Set Debugging Using Trusted Items." In AAAI Conference on Artificial Intelligence, pp. 4482-4489.

## 付録

## A 実験設定

本節では， 4 節で行った実験についてより詳細に設定を記述する。

本論文では, BERT として参照した場合にはすべて, 現在最も広く使われている Transformers ライブラリ (Wolf et al. 2019) に含まれる bert-base-cased の事前訓練済みモデルを用いた。夕 スクごとの fine-tuning のハイパーパラメータは，予備実験を行い，開発用データセットにお ける精度を元にして調整した。その他の設定は Transformers library (Wolf et al. 2019) のデ フォルトに則った．最終的に使用した及び探索したハイパーパラメータの範囲（[]）は次の通 りである。学習率 $=5 \mathrm{e}-5[2 \mathrm{e}-5,5 \mathrm{e}-5]$, バッチサイズ $=32$, 訓練データセット周回数 $=3[3$, 6, 10]. turn-over dropout を使う場合には周回数を 10 とした. 3 や 6 の周回数でも同様の精度が出る場合はあったものの, これまでの研究 (Zhang et al. 2021; Mosbach et al. 2021) で報告されている通り，長めの 10 とした場合が最も安定した。訓練事例数は文書分類のいずれの 実験でも 5,000 個としたが, 図 2 で学習曲線を示す際には, 視認しやすくするために, 事例数 を25,000 個へと増やした設定で訓練を行った. Multi-Domain Sentiment Dataset (Blitzer et al. 2007)は http://www.cs.jhu.edu/ mdredze/datasets/sentiment/のデータを用いた。そこか ら 'electronics’に含まれるデータのみを抽出し, Stanza (Qi et al. 2020) を用いてトークンを分割 し，既に分割済みであるSST-2 とフォーマットを揃えた. Yahoo! Answers Dataset (Zhang et al. 2015)は https://github.com/LC-John/Yahoo-Answers-Topic-Classification-Dataset $の$ データを用いた。

VGGNet19 は momentum SGD (momentum $=0.9$, weight decay $=5 \mathrm{e}-4)$ を用いて最適化を 行った. 学習率は, 0.1 から始め, 150 周後の時点と 225 周後の時点でそれぞれ 0.1 倍にした. データ拡張からは左右反転を除いた。実装は, https://github.com/kuangliu/pytorch-cifar に基づいた。

## B事例固有マスクを用いたDropout の実装例

事例固有マスクを用いたdropoutを, Pythonによる深層学習フレームワーク PyTorch (Paszke et al. 2019)によって実装する場合の例を示す.

Listing 1 PyTorchにおける事例固有マスクを用いたdropout 実装の例.

## C ハッシュに基づくマスクの合成

揮発性マスク生成（3.3 節）は，モデルの保存容量と推論時のメモリ使用量（空間計算量）を 最小にして問題を解決するために役立つ方法である。一方で，実装によっては，その方法を用 いたとしても一時的なメモリ使用量の増加が無視できない量になってしまう可能性がある.

まず大枠として, ネットワークの前向き計算の中では, ある層においてマスク生成が行われ,処理を行い，その層の処理を終えたらマスクは揮発し，メモリ使用量はゼロになる。あるミニ バッチ内の各インスタンスに対するマスク生成は, 典型的な効率の良い実装において, 次のよう な数段階の操作に分けて実行される。まず，始めにランダムシードによってデータセット内の 全事例についてマスクを生成する。これは，一般的なランダムベクトルの生成においては，一括 で生成する方がより効率がいいためである（例えば for-loop によってミニバッチ内の各事例ご とに生成命令を呼ぶ場合, 所要時間は大幅に伸びる)，そして，その一括で生成した巨大なラン

ダムマスクの中から，ミニバッチ内の事例に関する箇所だけをインデキシングなどによって抜 き出して, 所望のランダムマスクをミニバッチ化したものを得る. このとき, 最初の一括生成 の段階において一時的に総事例数に依存した大きなメモリ使用量を必要とする。本論文の実験 では，その一時的なメモリ使用量でメモリがあふれることはなかったが，モデルサイズやデー夕 サイズに応じて問題が生じる可能性がある。そのような場合の解決策として，ハッシュに基づ くマスクの合成を活用する方法をここで提案する。端的には， $K(\ll|D|)$ 個のランダムマスク から $k(<K)$ 個選んで組み合わせて作ったようなマスクを各事例ごとに用いるという枠組みで ある。まず始めに $K$ 個の $d$ 次元バイナリベクトルをランダムに Bernoulli $\left(1-p^{1 / k}\right)$ から サンプ リングして用意し, codebook とする。また，ある事例を受け取り， $k$ 個のインデックス $(1 \sim K)$ を出力するようなハッシュ関数を用意する。これらによって，ある事例ごとに codebook から $k$個のランダムべクトルを決定的に選択できるようになる。 そして，それら $k$ 個のランダムべク トルについて，要素ごとに総乗（あるいはバイナリに関する論理和）を取る。このとき，その 結果生成されるバイナリベクトルの各要素が 1 である確率は $p$ であるため, ここに dropout の スケーリング值である $\frac{1}{p}$ をかけることで，結果的に当初欲しかったランダムべクトルと同様の 分布に従っているランダムベクトルを構成的にかつ決定的に生成することができる。 このアル ゴリズムが一時的に要する最大の空間計算量は, サイズ $K \times d$ の codebookに加えて, ミニバッ チ（サイズ $b ）$ 内の各事例について $k$ 個のべクトルを保持したときのものになり， $O(K d+k b d)$ まで抑えられることになる。実際の実装上は， $k b$ 個のベクトルは複製されず，codebookへの参照のみで済むことも多く，その場合はさらに codebookのみのコストである $O(K d)$ まで抑えら れる.この codebook についても揮発性マスク生成の方法を適用することがもちろん可能であ る。それにより，データサイズは増えた場合においても，事例固有マスクを使うことによる計算量は十分に小さく抑えることができる.

本論文の焦点はデータフィルタリングへの応用性ではないが, 先行研究の (Koh and Liang 2017) と提案手法それぞれでデータフィルタリングを行う場合の理論計算量と実時間の概算に ついても参考のために記載する。

今回のそれぞれの実験で求めたい值は，(a) テストデータセット内の各事例への予測結果を解釈・解析する場合（式 (1) の問題設定）と (b) 開発用データセット内の平均損失を用いるデー タフィルタリングを行う場合とでは, 異なっている. (a) と (b)の各問題設定で, ある訓練事例 $z_{i} \in D$ に対して求めたい值は, 具体的には次のとおりである（以下，単純化のために開発用デー
夕についても devではなく test と表記する).

$
\begin{aligned}
&\left(\text { 各 } z_{\text {target }} \in D_{\text {test }} \text { について }\right) L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right) \\
& \frac{1}{\left|D_{\text {test }}\right|} \sum_{z_{\text {target }} \in D_{\text {test }}} L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right)
\end{aligned}
$

(b)の値は (a)の方法から間接的に推定でき, 各開発用事例 $z_{\text {target }} \in D_{\text {test }}$ について (a)を求 めたのちに平均を取ることで (b) を求められる。 そのため, 提案手法では, どちらの場合につ いても計算量は $O\left(F|D|\left|D_{\text {test }}\right|\right)$ となる。一方で, (Koh and Liang 2017)の手法では, 式 $(1, \mathrm{a})$ の 各項の值を求めてから差を得るのではなく, 損失の勾配情報を用いて直接その差を推定する. その処理は，損失に対するパラメータ勾配を計算する処理 A と，その勾配それぞれを用いて 訓練事例全てに対して計算する処理 Bに分けられる。したがって，(a)の影響値推定の場合で は，損失に対するパラメータ勾配計算の A がテスト事例の数だけ必要になり，処理 B も同様 の回数行われる。一方で, (b) のデータフィルタリングでは, 開発用データセット全体に対す る平均損失に対するパラメータ勾配を 1 つ求めて，処理 B を度だけ行えば済むため, 開発用データのサイズに対して効率的である。具体的には，計算量オーダーについては，(a)では $O(F|D|\left|D_{\text {test }}\right|+\left(F+F^{\prime}\right)\left|D_{\text {test }}\right| \underbrace{r t}_{\approx|D|} b)$ であり, (b)では $O(F\left(|D|+\left|D_{\text {test }}\right|\right)+\left(F+F^{\prime}\right) \underbrace{r t}_{\approx|D|} b)$ とな る.なお，キャッシュを活用することにより (a)の場合でも高速化を行える可能性はあるが，パ ラメータ勾配のデータサイズが非常に大きいため, ハードウェアや実装の都合上実現は困難だと 考えられる。なお，訓練事例ごとにそれのみを抜いて訓練したモデルを用意する方法 (Re-train) では, フィルタリングのための推定に $O\left(F|D|\left|D_{\text {test }}\right|\right)$, 訓練に $O\left(\right.$ epoch 数 $\left.\times F|D|^{2}\right)$ の計算量が 必要となる。

計算時間の概算としては，例えば，含意関係認識の Multi-Genre NLI dataset (Williams et al. 2018) のデータセットにおいて開発用事例 200 個と訓練事例 10,000 個を使う場合, (Koh and Liang 2017) の手法では約 12 分で終わる11一方で, 提案手法で上記のナイーブな計算を行う場合には約 110 分程度かかると考えられる。

## E訓練事例自身への影響値

訓練による影響値の解析について簡単な実験を行った結果を示す. 教師あり学習において, ある事例で訓練した場合にはその事例の入力からは出力を予測できるようになることが期待さ れる。この実験では，ある訓練事例のその事例自身への影響值（自己影響値）を計測し，上で述

図 6 BERT を SST-2 で訓練した場合の，訓練データセットに対する自己影響値のヒストグラム

べた期待に一致することを確認した．BERT SST-2で訓練した際の，訓練事例 5,000 個につ いて自己影響値を計測し, 図 6 にヒストグラムとして示した。ほぼ全ての事例について自己影響値が正になっていることから，ある事例での訓練がその事例に対して正の影響を及ぼしてい るという期待に沿った計算が行えていることがわかる。また, CIFAR-10で訓練した VGGNet でも同様の傾向を示した.

## 略歴

小林 颯介：2016 年東北大学大学院情報科学研究科博士前期課程終了. 同年,

株式会社 Preferred Networks に入社. 2018 年東北大学同研究科博士後期課程入学. 現在在学中.

横井祥 : 2020 年東北大学大学院情報科学研究科博士課程修了. 同年より東北大学大学院情報科学研究科助教. 理化学研究所 AIP センター数理統計学 チーム客員研究員兼任.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーショ ン科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕 駆動科学・AI 教育研究センター教授.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 2010 年より東北大学大学院情報科学研究科教授. 2016 年より理化学研究所 AIP セ ンター自然言語理解チームリーダー兼任.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/