# 投稿レシピの材料表における文字の隣接強度をもとにした 助数詞および計量器の抽出

但馬康宏 1
1 岡山県立大学
tajima@cse.oka-pu.ac.jp

## 概要

本研究では , 投稿型レシピデータの材料表について, 光こに出現する助数詞および計量器の抽出を行う. 一般にレシピの材料表に出現する語句は述語を含まず，文章となっていない場合がほとんどであり，既存の形態素解析手法では正しく語句の理解ができない.しかし，数値と助数詞以外にも計量器や注意書きなど自然言語の出現が避けられず語句の解析が必要である . 本研究では出現する文字列の接合強度を定義し, 語句の出現回数から求めることにより，辞書を用いずに解析を行う．本手法による解析で , 助数詞および計量器に対しておよ光 8 割程度の正答率を得た。

## 1 はじめに

近年のウェブサービスにおいてレシビ情報と炎のコンテンツ利用は非常に盛んであり，食に関する関心の高まりとともに光の重要性は今後も増加していくものと思われる.一方，投稿情報によるデータの集積という性質上，統一的な記述ができず，情報の加工, 知識の抽出という観点からはむずかしい問題が多い.レシピ情報の加工に関しては, グラフとして調理過程を扱うもの [1] , オントロジーの作成 [2] など樣々な観点から研究が行われている. 本研究では，材料表に出現する助数詞と計量器を辞書を使わずに抽出する.これは栄養価の計算では必須の処理であり，食材の正しい分量を理解することは重要な課題である. 辞書を使わない言語処理は未知語の抽出 [3] やキーワード抽出 [4] などがあるが必ずしも多くない.

本研究では出現する文字列の接合強度を定義し，語句の出現回数から求めることにより, 辞書を用いずに助数詞および計量器の抽出を行う. 光の結果，助数詞で 9 割, 計量器 7 割程度の正答率を得た。

## 2 材料表の構成と分量表現

本研究では,クックパッドより提供されているデータ [5]を用いた. 材料表は表 1 の形式である．食材名は材料の名前であり，同じ食材に関しても投

稿者により多樣な表現が存在する．本研究で注目するのは , 分量の部分であり, 表の例のとおり数値に助数詞がつく形が基本であるが，觉の前後に計量器や修飾語が付く場合が多い.また，数値を含まず 「少々」「お好みで」などの語句のみの場合もある。

本研究では材料表の分量表現について，数値が出現する項目の助数詞および計量器の抽出を行う.

## 3 助数詞および計量器の表現

分量表現のうち数値が出現するものに限ると, 助数詞は数値の直後に出現し, 計量器は数値の直前に出現することが多い.しかし助数詞には光の後に修

なる場合があり，数値の前の計量器には前後に修飾語が付き「大さじ山盛り」や「ほぼ小さじ」などとなる場合がある．これらの修飾語は複数付く場合もあり，形態素解析のような分割が必要となる．しかし，文章として記述されてはいないため一般の形態
素解析器などでは誤分割が多くなる. 形態素解析器自体を分量表現に適した辞書と学習により構成することも考えられるが，正解データの準備など多大な労力を必要とする。

そこで本研究では, 出現文字の統計情報から形態素の切れ目を推定するアルゴリズムを提案し, 分量表現に対して効果的であることを示す. 具体的には，文字列の中の文字間の接続強度を定義し，少の值が文字列全体で偏りがなく設定できる位置を形態素の切れ目とし, 分割を行う.

まず，助数詞および計量器の含まれる文字列として, 分量表現中に出現する最初の数値に着目し, 光の数値の直前に出現するかな漢字文字列を $w_{p}$ とし，直後に出現するかな漢字文字列を $w_{s}$ とする.以後， $w$ はこの文字列 $w_{p}$ もしくは $w_{s}$ を表すものとし,$w$ を分割することを考える。

## 4 隣接強度に注目した形態素分割

図 1 および本節にて本研究における隣接強度の算出方法を示す.

## 4.1 データと出現確率の定義

分割を行いたい文字列を $w$ とし, 以後 $c_{0}$ から $c_{n-1}$ の $n$ 文字から成るとする $\left(w=c_{0} c_{2} \cdots c_{n-1}\right)$. また, 文字列を先頭から $m$ 文字目を後半の先頭として, 前半と後半に分割する様子を $[0, m, n]$ として表す. 例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を先頭から 2 文字までを前半 $\left(c_{1} c_{2}\right)$ とし，光れ以後を後半 $\left(c_{3} c_{4} \cdots c_{n-1}\right)$ として分割する場合は $[0,3, n]$ と表現される. 複数の分割の場合も同樣に, 各分割の先頭の文字がもとの文字列の何文字目であるかを並べたものとする．例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を 2 文字ごとに分割する場合は , $\left[0,2,4, \cdots, 2\left.\lfloor\frac{n-1}{2}\right.\rfloor, n\right]$ と表現される.さらに，分割 $\left[0, m_{1}, m_{2}, \cdots, m_{k}, n\right]$ を分割された部分文字列で表現する場合は $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ のように表現する.ここで $v_{i}$ は $c_{m_{i}} c_{m_{i}+1} \cdots c_{m_{i+1}-1}$ となる文字列である。

分割対象文字列 $w$ を集めたデータを $W$ と表す。 これには同じ文字列が複数回出現することもある.本研究では $W$ に含まれる文字列の部分文字列の統計情報を利用する.データ $W$ における $w$ の出現数を $D_{w}$ と表す. すべての $w \in W$ について，觉の部分文字列のすべてを集めたものを $V$ とする. $V$ にも頻出の部分文字列は複数回出現するものとする. 文字列 $v \in V$ の $V$ におる出現数を $C_{w}$ と表す.文字列 $v \in V$ について, $v$ の出現確率を

$
P(v)=\frac{C_{v}}{|V|}
$

と定め, $x \notin V$ である文字列 $x$ については $P(x)=0$ とする.

文字列 $u$ について光の長さを $|u|$ とする.ある $w=c_{1} c_{2} \cdots c_{n} \in W$ を仮定し, $u$ が $w$ の部分文字列として出現する回数を $k_{u, w}$ とする.すなわち, $k_{u, w}=\left|\left.\{i \mid c_{i} c_{i+1} c_{i+|u|}=w\right.\}\right|$ である.さらに $k_{u}=\sum_{w \in W} k_{w, u}$ とする.これはデータ全体で文字列 $u$ が出現する回数である.

ふたつの文字列 $u, v$ について，隣接出現確率を以下のように定める .

$
P(u, v)=\frac{k_{u v}}{\sum_{x \in V} k_{u x}}
$

これは, すべての部分文字列の隣接回数を分母とし,$u$ と $v$ か隣接して出現する回数の割合である.

## 4.2 隣接強度の定義

分割対象文字列 $w \in W$ および光の分割 $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ について, $v_{i}$ と $v_{j}(0 \leq i, j \leq k)$ の隣接強度を以下のように定義する。

$
\begin{aligned}
\operatorname{score}\left(v_{i}, v_{j}\right)= & \left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right) \\
& \cdot \sum_{u \in V} P(u)\left(\frac{2 P\left(v_{i}, u\right) P\left(u, v_{j}\right)}{P\left(v_{i}, u\right)+P\left(u, v_{j}\right)}\right)
\end{aligned}
$

これは 1 行目の出現確率の積で, 分割位置の前後の出現文字列 $v_{i}, v_{j}$ が形態素として正しい分割であるかを評価している.すなわち，光れ光れの出現確率が高ければその分割は正しい分割となっている可能性が高く，まちがった位置で分割した場合は $v_{i}$ か $v_{j}$ があまり出現しない妙な文字列となっている可能性が高いためである.また 2 行目の総和の項は $v_{i}$ の後ろおよび $v_{j}$ の前に光れ光れ $u$ を隣接させた場合の調和平均と $u$ 自身の出現確率の積を考慮することにより，出現率の高い $u$ に対して前後ともに接続性が良い場合に強度が上がるように定義した.この項により，より形態素らしいものと接続する分割位置が高く評価されるため, 不自然な分割位置を淘汰する効果が見込まれる。

## 5 複数の分割位置を選択する方法

前節による分割手法は分割する場合にどのような位置で分割するべきかを判断する基準であるが , 分

隣接強度

$
r\left(w_{1}, w_{2}, u\right)
$

$
\operatorname{score}\left(w_{1}, w_{2}\right)=\left|w_{1}\right| \mathrm{P}\left(w_{1}\right)\left|w_{2}\right| P\left(w_{2}\right) \cdot \sum_{u \in V} r\left(w_{1}, w_{2}, u\right)
$

分割全体の隣接強度が最も強い分割とする

図 1 隣接強度の算出方法

割がない全体をひとつの形態素としたほうが良いかどうかの判定はできない. 以下のアルゴリズムを用いて, 対象記号列全体をひとつの形態素であるかどうかを判定する。

[単一形態素判定アルゴリズム]

1. データ $w$けおる判定対象文字列を $w \in W$ とする。

ありかつ $P(v)>P(w)$ ならば,$w$ は複数の形態素から成り立つものとして，分割を行う。
3. $P(v) \leq P(w)$ ならば, $w$ 全体でひとつの形態素であると判断する。

複数の形態素からなる文字列の場合は, $w$ に対す
る分割の中から，分割の隣接強度が最も高いものを求め, $w$ を分割する.ここで分割の隣接強度は，光れぞれの分割位置の隣接強度の調和平均によって求められる.

[分割の隣接強度算出アルゴリズム]

1. 判定対象文字列 $w$ と算出対象の分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

2. すべての $0 \leq i \leq k-1$ について, $s_{i}=$ $\operatorname{score}\left(v_{i}, v_{i+1}\right)$ とする.
3. $s_{i}(0 \leq i \leq k-1)$ の調和平均を分割の隣接強度 $S$ とする。

以上をまとめると，以下のアルゴリズムで $w \in W$ から助数詞および計量器の抽出が行える.

[全体アルゴリズム]

1. 単一形態素判定アルゴリズムを実行する．
2. $w$ がひとつの形態素の場合 :

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば，計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば，助数詞とする.
3. $w$ が複数の形態素からなる場合 : $w$ に対するすべての分割について, 光の分割の隣接強度 $S$ を求める。

4. 前ステップで最も高い隣接強度を持つ分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば， $v_{k}$ を計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば， $v_{0}$ を助数詞とする.

## 6 評価実験

本手法を用いて分量表現の前後に出現する語句の解析を行った . 以下に実験に用いたデータの詳細を示す.

レシピ総数

食材名総数 $=$ 分量表現総数

$w_{p}$ の異なり数

$w_{p}$ のすべての部分文字列の異なり数

$w_{s}$ 異なり数

$w_{s}$ のすべての部分文字列の異なり数 $1,715,595$

$12,300,740$

7,388

85,966

22,080

213,435

実験の結果，数値の前に隣接する語句は，分割を行わないと 7,000 種類ほどであるが , 分割後はおよ光 5,000 種類と大きな減少が見られた.このことから, 本手法による分割が適切な形態素を抽出していることがわかる．

次に数値の前に接続する文字列 $w_{p}$ に関して, 出現数が多い上位 100 種類の語句に対して, 本手法により計量器が抽出できたかを確認する．

正しく計量器が抽出できた項目数 58/100

「大」「さじ」など細かくしすぎたもの 29/100

光の他不正解 13/100

計量器をうまく抽出できた例として，「大さじ山盛り」を (大さじ，山盛り) と分解した.また,一般の形態素解析ではふたつに分割されることの多い 「ティースプーン」などは単独で分割されない結果となった . 分割に失敗する例としては「小さし」など誤記と思われる表現に対しては (小,さ，し)と分割する結果となった.「みじん切り小さじ」に対し
ては (みじん切り，小さじ）と分割されたが「刻んで大さじ」に対しては（刻んで，大，さじ）となり，修飾語によっても結果が変化することがあった．

同樣に数值の直後に接続する文字列 $w_{s}$ に関して，出現数が多い上位 100 この中で本手法により助数詞が抽出できたかを確認する．

正しく助数詞が抽出できた項目数 $97 / 100$不正解 3/100

うまく抽出ができた例として，「本分」を(本，分）と分割し，「程度」を (程度) のまま分割されない結果となった．不正解は「つまみ」「かけら」「つかみ」であり，乥れ光れ（つ，ま，み)（かけ，ら） (つ，か，み）となった。

比較実験として，部分文字列の出現数のみに着目したスコア

$
\operatorname{score}\left(v_{i}, v_{j}\right)=\left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right)
$

を用いた分割抽出も行った . この実験でも前記と同樣に出現数上位 100 個の $w_{p}$ に対して性能を計測した.

ると性能が低下することがわかる. 特に完全に形態素の境界でない部分を分割する不正解が増えていることから本研究による提案手法の有効性が示された . 一方，数値の後に接続する $w_{s}$ に対する性能は変化しなかった。

## 7 おわりに

本研究により文字列間の隣接強度を出現数から定義することにより,レシピの分量表現を形態素解析を行った . 光の結果, 助数詞および計量器の抽出において文字列の出現数のみの場合より性能向上が確認できた . 今後の課題として，材料表の食材名に応じて異なる助数詞の間の分量変換や数値の入っていない「少々」「適量」などの分量表現の理解が挙げられる。

## 謝辞

本研究では、国立情報学研究所のIDR データセット提供サービスによりクックパッド株式会社から提供を受けた「クックパッドデータセット」を利用した.

## 参考文献

[1] 山肩洋子, 今堀慎治, 森信介, 田中克己. ワークフロー 表現を用いたレシピの典型性評価と典型的なレシピの生成. 信学論, Vol. J99-D, No. 4, pp. 378-391, 2016.

[2] H. Nanba, Y. Doi, T. Takezawa, K. Sumiya, and M. Tsujita. Construction of a cooking ontology from cooking recipes and patents. In Proceedings of Workshop on Smart Technologyfor Cooking and Eating Activities : CEA2014 (CEA 2014), pp. 507-516, 2014.

[3] 森信介, 長尾眞. $\mathrm{n}$ グラム統計によるコーパスからの未知語抽出. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2093-2100, 1998.

[4] 白井智, 鳥井修, 金井達德. 反復文字列階層グラフによる文書からのキーワード自動抽出. 日本データベース学会 Letters, Vol. 4, No. 1, pp. 1-4, 2005.

[5] クックパッド株式会社 (2015). クックパッドデー 夕. 国立情報学研究所情報学研究データリポジトリ. (データセット), 2015.


# 対訳データを使わないマルチリンガル表現学習に 必要な分布構造とは何か

李凌寒 1 鶴岡慶雅 1
1 東京大学大学院 情報理工学系研究科
\{li0123,tsuruoka@logos.t.u-tokyo.ac.jp

## 概要

複数の言語にまたがって意味を表現したべクトルを獲得するマルチリンガル表現学習アルゴリズムには、対訳データを用いないものがある。これらのアルゴリズムが言語間の対応を発見するために利用しているのは、自然言語の分布構造の類似性である。この分布構造とは具体的にどのようなものだろうか? 本稿では、代表的なマルチリンガル表現学習アルゴリズムとして、Skip-gram + VecMap と Masked Language Modeling (MLM)を取り上げ、それらが利用している分布構造を、局所的/大局的なものという観点から区別して分析する。

## 1 はじめに

人間が異なる言語間の対応関係を理解するためには、2つの言語を明示的に結びつける情報が必要である。第二言語学習者にとっては、対訳辞書や教科書の対訳文が、その役目を担うだろう。また、多言語環境で生活する人々は、現実世界の物事との対応を通して、2つの言語の対応関係を発見することができる。一方で、ニューラルネットワーク (NN) は、人間とは異なる方法で言語間の対応を発見できることが知られている。

Skip-gram などのアルゴリズムで学習した異なる言語の単語ベクトル空間は、線形変換によって対応づけられることが知られており [1]、その変換は対訳データを使わずに発見することができる $[2,3]$ 。また、Transformer と Masked Language Modeling (MLM) を用いて文脈化単語べクトルを学習する際に、異なる言語のコーパスを混ぜて使うだけで、各言語の対応するフレーズのベクトル表現が近づく現象が報告されており[4]、この効果は各言語に共通の語彙が存在しない場合でも観察される $[4,5]$ 。これらの表現学習アルゴリズムが、言語間対応発見のための手

図 1 実験フレームワークの概略図。

がかりにできるのは、単語の分布構造の類似性である。異なる言語圏であっても、人間は共通の認知基盤を持ち [6]、またいくつかの話題を共有しているため、そうした共通性が言語の分布構造に反映されていると考えることができる。

それでは、具体的にどのような分布構造が、アルゴリズムの言語間対応発見の手がかりに使われているのだろうか。この問いを明らかにすることで、 NN の自然言語の捉え方に関する理解を深め、未だに謎の多い $\mathrm{NN}$ という技術を上手く扱えるようになることに繋がる。本研究では、調査するアルゴリズムとして、Skip-gram + VecMap [3] および、Masked Language Modeling (MLM)を用いた手法を取り上げる。分析では、学習データとして、分布構造を改変したソース言語とターゲット言語のテキストを使い、得られたマルチリンガルベクトルを言語横断テキスト検索のタスクで評価する（図 1)。ここから、学習データの持つ分布構造の、アルゴリズムの言語間対応発見における必要性を調べることができる。

本稿では分析の観点として、ある単語の周囲数単語だけを含む局所的な分布と、周囲の文を含めた大局的な分布の、2つの分布の対比に注目する。実験の結果、Skip-gram + VecMap は、自然言語の局所的/大局的な分布のいずれかだけを手がかりにして言語間対応関係を学習できる一方で、MLM は、大局的な分布のみでは言語間対応を捉えられず、局所的な分布が必要であることが示唆された。

## 2 対訳データを使わないマルチリン ガル表現学習

本論文の分析対象となるマルチリンガル表現学習手法は、入力として、ソース言語 $S$ のテキストコーパス、ターゲット言語 $T$ のコーパスを受け取り、それら言語のマルチリンガルベクトル表現モデルを得るアルゴリズムとして定式化できる。ここでは、Skip-gram + VecMap と Masked Language Modeling (MLM)の2つの手法を取り上げる。

## 2.1 Skip-gram + VecMap

Skip-gram [7] で学習されるモデルは、語彙 $V$中の 1 単語に 1 つのベクトルを割り当てる静的単語ベクトルである。学習時には、コーパス中の単語列 $\left[w_{1}, \ldots, w_{L}\right]$ から、ターゲット単語 $w_{t}$ と、その周囲 $l$ 単語の範囲に存在する文脈語 $\left.\{w_{t-l}, . ., w_{t-1}, w_{t+1}, \ldots, w_{l}\right.\}$ の組が取り出され、ター ゲット単語のベクトルから、文脈語を予測するタスクでモデルを最適化する。本実験では、文脈空のサイズを $l=5$ 、学習するべクトルの次元を $d=300$ と設定し、学習は gensim¹) のデフォルトハイパーパラメータで 15 エポック行った。

それぞれの言語のコーパスから別々に、Skip-gram による単語ベクトルを学習した後に、ソース言語の単語ベクトルをターゲット空間上に写像することで、マルチリンガルなベクトル空間を得る。このとき、ソース言語とターゲット言語のベクトル空間は構造が類似していることが多く、線形変換によって揃えることができることが分かっている [1]。対訳辞書 $D=\left.\{\left(w_{1}^{S}, w_{1}^{T}\right), \ldots,\left(w_{N}^{S}, w_{N}^{T}\right)\right.\}$ が存在する場合は、変換行列を $\boldsymbol{Z} \in \mathbb{R}^{d \times d}$ を、以下の最小二乗問題を解くことで得られる。

$
\underset{\boldsymbol{Z}}{\arg \min } \sum_{i=1}^{N}\left.\|\boldsymbol{Z} \boldsymbol{w}_{i}^{S}-\boldsymbol{w}_{i}^{T}\right.\|^{2}
$

ここで、 $\boldsymbol{w}_{i}^{S}, \boldsymbol{w}_{i}^{T}$ は、ソース言語とターゲット言語の、対応する単語のベクトルである。加えて、変換の品質を向上させるために, 学習後のベクトルにはノルム正規化 $[8,9]$ を施し、 $\boldsymbol{Z}$ には直交行列となるような制約 $\boldsymbol{Z}^{\top} \boldsymbol{Z}=\boldsymbol{I}$ を課している。

VecMap [3] は、このような変換行列 $\boldsymbol{Z}$ を、対訳データなしで獲得する手法である。まず、 $\boldsymbol{W}^{S}, \boldsymbol{W}^{T}$ の統計情報から単語対訳辞書 $D_{0}$ を自動で構築する。ここで利用する統計情報は、単語ベクトル同

1) https://radimrehurek.com/gensim/士の類似度の分布であり、これは言語に関わらず似ていることが観察されている。単語べクトルを集めた行列 $\boldsymbol{W} \in \mathbb{R}^{|V| \times d}$ の、類似度分布べクトルは $\operatorname{sorted}\left(\sqrt{\boldsymbol{W} \boldsymbol{W}^{\top}}\right)$ として計算される。ここで、sorted は、行ごとにベクトルの成分をソートする操作を表す。同様に、類似度分布べクトルをソース言語とターゲット言語について求め、ソースとターゲット間で最近傍探索を行い、最も近い単語同士で単語対訳辞書 $D_{0}$ を構築する。

以後、自動で構築した対訳辞書 $D_{t}$ を用いて式 1 を解き、写像行列 $Z_{t}$ を獲得するステップと、写像後のソース単語ベクトル $\boldsymbol{Z}_{t} \boldsymbol{W}^{S}$ とターゲット単語ベクトル $\boldsymbol{W}^{T}$ 同士で最近傍探索を行い、新たな対訳辞書 $D_{t+1}$ を構築するステップを繰り返し、写像行列の精度を高めて最終的な写像行列 $\boldsymbol{Z}$ を獲得する。

## 2.2 Masked Language Modeling

MLM [10] で学習されるモデルは、単語列 $\left[w_{1}, \ldots, w_{L}\right]$ を受け取り、それぞれの単語に対応する文脈化べクトル $\left[\boldsymbol{h}_{w_{1}}, \ldots, \boldsymbol{h}_{w_{L}}\right]$ を出力するエンコーダである。学習時には、入力単語列にランダムにノイズを適用し、ノイズを適用された単語の出力ベクトルから、元の単語を予測するタスクを解く。 マスク付き言語モデリング自体には、言語間の対応を発見するような明示的な処理は存在しないにも関わらず、学習データに複数の言語を用いるだけで、各言語のフレーズの対応が取れるようなべクトルが学習され、これは言語間で語彙が共有されなくても起こる $[4,5]$ 。本実験のエンコーダには、隠れ層の次元が 512、層の数が 6 の Transformerを用い、MLM の学習は Adam を学習率 $1 e-4$ で用いて、バッチサイズ 128 で 3 エポック行った。

## 2.3 言語間対応が学習される条件とは何か

これらのアルゴリズムが、言語間の対応を発見するために使用しているのは、単語の分布構造の類似性だと考えられる。したがって、ソース言語とター ゲット言語の分布構造にずれが生じる場合、言語間対応の学習精度は悪化する場合がある。たとえば、 ソース言語とターゲット言語の言語学的な隔たりが大きい場合や、コーパスのドメインが異なる場合である [11]。この傾向は学習アルゴリズムによって異なり、MLM は静的単語べクトルベースの手法に比べて、コーパスのドメインの違いには比較的頑健であることが知られている [4]。これは学習アルゴリ

ズムによって、対応関係発見に用いている分布構造が異なることが示唆しているが、その具体的な構造は明らかになっていない。本研究では、各アルゴリズムが、どのような分布構造を手がかりにして言語間の対応関係を発見しているのかを調査する。

## 3 分析実験

本実験では、テキストの分布構造を改変することで、アルゴリズムの構造への依存性を調べる。

## 3.1 学習データ

本実験は、ソース言語とターゲット言語の分布構造の差に注目するものではなく、両言語の分布構造が一致しているという前提の元で、言語間対応発見の必要条件となる分布構造を調べることが目的である。そこで、ここでは分布構造が一致しているが、共通の語彙を持たない別々の言語として、英語と、英語の語彙 IDをずらしたものを採用する。英単語の語彙を $V$ 、トークン $w \in V$ のソース言語における IDを $\operatorname{id}(w)$ としたとき、ターゲット言語における ID は $\operatorname{id}(w)+|V|$ が割り当てられる。

学習データとして、英語 Wikipedia のダンプファイルからランダムにサンプルした 100M 記事を用いた。前処理として、まず記事中のテキストに文分割・単語分割を施した後、記事をまたがずに、完全な文のみを含む 128 トークン以内のセグメントに分割する。単語分割には事前訓練済みの bert-base-uncased2 ${ }^{2}$ のサブワードレベルのトークナイザを用いた。Skip-gramを訓練する際は、セグメントを分割前に戻し、moses のトークナイザ3)を用いて単語レベルに再分割した。このセグメントが、表現学習アルゴリズムに与える系列データの 1 単位となる。この処理によって、合計約 548 万のテキストセグメントを得た。これらのデータをランダムに半分ずつに分割し、ソース言語とターゲット言語のコーパスとする。実験では、このデータをそのまま使用した学習と、分布構造を改変して学習を行った場合の結果を比較する。

## 3.2 言語間対応の評価

学習したマルチリンガルなベクトル表現モデルが、どれくらい正確にソース言語とターゲット言語の対応関係を発見しているかを評価するために、言

2) https://huggingface.co/bert-base-uncased

3) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl語横断テキスト検索タスクを用いる。このタスクは、対訳テキストデータ $\left.\{\left(s_{1}^{(S)}, s_{1}^{(T)}\right), \ldots,\left(s_{N}^{(S)}, s_{N}^{(T)}\right)\right.\}$ が与えられ、モデルは、ソース言語のテキスト $s_{i}^{(S)}$ から、対応するターゲット言語のデータ $s_{i}^{(T)}$ を全ターゲットテキスト中から探し当てるものである。

今回のベクトル表現モデルは、それぞれのテキスト $s$ をべクトル表現 $s$ にエンコードして、コサイン類似度に基づく最近傍探索によって検索する。 Skip-gram + VecMap から獲得したモデルは、テキスト中の単語 $s=\left[w_{1}, \ldots, w_{L}\right]$ をそれぞれべクトルに変換し、それらを平均して得たべクトル $\frac{1}{L} \sum_{i}^{L} \boldsymbol{w}_{i}$ を用いて検索を行う。マスク付き言語モデリングで学習したエンコーダからも同様に、テキスト中の単語の文脈化べクトルを平均したべクトルを用いる。マルチリンガルエンコーダのベクトル表現の対応は、最終層よりも中間層の方が良いため、結果ではエンコーダの第 4 層から抽出した結果を示す。評価スコアには平均逆順位を用いた。

## 3.3 大局的な分布と局所的な分布

テキスト中の単語分布は、文書のトピックや文法といった複数の要因で決まる。ここでは、大局的な分布と、局所的な分布の 2 つの区別に注目する。ここでいう大局的な分布とは、それぞれの単語が、文または周辺の文といった広い範囲を見たときに、どのような単語と共起するかの分布である。大局的な分布は、その単語がよく現れる話題を反映していると考えることができる [12]。一方で、局所的な分布は、より狭い数単語近傍にどのような単語が現れるかを指す。これは単語の話題的な意味に加えて、文法的な性質にも関連して決定される。

こうした分布に関する情報を除去する処理として、以下のデータ改変操作を導入する。

Corpus Shuffle は、コーパス中のトークンを、 セグメントの境界を無視してランダムにシャッフルする。シャッフル後は、セグメントの長さと数がシャッフル前と同じになるようにコーパスを分割する。この操作により、コーパスは大局的な分布および局所的な分布のどちらも失い、アルゴリズムがアクセスできる意味のある統計情報は、トークンの頻度情報だけになる。

Sentence Shuffle はトークンを、セグメント内でランダムにシャッフルする。この操作により、 データは局所的な分布を失うが、セグメント内での共起情報という大局的な分布は残る。

N-gram Shuffle はコーパス中のトークンを Ngram ごとのブロックに分け、そのブロックを保ったままセグメントの境界を無視してランダムにシャッフルする。シャッフル後は、セグメントの長さと数がシャッフル前と同じになるようにコーパスを分割する。この操作により、コーパスは大局的な分布を失うが、 $N$-gram の局所的な分布は残る。本実験では、 $N$ の大きさを 3 に設定した際の結果を示す。

以上の改変を加えたコーパスで学習した結果と、 もともとのコーパスからの結果を表 1 に示す。

表 1 分布構造を改変したコーパスで訓練したマルチリンガルベクトルモデルを、言語横断テキスト検索タスクで評価した際の平均逆順位を 100 倍にして示している。

まず、これらのアルゴリズムは、明示されずとも言語の対応関係を発見でき、それには一定の分布構造が必要であることを確認する。改変を加えていないデータを用いた場合 (Original) は、各アルゴリズムともに 80 ポイントを上回るスコアを示しており、テキスト分布のみから高い精度で対応関係が発見されていることが分かる。一方で、コーパス全体をシャッフルして分布構造を無くした場合 (Corpus Shuffle)は、ほぼゼロに近いスコアを示し、頻度情報だけでは言語間対応を発見できないことが分かる。

次に、大局的/局所的な構造のどちらかだけでも、各アルゴリズムが対応関係を発見できるかを見ていく。大局的な構造を除去し、局所的な構造だけを残した場合 (3-gram Shuffle) は Skipgram + VecMap と MLM ともに、改変前 (Original) に近いスコアを示している。つまり、これらのアルゴリズムには言語の局所構造さえあれば、言語の対応関係が発見できるということである。セグメント中のトークンをシャッフルして、大局的な構造だけを残した場合 (Sentence Shuffle)は、Skipgram + VecMap は94.1 ポイントと、改変前 (Original) とほぼ変わらないスコアを示している一方で、MLM は 0.4 とほぼゼロに近い值を示している。つまり、大局的な分布構造だけが与えられた場合、Skip-gram + VecMap は対応関係を発見できるが、MLM はできない。

原理的には、局所的/大局的な分布構造のいずれかの情報があれば、言語間の対応関係は発見可能であることを Skip-gram + VecMap の結果は示している。
しかしなぜ MLM は、大局的な分布構造だけでは対応関係をべクトル空間上に反映しないのだろうか。明示的な訓練信号なしで異なる言語のべクトル空間の共有が起こるメカニズムとして、タスクの学習の際にパラメータの効率的な活用をするインセンティブが働いているとする説がある。この説の根拠は、モデルのパラメータを大きくすると、モデルの発見する対応関係の精度が悪化するという観察である [13]。もしかしたら、大局的な構造だけを持つデータでの MLM は、パラメータ使用を効率化するインセンティブが働かないほどに、タスクが単純である可能性が考えられる。大局的な分布構造のみに基づいてマスクのついた単語を予測するタスクは、局所的な構造が保存されている場合に比べて、正解を絞り込むことが原理的に難しくなっている。実際に、MLM の 3-gram Shuffle と Sentence Shuffle の収束時の訓練損失の値を比べると、それぞれ 2.3 と 5.4 ポイント前後を示している。後者の収束時の損失が高いことは、タスクを解くための学習できる知識の上限が限られていることを示しており、これがべクトル空間の共有が起こらないことにつながっていると推測される。4)

## 4 おわりに

本研究では、対訳データを使わないマルチリンガル表現学習アルゴリズムが、どのような単語の分布情報を用いて、異なる 2 つ言語の対応関係を発見しているかを調査した。結果として、Skip-gram + VecMap は、大局的な分布構造さえあれば言語の対応関係を発見できるのに対して、MLM は局所的な分布構造がなければ、言語の対応関係を発見できないことが明らかとなった。

今後の研究では、暗黙的な言語の対応関係を発見するメカニズムを明らかにする必要がある。このためには多言語データ、Transformer、MLM に限る必要はなく、より広い視点から、潜在構造が類似する異なるデータで学習する際に、ニューラルネットワークの中間表現共有がどのように起こるかを考えることも有用であると思われる。

4） MLM に用いる Transformer のエンコーダのパラメータ数を減らし、隠れ層サイズ 128、層の数 3 とした設定で評価を行ったが、対応関係発見の精度改善は見られなかった。また位置埋め込みがノイズとなり、対応関係の発見を妨げている可能性を考え、位置埋め込みを使用しないエンコーダで学習した場合も、結果は同じであった。大局的な分布のみでも、 MLM で言語の対応関係が発見される条件が存在するかどうかを明らかにすることは、今後の課題としたい。

## 参考文献

[1] Tomas Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. ArXiv, Vol. abs/1309.4168, , 2013.

[2] Guillaume Lample, Alexis Conneau, Marc Aurelio Ranzato, Ludovic Denoyer, and Herve Jegou. Word Translation without Parallel Data. In Proceedings of the 6th International Conference on Learning Representations, Vancouver, Canada, 2018.

[3] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. A robust self-learning method for fully unsupervised crosslingual mappings of word embeddings. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 789-798, Melbourne, Australia, 2018.

[4] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging Cross-lingual Structure in Pretrained Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, 2020.

[5] Stephen Mayhew Karthikeyan K, Zihan Wang and Dan Roth. Cross-Lingual Ability of Multilingual BERT: An Empirical Study. In Proceedings of the 8th International Conference on Learning Representations, Addis Ababa, Ethiopia, 2020.

[6] Hyejin Youn, Logan Sutton, Eric Smith, Cristopher Moore, Jon F. Wilkins, Ian Maddieson, W. Bruce Croft, and Tanmoy Bhattacharya. On the universal structure of human lexical semantics. Proceedings of the National Academy of Sciences, Vol. 113, pp. 1766 - 1771, 2015.

[7] Tomas Mikolov, Kai Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In International Conference on Learning Representations, 2013

[8] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2289-2294, Austin, Texas, 2016.

[9] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized Word Embedding and Orthogonal Transform for Bilingual Word Translation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1006-1011, Denver, Colorado, 2015 .

[10] Jacob Devlin, Mingwei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186, Minneapolis, Minnesota, 2019.

[11] Anders Søgaard, Sebastian Ruder, and Ivan Vulić. On the limitations of unsupervised bilingual dictionary induction. In Proceedings of the 56th Annual Meeting of the As- sociation for Computational Linguistics (Volume 1: Long Papers), pp. 778-788, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Omer Levy and Yoav Goldberg. Dependency-based word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 302-308, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[13] Philipp Dufter and Hinrich Schütze. Identifying elements essential for BERT's multilinguality. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4423-4437, Online, November 2020. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# マルチラベル分類のための重みつき非対称損失関数

安田有希 宮墒太郎 後藤淳
日本放送協会 放送技術研究所
\{yasuda.y-hk, miyazaki.t-jw, goto-j. fw\}@nhk.or.jp

## 概要

単一のテキストに複数のラベルを付与するマルチラベルテキスト分類は、自然言語処理で重要なタスクの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ中にあまり出現しない低頻度ラベルは、ポジティブサンプル数が極端に少なく、ほとんどの入力がネガティブサンプルである。そのため、モデルは低頻度ラベルをほとんどネガティブサンプル由来の損失から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の損失値を抑制する重みを組み合わせる手法を提案する。実験の結果、Reuters-21578 では、micro-F1 で 0.911 と SOTAを上回る性能を達成した。

## 1 はじめに

マルチラベルテキスト分類 (MLTC) は、自然言語処理の中でも重要な課題の一つであり、今日実世界の様々な場面で適用されている。たとえば、法律文書の分類 [1]、カルテによる自動診断 [2] が挙げられる。MLTC では文書 $x_{i} \in X$ に対して、事前に定義されたラベルから適切なラベルのサブセット $y_{i} \in\{0,1\}^{C}$ を付与するタスクである $[3,4]$ 。なお、 ここで $X$ は文書の集合であり、 $C$ は事前に定義されたラベルの総数である。MLTC においてべンチマークとして広く利用されている Reuters-21578[5] のデータのサンプルを図 1 に示す。

 \\
Labels 1 & cocoa \\

Labels 2 & sorghum, oat, barley, corn, wheat, grain \\

図 1 Reuters-21578 のデータ例

図 2 Reuters-21578 におけるラベル分布

MLTC の特徴として、ラベルの頻度がロングテー ル分布に従う不均衡データセットが挙げられる。一例として、図 2 に Reuters-21578 の各ラベルの頻度分布を示す。図 2 が示すとおり、低頻度ラベルはポジティブサンプルから学習することは稀であり、殆どの場合ネガティブのサンプルから学習する。これは、Imbalanced learning と呼ばれ、機械学習の分類問題における大きな課題の一つである [6,7]。

この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法が提案されている $[8,9,10]$ 。さらに、これらの手法は自然言語処理分野にも流用され、効果を発揮している [11]。本研究では、ラベルの共起情報をもとにした重みとラベルの頻度から構成された重み、ネガティブサンプルの影響を軽減する重みを組み合わせ、不均衡データセットの影響を抑制するような損失関数を提案する。

## 2 関連研究

Class-Balanced Loss (CBL)[8] は、データセット内の各ラベルの出現数に反比例する重みを構築して損失値に重み付けする手法である。つまり、出現数の多いラベルの損失值ほど抑制されるような重みを構築するため、各ラベル間での損失值のバランスが調整される。しかしながら、CBLでは同一のラベルにおけるポジティブサンプル由来の損失とネガティブサンプル由来の損失のバランスは考慮されない。マ

ルチラベル分類では、ラベル空間が大きいタスクを取り扱うことも多いため、学習サンプルにおいてモデルが計算する損失值のほとんどが、ネガティブラベル由来の損失値である。つまり、ラベル間の重み調整だけでは偏ったネガティブサンプルの影響を取り除けず、ポジティブサンプルに対しても意味のある学習が難しくなってしまう。

この課題を解決するために Distribution-Balanced Loss (DBL)[9] が提案されている。DBL は、損失值を調整する重みと Negative-Tolerant Regularization (NTR) 手法を統合して構成される。重みはバッチ内のラベル出現数の逆数とデータ全体のラベル出現数の逆数の比を求めることで算出される。また、NTR はモデルの出力からその逆数とハイパーパラメータによって算出される値を引くことによってネガティブサンプルの学習を抑制することを実現している。 すなわち、モデルの出力が一定の値を下回ると急激に損失値を低下させることができる。ただし、DBL では学習のために事前定義しなければならないハイパーパラメータが非常に多く、データ量が多い傾向にある MLTC では探索のコストが非常に高い。

学習中のネガティブサンプルの影響を緩和するための別の手法として、非対称的な形を持った重みを損失值に適用する Asymmetric Loss (ASL)[10] が提案されている。ASL のコンセプトとして、以下の 2 点が挙げられる。それは Focal Loss (FOC)[12] における減衰率 $\gamma$ を正負のサンプルで分離する Asymmetric Focusing 手法と学習が十分に進んだネガティブサンプルの損失値を完全に破棄する Asymmetric Probability Shifting 手法である。つまり、ラベルの正負をもとにした損失値への重み付けと意味のあるサンプルからの学習の選択を同時に行う。ASLでは、 ネガティブサンプルに適用される $\gamma_{-}$をポジティブサンプルに適用される $\gamma_{+} よりも$ 高く設定することで、ネガティブサンプルに対するモデルの出力が小さい場合に損失值を抑制する一方で、ポジティブサンプルの損失値は不当に抑制されないような学習を実現している。ただし、ASL はネガティブサンプルの影響の抑制に高い効果を発揮する一方で、データセット内で多く出現する高頻度ラベルの影響を抑制できない。

## 3 提案手法

近年の多くの損失関数の提案は MLTC で多大な成果を収めているが、頻度もしくはラベルの正負とい

図 3 本研究における提案手法の概要図

う一面的な観点でしか重みが構築されていない。そこで、本研究ではラベル間の頻度の差を緩和する重みとネガティブサンプルの影響を抑制する重み、低頻度ラベルのサンプル数の少なさを緩和する重みを統合した手法を提案する。データの中で多数派である低頻度でネガティブなサンプルに対しては $\gamma$ の値を上げることで損失値を抑制する。一方で、少数派である高頻度ラベルでネガティブなサンプルに対しては $\gamma$ の値を下げることで損失値の抑制を緩和する。さらに、トレーニングデータから抽出されたラベルの共起表現をもとにした Label Smoothing を行うことによって低頻度ラベルのサンプル数の少なさを補い、モデルの過学習を抑制することを狙う。本提案手法の概要図を図 3 に示す。

## 3.1 Class Balancing モジュール

Class Balancing モジュールではトレーニングデー タ全体のラベル分布から各ラベルに適用する重みを計算する。本提案手法では、CBL で提唱されているラベルの出現数をもとにした重み $r^{c b}$ から重み $\hat{r}^{c b}$ を構築する。 $\hat{r}^{c b}$ は、CBL と同様に損失値全体の重み付けを行うと同時に、後に説明する Asymmetric Focusing モジュールにおいて $\gamma$ を調整する役割も持

つ。 $\hat{r}^{c b}$ は以下のように定義される。

$
\begin{aligned}
r^{c b} & =\frac{(1-\beta)}{1-\beta^{n_{y}}}, \\
\hat{r}^{c b} & =\frac{r^{c b} n_{y}}{\sum^{i} r^{c b}} .
\end{aligned}
$

ここで、 $n_{y}$ は各ラベルの出現数、 $0 \leq \beta<1$ は重みの強度を調整するハイパーパラメータである。

## 3.2 Asymmetric Focusing モジュール

Asymmetric Focusing モジュールでは ASL と同様に、ポジティブサンプルとネガティブサンプルのそれぞれに適用する重み $(1-p)^{\gamma_{+}},\left(p_{m}\right)^{\gamma_{-}}$を計算する。このうち、ネガティブラベルに適用される $\gamma_{-}$と Class Balancing モジュールで構築された重み $\hat{r}_{c b}$ を掛け合わせる。提案手法 Asymmetric Loss with Weight Combination (ASLWC) における損失は以下のように定義される。

$
\begin{aligned}
\text { Loss } & =\hat{r}^{c b}\left[-y L_{+}-(1-y) L_{-}\right] \\
L_{+} & =(1-p)^{\gamma_{+}} \log (p), \\
L_{-} & =\left(p_{m}\right)^{\gamma_{-} r_{-}^{c b}} \log \left(1-p_{m}\right), \\
p_{m} & =\max (p-m, 0) .
\end{aligned}
$

ここで、 $0 \leq \gamma_{+}<\gamma_{-}$はハイパーパラメータである。 また、式 6 は Asymmetric Probability Shifting 手法であり、モデルの出力確率が非常に低い場合、ネガティブサンプルによる影響を完全に破棄するための処理である。

## 3.3 Label Smoothing モジュール

Class Balancing と Asymmetric Focusing による重み調整では、低頻度ラベルに対応する入力サンプルの少なさは本質的に解決されない。本提案手法では Label Smoothing 手法 [13]をもとに、事前確率としてラベルの共起情報を設定した Label Smoothing を行う。本提案手法における Label Smoothing は以下のように定義される。

$
\begin{aligned}
y^{\prime} & =(1-\alpha) y+\alpha u(y) \\
u(y) & =\operatorname{norm}\left(\sum_{i=1, y_{i}=1}^{C} P P M I_{i j}\right)
\end{aligned}
$

ここで、 $0<\alpha<1$ は Smoothing の度合いを決定するハイパーパラメータである。さらに、norm は正規化関数であり、Min-Max Normalization 手法を用いる。また、PPMI はトレーニングデータの各ラベルの共起回数から計算された正の自己相互情報量行列
を示す。通常の Label Smoothing では式 7 の項 $u(y)$ は一様分布 $\frac{1}{C}$ が定義されるが、本提案手法の Label Smoothing では、ポジティブラベルとデータセット内で共起するラベルを関連ラベルとみなし、関連ラベルにのみ Ground Truth Value を分配する。これによって、本来は正負の判定をするためだけの式 3 内の項 $y 、(1-y)$ を共起情報が加味された重みとして扱うことができる。

## 4 実験

提案手法の有効性を検証するために、ベースライン手法との比較実験を行った。ベースライン手法の損失関数として Binary Cross-Entropy (BCE)、 FOC[12]、CBL[8]、CBL-NTR[11]、DBL[9]、ASL[10] を用いた。このうち、CBL-NTR と DBL は Reuters21578 において State-of-the-art である。

## 4.1 データセット

本実験では、ベンチマークとして Reuters-21578[5] と AAPD[14]、20 Newsgroups[15] を用いた。それぞれのデータセットの統計情報を表 1 に示す。なお、

Reuters-21578 に関して、本実験では modApté 分割 [16]を使用して、トレーニングデータとテストデー タに分割した。また、Reuters-21578、20 Newsgroups はともに検証データが事前に定義されていないため、学習データを 9:1の比率でランダムに分割し、検証データを構築した。

表 1 データセット概要

Reuters-21578 は、1987 年にロイターのニュースワイヤーに揭載された経済分野のニュース記事から構成されており、ラベルの分布が非常に不均衡という特徵がある。AAPD は、科学論文のリポジトリである arXiv に公開された論文のアブストラクトから構成されており、実験に利用されたデータセットの中で中程度の不均衡さを持つ。20 Newsgroups は複数のドメインから構成されるニュース記事を集めたデータセットで、ラベル分布が均衡のとれたデータセットである。
表 2 実験結果

## 4.2 実験設定

本実験では、分類モデルとしてニューラルネットワークを用いた。RoBERTa[17] で大力サンプルを文章の特徴量に変換するエンコーダ部分と、文章の特徵量から各ラベルのスコアを出力する 2 層の Feed Forward Networks (FFNN) から構成されるモデルを使用した。モデルは Pytorch[18] と Transformers[19] を用いて実装し、最適化手法として RoBERTaには AdamW[20]を適用し、FFNNにはRAdam[21]を適用した。各比較手法で共通のハイパーパラメータの学習エポックは 50 エポック、ドロップアウト率は 0.1、RoBERTa の学習率は $2 \times 10^{-5}$ 、FFNN の学習率は $2 \times 10^{-3}$ 、出力閾値は 0.5 であった。また、各手法の固有のハイパーパラメータに、それぞれ FOC は $\gamma=2 、 \operatorname{CBL}$ は $\beta=0.9 、$ DBL は $\beta=10.0$、map $-\gamma=0.9 、$ ASL $\gamma_{+}=1 、 \gamma_{-}=4 、$ ASLWC は $\alpha=0.3 、 \beta=0.3 、 \gamma_{+}=1 、 \gamma_{-}=4$ と設定した。本実験では、各手法の実験は異なるランダムシードで 5 回評価を行い、表 2、表 3 には評価値の平均を記載した。

## 4.3 評価指標

本実験では、評価指標として Macro-f1、Micro-F1 を用いた。なお、出現頻度が下位三分の一であるラベルを低頻度ラベルとして定義し性能を比較した。

## 4.4 結果

本実験の結果を表 2 に示す。Reuters-21578と AAPD において、すべてのラベルを用いた指標で本提案手法が比較手法を上回ったことが確認された。なお、Reuters-21578 においては SOTA である CBL-NTR と DBLを超える精度が確認された。一方で、20 Newsgroups において提案手法を含む重み調整の手法が BCE の精度を超えなかったことが認め
られた。なお、すべてのデータセットにおける各ラベルグループごとの結果は付録 A に記載した。

## 4.5 議論

Reuters-21578 と AAPD はどちらもラベルの頻度に偏りがあり、その影響をモデルに与えやすいデー タセットである。一方で、20 Newsgroups はラベルの不均衡の度合いが弱く、相対的には低頻度ラベルであっても 1000 件程度のサンプル数が確保されている。このことから、表 2 を鑑みると本提案手法はラベルの不均衡の度合いがある程度強いデータに有効である可能性がある。

表 2 の低頻度ラベルの結果から、Reuters-21578 と AAPD において本提案手法が低頻度ラベルの精度を向上させている。このことから、本提案手法において低頻度ラベルの精度向上が全体のラベルの分類精度の向上につながったのではないかと推察できる。 つまり、本提案手法によってラベルの不均衡による影響を他の提案手法に比べて緩和できている可能性がある。

## 5 おわりに

マルチラベルテキスト分類では、ラベルの出現頻度に偏りがあるデータにおいて、低頻度ラベルの精度が低いという課題が存在する。そこで、本研究ではラベルの共起情報をもとにした重みと出現頻度の重み、ネガティブサンプルの損失を抑制する重みとを組み合わせる手法を提案した。実験結果より、提案手法がラベル分布の偏りが強いデータセットにおいてべースラインを上回ることが確認された。また、提案手法が低頻度ラベルの精度を改善していることから Imbalanced learning の問題を緩和できる可能性がある。今後の展望として、より幅広いベンチマークデータセットでの検証と既存の大規模モデルへの適用による手法の頑健性の検証が挙げられる。

## 参考文献

[1] Ilias Chalkidis, Emmanouil Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. Extreme multi-label legal text classification: A case study in EU legislation. In Proceedings of the Natural Legal Language Processing Workshop 2019, pp. 7887, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Clare Amanda and King D. Ross. Knowledge discovery in multi-label phenotype data. In Principles of Data Mining and Knowledge Discovery, pp. 42-53, Berlin, Heidelberg, 2001. Springer Berlin Heidelberg.

[3] Min-Ling Zhang and Zhi-Hua Zhou. A review on multilabel learning algorithms. IEEE Transactions on Knowledge and Data Engineering, Vol. 26, No. 8, pp. 18191837, 2014.

[4] Tsoumakas Grigorios and Katakis Ioannis. Multi-label classification: An overview. International Journal of Data Warehousing and Mining, Vol. 3, No. 3, pp. 1-13, 2007.

[5] Philip J. Hayes and Steven P. Weinstein. CONSTRUE/TIS: a system for content-based indexing of a database of news stories. In Proceedings of the The Second Conference on Innovative Applications of Artificial Intelligence, IAAI '90, pp. 49-64. AAAI Press, 1990.

[6] Haibo He and Edwardo A. Garcia. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, Vol. 21, No. 9, pp. 1263-1284, 2009.

[7] Wang Yaqing, Yao Quanming, Kwok T. James, and Ni M. Lionel. Generalizing from a few examples: A survey on few-shot learning. ACM compututing Ssrveys, Vol. 53, No. 3, pp. 1-34, 2020.

[8] Cui Yin, Jia Menglin, Lin Tsung-Yi, Song Yang, and Belongie Serge. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9268-9277, June 2019.

[9] Wu Tong, Huang Qingqiu, Liu Ziwei, Wang Yu, and Lin Dahua. Distribution-balanced loss for multi-label classification in long-tailed datasets. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Proceedings of the European Conference on Computer Vision, pp. 162-178, Cham, 2020. Springer International Publishing.

[10] Ridnik Tal, Ben-Baruch Emanuel, Zamir Nadav, Noy Asaf, Friedman Itamar, Protter Matan, and Zelnik-Manor Lihi. Asymmetric loss for multi-label classification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 82-91, October 2021.

[11] Yi Huang, Buse Giledereli, Abdullatif Köksal, Arzucan Özgür, and Elif Ozkirimli. Balancing methods for multilabel text classification with long-tailed class distribution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8153-8161, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[12] Lin Tsung-Yi, Goyal Priya, Girshick Ross, He Kaiming, and Dollár Piotr. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, pp. 2999-3007, 2017.

[13] Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jon, and Wojna Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.

[14] Yang Pengcheng, Sun Xu, Li Wei, Ma Shuming, Wu Wei, and Wang Houfeng. SGM: Sequence generation model for multi-label classification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3915-3926, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[15] Ken Lang. Newsweeder: Learning to filter netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[16] Chidanand Apté, Fred Damerau, and Sholom M. Weiss. Automated learning of decision rules for text categorization. ACM Trans. Inf. Syst., Vol. 12, No. 3, pp. 233-251, July 1994.

[17] Zhuang Liu, Wayne Lin, Ya Shi, and Jun Zhao. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[18] Paszke Adam, Gross Sam, Massa Francisco, Lerer Adam, Bradbury James, Chanan Gregory, Killeen Trevor, Lin Zeming, Gimelshein Natalia, Antiga Luca, Desmaison Alban, Kopf Andreas, Yang Edward, DeVito Zachary, Raison Martin, Tejani Alykhan, Chilamkurthy Sasank, Steiner Benoit, Fang Lu, Bai Junjie, and Chintala Soumith. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[19] Wolf Thomas, Debut Lysandre, Sanh Victor, Chaumond Julien, Delangue Clement, Moi Anthony, Cistac Pierric, Rault Tim, Louf Remi, Funtowicz Morgan, Davison Joe, Shleifer Sam, von Platen Patrick, Ma Clara, Jernite Yacine, Plu Julien, Xu Canwen, Le Scao Teven, Gugger Sylvain, Drame Mariama, Lhoest Quentin, and Rush Alexander. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Loshchilov Ilya and Hutter Frank. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020 .

## A ラベル頻度グループ別の結果

実験に使用したデータの頻度グループ別の結果を表 3、表 4、表 5 にそれぞれ示す。データセット中のラベルを出現頻度順に並べたときの上位を High、中位を Middle、下位をLow に分割し、性能を比較した。なお、各グループのラベル数は均等になるように分割し、Reuters-21578 と AAPD、20 Newsgroups の各グループはそれぞれ 30 件、 18 件、 11 件のラベルから構成されている。

表 3 頻度グループごとのラベルにおける実験結果 (Reuters-21578)

表 4 頻度グループごとのラベルにおける実験結果 (AAPD)

表 5 頻度グループごとのラベルにおける実験結果 (20 Newsgroups)

20 Newsgroups


# スケール不変な木構造棒折り過程に基づく 無限階層トピックモデル

江島舟星 ${ }^{1}$
1 ハーバード大学大学院 政治学科
shuseieshima@g. harvard.edu
}

持橋大地 2
2 統計数理研究所
daichi@ism.ac.jp

## 概要

階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手法では、木が深くなるにつれて各トピックの平均確率が指数的に小さくなり、似通ったトピックが多数推定されてしまう。本研究ではこの課題に対し、スケール不変木構造棒折り過程を用いた階層的トピックモデル (ihLDA) を提案する。提案手法はトピック生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。 また、提案手法は木構造棒折り過程の階層化でもある。提案手法が、ニューラルモデルを含む既存手法より 2 つの指標で優れることを実験的に確認した。

## 1 はじめに

トピックモデルは文章の要約、注釈、分類のために幅広く用いられているが $[1,2,3,4]$ 、大規模コー パスから数千ものトピックを推定できるモデルが登場したことで $[5,6,7,8]$ 、大量のトピックを解釈する必要性が高まった。

階層的トピックモデルは、トピックの階層的構造もコーパスから学習することで、トピックの整理と解釈を助けるものである $[9,10,11,12,13,14,15]$ 。 しかし既存手法では、用いられる確率が小さく、似通ったトピックー単語分布を持つ多数のトピックが推定される。これは確率的モデルだけでなく、近年のニューラルモデルにおいても共通の現象である。

トピックの平均確率が減衰する原因は、階層モデルで用いられる棒折り過程 [16] が、各トピックの平均確率を木が深くなるにつれ指数的に小さくすることにある。既存手法では推定される木構造を一定の深さで打ち切るなどのヒューリスティックに基づき、トピックの減衰を防いできた。

これに対し本研究は、スケール不変な木構造棒折
り過程と、それに基づく無限階層トピックモデル (ihLDA) を提案し、以下の 3 点を実現する。

1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定

2. 木構造棒折り過程 (TSSB) [11] の階層ベイズ化

3. 木構造に属する全てのトピックを数え上げる必要のない、効率的なサンプリング

棒折り過程を用いる既存手法に提案手法を取り入れることは容易であり、本研究は確率的モデル、 ニューラルモデル双方の改善に資するものである。

## 2 木構造棒折り過程

木構造棒折り過程 (TSSB)[11] は、2つの棒折り過程を [16] を組み合わせ、理論的には無限の深さと幅を持つトピック木を図 1 のように実現する。

階層的トピックモデルは潜在トピック $\boldsymbol{\epsilon}=\boldsymbol{\epsilon}_{1} \epsilon_{2} \ldots$ を各文書の各単語に割り当てる。深さ $|\epsilon|$ のトピック $\boldsymbol{\epsilon}$ は先祖と子を持ち、 $\{\boldsymbol{\kappa}: \boldsymbol{\kappa}<\boldsymbol{\epsilon}\}$ が先祖集合を表す。また、 $\boldsymbol{\epsilon}$ の親は $\boldsymbol{\epsilon}^{\prime} て ゙ 、 \boldsymbol{\epsilon}$ の子は $\{\boldsymbol{\epsilon} k: k \in 1,2,3, \ldots\}$ で示す。

TSSB におけるトピック $\boldsymbol{\epsilon}$ の確率 $\pi_{\epsilon}$ は、

$
\pi_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right) \cdot \prod_{\kappa \leq \epsilon} \phi_{\kappa}, \phi_{\epsilon k}=\psi_{\epsilon k} \prod_{j=1}^{k-1}\left(1-\psi_{\epsilon j}\right)
$

で表される。式 (1) の第 1 項はトピック $\epsilon$ が縦方向に止まる確率であり、続く積は $\boldsymbol{\epsilon}$ の先祖を縦方向には通過しつつ、横方向では $\epsilon$ とその先祖に止まる確率である。縦横方向に止まる確率は、ベータ分布に従うとする。

$
v_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \alpha_{0}\right), \psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \gamma_{0}\right) .
$

$\alpha_{\epsilon}=\alpha_{|\epsilon|} \cdot \lambda^{|\epsilon|-1}, 0 \leq \lambda \leq 1$ と定め、深いほど単語が止まりやすくする。以下、 $\alpha_{\epsilon}$ を $\alpha$ と記す。

図1 木構造棒折り過程 [11]。青の区間はその幅に比例した確率 $\pi$ のトピックを、角括弧は各トピックの経路を、黒線は親子関係を、 $\psi$ は横方向の棒折り過程を示す。右図はトピックのみを抜き出したものである。

(a) TSSB [11]

(b) スケール不変 TSSB (提案手法)

$\alpha_{0}=3.5, \gamma_{0}=2, \lambda=0.25$

図 2 TSSB [11] (a) とスケール不変 TSSB (b)。青の区間はその幅に比例したトピックを示す。(a)(b) は同じハイパー パラメータから生成された木構造であるが、(b) の提案手法は確率 $\pi_{\epsilon}$ が小さすぎるトピックを生成しない。

Level $\ell$

図 3 深さ $\ell$ における横方向の平均分割確率。 3 つの異なる確率を持つ木の根を提案手法では示した。提案手法の減衰は、TSSB よりも遅い。 $\gamma_{0}$ の値は 0.8 に固定した。

## 3 スケール不変木構造棒折り過程

TSSB は階層的トピックモデルに用いられるが $[14,15] 、 木$ 構造が深くなるほどトピックの平均確率が指数的に小さくなるという問題を抱えている。図 2(a) に示されるように、 3 段目、 4 段目のトピックの確率はより上部のトピックと比べて小さい。

このような TSSB の性質は、横方向パラメータ $\psi_{\epsilon}$ が深さに関わらず同じ平均確率を持つために生じる。付録 A が示す通り、深さ $\ell$ における横方向の平均分割確率は $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1)^{\ell}$ であり、深さ $\ell$ が分母の指数にある。このため、図 3 の点線が示すような指数的な減衰が生じてしまう。

そこで本研究では、式 (2)の $\gamma_{0}$ を親ノード $\boldsymbol{\epsilon}^{\prime}$ から

$
\psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}\right)
$

としてスケールを修正する。ここで根ノードにおい
ては $\phi_{\boldsymbol{\epsilon}^{\prime}}=1$ である。以下 $\gamma=\phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}$ と表記する。

式 (3) で鍵となるのは、親トピック $\boldsymbol{\epsilon}^{\prime}$ における横方向の分割確率 $\phi_{\epsilon^{\prime}}$ を用いて、その子トピックの相対的な棒の長さ $\psi_{\epsilon}$ を求めている点である。これによって、付録 $\mathrm{A}$ に示した通り、深さ $\ell$ での平均的な棒の長さを $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1])(\ell \geq 2)$ とし、深さ $\ell$ に対してスケール不変となる分割を実現した。図 3 の実線が提案手法であるスケール不変木構造棒折り過程 (スケール不変 TSSB) を表している。

図 2(b) にこのスケール不変 TSSB からのサンプルを、(a)と同じハイパーパラメータを用いて示した。提案手法を用いると、木構造が深くなってもトピックの確率が小さくなりにくいことがわかる。

## 4 スケール不変木構造棒折り過程に 基づく無限階層トピックモデル

トピックモデルは、文書-トピック分布とトピック一単語分布の組み合わせであり、本論文が提案するihLDA は、スケール不変 TSSB を前者に、階層 Pitman-Yor 過程 [17]を後者に用いる。

文書-トピック分布それぞれのトピックが用いられる確率は文書ごとに異なるが、トピック自体は全ての文書で共有されなければならない。このため本研究は、スケール不変 TSSB を階層木構造棒折り過程 (HTSSB) [18] に適用する。図 4 の通り、HTSSB は親 TSSB から子 TSSB を各文書に対して階層的に生成する。

図 4 HTSSB は親 TSSB から子 TSSB を階層的に生成する。子TSSB は各文書の文書-トピック分布である。

HTSSB は階層ディリクレ過程 (HDP)[19]を式 (2) と (3) の縦横方向のパラメータに適用する。HTSSB での親子関係を示すために、チルダ記号を用いて子 TSSB のトピック $\boldsymbol{\epsilon}$ に対応する親 TSSB のト

$v_{\epsilon} \sim \operatorname{Be}\left(a \tau_{\tilde{\epsilon}}, a\left(1-\sum_{\kappa \leq \tilde{\epsilon}} \tau_{\kappa}\right)\right) 、 \tau_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right)$ 、横方向の確率は $\psi_{\boldsymbol{\epsilon} k} \sim \operatorname{Be}\left(b \phi_{\tilde{\boldsymbol{\epsilon}} k}, b\left(1-\sum_{j=1}^{k} \phi_{\tilde{\boldsymbol{\epsilon}} j}\right)\right)$ となり、各文書の木構造は式 (1) から求まる。子 TSSB でのトピックの割り当てが、HTSSB によって親 TSSB にも影響することに留意しなければならない。

トピックー単語分布階層 Pitman-Yor 過程 (HPY)[17] によって、深さに応じてトピックの専門性を高めつつ、親子トピックに意味的な関連性を持たせることができる。 $H_{\boldsymbol{\epsilon}}$ をトピック $\boldsymbol{\epsilon}$ のトピックー単語分布とすると、この事前分布が Pitman-Yor 過程に従い $H_{\epsilon} \sim P Y\left(d_{|\epsilon|}, \theta_{|\epsilon|}, H_{\epsilon^{\prime}}\right)$ となる。 これを根ノード $H_{[1]} \sim \mathrm{PY}\left(d_{0}, \theta_{0}, H_{0}\right)$ に至るまで繰り返し、 $H_{0}=1 / V$ と単語数 $V$ を用いて一様分布を考える。トピックー単語分布の木構造は文書-トピック分布の親 TSSB と同じであり、各文書の各トピックで対応するトピックー単語分布が保証されている。

生成過程 ihLDA の生成過程は、次の通りである。

1. 親 TSSB $\tilde{\pi}$ の生成。 $\pi$ は TSSB とする。

2. トピック一単語分布 $H_{\epsilon}$ を HPYを使って $\widetilde{\pi} の$ 各トピックに対して生成。

3. 各文書 $d$ に対して文書分布 $\boldsymbol{\pi}^{(d)} \sim \operatorname{HTSSB}(\widetilde{\pi})$ を生成。

4. 文書 $d$ の $i$ 番目の単語に対し、トピックを $z_{d i} \sim \pi^{(d)}$ と生成し、次に単語 $w_{d i} \sim H_{z d i}$ を生成する。

## 5 モデルの推論

トピック木構造に関わる式 (2)と (3) の縦横パラメータを推定するために、ディリクレ過程表現の一つである中華料理街過程 [20]を用いる。トピック $\boldsymbol{\epsilon}$ において、 $n_{0}(\boldsymbol{\epsilon})$ が縦方向の停止数を、 $m_{0}(\boldsymbol{\epsilon})$ が横方向の停止数を、 $n_{1}(\boldsymbol{\epsilon})$ が縦方向の通過数を、 $m_{1}(\boldsymbol{\epsilon})$ が横方向の通過数を表すとする。また $n(\boldsymbol{\epsilon})=n_{0}(\boldsymbol{\epsilon})+n_{1}(\boldsymbol{\epsilon})$ 、 $m(\boldsymbol{\epsilon})=m_{0}(\boldsymbol{\epsilon})+m_{1}(\boldsymbol{\epsilon})$ と定義する。するとデータと他のパラメータで条件づけたパラメータの期待値がそれぞれ $\widehat{v}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[v_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+n_{0}(\boldsymbol{\epsilon})\right) /(1+\alpha+n(\boldsymbol{\epsilon}))$ と $\widehat{\psi}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[\psi_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+m_{0}(\boldsymbol{\epsilon})\right) /(1+\gamma+m(\boldsymbol{\epsilon}))$ となる。 ここで式 (1)を用いることで、 $\pi_{\epsilon}$ の事後確率の期待值が求まる。さらに HTSSB においても同様に、文書 $d$ における縦横パラメータの事後確率の期待値が

$
\begin{aligned}
\mathbb{E}\left[v_{\boldsymbol{\epsilon}}^{(d)} \mid \mathrm{rest}\right] & =\frac{a \tau_{\tilde{\boldsymbol{\epsilon}}}+n_{0}(\boldsymbol{\epsilon})}{a\left(1-\sum_{\kappa<\tilde{\boldsymbol{\epsilon}}} \tau_{\kappa}\right)+n(\boldsymbol{\epsilon})}, \\
\mathbb{E}\left[\psi_{\boldsymbol{\epsilon} k}^{(d)} \mid \mathrm{rest}\right] & =\frac{b \phi_{\tilde{\boldsymbol{\epsilon}}}+m_{0}(\boldsymbol{\epsilon} k)}{b\left(1-\sum_{j=1}^{k-1} \phi_{\tilde{\boldsymbol{\epsilon}}^{\prime} j}\right)+m(\boldsymbol{\epsilon} k)}
\end{aligned}
$

であることがわかる。親 TSSB の停止・通過回数の更新については、付録 B に詳述した。

次に、トピックの割り当てについてはレトロスぺクティブサンプリング [21] と二分探索を組み合わせたギブスサンプリングを用いた。スライスサンプリングは現在のトピックと、ランダムに選ばれたトピックを比較するため、任意の $u \sim \operatorname{Unif}[0,1)$ に対応するトピックを見つけることさえできれば、全てのトピックを数え上げる必要がなく効率的である。付録 C に具体的なアルゴリズムを示した。

HPY のパラメータ推定は原論文 [17] に従い、その他はスライスサンプリング $[22,23]$ を用いた。

## 6 実験

設定実験には BBC News [24]、20News [25]、独自のWikipedia コーパスを用いた。文書数はそれぞれ 2,225、18,828、50,513であり、ランダムに選んだ $80 \%$ 訓練データとした。

比較対象は nCRP [9]、rCRP [12]、TSNTM [14]、 nTSNTM [15] で、それぞれ既定值を用いたが、10,000 イテレーションに 2 週間以上かかったモデルは結果から除外した。全てのモデルを同一基準で比較するために、各トピックは少なくとも 100 語に割り当てられているものとした。

量的比較既存研究で用いられているトピック固有性 (TU)[26, 27, 15]、平均重複 (AO)[15] に加えて、新しく木構造多様性 (TD) を提案する。TU は大きいほどトピックが平均的に固有の単語を上位語に持ち、AO は小さいほど親子の上位語の重複が少ない。 ただし親子トピックは意味的な重なりを持つはずなので、上位語の重複が低いとき解釈性が高いかは慎重に検討せねばならない。TD は子トピックの固有性を親トピックの重要性で重み付けしたもので、以下のように定義する。

$
\mathrm{TD}=\sum_{\boldsymbol{\epsilon} \in \mathscr{T}} w_{\boldsymbol{\epsilon}} \frac{\left|\mathscr{V}_{\mathscr{C}(\boldsymbol{\epsilon})}\right|}{u|\mathscr{C}(\boldsymbol{\epsilon})|} ; w_{\boldsymbol{\epsilon}}=\frac{|\mathscr{D}(\boldsymbol{\epsilon})|}{\sum_{\boldsymbol{\kappa} \in \mathscr{T}}|\mathscr{D}(\boldsymbol{\kappa})|}
$

ここで、 $\mathscr{C}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子トピックの集合、 $\mathscr{D}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子孫の集合、 $\mathscr{V}_{\mathcal{N}}$ はトピック集合 $\mathcal{N}$ の上位 $u$ 語から重複を除いた単語集合である。TDが大きいほど、子トピックが固有の単語を含む。

表 1 に各指標を $5,10,15$ の上位語数で計算した平均をまとめた。提案手法は TD と TU で既存手法を上回り、割り当てが 100 語未満のトピックを含めても高い性能を示している (括弧内の値)。既存の確率的手法 (nCRP と rCRP) は、木が深さ 3 で打ち切られ

表 1 量的比較結果。比較のため 100 語未満にしか割り当てられなかったトピックを除外したが、提案手法については除外前の值を括弧内に示した。

図 $5 \mathrm{BBC}$ コーパスを用いた深さ 6 の木の上位語。色付きの枝を図 6 でさらに説明している。

ているにも関わらず大量のトピックを推定した。

図 6 図 5 の左から 1 番目(赤)、3番目(青)、4番目(緑)の枝のトピックー単語確率。固有名詞の確率はノードが深いほど高く、一般的な単語はノードが浅いほど高い。

木構造と上位語図 5 に推定された深さ 6 の木と上位語を、図 6 にいくつかのトピックー単語確率を示した。固有名詞の確率はノードが深いほど高く、一般的な単語の確率はノードが浅いほど高い。またそれぞれの枝が固有のテーマを表していることが読みとれる。

## 7 関連研究

既存研究では確率の小さなトピックが作られることを防ぐために、深さ 3 の浅い木のみの推定や $[9,12,13]$ 、経験則に基づくトピック生成の制約 $[14,15]$ がなされてきた。これに対し提案手法は、深い木構造でも打ち切りなしに妥当なトピック数を推定できる (表 1 の括弧内)。また提案手法はTSSB の階層モデルであるから、単語を生成するトピックが既存のモデルのように文書ごとに制約されることがない $[9,10,13]$ 。

階層的トピックモデルは様々なモデルに拡張されており [28, 29, 30, 31, 32]、棒折り過程を使う既存手法に提案手法を容易に反映させることができる。

## 8 結語

既存の階層的トピックモデルには深くなるにつれてトピックの確率が指数的に減衰する問題があった。親トピックを考慮することでこの問題を解消する提案手法は、棒折り過程を用いる既存モデルにも広く応用可能である。実験は 2 つの指標で提案手法がニューラルを含む既存手法を上回ることを示し、定性的な検証でも $\ell \geq 4$ の深い木の推定が行えることがわかった。

一方、本研究で用いたギブスサンプリングは近似を伴う既存手法 [33] よりも遅いことがわかっている。将来的には分散アルゴリズムや変分推論を組み合わせ、より大規模なコーパスを処理できるようにしたい。また、本研究の教師なし学習で推定される木構造を利用者の考える分類と一致させるため、非階層的トピックモデルで提案されている半教師あり学習 $[34,35]$ を取り入れることも今後の課題である。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006.

[3] Jonathan Chang and David M Blei. Hierarchical relational models for document networks. The Annals of Applied Statistics, Vol. 4, pp. 124-150, 2010.

[4] Margaret E. Roberts, Brandon M. Stewart, and Edoardo M. Airoldi. A model of text for experimentation in the social sciences. Journal of the American Statistical Association, Vol. 111, pp. 988-1003, 2016.

[5] Aaron Q Li, Amr Ahmed, Sujith Ravi, and Alexander J Smola. Reducing the sampling complexity of topic models. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 891-900, 2014.

[6] Hsiang-Fu Yu, Cho-Jui Hsieh, Hyokun Yun, S V N Vishwanathan, and Inderjit $S$ Dhillon. A scalable asynchronous distributed algorithm for topic modeling. In Proceedings of the 24th International Conference on World Wide Web, pp. 1340-1350, 2015.

[7] Jinhui Yuan, Fei Gao, Qirong Ho, Wei Dai, Jinliang Wei, Xun Zheng, Eric P. Xing, Tie Yan Liu, and Wei Ying Ma. LightLDA: Big topic models on modest computer clusters. In Proceedings of the 24th International Conference on World Wide Web, pp. 13511361, may 2015.

[8] Jianfei Chen, Kaiwei Li, Jun Zhu, and Wenguang Chen. WarpLDA: A cache efficient $\mathrm{O}(1)$ algorithm for latent Dirichlet allocation. Proceedings of the VLDB Endowment, Vol. 9, , 2016.

[9] David M. Blei, Thomas L. Griffiths, Michael I. Jordan, and Joshua B. Tenenbaum. Hierarchical topic models and the nested Chinese restaurant process. In Proceedings of the 16th International Conference on Neural Information Processing Systems, pp. 17-24, 2003

[10] David M. Blei, Thomas L. Griffiths, and Michael I. Jordan. The nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies. Journal of the ACM, Vol. 57, No. 2, pp. 1-30, feb 2010.

[11] Ryan P. Adams, Zoubin Ghahramani, and Michael I. Jordan. Treestructured stick breaking for hierarchical data. In Proceedings of the 23rd International Conference on Neural Information Processing Systems, pp. 19-27, 2010.

[12] Joon Hee Kim, Dongwoo Kim, Suin Kim, and Alice Oh. Modeling topic hierarchies with the recursive Chinese restaurant process. In Proceedings of the 21 st ACM international conference on Information and knowledge management, pp. 783-792. ACM Press, 2012.

[13] John Paisley, Chong Wang, David M. Blei, and Michael I. Jordan. Nested hierarchical Dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 37, No. 2, pp. 256-270, feb 2015.

[14] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 800-806, 2020.

[15] Ziye Chen, Cheng Ding, Zusheng Zhang, Yanghui Rao, and Haoran Xie. Tree-structured topic modeling with nonparametric neural variational inference. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2343-2353, 2021.

[16] Jayaram Sethuraman. A constructive definition of dirichlet priors. Statistica Sinica, Vol. 4, No. 2, pp. 639-650, 1994.

[17] Yee Whye Teh. A Bayesian interpretation of interpolated Kneser-
Ney. Technical report, National University of Singapore School of Computing, 2006

[18] 持橋大地, 能地宏. 無限木構造隠れ Markov モデルによる階層的品詞の教師なし学習. 情報処理学会研究報告 2016-NL-226, 2016.

[19] Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M Blei. Hierarchical dirichlet processes. Journal of the American Statistical Association, Vol. 101, No. 476, pp. 1566-1581, 2006.

[20] John Paisley and Lawrence Carin. Hidden markov models with stick-breaking priors. IEEE Transactions on Signal Processing, Vol. 57, No. 10, pp. 3905-3917, 2009.

[21] Omiros Papaspiliopoulos and Gareth O. Roberts. Retrospective Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, Vol. 95, No. 1, pp. 169-186, 2008.

[22] Radford M Neal. Slice sampling. The Annals of Statistics, Vol. 31, pp. 705-767, 2003 .

[23] Daichi Mochihashi. Unbounded slice sampling. ISM Research Memorandum No. 1209, 2020.

[24] Derek Greene and Pádraig Cunningham. Practical solutions to the problem of diagonal dominance in kernel document clustering. In Proceedings of the 23rd International Conference on Machine learning, pp. 377-384. ACM Press, 2006.

[25] Ken Lang. NewsWeeder: Learning to filter Netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[26] Feng Nan, Ran Ding, Ramesh Nallapati, and Bing Xiang. Topic modeling with Wasserstein autoencoders. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[27] Corentin Masson and Syrielle Montariol. Detecting omissions of risk factors in company annual reports. In Proceedings of the Second Workshop on Financial Technology and Natural Language Processing, pp. 15-21, 2020.

[28] Su Jin Shin and Il Chul Moon. Guided HTM: Hierarchical topic model with dirichlet forest priors. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 2, pp. 330-343, feb 2017.

[29] Yueshen Xu, Jianwei Yin, Jianbin Huang, and Yuyu Yin. Hierarchical topic modeling with automatic knowledge mining. Expert Systems with Applications, Vol. 103, pp. 106-117, aug 2018.

[30] Ming Yang and William H. Hsu. HDPauthor: A new hybrid author-topic model using latent Dirichlet allocation and hierarchical Dirichlet processes. In Proceedings of the 25th International Conference Companion on World Wide Web, pp. 619-624, 2016.

[31] Xi Zou, Yuelong Zhu, Jun Feng, Jiamin Lu, and Xiaodong Li. A novel hierarchical topic model for horizontal topic expansion with observed label information. IEEE Access, Vol. 7, pp. 184242184253, 2019.

[32] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Unsupervised abstractive opinion summarization by generating sentences with tree-structured topic guidance. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 945961, 2021.

[33] Diederik P Kingma and Max Welling. Stochastic gradient vb and the variational auto-encoder. In Proceedings of the 2nd International Conference on Learning Representations, Vol. 19, p. 121, 2014.

[34] Jagadeesh Jagarlamudi, Hal Daumé III, and Raghavendra Udupa. Incorporating lexical priors into topic models. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 204-213, 2012.

[35] Shusei Eshima, Kosuke Imai, and Tomoya Sasaki. Keyword assisted topic models. arXiv 2004.05964, 2020.

## A 階層 TSSB でのトピック平均確率

棒降り過程 $\phi_{k}=v_{k} \prod_{j=1}^{k-1}\left(1-v_{j}\right), v_{k} \sim \operatorname{Be}(1, \gamma)$ において、 $v_{k}$ の平均確率は $\mathbb{E}\left[v_{k}\right]=1 /(1+\gamma)$ であるから、 $k$ 番目に折られた棒の平均確率は以下となる、

$
\mathbb{E}\left[\phi_{k}\right]=\frac{1}{1+\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k-1}=\frac{1}{\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k} .
$

次に棒折り過程におけるトピックの平均確率は、

$
\begin{aligned}
\mathbb{E}[\phi] & =\sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right] \cdot \phi_{k} \\
& \approx \sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right]^{2} \\
& =\sum_{k=1}^{\infty}\left(\frac{\gamma}{\gamma+1} \cdot \frac{1}{\gamma}\right)^{2} \\
& =\frac{1}{\gamma^{2}} \sum_{k=1}^{\infty}\left(\frac{1}{\left(1+\frac{1}{\gamma}\right)^{2}}\right)^{k} \\
& =\frac{1}{2 \gamma+1}
\end{aligned}
$

となる。ここでは $\phi_{k}$ の平均を近似として用いた。棒折り過程を用いると、深さ $\ell$ におけるトピックの平均確率は

$
\mathbb{E}[\phi \mid \ell]=\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \approx \frac{1}{(2 \gamma+1)^{\ell}},
$

となる。最初の等号は深さ $\ell-1$ での棒が更に深さ $\ell$ において折られることを示している。 3 節に示した提案手法では、平均確率が

$
\begin{aligned}
\mathbb{E}[\phi \mid \ell] & =\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \\
& \approx \mathbb{E}[\phi \mid \ell-1] \cdot \frac{1}{2(\gamma \cdot \mathbb{E}[\phi \mid \ell-1])+1} \\
& =\frac{1}{2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1]} \text { for } \ell \geq 2 .
\end{aligned}
$

となる。木構造の根 $(\ell=1)$ においては $\mathbb{E}[\phi \mid \ell=1]=$ $1 /(2 \gamma+1)$ である。木構造が深くなっても、トピックの平均確率が指数的に小さくなることはない。

## B HTSSB での停止・通過回数

単語 $w$ が子 TSSB のトピック $\epsilon$ で縦方向の停止をした場合、 $a v_{\tilde{\boldsymbol{\epsilon}}} /(a+n(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $n(\boldsymbol{\epsilon}) /(a+n(\boldsymbol{\epsilon}))$ に比例する確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。横方向についても同様に $b \psi_{\tilde{\boldsymbol{\epsilon}}} /(b+m(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $m(\boldsymbol{\epsilon}) /(b+m(\boldsymbol{\epsilon}))$ に比例する確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。

## C 推論アルゴリズム

トピックの探索と割り当ては以下の通りである。

## D 評価指標の詳細

トピック固有性 (TU) 定義は $\mathrm{TU}=$ $|\mathcal{T}|^{-1} \sum_{\boldsymbol{\epsilon} \in \mathscr{T}}\left(u^{-1} \sum_{u^{\prime}=1}^{u} n\left(u^{\prime}, \boldsymbol{\epsilon}\right)^{-1}\right)$ である。ここで $\mathscr{T}$ は推定されたトピック集合、 $n\left(u^{\prime}, \boldsymbol{\epsilon}\right)$ は $\boldsymbol{\epsilon}$ の $u^{\prime}$ 番目の上位単語が、全てのトピックでの上位 $u$ 語に登場した回数である。TU が大きいほどトピックの固有性が高い。

平均重複 (AO) $\mathrm{AO}$ は親子トピック間で上位 $u$ 語の重複を平均し、 $\mathrm{AO}=|\mathscr{T}|^{-1} \sum_{\epsilon \in \mathscr{T}}\left|\mathscr{V}_{\epsilon} \cap \mathscr{V}_{\epsilon^{\prime}}\right| \cdot u^{-1}$ と定義される。ここで $\mathscr{V}_{\epsilon}$ は $\epsilon$ の上位 $u$ 語である。低い $\mathrm{AO}$ は親子関係の単語の重複が少ないことを示す。


# 日本語の分類タスクにおけるカリキュラム学習と マルチタスク学習の効果検証

植松拓也 河原大輔
早稲田大学理工学術院
takuya1009@akane.waseda.jp dkw@waseda.jp

## 概要

複数の言語処理タスクを順番もしくは同時に学習する方法として，カリキュラム学習やマルチタスク学習がある。これらは英語のベンチマークにおいて包括的に調査されており有効性が報告されているが，日本語では調査されていない。本研究では，日本語言語理解ベンチマーク JGLUE に含まれる分類タスクにおいて，カリキュラム学習およびマルチタスク学習を適用し, 有効性を検証する。結果として，親和性のあるタスク同士でカリキュラム学習， マルチタスク学習を行うことで精度が向上することを確認した。

## 1 はじめに

機械学習に基づく自然言語処理においてよく用いられる手法の一つに転移学習がある。転移学習の一手法として，事前学習をしてから対象のタスクごとにファインチューニングをするという 2 段階で行うことが多い。転移学習のモデルとしては BERT [1] など様々なモデルが開発されている．BERT は，言語理解ベンチマーク GLUE [2] において当時の最高スコアを達成しており，広く利用されている。

事前学習やファインチューニングを行う際に，それぞれにおいてどのようなタスクをどのような順番で解くかが重要である.この点に着目した手法にカリキュラム学習があり一定の成果が出ている $[3,4,5,6,7]$. 人間が学習する際，まず難しいことから学ぶのではなく簡単なことから学んだ方が良い. それと同様に，学ぶ順番が大切なことは機械学習にも同じことが言える. 機械学習におけるカリキュラム学習は, 学習データを最も効果的な順番に並び替え段階的に学習する手法で，簡単な学習データから学習して徐々に難易度を上げていくことが多い。

また，近年はマルチタスク学習も注目されている
[8, 9, 10,11]. マルチタスク学習は一度に 2 つ以上のタスクで学習する手法であり，あるタスクから得られた知識を他のタスクにも適用することで精度が向上する場合がある．ただし，タスク同士に親和性がない場合は精度が低下する可能性があるため，親和性のあるタスク同士でマルチタスク学習を行うことが重要である [12].

このような研究は英語などで活発に行われている一方，これまで日本語では包括的な調査が行われていない. 本研究では，日本語におけるタスク同士の親和性や効果的な学習方法を調査することを目的とし，日本語データセットを用いてカリキュラム学習およびマルチタスク学習を行う。事前学習モデルには日本語 BERTを用い，タスクには日本語言語理解ベンチマーク JGLUE [13] に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる.カリキュラム学習では，あるタスクでファインチューニングした後，さらに対象タスクでファインチューニングすることで対象タスクの精度が向上するかを評価する。マルチタスク学習では，上記 3 種類のタスクから 2 つを選び同時に学習し，有効性を評価する。

## 2 関連研究

## 2.1 カリキュラム学習

カリキュラム学習については，まず簡単な事例から学習し，徐々に難しい事例を学習する場合が多い. 例えば，画像分類タスクにおいてカリキュラム学習の有効性を示した実験結果がある [3].この実験では，自動的に生成された三角形や楕円，長方形の図形を分類するタスクを解く際に，まず正三角形や円，正方形などの簡単な図形から学び，徐々に色の種類を増やしたり難しい図形について学ぶこと

により，カリキュラム無しの学習よりも精度が高くなっている.

カリキュラム学習は自然言語処理でも活用されているが，難易度の定義が研究ごとに異なる．難易度の指標としては語彙サイズや入力された単語列の長さがある. Bengio らは，言語モデルにおいて次の単語を予測する際に，はじめに小さな語彙サイズのモデルを学習して徐々に語彙サイズを増やしながら学習した方がカリキュラム無しよりも精度が高くなることを報告している [3]. Cirik らは，入力文の評価極性を 5 つのクラスに分類する際に，文長の短い事例から学習して徐々に長い事例を学習するカリキュラム学習を提案した [4]. その結果，精度が向上し，特に学習データ数が少ないときに効果があることを示している.

難易度の定義の方法は他にもある．Guo らは，非自己回帰機械翻訳においてファインチューニングする際にカリキュラム学習を導入した [5]. 非自己回帰機械翻訳モデルは自己回帰機械翻訳モデルと比較して，トークンを並列に生成できるため推論の速度は向上するが，精度は低下する. この問題に対処するために，まず自己回帰訓練を行い，徐々に非自己回帰訓練に変更していくようなカリキュラム学習を提案し，有効性を示している．Xu らは，GLUEべンチマークでカリキュラム学習する実験を行った [6]. まず，対象のデータセットを分割して交差検証を行い，精度を難易度とみなす。次に，分割されたデータセットを難易度順に並び替え，簡単な事例からファインチューニングする。結果としては GLUE における9つのタスクのうち8つでベースラインよりも優れていた.

カリキュラム学習において，難易度順に並び替えるのではなく，学習するタスクの順序を入れ替えて他のタスクに与える効果を検証した実験がある。 Yogatama らは，あるタスクを BERT などで学習して得られた知識を他のタスクを解く際に有効活用できないかを検証した [7]. どのようなカリキュラムで学習をするのが最適で, 破滅的忘却を起こさないかを実験しており，学習の高速化を達成したタスクの組合せやそのときの精度について述べている.

## 2.2 マルチタスク学習

マルチタスク学習に基づく方法は多数提案されている. Collobert らは, 品詞タグ付けやチャンキングなど関連性のあるタスクを同時に学習するマルチタ
スク学習を提案し，有効性を示した [8]． Liu らは，映画のレビューについてのテキスト分類タスクを複数用意してマルチタスク学習を行った [9]. その結果，対象タスクの精度が他のタスクの助けを借りて向上することを示した.

また，マルチタスク学習を BERT などの事前学習モデルに適用した研究も行われている. 事前学習モデルのファインチューニングの際にマルチタスク学習を適用したモデルに MT-DNN がある [10]. このモデルは，GLUE ベンチマークにおける9つの夕スクのうち8つのタスクと，自然言語推論のコーパスである SNLI [14] や SciTail [15] で BERT の性能を上回った. Zhou らは, 品詞タグ付け, 構文解析, 意味役割付与などの言語解析タスクを事前学習時にマルチタスクで行う LIMIT-BERT を提案した [11]. LIMIT-BERT は言語解析タスクの精度を向上させ， GLUE ベンチマークや SNLI において BERT ベースラインよりも優れていることが報告されている.

## 2.3 本研究の位置づけ

上記の研究のように，これまでは英語での実験は行われているが日本語における包括的な調査は行われていない. 本研究では，日本語のデータセットにおけるカリキュラム学習とマルチタスク学習の有効性を調査する。

## 3 対象タスクと学習方法

本節では，本研究において対象とするタスク，および，カリキュラム学習とマルチタスク学習の方法について述べる。

## 3.1 対象タスク

対象のタスクとして，日本語言語理解ベンチマー クJGLUE に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる. JNLI と JSTS は文ぺア分類タスクであり，MARC-ja は文章分類タスクである. 各タスクのデータセットの事例数，評価指標を表 1 に示す. combined score は, Pearson と Spearman 相関係数の平均をとったスコアである．事前学習モデルを train セットでファインチューイングし，valid セットで評価を行う.
表 1 データセットの事例数と評価指標

## 3.2 学習方法

## 3.2.1 カリキュラム学習

本研究では，3種類のタスクの組合せを変えて，2 段階のファインチューニングを行う. 具体的には， まず JNLI，JSTS，MARC-ja のぞれぞれについてファインチューニングを行い，その結果得られたモデルを用いて再度ファインチューニングを行う。異なるタスクで再びファインチューニングを行うことの有効性を調査するため，同じタスクで再びファインチューニングした場合とも比較する。

事前学習モデルには東北大 BERT-base ${ }^{11}$ を用いる。 ファインチューニングの際，CLS トークンに対して JSTS は回帰問題，JNLI と MARC-ja は分類問題を解く.いずれもエポック数は 4 で固定し，4 エポック終了時点の評価値を比較する。 ハイパーパラメータについてはいくつかの設定から最適な組合せを選ぶ. ハイパーパラメータの詳細な設定は付録 A に示す.

## 3.2.2 マルチタスク学習

ファインチューニングする際，JSTS，JNLI， MARC-ja の 3つのタスクの中から 2 つを選びマルチタスク学習を行う. マルチタスク学習が終わった後に，JSTS，JNLI，MARC-ja を別々に評価する。

事前学習モデルにはカリキュラム学習と同様に東北大 BERT-base を用い，マルチタスク学習のモデルに分類ヘッドを 2 つ用意する. その概要を図 1 に示す.ハイパーパラメータについては最適な組合せを選択する。

## 4 実験結果と議論

## 4.1 カリキュラム学習の実験結果

カリキュラム学習の結果を表 2 に示す。ここで， 1 段階目のタスクはファインチューニングの 1 段階目で使用したタスク，列名のタスクは 2 段階目の

図1 マルチタスク学習のモデル

表 2 カリキュラム学習の実験結果

ファインチューニングで使用したタスクを示す.また，評価は全て 2 段階目のファインチューニング後の精度である。

JNLI における評価JNLI で評価したときの結果を比較する. JSTS でファインチューニングしてから，そのモデルを用いて JNLI で再びファインチューニングをしたときに精度が最も高いことが確認できる。この結果は 2 段階とも JNLI でファインチューニングしたときと比較して $1.0 \%$ 高い. 一方， MARC-ja でファインチューニングしてから JNLI でファインチューニングすると精度が下がっている。

JSTS における評価 JSTS で評価したときの結果を比較する. JNLI でファインチューニングしたモデルを用いて JSTS をファインチューニングをすると, JSTS で 1 回ファインチューニングしたときより約 $0.3 \%$ 精度が上がっている. ただし，JSTS でファインチューニングした後, さらにJSTS でファインチューニングしたときと精度は同じであった。 MARC-ja でファインチューニングしてから JSTS でファインチューニングすると精度は下がった.

MARC-ja における評価 MARC-ja で評価したときの結果を比較する．MARC-ja を解く際は，事前に JNLI，JSTS，MARC-ja でファインチューニングしてから MARC-ja でファインチューニングしても， MARC-ja で 1 回ファインチューニングをしたときと精度はほとんど変化がない。
表 3 カリキュラム学習による各ラベルの予測数

表 4 マルチタスク学習の実験結果

カリキュラム学習についての考察以上の結果より，JNLI と JSTS は親和性が高いと言える. JNLI と JSTS はともに文ぺア分類タスクであり, 構成する文ペアのほとんどが重複していることが 1 つの要因と考えられる. 特に，JSTS でファインチューニングしてから JNLIを解いたとき精度がかなり向上した。

JNLIをファインチューニングしたときと，1 段階目をJSTS，2 段階目を JNLI でファインチューニングしたときの各ラベルの予測数について表 3 にまとめる. ただし， 1 行目は JNLI の valid データにおける正解ラベルの分布を示す. 事前に JSTS でファインチューニングすると，含意の予測数が減少し，矛盾の予測数が増加した. また，ラベルごとの正解数については, 矛盾の正解数が他のラベルに比べて増えていた. 特にカリキュラム学習を行うことで予測ラベルが変化した文ぺアの中で，中立の予測が矛盾に変化したときの正答率が高くなっていた. 含意,矛盾は中立と比較して類似度が高く, 先に JSTS で学習することで類似度の弁別性能が上がり中立とそれ以外のラベルの分類が得意になる可能性がある.

一方, MARC-ja の結果から MARC-ja と JSTS, MARC-ja と JNLI の親和性は高くないと言うことができる。 MARC-ja は文章分類タスクであり，JNLI やJSTS とは異なるタスクであり，データセットの構成も異なる.カリキュラム学習を行う際は, 事前に親和性のないタスクでファインチューニングをすると逆効果になる可能性を示唆している。

## 4.2 マルチタスク学習の実験結果

マルチタスク学習の結果を表 4 に示す。タスクの列は，マルチタスク学習を行ったタスクのぺアを示す. 1 行目はシングルタスク学習の精度を示す.各タスクペアにおける比較 1 行目のシングルタスク学習の精度と比較すると，JNLI と JSTS のマルチタスク学習を行うとそれぞれ精度が $1.2 \% ， 0.8 \%$上がっている。一方，JNLI と MARC-ja のマルチタスク学習をしたときは JNLI の精度が約 10\%下がっている.また，JSTS と MARC-ja のマルチタスク学習をしたときは，JSTS，MARC-ja それぞれ $0.9 \%$ ， $0.4 \%$ 精度が下がっている。

マルチタスク学習についての考察上記の結果から，親和性のあるタスク同士でマルチタスク学習すると各タスクにおいて精度が上がると考えられる。一方，あまり親和性のないデータセット同士でマルチタスク学習すると両方の精度が落ちる，もしくは片方のタスクの精度が下がる可能性があり，マルチタスク学習の効果はほとんどないと考えられる。また，マルチタスク学習では，タスク同士の競合が発生する可能性がある [16]. MARC-ja と他のタスクが競合し，学習データのサイズが大きい MARC-ja はあまり影響を受けず，学習データのサイズが小さい JNLI と JSTS は精度がかなり低下したといえる。

カリキュラム学習との比較上記の結果を比較すると，JNLI で評価する際は事前に JSTS でファインチューニングをするカリキュラム学習の方が適している。一方，JSTS で評価する際は，JNLI と同時に学習するマルチタスクの方が適している. カリキュラム学習とマルチタスク学習についてはタスクによって適している学習方法を採用する必要がある.

## 5 おわりに

本研究では，JGLUEベンチマークにおける JNLI, JSTS，MARC-ja の 3 つの分類タスクを組合せてカリキュラム学習やマルチタスク学習を実行した。その結果により，タスク同士の親和性やどの順序でファインチューニングをすると精度が向上するのかを確かめた. 本研究の結果は，学習する際に用意できるデータセットが少ない場合でも，親和性のある他のデータセットと組合せてカリキュラム学習やマルチタスク学習を行うことで精度が改善する可能性があることを示している。

今後は，タスク間の親和性について，QA タスクなど他のタスクを含めて調査したい。また，BERT 以外にも RoBERTa [17] など高性能な事前学習モデルでも実験して効果を確かめたい。また，カリキュラム学習とマルチタスク学習を組合せて学習することで精度が向上するかを確認する予定である.

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML '09, p. 41-48, New York, NY, USA, 2009. Association for Computing Machinery.

[4] Volkan Cirik, Eduard H. Hovy, and Louis-Philippe Morency. Visualizing and understanding curriculum learning for long short-term memory networks. arXiv, 2016. abs/1611.06204.

[5] Junliang Guo, Xu Tan, Linli Xu, Tao Qin, Enhong Chen, and Tie-Yan Liu. Fine-tuning by curriculum learning for non-autoregressive neural machine translation. In Proceedings of the aaai conference on artificial intelligence, Vol. 34, pp. 7839-7846, 2020.

[6] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6095-6104, Online, July 2020. Association for Computational Linguistics.

[7] Dani Yogatama, Cyprien de Masson d'Autume, Jerome Connor, Tomas Kocisky, Mike Chrzanowski, Lingpeng Kong, Angeliki Lazaridou, Wang Ling, Lei Yu, Chris Dyer, and Phil Blunsom. Learning and evaluating general linguistic intelligence. arXiv, 2019. abs/1901.11373.

[8] Ronan Collobert and Jason Weston. A unified architecture for natural language processing: Deep neural networks with multitask learning. In Proceedings of the 25th international conference on Machine learning, pp. 160-167, 2008.

[9] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Recurrent neural network for text classification with multi-task learning. arXiv, 2016. abs/1605.05101.

[10] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng
Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Junru Zhou, Zhuosheng Zhang, Hai Zhao, and Shuailiang Zhang. LIMIT-BERT : Linguistics informed multi-task BERT. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4450-4461, Online, November 2020. Association for Computational Linguistics.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv, 2020. abs/2009.09796.

[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[14] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[15] Tushar Khot, Ashish Sabharwal, and Peter Clark. Scitail: A textual entailment dataset from science question answering. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[16] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp. 525-536. Curran Associates, Inc., 2018.

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

## A 参考情報

## A. 1 実験時のハイパーパラメータ

実験を行う際のハイパーパラメータの一覧を表 5 にて示す.この中から最適なハイパーパラメータを選ぶ.

表 5 ファインチューニングを行う際のハイパーパラ Name Value(s)

learning rate epoch 5e-5, 2e-5, 1e-5

warmup ratio 4

max seq lengt 0.1

batch size $8,16,32$


# 事前学習済み Transformer モデルのための 注意教師付き Few-shot データの蒸留

前川在 小林尚輝 船越孝太郎 奥村学
東京工業大学
\{maekawa, kobayasi, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

本稿では，データセットに含まれる知識を蒸留することで，ニューラルネットワークを効率的に学習可能な少量の合成サンプルを構築するデータセット蒸留に取り組む. 我々は，事前学習済み Transformer モデルを効果的にファインチューニング可能な Few-shot データの獲得のために，Transformer の注意機構における注意確率の教師ラベルを導入する．実験では，4つの異なる言語処理タスクのデータセットに対して，BERT を高い性能でファインチューニングする注意教師付き Few-shot データが構築可能であることを示した.

## 1 はじめに

深層学習モデルは，大規模なニューラルネットワークを大量のデータで学習することで, 自然言語処理を含む様々な分野で高い性能を達成している。 しかし, 深層学習モデルの学習には，学習時間，計算資源，消費エネルギーなどを含む膨大なコストがかかる．そこで，この学習コストを削減するために，学習後のモデルの性能を維持したまま，学習用データセットを縮小する試みが行われている.

それらの従来研究の多くは，データ選択に基づく手法を用いている。データ選択では，クラスタ中心 [1], 多様性 [2]，モデルの尤度 [3] などのヒュー リスティックスに基づいて，学習効果の高いサンプルの部分集合を抽出する。データ選択は，効率的かつ安定した高い学習性能を実現しており，能動学習 [1] や継続学習 [2] などにも応用されている. しかし, データ選択による手法は, 元のデータセットに学習効果の高い代表的なサンプルが存在するという仮定に基づいているため，その性能は明らかに制限される。

近年，学習用データセットを縮小するための新し
いアプローチとして，データセット蒸留 [4] が提案されている。データセット蒸留は，モデルを効率的に学習するように最適化された合成サンプルからなる蒸留データの獲得を目的とする。データセット蒸留は，学習サンプルを直接最適化することで，デー タ選択よりもはるかに少量のデータに圧縮する。 データセット蒸留は，特に画像分野を中心に近年関心が高まっており $[4,5,6,7,8,9]$, それらは理論的な興味からだけでなく，ニューラルアーキテクチャハハイパーパラメータ探索 [10], 継続学習 [11,12], 連合学習 $[13,14]$, データのプライバシー保護 $[15,16]$ など，応用の観点でも注目されている。

一方で，データセット蒸留に関する既存研究のほとんどが画像データセットを対象としており，言語処理タスクを扱った研究はごくわずかである. Sucholutsky ら [6] と Li ら [17] は，テキストの代わりに単語埋め込みのレベルで蒸留データを構築することで，データセット蒸留を離散データであるテキストデータセットに適用した。しかし，これらの研究は， CNN $\mathrm{RNN}$ ベースのニューラルネットワークを対象としており，近年の言語処理タスクにおいて標準となっている事前学習済み Transformer モデルを対象とした研究は，我々が知る限りまだない。そこで本稿では，言語処理タスクに対して，事前学習済み Transformer モデルを効果的にファインチュー ニング可能な Few-shot データの獲得に取り組む.

この目的のために，我々は Transformer の核である注意機構に着目する [18]. 従来研究 [19, 20, 21] では，注意確率の教師を利用することで，モデルを効果的に学習する手法が提案されている。本稿では, これらの手法に着想を得て, 蒸留データの各サンプルに対して注意教師ラベルを付与することで，蒸留データによる Transformer の学習効果の向上を図る.

実験では，AGNews，SST-2，QNLI，MRPCの $4 \supset$ のテキスト分類タスクに対して，BERT [22]をファ

インチューニングするための注意教師付き Few-shot データセットを構築した. その結果, 注意教師ラべルの利用による大幅な性能改善が見られ，BERTを高い性能でファインチューニング可能であることを示した. 具体例として，4クラスのニュース記事分類タスクである AGNews において，我々が構築した各クラス 1 サンプルのみで構成される蒸留データは，BERTを 1 回の勾配更新のみでファインチュー ニングし, 元の学習データセット全体で学習した場合の $98.5 \%$ の性能である最大 $93.2 \%$ の分類精度を達成した.

## 2 提案手法

## 2.1 データセット蒸留

データセット蒸留のアルゴリズムとして，Wang ら [4] が提案した最適化手法を適用する. この手法は，メタ学習 [23] で用いられている手法と同様に， 2 次勾配を計算することで蒸留データを勾配法により直接最適化する。

元の学習データセットを $D=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1}^{N}$ とする. ただし $\left(x_{i}, y_{i}\right)$ は入力と出力ラベルのぺアである. このとき，データセット蒸留の目標は，はじめにランダムに初期化される蒸留データ $\tilde{D}=\left.\{\left(\tilde{x}_{i}, \tilde{y}_{i}\right)\right.\}_{i=1}^{M}$ $(M \ll N)$ を最適化することである.

モデルパラメータ $\theta$ は，蒸留データのミニバッチ $\left(\tilde{x}_{t}, \tilde{y}_{t}\right)$ を用いて以下の式で更新される.

$
\begin{aligned}
& \theta_{t+1}=\theta_{t}-\tilde{\eta} \nabla_{\theta_{t}} L_{\mathrm{task}} \\
& \text { s.t. } \quad L_{\text {task }}=l\left(\tilde{\boldsymbol{x}}_{t}, \tilde{\boldsymbol{y}}_{t}, \theta_{t}\right)
\end{aligned}
$

ただし, $l()$ は二階微分可能な損失関数であり， $\tilde{\eta}$ は $\tilde{D}$ ともに最適化されるモデルの学習率である。 $\theta$ の初期値を $\theta_{0}$ とすると, 蒸留データによる学習後のモデルは以下のように書ける.

$
\theta_{T}=F\left(\theta_{0} ; \tilde{D}, \tilde{\eta}, T\right)
$

ただし， $F($ ) は $T$ ステップの勾配更新 (式 1 ) からなるモデルの学習過程を表す。

データセット蒸留の目的は，蒸留データで学習したこの $\theta_{T}$ が真のデータに対して高い性能を発揮することであると考えられるので, 蒸留データ $\tilde{D}$ の最適化における目的関数 $L_{\mathrm{distill}}$ は以下のように計算できる.

$
\begin{aligned}
L_{\mathrm{distill}}\left(\tilde{D}, \tilde{\eta} ; \theta_{0}\right) & :=l\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}, \theta_{T}\right) \\
& =l\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}, F\left(\theta_{0} ; \tilde{D}, \tilde{\eta}, T\right)\right)
\end{aligned}
$

ただし,$\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}\right)$ は元の学習データセットのミニバッチである.

したがって，データセット蒸留における最適化は以下のように定式化できる.

$
\tilde{D}^{*}, \tilde{\eta}^{*}=\underset{\tilde{D}, \tilde{\eta}}{\arg \min } \mathbb{E}_{\theta_{0} \sim p\left(\theta_{0}\right)}\left[L_{\text {distill }}\left(\tilde{D}, \tilde{\eta} ; \theta_{0}\right)\right]
$

ただし， $p\left(\theta_{0}\right)$ はモデルパラメータ $\theta$ の初期値の分布である.

この目的関数 $L_{\text {distill }}$ に対して，勾配降下法を用いて蒸留データ $\tilde{D}$ を最適化する。しかし，テキストデータは離散的であるため，勾配降下法による最適化アルゴリズムを直接適用することは困難である. そこで本研究では，従来研究 $[6,17]$ に着想を得て， テキストの代わりに，単語埋め込みべクトルの系列を蒸留データの入力として利用する。単語埋め込みベクトルを利用することで， $L_{\text {distill }}$ は蒸留データに関して微分可能となり，勾配降下法を用いた最適化が適用できる。

## 2.2 ソフトラベル

一般的に真のデータセットの出力ラベルには，単一クラスを示す one-hot ベクトルで表される，離散的なハードラベルが用いられる。 しかし，蒸留デー タでは，出力ラベルをソフトなラベルとして，入力とともに最適化することが可能である.ソフトラべルを利用することで，ハードラベルを用いる場合よりも，蒸留データの各サンプルに多くの情報を持たせることが可能となる。本研究では，従来研究 $[6,7]$ に従い，ソフトラベルを one-hot ベクトルの値で初期化し，任意の実数値を取れるようにすることで，入力の単語埋め込みベクトルとともに勾配法を用いて最適化する。

## 2.3 注意教師ラベル

蒸留データによる Transformer の効果的な学習のために，本研究では，注意教師ラベルを導入する. 注意教師ラベルは，データセットの知識を入力系列の各単語に対する注意確率として蒸留し, Transformer の自己注意機構を直接誘導することで効率的なモデルの学習を実現する。

従来研究 [21] に着想を得て, 蒸留データの各サンプルに対して，Transformer の各層の注意機構の各ヘッドに対応する注意教師ラベルを付与し，モデルの注意確率との間の Kullback-Leibler (KL) ダイバー ジェンス $\left(D_{\mathrm{KL}}\right)$ を計算する。これより，注意確率に
表 1 データセットの概要. $C$ はクラス数を示す.

関する損失 $L_{\text {attn }}$ は次のように計算される.

$
L_{\mathrm{attn}}=\frac{1}{K} \sum_{k=1}^{K} \frac{1}{H} \sum_{h=1}^{H} D_{\mathrm{KL}}\left(\tilde{A}_{k, h} \| A_{k, h}(\theta)\right)
$

ただし， $\tilde{A}_{k, h}$ と $A_{k, h}(\theta)$ は $k$ 層目の注意機構の $h$ 番目のヘッドに対応する，注意教師ラベルとモデルの注意確率をそれぞれ表す。本研究では，蒸留データのデータサイズの観点から，注意教師ラベルを文頭の [CLS]トークンにのみ適用した.

モデルは，タスクの損失 $L_{\mathrm{task}}$ と注意確率に関する損失 $L_{\mathrm{attn}}$ を同時に最小化するように学習される。 これより，モデルパラメータ $\theta$ の勾配更新は, 式 1 から次のようになる。

$
\theta_{t+1}=\theta_{t}-\tilde{\eta} \nabla_{\theta_{t}}\left(L_{\text {task }}+\lambda L_{\text {attn }}\right)
$

パーパラメータである.

注意教師ラベル $\tilde{A}$ は，任意の実数値を取るべクトルとして，単語埋め込みベクトルとソフトラベルとともに最適化され，Softmax 関数を適用することで確率分布に変換して KL ダイバージェンスを計算する.

## 3 実験

## 3.1 実験設定

データセットデータセット蒸留の性能を評価するために，ニュース記事分類タスクである AGNews [24] と, GLUE [25] から 3 つの多様な分類タスク (SST-2，QNLI，MRPC)を用いた。各データセットにおける評価指標については, AGNews は accuracy，その他のデータセットは GLUE の設定に従った. GLUEのデータセットについては, test セットが利用できないため development セットで評価を行った. 各データセットの概要は表 1 に示す.

モデル各データセットに対して， BERT BASE $^{\text {[22] }}$ をファインチューニングするための蒸留データセットを構築した. [22] の設定に従い，文頭の [CLS] の埋め込みに対して，埋め込み次元からクラス数次元表 2 1-shot / 1-step の設定における実験結果. 'HL', 'SL', 'AL'はそれぞれハードラベル，ソフトラベル，注意教師ラベルを示す. 'Majority' は最頻クラスを予測するベースラインである.*のついたデータセット全体で学習したモデルの性能は， [22] から引用した.

に線形変換するための分類層と Softmax 関数を適用することで，各クラスの確率を計算する．Wang ら [4] に従い，蒸留データセットの学習時と評価時の両方においてモデルの Dropout は無効化した. これはモデルの学習における不確実性を避けることで学習の安定化を図るためである.

ハイパーパラメータ全ての蒸留データセットを，学習率 $\alpha \in\left.\{1 e^{-3}, 1 e^{-2}, 1 e^{-1}\right.\}$ の Adam [26] を用いて 30 epoch ずつ学習した. 蒸留データとともに最適化されるモデルの学習率 $\tilde{\eta}$ は $\left.\{1 e^{-2}, 1 e^{-1}\right.\}$ のいずれかの值で初期化した。 $\alpha$ と $\tilde{\eta}$ の組み合わせのうち最も良い性能の結果を報告する。ただし，探索する $\alpha$ と $\tilde{\eta}$ の值の粒度は粗く, 評価データに対する過適合の心配はない，式 7 における $\lambda$ につては，事前実験により 1.0 に設定した.

評価方法蒸留した Few-shot データセットを用いて，BERTを 100 回ファインチューニングし，その性能の平均と標準偏差を報告する．ただし，追加した最後の分類層の重みパラメータは毎回異なる值で初期化した。

## 3.2 実験結果

## 3.2.1 1-shot / 1-step の実験結果

まず，各クラス 1 サンプルのみかつ 1 回の勾配更新のみで BERT をファインチューニングする設定において，ハードラベルとソフトラベル，及び注意教師ラベルの有無について蒸留データセットの性能を比較した結果を表 2 に示す。ハードラベルのみ， すなわち単語埋め込みべクトルのみを最適化した蒸留データセットでも，AGNews，SST-2，QNLIにおいて，元のデータセット全体で学習した場合のそれぞれ $92.4 \% ， 88.0 \% ， 74.7 \%$ の性能を達成した。ま

た，これらの性能はソフトラベルを利用することでさらに改善され，特に QNLI では 8 ポイント近い性能向上を示した。一方，MRPC については，ソフトラベルの適用に関わらず，蒸留データセットは最頻クラスを予測した場合と同等の性能しか得られなかった.

注意教師ラベルを適用した場合，蒸留データセットの性能は 4 つの全てのタスクにおいて大幅に向上し, その効果はソフトラベルょりもはるかに大きいことが確認された. 注意教師ラベルを適用した我々の蒸留データセットは, AGNews, SST-2, QNLI，MRPC のそれぞれに対して，元の学習データセット全体で学習した場合の最大 98.5, 97.2, 94.1, 88.9\%の性能を達成した. これより, 注意教師ラべルを用いて元のデータセットの知識を注意確率として抽出することで，それらを Transformer モデルに効率的に伝達させることが可能であると考えられる。

また，今回使用した 4 つのデータセット間で性能を比較すると, データセット蒸留は, AGNews や SST-2 のような比較的単純な分類タスクでは非常に良好な性能を発揮する一方で，QNLI や MRPC のような 2 文間の関係の理解を必要とするようなタスクでは，性能がある程度制限された。特に MRPC では，注意教師ラベルを適用することである程度性能改善が見られるものの, その他の 3 つのタスクと比較して, 元のデータセット全体で学習した場合との性能差が見られた. この原因として, MRPC データセットにおけるクラス間のサンプル数の不均衡が蒸留データセットの最適化を困難にしている可能性が考えられる. 従って，アップサンプリングやダウンサンプリングなどにより, 元のデータの不均衡に対処することで，性能改善の余地があると考える。

## 3.2.2 Multiple-step の実験結果

次に，複数回の勾配更新を用いて BERTをファインチューニングする設定において，蒸留データセットの性能を比較した. 我々は, 全ての勾配更新で同じ蒸留データを使用する場合と，各勾配更新ごとに異なる蒸留データを使用する場合のそれぞれの設定について実験を行った. ただし，いずれの設定においても，各勾配更新には各クラス 1 サンプルずつの蒸留データを用いる. 本実験では，全ての蒸留デー タセットにおいてソフトラベルと注意教師ラベルを適用した。

実験結果を表 3 に示す。まず全ての勾配更新で同表 3 Multiple-step の実験結果. “\# shot” は蒸留データに含まれる各クラスのサンプル数, “\# step” は勾配更新回数を示す.ただし，すべての設定において，各勾配更新には各クラス 1 サンプルずつの蒸留データが使用される.

じ蒸留データを用いた場合，勾配更新 1 回のみでファインチューニングする場合よりも性能が劣化した. 一方で，各勾配更新ごとに異なる蒸留データを用いることでその性能は改善され，勾配更新 1 回のみの設定における性能も上回った. これは, 複数回の勾配更新において，各勾配更新ごとに蒸留データに求められる役割が異なっており，全ての勾配更新に対して有効であるような汎用的なデータを獲得することが困難であることを示唆している.

本研究で利用したデータセット蒸留のための最適化手法では，全ての勾配更新を通した誤差逆伝播によって 2 次勾配を計算する必要があるため, 勾配更新回数 $T$ に応じて必要となるメモリや計算コストが線形に増加する. そのため, 我々の実験では勾配更新回数を 5 以上に増加させることが困難であった. これはデータセット蒸留における明らかな課題であり，より複雑で困難なタスクのデータセットや， ファインチューニングではなくゼロからのモデルの学習に対してデータセット蒸留を適用するためには解決する必要がある.

## 4 おわりに

本稿では，事前学習済み Transformer モデルを効果的に学習するための, 言語処理タスクのデータセットの蒸留に取り組んだ。我々は, Transformer の注意機構における注意確率の教師ラベルを蒸留デー タに適用することで, Transformer モデルに対する蒸留データセットの性能向上を図った. 複数の言語処理タスクのデータセットを対象とした実験の結果,我々の蒸留データセットは各クラス 1 サンプルのみでも良好な性能を達成した. さらに我々が提案した注意教師ラベルを利用することで，その性能は全てのタスクにおいて大幅な性能改善を示した.

## 参考文献

[1] Ozan Sener and Silvio Savarese. Active learning for convolutional neural networks: A core-set approach. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[2] Rahaf Aljundi, Min Lin, Baptiste Goujaud, and Yoshua Bengio. Gradient based sample selection for online continual learning. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[3] Robert C. Moore and William Lewis. Intelligent selection of language model training data. In Proceedings of the ACL 2010 Conference Short Papers, pp. 220-224, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[4] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset distillation. CoRR, Vol. abs/1811.10959, , 2018.

[5] Bo Zhao, Konda Reddy Mopuri, and Hakan Bilen. Dataset condensation with gradient matching. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.

[6] Ilia Sucholutsky and Matthias Schonlau. Soft-label dataset distillation and text dataset distillation. In 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2021.

[7] Ondrej Bohdal, Yongxin Yang, and Timothy M. Hospedales. Flexible dataset distillation: Learn labels instead of images. CoRR, Vol. abs/2006.08572, , 2020.

[8] Kai Wang, Bo Zhao, Xiangyu Peng, Zheng Zhu, Shuo Yang, Shuo Wang, Guan Huang, Hakan Bilen, Xinchao Wang, and Yang You. Cafe: Learning to condense dataset by aligning features. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12186-12195, 2022.

[9] George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. Efros, and Jun-Yan Zhu. Dataset distillation by matching training trajectories. In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2022, New Orleans, LA, USA, June 19-20, 2022, pp. 4749-4758. IEEE, 2022.

[10] Felipe Petroski Such, Aditya Rawal, Joel Lehman, Kenneth Stanley, and Jeffrey Clune. Generative teaching networks: Accelerating neural architecture search by learning to generate synthetic training data. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 9206-9216. PMLR, 13-18 Jul 2020.

[11] Wojciech Masarczyk and Ivona Tautkute. Reducing catastrophic forgetting with learning on synthetic data. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR Workshops 2020, Seattle, WA, USA, June 14-19, 2020 , pp. 1019-1024. Computer Vision Foundation / IEEE, 2020.

[12] Andrea Rosasco, Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, and Davide Bacciu. Distilled replay: Overcoming forgetting through synthetic samples. In Fabio Cuzzolin, Kevin Cannons, and Vincenzo Lomonaco, editors, Continual SemiSupervised Learning, pp. 104-117, Cham, 2022. Springer International Publishing.

[13] Jack Goetz and Ambuj Tewari. Federated learning via synthetic data. CoRR, Vol. abs/2008.04489, , 2020.

[14] Yanlin Zhou, George Pu, Xiyao Ma, Xiaolin Li, and Dapeng Wu. Distilled one-shot federated learning. CoRR, Vol. abs/2009.07999, , 2020.

[15] Guang Li, Ren Togo, Takahiro Ogawa, and Miki Haseyama. Softlabel anonymous gastric x-ray image distillation. In 2020 IEEE International Conference on Image Processing (ICIP), pp. 305309, 2020.
[16] Tian Dong, Bo Zhao, and Lingjuan Lyu. Privacy for free: How does dataset condensation help privacy? In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 5378-5396. PMLR, 17-23 Jul 2022.

[17] Yongqi Li and Wenjie Li. Data distillation for text classification. CoRR, Vol. abs/2104.08448, , 2021.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Lemao Liu, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Neural machine translation with supervised attention. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[20] Haitao Mi, Zhiguo Wang, and Abe Ittycheriah. Supervised attentions for neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2283-2288, Austin, Texas, November 2016. Association for Computational Linguistics.

[21] Gustavo Aguilar, Yuan Ling, Yu Zhang, Benjamin Yao, Xing Fan, and Chenlei Guo. Knowledge distillation from internal representations. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7350-7357, Apr. 2020.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[23] Chelsea Finn, Pieter Abbeel, and Sergey Levine. Model-agnostic meta-learning for fast adaptation of deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1126-1135. PMLR, 06-11 Aug 2017.

[24] Xiang Zhang, Junbo Jake Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 649-657, 2015.

[25] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015 .


# 敵対的学習を用いた知識蒸留への中間層蒸留と対照学習の導入

鈴木 偉士 山田寛章 徳永 健伸
東京工業大学 情報理工学院
\{suzuki.t.dp@m, yamada@c, take@c\}.titech.ac.jp

## 概要

知識蒸留 (KD) とは，大規模なニューラルネットワークを圧縮する手法の一つである。言語モデル向け KD の中で最高性能の手法は，敵対的学習に中間層出力と対照学習を導入した CILDA と呼ばれる手法である. CILDA の学習は最大化ステップと最小化ステップに分かれているが，中間層出力と対照学習は最大化ステップでのみ活用されている. 本研究では，最小化ステップに中間層蒸留と対照学習を導入し，性能を向上させることを目指した.しかし, 既存手法に対して有意な差は確認できなかったため，原因分析のために CILDA 単体の再現実験を行ったところ, 先行研究の主張とは異なり, GLUE における複数のタスクで CILDA がそれ以前の手法の性能を上回らないという結果を得た。

## 1 はじめに

BERT[1] やRoBERTa[2] のような事前学習済み言語モデルは, 様々な言語処理タスクにおいて, 高い性能を発揮しているが，近年では，GPT-3[3] や， PaLM[4] に見られるように， パラメータ数が大幅に増加し，通常のデバイスでは扱えなくなっている。

知識蒸留 (KD)[5] は，ニューラルネットワークを圧縮する手法の一つである。 パラメータ数の大きい教師モデルの出力と, パラメータ数の小さい生徒モデルの出力の KL ダイバージェンスを小さくする学習をすることで，生徒モデルが教師モデルと同様の出力が出来るようにする. 先行研究により, 知識蒸留は, 教師モデルと生徒モデルの最終的な出力間だけでなく, 中間層の出力間の誤差の利用 $[6,7,8]$, データ抳張と敵対的学習の導入 [9], 対照学習の導入 [10] により，性能が向上することが報告されている. Haidar ら [11] は知識蒸留に中間層の利用, 敵対的学習, 対照学習を導入した CILDA と呼ばれる手法を提案し，GLUE タスクにおいて SOTAを達成した.
しかし, Haidar らの研究 [11]では, データ拡張と敵対的学習に用いられる Generator の学習にのみ中間層の利用と対照学習の導入を行っており, 生徒モデルの学習については通常の KD から改良されていない. 本研究では CILDA の生徒モデルの学習時に中間層の利用と対照学習を導入し，さらに性能を向上させることを目指す.

本研究のソースコードは $\mathrm{GitHub}^{11}$ にて公開している.

## 2 関連研究

## 2.1 知識蒸留 (Vanilla KD)

知識蒸留 [5] とは，モデル圧縮の手法の 1 つである.この手法では， パラメータ数が小さい生徒モデルがタスクの正解ラベルとの誤差のほかに， パラメータ数が大きく性能の高い教師モデルの出力との誤差を用いて学習する。損失関数は以下のとおりである。

$
\begin{array}{r}
L=\lambda L_{C E}+(1-\lambda) L_{K D} \\
L_{K D}=K L(\text { Teacher }(X), \operatorname{Student}(X))
\end{array}
$

ただし， $L_{C E}$ は交差エントロピー誤差， $K L($,$) は$ KL ダイバージェンス, Teacher $(X)$, Student $(X)$ はそれぞれ，教師モデル，生徒モデルにデータ $X$ を入力した際の出力する確率分布とする。学習対象は生徒モデルのみであり，教師モデルのパラメータは固定される.

## 2.2 RAIL-KD

RAIL-KD[8] は通常の知識蒸留に加えて中間層の出力の情報も用いる中間層蒸留の一種である. RAIL-KD では，各エポックごとに教師モデルから生徒モデルの中間層の数だけ前から順にランダムに中間層を選び，生徒モデルの中間層との誤差を計算

する．誤差の計算の方法には以下の 2 通りがある.

$
\begin{gathered}
L_{R A I L-K D^{l}}=\sum_{x \in X} \sum_{k=0}^{m}\left.\|\frac{\hat{h}_{a_{\kappa}, x}^{T}}{\left.\|\hat{h}_{x}^{T}\right.\|_{2}}-\frac{\hat{h}_{\kappa, x}^{S_{\theta}}}{\left.\|\hat{h}_{x}^{S_{\theta}}\right.\|_{2}}\right.\|_{2}^{2} \\
L_{R A I L-K D^{c}}=\sum_{x \in X}\left.\|\frac{\hat{h}_{x}^{T}}{\left.\|\hat{h}_{x}^{T}\right.\|_{2}}-\frac{\hat{h}_{x}^{S_{\theta}}}{\left.\|\hat{h}_{x}^{S_{\theta}}\right.\|_{2}}\right.\|_{2}^{2}
\end{gathered}
$

$\hat{h}_{*}^{*}, X, \kappa, a$ はそれぞれモデルの中間層の出力, 訓練データ, 生徒モデルの中間層の数, 選択した中間層のインデックスの配列である． $T$ は教師モデル， $S_{\theta}$ は生徒モデルを表す.

$L_{R A I L-K D^{l}}$ では, 1 層ずつの中間層同士の誤差の和をとり， $L_{R A I L-K D^{c}}$ では，選択した層を連結してから誤差をとる．教師モデルと生徒モデルの中間層の出力の次元数が異なる場合は損失関数の計算前に $h$ に対して線形変換を行い，次元数を揃える.

最終的な損失関数は以下のようになる.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} L_{R A I L-K D}
$

## 2.3 MATE-KD

MATE-KD[9] は知識蒸留に敵対的学習を導入した手法である. この手法では学習は最大化ステップと最小化ステップの 2 つのステップに分かれている.

最大化ステップでは，まず訓練データに一定の確率でマスクをかける。 その後 Generator と呼ばれる事前学習済みマスク型言語モデルを用いてマスクされた部分を埋めることでデータ拡張を行う. 拡張されたデータを用いて以下の損失関数を最大化するように Generatorを学習する。

$
L_{A D V}=K L\left(\text { Teacher }\left(X^{\prime}\right), \text { Student }\left(X^{\prime}\right)\right)
$

ただし， $X^{\prime}$ は拡張されたデータである. 最大化ステップでは生徒モデルのパラメータは固定される.

最小化ステップでは以下の損失関数を最小化するように生徒モデルを学習する. 最小化ステップの間は Generator のパラメータは固定される.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} L_{A D V}
$

学習時は最大化ステップを $n_{G}$ ステップ行ってから最小化ステップを $n_{S}$ ステップ行うことを繰り返す。

## 2.4 CILDA

CILDA[11] は知識蒸留に中間層出力の利用，敵対的学習, 対照学習を導入した手法である. MATE-KD と同様に最大化ステップと最小化ステップに分かれている.最大化ステップでは以下の損失関数を最大化する。

$
\begin{array}{r}
L_{G}=\alpha_{1} L_{A D V}+\alpha_{2} L_{C R D} \\
L_{C R D}=-\log \frac{\exp \left(<\bar{h}_{k}^{T}, \bar{h}_{k}^{S_{\theta}}>/ \tau_{2}\right)}{\sum_{j=0}^{K} \exp \left(<\bar{h}_{j}^{T}, \bar{h}_{k}^{S_{\theta}}>/ \tau_{2}\right)}
\end{array}
$

ただし， $\bar{h}_{*}^{*}$ はデルの全ての中間層の出力を連結し線形変換を施したもの， $k$ はミニバッチの中のデー タのインデックス，K はバッチサイズ，<，>はコサイン類似度とする。

最小化ステップでは以下の損失関数に拡張されたデータと元データを入力して最小化する.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}
$

## 3 提案手法

提案手法を本論文では CILDA+minILD と呼ぶ. CILDA+minILDでは， CILDA の最小化ステップに中間層出力の利用と対照学習を導入する。そのために損失関数に $L_{C R D}$ を追加する．損失関数は以下のようになる。

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} \frac{1}{\log K} L_{C R D}
$

$K$ はバッチサイズである. $L_{C R D}$ の値はバッチサイズの対数に依存し，バッチサイズが大きいほど值が大きくなる.そのため $L_{C R D}$ の係数に $\frac{1}{\log K}$ をかける. 最大化ステップにおいても同様に $L_{C R D}$ の係数に $\frac{1}{\log K}$ をいる。

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

蒸留対象のタスクは GLUE[12] の中から，学習に要する時間の短い CoLA，MRPC，RTE，STS-B の 4 タスクを利用する。評価指標は先行研究 [11] に倣い，それぞれマシューズ相関係数，f1 スコア，正解率，ピアソンの相関係数とする.

## 4.1.2 モデル

教師モデルには, RoBERTa-large[2] を元に, 各タスク毎に教師モデルをファインチューニングし, dev set において各評価指標で最高性能を示したモデルを用いた. ファインチューニングは，バッチサイズ $128 ， 3$ エポックとして，異なる 4 つの学
習率 1e-05，2e-05，5e-05，1e-04 について各 5 回行った. 生徒モデルには DistilRoBERTa[13]を使用した. MATE-KD, CILDA, CILDA+minILDで用いる Generator には RoBERTa-large[2]を用いた.

## 4.1.3 比較手法

提案手法と比較する手法は生徒モデルのみを用いた学習 (w/o KD), 通常の知識蒸留 (Vanilla KD), RAIL-KD，MATE-KD，CILDAを用いた. RAIL-KD の $L_{R A I L-K D}$ には $L_{R A I L-K D^{c}}$ を用いた。

## 4.1.4 ハイパーパラメータ

学習率を 1e-05，2e-05，5e-05，1e-04 の 4 通りからハイパーパラメータ探索で選択し，バッチサイズはw/o KD，Vanilla KD，RAIL-KD，MATE-KDでは 128, CILDA, CILDA+minILDでは 64 とした. 損失関数の係数は, Vanilla KDでは $\lambda$ は $1 / 2$, RAIL-KD と MATE-KD の $\lambda_{1}, \lambda_{2}, \lambda_{3}$ はすべて $1 / 3$ とした. CILDA の $\lambda_{1}, \lambda_{2}$ は元データを入力する際にはともに $1 / 3$ とし，拡張されたデータに対してはそれぞれ $2 / 9$, $1 / 9$ とした. $\alpha_{1}, \alpha_{2}$ はともに $1 / 2, \tau_{2}$ は 2 とした. CILDA+minILD では元データに対しては $\lambda_{1}=2 / 9$ , $\lambda_{2}=2 / 9, \lambda_{3}=2 / 9$, 拡張されたデータに対しては $\lambda_{1}=1 / 6, \lambda_{2}=1 / 12, \lambda_{3}=1 / 12$ とした. RAIL-KD, CILDA，CILDA+minILDでの中間層の線形変換後の次元数は 128 とした。 ハイパーパラメータ探索では 5 エポックの実験を 1 回行い，5 エポックの時点で dev set でもっとも性能の高いハイパーパラメータを選択した. MATE-KD, CILDA, CILDA+minILD では $n_{G}=10, n_{S}=100$ とした.

## 4.1.5 動作環境

本研究では PyTorch フレームワークを使用し，モデルは Huggingface Transformers のものを使用した. また，GPUには 4 枚の Nvidia 社製 RTX A6000を使用した。節 4.1.4 に記載したバッチサイズは 4 枚の GPU の合計であり, GPU1 枚あたりのバッチサイズは上記の 4 分の 1 である.

## 4.1.6 本実験

本実験ではハイパーパラメータ探索で選んだ学習率を用いて 20 エポックの実験を 5 回行う. 1 エポックごとにチェックポイントを保存し, 各実験で最も評価指標の高いモデルを使用する. その後, 有意水準を 0.05 として並べ替え検定を片側検定で行う.

## 4.2 結果

表 1 に各実験の GLUE の dev set における平均を示す. 括弧内の数字は標準偏差である. タスクごとに最良のものを太字としており，下線が引かれているものよりも統計的に有意に評価指標が高い. 教師モデルの行は, 平均的に最も性能が高い学習率における結果である.

提案手法である CILDA+minILD は使用したタスクでは MRPC 以外で MATE-KDを超える結果にならなかった. また，先行研究では MATE-KDを超える結果を示した CILDA も MRPC 以外で MATE-KD を超えることはなかった。

## 5 CILDA の有効性の再検証

本研究では，CILDA のスコアが MATE-KDを超えず先行研究とは異なる結果となった. そのことが CILDA+minILD が有効でなかった理由であるという仮説をたて，CILDA の有効性を検証した。

CILDA のスコアが低かった原因としてハイパー パラメータが適切でなかったからである可能性がある. 先行研究では，バッチサイズは $8,16,32$ から, 学習率は 1e-05, 2e-05, 4e-06 から選択しており本研究で使用したハイパーパラメータとは異なる.

## 5.1 再検証の実験設定

この仮説を検証するため，CILDAを実験を先行研究のハイパーパラメータに合わせて実験を行った. $n_{G}$ は CoLA， MRPC，RTE では 20，STS-B では 10 とした. $n_{S}$ はすべてのタスクにおいて 100 とした. ハイパーパラメータ探索は 5 エポックの
表 2 RoBERTa の dev set における結果

表 3 BERT の dev set における結果

実験を 5 回行い，5 エポック時点での評価指標の平均が最も高いバッチサイズ，学習率の組を探索する. その後本実験を行う. 本実験の手順は節 4.1.6 に示したものと同じである. 実験では GPU に RTX A6000を 1 枚使用した。追加検証のため RoBERTa，BERT[1], BART[14]の 3 通りのモデルを用いて実験を行った. BERT の実験では教師モデルと Generator を BERT-large (cased), 生徒モデルを DistilBERT[13], BART の実験では教師モデルと Generator を BART-large, 生徒モデルを BART-base とした. BART の実験では教師モデルのファインチューニングを 10 エポックとし，各エポックでチェックポイントを保存し, 最良のチェックポイントを用いた。

## 5.2 再検証実験結果

表 2，3，4 亿結果を示す. RoBERTa の実験では，節 4.2 と比較して CILDA のスコアは向上したが,傾向は変わらず MARC のみ MATE-KD を上回る結果となった. BERT の実験でも RoBERTa の実験と表 4 BART の dev set における結果

同様の傾向となった. BART の実験では RoBERTa, BERT の場合と異なり，タスク毎に最高性能の手法が異なっているため，知識蒸留に中間層蒸留，敵対的学習，対照学習を導入することが BARTにおいては有効であるとは確認できなかった. ただし， Vanilla KD は w/o KD と比較して高いスコアが得られた。そのため知識蒸留自体は BARTにおいても有効である可能性がある．表 4 には記載していないが CoLA，RTE，STS-B では w/o KD と Vanilla KD の間に有意差は確認できず，MRPC のみ Vanila KD の方が有意に高いという結果であった.

先行研究では CILDA が MATE-KD を超える性能を示したと報告されているが，どのモデルを使った実験でも，そのような結果を再現できなかった. そのため, MATE-KD と CILDA の違いである $L_{C R D}$ の利用は有効でなかったと考えられる。提案手法の CILDA+minILD は $L_{C R D}$ を CILDA の最小化ステップでも用いるという手法であるため， $L_{C R D}$ が有効な損失関数でなかったことが CILDA+minILD の性能が低かった原因と考えられる。

## 6 終わりに

本研究では, CILDA の最小化ステップに中間層出力の利用と対照学習を適用した CILDA+minILDを提案した.しかし, 従来の手法である MATE-KD よりも低い性能となり，その原因が CILDA の性能が低いことにあると結論づけた．今後は，本研究で扱わなかった GLUE の他のタスクでも同様の結果が得られるかの検証，CILDA の性能が MATE-KD よりも低かった原因の究明，本研究で最も高い性能を発揮した MATE-KD を改良することによる知識蒸留の性能の向上などを行っていきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, Vol. abs/1907.11692, , 2019.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. arXiv, Vol. abs/2005.14165, , 2020.

[4] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways. arXiv, Vol. abs/2204.02311, , 2022.

[5] Geoffrey E. Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. arXiv, Vol. abs/1503.02531, , 2015 .

[6] Siqi Sun, Yu Cheng, Zhe Gan, and Jingjing Liu. Patient knowledge distillation for BERT model compression. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4323-4332, Hong Kong, China, November 2019. Association for Com- putational Linguistics.

[7] Peyman Passban, Yimeng Wu, Mehdi Rezagholizadeh, and Qun Liu. Alp-kd: Attention-based layer projection for knowledge distillation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 13657-13665, May 2021.

[8] Md Akmal Haidar, Nithin Anchuri, Mehdi Rezagholizadeh, Abbas Ghaddar, Philippe Langlais, and Pascal Poupart. RAIL-KD: RAndom intermediate layer mapping for knowledge distillation. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1389-1400, Seattle, United States, July 2022. Association for Computational Linguistics.

[9] Ahmad Rashid, Vasileios Lioutas, and Mehdi Rezagholizadeh. MATE-KD: Masked adversarial TExt, a companion to knowledge distillation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1062-1071, Online, August 2021. Association for Computational Linguistics.

[10] Siqi Sun, Zhe Gan, Yuwei Fang, Yu Cheng, Shuohang Wang, and Jingjing Liu. Contrastive distillation on intermediate representations for language model compression. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 498-508, Online, November 2020. Association for Computational Linguistics.

[11] Md Akmal Haidar, Mehdi Rezagholizadeh, Abbas Ghaddar, Khalil Bibi, Phillippe Langlais, and Pascal Poupart. CILDA: Contrastive data augmentation using intermediate layer knowledge distillation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4707-4713, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[12] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv, Vol. abs/1910.01108, , 2019.

[14] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A ハイパーパラメータ

ハイパーパラメータ探索の結果，採用したハイパーパラメータを表 $5 ， 6 ， 7$ に示す. 数字が 1 つの場合は学習率，2つある場合は上が学習率，下がバッチサイズである. CILDA 検証の行は 5 章の実験のものを表す.

表 5 RoBERTa の実験

表 6 BERT の実験

表 7 BART の実験

## B 教師モデルの性能

RoBERTa，BERT，BART の実験において，実際に使用した教師モデルの性能を表 8 に示す.

表 8 教師モデルの性能