# スケール不変な木構造棒折り過程に基づく 無限階層トピックモデル

江島舟星 ${ }^{1}$
1 ハーバード大学大学院 政治学科
shuseieshima@g. harvard.edu
}

持橋大地 2
2 統計数理研究所
daichi@ism.ac.jp

## 概要

階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手法では、木が深くなるにつれて各トピックの平均確率が指数的に小さくなり、似通ったトピックが多数推定されてしまう。本研究ではこの課題に対し、ス ケール不変木構造棒折り過程を用いた階層的トピッ クモデル (ihLDA) を提案する。提案手法はトピック 生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。 また、提案手法は木構造棒折り過程の階層化でもあ る。提案手法が、ニューラルモデルを含む既存手法 より 2 つの指標で優れることを実験的に確認した。

## 1 はじめに

トピックモデルは文章の要約、注釈、分類のため に幅広く用いられているが $[1,2,3,4]$ 、大規模コー パスから数千ものトピックを推定できるモデルが登場したことで $[5,6,7,8]$ 、大量のトピックを解釈す る必要性が高まった。

階層的トピックモデルは、トピックの階層的構造 もコーパスから学習することで、トピックの整理 と解釈を助けるものである $[9,10,11,12,13,14,15]$ 。 しかし既存手法では、用いられる確率が小さく、似通ったトピックー単語分布を持つ多数のトピックが 推定される。これは確率的モデルだけでなく、近年 のニューラルモデルにおいても共通の現象である。

トピックの平均確率が減衰する原因は、階層モデ ルで用いられる棒折り過程 [16] が、各トピックの平均確率を木が深くなるにつれ指数的に小さくするこ とにある。既存手法では推定される木構造を一定の 深さで打ち切るなどのヒューリスティックに基づ き、トピックの減衰を防いできた。

これに対し本研究は、スケール不変な木構造棒折
り過程と、それに基づく無限階層トピックモデル (ihLDA) を提案し、以下の 3 点を実現する。

1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定

2. 木構造棒折り過程 (TSSB) [11] の階層ベイズ化

3. 木構造に属する全てのトピックを数え上げる必要のない、効率的なサンプリング

棒折り過程を用いる既存手法に提案手法を取り 入れることは容易であり、本研究は確率的モデル、 ニューラルモデル双方の改善に資するものである。

## 2 木構造棒折り過程

木構造棒折り過程 (TSSB)[11] は、2つの棒折り過程を [16] を組み合わせ、理論的には無限の深さと幅 を持つトピック木を図 1 のように実現する。

階層的トピックモデルは潜在トピック $\boldsymbol{\epsilon}=\boldsymbol{\epsilon}_{1} \epsilon_{2} \ldots$ を各文書の各単語に割り当てる。深さ $|\epsilon|$ のトピッ ク $\boldsymbol{\epsilon}$ は先祖と子を持ち、 $\{\boldsymbol{\kappa}: \boldsymbol{\kappa}<\boldsymbol{\epsilon}\}$ が先祖集合を表 す。また、 $\boldsymbol{\epsilon}$ の親は $\boldsymbol{\epsilon}^{\prime} て ゙ 、 \boldsymbol{\epsilon}$ の子は $\{\boldsymbol{\epsilon} k: k \in 1,2,3, \ldots\}$ で示す。

TSSB におけるトピック $\boldsymbol{\epsilon}$ の確率 $\pi_{\epsilon}$ は、

$
\pi_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right) \cdot \prod_{\kappa \leq \epsilon} \phi_{\kappa}, \phi_{\epsilon k}=\psi_{\epsilon k} \prod_{j=1}^{k-1}\left(1-\psi_{\epsilon j}\right)
$

で表される。式 (1) の第 1 項はトピック $\epsilon$ が縦方向 に止まる確率であり、続く積は $\boldsymbol{\epsilon}$ の先祖を縦方向に は通過しつつ、横方向では $\epsilon$ とその先祖に止まる確率である。縦横方向に止まる確率は、ベータ分布に 従うとする。

$
v_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \alpha_{0}\right), \psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \gamma_{0}\right) .
$

$\alpha_{\epsilon}=\alpha_{|\epsilon|} \cdot \lambda^{|\epsilon|-1}, 0 \leq \lambda \leq 1$ と定め、深いほど単語が止 まりやすくする。以下、 $\alpha_{\epsilon}$ を $\alpha$ と記す。

図1 木構造棒折り過程 [11]。青の区間はその幅に比例した確率 $\pi$ のトピックを、角括弧は各トピックの経路を、黒線 は親子関係を、 $\psi$ は横方向の棒折り過程を示す。右図はトピックのみを抜き出したものである。

(a) TSSB [11]

(b) スケール不変 TSSB (提案手法)

$\alpha_{0}=3.5, \gamma_{0}=2, \lambda=0.25$

図 2 TSSB [11] (a) とスケール不変 TSSB (b)。青の区間は その幅に比例したトピックを示す。(a)(b) は同じハイパー パラメータから生成された木構造であるが、(b) の提案手法は確率 $\pi_{\epsilon}$ が小さすぎるトピックを生成しない。

Level $\ell$

図 3 深さ $\ell$ における横方向の平均分割確率。 3 つの異な る確率を持つ木の根を提案手法では示した。提案手法の 減衰は、TSSB よりも遅い。 $\gamma_{0}$ の値は 0.8 に固定した。

## 3 スケール不変木構造棒折り過程

TSSB は階層的トピックモデルに用いられるが $[14,15] 、 木$ 構造が深くなるほどトピックの平均確率が指数的に小さくなるという問題を抱えている。図 2(a) に示されるように、 3 段目、 4 段目のトピッ クの確率はより上部のトピックと比べて小さい。

このような TSSB の性質は、横方向パラメータ $\psi_{\epsilon}$ が深さに関わらず同じ平均確率を持つために生じ る。付録 A が示す通り、深さ $\ell$ における横方向の平均分割確率は $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1)^{\ell}$ であり、深さ $\ell$ が 分母の指数にある。このため、図 3 の点線が示すよ うな指数的な減衰が生じてしまう。

そこで本研究では、式 (2)の $\gamma_{0}$ を親ノード $\boldsymbol{\epsilon}^{\prime}$ から

$
\psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}\right)
$

としてスケールを修正する。ここで根ノードにおい
ては $\phi_{\boldsymbol{\epsilon}^{\prime}}=1$ である。以下 $\gamma=\phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}$ と表記する。

式 (3) で鍵となるのは、親トピック $\boldsymbol{\epsilon}^{\prime}$ における横方向の分割確率 $\phi_{\epsilon^{\prime}}$ を用いて、その子トピックの相対的な棒の長さ $\psi_{\epsilon}$ を求めている点である。これに よって、付録 $\mathrm{A}$ に示した通り、深さ $\ell$ での平均的な 棒の長さを $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1])(\ell \geq 2)$ と し、深さ $\ell$ に対してスケール不変となる分割を実現 した。図 3 の実線が提案手法であるスケール不変木構造棒折り過程 (スケール不変 TSSB) を表している。

図 2(b) にこのスケール不変 TSSB からのサンプル を、(a)と同じハイパーパラメータを用いて示した。提案手法を用いると、木構造が深くなってもトピッ クの確率が小さくなりにくいことがわかる。

## 4 スケール不変木構造棒折り過程に 基づく無限階層トピックモデル

トピックモデルは、文書-トピック分布とトピッ ク一単語分布の組み合わせであり、本論文が提案す るihLDA は、スケール不変 TSSB を前者に、階層 Pitman-Yor 過程 [17]を後者に用いる。

文書-トピック分布それぞれのトピックが用い られる確率は文書ごとに異なるが、トピック自体は 全ての文書で共有されなければならない。このため 本研究は、スケール不変 TSSB を階層木構造棒折り 過程 (HTSSB) [18] に適用する。図 4 の通り、HTSSB は親 TSSB から子 TSSB を各文書に対して階層的に 生成する。

図 4 HTSSB は親 TSSB から子 TSSB を階層的に生成す る。子TSSB は各文書の文書-トピック分布である。

HTSSB は階層ディリクレ過程 (HDP)[19]を式 (2) と (3) の縦横方向のパラメータに適用する。HTSSB での親子関係を示すために、チルダ記号を用い て子 TSSB のトピック $\boldsymbol{\epsilon}$ に対応する親 TSSB のト

$v_{\epsilon} \sim \operatorname{Be}\left(a \tau_{\tilde{\epsilon}}, a\left(1-\sum_{\kappa \leq \tilde{\epsilon}} \tau_{\kappa}\right)\right) 、 \tau_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right)$ 、横方向の確率は $\psi_{\boldsymbol{\epsilon} k} \sim \operatorname{Be}\left(b \phi_{\tilde{\boldsymbol{\epsilon}} k}, b\left(1-\sum_{j=1}^{k} \phi_{\tilde{\boldsymbol{\epsilon}} j}\right)\right)$ となり、各文書の木構造は式 (1) から求まる。子 TSSB での トピックの割り当てが、HTSSB によって親 TSSB に も影響することに留意しなければならない。

トピックー単語分布 階層 Pitman-Yor 過程 (HPY)[17] によって、深さに応じてトピックの 専門性を高めつつ、親子トピックに意味的な関連性を持たせることができる。 $H_{\boldsymbol{\epsilon}}$ をトピック $\boldsymbol{\epsilon}$ のトピックー単語分布とすると、この事前分布が Pitman-Yor 過程に従い $H_{\epsilon} \sim P Y\left(d_{|\epsilon|}, \theta_{|\epsilon|}, H_{\epsilon^{\prime}}\right)$ となる。 これを根ノード $H_{[1]} \sim \mathrm{PY}\left(d_{0}, \theta_{0}, H_{0}\right)$ に至るまで繰り 返し、 $H_{0}=1 / V$ と単語数 $V$ を用いて一様分布を考え る。トピックー単語分布の木構造は文書-トピック分布の親 TSSB と同じであり、各文書の各トピックで 対応するトピックー単語分布が保証されている。

生成過程 ihLDA の生成過程は、次の通りである。

1. 親 TSSB $\tilde{\pi}$ の生成。 $\pi$ は TSSB とする。

2. トピック一単語分布 $H_{\epsilon}$ を HPYを使って $\widetilde{\pi} の$ 各 トピックに対して生成。

3. 各文書 $d$ に対して文書分布 $\boldsymbol{\pi}^{(d)} \sim \operatorname{HTSSB}(\widetilde{\pi})$ を 生成。

4. 文書 $d$ の $i$ 番目の単語に対し、トピックを $z_{d i} \sim \pi^{(d)}$ と生成し、次に単語 $w_{d i} \sim H_{z d i}$ を生成する。

## 5 モデルの推論

トピック木構造に関わる式 (2)と (3) の縦横パラ メータを推定するために、ディリクレ過程表現の一 つである中華料理街過程 [20]を用いる。トピック $\boldsymbol{\epsilon}$ において、 $n_{0}(\boldsymbol{\epsilon})$ が縦方向の停止数を、 $m_{0}(\boldsymbol{\epsilon})$ が横方向の停止数を、 $n_{1}(\boldsymbol{\epsilon})$ が縦方向の通過数を、 $m_{1}(\boldsymbol{\epsilon})$ が横方向の通過数を表すとする。また $n(\boldsymbol{\epsilon})=n_{0}(\boldsymbol{\epsilon})+n_{1}(\boldsymbol{\epsilon})$ 、 $m(\boldsymbol{\epsilon})=m_{0}(\boldsymbol{\epsilon})+m_{1}(\boldsymbol{\epsilon})$ と定義する。するとデータと他 のパラメータで条件づけたパラメータの期待値がそ れぞれ $\widehat{v}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[v_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+n_{0}(\boldsymbol{\epsilon})\right) /(1+\alpha+n(\boldsymbol{\epsilon}))$ と $\widehat{\psi}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[\psi_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+m_{0}(\boldsymbol{\epsilon})\right) /(1+\gamma+m(\boldsymbol{\epsilon}))$ となる。 ここで式 (1)を用いることで、 $\pi_{\epsilon}$ の事後確率の期待值が求まる。さらに HTSSB においても同様に、文書 $d$ における縦横パラメータの事後確率の期待値が

$
\begin{aligned}
\mathbb{E}\left[v_{\boldsymbol{\epsilon}}^{(d)} \mid \mathrm{rest}\right] & =\frac{a \tau_{\tilde{\boldsymbol{\epsilon}}}+n_{0}(\boldsymbol{\epsilon})}{a\left(1-\sum_{\kappa<\tilde{\boldsymbol{\epsilon}}} \tau_{\kappa}\right)+n(\boldsymbol{\epsilon})}, \\
\mathbb{E}\left[\psi_{\boldsymbol{\epsilon} k}^{(d)} \mid \mathrm{rest}\right] & =\frac{b \phi_{\tilde{\boldsymbol{\epsilon}}}+m_{0}(\boldsymbol{\epsilon} k)}{b\left(1-\sum_{j=1}^{k-1} \phi_{\tilde{\boldsymbol{\epsilon}}^{\prime} j}\right)+m(\boldsymbol{\epsilon} k)}
\end{aligned}
$

であることがわかる。親 TSSB の停止・通過回数の 更新については、付録 B に詳述した。

次に、トピックの割り当てについてはレトロスぺ クティブサンプリング [21] と二分探索を組み合わ せたギブスサンプリングを用いた。スライスサンプ リングは現在のトピックと、ランダムに選ばれたト ピックを比較するため、任意の $u \sim \operatorname{Unif}[0,1)$ に対応 するトピックを見つけることさえできれば、全ての トピックを数え上げる必要がなく効率的である。付録 C に具体的なアルゴリズムを示した。

HPY のパラメータ推定は原論文 [17] に従い、そ の他はスライスサンプリング $[22,23]$ を用いた。

## 6 実験

設定 実験には BBC News [24]、20News [25]、独自のWikipedia コーパスを用いた。文書数はそれぞ れ 2,225、18,828、50,513であり、ランダムに選んだ $80 \%$ 訓練データとした。

比較対象は nCRP [9]、rCRP [12]、TSNTM [14]、 nTSNTM [15] で、それぞれ既定值を用いたが、10,000 イテレーションに 2 週間以上かかったモデルは結果 から除外した。全てのモデルを同一基準で比較する ために、各トピックは少なくとも 100 語に割り当て られているものとした。

量的比較 既存研究で用いられているトピック固有性 (TU)[26, 27, 15]、平均重複 (AO)[15] に加えて、新しく木構造多様性 (TD) を提案する。TU は大きい ほどトピックが平均的に固有の単語を上位語に持 ち、AO は小さいほど親子の上位語の重複が少ない。 ただし親子トピックは意味的な重なりを持つはずな ので、上位語の重複が低いとき解釈性が高いかは慎重に検討せねばならない。TD は子トピックの固有性を親トピックの重要性で重み付けしたもので、以下のように定義する。

$
\mathrm{TD}=\sum_{\boldsymbol{\epsilon} \in \mathscr{T}} w_{\boldsymbol{\epsilon}} \frac{\left|\mathscr{V}_{\mathscr{C}(\boldsymbol{\epsilon})}\right|}{u|\mathscr{C}(\boldsymbol{\epsilon})|} ; w_{\boldsymbol{\epsilon}}=\frac{|\mathscr{D}(\boldsymbol{\epsilon})|}{\sum_{\boldsymbol{\kappa} \in \mathscr{T}}|\mathscr{D}(\boldsymbol{\kappa})|}
$

ここで、 $\mathscr{C}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子トピックの集合、 $\mathscr{D}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子孫の集合、 $\mathscr{V}_{\mathcal{N}}$ はトピック集合 $\mathcal{N}$ の上位 $u$ 語か ら重複を除いた単語集合である。TDが大きいほど、子トピックが固有の単語を含む。

表 1 に各指標を $5,10,15$ の上位語数で計算した平均をまとめた。提案手法は TD と TU で既存手法を 上回り、割り当てが 100 語未満のトピックを含めて も高い性能を示している (括弧内の値)。既存の確率的手法 (nCRP と rCRP) は、木が深さ 3 で打ち切られ

} & \multicolumn{3}{|c|}{ 木構造多様性 (TD) (†) } & \multicolumn{3}{|c|}{ トピック固有性 $(\mathrm{TU})(\uparrow)$} & \multicolumn{3}{|c|}{ 平均重複 $(\mathrm{AO})(\downarrow)$} & \multicolumn{3}{|c|}{ トピック数 } \\

表 1 量的比較結果。比較のため 100 語未満にしか割り当てられなかったトピックを除外したが、提案手法については除外前の值を括弧内に示した。

図 $5 \mathrm{BBC}$ コーパスを用いた深さ 6 の木の上位語。色付きの枝を図 6 でさらに説明している。

ているにも関わらず大量のトピックを推定した。

図 6 図 5 の左から 1 番目(赤)、3番目(青)、4番目(緑)の 枝のトピックー単語確率。固有名詞の確率はノードが深い ほど高く、一般的な単語はノードが浅いほど高い。

木構造と上位語図 5 に推定された深さ 6 の木と 上位語を、図 6 にいくつかのトピックー単語確率を 示した。固有名詞の確率はノードが深いほど高く、一般的な単語の確率はノードが浅いほど高い。また それぞれの枝が固有のテーマを表していることが読 みとれる。

## 7 関連研究

既存研究では確率の小さなトピックが作られ ることを防ぐために、深さ 3 の浅い木のみの推定 や $[9,12,13]$ 、経験則に基づくトピック生成の制約 $[14,15]$ がなされてきた。これに対し提案手法は、深 い木構造でも打ち切りなしに妥当なトピック数を推定できる (表 1 の括弧内)。また提案手法はTSSB の 階層モデルであるから、単語を生成するトピックが 既存のモデルのように文書ごとに制約されることが ない $[9,10,13]$ 。

階層的トピックモデルは様々なモデルに拡張され ており [28, 29, 30, 31, 32]、棒折り過程を使う既存手法に提案手法を容易に反映させることができる。

## 8 結語

既存の階層的トピックモデルには深くなるにつれ てトピックの確率が指数的に減衰する問題があっ た。親トピックを考慮することでこの問題を解消す る提案手法は、棒折り過程を用いる既存モデルにも 広く応用可能である。実験は 2 つの指標で提案手法 がニューラルを含む既存手法を上回ることを示し、定性的な検証でも $\ell \geq 4$ の深い木の推定が行えるこ とがわかった。

一方、本研究で用いたギブスサンプリングは近似 を伴う既存手法 [33] よりも遅いことがわかってい る。将来的には分散アルゴリズムや変分推論を組み 合わせ、より大規模なコーパスを処理できるように したい。また、本研究の教師なし学習で推定される 木構造を利用者の考える分類と一致させるため、非階層的トピックモデルで提案されている半教師あり 学習 $[34,35]$ を取り入れることも今後の課題である。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006.

[3] Jonathan Chang and David M Blei. Hierarchical relational models for document networks. The Annals of Applied Statistics, Vol. 4, pp. 124-150, 2010.

[4] Margaret E. Roberts, Brandon M. Stewart, and Edoardo M. Airoldi. A model of text for experimentation in the social sciences. Journal of the American Statistical Association, Vol. 111, pp. 988-1003, 2016.

[5] Aaron Q Li, Amr Ahmed, Sujith Ravi, and Alexander J Smola. Reducing the sampling complexity of topic models. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 891-900, 2014.

[6] Hsiang-Fu Yu, Cho-Jui Hsieh, Hyokun Yun, S V N Vishwanathan, and Inderjit $S$ Dhillon. A scalable asynchronous distributed algorithm for topic modeling. In Proceedings of the 24th International Conference on World Wide Web, pp. 1340-1350, 2015.

[7] Jinhui Yuan, Fei Gao, Qirong Ho, Wei Dai, Jinliang Wei, Xun Zheng, Eric P. Xing, Tie Yan Liu, and Wei Ying Ma. LightLDA: Big topic models on modest computer clusters. In Proceedings of the 24th International Conference on World Wide Web, pp. 13511361, may 2015.

[8] Jianfei Chen, Kaiwei Li, Jun Zhu, and Wenguang Chen. WarpLDA: A cache efficient $\mathrm{O}(1)$ algorithm for latent Dirichlet allocation. Proceedings of the VLDB Endowment, Vol. 9, , 2016.

[9] David M. Blei, Thomas L. Griffiths, Michael I. Jordan, and Joshua B. Tenenbaum. Hierarchical topic models and the nested Chinese restaurant process. In Proceedings of the 16th International Conference on Neural Information Processing Systems, pp. 17-24, 2003

[10] David M. Blei, Thomas L. Griffiths, and Michael I. Jordan. The nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies. Journal of the ACM, Vol. 57, No. 2, pp. 1-30, feb 2010.

[11] Ryan P. Adams, Zoubin Ghahramani, and Michael I. Jordan. Treestructured stick breaking for hierarchical data. In Proceedings of the 23rd International Conference on Neural Information Processing Systems, pp. 19-27, 2010.

[12] Joon Hee Kim, Dongwoo Kim, Suin Kim, and Alice Oh. Modeling topic hierarchies with the recursive Chinese restaurant process. In Proceedings of the 21 st ACM international conference on Information and knowledge management, pp. 783-792. ACM Press, 2012.

[13] John Paisley, Chong Wang, David M. Blei, and Michael I. Jordan. Nested hierarchical Dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 37, No. 2, pp. 256-270, feb 2015.

[14] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 800-806, 2020.

[15] Ziye Chen, Cheng Ding, Zusheng Zhang, Yanghui Rao, and Haoran Xie. Tree-structured topic modeling with nonparametric neural variational inference. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2343-2353, 2021.

[16] Jayaram Sethuraman. A constructive definition of dirichlet priors. Statistica Sinica, Vol. 4, No. 2, pp. 639-650, 1994.

[17] Yee Whye Teh. A Bayesian interpretation of interpolated Kneser-
Ney. Technical report, National University of Singapore School of Computing, 2006

[18] 持橋大地, 能地宏. 無限木構造隠れ Markov モデルによ る階層的品詞の教師なし学習. 情報処理学会研究報告 2016-NL-226, 2016.

[19] Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M Blei. Hierarchical dirichlet processes. Journal of the American Statistical Association, Vol. 101, No. 476, pp. 1566-1581, 2006.

[20] John Paisley and Lawrence Carin. Hidden markov models with stick-breaking priors. IEEE Transactions on Signal Processing, Vol. 57, No. 10, pp. 3905-3917, 2009.

[21] Omiros Papaspiliopoulos and Gareth O. Roberts. Retrospective Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, Vol. 95, No. 1, pp. 169-186, 2008.

[22] Radford M Neal. Slice sampling. The Annals of Statistics, Vol. 31, pp. 705-767, 2003 .

[23] Daichi Mochihashi. Unbounded slice sampling. ISM Research Memorandum No. 1209, 2020.

[24] Derek Greene and Pádraig Cunningham. Practical solutions to the problem of diagonal dominance in kernel document clustering. In Proceedings of the 23rd International Conference on Machine learning, pp. 377-384. ACM Press, 2006.

[25] Ken Lang. NewsWeeder: Learning to filter Netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[26] Feng Nan, Ran Ding, Ramesh Nallapati, and Bing Xiang. Topic modeling with Wasserstein autoencoders. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[27] Corentin Masson and Syrielle Montariol. Detecting omissions of risk factors in company annual reports. In Proceedings of the Second Workshop on Financial Technology and Natural Language Processing, pp. 15-21, 2020.

[28] Su Jin Shin and Il Chul Moon. Guided HTM: Hierarchical topic model with dirichlet forest priors. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 2, pp. 330-343, feb 2017.

[29] Yueshen Xu, Jianwei Yin, Jianbin Huang, and Yuyu Yin. Hierarchical topic modeling with automatic knowledge mining. Expert Systems with Applications, Vol. 103, pp. 106-117, aug 2018.

[30] Ming Yang and William H. Hsu. HDPauthor: A new hybrid author-topic model using latent Dirichlet allocation and hierarchical Dirichlet processes. In Proceedings of the 25th International Conference Companion on World Wide Web, pp. 619-624, 2016.

[31] Xi Zou, Yuelong Zhu, Jun Feng, Jiamin Lu, and Xiaodong Li. A novel hierarchical topic model for horizontal topic expansion with observed label information. IEEE Access, Vol. 7, pp. 184242184253, 2019.

[32] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Unsupervised abstractive opinion summarization by generating sentences with tree-structured topic guidance. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 945961, 2021.

[33] Diederik P Kingma and Max Welling. Stochastic gradient vb and the variational auto-encoder. In Proceedings of the 2nd International Conference on Learning Representations, Vol. 19, p. 121, 2014.

[34] Jagadeesh Jagarlamudi, Hal Daumé III, and Raghavendra Udupa. Incorporating lexical priors into topic models. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 204-213, 2012.

[35] Shusei Eshima, Kosuke Imai, and Tomoya Sasaki. Keyword assisted topic models. arXiv 2004.05964, 2020.

## A 階層 TSSB でのトピック平均確率

棒降り過程 $\phi_{k}=v_{k} \prod_{j=1}^{k-1}\left(1-v_{j}\right), v_{k} \sim \operatorname{Be}(1, \gamma)$ に おいて、 $v_{k}$ の平均確率は $\mathbb{E}\left[v_{k}\right]=1 /(1+\gamma)$ であるか ら、 $k$ 番目に折られた棒の平均確率は以下となる、

$
\mathbb{E}\left[\phi_{k}\right]=\frac{1}{1+\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k-1}=\frac{1}{\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k} .
$

次に棒折り過程におけるトピックの平均確率は、

$
\begin{aligned}
\mathbb{E}[\phi] & =\sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right] \cdot \phi_{k} \\
& \approx \sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right]^{2} \\
& =\sum_{k=1}^{\infty}\left(\frac{\gamma}{\gamma+1} \cdot \frac{1}{\gamma}\right)^{2} \\
& =\frac{1}{\gamma^{2}} \sum_{k=1}^{\infty}\left(\frac{1}{\left(1+\frac{1}{\gamma}\right)^{2}}\right)^{k} \\
& =\frac{1}{2 \gamma+1}
\end{aligned}
$

となる。ここでは $\phi_{k}$ の平均を近似として用いた。棒折り過程を用いると、深さ $\ell$ におけるトピックの 平均確率は

$
\mathbb{E}[\phi \mid \ell]=\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \approx \frac{1}{(2 \gamma+1)^{\ell}},
$

となる。最初の等号は深さ $\ell-1$ での棒が更に深さ $\ell$ において折られることを示している。 3 節に示した 提案手法では、平均確率が

$
\begin{aligned}
\mathbb{E}[\phi \mid \ell] & =\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \\
& \approx \mathbb{E}[\phi \mid \ell-1] \cdot \frac{1}{2(\gamma \cdot \mathbb{E}[\phi \mid \ell-1])+1} \\
& =\frac{1}{2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1]} \text { for } \ell \geq 2 .
\end{aligned}
$

となる。木構造の根 $(\ell=1)$ においては $\mathbb{E}[\phi \mid \ell=1]=$ $1 /(2 \gamma+1)$ である。木構造が深くなっても、トピック の平均確率が指数的に小さくなることはない。

## B HTSSB での停止・通過回数

単語 $w$ が子 TSSB のトピック $\epsilon$ で縦方向の停止を した場合、 $a v_{\tilde{\boldsymbol{\epsilon}}} /(a+n(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $n(\boldsymbol{\epsilon}) /(a+n(\boldsymbol{\epsilon}))$ に比例する 確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。横方向につい ても同様に $b \psi_{\tilde{\boldsymbol{\epsilon}}} /(b+m(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $m(\boldsymbol{\epsilon}) /(b+m(\boldsymbol{\epsilon}))$ に比例す る確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。

## C 推論アルゴリズム

トピックの探索と割り当ては以下の通りである。

## D 評価指標の詳細

トピック固有性 (TU) 定義は $\mathrm{TU}=$ $|\mathcal{T}|^{-1} \sum_{\boldsymbol{\epsilon} \in \mathscr{T}}\left(u^{-1} \sum_{u^{\prime}=1}^{u} n\left(u^{\prime}, \boldsymbol{\epsilon}\right)^{-1}\right)$ である。ここで $\mathscr{T}$ は推定されたトピック集合、 $n\left(u^{\prime}, \boldsymbol{\epsilon}\right)$ は $\boldsymbol{\epsilon}$ の $u^{\prime}$ 番目 の上位単語が、全てのトピックでの上位 $u$ 語に登場 した回数である。TU が大きいほどトピックの固有性が高い。

平均重複 (AO) $\mathrm{AO}$ は親子トピック間で上位 $u$ 語 の重複を平均し、 $\mathrm{AO}=|\mathscr{T}|^{-1} \sum_{\epsilon \in \mathscr{T}}\left|\mathscr{V}_{\epsilon} \cap \mathscr{V}_{\epsilon^{\prime}}\right| \cdot u^{-1}$ と定義される。ここで $\mathscr{V}_{\epsilon}$ は $\epsilon$ の上位 $u$ 語である。低い $\mathrm{AO}$ は親子関係の単語の重複が少ないことを示す。


# マルチラベル分類のための重みつき非対称損失関数

安田有希 宮墒太郎 後藤淳
日本放送協会 放送技術研究所
\{yasuda.y-hk, miyazaki.t-jw, goto-j. fw\}@nhk.or.jp

## 概要

単一のテキストに複数のラベルを付与するマルチ ラベルテキスト分類は、自然言語処理で重要なタス クの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ 中にあまり出現しない低頻度ラベルは、ポジティブ サンプル数が極端に少なく、ほとんどの入力がネガ ティブサンプルである。そのため、モデルは低頻度 ラベルをほとんどネガティブサンプル由来の損失 から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の 損失値を抑制する重みを組み合わせる手法を提案 する。実験の結果、Reuters-21578 では、micro-F1 で 0.911 と SOTAを上回る性能を達成した。

## 1 はじめに

マルチラベルテキスト分類 (MLTC) は、自然言語処理の中でも重要な課題の一つであり、今日実世界 の様々な場面で適用されている。たとえば、法律文書の分類 [1]、カルテによる自動診断 [2] が挙げ られる。MLTC では文書 $x_{i} \in X$ に対して、事前に 定義されたラベルから適切なラベルのサブセット $y_{i} \in\{0,1\}^{C}$ を付与するタスクである $[3,4]$ 。なお、 ここで $X$ は文書の集合であり、 $C$ は事前に定義さ れたラベルの総数である。MLTC においてべンチ マークとして広く利用されている Reuters-21578[5] のデータのサンプルを図 1 に示す。

 \\
Labels 1 & cocoa \\

Labels 2 & sorghum, oat, barley, corn, wheat, grain \\

図 1 Reuters-21578 のデータ例

図 2 Reuters-21578 におけるラベル分布

MLTC の特徴として、ラベルの頻度がロングテー ル分布に従う不均衡データセットが挙げられる。一例として、図 2 に Reuters-21578 の各ラベルの頻度分布を示す。図 2 が示すとおり、低頻度ラベルはポ ジティブサンプルから学習することは稀であり、殆 どの場合ネガティブのサンプルから学習する。これ は、Imbalanced learning と呼ばれ、機械学習の分類問題における大きな課題の一つである [6,7]。

この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法 が提案されている $[8,9,10]$ 。さらに、これらの手法 は自然言語処理分野にも流用され、効果を発揮して いる [11]。本研究では、ラベルの共起情報をもとに した重みとラベルの頻度から構成された重み、ネガ ティブサンプルの影響を軽減する重みを組み合わ せ、不均衡データセットの影響を抑制するような損失関数を提案する。

## 2 関連研究

Class-Balanced Loss (CBL)[8] は、データセット内 の各ラベルの出現数に反比例する重みを構築して損失値に重み付けする手法である。つまり、出現数の 多いラベルの損失值ほど抑制されるような重みを構築するため、各ラベル間での損失值のバランスが調整される。しかしながら、CBLでは同一のラベルに おけるポジティブサンプル由来の損失とネガティブ サンプル由来の損失のバランスは考慮されない。マ

ルチラベル分類では、ラベル空間が大きいタスクを 取り扱うことも多いため、学習サンプルにおいてモ デルが計算する損失值のほとんどが、ネガティブラ ベル由来の損失値である。つまり、ラベル間の重み 調整だけでは偏ったネガティブサンプルの影響を取 り除けず、ポジティブサンプルに対しても意味のあ る学習が難しくなってしまう。

この課題を解決するために Distribution-Balanced Loss (DBL)[9] が提案されている。DBL は、損失值を調整する重みと Negative-Tolerant Regularization (NTR) 手法を統合して構成される。重みはバッチ内 のラベル出現数の逆数とデータ全体のラベル出現数 の逆数の比を求めることで算出される。また、NTR はモデルの出力からその逆数とハイパーパラメータ によって算出される値を引くことによってネガティ ブサンプルの学習を抑制することを実現している。 すなわち、モデルの出力が一定の値を下回ると急激 に損失値を低下させることができる。ただし、DBL では学習のために事前定義しなければならないハイ パーパラメータが非常に多く、データ量が多い傾向 にある MLTC では探索のコストが非常に高い。

学習中のネガティブサンプルの影響を緩和するた めの別の手法として、非対称的な形を持った重みを 損失值に適用する Asymmetric Loss (ASL)[10] が提案 されている。ASL のコンセプトとして、以下の 2 点 が挙げられる。それは Focal Loss (FOC)[12] におけ る減衰率 $\gamma$ を正負のサンプルで分離する Asymmetric Focusing 手法と学習が十分に進んだネガティブ サンプルの損失値を完全に破棄する Asymmetric Probability Shifting 手法である。つまり、ラベルの正負をもとにした損失値への重み付けと意味のあるサ ンプルからの学習の選択を同時に行う。ASLでは、 ネガティブサンプルに適用される $\gamma_{-}$をポジティブ サンプルに適用される $\gamma_{+} よ り も$ 高く設定すること で、ネガティブサンプルに対するモデルの出力が小 さい場合に損失值を抑制する一方で、ポジティブサ ンプルの損失値は不当に抑制されないような学習を 実現している。ただし、ASL はネガティブサンプル の影響の抑制に高い効果を発揮する一方で、データ セット内で多く出現する高頻度ラベルの影響を抑制 できない。

## 3 提案手法

近年の多くの損失関数の提案は MLTC で多大な成果を収めているが、頻度もしくはラベルの正負とい

図 3 本研究における提案手法の概要図

う一面的な観点でしか重みが構築されていない。そ こで、本研究ではラベル間の頻度の差を緩和する重 みとネガティブサンプルの影響を抑制する重み、低頻度ラベルのサンプル数の少なさを緩和する重みを 統合した手法を提案する。データの中で多数派であ る低頻度でネガティブなサンプルに対しては $\gamma$ の値 を上げることで損失値を抑制する。一方で、少数派 である高頻度ラベルでネガティブなサンプルに対し ては $\gamma$ の値を下げることで損失値の抑制を緩和す る。さらに、トレーニングデータから抽出されたラ ベルの共起表現をもとにした Label Smoothing を行 うことによって低頻度ラベルのサンプル数の少なさ を補い、モデルの過学習を抑制することを狙う。本提案手法の概要図を図 3 に示す。

## 3.1 Class Balancing モジュール

Class Balancing モジュールではトレーニングデー タ全体のラベル分布から各ラベルに適用する重みを 計算する。本提案手法では、CBL で提唱されている ラベルの出現数をもとにした重み $r^{c b}$ から重み $\hat{r}^{c b}$ を構築する。 $\hat{r}^{c b}$ は、CBL と同様に損失値全体の重 み付けを行うと同時に、後に説明する Asymmetric Focusing モジュールにおいて $\gamma$ を調整する役割も持

つ。 $\hat{r}^{c b}$ は以下のように定義される。

$
\begin{aligned}
r^{c b} & =\frac{(1-\beta)}{1-\beta^{n_{y}}}, \\
\hat{r}^{c b} & =\frac{r^{c b} n_{y}}{\sum^{i} r^{c b}} .
\end{aligned}
$

ここで、 $n_{y}$ は各ラベルの出現数、 $0 \leq \beta<1$ は重み の強度を調整するハイパーパラメータである。

## 3.2 Asymmetric Focusing モジュール

Asymmetric Focusing モジュールでは ASL と同様 に、ポジティブサンプルとネガティブサンプルの それぞれに適用する重み $(1-p)^{\gamma_{+}},\left(p_{m}\right)^{\gamma_{-}}$を計算 する。このうち、ネガティブラベルに適用される $\gamma_{-}$と Class Balancing モジュールで構築された重み $\hat{r}_{c b}$ を掛け合わせる。提案手法 Asymmetric Loss with Weight Combination (ASLWC) における損失は以下の ように定義される。

$
\begin{aligned}
\text { Loss } & =\hat{r}^{c b}\left[-y L_{+}-(1-y) L_{-}\right] \\
L_{+} & =(1-p)^{\gamma_{+}} \log (p), \\
L_{-} & =\left(p_{m}\right)^{\gamma_{-} r_{-}^{c b}} \log \left(1-p_{m}\right), \\
p_{m} & =\max (p-m, 0) .
\end{aligned}
$

ここで、 $0 \leq \gamma_{+}<\gamma_{-}$はハイパーパラメータである。 また、式 6 は Asymmetric Probability Shifting 手法で あり、モデルの出力確率が非常に低い場合、ネガ ティブサンプルによる影響を完全に破棄するための 処理である。

## 3.3 Label Smoothing モジュール

Class Balancing と Asymmetric Focusing による重み 調整では、低頻度ラベルに対応する入力サンプルの 少なさは本質的に解決されない。本提案手法では Label Smoothing 手法 [13]をもとに、事前確率として ラベルの共起情報を設定した Label Smoothing を行 う。本提案手法における Label Smoothing は以下の ように定義される。

$
\begin{aligned}
y^{\prime} & =(1-\alpha) y+\alpha u(y) \\
u(y) & =\operatorname{norm}\left(\sum_{i=1, y_{i}=1}^{C} P P M I_{i j}\right)
\end{aligned}
$

ここで、 $0<\alpha<1$ は Smoothing の度合いを決定す るハイパーパラメータである。さらに、norm は正規化関数であり、Min-Max Normalization 手法を用い る。また、PPMI はトレーニングデータの各ラベル の共起回数から計算された正の自己相互情報量行列
を示す。通常の Label Smoothing では式 7 の項 $u(y)$ は一様分布 $\frac{1}{C}$ が定義されるが、本提案手法の Label Smoothing では、ポジティブラベルとデータセット 内で共起するラベルを関連ラベルとみなし、関連ラ ベルにのみ Ground Truth Value を分配する。これに よって、本来は正負の判定をするためだけの式 3 内 の項 $y 、(1-y)$ を共起情報が加味された重みとして 扱うことができる。

## 4 実験

提案手法の有効性を検証するために、ベースラ イン手法との比較実験を行った。ベースライン 手法の損失関数として Binary Cross-Entropy (BCE)、 FOC[12]、CBL[8]、CBL-NTR[11]、DBL[9]、ASL[10] を用いた。このうち、CBL-NTR と DBL は Reuters21578 において State-of-the-art である。

## 4.1 データセット

本実験では、ベンチマークとして Reuters-21578[5] と AAPD[14]、20 Newsgroups[15] を用いた。それぞ れのデータセットの統計情報を表 1 に示す。なお、

Reuters-21578 に関して、本実験では modApté 分割 [16]を使用して、トレーニングデータとテストデー タに分割した。また、Reuters-21578、20 Newsgroups はともに検証データが事前に定義されていないた め、学習データを 9:1の比率でランダムに分割し、検証データを構築した。

表 1 データセット概要

Reuters-21578 は、1987 年にロイターのニュースワ イヤーに揭載された経済分野のニュース記事から構成されており、ラベルの分布が非常に不均衡という 特徵がある。AAPD は、科学論文のリポジトリであ る arXiv に公開された論文のアブストラクトから構成されており、実験に利用されたデータセットの中 で中程度の不均衡さを持つ。20 Newsgroups は複数 のドメインから構成されるニュース記事を集めた データセットで、ラベル分布が均衡のとれたデータ セットである。
表 2 実験結果

## 4.2 実験設定

本実験では、分類モデルとしてニューラルネット ワークを用いた。RoBERTa[17] で大力サンプルを文章の特徴量に変換するエンコーダ部分と、文章の特徵量から各ラベルのスコアを出力する 2 層の Feed Forward Networks (FFNN) から構成されるモデルを 使用した。モデルは Pytorch[18] と Transformers[19] を用いて実装し、最適化手法として RoBERTaには AdamW[20]を適用し、FFNNにはRAdam[21]を適用 した。各比較手法で共通のハイパーパラメータの 学習エポックは 50 エポック、ドロップアウト率 は 0.1、RoBERTa の学習率は $2 \times 10^{-5}$ 、FFNN の学習率は $2 \times 10^{-3}$ 、出力閾値は 0.5 であった。また、各手法の固有のハイパーパラメータに、それぞ れ FOC は $\gamma=2 、 \operatorname{CBL}$ は $\beta=0.9 、$ DBL は $\beta=10.0$、map $-\gamma=0.9 、$ ASL $\gamma_{+}=1 、 \gamma_{-}=4 、$ ASLWC は $\alpha=0.3 、 \beta=0.3 、 \gamma_{+}=1 、 \gamma_{-}=4$ と設定した。本実験では、各手法の実験は異なるランダムシードで 5 回評価を行い、表 2、表 3 には評価値の平均を記載 した。

## 4.3 評価指標

本実験では、評価指標として Macro-f1、Micro-F1 を用いた。なお、出現頻度が下位三分の一であるラ ベルを低頻度ラベルとして定義し性能を比較した。

## 4.4 結果

本実験の結果を表 2 に示す。Reuters-21578と AAPD において、すべてのラベルを用いた指標で 本提案手法が比較手法を上回ったことが確認され た。なお、Reuters-21578 においては SOTA である CBL-NTR と DBLを超える精度が確認された。一方 で、20 Newsgroups において提案手法を含む重み調整の手法が BCE の精度を超えなかったことが認め
られた。なお、すべてのデータセットにおける各ラ ベルグループごとの結果は付録 A に記載した。

## 4.5 議論

Reuters-21578 と AAPD はどちらもラベルの頻度 に偏りがあり、その影響をモデルに与えやすいデー タセットである。一方で、20 Newsgroups はラベル の不均衡の度合いが弱く、相対的には低頻度ラベル であっても 1000 件程度のサンプル数が確保されて いる。このことから、表 2 を鑑みると本提案手法は ラベルの不均衡の度合いがある程度強いデータに有効である可能性がある。

表 2 の低頻度ラベルの結果から、Reuters-21578 と AAPD において本提案手法が低頻度ラベルの精度を 向上させている。このことから、本提案手法におい て低頻度ラベルの精度向上が全体のラベルの分類精度の向上につながったのではないかと推察できる。 つまり、本提案手法によってラベルの不均衡による 影響を他の提案手法に比べて緩和できている可能性 がある。

## 5 おわりに

マルチラベルテキスト分類では、ラベルの出現頻度に偏りがあるデータにおいて、低頻度ラベルの精度が低いという課題が存在する。そこで、本研究で はラベルの共起情報をもとにした重みと出現頻度の 重み、ネガティブサンプルの損失を抑制する重みと を組み合わせる手法を提案した。実験結果より、提案手法がラベル分布の偏りが強いデータセットに おいてべースラインを上回ることが確認された。ま た、提案手法が低頻度ラベルの精度を改善している ことから Imbalanced learning の問題を緩和できる可能性がある。今後の展望として、より幅広いベンチ マークデータセットでの検証と既存の大規模モデル への適用による手法の頑健性の検証が挙げられる。

## 参考文献

[1] Ilias Chalkidis, Emmanouil Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. Extreme multi-label legal text classification: A case study in EU legislation. In Proceedings of the Natural Legal Language Processing Workshop 2019, pp. 7887, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Clare Amanda and King D. Ross. Knowledge discovery in multi-label phenotype data. In Principles of Data Mining and Knowledge Discovery, pp. 42-53, Berlin, Heidelberg, 2001. Springer Berlin Heidelberg.

[3] Min-Ling Zhang and Zhi-Hua Zhou. A review on multilabel learning algorithms. IEEE Transactions on Knowledge and Data Engineering, Vol. 26, No. 8, pp. 18191837, 2014.

[4] Tsoumakas Grigorios and Katakis Ioannis. Multi-label classification: An overview. International Journal of Data Warehousing and Mining, Vol. 3, No. 3, pp. 1-13, 2007.

[5] Philip J. Hayes and Steven P. Weinstein. CONSTRUE/TIS: a system for content-based indexing of a database of news stories. In Proceedings of the The Second Conference on Innovative Applications of Artificial Intelligence, IAAI '90, pp. 49-64. AAAI Press, 1990.

[6] Haibo He and Edwardo A. Garcia. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, Vol. 21, No. 9, pp. 1263-1284, 2009.

[7] Wang Yaqing, Yao Quanming, Kwok T. James, and Ni M. Lionel. Generalizing from a few examples: A survey on few-shot learning. ACM compututing Ssrveys, Vol. 53, No. 3, pp. 1-34, 2020.

[8] Cui Yin, Jia Menglin, Lin Tsung-Yi, Song Yang, and Belongie Serge. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9268-9277, June 2019.

[9] Wu Tong, Huang Qingqiu, Liu Ziwei, Wang Yu, and Lin Dahua. Distribution-balanced loss for multi-label classification in long-tailed datasets. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Proceedings of the European Conference on Computer Vision, pp. 162-178, Cham, 2020. Springer International Publishing.

[10] Ridnik Tal, Ben-Baruch Emanuel, Zamir Nadav, Noy Asaf, Friedman Itamar, Protter Matan, and Zelnik-Manor Lihi. Asymmetric loss for multi-label classification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 82-91, October 2021.

[11] Yi Huang, Buse Giledereli, Abdullatif Köksal, Arzucan Özgür, and Elif Ozkirimli. Balancing methods for multilabel text classification with long-tailed class distribution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8153-8161, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[12] Lin Tsung-Yi, Goyal Priya, Girshick Ross, He Kaiming, and Dollár Piotr. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, pp. 2999-3007, 2017.

[13] Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jon, and Wojna Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.

[14] Yang Pengcheng, Sun Xu, Li Wei, Ma Shuming, Wu Wei, and Wang Houfeng. SGM: Sequence generation model for multi-label classification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3915-3926, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[15] Ken Lang. Newsweeder: Learning to filter netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[16] Chidanand Apté, Fred Damerau, and Sholom M. Weiss. Automated learning of decision rules for text categorization. ACM Trans. Inf. Syst., Vol. 12, No. 3, pp. 233-251, July 1994.

[17] Zhuang Liu, Wayne Lin, Ya Shi, and Jun Zhao. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[18] Paszke Adam, Gross Sam, Massa Francisco, Lerer Adam, Bradbury James, Chanan Gregory, Killeen Trevor, Lin Zeming, Gimelshein Natalia, Antiga Luca, Desmaison Alban, Kopf Andreas, Yang Edward, DeVito Zachary, Raison Martin, Tejani Alykhan, Chilamkurthy Sasank, Steiner Benoit, Fang Lu, Bai Junjie, and Chintala Soumith. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[19] Wolf Thomas, Debut Lysandre, Sanh Victor, Chaumond Julien, Delangue Clement, Moi Anthony, Cistac Pierric, Rault Tim, Louf Remi, Funtowicz Morgan, Davison Joe, Shleifer Sam, von Platen Patrick, Ma Clara, Jernite Yacine, Plu Julien, Xu Canwen, Le Scao Teven, Gugger Sylvain, Drame Mariama, Lhoest Quentin, and Rush Alexander. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Loshchilov Ilya and Hutter Frank. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020 .

## A ラベル頻度グループ別の結果

実験に使用したデータの頻度グループ別の結果を表 3、表 4、表 5 にそれぞれ示す。データセット中のラベ ルを出現頻度順に並べたときの上位を High、中位を Middle、下位をLow に分割し、性能を比較した。なお、各グループのラベル数は均等になるように分割し、Reuters-21578 と AAPD、20 Newsgroups の各グループはそ れぞれ 30 件、 18 件、 11 件のラベルから構成されている。

表 3 頻度グループごとのラベルにおける実験結果 (Reuters-21578)

表 4 頻度グループごとのラベルにおける実験結果 (AAPD)

表 5 頻度グループごとのラベルにおける実験結果 (20 Newsgroups)

20 Newsgroups


# 対訳データを使わないマルチリンガル表現学習に 必要な分布構造とは何か

李凌寒 1 鶴岡慶雅 1
1 東京大学大学院 情報理工学系研究科
\{li0123,tsuruoka@logos.t.u-tokyo.ac.jp

## 概要

複数の言語にまたがって意味を表現したべクトル を獲得するマルチリンガル表現学習アルゴリズム には、対訳データを用いないものがある。これらの アルゴリズムが言語間の対応を発見するために利用しているのは、自然言語の分布構造の類似性であ る。この分布構造とは具体的にどのようなものだろ うか? 本稿では、代表的なマルチリンガル表現学習 アルゴリズムとして、Skip-gram + VecMap と Masked Language Modeling (MLM)を取り上げ、それらが利用している分布構造を、局所的/大局的なものという 観点から区別して分析する。

## 1 はじめに

人間が異なる言語間の対応関係を理解するために は、2つの言語を明示的に結びつける情報が必要で ある。第二言語学習者にとっては、対訳辞書や教科書の対訳文が、その役目を担うだろう。また、多言語環境で生活する人々は、現実世界の物事との対応 を通して、2つの言語の対応関係を発見することが できる。一方で、ニューラルネットワーク (NN) は、人間とは異なる方法で言語間の対応を発見できるこ とが知られている。

Skip-gram などのアルゴリズムで学習した異なる 言語の単語ベクトル空間は、線形変換によって対応 づけられることが知られており [1]、その変換は対訳 データを使わずに発見することができる $[2,3]$ 。ま た、Transformer と Masked Language Modeling (MLM) を用いて文脈化単語べクトルを学習する際に、異な る言語のコーパスを混ぜて使うだけで、各言語の対応するフレーズのベクトル表現が近づく現象が報告 されており[4]、この効果は各言語に共通の語彙が 存在しない場合でも観察される $[4,5]$ 。これらの表現学習アルゴリズムが、言語間対応発見のための手

図 1 実験フレームワークの概略図。

がかりにできるのは、単語の分布構造の類似性であ る。異なる言語圏であっても、人間は共通の認知基盤を持ち [6]、またいくつかの話題を共有している ため、そうした共通性が言語の分布構造に反映され ていると考えることができる。

それでは、具体的にどのような分布構造が、アル ゴリズムの言語間対応発見の手がかりに使われて いるのだろうか。この問いを明らかにすることで、 NN の自然言語の捉え方に関する理解を深め、未だ に謎の多い $\mathrm{NN}$ という技術を上手く扱えるようにな ることに繋がる。本研究では、調査するアルゴリ ズムとして、Skip-gram + VecMap [3] および、Masked Language Modeling (MLM)を用いた手法を取り上げ る。分析では、学習データとして、分布構造を改変 したソース言語とターゲット言語のテキストを使 い、得られたマルチリンガルベクトルを言語横断テ キスト検索のタスクで評価する（図 1)。ここから、学習データの持つ分布構造の、アルゴリズムの言語間対応発見における必要性を調べることができる。

本稿では分析の観点として、ある単語の周囲数単語だけを含む局所的な分布と、周囲の文を含めた大局的な分布の、2つの分布の対比に注目する。実験 の結果、Skip-gram + VecMap は、自然言語の局所的/大局的な分布のいずれかだけを手がかりにして言語間対応関係を学習できる一方で、MLM は、大局的 な分布のみでは言語間対応を捉えられず、局所的な 分布が必要であることが示唆された。

## 2 対訳データを使わないマルチリン ガル表現学習

本論文の分析対象となるマルチリンガル表現学習手法は、入力として、ソース言語 $S$ のテキスト コーパス、ターゲット言語 $T$ のコーパスを受け取 り、それら言語のマルチリンガルベクトル表現モデ ルを得るアルゴリズムとして定式化できる。ここで は、Skip-gram + VecMap と Masked Language Modeling (MLM)の2つの手法を取り上げる。

## 2.1 Skip-gram + VecMap

Skip-gram [7] で学習されるモデルは、語彙 $V$中の 1 単語に 1 つのベクトルを割り当てる静的単語ベクトルである。学習時には、コーパス 中の単語列 $\left[w_{1}, \ldots, w_{L}\right]$ から、ターゲット単語 $w_{t}$ と、その周囲 $l$ 単語の範囲に存在する文脈語 $\left.\{w_{t-l}, . ., w_{t-1}, w_{t+1}, \ldots, w_{l}\right.\}$ の組が取り出され、ター ゲット単語のベクトルから、文脈語を予測するタス クでモデルを最適化する。本実験では、文脈空のサ イズを $l=5$ 、学習するべクトルの次元を $d=300$ と 設定し、学習は gensim¹) のデフォルトハイパーパラ メータで 15 エポック行った。

それぞれの言語のコーパスから別々に、Skip-gram による単語ベクトルを学習した後に、ソース言語の 単語ベクトルをターゲット空間上に写像すること で、マルチリンガルなベクトル空間を得る。このと き、ソース言語とターゲット言語のベクトル空間は 構造が類似していることが多く、線形変換によっ て揃えることができることが分かっている [1]。対訳辞書 $D=\left.\{\left(w_{1}^{S}, w_{1}^{T}\right), \ldots,\left(w_{N}^{S}, w_{N}^{T}\right)\right.\}$ が存在する場合 は、変換行列を $\boldsymbol{Z} \in \mathbb{R}^{d \times d}$ を、以下の最小二乗問題 を解くことで得られる。

$
\underset{\boldsymbol{Z}}{\arg \min } \sum_{i=1}^{N}\left.\|\boldsymbol{Z} \boldsymbol{w}_{i}^{S}-\boldsymbol{w}_{i}^{T}\right.\|^{2}
$

ここで、 $\boldsymbol{w}_{i}^{S}, \boldsymbol{w}_{i}^{T}$ は、ソース言語とターゲット言語 の、対応する単語のベクトルである。加えて、変換 の品質を向上させるために, 学習後のベクトルには ノルム正規化 $[8,9]$ を施し、 $\boldsymbol{Z}$ には直交行列となる ような制約 $\boldsymbol{Z}^{\top} \boldsymbol{Z}=\boldsymbol{I}$ を課している。

VecMap [3] は、このような変換行列 $\boldsymbol{Z}$ を、対訳 データなしで獲得する手法である。まず、 $\boldsymbol{W}^{S}, \boldsymbol{W}^{T}$ の統計情報から単語対訳辞書 $D_{0}$ を自動で構築す る。ここで利用する統計情報は、単語ベクトル同

1) https://radimrehurek.com/gensim/士の類似度の分布であり、これは言語に関わらず 似ていることが観察されている。単語べクトルを 集めた行列 $\boldsymbol{W} \in \mathbb{R}^{|V| \times d}$ の、類似度分布べクトルは $\operatorname{sorted}\left(\sqrt{\boldsymbol{W} \boldsymbol{W}^{\top}}\right)$ として計算される。ここで、sorted は、行ごとにベクトルの成分をソートする操作を表 す。同様に、類似度分布べクトルをソース言語と ターゲット言語について求め、ソースとターゲット 間で最近傍探索を行い、最も近い単語同士で単語対訳辞書 $D_{0}$ を構築する。

以後、自動で構築した対訳辞書 $D_{t}$ を用いて 式 1 を解き、写像行列 $Z_{t}$ を獲得するステップと、写像後のソース単語ベクトル $\boldsymbol{Z}_{t} \boldsymbol{W}^{S}$ とターゲット単語ベ クトル $\boldsymbol{W}^{T}$ 同士で最近傍探索を行い、新たな対訳辞書 $D_{t+1}$ を構築するステップを繰り返し、写像行列 の精度を高めて最終的な写像行列 $\boldsymbol{Z}$ を獲得する。

## 2.2 Masked Language Modeling

MLM [10] で学習されるモデルは、単語列 $\left[w_{1}, \ldots, w_{L}\right]$ を受け取り、それぞれの単語に対応 する文脈化べクトル $\left[\boldsymbol{h}_{w_{1}}, \ldots, \boldsymbol{h}_{w_{L}}\right]$ を出力するエン コーダである。学習時には、入力単語列にランダム にノイズを適用し、ノイズを適用された単語の出力 ベクトルから、元の単語を予測するタスクを解く。 マスク付き言語モデリング自体には、言語間の対応 を発見するような明示的な処理は存在しないにも関 わらず、学習データに複数の言語を用いるだけで、各言語のフレーズの対応が取れるようなべクトルが 学習され、これは言語間で語彙が共有されなくても 起こる $[4,5]$ 。本実験のエンコーダには、隠れ層の 次元が 512、層の数が 6 の Transformerを用い、MLM の学習は Adam を学習率 $1 e-4$ で用いて、バッチサ イズ 128 で 3 エポック行った。

## 2.3 言語間対応が学習される条件とは何か

これらのアルゴリズムが、言語間の対応を発見す るために使用しているのは、単語の分布構造の類似性だと考えられる。したがって、ソース言語とター ゲット言語の分布構造にずれが生じる場合、言語間対応の学習精度は悪化する場合がある。たとえば、 ソース言語とターゲット言語の言語学的な隔たりが 大きい場合や、コーパスのドメインが異なる場合で ある [11]。この傾向は学習アルゴリズムによって異 なり、MLM は静的単語べクトルベースの手法に比 べて、コーパスのドメインの違いには比較的頑健で あることが知られている [4]。これは学習アルゴリ

ズムによって、対応関係発見に用いている分布構造 が異なることが示唆しているが、その具体的な構造 は明らかになっていない。本研究では、各アルゴリ ズムが、どのような分布構造を手がかりにして言語間の対応関係を発見しているのかを調査する。

## 3 分析実験

本実験では、テキストの分布構造を改変すること で、アルゴリズムの構造への依存性を調べる。

## 3.1 学習データ

本実験は、ソース言語とターゲット言語の分布構造の差に注目するものではなく、両言語の分布構造 が一致しているという前提の元で、言語間対応発見 の必要条件となる分布構造を調べることが目的であ る。そこで、ここでは分布構造が一致しているが、共通の語彙を持たない別々の言語として、英語と、英語の語彙 IDをずらしたものを採用する。英単語 の語彙を $V$ 、トークン $w \in V$ のソース言語における IDを $\operatorname{id}(w)$ としたとき、ターゲット言語における ID は $\operatorname{id}(w)+|V|$ が割り当てられる。

学習データとして、英語 Wikipedia のダンプファ イルからランダムにサンプルした 100M 記事を用 いた。前処理として、まず記事中のテキストに文分割・単語分割を施した後、記事をまたがずに、完全な文のみを含む 128 トークン以内のセグメ ントに分割する。単語分割には事前訓練済みの bert-base-uncased2 ${ }^{2}$ のサブワードレベルのトーク ナイザを用いた。Skip-gramを訓練する際は、セグ メントを分割前に戻し、moses のトークナイザ3)を 用いて単語レベルに再分割した。このセグメント が、表現学習アルゴリズムに与える系列データの 1 単位となる。この処理によって、合計約 548 万のテ キストセグメントを得た。これらのデータをランダ ムに半分ずつに分割し、ソース言語とターゲット言語のコーパスとする。実験では、このデータをその まま使用した学習と、分布構造を改変して学習を 行った場合の結果を比較する。

## 3.2 言語間対応の評価

学習したマルチリンガルなベクトル表現モデル が、どれくらい正確にソース言語とターゲット言語 の対応関係を発見しているかを評価するために、言

2) https://huggingface.co/bert-base-uncased

3) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl語横断テキスト検索タスクを用いる。このタスク は、対訳テキストデータ $\left.\{\left(s_{1}^{(S)}, s_{1}^{(T)}\right), \ldots,\left(s_{N}^{(S)}, s_{N}^{(T)}\right)\right.\}$ が与えられ、モデルは、ソース言語のテキスト $s_{i}^{(S)}$ から、対応するターゲット言語のデータ $s_{i}^{(T)}$ を全 ターゲットテキスト中から探し当てるものである。

今回のベクトル表現モデルは、それぞれのテキ スト $s$ をべクトル表現 $s$ にエンコードして、コサ イン類似度に基づく最近傍探索によって検索する。 Skip-gram + VecMap から獲得したモデルは、テキス ト中の単語 $s=\left[w_{1}, \ldots, w_{L}\right]$ をそれぞれべクトルに変換し、それらを平均して得たべクトル $\frac{1}{L} \sum_{i}^{L} \boldsymbol{w}_{i}$ を用 いて検索を行う。マスク付き言語モデリングで学習 したエンコーダからも同様に、テキスト中の単語の 文脈化べクトルを平均したべクトルを用いる。マル チリンガルエンコーダのベクトル表現の対応は、最終層よりも中間層の方が良いため、結果ではエン コーダの第 4 層から抽出した結果を示す。評価スコ アには平均逆順位を用いた。

## 3.3 大局的な分布と局所的な分布

テキスト中の単語分布は、文書のトピックや文法 といった複数の要因で決まる。ここでは、大局的な 分布と、局所的な分布の 2 つの区別に注目する。こ こでいう大局的な分布とは、それぞれの単語が、文 または周辺の文といった広い範囲を見たときに、ど のような単語と共起するかの分布である。大局的な 分布は、その単語がよく現れる話題を反映している と考えることができる [12]。一方で、局所的な分布 は、より狭い数単語近傍にどのような単語が現れる かを指す。これは単語の話題的な意味に加えて、文法的な性質にも関連して決定される。

こうした分布に関する情報を除去する処理とし て、以下のデータ改変操作を導入する。

Corpus Shuffle は、コーパス中のトークンを、 セグメントの境界を無視してランダムにシャッフ ルする。シャッフル後は、セグメントの長さと数が シャッフル前と同じになるようにコーパスを分割す る。この操作により、コーパスは大局的な分布およ び局所的な分布のどちらも失い、アルゴリズムがア クセスできる意味のある統計情報は、トークンの頻度情報だけになる。

Sentence Shuffle はトークンを、セグメント内 でランダムにシャッフルする。この操作により、 データは局所的な分布を失うが、セグメント内での 共起情報という大局的な分布は残る。

N-gram Shuffle はコーパス中のトークンを Ngram ごとのブロックに分け、そのブロックを保った ままセグメントの境界を無視してランダムにシャッ フルする。シャッフル後は、セグメントの長さと数 がシャッフル前と同じになるようにコーパスを分割 する。この操作により、コーパスは大局的な分布を 失うが、 $N$-gram の局所的な分布は残る。本実験で は、 $N$ の大きさを 3 に設定した際の結果を示す。

以上の改変を加えたコーパスで学習した結果と、 もともとのコーパスからの結果を表 1 に示す。

表 1 分布構造を改変したコーパスで訓練したマルチリン ガルベクトルモデルを、言語横断テキスト検索タスクで 評価した際の平均逆順位を 100 倍にして示している。

まず、これらのアルゴリズムは、明示されずとも 言語の対応関係を発見でき、それには一定の分布構造が必要であることを確認する。改変を加えてい ないデータを用いた場合 (Original) は、各アルゴリ ズムともに 80 ポイントを上回るスコアを示してお り、テキスト分布のみから高い精度で対応関係が発見されていることが分かる。一方で、コーパス全体 をシャッフルして分布構造を無くした場合 (Corpus Shuffle)は、ほぼゼロに近いスコアを示し、頻度情報 だけでは言語間対応を発見できないことが分かる。

次に、大局的/局所的な構造のどちらかだけでも、各アルゴリズムが対応関係を発見できるかを見て いく。大局的な構造を除去し、局所的な構造だけ を残した場合 (3-gram Shuffle) は Skipgram + VecMap と MLM ともに、改変前 (Original) に近いスコアを 示している。つまり、これらのアルゴリズムには言語の局所構造さえあれば、言語の対応関係が発見で きるということである。セグメント中のトークンを シャッフルして、大局的な構造だけを残した場合 (Sentence Shuffle)は、Skipgram + VecMap は94.1 ポイ ントと、改変前 (Original) とほぼ変わらないスコア を示している一方で、MLM は 0.4 とほぼゼロに近 い值を示している。つまり、大局的な分布構造だけ が与えられた場合、Skip-gram + VecMap は対応関係 を発見できるが、MLM はできない。

原理的には、局所的/大局的な分布構造のいずれか の情報があれば、言語間の対応関係は発見可能であ ることを Skip-gram + VecMap の結果は示している。
しかしなぜ MLM は、大局的な分布構造だけでは対応関係をべクトル空間上に反映しないのだろうか。明示的な訓練信号なしで異なる言語のべクトル空間の共有が起こるメカニズムとして、タスクの学習 の際にパラメータの効率的な活用をするインセン ティブが働いているとする説がある。この説の根拠 は、モデルのパラメータを大きくすると、モデルの 発見する対応関係の精度が悪化するという観察で ある [13]。もしかしたら、大局的な構造だけを持つ データでの MLM は、パラメータ使用を効率化する インセンティブが働かないほどに、タスクが単純で ある可能性が考えられる。大局的な分布構造のみに 基づいてマスクのついた単語を予測するタスクは、局所的な構造が保存されている場合に比べて、正解 を絞り込むことが原理的に難しくなっている。実際 に、MLM の 3-gram Shuffle と Sentence Shuffle の収束時の訓練損失の値を比べると、それぞれ 2.3 と 5.4 ポイント前後を示している。後者の収束時の損失が 高いことは、タスクを解くための学習できる知識の 上限が限られていることを示しており、これがべク トル空間の共有が起こらないことにつながっている と推測される。4)

## 4 おわりに

本研究では、対訳データを使わないマルチリンガ ル表現学習アルゴリズムが、どのような単語の分布情報を用いて、異なる 2 つ言語の対応関係を発見しているかを調査した。結果として、Skip-gram + VecMap は、大局的な分布構造さえあれば言語の対応関係を発見できるのに対して、MLM は局所的な 分布構造がなければ、言語の対応関係を発見できな いことが明らかとなった。

今後の研究では、暗黙的な言語の対応関係を発見 するメカニズムを明らかにする必要がある。このた めには多言語データ、Transformer、MLM に限る必要はなく、より広い視点から、潜在構造が類似する 異なるデータで学習する際に、ニューラルネット ワークの中間表現共有がどのように起こるかを考え ることも有用であると思われる。

4） MLM に用いる Transformer のエンコーダのパラメータ数 を減らし、隠れ層サイズ 128、層の数 3 とした設定で評価を 行ったが、対応関係発見の精度改善は見られなかった。また 位置埋め込みがノイズとなり、対応関係の発見を妨げている 可能性を考え、位置埋め込みを使用しないエンコーダで学習 した場合も、結果は同じであった。大局的な分布のみでも、 MLM で言語の対応関係が発見される条件が存在するかどう かを明らかにすることは、今後の課題としたい。

## 参考文献

[1] Tomas Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. ArXiv, Vol. abs/1309.4168, , 2013.

[2] Guillaume Lample, Alexis Conneau, Marc Aurelio Ranzato, Ludovic Denoyer, and Herve Jegou. Word Translation without Parallel Data. In Proceedings of the 6th International Conference on Learning Representations, Vancouver, Canada, 2018.

[3] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. A robust self-learning method for fully unsupervised crosslingual mappings of word embeddings. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 789-798, Melbourne, Australia, 2018.

[4] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging Cross-lingual Structure in Pretrained Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, 2020.

[5] Stephen Mayhew Karthikeyan K, Zihan Wang and Dan Roth. Cross-Lingual Ability of Multilingual BERT: An Empirical Study. In Proceedings of the 8th International Conference on Learning Representations, Addis Ababa, Ethiopia, 2020.

[6] Hyejin Youn, Logan Sutton, Eric Smith, Cristopher Moore, Jon F. Wilkins, Ian Maddieson, W. Bruce Croft, and Tanmoy Bhattacharya. On the universal structure of human lexical semantics. Proceedings of the National Academy of Sciences, Vol. 113, pp. 1766 - 1771, 2015.

[7] Tomas Mikolov, Kai Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In International Conference on Learning Representations, 2013

[8] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2289-2294, Austin, Texas, 2016.

[9] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized Word Embedding and Orthogonal Transform for Bilingual Word Translation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1006-1011, Denver, Colorado, 2015 .

[10] Jacob Devlin, Mingwei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186, Minneapolis, Minnesota, 2019.

[11] Anders Søgaard, Sebastian Ruder, and Ivan Vulić. On the limitations of unsupervised bilingual dictionary induction. In Proceedings of the 56th Annual Meeting of the As- sociation for Computational Linguistics (Volume 1: Long Papers), pp. 778-788, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Omer Levy and Yoav Goldberg. Dependency-based word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 302-308, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[13] Philipp Dufter and Hinrich Schütze. Identifying elements essential for BERT's multilinguality. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4423-4437, Online, November 2020. Association for Computational Linguistics.


# SentencePiece の重複語入れ替えによる 日本語 T5 への言語モデル追加

高野 志歩 1 相馬 菜生 ${ }^{2}$ 田村 みゆ ${ }^{1}$ 梶浦 照乃 ${ }^{1}$ 倉光 君郎 ${ }^{2}$
1 日本女子大学大学院 理学研究科 2 日本女子大学 理学部
m1816053ts@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp

## 概要

SentencePiece は、テキストから教師なし学習に よって語彙モデルを構築し、ニューラルネット ワークに適した字句解析を提供する。現在の多 くの大規模言語モデルの事前学習で採用され、 SentencePiece は標準のひとつとなっている。本研究 では、SentencePiece の語彙モデルから形態素に基づ いて重複語を抽出し、新しい語彙と入れ替えること による語彙の追加手法を提案する。これにより、大規模言語モデルに対して、数千語単位の語彙を追加 する余地ができ、事前に学習されていない言語やド メインの語彙を含めた追加学習が可能になる。本論文では、2つの日本語 $\mathrm{T} 5$ に対し、6000 語程度の Python 言語の語彙 (予約語/識別子)を追加した事前追加学習モデルを構築し、重複語入れ替えによる下流タスクの精度向上について論じる。

## 1 はじめに

大規模言語モデルは、事前に大量なテキストを学習することにより、機械翻訳や文書要約、感情分析 など様々な下流タスクに適用できるモデルである。近年は、基盤モデルとも呼ばれ、自然言語処理タス クのみならず、様々な分野のニューラルネットワー クに広く採用されている。

大規模言語モデルを下流タスクに適応させる際に は、適応させたい下流タスクの少量のデータをモデ ルに与える。しかし、事前学習時に用いたデータの ドメインと、下流タスクのドメインが大きく異なる とき、下流タスクにおいてモデルが十分な性能を発揮できない領域適応に課題がある。そこで、特定の ドメインに特化した語彙を追加することにより、特定ドメインにおける下流タスクの精度が向上すると 期待される。

しかし、大規模言語モデルは一般的に語彙数が固定である。そのため、語彙を追加するためには工夫 が必要となる。

本研究では、大規模言語モデルの語彙を構築する とき、標準的に採用されている SentencePiece[1] に 着目する。SentencePiece は、テキストから教師なし 学習によって語彙モデルを構築し、構築された語彙 が語彙数を減らし、学習時間を短縮する効果が知ら れている。一方、SentencePiece の語彙は、文字列の 出現頻度に基づいて字句の区切りが決まるため、形態素的に重複した語彙が含まれる。我々は、このよ うな重複語を新しい語彙と入れ替えることによる語彙の追加手法を提案する。

本論文では、提案手法を検証するため、SentencePiece の語彙モデルを採用した日本語 T5 に対し、 3000 語程度の Python 言語の語彙 (予約語/識別子)を 追加した。Python 言語の語彙は、日本語 T5には含 まれないため、このような語彙追加が可能になる。 さらに、重複語の語彙入れ替えの下流タスクへの影響を調べるため、コード翻訳、コード要約という 2 種類の下流タスクの精度を比較した。

本論文では、大規模言語モデルにおける語彙の追加手法を提案し、実験結果とともに報告する。本論文の残りの構成は以下の通りである。2 節では、本研究で着目した重複語の予備調査について述べる。 3 節では、提案する語彙の追加手法についてまとめ る。4節では、実験についてまとめる。5 節では、関連研究を概観し、6 節で本論文をまとめる。

## 2 SentencePiece と重複語

SentencePiece は、ニューラル言語処理向けのトー クナイザである。本節では、SentencePiece について 概説したのち、本研究で着目した SentencePiece の作成する語彙モデルに対し、どの程度重複語が含まれ ているか確認した予備調査の結果を述べる。

## 2.1 SentencePiece とは

SentencePiece は、言語モデルの学習データである 生のテキストから最適な分割点を学習する教師なし 単語分割システムである。 $\mathrm{MeCab}^{1)}$ や janome ${ }^{2)}$ のよ うな形態素に分割するトークナイザと異なり、サブ ワードを用いて分割を行う点が特徴的である。

サブワードは、その語が出現する頻度によって単語を分割する手法である。高頻度の単語は 1 単語と して扱われ、低頻度の単語はより短い文字や文字列 に分割される。日本語や中国語のように分かち書き をしない言語では、 1 文を 1 単語として学習が行わ れる。

## 2.2 重複語とは

SentencePiece では、出現頻度によって語彙が決ま るため、言語文法の語彙とは切れ目が異なることが 生じる。例えば、「日本語は」「日本語」「は」の 3 語 が語彙モデルに存在するとき、名詞の「日本語」と 助詞の「は」から構成される「日本語は」が重複し た存在だと捉えることができる。

このように、ある語を形態素に基づいて分割した とき、形態素が既に語彙モデルの中に存在し、重複 して存在すると捉えられる場合には、ある語を重複語と考える。

## 2.3 重複語の調査

我々は予備調査として、3つの大規模言語モデル における各語彙モデルの作成した語彙を分析した。調査したモデルは、mT5[2]と、2つの日本語 T5 で ある。まず、Google 社が公開する mT5 は、マルチ タスクモデル T5 がベースであり、日本語と英語を 含む 101 言語に対応する。次に、日本語 T5 の 1 つ は、Megagon Labs 社が公開する t5-base-japanese-web 3）（以下、日本語 $\mathrm{T} 5(\mathrm{Meg})$ ）である。日本語の Web テキストで事前学習された T5 モデルであり、日本語の語彙に特化している。最後に、日本語 $\mathrm{T} 5$ の 2 つ目は、園部勲氏が公開する t5-base-japanese-adapt 4) (以下、日本語 $\mathrm{T} 5(\mathrm{Sno})$ ) である。複数パターンから見た各モデルにおける語彙数

表 13 3つのモデルにおける各パターンの語彙数

 &  \\

漢字を含む & 21,485 & 21,587 & 20,007 \\
ひらがなを含む & 6,443 & 10,549 & 9,718 \\
カタカナを含む & 2,843 & 5,223 & 5,293 \\
数字を含む & 16,473 & 829 & 465 \\
記号を含む & 10,679 & 559 & 635 \\

図 1 記号として判定する字句

の違いを表 1 に示す。漢字を含む語、ひらがなを含 む語、カタカナを含む語の 3 パターンを日本語語彙 とし結果に着目すると、101 言語に対応するマルチ リンガルなモデルである mT5 よりも、2つの日本語 T5 のほうが多い語彙を持つことがわかる。また、日本語語彙以外の重複語として数字を含む語、記号 を含む語の各語彙数を確認した。このとき記号を含 む語には、図 1 に示すような約 70 種類の記号が該当する。例として、 $\mathrm{mT5}$ に含まれる日本語語彙と、数字を含む語、記号を含む語を表 2 に示す。

さらに、各語彙モデルの日本語語彙に対し、形態素解析器 janomeを用いた品詞パターンの分析を 行った。品詞パターンとは、その語を構成する品詞 の組み合わせを指し、1つの品詞から成る語と、2 つ以上の品詞から成る語の大きく 2 種類に分けられ る。このとき、1つの品詞パターンに含まれるのは、名詞や動詞といった基盤 10 個の品詞とフィラーを 含めた 11 個の品詞である。

本研究のアイディアは、予備調査の結果から考え られる重複語を削除し、代わりに別の語彙を追加す ることである。

## 3 重複語と語彙入れ替え

我々は、SentecePiece の作成した語彙モデルに含 まれる重複語を取り除いて、別の言語の語彙を追加 する。本節は、Python 語彙（予約語/識別子）などを 実例として述べるが、Python 語彙の依存する部分は

図 22 つ以上の品詞パターンのうち、重複語であって も語彙モデルに残す品詞パターン

ないため、置き換え対象の語彙は別言語の語彙に置 き換えて適用可能である。

## 3.1 重複語の判定

2.3 節の予備調査の結果をもとに、品詞パターン による重複語の判定を行った。本研究では、全て の重複語を削除するのではなく、品詞の構成から決定した語彙モデルに残す品詞パターン以外の重複語のみを削除する。

語彙モデルに残す品詞パターンは、計 23 個であ る。1つの品詞パターンに含まれるのは、名詞や動詞といった基盤 10 個の品詞とフィラーを含めた 11 個の品詞と、図 2 に示す 12 パターンである。 23 個 の品詞パターンに該当しない語のうち、形態素的に 重複した語彙が含まれるとき、該当の語を無意味な 文字列に置き換えた。

## 3.2 数字や記号の重複除去

SentencePiece の作成する語彙モデルには、2.3 節 の表 1 に示した通り、数字や記号を含む語彙が多く 含まれている。

我々は、日本語語彙の重複語とは別に数値や記号 の重複も取り除いた。例えば、数字は全て 1 文字を 字句の単位として、2021のような字句は、2021と いうように4つの字句からみなすようにした。記号も 1文字も字句の単位とした。

なお、数字の扱いに関しては、議論の余地がある が、最新の大規模言語モデル PaLM [3] の語彙構成 に準じている。

## 3.3 Python 語彙の追加

最後に、語彙モデルへの語彙追加について簡単に 述べる。

追加する語彙は、原理的には、ドメイン特化辞書 などの任意の語彙を追加することができる。ただ し、SentencePiece の語彙モデルは、出現頻度を持っ ているので、出現頻度に関する情報を持っているこ
とが望ましい。

我々は、Python 言語の語彙（予約語識別子）の 追加を行う際は、Pythonソースコードに対し、 SentencePiece を使って語彙モデルを構築し、そこか ら追加する語彙を選定した。追加の先語彙モデルと 新しい語彙の間では出現頻度の調整は行わず、それ ぞれの語彙が独立して出現すると仮定して、それぞ れの出現頻度順序だけが保証されるように追加を 行った。

## 4 実験

## 4.1 概要

我々は、重複語入れ替え手法の影響と効果を確か めるため、次の手順で実験を行う。

まず、異なる種類の SentencePiece の語彙モデルか ら構築された事前学習済み言語モデルを用意して ベースラインとする。用意した言語モデルは、以下 の通りである。

・Sno: 園部勲氏が公開する日本語 T5 モデル
- Meg: Megagon Lab 社が公開する日本語 T5 モ デル

・mT5: Google 社が公開する多言語 T5 モデル [2](small)

これらのモデルから前節で述べた手法で重複語 のみを削除したモデルを作る。続いて、重複語を削除して、その代わりにドメイン語彙を追加したモデ ルを作る。本実験では、前節で述べた通り、Python 語彙をドメイン語彙として追加した。最後に、下流 タスクのドメインに合わせた追加学習 [4] を行った モデルも用意した。追加学習で学習させたデータ は、CodeSearchNet などの公開データセットから収集した Python コード (1GB) である。学習時のハイ パーパラメータは、学習時のハイパーパラメータ は、ピーク学習率 3e-4、エポック数を 5 回とした。

以上、我々の用意したモデルは次の 4 モデルと なる。

・ベースライン
- 重複語削除

・ドメイン語彙追加

・ドメイン追加学習
表 3 各タスクごとの実験結果

## 4.2 下流タスクへの影響

我々は、下流タスクとして、Python コードのコー ド生成、コード修正、エラー診断を用意した。

・コード生成: プログラム意図を表す自然言語文 を入力として受け取り、対応するコードを生成 するタスク [5] である。

・コード修正: バグのあるコードを入力とし て、出力に正常なコードを生成するタスク [6] である。入出力はともにコードである。

・エラー診断: 英文のエラーメッセージとソース コードから日本語のエラー解決策 [7] を提示す るタスクである。

これらのタスクを用意したモデルにおいて、学習 させた結果を表 3 に示す。

## 5 関連研究

近年、Transformerをベースとした事前学習済みモ デルが数多く提案され，転移学習やファインチュー ニングによって下流タスクに応用したときに優れた 精度の向上を見せている。事前学習済みモデルは、大規模データセットを用いて事前学習され、下流タ スクを定めず汎用的なモデルとして構築されること が多い。しかし、下流タスクのドメインが事前学習 に用いたデータのドメインと大きく異なる場合、下流タスクでモデルが十分な性能を発揮できない領域適応の問題がある。

事前学習に用いるデータセットをドメインデータ に絞った、専門領域に特化した言語モデルが提案さ れ、汎用モデルと比較した時により高い精度でドメ
インタスクが解けることが確認された [8]。

Gururangan ら [9] は、事前学習済みモデルを特定 ドメインに適応させるために、下流タスクドメイン のデータで追加学習することで高い精度でドメイン タスクを解くDAPT 手法を提案している。ここで、事前学習済みモデルが保持する語彙の中に、専門用語などドメインの語彙が含まれないため、語彙を 拡張する必要がある。Yao ら [10] は、語彙を拡張し ながらドメイン特化モデルを構築する手法として Adapt-and-Distill 手法を提案している。

## 6 むすびに

本研究は、大規模言語モデルの語彙に含まれる重複語を新しい語彙と入れ替えることによる語彙の 追加を提案する。提案手法を検証するため、複数の モデルに対して (1) 不要語除去 (2) 不要語を Python 語彙に入れ替え (3)Python 語彙に入れ替え+追加学習 と、3つの条件を変えて比較による評価をおこなっ た。モデルに Python 語彙を追加することで、入出力 で Pythonを用いるコードタスクで精度が上がるの ではないかと考えていたが、実験結果として語彙の 追加による精度向上は見られなかった。

## 謝辞

本研究を進めるにあたり，有意義なコメントをい ただきました秋信有花氏 (NTT) と小原百々雅氏 (日本女子大学) と佐藤美唯氏 (日本女子大学) と高橋舞衣氏 (日本女子大学)に感謝いたします.

## 参考文献

[1] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[2] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 483-498, Online, June 2021. Association for Computational Linguistics.

[3] Aakanksha Chowdhery et. al. Palm: Scaling language modeling with pathways. CoRR, abs/2204.02311, 2022.

[4] 梶浦照乃, 小原百々雅, 秋信有花, and 倉光君郎. 多言語 5 への追加事前学習による python 言語モデルの構築. In The 6th cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG2022), 2022.

[5] Momoka Obara, Yuka Akinobu, Teruno Kajiura, Shiho Takano, and Kimio Kuramitsu. A preliminary report on novice programming with natural language translation. In IFIP WCCE 2022: World Conference on Computers in Education, 2022.

[6] 相馬 菜生, 梶浦照乃, 高橋 舞衣, and 倉光 君郎. 大規模言語モデルへの事前追加学習による誤り訂正モデ ルのコードへの適用. In 第 21 回日本データベース 学会年次大会 (DEIM2023), 2023.

[7] 高橋 舞衣, 小原 百々雅, 相馬 菜生, and 倉光 君郎. 大規模言語モデルを応用した初学者に親切なエラー メッセージの実現. In 第 21 回日本データベース学会年次大会（DEIM2023), 2023.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4):1234-1240, 2020.

[9] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8342-8360, Online, July 2020. Association for Computational Linguistics.

[10] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and
Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. arXiv preprint arXiv:2106.13474, 2021.


# ByT5 の Attention を用いたトークン結合

田中康紀 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{tanaka.koki.tk9, sudoh, s-nakamura\}@is.naist.jp

## 概要

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを fine-tuning することでタスクを 高精度に解ける. 自然言語の入力は多くのモデルに おいて単語やサブワード等トークンへの分割を前提 としている.この手法は誤分割や, 語彙の修正後に モデルの再学習が必要な欠点を持つ. これらは文字 レベルのトークン分割により緩和できるが, 長系列化と, トークンと意味の不一致を起こす. 本研究で は，バイトレベルに分割するモデル ByT5 を文字レ ベル分割とみなし, Attentionを元にトークンを結合 し，両者の解決を試みた。テキスト分類実験におい てランダムに結合する手法に比べ 1.8 ポイントの分類精度向上, ByT5 に比べ 1.78 倍の高速化を示した.

## 1 はじめに

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを用いて下流タスクに fine-tuning させることで，生成タスクや分類タスクを高精度に 解くことができる. 現在ある多くのモデルは入力文字列を単語やサブワード等のトークンに分割する トークン化を行う手法が主流となっている. しか し，トークン化は語彙に無いトークンに対する過剩分割や，未知語に起因する精度低下，トークナイザ を更新するとモデルの再学習が必要であり技術的負債を生むという欠点を持つ. 文字列を全て文字に分解する文字レベルトークン化を用いると，これらの 問題を緩和できる。一方で，文字レベルトークン化 は文字トークンと意味が対応しない，シーケンス長 も単語やサブワードを用いた場合と比べて長くなる 問題が起こる. 本研究では，バイトレベルにトーク ン化する ByT5 のトークンを，英語データセットに 対して文字レベル分割とみなし, Attention 情報を利用しモデル内部でトークン結合を行う方法を提案す る.これにより, 処理速度の向上と意味のまとまり を持ったトークンの保持による精度の向上を目指
す. 英語のテキスト分類タスクでランダムに結合す る手法と比べ分類精度の向上, ByT5 と比べ単位時間あたりの処理数の向上を実験により確認した.

## 2 関連研究

Sutskever ら [1] はニューラルネットを用いた翻訳 で，文字レベル入力を導入した. Peter ら [2] は文字 レベルの入力を結合する $\mathrm{CNN}$ 層を導入したモデル を提案した. Radford ら [3] は，入力文字列をトーク ン化する際に，語彙にバイトレベルの文字を含めて 細分化するバイトレベル Byte Pair Encoding を導入 することでことで未知語を極めて少なくした．明示的にトークナイザを用いない Transformer ベースの アーキテクチャとして charfomer [4], CANINE [5], characterBERT [6] がある。これらは入力を文字レべ ルにし, 語彙用の層を事前学習で獲得する手法であ る. ByT5 [7] では，基本構成は $\mathrm{T} 5$ [8] と変えず，そ の層数を変えることで，語彙用の特別な層を持たず して，サブワードレベルのモデルである mT5 [9] と 一部タスクで近い性能を出すことを示した。一方 で，文字レベルのモデルとサブワードレベルのモデ ルが同程度の性能を達成した際の各々の獲得した隠 れ層や，位置埋め込み， Attention 行列の具体的な差異に関しては議論がまだ活発ではない。

Transformer モデルの長文入力への対応方法とし て, Zaheer ら [10] は, Attention を疎な行列計算とみ なし, 計算量を減らした. Kitaev ら [11] は近傍の トークンに注目することで Attention の計算量をシー ケンス長 $L$ に対して $O\left(L^{2}\right)$ から $O(L \log L)$ に削減し た. Beltagy ら [12] は複数サイズのウィンドウによ り Attention の見る位置を絞ることで，長文であっ ても Attention の計算量を減らすことを可能にした。 Goyal ら [13] は, BERT [14] の Attention が強いもの のみを抽出することで，トークンを削除し，処理 の高速化を実現した. ByT5 は計算量の削減をシー ケンス長を減らすのではなく, Deocderを浅くする ことで実現している. 本研究では, ByT5に対して，
語彙に依存しない点を残したまま，シーケンス長の 削減を導入する。

## 3 提案手法

本研究ではバイトレベルにトークン化するモデル である ByT5 のトークンをモデル内部で Attention に 基づいて結合する手法を提案する。提案手法の概要 を図 1 に示す. 英語のみ扱うタスクへ fine-tuning す ることから，ByT5 が取り扱う UTF-8 形式では，概 ね 1 文字 1 バイトに対応すると仮定できる.

長さ $L$ の文字列 $\boldsymbol{c}=\left(c_{1}, \ldots, c_{i}, \ldots, c_{L}\right)$ が与えられ，各 $c$ に対応する隠れ層出力を $\boldsymbol{v}$ とすると，以下のよ うな処理により新たなべクトル $v^{\prime} を$ 得る。

はじめに，局所的な Attention 情報を利用したい ことから，浅い層である Encoder ブロック 2 層目の Attention 行列を参照し, Head 方向へ平均をとる.

$
\bar{A}=\frac{1}{H} \sum_{h}^{H} A_{h}
$

次に, Attention 行列を query 方向へ平均をとり, これを Significance Score とする.

$
\operatorname{Sig}(c)=\frac{1}{L} \sum_{l}^{L} \bar{A}\left[c_{l}, c\right]
$

続いて，各文字ごとの Significance Score を並べ， その中から上位 $\mathrm{k}$ 個を抽出し， $\boldsymbol{c}^{\prime}$ とする.

$
\begin{aligned}
& \operatorname{Sig}(\boldsymbol{c})=\left(\operatorname{Sig}\left(c_{1}\right), \ldots, \operatorname{Sig}\left(c_{L}\right)\right) \\
& \boldsymbol{c}^{\prime}=\operatorname{topk}(\operatorname{Sig}(\boldsymbol{c}))=\left(c_{1}^{\prime}, \ldots, c_{k}^{\prime}\right)
\end{aligned}
$

$c_{i}^{\prime}$ から $c_{i+1}^{\prime}$ の一つ前までの $c$ に対応する文字列を segment と呼び， $s_{i}$ とおく. 各 $s_{i}$ の含む文字 $c$ に対応する隠れ層出力の平均をとり，新たに $\boldsymbol{v}_{i}$ とする。

$
v_{i}^{\prime}=\frac{1}{\left|s_{i}\right|} \sum_{c \in s_{i}} v_{c}
$

先頭文字トークン $c_{1}$ が上位 $\mathrm{k}$ 個に選択されな かった場合， $c_{1}$ から $c_{1}^{\prime}$ の前までの $c$ に対応する文字列を $s_{0}$ とし，その文字に対応するべクトルの平均を先頭に追加する。

$
v_{0}^{\prime}=\frac{1}{\left|s_{0}\right|} \sum_{c \in s_{0}} v_{c}
$

また，終端トークン</s> は special token であるこ とから，常に一つのトークンとして扱う．よって上

query方向に平均をとる(式(1))

$\mathbf{v}_{\text {Kubernetes }}^{\prime}=\frac{1}{\left|s_{1}\right|}\left(\mathbf{v}_{\mathrm{K}}+\mathbf{v}_{\mathrm{u}}+\mathbf{v}_{\mathrm{b}}+\cdots+\mathbf{v}_{\mathrm{t}}+\mathbf{v}_{\mathrm{e}}+\mathbf{v}_{\mathrm{s}}\right)$

各segmentに対して同様の操作を行う

$\begin{array}{lllll}\mathbf{v}_{\text {Kubernetes }}^{\prime} & \mathbf{v}_{\text {is }}^{\prime} & \mathbf{v}_{\text {abberviated }}^{\prime} & \mathbf{v}_{\text {as }}^{\prime} & \mathbf{v}_{\text {k8s. }}^{\prime} . \\ \text {. }\end{array}$

図 1 文字トークン結合の流れ

位 $\mathrm{k}$ 個に選択されなかった場合，以下のようにべク トルを追加する。

$
\boldsymbol{v}_{k+1}^{\prime}=\boldsymbol{v}_{</ \mathrm{s}>}
$

以上の操作で得られたべクトル $\boldsymbol{v}^{\prime}$ E Encoder ブ ロックの 3 層目に入力し, 以降の層へ伝播させる. パラメータは事前学習済みモデルから再利用し，下流タスクへ fine-tuningする。

## 4 実験

ByT5 の Attention 情報を利用したモデル内部での 文字トークン結合が，トークンの意味の獲得による 精度の向上と速度の改善に効果があるかを実験によ り検証した。提案手法は，"e"と"ee"といった連続文字列を式 (4) で平均化後に再度生成することは難し いことから，分類タスクで実験を行った。

## 4.1 実験タスク

英語のテキスト分類タスクとして SST-2 [15]を用 いた.これはテキストに含まれる感情を 2 値分類す るタスクである．実験はランダムに $k$ 個のトークン を指定して結合する手法をべースラインとし，強い Attention を先頭に結合する提案手法に意味があるの

かを調べた. 加えて, 空白で区切って結合する単語 レベルトークン化, Goyal ら [13] の手法に基づいて 実装した Attention の強いトークンのみを抽出する手法，ByT5の fine-tuning により実験した．ByT5では，全ての Encoder 層で文字トークンに対して同じ相対位置埋め込みのパラメータを共有している。一方提案手法では, 文字レベルの位置情報と, 結合後の トークン位置情報が異なると考えられることから， トークン獲得後の層である 3 層目以降の Attention で 1 層目とは異なる位置埋め込みのパラメータを用い た. なお，予備実験でこれらの手法で大きな差は確認できなかったため，その比較は省略する。

いずれの実験も、バッチサイズ 12, 学習率 4e-5 で 40 エポック学習させたのちに、validation データに 対して最も accurary が高いものを用いて、test デー タで accuracyを算出した. シーケンス長は、 $\mathrm{mT5}$ が ByT5 の平均トークン長の $1 / 4.1$ 倍であることから、 それよりも平均で短くなる $1 / 5$ 倍の長さになるよ うに式 (3) の $k$ を設定した. 実験は異なるランダム シードで 5 回行い，その平均により算出した.

処理速度は，testデータの単位時間あたりのイテ レーション数を比較した. 実験は CPU AMD EPYC 7742 64-Core, メモリ 1TB, GPU NVIDIA A100-SXM $40 \mathrm{~GB}$ ，バッチサイズ 12 で行った. なお，提案手法 は文字トークンの結合処理を CPU 上で行うことか ら，処理速度は GPU 以外の条件にも依存する。

## 4.2 実験結果

表 1 は，文字トークンの選択手法を変更した際の 実験結果である. 提案手法はベースラインであるラ ンダムに文字トークンを選択し結合した場合に比 ベ， 1.8 ポイント高い結果となった. また, Attention の強いトークンを抽出する手法に比べ， 3.2 ポイン ト高く, 空白で区切る単語レベルトークン化を行 う場合よりも 0.8 ポイント高くなった. 提案手法は ByT5-base と比較して 6\%ほど精度を落とすが，表 2 に示すように，単位時間あたり 1.78 倍のイテレー ションを実行する事が可能になった。

5 回の実験結果における混同行列の平均を表 4 に 示す. 学習データには Positive/Negative いずれも同数含まれている. ByT5-base では若干 Positive 判定 が大きかったが，提案手法では Positive と Negative いずれもほぼ同数の判定となった.表 1 SST-2 における $\operatorname{accuracy}(\%)$

ランダムに選択し結合 (ベースライン) 83.5

Attention から選択し結合 (提案手法) 85.3

空白を選択し結合

84.5

Attention から選択し抽出

82.1

ByT5-base

90.6

表 2 各モデルの処理速度の比較

## 5 考察

## 5.1 トークンの獲得

表 1 より，ランダムに文字トークンを結合する 手法と比較して, Attention の上位 $\mathrm{k}$ 個を用いて文字 トークンを結合する方法は accuracy が 1.8 ポイント 高い.これより Attentionのまとまりは，意味のまと まりを示す情報を持っていると考えられる。

また，表 1 より提案手法は accuracy では ByT5 に 及ばなかった. Transformerアーキテクチャは, 全体 から自身のべクトルを再構成しているため，周りの 文字トークンの結合による意味を持ったトークン 獲得は, Attention の計算で既に行われていたと考え られる. accuracy が ByT5 より下回った原因として，提案手法は式 (4) で文字トークンを平均化している ことから，分類タスクを選択したが，本手法は分類 タスクでも必要な情報が消えたと考えられる．表 3 は，結合する層を変更した際の実験結果である。よ り上位の層で結合するほど, accuracy は高い結果と なっており, 処理速度と精度はトレードオフの関係 にある。提案手法は低い層で結合したことから，事前学習と大きく異なる情報を結合以降の層に伝えた ことも精度低下の原因であると考えられる．より事前学習を再利用できるトークンの結合方法が存在す れば，この低下は緩和できると考えられる。

図 1 中のスペース区切りの実験結果と比較して,提案手法の方が精度が高い. ニューラルネットによ る自然言語処理では，単語モデルよりサブワード モデルの方がタスクを解くのに適していることは， Sennrich ら [16] や Kudo ら [17] も示しており, 本実験結果もニューラルネットワークで分類タスクを解
表 3 異なる層で結合した実験結果

2 層目 (提案手法) 85.2

6 層目 87.1

12 層目

89.6

表 45 回の実験における混同行列の平均 (a)ByT5

(b) 提案手法

Predicted

Predicted

く際には，必ずしも単語レベルのトークン化が適し ているわけではなく，単語とは異なるより適した最小単位が存在することを示しているとわかる.

## 5.2 トークンの文字列としての意味

validation データに対するトークン化の例を表 5 に 示す. 入力のプレフィックスである, "sst2 sentence:" がいずれのパターンも先頭トークンとして文字列に 結合されていることがわかる。これは， fine-tuning の際に全てのタスクに付属していることから，細分化の必要がないと学習したため獲得できたと考え られる。表 5 の 1 例目で” affecting”という単語が確認できるように，一部は単語としての意味を持った トークンの結合ができている。 一方で，サブワード にトークン化する際，一般的に 1 つのトークンとさ れる"and"や"ing"のような，複数文で共通の部分文字列が結合されている様子は確認できない. 本研究 では fine-tuning では，2 值分類タスクを行ったため， スペースを区切りとした簡易的な結合は獲得できた ものの，サブワードのように，共通部分の結合を獲得するにはタスクが簡素であったと考えられる。

## 5.3 Attention 行列の差異

表 2 は, validation データのうちの一つである, "sst2 sentence: i had to look away - this was god awful ."を ByT5-base と提案手法の両者に入力した画像である. それぞれ，2，3，12 層目の Attention 行列をそれぞ れ Head 方向に平均をとった. 提案手法の Attention 行列は，ByT5-base と同様に，Encoder 最終層では query 方向の強い値が連続していることが見てとれ る. 従って，文字トークン結合後も，各トークンに 対して Attention が機能していると考えられる。一方 で，ByT5 の Attention 行列の対角成分は，残差ネッ表 5 validation データに対する結合例

入力文

sst 2 sentence: it 's a charming and often affecting

journey .

結合結果

sst2_sentence:_it's_ / a_ / cha / r / ming_and_o / fte / n_ / affecting_ / jo / urne / y_ / . / <s>

入力文

sst2 sentence: unflinchingly bleak and desperate 結合結果

sst2_sentence:_ / unf / linc / hingly_ble / a / k_and_ /

/ des / pe / r / ate / <s>

トワークにより，自身を再構成が容易なことから，小さい值となっているが，提案手法である結合後の Attention 対角成分にそのような様子は見られない. これは，トークンの結合を残差ネットワークの後に 設定したため学習されなかったと考えられる.

図 2 Attention 行列の様子

## 6 おわりに

本研究では，バイトレベルにトークン化するモデ ルである ByT5 に，語彙に依存しない利点を維持し たままシーケンス長を削減する手法を提案した. テ キスト分類実験において，ランダムに文字トークン を選択し結合する手法と比較して精度の向上を確認 し，ByT5-base と比較して精度の下落を小さく抑え，処理速度の向上を確認できた。表現能力の担保を調 べるためには，今後生成タスクでも検証する必要が ある．文字トークン結合時に情報を脱落させないた めには，文字レベルのトークンがサブワードトーク ンと比較して，具体的にどのような情報を保持して いるかを解明し，それらを維持したまま事前学習済 みの層へ伝播させる方法の研究が必要である.

## 7 謝辞

本研究の一部は科研費 $21 \mathrm{H} 03500$ と $21 \mathrm{H} 05054$ の 助成を受けたものである.

## 参考文献

[1] Ilya Sutskever, James Martens, and Geoffrey Hinton. Generating text with recurrent neural networks. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 1017-1024, Madison, WI, USA, 2011. Omnipress.

[2] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[4] Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, and Donald Metzler. Charformer: Fast character transformers via gradient-based subword tokenization, 2021.

[5] Jonathan H. Clark, Dan Garrette, Iulia Turc, and John Wieting. Canine: Pre-training an efficient tokenization-free encoder for language representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73-91, 2022.

[6] Hicham El Boukkouri, Olivier Ferret, Thomas Lavergne, Hiroshi Noji, Pierre Zweigenbaum, and Jun'ichi Tsujii. CharacterBERT: Reconciling ELMo and BERT for wordlevel open-vocabulary representations from characters. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6903-6915, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. ByT5: Towards a Token-Free future with pre-trained Byte-to-Byte models. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 291-306, 2022.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Con- ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[11] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. January 2020.

[12] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The Long-Document transformer. April 2020.

[13] Saurabh Goyal, Anamitra R Choudhury, Saurabh Raje, Venkatesan T Chakaravarthy, Yogish Sabharwal, and Ashish Verma. PoWER-BERT: Accelerating BERT inference via progressive word-vector elimination. In International Conference on Machine Learning. International Machine Learning Society (IMLS), February 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Richard Socher, Alex Perelygin, Jean Y Wu, Jason Chuang, Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. https://nlp.stanford. edu/ socherr/EMNLP2013_RNTN. pdf. Accessed: 202212-12.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# Learning Representations of Natural Language Edits via Levenshtein Prediction

Edison Marrese-Taylor ${ }^{1,3}$, Machel Reid ${ }^{2,3}$, Alfredo Solano ${ }^{3}$
${ }^{1}$ AIST, ${ }^{2}$ Google Research, ${ }^{3}$ The University of Tokyo
edison.marrese@aist.go.jp machelreid@google.com
asolano@weblab.t.u-tokyo.ac.jp

## 概要

In this paper, we propose a novel approach that employs token-level Levenshtein operations to learn a continuous latent space of vector representations to capture the underlying semantic information with regard to the document editing process. We find that, our proposed method trained on the adversarial paraphrase dataset, PAWS, outperforms a strong RoBERTa baseline, retaining the language understanding performance of its base model.

## 1 Introduction

Editing documents has become a pervasive component of many human activities [1]. This is, to some extent, explained by the advent of the electronic storage of documents, which has greatly increased the ease with which we can edit them.

From source code to text files, specially over an extended period of time, users often perform edits that reflect a similar underlying change. For example, software programmers often have to deal with the task of performing repetitive code edits to add new features, refactor, and fix bugs during development. On the other hand, right before a conference deadline technical papers worldwide are finalized and polished, often involving common fixes for grammar, clarity, and style [2]. In light of this, it is reasonable to wonder if it would be possible to automatically extract rules from these common edits. This has led researchers to recently propose the task of learning distributed representations of edits [2] using an auto-encoding approach.

Auto-encoding approaches have been used previously in the context of representation learning initially in the visual domain, but more recently have been extended to the natural language and video modalities. These approaches largely form the foundation of "self-supervised learning" which enables the learning of representations via objectives which solely require a source datum. An instance of this relevant to NLP is that of the pre-trained masked language model, BERT [3], in which a source text is initially corrupted with a mask token $[\mathrm{MASK}]$ and then reconstructed into the original form with a Transformer encoder.

As an alternative to this approach, other works have instead produced representations of edits in an indirect manner, by instead focusing directly on edit-centric downstream tasks such as edit-based article quality estimation on Wikipedia [4, 5], English grammatical error correction (GEC), and machine translation post-editing.

Machine translation post-editing, where humans amend machine-generated translations to achieve a better final product [6], has more directly addressed the problem of modelling different editing agents [7] Finally, edits are also relevant for GEC, which has attracted recent interest from the research community with several shared tasks being organized in the last years [8].

In this paper, differently from existing prior work, we propose a continued pre-training task, not based on autoencoding, which aims directly at learning distributed representations of natural language edits. In particular, we look at using the Levenshtein algorithm as a form of supervision to encourage a model to learn to convert a given input sequence into a desired output sequence, namely an edit. In particular, we look to answer the question of whether creating a "neural Levenshtein algorithm" is conducive to improved downstream performance on edit-based tasks, given the edit-centricity of the algorithm.

Our results show that our proposed pre-training technique leads to better performance on the adversarial para-
phrase dataset PAWS, outperforming a strong baseline based on RoBERTa [9] while also retaining the language understanding performance of its base model (RoBERTa).

## 2 Related Work

[2] was the seminal work in proposing to directly learn edit representations by means of a task specifically designed for this purpose, based on auto-encoding. While their ideas were tested on both source code and natural language edits, the work of [10] proposed a similar approach that is specifically tailored at source code. After that, [11] proposed a variation of this model where a latent variable is introduced as a means to capture properties of Natural Language Edits. Additionally, the authors used the obtained latent vectors to represent edits and tested on a selection or edit-centric tasks.

Different from the above, other works have instead produced representations of edits in an indirect manner, by directly focusing on specific edit-centric downstream tasks. For example, [4] proposed obtaining edit representations that are useful to predict changes in the quality of articles by tackling this task as an edit-level classification problem. Similarly, [5] proposed to improve quality assessment of Wikipedia articles by introducing a model that jointly predicts the quality of a given Wikipedia edit and generates a description of it in natural language. Another related task is machine translation post-editing, where humans amend machine-generated translations to achieve a better final product, where recent work has more directly addressed the problem of modelling different editing agents [7]. Finally, edits are also relevant for English grammatical error correction (GEC), which has attracted recent interest from the research community with several shared tasks being organized in the last years [8].

## 3 Proposed Approach

We propose a new pre-training task based on selfsupervision. In particular, we look at using the Levenshtein algorithm as a means of pushing a model to learn to convert a given input sequence into a desired output sequence.

The Levenshtein algorithm has been used in previous work on learning edit-based generative models [12,13] thanks to its objective of finding the shortest edit path from a given source sequence to a target sequence. However, instead of purposing the algorithm for generation, in this work we look to see if we can include this objective from a natural language understanding (NLU) perspective. In particular, we look to assess whether Transformer encoder representations can be trained to contain information relevant to an edit, which we hypothesize can be achieved by directly predicting relevant operations and their associated tokens - as produced by an oracle Levenshtein algorithm.

Let $x_{-}$be the original version of an object, and $x_{+}$its form after a change/edit has been applied. We assume that both $x_{-}$and $x_{+}$are sequences of tokens such that $x_{-}=\left[x_{-}^{1}, \ldots, x_{-}^{n}\right]$ and $x_{+}=\left[x_{+}^{1}, \ldots, x_{+}^{m}\right]$. We use a fast implementation of the Levenshtein algorithm to identify spans of tokens that have been replaced, inserted or deleted as a result of the edit, and define token-level edit operation labels to indicate how each token was changed.

Concretely, we first tokenize the pair $\left(x_{-}, x_{+}\right)$, then use the Levenshtein algorithm to identify the text spans that have changed, and finally further process this output to assign token-level labels capturing the transformations required to convert $x_{-}$into $x_{+}$. Let $x_{-}^{i: j}$ be the sub-span on $x_{-}$ that goes from positions $i$ to $j$, our post-processing works as follows.
- When a span has been inserted between positions $x_{-}^{i: j}$, such that it appears in $x_{-}^{k: j}$, we label the tokens in the latter as INSERTER, and also label token $x_{-}^{k-1}$, as INSERT. We do this to provide the model with context of where the insertion was performed, in terms of the $x_{-}$.
- Similarly, if the token $x_{-}^{i: j}$ has been replaced by the $\operatorname{span} x_{-}^{k: l}$, we label the tokens on the respective spans as REPLACE and REPLACER.
- If the span $x_{-}^{i: j}$ has been removed from the sequence as a result of the edit, we label each token as DELETE.
- Tokens that have not been directly involved in the edit are not labeled (we represent this using the empty label denoted as $\mathrm{O}$ ).

As a result of our post-processing, each token in both $x_{-}$ and $x_{+}$is mapped to a single Levenshtein operation label: REPLACE, REPLACER, INSERT or INSERTER, as shown in Figure 1. The end goal of our proposed pretraining task is to predict these token-level Levenshtein operations, which, as explained, encode the operations relevant to transform $x_{-}$into $x_{+}$.

The input to our model is constructed by first prepending
図 1 Example of model input-output for the edit defined by the sequences "My name is John" and " My last name is Wayne", where the label $\mathrm{O}$ denotes tokens that have not been directly involved in the edit.

the [CLS] token to $x_{-}$and $x_{+}$, which are separated using the [SEP] token, whose total length we denote as $l=m+n+2$. This input is embedded and then fed to an L-layer Transformer encoder, which can be initialized with a pre-trained model, that returns a sequence of hidden representations $\boldsymbol{h}_{0}, \ldots \boldsymbol{h}_{l}$. We add a classification head (a simple linear classifier) and require the model to predict the corresponding label for each token, ignoring tokens that have not been directly involved in the edit (label O), using a cross entropy loss $\left(\mathscr{L}_{\text {Lev }}\right)$.

We also consider an additional mechanism to enrich the quality of the learned representations, which is based on techniques that have proven useful in previous work [11]. Concretely, we note that the vector associated to the [CLS] token $\left(\boldsymbol{h}_{0}\right)$ is frequently used to represent the complete model input when using Transformer models such as ours. Since there is no specific token-level Levenshtein label associated to this token, we propose to encourage its representation to contain information about the overall edit. We do this by requiring our model to predict the set of tokens that have been changed in the edit in an unordered fashion, using a separate model head (again, simple linear projection) which receives this representation as input.

$
f=\operatorname{MLP}\left(\boldsymbol{h}_{0}\right) \in \mathbb{R}^{|\mathbb{V}|}
$

As shown in Equation 1 above, we use this additional head to project $\boldsymbol{h}_{0}$, the hidden representation for the [CLS] token, to $|\mathbb{V}|$, the vocabulary size. We then let our model minimize the loss function defined in Equation 2, where $x_{\Delta}$ is the set of tokens that has been changed (inserted, replaced or removed). Finally, the total loss used to train our model is the simple summation of the above introduced losses, $\mathscr{L}=\mathscr{L}_{\text {Lev }}+\mathscr{L}_{x_{\Delta}}$.

$
\mathscr{L}_{x_{\Delta}}:=\log p\left(x_{\Delta} \mid \boldsymbol{h}_{0}\right)=\log \prod_{t=1}^{\left|x_{\Delta}\right|} \frac{\exp \left(f_{x_{t}}\right)}{\sum_{j}^{V} \exp \left(f_{j}\right)}
$

## 4 Experimental Setup

Pre-training Datasets To pre-train our model, we utilize large available corpora containing natural language edits in a variety of topics and domains. We specifically rely on two datasets of edits extracted from Wikipedia,
WikiAtomicEdits [14] and WikiEditsMix [11]. As shown in Table 1, we specifically work with two sub-portions of the WikiAtomicEdits, WikiInsertions and WikiDeleTIONS, which respectively contain examples where only additions or deletions are present. These two portions are concatenated and used as a whole. Since pre-training is computationally very expensive, we first use WIKIEDITSMIX, which is much smaller, as a test-bed for ablation experiments regarding the $x_{\Delta}$ loss.

表 1 Details of the data utilized for pre-training.

Downstream Tasks Our pre-training approach aims at generating a generic edit encoder that is useful in a broad variety of situations involving edits. To that end, we select specific datasets to probe the ability of the model to solve edit-related tasks, and also to make sure that our training procedure does not lead to catastrophic forgetting, making the model lose the utility of the representations acquired during the original masked language model's pre-training. For the former, we propose to use PAWS [15], an adversarial dataset for paraphrasing detection, which is strongly correlated to edits, as paraphrases are defined as sentences that are semantically similar to each other. We test both fine-tuning and zero-shot abilities on this model. For the latter, we look at the widely-used GLUE benchmark [16] and select the MNLI dataset to test that language entailment capabilities remain.

Evaluation For evaluation of our pre-training phase, we utilize the per-token classification F1-Score, and also compute the overall F1-Score. Regarding the downstream tasks, we use accuracy, which is the de facto metric for both MNLI and PAWS.

Implementation Details Our model is initialized with RoBERTa [9], which we adopt as our baselines for all of our downstream experiments. We use fairseq [17] to implement our model and perform distributed pre-training
表 2 Performance of our model on our pre-training Levenshtein Prediction task.

using 16 NVIDIA V100-16G GPUs, and fine-tuning with a single GPU. We access these by means of nodes on a large cluster, where each node has four GPUs. We use the Adam optimizer with a learning rate of 1e-4 for pre-training, and 1e-3 for fine-tuning on the downstream tasks.

## 5 Experiments and Results

As can be seen in Table 2, all of our models attain an excellent performance on the pre-training task, with an overall F1-Score of more than $90 \%$ across edit labels. We believe this shows our the encoder is capable of successfully predicting the relevant operations generated by our oracle Levenshtein editor, suggesting that the learned representations may indeed contain information relevant to the changes that are introduced.

Regarding the impact of our proposed $x_{\Delta}$ loss during pre-training, as seen on our ablation results performance in Table 2, we see that $x_{\Delta}$ as a positive impact on the overall performance of the model in the WIKIEDITSMIX dataset increasing the F1-Score my more than 0.5 points. This result is consistent with previous work, validating the contribution of this loss applied to our setting. In light of this finding, our final model includes both of our proposed losses and is pre-trained on WIKIINSERTIONS.

Table 3 summarizes our results on the downstream tasks. As can be seen, when fine-tuned, our model is able to outperform our strong RoBERTa baseline in the adversarial paraphrase dataset, PAWS, suggesting that the representations induced by our Levenshtein prediction loss indeed help the model learn relevant information about edits. Moreover, we also observe that the model is able to attain such increased performance while still retaining the language understanding capabilities of its base model, as suggested by the performance on the MNLP dataset, which remains constant.表 3 Performance of our model and baseline based on RoBERTa on our selected fine-tuning tasks, where ZS stands for Zero Shot.

## 6 Conclusions and Future Work

This paper proposes a novel approach for training a general-purpose edit representation model, which is not based on auto-encoding. Concretely, we propose a predictive task based on token-level Levenshtein operations where the token-level labels encode the set of operations necessary to transform a given input sentence into an output sentence.

We find that a model initialized with RoBERTa and trained with our proposed loss, is able to outperform the baseline on the task of adversarial paraphrasing detection on PAWS, while retaining the language understanding performance of its base model. We think this evidence supports the idea that creating a neural model that implements the Levenshtein algorithm is conducive to improved downstream performance on edit-based tasks, suggesting a potential new path for the future of pre-training. For future work, we are interested in further testing our pre-trained model on more downstream tasks relevant to edits, and in combining our proposed loss with the masked language modelling task for more efficient and effective training.

## Acknowlegments

Computational resource of AI Bridging Cloud Infrastructure (ABCI) provided by National Institute of Advanced Industrial Science and Technology (AIST) was used for the experiments in this paper.

## 参考文献

[1] Anders Miltner, Sumit Gulwani, Vu Le, Alan Leung, Arjun Radhakrishna, Gustavo Soares, Ashish Tiwari, and Abhishek Udupa. On the fly synthesis of edit suggestions. Proceedings of the ACM on Programming Languages, Vol. 3, No. OOPSLA, pp. 143:1-143:29, October 2019.

[2] Pengcheng Yin, Graham Neubig, Miltiadis Allamanis, Marc Brockschmidt, and Alexander L. Gaunt. Learning to Represent Edits. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Soumya Sarkar, Bhanu Prakash Reddy, Sandipan Sikdar, and Animesh Mukherjee. StRE: Self Attentive Edit Quality Prediction in Wikipedia. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3962-3972, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Edison Marrese-Taylor, Pablo Loyola, and Yutaka Matsuo. An Edit-centric Approach for Wikipedia Article Quality Assessment. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 381-386, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] L. Specia, K. Harris, A. Burchardt, M. Turchi, M. Negri, and I. Skadina. Translation Quality and Productivity: A Study on Rich Morphology Languages. pp. 55-71, 2017.

[7] António Góis and André F. T. Martins. Translator2Vec: Understanding and Representing Human Post-Editors. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 43-54, Dublin, Ireland, August 2019. European Association for Machine Translation.

[8] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.
[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692 [cs], July 2019.

[10] Rui Zhao, David Bieber, Kevin Swersky, and Daniel Tarlow. Neural Networks for Modeling Source Code Edits. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[11] Edison Marrese-Taylor, Machel Reid, and Yutaka Matsuo. Variational Inference for Learning Representations of Natural Language Edits. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 13552-13560, May 2021.

[12] Machel Reid and Victor Zhong. LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3932-3944, Online, August 2021. Association for Computational Linguistics.

[13] Nabil Hossain, Marjan Ghazvininejad, and Luke Zettlemoyer. Simple and Effective Retrieve-Edit-Rerank Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2532-2538, Online, July 2020. Association for Computational Linguistics

[14] Manaal Faruqui, Ellie Pavlick, Ian Tenney, and Dipanjan Das. WikiAtomicEdits: A multilingual corpus of Wikipedia edits for modeling language and discourse. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 305-315, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[15] Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3687-3692, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.