# ByT5 の Attention を用いたトークン結合

田中康紀 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{tanaka.koki.tk9, sudoh, s-nakamura\}@is.naist.jp

## 概要

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを fine-tuning することでタスクを 高精度に解ける. 自然言語の入力は多くのモデルに おいて単語やサブワード等トークンへの分割を前提 としている.この手法は誤分割や, 語彙の修正後に モデルの再学習が必要な欠点を持つ. これらは文字 レベルのトークン分割により緩和できるが, 長系列化と, トークンと意味の不一致を起こす. 本研究で は，バイトレベルに分割するモデル ByT5 を文字レ ベル分割とみなし, Attentionを元にトークンを結合 し，両者の解決を試みた。テキスト分類実験におい てランダムに結合する手法に比べ 1.8 ポイントの分類精度向上, ByT5 に比べ 1.78 倍の高速化を示した.

## 1 はじめに

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを用いて下流タスクに fine-tuning させることで，生成タスクや分類タスクを高精度に 解くことができる. 現在ある多くのモデルは入力文字列を単語やサブワード等のトークンに分割する トークン化を行う手法が主流となっている. しか し，トークン化は語彙に無いトークンに対する過剩分割や，未知語に起因する精度低下，トークナイザ を更新するとモデルの再学習が必要であり技術的負債を生むという欠点を持つ. 文字列を全て文字に分解する文字レベルトークン化を用いると，これらの 問題を緩和できる。一方で，文字レベルトークン化 は文字トークンと意味が対応しない，シーケンス長 も単語やサブワードを用いた場合と比べて長くなる 問題が起こる. 本研究では，バイトレベルにトーク ン化する ByT5 のトークンを，英語データセットに 対して文字レベル分割とみなし, Attention 情報を利用しモデル内部でトークン結合を行う方法を提案す る.これにより, 処理速度の向上と意味のまとまり を持ったトークンの保持による精度の向上を目指
す. 英語のテキスト分類タスクでランダムに結合す る手法と比べ分類精度の向上, ByT5 と比べ単位時間あたりの処理数の向上を実験により確認した.

## 2 関連研究

Sutskever ら [1] はニューラルネットを用いた翻訳 で，文字レベル入力を導入した. Peter ら [2] は文字 レベルの入力を結合する $\mathrm{CNN}$ 層を導入したモデル を提案した. Radford ら [3] は，入力文字列をトーク ン化する際に，語彙にバイトレベルの文字を含めて 細分化するバイトレベル Byte Pair Encoding を導入 することでことで未知語を極めて少なくした．明示的にトークナイザを用いない Transformer ベースの アーキテクチャとして charfomer [4], CANINE [5], characterBERT [6] がある。これらは入力を文字レべ ルにし, 語彙用の層を事前学習で獲得する手法であ る. ByT5 [7] では，基本構成は $\mathrm{T} 5$ [8] と変えず，そ の層数を変えることで，語彙用の特別な層を持たず して，サブワードレベルのモデルである mT5 [9] と 一部タスクで近い性能を出すことを示した。一方 で，文字レベルのモデルとサブワードレベルのモデ ルが同程度の性能を達成した際の各々の獲得した隠 れ層や，位置埋め込み， Attention 行列の具体的な差異に関しては議論がまだ活発ではない。

Transformer モデルの長文入力への対応方法とし て, Zaheer ら [10] は, Attention を疎な行列計算とみ なし, 計算量を減らした. Kitaev ら [11] は近傍の トークンに注目することで Attention の計算量をシー ケンス長 $L$ に対して $O\left(L^{2}\right)$ から $O(L \log L)$ に削減し た. Beltagy ら [12] は複数サイズのウィンドウによ り Attention の見る位置を絞ることで，長文であっ ても Attention の計算量を減らすことを可能にした。 Goyal ら [13] は, BERT [14] の Attention が強いもの のみを抽出することで，トークンを削除し，処理 の高速化を実現した. ByT5 は計算量の削減をシー ケンス長を減らすのではなく, Deocderを浅くする ことで実現している. 本研究では, ByT5に対して，
語彙に依存しない点を残したまま，シーケンス長の 削減を導入する。

## 3 提案手法

本研究ではバイトレベルにトークン化するモデル である ByT5 のトークンをモデル内部で Attention に 基づいて結合する手法を提案する。提案手法の概要 を図 1 に示す. 英語のみ扱うタスクへ fine-tuning す ることから，ByT5 が取り扱う UTF-8 形式では，概 ね 1 文字 1 バイトに対応すると仮定できる.

長さ $L$ の文字列 $\boldsymbol{c}=\left(c_{1}, \ldots, c_{i}, \ldots, c_{L}\right)$ が与えられ，各 $c$ に対応する隠れ層出力を $\boldsymbol{v}$ とすると，以下のよ うな処理により新たなべクトル $v^{\prime} を$ 得る。

はじめに，局所的な Attention 情報を利用したい ことから，浅い層である Encoder ブロック 2 層目の Attention 行列を参照し, Head 方向へ平均をとる.

$
\bar{A}=\frac{1}{H} \sum_{h}^{H} A_{h}
$

次に, Attention 行列を query 方向へ平均をとり, これを Significance Score とする.

$
\operatorname{Sig}(c)=\frac{1}{L} \sum_{l}^{L} \bar{A}\left[c_{l}, c\right]
$

続いて，各文字ごとの Significance Score を並べ， その中から上位 $\mathrm{k}$ 個を抽出し， $\boldsymbol{c}^{\prime}$ とする.

$
\begin{aligned}
& \operatorname{Sig}(\boldsymbol{c})=\left(\operatorname{Sig}\left(c_{1}\right), \ldots, \operatorname{Sig}\left(c_{L}\right)\right) \\
& \boldsymbol{c}^{\prime}=\operatorname{topk}(\operatorname{Sig}(\boldsymbol{c}))=\left(c_{1}^{\prime}, \ldots, c_{k}^{\prime}\right)
\end{aligned}
$

$c_{i}^{\prime}$ から $c_{i+1}^{\prime}$ の一つ前までの $c$ に対応する文字列を segment と呼び， $s_{i}$ とおく. 各 $s_{i}$ の含む文字 $c$ に対応する隠れ層出力の平均をとり，新たに $\boldsymbol{v}_{i}$ とする。

$
v_{i}^{\prime}=\frac{1}{\left|s_{i}\right|} \sum_{c \in s_{i}} v_{c}
$

先頭文字トークン $c_{1}$ が上位 $\mathrm{k}$ 個に選択されな かった場合， $c_{1}$ から $c_{1}^{\prime}$ の前までの $c$ に対応する文字列を $s_{0}$ とし，その文字に対応するべクトルの平均を先頭に追加する。

$
v_{0}^{\prime}=\frac{1}{\left|s_{0}\right|} \sum_{c \in s_{0}} v_{c}
$

また，終端トークン</s> は special token であるこ とから，常に一つのトークンとして扱う．よって上

query方向に平均をとる(式(1))

$\mathbf{v}_{\text {Kubernetes }}^{\prime}=\frac{1}{\left|s_{1}\right|}\left(\mathbf{v}_{\mathrm{K}}+\mathbf{v}_{\mathrm{u}}+\mathbf{v}_{\mathrm{b}}+\cdots+\mathbf{v}_{\mathrm{t}}+\mathbf{v}_{\mathrm{e}}+\mathbf{v}_{\mathrm{s}}\right)$

各segmentに対して同様の操作を行う

$\begin{array}{lllll}\mathbf{v}_{\text {Kubernetes }}^{\prime} & \mathbf{v}_{\text {is }}^{\prime} & \mathbf{v}_{\text {abberviated }}^{\prime} & \mathbf{v}_{\text {as }}^{\prime} & \mathbf{v}_{\text {k8s. }}^{\prime} . \\ \text {. }\end{array}$

図 1 文字トークン結合の流れ

位 $\mathrm{k}$ 個に選択されなかった場合，以下のようにべク トルを追加する。

$
\boldsymbol{v}_{k+1}^{\prime}=\boldsymbol{v}_{</ \mathrm{s}>}
$

以上の操作で得られたべクトル $\boldsymbol{v}^{\prime}$ E Encoder ブ ロックの 3 層目に入力し, 以降の層へ伝播させる. パラメータは事前学習済みモデルから再利用し，下流タスクへ fine-tuningする。

## 4 実験

ByT5 の Attention 情報を利用したモデル内部での 文字トークン結合が，トークンの意味の獲得による 精度の向上と速度の改善に効果があるかを実験によ り検証した。提案手法は，"e"と"ee"といった連続文字列を式 (4) で平均化後に再度生成することは難し いことから，分類タスクで実験を行った。

## 4.1 実験タスク

英語のテキスト分類タスクとして SST-2 [15]を用 いた.これはテキストに含まれる感情を 2 値分類す るタスクである．実験はランダムに $k$ 個のトークン を指定して結合する手法をべースラインとし，強い Attention を先頭に結合する提案手法に意味があるの

かを調べた. 加えて, 空白で区切って結合する単語 レベルトークン化, Goyal ら [13] の手法に基づいて 実装した Attention の強いトークンのみを抽出する手法，ByT5の fine-tuning により実験した．ByT5では，全ての Encoder 層で文字トークンに対して同じ相対位置埋め込みのパラメータを共有している。一方提案手法では, 文字レベルの位置情報と, 結合後の トークン位置情報が異なると考えられることから， トークン獲得後の層である 3 層目以降の Attention で 1 層目とは異なる位置埋め込みのパラメータを用い た. なお，予備実験でこれらの手法で大きな差は確認できなかったため，その比較は省略する。

いずれの実験も、バッチサイズ 12, 学習率 4e-5 で 40 エポック学習させたのちに、validation データに 対して最も accurary が高いものを用いて、test デー タで accuracyを算出した. シーケンス長は、 $\mathrm{mT5}$ が ByT5 の平均トークン長の $1 / 4.1$ 倍であることから、 それよりも平均で短くなる $1 / 5$ 倍の長さになるよ うに式 (3) の $k$ を設定した. 実験は異なるランダム シードで 5 回行い，その平均により算出した.

処理速度は，testデータの単位時間あたりのイテ レーション数を比較した. 実験は CPU AMD EPYC 7742 64-Core, メモリ 1TB, GPU NVIDIA A100-SXM $40 \mathrm{~GB}$ ，バッチサイズ 12 で行った. なお，提案手法 は文字トークンの結合処理を CPU 上で行うことか ら，処理速度は GPU 以外の条件にも依存する。

## 4.2 実験結果

表 1 は，文字トークンの選択手法を変更した際の 実験結果である. 提案手法はベースラインであるラ ンダムに文字トークンを選択し結合した場合に比 ベ， 1.8 ポイント高い結果となった. また, Attention の強いトークンを抽出する手法に比べ， 3.2 ポイン ト高く, 空白で区切る単語レベルトークン化を行 う場合よりも 0.8 ポイント高くなった. 提案手法は ByT5-base と比較して 6\%ほど精度を落とすが，表 2 に示すように，単位時間あたり 1.78 倍のイテレー ションを実行する事が可能になった。

5 回の実験結果における混同行列の平均を表 4 に 示す. 学習データには Positive/Negative いずれも同数含まれている. ByT5-base では若干 Positive 判定 が大きかったが，提案手法では Positive と Negative いずれもほぼ同数の判定となった.表 1 SST-2 における $\operatorname{accuracy}(\%)$

ランダムに選択し結合 (ベースライン) 83.5

Attention から選択し結合 (提案手法) 85.3

空白を選択し結合

84.5

Attention から選択し抽出

82.1

ByT5-base

90.6

表 2 各モデルの処理速度の比較

## 5 考察

## 5.1 トークンの獲得

表 1 より，ランダムに文字トークンを結合する 手法と比較して, Attention の上位 $\mathrm{k}$ 個を用いて文字 トークンを結合する方法は accuracy が 1.8 ポイント 高い.これより Attentionのまとまりは，意味のまと まりを示す情報を持っていると考えられる。

また，表 1 より提案手法は accuracy では ByT5 に 及ばなかった. Transformerアーキテクチャは, 全体 から自身のべクトルを再構成しているため，周りの 文字トークンの結合による意味を持ったトークン 獲得は, Attention の計算で既に行われていたと考え られる. accuracy が ByT5 より下回った原因として，提案手法は式 (4) で文字トークンを平均化している ことから，分類タスクを選択したが，本手法は分類 タスクでも必要な情報が消えたと考えられる．表 3 は，結合する層を変更した際の実験結果である。よ り上位の層で結合するほど, accuracy は高い結果と なっており, 処理速度と精度はトレードオフの関係 にある。提案手法は低い層で結合したことから，事前学習と大きく異なる情報を結合以降の層に伝えた ことも精度低下の原因であると考えられる．より事前学習を再利用できるトークンの結合方法が存在す れば，この低下は緩和できると考えられる。

図 1 中のスペース区切りの実験結果と比較して,提案手法の方が精度が高い. ニューラルネットによ る自然言語処理では，単語モデルよりサブワード モデルの方がタスクを解くのに適していることは， Sennrich ら [16] や Kudo ら [17] も示しており, 本実験結果もニューラルネットワークで分類タスクを解
表 3 異なる層で結合した実験結果

2 層目 (提案手法) 85.2

6 層目 87.1

12 層目

89.6

表 45 回の実験における混同行列の平均 (a)ByT5

(b) 提案手法

Predicted

Predicted

く際には，必ずしも単語レベルのトークン化が適し ているわけではなく，単語とは異なるより適した最小単位が存在することを示しているとわかる.

## 5.2 トークンの文字列としての意味

validation データに対するトークン化の例を表 5 に 示す. 入力のプレフィックスである, "sst2 sentence:" がいずれのパターンも先頭トークンとして文字列に 結合されていることがわかる。これは， fine-tuning の際に全てのタスクに付属していることから，細分化の必要がないと学習したため獲得できたと考え られる。表 5 の 1 例目で” affecting”という単語が確認できるように，一部は単語としての意味を持った トークンの結合ができている。 一方で，サブワード にトークン化する際，一般的に 1 つのトークンとさ れる"and"や"ing"のような，複数文で共通の部分文字列が結合されている様子は確認できない. 本研究 では fine-tuning では，2 值分類タスクを行ったため， スペースを区切りとした簡易的な結合は獲得できた ものの，サブワードのように，共通部分の結合を獲得するにはタスクが簡素であったと考えられる。

## 5.3 Attention 行列の差異

表 2 は, validation データのうちの一つである, "sst2 sentence: i had to look away - this was god awful ."を ByT5-base と提案手法の両者に入力した画像である. それぞれ，2，3，12 層目の Attention 行列をそれぞ れ Head 方向に平均をとった. 提案手法の Attention 行列は，ByT5-base と同様に，Encoder 最終層では query 方向の強い値が連続していることが見てとれ る. 従って，文字トークン結合後も，各トークンに 対して Attention が機能していると考えられる。一方 で，ByT5 の Attention 行列の対角成分は，残差ネッ表 5 validation データに対する結合例

入力文

sst 2 sentence: it 's a charming and often affecting

journey .

結合結果

sst2_sentence:_it's_ / a_ / cha / r / ming_and_o / fte / n_ / affecting_ / jo / urne / y_ / . / <s>

入力文

sst2 sentence: unflinchingly bleak and desperate 結合結果

sst2_sentence:_ / unf / linc / hingly_ble / a / k_and_ /

/ des / pe / r / ate / <s>

トワークにより，自身を再構成が容易なことから，小さい值となっているが，提案手法である結合後の Attention 対角成分にそのような様子は見られない. これは，トークンの結合を残差ネットワークの後に 設定したため学習されなかったと考えられる.

図 2 Attention 行列の様子

## 6 おわりに

本研究では，バイトレベルにトークン化するモデ ルである ByT5 に，語彙に依存しない利点を維持し たままシーケンス長を削減する手法を提案した. テ キスト分類実験において，ランダムに文字トークン を選択し結合する手法と比較して精度の向上を確認 し，ByT5-base と比較して精度の下落を小さく抑え，処理速度の向上を確認できた。表現能力の担保を調 べるためには，今後生成タスクでも検証する必要が ある．文字トークン結合時に情報を脱落させないた めには，文字レベルのトークンがサブワードトーク ンと比較して，具体的にどのような情報を保持して いるかを解明し，それらを維持したまま事前学習済 みの層へ伝播させる方法の研究が必要である.

## 7 謝辞

本研究の一部は科研費 $21 \mathrm{H} 03500$ と $21 \mathrm{H} 05054$ の 助成を受けたものである.

## 参考文献

[1] Ilya Sutskever, James Martens, and Geoffrey Hinton. Generating text with recurrent neural networks. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 1017-1024, Madison, WI, USA, 2011. Omnipress.

[2] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[4] Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, and Donald Metzler. Charformer: Fast character transformers via gradient-based subword tokenization, 2021.

[5] Jonathan H. Clark, Dan Garrette, Iulia Turc, and John Wieting. Canine: Pre-training an efficient tokenization-free encoder for language representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73-91, 2022.

[6] Hicham El Boukkouri, Olivier Ferret, Thomas Lavergne, Hiroshi Noji, Pierre Zweigenbaum, and Jun'ichi Tsujii. CharacterBERT: Reconciling ELMo and BERT for wordlevel open-vocabulary representations from characters. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6903-6915, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. ByT5: Towards a Token-Free future with pre-trained Byte-to-Byte models. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 291-306, 2022.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Con- ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[11] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. January 2020.

[12] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The Long-Document transformer. April 2020.

[13] Saurabh Goyal, Anamitra R Choudhury, Saurabh Raje, Venkatesan T Chakaravarthy, Yogish Sabharwal, and Ashish Verma. PoWER-BERT: Accelerating BERT inference via progressive word-vector elimination. In International Conference on Machine Learning. International Machine Learning Society (IMLS), February 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Richard Socher, Alex Perelygin, Jean Y Wu, Jason Chuang, Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. https://nlp.stanford. edu/ socherr/EMNLP2013_RNTN. pdf. Accessed: 202212-12.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.
 田中康紀 須藤克仁 中村哲 奈良先端科学技術大学院大学 \{tanaka.koki.tk9, sudoh, s-nakamura\}@is.naist.jp  