# zero-shot cross-lingual transfer における言語の多様性の効果

佐藤 匠真 ${ }^{1}$ 新納 浩幸 ${ }^{2}$
1 茨城大学工学部情報工学部 2 茨城大学大学院理工学研究科情報科学領域
19t4035n@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

mBERT のような多言語の事前学習済みモデルで は，あるタスクに対して言語 A で学習したモデル が別の言語 X の同じタスクに対してそのまま利用 できる，いわゆる zero-shot cross-lingual transfer が可能である. 本論文では上記の言語 $\mathrm{A}$ に当たる部分 を複数の言語を組み合わせた場合の効果について 調査する.タスクは Amazon レビューの評判分析と し，モデルを学習する言語を英語，ドイツ語，フラ ンス語の各組み合わせとした。そしてテストデー タは日本語の Amazon レビューの 2000 文書とし, zero-shot cross-lingual transfer を行った. 実験の結果,訓練データに言語の多様性を含める効果があること が判明した。

## 1 はじめに

近年, mBERT[1], XLM[2], XLM-RoBERTa-XL[3] など多言語間の汎用的な特徴表現を学習する多言語 の事前学習済みモデルが提案されている.このよう なモデルの応用の一つとして zero-shot cross-lingual transfer がある. zero-shot cross-lingual transfer は，あ るタスクに対して言語 A で fine-tunining したモデル を別の言語 X の同じタスクに対してそのまま利用 する手法である [4]. 通常，言語 Aを英語などのメ ジャーな言語，言語 $\mathrm{X}$ をリースが少ない，あるい はないようなマイナーな言語に設定することで，低資源言語の学習の問題解決に利用される.

一方, zero-shot cross-lingual transfer を行う場合，も とのモデルは単言語のモデルであっても可能である ことが示されており [5], 多言語の言語モデルにお ける言語の多様性が zero-shot cross-lingual transfer に 影響を与えているのかどうかがはっきりしていな い. 本研究では評判分析をタスクに設定して，この 点に対する調査を行う.

zero-shot cross-lingual transfer を行う際に，言語 A の訓練データの他に, 言語 $\mathrm{B}$ や言語 $\mathrm{C}$ の訓練データも 利用することで言語に多様性のある訓練データから 学習する場合と，それと同サイズの言語 A(あるい は B やC)の言語に多様性のない訓練データから学習する場合とどちらが zero-shot cross-lingual transfer において効果があるのかを調べる。

実験ではタスクを Amazon レビューの評判分析と し，上記言語 $\mathrm{A}, \mathrm{B}, \mathrm{C}$ を英語，ドイツ語，フランス 語，言語 $\mathrm{X}$ を本語とした。つまりテストデータ は日本語の Amazon レビュー文書である. 実験の結果，訓練データに言語の多様性を含める効果がある ことが判明した。

## 2 関連研究

## 2.1 Multilingual BERT

mBERT(Multilingual BERT) は BERT と同じモデル アーキテクチャと学習方法を持っている多言語の事前学習済みモデルである [1]. mBERT が事前学習に 用いる Wikipedia のデータには 104 の言語が含まれ ている. mBERT では WordPiece モデリングにより， モデルが言語間で埋め込み表現を共有することが出来ている。語彙には様々な言語のキャラクタが入っ ており，語彙数は約 12 万 token ある. 日本語の漢字 は 1 文字で 2 文字の漢字単語はない. 日本語のの 2 文字以上の token は約 1000 個ほどで，「になってい る」，「となっていた」などの長いものもある.

cross-lingual な表現学習をしたモデルとして Goyal らの XLM-R がある [6]. XLM-R は様々なクロスリ ンガルベンチマークにおいて mBERT より大幅に 優れている。また，XLM-R は低リソース言語にお いて特に優れた性能を示している。従来の XLM モ デルと比較して XNLI の精度がスワヒリ語やウル ドゥー語で向上している。このような，結果を得る ためには

・正の伝達と容量の希薄化

・高リソース言語と低リソース言語のスケール

のトレードオフが性能に関係している。さらに， XLM-R は GLUE と XLNI において強力な単言語モ デルと非常に高い競争力を有している.

## 2.2 zero-shot cross-lingual transfer

zero-shot cross-lingual transfer $は$ single-source transfer とも呼ばれ，ソース言語 (多くの場合，高リソース 言語) でモデルを訓練し，その後ターゲット言語へ 直接転送する手法である [4].

近年の BERT 等の事前学習済みモデルは，言語を またいだ転移学習が可能であることが知られてい る. 例えば英語やフランス語などの間には, 似た語彙も多く, 英語で学習した知識がフランス語のタス クに有用なのは当然のことである. さらに，この転移学習は事前学習用の言語 (L1) と微調整用の言語 (L2) との間に，共通の語彙が全く無くても可能であ る.この結果から，言語をまたいだ転移学習には人間の言語の何らかの構造的特徴が関連していると考 えられている。

Li らの事前学習された言語モデルにおける新た な cross-lingual 構造 [7] によると, 多言語エンコー ダの最上層に共有パラメータが存在するため, 単言語コーパス間で共有する語彙がない場合やテキス トが非常に異なる領域のものであっても zero-shot cross-lingual transfer が可能であると示されている.

Artexte らの単言語表現の言語伝達可能性につい て [5] では, 言語 L1 で事前学習された単言語モデル を言語 L2コーパスを利用し新しいトークンの埋め 込みを学習することにより新しい言語 L2 転送し た (共有サブワードの概念がない) モデルは最先端の 多言語モデルと zero-shot cross-lingual transfer ベンチ マークで同等に機能した.これは，多言語モデルで は語彙の共有も共同事前トレーニングも必要ないこ とを示している.

## 3 訓練データの言語の多様性

図 1のように英語のデータ 3300 文から訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ 作りそれぞれ E1，E2，E3とした。 ドイツ語も同様 に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3つ作りそれぞれ D1，D2，D3 とした. フ ランス後も同様に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ作りそれぞれ F1，F2， F3 とした.

図 11100 文の訓練データ

図 2 言語の多様性を持たせた 3300 文の訓練データ

さらに，訓練データに言語の多様性の違いを持た せるために図 2のように，図 1で作成したデータを 3 つ合わせて訓練データ 3000 文, 検証データ 300 文の 新たな組を作った. 1 つの言語から構成される言語 の多様性を持っていない E1E2E3，D1D2D3，F1F2F3 の 3 組，2つの言語から構成される言語の多様性 を持っているE1E2F1, E1E2D1, D1D2E1, D1D2F1, F1F2E1，F1F2D1の 6 組, 3つの言語から構成される 最も言語の多様性を持っている E1D1F1，E2D2F2， E3D3F3 の 3 組, 計 12 組を作成した.

zero-shot cross-lingual transfer を行うため訓練デー タには日本語を含んでいない。

## 4 実験

Google が公開している mBERT を用いた文書分類タスクで zero-shot cross-lingual transfer を行うとき に，訓練データに言語の多様性を持たせた場合の識別精度と持たせなかった場合の識別精度を比較し，

図 3 実験結果の平均値のグラフ

訓練データに言語の多様性を持たせる効果を確認 した.

## 4.1 事前学習済みモデル

Google で公開されているモデル (BERT-Base, Multilingual Cased) を使用した。これは Hugging Face 社の Transformers ライブラリから，モデル名'bertbase-multilingual-cased' で利用できるモデルである. The lagest Wikipedias 内でトップ 104 の言語のデータ が事前学習コーパスに利用されている.

## 4.2 実験用データセット

実験には Webis-CLS-10 データセット1を用いた. このデータセットには日本語，英語，ドイツ語，フ ランス語が収録されている．ラベルはレビューの星 の数であり，1 から 5 までの 5 段階評価である. た だし，ラベルが 3 のデータは存在しない. 本実験で はラベルが 1，2 のデータを negative，4，5 のデータ を positive として評判分析 (2 值分類)を行った.

このデータセットには日本語, 英語, ドイツ語, フランス語それぞれに books，dvd， music の 3 つの 領域がある．各言語の各領域に訓練データ 2000 文, テストデータ 2000 文がある. 本実験ではすべて music の領域のデータを用いた.

## 4.3 文書分類器の作成

作成した訓練データ 3000 文，検証データ 300 文 の 12 組で BERT-Base, Multilingual Cased に対して 10epoch の fine-tuning を行った.

## 4.4 実験結果

訓練データの言語の多様性で作成した訓練データ を用いて fine-tuning を行ったモデルで評判分析を解 いた.すべて日本語のテストデータ 2000 で評価し た. 単言語の訓練データで fine-tuning を行い評価を 行った場合の結果を表 1 ，訓練データの言語比 $2: 1$ で fine-tuning を行い評価を行った場合の結果を表 2に，訓練データの言語比 $1: 1: 1$ で fine-tuning を日本語で評価を行った結果を表3に示す。また，実験結果の平均値のグラフを図3に示す.

表 1 単言語での学習

表 2 言語比 2:1 での学習


表 3 言語比 1:1:1 での学習

実験結果より， mBERT を用いて zero-shot crosslingual transferを行う場合の訓練データは言語の多様性を含ませた場合の結果が最も良く, 単言語の場合の結果が最も悪いことがわかった.

## 5 考察

3節で作成した訓練データ 1000 文，検証データ 100 文の組を用いて fine-tuning を行ったモデルで 4節同様に日本語のテストデータを用いた zero-shot cross-lingual transfer を行った. 結果を表4に示す.

表 4 単言語の訓練データ 1000 文訓練データ 日本語で評価

E1 0.6940

E2 $\quad 0.7315$

E3 $\quad 0.7000$

D1 0.7660

D2 0.7005

D3 0.7480

F1 $\quad 0.6625$

F2 $\quad 0.7080$

英語，ドイツ語，フランス語の中で最も精度が良 かった E2，D1，F3 を用いて新たな組を作り，その 組で fine-tuning を行ったモデルで実験した. 精度は 0.7490 だった. これは，精度が良い訓練データを合 わせても精度が向上するわけではないことを示して いる.

さらに， zero-shot cross-lingual transfer ではない日本語の訓練データを用いた評判分析を解く場合に言語の多様性を持たせる効果を確認するために実験を 行った. 日本語の訓練データ 1000 文，検証データ 100 文の組 $\mathrm{J} 1$ を作成した。そして，J1を用いて 4節 で使用したモデルに対して fine-tuning を行い日本語 のテストデータ 2000 文で評価した. 実験結果を表 5に示す.表 5 日本語 1000 文で fine-tuning

表5より日本語を含む訓練データで fine-tuning す る場合も zero-shot cross-lingual transfer $の$ 場合と同様 に訓練データに言語の多様性を含ませた結果が多様性を含ませなかった場合より良くなった。しか し，J1の 1000 文だけで fine-tuning した結果は $\mathbf{0 . 8 2 6 5}$ だった. この結果は訓練データに目的言語データ が含まれている場合 (つまり zero-shot cross-lingual transfer ではない場合) は，訓練データに別言語の データを含ませない方ががよいことを示している. この点についてはさらに調査をする必要がある.

## 6 おわりに

本研究では mBERT を用いた zero-shot cross-lingual transfer を行うときに，訓練データとして 3 種類の 言語を含むデータ 3 組と 2 種類の言語を含むデー タ 6 組と単言語のデータ 3 組を作成し，それぞれで fine-tuning を行い評判分析で精度を比較した. 言語 の多様性を最も持たせた場合の精度が最もよく，単言語の場合の精度が最も悪かった。

また，zero-shot cross-lingual transfer ではない場合 の訓練データに言語の多様性を含めることの効果に ついて調べることを今後の課題とする.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同

研究（22FC04）の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining, 2019.

[3] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling, 2021.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 46234637, Online, July 2020. Association for Computational Linguistics.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.
 佐藤 匠真 ${ }^{1}$ 新納 浩幸 ${ }^{2}$ 1 茨城大学工学部情報工学部 2 茨城大学大学院理工学研究科情報科学領域 19t4035n@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp  