# 理論言語学の知見を応用した多言語クラスタリング

今井咲良 ${ }^{1}$ 河原大輔 1 折田奈甫 ${ }^{1}$ 小田博宗 ${ }^{2}$
1 早稲田大学理工学術院 2 東京大学大学院総合文化研究科
sakura_imai@toki.waseda.jp, \{dkw, orita\}@waseda.jp
hiromuneoda@g.ecc.u-tokyo.ac.jp

## 概要

多言語クラスタリング研究では、言語モデルの埋 め込みを用いる手法が主流であり、語族がベースラ イン手法として扱われている。しかし、語族による 分類は粒度が粗く、言語の性質を十分に考慮してい るとは言い難い。そのため、より言語の性質に着目 した分類を検討する必要がある。本研究では、固有表現認識 (NER) のための多言語クラスタリングを目的として、理論言語学の知見に基づく言語分類方法 を検討し、名詞句の形態・統語的特徴による分類と 主要部の位置による分類を選定した。これらの分類 と埋め込みによるクラスタリング手法を NER にお いて比較した結果、どちらの分類も埋め込みによる クラスタリング手法の精度を上回った。

## 1 はじめに

低リソース言語への言語間転移を目的とした言語 クラスタリングは、固有表現認識 (NER)をはじめと した自然言語処理の様々な分野で利用されている。近年は言語モデルの埋め込みを用いたクラスタリン グが主流となっており、言語学の知見をもとにした クラスタリングは、語族、すなわち系統分類がべー スラインとして用いられている程度である $[1,2]$ 。 しかし、言語学では系統分類以外に様々な言語の分類方法が提案されており、言語学の知見を生かした 言語クラスタリングには改善の余地が多分にある。本研究は、これまでに検証されてこなかった言語 の形態・統語的性質による分類に着目し、このクラ スタリングの有用性を調査する。言語の形態・統語的性質による分類とは、言語の系統関係、すなわち 語族ではなく、語順や定冠詞の有無といった言語の 特徴に基づく分類であり、理論言語学の知見が用い られる。これらの知見を応用すれば、埋め込みでは 捉えられない言語的性質が反映されたクラスタリン グが可能になると予測する。形態・統語的性質に基づくクラスタリングの有用性を評価するため、すでに埋め込みによるクラスタ リングと系統分類によるクラスタリングが検証され ている [2] NER タスクを評価対象として用いる。ま た、本稿で報告する実験では印欧語族の言語データ を用いる。これは、NERタスクの訓練・評価データ が存在する言語が多く、理論言語学研究においても 最も知見の蓄積がある語族であるためである。

本稿で新たに提案する分類には 2 種類あり、どち らも理論言語学、特に統語理論におけるパラメータ を利用している。

第一の分類は、名詞句の形態・統語的性質に関す るパラメータに基づく分類である。NER は入力文中の名詞句中で固有表現が表れる位置を推測する夕 スクであるため、名詞句の形態・統語パラメータに 類似性をもつ言語同士をクラスタリングする方が精度が上がると予測する。本研究では、Ceolin ら [3] が提案する、名詞句に関する様々な形態・統語パラ メータをもとに作られた言語樹を用いてこのクラス タリングを行う。第二の分類は、句構造内で主要部 が現れる位置を示す主要部パラメータによる分類で ある。各言語の句構造において、例えば場所を表す 語（前置詞や後置詞）が似た位置に現れる言語で分類する方が NER の精度が上がると予測する。

本研究では、上記 2 種類のクラスタリング手法 を、言語クラスタリングで主流の埋め込みべースの 手法および系統分類と比較し、理論言語学的分類の 有用性を検証する。

## 2 関連研究

## 2.1 言語間転移学習

言語間転移学習 [4] とは、学習データが特定の言語しか存在しない状況下で言語モデルの学習を行 い、それを転移先のターゲット言語でのタスクに 転用する手法である。言語間転移学習を効率的に
行うための手法として、様々な研究が行われてい る $[5,6,7,8,9,10]$ 。しかし、これらの研究において 用いられている事前知識は、粒度の粗い系統分類や 表層的な文字種などに限られており、言語学の知見 を生かす余地が多分にある。

## 2.2 多言語クラスタリング

多言語間での転移学習をより効果的に実施するた めの一手法として、言語同士をクラスタリングして 言語モデルを学習する多言語クラスタリングが挙げ られる。多言語クラスタリングは、特にニューラル 機械翻訳の分野において活用されており、翻訳モデ ルの埋め込みを用いて言語間の距離を測定しクラス タリングを行う手法が提案されている [1]。

Shaffer [2] は、NERにおいて埋め込みと系統分類 によるクラスタリングを比較し、埋め込みべースの クラスタリングの有効性を確認している。しかし、多言語クラスタリングにおいて、系統分類以外の言語学的知識を用いた実験は未だ行われておらず、さ らなる検証が必要である。

## 3 理論言語学のパラメータを用いた 言語クラスタリング

## 3.1 対象のタスクおよび言語の選定

本研究では、埋め込みおよび系統分類に基づく クラスタリングによって NER の精度向上を図った 先行研究 [2] と比較するため、対象のタスクとして NER を選定する。また、対象言語には、印欧語族に 属する 25 言語を用いた。これは、NER のデータが 存在する言語が多く、理論言語学でも知見の蓄積が 多いためである。

本研究で用いる言語の一覧を表 1 に示す。先行研究 [2] では、データが存在するにもかかわらず、ケ ルト語派等の下位分類は使用されなかった。本研究 では、下位分類の網羅性を可能な限り考慮して言語 を選択する。なお、本稿では、各言語を ISO639-11) に準拠した言語コードで表す。

## 3.2 名詞句パラメータクラスタリング

NER は、入力文をトークンとしてモデルに与え、名詞句から構成される固有表現とその属性を推測す るトークン分類のタスクである。そのため、名詞句


表 1 本研究で使用した言語と先行研究との比較

図 1 Ceolin ら [3] による言語樹

の構造が類似した言語同士でクラスタリングをする と学習の効果が高いと考元、定冠詞の有無など名詞句における形態・統語的性質を通言語的に捉えたパ ラメータに着目する。本研究では、Ceolin ら [3] が 提案する、名詞句に関する 94 種類の形態・統語パ ラメータ2）（関係節への定冠詞付加の有無や接置詞 を用いた属格の有無など）をもとに作られた言語樹 をクラスタリングに用いて、名詞句の形態・統語的性質が似た言語で分類する。本研究で用いる Ceolin らの言語樹を図 1 に示す。

言語樹を用いたクラスタリングでは、言語樹上で 距離が近い下位分類同士を結合し一つのクラスタを 形成するという操作を繰り返し行う。例として、ク ラスタ数 3 において図 1 を用いてクラスタリングを 行った結果を表 2 に示す。クラスタ数は 4.2 節にて 述べるエルボー法の結果により決定する。

## 3.3 主要部パラメータクラスタリング

言語モデルが NER のタスクを解く際は、固有表現が含まれる名詞句全体だけでなく、周辺のトーク ンの羅列（語順）も暗黙的に学習すると仮定する。固有表現である名詞句は、場所を表す接置詞句など の一部を構成する場合や、目的語として動詞句の一部を構成する場合があるため、主要部の位置が同じ 言語同士で分類する方が学習効果が高くなると予測

2) https://github.com/AndreaCeolin/Boundaries/blob/ main/Tables2.pdf
表 2 図 1 の言語樹によるクラスタリング(クラスタ数 3)

表 3 主要部パラメータに基づくクラスタリング

 \\
主に主要部後行 & インド・イラン語派

する。この仮説をもとに、各言語の句構造において どの位置に句の主要部が置かれるかを表す主要部パ ラメータ [11]を用いて言語をクラスタリングする。例えば接置詞句 (PP) では、主要部先行であれば主要部である接置詞 $(\mathrm{P})$ が名詞句 $(\mathrm{NP})$ に先行し、主要部後行であればその逆になる (図 2)。こうした主要部 パラメータに基づく分類を表 3 に示す。

## 4 固有表現認識 (NER) 評価実験

## 4.1 実験設定

NER による評価実験では、3 節の 2 種類のクラス タリング手法を用いて実験を行う。本研究における 全言語は系統分類 (印欧語族) にあたるため、系統分類で Fine-tuning する場合と単言語で Fine-tuning する 場合とも比較する。

初めにクラスタ内の全ての言語の訓練セットを 結合し、NERで言語モデルを Fine-tuningする。その 後、クラスタ内の各言語の評価セットを用いて評価 を行い、スコアを取得する。本研究では、Wikiann [4] データセット ${ }^{3)}$ と XLM-RoBERTa-base ${ }^{4}$ [12]を用い る。各クラスタにおける NER 評価実験を 3 回ずつ 行い、平均 $\mathrm{F} 1$ スコアと標準偏差を算出する。また、 すべての実験に関して、バッチサイズを 32 、入力の 最大長を 512、学習率を 5e-05 と設定し、 3 epoch の Fine-tuning を行う。

## 4.2 埋め込みベースクラスタリング

本研究では、比較対象として Shaffer [2] による埋 め込みべースのクラスタリング手法を採用する。埋 め込みベースクラスタリングの概略を図 3 に示す。初めに、Wikiann 訓練セットを用いて、XLMRoBERTa-base を言語識別タスクで Fine-tuning する。

3) https://huggingface.co/datasets/wikiann

4) https://huggingface.co/xlm-roberta-base

図 2 接置詞句 (PP) の主要部先行 (左) と主要部後行 (右)

図 3 埋め込みベースクラスタリングの概略

言語識別タスクとは、言語モデルに与えた入力がど の言語で記述されているかを推測するタスクであ る。本研究では、表 1 の全 25 言語を用いて行う。

次に、言語識別タスクで Fine-tuning した XLMRoBERTa に Wikiann 検証セットの各文を入力として 与光、[CLS]トークンから埋め込みを取得する。そ して、得られた埋め込みをもとに、凝集クラスタリ ングにより再帰的にクラスタリングを行う。そし て、各入力に対してクラスタをラベリングし、各言語においてどのクラスタに一番多く割り当てられた かによりその言語が属するクラスタを決定する。

Wikiann データセットの各言語の検証セットから、 1,000 サンプルおよび 10,000 サンプルを用いてクラ スタリングを行った結果を表 4 に示す。

本研究では、 3 節にて述べた名詞句のパラメータ によるクラスタリング手法と比較する際は、エル ボー法 [13] により決定されたクラスタ数 3を用いる (その他のクラスタ数 $\{2,4,5\}$ での比較実験の結果 は付録参照)。また、主要部パラメータを用いたク ラスタリング手法と比較する際はクラスタ数を 2 に 揃えてクラスタを生成する。

## 4.3 結果と議論

表 5 に名詞句パラメータと単言語、埋め込み、系統分類を用いた NER 評価結果を示す。表 6 に主要部パラメータとの比較結果を示す。表では、言語ご とに最高スコアを太字にしている。

はじめに、本研究で用いた形態・統語パラメータ によるクラスタリングと埋め込みべースのクラスタ リングによる NER 評価結果を比較する。表 4 から、埋め込みによるクラスタリング手法は、対象言語の 選定や埋め込みを得るためのサンプル数によって結果が大きく異なり、一様に最も有効な手法とは言い 難いことがわかった。名詞句パラメータに基づくク
表 4 埋め込みベースクラスタリング結果 (クラスタ数 3)

 &  \\

表 5

ラスタを用いて NER 評価を行った結果（表 5）、7 割 の言語において埋め込みによるクラスタリングを上回った。また、主要部パラメータに基づくクラスタ を用いた結果（表 6）では、8割の言語において埋 め込みべースの結果を上回った。これらの結果は、理論言語学の通言語的パラメータが自然言語処理夕 スクにおいて有用であることを示している。

つぎに、系統分類と形態・統語パラメータによる クラスタを用いた結果を比較する。本研究の対象言語はすべて印欧語族に属することから、全言語を用 いた結果は系統分類によるクラスタリングを行った 結果と等しい。したがって、系統分類は他の分類に 比べ訓練サンプル数が圧倒的に多い。本研究が提案 する形態・統語パラメータを用いた分類はデータ量

で大きく劣るにも関わらず、系統分類と比べて同等 かそれ以上のスコアを達成した。最も良いスコアを 出した分類の全言語での割合を比較すると、系統分類の 4 割に対して名詞句パラメータは 3 割に達して いる（表 5）。訓練サンプル数が格段に少ない名詞句 パラメータの分類が全言語での学習に匹敵してい る。さらに、約 7 割の言語において主要部パラメー タが最も良いスコアを出した（表 6)。これらの結果 は、最近のデータ偏重の自然言語処理において、言語学が役立つ可能性を示唆している。

## 5 おわりに

本稿では、言語の形態・統語的性質による分類を 活用した多言語クラスタリングを提案し、NER タス クにおける本手法の有用性を示した。

本研究でクラスタリングに用いた形態・統語パラ メータ以外にも、様々なパラメータが提案されてい る [14]。対象とするタスクによってクラスタリング に最適な言語パラメータが異なる可能性がある。ま た、考慮するパラメータをさらに増やして複合的な クラスタリングを行うことでより効果的に言語間転移が行われる可能性もあり、今後の課題としたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した。

## 参考文献

[1] Xu Tan, Jiale Chen, Di He, Yingce Xia, Tao Qin, and TieYan Liu. Multilingual neural machine translation with language clustering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 963-973, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Kyle Shaffer. Language clustering for multilingual named entity recognition. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 40-45, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Andrea Ceolin, Cristina Guardiano, Giuseppe Longobardi, Monica Alexandrina Irimia, Luca Bortolussi, and Andrea Sgarro. At the boundaries of syntactic prehistory. Philosophical Transactions of the Royal Society B, Vol. 376, , 2021 .

[4] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[6] Vaidehi Patil, Partha Talukdar, and Sunita Sarawagi. Overlap-based vocabulary generation improves crosslingual transfer among related languages. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 219-233, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Ryokan Ri and Yoshimasa Tsuruoka. Pretraining with artificial language: Studying transferable knowledge in language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Telmo Pires, Eva Schlinger, and Dan Garrette. How multilingual is multilingual BERT? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4996-5001, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Yoshinari Fujinuma, Jordan Boyd-Graber, and Katharina Kann. Match the script, adapt if multilingual: Analyzing the effect of multilingual pretraining on cross-lingual trans- ferability. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1500-1512, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Wietse de Vries, Martijn Wieling, and Malvina Nissim. Make the best of cross-lingual transfer: Evidence from POS tagging with over 100 languages. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7676-7685, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Noam Chomsky. Lectures on Government and Binding. De Gruyter, Berlin, Germany, 1981.

[12] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[13] Robert L. Thorndike. Who belongs in the family? Psychometrika, Vol. 18, pp. 267-276, 1953.

[14] Ian Roberts. Parameter Hierarchies and Universal Grammar. Oxford University Press, Jun 2019.

 &  &  &  \\

## A クラスタ数を変化させた場合の NER 評価結果

3 節および 4 節では、クラスタ数を 3 とした場合における名詞句パラメータクラスタリングと埋め込みベースクラスタ リングの比較を行った。本節では、クラスタ数を $\{2,4,5\}$ と変化させた場合のクラスタリング結果、またそれらを用い た NER による評価実験結果について述べる。はじめに、例として Wikiann データセットの検証セット 10,000 サンプルを 用いて作成したクラスタを表 7 に示す。これらのクラスタを用いた NER 評価実験の結果を表 8 亿示す。

表８から、クラスタ数が減少するにつれて名詞句パラメータクラスタリングが埋め込みベースクラスタリングを大幅 に上回ることがわかった。クラスタ数を 2 に設定した場合は、全体の 6 割の言語で最高スコアを記録している。

一方で、クラスタ数 5 の結果では、1,000 サンプルと 10,000 サンプルの埋め込みベースクラスタリングでそれぞれ 5 言語と 13 言語、名詞句パラメータクラスタリングでは 8 言語が最高スコアを記録した (表 8)。表 7 を参照すると、埋め込 みベースのクラスタ数 5 において各クラスタに属する言語数に大きな偏りがあることがわかる。特に、 10,000 サンプル を用いたクラスタリングでは 1 つのクラスタに言語が集中していることがわかる (表7)。したがって、各クラスタのデー 夕量にも大きな差が生じる。そのような状況下でも、NER 評価結果において名詞句パラメータクラスタリングは埋め込 みベースクラスタリングに NER スコアにおいて匹敵している。この結果は、クラスタ数を変化させてもクラスタリング 亿形態・統語的性質を用いる有効性があることを示している。
 今井咲良 ${ }^{1}$ 河原大輔 1 折田奈甫 ${ }^{1}$ 小田博宗 ${ }^{2}$ 1 早稲田大学理工学術院 2 東京大学大学院総合文化研究科 sakura_imai@toki.waseda.jp, \{dkw, orita\}@waseda.jp hiromuneoda@g.ecc.u-tokyo.ac.jp  