# 能動的サンプリングを用いた リソース構築共有タスクにおける予測対象データ削減

$\dagger$ 理化学研究所
‡ 筑波大学
\{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp
\{baba\}@cs.tsukuba.ac.jp

## 1 はじめに

今日まで、多くの共有タスクが自然言語処理の 進歩に大きく貢献してきた。しかし、それらタス クのほとんどは技術開発が目的であり、タスク内 で実際に構築されたシステムや予測結果等の共有 を目的としない場合が多い。この様な参加者の努力が浪費されている状況は無視できるものではな い。近年、タスク参加者による努力をリソース構築といった形で共有する “Resource by Collaborative Contribution(RbCC)”[1] という考え方が考案された。 $\mathrm{RbCC}$ に準拠するリソース構築共有タスクでは、参加者は予め指定された範囲のラベル無しデータを 受け取り、その全てに対する予測結果を提出する必要がある。評価は一部の隠されたデータにより行わ れる。参加者から得られた複数の予測結果はアンサ ンブル等により統合され、最終的に知識ベースなど のリソースとして公開される。実際に RbCC に準拠 するタスクが行われ $[1,2]$ 、アンサンブル手法も提案されてきた [3]。RbCC の最終目的はリソース範囲全てのデータに対する予測結果を得ることであり、過去のタスクでは参加者は範囲全てのデータに対す る予測の提出が要求されている。しかしリソースの サイズ次第では、予測にかかる計算コストは無視で きず、タスク参加への高いハードルとなり得ると考 える。タスク参加者ごとで予測範囲を分配すること も考えられるが、データ間で品質のばらつきが発生 する可能性は捨てきれない。最良スコアを獲得した 参加者のみ全件予測を依頼することも可能だが、採択されなかった参加者の努力の浪費につながり、こ れは $\mathrm{RbCC}$ の本意ではない。整理すると、負担軽減 の理想は、提出データを削減しつつ最良システム以上のスコアで提出範囲外の最終予測を補完可能なこ
とである。

本研究では、実際に RbCC に準拠するタスクを有 する森羅プロジェクトで用いられているアンサンブ ル手法である Pre-Distillation Ensemble(PDE)[3] に能動学習 [4] の考え方を組み合わせることで、最終的 なリソースの品質を落とさず予測対象データを削減 し、参加者の負担軽減を試みる。実際のリソース共有タスクにおいて、提案手法が効果的に参加者の負担を削減できることを示すため、森羅プロジェクト の一つである SHINRA2020-ML[5] の結果を用いて予備実験を行う。終わりに、その結果を用いて次年度以降の森羅プロジェクトにおける適用可能性につい て考える。

## 2 手法

## 2.1 Pre-Distillation Ensemble(PDE)

PDE[3] は、教師ありモデルの予測結果を統合す る手法である。PDEでは、初めに各参加システムの 予測結果を学習データとして用い、新規モデルを学習する。モデルの結果から新規モデルを学習するこ とを蒸留と呼ぶ。蒸留に用いるモデルは、図 1 上部 に示すような主たる共有モデルに対し各システムの 出力値再現を担当する専用モデルをそれぞれ接続す る形で構成され、並列に全てのシステムの予測を行 う。蒸留時、専用モデルのパラメーター数が小さけ れば、各システムの出力予測に必要な情報の多くは 共有モデルへと埋め込まれる。その後、図 1 下部の ように学習済み共有モデルに対し新たな専用モデ ルを接続し、各参加システムの学習に使用されたラ ベル付きデータを用いてモデルを再学習する。学習中、新たに接続された出力モデルは、共有モデルに 埋め込まれた各システムの情報をもとに、新たな予

アンサンブル予測

共有タスク学垍データ

図 1 本研究で使用する PDE モデル

測を出力する。PDEでは、このモデルの出力結果を 擬似的なアンサンブル結果として扱っている。計 2 回行われる学習はそれぞれ蒸留段階、アンサンブル 段階と呼ぶ。

## 2.2 能動学習

教師ありモデルを学習する場合、ラベル無しデー タに対してアノテーションを施し学習データを作成する必要がある。一般的にアノテーションはコス トがかかるため、少ないアノテーション数でより高性能なモデルが学習できることが望まれる。能動学習 (Active Learning)[4] は、ある時点で既にアノテー ションが施されたデータにより学習されたモデルの 予測結果等を用いて、モデルの評価値を最も向上す ることができるような次のアノテーション対象を能動的にサンプリングする機械学習フレームワークで ある。一般的に能動学習におけるアノテーション結果は専門家やクラウドワーカーへの問い合わせに よって得られる。自然言語処理においても様々な夕 スクにおいて用いられており、様々な手法が開発さ れている。能動学習の古典的手法として不確実性サ ンプリング (Uncertainty Sampling)[6] が挙げられる。不確実性サンプリングでは、モデルの予測值が決定境界に近いインスタンスが次のアノテーション対象 として選択される。

## 2.3 提案手法

RbCC に準拠するタスクにおいて、提出される予測対象の多さが参加者の負担となり得ることは 1 章 で述べたとおりである。本論文では、参加者の負担軽減のため、PDE と能動学習を組み合わせること で、最終的なリソースの品質を落とさずに予測対象 データの削減を試みる。

PDEでは、システムの予測結果は蒸留に使用され
るが、直接的にアンサンブル結果に使用されること はない。そのため、PDEに用いるシステムの予測結果は全ての範囲に対するものである必要はない。つ まり、最終的なアンサンブル予測を最も洗練できる ような蒸留対象を選択することでスコアを担保しな がら参加者に要求する予測対象を削減することがで きると考える。蒸留対象の選択が、参加システムに 対する問いあわせであると考えると、能動学習のフ レームワークを直接対応できる。本論文では、PDE と能動学習の組み合わせの優位性を予備実験的に示 すため、不確実性サンプリングを用いて、タスク参加者に問い合わせるラベル無しデータのサンプルを 決定する。

## 3 SHINRA2020-ML

SHINRA2020-ML[5] は、NTCIR-15[7] の 1 つであ り、拡張固有表現 (ENE) 階層 [8] 30 言語の Wikipedia 記事を分類するタスクである。ENE 階層 は約 200 の末端カテゴリーを持っており、1つの ページが複数の末端カテゴリーに属する場合もあ る。そのため、SHINRA2020-ML は多ラベル文章分類タスクである。学習データは、日本語 Wikipedia をENE 階層へと分類した日本語分類済みデータ [9] と、日本語 Wikipedia から他言語への言語間リ ンクを用いて作成される。予測対象は各言語の全 Wikipedia 記事である。これは各言語ごと異なり、最大で 5,790,377 件、最小で 129,141 件であり、 30 言語全ての合計は、32,302,922 件である1)。予測対象 には学習データの範囲に対する記事も含まれるた め、再度予測し提出する必要がある。評価データは 各言語 1000 件用意されるが、 $\mathrm{RbCC}$ の考えに基づ き参加者には配布されない。評価は提出データ中の


 & 予測対象 &  &  &  & ランダム & 不確実性 &  \\

ドイツ語 & 36,400 & $2,262,582$ & $98.39 \%$ & 274,732 & 80.53 & $\mathbf{8 1 . 9 0}$ & $\mathbf{8 1 . 6 3}$ & 81.86 \\
英語 & 38,400 & $5,790,377$ & $99.34 \%$ & 439,354 & 81.56 & $\mathbf{8 1 . 7 2}$ & $\mathbf{8 2 . 6 5}$ & 82.73 \\
スペイン語 & 37,400 & $1,500,013$ & $97.51 \%$ & 257,835 & 80.51 & $\mathbf{8 0 . 5 5}$ & 79.98 & 81.39 \\
フランス語 & 37,200 & $2,074,648$ & $98.21 \%$ & 318,828 & 81.01 & 80.41 & 80.87 & 81.01 \\
イタリア語 & 36,200 & $1,496,975$ & $97.58 \%$ & 270,295 & 82.08 & $\underline{\mathbf{8 2 . 8 8}}$ & $\mathbf{8 2 . 8 9}$ & 82.81 \\
ポルトガル語 & 36,200 & $1,014,832$ & $96.43 \%$ & 217,896 & 81.01 & 80.75 & $\mathbf{8 1 . 8 2}$ & 83.23 \\
トルコ語 & 35,200 & 321,937 & $89.07 \%$ & 111,592 & 82.53 & $\mathbf{8 3 . 1 2}$ & $\mathbf{8 4 . 8 8}$ & 86.50 \\
中国語 & 37,200 & $1,041,039$ & $96.43 \%$ & 267,107 & 78.15 & $\mathbf{7 8 . 5 1}$ & $\mathbf{7 8 . 8 8}$ & 81.25 \\

表 1 能動的サンプリングを用いた予測対象データ削減結果

相当する部分を用いて行われる。SHINRA2020-ML は、 2020 年 8 月まで行われ、合計で 7 チーム 12 シ ステム ${ }^{2)}$ の結果が提出された [7]。

## 4 実験

提案手法が $\mathrm{RbCC}$ に準拠する共有タスクにお いて効果的に機能することを予備的に示すため、 SHINRA2020-ML に提出されたシステム出力を用い て実験を行う。本研究では、SHINRA2020-ML の内、参加システムが最も多かった 8 言語に英語を加えた 9 言語を対象とする。

## 4.1 能動的サンプリング

タスク参加者に配布するサンプルを能動的に 推定するため、SHINRA2020-ML で配布されたラべ ル付きデータを使用してニューラルモデルを学習する。ラベル付きデータの $90 \%$ を学習データと し、残りを開発データとして用いる。モデルは、事前学習済み言語モデルである BERT[10] 1 層 の全結合層を接続する形で構成される。一般的に BERT では、位置埋め込みの都合上扱うことので きる最大トークン長が限られており、我々が実験 に使用するXLM-RoBERTa-base[11] では、512トー クンに制限されている。本実験では Wikipedia の先頭 510 トークンのみを使用して分類を行なった ${ }^{3)}$ 。 XLM-RoBERTa は、RoBERTa[12] のモデル構造と手


法をべースに、100 言語にわたる約 $2.5 \mathrm{~T}$ バイトの CommonCrawl データから事前学習したモデルであ る。トークナイズと語彙圧縮には SentencePiece[13] を用いており、語彙数は合計で 250,000 トークンで ある。本研究では、XLM-RoBERTaを各言語ごとに 学習するが、その場合、語彙中の多くが低頻度トー クンとなる。低頻度トークンに関する計算が、全体 の学習速度や使用する GPUメモリーを圧迫するこ とを防ぐため、各言語の学習データ中に高頻度で出現する 24000 トークン4) のみを使用し、残りのトー クンは未知語として扱う。多ラベル分類を、各クラ スごとの 2 値分類として考え、誤差関数には交差エ ントロピーを用いる。その他学習の詳細は付録 $\mathrm{A}$ に 示す。

多ラベル分類における不確実性サンプリングには 様々な手法が提案されているが、本研究では各クラ スを 2 値分類タスクとみなし、各クラスごとに 200 件ずつ不確実性の高いインスタンスをサンプリング する。この際、各インスタンスは学習データにおい て出現数が高いクラスから重複が無いようサンプリ ングされる。また、ラベル付きインスタンスはサン プルの対象としない。最終的にサンプリングされた インスタンス数を表 1 に示す。

## 4.2 PDE 学習

図 1 に本研究で使用する PDE モデルを示す。共有モデルには、4.1でも用いた XLM-RoBERTa-base を用い、同様の語彙数削減を行う。専用モデルに は、1 層の全層結合を用いる。誤差関数も 4.1 章と

同じものを用いるが、蒸留段階のみ陽性ラベルに対 して重みを付与して計算する。重みは、各システム 出力ごとに陰性ラベルの総数を陽性ラベルの総数で 割った数値を用いる。蒸留段階における各システム 出力との複数誤差は算術平均により統合する。その 他学習の詳細は付録 B に示す。

## 5 実験結果

実際に不確実性サンプリングにより得られたサン プルに対しPDE を適用した結果を表 1 に示す。比較のため、同じ数のサンプルをランダムサンプリ ングにより取得し、同様に PDEを適用した。べー スモデルは、不確実性サンプリングに使用された モデルのスコアを示しており、最良システムは SHINRA2020-ML に参加したシステムのうちの最良 スコアを示している。また、ベースモデルより良い スコアを太字、最良システムより良いスコアを下線 で示している。削減率は、本来の予測対象を能動的 なサンプリングによりどれだけ削減できたかを示し ており、この值が高いほど参加者の負担軽減につな がる。評価指標は、SHINRA2020-ML と同じくF1 值 のマイクロ平均である。

不確実性サンプリングを用いた場合、スペイン 語、フランス語以外での言語でベースモデルより良 い性能を達成していることから、モデルの性能を向上できるようなサンプルが導出できていることが分 かる。しかし、アラビア語、ドイツ語、スペイン語 ではランダムサンプリングを用いた場合において、不確実性サンプリングを用いた場合よりスコアが高 い。これは、蒸留段階における本来のクラス分布と 大きく異なったサンプルの選択が、アンサンブル段階後のモデルの出力分布に負の影響を及ぼす可能性 を示唆している。この問題は、各クラスごと均等数 の不確実性サンプリングではなく、実際の学習デー タの分布を用いてサンプルの割合を決定することで 解決できる可能性がある。

最良システムとの比較では、イタリア語において 不確害性サンプリングを用いた手法が良いスコアを 残している。イタリア語では予測対象データの $97 \%$以上の削減に成功しており、タスク参加者の負担軽減に大きく貢献している。残りの言語においては、最良システムに対し不確実性サンプリングが劣って いる結果になっているが、これらは PDE に用いた モデルが文章の先頭のみの情報から分類を行なって いることが要因の一つであると考えられる。実際に
SHINRA2020-ML に参加したシステムには、より広 い範囲の文章を参照するシステムや、言語間リンク や記事に付与された画像等追加の付加情報を使用す るシステムがあり、現状のモデルとの間で入力情報量に差異が生まれてしまっていることは否定できな い。本研究は予備実験のため、簡易なモデル設計を 行なったが、今後実際に共有タスクで適用する場合 には、PDE モデルは様々な入力に対応できる設計が 好ましい。また、アラビア語では、不確実性サンプ リングを用いた場合のスコアが大きく劣っている が、ベースモデルのスコアはさらに大きく劣ってい ることから、対象言語におけるモデルの学習法自体 に大きな問題が存在する可能性があり、これについ ては今後学習法の見直しを考えている。

## 6 おわりに-今後の展望

本研究では、実際に RbCC に準拠するリソース 構築タスクで使用されているアンサンブル手法 である PDE と、能動学習のフレームワークを組 み合わせることで、タスク参加者が提出を求めら れる予測対象データを削減する手法を提案した。 SHINRA2020-ML の結果を用いて予備実験を行った ところ、提案手法は 9 カテゴリーのうち 1 カテゴ リーで 97\%以上の予測対象データを削減した上で、最良システム以上のスコアで削減された範囲を補完 できた。また、残りの８カテゴリー中６カテゴリー においても、F1 值の劣化を 1.7 以内に収めた上で、 89\% 99\%予測対象を削減できることが分かった。

今後は全てのカテゴリーにおける最良システム 以上の補完を目指し、サンプリング手法やサンプ ルサイズを変化させた場合の実験や、より多くの 情報を活用したモデルの設計等の改善を行いたい と考えている。また、改善手法は 2021 年に開催す る SHINRA2021-ML タスクに対し適用する予定であ る。具体的には、本手法により能動的に推定された サンプルをリーダーボードの提出データに含めるこ とを考えている5)。リーダーボードに提出したデー タ内で最終評価を行うことも視野に入れており、積極的に一部予測のみの最終提出を受け入れる予定で ある $[14]$

## 参考文献

[1] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring Wikipedia by Collaborative Con-

5）リーダーボード上における評価は、その一部で行われる。
tribution. In Submitted to Automated Knowledge Base Construction, 2019.

[2] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会, 2020.

[3] 中山功太, 栗田修平, 小林暁雄, 関根聡. Pre-Distillation Ensemble:リソース構築タスクのためのアンサンブ ル手法. 言語処理学会第 26 回年次大会, 2020.

[4] Burr Settles. Active learning literature survey. Computer Sciences Technical Report 1648, University of WisconsinMadison, 2009.

[5] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of the NTCIR-15 Conference, 2020.

[6] David D. Lewis and Jason Catlett. Heterogeneous uncertainty sampling for supervised learning. In William W. Cohen and Haym Hirsh, editors, ICML, pp. 148-156. Morgan Kaufmann, 1994.

[7] Yiqun Liu, Makoto P. Kato, and Noriko Kando. Overview of ntcir-15. In Proceedings of the NTCIR-15 Conference, 2020.

[8] Sekine Satoshi. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[9] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for fine-grained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Com- putational Linguistics.

[14] 関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史, 安藤まや. SHINRA2020-ML:30 言語の Wikipedia ペー ジの分類. 言語処理学会第 27 回年次大会, 2021.

表 2 本研究で用いたハイパーパラメーター

## A ベースモデル学習

学習に使用したハイパーパラメーターを表 2 に 示す。学習データのサイズに合わせて、ar のバッ チサイズを半分、enのバッチサイズを倍に設定 している。学習時の計算コストを削減するため、 ${ }^{\text {apex }}{ }^{6)}$ (opt_level には O1 を設定) を用いて混合精度学習を行っている。

## B PDE モデル学習

蒸留段階、アンサンブル段階に使用したハイパー パラメーターを表 2 に示す。アンサンブル段階で は、ベースモデルの学習と同様に、言語ごとでの バッチサイズを設定している。学習時の計算コスト を削減するため、apex(opt_level には O1を設定)を用 いて混合精度学習を行っている。

6) https://github.com/NVIDIA/apex
 $\dagger$ 理化学研究所 ‡ 筑波大学 \{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp \{baba\}@cs.tsukuba.ac.jp  