# 日本語 Tokenizer の違いは下流タスク性能に影響を与えるか？

藤井 巧朗 1* 柴田 幸輝 2* 山口 篤季 3 十河 泰弘 ${ }^{3}$
1 横浜国立大学 2 筑波大学 3 株式会社日立製作所研究開発グループ
${ }^{1}$ tkr.fujii.ynuegmail.com ${ }^{2}$ s1811496@klis.tsukuba.ac.jp
${ }^{3}$ \{atsuki.yamaguchi.xn, yasuhiro.sogawa.tp\}@hitachi.com

## 概要

本研究では、形態素解析器やサブワード分割手法の違いが大規模言語モデルに与える影響を調査した。種々の形態素解析器とサブワード分割手法を考慮した全 18 種のトークナイザについて、トークナイザの学習と BERT モデルの事前学習、 7 個の下流タスクでのファインチューニングを行い、下流タスクの性能を比較した。また、形態素解析器の有無やその違い、サブワード分割手法の違い、単語分かち書き辞書の違い、トークナイザ辞書の類似性の観点から各種トークナイザの与える影響を評価した。

## 1 はじめに

近年、BERT [1]をはじめとした大規模言語モデルの登場により、自然言語処理における様々なタスクの性能が飛躍的に向上した。現在に至るまで、様々な日本語事前学習済み言語モデルが公開されている。例えば、東北大学の乾研究室は事前学習済み BERT モデル1)を公開しているほか、早稲田大学の河原研究室は事前学習済み RoBERTa モデル2)を公開している。

こうした日本語の事前学習済み言語モデルが用いるトークナイザは、モデルにより異なる。前述の東北大 BERT モデルは、形態素解析器に MeCab [2]、サブワード分割手法に WordPiece [3] を用いたトークナイザを活用している。一方で、早稲田大学 RoBERTa モデルは、形態素解析器に Juman++ [4]、サブワード分割手法に Unigram [5] を用いたトークナイザを活用している。

トークナイザが異なると、大力文の分割粒度が異なるため、言語モデルの学習する潜在表現に何らかの影響を与えると考えられる。このため、トークナ

イザの違いは下流タスクの性能に影響する可能性がある。実際にトークナイザの下流タスクに与える影響については、築地ら [6] や井上ら [7]が調査している。しかし、前者は事前学習時とファインチューニング時で異なるトークナイザを用いている点、後者はサブワード分割手法に BPE のみ考慮している点や 1 個の下流タスクでのみ分析を行っている点から、先行研究はトークナイザの下流タスクの性能に与える影響について十分な検討を行えていない。

そこで本研究では、形態素解析器を使わない場合も考慮した 6 種の形態素解析器と 3 種のサブワー ド分割手法の組合せに対して、同一のデータによりトークナイザの学習および BERT の事前学習を行い、JGLUE [8] や固有表現抽出 [9]、構文解析 [10] 夕スクにおけるファインチューニング時の性能を測定することで、形態素解析器やサブワード分割手法の違いが与える影響を網羅的に分析した。

本論文の貢献は次の 2 点である。(1) 複数の日本語形態素解析器とサブワード分割手法の組合せについて、統一的な実験設定で事前学習、およびファインチューニングを実施し、様々な下流タスクにおける性能評価を行った。(2) 各種形態素解析器、およびサブワード分割手法が下流タスク性能に与える影響を 5 つの観点から解析した。

## 2 日本語トークナイザ

日本語の事前学習済み言語モデルが用いるトークナイザは、形態素解析器とサブワード分割手法により構成される。トークナイズ手順は、まず形態素解析器により入力文を単語単位に分割する。次に、分割された各単語に対して、サブワード分割手法を用いてサブワード単位に分割する。言語モデルへの入力は、サブワード単位に分割された文を用いる。

以下、本章では本稿において考慮する形態素解析器とサブワード分割手法について解説する。

## 2.1 形態素解析器

MeCab MeCab [2] は辞書をもとにラティスを構築し、ビタビアルゴリズムにより累積コストが最小となる組合せを選択することでトークナイズを行う。コストの計算は、CRFによる系列ラベリングの際に素性関数を用いて行われる。また、辞書には IPAdic や NEologd $[11]^{3)}$ な゙があり、NEologd は新語・固有表現が追加され、語彙数が多い辞書である。

Juman++ Juman++ [4] は人手で調整された基本語彙辞書と Wikipedia や Webコーパスから自動作成した辞書をもとにラティスを構築し、ビームサーチによりシーケンススコアが最大となる組合せを選択することでトークナイズを行う。シーケンススコアの計算は、RNN 言語モデルを用いて行われる。

Sudachi Sudachi [12] は、UniDic [13] と NEologd をべースに人手で調整された辞書に基づいてトークナイズを行う。また、Sudachi は分割粒度の異なる 3 つのトークナイズが可能であり、目的に応じて使い分けられる。使用できる辞書としては Small、Core (Sudachi のデフォルト辞書)、Full の 3 種類の辞書が存在する。本研究では、基本的な語彙を収録した Core を辞書に用いた。

Vaporetto Vaporetto [14] は一定幅の窓を設定し、窓内の文字列から素性を取り出し、各文字間の単語境界の有無を線形分類モデルにより判別することでトークナイズを行う。辞書には UniDic を用いる。

## 2.2 サブワード分割手法

Byte-Pair-Encoding BPE (Byte-Pair-Encoding) [15] は、文字ぺアの出現頻度が高いものから結合リストに追加し、結合した文字列を辞書に追加することで学習される。トークナイズは、文字分割後に結合リストを参照し、出現頻度の高い文字ペアから順に結合することで行われる。

WordPiece WordPiece $[3]^{4}$ は、文字ぺアの頻度が高く、個々のパーツの出現頻度が低いものから結合した文字列を辞書に追加することで学習される。 トークナイズは、先頭の文字から順に、辞書にある最長のサブワードにより分割することで行われる。

Unigram Unigram [5] は、出現した全文字パター ンを辞書に追加し、Unigram 言語モデルによりその語彙を失ったときの損失を計算し、損失の小さい語

4）本研究での WordPiece は BERT の最長一致の実装に基づく。彙を削除することで学習される。トークナイズは、全文字パターンを列挙し、トークンの出現確率が高い語彙の組み合わせを選択することで行われる。

## 3 実験設定

比較対象形態素解析器には 2.1 で示した MeCab、MeCab+NEologd、Juman++、Sudachi、Vaporetto の 5 種、サブワード分割手法には $\$ 2.2$ で示した BPE、WordPiece、Unigram の 3 種を用いた計 15 種、 および、形態素解析器を用いずサブワード分割手法のみを用いた 3 種の計 18 種のトークナイザを比較する。また、参考値として、bert-base-japanese ${ }^{1)}$ の性能も測定する。

評価観点本稿では、トークナイザが言語モデルに与える影響を以下の 5 観点から調査する。

・形態素解析器を用いるべきか

・形態素解析器の違いが与える影響

・どのサブワード分割手法を用いるべきか

・形態素解析器の辞書の違いが与える影響

・トークナイザ辞書の類似性が与える影響

実験データトークナイザの学習は、Wikipedia ${ }^{5)}$ からランダムに 1000 万文を抽出し、実行した。 ただし、"Category"および表が入っている文と 30 文字未満の文を除いた。事前学習は Wikipedia と CC-1006) を用い、それぞれ 512 トークンに近づくように文を結合してから、220万、110万個のデータを抽出し、マスク言語モデリング [1] により実行した。ファインチューニングには、JGLUE、ストックマーク株式会社による日本語 NER データセット、 UD-Japanese-GSD を用いた。”7) ただし、JGLUE は test セットが公開されていないため、train セットにより 5 分割交差検証を行い、dev セットで評価を行った。

が存在しないため、train セットを 9:1 に分割し、前者で 5 分割交差検証を行い、後者で評価を行った。

ハイパーパラメータ $\quad$ トークナイザは語彙数を 3 万として学習した。モデルには、BERT-base ( $\mathrm{L}=12$ 、 $\mathrm{H}=768 、 \mathrm{~A}=12)$ を採用した。事前学習では、オプティマイザに AdamWを用い、学習率を 1e-4、バッチサイズを 128、ステップ数を 50 万ステップとした。 ファインチューニングでは、学習率を3e-5、バッ

 &  &  &  &  &  &  & Avg. \\

表 1 JGLUE、NER、UD データセット上での評価結果。各数値は、JGLUE と NER では 5 分割交差検証の平均值 (標準偏差) を、UD では 5 シードの平均值 (標準偏差) を示している。JCQA は JCommonsenseQA データセットの略である。

表 2 形態素解析器ありの場合となしの場合の性能比較。数値は各サブワード分割手法における各タスクでの性能の平均值であり、\{形態素解析器ありの性能平均\}/\{形態素解析器なしの性能\}を示している。また、全タスク、Token-level タスク、Sequence-level タスクの平均値も示している。ただし Avg*は形態素解析器なしの WordPiece を計算から除外した。

大シーケンス長に関しては、MARC-ja と UDでは 512、JSTS、JNLI と NER では 128、JSQuAD では 348、 JCommonsenseQA では 64 とした。8)

## 4 実験結果

各トークナイザの下流タスク性能を表 1 に示す。

形態素解析器を用いるべきかまず、形態素解析器の有無が与える影響について分析する。具体的には、形態素解析器ありの場合となしの場合で、サブワード分割手法ごとに下流タスクの性能を比較する。また、形態素解析器の有無による影響は、タスクの粒度やサブワード分割手法によって異なる可能性があるため、これらの観点からも性能を比較する。表 2 は、形態素解析器ありの場合となしの場合において、サブワード分割手法ごとのタスク別平均值および、全タスク (Avg. / Overall)、Token-level タスク、Sequence-level タスクの平均値を示してい

8） ハイパーパラメータの詳細は付録 $\S$ A. 2 に記載。
る。ただし、形態素解析器なしの場合の WordPiece は明らかに性能が低いため、平均值 (Avg.*)の計算から除外した。Token-level タスクとは各トークンに対応する出力を用いて解くタスクであり、JSQuAD、 NER、UD が該当する。Sequence-level タスクとは [CLS] や [SEP]トークンを用いて解くタスクであり、 MARC-ja、JSTS、JNLI、JCQA が該当する。

表 2 より、全タスク平均 (Avg. / Overall, Avg.*)において、形態素解析器ありの方がなしよりも 2.0 ポイント上回り、各タスクでの平均 (Avg.*)においても、7 タスク中 5 タスクで形態素解析器ありの方が性能が高い結果となった。さらに、サブワー ド分割手法別で比較した場合、どのサブワード分割手法においても形態素解析器ありの方が性能が高く(Avg. / Overall)、タスク粒度単位で比較した場合、Token-level タスクでは形態素解析器ありの方が平均で 4.9 ポイント上回っており (Avg. / Token)、 Sequence-level タスクでは形態素解析器ありの方が
平均で 0.2 ポイント上回った (Avg. / Sequence)。以上から、サブワード分割手法によらず形態素解析器を用いた方が良く、特に Token-level タスクで形態素解析器を用いた方が良いと考えられる。

形態素解析器の違いが与える影響表 1 の形態素解析器ありの手法について比較する。形態素解析器の違いが与える影響を調査するため、単語辞書だけが MeCab と異なる、MeCab+NEologd を除いて比較を行った。比較の結果、MARC-ja、JSTS、JNLI、 JSQuAD および JCQA の計 5 タスクの性能に有意差はなかった ( $p \geq .05$, Kruskal-Wallis test) が、NER と UD の 2 タスクでは有意差が確認された $(p<.05$, Kruskal-Wallis test)。これらの結果から、少なくとも Sequence-level タスクでは形態素解析器の違いが与える影響は小さいと考えられる。

どのサブワード分割手法を用いるべきか表 2 の各サブワード分割手法における全タスク平均 (Avg. / Overall)より、形態素解析器ありの場合に関して、 Unigram と BPE の性能は 87.3 で等しく、WordPiece の性能は 86.3 と 1.0 ポイント悪化している。特に、 Sequence-level タスク (Avg. / Sequence) においては、 WordPiece の性能が低くなる傾向がある。9)この結果は、英語データセット上でのサブワード分割手法の比較 [16] における結果と同様の傾向である。したがって、サブワード分割手法には BPE かUnigram を用いるべきと考える。

単語分かち書き辞書の違いが与える影響佐藤ら [17] は、形態素解析器に豊富な語句を含む単語分かち書き辞書を活用することで、文書分類タスクの一部の性能が向上することを示している。そこで、より豊富な語を含んだ単語分かち書き辞書（NEologd） を考慮することで、下流タスク性能に差異が生じるかを分析した。表 1 の MeCabと MeCab+NEologd を比較すると、タスクごとの性能に有意差があるとは言えず ( $p \geq .05$, Mann-Whitney U test)、NEologd による明確な性能向上は見られなかった。NEologd は新語・固有表現に強いとされており、本研究では特に NER や JSQuAD タスクの性能に影響を与えると想定されたが、性能差は見られなかった。

## トークナイザ辞書の類似性が与える影響 トーク ナイズ結果はサブワード分割手法のトークナイザ辞書に大きく影響するため、辞書の類似度が高いもの はそのアルゴリズムによらずトークナイズ結果も類似し、下流タスクの性能も類似するのではないかと

9）考察を A. 3 に記す。

図 1 トークナイザ辞書の類似度と性能の関係。横軸はトークナイザ辞書の類似度、縦軸は各トークナイザの性能の差を表している。

考えた。そこで、トークナイザ辞書の類似度と下流タスクの関係について調査する。トークナイザ辞書の類似度と下流タスクの関係を図 1 に示す。横軸はトークナイザ辞書の類似度を示しており、トークナイザ辞書に出現する単語の重複率により算出した。 また、縦軸は各トークナイザの性能の差を示しており、表 1 の各トークナイザの全タスク平均 (Avg.) の差により算出した。つまり、ある 1 点は 2 つのトー クナイザの (辞書の類似度, 性能の差) を示している。図 1 より、下流タスクの性能の差とトークナイザ辞書の類似度の間には強い負の相関（-0.821）があり、 トークナイザ辞書の類似度が高ければ高いほど下流タスクの性能差は小さくなる傾向がある。したがって、トークナイザ辞書の類似度が高いと下流タスクの性能も類似すると考えられる。

## 5 結論

本稿では、全 18 種のトークナイザについて BERT モデルを事前学習し、様々な下流タスクでファインチューニングを行うことで、日本語トークナイザの違いが下流タスクの性能に与える影響について調査した。実験の結果、形態素解析器ありの方がなしよりも、全タスクの性能の平均值において 2.0 ポイント向上することが確認されたが、形態素解析器の違いや単語分かち書き辞書の違いによる性能の向上は見られなかった。また、サブワード分割手法に WordPiece を用いた場合、BPE および Unigram と比較して、性能が 1.0 ポイント低下することが確認された。最後に、トークナイザ辞書の類似性が下流夕スクの性能の差と相関があることを示した。今後は、エンコーダ・デコーダモデルやデコーダモデルにおけるトークナイザが与える影響を調査したい。

## 謝辞

株式会社日立製作所の清水正明氏には、本研究での実験に活用した大規模計算機資源の維持管理をしていただきました。ここに御礼申し上げます。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.jp, 2006.

[3] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[4] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 bert モデルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[7] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀.日本語 gpt を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会, 2022.

[8] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[9] 近崇宏江. Wikipediaを用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10] Takaaki Tanaka, Yusuke Miyao, Masayuki Asahara, Sumire Uematsu, Hiroshi Kanayama, Shinsuke Mori, and Yuji Matsumoto. Universal dependencies for japanese. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1651-1658. European Language Resources Association (ELRA), May 2016.

[11] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会, 2017.

[12] Sakamoto Miho, Kawahara Noriko, Hisamoto Sorami, Takaoka Kazuma, and Uchida Yoshitaka. Large scale dictionary development for sudachi. 言語資源活用ワークショップ発表論文集.

[13] コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 伝康晴 and 小木曽智信 and 小椋秀樹 and 山田篤 and 峯松信明 and 内元清貴 and 小磯花絵. 日本語科学, 第 22 巻, pp. 101-123.

[14] 赤部晃一, 神田峻介, 小田悠介, 森信介. Vaporetto: 点予測法に基づく高速な日本語トークナイザ. 言語処理学会第 28 回年次大会, 2022.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Rastislav Hronsky and Emmanuel Keuleers. Does the Choice of a Segmentation Algorithm Affect the Performance of Text Classifiers? Masterpieces of Swiss Entrepreneurship, Swiss SMEs Competing in Global Markets.

[17] 佐藤敏紀, 橋本泰一, 奥村学ほか. 単語分かち書き用辞書生成システム neologd の運用-文書分類を例にし乙. 研究報告自然言語処理 (NL), Vol. 2016, No. 15, pp. $1-14,2016$.

[18] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In International Conference on Learning Representations, 2017.

[19] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

[20] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4617-4624, Online, November 2020. Association for Computational Linguistics.

## A 付録

## A. 1 下流タスク

下記に、下流タスクに用いた 7 種類のタスクの説明をする。MARC-ja、JSTS、JNLI、JSQuAD、 JCommonsenseQA は JGLUE ${ }^{10)}$ に含まれており、NER は日本語の固有表現抽出データセット ${ }^{11)} 、$ UD は UD-Japanese-GSD ${ }^{12}$ を用いた。また、各データセットの統計情報を付録の表 3 に示す。

MARC-ja商品レビューを入力としてポジティブ/ネガティブをを推定する 2 值分類タスク。

JSTS 2 文を入力として 5 から 0 の範囲で類似度を推定するタスク。

JNLI 2 文を入力として含意関係を推定する 3 値分類タスク。

JSQuAD コンテキストの中から質問文の回答となる部分を抽出する質問応答タスク。

JCommonsenseQA 質問文に対して 5つの選択肢の中かから 1つを選択する質問応答タスク。

NER (Named Entity Recognition) 1 文の各トークンに対して固有表現タグを割り当てるタスク。

UD (Universal Dependencies) 各トークンに対して主辞となるトークンを当てる構文解析タスク。

表 3 データセット統計情報

## A. 2 実装

トークナイザの実装には、tokenizers ${ }^{13)}$ を用いた。モデルの実装には、PyTorch ${ }^{14)}$ と transformers ${ }^{15)}$ を用いた。UDは、Deep Biaffine Attention Parser (BAP) [18]を事前学習済みモデルの出力層上に構築し、学習を行った。BAP の実装には、SuPar ${ }^{16)}$ を用いた。実験は NVIDIA Tesla V100 GPU (SXM2 - 32GB)を用い、事前学習では 4 個、ファインチューニングでは 1 個で行った。また、すべての学習を $\mathrm{fp} 16$ でおこなった。AdamW のパラメータは事前学習、ファインチューニング共に Adam $\beta 1$ を 0.9、Adam $\beta 2$ を 0.999、Adam $\epsilon$ を 1e-08 とした。

## A. 3 サブワード分割手法に WordPiece を用いると性能が低下する原因

サブワード分割手法に WordPiece を用いた場合に性能が低下する理由を考察する。まず、"\#\#"による区別の影響が考えられる。例えば、MeCab・WordPiece の辞書に「田」と「\#\#田」が存在するように、同じ文字でも"\#\#"の有無により 2 回出現する場合があり、辞書に採録できるトークン数が実質的に減るため、[UNK] が増加してしまう。次に、出現頻度による影響が考えられる。「田」と「\#\#田」は出現頻度に差がある。出現頻度の異なるトークンは、言語的意味が類似していても、埋め込み表現の類似度は低くなる [19]。最後に、 デッドゾーンが影響すると考えられる。デッドゾーンとは、辞書内の他の語彙より出現頻度の低いトークンである。これは中国語や日本語の漢字を含む出現頻度の稀な文字 (鰕、魼など) が多数含まれることで生じる [20]。デッドゾーンが多いと、[UNK] が増加してしまう。実際に、MeCabを用いた場合、WordPiece、BPE、 Unigram の順でデッドゾーンが多いことが観測された。上記の統計的解析については、今後の課題としたい。

10) https://github.com/yahoojapan/JGLUE

11) https://github.com/stockmarkteam/ner-wikipedia-dataset

12) https://github.com/UniversalDependencies/UD_Japanese-GSD

13) https://github.com/huggingface/tokenizers

14) https://pytorch.org/

15) https://github.com/huggingface/transformers

16) https://github.com/yzhangcs/parser


# 空所化情報を考慮した句構造から依存構造への変換

小林 幹輝 1 加藤 芳秀 2 松原茂樹 1,2
1 名古屋大学大学院 情報学研究科
2 名古屋大学情報連携推進本部
kobayashi.mikiteru.i1@s.mail.nagoya-u.ac.jp

## 概要

構文構造の変換は，異なる表現形式に基づく構文解析器間の性能比較に有用である。しかし，その多くは空所化構文を考慮していない，本論文では，空所化構文を考慮した句構造から依存構造への変換手法を提案する。提案手法では, 相関要素を残余要素で置き換えることにより, 空所化構文において省略された要素の同定, 及び省略された要素と残余要素の間の依存関係を生成する．提案手法を用いて，空所化構文を解析する句構造解析器と依存構造解析器の性能比較実験を行い，本変換手法の有効性を確認した.

## 1 はじめに

構文構造を表現する文法，あるいはアノテーション体系は句構造や依存構造, Combinatory Categorial Grammar（CCG）[1]など様々存在しており，構文解析器の出力結果もそれが基づく文法やアノテーションに応じて異なる. 異なる表現形式を採用する構文解析器間の性能を比較する一つの方法として, 構文構造を変換するアプローチが考えられる．また，ある文法に基づきアノテーションされたコーパスに対して，変換を施すことにより別のアノテーションのコーパスが容易に得られるという観点からも構文構造の変換は有用である. これまでに様々な構文構造変換手法が提案されている $[2,3,4,5,6,7]$.

代表的な句構造コーパスの一つとして Penn Treebank（PTB）[8]が挙げられる. PTB のアノテー ションには句の情報だけでなく, 空所化 (gapping) [9] の情報も含まれている. 空所化とは, 等位構造の等位項において，共通する要素が省略される現象である。例えば, “Stock prices closed higher in Stockholm and lower in Zurich." は, "closed higher in Stockholm" と “lower in Zurich”を等位項とする等位構造であり，後者の等位項は “closed lower in Zurich” から “closed”
が省略されたものである．PTBにおいて空所化は，文中における句の対応関係の情報を用いて表現されるが，現在の構文構造変換手法の多くは，この情報を考慮していない. その一因として，PTBに基づく句構造解析器の多くは，空所化の情報を含まない句構造しか出力しないことが挙げられる. しかし近年，空所化の情報を含んだ解析結果を生成する句構造解析器も開発されており, その解析精度も高くなっている [10].

本論文では，句構造から依存構造への変換において，空所化の情報を考慮した変換手法を提案する.提案手法では，空所化の情報が付与されている PTB の句構造を依存構造へと変換する. 変換後の依存構造は，空所化の情報を反映したものとなっている.提案手法の応用例として, 句構造解析器と依存構造解析器の性能比較実験を行った。

## 2 PTB から Enhanced UD への変換

本節では，Penn Treebank（PTB）[8] に基づく句構造を, Enhanced Universal Dependencies (EUD) [11] に基づく依存構造へと変換する従来の手法について概説する。まず，PTB 及び EUD において空所化構文がどのように表現されるかについて説明し，次に変換手法について説明する。

## 2.1 空所化構文

空所化とは，等位接続された句（等位項）に共通する要素が片方の句から省略される現象である．空所化を含む文を空所化構文と呼ぶ. 空所化構文において, 省略の起きている等位項に残された要素を残余要素（remnant）と呼び，もう片方の等位項において残余要素に対応している要素を相関要素 （correlate）と呼ぶ. 空所化構文の例として下記のような文が挙げられる

(1) Stock prices closed higher in Stockholm and

図 1 PTBにおける空所化構文の例

図 2 EUDにおける空所化構文の例

$\varnothing$ lower in Zurich.

ここで “Ø”は，要素が省略された位置を示している. "closed higher in Stockholm” と "Ø lower in Zurich" が等位項である．右の等位項は，もともと“closed lower in Zurich” であったものが，動詞 “closed” が等位構造内で共通していることから，それが省略されたものとみなすことができる。文（1）において， “lower”と “in Zurich” が残余要素であり，“higher”と “in Stockholm”がそれぞれに対応する相関要素である.

## 2.2 PTB における空所化構文

Penn Treebank（PTB）は句構造に関する代表的なコーパスの一つである. PTB に基づく句構造解析器は多数開発されている. PTBのアノテーション規則に従ったコーパスとして GENIA コーパス [12] や English Web Treebank[13] などがある．以下では，本論文において焦点となる空所化構文について例を用いて説明する。

PTB における句構造の例を図 1 に挙げる。PTB のアノテーションでは，空所化の情報も付与されている. “=”で番号付けられたラベルが残余要素を表す。図 1 の構文木では，“ADVP=1”，及び “PP=2” とラべル付けされているノードをルートとする部分木が残余要素である。対応する相関要素は，“-”で番号づけられている. 図 1 では，“ADVP-1”，及び “PP-2” とラベル付けされているノードをルートとする部分木が相関要素である。“ADVP=1”と “ADVP-1”が，
“PP=2”と“PP-2”がそれぞれ対応関係にある。相関要素を残余要素で置き換えることで，“closed lower in Zurich” に対する構文木が得られる。これは，2 番目の等位項 “lower in Zurich” では “closed” が省略されていることを示している.

## 2.3 EUD における空所化構文

Enhanced Universal Dependencies（EUD）[11]は，現在広く用いられている依存構造のアノテーションである Universal Dependencies（UD）[14]を拡張したものである．EUD の依存構造は UD の依存構造への新たな依存関係の追加，及び依存関係の詳細化によって得られ，UD に比べてより詳細に構文構造を表現できる.

文（1）に対する EUD の依存構造を図 2 に示す. EUDでは，残余要素や相関要素をアノテーションするのではなく，空所化により省略された要素を補って依存構造を構成する。例えば文（1）の場合は， “lower in Zurich”に対して省略された“closed”を補う。これにより，等位項 “lower in Zurich” を “closed lower in Zurich”という省略のない句のように扱うことができるため，“prices”を“closed””の主語， “lower”を“closed”” の修飾語といった依存構造として捉えられる。

## 2.4 PTB から EUD への変換

PTB の句構造から EUD の依存構造への変換手法としては，Schuster らの手法 [11] が存在する。この手法では，PTB から EUDへの変換をパターンマッ

Stock prices VBD ADVP-1 PP-2 and $A D V P=1 \quad \mathrm{PP}=2$

Stock prices closed higher in Stockholm and lower in Zurich 残余要素の依存関係の削除（手順2）

conj:and

Stock prices closed higher in Stockholm and lower in Zurich

## 省略された単語のコピーの作成（手順4）残余要素との依存関係の同定（手順5）

Stock prices closed lower in Zurich and lower in Zurich

## 等位構造を表現する

依存関係の削除（手順6

Stock prices closed higher in Stockholm and lower in Zurich

図 3 PTB からEUDへの変換例

チングに基づき実行する．この変換では，空所化の情報については考慮されておらず，空所化構文について正しい EUD の依存構造を得ることはできない.

## 3 提案手法

本節では，空所化情報を考慮した PTB から EUD への変換手法を提案する. 本手法では, 各相関要素をそれに対応する残余要素で置き換えることにより，空所化構文の等位項における省略された単語を同定し，依存構造を構成する.

提案手法では，句構造 $P$ を以下の手順により EUD の依存構造 $E$ へと変換する. 以下では，従来手法 [11]による PTB の句構造から EUD の依存構造への変換を，PTB2EUDと表記する.

1. 句構造 $P$ を PTB2EUDにより依存構造 $E_{\text {-gapping }}$ に変換する。

2. E-gapping から残余要素に関連する依存関係を取り除く。

3. 各相関要素を対応する残余要素で置き換え，結果として得られた句構造を PTB2EUD により依存構造 $E^{\prime}$ に変換する

4. $E^{\prime}$ 及び残余要素の情報に基づき省略された単語を同定し，それらの単語のコピーを作成する。

5. $E^{\prime}$ の情報に基づき，コピーした単語と残余要素間の依存関係を同定する．その結果を $E_{\text {gapping }}$ とする。

6. $E_{\text {-gapping }}$ から空所化構文の等位構造を表現する依存関係を削除する。E Eapping の依存構造から等位項の head を決定し直し，その情報に基づき，削除した等位構造を表現する依存関係を

7. コピー元にのみ nsubj が存在する場合，それをコピー元の nsubj とする. nsubj 以外の core
表 1 実験結果

argument についても同様の処理を行う.
8. $E=E_{\text {gapping }} \cup E_{\text {-gapping }}$

図 3 に変換の例を示す. 手順 1 では, 句構造 $P$ から EUD の依存構造を従来の手法により求める。これにより，残余要素に関連しない依存関係については，従来手法に従うことになる. 従来手法は空所化の情報を考慮していないので，手順 2 で残余要素に関連する依存関係を取り除く。手順 3 で得られる依存構造 $E^{\prime}$ は元の文の依存構造ではないが，これを元に，省略された単語や残余要素に関連する依存関係が同定される，手順 4 は，空所化構文における省略された単語を，PTB の空所化の情報に従って求める処理である. 手順 5 によって，相関要素を含む等位項の head が変わる場合があるので，手順 6 において，変更された head に基づき等位構造の依存関係を付け直す. 手順 7 は項が共有されている場合のための処理である.

以上の手順によって，PTB から EUDへ変換する際，PTB の空所化の情報に従って変換することができる.

## 4 評価実験

提案手法の応用例として，空所化構文を解析できる PTB に基づく句構造解析器と, 依存構造解析器の性能比較実験を行った. PTB に基づく句構造解析器の解析結果を提案手法によって依存構造へ変換し，解析精度を依存構造ベースの評価尺度で評価した。依存構造解析器についても同じ評価尺度で評価し, それらを比較した. 本実験は Schuster ら [15] の空所化構文の解析実験を参考とした. データセットには，Schuster らと同様のものを用いた。これは，(1） UD English Web Treebank v2.1 の 16,622 文と, (2) PTB や GENIA コーパス, Wikipedia の Gapping のページから集めた空所化を含むデータ 322 文に人手でアノテーション1)を付与したデータ2) からなる. 実験における句構造解析には Kato らの手法 [10] を，依存構造解析には Schuster らの手法 [15] を用いる。句

構造解析器の学習には, Schuster らの論文に対応する EWT のデータを用いた。提案手法における PTB から EUDへの変換には，Stanford CoreNLP4.4.03)を使用した。解析性能の評価では，コピーした単語を head とする依存関係を評価する. テストデータを用いて，依存関係の head 及び dependent の位置を組としたときの適合率・再現率（UP，UR），それに加えて，その依存関係の種類が正しいかどうか（LP， LR）を評価する。

表 1 に実験結果を示す. Kato らの手法は全ての指標において Schuster らの手法を上回る結果となった.このことから，Kato らの手法の方が空所化構文に対する解析性能が高いことがわかる.

このように提案手法を用いて変換を行うことで，句構造解析結果と依存構造解析結果を比較し, 性能比較を行うことが可能となることが確認できた。

## 5 おわりに

本論文では，句構造から依存構造への変換において，空所化の情報を考慮した変換手法を提案した。空所化の情報を用いることで，PTB から EUDへの変換において，省略された要素の同定，及び省略された要素と残余要素の間の依存関係を生成した。また，提案手法を用いて，空所化構文を解析する句構造解析器と依存構造解析器の性能比較実験を行い,空所化情報を考慮した性能比較が可能であることを確認した。

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Mark Steedman. The Syntactic Process. The MIT press, 2001.

[2] Marie-Catherine de Marneffe, Bill MacCartney, and Christopher D. Manning. Generating typed dependency parses from phrase structure parses. In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.

[3] Jinho Choi and Martha Palmer. Guidelines for the clear style constituent to dependency conversion. Technical report, Technical report 01-12: Institute of Cognitive Science, University of Colorado Boulder, 2012.

[4] Xiaotian Zhang, Hai Zhao, and Cong Hui. A machine learning approach to convert CCGbank to Penn Treebank. In Proceedings of the 24th International Conference on Computational Linguistics: Demonstration Papers (COLING 2012), pp. 535-542, 2012.

[5] Jonathan K. Kummerfeld, Dan Klein, and James R. Curran. Robust conversion of CCG derivations to phrase structure trees. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (ACL 2012), pp. 105-109, 2012.

[6] Lingpeng Kong, Alexander M. Rush, and Noah A. Smith. Transforming dependencies into phrase structures. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2015), pp. 788-798, 2015.

[7] Young-Suk Lee and Zhiguo Wang. Language independent dependency to constituent tree conversion. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING 2016), pp. 421-428, 2016.

[8] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[9] John Robert Ross. GAPPING AND THE ORDER OF CONSTITUENTS, pp. 249-259. De Gruyter Mouton, 1970.

[10] Yoshihide Kato and Shigeki Matsubara. Parsing gapping constructions based on grammatical and semantic roles. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), pp. 2747-2752. Association for Computational Linguistics, 2020.

[11] Sebastian Schuster and Christopher D. Manning. Enhanced English Universal Dependencies: An improved representation for natural language understanding tasks. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2371-2378, 2016.

[12] Jin-Dong Kim, Tomoko Ohta, Yuka Tateisi, and Jun'ichi
Tsujii. Genia corpus-a semantically annotated corpus for bio-textmining. Bioinformatics, Vol. 19 Suppl 1, pp. i180-182, 2003 .

[13] Ann Bies, Justin Mott, Colin Warner, and Seth Kulick. English web treebank. Technical report, LDC2012T13, Linguistic Data Consortium, 2012.

[14] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, 2020.

[15] Sebastian Schuster, Joakim Nivre, and Christopher D. Manning. Sentences with gapping: Parsing and reconstructing elided predicates. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 11561168, 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 対称的な系列集合を用いた教師なし構文解析モデルの 分岐バイアスの検証

石井太河 1 宮尾祐介 ${ }^{1}$
1 東京大学
\{taigarana,yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究は，教師なし構文解析モデルの潜在的な分岐バイアスを分析することを目的とする．分岐バイアスとは，構文解析モデルが学習・出力しやすい木構造の偏りであり，分析する上では，まず学習デー タの分岐情報の偏りを明確にすることが重要である.しかしながら，教師なし学習の設定では，学習データは系列の集合のみであり，木構造は直接与えられないため，分岐情報の制御が困難である. そこで，本研究では，分岐情報の偏りの無い対称的な系列集合を用いて学習を行い，モデルの出力木構造の偏りを分析する。人工データを用いた実験の結果， モデルによって異なる分岐バイアスが確認された。

## 1 はじめに

本研究は，教師なし構文解析モデルが「潜在的な分岐バイアスを持たない」ための必要条件を検証することを目的とする。

教師なし構文解析とは，テキスト（系列の集合） のみから，その背後にある木構造を出力するというタスクであり，低資源言語への対応や認知的・言語学的な視点から研究されてきた $[1,2,3,4,5]$.

分岐バイアスとは，構文解析モデルが学習・出力しやすい木構造に偏りがあることを指す．特に，木構造が右に深いときを右分岐，左に深いときを左分岐と言う (図1下部)。ときに，構文解析モデルが分岐バイアスを持つことは望ましくない。というのも，モデルがある種の構造のみを学習しやすいということは，他の構造を持つ言語への適用性が下がることを意味するからである．例えば，英語は右分岐な言語として知られるが，日本語は左分岐とされる. 右分岐バイアスを持つモデルは英語に対する精度が高くなりやすい一方で，日本語に関しては精度が低くなりやすい。実際に，Li ら [6] は，言語によ

## 対称的な系列集合

"a b c" "b c d"

教師なし構文解析モデルを学習

## 導出する木構造

左右の分岐の偏りは生じるか ?

図 1 本研究の概要図

り高精度となるモデルが異なることを報告しており，モデルが分岐バイアスを持つことが示唆されている．以上のように，潜在的な分岐バイアスはモデルのある種の「アドホックさ」として考えられ，モデルの分岐バイアスを分析することは重要である.

そこで，本研究では，分岐の偏りの無い対称的な系列集合を学習データに用いる分析手法を提案する (図1)。これにより，学習の結果，モデルの導出する構造に偏りが生じる場合は，モデルそのものに分岐バイアスが内在することを示すことが可能となる。また，データセット中の系列の頻度を調整することで，対称性がくずれた場合のモデルの挙動についても分析を行う.

## 2 既存の分岐バイアス分析の問題点

教師なし構文解析において，モデルの潜在的な分岐バイアスを分析することは簡単ではない．というのも，分析を行う上では，「モデルそのもののバイアス」と「モデルがデータから学習したバイアス」

の2つを分離する必要があり，このためには学習データに含まれる情報を制御することが重要である. しかし, 教師なし構文解析において学習データは系列の集合のみであり，木構造を明示的に制御することができない.

既存のバイアス分析は 3 つのアプローチに大別されるが，それぞれに問題点がある。

## 2.1 アーキテクチャ固有の分析

例えば，Dyer ら [7]により，PRPN [8] というモデルが右分岐バイアスを持つことが数学的に証明されている.しかしながら, Dyer ら [7] の手法は PRPN モデルに特化したものであり，任意のモデルに対して理論的分析を行うことは困難である.

## 2.2 自然言語を用いた分析

構文解析においては，モデルを評価する際に複数の異なる言語のコーパス $[9,10]$ を用いることが一般的であるが，言語間の差異は木構造の分岐の偏りに限らないため，分岐バイアスのみを評価することは難しい.そこで， $\mathrm{Li}$ ら [11] は，自然言語コーパス $D$ と $D$ 中の各系列を反転させたコーパス $D^{-1}$ のそれぞれでモデルを学習させ，その精度の差を見ることで分岐バイアスの分析を行った. これにより, 語順のみが異なり木構造の分岐が逆であるデータセットによる評価が可能となる。しかし, 依然として, 自然言語データは意味的にも複雑であり, 語順の異なる元の系列と反転した系列の差が厳密に木構造の差だけであるかは明らかではない.

## 2.3 形式言語を用いた分析

Jin 5 [12] は，左・右分岐な文脈自由文法で生成された言語を用いて分岐バイアスを分析している. しかし，左分岐な文法で生成される言語を右分岐の異なる文法で生成することも可能であるため, 文法そのものの分岐によって系列の集合の分岐情報を制御することが可能かどうかは自明ではない. ${ }^{1)}$

## 3 対称的な系列集合を用いた分析

上述の問題点に対応するため, 本研究では，分岐情報の偏りのない対称的な系列集合を人工的に構成し, それを学習データとすることを提案する.これにより，「モデルがデータから学習するバイアス」 を制御し，「モデルそのものの分岐バイアス」のみ
$ に具体例を付す。
}

を分析できることが期待される.

データセットを構成するにあたり，本研究では， コーパスレベルと系列レベルの 2 つのレベルの対称性について着目する。 $V$ を有限な語彙として，これらは以下のように定義される。

定義 1 系列集合 $D \subseteq V^{*}$ がコーパスレベル対称であるとは, 語彙上の全単射 $\phi: V \rightarrow V$ が存在して, $\phi\left(D^{-1}\right)=D$ を満たすことを言う. ここで， $D^{-1}$ は系列集合 $D$ 中の系列を全て反転させたものであり， $\phi\left(D^{-1}\right)$ は系列集合中の語彙を全て $\phi$ によって置換したものを表す。

定義 2 系列集合 $D \subseteq V^{*}$ が系列レベル対称であるとは， $\forall s \in D . s=s^{-1}$ を満たすことである.ここで， $s^{-1}$ は系列 $s$ の反転である.

系列レベル対称性は文字通りコーパス中の各系列が逆から読んでも同一であることを意味する.一方で，コーパスレベル対称性はコーパス中の語彙が反転に対して対称的であることを意味する. また，系列レベル対称性よりも条件が緩く，コー パス中の各系列が対称である必要はない. ${ }^{2}$ 例えば，以下の 3 つの系列集合 $x_{0} \equiv\{“ a b b a ", " b c c b "\}$, $x_{1} \equiv\{" a b c ", " b c d "\}, x_{2} \equiv\{“ a b ", " a c "\}$ に関して, $x_{0}$ は系列レベル対称である， $x_{1}$ は系列レベル対称ではないが， $\phi: a \mapsto d, b \mapsto c, c \mapsto b, d \mapsto a$ の対応によりコーパスレベル対称である。一方， $x_{2}$ はコーパスレベル対称でもない.

## 4 実験設定

## 4.1 データセットの構成

本研究では，実験にあたり 2 種の対称的な系列集合を構成する. さらに，系列の出現頻度による影響も分析するため，頻度分布の異なるデータセットも生成する.

## 4.1.1コーパスレベル対称なデータセット

まず，系列レベルでは対称でないがコーパスレべルで対称なデータセット $D_{\text {corpus }}$ を構成する. できるだけシンプルな構成にするために，テストデータは $L$ 個の異なる要素からなる 1 つの系列 $s^{\text {test }}$ とし，

2）例えば， $D^{-1}=D や \phi\left(s^{-1}\right)=s$ のように，今回扱った 2 つのレベルの対称性の間に中間的な強さの対称性を考えることもできるが，今回は簡単のため扱わないこととする.
学習データはテストデータの $M$-gram 系列の集合とする．具体的には，以下のように定式化される：

$
\begin{aligned}
s^{\text {test }} & \equiv “ v_{0} v_{1} \ldots v_{L-1} "\left(\forall i, j \cdot v_{i} \neq v_{j}\right) \\
S_{M} & \equiv\left.\{s_{i: i+M}^{\text {test }} \mid i=0, \ldots, L-M\right.\} \\
D_{\text {corpus }} & \equiv \operatorname{upsample}\left(S_{M}, N, w\right)
\end{aligned}
$

ここで， $S_{M}$ は置換 $\phi\left(v_{i}\right)=v_{L-1-i}$ により対称であり, upsample は全体が $N$ 個のデータになるように重み $w$ を元にアップサンプルする処理である.

学習データセット中の系列の頻度制御のため, アップサンプルの際に各 $M$-gram 系列 $s_{i: i+M}^{\text {test }}$ に対し，以下のように $i$ に関して線型な重み付けを行う :3)

$
w_{i} \equiv 1+\alpha \cdot\left(i-\frac{L-M}{2}\right)
$

例えば， $\alpha=0$ のときは頻度分布は一様であるが， $\alpha$ が大きくなると, 右側の $M$-gram 系列は増加し, 左側のものは減少する。

実験においては, $N=3000$ とし, $L \in\{10,20\}$, $M \in\{2,5,8\}$, 右端の $M$-gram の重みが $w_{L-M} \in$ $\{0.2,0.6,1.0,1.4,1.8\}$ となるような $\alpha$ の全ての組み合わせについて実験を行った。

## 4.1.2 系列レベル対称なデータセット

次に系列対称なデータセット $D_{\mathrm{seq}}$ を構成する. 具体的には，上で定義した $D_{\text {corpus }}$ の各系列 $s$ に反転 $s^{-1}$ を結合することによって生成する： $D_{\text {seq }} \equiv\left.\{s \cdot s^{-1} \mid s \in D_{\text {corpus }}\right.\} \cdot{ }^{4)}$

なお， $D_{\text {seq }}$ は元となる $D_{\text {corpus }}$ に対して系列長が 2 倍になるため, 実験においては $L \in\{5,10\}$, $M \in\{1,2,4\}$ として元の $D_{\text {corpus }}$ を生成することで系列長を同程度にした。

## 4.2 分析対象のモデル

本研究では，教師なし構文解析において代表的である，DIORA [13]，PRPN [8], URNNG [14]の 3 つのモデルを分析対象とする. DIORA はチャートベー スの再帰的なオートエンコーダであり，PRPN はゲート機構を用いることで言語モデリングの際に構造を明示的に学習するモデルである. URNNG は遷移型のモデルであり，言語モデリングの際に明示的に再帰的な木構造をモデル化する RNNG [15] の教師なし版である。なお，これら 3 つのモデルの出力は二分木となっている.

3）頻度分布が一様でない場合， $D_{\text {corpus }}$ の対称性は崩れる.

4） $D_{\text {corpus }}$ と異なり， $D_{\mathrm{seq}}$ は頻度分布に偏りがあっても対称性は崩れない.本研究で使用するデータセットの語彙が小さいことと計算量の問題から，学習にあたりモデルのハイパーパラメータはデフォルトのものより次元数を小さいものを使用した. ${ }^{5}$ 実験においては，各モデルを 30 個の異なるランダムシードで最大 30 エポックずつ学習を行い，平均的な振る舞いを分析する.

## 4.3 評価指標

本研究では，モデルの精度ではなく分岐バイアスの分析を目的とするため，系列の正解構造を仮定せずにモデルの導出する木構造の形を直接評価する.木構造の評価指標は様々あるが [16], 既存の指標である Corrected Colles index に加え，本研究で提案する Left leaf proportion の 2 つの指標を用いる.

Colles index Corrected Colles index [17] は, 左右の部分木の葉数の差で二分木の均衡さを表す指標であり，以下のように定義される：

$
\operatorname{Colles}(T) \equiv \frac{2}{(n-1)(n-2)} \sum_{v \in T}\left|n_{v_{\mathrm{L}}}-n_{v_{\mathrm{R}}}\right|
$

ここで， $v \in T$ は $T$ のノードであり $, n_{v_{\mathrm{L}}}, n_{v_{\mathrm{R}}}$ はそれぞれ $v$ の左右の部分木の葉数である. Colles $(T)$ は木が不均衡であるほど 0 から 1 に近づく.

Left leaf proportion $\operatorname{Colles}(T)$ では，木が具体的に左右のどちらに分岐しているのかは明らかでない. そこで，本研究では，「左の子となる葉が多いほど，木は右に分岐が深い」という直感の元，以下のような指標 Left leaf proportion（LLP）を用いる：

$
\operatorname{LLP}(T) \equiv \frac{l_{T}-1}{n_{T}-2} .
$

ここで, $n_{T}$ は $T$ 葉数, $l_{T}$ は葉のうち左の子になっているものの数であり，LLP $(T)$ は右分岐であるほど 0 から 1 に近づく.また，系列の両端はかならず左・右の子になるためカウントから除外している.

## 5 結果と議論

データセットによってやや異なる結果が観察されたが，ここでは代表的な傾向の分かる $D_{\text {corpus }}$ ( $L=20, M=8)$ と $D_{\text {seq }}(L=5, M=2)$ の結果をそれぞれ図 2と図 3に示す. ${ }^{6}$

## 5.1 分岐バイアスの検出

まず， $w_{L-M}=1$ の頻度分布の偏りの無い設定での結果を分析する。

5）詳細は付録 B に記載した。

6）その他の結果の抜粋を付録 C に記載する.

図 2 コーパスレベル対象なデータセット $D_{\text {corpus }}$ （ $L=20, M=8 ）$ での結果. エラーバーは標準誤差を示す.

LLPPRPN はどの設定でもLLP $>0.5$ となり，右分岐バイアスが確認される. DIORAに関しては，どの設定でも LLP $\approx 0.5$ であり，分岐バイアスを持たない必要条件を概ね満たしていると言える。一方， URNNG はデータセットによって異なる傾向が観察された。例えば，図 2上部にあるように， $D_{\text {corpus }}$ ではどの設定でも右分岐な傾向が見られるが，一部の $D_{\mathrm{seq}}$ ではバイアス無し，あるいは左分岐（図 3下部） な傾向も見られ, URNNG が分岐バイアスを持つものの，左右の偏りはデータセットによって変化しうるということが明らかになった。

Colles index Colles index 関しては, URNNG は他のモデルに比べ，どのデータセットでも相対的に高く木構造の偏りが強いことが確認される。一方で，DIORA と PRPNに関しては，相対的な差がデー タセットによって異なることが観察された. LLP での相対的な差と異なっているのは，LLP と違い Colles index は木の根に近い部分の分岐ほど強い影響を受ける [18] ことが関係していると考えられる。

## 5.2 頻度分布の影響

PRPN と DIORA は頻度分布の偏りによって対称性が崩れる $D_{\text {corpus }}$ においても，結果に大きな影響が見られない（図 2)。一方で，URNNG は系列の頻度に強く影響されることがわかる．例えば，図 2では LLP，Colles index ともに右肩下がりになっている. ただし，同じ $D_{\text {corpus }}$ であっても，設定によっては，右肩上がりな傾向も見られ，変化の方向性に関しては統一的な結論を下せない。また，頻度分布に偏りがあっても対称性が保持される $D_{\mathrm{seq}}$ であっても，URNNG の挙動が大きく変わること（図 3）は，

図 3 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=5, M=2)$ での結果. エラーバーは標準誤差を示す.

URNNG がデータセットの分岐情報の偏りではない要素に対して不安定なのではないかと推測される.

## 5.3 先行研究の結果との比較

PRPN の右分岐バイアスは Dyer ら [7] によって数学的に証明されており，今回の実験ではこれと無矛盾な結果が得られたため，本研究の分析法の妥当性が支持される。また，Li ら [6] は，URNNG，PRPN は英語データセットで高精度である一方，日本語データセットでは DIORA が高精度であることが報告している．多くの設定で右分岐バイアスを持つ URNNG や PRPN と比較して, DIORA は分岐バイアスを持たない傾向があることが精度の差の要因ではないかと推測される。

## 6 結論と今後の展望

本研究では，分岐情報の偏りの無い対称的な系列集合を構成することで，PRPN や URNNG といったモデルが分岐バイアスを持つことを検証できた。そして，いずれのデータセットでも目立った分岐バイアスを示さなかった DIORA は「分岐バイアスを持たない」ことの必要条件を満たしていると言える。 より詳細に分岐バイアスを分析するには，性質の異なる系列集合を網羅的に構成したり，分析をモデル固有のものへまで拡張することが必要になる。

また，本研究では，頻度分布の偏りによって対称性を崩した場合の実験も行ったが，この操作により分岐情報にどの程度偏りが生じたのかは明らかではない，今後，教師なし構文解析モデルを分析する上では，系列集合そのものに対して分岐の偏りを定義・測定することが重要な課題になる.

## 謝辞

本研究は，JST，CREST，JPMJCR2114 の支援を受

けたものです.

## 参考文献

[1] Menno van Zaanen. ABL: Alignment-Based Learning. In COLING 2000 Volume 2: The 18th International Conference on Computational Linguistics, 2000.

[2] Yoav Seginer. Fast Unsupervised Incremental Parsing. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 384-391, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[3] Dan Klein and Christopher D. Manning. A Generative Constituent-Context Model for Improved Grammar Induction. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 128-135, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] Steven Cao, Nikita Kitaev, and Dan Klein. Unsupervised Parsing via Constituency Tests. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4798-4808, Online, November 2020. Association for Computational Linguistics.

[5] Kewei Tu, Yong Jiang, Wenjuan Han, and Yanpeng Zhao. Unsupervised Natural Language Parsing (Introductory Tutorial). In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Tutorial Abstracts, pp. 1-5, online, April 2021. Association for Computational Linguistics.

[6] Jun Li, Yifan Cao, Jiong Cai, Yong Jiang, and Kewei Tu. An Empirical Comparison of Unsupervised Constituency Parsing Methods. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3278-3283, Online, July 2020. Association for Computational Linguistics.

[7] Chris Dyer, Gábor Melis, and Phil Blunsom. A Critical Analysis of Biased Parsers in Unsupervised Parsing. arXiv:1909.09428 [cs], September 2019.

[8] Yikang Shen, Zhouhan Lin, Chin-wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In International Conference on Learning Representations, February 2018.

[9] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[10] Alastair Butler, Zhu Hong, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, and Zhen Zhou. Keyaki treebank: phrase structure with functional information for japanese. In Proceedings of Text Annotation Workshop, p. 41, 2012.

[11] Huayang Li, Lemao Liu, Guoping Huang, and Shuming Shi. On the Branching Bias of Syntax Extracted from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4473-4478, Online, November 2020. Association for Computational Linguistics.

[12] Lifeng Jin, Finale Doshi-Velez, Timothy Miller, William Schuler, and Lane Schwartz. Unsupervised Grammar Induction with Depth-bounded PCFG. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 211-224, 2018.

[13] Andrew Drozdov, Patrick Verga, Mohit Yadav, Mohit Iyyer, and Andrew McCallum. Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive AutoEncoders. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1129-1141, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised Recurrent Neural Network Grammars. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[16] Mareike Fischer, Lina Herbst, Sophie Kersting, Luise Kühn, and Kristina Wicke. Tree balance indices: A comprehensive survey, September 2021.

[17] Stephen B. Heard. Patterns in Tree Balance Among Cladistic, Phenetic, and Randomly Generated Phylogenetic Trees. Evolution, Vol. 46, No. 6, pp. 1818-1826, 1992.

[18] Mark Kirxpatrick and Montgomery Slatkin. Searching for Evolutionary Patterns in the Shape of a Phylogenetic Tree. Evolution, Vol. 47, No. 4, pp. 1171-1181, 1993.

## A 文脈自由文法による系列の構造 の特徵づけの難しさ

ここでは，Jin ら [12] が分岐バイアスを分析するのに使用した左分岐な文脈自由文法で定まる言語が右分岐な文脈自由文法で表現できることを示す. Jin ら [12] の例は以下のような左分岐の確率文脈自由文法で記述される：

$
S \xrightarrow{1} X, X \xrightarrow{p} X Y, X \xrightarrow{1-p} a, Y \xrightarrow{1} b .
$

これに対し，以下のような右分岐の確率文脈自由文法を考える：

$
S \xrightarrow{1} X, X \xrightarrow{q} a Y, X \xrightarrow{1-q} a, Y \xrightarrow{r} b Y, Y \xrightarrow{1-r} b .
$

これらは両者とも言語 $\left.\{a \cdot b^{n} \mid n \in \mathbb{N}\right.\}$ を表現する. さらに， $q=r=p$ とすると，系列 $a \cdot b^{n}$ を生成する確率は両者とも $(1-p) \cdot p^{n}$ となる.

## B モデルの学習設定

ここでは，本研究の分析対象となるモデルのハイパーパラメータや学習設定について述べる.

DIORA max_epoch $=30$, hidden_dim $=50$ とし，それ以外は著者実装7)のデフォルト値のままである。 また, DIORAはデフォルトで事前学習済み単語埋め込みを使用する設定であるので，本研究で人工デー タで実験する際には one-hot 埋め込みを使用した.

PRPN epochs $=30$, emsize $=25$, nhid $=50$ とし，それ以外は著者実装8) の教師なし構文解析用のデフォルト值のままである.

URNNG num_epochs $=30$, w_dim $=50$, h_dim $=$ 50, q_dim $=50$ とし, それ以外は著者実装9) の教師なし構文解析用のデフォルト値のままである. また，著者実装において URNNG は validation データセットを使用しているが，本研究では学習データの情報をコントロールするため，validation データセットを使用しないように修正を加えた.

さらに，上記のモデルのいずれにも， backpropagationを行う際の損失のエポック間の差が $1.0 \times 10^{-5}$以下になった時点で収束したと判定し，学習を停止した.

## C その他の実験結果

ここでは，本文に記載していない他の設定での結果を抜粋して掲載する。

7) https://github.com/iesl/diora

8) https://github.com/yikangshen/PRPN

9) https://github.com/harvardnlp/urnng

図4コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=10, M=8)$ での結果. エラーバーは標準誤差を示す.

図 5 コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=20, M=2)$ での結果. エラーバーは標準誤差を示す.

図6 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=10, M=4)$ での結果. エラーバーは標準誤差を示す.


# 転移学習における強化学習を用いた 効率的なトークナイザとモデルの同時学習

平子潤 1 柴田知秀 2
1 名古屋大学大学院 2 ヤフー株式会社
hirako.jun@g.mbox.nagoya-u.ac.jp tomshiba@yahoo-corp.jp

## 概要

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。本研究では、転移学習において、より計算コストの増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、トークナイズ確率を方策、負のモデルロスを報酬とした強化学習によりトークナイザを学習する。実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。

## 1 はじめに

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。特に日本語のような単語が空白で区切られていない言語では、適切な単位にトークナイズすることが重要となっている。一般に、トークナイザはモデルとは独立に事前に定義して、モデルの学習・推論時は固定することが一般的であり、タスクに最適なトー クナイザである保証はない。

この問題に対して、平岡らはモデルの学習と同時にトークナイザの学習も行う手法を提案している [1]。この手法の基本的な考えは、いくつかのトー クナイズ結果を出力し、タスクがうまく解けるようなトークナイズ結果の確率が高くなるように、トー クナイザを学習することである。モデルを学習するための入力に加えて、トークナイザを学習するために $N$ 回 ${ }^{1)}$ モデルにトークナイズ結果を通す必要があり、比較的計算コストが大きい手法となっている。 この手法は転移学習以前の手法において有効性が検証されており、BERT [2]などの転移学習モデルに適用する、というのは自然な考えであるが、事前学習時からトークナイザを同時学習することは計算コス
トの観点から難しい。

この問題を解決するため、本研究では、転移学習にも適用できるように、より計算コストの増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、強化学習における方策勾配法を用い、トークナイズ確率を方策、負のモデルロスを報酬とし、報酬を最大化、つまりモデルのロスを最小化するようにトークナイザの学習を行う。具体的には、1-best tokenize した結果と、 sampling tokenize した結果を比較し、前者をモデルに入力した時のモデルのロスに比べ、後者をモデルに入力した時のモデルのロスが小さければ、後者のトークナイズ確率が大きくなるようにトークナイザを学習する。先に述べた平岡ら手法と提案手法の概要を図 1 に示す。どちらの手法もモデルの学習には sampling tokenize の結果を用いる点では同一である (それぞれの手法の図における右側) が、トークナイザの学習に用いるトークナイズが、平岡ら手法では N-best であるのに対し、提案手法では 1-best一つのみであるため、平岡ら手法に比べて計算量を大きく削減することができる。

日本語言語理解ベンチマークで評価を行い、提案手法が比較手法よりも精度が高いことを示し、また、平岡ら手法を事前学習にも適用した手法よりも計算時間を 50\%以下に改善できることを確認した。

## 2 提案手法

提案手法では、事前学習を行ってからファインチューニングを行う転移学習において、モデルとトークナイザを同時に学習する。計算コストが大きい事前学習に対して適用するために、強化学習を用いた定式化を行う。

1） 実験では $\mathrm{N}=3$ などの值が用いられている。

平岡ら (2021)

提案手法

図 1 提案手法 (右) と平岡ら手法 (左) の概要 (実線は計算グラフを構築し、誤差逆伝播を行うパスであることを示す)

## 2.1 トークナイザ

学習可能なトークナイザとして、平岡らと同様にニューラルユニグラム言語モデルを用いたトークナイザを利用する。このトークナイザでは、まず、語彙中の各トークンにスコア score $_{t}$ を割り当てにの値を学習する)、単語横断的に softmax をとることでユニグラム確率 $p(t)$ を計算する。

文 $S$ が $s=\left(t_{1}, \ldots, t_{k}, \ldots, t_{K}\right)(K$ はトークン数) に分割されるとき、このように分割される確率 $p(s)$ はトークン列 $s$ に含まれるトークン $t_{k}$ のユニグラム確率の積で計算する。

本研究では、このユニグラム言語モデルを用いたトークナイザで、1-best tokenize と sampling tokenize の 2 つのトークナイズ結果を使用し、これらの 2 つのトークナイズ結果それぞれをモデルに入力した時のロスを比較しながらトークナイザを学習する。1-best tokenize と sampling tokenize を行うための、n-best tokenize は文 $S$ に含まれる、あらゆるユニグラム確率 $p(t)$ に対して Forward-DP Backward-A*アルゴリズム [3] を適用することで計算する。

## 2.2 モデルとトークナイザの同時学習

モデルの学習では、直接的な教師が存在する一方で、トークナイザには直接的な教師が存在せず、適切に教師を設定する必要がある。そこで、タスクにおけるモデルのロスをトークナイザの間接的な教師とし、モデルのロスが小さくなるような単語分割を
おこなうようにトークナイザを学習する。トークナイザからモデルへのパスは微分不可能であるため、強化学習を用いてトークナイザを学習する。

## 2.2.1 強化学習の枠組み

強化学習の枠組みとして、文生成タスクに使われている強化学習アルゴリズム Self-critical Sequence Training for Image Captioning (SCST) [4] をべースとする。SCST は REINFORCE アルゴリズム [5]をベースとし、単語生成確率を方策、生成された文に対するスコアを報酬とする。greedy に生成した文の報酬と sampling して生成した文の報酬を比べ、後者の方が高ければ sampling した単語の生成確率を高めるように学習される。

提案手法では SCST における greedy に生成した文の代わりに 1-best tokenize した文 $s_{*}$ s sampling で生成した文の代わりに sampling tokenize した文 $s_{s}$ を利用し、報酬としては負のモデルのロスを利用する2)。 $s_{*}$ ならびに $s_{s}$ をモデルに入力した時のロスの大きさを比較し、 $s_{*}$ のモデルロスに比べて $s_{s}$ のモデルロスが小さければ、sampling tokenize で得られたトークナイズ結果の方がモデルがタスクを解きやすいということになるので、サンプリング系列のトークナイズ確率を上げるように、トークナイザを学習する。ここでモデルとは事前学習時はマスク言

2) 提案手法では SCST のように時系列にそって行動 (単語の生成)を選択するわけではなく、一度行動(トークナイズ)を選択するのみである。

図 2 マスク言語モデルによって事前学習を行う際のマスクするトークンの候補の選択方法

語モデル、ファインチューニング時は下流タスクのモデル (文分類タスクの場合のモデルなど) を指す。

トークナイザのロス関数 $L^{t}$ は以下のように与えられる。

$
L^{t}=-\left(r\left(s_{S}\right)-r\left(s_{*}\right)\right) \log p_{\theta}\left(s_{S}\right)
$

ここで、 $\theta$ はトークナイザのパラメータ、報酬 $r$ は負のモデルロス $-L^{m}$ を表わす。モデルのパラメー タの更新は、 $s_{s}$ をモデルに入力した時のロスを用いて行い、このモデルロスをトークナイザの更新 (式 (1) の $r\left(s_{s}\right)$ が負のモデルロスに相当) にも利用する。 $s_{s}$ でモデルのパラメータを更新することによって、 サブワード正則化 [6] を行うことができ、性能向上が期待される。

## 2.2.2 事前学習とファインチューニング

事前学習マスク言語モデルによって事前学習を行う場合、通常、入力トークン列からマスクするトークンをランダムに選択するが、提案手法の場合、1-best tokenize と sampling tokenize ではトークナイズ結果が異なり得ることから、注意が必要となる。これらの 2 つのトークナイズ結果において、 マスク言語モデルのロスを平等に比較できるように、マスクするトークンの候補は、1-best tokenize と sampling tokenize で同様に分割されたトークンに限定する。図 2 の例ではマスクするトークンの候補は 「楽しい」「を」「送る」となり、この例では「送る」 がマスクするトークンとして選ばれている。

ファインチューニングファインチューニングでも同様に、1-best tokenize と sampling tokenize でのモデルロスを比較し、sampling tokenizeを用いた場合のモデルロスが小さければ、そのサンプリングのトークナイズ確率を上げるようにトークナイズを学習する。推論時は 1-best tokenize の結果を用いる。

## 2.3 既存手法との計算コストの比較

図 1 に示すように、提案手法と平岡ら手法では、 トークナイザを学習するためにモデルに入力する
トークナイズ結果の数が異なっており、計算コストに差が生まれている。まず、図の左に示す平岡ら手法では、トークナイザを学習するために、モデルの学習に用いるトークナイズ結果とは別に $\mathrm{N}$ 個のトー クナイズ結果をモデルに入力する必要がある3）。

一方で、図の右に示す提案手法ではトークナイザを学習するために追加でモデルに入力するのは、 $s_{*}$ のみである。さらに、トークナイズの段階で $s_{s}$ と $S_{*}$ が一致した場合は、トークナイザの学習を行なわず、 $s_{*}$ をモデルに入力する必要がないため、さらに計算コストを減らすことができる。以上より、提案手法を用いることで、既存の平岡ら手法よりも、小さい計算コストでモデルとトークナイザの同時学習を行うことが可能となる。

## 3 実験

複数の分類タスクを用いて提案手法の有効性を検証した。

## 3.1 設定

## 3.1.1 データセット

日本語言語理解ベンチマークである JGLUE [7] を用いて評価を行った。JGLUE のうち、文章分類、文ペア分類のタスクである MARC-ja、JSTS、JNLIを利用した ${ }^{4)}$ 。各種データセットの詳細は付録 Bに示す。

## 3.1.2 比較手法

以下の 4 つのモデルと提案手法を比較した。

UniLM ユニグラム言語モデルを用いたトークナイザを利用して、BERT の事前学習とファインチューニングを行う手法。ソフトウェアとしては SentencePiece [8] を用いた。このモデルは、事前学習、ファインチューニングともにトークナイザは学習されない。

平岡ら手法 1 節で述べたとおり、平岡ら手法は転移学習以前のモデルで評価されているが、提案手法との比較のために、BERT のファインチューニングにおいて、N-best トークナイズを用いてモデルとトークナイザを同時に最適化する手法をここでは平

3） N-best の入力間でロスの大きさを比較するため、 $\mathrm{N}$ は 2 以上である必要がある。

4）JGLUE に含まれるタスクのうち、JSQuAD は形態素区切と Sentencepiece での区切が一致しないため、また、 JCommonsenseQA は質問ならびに選択肢の文長が非常に短くトークナイズの影響が小さいため、これらのタスクは提案手法での評価からは除いた。
表 1 JGLUE の文章分類・文ペア分類タスクを用いた評価実験の結果

岡ら手法と呼ぶ。この手法は再現実装した。

提案手法 (N-best tokenize) 平岡ら手法で採用されている N-best トークナイズを用いて、事前学習時にもトークナイザを学習する手法5）。

提案手法 (強化学習; FT のみ) BERT の事前学習時はトークナイザを固定し、ファインチューニング時のみ、強化学習を利用する提案手法でモデルとトークナイザを同時に学習する手法。

提案手法 BERT の事前学習時とファインチュー ニング時のどちらも、強化学習でモデルとトークナイザを同時に学習する手法。

## 3.1.3 モデル学習の設定

提案手法を含む全ての比較モデルで、日本語 Wikipediaを用いて、BERT の事前学習を行った ${ }^{6)}$ 。 トークナイザのハイパーパラメータについては付録 Cに示す。ファインチューニングでは、損失関数として、分類タスクである MARC-ja と JNLI では交差エントロピー損失、回帰タスクである JSTS では平均二乗誤差を利用した。ファインチューニングはシードを変えて 3 回実行し、各評価尺度の平均と標準偏差を報告する。また全体的な性能を比較するために、3つのタスクの性能の平均も算出した ${ }^{7)}$ 。

## 3.2 実験結果と考察

実験結果を表 1 に示す。全体的な性能は比較手法と比べ、提案手法が最も高いことを確認した。(2) もしくは (4)と (5)を比べることによって、事前学習もトークナイズ学習を行った方がよいことがわかり、(3)と (5) を比べることによって、平岡らが採用している N-best tokenize よりも提案手法の強化学習を用いた方がよいことがわかる。

次に、提案手法を用いることで、平岡ら手法を用いて事前学習を行った場合に比べて、どれくらい事

5）事前学習でトークナイズ学習を行っているという意味で、提案手法の亜種とみなしている。

6）ただし、next sentence prediction は文献 [9] で有効でないとされていることから行っていない。

7） JSTS の Peason と Sperman の値を平均してから、MARC-ja、 JSTS、JNLI の性能の平均をとっている。表 2 MARC-ja における改善例 (正解ラベルは P)

 & トークナイズ結果 \\

平岡ら手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\
提案手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\

前学習の時間を軽減することができるかについて述べる。提案手法 (N-best tokenize) にかかる時間を 100\%とすると、提案手法が $48.8 \%$ 、UniLM が $22.8 \%$ となった。この結果から、提案手法 (N-best tokenize)、すなわち、平岡ら手法をそのまま事前学習に適用した場合と比べ、提案手法は 2 倍以上計算時間が改善できることを確認できた。

MARC-ja における改善例を表 2 に示す。MARC-ja の例に含まれる「これがないとものたりない」は 「これがあると満足ができる」というポジティブなフレーズであるが、そのことを理解するためには、「これが」、「ないと」「ものたりない」をそれぞれ理解する必要がある。しかしながら、UniLM では、「これ」、「がない」、「とも」、「の」、「たり」、「ない」 のように、意味を汲むためのトークンの境界と一致しておらず、適切に意味を捉えることができていない。一方で、提案手法では、「これが」、「ないと」、「もの」、「たり」、「ない」のように、トークンの境界が一致しており、モデルが適切に意味を捉えることができるようになっていると考えられる。

## 4 おわりに

本論文では転移学習において、トークナイザとモデルの同時学習する手法を提案した。強化学習を用いて定式化することにより、計算量を抑えられ、かつ、精度が高いことを示した。今後の課題としては、本研究で採用したトークナイザは各サブワードの生成確率のみを学習するものであり、提案手法が比較手法に比べて大幅な精度向上を達成できなかったのは、このトークナイザの表現力がそれほど高くないことが考えられ、より表現力の高いトークナイザを検討する予定である。

## 参考文献

[1] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Masaaki Nagata. A stochastic Japanese morphological analyzer using a forward-DP backward-A* n-best search algorithm. In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics, Kyoto, Japan, August 1994.

[4] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[5] R. J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, pp. 229-256, 1992.

[6] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, Marseille, France, 2022. European Language Resources Association.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach, 2019.

[10] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for
Computational Linguistics

[11] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17801790, Berlin, Germany, August 2016. Association for Computational Linguistics.
表 3 JSTS・JNLIにおける改善例

## A JSTS・JNLIにおける改善例

JSTS と JNLI における改善例を表 3 に示す。 UniLM ではタスクを解くために重要なトークンが助詞とくっついてしまっている。JSTS の例では「子供が」のように「子供」と助詞「が」がくっついており、前提文の「子供」と仮説文の「女の子」の関係を捉えるのが難しい。一方、提案手法ではそれらのトークンが、助詞と離れており、より意味を適切に捉えることができるようになっていると考えられる。

## B JGLUE のデータセットの詳細

MARC-ja は、Multilingual Amazon Reviews Corpus [10] の、日本語レビューで構築したデータセットであり、各レビューをポジティブとネガティブの 2 値で分類するタスクを解く。JSTS は、YJ Captions Dataset [11] を基に構築された、意味的類似度計算データセットであり、文ぺア間の意味的な類似度を 0 (意味が完全に異なる) から 5 (意味が等価) で回帰予測するタスクを解く。JNLI は、JSTS で同じテキストで構築された自然言語推論データセットであり、文ペアに対して、前提文が仮説文に対して持つ推論関係を含意、矛盾、中立の 3 值で分類するタスクを解く。評価指標としては、MARC-ja、 JNLI では accuracy を用い、JSTS では Pearson および Spearman の相関係数を用いる。また、各データセットのデータ数を表 4 に示す。

## Cメトークナイザのハイパーパラ

提案手法で用いているトークナイザには、N-best の N と、sampling tokenize の確率分布を制御するた
めの $\alpha$ の 2 つのハイパーパラメータがある。この 2 つのパラメータを変化することで、提案手法の性能がどのように変化するかを調査した。 $\mathrm{N} ~\{4,16\} 、$ $\alpha$ を $\{0.2,1.0\}$ でそれぞれ変化させた。計算コストの観点から、広範囲に探索することはできなかった。結果を表 5 に示す。 $\mathrm{N}=4, \alpha=1.0$ のときが最も性能が高いという結果となった。このハイパーパラメータは、sampling tokenize するときに、確率がより上位のトークナイズ結果をサンプリングするという設定である。この結果から、提案手法において、確率が上位であるトークナイズ結果同士でロスの比較を行うことがより良いトークナイザの構築に重要であり、確率が下位のトークナイズ結果をサンプリングして比較することの有用性は低いことが示唆される。

表 5 ハイパーパラメータ探索の結果

 &  &  \\

4 & 1.0 & $95.79_{ \pm 0.06}$ & $\mathbf{8 9 . 2 8}_{ \pm 0.38} / \mathbf{8 4 . 8 0}_{ \pm 0.47}$ & $\mathbf{8 9 . 0 9}_{ \pm 0.19}$ \\
16 & 0.2 & $95.55_{ \pm 0.07}$ & $88.64_{ \pm 0.24} / 84.38_{ \pm 0.30}$ & $87.63_{ \pm 0.21}$ \\
16 & 1.0 & $\mathbf{9 5 . 8 4}_{ \pm 0.04}$ & $88.27_{ \pm 0.17} / 83.94_{ \pm 0.12}$ & $87.85_{ \pm 0.35}$ \\


# 語彙制約付きニューラル単語分割器を用いた 後処理としての単語分割の後段タスクへの最適化

平岡達也 岩倉友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，後段タスクのモデルを改変することなく，単語分割器をモデルに最適化することで，精度改善を行う手法を提案する. 本手法は, 精度を改善したいタスクのモデルが与えられた際に，モデルが扱える単語に出力を制限しつつ，モデルにおける損失関数を最小化する単語列を生成するような単語分割器を学習する。また，文脈情報をよりよく捉えるために，LSTM 上で語彙制約付きの単語分割手法を提案する. 本手法を, 日本語, 中国語, 英語の文書分類タスクで評価した結果，ユニグラム言語モデルによる単語分割の最適化手法, 単語の限定を行わないニューラル単語分割器と比較し，提案手法が性能の向上に寄与することが示された.

## 1 はじめに

単語分割は，さまざまな自然言語処理に共通する前処理の一つである. 文書分類や機械翻訳などの後段タスクでは，それぞれのタスクやドメイン、モデル構造に応じて適切な単語分割を用いることで性能の向上が得られることが知られている $[1,2,3]$. 近年では後段タスクで学習済みのモデルに対して適切な単語分割を求める手法が提案されている $[4,5]$. これらの手法は，すでに学習されている後段モデルのパラメータを固定し，より性能が向上するような単語分割を後処理として求めることができる。

従来の後処理としての単語分割の最適化手法には，2つの課題が残されている. 1 つ目の課題は,従来手法 [5] では文脈に応じた単語分割がされにくいという点である。これは従来手法が単語分割器としてユニグラム言語モデル採用しているためである. タスクの性能が向上するような単語分割を探索した時，ある文脈でタスクの性能向上に貢献する単語が，別の文脈でもタスク向上に繫がるとは限らな

図 1 本手法で用いる語彙の制約（式 (4)）をテーブルとして表現した図．網掛けセルは未知語を表す。

い.この問題は，例えば BI タグ付けによる文字レベルでのニューラル単語分割モデル $[6,7]$ を用いれば，解決されるように思われる。しかしながら，文字レベルのタグ付けによる単語分割では，実際に後段モデルで利用できる語彙には含まれていない未知語が出力されてしまう可能性がある [8].

2 つ目の課題は, 単語分割の最適化のために後段モデルの構造を修正する必要があるという点である $[4,5]$. 広く利用されているモデルをそのまま使うことが出来ないため，後処理としての単語分割の最適化技術の利用の障壁となっている。

本研究では 1 つ目の課題への対処として, 出力可能な語彙を制限したニューラル単語分割器による,後処理としての単語分割の最適化手法を提案する. これにより，従来のユニグラム言語モデルを用いた手法よりも高い表現力を持った単語分割器を用いて, 後処理としての単語分割の最適化を行うことができる. さらに 2 つ目の課題への対処として，後段モデルの処理と単語分割の最適化処理の独立性を高めた学習方法を提案する，日本語，中国語，英語での文書分類の実験より，提案手法が後処理としての単語分割の最適化として妥当であることを示す。

## 2 後処理としての単語分割の最適化

本研究で対象とするタスクは, 後処理としての単語分割の最適化である. 本タスクでは文書分類などの後段タスクの学習データ $D$ と単語分割器 $T$, 単語分割済みのデータ $D^{\prime}$ で学習を行なった後段モデル $\theta$ 前提とする.また, $s \in D$ は学習データに含まれる入力テキスト, $s^{\prime} \in D^{\prime}$ は単語分割器 $T$ で分割を行ったテキストで， $s^{\prime}=T(s)$ である. 様々な単語分割器を $T$ として利用できるが、本研究ではユニグラム言語モデルによる単語分割器 [9] を使用する.

$s$ の可能な単語分割は $N$ 種類あり,$s_{1}^{\prime} \ldots s_{N}^{\prime}$ と表す. ここで， $N$ の最大数は $s$ の文字数 $|s|$ について $N=2^{|s|-1}$ である. 実際には，後段モデルで使用できる語彙 $V_{\theta}$ が限られているため, $N$ はある程度の大きさに収まる. 後処理としての単語分割の最適化の目的は，後段タスクで後段モデルの性能が高くなる単語分割を出力する $\hat{T}$ を求めることである.

## 3 提案手法

## 3.1 学習の概要

本手法では，後段モデルの構造を変更せずに後処理としての単語分割の最適化を行えるように，後段モデルとは別に新しく単語分割器を学習する. 具体的には以下に説明する通り, 学習データでの性能が高くなるような単語分割の収集と, 単語分割器の学習の 2 ステップに分けることで，後段モデルと単語分割器の独立性を高める.

## 学習データにおいて損失が小さい単語分割の収集 はじめに, $s \in D$ の可能な $N$ 種類の単語分割 $s_{1}^{\prime} \ldots s_{N}^{\prime}$ のうち，学習データでの損失が最も小さくなるよう な単語分割のみを収集した学習データ $\hat{s} \in \hat{D}$ を構築する. 各テキストの $N$ 種類の単語分割について は，例えば $N$-best の単語分割 [10] を用いたり，サブ ワード正則などで利用される単語分割のサンプリン グ $[11,12,13]$ によって収集する方法を用いたりする ことができる. 本研究では, $N=100$ とし, $N$-best 単語分割を用いた. $\hat{D}$ の構築には，学習済みの後段 モデル $\theta$ に $N$ 種類の単語分割を入力し, それぞれの 正解ラベルに対する損失を計算すれば良い. そのた め $\hat{D}$ から学習することで、後段モデルの構造を変え ずに後処理としての単語分割の最適化を行える.

$\hat{D}$ を再現する単語分割器 $\hat{T}$ の学習次に, $\hat{D}$ の単語分割を再現するような新たな単語分割器 $\hat{T}$ を学習
する. 学習データにおいて後段モデルの損失が小さくなるような単語分割を学習した単語分割器 $\hat{T}$ は,検証データやテストデータにおいても正解ラベルとの損失が低い単語分割を出力すると期待される.

## 3.2 語彙制約付きニューラル単語分割器

$\hat{D}$ の単語分割を学習するための単語分割器 $\hat{T} に$ は，様々な手法を用いることができる．この単語分割器の表現力が高いほど，損失が低くなるような単語分割の再現性能が高くなると考えられる。

表現力の高い単語分割器の例として，単語分割を BI タグで表現してニューラルネットワークを学習する手法 $[6,7]$ がある. しかし，この方法では後段モデル $\theta$ が使うことができる語彙，すなわちオリジナルの単語分割器 $T$ で用いている語彙 $V_{\theta}$ には含まれない未知語を出力してしまう場合がある.このような未知語は，後段モデルにおいて適切に単語埋め込みへと変換できないため，後段タスクにおける性能低下につながると考えられる。

そこで本研究では出力可能な単語を考慮し [14],利用できる語彙を制限したニューラル単語分割器を作成する. $K$ 文字のテキスト $s=c_{1} \ldots c_{K}$ について， $i$文字目で始まり $j$ 文字目で終わる単語 $w_{i, j}$ の出現確率 $p\left(w_{i, j} \mid s\right)$ を，次のように計算する。

$
\begin{aligned}
\mathbf{h}_{k} & =\operatorname{BiLSTM}\left(\mathbf{v}_{c_{1}} \ldots \mathbf{v}_{c_{K}}\right)_{k}, \\
\mathbf{h}_{k}^{(\text {begin })} & =\operatorname{MLP}_{\text {begin }}\left(\mathbf{h}_{k}\right), \\
\mathbf{h}_{k}^{(\text {end })} & =\operatorname{MLP}_{\text {end }}\left(\mathbf{h}_{k}\right), \\
p\left(w_{i, j} \mid s\right) & =\left.\{\begin{array}{ll}
\sigma\left(\mathbf{h}_{i}^{(\text {begin })^{\top}} \mathbf{h}_{j}^{(\text {end })}\right) & \text { if } w_{i, j} \in V_{\theta} \\
0 & \text { otherwise }
\end{array} .\right.
\end{aligned}
$

ここで $\operatorname{BiLSTM}(\cdot)_{\mathrm{k}}$ は， $k$ 番目の入力 $\mathbf{v}_{c_{k}}$ に対応する BiLSTM [15, 16] の出力を得る操作である. また $\mathbf{v}_{c_{k}}$ は， $c_{k}$ に対応する文字埋め込み表現である. $\mathrm{MLP}_{\text {begin }}$ と $\mathrm{MLP}_{\text {end }}$ はそれぞれ異なる多層パーセプトロン， $\sigma(\cdot)$ はシグモイド関数である.

$p\left(w_{i, j} \mid s\right)$ は $s$ ごとにまとめて計算することができ，その処理は図 1 に示すような上三角行列として表せる. 図と式 4 に示すように，後段モデルの語彙 $V_{\theta}$ に含まれない単語は確率が 0 になるようにマスクされる。これにより, 単語分割器が利用できる語彙にハードな制約を与え，未知語の出力を防ぐ.

単語分割器の学習時は, 各学習サンプル $\hat{s}$ につい

表 1 文書分類での性能（F1 值，テストデータ）.太字は単語分割の最適化を行う手法のうち，オリジナルの後段モデル （最適化なし）の値を超えるもの，下線は比較手法間での最大値を示す.

て以下の損失を最小化するように最適化する.

$
\mathscr{L}_{\hat{s}}=-\sum_{w \in \hat{s}} \log p(w \mid s) .
$

推論時は， $\sum_{w \in s^{\prime}} \log (p(w \mid s))$ が最も大きくなるような系列 $s^{\prime}$ を゙タビアルゴリズム [17]で求める.

## 4 実験

## 4.1 設定

データセット実験では，後段タスクとして文書分類を用いた。単語分割の後段タスクへの影響が大きいと考えられる言語として, 日本語と中国語のデータセットを利用した. Twitter [18] と WRIME [19] は, 日本語の SNSへの投稿から作成された感情分類データセットである. Weibo は中国語のSNSへの投稿から作成された感情分類データセット ${ }^{1)}$, Genre と Rate はEコマースサイトに投稿された中国語のレビューから作成した商品のジャンル予測とレート予測のためのデータセット [20] である. さらに，スペース区切りで単語境界を明示する言語での実験のために，英語の Twitterへの投稿から作成した感情分類データセット22)用いた.

後段モデル後段モデル $\theta$ は, 各文書分類の学習データで事前に学習を行う. 本研究では，BiLSTM で単語分散表現の系列をエンコードし，線形層でラベルのスコアを予測するモデルを採用した. 単語分散表現の次元数は 64 ，BiLSTM のレイヤ数は 1 ，隠れ層の次元数は前向き・後ろ向きそれぞれ 256 とした. 各データセットで 20 エポックの学習を行い,検証データでの性能が最大となるモデルを $\theta$ として利用する. 後段モデルの学習のための単語分割器 $T$ には，SentencePieceの Unigram モードを用いた。語

1) https://github.com/wansho/senti-weibo

2) https://www.kaggle.com/c/twitter-sentiment-analysis2彙 $V_{\theta}$ の大きさは 16,000 とし, 後段モデルの学習には $\alpha=0.2$ でサブワード正則化 [11]を用いた.

比較手法本実験では， $\hat{D}$ を学習する単語分割器として 2 種類の比較対象を用いる. ユニグラムは， $\hat{D}$ に含まれる単語の頻度を数え上げることでユニグラム言語モデルを作成し，単語分割に利用する最も単純な手法である．BI タグ付けは，BiLSTM-CRFによる系列ラベリング手法を用いて，単語分割を表す BI タグの系列を予測する手法 [7] である ${ }^{3}$. さらに，後段モデル $\theta$ を学習に組み込んで単語分割を最適化する従来手法として OpTok [5]を用いた。

## 4.2 後段タスクでの性能

各データセットでの実験結果を表 1 にまとめた。「最適化なし」の列には，オリジナルの単語分割で学習した後段モデル $\theta$ の性能を示した.「最適化あり」の各列には，学習済みの後段モデルに対して後処理として単語分割を最適化した結果4)を示した。

実験結果より, OpTok と提案手法はすべてのデー タセットで，単語分割の最適化による性能の向上が得られた. また，提案手法は複数のデータセットで OpTok の性能を上回ることが確認された. 一方で，最も単純なユニグラム言語モデルによる手法や，広く使われるニューラル単語分割器である BI タグ付による手法では，オリジナルのモデルよりも性能が下がる場合が多いことが分かった.

「オラクル」の列には，テストデータの 100-best 分割を学習済みの後段モデルに入力し，損失が最も小さくなるような単語分割だけを選択したときの性能を示した．すなわちこの値は，単語分割のみを修正して到達可能な性能の上限である. 実際にはテスト

3）https://github.com/jidasheng/bi-lstm-crf の実装を用いた. 文字分散表現の次元数は 128 ，BiLSTM の隠れ層の次元数は 256 とし, 200 エポックの学習を行った.

4）BI タグ付け, OpTok，提案手法については 3 回試行の平均. 検証データでの性能が最大となる単語分割器で評価.

表 2 各手法による学習データの単語分割の再現性能 (正解率) と, 検証データでの未知語出現割合.

データの正解ラベルは未知であるため、この値への到達は困難だが，後処理としての単語分割による性能向上の余地は大いに残されていると言える。

## 4.3 単語分割の再現性能と未知語割合

本手法では，学習データでの損失が低くなるような単語分割 $\hat{D}$ を再現するように，ニューラル単語分割器の学習を行った. 表現力の低い単語分割器では， $\hat{D}$ を再現することも難しいと考えられる。そこで各単語分割手法が，それぞれどの程度単語分割の学習データを再現できているかを調べた。

表 2 の「学習データの正解率」として，ユニグラム言語モデル，BI タグ付け，提案手法のそれぞれについて，学習データでの単語分割の正解率を示し $た^{5)}$. ユニグラム言語モデルは単語の頻度数え上げで作成したモデル，BI タグ付けと提案手法はそれぞれ 200 エポックの学習を行ったモデルで評価した. また正解率は，単語分割を BI ラベルに変換した上で，ラベルの一致率として計算した。

学習データの単語分割の正解率より, ユニグラム言語モデルよりもニューラルネットワークを用いた BI タグ付けや，提案手法の再現性能が高いことが分かる. 提案手法に比べて BI タグ付けの手法は, 文字レベルで単語境界を予測できる点で表現力が高く,学習データの正解率も高くなっている. 提案手法の表現力は，語彙をハードに制約する点で BI タグ付けの手法に劣り，正解率もやや低くなっている. しかし, 単語分割最適化の従来手法 OpTok が採用しているユニグラム言語モデルよりも，提案手法は学習データの単語分割を再現できている。このため 4.2 節の実験においては，単語分割の最適化にニューラル単語分割器を用いる提案手法が，OpTok よりも高い性能の向上幅を得られていると考えられる.

表 2 の「検証データでの未知語割合」では，ユニグラム言語モデル，BI タグ付け，提案手法のそれぞれが検証データで後段モデルの語彙 $V_{\theta}$ に含まれない単語を出力した割合を示している。

ユニグラムと提案手法は，その性質として未知文字以外の未知語を出力することが出来ないため，検証データでの未知語割合はほぼゼロになっている.一方で BI タグ付けの手法は, 出力できる単語についての制約がないため，最大で $11.5 \%$ も未知語を出力している。これらの未知語が，4.2 節の実験における後段モデルの性能低下につながったと考えられる。実際に表 1 にまとめた BI タグ付けによる手法の性能は，多くのデータセットで「最適化なし」 のモデルよりも低い値になっている。

これらの結果より, 後処理としての単語分割の最適化においては，提案手法のように語彙の制約を設けたニューラル単語分割器を用いることが妥当であると結論付けることができる。

## 5 おわりに

本稿では，後処理としての単語分割の最適化の手法にニューラル単語分割器を用いる方法を提案した. 本手法では後段タスクの学習データのうち，学習済みモデルの損失が小さくなるような単語分割を収集し，単語分割器の学習に用いる。また，後段モデルが利用できる語彙は限られているため，出力できる単語を制限するようなニューラル単語分割器を作成した．文書分類タスクでの実験結果より，提案手法は従来手法による後処理としての単語分割の最適化よりも性能が高くなるような単語分割を獲得できることが分かった。また，一般的に用いられる BI タグ付けによる単語分割器とは異なり，未知語の発生を防ぐことができることが示された．今後は機械翻訳などのタスクでの実験や，後段モデルと単語分割の同時最適化にも本手法を応用していく.

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を受けたものです.

## 参考文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of ACL: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[6] Xinchi Chen, Xipeng Qiu, Chenxi Zhu, Pengfei Liu, and Xuan-Jing Huang. Long short-term memory neural networks for chinese word segmentation. In Proceedings of the 2015 conference on EMNLP, pp. 1197-1206, 2015.

[7] Tom Young, Devamanyu Hazarika, Soujanya Poria, and Erik Cambria. Recent trends in deep learning based natural language processing. IEEE Computational intelligence magazine, Vol. 13, No. 3, pp. 55-75, 2018.

[8] Hiroyuki Deguchi, Masao Utiyama, Akihiro Tamura, Takashi Ninomiya, and Eiichiro Sumita. Bilingual subword segmentation for neural machine translation. In Proceedings of the 28th COLING, pp. 4287-4297, 2020.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[10] Masaaki Nagata. A stochastic japanese morphological analyzer using a forward-dp backward-a* n-best search algorithm. In Proceedings of the 15th conference on COLING, pp. 201-207. Association for Computational Linguistics, 1994.

[11] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of ACL, pp. 66-75, 2018.

[12] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of
ACL, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[13] Tatsuya Hiraoka. Maxmatch-dropout: Subword regularization for wordpiece. In Proceedings of the 29th COLING, pp. 4864-4872, 2022.

[14] Shohei Higashiyama, Masao Utiyama, Eiichiro Sumita, Masao Ideuchi, Yoshiaki Oida, Yohei Sakamoto, and Isaac Okada. Incorporating word attention into character-based word segmentation. In Proceedings of the 2019 Conference of NAACL: HLT, pp. 2699-2709, 2019.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[16] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 20472052. IEEE, 2005.

[17] Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, Vol. 13, No. 2, pp. 260-269, 1967.

[18] Yu Suzuki. Filtering method for twitter streaming data using human-in-the-loop machine learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[19] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of NAACL: HLT, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[20] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on WWW, pp. 1373-1383, 2015.


# 条件記述の解釈に基づく確率・期待値問題の自動解答

岩間 純輝佐藤理史 宮田玲 小川浩平
名古屋大学大学院工学研究科
iwama.junki.i0@s.mail.nagoya-u.ac.jp

## 概要

本稿では、高校数学レベルの確率・期待值問題に自動解答するための方法を提示する。確率・期待値問題を解く上では、文章題の中で普遍的に現れる条件記述を解釈することが重要であり、それを実行可能なコード列に変換することが、中心的課題となる。オンラインソースから広く集めた問題で作成したデータセットを用いて、正答率を評価する実験を行ったところ、約 $87 \%$ の問題を解くことができた。

## 1 はじめに

確率の文章題を自動解答する取り組みは、1971 年の Gelb の研究 [1] まで遡る。この研究では、事前に用意した木構造のパターンリストを使用して動詞や試行回数などの解答に必要な情報を抽出し、自動解答を実現した。Dries ら [2] は、限量子によりモデル化した問題文を、ベイジアンネットワークに変換して条件付き確率問題として解く end-to-end の確率問題ソルバを開発した。

日本語で書かれた問題文に自動解答する取り組みとしては「ロボットは東大に入れるか」プロジェ

クト [3]がある。この中で、数学の問題に対しては、論理式で記述した数式から、限量子を $\mathrm{QE}$ 法で取り除くことによって解を求める手法が主に採用されたが、この手法が通用しない確率・期待值問題の自動解答の研究 $[4,5]$ は、あまり進まなかった。

確率・期待値問題には、条件記述（事象を規定する条件の記述）が広く登場する。条件記述は、次のような特徵を持つ。

1. 試行結果である標本空間が得られて、初めて解釈できる。(それ単体では解釈できない。)

2. 記述の内容は、かなり複雑になり得る。

本稿では、条件記述の解釈に焦点を当て、高校数学レベルの確率・期待値問題に自動解答するための方法を提示する。この方法の特徴は、条件記述の構文

 & $(s 41)$ \\

図 1 確率・期待値の文章題の典型例

解析を、組み立てるべきコード（関数）の型情報に基づいて行う点にある。

## 2 確率・期待値問題の構造

図 1 に、確率・期待値の文章題の典型例を示す。

確率・期待値の文章題では、まず冒頭で、標本空間（起こりうる全ての結果を要素とする集合）の定義が示される。サイコロの問題では、次のような試行文と試行繰り返し文によって、標本空間が定義される。

試行文 〈個数〉のサイコロを (同時に) 振る

試行文サイコロを〈回数〉振る

試行繰り返し文これを〈回数〉繰り返す

図 1 では、試行文 $(s 0)$ のみが示されているので、個数は 2 個、回数は 1 回となり、標本空間は $(1,1),(1$, 2), , (6, 6) の 36 個の結果から構成される集合となる。

確率の計算は、次のような形式の確率計算指示文で指示される。

確率計算指示文 〈条件記述〉確率を求めよ

この文は、ある特定の事象（=標本空間の部分集合） が生起する確率の計算を要求する文で、その事象は〈条件記述〉によって規定される。文 $(s 1)$ における〈条件記述〉は「出た目の和が 10 以上となる」である。
求める確率 $P(A)$ は、以下の式により計算できる。

$
P(A)=\frac{|A|}{|\Omega|}
$

ここで、 $\Omega$ は標本空間、 $A$ は事象、|$\cdot$|は集合の要素数を表す。すなわち、標本空間の全要素に対して、〈条件記述〉の成否を判定できれば、確率を求めることができる。

一方、期待値の計算は、次のような形式の期待値計算指示文で指示される。

期待値計算指示文 〈演算記述〉の期待値を求めよ

この文の〈演算記述〉は、標本空間を定義域とする関数の計算法に対応する。文 $(s 2)$ における〈演算記述〉 は「出た目の和」である。

求める期待値 $E$ は、以下の式により計算できる。

$
E=\frac{1}{|\Omega|} \sum_{r_{i} \in \Omega} s\left(r_{i}\right)
$

ここで、 $r$ は標本空間の要素 (結果)、 $s$ は数値を返す関数を表す。すなわち、標本空間の全要素に対して関数 $s$ の值が計算できれば、期待値を求めることができる。〈演算記述〉は、この関数 $s$ の記述である。

確率・期待値問題は、上で述べたような文以外に、名付けを含む文 (s31) や場合分けの記述 $(s 41, s 42, s 43)$ を含む場合がある。これらの要素も、〈条件記述〉と〈演算記述〉から構成されるため、この 2 種類の記述を正しく解釈して計算可能とすることが、問題を解くための中心的課題となる。

## 3 確率・期待値問題ソルバ

作成した確率・期待値の文章題を解くソルバの入力は、確率・期待值の文章題（テキスト）であり、出力は、解答となる確率または期待值である。

文章題テキストの冒頭部の試行文に対しては、簡単なパターンマッチングを用いて、その問題の標本空間を表すインスタンスを生成する。確率・期待値計算指示文に対しては、その文に含まれる 〈条件記述〉および〈演算記述〉を抽出し、それらを実行可能なコード列に変換し、そのコードを標本空間インスタンスの各要素（結果インスタンス） に適用することによって答を得る。〈演算記述〉は 〈条件記述〉の一部として含まれるため、以下では、〈条件記述〉をコード列に変換する方法と、そのコー ド列を実行する方法を説明する。

図 2 条件記述をコード列に変換する手順

## 3.1 データ構造

標本空間の要素である結果や、条件記述を解釈する過程で発生する演算結果を表現するために、次のような計 8 種類のデータ構造を用意する。

1. 基本的（プリミティブ）なデータを保持する一 Int（整数）, Str（文字列）, Bool（真偽値）の3 種

2. 確率問題を解くためのドメイン固有なデータを保持する—Object, List, Sequence の 3 種 [6]

3. 特殊なデータを保持する一Or, And の 2 種

これらのうち、次の 4 種類は、子要素として複数のデータ構造を保持する。

・List一順序なしリスト
- Sequence 一順序ありリスト（列）

$\cdot$ Or 一複数の候補を OR として保持する
- And —複数の候補を AND として保持する

これらのデータ構造 X が、データ構造 $\mathrm{Y}$ を要素として持つとき、そのデータ構造を、単に ' $\mathrm{X}$ 'ではなく、'XOfY' と区別して表す。たとえば、試行文 $(s 0) 「 2$ つサイコロを同時に振る」から得られる結果のデータ構造は、ListOfInt である。

## 3.2 条件記述のコード列への変換

〈条件記述〉をコード列に変換する手順を、図 2 に示す。この変換は、以下の 3 ステップで構成される。

## 3.2.1 セグメンテーション

まず、日本語で書かれた条件記述を、基本要素に基づいて分解する。この基本要素の一覧を、付録に
示す。たとえば、文 $(s 1)$ の 〈条件記述〉は、次のようなセグメントの列に分解される。

(1) [出た目の, 和が, 10 以上と,なる]

それぞれの基本要素（ただし、属性値と属性名を除く）には、その内容に対応するコード列（組み込み関数名）が定義されている。この組み込み関数には、具体的な計算法以外に、入力のデータ構造と出力のデータ構造が定義されている。たとえば、コー ド「偶数」は、Int（整数）を受け取って、それが偶数であるかどうかを判定し、その結果を Bool（真偽値）として出力する。

基本要素は、 6 種類の大分類、 16 種類の中分類に分類されている。この分類は、組み込み関数の、入力 (引数) のデータ構造の種類と数、出力のデータ構造の種類の 3 つに基づいて区分されている。たとえば、大分類「数値演算」はIntを受け取って Int を出力するコードを持つ基本要素の集まりであり、引数が 1 個であれば calc 1 、 2 個以上であれば calc $2 \mathrm{p}$ に下位分類される。

## 3.2.2 構文解析 (1) - 辞書規則の適用

次に、分割された各セグメントを終端記号と見なし、それぞれに辞書規則を適用して前終端記号とそれが保持するコード列を得る。この前終端記号は、 そのセグメントが含まれる基本要素の中分類名である。ただし、中分類が「属性名」である場合は、結果を表すデータ構造とする。保持するコード列は、終端記号のコードを要素とするコード列である。

たとえば、セグメントの列 (1) に辞書規則を適用すると、次のような前終端記号の列が得られる。

(2) [ListOfInt, calc2p, pred1, predB]

「出た目」は中分類「属性名」に属するため、このセグメントに対する前終端記号は、結果のデータ構造である ListOfInt（複数の Intを要素に持つ List）となる。この仕組みにより、標本空間の結果の型を考慮した解析を実現する1)。

## 3.2.3 構文解析 (2) - 構文規則の適用

その後、構文規則を順次適用して、開始記号まで組み上げる。開始記号は、〈条件記述〉の場合は Bool、〈演算記述〉の場合は Int である。 たとえば、次の構文規則は、「ListOfInt（出た目）」

1）「2 個のサイコロを同時に振る」場合の「出た目」は複数の目 (ListOfInt)を意味するが、「1 個のサイコロを振る」場合の「出た目」は単一の目 (Int)を意味する。
と「 calc2p(和が)」をまとめて、「Int（出た目の和が)」を構成する際に使われる。

Int $\rightarrow$ ListOfInt calc2p

この規則は、複数の整数 (ListOfInt) に対して 2 個以上の整数を引数とする関数 (calc2p) を適用すると、その結果として整数 (Int) が得られることを意味している。構文規則は全部で 120 件ほど存在する。

同時に、構文規則は、コード列を組み上げる機能を持つ。上記の規則の場合、右辺の第 1 要素のコー ド列 [RESULT] と第 2 要素のコード列 [和] を連結したものが、左辺のコード列 [RESULT, 和] となる。

このような構文規則の適用により、入力が開始記号まで組み上がると、入力に対するコード列が得られる。「出た目の和が 10 以上となる」に対しては、最終的に次のようなコード列が得られる。

(3) [RESULT, 和, [以上, 10], 肯定]

## 3.3 コード列の実行

得られたコード列の各要素は、データ構造に対して定義されている関数呼び出しに対応する。そのため、このコード列を結果インスタンスに対して適用すれば、求める値が得られる。

たとえば、上記のコード列では、まず、結果インスタンス $r$ (ListOfInt)に対して RESULT が呼ばれ、 それ自身 $r$ が得られる。次に、 $r$ に対して関数「和」 が呼ばれ、Intインスタンス $i$ が得られる。さらに、 $i$ に対して関数「以上 (10)」が呼ばれ、Bool インスタンス $b_{1}$ が得られる。最後に、 $b_{1}$ に対して関数「肯定—true かどうかを調べる」が呼ばれ、Boolインスタンス $b_{2}$ が得られる。こうして得られた最終的な $b_{2}$ が trueであれば、その結果インスタンス $r$ は条件を満たすと判定される。

## 3.4 特殊なデータ構造の使用

特殊なデータ構造である Or や And は、次のような問題を解く際に必要となる。

(4) a. サイコロを 3 個振る

b. いずれか 2 つ目の和が偶数となる（確率）

〈条件記述〉 (4b) には、以下の構文規則が順に適用され、その結果、コード列 (5) が得られる。

OrOfListOfInt $\rightarrow$ anyN ListOfInt

OrOfInt $\rightarrow$ OrOfListOfInt calc $2 p$

Bool $\rightarrow$ OrOfInt pred1
表 1 実験結果（正答数）

Bool $\rightarrow$ Bool predB

(5) [RESULT, [いずれか, 2], 和, 偶数, 肯定]

考え方は、次の通りである一「いずれか $2 \supset の$

目」という表現は、 3 つ目 $a, b, c$ のうち、任意の $2 \supset(a, b),(b, c),(c, a)$ のいずれかを指し示す表現であり、これを OrOfListOfInt というデータ構造で表現する。これに「和が (calc2p)」を適用すると、 $a+b$, $b+c, c+a$ を計算し、それを OrOfInt というデータ構造でまとめて出力する。これに「偶数と (pred1)」 を適用すると、Or の子要素それぞれが偶数であるかどうかを調べ、1つでも偶数であれば true、すべて奇数であれば false（つまり Bool）を返す。

このような仕組みを導入することにより、複数の候補を指し示す表現を解釈可能としている。

## 4 実験

3 節で述べたソルバを用いて、確率・期待値文章題の正答率を評価した。

## 4.1 実験設定

実験では、Q\&A サイトなどのオンラインソースから広く収集して構築した、確率・期待値文章題 820 問から構成されるデータセットを用いた。このデータセットは、ソルバ開発で参照しなかった。

収集した問題は、次の条件を満たす問題である。

1. 題材が、サイコロもしくは玉であるもの。

2. 図表の絡まないもの。

3. 標本空間が有限であるもの。

なお、データセットの作成に当たっては、数字表記の統一、句読点の統一、明らかな誤りの修正を行うとともに、枝問が存在する問題は、枝問毎に分割して独立した問題とした。

## 4.2 実験結果と分析

実験結果を、表 1 に示す。用意したデータセットの約 $87 \%$ の問題を解くことができた。なお、玉を題材とした問題は、標本空間の定義をテキストから自動抽出せず、手入力で与えた。

## 4.2.1 正解できた問題

正解できた問題の具体例を示す。

（6） a. 少なくとも1つは素数の目が出る（確率）

b. 出た目の積または和が 3 の倍数となる (確率)
c. 1 回目に偶数の目が出て、2 回目に 6 の約数の目が出る（確率）

事前に用意した基本要素の範疇を超えない範囲で記述されたものであれば、上で示したような複雑な 〈条件記述〉であっても、正しく解釈し、問題に正解することができた。

## 4.2.2 正解できなかった問題とその原因

正解できなかった問題の原因は、そのすべてが、〈条件記述〉または〈演算記述〉を適切に解釈（コード列に変換）できなかったことによるものであった。 その原因は、おおよそ、以下の 3 種類に大別できる。

a. 共参照を含む場合作成したソルバは、共参照を解析する機能を持たないため、共参照を含む 〈条件記述〉を解釈できない。

(7) 1 または 2 の目が 4 回、それ以外の目が 2 回出る (確率)

ただし、「それ（以外）」を「1または 2 (以外)」と明記すれば解釈可能で、正解を出力する。

b. 複雑な状況を端的に表す表現を含む場合問題文では、「交互に」や「この順に」のように、複雑な状況を端的に表す表現が用いられることがある。

(8) 偶数の目と奇数の目が交互に出る（確率）

「交互に」は、「1 回目に偶数の目が出て、2 回目に奇数の目が出て、3 回目に偶数の目が出て、4 回目に奇数の…」という状況を表す。このような表現を一般的に扱うのは難しく、個別に組み込み関数を用意する必要がある。

c. 対象外の問題現在のソルバが対象とする問題は、同一のサイコロを複数個振る（ひとつの袋から玉をいくつか取り出す）ことを繰り返す問題である。形状が異なる複数個のサイコロを振る（複数の袋からそれぞれ玉を取り出す）問題は対象外であるため、次のような〈条件記述〉は解釈できない。

(9) 大きいサイコロの目が偶数で、小さいサイコ口の目が 1 である（確率）

このような問題は、積事象の問題として扱う必要がある。

## 謝辞

本研究は JSPS 科研費 JP22K19811 の助成を受けたものです.

## 参考文献

[1] Jack P Gelb. Experiments with a natural language problemsolving system. 1971.

[2] Anton Dries, Angelika Kimmig, Jesse Davis, Vaishak Belle, and Luc De Raedt. Solving probability problems in natural language. 2017.

[3] 新井紀子, 東中竜一郎 (編). 人工知能プロジェクト 「ロボットは東大に入れるか」. 東京大学出版会, 2018.

[4] 神谷翼, 松崎拓也, 佐藤理史. 数学確率文章題の自動解答システムの開発. 言語処理学会第 21 回年次大会発表論文集, pp. 365-368, 2015.

[5] 神谷翼, 松崎拓也, 佐藤理史. 題材となるオブジェクトの抽象化による確率文章題の自動解答. 人工知能学会第 30 回全国大会論文集, pp. 4B1-2, 2016.

[6] 岩間純輝, 佐藤理史, 小川浩平, 宮田玲. 数学・確率問題を対象とした条件記述の自動解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 947-951, 2021.

## 付録：基本要素の一覧

} & \multirow[t]{2}{*}{ 基本要素（主要な日本語表現例） } \\

表中において、 $R$ は試行により得られた結果を表すデータ構造、 $X$ は子要素を保持できる任意のデータ構造、 $D$ は任意のデータ構造を意味する。


# エンティティの階層的分類体系を用いた 遠距離教師あり固有表現抽出

芝原 隆善 1 山田 育矢 ${ }^{1,2}$ 西田 典起 ${ }^{1}$ 寺西 裕紀 ${ }^{1}$
}

大内 啓樹 1,3 古崎 晃司 1,4 渡辺 太郎 ${ }^{3}$ 松本 裕治 ${ }^{1}$

${ }^{1}$ 理化学研究所 ${ }^{2}$ Studio Ousia ${ }^{3}$ 奈良先端科学技術大学院大学 4 大阪電気通信大学

takayoshi.shibahara@a.riken.jp \{ikuya.yamada, noriki.nishida, hiroki.teranishi, hiroki.ouchi, kouji.kozaki, yuji.matsumoto\}@riken.jp \{hiroki.ouchi, taro\}@is.naist.jp ikuya@ousia.jp kozaki@osakac.ac.jp
## 概要

本論文では辞書を疑似データの作成に活用した固有表現抽出（遠距離教師あり固有表現抽出： Distant Supervision Named Entity Recognition）に取り組む. 本論文では取得したいカテゴリの辞書のみを活用してきた従来研究とは異なり，分類体系全体を考慮する手法を提案する．具体的には分類体系に含まれる全てのカテゴリを含んだ疑似データを作成し，モデルの学習に利用する. 実際に生物医学系のエンティティ・リンキング及び固有表現抽出のデー タセット：MedMentions とリンキング対象の知識ベース：UMLS を活用して遠距離教師あり固有表現抽出を行ったところ, ベースラインに比べて F1 值において $4.19 \mathrm{pt}$ の改善を達成し階層的な分類体系全体を考慮する重要性を明らかにすることができた。

## 1 導入

文章に記述されているエンティティの位置とクラスを特定する固有表現抽出 (Named Entity Recognition：NER）は自然言語処理における基本的なタスクである。，応用例として，情報抽出 [1] や情報検索 [2] などをあげることができる。一方で多様な情報抽出・検索のニーズに応じた教師ありデータを準備するには多大なアノテーションコストがかかってしまう。

このため本論文では教師データがない状況における固有表現抽出に取り組む．その中でも特に遠距離教師あり学習（Distant Supervision）に基づく固有表現抽出 (Distant Supervision Named Entity Recognition： DS NER） $[3,4,5]$ に取り組む. 遠距離教師あり学習では取得したいカテゴリに応じた辞書を用いて疑似

図 1 既存の Distant Supervision NER(DS NER) との比較.通常の DS NER では疑似データ作成時に対象となるカテゴリ（哺乳類・爬虫類）に含まれる語句のみを活用する. 一方で提案手法では全てのエンティティと全てのカテゴリを利用する．例えば「マグロ」や「ミカン」などのエンティティや魚類・植物などのカテゴリも疑似デー タに活用する.

データを作成することで学習データの不在に対処する. 遠距離教師あり学習は DBpedia [6], UMLS [7] などの大規模知識べースの発達により,これらの知識ベースに含まれる様々なカテゴリに対して教師デー タの不在を補うことができる.

DS NER の先行研究 $[3,4,5]$ ではエンティティ全体の属する分類体系を利用せず，関心のあるクラス（以下対象カテゴリと呼ぶ）の情報しか利用してこなかった. 例えば図 1 のように，哺乳類・爬虫類のみを検出する固有表現抽出器を作成する場合を考えてみるとわかりやすい，疑似データ作成の際に哺乳類・爬虫類という分類体系の一部のみを利用し生物全体の分類体系に含まれる他のカテゴリの情報を利用してこなかったのである．より具体的には哺乳類・爬虫類に所属する「人間」や 「スッポン」などの語句しか利用せず，知識ベース
内に存在しているが対象カテゴリでないクラス (e.g.動物・魚類) や語句 (e.g. 「マグロ」・「ミカン」) を活用してこなかったのである。

そこで本論文では「分類体系全体の情報を使う」 というアイデアを提案・実装する．具体的には分類体系の全クラスを含んだ疑似データを作成し，活用する手法を提案する.

実際に生物医学系のエンティティ・リンキング及び固有表現抽出のデータセット：MedMentions [8] とリンキング対象の知識ベース：UMLS [7]を活用して検証を行った. ベースラインに比べて $\mathrm{F} 1$ 値において $4.19 \mathrm{pt}$ の改善を達成し分類体系全体を考慮する重要性を明らかにすることができた。

## 2 手法

提案手法では「分類体系の全カテゴリを認識するモデル」によって「対象カテゴリの抽出」を行う. ただし教師データのない状況を考えているので「分類体系の全カテゴリを抽出するモデル」は「分類体系の全カテゴリを含んだ疑似データ」で訓練することによって実現する. そこで「分類体系の全カテゴリを含んだ疑似データ」をどのように作成したか，「分類体系の全カテゴリを含んだ疑似データ」によって「分類体系の全カテゴリを認識するモデル」 をどのように訓練し実現したか，「分類体系の全力テゴリを認識するモデル」によってどのように「対象カテゴリの抽出」をしたかを述べていく．

## 2.1 分類体系の全カテゴリを含んだ疑似 データ作成

「分類体系の各カテゴリに所属する語句」に対して辞書マッチを行うことで「分類体系の全カテゴリを含んだ疑似データ」を作成する。「分類体系の各カテゴリに所属する語句」は「各カテゴリに所属する語句の情報」と「各カテゴリ間の階層構造」を用いて取得する。

具体例として図 1 の「人間」という語句を考える.「人間」という語句は哺乳類に直接所属している. さらに哺乳類は動物・生物の下位概念でもある.このことから「人間」という語句は哺乳類・動物・生物の3つのカテゴリに所属していることがわかる。この情報から，「人間はスッポン，マグロ，ミカン，イチゴ，ワカメなど様々な生物を食してきた」という文の「人間」の部分に哺乳類・動物・生物という 3 つのラベルを文字列マッチ
によって付与する1). 同文に出現する「スッポン」・「マグロ」・「ミカン」・「イチゴ」・「ワカメ」などの他の語句についても同様に複数のラベルを付与する。

## 2.2 疑似データに基づく全カテゴリを認識 するモデルの学習

2.1 で作成された疑似データ上でモデルを学習させ，「分類体系の全カテゴリを認識するモデル」の取得を目指す. 本研究では先行研究 [9] と同じ BERT ベースのスパン分類モデルを学習させる. このスパン分類モデルは BERT により文を符号化し，スパンの始端・終端のべクトルを連結して線形分類を行うものである（図 2).

まず前処理として 2.1 で作成された NER 疑似デー タをスパン分類のデータに変換した．具体的にはスパン最大長を決め文中のスパンを列挙する。その後ラベルのあるスパンはそのままのラベルを利用し， ラベルの付与されていないスパンは “O”ラベルを持つスパンとした. また, 複数の正解に対処できるように負の対数尤度の正解クラスに対する平均を口ス関数として学習を行った。

単純に学習を行うと，スパン分類モデルが既知の（辞書に含まれている）語句は抽出できる一方で未知の（辞書に含まれていない）語句を抽出しにくくなってしまう．例えば文：「新種の哺乳類オリンギートがアンデス山脈で人間に発見された.」の 「人間」は抽出できる一方で，分類体系に含まれない新種の「オリンギート」は抽出しにくくなってしまう．そこで Li らの手法 [10] を使い，ラベル付与されていないスパンの影響を“O”スパンのアンダーサンプリングによって割り引く。

## 2.3 対象カテゴリの抽出

2.1 の疑似データ上で学習した「分類体系の全力テゴリを認識するモデル」を用いて「対象カテゴリの抽出」を行う，具体的にはi) スパン最大長を決め文中の候補スパンを列挙する。次に ii) 予測対象のカテゴリを絞って分類する。最後に iii)これらスパン分類の出力を固有表現抽出の出力に変換する．ii) において予測対象のカテゴリは対象カテゴリとそれを補完し分類体系全体を被覆するような最小限のカテゴリ（以下補完カテゴリと呼ぶ）及び“O”ラベルに限定した（図 2)。 iii) の際には，Yamada ら [11] と同様にスパンを予測確率の高いものから重複の

1）ただし修飾語も含んだ文字列も取得するために名詞句チャンカーを利用し，名詞句の末端に語句がある場合にラベルを付与した。

図 2 訓練時と予測時のスパン分類モデルの挙動の違い.訓練時には分類体系の全カテゴリ+ “O”ラベルを対象にスパン分類確率を計算するが，予測時には対象カテゴリ十補完カテゴリ（対象カテゴリを補完し分類体系全体を被覆するような最小限のカテゴリ）＋“O”ラベルの予測スコアからスパン分類確率を計算する。

ないように選んでいくという方法で変換する。（ただしこの際に“O”ラベルが予測されたスパンは除いた.)

## 3 実験設定

本論文では UMLS(2021AA 版) [7] という知識べー スの分類体系の一部のカテゴリ2）を対象カテゴリとして，UMLS [7]を対象としたエンティティ・リンキング及び固有表現抽出データセットである MedMentions データセット [8] を用いて提案手法の評価を行った. UMLS は生物医学分野の知識ベー スで, 127 のクラス (Semantic Types) と 16,132,274 の用語を持つ. MedMentions は，4,392 の生物医学論文抄録に 352,496 のスパンが UMLS の概念に対応付けられるようにアノテーションされているデー タセットである. train/dev/test の文書数はそれぞれ 2,635/878/879 である. train 部分のデータセットは Distant Supervision の擬似アノテーションの対象として, dev/test の分割は正解アノテーションまま利用する.

本論文では提案手法をいくつかのベースラインと比較する. まず疑似データ作成手法と教師あり設定との比較を行うことで，遠距離教師あり学習としての妥当性を確認する。つまり，提案手法が辞書マッチよりも改善し, 教師あり学習と同等の精度を達成するという理想にどこまで近づけているかを確認する. 次に「分類体系の持つカテゴリの一部ではなく全体を活用する」という本論文のアイデアの是非を

2）具体的には MedMentions[8] で固有表現抽出タスクの対象として指定されている 21 個のカテゴリ確認するために（通常の DS NER と同様に）対象力テゴリのみを疑似データ作成に活用した BERT ベー ススパン分類モデルとの比較を行う．最後に「分類体系の持つカテゴリの一部ではなく全体を活用する」というアイデアが提案手法においてよりうまく実現できているかを確かめるために，類似した目的意識を持つ先行研究 [9] の手法と比較する. この先行研究は対象カテゴリに追加して補完カテゴリを疑似アノテーションに活用する研究である.

また補足実験として，「分類体系の全カテゴリを活用する」というアイデアが教師あり設定でも有用であるかどうかを確かめた. ただし, 本論文の主題から外れるため付録 A に結果を示す。

## 4 結果

実験結果は表 1 のようになった. 結果の評価尺度としては通常固有表現抽出に利用されるスパン・クラス完全一致によって予測・正解スパンの一致を測った Strict Precision/Recall/F1 スコアとスパン部分一致に条件を緩和した Lenient Precision/Recall/F1 スコアを利用した。ここで部分一致を許容した尺度を利用した理由は，辞書とマッチするエンティティに修飾語が掛かってエンティティ全体のスパンの曖昧性が生じてしまうためである．例えば，辞書に 「水」が含まれる際に「純水」の「純」が正解スパンに含まれるかどうかはアノテーション基準に依存し統一的な判断をすることが難しい.

## 4.1 遠距離教師あり学習としての妥当性

辞書マッチ手法の結果（表 1 行目）と提案手法の結果（表 4 行目）を比較すると，Strict F./Lenient F.のの両方において改善を達成していることがわかる。また，提案手法（表 4 行目）を教師あり学習（表 5 行目）と比較すると Strict F./Lenient F. スコアにおいて $31.8 \mathrm{pt} / 18.73 \mathrm{pt}$ も差があることがわかる. 以上から，辞書マッチと比べれば妥当なスコアである一方で，まだまだ教師あり設定と同等の精度という理想には大きく及ばないことがわかる.

## 4.2 論文のアイデアの成否

分類体系全体を利用する提案手法（表 4 行目）は分類体系の一部にしか着目しないべースライン（表 2 行目）に比べて Strict F./Lenient F. スコアにおいて $4.19 \mathrm{pt} / 3.7 \mathrm{pt}$ の改善を示している.この結果は分類体系の一部しか評価対象でない場合であっても分類

表 1 実験結果：疑似データ作成に利用した辞書マッチ，遠距離教師あり設定，教師あり設定における固有表現抽出のスコアを表示している。遠距離教師あり設定ではスパン分類モデルを利用し，通常の DS NER と同様に対象カテゴリのみを利用する方法・先行研究 [9] と同様に補完カテゴリを追加して利用する方法・分類体系の残りのカテゴリを追加して利用する提案手法の結果を示している. Strict P./R./F. はスパン・クラス完全一致によって予測・正解スパンの一致を測った Precision/Recall/F1 スコアである. Lenient P./R./F. はスパン部分一致を許容するようにしたスコアである. 太字は教師デー タを必要としない手法の中で最も高いスコアである.

体系全体を利用することが有用であると示しているといえる。

この理由について次のような仮説で説明することができる.まず対象カテゴリに対して子クラスはクラス内の多様性の理解につながり，精度の増大につながる（例えば対象カテゴリが動物の際に， その下位カテゴリである魚類を利用することで，動物には泳ぐものがいることを理解できる)。また，対象カテゴリの親クラスは子クラスに対する制限として働き Precision を増加させていると考えられる（例えば対象カテゴリが哺乳類の際に，動物でないものは哺乳類と分類されにくくなる). 同様に補完カテゴリに対しても Precision/Recall が増大することで，さらに対象カテゴリの Recall/Precision の増大に寄与していると考えることができる.

## 4.3 補完カテゴリの追加と階層構造

対象カテゴリに追加して補完カテゴリを利用する先行研究 [9]（表 3 行目）では対象カテゴリのみを利用するベースライン（表 2 行目）に比べて Strict(Lenient) P. では改善が見られるものの Strict(Lenient) R. においては減少してしまっている. このことは補完カテゴリの追加により補完カテゴリの予測を増やすことで，対象カテゴリの Recall を犠牲に Precision を増加せているのだと解釈できる. 例えば，対象カテゴリ哺乳類に対する補完カテゴリ魚類の追加によって, 泳ぐなら魚類であって哺乳類ではないとしてしまっているようなことが起きてしまっていると考えられる.

一方で分類体系の全カテゴリを活用する提案手法（表 2 行目）ではこの Strict(Lenient) R. の減少を補っている.このことは補完カテゴリに近い特徴
をもつ対象カテゴリの下位クラスによって，本来対象カテゴリであるエンティティを補完カテゴリとして予測する失敗が減っているためであると考えられる. 例えば，対象カテゴリ哺乳類の下位カテゴリクジラ目の追加によって，「哺乳類の中にも泳ぐものが存在することをモデルが理解し，本来哺乳類クラスである事例への魚類クラスの過剰な予測を防いでいるというようなことが起きていると考えることができる。，他にもラベル不均衡により対象カテゴリがうまく学習できていないのが原因であると考えることもできる。なぜなら，補完カテゴリは対象カテゴリより階層の浅く学習事例の多いクラスになりやすい（例：哺乳類に対する植物） と考えられるからである.

## 5 結論

本研究では遠距離教師あり学習および教師あり学習（付録 A）においてたとえ分類体系の一部のカテゴリに興味がある場合であっても，分類体系全体に含まれる全カテゴリを活用することは有用であることを明らかにした。一方で今回の手法が一般ドメインでも有用かどうか，同じく教師データがない状態で利用可能な Few-Shot 設定と比べてどれほどの優位性があるかを検証しきれていない。

本研究の発展としてラベル定義などラベル階層構造以外の様々な情報の Distant Supervision NER への活用や Fine-Grained NER データセットの Distant Supervision NER 事前学習データとしての活用などが考えられる。

## 参考文献

[1] Tianyi Liu, Xinsong Zhang, Wanhao Zhou, and Weijia Jia. Neural relation extraction via Inner-Sentence noise reduction and transfer learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2204, Brussels, Belgium, 2018. Association for Computational Linguistics.

[2] Ahmed Aliwy, Ayad Abbas, and Ahmed Alkhayyat. NERWS: Towards improving information retrieval of digital library management system using named entity recognition and word sense. Big Data and Cognitive Computing, Vol. 5, No. 4, p. 59, October 2021.

[3] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Minlong Peng, Xiaoyu Xing, Qi Zhang, Jinlan Fu, and Xuanjing Huang. Distantly supervised named entity recognition using Positive-Unlabeled learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2409-2419, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. BOND: BERT-Assisted Open-Domain named entity recognition with distant supervision. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1054-1064, New York, NY, USA, August 2020. Association for Computing Machinery.

[6] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, and Others. Dbpedia-a large-scale, multilingual knowledge base extracted from wikipedia. Semantic web, Vol. 6, No. 2, pp. 167-195, 2015.

[7] Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-270, January 2004.

[8] Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with UMLS concepts. p. 13, 2018.

[9] 芝原隆善, 大内啓樹, 山田育矢, 西田典起, 寺西裕紀, 古崎晃司, 渡辺太郎, 松本裕治. ユーザの興味があるカテゴリに応じた NER システム構築フレームワーク. 言語処理学会年次大会, 2022.

[10] Yangming Li, Lemao Liu, and Shuming Shi. Empirical analysis of unlabeled entity problem in named entity recognition. September 2020.

[11] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextual- ized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[12] Jiaxin Huang, Chunyuan Li, Krishan Subudhi, Damien Jose, Shobana Balakrishnan, Weizhu Chen, Baolin Peng, Jianfeng Gao, and Jiawei Han. Few-Shot named entity recognition: An empirical baseline study. pp. 1040810423, November 2021.

[13] Alexander Fritzler, Varvara Logacheva, and Maksim Kretov. Few-shot classification in named entity recognition task. In Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing, New York, NY, USA, April 2019. ACM.

[14] Xiao Ling and Daniel S Weld. Fine-Grained entity recognition. In AAAI, 2012.

[15] Satoshi Sekine and Chikashi Nobata. Definition, dictionaries and tagger for extended named entity hierarchy. In LREC, 2004.

## A 教師あり設定における提案手法 のアイデアの有効性

表 2 教師あり設定において利用するカテゴリを変更した際の Strict P./R./F.

教師あり設定においても通常の固有表現抽出と同じように対象カテゴリのみを活用する方法, 先行研究 [9] と同様に補完カテゴリを追加し活用する方法,提案手法のように分類体系に含まれる全カテゴリを活用する方法の三種類を比較した. 表 2 では実験によって得られた Strict P./R./F. が表示されている.

実験結果からは 4.3 と同様に, 補完カテゴリの追加によって Recall が減少するが Precision が上がること，また分類体系の残りのカテゴリを追加するとこの Recall の減少を補い, Precision/Recall の両方が対象カテゴリのみの活用より改善するという結果が得られた. 以上のことから分類体系全体の階層構造を活用することはたとえ教師あり設定であっても有用であると言える.

## B 関連研究

本研究ではアノテーションデータが存在しない状況において利用可能な固有表現抽出技術に取り組む.このような状況に対応しうる実験設定として2つのものが挙げられる。一つは辞書（語句をカテゴリごとにまとめたもの）に基づいた文字列マッチによって疑似データを作成し活用する方法 （Distant Supervision NER [3, 4, 5]）であり，もう一つはごく少量のアノテーションデータを利用する方法 (Few-Shot NER [12,13]）である. 本研究は Distant Supervision NER に分類されるものである.

通常の Distant Supervision NER が疑似データ作成時に対象カテゴリのみを活用するのに対して, 本研究は分類体系の持つカテゴリ全てを活用する (図 1). この点において今回の研究は分類体系に含まれるカテゴリ階層全体を考える Fine-Grained NER[14] や Extended Named Entity [15] の観点を Distant Supervision NER に導入した研究であると言える. また，この研究は類似した問題意識を持つ先行研究 [9] を発展させたものである.


# CrossWeigh の日本語 NER データセットへの適用と ラベルノイズの調査

西村柾人 1 新納浩幸 ${ }^{2}$
1 茨城大学工学部情報工学科 ${ }^{2}$ 茨城大学大学院理工学研究科情報科学領域
19t4054a@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

通常, 教師あり学習は訓練データに誤りがないという前提で学習が行われるが, 実際には誤りを含む場合も多い. 特に NER のデータセットはラベルの定義に曖昧なものがあるため, タグ付けには誤りが生じやすい. このような背景から Wang らは誤ったラベルの付いたデータセットから NER のモデルを学習する CrossWeigh を提案した. 本論文では CrossWeigh を日本語 NER データセットに適用し， CrossWeigh の効果を確認する. 同時に, CrossWeigh によって生成される重み付きデータを調査することでデータセット内にある誤りの発見を試みた.

## 1 はじめに

固有表現認識 (NER) とはテキストから固有表現 (NE; Named Entity) となる単語を特定し, 光の単語に対する NE のラベルを推定するタスクである.

近年では, 学習データを大量に用意し, モデルを学習させる手法 [1] が多い. しかし, この学習データ内のラベルにノイズが含まれている場合, 深層学習を利用した手法では,これらのノイズに対して過学習してしまい, 性能劣化につながる問題が指摘されている [2].

Wang らもこのラベルノイズの影響について指摘している [3].Wang らによると NER ベンチマークの 1 つである CoNLL03 データセットにおいて, 約 5.38\%のラベル付けミスが確認されている. さらに， これらのラベルノイズを修正したデータを用いることによって, 性能向上が確認されている. Wang らは同論文内で, ラベルミスを処理するための汎用的なフレームワークとして CrossWeigh を提案している. このフレームワークを利用することで, データ内の光れ光れの文章に対して再重み付けが行われ, 生成された重み付けデータを利用することによってラベルノイズの影響を軽減することができる.このような,より正確なデータを使って学習することでモデルの性能向上を図るアプローチは Data-Centric $\mathrm{AI}(\mathrm{DCAI})$ と呼ばれ,注目を集めている [4][5].

本研究では, CrossWeigh をストックマーク株式会社が提供している, Wikipedia の日本語 NER デー タセット [6] に適用し, 重み付けデータの生成を行う.さらに，この重み付きデータを用いて, NER モデルの Flair[7] を学習することによって, 日本語での CrossWeigh の効果を確認する.

また, 先行研究 [8] では, データセット内のラベルノイズの調査を, CrossWeigh によって生成された重み付きデータの中で最も低い重みが付けられたデー タから, 無作為に抽出した 100 件のデータのみ調査を行った. 本研究では, 最も低い重みが付けられたデータ全てに対して調査を行った. 加えて, 発見したラベルノイズと NER モデルの予測スコアとの関連度に応じてタイプ分類を行い, 光れら 2 つの相関性についても調査を行った。

## 2 関連研究

CrossWeigh のように, ラベルの誤りを自動的に検出する試みは以前から研究されている [9] が, この研究では品詞の間違いに対して修正を行うため, 今回のようにNER に対して適用することができない. 他にも [10][11][12] ではラベルノイズが含まれる学習データを利用した NER の研究がされているが, これらでは NE がO ラベルとなる誤りに対してのみを対象としている.

また, CrossWeigh はモデルを改良するのではなく, 使用する学習データに対して処理を行い, モデルの性能向上を図る手法であるため DCAI の研究 [4] とも関連がある.ただし, 今回の実験では

図 1 ラベルノイズの推定

DeepLearning.AI が行う Data-Centric AI Competition ${ }^{1)}$ に取り組むのではなく, CrossWeigh が日本語 NER データセットにおいても有効であるかについて検証を行う。

日本語データセットにおけるラベルの誤り問題に取り組んだ研究として [13] が挙げられる. この研究では, アノテーション漏れを推定し觉のエンティティを学習データに追加することによって, 系列ラベリングを用いたエンティティ抽出の再現率の向上を行っている. また, [14] では Teacher-Student 学習を利用することでラベル誤りを含むデータにおける NER の性能向上について研究を行い, CrossWeigh と同樣にラベルノイズの影響を緩和し性能向上が確認されている.

## 3 CrossWeigh

CrossWeigh は 2 つのモジュールから構成されている. 1 つ目はラベルノイズの推定, 2 つ目は推定したラベルノイズが含まれているデータに再重み付けを行うモジュールである.

1 つ目のラベルノイズの推定は $\mathrm{k}$-分割交差検証をもとにした考えで実装されている. 実行手順を図 1 に示す. まず学習データを $\mathrm{k}$ 個に分割することで $D_{1}, D_{2}, \ldots, D_{k}$ を作成する. 光して, NER モデル $M_{i}(1 \leq i \leq k)$ を学習データの中から $D_{i}$ を除いたデータによって学習させる. 作成した各モデル $M_{i}$ を使って $D_{i}$ の文のラベルに対して予測させ, モデ

1) https://https-deeplearning-ai.github.io/data-centric-comp/
ルの出力と異なるラベルを持つ文は, ラベルノイズである可能性が高いものとしてマークする. この図 1 の処理を，光れ光れ異なるランダムな分割で行い， $\mathrm{t}$ 回実行する. ここまでを実行することで, データセットのラベルノイズの推定が行われる. 本実験では $k=10, t=3$ と設定して行われた.

2 つ目の再重み付けは, ラベルノイズの推定でマー クされた文 $x_{i}$ に対して重み $w_{i}$ を調整することで実装されている. 最初に, 全ての文の重みを $w_{i}=1$ として設定する. 次に, ラベルノイズとしてマークされた文の重みを式 (1) で計算する.

$
w_{i}=\epsilon^{c_{i}}
$

式 (1) の $\epsilon$ はパラメータであり, ラベルノイズ推定モジュールの精度に応じて設定する. 本実験では $\epsilon=0.7$ とした. $c_{i}$ は $\mathrm{t}$ 回実行されたラベルノイズの推定で, 何回モデルの出力と異なるラベルが推定されたかによって決まる.つまり $c_{i}$ の取りうる値は $1 \leq c_{i} \leq t$ のいずれかの整数値である.

CrossWeigh はこれら 2 つのモジュールを使って， ラベルノイズの影響を緩和する重み付きデータを作成する.

## 4 実験

## 4.1 実験設定

本研究では, データセットとして, ストックマーク株式会社が提供している, Wikipedia の日本語 NER

データセット [6] を用いた. このデータセットに対して, CrossWeigh および固有表現認識のタスク適用するために,トークンごとに分割し, ラベル付けを行った. 固有表現認識のラベルのフォーマットとしてはIOB2フォーマットを利用した. また, 整形したデータを学習データ, 検証用データ,テストデータの比率が 8:1:1 になるように分割した.

NER モデルとしては, Flair を用いた. ここで用いる Flair とは Akbik らの Contextual String Embeddings for Sequence Labeling[7] で提案された NER モデルを，日本語データを用いて事前学習を行ったものである. さらに, CrossWeighによって付与された重みを考慮して学習できるようにモデルを調整した.

## 4.2 評価方法

評価指標として F1-score( $\mathrm{F}$ 値)を用いた. CrossWeigh を適用していないデータ (Original data) と CrossWeigh を適用したデータ (Weighed data) 光れぞれに対して学習を行い, モデルがトークン列に対して適切なラベルを付与できたか否かをもとに算出を行った.

## 4.3 結果

Flair の結果を表 1 と付録の図 3 に示す. F1score に関しては micro, macro のどちらにおいても CrossWeigh を適用したものが良い性能を示している. 光れ光れのラベルに対する結果では, 最大で 0.1 ポイント程のスコア向上がみられた. これらのことから日本語においても CrossWeigh の有効性がわかる. しかし, ラベルによってはポイントが減少しているものもあるため, これらに対しては今後の課題として分析が必要であると考えられる.

## 5 データセット内のラベルノイズの 検出

ここでは CrossWeigh によって作成された重み付けデータを利用して,データセット内のラベルノイズを発見する手法を試みる.

## 5.1 ラベルノイズ

今回使用した Wikipedia の日本語 NER データセッ卜におけるラベルノイズの例として図 2 が挙げられる. (a)では文中の「旭川」と「小樽」に対して地名のラベルが付与されるべきであるが, ラベルが付与されていないためＯタグとして処理が行われてしまう.また, (b) では「水夏希は」に人名のラベルが付与されてしまっているが, スパンが正しくないために「は」もI-人名タグとして処理が行われてしまう. これらのラベルノイズは CrossWeigh の再重み付けの際に,より小さい重みが付与されていると考えられる.

(b) スパンがずれているデータ

図 2 ラベルノイズ例

## 5.2 手法

CrossWeigh を適用することで重み付きデータが作成される.この重み付きデータは各文ごとにラベルミスに応じた重みがつけられているため,この重みが最小のものがラベルノイズが含まれている可能性が高いデータであると考え，光れらの重みが最小のデータを全て調査した. また同時に, ラベルノイズとなるトークンは, モデルがとのトークンのラベルを予測する際に, ラベルごとの分類スコアも小さいものになると考えたため, ラベルノイズと予測結果に関係があるかどうかも調査する. ラベルノイズであるか否かの判定は, Wikipedia の日本語 NER データセットを構築する際に使われた関根の拡張固有表現階層 [15]を参考にした。

## 5.3 結果

CrossWeighによって生成された重み付きデータを調査したところ, データセットの全 5343 個のデータ

の内, 1484 個のデータに重みが最小のものが付与されていることがわかった. これらの 1484 個のデータを,トークンごとのラベルの分類スコアに着目して調査した結果, 大きく分けてのような 4 つのタイプに分類できた。

1. 分類スコアが最も低いトークンがラベルノイズであるもの

2. モデルの予測結果が間違っており, 元のデータがあっているもの

3. 分類スコアが最も低いトークン以外のものがラベルノイズであるもの

4. 予測結果と元のデータどちらもあっているもの

以上 4 つのタイプは以下の表 2 にまとめたデータ数であることがわかった.

このタイプ分類からラベルノイズとなるものは Type1, 3 となる. つまり, 最小の重みが付与された 1484 個のデータの内, 73 個のデータがラベル付けに誤りがあるデータであることがわかった.

## 6 考察

## 6.1 CrossWeigh の日本語 NE データへの 適用

Flair の結果である表 1 から, Original data で学習した Flairよりも, Weighed data で学習した Flair の方が $\mathrm{NE}$ の識別精度が向上していることがわかる. このことから CrossWeigh の手法は日本語 NE データにおいても有効であることがわかった

しかし, 付録の図 3 に示したラベルごとの結果を見ると, 全てのラベルに対して識別精度が向上しているのではなく, 大きく精度が向上しているものから減少しているものもあるため, これらを分析, 改善することによってより良い重み付きデータを生成できると考えられる。

## 6.2 ラベルノイズの特定

5.3 節より, 使用した Wikipedia の日本語 NER デー タセット内のラベルノイズの探索範囲を狭めることに成功した. CrossWeigh の重み付きデータを利用す
ることで効率的にデータセット内のラベルノイズを発見することができることがわかった.

ラベルノイズと予測の際の分類スコアの関係としては,あまり大きな相関は見られなかった.これには, 予測に使うモデルがラベルノイズを含むデータセットを学習に使用してしまっているため, ラベルノイズとなるトークンに対して実際に正しいラベルを予測させるのが難しいためと考えられる.

今回の実験で発見したラベルノイズが, 元のデー タではどのラベルが付けられていて, 実際にはどのラベルが付くべきであったかを付録の表 3 にまとめた.ここから, 調査したWikipedia の日本語 NER デー タセット内のラベルノイズでは, 元のラベルが O ラベルであるものが最も多いことがわかった.ここからラベルノイズの発生原因としては, 固有表現となる単語を見落としてしまうというものが最も多いことがわかった. CrossWeigh の有効性から考えられるように, ラベルノイズがモデルに与える影響は大きいため, どのようにしてデータセットのラベルノイズの発生を抑えることが今後の課題であることがわかった.

## 7 おわりに

本研究では日本語 NER データセットにおける CrossWeigh の有効性について検証を行った. CrossWeigh によって生成された重み付きデータを利用することでNER モデルの性能向上を確認することができた. 今後の課題は精度が下がったラベルに対しての分析である.

また, データセット内のラベルノイズの調査に関しては, CrossWeigh が生成する重み付きデータを利用することで, 実際にデータセット内のラベルノイズを発見することに成功した. ラベルノイズとなるトークンはモデルの予測結果がよい数値ではないと考え, 2 つの関係について調べてみたが, 相関性は見られなかった. ラベルノイズの内訳についても調査したが, 最も多いラベルノイズの発生原因はラベルの付け忘れであることがわかり, データセットを構築する際に,このようなミスの発生を抑制することが今後の課題である.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究 (22FC04) の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018 .

[2] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization, 2016.

[3] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Mark Mazumder, Colby Banbury, Xiaozhe Yao, Bojan Karlaš, William Gaviria Rojas, Sudnya Diamos, Greg Diamos, Lynn He, Douwe Kiela, David Jurado, David Kanter, Rafael Mosquera, Juan Ciro, Lora Aroyo, Bilge Acun, Sabri Eyuboglu, Amirata Ghorbani, Emmett Goodman, Tariq Kane, Christine R. Kirkpatrick, Tzu-Sheng Kuo, Jonas Mueller, Tristan Thrush, Joaquin Vanschoren, Margaret Warren, Adina Williams, Serena Yeung, Newsha Ardalani, Praveen Paritosh, Ce Zhang, James Zou, Carole-Jean Wu, Cody Coleman, Andrew Ng, Peter Mattson, and Vijay Janapa Reddi. Dataperf: Benchmarks for data-centric ai development, 2022.

[5] 古田拓毅. データ中心の視点から捉える深層強化学習. 人工知能, Vol. 37, No. 4, pp. 507-515, 2022.

[6] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[7] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In COLING 2018, 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.

[8] 西村柾人, 新納浩幸. Crossweigh の日本語 ner データセットへの適用. Technical Report 21, 茨城大学工学部情報工学科, 茨城大学大学院理工学研究科情報科学領域, sep 2022.

[9] 中川哲司, 松本雄二. サポートベクターマシンを用いた誤り検出. 言語処理学会年次大会発表論文集, Vol. 8, pp. 563-566, 2002.

[10] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled ner with confidence estimation, 2021.

[11] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the As- sociation for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and Dan Roth. Named entity recognition with partially annotated training data, 2019.

[13] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用いたエンティティ抽出. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[14]田川裕輝, 中野騰久, 尾崎良太, 谷口友紀, 大熊智子,鈴木裕紀, 木戶尚治, 富山憲幸. Teacher-student 学習を利用したラベル誤りを含むデータにおける固有表現認識の性能向上. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), 2022.

[15] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 付録

## A. 1 ラベルごとの F 值の比較

図 3 ラベルごとの $\mathrm{F}$ 値

## A. 2 発見したラベルノイズの内訳

 & 光の他の組織名 & イベント名 & 人名 & 地名 & 政治的組織名 & 施設名 & 法人名 & 製品名 & $\mathrm{O}$ \\