# UD_English-EWT とのつきあい方

金山博 大湖 卓也
日本アイ・ビー・エム株式会社東京基礎研究所
\{hkana, ohkot \}@jp.ibm.com

## 概要

Universal Dependencies (UD) の各言語のコーパス は、構文解析器の訓練と評価の両面で広く使われて いる。英語のコーパスの中で最も頻繁に使われてい る UD_English-EWT は、作成の経緯から、口語的な 文や書き誤り、特殊な文字列なども含まれており、訓練・評価の両面で支障がある。本稿では、現状の データの性質と問題点を紹介するとともに、メタ データを用いてノイズを除去したコーパスを用いて 構文解析器を訓練した際の変化を調べる。

## 1 はじめに

Universal Dependencies (UD) $[9,10]$ は、多言語の構文構造を表現するために、17 種の品詞タグと 37 種 の関係ラベルを用いた依存構造を定義し、それに 基づいたツリーバンク（以下ではコーパスと記す） を作成する世界的なプロジェクトである。 2021 年末現在、122 言語に対する 217 種のコーパスが公開されており、Stanza[11]、UDPipe[14]、Spacy[4] や Trankit[8] などの構文解析器 (文区切り・単語区切 り・品詞タグ付け・依存構造解析）の訓練および評価に用いられている。

UD のコーパスは、一つの言語に対して複数個が 存在し得るため、「UD_言語名-種別」の形式で名付 けられている。日本語の場合は UD_Japanese-GSD, UD_Japanese-BCCWJなどのコーパスが公開されて おり [17]、それぞれ文体、サイズ、作成の経緯やラ イセンス形態が異なっており、利用者は目的に応じ て使い分けることになる。

英語のコーパスは現在 11 種が公開されているが、 そのうち UD_English-EWT（以下 UD-EWT）が主た るコーパスス ${ }^{1)}$ として作成・利用されてきていた。現在も github 上 $^{2}$ でアノテーションのあり方について

1）2017 年以前はUD_English（無印）として事実上の英語の標準コーパスであった。

2) https://github.com/UniversalDependencies/UD_ English-EWT/表 1 EWT コーパスのジャンルと文数。

アクティブな議論が続いており、改良やバグ修正が 行われている。しかしながら、2 節に記すような経緯もあり、英語のメインとなるコーパスとしては質 と量の面で課題が残っている。

本稿では、UD-EWT を訓練や評価に利用するにあ たっての注意点を挙げるとともに、コーパスを変換 して書き誤りを減らすことによる解析器の性能向上 を試みる。

## 2 EWT コーパスの成り立ち

English Web Treebank (EWT) は、2012 年より LDC3) で公開されているコーパスであり、様々なジャンル の web 上のテキストデータに対して OntoNotes コー パス [5] に類似した形式の項構造のアノテーション を付与したものである。EWT が作られたきっかけ は、OntoNotes やPenn Treebank [7] の中で主に使われ るデータが、Wall Street Journal (WSJ) などのニュー ス記事であり、現実世界の言語現象を充分に反映で きていないという問題に対処するためである。そこ でEWT は、表 1 のように複数の分野からテキスト を収集した。但し、EWT の文数は約 1.7 万文と、 10 万文以上に拡張された OntoNotes v5 と比べると遙か に小さい。

ニュース記事と異なる分野のテキストが含まれ ることにより、現れる構文要素の分布にも特徴があ る。WSJ と比較して、倒置や通貨表現が出現する割合は半分以下である一方で、呼格や間投詞は 20 倍以上出現すると報告されている [13]。また、ドイツ 語、フランス語などの欧米言語のコーパスにおいて

3) Linguistic Data Consocium.
名詞句となっている文や、文末にピリオド等が無い 文の割合が極端に小さいのと比べ、UD-EWT では比較的バランスが取れていることが観察された [18]。

EWT は後に Stanford Dependencies [2] の依存構造 の形式に変換され [13]、さらに UD の CoNLL-U フォーマットに変換され、UD-EWT として公開され ている。その後、拡張依存構造が加えられ [12]、現在に至る。

WSJ のコーパスに対する品詞タグ付けタスクの 精度は 2010 年の段階で $97 \%$ 以上と飽和状態にあり [6]、くだけた文体などの難しい事象が残っているテ キストが、その後のシェアドタスク [16] の題材とし て好適であった。また、UD の初期より商用利用が 可能な CC BY-SA のライセンス形式で配布された数少ないコーパスであった4)ことも、UD-EWT の普及 を進めたと考えられる。

2015 年の UD v1 の公開以来、アノテーションに ついては多数の改良がなされてきた。特に 2017 年 の UD v2 が導入された際には大幅な変更が加えら れた。一方で、文の追加・削除や文区切りはほぼフ リーズされており、2021 年公開の UD v2.8 で連続す る空白が取り除かれたなど軽微な変更に留まって いる。

## 3 コーパス内の事象

EWTコーパスは表 1 に示したような複数のジャ ンルのテキストを含むため、Penn Treebankなど ニュース記事から作成されたコーパスには稀であっ た現象が見つかる。

まず、インフォーマルな文体として、表 2 の (1) のように機能語を簡略化したものや、さらには前置詞の “to”を “2”, “for”を “4" と書く事象などが見ら れる。コーパス上ではこれらの lemma は正しい表記に変換されている。また、"gotta”は (2) のように 複数語トークン (MWT) として表現され、その構成要素の lemma は本来の “get”, "to” となっている。(3) のような文末のスマイリーがある場合、関係ラベル discourse を用いて文の主辞に係る。

(4) は “your”を“ur”と表記した例であるが、その lemma が “you” であることと関係ラベルを用いて所有格代名詞であることが表現されている。同じ “ur” でも (5) のように“you are”を縮めた場合もあり、解析の際には文脈に応じて判断しなければならない。


表 2 UD-EWT の中でインフォーマルな文体に見られる 語の例。ここでは CoNLL-U フォーマットのうち ID、表層、lemma、UPOS、係り先、関係ラベルのみを示す。

表 3 書き誤りの例。

さらに、表 3 の例のような書き誤りが見られる。 (6) は典型的なスペルミスであり、(7) はアポストロ フィが欠落している5）。(8) は、アノテーション自体は正常だが、原文では“decidewhether”と空白が欠落していた。逆に (9) は、動詞 “survive” の途中に空白が挿入され “surv ive”となっていた部分へのアノ テーションで、UD の規約に従って goeswith のラべ ルで繋がれる 2 語となっている。(10) は連続する 5 語のうち 3 語にスペルの誤りがある6)。

ウェブサイトの URL（EWTに 194 件出現）や e メールアドレス (10件) の場合、空白が含まれないの で一語として認識することは容易7) だが、ファイル 名（60 件以上）には “Sanders Letter 4_28_00.doc” のように空白を含むものもあり、一語とみなすか否 かなどはコーパス内でも摇れがある。

また、特に e メール由来のコーパスには、区切り 線 “-- - - - - - - - - - - - --”や、“| | Tana.Jones@xxy｜｜｜yzz.com ｜｜”のような表の 一部と思われるものなど、自然言語を逸脱したもの も数多く見受けられる。

5）これが書き誤りなのか、書き手の意図した文体なのかを区別する明確な基準は無い。

6）解読するアノテータさんの苦労が偲ばれる。

7）コーパスにアノテーションを付与する際にも、また構文解析器にとっても。

## 4 EWT コーパスの問題点

本節では、3 節で紹介したような事象により、 コーパスを構文解析器の訓練や評価に用いる際に弊害が生じるケースを指摘する。

## 4.1 標準形への訂正による問題

表 2 , 表 3 で見たように、くだけた記法や書き誤り があった場合、正しい8) 形を想定した単語区切りや lemma がアノテートされて、それに基づいた品詞や 依存構造が付与されている。

この原文と単語区切りのぺアを用いて単語区切り を訓練すると、(8)のようなケースにより、空白が 無くても単語を区切ろうとするモデルが作成され る。UDPipe v1 [15] を UD-EWT v2.9 で訓練させたと ころ、“McDonalds”を “McDonald”と“s”に分割でき るようになっていた ${ }^{9)}$ 一方で、英字と数字が混在す る製品名などの文字列が過剩に分割される傾向が あった。

より大きな問題となるのが lemma の扱いである。本来は活用語の原形を与えるためのもので、辞書で 対応するか、未知語に対して規則を作るか訓練させ ることにより解決する (英語の場合、's’’ ’ed'を 外すなど)。UD-EWT の lemma にスペルチェッカー の要素が含まれているため、モデルが複雑になる ほか、予期しない副作用が起きる。UDPipe のモデ ルで UD-EWT のテストデータを解析した結果の中 では、“canon”に対して“canion”、“fares”に対して “fary”という lemmaを与えるなど、深刻なエラーが 生じていた。

## 4.2 文区切り推定の困難さ

UD-EWT には文書や段落を区切る情報が付与さ れているが、ニュース記事の例 (11) やe-メールの例 (12) の中には、以下のような単位がそれぞれ一つの 段落として含まれている。

(11) Photo from Technology News Wiki Media Foundation, the group behind the Wikipedia ...

(12) Best regards, John Smith

(11) は “Photo from Technology News" が一つめの 文、それ以降が次の文となっているが、表層上は句読点などの手がかりは入っていない。(12)も、“Best


regards,"が一つの文となっており、名前の部分は別 の文となっている。元の「現実世界の」文書に存在 した HTML タグや改行などが失われていると推測 されるが、これらを文区切りのタスクとして解決 することは困難である。(12) と類似するケースは UD-EWT の訓練・テストデータの双方に含まれるの で、訓練させることはできるが、その結果のモデル は UD-EWTへのバイアスがかかったものと言える。

## 4.3 MWT の特殊性

UD-EWT v2.6 以前では、トークンと語は一対一で 対応していたが、UD-EWT v2.7 以降で複数語トーク ン (MWT) が導入され、“I'm” や“don't” などの縮退形が 1 トークン・2 語として扱われるようになった。 しかし、その他にも、(5)のように空白を持たない が複数の語に分割されるケースも MWT となってい るため、トークナイズ・単語区切り・文の正規化な どの処理が混在する状況となっている。これは、ド イツ語・フランス語等の UDにおいて MWTが前置詞十冠詞の縮退形に限られているのと異なる。特 に、MWT は文字毎のオフセットや空白の有無を表現する手段が無いので、利用の際には注意が必要で ある。

## 5 ノイズ除去の実験

UD-EWT v2.8では、書き誤りや空白の欠落といっ たノイズがある場合に本来の表記を示す情報が MISC フィールドに付加され、v2.9 ではそれがさら に拡充された。この情報を利用すれば、UD-EWT に 含まれるこの種のノイズを除去することができる。本節では、ノイズを除去したコーパスで解析器を訓練した場合の変化を調べる。

## 5.1 コーパスの変換

UD-EWT の dev ブランチ（2021 年 12 月 20 日現在）の訓練・検証データに対して、表 4 (作例) の ように、 3 種類の変換を行う。まず、MISC フィール ドで CorrectForm が指定されている場合（訓練デー タ中に 533 件存在)、表層形をその表記に改める。 また、CorrectSpaceAfter=Yes が存在する場合（同 81 件)、直後に空白を挿入する。goeswith ラベルで繋 がる 2 語（3 語以上や、XPOS タグが ADD の場合を 除く) に対しては、それらを 1 語に結合して、原文 の空白を除去する (同 39 件)。このようにして各語 の表層部分と、文全体の表層形も書き換えることに
表 4 ノイズ除去の例。MISC フィールドと goeswith ラベルを用いて左（品詞タグは省略）から右に変換する。

より、ノイズを除去したコーパスを作成し、これを UD-EWT-clean と呼ぶ。

## 5.2 モデルの再訓練と実験結果

UD-EWT v2. 9 と、UD-EWT-clean を用いて、以下 の 3 つの解析器の訓練を行った。

・UDPipe v1 [15] のトークナイザー、品詞タグ付 け、係り受け解析。UD v2.5 の訓練に使われた パラメータと embedding を使用。

・BERT [3] を用いた内製の品詞タグ付け器10)。
- Stanza [11] v1.3 の、トークナイザー、MWT、 lemma、品詞タグ付け、係り受け解析のモデル。 それぞれを以下の 3 つのデータで評価する。

EWTUD-EWTv2.9のテストデータの 2,077 文。 news 上記のうち、ニュース記事からなる 284 文。 ON OntoNotes コーパスを UD 形式に変換 [1] した コーパスのテストデータ 9,971 文。

UD の各指標 (F1 值)を表 5 に示す。UDPipe にお いては、ノイズ除去により EWT のテストデータ上 の一部の評価值は微減してしまった。これは、EWT のテストデータ中の訓練データと類似した事象に対応できなくなったためだと思われる。一方、EWTと は独立に作られた ON のデータでは、UDPipe, BERT PoS では全指標においてノイズ除去による効果が 出ている11）。比較的インフォーマルな文が少ない news については EWT とON の中間程度となってい る。なお、全体的に、Lemma についてはノイズ除去 の効果が大きい。これは、書き誤りの要素を排除す ることにより 4.1 節で見たようなエラーが防げてい ることによる。但し、Stanza の結果はUDPipe と逆 の傾向にある。この原因は調査中である。

10）単語区切り済みの入力に対してXPOS を付与する。

11）EWT の訓練・テストデータの性質によらずに性能を比較 できるので、この結果は特に重要だと考えている。表 5 UD EWT v2.9 と clean で訓練した際の結果。太字は 有意差をもって高い側の値を示す。

## 6 まとめ

本稿では、UD_English-EWT のコーパスについて、 その成り立ちや含まれる事象、そして分析を難しく する要素を紹介した。また、書き誤り等のノイズを 除去したコーパスを作成し、それを解析器の訓練に 用いたところ、解析器と評価データによっては、ノ イズを除去することにより性能が高まることがわ かった。UD-EWTに閉じて訓練・テストを行うシェ アドタスクの状況と異なり、実用の場面を考慮して 構文解析器を設計・評価する際には、コーパスの性質や問題点を考慮して、ベンチマークの方法に留意 する必要があることが示唆される。

## 参考文献

[1] Marie-Catherine de Marneffe, Bill MacCartney, and Christopher D. Manning. Generating typed dependency parses from phrase structure parses. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[2] Marie-Catherine De Marneffe and Christopher D Manning. Stanford typed dependencies manual. Technical report, Technical report, Stanford University, 2008.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[5] Eduard Hovy, Mitchell Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. OntoNotes: The 90\% solution. In Proceedings of the Human Language Technology Conference of the NAACL, Companion Volume: Short Papers, pp. 57-60, New York City, USA, June 2006. Association for Computational Linguistics.

[6] Christopher D. Manning. Part-of-speech tagging from 97\% to 100\%: is it time for some linguistics? In Proceedings of the 12th international conference on Computational linguistics and intelligent text processing - Volume Part I, CICLing'11, pp. 171-189, Berlin, Heidelberg, 2011. Springer-Verlag.

[7] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[8] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[9] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016.

[10] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp.
4034-4043, Marseille, France, May 2020. European Language Resources Association.

[11] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[12] Sebastian Schuster and Christopher D. Manning. Enhanced English Universal Dependencies: An improved representation for natural language understanding tasks. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 23712378, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[14] Milan Straka. UDPipe 2.0 prototype at CoNLL 2018 UD shared task. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 197-207, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[15] Milan Straka, Jan Hajič, and Jana Straková. UDPipe: trainable pipeline for processing CoNLL-U files performing tokenization, morphological analysis, POS tagging and parsing. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016. European Language Resources Association.

[16] Daniel Zeman, Filip Ginter, Jan Hajič, Joakim Nivre, Martin Popel, and Milan Straka. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Brussels, Belgium, 2018.

[17] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[18] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, March 2021.
 金山博 大湖 卓也 日本アイ・ビー・エム株式会社東京基礎研究所 \{hkana, ohkot \}@jp.ibm.com  