# 国語研長単位に基づくUD Japanese

大村舞
国立国語研究所
mai-om@ninjal.ac.jp
}

若狭絢
国立国語研究所
awakasa@ninjal.ac.jp
}

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

Universal Dependencies (UD) は言語横断的に、かつ 依存構造にツリーバンクを構築するプロジェクト である。全言語で統一した基準により、品詞タグ付 け・依存構造アノテーションデータの構築が進めら れている。分かち書きをしない言語においては、基本単位として構文的な語 (syntactic word) を採用す るように規定している。従前の日本語の UD デー タは、形態論に基づく単位である国語研短単位を 採用していた。今回、我々は新たに構文的な語に 近い単語単位である国語研長単位に基づく日本語 UD である UD_Japanese-GSDLUW、UD_JapanesePUDLUW、UD_Japanese-BCCWJLUW を構築した ので報告する。

## 1 はじめに

Universal Dependencies [1] (UD) は、依存構造関係 を付与する基本単位として構文的な語 (syntactic word）を用いることを規定している。英語やフラン ス語といった空白を用いて分かち書きをする言語に おいては、縮約形態を除いて、空白を語境界と認定 することが多い。一方、分かち書きを語境界で明示 しない東アジアの言語においては、どのような単位 が構文的な語に規定すべきかという問題がある。

既に公開されている UD Japanese（日本語版 UD） は、その基本単位として国語研短単位 (Short Unit Word: 以下短単位) を採用している。現在までに短単位に基づく形態素解析用辞書として、約 88 万語か らなる UniDic [2] が公開されている。この語彙数の 多さは、日本語の形態変化の豊かさ (morphologically rich）を示しているだろう。さらに、短単位は『現代日本語書き言葉均衡コーパス』(BCCWJ) [3]・『日本語日常会話コーパス』(CEJC) [4] をはじめとした 形態論情報つきコーパスでも採用されており、150 万語規模の単語埋め込み NWJC2vec [5] でも短単位 が使われているため、短単位を基準として言語処理
に必要な基本的言語資源が整備されている。この短単位に基づく言語資源の豊富さから、実用上は短単位に基づく処理が好まれる傾向にあった。

Murawaki [6] は、単位として短単位を採用してい る既存の UD Japanese コーパスは「形態素」単位で あり、UD の原則にあげられる「基本単位を構文的 な語とする」という点で不適切であることを指摘し ている。国語研においては、形態論情報に基ついいて 単位認定し、可能性に基づく品詞体系が付与されて いる短単位とは別に、文節に基づいて単位認定し、用法に基づく品詞体系が付与されている国語研長単位 (Long Unit Word: 以下長単位) を規定している。 さらに、同単位に基づいた形態論情報が BCCWJ や CEJC などのコーパスに付与されている。

本稿では、長単位に基づくUD Japanese の言語資源を整備したので報告する。長単位は、文節に基づ いて認定される構文的な語とみなしうる単位であ る。長単位は UD の原則に基づくと UD Japanese で 採用すべき基本単位ではあるが、長単位に基づく コーパスの構築は、短単位に基づくコーパスの構築 より困難である。さらに、長単位に基づく依存構造木が解析器によって生成しやすいかという問題もあ る。本稿では、国語研長単位に基づくUD Japanese について説明すると共に、既存の言語資源・解析器 によって長単位に基づくUD が生成しやすいかにつ いて議論する。

## 2 日本語の単語分割

## 2.1 国語研による語の単位認定

日本語の単語の境界認定として、国語研では、最小単位、短単位、長単位、文節などの単位を規定し ている [7]。それぞれの例を図 1 に示す。

最小単位はその語種に基づき定義される。日本語 は、漢語・和語 - 外来語 - 固有名詞 - 数値表現 $\cdot$ 記号 などの語種からなり、漢語は 1 文字 1 語、和語・外来語・固有名詞はその最も短い単位を 1 語とする。

 \\

図 1 最小単位、短単位、長単位、文節の例（BCCWJ の PB33_00032より）

数値表現は十進の位取りで発音できる単位に分割す る。記号は 1 文字 1 語とする。

短単位は、最小単位に基づき、同じ語種同士の 1 回結合までを 1 単位としている。この短単位に対し て UniDic 体系に基づく形態論情報（品詞・活用型・活用形・語形・語彙素）が定義され、その品詞に基 づいて付属語か自立語かが認定される。短単位に付与される品詞はその形態素に基づく「可能性に基づ く品詞」が付与されるが、これはその形態素でとり 得る用法をすべて考慮したものであり、実際の用法 などは考慮されていない。用例収集のため、斉一 な単語になることを目的としており、1 単語辺りが 短い。

長単位は、文節境界を認定したのちに、文節内の 短単位要素の結合により認定される。この文節は日本語において係り受けを付与するのに適した単位で ある。文節単位の係り受け構造は係り受けが交差せ ず、左から右にかかり (右主辞)、短単位品詞をもと に容易に系列ラベリングでくみ上げられるという性質を持つ。文節は、 1 自立語に接頭辞・接尾辞・助詞・助動詞などから構成されるとし、その各要素を 長単位として認定する。長単位の規程集には、長単位としてみなす複合辞 (Multi-word Expressions) が認定され、複合辞をなす機能表現は 1 単位とする。長単位は文法を基準とした単位のため構文的な語に 近いと考えられる。また長単位はその用法（係り受 けなどの文脈）に基づく「用法に基づく品詞」が付与される。品詞の観点からも、短単位よりも長単位 のほうが UD が示す「構文的な語」に近いと考えら れる。

## 2.2 利用できる言語資源・解析器

表 1 各単語単位で利用できる言語資源・解析器表 1 に各単位認定に利用できる言語資源・解析器 について示す。表中 TTR は BCCWJ 中の Type Token Ratioであり、この値が高いほど、その単位の出現確率が小さくなることを意味する。最小単位は、短単位を認定する際の基本単位であり、現在のところ公開されている言語資源・解析器は存在しない。短単位は、形態素解析器 MeCab [8] において形態素解析用辞書 UniDic を用いることにより生成されるほか、 NWJC2vec などの単語埋め込みが利用できる。長単位・文節については、辞書の構築は TTR の大きさ からも分かる通り、語彙の膨大であるため存在しな いが、短単位から構成規則により生成されるため、 チャンカーとして Comainu [9] により生成すること ができる。

## 2.3 日本語 UD における単語分割の歴史

我々はいままで現代日本語 UD として 4 種類の コーパスを公開しており、今回さらに長単位版の UD コーパスを 3 種類公開した。既存の短単位版 UDについて説明をする。

UD_Japanese-KTC [10] は京都大学テキストコー パスを元に作られた UDである。UD_Japanese-KTC は長単位に近い単語境界で単語を構成しており、人手によって句構造木もアノテーションされ、その 句構造木に基づいて UD を構築している。現在 UD プロジェクトでは Version 2 が公開されているが、 UD_Japanese -KTC については Version 1 でメンテナ ンスが止まっている。

UD_Japanese-BCCWJ は BCCWJ に基づいた UD コーパスである。BCCWJでは短単位・長単位・文節および文節単位の係り受けの情報が提供されてい る。UD_Japanese-BCCWJ はこの BCCWJ からの形態素情報を元に Omura and Asahara [11] らが提案し ているルールよって、単語係り受け構文へと自動変換されたものである。

UD_Japanese-GSD と UD_Japanese-PUD は Version 1.4 まで Google [12]が管理していたが、Version 2.0 よ り我々がメンテナンス及び公開しているコーパスで

ある [10]。UD_Japanese-GSD と UD_Japanese-PUD は ver. 2.0 から 2.5 までは IBM の単語分割器 [13] に より単語分割され修正されていたものであったが、 ver. 2.6 からは短単位を基準として人手によりアノ テーションをされている。単語係り受け構文につい ては Omura and Asahara [11] らのルールによって自動変換されている。

## 3 長単位ベースの日本語 UD

表 2 日本語長単位ベース UD の統計情報

我々は短単位と長単位によって違いを検証す べく、長単位べースの日本語 UDを開発した。UD の v2.9（2021 年 11 月）から、BCCWJ, GSD, PUD の 長単位ベース UDを、UD_Japanese-BCCWJLUW, UD_Japanese-GSDLUW, UD_Japanese-PUDLUW と して公開している。1)

UD_Japanese-GSD と UD_Japanese-PUD は短単位 ベースの単語境界、品詞そして文節ベースの係り受 け関係を人手により一度アノテーションされてい る。我々はさらに、長単位ベースのUDを構築する ため、GSDと PUDについて長単位の境界、品詞、原型をアノテーションした。長単位をアノテーショ ンしている際に、長単位と短単位でデータに一貫性 の不備があった場合は、オリジナルのデータをさら に修正している。そしてこのアノテーションデー タ GSD, PUD を Omura and Asahara [11] らの提案した ルールベースによって、文節係り受けから UD の枠組みである単語係り受け関係のコーパスに変換し、 UD_Japanese-GSDLUW と UD_Japanese-PUDLUW を 構築した。この変換ルールは短単位と長単位の原型 や品詞、形態的な特徴を元にルールベースで変換


している。 ${ }^{2)}$ UD_Japanese-GSD と UD_Japanese-PUD の元となっているこの文節係り受けコーパスは拡張 Cabocha 形式 [14] でオープンデータとして公開3)さ れている。

BCCWJ はオリジナルのデータにすでに短単位の 境界と品詞、長単位の境界と品詞が公開されてお り、浅原らのデータ [15]を組み合わせることで文節係り受けデータも獲得できる。そこから GSD と PUD と同様に変換を行い UD_Japanese-BCCWJLUW を構築した。

表 2 にそれぞれの長単位 UD の統計情報を示して いる。表 2 から分かる通り、長単位の語数は短単位の語数より少ない。これは長単位自体が短単位の 結合することで構築されているからである。また、長単位は文節を基準に分割したものではあるが、前節の通り、複合語などが含まれていた場合、2つの 文節に分割されることもある。そのため、必ずしも 短単位と長単位で文節の数は一致していない。

## 4 統語解析による比較実験

この節では単語単位の違うUDについて、公開さ れているツール・言語資源によって統語解析を行う ことで、どのくらい再現可能かを検討する。この実験ではGSDコーパスを用いた。GSD は訓練・開発・評価データに分割されており、実験設定はこの分割 に基づいて実施し、評価は 3 つのレベルで行った。 1つ目は未解析文を大力にした全ての解析器 (単語分割, 品詞タグ付け, 係り受け解析)を行うものであ る。2つ目は正解の単語分割を入力にして品詞タグ 付け・係り受け解析を行うものである。3つ目は正解の単語分割と正解の品詞タグを入力に係り受け解析のみを行うものである。

全ての結果を付録の表 4 に示す。正解デー タの場合 Gold という表記で示している。v2.5 (IBM) は IBM の単語分割基準、v2.8 (SUW) が短単位、v2.9 (LUW) が長単位のデータとなっている。 UDPipe [16](v1.2.0) によりこの 3 種の単語分割につ いて再訓練を行ったものの結果を UDPipe (T) にて 示している。UDPipe はパイプラインモデルで単語分割・品詞タグ付け・レンマ推定・係り受け解析を 行うことができる。また LINDAT/CLARIN が提供す

2）実際 Omura and Asahara [11] らのルールは短単位に基づいた ルールであるが、長単位の場合でも品詞に関する変換ルール を 10 個ほど追加しただけで変換できた。

3) https://github.com/masayu-a/UD_Japanese-GSDPUDCabocha

表 3 未解析文を入力した場合の係り受け解析精度 (Subset of 表 4). Diff は w/o vec と w/vec の差である

る UDPipe モデル4)はv2.5 (IBM) の訓練データで訓練しており、その結果も UDPipe (O) として示して いる。さらに UDPipe は係り受け解析器に外部の単語埋め込みを利用することができる。短単位に基づ く単語埋め込み NWJC2vec を利用していないものと 利用したものの結果について Train w/o vec と Train w/ vec にて示している。v2.5 (IBM) でもUDpipe 特有 の単語埋め込みが生成されているため、Original で 示している。

全体的に $\mathrm{v} 2.5$ 以前の UDよりも v2.8 以降の短単位と長単位を採用した UD のほうが、高精度に 解析が可能であることが分かった。また、通常の UDPipe におけるv2.9(LUW) の係り受け解析精度は v2.8 (SUW) に1.2-1.4\%ほど劣っていた。

表 3 に単語埋め込みの影響を見るため、未解析分 を入力とした結果のみ抜粋している。短単位に基づ く単語埋め込み NWJC2vec の利用の有無の差分を見 ると v2.8 (SUW) のほうが、v2.9(LUW) よりも性能の 向上が見られた。一方で、MeCab や Comainu を使っ た場合、単語埋め込みを使わない設定においては、 v2.8(SUW) よりも v2.9(LUW) のほうが良い性能であ り、また単語埋め込みを利用した場合の最終的な係 り受けの精度は $\mathrm{v} 2.8(\mathrm{SUW})$ と $2.9(\mathrm{LUW})$ とでほと んど差がないことが確認された。構文的な語の認定精度が構文解析精度に影響があることがわかる。単語単位の問題は単語埋め込みの構成単位にもかか わってくる。長単位に基づく単語埋め込みの構築は 前述の通り Type Token Ratio の観点からは実用的で はなく、現状の計算資源では文字もしくは短単位に 基づく単語埋め込みが好まれるだろう。

最後に、表 4 の Lemma の項目をみると、短単位よ りも長単位のほうがレンマ生成の精度が低いことが 確認された。これは複合された形態素の語彙素の推定は難しいためと考えられる。長単位のレンマ生成


器の精度向上が望めば、より良い解析精度を得られ るだろう。

## 5 おわりに

本稿では日本語 UD における単語分かち書きの問題について示した。様々な日本語分かち書き基準に ついて紹介するとともに、UD が掲げる理念に即し た単位認定「構文的な語」にふさわしい単位として 国語研長単位があることを紹介した。実際に長単位 に基づくUDを構築し、公開・共有を行った。さら に長単位に基づくUD_Japanese-GSDLUW (v2.9)につ いて、公開されているツール・言語資源を用いて、 その再構成可能性について検討を行った。結果、既存の形態素解析器 $\mathrm{MeCab} \cdot$ Comainu とともに短単位 に基づく単語埋め込み NWJC2vec を用いた設定にお いて、短単位と長単位とで最終的な係り受けの性能 において差がないことを確認した。

構文的な語に基づく依存構造ツリーバンク構築 は、日本語のような分かち書きされない言語におい てはかなり困難なタスクである。その形態素（短単位・長単位) ・品詞・複合辞認定・依存構造木の 構築には多大な作業が必要であった。最初に UD Japanese に携わってから、対外的な調整（権利関係・ アノテーション基準）も含めて、8 年の期間を要し た。本基準に則ると、文節係り受けが付与された短単位・長単位に基づく BCCWJ や CEJC なども UD 対応することが可能である。

ただし、構文的な語 としての長単位の出力が、工学的に有用であるかはまだ不明である。長単位は複合辞の問題を緩和している一方、先に述べた通り単語埋め込みの恩恵を受けにくくなるという問題があ る。さらには、類型論の研究を考えた場合に、他言語においても同様の構文的な語を規定できるかと いう問題がある。今後他言語を含めた有用性を検証 する必要があると考えられる。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917 の支援を受けました。

## 参考文献

[1]Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). European Language Resources Association (ELRA), May 2016.

[2]伝 康晴, 小木曽 智信, 小椋 秀樹, 山田 篤, 峯松 信明, 内元 清貴, and 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用 (特集コーパス日本語学の射程). 22:101-123, oct 2007.

[3]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguti, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, 48(2):345-371, December 2014.

[4]Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[5]Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus'. Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24:7-22, January 2018.

[6]Yugo Murawaki. On the definition of Japanese word, June 2019. arXiv: 1906.09719 [cs.CL].

[7]Yasuharu Den, Junpei Nakamura, Toshinobu Ogiso, and Hideki Ogura. A proper approach to Japanese morphological analysis: Dictionary, model, and evaluation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), pages 1019-1024. European Language Resources Association (ELRA), May 2008.

[8]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, July 2004.

[9] 小澤 俊介, 内元 清貴, and 伝康晴. 長単位解析器の異 なる品詞体系への適用. 自然言語処理, 21(2):379-401, 2014.

[10]Takaaki Tanaka, Yusuke Miyao, Masayuki Asahara, Sumire Uematsu, Hiroshi Kanayama, Shinsuke Mori, and Yuji Matsumoto. Universal dependencies for Japanese. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 1651-1658. Euro- pean Language Resources Association (ELRA), May 2016.

[11]Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies (UDW 2018). Association for Computational Linguistics, November 2018.

[12]Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Association for Computational Linguistics, August 2013.

[13]Hiroshi Kanayama, Kentaro Torisawa, Yutaka Mitsuishi, and Jun'ichi Tsujii. A hybrid Japanese parser with hand-crafted grammar and statistics. In COLING 2000 Volume 1: The 18th International Conference on Computational Linguistics, pages 411-417, July 2000.

[14]松吉俊, 浅原正幸, 飯田龍, and 森田敏生. 拡張 cabocha フォーマットの仕様拡張. 第 5 回コーパス日本語学 ワークショップ, pages 223-232, 2014.

[15]浅原 正幸 and 松本 裕治. 『現代日本語書き言葉均衡 コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[16]Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing ud 2.0 with UDpipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 88-99. Association for Computational Linguistics, August 2017.


 大村舞 国立国語研究所 mai-om@ninjal.ac.jp }  若狭絢 国立国語研究所 awakasa@ninjal.ac.jp }  浅原 正幸 国立国語研究所 masayu-a@ninjal.ac.jp  