# UD Japanese-CEJC とその評価

大村舞
国立国語研究所
}

若狭絢
国立国語研究所
}

松田寛
Megagon Labs
}

浅原正幸
国立国語研究所

## 概要

Universal Dependencies に基づく言語資源の構築 が各言語で進められている。日本語においても Universal Dependencies に準拠する言語資源が構築さ れてきたが、すべて書き言葉に基づくものであっ た。本研究では、日本語 Universal Dependencies の新 しい言語資源として、『日本語日常会話コーパス』 に基づくUD Japanese-CEJC を構築したので報告す る。既存の書き言葉の日本語 Universal Dependencies の言語資源と同様に、国語研短単位形態論情報・国語研長単位形態論情報・文節係り受けに基づく変換規則によりデータの構築を行った。さらに、さまざ まな条件により解析器を構築し、評価を行ったので 報告する。

## 1 はじめに

Universal Dependencies（UD） [1] は言語横断的な 依存構造木に基づくツリーバンクを構築するプロ ジェクトであり、2023 年 1 月現在 100 以上の言語 において 200 近くのツリーバンクが構築されてい る。その研究対象は、書き言葉から話し言葉にシ フトしており、Dobrovoljc ら [2] により最近の研究動向がまとめられている。また、日本語UDチーム が、ツリーバンクやパーサの構築の興味のある研究者で組織され、過去にさまざまな日本語 UD リソー ス [3] の構築を進めてきた。しかし、これまで構築 してきた日本語 UD リソースは書き言葉を対象とし ており、話し言葉を対象とした日本語リソースはな かった。

2022 年に国立国語研究所によって「日本語日常会話コーパス」 (Corpus of Everyday Japanese Conversation: CEJC）[4]が構築された。CEJCは、性別・年齢などに基づいた均衡性を考慮された協力者 に収録を依頼し、収録されたコーパスであり、転記・短単位形態論情報・発話単位などが付与され ている。また、同データに対して、長単位形態論情報・文節係り受けの情報 [5] も付与されている。こ れらのアノテーション情報が整備されたことによ り、Omura ら $[6,7]$ が提案する文節係り受けから UD への変換規則を用いることで、CEJC から国語研短単位・長単位それぞれの日本語 UD リソースを構築 することが可能となった。

本研究では、話し言葉向けに若干改変した変換規則を CEJC に適用し、日本語話し言葉に基づくUD リソース UD Japanese-CEJCを新たに構築した。 A. 1 節の表 1 に、Dobrovoljc ら [2] がまとめた話し言葉 UD リソースのさまざまな観点項目に沿った UD Japanese-CEJC の特徵をまとめている。音声データ のみならず、 2 種類のカメラ (通常のカメラと 360 度カメラ）による映像データともアラインメントを とった UD リソースは世界的にも類を見ない。UD Japanese-CEJC は、現時点で映像を含む世界最大規模の話し言葉ツリーバンクとなるだろう。

本稿では、2023 年 5 月に公開予定の UD JapaneseCEJC の構築とともに、さまざまな UD パーサにつ いて評価したので報告する。具体的には、データ変換における話し言葉に特有のフィラーや言いよどみ の扱いや、書き言葉-話し言葉間のパーサの分野適応について報告する。

## 2 UD Japanese-CEJC の構築

## $2.1 『$ 『本語日常会話コーパス』と文節係 り受けアノテーション

『日本語日常会話コーパス』(CEJC） [4] は、200 時間、577 の（2 人以上の）会話、1675 発話者によ る大規模な話し言葉のコーパスである。データは、節末やポーズに基づいて「発話単位」[8] と呼ばれ る単位に分割されている。さらに音声・映像データ を転記したうえで、転記データに対し、国語研短単位形態論情報が付与されている。CEJC データの短単位に基づく形態素数は約 240 万形態素である。

このうち 20 時間分のデータはコアと呼ばれ、さ まざまなアノテーションが人手で付与されている。

図 1 UD Japanese-CEJC の発話（T011_007）に対する UD の例。「ツ」と「ん」が言いよどみとフィラーである

コアには国語研長単位形態論情報や文節係り受け情報 [5] も整備されている。国語研長単位形態論情報 と文節境界は、一度長単位解析器 Comainu [9] で解析したものに対し、人手で修正しながら付与した。 さらに、文節係り受け解析器 CaboCha [10] で解析し たうえで、BCCWJ-DepPara [11] 互換の文節係り受け アノテーションを、人手修正もしつつ付与した。

書き言葉と話し言葉の大きな違いは、依存構造木 の単位にある。書き言葉の場合には、句点などの文境界補助記号を手がかりにした文単位で依存構造木 を構築されることが多い。しかし、話し言葉の場合 には明示的な句点はないため、CEJC では節末もし くはポーズに基づいて定義される「発話単位」[8] を認定されており、文節係り受けは発話単位に基づ いて構築している。さらに、話し言葉には、書き言葉にはあまり見られないフィラー・言いよどみや述語省略などが出現することも特徵的である。

## 2.2UD 体系への変換

本研究では、前節で説明した CEJC に付与された 文節係り受けの情報を入力として、Omura ら [6]の変換ルールに基づき変換し、UD Japanese-CEJC を構築 した。ただし、この変換ルールは UD Japanese-GSD、 PUD、BCCWJ といった書き言葉 UD に対して用い ていたものである。そのため、話し言葉に対応する ためにも、いくつかの拡張をおこなった。

まず、依存構造木の基本単位を発話単位とした。 さらに、フィラー・言いよどみなど、係り先が規定 できないものについては、最後の rootへ係るように した ${ }^{1)}$ 。さらに、述語省略などにより係り先が規定 できない場合も、最後の rootへ係るようにした。

図 1 に構築したUDの例を示す。図の場合、言 いよどみの「ツ」やフィラーの「ん」などは一意に rootの「でき」に係る形として変換している。この

1）UD のガイドラインに従う場合の、複数の root が許容され ていないために起きる処理である。
ような、本質的に係り先が決められない文節・単語 が出現することは、依存構造解析への困難さにつな がると考えられ、後述のパーサ解析の結果からも伺 える。

## 2.3UD Japanese-CEJC の基礎統計

表 1 UD Japanese-CEJC（話し言葉）と UD Japanese-GSD （書き言葉）の基礎統計

表 1 に、今回構築した話し言葉の UD JapaneseCEJC と、比較のため、従前より整備している書き 言葉の UD Japanese-GSD の基礎統計を示す。Trees の列は CEJC においては発話単位の数、GSD にお いては文の数を表す。Tokens の列は UD における単語/形態素の数を示す。Avg. の列は、係り受け木単位の平均単語/形態素数を示す。Max. は、係り受け 木単位の最大単語/形態素数を示す。より詳細な UD の統計は A. 2 節の表に示している。

## 3 パーサの解析評価

本節では UD Japanese-CEJC の解析可能性につい て検討する。UD Japanese-CEJC と UD Japanese-GSD を用いてパーサモデルを構築しUD 解析を行うこと で、話し言葉と書き言葉の解析可能性の違いについ て検証する。

## 3.1 実験設定

パーサの評価のため、UD Japanese v2.11 コーパス のうち、GSD、CEJC と、この 2 つを合わせたデー タ CEJC+GSD を用いて比較を行う。GSDデータは、既に train/dev/test に分割されているものを使用する。 CEJC データについては、CEJCで区分されている 「会話」形式に基づき、train/dev/test の比率が 8:1:1 に なるように、均衡性を保ちながら新たに分割を行っ たものを使用した。実験では、各コーパスの発話単位境界・文境界を与えたうえで構築した。表 1 が示唆するように、発話単位と文境界認定自体には差異 があり、比較が困難であるからである。実験では UDPipe および spaCy の 2 つのフレームワークを使用して依存構造解析を行い、精度を比較した。UD には短単位と長単位のものがあるが、本稿では、短
表 2 GSD（書き言葉）と CEJC（話し言葉）についてのパーサ解析精度。いずれも短単位での評価である。

 & $91.75 \%$ & $90.87 \%$ \\

単位に限定した結果を示している。

UDPipe の実験では、UDPipe（v1.2.0）により構築 したモデルで依存構造解析を行い、解析精度を評価 した。UDPipe [12] は GRU やニューラルネットワー クなどに基づいて実装されており、単語分割、品詞付与、依存構造解析をパイプラインで解析するモデ ルを構築できる。UDPipe では依存構造解析で単語埋め込みを使用できるため、258 億語規模のウェブ テキストで学習された NWJC2vec [13]を使い、300 次元の Skip-gram モデルを使用した。

$\mathrm{spaCy}^{2)}$ の実験では、Transformers ベースの事前学習モデル3) と解析コンポーネントとの間で損失勾配 を共有できる spacy-transformers を使用して、次の 2 つのアプローチついて解析精度を評価した。

二段階解析モデルフィラー・言いよどみを除去して から UD 品詞付与と依存構造解析を行うモデルであ る。浅原 [14]にならい、フィラー・言いよどみのス パンを固有表現抽出器（ner）で学習して該当スパ ンを入力テキストから除去した上で、UD 品詞付与 （morphologizer）と依存構造解析（parser）を別のパ イプラインで処理する。なお、UD 品詞付与・依存構造解析の精度評価では、正解ラベルを用いてフィ ラー・言いよどみを除去した CEJC-を用いた ${ }^{4)}$ 。

2） spaCy v3.4.3および spacy-transformers v1.1.8を使用

3） bert-base-japanese-v2 を使用

4）入力テキストが異なる状態での精度評価が困難なため。同時解析モデルフィラー・言いよどみを含めて 入力全体を一度に処理するモデルである。単一の spaCy パイプライン上に transformers・morphologizer・ parser・nerの順にコンポーネントを配置した。spaCy の parserコンポーネントは、Non-Monotonic ArcEager Transition System [15] をべースとして、交差文脈を扱うために Nivre [16] の Lifting による Projectivization/Deprojectivization $の$ 拡張が施されて おり 5)、フィラー・言いよどみから rootへの係り先 が周辺文脈と交差する場合にも対応可能である。実際にフィラー・言いよどみの係り関係をどの程度の 精度で扱うことができるか評価を行う。 なお、spaCyを用いた実験は時間の都合上、XPOS と Lemmas の体系変換は行わなかった。

## 3.2 結果

表 2 にパーサの評価結果を示す。Tokens、UPOS、 XPOS、Lemmaは、それぞれの列の再現可能性を $\mathrm{F}_{1}$ スコアで示す。Tokens はわかち書き、UPOS は UD POS、XPOS は UniDic 品詞、Lemma は UniDic 語彙素 である。依存構造関係は UAS（Unlabeled Attachment Score）と LAS（Labelled Attachment Score）という標準的な評価指標を用いた。いずれも CoNLL 2018 Shared Tasks [17] の評価プログラムに基づく。訓練データ（train/dev）とテストデータ（test）で、

5) https://spacy.io/api/example\#get_aligned_parse
表 3 二段階解析モデルと同時解析モデルのフィラー・言いよどみの解析精度

話し言葉・書き言葉の差異がある条件 (例「train $/ \mathrm{dev}$ GSD と test CEJC」もしくは「train/dev CEJC と test GSD」) では、わかち書き(Tokens) と品詞タグ付け (UPOS と XPOS) の性能が悪くなった。これは、話 し言葉と書き言葉で、語彙・品詞の分布が異なる からである。例えば、CEJC において INTJ・CCONJ・・ PRON（一人称代名詞・二人称代名詞など）の品詞が 多いが、GSDにおいてはあまり出てこない。結果と して、CEJC+GSD の両方のデータを訓練データに用 いたモデルがもっとも性能が良いことがわかった。

## 3.2.1フィラーや言いよどみによる影響

話し言葉には、フィラーや言いよどみなどがあ り、本質的にわかち書きが難しい。表 2 より、CEJC からフィラーや言いよどみを取り除いて学習と評価 を行った二段階解析モデル（CEJC-の行）の性能が 他のモデルより高いことは、そのひとつの裏付けと 言える。また実用上フィラーや言いよどみが不要の 場合には、二段階解析モデルが好まれるであろう。

フィラーや言いよどみに限定して解析精度を評価 した結果を表 3 に示す。トークン認定精度は二段階解析モデルよりも同時解析モデルの方が精度がや や高い傾向にあった。これは、依存構造解析とフィ ラー・言いよどみ判定を同時に学習することによる 効果と考えられる。ただし、全体で評価した場合と 比べて、フィラーや言いよどみのトークン化精度は どちらも 6 ポイント以上低下している。同時解析モ デルの UD 品詞付与精度と依存構造解析精度におい ても、トークン化での劣化分に相当する精度低下が 見られる。

## 3.2.2 依存構造木の長さと句読点の有無

表 1 でわかる通り、CEJC の依存構造木の長さは GSD の依存構造木の長さに比べて短い。それでも、 CEJC の依存関係の同定は品詞同定と同様に難しい 結果となった。書き言葉の依存構造解析において は、句読点が長距離の依存関係の曖昧性解消に有効 であるが、話し言葉には句読点が付与されていない ために、長距離の依存関係同定に弱い傾向があると 考えられる。さらに、フィラー・言いよどみ・述語省略など依存関係が不定なものの扱いが困難である
と考えられる。CEJC-の項を確認すると、UDPipe の CEJC-のモデルは GSD の結果が $71.43 \%$ と悪くなっ ている。CEJC を用いたモデルは話し言葉の短さに 基づき構築されているため、GSDのような書き言葉 を生成するのが困難になっている。 $\mathrm{spaCy}$ の場合、 トークン化に形態素辞書を使用していること、事前学習モデルと同時学習を行っていること、などの効果で精度が安定していると考えられる。

## 4 おわりに

本稿では、『日本語日常会話コーパス』に基づい た新しいUD 日本語リソース UD Japanese-CEJC を 紹介した。これは、日本語においてはじめての話し 言葉の UD リソースであり、音声・映像アライメン トも可能な世界最大規模の話し言葉 UDである。

さらに、構築した UD Japanese-CEJC（話し言葉） と UD Japanese-GSD（書き言葉）を用いた UDPipe と spaCy に基づくパーサを構築し、解析可能性の検証を行った。話し言葉においてフィラー・言いよど み・言い直しなどがわかち書きや品詞タグ付けに影響を及すほか、依存関係同定も書き言葉と異なる ふるまいを確認した。 $\mathrm{spaCy}$ に基づく実験において は、固有表現抽出器を用いたフィラー・言いよどみ 検出器を用い、フィラー・言いよどみを取り除いた 状態で再度依存構造解析を行う二段階解析モデルを 検討した。フィラーや言いよどみを予め除く二段階解析モデルは依存構造解析に有効であることを確認 した。

今後の展開として、UD Japanese-CEJC と UD Japanese-BCCWJ との相互比較を検討している。ま た、UD Japanese-CEJC v2.11 (Jan. 2023) ${ }^{6}$ は、国立国語研究所により有償版 CEJC 契約者向けに「中納言」ダウンロードサイトから配布されているが、次回の v2.12（May. 2023 リリース）からは、Universal Dependencies の公式サイトでも表層形をスタンドオ フした形式で配布する予定である。

実験で使用した spaCy 同時解析モデルは、Megagon Labs の GitHub リポジトリから公開を予定している。

6）長単位形態論情報・係り受けアノテーション自体のライセ ンスは CC BY 4.0 だが、表層形・短単位形態論情報の利用に は有償版 CEJC の契約が必要である。

## 謝辞

本研究は、株式会社リクルート・国立国語研究所共同研究「日本語版 Universal Dependencies に基づく 日本語依存構造解析モデルの研究開発」、国立国語研究所共同研究プロジェクト「実証的な理論・対照言語学の推進：アノテーションデータを用いた 実証的計算心理言語学」、JSPS 科研費 JP18H00521, JP19K13195, JP22H00663, JP22K18483, の助成を受け たものです。

## 参考文献

[1] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, June 2021.

[2] Kaja Dobrovoljc. Spoken Language Treebanks in Universal Dependencies: an Overview. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1798-1806, Marseille, France, June 2022. European Language Resources Association.

[3] Masayuki Asahara, Hiroshi Kanayama, Takaaki Tanaka, Yusuke Miyao, Sumire Uematsu, Shinsuke Mori, Yuji Matsumoto, Mai Omura, and Yugo Murawaki. Universal Dependencies version 2 for Japanese. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, Miyazaki, Japan, May 2018. European Language Resources Association.

[4] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the Corpus of Everyday Japanese Conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[5] 浅原正幸, 若狭絢. 『日本語日常会話コーパス』に対 する係り受け情報アノテーション. 言語処理学会 第 28 回年次大会 発表論文集, pp. 1699-1703, 3 月 2022.

[6] Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies, pp. 117-125, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] Mai Omura, Aya Wakasa, and Masayuki Asahara. Word delimitation issues in UD Japanese. In Proceedings of the Fifth Workshop on Universal Dependencies, pp. 142-150, Sofia, Bulgaria, December 2021. Association for Computational Linguistics.

[8] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proceedings of the Seventh International Conference on
Language Resources and Evaluation, Valletta, Malta, May 2010. European Language Resources Association.

[9] 小澤俊介, 内元清貴, 伝康晴. 長単位解析器の異なる 品詞体系への適用. 自然言語処理, Vol. 21, No. 2, pp. 379-401, 2014.

[10] 工藤拓, 松本裕治. チャンキングの段階適用による 日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[11] Masayuki Asahara and Yuji Matsumoto. BCCWJDepPara: A syntactic annotation treebank on the 'Balanced Corpus of Contemporary Written Japanese'. In Proceedings of the 12th Workshop on Asian Language Resources, pp. 49-58, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing ud 2.0 with UDpipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[13] Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus' . Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, Vol. 24, pp. 7-22, January 2018.

[14] Masayuki Asahara and Yuji Matsumoto. Filler and disfluency identification based on morphological analysis and chunking. In Proceedings of ISCA/IEEE Workshop on Spontaneous Speech Processing and Recognition, pp. 163-166, Tokyo, Japan, April 2003. ISCA.

[15] Matthew Honnibal and Mark Johnson. An improved non-monotonic transition system for dependency parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Joakim Nivre and Jens Nilsson. Pseudo-projective dependency parsing. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 99-106, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[17] Daniel Zeman, Jan Hajič, Martin Popel, Martin Potthast, Milan Straka, Filip Ginter, Joakim Nivre, and Slav Petrov. CoNLL 2018 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-21, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 付録

## A. 1 UD Japanese-CEJC の特徵

表 1 CEJC 転記ファイルの (cf. Dobrovoljc 論文 [2], Table 2)

表 1 に CEJC 転記ファイルの特徴を Dobrovoljc の 論文 [2] の観点に基づいて示す。Language variety は 日本語共通語話者（関東近県在住）のために多様性 がない。また、日本語には Capitalization の慣習がな い。さらに、CEJC は転記規則として punctuationを 利用していない。他言語の UD リソースにない特色 として、映像データとのアラインメントがある。

## A. 2 UD Japanese-CEJC の統計

表 2 UPOS の分布 (GSD (短単位) と CEJC (短単位))

表 2 に GSD（短単位）と CEJC（短単位）のUPOS （品詞）ラベルの分布を示す。話し言葉には句読点
や記号を転記に用いないために PUNCT と SYM が全く 出現しない。また、話し言葉は、CCONJとINTJが書 き言葉より大きな割合で出現するが、PRON は省略さ れる傾向がみられる。Xは、笑・泣・歌などといっ た書き言葉では見られず、いずれにも該当しない表現に付与している。

表 3 DEPREL の分布 (GSD (短単位)と CEJC (短単位))

表 3 に GSD (短単位)と CEJC (短単位)の DEPREL （依存構造関係）ラベルの分布を示す。話し言葉に おいては、係り先が不定のものを文末の rootノード を係り先とするために root が大きな割合となる。ま た、 reparandum は言いよどみ、discourse はフィラー を意味する。UPOS PUNCT が話し言葉には出現しな いために、DEPREL 'punct'も出現しない。
 大村舞 国立国語研究所 }  若狭絢 国立国語研究所 }  松田寛 Megagon Labs }  浅原正幸 国立国語研究所  