# Universal Dependencies の変遷と評価表現抽出への影響

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

金山博
日本アイ・ビー・エム株式会社 東京基礎研究所
hkana@jp.ibm.com

## 1 はじめに

近年, 自然言語処理の研究がいくつかの言語に 偏っていることが問題視されており, 多言語の 言語資源作成やシステムの開発が進められてい る [1]. 100 を超える言語のツリーバンクを提供す る Universal Dependencies(UD) [2,3] は言語間で共通 の $\mathrm{PoS}$ タグや依存構造ラベルをアノテーションに用 いている.UDの目的は言語間の共通性を保ちつつ 個々の言語の性質を表現することであり，UDコー パスで学習した構文解析器は多言語の応用タスクへ の活用が期待されている．UDのアノテーションは 半年ごとに更新されているが，それらの更新が構文解析 [4] や応用タスクに与える影響については十分 な分析がなされていない.

本稿では, 23 言語の UD コーパス ver. 2.0 (2017 年 3 月) - ver. 2.7 (2020 年 11 月) を対象にし, コーパス の更新状況と傾向について分析する．次に UD の それぞれのバージョンのコーパスで訓練した構文解析器 UDPipe [5] を用いて言及単位の評価表現抽出 $[6,7,8]$ を行う. アノテーションの言語をまた がった一貫性がどの程度活用できているか，また コーパスの更新が良い方向に作用しているかどうか を調査することが目的である.

## 2 UD コーパスの更新

UD コーパスの内容の例を表 1 に示す. 本来 10 項目からなるアノテーションのうち評価表現抽出の 際に用いる項目のみを抜き出している。その中から ID を除く6 項目について, 表 2 に示す 23 言語の UD コーパスにおける更新とその影響を分析する.

コーパスの更新の割合を項目別，バージョン別に 分けて図 1 に示す. 比較する 2 つのバージョンの両方に存在する文を抽出し，重複を削除した後，語の 各項目に違いがあった割合を色の濃さで表してい る. UD2.0-2.4 ${ }^{1)}$ ではほぼ全ての言語で活発に更新

1）以降，UD ver 2.x をUD2.x と示す.表 1 UD コーパス (英語) の例. feats の出力は一部省略.

され，品詞タグや依存関係ラベルの変更が多い。そ れに対し UD2.4-2.6ではいくつかの言語内でのアノ テーション方針の大幅な変更や，より詳細な属性を 記述する項目である featsの変更が顕著である.

UD のアノテーション方針に沿って言語間での一貫性を保つことと，その言語の特徵を正確に記述 することのバランスは難しいが，それぞれの言語 で改良を重ねられている。コピュラや助動詞に関 するタグ付けを一例としてとりあげると，英語の UD2.5 では “have been”や “will be” の “be” は VERB から AUX へ変更され，オランダ語 (UD2.4)でも “hebben”('have') に対し同様の変更が見られた。ポル トガル語 (UD2.5) では AUX タグをつけられた多く

表 2 分析した treebank と UD2.6 での文数

図1 各言語, バージョンにおける UD コーパスの更新割合。色が濃いほど更新割合が高い.

の単語が VERB に変更され (“continuar” ('continue"), “deixar” ('leave')), フランス語 (UD2.1) でも AUX タ グが “être” ('be'), “avoir” ('have'), “faire” ('do', 'make'), “pouvoir” ('can') のみに限定され, 他の動詞は VERB とタグ付けされた。このように言語間でのタグ付け の一貫性が向上する変化が観察された。

## 3 実験

我々は異なるバージョンの UD コーパスで訓練し た構文解析器で評価表現抽出 [6] を行い, UDコーパ スの変化が応用タスクに及ぼす影響を分析した。

## 3.1 構文解析器の再学習

UD 準拠の構文解析器として UDPipe 1.2 [5] を用 いた. UD2.0-2.5の構文解析器は UDPipe が配布す る訓練済みモデル ${ }^{2)}$ を用い, 配布モデルが存在しな いUD2.6, UD2. 7 は UD2.5 と同じパラメータを用い て訓練した。簡体字中国語のコーパス UD2.0, UD2.2 は存在しないため評価から外した。構文解析器の 性能評価として LAS (Labeled Attachment Score)を用 いた.

## 3.2 構文構造に基づく評価表現抽出

評価表現抽出では構文木をトップダウンにたど り，極性辞書と符合させながら好評不評の表現とそ の対象を抽出する．依存関係やラベルを見ることに よって, 否定の表現や対象を抽出するための格を正確に捕捉できる仕組みになっている．詳細は [6] を 参照されたい.

2) http://ufal.mff.cuni.cz/udpipe

## 3.3 評価データと評価指標

評価データは先行研究 [6] と同様に，ホテルや携帯電話の言及単位または文単位の注釈付きレビュー を整形し，好評/不評のラベルが付いた文を各言語合計 500 文程度抽出したものを用いた。

システムの適合率は, 出力した極性が正解の極性 と同一である割合，再現率は正解の極性と同じ極性 を持つ評価表現が検出された割合である．総合的な 評価指標として，適合率を重視した F2 值（式 1 で $\beta=2$ としたもの）を用いる. 一般的な $\mathrm{F} 1$ 值 $(\beta=1)$ を用いると，文法構造を意識せずに好評・不評を含 む単語を抽出するアプローチによる数值が高くなる ものの, 適合率が低く実用性と乘離する。

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\operatorname{prec} \cdot \operatorname{rec}}{\operatorname{prec}+\beta^{2} \cdot \operatorname{rec}}
$

## 4 結果と考察

本節では多言語の構文解析と評価表現抽出の性能 の関係を定量的, 定性的に評価する。

## 4.1 構文解析の性能と評価表現抽出の関係

図 2 に構文解析 (LAS) と評価表現抽出 (F2) の関係 を示す3）．言語ごとにデータセットの作成元が異な るため言語をまたいだ絶対的な数值の比較は難し いが，データセットの分野が原因で評価表現抽出が 難しい言語 (韓国語など) を除けば，言語間の F2 と LAS には大まかな正の相関が存在する.
 ず，辞書との符号ができないため評価には含まない

図 2 UDのバージョンごとのLAS と F2 值

一つの言語内でも LASやF2 值には変化が見ら れ，その変化は辞書などの評価表現抽出の仕組みで はなく, 構文解析器の変更によってのみ発生する. F2 值が 40.0 以上で, UD2.0 と UD2.6 の F2 值に 1.0 以上の差がある言語を比較すると, 9 言語中 7 言語 で UD2.6 のほうがUD2.0よりも F2 值が高い4).つ まりUDコーパスの更新に伴い, 応用タスクの性能 も徐々に向上しているといえる。コーパスの更新に 伴う出力の変化については次に述べる.

## 4.2 UD 更新に伴う変化の観察

ここでは UD のバージョンの変化によって評価表現抽出の結果が変わった例について紹介する。まず 例として挙げる構文解析と評価表現の表記について 説明する。

4）日本語 UD2.6では語の単位が変更されたため F2 值が低い (n12.4) はオランダ語の UD2.4 で訓練した UDPipe に 文を入力し，評価表現を抽出した結果である。ハイ ライトのうち青が好評表現，赤は不評表現を表し，下線は好評/不評表現の対象を表す.オレンジは極性を反転させる否定表現である.

(n12.4) では, 否定の副詞 “niet”'('not') が 評価表現 “groot”('large') に直接係っておらず文全体として極性誤りが生じているが，(n12.5) で は "groot”と “niet”の依存構造が正しいため,否定による極性の反転を検出できている. (fr2.2)

Le maître d' hôtel méprisant et grossier.

DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

(fr2.4)

Le maître d' hôtel méprisant et grossier. DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

フランス語では UD2.4 で多数の依存関係ラベル や PoS タグが更新され, 構文解析の性能が向上し ている.(fr2.4)の名詞句では, 形容詞 “méprisant” ('contemptuous') が head $の$ 名詞 "maître" ('master') に かかっているため, 不評表現が正しく検出された。

(pt2.5)

(det

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN 評価表現抽出では並列構造を示す conj ラベル が重要な働きをする。例えば，(pt2.5), (pt2.6) では いずれも root は “fácil” ('easy')だが，(pt2.6)では “fluente" ('fluent') に conj のラベルが付いているた め, “fluente”も極性表現として正しく抽出されてい る.

(en2.4)

(en2.5)

実際のレビューの中には文体が崩れた文も出現す

る. 英語を例にとると， (en2.5)では，通常大文字で 書かれない “HIGHLY RECOMMEND”を PROPN タ

グと誤判定する例が存在した。UDで訓練した構文解析器を応用タスクで用いる際には，このような入力に対しても頑健であることが望ましい.

同様の問題はドイツ語でも発生している.ドイツ 語では名詞の最初の文字は大文字で記述するが，下 の例のように名詞 “Schneiden” ('sharpness') が小文字 になっていた場合, 構文構造上名詞の可能性しか存在しないにもかかわらず，同じ綴りを持つ動詞の不定形と認識される. つまり, 英語やドイツ語での品詞判定には大文字であるかどうかが少なからず影響 していることがわかる.

$
\text { dep }
$

$
\begin{aligned}
& \text { Opravdu vynikající . } \\
& \text { ADV ADJ PUNCT } \\
& \text { advmod }
\end{aligned}
$

$
\text { (cs2.6) Opravdu vynikající . }
$

特定できない依存関係を指す dep ラベルを減らす こともUDコーパスの課題の一つである. チェコ語 では dep ラベルの比率が他の言語のコーパスよりも 大きいため, 解析結果に頻繁に出現する。(cs2.6)の 出力では正しく advmod のラベルがつけられ, 好評表現が抽出できている.

(ja2.5)

(ja2.6)

また，単語分割の方針変更は応用タスクに大きな 影響を及ぼす。日本語では UD2.6の単語単位が国語研短単位になったことにより, UD2.5 までは不評表現として 1 つのトークンとして検出されていた“不自由”が，(ja2.6)では “不” + “自由”として検出さ れ，極性が反転している．アノテーション方針の変化に合わせて否定の “不” などの処理をシステムに 追加することが正しく極性を検出するために必要で ある。

(zh2.4)

簡体字中国語はリリース時期が今回分析した言語の中では比較的遅く, UD2.5 から正式にリリース された。そのため, UD2.4 の公開時にプレリリース され dev ブランチに存在した簡体字コーパスとの比較を行なった。(zh2.4) で存在した “相当” (“very’)の $\mathrm{PoS}$ タグの出力誤りが (zh2.5) で改善され，極性が正 しく抽出されるようになった。簡体字中国語は LAS が低い言語のうちの一つであり, 今後の改善が期待 される.

## 5 結論

本論文では UD2.0-2.7 での更新を, 構文解析器の 出力の変化が応用タスクに及ぼす影響という観点か ら分析した。 23 言語のUDコーパスは継続的に更新 されており，評価表現抽出の結果はそれぞれのバー ジョンによって異なることが分かった。言語ごとの 出力例から, 品詞タグ付けや依存関係ラベルの中で も否定や conj ラベルが評価表現抽出に影響を与え ることを示した．スタイルが崩れた文に対する頑健性に関わる問題も見られた。UDの各言語の代表的 なコーパス間でドメインが異なり，今回対象とした レビュー文によくみられる，名詞句やスペルミス，大文字小文字や文末のピリオドが無い入力に頑健で ない場合が存在した [9].

UD2. 4 以降はいくつかの言語で更新頻度が低下し ているが，まだ基本的な構文構造の出力において改善すべき点は多い. UD の継続的な更新への期待と， その他の応用タスクでの UD 準拠の構文解析器の性能評価を今後の展望とする.

## 参考文献

[1] Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. The State and Fate of Linguistic Diversity and Inclusion in the NLP World. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 62826293, 2020.

[2] Joakim Nivre and Chiao-Ting Fang. Universal dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies, pp. 8695, 2017.

[3] Daniel Zeman, et al. Universal Dependencies 2.6, 2020. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

[4] Daniel Zeman, et al. CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

[5] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, 2017.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[7] 岩本蘭, 金山博. 多言語極性辞書の構築とその 包括的評価. 言語処理学会第 26 回年次大会予稿集, 2020.

[8] 金山博, 岩本蘭. 多言語評価表現抽出を通じた universal dependencies $の$ 検証. 言語処理学会第 26 回年次大会予稿集, 2020.

[9] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, 2021.

## A 付録

## A. 1 評価データ

表 3 に評価表現抽出で使用した評価データの情報を示す. 言及単位のアノテーションが付いた多言語の評価データが少ないため, 言及単位と文単位の データをそれぞれ整形して用いた。

## A. 2 構文解析と評価表現抽出

表 4 に言語, バージョンごとの LAS と F2 値を示 す.これは図 2 を表にし, さらに適合率 (prec) と再現率 (rec) の情報を加えたデータである.

表 3 評価データの情報.

表 4 UD のバージョンごとの構文解析 (LAS) と評価表現抽出 (F2) の性能評価.

 & $78.8^{45.3} 16.8$ & 78.4 & $81.0^{47.6} 18.0$ & 78.4 & $81.0^{47.6} 18.0$ & 77.7 & $81.4^{47.2} 17.6$ & 77.4 & $79.5^{47.5} 18.2$ \\


 岩本蘭 慶應義塾大学 r.iwamoto@keio.jp }  金山博 日本アイ・ビー・エム株式会社 東京基礎研究所 hkana@jp.ibm.com  