# DAG Conversion for Penn Treebank

陳宙斯 小町守
東京都立大学
\{chen-zhousi@ed., komachi@\}tmu.ac.jp

## Abstract

Natural languages contain complicated structures beyond trees. Penn Treebank (PTB) [1] is one of the most frequently studied large-scale annotated phrase structure corpus in a format for continuous trees. It has a co-indexing system that allows structures beyond continuous trees [2]. This paper addresses a full conversion leveraging the coindexing system to recover directed acyclic graphs (DAG) for PTB. Due to a similar annotation scheme, our DAG conversion is applicable to Chinese Treebank (CTB). However, much fewer DAGs from CTB are obtained.

## 1 Introduction

Constituency parsing is a task for phrases and their relations. Most research for this task is supervised, where parsers follow the annotation schemes of corpora. Many constituency corpora are annotated in bracketing format that limits the parsing structure to continuous trees, which are typically described in context-free grammars (CFG). Syntactically annotated corpora PTB, CTB, Keyaki Treebank (KTB) [3], NINJAL Parsed Corpus of Modern Japanese (NPCMJ) [4] and shared task SPMRL 2013 [5] contain abundant examples in bracketing format for multiple well-studied languages.

However, natural languages can hardly be described in CFG [6]. Enforcing CFG causes grammar exceptions and degrades parsing performance $[7,8]$. Syntactic and semantic grounds foster complicated structures. On one hand, syntactic movements create discontinuity by moving phrases away from their siblings, such as "what it is" where fronting "what" makes the clause nominal with a discontinuous verb phrase "is what". Another example in Figure 1 shows a discontinuous conversion for PTB [9] which offers a new challenge where constituency is better described in linear context-free rewriting system (LCFRS) parsers. However, this work left some syntactic movements (e.g.,
(1) $(\mathbf{S}$

(2)

$\mathbf{S}$

(3)

Figure 1 Recovering a discontinuous phrase from PTB with co-indexed traces (blue). Top: bracketing annotation; middle: visualization of the top; bottom: conversion after the middle.

gapping and part of right-node raising) unstudied [2].

On the other hand, semantic ground involves semantic frames (i.e., predicate-argument structure) which can also hardly be captured by CFG and even LCFRS. Semantic frames are not addressed in the conversion for discontinuous trees in PTB [9] because of the large amount of potential DAGs after full conversion. For example, the passive voice "it is watched by John" has a semantic frame watch(John, it) where "John" is the logical subject (i.e., syntactic object) and "it" is the logical object (i.e., syntactic subject) of predicate "watch". Syntactic and semantic relations jointly lead to the complex wiring of DAG.

In this paper, we fully leverage PTB's co-indexing system [2] to recover its DAG structures. Our work can be regarded as a continuum from [9], contributing another new challenging corpus via converting the treebank into a graphbank ${ }^{1)}$. CTB is checked but needs further study.

(5)

Figure 2 Recovering DAG from PTB with co-indexed traces (colored). Double lines denote multi-attachment. Top: visualization of bracketing annotation; bottom: conversion after the top.

## 2 Related Work

As a pioneering practice, English PTB selected the context-free bracketing format and later introduced the co-indexing system for non-context-free phenomena of discontinuity and multi-attachment [2]. Some corpora adopted the format with their own co-indexing systems for their languages $[3,4,5]$, whereas other languages with free word order, such as German and Czech, either chose more expressive presentations for discontinuity (e.g., Export and XML formats $[10,11]$ ) or adopted lexical dependency parsing instead of constituency.

The conversion of PTB for constituency has two directions. One direction is for discontinuity [9] by partially utilizing the co-indexing system; the other is for coordination $[7,8]$. These two directions cover different aspects of the co-indexing system and still keep PTB tree-based. However, presenting PTB directly through DAG [2] leads to grammatical discontinuity and coordination.

Dependency parsing had addressed DAG [12] earlier, which has deeper semantic motivations (i.e., predicateargument relations). Furthermore, semantic parsing directly addresses those semantic frames in DAG via logical expressions [13]. As a constituency corpus, PTB gets converted into dependency DAG parsing. To our knowledge, however, direct research on constituency DAG parsing is still lacking, probably because of lacking such a corpus.

## 3 Conversion

Our DAG conversion is achieved by modification of each original tree, which involves the reattachment of existing subtrees and the creation of new nodes. The process contains two algorithms. Algorithm 1 is extended from [9], which allows multi-attachment for the reattachment with co-indexed trace to null element and thus produces DAG. Algorithm 2 deals with intra-sentential gapping, where a phrase in coordination acts as a template for the other gapping phrases to imitate.

For the convenience of further study, we maintained all functional tags (e.g., -SBJ and -TMP) at either their original attachment or new reattachment locations.

## 3.1 Trace with Null Element

We consider five types of null elements for reattachment in PTB. Mark $\boldsymbol{\checkmark}$ denotes a fully exploitation by [9], $\boldsymbol{\Delta}$ a partially exploitation, and $\boldsymbol{X}$ no exploitation.

$\mathbf{x} * \quad A$-movement.

$\checkmark * \mathbf{T} * \quad$ A-bar movement.

$\checkmark * \mathbf{I C H} * \quad$ Interpret constituent here.

$\checkmark * \mathbf{E X P} *$ Expletive.

$\mathbf{\Delta} * \mathbf{R N R} *$ Right node raising. ([9] picks only the closest null element for reattachment.)

We use an instance in Figure 2 to exemplify Algorithm 1. Node $c$ in line 3 stands for each non-terminal node with a co-indexing number. For example, node NP-SBJ-2 re-

attaches to null element *-2 without detachment, creating a DAG by lines $11 \& 12$. Although null elements $N$ contain only one *-2, $N$ may contain multiple for DAG. Lines 6-10 are for canceling cycles created by PRN [9].

Among all five types, *RNR* and * are major sources for DAG with the loop in line 4 of Algorithm 1. Specifically, *RNR* and * differ in detachment. Type *RNR* detaches node $c$ from the original parent for reattachment, while type* keeps the original syntactic attachment during reattachment in lines $11 \& 12$. Following [9], the reason for detachment of all non-* nodes is that their parent is a pseudo-attachment that does not have any syntactic role. In contrast, non-* nodes do have [2]. Besides the above differences, our improvement includes lines 11-13 for gapping.

## 3.2 Intra-sentential Gapping

PTB co-indexes each coordination with either "-" for a complete phrase (i.e., a template usually at the initial place) or "=" for one or more incomplete phrases (i.e., gapping with remnant components) to imitate the template. The template and gapping phrases are commonly conjunct in no more than one coordination structure in a sentence.

Algorithm 2 has a recursive IMITATE function making each gapping phrase resemble its template. In PTB, gapping phrases must have incomplete structures of small heights. Each IMITATE entrance lets a gapping phrase re-

 & - & - - & 842 & 4 \\

Table 1 Statistics of PTB after our DAG conversion. PTB (2.0) has in total of 49,208 parsed sentences.

gain one level of missing complements from the template via the SHARE function. The missing structures are recovered by lines $15 \& 16$ by forcing co-indexed nodes to grow to the same height with the same structure.

We exemplify the process in Figure 3. At first, $S$ for Dean Writer new recommends $80 \%$ is found to be the template $t$ with S for Goldman $65 \%$ being an imitator phrase. The modifier ADVP is not shared to the imitator because it is not a complement for the formation of $\mathrm{S}$. Then, a new substructure VP (in yellow) is created by lines $14 \& 15$ and the second IMITATE entrance creates two VPs in two respective $\mathrm{S}$ nodes. In contrast, VBZ is shared by VPs because it is the complement for them. The process works in a top-down style for every substructure paired with the template and gapping phrases.

## 3.3 Error and Exception

The annotation of PTB involved a large amount of human labor. Thus, a few errors and exceptions are inevitable. During our re-implementation of [9], we manually adjusted the annotation of 26 sentences for reproducibility.

For our DAG conversion, we observed 10 additional errors and exceptions, which involve incorrect trace types, co-indices that lead to circles, ill-formed coordination, and *EXP* coming across gapping. Nevertheless, their population is relatively small and we provide our solution for each of them in our code.

## 3.4 Adjustment for CTB

CTB uses a similar annotation style to PTB. However, there are certain differences:
- Fewer trace types: *T*, *RNR*, and *.
- Templates are also marked by "=".

Figure 3 Recovering DAG from PTB with co-indexed intra-sentential gapping (colored).

Table 2 Statistics of CTB after our DAG conversion. CTB (9.0) has in total of 132,080 parsed sentences.

Thus, Algorithm 1 is still applicable for CTB but Algorithm 2 needs adjustment to first decide which phrase is the template. Our decision is the conjunct phrase that possesses the tallest height and thus contains the complete structure to imitate. Sometimes, the results can indicate some templates on the right side of the coordination.

## 4 Discussion

Statistics. As a new graphbank, we show the statistics of a number of parents and their conversion types in Tables $1 \& 2$. Discontinuous tree conversion [9] can be seen as a subset that only has the 1-ary column of each table. For both DAG conversions of PTB and CTB, types $*$ and $* \mathrm{~T}^{*}$ are the major sources of reattachment, while *, gapping, and *RNR* are the top three DAG provider. However, both reattachment and DAG are still sparse, especially for CTB, which makes DAG constituency parsing very challenging.

For CTB, we did not leverage the potential null element of type *pro* (i.e., dropped subject or object) because it does not contain any co-index. We left the further DAG conversion for CTB as a future study.

Comparison to combinatory categorical grammar. As a parsing formalism, combinatory categorical grammar (CCG) also addressed gapping phenomena in coordination [14]. The solution of CCG is through compound lexical tags (i.e., supertagging) operated by combinatory rules, whereas ours is not a parsing formalism but a graphbank in DAG with each node being an atomic constituency label.

Specifically, CCG assigns each word with a string of constituency labels and operating slashes that define how the word combines with adjacent words to form a parse. Apart from CCG's ability for gapping, its parsing formalism is context-free by assuming that necessary contextual information is locally encoded into each lexical string. Our graphbank simply provides the DAG structure without assumption. Moreover, operating slashes can only handle binary combinatory operations, in contrast to our conversion's flexible number of child phrases.

## 5 Future Work

We proposed a DAG conversion approach for PTB one of the most frequently studied large-scale treebank, by fully leveraging its co-indexing trace system. However, we observed much fewer DAGs from CTB probably because of uncovered phrases without co-indexing. Nevertheless, DAGs in many other treebanks are to be recovered by carefully applying the instruction in their guidelines.

## Acknowledgement

## References

[1] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 19(2):313-330, 1993.

[2] Mitchell P. Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The Penn Treebank: Annotating Predicate Argument Structure. In Human Language Technology, Proceedings of a Workshop, page 114119. Morgan Kaufmann, 1994.

[3] Alastair Butler, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, Zhen Zhou, and Hong Zhu. Keyaki Treebank: phrase structure with functional information for Japanese. In Proceedings of Text Annotation Workshop, 2012, 2012.

[4] National Institute for Japanese Language and Linguistics. NINJAL Parsed Corpus of Modern Japanese, 2016. http: //npcmj.ninjal.ac.jp/.

[5] Djamé Seddah, Reut Tsarfaty, Sandra Kübler, Marie Candito, Jinho D. Choi, Richárd Farkas, Jennifer Foster, Iakes Goenaga, Koldo Gojenola Galletebeitia, Yoav Goldberg, Spence Green, Nizar Habash, Marco Kuhlmann, Wolfgang Maier, Joakim Nivre, Adam Przepiórkowski, Ryan Roth, Wolfgang Seeker, Yannick Versley, Veronika Vincze, Marcin Wolinski, Alina Wróblewska, and Éric Villemonte de la Clergerie. Overview of the SPMRL 2013 Shared Task: A Cross-Framework Evaluation of Parsing Morphologically Rich Languages. In Proceedings of the Fourth Workshop on Statistical Parsing of Morphologically-Rich Languages, pages 146-182. Association for Computational Linguistics, 2013.

[6] Geoffrey K. Pullum and Gerald Gazdar. Natural Languages and Context-Free Languages. Linguistics and Philosophy, 4(4):471-504, 1982.

[7] Jessica Ficler and Yoav Goldberg. Improved Parsing for Argument-Clusters Coordination. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

[8] Jessica Ficler and Yoav Goldberg. Coordination Annotation Extension in the Penn Tree Bank. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, page 834-842, 2016.

[9] Kilian Evang. Parsing Discontinuous Constituents in English. Mémoire de master, University of Tübingen, 2011.

[10] Sabine Brants, Stefanie Dipper, Peter Eisenberg, Silvia Hansen-Schirra, Esther König, Wolfgang Lezius, Christian Rohrer, George Smith, and Hans Uszkoreit. TIGER: Linguistic Interpretation of a German Corpus. Research on language and computation, 2(4):597-620, 2004.

[11] Wojciech Skut, Thorsten Brants, Brigitte Krenn, and Hans Uszkoreit. A Linguistically Interpreted Corpus of German Newspaper Text. CoRR, cmp-lg/9807008, 1998.

[12] Kenji Sagae and Jun'ichi Tsujii. Shift-Reduce Dependency
DAG Parsing. In 22nd International Conference on Computational Linguistics, Proceedings of the Conference, pages 753-760, 2008.

[13] Federico Fancellu, Sorcha Gilroy, Adam Lopez, and Mirella Lapata. Semantic Graph Parsing with Recurrent Neural Network DAG Grammars. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pages 2769-2778, 2019.

[14] Nathaniel Little. Reevaluating Gapping in CCG: Evidence from English \& Chinese. In Proceedings of the 10th International Workshop on Tree Adjoining Grammar and Related Frameworks, pages 25-34, 2010.


# 形態論情報付き日本語 Universal Dependencies

田口智大 ${ }^{1}$ 宮川創 2
${ }^{1}$ University of Notre Dame 2 国立国語研究所研究系
ctaguchi@nd.edu so-miyagawa@ninjal.ac.jp

## 概要

本論文では，日本語の形態論を反映した，日本語 Universal Dependencies（UD）の新しいトークン化の 基準と形態的素性のアノテーションを提案する. 現在のバージョンの日本語 UD v2.11 では, 文は形態素単位でトークン化されており, 各トークンには形態的素性がほとんど付与されていない. しかしなが ら, 日本語は形態的屈折を欠いた孤立語ではなく,形態的変化を持った膠着語である. この現状を考慮 して，本稿では日本語 UD のトークン化の基準を見直し，形態素単位ではなく語単位のトークン化を提案する。そして，各トークンに含まれた形態論的情報を表すために，UD 共通の形態的素性のアノテー ションを提案する。

## 1 はじめに

本稿では，日本語 Universal Dependencies（UD）ッ リーバンクの形態論情報付与の必要性について論 じ，新たなトークンの基準を提案する。UDは， 2015 年に開始された多言語ツリーバンクのプロジェク トであり，あらゆる言語に対して共通のアノテー ション基準で品詞タグ，形態論情報，統語的依存関係を記述することを理念としている [1,2]. 目下の ところ最新のリリースであるバージョン 2.11 では, 130 以上の言語のツリーバンクが公開されており, Universal Dependencies を用いた通言語的な言語処理研究も行われ始めている [3]. 特に，日本語では，分 かち書き・品詞ラベリング・依存構造ラベリングを 同時に行う解析器である GiNZA が UD を用いて開発されている [4]. しかしながら, 現在までの日本語 UD におけるトークンと形態論情報については， UD 共通の基準とは異なるアノテーション基準が採用されていることが報告されている $[5,6,7]$. 第一 に, 日本語 UD のトークン化の基準は『現代日本語書き言葉均衡コーパス』[8] におけるトークン化の 基準と同じであることが明記されており，概ね一般言語学における形態素の概念に等しい. 日本語は,用言の形態的変化を有する膠着語であるが，現行の 日本語 UD の方針では，あらゆる動詞接辞および形容詞接辞が独立したトークンとして扱われている.第二に，日本語 UDでは，一部の例外を除いて，形態的素性が一切付与されていない. UDでは，形態的素性の記載について，形態的屈折を持つ場合は必須となっていることから, 統合的（synthetic）言語 の性格を持つ日本語の形態論が反映されていない. そこで，本稿では，UD共通の基準を鑑み，他言語 での事例と照らし合わせながら, 日本語の形態的変化を考慮した新たなトークン化基準と形態論情報の 付与の試案を提示する.

## 2 UD と日本語 UD

## 2.1 UD の基本方針

UDでは, 語彙主義（lexicalism）に立脚し, 各トー クンは統語的語 (syntactic word) であり, 形態的屈折を含んだ表層形を単位として FORM に記載され る.. そして，表層形から形態的屈折を除いた基本的な形（レンマ，辞書形，引用形などとも呼ばれ る）が LEMMA として記載される。 各トークンに含 まれる形態論的な屈折は，形態的素性の集合とし て FEATS 欄に記載される. 形態的素性を集合として 扱うことで，形態素境界が不明瞭なケースや，一 つの形態素が二つ以上の形態的素性を担う統合的 （synthetic）なケースにも対応することができる設計 となっている．例えば，膠着語であるフィンラン ド語の työssä（仕事中）という語は, 名詞の työ（仕事) に単数内格（inessive singular）接尾辞の-ssä が 付いたものであるが，UDではまとめて一つのトー クンとして扱い, LEMMA として työ, FEATS として Case=Ine |Number=Sing とアノテーションすること で，形態的屈折を表現している。そのほかに，UD では, 各トークンの品詞タグ (UPOS), 依存先のトー クン ID（HEAD），依存関係タグ（DEPREL）が付与さ

れることが最低限の条件となっており，各文につい て形態統語論の基本的な情報を網羅する構造となっ ている.

## 2.2 日本語 UD の概要

現在のバージョン 2.11 の日本語 UD では, GSD, GSDLUW, PUD, PUDLUW, BCCWJ, BCCWJLUW, Modern，KTC の計八つのツリーバンクが公開され ている.このうち, GSD, PUD, BCCWJについて は，トークナイゼーションの基準として，『現代日本語書き言葉近郊コーパス』において語の基準とさ れている短単位（Short Unit Word）と長単位（Long Unit Word）のそれぞれを採用した二つの版を公開し ており，後者はツリーバンク名に LUW が付加され ている. 短単位は「現代語において意味を持つ最小 の単位 ${ }^{1)}$ と定義されており, 言語学における形態素の定義と概ね一致する. 短単位では, 複合語を構成する複数の形態素をそれぞれ別々のトークンと して扱っている一方で，長単位では複合語を一つの トークンとして扱っている. これらの基準は，接辞 （affix）や接語（clitic）を独立したトークンとして 扱うという点で, 日本語の学校文法 (橋本文法) に おける「単語」の概念と類似している。しかしなが ら, 動詞の活用接尾辞を別トークンとして扱う点に おいては，UDの他の膠着語におけるアノテーショ ン基準とは異なっている.

さらに，これらの日本語 UDッリーバンクでは，否定（Polarity=Neg）を除く一切の形態的素性が付与されておらず，空闌として残されている. 日本語 には，極性のほか，テンス・アスペクト，使役・受動などの態，敬語（honorifics）などの動詞の活用が 存在するが，これらの形態素は別トークンとして扱 われ, 形態的素性としての Tense, Aspect, Voice, Politeなどのキーは現状割り当てられていない. このように, 日本語 UDでは, トークン化の基準と 形態論のアノテーションという二点において，UD の一般的方針とは異なる設計となっている.

## 2.3 他の膠着語での扱い

以上に述べた問題点について，解決案を提示する 前に，UDの他の膠着語では動詞の活用や名詞の格標示がどのようにアノテーションされているのか を具体例とともに概観する。朝鮮語では，KAIST， GSD，PUDの三つのツリーバンクが公開されている

が，これらのツリーバンクのアノテーション方針は 統一されていない。いずれのツリーバンクにおいて も，トークン化の基準は朝鮮語の正書法におけるス ペースをもとにしており，動詞活用の接辞や名詞の 格接語は主要部のトークンの一部として扱われてい る. 形態的素性については, KAIST および GSD で は一切記載されていない一方で，PUDでは，表 1 に 示す通り，動詞活用および名詞に付属する形態素が FEATS 列に表されている2)。テュルク諸語では，い ずれのツリーバンクでも動詞の活用や名詞の格変化は主要部の一部としてトークナイズされ，その情報は素性として FEATS に表されている。例として， トルコ語のアノテーション事例を表 2 に示す. 最後 に，部分的に膠着語的な性質を持つヒンディー語で は，表 3 に示すように，格（後置詞）と動詞の屈折 を形態的素性として明記しているが，格は後置詞と して独立したトークンを構成している。

表 1 UD Korean-PUD における形態的素性アノテーショ ンの例（文番号 $n 01010042$ より引用）

表 2 UD Turkish-GB における形態的素性アノテーション の例 (文番号 GK05-0003 より引用). 形態的素性は紙幅の ため一部省略している.

表 3 UD Hindi-PUD における形態的素性アノテーション の例 (文番号 n01001011 より引用). 形態的素性は紙幅の ため一部省略している.

## 3 試案

前節で見たように，UD では，動詞屈折や格変化 を有する言語は，形態素単位ではなく統語的語の単位でトークン化を行い，形態的変化の情報は素性と して FEATS に記載する方針である。実際に，日本語 と同様に膠着語的性質を持つ言語の UDでは，動詞 の屈折的形態素は素性として表され，さらに言語や ツリーバンクによっては，名詞の格標示も素性の一

表 4

UDにおける形態的素性と日本語の格の対応

部として扱われている。本章では，日本語UDにお いて，どのようなトークン化の基準が適切なのか， および形態論的素性はどのように表されるべきか を，いくつかの論点に分けて検討する。

## 3.1 格助詞は形態的格変化か

国文法では，「が」「を」「に」「へ」「で」「から」「よ り」「まで」「と」「の」の十個の助詞が格助詞として 挙げられている. 格は，述語とその項の関係を表す 文法的な役割であり, 膠着語では一般的に接辞や接語によって表現される．UDでは，名詞の格はCase という素性キーによって表される。UDの枠組みの 中では，日本語のこれらの格を素性として表すこと は可能である. 表 4 はこの対応をまとめたもので ある。

しかしながら，日本語の格が名詞の形態論の一部 を構成する接辞（affix）であるか，より形態統語的 に独立性の高い接語（clitic）であるかどうかは自明 ではなく，議論の余地の残る問題である. そもそ も，接辞と接語を明確に区別するような通言語的に 一般的な定義を与えることは，不可能であることが 指摘されている [9]. 日本語を扱う統語論の研究で は，格助詞を含む諸々の助詞や助動詞に関して，明示的に接辞と接語の区別を行なっていないものが多 く，その区別は未だ定まっていない。宮岡（2002） は，日本語の格助詞が名詞の屈折形であるとは見做 せないという理由から，格助詞は接語であるという 解釈を提示している [10]. 実際に，日本語の格助詞 には例外的な形態的パラダイムがなく, 名詞以外と も結合することから，接語としての性質を持ってい るといえる。一般的に，UDでは接語を個別のトー クンとして扱うため, これらの格助詞を接語として 解釈する場合，格助詞は別のトークンとして扱われ る必要がある。したがって，現段階では，格助詞の 扱いとして以下の二通りが考えられる。一つ目は，朝鮮語 UD（表 1）やトルコ語 UD（表 2）のように,格助詞を名詞の派生接尾辞として扱い，形態的素性 として表す方法である．二つ目は，ヒンディー語 UD（表 3）のように，格助詞を接語（あるいは後置詞）として扱い，別のトークンとする一方で，格助詞自体に格の形態的素性を付与する方法である. い ずれの方法を採用するかは，慎重な議論と裏付けが 必要であるが，少なくとも形態的素性の付与は可能 である.

その他の助詞（副助詞，接続助詞，係助詞，並立助詞，終助詞，間投助詞，準体助詞）は述語との文法的関係を表すものではないため，格には含めな い. 特に，主題を表す助詞は，Korean-PUDでは主格 として扱われているが，日本語の「は」は述語との 関係を指定するものではなく，情報構造上での役割 を持つため, 格に当たらない. しかし, 形態統語的 に主題を表す要素として，適切な素性が今後 UD 標準のガイドラインに整備される可能性はある。

## 3.2 用言の形態論

日本語における用言（動詞・形容詞・形容動詞） の形態的変化に関わる接辞は，国文法において助動詞と助詞に分類されるものに含まれる。国立国語研究所の分類では，文語的表現も含め，「う」「ごとき」「させる」「ざる」「しめる」「せる」「そうだ・そう です」「た・た」「だ」「たい」「たる」「です」「ない」「なる」「ぬ・ん」「ふうだ・ふうです」「べし」「まい」「ます」「みたいだ・みたいです」「よう」「ようだ・ ようです」「らしい」「られる」「る」「れる」「ん・む」 が助動詞として挙げられている [11]. これらのう ち，連体形・終止形に接続する「ごとき」「そうだ・ そうです3)」「ふうだ・ふうです」「みたいだ・みた いです」「ようだ・ようです」「らしい」は，動詞以外の品詞にも接続することができ，形態統語的自由度が高いため, 現行の UD 通り助動詞 AUX として扱 う.また，「だ」「たる」「です」「なる」は動詞に接続する要素ではないため，ここでの議論から除外す る. 他方で，連用形や仮定形に接続する助詞「なが ら」「つつ」「たり」「たら」「て」「ば」は，形態素配列（morphotactics）の自由度が低く，アスペクトな どの文法的役割を担っているため，ここでは接尾辞 として扱う．以上の形態素と UD における素性の対応を表 5 に示す.

表 5 日本語 UDにおける動詞活用の形態的素性のアノテーションの一案. VerbForm=Exem は現在の UD は登録されて いない新規のカテゴリであることに注意されたい.

用言に形態的素性を付与するにあたって，以下の 論点が生じる. 第一に, 日本語では形容詞や形容動詞も屈折するため，提案された形態的素性は用言全体に適用されるが，現行の UD の枠組みでは，動詞 の VerbFormにあたる素性が形容詞には存在しない.解決策としては，朝鮮語の Korean-PUD で実験的に 用いられている Form という素性キーを適用するか， VerbFormを用言全体に一般化するかのどちらかが 考えられる。二点目は，連体形の形態的素性の扱い である。現代日本語では，動詞・形容詞の変化にお いて終止形と連体形の区別が失われているが，形容動詞では連体形の区別が残っている. そのため，終止形と連体形をどちらも VerbForm=Fin として扱い，形容動詞の連体形のみに別の素性を与えるか，終止形のみを VerbForm=Finとして扱い，連体形全体に 別の素性を与えるか，のどちらかの選択肢に統一す る必要がある。なお，連体形と終止形の区別を持つ 朝鮮語の UD では，連体形には Form=Adn という素性が与えられている。三点目は，助動詞「た・だ」 の形態的素性が過去時制 Tense=Past なのか，完了 アスペクト Aspect=Perf なのかという点である.こ の点に関する見解の一致は見られていないが，日本語 UD の一貫性のために，どちらかに統一する必要 がある.

## 3.3 提案の実装に向けて

ここまで，日本語 UD における名詞と動詞の形態論を考慮した，新たなトークンの基準と形態論情報 のアノテーションを提案した. 現行の日本語 UDで のトークン化と本稿の提案を比較したものを付録 A に示す. 本稿で形態的屈折および派生として扱った 形態素は，国文法の品詞カテゴリである助詞・助動詞の一部に対応している. したがって，現行の日本語 UDでは，言語依存の品詞タグを任意に記載する ことのできる XPOS 列に国文法の品詞カテゴリが明記されていることから，これを参照してトークンの 融合および形態論情報の追加を自動で処理すること が可能であろう.

## 4 終わりに

本稿では，UD の共通ガイドラインに立脚し，日本語 UD に形態的素性の情報を組み込むことの必要性を主張し，その具体的なアノテーションの試案を 提示した. このように，UD 全体との統一性を高め ることで，UDを用いた通言語的な研究や応用が可能となる.また, 今後の開発が期待される, 沖縄語,国頭語，奄美語，宮古語，八重山語，与那国語，八丈語などの，日本語以外の日琉諸語の UD ツリーバ ンクの開発のための土台となることが期待される.

## 謝辞

本論文を作成するにあたって，京都大学の村脇有吾氏およびテュービンゲン大学の Çağrı Çöltekin 氏よ り建設的な助言をいただき，ここに感謝を表します。 This material is based upon work supported by the National Science Foundation under Grant No. BCS-2109709. Any opinions, findings, and conclusions or recommendations expressed in this material are those of the author(s) and do not necessarily reflect the views of the National Science Foundation.

## 参考文献

[1] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, 072021.

[2] Daniel Zeman, et al. Universal dependencies 2.11, 2022. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

[3] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[4] 松田寛, 大村舞, 浅原正幸. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会 第 25 回年次大会 発表論文集 (2019 年 3 月), 2019.

[5] Gregory Pringle. Thoughts on the Universal Dependencies proposal for Japanese: The problem of the word as a linguistic unit. http://www.cjvlang.com/Spicks/ udjapanese.html, Date accessed: November 10, 2022, 2016.

[6] Yugo Murawaki. On the definition of japanese word, 2019.

[7] Çağrı Çöltekin and Taraka Rama. What do complexity measures measure? correlating and validating corpusbased measures of morphological complexity. Linguistics Vanguard, 2022.

[8] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Lang. Resour. Eval., Vol. 48, No. 2, p. 345-371, jun 2014.

[9] Martin Haspelmath. Defining vs. diagnosing linguistic categories: A case study of clitic phenomena, 2015.

[10] 宮岡伯人. 語とはなにか: エスキモー語から日本語 をみる. 三省堂, 2002.

[11] 国立国語研究所. 現代語の助詞 - 助動詞 : 用法と実例. 国立国語研究所報告, Vol. 3, , 1951.

[12] Mai Omura and Masayuki Asahara. UD-Japanese BC-
CWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies (UDW 2018), pp. 117-125, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A トークン化基準の比較

表 6 短単位、長単位、ならびに文節単位でのトークンと、形態的素性を加味した試案に基づいたトークンの比較。例文 は大村ほか（2018）[12]より引用した。

 &  &  &  &  &  &  &  &  &  &  \\


# 人間と機械学習のモデルそれぞれに扱いやすい トークン分割に関する実験と考察

平岡達也岩倉友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，NLP における機械学習のモデルの性能が向上するようなトークン分割と，人間に読みや すいトークン分割の関係について議論する．JGLUE に含まれる JCommonsenseQA データセットに対して 複数のトークン分割を行い，機械学習のモデルによ る正解率と，人間のアノテータによる正解率と回答速度を比較する。分析より，人間に読みやすいトー クン分割と機械学習モデルの正解率が高くなるトー クン分割は必ずしも一致しないことが示唆された.

## 1 はじめに

トークン分割（Tokenization）は，NLP のシステ ムの性能や結果に影響を与える重要な前処理であ る $[1,2,3]$. 近年では後段のタスクに応じて，モデ ルの性能が高くなるようなトークン分割を自動で 選択する手法が提案されている $[4,5,6]$. このよう なトークン分割は，性能向上という観点から機械学習のモデルに扱いやすいものであると言える。一方 で，このトークン分割は必ずしも人間にとって読み やすいものであるとは限らない $[5,6]$. 人間に読み やすいトークン分割から逸脱したものは，メンテナ ンスやチューニングの難しさに繋がりうる. 例え ば，区切りの不一致のために辞書情報が使えなかっ たり，目視でのエラー分析における解釈の難しさに 繋がったりすると考えられる．また，自然言語処理 に詳しくないユーザーにとっては，不自然なトーク ン分割そのものが信頼性低下の原因になりうる。

本研究では，人間と機械のそれぞれに扱いやすい トークン分割について調査を行う。本稿では研究の 第一段階として，日本語 $\mathrm{QA}$ タスクにおいて異なる トークン分割がもたらす，機械学習のモデルの正解率への影響と，人間にとっての読みやすさへの影響 の関係を調査・分析した内容を報告する。

表 1 各トークナイゼーション手法による分割例

## 2 実験設定

## 2.1 データセット

本研究では, JGLUE [7] に含まれる JCommonsenseQA データセットを用いて実験を行う．本研究実施時点では JGLUE のテストデータが公開されて いないため，学習データと検証データのみを使用 する。また，QA モデルに用いる文字分散表現の学習と，トークン分割器の学習には日本語 Wikipedia データを用いた1).

## 2.2 比較するトークン分割の手法

本研究では，トークン分割の手法として辞書を用 いた手法（MeCab），教師無しで語彙を構築する手法 (Unigram, BPE，MaxMatch)，タスクに応じて トークン分割を最適化する手法 (OpTok)，ランダ ムなトークン分割（Random）の6つを比較する.

教師なしの手法におけるトークン分割器は，それ ぞれ語彙の大きさを 64,000 とし，日本語 Wikipedia のタイトルと概要データを用いて学習した. 各手法 でトークン分割を行ったテキストの例を表 1 に示し た。また，実際に JCommonsenseQA の学習データと 検証データに対してトークン分割の処理を行い，出現したトークンの種類数を表 2 にまとめた。それぞ れの手法について，以下に説明する。

表 2 トークナイゼーション手法ごとの語彙の規模

MeCab: 辞書を用いたトークン分割（単語分割）手法として， MeCab [8] を用いた. 単語辞書には, UniDic [9]を用いた. 人手で整備された辞書を用い ている本手法は，比較する手法間で最も人間に読み やすいトークン分割であると考えられる。

Unigram: ユニグラム言語モデルを用いたトーク ン分割の手法として, SentencePiece [10] のユニグラ ムモードを使用した。

BPE: Byte Pair Encoding を用いたトークン分割手法 [11]には，SentencePieceの BPE モードを用いた.

MaxMatch: 最長一致法を用いたトークン分割手法 [12] として，BertTokenizer (WordPiece) を用いた.

OpTok: データセットとモデルに対して正解率 が向上するようなトークン分割を自動的に獲得する 手法として, OpTok [6] を利用した. ユニグラム言語モデルでのトークン分割を用いて学習した $\mathrm{QA}$ モ デル（後述する BiLSTMを用いたもの）に対して，後処理としてトークン分割を最適化した. そのた め，語彙はユニグラム言語モデルと一致する。

Random: 単語の長さをサンプリングし，テキス 卜を前から順にランダムに分割した. 単語の長さは Wikipediaを MeCabで分割した際の分布に従った.

## 2.3 QA モデル

機械学習のモデルを用いた実験には，Bag-ofWords [13] と BiLSTM [14, 15] の 2 種類の単純な QA の手法を用いる. $N$ 個のトークンからなる問題文 $q=w_{1}, \ldots, w_{N}$ について, 選択肢の単語 $a$ が解答とな る確率 $p(a \mid q)$ を次のように計算する（図 1).

$
\begin{aligned}
\mathbf{v}_{q} & =g\left(f\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right), \\
p(a \mid q) & \sim \mathbf{v}_{q}^{\top} \mathbf{v}_{a} .
\end{aligned}
$

ただし, $f(\cdot)$ はエンコーダー, $g(\cdot)$ はエンコーダーの 出力をトークンベクトルの次元数に変換する MLP である. また, $\mathbf{v}_{w_{n}}$ と $\mathbf{v}_{a}$ はいずれもトークンベクト ルである. エンコーダー $f(\cdot)$ の処理は Bag-of-Words を用いる場合 $\left(f_{\text {Bow }}\right)$ と, BiLSTM $\left(f_{\text {BiLSTM }}\right)$ を用い

図 $1 \mathrm{QA}$ モデルの概要

る場合でそれぞれ以下のように異なる。

$
f_{\mathrm{BoW}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=\frac{\sum_{w \in s} \mathbf{v}_{w}}{N}
$

$f_{\mathrm{BiLSTM}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=h\left(\operatorname{BiLSTM}_{\mathrm{QA}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right)$,

ここで $h(\cdot)$ は各出力への最大プーリングである.

トークン分割の差以外の要素による影響を減らす ため，トークンベクトルは文字ベクトルから計算す る $[16,17] . M$ 文字のトークン $w=c_{1}, \ldots, c_{M}$ のべク トル $\mathbf{v}_{w}$ は，次のように計算する。

$
\mathbf{v}_{w}=h\left(\operatorname{BiLSTM}_{\mathrm{emb}}\left(\mathbf{v}_{c_{1}}, \ldots, \mathbf{v}_{c_{M}}\right)\right)
$

ここで $\mathbf{v}_{c_{m}}$ は $c_{m}$ の文字分散表現である. $\mathbf{v}_{c_{m}}$ と BiLSTM $_{\text {emb }}$ は, 日本語 Wikipedia の全文を言語モデ ルとして学習し [18], QA の学習時には固定した. $g$ と $f_{\mathrm{BoW}}, f_{\mathrm{BiLSTM}}$ は, QA の学習データで学習した. ハイパーパラメータについて，文字分散表現 $\mathbf{v}_{\mathbf{c}}$ のサイズは 256, BiLSTM $_{\mathrm{emb}}$ と $\mathrm{BiLSTM}_{\mathrm{QA}}$ の隠れべ クトル， $\mathbf{v}_{w}$ のサイズは 1,024 , 各 BiLSTM のレイ ヤ数は 1 とした. 交差エントロピー誤差を用いて Adam [19] で更新を行い，30 エポックの学習のうち 検証データでの性能が最も高いモデルを採用した。

## 2.4 人間による読みやすさの収集

## 2.4.1読みやすさの順位付け

異なるトークン分割に対する読みやすさの最も単純なアノテーション方法として，人間による順位付 けを行った。実際のアノテーション画面を図 2 に示 した. アノテータは，ランダムに並べられた最大 6 つのトークン分割について，区切り方が適切だと思 うものから順に並び変えるよう指示される. 本作業 は1名のアノテータが担当した。

図 2 読みやすさの順位付けアノテーション画面

晴れて いる時 雨の

降る弱い ことをな 突然

う? に んとい

図 3 Bag-of-Words によるアノテーション画面

## 2.4.2 Bag-of-Words での回答収集

2.4.1 節のアノテーション方法では, 適切な区切り 方の基準がアノテータの知識に強く依存する. 本研究では，タスクを解くうえで各トークン分割がどの 程度読みやすいかの情報を収集したい。そのため， この方法では目的が達成できるとは言えない.

そこで，異なるトークン分割を用いたときの QA タスクへの回答時間及び正解率を収集することで，人間に読みやすいトークン分割を分析する ${ }^{2)}$. 具体的には，人間に読みやすいトークン分割は，語順が ランダムであっても元の意味を復元しやすいと仮定し, 図 3 のようなアノテーション画面を用いて, Bag-of-worrds形式での回答を行った.

アノテーション時には, 各設問画面の表示から最後に選択肢のボタンを押下するまでの時間を記録す る.トークン分割が読みやすいものである場合，こ の時間が短くなる傾向が見られると期待される。 な お，クラウドワーカーによるアノテーションを行っ ているため，作業中の行動のすべてを監視すること は出来ない，そのため，回答時間が 30 秒を超える もの3)については，画面を開いた状態で放置した可能性が高いとものとし，集計の対象から除外した.

本作業では，1名のアノテータが問題ごとにすべ

2）画像とテキストを用いた既存調査 [20] に倣った.

3）図 3 の例から分かる通り，平均的な回答時間は 5 秒程度,設問が長いものでも 15 秒程度で回答可能である。

表 3 JCommonsenseQA での正解率 (検証データ). 列内 の最大値を太字，最小値を下線でハイライトした。

てのトークン分割の種類について回答する。そのた め，異なるトークン分割で問題文を提示していると はいえ，過去に解いたことのある問題に対して何度 か回答を行うことになる。そこで，問題の丸暗記を 防ぐために，同じ問題の間隔をある程度あけて（平均 1591.8 件）提示するようにした．また，回答内容 の記憶を防ぐために，アノテータへの正答の提示も 行わない. 本作業には 6 名のアノテータが参加して おり，現時点で全サンプル 10,058 件について各 1 名 の回答結果が収集できている。

## 3 結果と分析

## 3.1 読みやすさと機械学習モデルの正解率

QA モデルを用いたときの，各トークン分割手法 ごとの正解率を表 3 に示した ${ }^{4)}$. Bag-of-Words を用 いたモデルでは BPE，Unigram の順に正解率が高く， BiLSTM を用いたモデルでは Unigram, MaxMatch の順に正解率が高い。また，どちらもモデルも Random, MeCab の順に正解率が低くなっている.表 4 の「読みやすさ」の列には，2.4.1 節の方法で 収集した読みやすさの順位付けについて，各トーク ン分割手法が 1 位となった割合を示した。なお，予稿投稿時点では全サンプルのうち，学習データの 3,302 件のみアノテーションが完了している. 結果 より，人手で整備した辞書を用いている MeCab が 最も読みやすいことが分かる。一方で，MeCabによ るトークン分割は，機械においては Random の次に 正解率が低いものである。ここから，人間に読みや すいトークン分割は，必ずしも機械の正解率が高い ものとは一致しないと言える。

4） 3 回試行の平均値を報告. OpTokについては，ある学習済 みのモデルに対して最適化したトークン分割を，初期化が異 なる別の QA モデルの学習に再利用し, 3 回試行を行った. そのため, OpTok を用いた場合の正解率は必ずしも Unigram よりも高い值にならない.

} & \multirow[b]{2}{*}{ 学習 } & \multicolumn{2}{|c|}{ 正解率 } & \multicolumn{3}{|c|}{ 平均回答時間 } & \multicolumn{3}{|c|}{ 平均トークン数 } \\

表 4 各トークン分割手法で問題文を区切って提示した際の，読みやすさ 1 位の割合（\%，学習データの 3,302 件）と正解率 (\%)，平均回答時間（単位は秒，正答・回答時間が 30 秒以内のサンプルのみを集計），各サンプルの問題文の平均 トークン数. 列内の最大値を太字，最小値を下線でハイライトした.

## 3.2 機械学習モデルと人間の正解率

表 4 の「正解率」の列には，2.4.2 節で説明した方法で収集した人間による正解率をまとめた. データ 全体での人間の正解率は MeCab，BPE の順に高い. また，正解率は Random，OpTokの順に低い.

これらの内容から，ランダムなトークン分割は人間にも機械にも扱いにくいと言える。また，人間と 機械でトークン分割による正解率の大小関係が異な ることから，人間と機械の正解率が高いトークン分割が必ずしも一致しないと言える.

## 3.3 分割と回答時間の関係

表 4 の「平均回答時間」からは，OpTok，Unigram の順に回答時間が短いことが分かる. OpTok は Unigramをベースとして最適化を行ったトークン分割であるため，人間は言語モデルを用いて語彙の構築とトークン分割を行ったテキストを効率的に読 むことができると言える. OpTok は Unigram による トークン分割のうち, 助詞などの高頻度語を更に切 り離す傾向がある [6]（表 1）ため, 今回の提示形式 において語順の推測がしやすくなり回答時間が短く なっていると考えられる。一方で Randomなトーク ン分割を用いたときの回答時間は顕著に長く, 読み づらいトークン分割と言うことができる.

MeCab を用いたときの回答時間は，Random の 次に長い。これは， MeCabによるトークン分割が Unigram などに比べて細かく, 問題文を表すための トークン数が多いことに起因すると考えられる（表 4 「平均トークン数」).トークン数が多い場合, 内容 を把握するために時間がかかることから，回答時間 も長くなると考えられる。実際に全アノテーション 内容についての，問題文に含まれるトークン数と回答時間との相関係数は 0.22 であり，弱い正の相関が
ある. 一方で, 平均トークン数が比較的多い OpTok の回答時間が最も短いことから，トークン数以外の 要素が回答時間の長さに影響を与えていると考えら れる。例えば， MeCabを用いる場合は単語の意味が 理解できることから，より内容について長考する傾向にある，などの原因があると考えられる.

## 4 おわりに

本稿では，人間と機械学習のモデルのそれぞれに 扱いやすいトークン分割について, 調査と実験の結果を報告した．QA のデータを用いた実験では異な るトークン分割手法を用いて問題文を分割し，機械 による正解率を収集した。また，問題文の語順を シャッフルした上で人手でのアノテーションを行 い，人間による回答の精度と回答時間を収集した。収集した結果より，機械学習のモデルの正解率が高 くなるようなトークン分割は，必ずしも人間による 正解率が高くなるものや，人間に読みやすいものに 一致するとは限らないことが示唆された。

本研究では引き続きアノテーション作業を進め,人間による正解率や回答時間に関する情報を収集 する。また，トークン分割の差が人間の回答に及ぼ す影響の調査方法については, 現在の方法では差が 大きく表れていないことから，方法の改善が必要で ある。例えば，問題文に含まれるトークンをフラッ シュカード形式で提示した場合の正解率や，アノ テータの視線情報を用いたデータ収集などが考えら れる. 機械学習のモデル側についても, 実験設定の 改善の余地は大いにある．例えば，より現代的な比較を行うためには，大規模言語モデル [21] の事前学習から異なるトークン分割手法を用い，その影響を 調査する必要がある. 今後も実験内容の再検討を重 ね，人間と機械学習のモデルに扱いやすいトークン 分割の差について調査を行う.

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を

受けたものです. また，アノテーションの設計では 熊野康孝氏と六条範俊氏にご助言いただきました.

## 参考文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of ACL, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of ACL: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth LREC, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[8] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006

[9] 康晴伝, 智信小木曽, 秀樹小椋, 篤山田, 信明峯松, 清貴内元, 花絵小磯. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 102007.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of ACL, Vol. 1, pp. P1715-1725, 2016.

[12] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast wordpiece tokenization. In
Proceedings of the 2021 Conference on EMNLP, pp. 2089-2103, 2021

[13] Jordan Boyd-Graber, Brianna Satinoff, He He, and Hal Daumé III. Besting the quiz master: Crowdsourcing incremental classification games. In Proceedings of the 2012 Joint Conference on EMNLP and CoNLL, pp. 1290-1301, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997

[15] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 20472052. IEEE, 2005.

[16] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of NAACL: HLT, pp. 260-270, 2016.

[17] Chunqi Wang and Bo Xu. Convolutional neural network with word embeddings for chinese word segmentation. In Proceedings of the Eighth IJCNLP, pp. 163-172, 2017.

[18] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of NAACL: HLT, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[19] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[20] Chunpeng Ma, Aili Shen, Hiyori Yoshikawa, Tomoya Iwakura, Daniel Beck, and Timothy Baldwin. On the effectiveness of images in multi-modal text classification: An annotation study. ACM Trans. Asian Low-Resour. Lang. Inf. Process., oct 2022. Just Accepted.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.


# 沖縄語の Universal Dependencies ツリーバンクコーパスの構築

宮川 創 ${ }^{1}$ 金山 博 $^{2}$ 田口 智大 ${ }^{3}$ 當山 奈那 4
1 国立国語研究所研究系 2 日本アイ・ビー・エム株式会社東京基礎研究所
${ }^{3}$ University of Notre Dame 4 琉球大学 人文社会学部
so-miyagawa@ninjal.ac.jp hkana@jp.ibm.com
ctaguchi@nd.edu tohyama@hs.u-ryukyu.ac.jp

## 概要

沖縄語は日琉語族のうちの琉球諸語に属する言語で，消滅の危機に瀕しているが，ローリソース 言語の中では比較的テキスト資料は多い.そこで，国立国語研究所の語彙資源『沖繩語辞典』および，談話テキスト資源『方言談話資料』をもとに，沖縄語の Universal Dependencies ツリーバンクを構築して いる. 本稿ではその過程で検討した, 表記法, 語分割，品詞や係り受けタグの選択について報告する.

## 1 はじめに

沖縄語は，日琉諸語のうちの琉球諸語の中の北琉球諸語に属し, 沖縄島中南部を中心に使用されてき た言語である. しかし, その使用は急速に衰退して おり, UNESCO によって，消滅の危機にある言語と 認定された [1]. それにもかかわらず，沖縄語の中 でも，琉球国時代の政治の中心地であった首里の言語は，日琉諸語のなかでは，日本語のつぎに古い 書記記録をもち，書かれたテキストは比較的多い. Universal Dependencies [2] (以下，UD) は, 世界の諸言語の係り受け構造を記述するオープンコミュニ ティのプロジェクトである. 世界中の消滅危機言語 や少数言語や古典言語のツリーバンク開発も盛んで あり，UD の最新版 ver. 2.11 は，世界の 138 の言語 のツリーバンクを有している．消滅の危機に瀕する 言語ならびに少数言語としては，ブラジルの少数民族の諸言語や，オーストラリアの先住民族の諸言語 などが含まれている. しかし, 日本語派の諸語と琉球語派の諸語からなる日琉語族の諸言語で，UDツ リーバンクを有しているのは現代日本語と古典日本語のみである．そこで，本稿は，ローリソース言語 かつ消滅危機言語の言語資源開発の一環としての沖縄語の UDツリーバンクの設計について，現在まで の作業の進展も交えながら論じる。語彙情報は国立国語研究所の『沖繩語辞典』 [3] に基づき，コーパ スのテキストは同研究所の『方言談話資料』の第 6 ・ $8 \cdot 9 \cdot 10$ 巻 $[4,5,6,7]$ に収録されている沖縄語首里方言の談話テキスト資料を用いている。いずれの資料も，国立国語研究所のリポジトリ上で CC BY 4.0 ライセンスで配布されている. 琉球諸語のタグ付き コーパスは現在存在せず，本稿が述べる沖縄語 UD ツリーバンクコーパスが琉球諸語で初の言語学的タ グ付きコーパスとなる見込みである。

## 2 沖縄語の言語学的特徵

沖縄語は日琉語族に属しており，日本語とは親縁関係にあり，統語論・形態論的特徴もその多くを 日本語と共有している。例えば，次の図 1 は，「私 は(わんね一) 彼(あり)に (んかい) 酒 (さき)を与え た(くいたん)」という意味の例文であるが，基本語順は SOV であり，格助詞 (んかい) が名詞の後に 来ている。この図では，例文の上には単語の依存先 (HEAD) を表す矢印と 5 節で述べるそれぞれの依存/係り受け関係 (DEPREL) タグが，例文の下には単語毎に 4 節で述べる Universal Part-of-Speech (UPOS) と グロス (語釈) が示されている.

図1「私は彼に酒を与えた」を意味する例文 ${ }^{1)}$

形態素同士の融合が，沖縄語では日本語よりも頻繁に見られる。例えば，図 1 の ‘わんね一” (代名詞 ‘わ一’「私」十主題の副助詞 ‘や’「は」)のような代名詞/名詞と副助詞の融合である。しかし，これら の問題に踏み込む前に表記法の問題を解決する必要 がある．沖縄語は正書法が確立しておらず，漢字仮

1） TOP は主題，PST は過去，CNCL は終止形接尾辞を表す.
名混じり表記, 仮名表記, アルファベット表記など 様々な表記が存在するためである。

## 3 沖縄語の表記の問題

漢字仮名混じり表記は，琉球王国時代から，一般的によく用いられているが，様々な変種が存在す る. 特に漢字表記は，意味や個人的な解釈に基づく ことが多く，摇れが多く見られる. 沖縄語は, 日本語と漢字の読みが異なることが多いことから，近年 では，仮名のみの表記をすることも多くなってい る、ルビなしの漢字のみで正確な読みを全て推測す るのが一般的に困難であることから，本研究ではま ず仮名表記のみでの沖縄語のUD 化を試みる. 沖縄語の仮名表記には以下の種類がある。

1. 伝統的仮名表記：『おもろさうし』[8], 組踊 [9], 琉歌，ベッテルハイム訳聖書など。キヤウ ンと書いて, [tco:n]「来ている」2)と発音される など，発音と経りとの乘離が大きい。

2. 現代的な仮名表記: 沖縄県のしまくとうば正書法検討委員会による「しまくとうば普及推進行動計画 (しまくとうば県民運動)」の公式表記 や，西岡敏・仲原穣著，伊狩典子・中島由美協力『沖縄語の入門』[11]の表記，琉球諸語統一的表記法 [12], 船津好明の沖縄文字表記 [13],沖縄語普及協議会の表記などがあるが，声門閉鎖音の対立などの表記の仕方が異なる.ひらが な/カタカナを用いるかでもばらつきがある。

(a)『沖縄語の入門』[11]の表記 : 日本語しか知 らない読者に対しても分かりやすい仮名表記になっている．例：ウゥトゥ/wutu/「夫」 vs. ウトゥ/Rutu/「音」，ワー/waa/「私」vs. ッワー/Rwaa/「豚」.

(b) 沖縄県のしまくとうげ正書法検討委員会 [10]:ほぼ西岡・仲原と同じだが，一部 Unicode にはない上付き文字を使用してい る. 例 : ウウトゥまたは'ウトゥ/wutu/「夫」vs. ウトゥ/Rutu/「音」.

(c) 小川晋史他『琉球のことばの書き方琉球諸語統一的表記法』[12] の表記法：「しま書体」フォントの使用が前提で, Unicode 未登録の文字を多数使用している。

（d）船津好明 [13] による現代的なかな表記十独自の「沖縄文字」(ひらがなの合字): 純粑

2）しまくとうば正書法検討委員会の表記法 [10] では‘ちょー ん.
なモーラベースだが Unicode にない.

沖縄語 UD で使用するテキストデータのために現在作成している『沖繩語辞典』[3] の多言語翻訳版 TEI XML ファイルを整備するにあたって，以下の 表記法に統一することを決定した.この辞典の基で ある島袋盛敏の稿本は，カタカナ表記であったが，国立国語研究所の地方言語研究室により言語学的 なアルファベット表記に置き換えられた. しかし， この表記は専門的であるため，一般人には容易では ない。そこで，一般に用いられている表記法につい て，調査を行い，特に表記が分かれる発音の違いを 整理した．そして，様々な仮名表記を相互に変換可能にした上で「しまくとうば県民運動」の表記に準 じながら，Unicode では表せない上付き文字を下付 き文字に置き換え，コンピュータでの使用の容易さ を第一に考えたかな表記の標準化を行った. なお，親しみやすさと入力しやすさを考慮して仮名はカタ カナではなくひらがなを用いた。この標準化された かな表記に『沖縄語辞典』[3] の表記を自動的に変換 し，それを基にUDを構築している。

## 4 沖縄語の品詞とUPOS

UD では，Google の Universal Part-of-Speech[14] を 継承した, Universal Part-of-Speech (UPOS; 付録 A の 表 3 参照) が，品詞タグとして用いられる. UPOS は，UD の標準形式の CoNLL-U 形式のテーブルの 第 4 番目の列に書かれる. UPOS は，すべての言語 に適用できるよう，比較的少なく，普遍的な品詞に 絞ったものである. 日本語の助詞は, 格助詞・副助詞は ADP，終助詞は PART，接続助詞は SCONJ な ど，用途によって UPOS が分かれる。さらに，UD の語の表現は原文の全体をカバーするため, 句読点 などのパラ言語的記号も PUNCT として UPOSを与 えられる. 現在, 日本語には 8 つの UDツリーバン クがある。沖縄語は, 日本語と同じく日琉諸語であ り, 品詞のカテゴリーが日本語と大きく異なること がないため, 日本語の品詞と UPOS の対応を使える ところがほとんどである。しかし，沖縄語は，より 言語学的な品詞分類が成されることが多く, 文法家 により異なる品詞体系がなされるため, 注意が必要 である。沖縄語は，言語類型論的に見れば，日本語共通語に比べ，形態素同士の融合 (fusion) の度合い が高い。例えば，“ちゅーん’「来る」の肯定現在進行形は ‘ちょーん’「来ている」であるが，否定現在形は‘く一ん’「来ない」，肯定過去形は ‘ちゃん’「来

た」である。接語・接辞の区分けが難しい問題もあ り，特に名詞および代名詞に接続する助詞と動詞に 接続する接尾辞・接語で頻繁にみられる。

国立国語研究所『沖縄語辞典』(1963) の名詞，自動詞, 他動詞, 形容詞, 連詞, 副詞, 連体詞, 接続詞,感動詞, 助詞の 10 の品詞は, 沖縄語 UD の UPOS に 以下のように対応づけられる。

$\cdot$NOUN 普通名詞：‘ぼーづい’「坊主」など，お よび，助数詞：‘ちゅ” (“ぴちゅ'「一人」‘たちゅ”「二人」などの) など.

-PROPN 固有名詞：“なーふあ”「那覇」など.
- VERB 動詞 (辞書形から末尾の ‘九”を除去した もの; 5.1 節で詳述する)：“ゆぬ (“ゆぬん’「読 む」から)など.
- ADJ 形容詞 (辞書形から末尾の ‘几’を除去した もの)*‘まぎさ’「大きい」など，および，DET を除く連体詞：“いるんな「色んな」など.
- ADV 副詞: ‘しかしか’「イライラと」, ‘しぷー とう〉「びっしょり濡れて」など.

・INTJ 間投詞：‘うね’「おや」，“あひゃんがれ一’「やけくそなときに言う言葉」など.
- PRON 代名詞：‘わ一’「私」，‘わったい’「私た ち二人 (双数) 」, ‘うんじゅ’「貴方」など.
- NUM 数詞 : 漢語数詞 : ‘さん’「三」など，およ び，助数詞を伴う非借用語数詞 (助数詞は名詞 として分離; 5.2 節を参照) : ‘た’「二」など.
- AUX 動詞の屈折および派生接尾辞/接中辞 (音節文字を使用する関係上，子音語幹につく挿入母音は動詞側に含まれる)：“ん’ (叙述・終止の接尾辞)， ‘りー' (受身の接中辞)，および，連詞： ‘や’「だ」など，付録 $\mathrm{E}$ 参照.
- $\mathrm{CCONJ}$ 等位接続詞：'また’「また」，'とう”「と」など.
- SCONJ 準体助詞 ‘し’. $\left.{ }^{3}\right)$

・DET 連体詞の一部 : ‘くぬ’「この」‘あぬ’「あ の」‘あふいな’「あんな」など.

$\cdot$ADP 格助詞：“が’ (主格), ‘ぬ’ (主格・属格), ‘んかい’(与格), 副助詞: ん’ (添加), “や’ (主題)，係助詞： ‘どう” (焦点)など.

-PART 様々な終助詞：疑問の終助詞 ‘が’と ‘み’,確認などの終助詞 ‘やー’など.

3）例：“ゆぬし’「読むの」. 日本語UDの場合は動詞のテ形 'て’ (CCONJ となるものを除く) も SCONJに入れられる場合 が多いが，沖縄語では ‘て’に相当するものは動詞語幹と融合することが多いため，単独の形態素としての抽出は困難で ある. $\cdot$PUNCT 句点，読点，括弧開，括弧閉など，
- SYM 記号・補助記号のうち PUNCT 以外のもの.

・Xフィラー: ‘あぬー’「あのー」など.

## 5 語分割と係り受けの問題点

依存/係り受け関係 (DEPREL) タグに関しては，基本的に統語論が近い現代日本語の UD のもの ([15] や[16] など) を踏襲しているため，ここでは個々の 事例を詳述することは割愛する。しかしながら，沖縄語特有の問題，特に，語幹交替と融合語の問題な どは依存関係タグや UPOS でどう扱うかを議論する 必要がある．以下で，それらの問題点を挙げ，その 解決策を考察する。

## 5.1 動詞と形容詞の語幹と活用接辞

日本語よりも屈折度が高く語幹が交替する沖縄語 の動詞は，日本語 UDにはない対応をしなければな らない。沖縄語の動詞の活用形には, I 型から XIV 型までの 14 の型があり ([3] の p.59)，さらに，I 型 には下位分類が 4 つ，XIV 型には下位分類が 2 つあ る. 特に注意すべきは第 III〜XIV 型動詞であり, こ れらは語幹の末尾子音が変化する。例えば，以下の “ゆぬん' /junun/「読む」の場合は，基本語幹 jum-の $\mathrm{m}$ が $\mathrm{n}$ や に変化する.

・jum-語幹: “ゆまん’/juman/「読まない」，“㚫ぶ しゃん’/jumibusjan/「読みたい」, “㳊めー’/jumee/「読めよ」，“ゆむな’/jumuna/「読むな」など。

・ jun-語幹：“ゆぬん”/junun/「読む」，“ゆなびー ん’/junabiin/「読みます」，“ゆぬら”/junura/「読む だろうか」など.

・jud-語幹: “ゆだん’/judan/「読んだ」, “ゆどーちゅ ん'/judoocun/「読んでおく」, '汉でいー'/judii/「読 んだか」，“ゆでい/judi/「読んで」など.

UD_Japanese-BCCWJ[17] などでは，「読む」なら 「読ま」「読み」「読む」「読め」などを異形態として 登録しており，その後に来る丁寧，否定，アスペク ト，ムードなどの動詞接尾辞は，AUXとして登録し ている. 沖縄語でも，動詞語幹十接尾辞の組合わせ を全ての動詞で登録するよりは，音節文字ベース での動詞の語幹を全て登録して，接尾辞の残りは，助動詞として登録する方が登録数が少なくて済む.同方法を沖縄語で行う場合，付録 B の表 4 で示し ている通り，“ゆぬん’「読む」には，“ゆぬ”，“ゆな”, ‘ゆま’，'ゆみ’，“ゆだ’，“ゆどー’，'ゆでいー’，'ゆ

でい’, ‘ゆでー’の9 種類の異形態 (あるいは異トー クン) の登録が必要である ${ }^{4)}$. 更に沖縄語には約 10 種類の不規則動詞が存在し，日本語共通語には見ら れない補充法5)がいくつか見られる. これらの出現 しうる不規則な表層形を全て登録する。

沖縄語では形容詞も活用する. 14 の型がある動詞と比べ，形容詞は 2 つの型しかなく規則的である が，動詞と同様，音節ベースの各々の活用形を全て 登録する。語幹を除く活用接辞 (接尾辞および接中辞) はそれぞれ AUX にし, 語幹 (VERB) と活用接辞 (AUX) の係り受け関係は auxにする6).

## 5.2 数詞と助数詞の扱い

UD_Japanese-BCCWJなどでは，「一人」など非借用語数詞十助数詞の組み合わせを NOUN に入れて いるが，これは，国語研の短単位がこれらを名詞 として扱っているためである。沖縄語では，「一つ」 が‘ていーち’であるのに対して，「一人」が‘ちゅい” であるように，数詞の「1」にあたる部分が‘ていー， と“ちゅ”で異なる形式が用いられることもあるもの の, 多くの数詞十助数詞は, 数詞の部分に促音や長音が挿入されるだけの単純な異形態である場合が多 い.そこで，数詞十助数詞に関しても，不規則な形式の数詞が出るものも含めで , 非借用語数詞の標準形のレンマを定め，促音や長音が挿入された形を 数詞の異形態とし, 助数詞を名詞として, 数詞と助数詞の依存関係を clf (classifier) とする ${ }^{8)}$.

図 2 「お姉様御両名が」を意味する例文

## 5.3 名詞/代名詞/助詞と副助詞の融合

名詞，あるいは，代名詞がその後に続く副助詞と 融合するのも沖縄語の特徴である. 特に一部の名詞・代名詞・助詞は，副助詞の ‘や’ (日本語の主題の 副助詞「は」に相当) が後続する場合，音融合を起

4）更に，Universal Feature でその文法機能を記すべきである。付録 $\mathrm{F}$ の表 5 を参照.

5） 英語の go に対する went など元々別の語彙がパラダイムに 組み込まれた形.

6）具体例は付録 $\mathrm{E}$ の図 4 および 5 を見よ.

7）'てぃーち’の'ていー'と と゚゚ゅ'の'ぴををンマ化し\{ぴ \}とした. ‘ぴ’を選んだのはこの形式が出現することが多い からである。

8）他の例はを付録 D の図 3 を見よ.
こす. 一部の代名詞は副助詞 ‘ん’ (日本語の副助詞「も」に相当) が後続するときに特別な形を取る.

表 1 代名詞/名詞と副助詞の融合の例

これらの母音融合は，語幹の子音や母音が変化す る動詞の「テ形」と比べ，比較的単純である. よっ て，フランス語の du (前置詞 de と定冠詞 le の融合) のように，複数語トークン (Multi-Word Token; MWT [18])を用いて，CoNNL-U の省略形である表 2 の‘ん でー’ (接続助詞 'んでい’と副助詞 'や’ の融合) のよ うに表す。

表 2 接続助詞と副助詞の融合語を表した例

## 6 おわりに

以上，『沖繩語辞典』[3] の語彙情報と『方言談話資料』 $[4,5,6,7]$ の談話テキスト資料を用いて現在開発中の沖縄語 UD ツリーバンクコーパスにつ いて，UPOS などのタグの設定と沖縄語特有の問題点について述べた. 現在，本稿の方法に従って，ツ リーバンク構築を行っており，GitHub 上に UD リポ ジトリリ)の一つとして UD_Okinawanを作成し，公開 していく予定である．今後解決していくべき問題と しては，補充法を含む不規則に変化する不規則動詞 をトークン化していく際に，それぞれの形態がどの ような文法機能を有しているか明白にする必要があ ることである．この際，UD の Universal Features を 用いて，その形態のテンス，アスペクト，ムード，極性 (肯定/否定) など文法機能を示すことで解決で きる ${ }^{10)}$ 。このように沖縄語の UD ツリーバンクを構築し，日本語との異同，さらに世界の諸言語との違 いを量的な分析で明示できるように公開する。こう して，本沖縄語 UDツリーバンクを琉球諸語の UD ツリーバンクの嚆矢とする。

9) https://github.com/UniversalDependencies (閲覧日 202201-11)

10） 付録 $\mathrm{F}$ の表 5 を参照.

## 謝辞

本研究は JSPS 科研費 基盤研究 (B) JP19H01265 「多言語による日本語学用語辞典および日琉諸語の 用例に対するグロス規範の作成」, 挑戦的研究 (萌芽) JP21K18376「フィールドデータのアーカイブに 向けた問題点の整理と解決策」, 人間文化研究機構共同研究プロジェクト (2022 年度〜) 共創先導プロ ジェクト 共創促進研究「学術知デジタルライブラ リの構築」, 国立国語研究所共同研究プロジェクト (2022 年度 ) 機関拠点型基幹研究「開かれた言語資源による日本語の実証的 - 応用的研究」基幹型「消滅危機言語の保存研究」, 国立国語研究所共同研究 プロジェクト (2022 年度〜) 広領域連携型基幹研究「異分野融合による総合書物学の拡張的研究」国語研ユニット「古辞書類に基づく語彙資源の拡張と語彙・表記の史的変遷 $\rfloor$, 国立国語研究所共同研究プ ロジェクト (2022 年度〜) 機関拠点型基幹研究「開 かれた言語資源による日本語の実証的・応用的研究」基幹型「多様な語彙資源を統合した研究活用基盤の共創 - 統括班」, 東京外国語大学アジア・アフリ 力言語文化研究所共同利用 - 共同研究課題「理論言語学と言語類型論と計量言語学の対話にもとづく言語変化・変異メカニズムの探求」, 大学共同利用機関情報・システム研究機構データサイエンス共同利用基盤施設 2022 年度公募型共同研究 ROIS-DS-JOINT 「日琉諸語の言語類型アトラス LAJaR の開発と分析」の助成を受けたものです.

## 参考文献

[1] 新垣友子. 琉球における言語研究と課題. 沖縄大学地域研究所 (編), 琉球諸語の復興, 沖縄大学地域研究所叢書, pp. 13-29. 芙蓉書房出版, 東京, 2013.

[2] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[3] 国立国語研究所. 沖繩語辞典, 国立国語研究所資料集, 第 5 巻. 財務省印刷局, 東京, 1963.

[4] 国立国語研究所. 方言談話資料 (6) - 鳥取・愛媛・宮崎・沖縄 -, 国立国語研究所資料集, 第 10 巻. 国立国語研究所, 1978.

[5] 国立国語研究所. 方言談話資料 (8) - 老年層と若年層との会話 - 群馬・奈良・鳥取・島根・愛媛・高知・長埼・沖縄, 国立国語研究所資料集, 第 10 巻. 国立国語研究所, 1985.
[6] 国立国語研究所. 方言談話資料 (9) - 場面設定の対話 - 青森・群馬・千葉・新潟・長野・静岡・愛知・福井・奈良・鳥取・島根・愛媛・高知・長埼・沖縄,国立国語研究所資料集, 第 10 巻. 国立国語研究所, 1986.

[7] 国立国語研究所. 方言談話資料 (10) - 場面設定の対話その 2 - 青森・群馬・千葉・新潟・長野・静岡・愛知・福井・奈良 ・鳥取 - 島根 - 愛媛 - 高知 ・ 長埼 $\cdot$沖縄, 国立国語研究所資料集, 第 10 巻. 国立国語研究所, 1987.

[8] 波照間永吉. おもろさうし. 琉球文学大系/名桜大学『琉球文学大系』編集刊行委員会編纂, No. 1.ゆまに 書房, 東京, 2022.

[9] 当間一郎. 組踊写本の研究. 第一書房, 東京, 1999.

[10] 沖縄県文化観光スポーツ部. 沖縄県における「しま くとうば」の表記について, 2022.https://www.pref. okinawa.lg.jp/site/bunka-sports/bunka/shinko/ documents/02_shimakutubahyouki.pdf (2023-01-11 閲覧).

[11] 西岡敏, 仲原穣, 伊狩典子, 中島由美. 沖縄語の入門 : たのしいウチナーグチ. 白水社, 改訂版, 2006.

[12] 小川晋史, 重野裕美, 新永悠人, 又吉里美, 當山奈那, Thomas Pellard, 林由華, 下地理則, 下地賀代子, 中川奈津子, Christopher Davis, 麻生玲子, 山田真寛. 琉球 のことばの書き方 : 琉球諸語統一的表記法. くろし お出版, 2015 .

[13] 船津好明, 中松竹雄. 沖縄口 (うちなーぐち) さびら：沖縄語を話しましょう. 琉球新報社, 2010.

[14] Slav Petrov, Dipanjan Das, and Ryan McDonald. A universal part-of-speech tagset. arXiv preprint arXiv:1104.2086, 2011.

[15] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 032019.

[16] 金山博, 宮尾祐介, 浅原正幸, 田中貴秋, 植松すみれ.日本語 Universal Dependencies $の$ 試案. 言語処理学会第 21 回年次大会 発表論文集, pp. 505-508, 2015.

[17] 大村舞, 浅原正幸. UD Japanese-BCCWJ の構築と分析. Vol. 3, pp. 161-175, 2018.

[18] 金山博, 大湖卓也. UD_English-EWT とのつきあい方 . 言語処理学会第 28 回年次大会 発表論文集, pp. 2013-2017, 2022.

## 付録 (Appendix)

## A. UPOS 一覧

表 3 UD ver. 2 の Universal POS tags

## B. 動詞活用形トークナイズの例

表 4 XII 型動詞 ゆぬぬん「読む」のいくつかの例

## C. AUX の実例

・動詞接尾辞 (辞書形から末尾の ‘ん’を除いた形)

一 “ん' (叙述・終止の接尾辞)

一 ‘る' (連体の接尾辞)

— ‘ぎゆ’/あぎゆ’ (進行の接中辞)
- 『びー’/いびー' (丁寧の接中辞)

—“みえー’んしこー' (尊敬の接中辞)

— ‘ぶしゃ' (欲求の接中辞)

11）[16] および [15] では，「接辞」と訳されている。

12）レンマを\{\}で囲って表す.
—“しゅ’゙あしゅ” (使役の接中辞)
- ‘ゆーしゅ” (可能の接中辞)

— “みゆ’“いみ” (使役の接中辞)
- ‘りゆ’゙ありゆ’ (受身の接中辞)
- ‘ぎさ’/いぎさ’ (推定・伝聞の接中辞)，

— ‘らー’/いら一' (仮定の接尾辞)など.

・連詞 (辞書形から末尾の ‘ん’を除いた形式) ${ }^{13)}$
- ‘や’「だ」 (否定形‘あら”)
- ‘でーび’「です」

_‘ぐとー’「のようだ」など.

## D. 数詞 + 助数詞の書き方

図 3 「四日の日」を意味する例文

## E. 動詞の接尾辞の助動詞としての扱い

図 4 「宜しかったでしょうに」を意味する例文

図 5 「酒は米から作られる」を意味する例文

## F. 不規則動詞の Universal Feature の記述例

表 5 'ちゅーん'「来る」，‘くーん’「来ない」，'ちょ一ん’「来ている」，'ちゃん'「来ない」14)

'ちゅー' $\mid$ Tense=Pres|Polarity=Pos

$\cdot$く-, Tense=Pres|Polarity=Neg

‘ちょー' Tense=Pres|Aspect=Prog|Polarity=Pos

'ちゃ' $\quad$ Tense=Pres|Polarity=Neg

13）必ず，活用接尾辞 (AUX) を伴う. 英語の be のような 「verbal copula」の UPOS は AUXになる.

14）レンマは\{ちゅー\}であり，これらVERBには，‘ん’など の AUX が必ず後続.


# WordNet Lexicographer カテゴリ推定による語義サイズ縮約を用いた 語義曖昧性解消

橋口卓弥 ${ }^{1}$ 佐々木稔 ${ }^{1}$
1 茨城大学大学院理工学研究科情報工学専攻
\{22nm740a, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

語義曖昧性解消は、文中に出現する多義語が辞書中のどの語義として使われているかを推定するタス クである。このタスクに対して様々な手法が研究さ れている中、語義間の上位下位関係などを使って少 ないサイズの語義で語義曖昧性解消を行うという手法が存在する。しかし、この手法を用いた場合、正解語義とは lexicographer カテゴリが異なる語義ラべ ルを選択して誤った語義ラベルに判定しやすいとい う問題がある。そこで、本稿では上位下位関係を使 った語義サイズの縮約手法に lexicographer カテゴリ の推定モデルを追加し、推定した lexicographer カテ ゴリを推定された語義ラベルの一部を書き換える手法で精度の向上を試みた。実験の結果、学習に古典的な埋め込みを用いた場合での名詞単語の語義識別精度が上がった。

## 1 はじめに

我々が普段文書や発話などで用いている言語には、文脈に応じて複数の意味を持つ単語が多く存在する。例えば、” mouse” という英単語は、ねずみや(電子 デバイスの)マウスなど複数の意味を持っている。こ のような複数の意味を持つ単語が、特定の文脈では どの意味で使われるのかを識別し、文の意味の曖昧性を無くすことを目的とした自然言語処理のタスク を語義曖昧性解消という。

語義曖昧性解消は、今日に至るまで様々な研究が 行われており、多くのアプローチ方法が提案されて きたが、その中でも教師あり手法が最良のスコアを 出しており、現在の手法では教師あり手法が優勢で ある。この教師あり手法の問題点として、人の手に よって作成された意味注釈付きコーパスは量が限ら れていることがあげられる。最大のコーパスである SemCor では、単語は 33760 種類の意味キーで注釈
されているが、これは語義曖昧性解消タスクで広く 使われている語義データベースの意味リストの約 16\%に過ぎない。そこで、Loïc Vial ら[1]は、WordNet に存在する語義間の意味関係を利用して、語義の縮約を行うという手法を提案した。語義縮約による手法を用いて最新の語義曖昧性解消ニューラルネット ワークで実験を行った結果、最新技術を大幅に上回 るスコアが得られた。

しかし、Loïc Vial らの手法を用いて語義曖昧性解消タスクを行い、推定結果を調べると、正解語義と は lexicographer カテゴリが異なる語義を選択して誤 った語義が多く見られた。そこで、本稿では、Loïc Vial らの手法に lexicographer カテゴリの推定システ ムを追加し、推定した lexicographer カテゴリで語義 ラベルの一部を書き換える手法を提案する。また、 この手法が語義推定の精度向上に有効かどうかにつ いて分析をする。なお、 lexicographer カテゴリとは、語義の種類を表す番号であり、詳細は 3.4 節で説明 する。

## 2 関連研究

言語モデルに基づく語義曖昧性解消は、Yuan ら [2] によって最初に作られ、Le ら[3]によって改良された。膨大な量の注釈つきでないデータで学習したリカレ ントニューラルネットワークによって、注目単語の 周りの単語を考慮した予測ができるニューラル言語 モデルが中心的な構成である。

ソフトマックス分類器に基づく語義曖昧性解消の 主なニューラルネットワークは、ソフトマックス関数によって計算された確率分布によって、入力され た各単語を直接分類し、意味を付与する。このニュ ーラルネットワークは 2 つの手法に分けられる。1 つは、Iacobacci[4]らが提案した、辞書に含まれる様々 な単語に対して、トークンごとに異なる複数のニュ ーラルネットワークを持ち、それぞれが特定の単語

と意味を管理できる手法である。もう 1 つは、

Raganato ら[5]が提案した。全ての単語を管理して辞書に存在する全ての意味セットで意味を割り当てる ことができる大規模で一般的なニューラルネットワ ークを有する手法である。

Ciaramita と Altun [6]、Izquierdo ら[7]は複数の Wordnet の意味タグをグループ化することで、より 粗い意味リストを作成し、自然言語処理タスクでよ り有効になる可能性があるということを利用した研究であるクラスタリング手法を提案している。

## 3 提案手法

本稿で提案する lexicographer カテゴリの推定によ る語義曖昧性解消の手法は、Loïc Vial らの語義サイ ズ縮約手法に我々が考案した lexicographer カテゴリ の推定システムを追加して語義曖昧性解消を行う。 まず、訓練データと WordNet3.0 の語義データを用 いて語義の縮約を行う。次に、縮約した語義で作成 された訓練データを用いて語義ラベル推定モデルの 学習を行い、学習したモデルデテストデータ内の各単語の語義ラベルの推定を行う。そして、WordNet3.0 の語義定義文を用いて lexicographer カテゴリ推定モ デルの学習を行い、lexicographer カテゴリ推定シス テムでテストデータ内の各単語の lexicographer カテ ゴリを推定する。最後に、各単語の語義ラベルの推定結果(に含まれる lexicographer カテゴリ)を推定し た lexicographer カテゴリに書き換える。なお、3.1 節 と 3.2 節は Loïc Vial らの語義サイズ縮約手法の説明、 3.3 節と 3.4 節は我々が提案する lexicographer カテゴ リ推定システム追加手法の説明である。提案手法の大まかな処理の流れを図 1 に示す。

図 $1:$ 提案手法の処理順序

## 3.1 同義語に基づく語彙サイズの縮約

語義の辞書である WordNet にて、語義は synset と 呼ばれる同義語の集合で構成されている。synset と は、同じ語義を持つグループで、例えば”person”, “individual", “someone”, “somebody”の 1 番目の語義 は全て”a human being”という共通の語義で定義され ている。WordNetには各単語のそれぞれの語義に語義ラベルがついているが、語義ラベルを共通の語義、 つまり synset ヘマッピングすると、例で示し た"person", "individual", "someone", "somebody"の 1 番目の語義ラベルを 1 つの synset キーで表すことが でき、語彙を縮約することができる。

## 3.2 上位下位概念による語義サイズの縮約

WordNet の語義には、上位概念と下位概念という 意味の包含関係が存在し、上位概念は一般化、下位概念は特定化を表している。

本手法では、同じ上位概念関係の語義をグループ 化して、語義サイズを縮約する手法を紹介する。実際に、”mouse”の 1 番目の語義(小さな䛚歯類)と 4 番目の語義(電子機器)、またこれらの上位概念からな る小さな木構造で考える。これを図 2 に示す。

“mouse\#1”の上位概念である ”living_thing\#1” と"mouse\#4"の上位概念である”artifact\#1”によっ て”mouse”の語義を識別できることから、“artifact” と”living_thing”よりも下位の概念は全て取り除くこ とができる。また、"mouse\#1"を”living_thing\#1”にマ ッピングしても”mouse”の語義を曖昧さなく識別す ることができ、また他の生き物や動物の単語も同様

図 2: mouse\#1 と mouse\#4 の上位概念からなる木構造

にマッピングできる。このことから、語義サイズの 縮約が可能となる。

本手法は、WordNet の全ての語義を上位概念の階層で最も高い祖先にマッピングすることであるが、制約がある。1 つは、祖先は対象単語の異なる語義 を全て識別できなければならず、もう 1 つは、 WordNet に含まれる全ての語義を判別するために不可欠な上位概念を無くしてはいけないということで ある。これらを踏まえて、本手法は次の 2 つのステ ップで処理を行う。1. WordNet の全ての語義のペア の最初の共通親の子を” necessary” としてマークす る。

2. 全ての語義を、語義から上位概念を辿っていった 際の最初の” necessary” とマークされた親にマッピ ングする。

## 3. 3 lexicographer カテゴリ推定システム

WordNet の語義ラベルには、語義の種類ごとに lexicographer カテゴリが付与されている。語義ラベ ルの 1 つ目のコロンの次に該当する番号が lexicographer カテゴリであり、2 桁の番号で表され る。例をあげると語義ラベル” time\%1:11:00::”の lexicographer カテゴリは 11 である。なお、名詞の lexicographer カテゴリの一覧は付録に示す。

本手法では、テストデータ内の各単語の lexicographer カテゴリを推定することが目標である。本手法の処理の流れを図 3 に示す。

WordNet の全語義(全 synset)を入力とし、それに対応する lexicographer カテゴリを出力するように BERT をファインチューニングしてモデルを作成す る。しかし、作成したモデルは語義定義文から lexicographer カテゴリを推定するモデルであり、こ のモデルでテストデータの用例文から lexicographer カテゴリを推定することはできない。そこで、この モデルを活かすために、各語義定義文と(用例文中 の)各単語のベクトルを利用する。

作成したモデルを用いて、用例文の各単語の埋め 込みベクトルを作成する。モデルに用例文を入力す ることで、モデルの隠れ層から用例文中の各単語の ベクトルを取得することができる。このべクトルを 用いて、lexicographer カテゴリを推定する。

用例文中の注目単語 1 つの lexicographer カテゴリ 推定を行うとする。WordNet 上での注目単語の各語義定義文を作成したモデルに入力し、モデルの隠れ 層から各語義定義文の[CLS]ベクトルを取得する。用

図 3: lexicographer カテゴリ推定システム

例文中の注目単語の単語ベクトルと各語義定義文の [CLS]ベクトルとのコサイン類似度を計算し、最も類似度が高い語義定義文の lexicographer カテゴリを推定結果とする。

コサイン類似度とは、 2 つのベクトルがなす角のコ サイン値のことで、すなわち 2 つのベクトルの類似性を表す尺度である。最大値の 1 に近づくほど、ベ クトル同士が似ていると言える。コサイン類似度は、以下の式で求めることができる。

$
\cos (\vec{p}, \vec{q})=\frac{\vec{p} \cdot \vec{q}}{|\vec{p}| \cdot|\vec{q}|}
$

## 3. 4 lexicographer カテゴリの上書き

語義ラベル推定モデルで推定した語義ラベルを、 lexicographer カテゴリ推定システムで推定した lexicographer カテゴリによって上書きする処理につ いて説明する。

推定した語義ラベル内の lexicographer カテゴリが システムで推定した lexicographer カテゴリと異なる 場合に上書き処理を行う。その後、上書き処理をし た語義ラベルが Word-Net 上に存在するか調べる。存在する場合、上書きした語義ラベルを最終的な推定結果とする。存在しない場合、上書き処理したラ ベルではなく元の推定語義ラベルを最終的な推定結果とする。

## 4 実験

本実験は、Loïc Vial らの語義サイズ縮約手法のみ で語義曖昧性解消タスクを行った場合 (1) と、 lexicographer カテゴリの推定手法を追加した語義曖
昧性解消タスクを行った場合(2)のそれぞれの推定結果を比較し、lexicographer カテゴリ推定手法の有効性を検証することを目的としている。

## 4. 1 実験の詳細

3 節で説明した方法に基づいて実験を行う。

モデルの学習は WordNet3.0 とコーパス SemCor を用い、評価は コーパス SemEval2015を用いた。語義ラベル推定モデルの学習はVial らの方法に従 った。また、語義ラベル推定モデルは、古典的な埋 め込みを用いたものと BERT の一種である bertlarge-cased model を用いたものの 2 種類を作成した。 それぞれのモデルについて個別に実験を行った。

(1)と(2)それぞれについて F1 スコアを求め比較す ることにより, lexicographer カテゴリ推定手法の評価を行った. F1 スコアについては、品詞ごとの F1 スコアと全体のF1 スコアを求めた。

## 4.2 実験結果

表 1 と表 2 に実験結果を示す。

表 1: 語義ラベル推定モデルの学習に古典的な埋め 込みを用いた場合の実験の結果

表 2 : 語義ラベル推定モデルの学習に BERT を用い た場合の実験の結果

語義ラベル推定モデルの学習に古典的な埋め込み を用いた場合の実験では、名詞のスコアが高くなっ た。動詞と形容詞のスコア、および全体のスコアは 低くなった。

語義ラベル推定モデルの学習に BERTを用いた場合の実験では、副詞以外の品詞のスコアが下がり、全体のスコアも低くなった。

## 5 考察

古典的な埋め込みを用いて語義ラベル推定モデル を学習させた場合、lexicographer カテゴリの推定シ ステムを追加して行った語義曖昧性解消は、 lexicographer カテゴリの推定システムを使わずに行 った語義曖昧性解消に比べて名詞単語のスコアが高 くなり、名詞単語の識別精度が上がったことが分か る。したがって、lexicographer カテゴリ推定システ ムを追加する手法はこの点において有効であること を示すことができた。形容詞の識別精度が他の品詞 と比べて大きく下がっている点については、推定結果を調べると書き換えた 12 の単語の内 7 単語が同 じ単語で正解語義とは誤った上書きをしており、推定語義が偏ると精度に大きな影響が出る事が分かっ た。推定結果を詳細に分析すると、レキシコグラフ アーカテゴリ推定システム単体での正答率は 76.85 だったが、lexicographer カテゴリが正解と一致して いても、語義ラベルの末尾の番号が異なっていたり、 そもそも書き換え時に存在しない語義ラベルとなっ たりするため、実際の語義ラベル正答率は大きく落 ちると考えられる。しかし、各単語の推定語義と正解を比較すると、lexicographer カテゴリのみ誤って いる語義がまだ多く存在しているため、 lexicographer カテゴリ推定システムでの推定の精度を上げること で、語義推定の精度を更に高めることができるので はないかと考える。

BERT で語義ラベル推定モデルを学習させた場合 で全体的に精度が大きく下がったのは、レキシコグ ラファーカテゴリ推定システムの推定精度がシステ ムを追加しない場合の語義推定精度より低いためで あると考えられる。

総じて、lexicographer カテゴリ推定の精度を上げ られるようにアプローチを改善、または新たに考案 することが必要であると考える。

## 6 おわりに

本論文では、語義曖昧性解消タスクにおいて、Loïc Vial らの語義サイズ縮約手法に、lexicographer カ テゴリ推定システムを加えることで、古典的な埋め 込みを用いた場合に名詞の精度が上がることを確認 した。

今後は、lexicographer カテゴリ推定精度を向上 させるため、lexicographer カテゴリ推定システムの 改良や、別のアプローチでの lexicographer カテゴリ の推定などを考えていきたい。

## 参考文献

[1] Loïc Vial Benjamin Lecouteux Didier Schwab. 2019. Sense Vocabulary Compression through the Semantic Knowledge of WordNet for NeuralWord Sense Disambiguation. In proceedings of the 10th Global WordNet Conference - GWC 2019. arXiv:1905.05677v3 [cs.CL].

[2] Dayu Yuan, Julian Richardson, Ryan Doherty, Colin Evans, and Eric Altendorf. 2016. Semi-supervised word sense disambiguation with neural models. In COLING 2016.

[3] Minh Le, Marten Postma, Jacopo Urbani, and Piek Vossen. 2018. A deep dive into word sense disambiguation with lstm. In Proceedings of the 27th International Conference on Computational Linguistics, pages 354-365. Association for Computational Linguistics.

[4] Ignacio Iacobacci, Mohammad Taher Pilehvar, and Roberto Navigli. 2016. Embeddings for word sense disambiguation: An evaluation study. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 897-907, Berlin, Germany, August. Association for Computational Linguistics.

[5] Alessandro Raganato, Claudio Delli Bovi, and Roberto Navigli. 2017b. Neural sequence learning models for word sense disambiguation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 1167-1178. Association for Computational Linguistics.

[6] Massimiliano Ciaramita and Yasemin Altun. 2006.

Broad-coverage sense disambiguation and informationextraction with a supersense sequence tagger. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, EMNLP '06, pages 594-602, Stroudsburg, PA, USA. Association for Computational Linguistics.

[7] Rubén Izquierdo, Armando Suárez, and German Rigau. 2007. Exploring the automatic selection of basic level concepts. In Proceedings of RANLP, volume 7. Citeseer.


# 日本語歴史コーパスの All-words WSD

浅田宗磨
東京農工大学工学部
s197006x@st.go.tuat.ac.jp

## 概要

本研究では，日本語歴史コーパスの語義曖昧性解消を行った. 日本語歴史コーパスの語義曖昧性解消 の研究には，頻出語のみを対象とする lexical sample taskを一つの単語ごとにモデルを作成する手法で 解いた [1] があるが, 本研究では系列ラベリングの 手法で全単語について一つのモデルを学習させ， all-words の語義曖昧性解消を行った. また，単語に 割り当てられた分類語彙表による語義の概念の粒度 を変更して 2 通りの実験を行った. 実験の結果，ど ちらの実験でも提案する手法が最頻出語義のベース ラインを有意に上回った.

## 1 はじめに

語義曖昧性解消 (Word Sense Disambiguation, WSD) とは，文中の多義語がどのような語義か判断する処理である. 多義語とは, 複数の語義を有している単語のことで，たとえば「夢」という単語には「睡眠時にみられる現実に似た一連の観念や心像」という 語義や「実現させたいと思っているがまだ空想の域 を出ない事柄」という語義がある。

多義語の語義は，文脈によって判断される。機械学習においては, 文脈情報として対象単語の周囲の 単語の品詞や，単語同士の共起関係などを特徵とし て語義を推定する. WSD は, 文中の単語の語義を 示すため, 初学者に向けた文章読解や単語学習に役立てられる。

WSD には，コーパス中に頻出する単語だけを対象にする lexical sample task と，コーパス中の全単語 を対象にする all-words WSDがある。一般に, lexical sample task では単語ごとに分類モデルを学習する方法をとるのに対して, all-words WSD では系列ラべ リングの手法で全単語についてひとつのモデルを学習させることが多い. 古文の WSD を行うにあたり，日本語歴史コーパス（CHJ）[2] においては語義タ グ付きデータが少量であったため, 現代文と比較し

\author{
古宮嘉那子 \\ 東京農工大学大学院工学研究院 \\ kkomiya@go. tuat.ac.jp
}

て語義の識別精度が低いことが課題であった.しか し, 2022 年の前半に CHJ の語義タグのタグ付け作業が終了したため，現在では多くのデータが手に入 るようになった。

日本語歴史コーパスを対象とした WSD の先行研究としては, lexical sample task として解いた [1] が あるが，本研究では同じデータに対して all-words WSDを行う．このことにより，コーパス中にあら われる頻度の低い多義語についての語義を推定する ことが可能になる. また，本研究では，語義として 利用されている，分類語彙表の概念の粒度を変更し て実験を 2 通り行った。

## 2 関連研究

all-words WSD の先行研究には，鈴木ら [3] の研究 がある.この研究では対象単語の周辺単語の分散表現を作成し，類義語の周辺単語の分散表現とのユー クリッド距離を計算することで対象単語の語義を 予測し，その手法の有効性を示した. ただし，対象文書は古文ではなく，現代日本語書き言葉均衡コー パス [4]である．また，WSD に古文と現代日本語文 の通時的な領域適応を行った論文として，Komiya ら [5] の研究がある。この研究では，古文の WSD の ための素性として様々な種類を比較し，古文によっ て作成された分散表現に現代文による fine-tuning を 行った素性が古文の WSD に有効であると示した.

BERT[6] を用いた英語の all-words WSD に， Jiaju ら [7] の研究がある。彼らは，BERTを encoder とし て利用し，得られた素性が all-words WSD に有効で あると示した. 日本語の分散表現の研究に, 新納 ら [8] の研究がある. この研究では, 国語研日本語ウェブコーパス [9] と word2vec[10]を用いて作成 した分散表現が日本語 WSD に有効であると示し た. all-words WSD の手法で同形異音語の読み推定 を行った研究に，小林ら [11] の研究がある.この 研究では，単語の「読み」を「語義」とみなして， BERT の fine-tuning を用いて読み推定を行った，ま

た，日本語歴史コーパスの頻出単語の WSD として， Komiya ら [1] の研究がある. 彼らは訓練事例の不足 を, 現代文を大量に利用して学習した BERTを利用 することで補い，これを新たにタグ付けされた古文の WSD 用のデータで fine-tuning することで，高 い性能を得られることを示した. 先行研究は lexical sample taskであるが，本研究では同じデータを用い て all-words WSDを行った.

## 3 提案手法

本研究では，先行研究 [1] にならい，対象コーパ スは古文であるが，現代文の BERTを事前学習モデ ルとして利用し，これを古文の語義タグつきデータ で fine-tuning することで WSD を行った. また，本研究では, all-words WSD を, 入力文中の WSD の対象単語すべてに語義タグを付与する，系列ラベリン グのタスクとしてとらえ，実装を行った. ただし，固有表現抽出などの一般的な系列ラベリングタスク と違って, all-words WSD では単語ごとに候補とな る語義ラベルの集合が異なる。例えば，「犬」とい う単語に「犬」以外の単語の語義ラベルを付与する のは望ましくない. そのため, WSD の対象単語ご とに候補となる語義ラベル集合を参照し，その候補 の語義ラベル集合の中で最も softmax 関数の出力が 高いものを正解とみなして学習及び推論を行った。

## 4 実験

本研究では，東北大学が公開した日本語の訓練済 み現代文 BERT モデル1)を利用する。本研究で用い る BERT モデルは, BERT-base と同等のアーキテク チャで, 2020 年 8 月 31 時点の日本語 Wikipedia か ら作成された約 3,000 万文のコーパスを用いた事前学習が行われたものである. 本研究ではこの現代文 BERT を fine-tuning する。

実験は，分類語彙表番号が最も詳細な 5 桁の番号 と，上 3 枌のみ残し他は切り捨てたものの 2 種類を 行う. 表 1 から, 分類語彙表番号の桁を 5 析から 3 析にすることで, 曖昧性が減少し, 対象語義種類数 が大幅に減少していることが分かる．また，WSD の対象単語出現数と, 対象単語種類数もともに減少 している. 結果として, 対象単語平均語義数は 2.91 と 2.73 であり, 対象語義種類数と比較すると, 小さ な差となっている。表 1 日本語歴史コーパスの統計情報

## 4.1 実験設定

システムへの入力は文とした.この際，日本語歴史コーパス中の句点（。）を文末として区切られ る 1 文を入力とする. 虎明本狂言は台本形式のた め，句点が文中に出現しない，そのため，鍵括弧 (「,『』)，文境界で B（区切り）が割り当てられた 読点（、）を，句点に置換した上で文末として 1 文 を区切る. 入力文中の各単語の素性として, 日本語歴史コーパスの出現書字形, 語彙素, 分類語彙表番号を用いる. 入力文は時代や作品によらずランダム な順序で学習を行った. 日本語歴史コーパスの単語区切りは Unidic[12] の区切りとなっているため, BERT には Unidic の区切りで encode する東北大学の bert-base-japanese-v2を利用した. しかし，BERT の 語彙は限られているため，BERT encoder により文を 分割すると, 日本語歴史コーパスの単語が複数に分割されることがある．例えば，「痛み入る」は日本語歴史コーパス中では 1 つの単語として扱われてい るが BERT encoderによって「痛み/入る」のように 分割される.こうした場合には，最初のトークンを WSD の対象単語として利用した。

また，学習時には最適化関数に Adam を，損失関数にクロスエントロピー誤差を用いた。 ハイパーパ ラメータは表 2 に示す値のグリッドサーチを行い，開発データにおいて最も正解率の高い値を採用し た. 訓練データ: 検証データ:テストデータは $3: 1: 1$ として五分割交差検定を行った。

表 2 ハイパーパラメータの調整

1) https://huggingface.co/cl-tohoku/

bert-base-japanese-v2

## 4.2 評価手法

コーパス中の全多義語について，以下の式を用い て正解率を求めた.

$
\text { 正解率 }=\frac{\text { 正解単語数 }}{\text { 全多義語数 }}
$

なお，ある単語がコーパス中で複数の語義を有し ているとしても，それらがすべて訓練データにもテ ストデータにも登場するとは限らない。日本語歴史 コーパス中で 2 回しか登場しない多義語はコーパス 中の多義語の 1 割程度を占める.

本実験では，最頻出語義（Most Frequent Sense, MFS）をべースラインに設定した. MFS は以下の式 で求められる.

$
\text { 対象単語の MFS }=\frac{\text { 最頻出語義出現数 }}{\text { 全出現回数 }}
$

## 5 コーパス

本研究では，竹取物語，土佐日記，今昔物語集，方丈記, 宇治拾遺物語, 十訓抄, 徒然草, 虎明本狂言，太陽，尋常小学読本 $(1904,1910)$ の計 10 作品 の日本語歴史コーパスを用いる。コーパスの統計情報は表 1 の通りである.

分類語彙表 [13] とは，語を意味によって分類・整理したシソーラス（類義語集）である. 分類語彙表 は似た概念を持つ単語や，概念の包含関係などの情報が扱いやすい形態で記録されている．分類語彙表中の一つのレコードは「レコード ID 番号／見出し 番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号／語番号／見出し／見出し本体／読み／逆読み」の項目からな る. 分類番号はこのうち，「類／部門／中項目／分類項目」と対応する．たとえば「言う」という単語 に 2.3102 という番号が振られている場合, 各項目と の対応は「2./3/1/02」となる. 分類番号は位 の大きさが小さくなるにつれ分類がより詳細になっ ている.

## 6 実験結果

実験結果を表 3 に示す. 分類語彙表番号が 5 桁, 3 桁の双方において正解率がベースラインを上回っ た.この差は, 自由度を 0.05 としてカイ二乗検定を 行うと有意であることがわかった. 実験結果から，現代文 BERT は古文の all-words WSD にも有効であ ることがわかる.

表 3 WSD の実験結果

コーパス内の頻出語のみを対象語とした lexical sample task の WSD においても，学習データ数が少 ない際には MFS を超すのは難しいとされる（[1], [5]).また, 今回の研究と同じコーパス中に 1,000 回以上出現する 33 単語を対象語とした lexical sample task の 5 析の分類語彙番号を使用した際の正解率 [1]

比較すると, 本研究で利用した全単語のデータの方 が 3.32 ポイント MFS が高いため，コーパス中に出 てくる頻度の小さい単語のほうが MFS が低いこと が分かる. しかし, 一般に機械学習においては学習 データが少ない場合，正解率が低い傾向にある. そ のため, MFS 2.91 ポイント及び 3.01 ポイント上回った今回の結果は十分高い結果だと考えている.

表 4 出現頻度の小さい場合の正解率 (\%)

表 5 誤答が頻出した単語

## 7 考察

コーパス中での出現頻度の小さい単語での正解率 を表 4 に示す. 分類語彙表番号が 5 桁， 3 桁の両方 の場合において，正解率は出現回数が 2 回であるも のを除いて MFS を大きく下回った. これは，6節 で述べた, 学習データ数が少ない場合の極端な例で ある.この結果は, 対象単語が訓練データに出現せ ず，学習による語義推定の手がかりが得られない確率が高いためだと考えられる。

また，システムがよく誤答した 10 単語を上から 頻出順に表 5 に示す. システムが誤答した単語で多 かったのは，「為る」「成る」「然る」といったコーパ ス中に頻出で，語義数が 10 を超えるものであった.一方で，また，語義の概念の粒度によってよく誤答 する単語に違いがみられた. たとえば「人」という 単語は, 分類語彙表番号が 5 析の場合では 7 種類の 語義に分類される中で 484 回誤答していた. 3 桁の 場合では 6 種類の語義に分類される中で 123 回誤答 していた.この結果から，「人」という単語は微妙 で学習しづらい細分化された概念を有していると考 えられる。

## 8 おわりに

本研究では，日本語歴史コーパスの all-words WSD を行った. 語義として利用した分類語彙表番号を 5 桁すべて利用する場合と, 上位 3 枌までを利用した 場合の 2 種類の実験を行った. 実験により, 両方の 場合において，現代文 BERT は古文の all-words WSD に有効であることがわかった. コーパス中の出現頻度が小さい単語については，MFS と比較して高い精度を得られなかった. また，語義の概念の粒度が異 なると，一部の単語において語義数に違いがあまり 見られないのにもかかわらず誤答が多くなることが わかった。

## 謝辞

本研究は JSPS 科研費 17KK0002，18K11421， 22K12145 の助成を受けたものです。また，国立国語共同研究プロジェクト「開かれた共同構築環境 による通時コーパスの拡張」「多様な語義資源を統合した研究活用基盤の共創」「アノテーションデー タを用いた実証的計算心理言語学」の成果です。

## 参考文献

[1] Komiya Kanako, Oki Nagi, and Asahara Masayuki. Word sense disambiguation of corpus of historical japanese using japanese bert trained with contemporary texts. In PACLIC 2022, 2022.

[2] 国立国語研究所. 『日本語歴史コーパス』バージョ ン 2022.3, 2022. https://clrd.ninjal.ac.jp/chj/.

[3] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師 な乙 all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[4] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language Resource and Evaluation, Vol. 33, No. 7, pp. 345-371, 2014.

[5] Komiya Kanako, Tanabe Aya, and Shinnou Hiroyuki. Diachronic domain adaptation of word sense disambiguation for corpus of historical japanese using word embeddings. NINJAL Research Papers, Vol. 23, pp. 29-57, jul 2022.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jiaju Du, Fanchao Qi, and Maosong Sun. Using bert for word sense disambiguation. arXiv preprint arXiv:1909.08358, 2019.

[8] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:国語研日本語ウェブコーパスから構築した単語の 分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.

[9] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 26, No. 1-2, pp. 129-148, 2014.

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J.C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Pro-
cessing Systems 26, pp. 3111-3119. Curran Associates, Inc., 2013.

[11] 小林汰一郎, 古宮嘉那子, 新納浩幸. 疑似訓練データ を用いた bert による同形異音語の読み推定. 第 253 回自然言語処理研究発表会, 2022.

[12] 康晴伝, 智信小木曽, 秀樹小椋, 篤山田, 信明峯松, 清貴内元, 花絵小磯.コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, oct 2007.

[13] 国立国語研究所. 『分類語彙表増補改訂版データ ベース』(ver.1.0), 2004. https://clrd.ninjal.ac.jp/ goihyo.html.


# 共通の係り先文節を持つ文節組を利用して 言い直し表現を検出・修正するシステム

島森瑛貴 1 森辰則 1
1 横浜国立大学大学院環境情報学府
simamori-eiki-vj@ynu.jp
tmori@ynu.ac.jp

## 概要

本稿では日本語の自発的な独話における言い直 し現象の分析を元に、言い直しを検出・修正するシ ステムを作成しその評価を行った。提案システムは 解析部、文節内ならびに文節間に出現する言い直し の検出・修正部からなる。文節間に出現する言い直 しの検出・修正は、共通の係り先を持つ文節組を言 い直しの候補とする。実験の結果、クローズドテ ストでの適合率は 0.288 、再現率は 0.277 、 $\mathrm{F} 1$ 值は 0.282、オープンテストでの適合率は 0.350 、再現率 は $0.337 、 \mathrm{~F} 1$ 值は 0.348 となり先行研究と比較し精度が改善した。

## 1 はじめに

新型コロナウイルスの流行により生活の様々な場面でオンライン化が進んでいる。それに伴い人の発話を書き起こしテキストとして読む場面が増えた。話し言葉の書き起こしは、未編集の状態では「言い 直し表現」が頻出する。言い直し表現は書き言葉に は出現しないため可読性を下げる要因となりうる。我々はそれらを適切に検出・修正するシステムを開発し可読性を向上させることを目標としている。

本稿では日本語の自発的な独話に出現する言い直 しを検出・修正するシステムを提案し評価を行う。

## 2 関連研究

話し言葉の言い直しを修正する先行研究には $[1,2,3]$ などがある。

下岡ら [1] は高梨ら [4]が定義した言い直しのタグ を正解として、形態素の繰り返し情報などを素性と したSVM を用いて任意の文節が言い直しか判定す るが、2 文節以上を削除するものを扱えない。また 高梨ら [4] は「同一の内容を指し示している対等な文節」のみを言い直しと定義して CSJ[5] にアノテー ションしており我々の扱いたい問題が含まれない。藤井ら [2] は言い直し部を分割したモデルを作成 し言い直しを検出・修正するが、そのモデルはフィ ラーや言い淀みが存在しない言い直し表現について は検出ができず修正の対象が非常に限定的である。

島森ら [3] は島森ら [6] による言い直しの定義、分析、仮説の検証を元に日本語の自発的な独話に出現 する言い直しを検出・修正するシステムを提案し評価した。島森ら [6] は、言い直しを構成する要素の うち最後のものを「言い直し先」それ以外を「言い 直し元」、これらの組を「言い直し組」と定義してお り本研究もその定義に従う。このシステムは複数の 文節に共通して出現する自立語に着目する。また、意図しない名詞連接の係り受け変更や言い直しを検索する範囲を節境界の間に限定することで誤検出 を抑制した。一方で節境界を利用して言い直しの検索範囲を狭めると、言い直しを検出できなくなるト レードオフがある。例文 1 は「個人性に関連した音声工学には」を言い直しているが、「連体節」や「主題八」という節境界を利用して言い直しの検索範囲 を狭めると言い直しを検出できない。一方で、例文 2 は「目標物」という自立語が共通しており「連体節」のラベルにより検索範囲を狭めないと言い直し として誤修正される。

（1）個人性に関連した/連体節/音声工学には/主題八個人性に関連した/連体節/音声工学には/主題八/話者適応の技術があります

(2) コウモリが目標物に向かう/連体節/時は目標物 の直前からパルスを放射し

例文 2 では、共通の自立語「目標物」を持つ $2 \supset$ の文節のうち「目標物に」は「向かう」に係り、「目標物の」は「直前から」に係る。このように係り先 が異なるものが言い直しになるとは考えにくい。そ

こで共通の係り先を持つ文節組のみを言い直し組候補の集合として言い直しを検出する手法を島森 [3] に追加する手法を提案する。

## 3 システムの構成

本稿では文節間言い直し修正部において共通の係 り先を持つ文節組に着目する手法を提案する。解析部と文節内言い直し修正部は島森 [3] と共通である。

提案システム全体の概要を図 1 に示す。

図 1 提案システムの概要

## 3.1 解析部の方針

解析部は、文を入力に取り CaboCha+MeCab を用 いて形態素・係り受け解析を行う。その後島森 [3] の方針で、言い直しにより生じる意図しない名詞連接を係り受けを変更して解消する前処理を行う。

## 3.2 文節内の言い直し修正部

全ての文節を対象とし、同一文節内の部分文字列間に包含関係があるときに最初の出現を削除する。例えば「スケート 1 日本 スケート 2 連盟は」という 文節であれば「スケート 1 」を削除して修正する

対象とする文節 $A$ の形態素数を $N$ としたときに $1 \leqq n \leqq\lfloor N / 2\rfloor$ を満たす $n$ について以下を害行する。

文節 $A$ の最初から $n$ 個の形態素 $a_{1} \ldots a_{n}$ を取得し 言い直し元候補 $A_{\text {bef }}$ とする。そして $a_{n+1} \ldots a_{N}$ から 連続する $n$ 個の形態素の列 $a_{s} \ldots a_{s+n-1}$ を取得し言 い直し先候補 $A_{\text {aft }}$ とする。それぞれで要素の形態素 の原型を連結した文字列を $S_{\text {bef }}, S_{\text {aft }}$ とする。取りう る $S_{\mathrm{aft}}$ と $S_{\mathrm{bef}}$ の組のいずれかで $S_{\mathrm{bef}}$ が $S_{\mathrm{aft}}$ の部分文字列のときに $A_{\text {bef }}$ が言い直し元だとし削除する。

## 3.3 文節間の言い直し修正部

1 文節以上からなる係り受けの部分構造のうち共通の係り先を持つものを言い直し組を構成する候補 の集合として絞り込み、要素の全ての対でそれぞれ が言い直し組か判断する。この対が言い直しの関係 かを判定する規則は対の要素の文節数の関係に着目 L、 $\ulcorner 1$ 文節 -1 文節」、 $\Gamma 1$ 文節 -2 文節以上 $\downharpoonleft 、\ulcorner 2$ 文節以上 -1 文節 $」 、 「 2$ 文節以上 -2 文節以上」の 4 種類に 大別される。各規則は、言い直しかどうかを判定す る条件部と、言い直しである場合に削除箇所の検出 と削除を行う実行部を持ち、言い直しの検出と削除 を行う。また、一度削除すると判断したものは以降 の組み合わせを調べる際には検索の対象外とする。

例文 2 を係り受け解析した結果の表 2 を元に本稿 で提案するシステムの詳細を説明する。

図 2 例文 2 の係り受け解析結果

表 2 から、「向かう」に係るものとして「コウモリ が」、「目標物に」の2 要素の集合、「放射し」に係る ものとして「コウモリが目標物に向かう時は」、「目標物の直前から」、「パルスを」の 3 要素の集合が、共通の係先を持つ要素の集合として得られる。

共通の係り先の文節、係り元の文節の出現が早い 順に上から全ての対を比較する。この例では初め に「コウモリが」と「目標物に」を比較する。「コウ モリが」と「目標物に」は共に 1 文節なので「 1 文節-1 文節」の規則を適用する。次に「コウモリが目標物に向かう時は」と「目標物の直前から」を比較 する。これは「2 文節以上 -2 文節以上」の規則を適用する。以降同様に「コウモリが目標物に向かう時 は」と「目標物の直前から」、「目標物の直前から」 と「パルスを」を比較し規則を適用する。この例文 に言い直しはないと最終的に判断する。

## 3.3.1 1 文節-1 文節

言い直し元候補と言い直し先候補が共に 1 文節の 場合の規則と削除箇所を以下に示す。以下「文節 A が文節 Bを含む」は「文節 B の自立語が全て文節 A

に出現する」を指し、付属語の一致は考慮しない。

・「言い直し先の文節が言い直し元の文節を含む」 とき「言い直し元」を削除する

修正例を図 3 に示す。この例では「実験は 1 」と 「実験は $2 」$ が共に「行いました」に係る。これは規

修正する。

$
\begin{array}{r}
\text { また } \\
\text { 実験は }_{1} \\
\text { 実験は2 } \\
\text { 階段などのᄀ } \\
\text { ない } \\
\text { 平らな- } \\
\text { 教室で- } \\
\text { 行ないました }
\end{array}
$

図 31 文節 1 文節の例

## 3.3.2 1 文節-2 文節以上

言い直し元候補が 1 文節、言い直し先候補が 2 文節以上の場合の規則と削除箇所を以下に示す。

1.「言い直し先の最初の文節が言い直し元の文節 を含む」とき「言い直し元」を削除する

2.「言い直し先の最後の文節が言い直し元の文節 を含む」とき「言い直し元」を削除する

修正例を図 4 に示す。この例では「演劇に 1 」と 「普通の-演劇に2」が共に「行きたいなっていう」に 係る。これは規則 (2)を満たすため言い直し元の 「演劇に 1 」を削除して修正する。

図 41 文節-2 文節以上の例

## 3.3.3 2 文節以上- 1 文節

言い直し元候補が 2 文節以上、言い直し先候補が 1 文節の場合の規則と削除箇所を以下に示す。

-「言い直し先の文節が言い直し元の最後の文節 を含む」とき「言い直し元の最後の文節」を削除する

修正例を図 5 に示す。この例では「意味統合処理
の-失敗時に ${ }_{1} 」$ 泆敗時に H $_{2} 」$ が共に「誘発される と」に係る。これは規則を満たすため言い直し元の 最後の文節「失敗時に 隹 $^{2}$ 」を削除して修正する。

図 52 文節以上- 1 文節の例

## 3.3.4 2 文節以上-2 文節以上

言い直し元候補と言い直し先候補が共に 2 文節以上の場合の規則と削除箇所を以下に示す。

・「言い直し先が言い直し元の全ての文節を含む」 とき「言い直し元の全ての文節」を削除する

修正例を図 6 に示す。この例では「その - 侯補 $_{1}$ で」と「その $2_{2}$-候補 2 の-パラメーターで」が共に「処理した」に係る。言い直し元候補の 2 つの自立語「その」と「候補」はいずれも言い直し先の候補に 含まれる。これは規則を満たすため言い直し元の 「その $_{1}$-候補 1 で」を削除して修正する。

図 62 文節以上-2 文節以上の例

## 3.3.5 共通処理

上記の 4 つの規則で以下の 3 つの処理を行う。

1. 編集表現の修正

2. 言い直しを謝る表現

3. 接続詞「で」を対象外

## 編集表現の修正

島森ら [6] は言い直しのうち修正の意図を持つ箇所を「編集表現」と定義した。例文3では「かわい い」を言い直して「いい雾囲気の」という際に出現 する「って言うか」が編集表現に相当する。

島森ら [3] の提案方針は、2つの文節が共通の自立語を持つときのみを言い直しの候補とするため、
編集表現を持つもののうち言い直し元と言い直し先 の自立語が異なるものを検出・修正できない。

一方で本稿の提案手法では共通の係り先を持つも のに着目するため、言い直し元の削除範囲を改めて 推定する必要がない。そこで、言い直し元候補が編集表現の手がかりとなる文字列を含むときに言い 直し元として削除する。編集表現の文字列は島森ら [6] の分析で得られたものを使用する。

図 7 に示す解析結果より「かわいいって言うか」 と「いい雾囲気の」を比較するときに、「かわいいっ て言うか」の箇所が言い直しであるとして削除す る。以降では削除箇所を言い直しの候補から外して 考えるため、例えば「港町に」と「かわいいって言 うかいい雰囲気の建物が」を比較するときは「港町 に」と「いい雾囲気の建物が」を比較する。それに より、並列表現を持つ箇所は最も小さい単位で言い 直しを探すため誤検出を抑制できると考える。

（3）港町にかわいいって言うかいい雾囲気の建物が ありました

図 7 例文 3 の係り受け解析結果

## 言い直しを謝る表現

本研究が対象とする言い直しの中には、言い直し 元を発話した直後に「すみません」などの言い誤っ たことを謝る意図の発話を含むものが存在する。こ れらは編集表現と同様に修正の対象とする。具体的 な処理としては、言い直しとして削除する文節の直後に品詞が「感動詞」の形態素が存在したとき、こ の感動詞を上記の表現であるとして削除する。

## 接続詞「で」の除外

話し言葉では接続詞「で」が 1 文中に複数回出現 することがある。このような場合には「で」が言い 直しとして誤修正される。そこで、言い直し元候補 の文節として接続詞「で」が検出されたときには言 い直しではないと判断し、以降の処理を行わない。

## 4 システムの評価実験

島森 [3] のベースラインシステム(ベースライン)、島森 [3] の 6 章の提案システム (BL+前処理+節境界)、本稿 3 章の提案方針によるシステム (BL+前処理+共通の係り先) の合計 3 つを比較し評価する。

評価の対象には日本語話し言葉コーパス (CSJ)[5] のノンコア講演 140 講演を用いる。このうち 40 講演をシステム改良のための分析に利用する。また、開発する際に参照した事例に対する評価ということ でクローズドテストとして評価する。残りの 100 講演は未参照の事例に対する評価を行うときのデー タとして使用し、オープンテストとして評価する。言い直しの正解は島森ら [3] が付与したものを利用 する。講演を文単位に分割したものをシステムへの 入力とした。クローズドテストの 40 講演は 1959 文 で言い直しは 486 個、オープンテストの 100 講演は 5201 文で言い直しの個数は 1139 個であった。

システムの評価は、システムが削除すると判断し た箇所にIOB2 形式のラベルを文字単位で振り、削除単位毎に一致するかを調べ適合率、再現率、 $\mathrm{F} 1$ 值 を求めた。島森ら [3] が提案した方針に基づくシス テムと精度を比較する。クローズドテストの評価を 表 1 に、オープンテストの評価を表 2 に示す。

表 1 クローズドテスト

表 2 オープンテスト

## 5 考察とまとめ

本稿で提案した方針によりシステムの精度が向上 した。また、クローズドテストの精度よりオープン テストの方が精度が良かった。これはオープンテス トはクローズドテストより文節間言い直しの割合が 低いことが原因と考えられる。対象の文によっては 係り受け解析器が解析誤りを起こすことがわかって いる。文節間言い直しは文節内言い直しより解析誤 りの影響を受けやすいため修正を誤るものがある。一方で、現在のシステムでもうまく修正できないよ うな例が複数存在する。具体的な例は以下の付録 A に示す。現時点で修正できていない誤りの修正は今後の課題である。

## 参考文献

[1] 下岡和也, 河原達也, 内元清貴, 井佐原均. 『日本語話 し言葉コーパス』における自己修復部 (d タグ) の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理（SLP）, Vol. 2005, No. 50, pp. 95-100, 2005.

[2] 藤井はつ音, 岡本紘幸, 斎藤博昭. 日本語話し言葉にお ける自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pp. 2-7, 2004.

[3] 島森瑛貴, 阪本浩太郎, 渋木英潔, 森辰則. 自発的な独話における可読性向上のための言い直し表現を検出・修正するシステム. 言語処理学会第 28 回年次大会発表論文集, pp. 1739-1743, 2022.

[4] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話 し言葉コーパス』における係り受け構造付与. 国立国語研究所平成 15 年度公開研究発表会予稿集, 2003 .

[5] 国立国語研究所. 『日本語話し言葉コーパスの構築法』. 国立国語研究所報告 No.124, pp. 1-552, 2006.

[6] 島森瑛貴, 阪本浩太郎, 渋木英潔, 森辰則. 自発的な独話における可読性向上のための言い直し表現の定義 と分析. 言語処理学会第 27 回年次大会発表論文集, pp. 365-370, 2021.

## A 現在のシステムで修正できない具体的な例文

## A. 1 別語彙を用いた言い直し

別語彙で言い直すものを修正することができておらず、どのように類似性を判定するかを検討しているところである。

(1) その日の朝食は全てパンを全部手作りで焼いたりとか

(2) またスタイログロッサスは茎状突起より出てせんじょうに至る舌尖に至る細長い筋肉です

(3) 私はアイスホッケーを今年で九年目九年間やっておりまして

(4) 人間の言語生活言語の活動のうちの基本的なものをなすと思われます

(5) やはりロシアがソ連邦が崩壊したからと言って

## A. 2 意図的な繰り返し

アクセントやモダリティなどの差異に言及するために意図的に繰り返すものと言い直しを区別することができない。

(1)このような研究におきましては韻律の差異として「行った」「行った」のような基本周波数の変化が取り上げられ ており分節的特徴としては「行った」「行って」のような音節の変化が取り上げられてきました

## A. 3 言い直しではないが冗長な表現

冗長な表現や話題の提示を行う箇所を言い直しと区別することができていない。

(1) 機械を用いて可聴域に変換した後パソコンで分解能が十六ビットでパソコンに取り込みました

(2) それぞれの境界はおとがい棘と舌骨上部を結ぶ線上をそれぞれの境界としました

(3) ハイオグロッサスについてですけれどもハイオグロッサスは膜状の筋肉なのでハイオグロッサスの前部アンテリア とハイオグロッサスポステリアの二か所に分けて計測いたしました

## A. 42 文節以上-2 文節以上の規則における言い直し箇所の推定

2 つの要素で共通する部分を $\mathrm{A}$ 、異なる部分をそれぞれ $\mathrm{BC}$ としたときに、言い直しの組が $\mathrm{BA}_{(1)}-\mathrm{CA}_{(2)}$ となるとき に、 $\mathrm{BA}_{(1)}$ を削除するもの (1)、 $\mathrm{A}_{(1)}$ のみを削除するもの (2)、何も削除しないもの (3)を区別することができない。

(1) 例えばよく(B) 見られる (A) 日常的に一番頻繁に(C)見られる (A) 距離がパーソナルディスタンスなんですけれども

(2) これまでに行なってきました (B) カグラコウモリの超音波パルスの ${ }_{(A)}$静止状態における ${ }_{(C)}$ カグラコウモリの超音波パルスについて $(A)$ 説明いたします

(3) 経験的損失の值が最小となる $(\mathrm{B})$ ワーピングを (A) 最適な $_{(\mathrm{C}) \text { ワーピングとして }}^{(\mathrm{A})}$ 選びます

## A. 5 削除後に語順の並び替え等の後処理が必要なもの

言い直し元を削除した後に語順を並び替えないと意図が変わるものが存在する。語順の変更等の後処理はまだ実現し ていない。

(1) 私の所属している神奈川県下では現在五チームのエントリートーナメントなどがある時にはエントリーがあります (削除)私の所属している神奈川県下では現在五チームのトーナメントなどがある時にはエントリーがあります (並び替え)私の所属している神奈川県下では現在トーナメントなどがある時には五チームのエントリーがあります

(2) 五年生の時の担任の先生が生徒の筆順ていうのがあまりにもでたらめなので先生が黒板に大きく書いて (削除)五年生の時の担任の生徒の筆順ていうのがあまりにもでたらめなので先生が黒板に大きく書いて (並び替え)生徒の筆順ていうのがあまりにもでたらめなので五年生の時の担任の先生が黒板に大きく書いて

## A. 6 編集表現

編集表現を持つものには言い直し元を削除することで修正できるもの $(1,2)$ や、編集表現を含む箇所のうち更に実際に 言い直されている箇所を推定する必要があるもの (3)、言い直しではなく例示と説明と関係にあるもの (4)、比喻表現に対 する対する具体的な心情の説明が続いているもの (5)などがあり、これらを適切に区別して言い直しかどうかを判定する 必要がある。

(1) でとにかく信仰心て言うんですか宗教に対しての信仰心が強くて

(2) 何百メートルも交番じゃない交差点がなくて

(3) コンクリートとか木でできた工場って言うか港の風景みたいのが多いですね

(4) オフィス街と言うか何か目立って大きな建物とか楽しめるところというのはなくて

(5) 八ワイはとてもいいとこで過ごし易いし南国だしでもパラダイスじゃないなって言うか向こうでは随分色んな人に 会ってずっとお喋りして笑ってたりしたんですけれどやっぱ飛行機の中で一人になって何か自分で持ってた静かな 音楽とか聞いてるとやっぱりあたしは何かちょっと寂しいようなとこの方が合うのかなっていう風に思って


# UD Japanese-CEJC とその評価

大村舞
国立国語研究所
}

若狭絢
国立国語研究所
}

松田寛
Megagon Labs
}

浅原正幸
国立国語研究所

## 概要

Universal Dependencies に基づく言語資源の構築 が各言語で進められている。日本語においても Universal Dependencies に準拠する言語資源が構築さ れてきたが、すべて書き言葉に基づくものであっ た。本研究では、日本語 Universal Dependencies の新 しい言語資源として、『日本語日常会話コーパス』 に基づくUD Japanese-CEJC を構築したので報告す る。既存の書き言葉の日本語 Universal Dependencies の言語資源と同様に、国語研短単位形態論情報・国語研長単位形態論情報・文節係り受けに基づく変換規則によりデータの構築を行った。さらに、さまざ まな条件により解析器を構築し、評価を行ったので 報告する。

## 1 はじめに

Universal Dependencies（UD） [1] は言語横断的な 依存構造木に基づくツリーバンクを構築するプロ ジェクトであり、2023 年 1 月現在 100 以上の言語 において 200 近くのツリーバンクが構築されてい る。その研究対象は、書き言葉から話し言葉にシ フトしており、Dobrovoljc ら [2] により最近の研究動向がまとめられている。また、日本語UDチーム が、ツリーバンクやパーサの構築の興味のある研究者で組織され、過去にさまざまな日本語 UD リソー ス [3] の構築を進めてきた。しかし、これまで構築 してきた日本語 UD リソースは書き言葉を対象とし ており、話し言葉を対象とした日本語リソースはな かった。

2022 年に国立国語研究所によって「日本語日常会話コーパス」 (Corpus of Everyday Japanese Conversation: CEJC）[4]が構築された。CEJCは、性別・年齢などに基づいた均衡性を考慮された協力者 に収録を依頼し、収録されたコーパスであり、転記・短単位形態論情報・発話単位などが付与され ている。また、同データに対して、長単位形態論情報・文節係り受けの情報 [5] も付与されている。こ れらのアノテーション情報が整備されたことによ り、Omura ら $[6,7]$ が提案する文節係り受けから UD への変換規則を用いることで、CEJC から国語研短単位・長単位それぞれの日本語 UD リソースを構築 することが可能となった。

本研究では、話し言葉向けに若干改変した変換規則を CEJC に適用し、日本語話し言葉に基づくUD リソース UD Japanese-CEJCを新たに構築した。 A. 1 節の表 1 に、Dobrovoljc ら [2] がまとめた話し言葉 UD リソースのさまざまな観点項目に沿った UD Japanese-CEJC の特徵をまとめている。音声データ のみならず、 2 種類のカメラ (通常のカメラと 360 度カメラ）による映像データともアラインメントを とった UD リソースは世界的にも類を見ない。UD Japanese-CEJC は、現時点で映像を含む世界最大規模の話し言葉ツリーバンクとなるだろう。

本稿では、2023 年 5 月に公開予定の UD JapaneseCEJC の構築とともに、さまざまな UD パーサにつ いて評価したので報告する。具体的には、データ変換における話し言葉に特有のフィラーや言いよどみ の扱いや、書き言葉-話し言葉間のパーサの分野適応について報告する。

## 2 UD Japanese-CEJC の構築

## $2.1 『$ 『本語日常会話コーパス』と文節係 り受けアノテーション

『日本語日常会話コーパス』(CEJC） [4] は、200 時間、577 の（2 人以上の）会話、1675 発話者によ る大規模な話し言葉のコーパスである。データは、節末やポーズに基づいて「発話単位」[8] と呼ばれ る単位に分割されている。さらに音声・映像データ を転記したうえで、転記データに対し、国語研短単位形態論情報が付与されている。CEJC データの短単位に基づく形態素数は約 240 万形態素である。

このうち 20 時間分のデータはコアと呼ばれ、さ まざまなアノテーションが人手で付与されている。

図 1 UD Japanese-CEJC の発話（T011_007）に対する UD の例。「ツ」と「ん」が言いよどみとフィラーである

コアには国語研長単位形態論情報や文節係り受け情報 [5] も整備されている。国語研長単位形態論情報 と文節境界は、一度長単位解析器 Comainu [9] で解析したものに対し、人手で修正しながら付与した。 さらに、文節係り受け解析器 CaboCha [10] で解析し たうえで、BCCWJ-DepPara [11] 互換の文節係り受け アノテーションを、人手修正もしつつ付与した。

書き言葉と話し言葉の大きな違いは、依存構造木 の単位にある。書き言葉の場合には、句点などの文境界補助記号を手がかりにした文単位で依存構造木 を構築されることが多い。しかし、話し言葉の場合 には明示的な句点はないため、CEJC では節末もし くはポーズに基づいて定義される「発話単位」[8] を認定されており、文節係り受けは発話単位に基づ いて構築している。さらに、話し言葉には、書き言葉にはあまり見られないフィラー・言いよどみや述語省略などが出現することも特徵的である。

## 2.2UD 体系への変換

本研究では、前節で説明した CEJC に付与された 文節係り受けの情報を入力として、Omura ら [6]の変換ルールに基づき変換し、UD Japanese-CEJC を構築 した。ただし、この変換ルールは UD Japanese-GSD、 PUD、BCCWJ といった書き言葉 UD に対して用い ていたものである。そのため、話し言葉に対応する ためにも、いくつかの拡張をおこなった。

まず、依存構造木の基本単位を発話単位とした。 さらに、フィラー・言いよどみなど、係り先が規定 できないものについては、最後の rootへ係るように した ${ }^{1)}$ 。さらに、述語省略などにより係り先が規定 できない場合も、最後の rootへ係るようにした。

図 1 に構築したUDの例を示す。図の場合、言 いよどみの「ツ」やフィラーの「ん」などは一意に rootの「でき」に係る形として変換している。この

1）UD のガイドラインに従う場合の、複数の root が許容され ていないために起きる処理である。
ような、本質的に係り先が決められない文節・単語 が出現することは、依存構造解析への困難さにつな がると考えられ、後述のパーサ解析の結果からも伺 える。

## 2.3UD Japanese-CEJC の基礎統計

表 1 UD Japanese-CEJC（話し言葉）と UD Japanese-GSD （書き言葉）の基礎統計

表 1 に、今回構築した話し言葉の UD JapaneseCEJC と、比較のため、従前より整備している書き 言葉の UD Japanese-GSD の基礎統計を示す。Trees の列は CEJC においては発話単位の数、GSD にお いては文の数を表す。Tokens の列は UD における単語/形態素の数を示す。Avg. の列は、係り受け木単位の平均単語/形態素数を示す。Max. は、係り受け 木単位の最大単語/形態素数を示す。より詳細な UD の統計は A. 2 節の表に示している。

## 3 パーサの解析評価

本節では UD Japanese-CEJC の解析可能性につい て検討する。UD Japanese-CEJC と UD Japanese-GSD を用いてパーサモデルを構築しUD 解析を行うこと で、話し言葉と書き言葉の解析可能性の違いについ て検証する。

## 3.1 実験設定

パーサの評価のため、UD Japanese v2.11 コーパス のうち、GSD、CEJC と、この 2 つを合わせたデー タ CEJC+GSD を用いて比較を行う。GSDデータは、既に train/dev/test に分割されているものを使用する。 CEJC データについては、CEJCで区分されている 「会話」形式に基づき、train/dev/test の比率が 8:1:1 に なるように、均衡性を保ちながら新たに分割を行っ たものを使用した。実験では、各コーパスの発話単位境界・文境界を与えたうえで構築した。表 1 が示唆するように、発話単位と文境界認定自体には差異 があり、比較が困難であるからである。実験では UDPipe および spaCy の 2 つのフレームワークを使用して依存構造解析を行い、精度を比較した。UD には短単位と長単位のものがあるが、本稿では、短
表 2 GSD（書き言葉）と CEJC（話し言葉）についてのパーサ解析精度。いずれも短単位での評価である。

 & $91.75 \%$ & $90.87 \%$ \\

単位に限定した結果を示している。

UDPipe の実験では、UDPipe（v1.2.0）により構築 したモデルで依存構造解析を行い、解析精度を評価 した。UDPipe [12] は GRU やニューラルネットワー クなどに基づいて実装されており、単語分割、品詞付与、依存構造解析をパイプラインで解析するモデ ルを構築できる。UDPipe では依存構造解析で単語埋め込みを使用できるため、258 億語規模のウェブ テキストで学習された NWJC2vec [13]を使い、300 次元の Skip-gram モデルを使用した。

$\mathrm{spaCy}^{2)}$ の実験では、Transformers ベースの事前学習モデル3) と解析コンポーネントとの間で損失勾配 を共有できる spacy-transformers を使用して、次の 2 つのアプローチついて解析精度を評価した。

二段階解析モデルフィラー・言いよどみを除去して から UD 品詞付与と依存構造解析を行うモデルであ る。浅原 [14]にならい、フィラー・言いよどみのス パンを固有表現抽出器（ner）で学習して該当スパ ンを入力テキストから除去した上で、UD 品詞付与 （morphologizer）と依存構造解析（parser）を別のパ イプラインで処理する。なお、UD 品詞付与・依存構造解析の精度評価では、正解ラベルを用いてフィ ラー・言いよどみを除去した CEJC-を用いた ${ }^{4)}$ 。

2） spaCy v3.4.3および spacy-transformers v1.1.8を使用

3） bert-base-japanese-v2 を使用

4）入力テキストが異なる状態での精度評価が困難なため。同時解析モデルフィラー・言いよどみを含めて 入力全体を一度に処理するモデルである。単一の spaCy パイプライン上に transformers・morphologizer・ parser・nerの順にコンポーネントを配置した。spaCy の parserコンポーネントは、Non-Monotonic ArcEager Transition System [15] をべースとして、交差文脈を扱うために Nivre [16] の Lifting による Projectivization/Deprojectivization $の$ 拡張が施されて おり 5)、フィラー・言いよどみから rootへの係り先 が周辺文脈と交差する場合にも対応可能である。実際にフィラー・言いよどみの係り関係をどの程度の 精度で扱うことができるか評価を行う。 なお、spaCyを用いた実験は時間の都合上、XPOS と Lemmas の体系変換は行わなかった。

## 3.2 結果

表 2 にパーサの評価結果を示す。Tokens、UPOS、 XPOS、Lemmaは、それぞれの列の再現可能性を $\mathrm{F}_{1}$ スコアで示す。Tokens はわかち書き、UPOS は UD POS、XPOS は UniDic 品詞、Lemma は UniDic 語彙素 である。依存構造関係は UAS（Unlabeled Attachment Score）と LAS（Labelled Attachment Score）という標準的な評価指標を用いた。いずれも CoNLL 2018 Shared Tasks [17] の評価プログラムに基づく。訓練データ（train/dev）とテストデータ（test）で、

5) https://spacy.io/api/example\#get_aligned_parse
表 3 二段階解析モデルと同時解析モデルのフィラー・言いよどみの解析精度

話し言葉・書き言葉の差異がある条件 (例「train $/ \mathrm{dev}$ GSD と test CEJC」もしくは「train/dev CEJC と test GSD」) では、わかち書き(Tokens) と品詞タグ付け (UPOS と XPOS) の性能が悪くなった。これは、話 し言葉と書き言葉で、語彙・品詞の分布が異なる からである。例えば、CEJC において INTJ・CCONJ・・ PRON（一人称代名詞・二人称代名詞など）の品詞が 多いが、GSDにおいてはあまり出てこない。結果と して、CEJC+GSD の両方のデータを訓練データに用 いたモデルがもっとも性能が良いことがわかった。

## 3.2.1フィラーや言いよどみによる影響

話し言葉には、フィラーや言いよどみなどがあ り、本質的にわかち書きが難しい。表 2 より、CEJC からフィラーや言いよどみを取り除いて学習と評価 を行った二段階解析モデル（CEJC-の行）の性能が 他のモデルより高いことは、そのひとつの裏付けと 言える。また実用上フィラーや言いよどみが不要の 場合には、二段階解析モデルが好まれるであろう。

フィラーや言いよどみに限定して解析精度を評価 した結果を表 3 に示す。トークン認定精度は二段階解析モデルよりも同時解析モデルの方が精度がや や高い傾向にあった。これは、依存構造解析とフィ ラー・言いよどみ判定を同時に学習することによる 効果と考えられる。ただし、全体で評価した場合と 比べて、フィラーや言いよどみのトークン化精度は どちらも 6 ポイント以上低下している。同時解析モ デルの UD 品詞付与精度と依存構造解析精度におい ても、トークン化での劣化分に相当する精度低下が 見られる。

## 3.2.2 依存構造木の長さと句読点の有無

表 1 でわかる通り、CEJC の依存構造木の長さは GSD の依存構造木の長さに比べて短い。それでも、 CEJC の依存関係の同定は品詞同定と同様に難しい 結果となった。書き言葉の依存構造解析において は、句読点が長距離の依存関係の曖昧性解消に有効 であるが、話し言葉には句読点が付与されていない ために、長距離の依存関係同定に弱い傾向があると 考えられる。さらに、フィラー・言いよどみ・述語省略など依存関係が不定なものの扱いが困難である
と考えられる。CEJC-の項を確認すると、UDPipe の CEJC-のモデルは GSD の結果が $71.43 \%$ と悪くなっ ている。CEJC を用いたモデルは話し言葉の短さに 基づき構築されているため、GSDのような書き言葉 を生成するのが困難になっている。 $\mathrm{spaCy}$ の場合、 トークン化に形態素辞書を使用していること、事前学習モデルと同時学習を行っていること、などの効果で精度が安定していると考えられる。

## 4 おわりに

本稿では、『日本語日常会話コーパス』に基づい た新しいUD 日本語リソース UD Japanese-CEJC を 紹介した。これは、日本語においてはじめての話し 言葉の UD リソースであり、音声・映像アライメン トも可能な世界最大規模の話し言葉 UDである。

さらに、構築した UD Japanese-CEJC（話し言葉） と UD Japanese-GSD（書き言葉）を用いた UDPipe と spaCy に基づくパーサを構築し、解析可能性の検証を行った。話し言葉においてフィラー・言いよど み・言い直しなどがわかち書きや品詞タグ付けに影響を及すほか、依存関係同定も書き言葉と異なる ふるまいを確認した。 $\mathrm{spaCy}$ に基づく実験において は、固有表現抽出器を用いたフィラー・言いよどみ 検出器を用い、フィラー・言いよどみを取り除いた 状態で再度依存構造解析を行う二段階解析モデルを 検討した。フィラーや言いよどみを予め除く二段階解析モデルは依存構造解析に有効であることを確認 した。

今後の展開として、UD Japanese-CEJC と UD Japanese-BCCWJ との相互比較を検討している。ま た、UD Japanese-CEJC v2.11 (Jan. 2023) ${ }^{6}$ は、国立国語研究所により有償版 CEJC 契約者向けに「中納言」ダウンロードサイトから配布されているが、次回の v2.12（May. 2023 リリース）からは、Universal Dependencies の公式サイトでも表層形をスタンドオ フした形式で配布する予定である。

実験で使用した spaCy 同時解析モデルは、Megagon Labs の GitHub リポジトリから公開を予定している。

6）長単位形態論情報・係り受けアノテーション自体のライセ ンスは CC BY 4.0 だが、表層形・短単位形態論情報の利用に は有償版 CEJC の契約が必要である。

## 謝辞

本研究は、株式会社リクルート・国立国語研究所共同研究「日本語版 Universal Dependencies に基づく 日本語依存構造解析モデルの研究開発」、国立国語研究所共同研究プロジェクト「実証的な理論・対照言語学の推進：アノテーションデータを用いた 実証的計算心理言語学」、JSPS 科研費 JP18H00521, JP19K13195, JP22H00663, JP22K18483, の助成を受け たものです。

## 参考文献

[1] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, June 2021.

[2] Kaja Dobrovoljc. Spoken Language Treebanks in Universal Dependencies: an Overview. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1798-1806, Marseille, France, June 2022. European Language Resources Association.

[3] Masayuki Asahara, Hiroshi Kanayama, Takaaki Tanaka, Yusuke Miyao, Sumire Uematsu, Shinsuke Mori, Yuji Matsumoto, Mai Omura, and Yugo Murawaki. Universal Dependencies version 2 for Japanese. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, Miyazaki, Japan, May 2018. European Language Resources Association.

[4] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the Corpus of Everyday Japanese Conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[5] 浅原正幸, 若狭絢. 『日本語日常会話コーパス』に対 する係り受け情報アノテーション. 言語処理学会 第 28 回年次大会 発表論文集, pp. 1699-1703, 3 月 2022.

[6] Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies, pp. 117-125, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] Mai Omura, Aya Wakasa, and Masayuki Asahara. Word delimitation issues in UD Japanese. In Proceedings of the Fifth Workshop on Universal Dependencies, pp. 142-150, Sofia, Bulgaria, December 2021. Association for Computational Linguistics.

[8] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proceedings of the Seventh International Conference on
Language Resources and Evaluation, Valletta, Malta, May 2010. European Language Resources Association.

[9] 小澤俊介, 内元清貴, 伝康晴. 長単位解析器の異なる 品詞体系への適用. 自然言語処理, Vol. 21, No. 2, pp. 379-401, 2014.

[10] 工藤拓, 松本裕治. チャンキングの段階適用による 日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[11] Masayuki Asahara and Yuji Matsumoto. BCCWJDepPara: A syntactic annotation treebank on the 'Balanced Corpus of Contemporary Written Japanese'. In Proceedings of the 12th Workshop on Asian Language Resources, pp. 49-58, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[12] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing ud 2.0 with UDpipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[13] Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus' . Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, Vol. 24, pp. 7-22, January 2018.

[14] Masayuki Asahara and Yuji Matsumoto. Filler and disfluency identification based on morphological analysis and chunking. In Proceedings of ISCA/IEEE Workshop on Spontaneous Speech Processing and Recognition, pp. 163-166, Tokyo, Japan, April 2003. ISCA.

[15] Matthew Honnibal and Mark Johnson. An improved non-monotonic transition system for dependency parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Joakim Nivre and Jens Nilsson. Pseudo-projective dependency parsing. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 99-106, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[17] Daniel Zeman, Jan Hajič, Martin Popel, Martin Potthast, Milan Straka, Filip Ginter, Joakim Nivre, and Slav Petrov. CoNLL 2018 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-21, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 付録

## A. 1 UD Japanese-CEJC の特徵

表 1 CEJC 転記ファイルの (cf. Dobrovoljc 論文 [2], Table 2)

表 1 に CEJC 転記ファイルの特徴を Dobrovoljc の 論文 [2] の観点に基づいて示す。Language variety は 日本語共通語話者（関東近県在住）のために多様性 がない。また、日本語には Capitalization の慣習がな い。さらに、CEJC は転記規則として punctuationを 利用していない。他言語の UD リソースにない特色 として、映像データとのアラインメントがある。

## A. 2 UD Japanese-CEJC の統計

表 2 UPOS の分布 (GSD (短単位) と CEJC (短単位))

表 2 に GSD（短単位）と CEJC（短単位）のUPOS （品詞）ラベルの分布を示す。話し言葉には句読点
や記号を転記に用いないために PUNCT と SYM が全く 出現しない。また、話し言葉は、CCONJとINTJが書 き言葉より大きな割合で出現するが、PRON は省略さ れる傾向がみられる。Xは、笑・泣・歌などといっ た書き言葉では見られず、いずれにも該当しない表現に付与している。

表 3 DEPREL の分布 (GSD (短単位)と CEJC (短単位))

表 3 に GSD (短単位)と CEJC (短単位)の DEPREL （依存構造関係）ラベルの分布を示す。話し言葉に おいては、係り先が不定のものを文末の rootノード を係り先とするために root が大きな割合となる。ま た、 reparandum は言いよどみ、discourse はフィラー を意味する。UPOS PUNCT が話し言葉には出現しな いために、DEPREL 'punct'も出現しない。


# 低資源な法ドメイン含意タスクにおけるデータ拡張

伊藤光一 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{ito.k.bo@m, yamada@c, take@c\}.titech.ac.jp

## 概要

法ドメインではアノテーションが高コストのた め学習データが不足する問題がある。本稿では, COLIEE TASK 4 を用いて，ラベル付き学習データの ルールベースによる拡張と，言語モデル事前学習の 際の擬似的な学習データ拡張の効果検証を行う. 実験の結果，提案手法である反対解釈によるデータ拡張手法が最良の性能を示した。

## 1 はじめに

事前学習済み言語モデル BERT[1]により，自然言語処理分野は大いに進歩した. BERTをファイン チューニングすることで，様々なベンチマークタス クにおいて，従来の手法を超える性能が報告され ている．法分野における含意関係認識タスクでも， BERT を使用したモデルが最高スコアを達成してい る [2]. しかし，BERTのような事前学習済み言語モ デルを特定タスクにファインチューニングするに は，一定の規模の学習データが必要となる. これ は，ラベル付き言語資源の少ないドメインでは課題 となっており，法分野も例外ではない，本稿では，日本語法分野含意関係認識タスクを対象として，法律文を用いたルールベースのデータ拡張手法の提案 と検証を行う。

また，法分野などのドメインに特化した事前学習済み言語モデルの入手が困難な場合, Wikipedia 等 で学習された既存モデルをドメイン固有のデータで 追加事前学習を行う必要がある．法分野の場合，ラ ベルなしデータであっても入手が困難であることか ら，ファインチューニングによるドメイン適合にも データ拡張が必要となる. このため, 本稿では, 追加事前学習の際に対照学習を用いた擬似的なデータ 拡張手法の提案と検証も行う.

## 2 対象タスク：COLIEE TASK4

本稿では COLIEE (Competition for Legal Information Extraction and Entailment) 2021[2] の TASK4 を対象夕 スクとする． COLIEE 2021 は，法と人工知能に関す るトップカンファレンス (ICAIL) において開催され た法律情報の抽出と含意に関するコンペティション である. このうち TASK4 では，日本の司法試験の 民法選択式問題を含意タスクと見なしている，具体的には，司法試験の問題文が前件として，関連する 民法条文が仮説として対となり入力として与えられ ており，民法条文が問題文を含意するか否かを解答 する 2 値分類問題となっている. COLIEEでは，過去の司法試験から作成された問題が学習データと して配布され, 開催当時最新の司法試験から作成さ れた問題がテストデータとして使われている。年度 ごとの問題の数，含意ラベルの数を Appendix A. 1 に 示す.

## 3 ルールベースのデータ拡張

## 3.1 COLIEE 2021 SOTA

Aoki ら [3] は，BERT モデルを用い，民法条文を 利用したルールベースによる含意学習データの拡張とアンサンブルを組み合わせることで，COLIEE 2021 年度 TASK4 で最高スコアを記録した。

Aoki らは，図 1 に示すように，論理構造を特定し て民法の各条 $R$ に対して $R$ が含意する文 $S_{i}$ を作成 し， $S_{i}$ を使用して COLIEE の拡張データ $Q_{i}$ を作成 した． $S_{i}$ の作成は，文末及び段落情報を使用して民法を分割し， $R$ 内の参照をルールベースで展開する ことで行う. COLIEE の拡張データ $Q_{i}$ の前件 $P_{Q_{i}}$ として $S_{i}$ を使用する. 仮説 $H_{Q_{i}}$ として $S_{i}$ を与えて 含意ラベルを付与し, 正例とする。 また, 仮説 $H_{Q_{i}}$ として $S_{i}$ の文末をルールベースで否定させた文を 与えて非含意ラベルを付与し，負例とする。

この手法により，正例 2,074 件を含む 4,062 件の

図 1 Aoki らのデータ拡張手法

拡張データを作成する. 本研究では Aoki らのデー タ拡張手法をべースラインとする。

## 3.2 反対解釈を用いた追加拡張

命題論理の体系では命題 $A, B$ に対して $A \rightarrow B$ ならば裏 $\neg A \rightarrow \neg B$ は正しいとは限らない。一方,民法の分野では，「反対解釈 [4]」と呼ばれる概念に よって，ある条件の下での規定がある時，条件を満 たさないものについては反対の規定がされていると 解釈されることがある.

本研究では Aoki らのデータ拡張に加えて反対解釈を用いたデータ拡張を提案する。

反対解釈を用いたデータ拡張の概要を図 2 に示 す. $S_{i}$ に対してさらに辞書を用いて特定の表現を置換することで反対解釈に相当する新たな $S_{i}^{\prime}$ を作成 する. 既存の $S$ に加え作成された $S_{i}^{\prime}$ を $S^{\prime}$ の集合に 加えることで，再拡張された $S^{\prime}$ を生成する。

今回用意したルールでは民法から拡張できた件数が 254 件 (内正例 127 件) と多くなかったため，民法以外も含めた条文集から拡張した 496 件 (内正例 248 件) を使った追加実験も併せて行なった. 条文集で使用した法律を Appendix B に示す.

図 2 反対解釈を使用したデータ拡張手法

## 3.3 拡張データの与え方の変更

Aoki らの拡張データは, 入力文対の前件と仮説 の文末を比べることで正解できる. 本手法では, COLIEE と問題形式を揄えて拡張データの質を高め ることを目的に，図 2 で示すように拡張データの前件 $P_{Q_{i}}$ として条文一条全体 $R$ を与える.

## 4 文埋め込みの事前学習

事前学習済みモデルに対して SimCSE (Simple Contrastive Learning of Sentence Embeddings)[5]を用い た文埋め込み学習をしてから，COLIEE タスクで ファインチューニングする手法を提案する。より よい文埋め込みを獲得することをねらい，SimCSE を用いる。SimCSE は教師あり，教師なし，どちら においても，文埋め込みの良さを測るのに使われ る類似度ベンチマークである STS (Semantic Textual Similarity)[6] において教師なしで優れたスコアを記録した。

一般ドメインでは，大規模なラベル付き NLI デー タセットが日本語でも入手可能 $[7,8,9]$ である一方，日本語法ドメインには同様のデータは存在しない.

そこで，一般ドメインにおける文埋め込み性能向上 のためには，教師あり学習による追加事前学習をす る手法を採用し，法ドメインのデータを用いた文埋 め込み性能の改善には教師なしSimCSE を用いた追加事前学習を採用した. 以下の実験における実験設定は，入力トークン長を 512 へと変更した点を除い てオリジナルの SimCSE と同一である. ただし，条文集以外はオリジナルと同規模の 100 万文を使用 して 1 エポックの学習をおこなったが，条文集を使用した学習は，およそ 1 万文で 100 エポックに変更 した.

オリジナルの SimCSE と対応して，最良のモ デルを選ぶ指標として, JGLUE (Japanese General Language Understanding Evaluation) [7]の JSTS のスピ アマンの順位相関係数を使用した. 125 ステップご とにJSTS の文対をそれぞれモデルに入力し, スピ アマンの順位相関係数が最も大きいステップのモ デルを選ぶ. SimCSEを適用するモデルとして，日本語 WikiBERT ${ }^{1)}$ ，及び JLBERT-FP[10] を使用した. JLBERT-FP は，日本語法分野に特化した BERT モデ ルである.

## 4.1 教師なし文埋め込み学習

SimCSE の教師なし学習は，BERT のドロップア ウトを利用した単純なデータ拡張を使用した対照学習である。同一文に対して擬似的に拡張をした文埋 め込み同士が近く，異なる文に対する文埋め込み同士が遠くなるように学習する。

教師なし学習においては，法ドメインデータの判決書データ，条文集に加えて，一般ドメインデータ の Wikipediaを用いる. 判決書データには平成十二年から令和二年までの民事事件下級審判決 52,967 件 を用いている。判決書データ及び Wikipedia につい ては，ランダムに 100 万文を抽出した. 条文集はお よそ 1 万文を抽出した。

一部手法は一般ドメインデータにおける文埋め込 み学習後に法ドメインデータで文埋め込み学習を しており，実験結果の表 1 において右矢印（）で 示す.

## 4.2 教師あり文埋め込み学習

SimCSE の教師あり学習は，NLI のデータセット を利用した対照学習である．NLI のデータセットは

1) https://github.com/cl-tohoku/bert-japanese より cltohoku/bert-base-japanese-whole-word-masking を使用.前件，仮説ペアに対する含意，非含意がラベリング されたデータセットであり，SimCSE では，前件の 文埋め込みに対し，含意ラベルが付与された仮説の 文埋め込みが近くなるように学習する。

ここでは NLI データセットに，JSNLI[9]を使用し た. SimCSE の構造上, 前件に対して仮説が含意,非含意いずれも存在する三つ組を用意する必要が あったため，JSNLI から 137,563 セットの三つ組を 作成し，学習に使用した。

## 5 実験設定

## 5.1 ファインチューニング

条文と問題文を [SEP] トークンで区切り，BERT に与える。クロスエントロピーロスを使い，エポッ ク数は 5 , 学習率は $1 \mathrm{e}-5$, バッチサイズは 12 , 入 カトークン最大長は 512 である. Aoki らは最大長 256 で実験を行なっていたが，トークン長の分布 (Appendix A.3)から 512 が適切だと判断した.

事前学習済みモデルには，日本語 WikiBERT， JLBERT-FP，及び SimCSE による事前学習済みモデ ルを使用した。

## 5.2 評価

性能指標には正解率 (Accuracy)を用いる. COLIEE 2021 データセットは合計でも 806 件に留まり (A.1)，年度毎のデータの特徴も異なること（A.2） から，モデルの性能評価では以下の方法を取る.

平成十八年度から令和元年度のうち， 1 年度をテ ストデータとし，残りのうち 1 割を検証データ，9割 を学習データとする実験を，各年度について行い計 14 年度分実施することを 1 回の実験と定義する. 1 実験全体のスコアは，マイクロ平均を用いる．各手法について 5 回ずつ実験を行い，その平均を各手法 のスコアとする. 各手法の正解率の平均について,並べ替え検定 (有意水準 $5 \%$, 両側検定) を行った。

## 6 実験結果

実験結果を表 1 に示す. 提案手法 (\#3) によって， ベースライン (\#1) から正解率が向上し，全手法を通 して最高性能となった。一方で，今回提案したデー 夕拡張手法 $(\# 3, \# 4)$ とべースライン $(\# 1)$ との間に統計的な有意差は確認できなかった. ベースライン は，利用する事前学習済み言語モデル及び SimCSE で利用するデータの種類に関わらず，データ拡張な
表 1 手法ごとの評価

JLBERT-FP．*は**に対して有意差を確認．）

しの結果に対して常に高い正解率を示し，統計的な 有意差も確認できた。

SimCSE を用いた手法 (\#5-\#14＃17-\#20) は，い ずれも Aoki らの手法 (\#1) 及び提案手法 (\#3) を下回 る正解率となった.

Aoki らのデータ拡張を適用した場合の性能向上幅 を, 日本語 WikiBERT (\#1,\#2) と JLBERT-FP (\#15,\#16) の間で比較すると, 日本語 WikiBERTを用いた手法 でより大きい. SimCSE 及びデータ拡張をどちらも 用いない手法 (\#2,\#16) の中では，JLBERT-FP が高い 性能を発揮した。

## 7 考察

反対解釈を用いた手法 (\#3) はベースライン (\#1) に対して改善が見られた. しかし, 改善幅が小さ く，統計的な有意差までは確認できなかった。

問題の内容を確認するために令和元年度をテスト データとした実験を抽出して分析した．令和元年度 データにおいて，反対解釈が必要である問題は少な くとも 3 件 (問 3, 問 21 , 問 53) 存在した. 令和元年度データに対する予測結果を手法 \#1,\#3, \#4 間で比較したところ，手法 $\# 1$ では $0 / 3$ 問正解だったのに 対し, 手法 $\# 3$ 及び $\# 4$ では $1 / 3$ 問正解であった ${ }^{2)}$.
このことから反対解釈を用いた拡張は部分的には有効に作用している可能性がある．改善幅が小さい原因は，反対解釈によるデータ拡張量が少なかったこ とが挙げられる. 反対解釈による拡張データはルー ルベースによって作成した. 反対解釈が可能な条文 を厳密に抽出するようにルールを設計したため，本来は拡張に利用可能な条文であっても排除している 可能性がある.

拡張データ件数を確保するため条文集を追加した 手法 ＃4 は，手法 ３３を下回る性能を示した。これは 民法向けに構築した拡張ルールをそのまま他の法典 に適用したことが原因と推測できる。

SimCSE を利用した文埋め込み学習手法は Aoki ら の手法に対して改善が見られなかった. SimCSE に おけるモデル選択の指標が適切でないことが原因と して考えられる. JSTS のような大規模な意味的類似度計算タスクデータセットは日本語法ドメインで は存在しないため, 実験では一般ドメインデータで あるJSTS を用いてモデル選択を行ったが，本来は 法ドメインデータを用いることが望ましい. 法ドメ インにおける低資源問題を回避するため教師なし SimCSE の活用を検証したが，モデル選択に必要な 検証データとして一定量のラベル付き法ドメイン データが確保できない点が，依然としてボトルネッ クとなってしまった.

## 8 結論

本稿では，法ドメインの含意タスクの低資源問題 を回避するため，1) 反対解釈によるデータ拡張手法, 2) SimCSE を用いた文埋め込み学習の利用を検証した.

従来のデータ拡張手法に更に反対解釈によるデー 夕拡張を行うことで，性能が向上することを示し た. 今後は, 反対解釈ルールの拡張や言語生成モデ ルを活用した生成的なデータ拡張の手法の検討を 行う.

一方で，SimCSE の有用性は示せず，教師なし学習であっても検証用データすら不十分なドメインの 場合は最良モデルの選択が難しいことを確認した。

## 謝辞

本研究で使用した判決書データは株式会社 LIC か ら提供を受けたものである. 本研究の一部は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Juliano Rabelo, Randy Goebel, Mi-Young Kim, Yoshinobu Kano, Masaharu Yoshioka, and Ken Satoh. Overview and discussion of the competition on legal information extraction/entailment (coliee) 2021. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 111-133, Apr 2022.

[3] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 175-196, Apr 2022.

[4] 早田幸政. 入門法と憲法. ミネルヴァ書房, 2014.

[5] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 385-393, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[7] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会 第 28 回年次大会発表論文集, 2022.

[8] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論 - 類似度データセットの構築. 人工知能学会第 35 回全国大会, 62021.

[9] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会第 244 回自然言語処理研究会, 72020.

[10] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した BERT の構築. 言語処理学会第 28 回年次大会 発表論文集, 2022.

## A COLIEE

## A. 1 COLIEE の基本情報

COLIEE の年度ごとの問題数と含意ラベル数を 表 2 に示す.

## A. 2 年度間での傾向の異なり

手法＃1 の実験について年度ごとの結果を表 3 に 示す.

表 3 年度ごとの実験の正解率

## A. 3 トークン長

H18 年から R01 年のデータ 806 個に対するトーク ン長の分布を図 3 に示す. 256 より大きいデータは 118 個，512より大きいデータは 12 個ある.

図 3 トークン長の分布

## B 条文集

反対解釈及び SimCSE で使用した憲法，法律を以下に示す. 以下から成る条文集から 10,488 文を抽出した. e-Gov 法令検索 ${ }^{3}$ のテデータを利用した.

・行政機関の保有する情報の公開に関する法律
- 行政事件訴訟法
- 行政手続法
- 行政不服審査法
- 刑事訴訟法
- 刑法

-個人情報の保護に関する法律
- 国家賠償法
- 戸籍法
- 借地借家法
- 商業登記法
- 商法
- 宅地建物取引業法
- 賃貸住宅の管理業務等の適正化に関する法律

-日本国憲法
- 不動産登記法

・マンションの管理の適正化の推進に関する法律
- 民事執行法
- 民事訴訟法
- 民事保全法
- 民法
- 利息制限法
- 労働関係調整法
- 労働基準法
- 労働組合法

3) https://elaws.e-gov.go.jp/