# 長単位解析器の異なる品詞体系への適用

小澤 俊介 ${ }^{\dagger}$ ・元 清貴 $\dagger+$ ・伝 康晴柿
}

言語研究において, 新しい品詞体系を用いる場合には, 既存の辞書やコーパス, 解析器では対応できないことが多いため，これらを再構築する必要がある。これらのう ち, 辞書とコーパスは再利用できることが少なく, 新たに構築する場合が多い。一方, 解析器は既存のものを改良することで対応できることが多いものの, どのよう な改良が必要かは明らかになっていない。本論文では, 品詞体系の異なるコーパス の解析に必要となる解析器の改良点を明らかにするためのケーススタディとして,品詞体系の異なる日本語話し言葉コーパス（以下，CSJ）と現代日本語書き言葉均衡コーパス（以下，BCCWJ）を利用して，長単位情報を自動付与した場合に生じる 誤りを軽減する方策について述べる。具体的には，CSJを基に構築した長単位解析器を BCCWJへ適用するため, CSJ と BCCWJ の形態論情報における相違点に応じ て, 長単位解析器の学習に用いる素性やラベルを改善した。評価実験により提案手法の有効性を示す。

キーワード：長単位解析，異なる品詞体系，話し言葉コーパス，書き言葉コーパス
## Adaptation of Long-Unit-Word Analysis System to Different Part-Of-Speech Tagset

\author{
Shunsuke Kozawa $^{\dagger}, \operatorname{Kiyotaka~}^{2}$ Uhimoto $^{\dagger \dagger}$ and Yasuharu Den ${ }^{\dagger \dagger \dagger}$
}

Existing dictionaries, corpora, analyzers are not usually applicable to research using new part-of-speech tagset in the fields of linguistic research. Dictionaries and corpora are often newly constructed. On the other hand, existing analyzers can be reused by improving them. However, it is not clear how they could be improved. This paper describes how an analyzer constructed for analyzing a certain corpus can be applied to another corpus with a different part-of-speech tagset. In particular, we improved the features and labels used to train a long-unit-word analyzer based on Corpus of Spontaneous Japanese (CSJ) by focusing on the differences between CSJ and Balanced Corpus of Comtemporary Written Japanese (BCCWJ) and applied the analyzer to BCCWJ. The experimental results show the advantage of the proposed method.

Key Words: long-unit word, different part-of-speech tagset, spontaneous speech corpus, written corpus


## 1 はじめに

近年, 言語研究において, 言語現象を統計的に捉えるため, コーパスを用いた研究が盛んに行われている.コーパスを用いた研究は, 語法, 文法, 文体に関する研究 (大名 2009 ; 小磯, 小木曽, 小椋, 宮内 2009), 語彙に関する研究 (田野村 2010), 時代ごとの言語変化を調査する通時的な研究 (近藤 2012), 外国語教育へ適用する研究 (中條, 西垣, 内山, 山崎 2006) など多岐にわたる。

コーパスを用いる研究では, 新しい言語現象を調査するには新しいコーパスの構築が必要となる。大規模なコーパスを構築する場合，人手でのアノテーションには限界があるため, 自動でアノテーションをする必要がある。既存の言語単位や品詞体系を利用できる場合は, 既存のコーパスや解析器を利用することにより，他分野のコーパスに対するアノテーション作業を軽減できる (風間, 宮尾, 辻井 2004). また, 対象分野のアノテーション済みコーパスがある程度必要なものの, 分野適応により, 解析器の統計モデルを対象分野に適合するように調整することで，他分野のコーパスに対しても既存のコーパスに対するものと同程度の性能でアノテーションが可能となる (Jiang and Zhai 2007; Neubig, Nakata, and Mori 2011). しかし, 研究目的によっては適切な言語単位や品詞体系が異なるため, 既存の言語単位や品詞体系が利用できないこともある，例えば，国立国語研究所の語彙調査では, 雑誌の語彙調査には $\beta$ 単位, 教科書の語彙調査には $\mathrm{M}$ 単位というように, どちらも形態素相当の単位ではあるが, 調査目的に応じて設計し用いている。これらの単位の概略は (林 1982; 中野 1998)に基づいてる。また, 言語現象に応じて異なる場合もあり, 日本語話し言葉コーパス(前川 2004)（以下，CSJ）と現代日本語書き言葉均衡コーパス (Maekawa 2008)（以下，BCCWJ）では異なる言語単位や品詞体系が定義されている。新しい言語単位や品詞体系を用いる場合, 分野適応の利用は難しく, 辞書やコーパス, 解析器を再構築する必要がある. これらのうち, 辞書とコーパスは再利用できることが少なく, 新たに構築する必要がある。解析器に関しては, 既存のものを改良することで対応できることが多いものの, どのような改良が必要かは明らかではない.

本論文では, 言語単位や品詞体系の異なるコーパスの解析に必要となる解析器の改良点を明らかにするためのケーススタディとして, 品詞体系の異なる CSJ と BCCWJを利用して長単位解析器を改良する. CSJ と BCCWJには、いずれも短単位と長単位という 2 種類の言語単位がアノテーションされている。本論文ではこのうち長単位解析特有の誤りに着目して改善点を明らかにする。そのため, 短単位情報は適切にアノテーションされているものと仮定し, その上で長単位情報を自動でアノテーションした場合に生じる誤りを軽減する方策について述べる.評価実験により提案手法の有効性を示し, 提案手法の異なる品詞体系への適用可能性について考察する。

本論文の構成は以下の通りである。まず， 2 章で長単位解析器を改良するために重要となる

CSJ と BCCWJ の形態論情報における相違点について述べ， 3 章では CSJに基づいた長単位解析手法を説明し, CSJ と BCCWJ の形態論情報における相違点に基づいた長単位解析手法の改良点について述べる。 4 章では，長単位解析手法の改良点の妥当性を検証し，改良した長単位解析手法を評価する．5 章では， 3 章で述べた長単位解析手法を実装した長単位解析システム Comainu について述べ， 6 章で本論文をまとめる.

## 2 CSJ と BCCWJ の形態論情報における相違点

一般に, 解析器を学習したコーパスとは異なるコーパスに適用する場合, 各コーパスには同じ粒度のアノテーションが施してある必要がある。 アノテーションの粒度が異なる場合には精度よく解析できないため, 解析器を改良し, 学習しなおす必要がある。解析器の改良にはコー パス間の相違点を把握することが重要となる。本章では，CSJを基に構築した長単位解析器を BCCWJ へ適用する上で必要な改良点を把握するため, 言語単位, 品詞体系, 言語現象, 付加情報に着目して, CSJと BCCWJ を比較し, 形態論情報における相違点について述べる。

## 2.1 言語単位

CSJ と BCCWJではともに，短単位と長単位という 2 種類の言語単位が用いられている，短単位は, 原則として, 現代語で意味を持つ最小の単位 2 つが 1 回結合したものであり, その定義は一般的な辞書の見出しに近いものである。長単位は，概ね，文節を自立語と付属語に分けたものであり，1 短単位からなるか，あるいは，複数の短単位を複合したものからなる.

短単位と長単位の例を表 1 に挙げる。表 1 は「日本型国際貢献が求められています」という文における文節，長単位，短単位の関係を表している。例えば，「日本型国際貢献」という長単位は「日本」,「型」,「国際」,「貢献」の 4 短単位から構成される.

CSJと BCCWJではいずれも, 短単位と長単位という同じ言語単位を利用しているが, BCCWJ の短単位・長単位の認定規定は，CSJの規定に修正を加えたものを利用しているため，CSJ と BCCWJ の短単位・長単位は完全には一致しない.

表 1 文, 文節, 長単位, 短単位の関係

} & られ & \multicolumn{2}{|c|}{ てい } & ま \\

## 2.2 品詞体系

CSJ と BCCWJでは大きく異なる品詞体系が利用されている，以下に CSJ と BCCWJ，それぞれの品詞体系を示す.

CSJ では学校文法に基づく品詞体系が採用されており, 15 種類の品詞, 59 種類の活用型, 8 種類の活用形で構成されている (小椋, 山口, 西川, 石塚, 木村 2004). CSJ の品詞体系は以下の通りである。活用型の○にはア, カ, サ, 夕などが入る.
- 品詞 (15 種類)

名詞, 代名詞, 形状詞, 連体詞, 副詞, 接続詞, 感動詞, 動詞, 形容詞, 助動詞, 助詞,接頭辞, 接尾辞, 記号, 言いよどみ
- 活用型 (59 種類)

○行五段, ○行上一段, ○行下一段, 力行変格, サ行変格, ザ行変格, 文語行四段, 文語行上二段, 文語 $\bigcirc$ 行下二段, 文語力行変格, 文語サ行変格, 文語ナ行変格, 文語ラ行変格, 形容詞型, 文語形容詞型 1 , 文語形容詞型 2 , 文語形容詞型 3 , 文語
- 活用形 (8 種類)

未然形, 連用形, 終止形, 連体形, 仮定形, 已然形, 命令形, 語幹

BCCWJ は形態素解析用辞書 UniDic(伝, 小木曽, 小椋, 山田, 峯松, 内元, 小磯 2007) に準拠した品詞体系を利用しており, 品詞は「名詞-固有名詞-地名-一般」のように階層的に定義されている. 各階層は大分類, 中分類, 小分類, 細分類と呼ばれる.「名詞-固有名詞-地名-一般」 の場合, 「名詞」が大分類, 「固有名詞」が中分類, 「地名」が小分類, 「一般」が細分類である.品詞は 4 階層で定義され，大分類で 15 種類，細分類まで展開すると 54 種類ある．活用型は 3 階層で定義され，大分類で 20 種類，小分類まで展開すると 115 種類ある. 活用形は 2 階層で定義され, 大分類で 10 種類, 中分類では 36 種類ある. BCCWJ の品詞体系のうち, 大分類の体系は以下の通りである。
- 品詞 (15 種類)

名詞, 代名詞, 形状詞, 連体詞, 副詞, 接続詞, 感動詞, 動詞, 形容詞, 助動詞, 助詞,接頭辞, 接尾辞, 記号, 補助記号
- 活用型 (20 種類)

五段, 上一段, 下一段, 力行変格, 开行変格, 文語四段, 文語上一段, 文語上二段, 文語下一段, 文語下二段, 文語力行変格, 文語サ行変格, 文語ナ行変格, 文語ラ行変格形容詞, 文語形容詞, 助動詞, 文語助動詞, 無変化型
- 活用形 (10 種類)

語幹, 未然形, 意志推量形, 連用形, 終止形, 連体形, 仮定形, 已然形, 命令形, ク語法
^{1}$ http://sourceforge.jp/projects/unidic/
}
表 $2 \mathrm{CSJ}$ と BCCWJ の名詞の比較

CSJ が階層のない単純な品詞体系を利用しているのに比べ, BCCWJでは詳細な品詞体系が利用されている. CSJ の名詞と BCCWJ の名詞を比較した例を表 2 に示す. BCCWJでは名詞は 15 種類に分類されている。また, CSJでは短単位と長単位の品詞体系が一致しているのに対し, BCCWJでは短単位と長単位の品詞体系は一部異なっている。これは BCCWJ の短単位では「名詞-普通名詞-サ変可能」や「名詞-普通名詞-形状詞可能」などの曖昧性を持たせた品詞が設けられているのに対し，長単位ではこれらを設けていないためである.

## 2.3 言語現象

CSJ は話し言葉コーパスであるのに対し， BCCWJ は書き言葉コーパスであるため，言語現象として，話し言葉と書き言葉という大きな違いがある。例えば，話し言葉の場合，フィラー や言いよどみなどが生じる。一方, 書き言葉の場合, 著者によって使われる表記が異なるため,表記のバリエーションが多い。話し言葉のコーパスである CSJ と書き言葉のコーパスである BCCWJ を比べると, 前者では人手で書き起こす際に表記摇れが吸収され表記は統一されており，後者では著者の著したテキストがそのまま使われているため表記は不統一である．次の節でこれらに関連してコーパスに付加された情報の違いを整理する.

## 2.4 付加情報

CSJ と BCCWJでは短単位に付与されている情報に多少違いがある，以下に，CSJ のみ，及び，BCCWJのみにしか付与されていない情報について述べる.

CSJ には話し言葉特有の情報など, 以下の情報が付与されている.

・フィラー：フィラーに対してタグ $(\mathrm{F})$ が付与されている

( $\mathrm{F}$ え一)，(F あのね $),(\mathrm{F}$ んーと)

・言いよどみ：言いよどみに対してタグ（D）が付与されている

（D す）すると,（D テニ）昨日のテニスは，（D 情）情報が
- アルファベット：アルファベット, 算用数字, 記号の短単位に対してタグ（A）が付与されている.

(A シーディーアール； C D - R)
- 外国語：外国語や古語，方言などに対して夕グ（O）が付与されている.

(O ザッツファイン)
- 名前 : 話者の名前や差別語, 誹謗中傷などに対して夕グ $(\mathrm{R})$ が付与されている.

国語研の $(\mathrm{R} \times \times)$ です
- 音や言葉のメ夕情報：音や言葉に関するメ夕的な引用に対して夕グ（M）が付与されている.

助詞の（M は）は（M わ）と発音

一方, BCCWJでは CSJには付与されていない以下の情報が付与されている.
- 語種情報：語種とは, 語をその出自によって分類したものである. BCCWJでは, 短単位に以下の語種のいずれかが付与されている.

和語, 漢語, 外来語, 混種語, 固有名, 記号
- 囲み情報：BCCWJでは, 丸付き数字（1), (2)）や丸秘などの丸で囲まれている文字は内部の文字のみが短単位となっており, 囲みの情報は別で付与されている。例えば, 「1 林木の新品種の開発」は書字形では「1林木の新品種の開発」となっており, 囲みの情報は別で付与されている。

## 3 長単位解析手法

本章では，まず，CSJに基づいて構築された長単位解析手法（従来手法）について述べ，次に，提案手法について述べる。従来手法を BCCWJに適用するためには改良が必要であり，提案手法では, CSJ と BCCWJ の形態論情報における相違点に着目した改良を行った.

長単位解析とは長単位境界, 及び, 長単位の語彙素, 語彙素読み, 品詞, 活用型, 活用形を同定する夕スクである。短単位解析では，辞書を用いることで，高精度に解析が行われてきた (Kudo, Yamamoto, and Matsumoto 2004; Den, Nakamura, Ogiso, and Ogura 2008). 長単位解析でも長単位辞書を構築することによって高精度に解析できることが考えられるが，短単位の組み合わせからなる長単位の語彙は膨大であり, 辞書の構築には膨大な労力が必要となるため,
効率的でない，そのため，短単位情報を組み上げることにより長単位解析を行う.

## 3.1 CSJ に基づく長単位解析手法（従来手法）

Uchimoto らは長単位を認定する問題を, 入力された短単位列に対する系列セグメンテーション問題として捉え, チャンキングモデルと後処理に基づいた長単位解析手法を構築した (Uchimoto and Isahara 2007). 図 1 に長単位解析の流れを示す. 短単位列を入力とし，チャンキングにより長単位境界を認定する。このとき，一部の長単位に対しては品詞情報も付与する。次に，後処理によって長単位の品詞，活用型，活用形，語彙素，語彙素読みを付与する.

## 3.1.1 チャンキングモデル

チャンキングモデルによって, 長単位境界を認定し, 一部の長単位に対しては品詞情報も付与するために, Uchimoto らは下記の 4 つのラベルを定義している.

$\mathrm{Ba}$ 長単位を構成する短単位のうち先頭の要素で, かつ, その品詞, 活用型, 活用形が長単位のものと一致する。

Ia 長単位を構成する短単位のうち先頭以外の要素で, かつ, その品詞, 活用型, 活用形が長単位のものと一致する。

B 長単位を構成する短単位のうち先頭の要素で, かつ, その品詞, 活用型, 活用形のいずれかが長単位のものと一致しない。

I 長単位を構成する短単位のうち先頭以外の要素で, かつ, その品詞, 活用型, 活用形のいずれかが長単位のものと一致しない.

これは, 長単位を構成する先頭の要素に付与されるラベルは「Ba」か「B」であり, 長単位を構

$\lceil\mathrm{Ia}\rfloor$ が付与された要素は長単位と同じ品詞, 活用型, 活用形を持つことを意味する. したがって, このラベルを利用することにより, 長単位境界だけでなく, 多くの場合, 品詞, 活用型, 活用形の情報も得られる。

図 1 長単位解析の流れ
図 2 に 「日本型国際貢献が求められています」に対して，ラベルを付与した例を示す。これらのラベルを正しく推定できれば, 「Ba」あるいは「I Ia」が付与された短単位から品詞, 活用

図 2 短単位と長単位の例
型, 活用形が得られる. 図 2 は,「ている」以外の長単位については品詞, 活用型, 活用形も得られることを表わしている。一方，「ている」については品詞がこれらを構成する短単位「て」「いる」のどちらとも異なるため，各短単位には「B」あるいは「I」のラベルしか付与されない. この場合は，ラベルを正しく推定できたとしても品詞などは得られず，単位境界の情報のみが得られることになるため，次節に述べる後処理により品詞，活用型，活用形を推定する．

チャンキングモデルの素性としては, 着目する短単位とその前後 2 短単位, あわせて 5 短単位について，以下の情報を利用する。
- 短単位情報

書字形, 語彙素読み, 語彙素, 品詞, 活用型, 活用形
- 付加情報

2.4 節で述べた CSJ にのみ付与されている情報（フィラー, 言いよどみ, アルファベッ

卜，外国語，名前，音や言葉のメ夕情報を示すタグ）がそれぞれ着目している短単位の直前に付与されているか否かを素性として利用する.

## 3.1.2書き換え規則による後処理

3.1.1 節で記したチャンキングモデルにより，ラベルを正しく推定することができれば，図 2 の「日本型国際貢献」や「求める」などは「 $\mathrm{Ba}\rfloor$ または「I $\mathrm{Ia}$ が付与された短単位から品詞, 活用型, 活用形が得られる。一方,「ている」については, 品詞が長単位を構成する短単位「て」及び「いる」とは異なるため，各短単位には「B」あるいは「I」のラベルしか付与されない。この場合は，ラベルを正しく推定できたとしても品詞は得られず，単位境界の情報のみが得られることになる。これらの長単位に対しては書き換え規則によって品詞, 活用型, 活用形を付与する。

単位境界のみが分かっている長単位ごと，つまり，「B」あるいは「I」が付与された短単位のみから構成される長単位ごとに書き換え規則を獲得, 適用することによって品詞, 活用型, 活用形の情報を得る。書き換え規則は対象の長単位とその前後の短単位を抽出することによって自動獲得する。書き換え規則は対象の長単位を構成する短単位, 及び, その前後の短単位からなる前件部と, 対象の長単位からなる後件部で構成される。例えば, 図 2 の「ている」については図 3 のような規則が獲得される。前件部で同じ規則が複数得られた場合, 最も頻度の高いもののみ書き換え規則として獲得する.

図 3 の規則は，「て」「いる」という短単位にそれぞれ「B」,「I」というラベルが付与され，前方 (文頭側) の短単位が「られ」, 後方（文末側）の短単位が「ます」であるとき，「ている」という助動詞に書き換えられることを意味している。どの書き換え規則も適用されない場合は，以下の手順で規則を汎化して再適用する。
- 後方文脈を削除

前件部

後件部

図 3 書き換え規則の例
- 前方文脈と後方文脈を削除
- 前方文脈, 後方文脈, 書字形, 語彙素読み, 語彙素を削除

前方文脈とは対象の長単位より前方 (文頭側) の短単位（図 3 の「られ」), 後方文脈とは対象の長単位より後方 (文末側) の短単位（図 3 の「ます」）を表す。この手順で再適用し, 結果的にどの規則も適用されなかった場合は, 短単位の先頭の品詞, 活用型, 活用形を適用する.

## 3.2 コーパスの形態論情報における相違点に基づいた長単位解析手法の改善 (提案手法)

本節では， 3.1 節で示した長単位解析手法（従来手法）からの改良点について述べる。

## 3.2.1 品詞体系の差異に応じた改善

CSJ と BCCWJ の品詞体系は 2.2 節で示したように, 大きく異なっている. この問題に対し,以下の点を改善した。

## 汎化素性の利用

CSJ の品詞体系とは異なり, BCCWJ の品詞体系では, 品詞, 活用型, 活用形が階層的に定義されている。しかし, 階層化された素性をそのまま利用した場合, 各階層の情報が考慮されなくなってしまう。そこで，階層化された素性に対して上位階層で汎化した素性をチャンキングモデルの素性として追加する。例えば「名詞-普通名詞-一般」に対しては，「名詞」「名詞-普通名詞」を素性として追加する。

## カテゴリ推定モデルによる後処理

CSJでは品詞体系が単純であったため, 「B」あるいは「I」のラベルが付与された短単位のみから構成される長単位が少なく, 後処理については書き換え規則である程度対応できていた。

しかし, 品詞体系が詳細な BCCWJでは, 短単位と長単位の品詞の対応関係が単純ではないため，書き換え規則で対応するのは困難である。この問題に対し，次に述べるカテゴリ推定モデルを用いることで解決することを提案する.

カテゴリ推定モデルは，学習データに現れたカテゴリを候補として，その候補すべてについて尤もらしさを計算するモデルである。長単位を構成する短単位列を与えると，その長単位に対して最尤のカテゴリを出力する，推定するカテゴリを品詞，活用型, 活用形とした, 品詞推定モデル，及び，活用型推定モデル，活用形推定モデルをそれぞれ学習・適用し，最も尤もらしい品詞, 活用型, 活用形を推定する.

推定するカテゴリを品詞とする品詞推定モデルでは，学習データに現れた品詞のうち, 助詞と助動詞を除くすべての品詞候補から最尤の品詞を出力する．助詞と助動詞については長単位を構成する短単位列が複合辞と一致している場合のみ候補とする．複合辞と一致しているかどうかは，複合辞辞書との文字列マッチングにより自動判定する．複合辞辞書は BCCWJ で認定された複合辞を予め人手で整理することにより用意した。素性としては，着目している長単位とその前後の長単位, あわせて 3 長単位に対して, 先頭から 2 短単位と末尾から 2 短単位の計 12 短単位の情報を用いる。長単位が 1 短単位からなる場合は, 先頭から 2 短単位目の情報は与えられなかったもの (NULL) として扱う. 各短単位に対して, 書字形, 語彙素読み, 語彙素,品詞, 活用型, 活用形, 及び, 階層化された素性に対して上位階層で汎化した情報を素性として用いる。

図 2 の「てい」に対して品詞推定モデルを適用する例を図 4 に示す.「てい」では, 前後の長単位をあわせた「られ」「てい」「ます」の 3 長単位に対し, 「られ」「NULL」(「られ」の先頭 2 短単位),「て」「い」(「てい」の先頭 2 短単位),「ます」「NULL」(「ます」の先頭 2 短単位), 及び, 「NULL」「られ」(「られ」の末尾 2 短単位),「て」「い」(「てい」の末尾 2 短単位),「NULL」「ます」(「ます」の末尾 2 短単位) の各短単位の情報を素性として用いる. 図 4 では, 最尤の品詞として助動詞を出力している.

活用型推定モデル, 及び, 活用形推定モデルは, 推定するカテゴリが品詞ではなくそれぞれ活

図 4 品詞推定モデルの適用例
用型, 活用形となる点, 及び，動的素性を用いる点を除いて品詞推定モデルと同様である．動的素性としては，活用型推定モデルでは着目している長単位の品詞（自動解析時は品詞推定モデルにより自動推定した品詞）を，活用形推定モデルでは着目している長単位の品詞と活用型 （自動解析時は品詞推定モデル，活用型推定モデルによりそれぞれ自動推定した品詞と活用型） を用いる。

## 3.2 .2 付加情報の差異に応じた改善

2.4 節で示した BCCWJにのみ付与されている以下の情報をチャンキングモデルの素性として利用する。
- 語種情報

短単位の語種が和語, 漢語, 外来語, 混種語, 固有名, 記号のいずれであるかを素性として利用する。
- 囲み情報

BCCWJ では丸付き数字で長単位境界が区切れるため, 囲み情報は長単位境界を判定するための大きな手がかりとなる。そのため, 短単位に囲み情報が付与されているか否かを素性として利用する。

## 3.2.3 ラベル定義の変更

本節では，コーパスの相違点に限らず，既存の手法にも適用できる改良について述べる.

3.1.1 節で示した 4 つのラベルを以下のように再定義した. 変更点を下線で示す.

$\mathrm{Ba}$ 単独で長単位を構成する短単位で, かつ, その品詞, 活用型, 活用形が長単位のものと一致する。

Ia 複数短単位で構成される長単位の末尾の短単位で, かつ, その品詞, 活用型, 活用形が長単位のものと一致する。

B 複数短単位で構成される長単位の先頭の短単位. もしくは, 単独で長単位を構成する短単位で, かつ, その品詞, 活用型, 活用形のいずれかが長単位のものと一致しない.

I 複数短単位で構成される長単位の先頭でも末尾でもない短単位. もしくは, 複数短単位で構成される長単位の末尾の短単位で, かつ, その品詞, 活用型, 活用形のいずれかが長単位のものと一致しない.

単独の短単位から構成される長単位に対しては, 短単位の品詞, 活用型, 活用形が長単位のものと一致する場合には「Ba」, 一致しない場合には「B」が付与される。一方, 複数短単位から構成される長単位に対しては, 先頭の短単位には「B」, 先頭でも末尾でもない短単位には「I , 末尾の短単位にはその品詞, 活用型, 活用形が長単位のものと一致する場合には「Ia」, 一致しない場合には「I」が付与される。この定義を利用すると, 図 2 の例では, 「Ba」が付与されている
「日本」には「B」,「IIaが付与されている「国際」には「I」のラベルが付与されることになる.本改良は, 長単位の品詞, 活用型, 活用形は, 長単位を構成する短単位のうち, 末尾の短単位の品詞, 活用型, 活用形と一致することが多く，それ以外の位置にある短単位と一致する場合は偶然であることが多いという観察に基づく。「Ba」,「IIaのラベルが付与される短単位を長単位を構成する末尾の短単位のみに限定することにより，チャンキングモデルの精度が向上し，全体の性能が向上することが期待できる.

## 4 評価実験

本章では, 3.2 節で示した改善策の有効性を確認するため, 3.1 節で示した従来手法と各改善策を行った手法の長単位解析精度を比較する。まず，4.2 節では予備実験として，CSJを用いた実験を行い，従来手法の長単位解析の性能を確認する。また，BCCWJに適用するために行った改善策が CSJ に対しても有効であること示す. 次に， 4.3 節で BCCWJを用いた実験を行う.従来手法と 3.2 節で示した提案手法とを比較し, 提案手法の有効性を示す.

## 4.1 設定

3 章に述べた手法のチャンキングモデルの学習と適用には， $\mathrm{CRF}++{ }^{2}$ を用いた. $\mathrm{CRF}++$ は $\mathrm{CRF}$ に基づく汎用チャンカーであり，パラメータは $\mathrm{CRF}++$ のデフォルトのパラメータを用いた. また, 改良した後処理に用いる品詞, 活用型, 活用形推定モデルの学習には YamCha ${ }^{3}$ を用いた. YamChaはSVM に基づく汎用チャンカーであり，カーネルは多項式カーネル（べき指数 3）を採用し，多クラスへの拡張は one-versus-rest 法を用いた.

実験で用いるデータを表 3 に示す. CSJ, BCCWJともに，コアデータを学習データとテストデータに分け，学習データはモデルの学習に，テストデータはモデルの評価に用いている. CSJ のデータは Uchimoto ら (Uchimoto and Isahara 2007)の実験設定に合わせて，フィラー，言いよどみを削除して用いた。チャンキングモデルで用いるフィラーと言いよどみの情報としては,短単位の直前がフィラーか否か, もしくは，言いよどみか否かの情報を素性として利用してい

表 3 評価データの規模

^{3}$ http://chasen.org/ taku/software/yamcha/
}

る.また, BCCWJ のデータは CSJ の結果と比較しやすいように, CSJ とデータ規模を同程度にした。なお, 本実験では短単位情報は予め適切な情報が付与されていることを前提とする.

本実験では，正解データの境界（品詞）のうち正しく推定できたものの割合（再現率）と自動推定した境界（品詞）のうち正しく推定できたものの割合（精度）, 下記に示す再現率と精度の調和平均である $\mathrm{F}$ 值を評価指標として用いる.

$
F \text { 值 }=\frac{2 \times \text { 精度 } \times \text { 再現率 }}{\text { 精度 }+ \text { 再現率 }}
$

## 4.2 予備実験

予備実験として，CSJに対する実験を行った．実験には表 3 に示した CSJ の学習データとテストデータを用いた． 3.1 節で記した CSJ を基に構築した長単位解析手法（従来手法）をべー スラインとして, CSJの学習データを用いて学習し, テストデータに適用した。また, 3.2 節で記した改善のうち, CSJに対しても適用できる以下のモデルを適用した.

## ・ ベースライン+ラベル変更

ベースラインに対して, 3.2 .3 節で示したラベル定義の変更をしたモデル
- ベースライン+推定モデル

ベースラインの後処理を書き換え規則から品詞, 活用型, 活用形推定モデルに変更したモデル

・ ベースライン+ラベル変更+推定モデル

ベースラインに対して, ラベル定義, 及び, 後処理を変更したモデル

結果を表 4 に示す. CSJに対してベースラインを適用した場合, 境界推定で $98.99 \%$, 品詞推定で $98.93 \%$ と高い性能が得られていることがわかる. ラベル定義を変更したモデルはベースラインに対し，性能が向上しており，ラベル定義の変更が有効に働くことを示している．後処理に推定モデルを用いたモデルでは品詞推定の精度が向上した. 性能差は $\mathrm{F}$ 值で $0.4 \%$ と小さいため，CSJへ適用する場合には，書き換え規則でも十分に適用できているといえる。また，ベー スラインに対してラベル定義と後処理を変更した場合が最も性能がよく，CSJに対しても有効な改良であることがわかった。

表 4 CSJ で学習したモデルを用いた実験結果

次に, CSJ で学習したべースラインのモデルを BCCWJ のテストデータに適用したところ,境界推定で $74.72 \%$, 品詞推定で $65.58 \%$ と大きく精度が落ちる結果となった。これは，当然ではあるが，2 章で記したように，CSJ と BCCWJでは言語単位や品詞体系が異なるためであり， BCCWJ を高精度で解析するには解析器の再構築が必要であることを示唆している.

## 4.3 実験

表 3 に示した BCCWJ のデータを用いて実験した。まず，BCCWJ の学習データを用いて構築したべースラインを BCCWJ のテストデータに適用した。その結果を表 5 の 3 行目に示す.境界推定において $98.74 \%$, 品詞推定において $97.68 \%$ の性能となった. CSJを用いて学習, テストした表 4 の 3 行目の結果（ベースライン）と比較すると, 境界推定では $0.25 \%$, 品詞推定では $1.25 \%$, 性能が低下した。

次に，各改善点の有効性を確認するため, 以下のモデルを用いて実験した。
- ベースライン+汎化素性

ベースラインのチャンキングモデルの素性に 3.2.1 節で示した汎化素性を追加したモデル

$\cdot$ ベースライン十推定モデル

ベースラインの後処理を書き換え規則から 3.2.1 節で示した品詞, 活用型, 活用形推定モデルに変更したモデル

・ ベースライン+語種情報

ベースラインのチャンキングモデルの素性に 3.2.2 節で示した語種情報を追加したモデル
- ベースライン十囲み情報

ベースラインのチャンキングモデルの素性に 3.2 .2 節で示した囲み情報を追加したモデル

・ベースライン+ラベル変更

ベースラインに対して，3.2.3 節で示したラベル定義の変更をしたモデル

表 5 BCCWJ で学習したモデルを用いた実験結果

結果を表 5 の 4 行目から 8 行目に示す. ベースラインに対して, いずれの改良を加えた場合でも $\mathrm{F}$ 值が向上した。境界推定に関しては，汎化素性が性能向上に大きく貢献した。品詞推定に関しては，後処理を書き換え規則から品詞，活用型，活用形推定モデルにした手法で大きく性能が向上した.

提案手法として CSJ と BCCWJ の形態論情報における相違点に対する改良をすべて行ったモデルを適用した。結果を表５の９行目に示す。境界推定では $98.93 \%$, 品詞推定では $98.66 \%$ の性能が得られ, ベースラインに対して, 境界推定で約 $0.2 \%$, 品詞推定で約 $1 \%$ 向上した. CSJ を用いて学習, テストした表 4 の 6 行目の結果（ベースライン+ラベル変更+後処理）と比較すると, 境界推定では $0.13 \%$, 品詞推定では $0.39 \%$ 低いが, この性能低下は主として CSJに比べ BCCWJ の方が品詞体系が詳細であるため, 長単位解析自体の問題が難しくなっていることに起因すると考えられる。

また, ベースラインに対して，品詞体系の相違点に対する対処（汎化素性，後処理）を適用したモデル（ベースライン十品詞体系対応）を用いた実験を行った。結果を表 5 の 10 行目に示す. 表 5 の 9 行目の改良手法と同程度の性能が得られており, 主な性能改善は品詞体系の差異に対応することで得られていることがわかる.

## 4.4 考察

## 4.4.1 誤り傾向の分析

CSJ に対してべースラインを用いた実験（表 4)，BCCWJに対してべースライン，及び，提案手法を用いた実験（表 5）について，誤り傾向を分析した.

まず，境界推定誤りの傾向を，それぞれの実験について調査したところ，共通する 2 つの誤りの傾向が見られた。1つ目は名詞連続であり, 名詞の短単位列に対する長単位境界を誤ることが多かった。表 6 の 2 から 4 行目に誤りの例を示す。表の例では，短単位境界を「／」，長単位境界を「|」で表している。例えば，「医学部倫理委員会」では「医学部」と「倫理委員会」の 2 長単位にすべきところを「医学部倫理委員会」と誤って 1 長単位として判定した. これらを正しく解析するには,「部」や「庁」などの境界になりやすい短単位の辞書を構築し, 境界にな

表 6 境界誤りの例

りやすい短単位かどうかを素性として追加することで対応できるだろう。ただし，短単位間の意味的な関係を捉えないと解析が困難な場合もあるため，意味的な関係を考慮できるようにする必要もある．2つ目は複合辞に関する誤りであり，複合辞相当の長単位を複合辞として判定できなかったり，逆に複合辞ではない短単位列を複合辞として判定してしまうことが多かった。例を表 6 の 5 から 7 行目に誤りの例を示す。短単位列が複合辞か否かは前後の文脈に大きく依存するため, 正しく解析できるようにするためにはそれらを考慮した素性が必要となるだ万う.表 7 に全体の誤りに対する名詞連続と複合辞の誤りの割合を示す.いずれのデータ，モデルにおいても，名詞連続と複合辞については誤り率が高く，コーパスに関わらず難しい問題であることがわかる.

次に品詞誤りの傾向を調査した. CSJ については品詞誤りがほとんど見られなかったため, BCCWJ のみを調査した，表 8 に主な品詞誤りの原因とその割合を示す。ベースライン，提案手法のどちらのモデルにおいても, 名詞-普通名詞-一般と名詞-固有名詞-一般などの名詞同士の誤りが多く見られた。例を表 9 の 2 から 4 行目に示す. 例えば，「欧州連合」を名詞-固有名詞一般と判定すべきところを，名詞-普通名詞-一般と誤って判定した。これに対する改善策としては, 固有名詞になりやすい名詞を学習データから取得し, 素性として利用することが考えられ

表 7 境界推定誤りの傾向

表 8 品詞誤り

表 9 品詞誤りの例

る。また, ベースラインを用いた場合は, 名詞-普通名詞-一般と副詞, 形状詞-一般との誤りが多く見られた。誤りの例を表 9 の 5 から 8 行目に示す.「最近」という長単位を名詞-普通名詞一般と判定すべきところを，副詞と誤って判定する例などがあった。一方，これらの誤りは提案手法を用いた場合はほとんど見られなかった。これはべースラインでは書き換え規則により品詞を付与しているためだと考えられる。書き換え規則では頻度が高い規則が適用される。「最近」という長単位の場合, 名詞-普通名詞-一般よりも副詞として出現することが多いために書き換え規則では誤って副詞と判定してしまう。これに対し, 品詞推定モデルでは前後の文脈を考慮し, 文脈に沿って品詞を判定するため, 名詞-普通名詞一一般と副詞, 及び，名詞-普通名詞-一般と形状詞一一般に関する誤りが大きく減少したと考えられる.

## 4.4.2 人が見たときに気になる誤りへの対処

後処理を書き換え規則から品詞推定モデルにしたことにより, 品詞の推定精度が大幅に向上した. しかし, 学習による品詞推定をする場合, 人間では誤らないような品詞が付与される可能性がでてくる. これは, 品詞推定の際に, 学習データにでてきたすべての品詞の中から最尤の品詞を推定するためである。もし, BCCWJ の品詞体系で認められていない形式で品詞が付与されてしまうと, 少数の誤りであっても人が見たときには目立つ誤りとなる. 特に, 研究対象になりやすく, 自動解析も強く求められている複合辞などに対しては配慮する必要がある.例えば,「として」という助詞-格助詞の複合辞に対して, BCCWJ の品詞体系で認められていない助詞-係助詞などの品詞を付与したり, 複合辞とは認められていない短単位列を複合辞として判定してしまうと，人が見たときに目立つ誤りとなり，解析器の信頼性が大きく低下してしまう. そのため, 3.2.1 節で述べた品詞推定モデルでは, 複合辞については予め複合辞辞書を用意し, 特定の品詞しか付与しないよう対処している.

## 4.4.3 コーパスのアノテーションと自動解析について

アノテーションの精度を高めることは, コーパスを用いた研究を行う場合, 非常に重要であるが，そのためにはどこに人手をかけるべきかを検討する必要がある. 例えば，言語単位や品詞体系の定義を複雑にすると自動解析が難しくなるため, 自動解析結果の修正に人手をかける必要が生じる。話し言葉の場合, フィラーや言いよどみなどを適切に自動解析するのは難しいため, CSJでは書き起こしの段階で人手でタグを付与している。，逆に，コーパスに付加する情報を一部犠牲にして，定義を柔軟にすることで自動解析の精度を向上させることにより，人手による修正コストを軽減することもできる，例えば，BCCWJでは同格や並列の関係にある場合に, 意味的な関係を考慮し, 連接する短単位それぞれを長単位として適切に自動認定することは困難であるため，1 長単位と定義している，以下の例の「公正」と「妥当」は並列の関係にあるが，1 長単位としている。

## | 公正妥当 |な 実務慣行 $\mid$

CSJ や BCCWJにおいては，長単位情報を付与する前段階で上述のような対処をすることにより長単位解析器としては対処すべき問題が低减されたという面もある。このように様々な言語現象に対応しつつコーパスに効率良くアノテーションするためには，自動解析によるアノテー ションの前段階で, 自動解析が難しそうな問題に対して柔軟に対処することも重要である.

## 4.4.4 他の品詞体系への適用についての一考察

提案手法で BCCWJ とは異なる品詞体系に対してどの程度対処できるかについて考察する. 4.2 節と 4.3 節での実験により, 提案手法は CSJ, BCCWJ のどちらに対しても有効であった. これは提案手法が従来手法に比べ, 以下の問題に対して汎用的に対処できるようになったためであると考える。
- 長単位の品詞の種類の多さ
- 階層的な品詞体系
- 短単位の品詞と長単位の品詞が異なる

品詞体系が BCCWJ より単純, もしくは, 複雑な場合を考える. まず, 品詞体系が BCCWJ より単純な場合は，既に CSJに適用した結果からもわかるように，提案手法により同等以上の性能が得られると考えられる。次に, 品詞体系が BCCWJより複雑な場合であるが，想定される複雑性は以下の通りである.
- 品詞の種類の増加
- 品詞体系の階層の複雑化
- 短単位の品詞と長単位の品詞の関連性の希薄化

これらは BCCWJ の品詞体系が CSJ の品詞体系に対して複雑になった点でもある. 提案手法では, 品詞の階層情報 (汎化素性) を用いることにより, 品詞の推定精度が向上した。これは, 上記の複雑性が増した場合でも, 品詞間の関係を別途定義・アノテーションした情報を用いることにより，解析性能を上げることができることを示している，たたし，あまりに複雑な品詞体系の場合, 必要となる学習デー夕量が増えるため, 学習デー夕量が十分ではないことが原因で解析精度が低下することも考えられる，そのため，品詞体系はバランスを考えて定義することが重要である.

次に CSJ や BCCWJ とは異なる品詞体系を利用して, コーパスに対して効率よくアノテー ションをする方法について考える。一般に，すべて人手で言語単位や品詞をアノテーションするのはコストが高い. このコストを軽減するためには, (1) 対象のコーパスを既存の解析器で解析し, 言語単位や品詞体系が異なる部分を修正 (2) 修正結果を学習データとして, 解析器を再学習し, 対象のコーパスを再解析, というプロセスを繰り返すことができるのが望ましい. 次章では，それを可能とするためのツールについて述べる。一方, このプロセスにおいて修正箇
所が少ない場合には差分に相当する部分のみを学習し, 既存の解析器による解析結果に対して,差分の部分を後処理で書き換えるような方法の方が有効であるということも考えられる。この方法の有効性の検証は今後の課題である.

## 5 長単位解析ツール Comainu

提案手法を用いることにより，CSJ や BCCWJ とは異なる言語単位や品詞体系のコーパスに対しても長単位を付与することが可能である。より多くの研究者に対して, 品詞体系の異なるコーパスや他分野のコーパスへの長単位情報付与を容易にするためには，長単位解析の学習・解析機能を備えたツールが利用可能になっていることが重要であると考える.

3 章で説明した提案手法を実装することにより，長単位解析ツール Comainu を作成した。モデルの学習には BCCWJ のコアデータ（45,342 文, 828,133 長単位, $1,047,069$ 短単位）を用いた. 本ツールは, 平文または短単位列を入力すると, 長単位を付与した短単位列を出力することができる。平文が入力された場合, $\mathrm{MeCab}^{4}$ と UniDicにより形態素解析を行った後に長単位解析を行う。 長単位解析のチャンキングモデルにはSVM と CRF のいずれかを用いることができる。また, 平文や短単位列の直接入力だけでなくファイル入力にも対応しており, 解析結果をファイルに保存することも可能である.

図 5 に Comainuによる長単位解析の解析例を示す。図 5 の例では, 平文を入力とし， CRF に

図 5 Comainu による長単位解析の実行例
^{4} \mathrm{http}$ ://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
}

よるチャンキングモデルとSVM による品詞, 活用型, 活用形推定モデルを用いて長単位解析を実行し, 長単位が付与された短単位列を出力している。出力の $2 \sim 8$ 列目はそれぞれ短単位の書字形，発音系，語彙素読み，語彙素，品詞，活用型，活用形を表し，出力の $9 \sim 14$ 列目はそれぞれ長単位の品詞, 活用型, 活用形, 語彙素読み, 語彙素, 書字形を表す.

長単位解析ツール Comainu はオープンソースとしている 5 . これにより, 長単位のアノテー ションが容易になることが期待される.

## 6 まとめ

本論文では, 品詞体系の異なるコーパスの解析に必要となる解析器の改良点を明らかにするためのケーススタディとして，CSJ と BCCWJを用いて，長単位情報を自動でアノテーションした場合に生じる誤りを軽減する方策について述べた． CSJ と BCCWJ の形態論情報における相違点に基づき，長単位解析手法を改良し，評価実験により提案手法の有効性を示した。さらに，提案手法の異なる品詞体系への適用可能性について考察した。また，本手法を実装した長単位解析システム Comainu について述べた.

本論文では，長単位解析の入力として正しい短単位列を想定したが，短単位，長単位ともに自動で解析した場合，短単位解析結果の誤りが伝播して長単位解析の誤りも増える。また，自動解析結果の誤りを効率よくなくしていくようなコーパスのメンテナンスの朹組みも重要であり, その枠組みの実現のためには, 短単位解析の解析誤りが長単位解析に与える影響の調查, 特に新たな言語単位や品詞体系を用いた場合にどのような影響がでるかを複数種類のコーパスを対象として比較調査することが今後必要となると考える.

## 謝 辞

本研究は, 文部科学省科学研究費補助金特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築」（平成 18 年度 22 年度, 領域代表 : 前川喜久雄）からの助成を得ました.

## 参考文献

中條清美, 西垣知佳子, 内山将夫, 山崎淳史 (2006). 初級英語学習者を対象としたコーパス利用学習の試み. 日本大学生産工学部研究報告 B (文系), 39, pp. 29-50.
^{5}$ http://sourceforge.jp/projects/comainu/
}
伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス日本語学のための言語資源: 形態素解析用電子化辞書の開発とその応用. 日本語科学, $\mathbf{2 2}$, pp. 101-123.

Den, Y., Nakamura, J., Ogiso, T., and Ogura, H. (2008). "A Proper Approach to Japanese Morphological Analysis: Dictionary, Model, and Evaluation." In Proceedings of the 6th International Language Resources and Evaluation, pp. 1019-1024.

林大（監修） (1982). 図説日本語. 角川小辞典, 9, pp. 582-583.

Jiang, J. and Zhai, C. (2007). "Instance Weighting for Domain Adaptation in NLP." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 264-271.

風間淳一, 宮尾祐介, 辻井潤一 (2004). 教師なし隠れマルコフモデルを利用した最大エントロピータグ付けモデル. 言語処理学会, 11, pp. 3-23.

小磯花絵, 小木曽智信, 小椋秀樹, 宮内佐夜香 (2009). コーパスに基づく多様なジャンルの文

体比較-短単位情報に着目して. 言語処理学会第 15 回年次大会予稿集, pp. 594-597.

近藤泰弘 (2012). 日本語通時コーパスの設計について. 国語研プロジェクトレビュー, 3 , pp. 84-92.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields

to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

前川喜久雄 (2004). 『日本語話し言葉コーパス』の概要. 日本語科学, 15, pp. 111-133.

Maekawa, K. (2008). "Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 6th Workshop on Asian Language Resources, pp. 101-102.

中野洋 (1998). 言語情報処理. 岩波講座「言語の科学」,9, pp. 149-199.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 529-533.

小椋秀樹, 山口昌也, 西川賢哉, 石塚京子, 木村睦子 (2004). 『日本語話し言葉コーパス』における単位認定基準について. 日本語科学, 16, pp. 93-113.

大名力 (2009).コーパスから見える文法. 国際開発研究フォーラム, 38, pp. 23-40.

田野村忠温 (2010). 日本語コーパスとコロケーション. 言語研究, 138, pp. 1-23.

Uchimoto, K. and Isahara, H. (2007). "Morphological Annotation of A Large Spontaneous Speech Corpus in Japanese." In Proceedings of the 20th International Joint Conferences on Artificial Intelligence, pp. 1731-1737.

## 略歴

小澤俊介：2009 年名古屋大学大学院情報科学研究科博士前期課程了. 2012 年同大博士後期過程了. 博士 (情報科学). 同年より株式会社はてな. 自然言語処理の研究開発に従事. 言語処理学会会員.

内元清貴 : 1996 年京都大学大学院工学研究科修士課程修了. 同年, 郵政省通信総合研究所入所. 内閣府出向を経て, 現在, 独立行政法人情報通信研究機構研究マネージャー. 博士 (情報学). 自然言語処理の研究, 研究成果の社会還元活動に従事. 言語処理学会・情報処理学会 - ACL 各会員.

伝康晴: 1993 年京都大学大学院工学研究科博士後期課程研究指導認定退学.博士 (工学). ATR 音声翻訳通信研究所研究員, 奈良先端科学技術大学院大学情報科学研究科助教授, 千葉大学文学部助教授・准教授を経て, 現在, 千葉大学文学部教授. 専門はコーパス言語学・心理言語学・計算言語学. とくに日常的な会話の分析・モデル化. 社会言語科学会・日本認知科学会 - 人工知能学会 $\cdot$ 日本心理学会 $\cdot$ 日本認知心理学会各会員.

