# 『現代日本語書き言葉均衡コーパス』形態論情報アノテーション 支援システムの設計・実装・運用

小木曽智信 ${ }^{\dagger}$ 中村 壮範 $^{\dagger}$
}

『現代日本語書き言葉均衡コーパス』は 1 億語を超える大規模なコーパスであり， 17 万ファイル以上の XML 文書に短単位・長単位の形態論情報アノテーションが施さ れている. このコーパスの構築を目的としてアノテーションのためのシステムが開発された. このシステムは, 辞書見出しデータベースと, タグ付けされたコーパス とを関連付けて, 整合性を保ちつつ多くの作業者が編集していくことを可能にする ものである.このシステムは, 関係データベースで構築されたサーバ「形態論情報 データベース」と, 辞書を参照しながらコーパスの修正作業を可能にするコーパス 修正用のクライアントツール「大納言 $\rfloor$, 形態素解析辞書 UniDic の見出し語の管理 ツール「UniDic Explorer」から成る。本稿はこのデータベースシステムの設計・実装・運用について論ずる。

キーワード：コーパス管理ツール，現代日本語書き言葉均衡コーパス, UniDic
## Design, Implementation, and Operation of Annotation Support System for Morphological Information of BCCWJ

\author{
Toshinobu Ogiso $^{\dagger}$ and Takenori Nakamura ${ }^{\dagger \dagger}$
}

"Balanced Corpus of Contemporary Written Japanese" is a large-scale Japanese corpus of 100 million words. It contains 170,000 XML files annotated with two levels of morphological information: short-unit word and long-unit word. We have constructed an annotation system to compile this corpus. The system allows many users to modify corpus annotations and dictionary entries, which are related to each other, while ensuring consistency. The system consists of a relational database server called the "Morphological Information Database," a client tool that maintains the morphological information of the corpus called "Dynagon," and a tool that manages dictionary entries for morphological analysis called "UniDic Explorer." This paper describes the design, implementation, and operation of this "Morphological Information Database" for BCCWJ.

Key Words: Corpus management tool, Balanced Corpus of Contemporary Written Japanese, UniDic


## 1 はじめに

国立国語研究所を中心に開発された『現代日本語書き言葉均衡コーパス (BCCWJ)』(前川 2007) 1 は 17 万ファイル以上の XML 文書に短単位・長単位の二つのレベルの形態論情報アノテーションを施した， 1 億語を超える大規模なコーパスである。コーパスの構築期間は 5 年以上に及んだ，BCCWJ の形態論情報付与には，新たに開発された電子化辞書 UniDic ${ }^{2}$ が用いられたが, UniDicの見出し語は BCCWJ 構築と並行して整備されたため, コーパスの形態論情報の修正と UniDic の見出し語登録は整合性を保ちつつ同時並行で進める必要があった.

また，BCCWJの形態論情報アノテーションでは全体で $98 \%$ 以上の高い精度が求められ，これを実現するためには自動解析結果に対して人手による修正を施して精度を高める必要があった. 1 億語規模のコーパスにこうしたアノテーションを施すためには, 作業体制も大きな規模になり，コーパスのアノテーターは最大で 20 人ほどが同時にフルタイムで作業に当たった. 作業は国語研究所の内部だけでなく, 外注業者等の研究所外部からも行われる必要があった. こうした作業環境を構築するためにはアノテーションを支援するコーパス管理システムが必要とされる.

このような大規模なコーパスへのアノテーションを支えるため, 筆者らは, 形態論情報が夕グ付けされた大規模なコーパスと辞書の見出し語のデータベースとを関連付け, 整合性を保ちつつ, 国語研究所の内部だけでなく, 研究所外部からも多くの作業者が同時に編集していくことを可能にするシステムを新たに開発した，本論文は，この「形態論情報データベース」の設計・実装・運用について論ずる。

本研究の貢献は, 1 億語規模の日本語コーパスに形態論情報アノテーションを施し, 修正することを可能にした点にある. 従来のコーパス管理ツールではこれが実現できなかったが, 本システムにより BCCWJ の形態論情報アノテーションが可能になり, BCCWJを構成する全てのデータは本システムのデータベースから出力された. また，本システムによってUniDic の見出し語のデー夕整備を支援し, UniDic の見出し語と対応付けられた人手修正済みの学習用コー パスを提供した.これにより, 形態素解析辞書 UniDic の開発に貢献した.このシステムは, 現在では「日本語歴史コーパス」3 の構築にも活用されている.

以下, 2 章で本論文の前提となる情報について確認した後, 3 章で関連する先行事例との比較を行う．そのうえで， 4 章で本システムの概要を説明し, 5 章で辞書データベース部, 6 章でコーパスデータベース部の設計・実装・運用について述べる。また， 7 章で辞書とコーパスを修正するためのクライアントツールについて説明する.
^{2}$ UniDic http://sourceforge.jp/projects/unidic/

3 日本語歴史コーパス http://www.ninjal.ac.jp/corpus_center/chj/
}

## 2 前提となる知識

## 2.1 短単位と長単位

BCCWJでは，短単位と長単位の二つの言語単位によるアノテーションが施された。短単位は, 摇れが少なく斉一な単位となるように設計された短い単位である (小椋, 小磯, 冨士池, 宮内, 小西, 原 2011). 例えば「国立国語研究所で研究している.」という文は, 次の 10 単位に分割される。

/国立/国語/研究/所/で/研究/し/て/いる/./

個々の短単位には, 語彙素・語形・品詞・活用型・活用形といった形態論情報が付与される．短単位への分割と情報の付与は, 新たに開発された電子化辞書 UniDic (伝, 小木曽, 小椋, 山田,峯松, 内元, 小磯 2007) を用いた形態素解析によって行われた。形態素解析器は $\mathrm{MeCab}^{4}$ が用いられた。

一方，長単位はほぼ文節に近い長さの言語単位で，上記の例は長単位では次のように 5 単位に分割される。

/国立国語研究所/で/研究し/ている/./

長単位は，コーパス中で出現した短単位を必要に応じて結合させる形で構成され，個々の長単位にはそれを構成する短単位が持つ形態論情報をもとにして長単位としての形態論情報が付与される。この処理は, 長単位解析器 Comainu (小澤, 内元, 伝 2011) によって行われた. Comainu の処理により，例えば上の例の「研究し」には，短単位「研究」と「する」を結合して作られる 「研究する」という長単位の見出しが付され, 全体として一つの動詞として情報が付与される.

このように, 短単位は形態素解析用の辞書に見出し語として登録されたものであるのに対し,長単位はそれ自体は見出し語として登録されたものではなく, コーパスでの出現に応じて短単位情報をもとにして構成されるものである.

長単位と短単位は BCCWJ の最も基本的なアノテーションの一つであり, 公式のコーパス検索ツール「中納言 $\rfloor^{5}$ 等で利用され, 多くのユーザーによって活用されている.

## 2.2 形態論情報の精度と修正作業

BCCWJ の形態論情報は，コアデータとして選定された約 100 万語は $99 \%$ 以上の精度を，それ以外の非コアデー夕は $98 \%$ 以上の精度を確保することとされた。この解析精度を実現するために，コアデータについては人手による徹底した修正が行われた。一方，非コアデー夕は原則として自動解析結果によったが, 最終的には人手による修正も含めてこの精度が確保された (国立国語研究所コーパス開発センター 2011).


また，非コアデータから UniDic 未登録語が採集され，それに伴う修正をコーパス全体に対して行う必要があったほか，短単位規程の見直しによってコーパス全体に対して特定の語の人手修正の処理を施す必要があった。したがってコーパスの修正作業はコアデータに対して頻繁に行われるだけでなく，1億語以上のコーパス全体を対象に行う必要があった.

## $2.3 \mathrm{C$-XML と M-XML}

BCCWJ では, C-XML と M-XML の二つの形式の XML 文書が作成された (国立国語研究所コーパス開発センター2011).

C-XML は，BCCWJ のサンプルとして取得されたテキストに文書構造を XML でアノテー ションしたもので，形態論情報データベースにとっては入力となるデータの形式である。この XML 形式のデータをインポートし，形態論情報をアノテーションした上で，表形式や XML 形式で出力することがこのシステム全体の処理の流れになる.

M-XML は C-XML をもとに形態論情報をアノテーションしたXML 文書で, このシステムの出力形式の一つである．M-XML では，後述する数字の前処理や，一部の夕グの変更が行われているため, テキストやタグは C-XML とは必ずしも一致しない.

なお，誤字修正などがシステム上で行われるため，M-XML だけでなく，形態論情報を含まない C-XML も最終版は形態論情報データベースから出力される必要がある.

## 2.4 数字の前処理

BCCWJ の形態論情報付与では, UniDic を用いた形態素解析に先立って, 数字について次のような変換処理がなされた。これは, テキスト中の数字に対して実際に読み上げるときの語として形態論情報を与えられるようにするためである。この処理は numTrans (山田，小磯 2008) というルールベースのツールによって行われた.

例： 120 円 $\rightarrow$ 百|二十| 円

$
<\text { fraction }>1 / 2</ \text { fraction }>\quad \rightarrow \quad 2 \mid \text { 分 } \mid 1
$

この処理により処理前後で文字位置がずれたり, 分数の分子と分母で文字の順が逆になったりすることがある.

上述の C-XML はこの変換前のテキストであるのに対し, M-XML は変換後のテキストに基づいており，これに変換処理の内容（原文文字列と変換タイプ）をXMLでタグ付けして保持している．このため，BCCWJ を構築するためのシステムは，この変換処理前後の二つの状態のテキストを適切に保持管理する必要がある.

## 3 関連する先行事例との比較

## 3.1 BCCWJ の形態論情報アノテーションのための要件

1 章・2 章で確認したことを踏まえると BCCWJに形態論情報のアノテーション施すためには，少なくとも次の要件を満たすシステムが必要とされる。

(i) 1 億語規模のコーパスを格納して実用的な検索や修正が行えること

(ii) 辞書を参照しその情報を用いてコーパスのアノテーションが行えること

(iii) 辞書（語彙表）とコーパスとを同期して整合性を保つことができること

(iv) 形態素解析によって付与された単語境界を容易に修正可能なこと

BCCWJ の修正作業では 2.2 節で見たとおり, 1 億語規模のコーパスを対象に, 同様の誤りを一括して修正する必要がある。したがって，(i)は最も重要な要件である。さらに， BCCWJ の構築では, 階層構造を持つ新しい電子化辞書 UniDic のために専用の辞書データベースを用意し，その見出し語を用いてコーパスを修正する必要があった。また，辞書とコーパスが同時並行で拡張されることから, 辞書とコーパスを関連付けて管理し, 整合性を保つことが必要となる.したがって, (ii) (iii)の辞書連携の機能も欠くことができない.

これに加えて, 分かち書きがなされない日本語のテキストを対象とすることから, (iv)の要件も強く求められる．英語を初めとする分かち書きがなされる言語では, 既存の境界にしたがって単語に対してアノテーションを付与すれば良いため, 単語境界の修正は重要な問題ではない. しかし日本語では, 自動形態素解析によって分割された単語の境界自体が誤っている場合が少なくないため，境界を変更する修正が頻繁に行われるからである.

## 3.2 既存のアノテーションツールとの比較

人手による修正を加えた日本語コーパスで， 1 億語を超える規模のものはこれまでに構築されてこなかったこともあり, 管見に入る限り, 前節の要件を完全に満たす先行事例は存在しない.しかし，コーパスへのアノテーション支援ツールには多くの実装がある．既存のツール類が上記の条件をどの程度満たしているのかを調査した.

取り上げたのは, 次の 4 つの実装である。多くのツールの中で, 日本語の形態論情報付きコー パスの管理ツールとして実績がある ChaKi (Matsumoto, Asahara, Kawabe, Takahashi, Tono, Ohtani, and Morita 2005)の最新版と, 比較的最近になって発表されたツールに注目した.
- ChaKi.NET ${ }^{6}$
- $\quad$ BRAT (Stenetorp, Pyysalo, Topić, Ohta, Ananiadou, and Tsujii 2012)7
^{6}$ http://sourceforge.jp/projects/chaki/

7 http://brat.nlplab.org/
}
- $\quad$ SLATE (Kaplan, Iida, Nishina, and Tokunaga 2011)
- Anotatornia (Przepiórkowski and Murzynowski 2011)9

BRAT は Web 上での使いやすいインターフェイスを備える汎用のアノテーションツールであり，係り受け・固有表現・照応・句のチャンキングなどのアノテーションに利用されている. SLATE もまた Web 上で容易に使える汎用のアノテーションツールであるが, さらにアノテーションの版管理まで考慮したものになっている. Anotatornia はポーランド語のコーパス (National Corpus of Polish) 構築のために開発されたアノテーションツールで, 形態素解析辞書との連携が可能である.

これら 4 つのツールと, 本研究のシステムについて, 前節でみた要件と, 利用のしやすさ, 実装に利用されている技術の観点から比較した結果を表 1 にまとめた. 表中,「○」は条件を満たすもの,「வ」は限定的に要件を満たすもの,「×」が満たさないものである.

表 1 のうち, BCCWJの構築にとって最も重要なのは, 前節で確認したとおり, 大規模デー タへの対応, 単語境界修正, 辞書連携の機能である.

BRAT と SLATE は, いずれも Web 上で動作する汎用のアノテーションッールとして開発されたものであり, 表 1 において両者とも同じ結果となっている. これら Web 上の汎用ツールは, 導入の敷居が低く作業者も容易に利用が可能だが, 比較的少数の文書ファイルに対してアノテーションを施すことを前提としており，BCCWJ 構築のように，大量の文書を一度に修正するような作業には向いていない. また, 一般に単語よりも上位のレベルでのアノテーションに用いられることを想定していると思われ, 文字列を単位としたアノテーションが可能ではあっ

表 1 先行事例と本システムの比較

 &  &  &  & 汎用性 &  & フリー & 使用ソフトウェア \\



ても，単語境界の修正に適したツールにはなっていない。また，多くの語の形態論情報を一括で修正するような作業には向かない.

Anotatornia は単語境界の修正や辞書連携が可能であるが，ポーランド語の特定の電子辞書に対応したものであるため, BCCWJでの利用には適さない。また，DBMS に軽量な SQLiteを用いた Webベースのシステムであるため，大規模デー夕の処理にも向かないと考えられる.

ChaKi は, 日本語コーパス管理に関係データベースを用いる浅原, 米田, 山下, 伝, 松本 (2002) の設計にもとづき, 前節で見たような日本語の形態論情報アノテーションの特徵を踏まえたコー パス管理システムとなっている。 そのため, 単語境界修正や辞書との連携が可能であるうえに,係り受けやチャンキング，グループ化など多様なアノテーションを可能にしている。しかし，大規模データへの対応で難があり，現在の ChaKi.NET の実装では 1,000 万語を超えるコーパスを格納すると実用的な速度が出ず，多数の作業者が十分な速度と同時実行性を以て利用することはできなかった.

## 3.3 本システムの優位性と問題点

前節で確認したとおり, 最も重要となる大規模データへの対応, 単語境界修正, 辞書連携の 3 つを満たすシステムは，本システムしか存在しない，日本語の形態論情報アノテーションに適した機能を持ち， 1 億語を超える規模のコーパスを一度に取り扱うことを可能にしたこと，そして辞書データベースとの完全な連携が本システムの特長である.

本システムは BCCWJにあわせて作り达まれているため，2 章で挙げた BCCWJ独自の処理にも対応している．また，階層構造をもつ UniDic の辞書データベースを包含しており，アノテーションツールに留まらない言語資源管理のシステムとなっている.

一方で, 本システムにはいくつかの問題点も存在する．BCCWJに特化した設計となっているため汎用性に乏しいこと, Webベースのシステムではないためクライアントソフトウェアの配布が必要であり導入の敷居が高いこと, フリーウェアではなくプロプライエタリなソフトウェアを用いて構築されているため配布が難しいこと, などは他のシステムと比較して劣る点である.

## 4 形態論情報データベースシステムの概要

## 4.1 形態論情報データベースの構成

形態論情報データベースは，UniDicの見出し語を格納する「辞書データベース」と，コーパスを格納する「コーパスデータベース」から構成される。図 1 にその全体図を示す。形態論情報データベースは，UniDicの見出し語を管理する部分と，コーパスを格納して修正を行う部分に分かれる。これに対応するように，データベースをインスタンスのレベルで，辞書見出しを格納する「辞書データベース」部と，コーパスを格納する「コーパスデータベース」部に分割

コーパスデータベース

図 1 形態論情報データベース全体図

した. そのうえで，コーパスの形態論情報と辞書の情報を同一に保つために，見出し語表・活用表・変化表などから生成される「語彙表」を挟んで二つのデータベースを連係させた。

辞書データベースには，短単位の見出し語表と，これを出現形まで展開するための活用表・変化表が含まれる。辞書データベースの詳細は 5 章で述べる。辞書見出しを出現形まで展開した「語彙表」はレコードごとに語彙表 ID が一意に割り振られ，コーパスデータベース内に生成される.

コーパスデータベースには，BCCWJのテキストを形態素解析した短単位のコーパスが含まれる。コーパスのレコードは語彙表 IDにより語彙表と関連付けられ，これを介して辞書の見出し表と関連付けられる。なお，コーパスデータベースには短単位を組み上げた長単位の情報が含まれる．長単位は定義上，コーパスに出現したものをそのまま単位として認める形をとるため, 辞書データベースとは接続されない. コーパスデータベースの詳細は 6 章で述べる.

コーパスと辞書は独立性が高く，それぞれが単独でも利用できる必要があるため，コーパスにも辞書データベースがもつ多様な情報が付与されている，次節で見るように，辞書データベー スのデータが変更された場合は，語彙表を介してコーパスにも変更が反映される。

## 4.2 語彙表展開とコーパスとの同期処理

コーパスデータベースと辞書データベースを連携するための仕組みとして語彙表展開と同期処理が重要であるが，この処理は本システムの中でも最もコストのかかる処理のひとつである. BCCWJ はコーパスの規模が大きいために出現頻度が数万以上となる見出し語も少なくない.仮に語彙表展開とコーパスとの同期を全てリアルタイム処理で行うとすると,こうした見出し語を変更した場合のコーパスとの同期処理には大きな負荷がかかり，レコードロックなどが頻発し作業上深刻な問題となる可能性がある。そのため, データの変更が及ぼす影響の範囲や処
理の必要性に応じて，リアルタイム処理と，通常深夜に行われる日次処理とを使い分けている。

見出し語の変更による当該語の語彙表展開は, 語彙表への影響も少なく, また変更した語を即座にコーパス修正に使用できるようにする必要があるためにリアルタイム処理としている.一方，活用表や変化表の変更によって生じる語彙表展開と同期処理では，影響を受ける見出し語が多数にのぼり，関連付けられたコーパスの更新箇所も膨大となる可能性があるため, リアルタイム処理ではなく日次処理により行っている。このようにシステムへの負荷を軽減し作業性を上げるために，辞書データベースとコーパスデータベースはリアルタイムの同期処理のみによる密結合ではなく，日次処理を含めたゆるやかな連携をとる疎結合のシステムとして設計されている.

辞書データベースとコーパスデータベースとの関連付けには, 語彙表テーブルが保持する語彙表 IDを用いるが，語彙表テーブルはコーパスの各語が持つ属性値 10 も保持している。語彙表 ID と属性値で二重に情報が保持されているため，語彙表 ID での接続が失われた状態でも，属性値の組み合わせにより語彙表（及び辞書データベースの見出し語表）との接続を回復できる. これにより，見出し語の修正によって語彙表 ID が変わってしまった場合や，コーパスの修正によって一部の属性が一括変更された場合など，コーパスと語彙表の関連づけが失われた際にも，語彙表 ID か属性値のいずれかをキーとして同期をとることができるようにした。

語彙表の更新は, 見出し語表の見出し語の追加時・修正時にリアルタイムで該当する語彙表のレコードを自動生成・更新する。これにより辞書追加した語をすぐにコーパス修正に利用できるようにしている。また日次のバッチ処理により上述のコーパスと語彙表との同期処理を行い, 語彙表 ID と属性値のいずれによっても対応がとれないレコードが発生した場合には作業者に修正を促すことで関連付けを保っている。

## 4.3 利用したシステム

形態論情報データベースで使用した主な機器・ソフトウェアは以下のとおりである.

・ クライアント
- ソフトウェア
* OS: Microsoft Windows XP（後に 7 に更新）

*ツール開発：Microsoft Access 2003（後に 2007 に更新）

・サーバ
- ソフトウェア
* OS: Microsoft Windows Server 2003R2 x64（後に 2008R2に更新）
* DBMS: Microsoft SQL Server 2005 Standard Edition x64
^{10} 6$ 章の表 8 の基本 8 属性.
}
- ハードウェア
* 機種 : DELL PowerEdge 2950
* メモリ : $24.0 \mathrm{~GB}$
* CPU: Intel Xeon X5355（2.66 GHz 4 コア $2 \times 4$ MB L2 キャッシュ $1333 \mathrm{MHzFSB}) \times 2$
* HDD: 300 GB $15000 \mathrm{rpm}$ SAS × 6（RAID5 構成で実質容量 $1.5 \mathrm{~TB}$ ）

・ バックアップストレージ
- ハードウェア
* 機種 : DELL PowerVault MD-1000
* HDD: 1 TB SATA × 15（うち2台がホットスペア, RAID5 構成で実質容量 $11 \mathrm{~TB}$ )

形態論情報データベースは 1 台のデータベースサーバに複数の端末からアクセスするクライアント・サーバ型のシステムとして構築されている。プロジェクト開始までの開発期間が限られていたこと，運用中も頻繁な仕様変更が想定されたことなどから，機能追加・変更が容易に行える Accessでクライアントッールを開発し, DBMS には Access との親和性が高く, データベース管理, 分析, チューニング等のツールが充実している SQL Server を採用した.

DBMS は BCCWJ の電子テキスト化で用いられる JIS X 0213 の文字集合 (山口，高田，北村，間淵, 大島, 小林, 西部 2011)を適切に扱える必要があったが, BCCWJ 構築開始時点で当該文字集合が適切に扱えるものが少なく，このことも SQL Server を採用した理由となっている ${ }^{11}$.

なお，所外の作業者など Access がインストールされていない環境からも作業ができるよう，無償配布されている Access ランタイム上で動作するクライアントッールの外部接続用インストールパッケージを別途用意した.

## 5 辞書データベースの設計と実装

## 5.1 見出し語表の設計と実装

辞書データベースは，形態素解析辞書 UniDic の元となるデータベースである，見出し語表のほか，活用表などの辞書作成に必要な情報からなる。

UniDic では図 2 のような見出し語の階層構造が設定されている。「語彙素」は国語辞典の見出し語に相当するレベル，「語形」は異語形を区別するレベル，「書字形」は異表記を区別するレベル，「発音形」は発音を区別するレベルである.


図 2 UniDic 見出し語の階層構造

図 3 辞書データベース・見出し語のテーブル設計（短単位）
辞書データベースの見出し語表は, 伝他 (2007)の基本設計を踏襲し, このUniDic で設定されている見出し語の階層構造をそのまま反映させる形で実装した（図 3）。辞書データベースの基本となる見出し語表を構成するのは「短単位語彙素」「短単位語形」「短単位書字形」「短単位発音形」の4つの見出し語のテーブルである.

4 つの見出し語のテーブルはそれぞれ一意のIDによって関連付けられており，各 ID は計算によってテーブルの階層関係が確認できるように設計した。 例えば, 語形 ID は親となる語彙素

表 2 見出し語のテーブルの主要項目

 &  &  \\

表 3 見出し語のテーブルの共通項目

 \\

のIDに32（一つの語彙素が持ちうる語形の最大数）を乗じたものに自身の語形 SubID を加えたものを一意のIDとしている．IDで関連付けられたテーブル間では，レコードの生成や削除に関連するデータベース制約を設定し，不正な見出し語のエントリを防いでいる。

見出し語のテーブルが持つ主要項目を表 2 に示す. UniDic では, 語彙素・語彙素読み・語彙素細分類・品詞・語形・活用型・書字形・発音形（表 2 の列名に）を付した）の組み合わせによって，見出し語が一意に区別される．辞書データベースの見出し語のテーブルでもこの関係を外部キー制約として記述し，見出し語の二重登録を防いだ。

表 2 の項目に加え, 見出し語のテーブルに表 3 の項目を共通して持たせ, 各見出し語のメ夕情報を記録した。これにより，見出し語を追加・修正した際の作業者やソースのトレースを可能にし，誤った見出し語の追加・修正への対処を可能にしている。また, 状態属性によりジャンル別の形態素解析辞書の作成を可能にしている.

## 5.2 語彙表展開の設計と実装

辞書データベースには，見出し語のテーブルのほかに，活用語を展開するための「活用表」 テーブル，語頭・語末変化形を展開するための「語頭変化」「語末変化」テーブルを置き，見出し語をコーパス上に出現する形にまで展開させる。この処理を語彙表展開と呼び,「語頭変化」 $\rightarrow$ 「語末変化」 $\rightarrow$ 「活用形展開」の順に，見出し語を展開することで行う．以下，この処理の内容について述べる.

## 語頭・語末変化

語頭・語末変化テーブルは，語形が持つ語頭・語末変化型に応じた語頭・語末文字の変化パターンを記した表であり，語形・書字形の見出し語の語頭・語末変化形を語彙表に展開する処理で使用される．実体は辞書データベース内の語頭変化テーブル・語末変化テーブルである．語頭変化テーブルの主要な項目を表 4 に示す（語末変化テーブルは語頭変化テーブルと同様のため省略する)。
主な対象は連濁現象で, 例えば「カライ (辛い)」の「語頭変化型」に「カ濁」を設定すると,語頭変化表により基本形「カライ」と, 語頭文字を置き換えた濁音形「ガライ」が生成される. データベース上では，この変形は語形テーブルと語頭変化テーブルを語頭変化型で結合することで，各形を生成している，書字形のレベルでは，濁音形の書字形は，漢字表記の場合には基本形と同じものが使われる（例：辛い）が，ひらがな・カタカナで表記されている場合には書字形の先頭部分を変化させたもの（例：がらい・ガライ）を生成する．語末変化も語頭変化と同様で,「語形」が持つ「語末変化型」に応じて, 語形変化した形を生成する。例えば「サンカク (三角)」の語末変化型に「ク促」を設定すると，語末変化表により，基本形「サンカク」と，語末文字を置き換えた促音形「サンカッ」を生成する。

## 活用

活用は，語形が持つ活用型に応じて，活用形を展開する処理である。その処理に用いる活用表テーブルの主要な項目を表 5 に示す.

内部活用型は語彙表展開時に処理内部で一時的に使用されるもので，語形に付与した活用型と詳細活用型, 語形に関連付けられた書字形と発音形を専用関数に渡すことで生成される。例えば書字形「辛い」「からい」は同じ語形「カライ（活用型「形容詞-ライ」）を持つが終止形の変化を「辛“え”」「か“れえ”」と区別する必要があるため，内部活用型により活用パターンをより細分化した上で活用変化が行われる。生成された内部活用型により活用表から活用形と活用語尾書字形が取得されるが，同時に書字形の活用部分が「終止形-一般」の活用語尾書字形より取得される。書字形を活用変化した形は，ここで取得した活用語尾書字形をその他の活用形

表 4 語頭変化テーブルの主な項目

表 5 活用表テーブルの主な項目

## 辞書データベース

図 4 活用形の展開の流れ

の活用語尾書字形で置換したものにより生成される.

以上の活用表による語彙表展開の流れを図 4 に示す.

活用に際して，書字形が異なると変化する語尾の部分が異なる場合がある。たとえば，カ行変格活用の動詞「来る」では，仮名で書かれた「くる」の場合，未然形の書字形は「こ」，連用形は「き」だが，漢字で書かれた「来る」では書字形はいずれも「来」である．このように，辞書登録されている書字形ごとに活用語尾の長さを変える必要があるため，書字形に「活用型書字形」を持たせて活用形の展開の仕方を変えている.

活用語の変化部分の長さの違いは，発音形についても起こる。たとえば，音便形の処理で語形が「オイ」でおわる形容詞は，その直前の音が才段の場合には終止形などの発音形を長音にす

「アオイ」).このため, 発音形に「活用型発音形」を持たせて活用形の展開の仕方を変えている.

## 特殊活用形

通常の活用形の展開では生成できない，または特定の語においてのみ活用形を展開する特殊な活用形は，「特殊活用形テーブル」に活用した形の書字形を登録する（表 6）.

たとえば活用語尾までがカタカナ表記される「イイ（良い）」「デキル（出来る）」や，活用語尾のない特殊な表記「也」(助動詞「なり」の終止形)，特殊な語形「ま〜す」(助動詞「ます」 の終止形）などがそれにあたる。特殊活用形に登録した書字形は語彙表生成時にそのまま語彙
表に追加される ${ }^{12}$.

## 語彙表の展開

ここまでに説明してきた語頭・語末変化と活用により，語彙表がコーパスデータベース内に生成される。語彙表展開では語形に付与された語頭・語末変化型, 活用型により, 語頭・語末変化と活用のいずれか，または両方による展開処理が行われる。図 5 に例として形容詞「辛い」 の語彙表展開を図示する。

辞書データベースでは, 語彙素テーブルの主要項目のほか, 語彙素・語形・書字形・発音形テーブルを結合した主要項目，語彙表テーブルにも一意制約が設定されているため，語彙素・

表 6 特殊活用形テーブルの主な項目

図 5 語彙表展開の例


図 6 語彙表 ID の例

語形・書字形・発音形が登録できてもその後語彙表展開したものが重複した場合には，語彙表展開がロールバックされ登録自体も無効となる。つまり語彙表テーブルは常にデータの重複がない状態であることが保証されている.

## 語彙表 ID

語彙表生成時には語彙表のレコード毎に一意の語彙表 IDを割り当てる。語彙表 ID は通常 10 進数の数値として扱われるが, ビット列としてみると, 発音形・語頭変化・語末変化・活用それぞれの展開処理において, 各変化形の表現に十分なビット幅をフィールドとして追加したものとなっている。図 6 に例として形容詞「辛い」を語彙表展開して生成される出現書字形「がらかっ」の語彙表 ID（10 進数・2 進数）を示す.

この設計により，語彙表 IDのみから，語彙素・語形・書字形等の見出し語の ID や変化形の ID を容易に計算できるようにしている。全体として通常の整数型（32ビット）で表現できる範囲を超えるため, bigint（64ビット符号付き整数）型で表現する．したがって，語彙素 ID の最大数は 25 ビット分（約 3400 万）確保可能である.

## 5.3 辞書データベースの運用

## 辞書データベースのロック処理

一般的にクライアント・サーバ型のシステムでは複数の作業者が同時にデータを変更した場合に，処理が混在しデータに矛盾が生じる可能性がある．辞書データベースにおいては，見出し語を変更すると見出し語の各テーブルに設定したトリガにより語彙表展開までが一連の処理として行われるが, 語彙表展開の処理は内部に「非語頭語末変化パターンの展開」「語頭語末変化パターンの展開」「特殊活用形の展開」など複数の処理のステップがあり，なおかつ処理中は見出し語表，活用表など複数のテーブルのデー夕を参照する必要があることから，見出し語の変更から語彙表展開までは形態論情報データベースのなかでもコストがかかる処理となっている. 表 7 に示すように, 語彙表展開処理は, 書字形や活用変化パターンを多く持つ語彙素ほど処理に時間を要する。

語彙表展開処理に時間がかかるほど，処理中に他の作業者による見出し語の変更が起こりや
表 7 語彙表展開時のコスト

 \\

すくなり, 処理の衝突やデータの矛盾が起こる可能性が高くなる。一般にデータベースでは,複数の処理が混在した際に起こりうるデータの矛盾として「ダーティリード」「反復不能読取り」「ファントムリード」があり，それらを回避するために分離レベル「READ COMMITTED」「REPEATABLE READ」「SERIALIZABLE」をトランザクション開始時に指定できる。分離レベルは同時実行性とのトレードオフの関係にあり，SERIALIZABLE は前述のデータの矛盾を全て回避することができるが，トランザクション中は他の作業者が処理を行えなくなり全体としての作業量が落ちる。そのため, 他の分離レベルを使用して同時実行性を維持しつつ, 分離レベルでは回避できないデータの矛盾をシステム上で対処するよう設計を行う必要がある。また処理が混在した場合のトラブルとして，複数のトランザクションがたすき掛けでデータをロックし合うことによりお互いの処理が行き詰まる「デッドロック」があるが，これについても対策を行う必要がある.

これらを考慮して，語彙表展開に関連する一連の処理では以下のような設計を行った.

a. 語彙表展開処理内の複数のステップをトランザクション処理とし, 分離レベルを READ COMMITTED とした.

b. 見出し語の語彙素・語形・書字形・発音形の変更では必ずリアルタイム処理による語彙表展開処理が行われるようにした。

c. 語彙表展開処理内の冒頭で語彙素-語形-書字形-発音形への参照を行うこととした.

まず分離レベルを READ COMMITTEDを指定することで， ダーティリードを回避しつつ，同時実行性を確保した (a.)。ただしREAD COMMITTEDでは他の作業者によるデータ変更がブロックされず, 反復不能読取り, ファントムリードが起こるため, 別途回避策をとる必要がある. トランザクション処理中に他の作業者によりデータ変更が行われてしまう反復不能読取りについては, 語彙表展開なしに見出し語を変更できないようにし（b.), さらに先行の処理が完全に終了されるまで後続の処理をロック待ちにすることで (a. と c.), 複数の作業者が同一箇所について同時にデータ変更が行えないようにすることで回避した. トランザクション処理中にデータが追加されてしまうファントムリードについては，そもそもトランザクション中に他

の作業者によりデータが追加されても，作業者にとってはその時点では必要のないデータなので作業上も支障がなく, また語彙表は日次処理により全件が再生成されるため, 不正なデー夕の語彙表展開は排除される。

またデッドロックについては, 前述のとおり見出し語変更時の処理を一本化してレコードロックの順番を統一することで回避した。

## 5.4 辞書データのエクスポート

辞書データベースは，コーパスデータベースの修正に用いられるだけでなく, 形態素解析用の辞書（見出し語リスト）を出力する役割も担っている。辞書データベースから出力された辞書と，コーパスデータベースから出力される人手修正済みの学習用コーパスを利用して形態素解析辞書が作成された. UniDic 1.x 系列の形態素解析辞書の作成に当たっては, 辞書データベー スの見出し語表・活用表・語頭語末変化表を組み合わせて展開した語彙表を表形式テキストとして出力し，これを $\mathrm{MeCab}$ 用の辞書のソースデータとして提供した.

さらに, 見出し語のテーブルを結合・再構成してUniDic の階層構造を再現したXML 形式で出力し, UniDic 2.x 系列の辞書データとして提供した. 同時に活用表や語形変化表もXML 形式で出力し, 辞書データベースの大部分を XML 形式で外部に提供することを可能にした.

## 6 コーパスデータベースの設計・実装・運用

## 6.1 コーパスデータベースの設計と実装

2 章で確認したとおり，BCCWJ のテキストは XML 文書の形で提供される。テキストの形態論情報は，形態素解析等の自動出力結果を人手で修正した後で，元のXML 文書に対するアノテーションとして出力する必要がある。 BCCWJでは，短単位と長単位という階層的な関係を持つ 2 つの言語単位によって形態論情報がアノテーションされるが, この階層関係も XMLのタグによって表現される。 BCCWJ のコアデータから，短単位と長単位のアノテーション例をリスト 1 に示す. LUW が長単位, SUW が短単位のタグである（一部の夕グを省略した）.

関係データベースを用いてこうしたXML 文書を扱うために，スタンドオフ・アノテーションの方法に基づき，XML 文書が含む文字データ（CDATA）とタグをテーブルに分割し，ファイル先頭からの文字オフセット値（タグを除いた文字の開始終了位置）によって関係づけて管理する設計とした，全体の整合性を保持するため, 文字やタグを含む全てのデータの修正をこのデータベース上で行う。このデータベースのテーブル関連図を図 7 に示す.

コーパスデータベース中のテーブルは，XML 文書起源のものとして「文字」テーブル，「夕グ」テーブル，「ルビ」テーブル，「文字修正」テーブルがあり，これに後述する数字処理による 「数字」テーブル, 形態論情報アノテーションとしての「短単位」テーブルと「長単位」テーブ

ルが加わる．形態論情報も文字位置によってテーブルを関連付けて管理する。このほかに，全文検索用の「文」テーブルや長単位修正作業用の「長単位語彙表」テーブルを置く．このうち， コーパスデータベースにとって必須のデータは文字テーブルと短単位テーブルであり，XML 文書の復元や長単位アノテーションを必要としない場合にはこれ以外のテーブルは不要となる.

コーパスデータベースの根幹である短単位テーブルの主要な項目を表 8 に示す.

リスト 1 短単位と長単位のアノテーション例（X-XML）

<mergedSample sampleID="OW6X_00028" type="BCCWJ-MorphXML" version="1.0">

<article articleID="0W6X_00028_V001" isWholeArticle="false">

<titleBlock>

<title>

<sentence type="quasi">

<LUW B="S" SL="v" 1_lemma="第一章" l_lForm="ダイイッショウ" 1_wType="漢" 1_pos="名詞一普通名詞一一般" l_formBase="ダイイッショウ">

<SUW orderID="10" lemmaID="22937" lemma="第" lForm="ダイ" wType="漢" pos="接頭辞" formBase="ダイ " pron="ダイ" start="10" end="20">第〈/SUW>

<SUW orderID="20" lemmaID="2050" lemma="一" lForm="イチ" wType="漢" pos="名詞-数詞 " formBase="イチ" kana="イッ" pron="イッ" start="20" end="30"> 1 </SUW>

<SUW orderID="30" lemmaID="16559" lemma="章" lForm="ショウ" wType="漢" pos="名詞 </LUW>一普通名詞一一般" formBase="ショウ" pron="ショー" start="30" end="40">章</SUW>

<LUW SL="v" 1_lemma=" " 1_lForm="" 1_wType="記号" 1_pos="空白">

<SUW orderID="40" lemmaID="23" lemma=" " lForm="" wType="記号" pos="空白

" formBase="" pron="" start="40" end="50"> </SUW>

</LUW >

<LUW B="B" SL="v" I_lemma="障害者施策" l_lForm="ショウガイシャシサク" I_wType="漢" l_pos="名詞 - 普通名詞 - 一般" l_formBase="ショウガイシャシサク">

<SUW orderID="50" lemmaID="16607" lemma="障害" lForm="ショウガイ" wType="漢" pos="名詞一普通名詞-サ変可能" formBase="ショウガイ" pron="ショーガイ" start="50" end="70">障害</SUW>

<SUW orderID="60" lemmaID="15852" lemma="者" lForm="シャ" wType="漢" pos="接尾辞

一名詞的一一般" formBase="シャ" pron="シャ" start="70" end="80">者</SUW>

<SUW orderID="70" lemmaID="15256" lemma="施策" lForm="シサク" wType="漢" pos="名詞 </LUW >

一普通名詞——般" formBase="シサク" pron="シサク" start="80" end="100">施策</SUW>

<LUW SL="v" l_lemma="の" 1_lForm="ノ" 1_wType="和" 1_pos="助詞-格助詞 " l_formBase="ノ">

<SUW orderID="80" lemmaID="28989" lemma="の" lForm="ノ" wType="和" pos="助詞 </LUW>

一格助詞 " formBase="/" pron="/" start="100" end="110">の </SUW>

<LUW B="B" SL="v" 1_lemma="総合的取り組み" 1_lForm="ソウゴウテキトリクミ" 1_wType="混" 1_pos="名詞一普通名詞一一般" 1_formBase="ソウゴウテキトリクミ">

<SUW orderID="90" lemmaID="21023" lemma="総合" lForm="ソウゴウ" wType="漢" pos="名詞
- 普通名詞-サ変可能" formBase="ソウゴウ" pron="ソーゴー" start="110" end="130">総合</SUW>

<SUW orderID="100" lemmaID="25076" lemma="的" lForm="テキ" wType="漢" pos="接尾辞

一形状詞的" formBase="テキ" pron="テキ" start="130" end="140">的</SUW>

<SUW orderID="110" lemmaID="26779" lemma="取り組み" lForm="トリクミ" wType="和" pos="名詞 $\langle/$ LUW $>$

一普通名詞——般" formBase="トリクミ" pron="トリクミ" start="140" end="160">取組</SUW>

$</$ sentence>

<br type="automatic_original"/>

$</$ title $>$

</titleBlock>

## XML 文書と形態論情報のインポート

XML 形式でリリースされるデータをコーパスデータベースにインポートする方法を図 8 のように設計・実装した，既述の通り，XML 形式のデータを表に変換し，それらの表を，文字位置 （ファイル先頭からの文字オフセット値）をキーにした IDで相互に関係づける。この際，辞書

図 7 コーパスデータベースのテーブル関連図

登録やコーパス修正時に確認することが必要なルビタグ・数字タグ・文字修正タグのみを専用のテーブルに格納して編集可能とし，それ以外の夕グについては元の形のまま「夕グ表」にまとめて保存している。インポート処理の過程で形態素解析の上で妨げとなる夕グの除去や, 数字変換（後述）などの処理が加わるため，それぞれの表の情報を取り出す段階が異なっている.

なお，BCCWJでは， 2.4 節で述べた数字変換処理が行われているため, 形態素解析結果から原文の文字位置をキーにした短単位テーブルを単純にとりだすことができない。そこで，形態素解析結果を埋め込んだ状態の XML ファイルから，原文文字列や数字タグ・分数タグの情報を元に，元の文字との対応を取りながら文字位置を取得する必要がある. この処理はデータベー ス外部の解析プログラムによって行っている.

長単位のデータは，修正済みの短単位データをコーパスデータベースからエクスポートし， Comainu によって処理を行った後，データベースの長単位テーブルにインポートする。 2.1 節で見たとおり，長単位は短単位を組み上げる形で生成される。長単位テーブルからは，長単位
表 8 短単位テーブルの列名

 &  & 長単位テーブル, 文テーブルとの接続用 \\

※数字変換処理により出現書字形と原文とが異なる場合に文字位置も異なる値となる.

の修正作業用に長単位語彙表テーブルを生成する。

以上のような手順でコーパスデータベースに格納されたデータは, 後述のクライアントッー ル「大納言」を通して修正される。

## 6.2 コーパスデータベースの運用

## 運用実績

コーパスデータベースの運用実績は, 履歴をもとに集計すると, BCCWJ 全体の更新件数が約 302 万件（約 1,000 日間), 1 日あたりの平均更新件数が約 2,800 件, 1 日あたりの最大更新件数が約 25,000 件, 最大接続ユーザー数が 22 名であった（更新件数は一部推計によるものを含む）.

## コーパス更新時の不整合の回避（ロールバック）

コーパスデータの更新時には, 複数作業者による同一箇所の同時更新による文脈の不整合が発生する可能性が考えられる。このような場合にはロールバックにより不整合が回避されるようシステムを設計している.

しかし，コーパスの同一箇所をほぼ同時に更新する状況は極めて稀である。BCCWJでの作

図 8 XML 文書の形態素解析とインポートの流れ

業では，短単位テーブルに約 1 億 2 千万件のレコードが存在し，そのうち人手によるデータ更新が 302 万箇所（推計値）で行われた。しかし，このうち最も近いタイミングで隣接箇所を更新した事例でも 14 秒以上の間隔があり，近接箇所を 1 分以内に更新した例も 15 箇所しか存在しない.また, 現在の日本語歴史コーパス修正作業のログ 3 日間分においては, 更新件数は 7,858 件であったが，不整合が起こりうる同時更新は 0 件であった。このように，同一箇所の同時更新が発生しにくいのは，コーパスのサイズが極めて大きいことに加え，コーパスデータの更新作業おいて作業範囲や作業内容が作業者間で効率的に割り振られていたことによると考えられる。

## ジョブ

リアルタイム更新が必要でない処理や, 通常作業のために必要なデータ整備の処理, バックアップ処理などは, 必要なタイミングや所要時間などを考慮して，以下のように日中毎時・平日深夜・週末深夜のジョブによりバッチ処理を行った.

・日中毎時ジョブ

1 時間間隔でトランザクションログのバックアップを行う。作業を中断する必要はなく,通常数秒程度で完了する。

・平日深夜ジョブ
平日深夜に開始され，翌日の作業開始まで行われる。負荷や排他ロックにより日中に行えない処理（データのインポート，一括変換処理等）や，即時性が必要でないデー夕の更新（辞書とコーパスの完全同期等）を行う.

・ 週末深夜ジョブデータベースのバックアップやインデックスの再作成，データの削除などを行う．

## バックアップ体制

データベースは障害時に特定の時点に復旧できるよう完全復旧モデルを採用している。毎週末深夜にバックアップストレージに対してバックアップファイルが作成され, その後, 翌週末深夜まで 1 時間間隔でログバックアップを行う。つまり週毎に「完全バックアップ+ログバックアップ」のバックアップセットが作成されることになる. バックアップセットは一定期間保存されたのち, 古いものから削除される。

## コーパスデータベースのチューニング

コーパスデータベースでは 1 億語を超える大規模なデータを対象に, 複数の作業者が同時に更新処理を行う必要がある。そのため，コーパスデータベースの実装に当たっては処理の高速化とデータの整合性, 同時実行性の確保のための対策が重要である。そのために次の (a)～(c) のような対応を行った。

## (a) KWICに最適化した主キー項目の選定

コーパスデータベースでは，後述する「大納言」でコーパス修正を行うために KWIC（キー ワードの前後文脈情報）を多用する。しかし, あらかじめ KWIC 情報を作成してデータベース内に格納することはデータベースサイズが肥大化することから困難であり，また最新のコーパス修正結果をもとにした KWIC を表示することが望ましい。そのため，検索の都度，ヒットした語についてリアルタイムで KWIC を生成する設計とした。通常, 一度の検索で数百〜数千語程度の KWIC 作成処理が発生するため, この処理の高速化はシステム全体の処理性能に直結する。

そこで，短単位テーブルの主キーとして KWIC 作成に必須となる「サンプル ID」と「連番」 を選択することで，この処理の高速化を図った．SQL Server では主キーとして設定した項目を元にクラスタ化インデックスが作成されるため,「サンプル ID」と「連番」を主キーに設定することで，データベース上でデータが短単位の出現順に物理的に並ぶことになり，語の並び替えが不要となる。またインデックスを経由することなく直接データにアクセスできるため, KWIC 生成処理の短単位の組み上げ時のコストを節約できる。約 14,000 レコード分の KWIC 生成に要する時間を比較した結果を表 9 に示す.

表 9 の SQL 文中の「fnGetContextPreOpenClose」「fnGetContextPre」は KWIC 生成関数である。検索時間は 10 回検索を行い最小値と最大値を除いた平均時間となっていて, 検索毎に

キャッシュを消去することでキャッシュによる高速化の影響を排除した。通常のインデックス項目による場合と比較して KWIC 生成速度が 2 倍程度に高速化された。

また，コーパス名の検索をサンプル ID の検索に変換にすることで検索の高速化を行った．短単位テーブルにはサンプル ID の上位の括りとして「コーパス名」列がある。コーパス名は定義上ファイルをレジスタ別に分けるための情報だが，短単位テーブルのデータをプロジェクトや用途別に区別することにも利用している。ユーザーが大納言で作業する際は，短単位テーブル全体ではなくあらかじめユーザー毎に割り振られた作業対象（コーパス名）毎に作業を行うことが多い.

このことから, 作業者が大納言で検索対象（作業対象）のコーパス名を指定した際に，システム内でコーパス名をサンプル ID に変換するための「コーパス名ーサンプル ID 対応テーブル」 を作成した。このことにより，コーパス名による検索を短単位テーブルの主キーであるサンプル IDによる検索に変換することができ，検索対象の絞込が高速化された。書籍・白書・雑誌のコアデータについて品詞を指定して検索した結果を表 10 に示す.

検索時間は 10 回検索を行い最小值と最大値を除いた平均時間である。検索の都度キャッシュは消去した．SQL 文中の「fileList」が「コーパス名ーサンプル ID 対応テーブル」で，これを使用することによりコーパス名を指定した検索速度が 100 倍程度に高速化された.

## (b) トランザクション分離レベルの設定

短単位テーブルの修正は，そのほとんどが単位境界の切り直しを伴いレコード数が変化することになる。そのため, 修正の反映は, レコードの更新処理ではなく, 削除処理によって修正

表 9 KWIC 生成時間の比較

 & 2.25 秒 &  \\

表 10 コーパス名一サンプル ID 対応テーブルによる検索

 \\

前のレコードを削除した後に修正後のレコードを挿入することで行っている．単位境界を変更する場合には，修正後のレコードに文字位置を振り直す処理も必要であり， 1 箇所のデータ修正のために複数の処理を実行する必要がある。そこで，これらをまとめてトランザクション処理で実行し，データが 1 箇所更新される度にトランザクションが終了されるようにした。複数箇所を一度に更新する場合は，ループ処理により複数回処理を実行する。これは大規模な修正を行う際のレコードロックの時間を最小限にし，他の作業者への影響を抑え同時実行性を高めるためのものである.

データの正確性を高めるのであればトランザクションの分離レベルを SERIALIZABLE などに設定すればよいが，反面，同時実行性は低下することになる。そこで大納言では更新処理が他のユーザーの作業に影響するのを抑えるため，データの更新時のトランザクションの分離レベルを READ COMMITTED とした. このレベルでは反復不可能読取りが起こる可能性があるが，更新処理内部に処理前後の文脈を比較する処理を組み达むことで，不正な変更処理が回避されるよう設計した．仮に処理前後の文脈を比較する処理でエラー（文脈が変更される）と判定された場合は，トランザクションがロールバックされ，文脈の整合性が維持される，つまり本文の文脈が書き換わらない限り，複数作業者による同一箇所の同時変更を許容する設計を行っている.

## (c) ダーティリードの許容

他の作業者の更新処理中であってもデータベースからデータが読み取れるように，データの検索や KWIC 生成処理時の SELECT 文ではダーティリードを許容した。このことにより検索結果や KWIC 内に誤ったデータが表示される可能性があるが，データの更新時には文脈チェック処理により不正なデータが検出されるため, 不正な書き換えは防止される。この実装により同時実行性が確保され，不正な書き換えの問題も発生していない.

## 6.3 コーパスのエクスポート

人手で修正を行った形態論情報は，元のXML 文書にタグとして埋め达んだ XML 形式でエクスポートすることができる。BCCWJを構成する全てのXML 文書（C-XML，M-XML）は, このデータベースから出力された. XML エクスポート用の SQL 文では，各テーブルを結合し， データベース内部でXML 型のデータとして生成した後, ファイル出力している。これによりデータが整形式のXML であることが保証される。テーブルの結合時には, 6.1 で示したインポートの流れを逆にたどる。この際，夕グテーブルを参照するが，ルビや数字などの別テーブルで管理するタグはタグテーブルからではなく, それぞれのテーブルの情報を元にタグを再構成して出力する.

当然ながら, 表形式の形態論情報を出力することも可能であり, BCCWJを構成する表形式の形態論情報データ（短単位・長単位 TSV）はこのデータベースから出力された. また, Web

ベースのコーパス検索ツール「中納言」のソースデータもここから出力されたものである。さらに, 形態素解析辞書 UniDic の機械学習に用いるコーパスも，コーパスデータベースの短単位テーブルの一部を出力したものである.

なお，データベースに格納されている形態論情報は，インポート前の数字処理を経たテキス卜を元にしており BCCWJ の M-XML および表形式の形態論情報データではこれを出力しているが，データベース上では原文に相当する C-XML を元にして管理されているため，数字処理を行わない形で XML 文書を取り出すことも可能な設計になっている.

## 7 クライアントツールの開発

## 7.1 辞書データベース用ツール「UniDic Explorer」

辞書管理ツール「UniDic Explorer」は辞書データベースへの見出し語の追加・修正をするために開発したクライアントッールである. ツール上に UniDic の見出し語の階層構造をそのまま可視化しており，階層構造を意識した辞書管理を可能にしている（図 9）.

上段左の検索用コントロールで, 各階層の見出し語の情報（語彙素・語彙素読み・語形・書字形・その他）を対象に見出し語表を検索すると，左ペインにマッチした語が UniDic の階層構造を反映したツリー形式で表示される。右ペインには各階層の見出し語が，階層構造を反映した重層的なフォームの形で表示される.

見出し語の追加は, 見出し語のテーブルのデータが表示されている画面から「新規」ボタンをクリックすることにより行う，見出し語表のデータベース制約により，見出し語は必ず親となる見出し語に追加する形で入力するよう制限されており，逆に見出し語を削除する場合には， その見出し語の子となっている見出し語をあらかじめ削除しておかなければならない. これによって見出し語表の階層構造の整合性を確保している。画面下部の「ツリーの操作」では，見出し語の移動・コピー・削除を行うことができる。この画面では，当該見出し語だけでなく，子や孫となる見出し語ツリー全体をまとめて処理することができる.

見出し語は語彙表を介してコーパスと接続されているため, 当該見出し語のコーパス中での用例をこのツールから確認することができる，当該語のコーパス中の頻度は右ぺインの各階層の見出し語の部分に常に表示されている，頻度情報の横の「用例」ボタンを押下することで，当該語のコーパス中の用例を文脈付きで全て表示することができる.

## 7.2 コーパスデータベース用ツール「大納言」

短単位の自動解析精度はおおむね $98 \%$ 程度であった。長単位解析の精度も（短単位データが全て正解であることを前提として） $99 \%$ ぼであり，人手による修正が必要であった. こうした形態論情報アノテーションの人手修正を行うためのツールが,「大納言」である（図 10）「「納

図 9 UniDic Explorer 実行画面

言」の中心となる機能は形態論情報の修正であるが，それ以外にも多くの機能を持つため，画面上段のタブによってモードや機能を切り替えて利用する形になっている.

## 形態論情報の修正機能

多くの修正作業は，形態論情報を使った検索の結果に対して行うことになるが，その検索条件の指定では,「語彙素」「書字形」などの単純な形態論情報の検索だけでなく, 形態論情報を前後 5 グラム分まで自由に組み合わせた高度な検索が可能である。また, 単位境界を意識しない全文検索を行って，検索結果に形態論情報を表示させることもできる。

短単位アノテーションの修正作業は, 短単位の「分割結合」モードで行う。検索結果から修正対象を選択し, 当該箇所の短単位境界を文字単位で分割・結合して正しい境界を指定する．境界が直ったところで語彙表を参照して，辞書データベースに登録された語の出現形を当てはめる.この際, 該当する短単位がなければ, UniDic Explorer で新規の見出し語を追加した後, 新

図 10 「大納言」実行画面（短単位アノテーションの修正）

たに語彙表に追加された出現形を使用する.

長単位の修正時には「長単位」モードで短単位の情報を閲覧しながら，短単位を基本単位として長単位を分割・結合して正しい長単位境界を指定する。長単位境界が直ったところで長単位語彙表を参照して適切な長単位を選択する。この際, 該当する長単位がなければ，選択箇所の短単位から自動構成される長単位をもとにして長単位語彙表に新しい語彙を追加してこれを当てはめる.

こうした形態論情報の修正処理は，修正箇所と同一の形態論情報の組み合わせを持つもの全てを対象にして一括で行ったり，必要なものだけを作業者が選択して一括で行ったりすることが可能で，これによって効率的な修正作業を実現している。

## 7.2.1 文字とタグの修正機能

「大納言」では形態論情報そのものの修正作業のほかに, 原テキストの文字修正, 数字変換の誤り修正，ルビの文字修正を行う機能を実装した，6章で示したとおり，コーパスデータベー スは文字ベースの開始終了 ID で全体が関連付けられているが，「大納言」を通してこれらの修正を行うことで，作業者が意識することなく全体の関連付けの整合性を保つことができる.

コーパス中の文字の修正では, 文字テーブルを修正した後, 文字修正テーブルに修正内容を記録する. 自動数字変換（2.4 節参照）の修正では，夕グ付けされた変換内容をもとに，変換処理を元に戻したり，適切な変換内容に人手で修正したりする機能を持たせた．数字を変換し直す場合には数字テーブル，形態論情報を修正する．タグの修正については，XML 文書を極力整形式に保ったまま，直接修正できる機能を実装した.

## 8 おわりに

以上に述べた「形態論情報データベース」を開発することで, 形態素解析された 1 億語規模のコーパスを格納し，その全体に対して形態論情報の修正処理を行うことを可能にした。これにより, 約 100 万語のコアデータについて形態論情報に十分な人手修正を施し, それ以外の部分についても人手による修正を施して高い精度を達成することを可能にした。このシステムが BCCWJ の形態論情報アノテーションを支え, BCCWJ を構成する全てのデータはこのデータベースから出力された. また, 本システムによってUniDic の見出し語のデータ整備を支援し,見出し語のデータと対応付けられた学習用コーパスを提供したことで形態素解析辞書 UniDic の開発に貢献した。

このデータベースシステムは, 現在「日本語歴史コーパス」の構築に利用されているほか, BCCWJ のタグ修正や新形式のデータ出力などメンテナンス作業の基盤としても活用されている.今後も大規模コーパスの構築を支えるシステムとして活用される予定である.

なお, 本システムは研究所内でのコーパス構築を目的に開発したものであり，そのままの形で一般公開を行う予定はないが，BCCWJ の活用やコーパス開発のために本システムの利用を希望する場合には，プログラムの提供を含めて対応する用意があるので問い合わせてほしい.

## 参考文献

浅原正幸, 米田隆一, 山下刺希子, 伝康晴, 松本裕治 (2002). 語長変換を考慮したコーパス管理システム. 情報処理学会論文誌, 43 (7), pp. 2091-2097.

伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス日本語学のための言語資源一形態素解析用電子化辞書の開発とその応用（特集コーパス日本語
学の射程) . 日本語科学, 22, pp. 101-123.

Kaplan, D., Iida, R., Nishina, K., and Tokunaga, T. (2011). "Slate - A Tool for Creating and

Maintaining Annotated Corpora." Journal for Language Technology and Computational Linguistics, 26 (2), pp. 89-101.

国立国語研究所コーパス開発センター (2011). 『現代日本語書き言葉均衡コーパス』マニュアル. 国立国語研究所コーパス開発センター.

前川喜久雄 (2007). KOTONOHA『現代日本語書き言葉均衡コーパス』の開発. 日本語の研究, 4 (1), pp. 82-95.

Matsumoto, Y., Asahara, M., Kawabe, K., Takahashi, Y., Tono, Y., Ohtani, A., and Morita, T. (2005). "ChaKi: An Annotated Corpora Management and Search System." In Proceedings from the Corpus Linguistics Conference Series, Vol.1, No.1.

小椋秀樹, 小磯花絵, 冨士池優美, 宮内左夜香, 小西光, 原裕 (2011). 『現代日本語書き言葉均衡コーパス』形態論情報規程集第 4 版（上・下）．国立国語研究所内部報告書. LR-CCG-10-05.国立国語研究所.

小澤俊介, 内元清貴, 伝康晴 (2011). BCCWJ に基づく中・長単位解析ツール. 特定領域「日本語コーパス」平成 22 年度公開ワークショップ予稿集, pp. 331-338. 特定領域「日本語コー パス」総括班.

Przepiórkowski, A. and Murzynowski, G. (2011). "Manual Annotation of the National Corpus of Polish with Anotatornia." In Goźdź-Roszkowski, S. (Ed.), Explorations across Languages and Corpora: PALC 2009, pp. 95-103, Frankfurt am Main. Peter Lang.

Stenetorp, P., Pyysalo, S., Topić, G., Ohta, T., Ananiadou, S., and Tsujii, J. (2012). "BRAT: A Web-based Tool for NLP-assisted Text Annotation." In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, EACL '12, pp. 102-107, Stroudsburg, PA, USA. Association for Computational Linguistics.

山田篤, 小磯花絵 (2008). Numtrans マニュアル. テクニカル・レポート, The UniDic Consortium.山口昌也, 高田智和, 北村雅則, 間淵洋子, 大島一, 小林正行, 西部みちる (2011). 『現代日本語書き言葉均衡コーパス』における電子化フォーマット Ver2.2. テクニカル・レポート LR-CCG-10-04, 国立国語研究所コーパス開発センター.

## 略歴

小木曽智信 : 1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒業. 1997 年東京大学大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博
士後期課程修了. 2001 年より明海大学講師. 2006 年より独立行政法人国立国語研究所研究員を経て, 2009 年より人間文化研究機構国立国語研究所准教授, 現在に至る. 専門は日本語学, 自然言語処理. 日本語学会, 情報処理学会各会員.

中村壮範：2000 年武蔵工業大学機械工学科卒業. 卒業後, 顧客管理データベー ス等の構築業務を経て，2006 年より，国立国語研究所勤務において「現代日本語書き言葉均衡コーパス」「日本語歴史コーパス」のための形態論情報デー タベースの構築・運用に従事. 現在, マンパワーグループ株式会社所属.

