# タグ信頼度に基づく半自動自己更新型固有表現抽出
## 齋藤 邦子†・今村 賢治 $\dagger$

本稿では条件付確率場に基づく固有表現抽出において，新たなドメインにモデルを適応するためのモデル学習コスト一正解データ作成コスト一を低減する 2 つの学習手法を提案する，本手法では，夕グ単位の事後確率をタグ信頼度とみなし，信頼度の低いタグをシステムの解析誤りとして自動的に検出する。そして検出された解析誤りタグのみを修正の対象とするため, 文全体の事後確率を利用する場合と比較して，修正が必要である箇所に効率よくコストを注力させることが可能となる.

第 1 の学習手法として, 能動学習に本手法を適用すると, システム出力の信頼度が低いタグのみを検出して人手修正対象とすることにより, 従来手法と比較して修正コストが $1 / 3$ に低減した。

また，第 2 の学習手法として正解固有表現リストを利用したブートストラップ型学習に適用すると, 解析誤りとして検出されたタグの上位候補から半自動的に正解夕グを発見可能であった。この学習法では，大量のプレーンテキストから，半自動で正解データを作成できるため，更に学習コストを低減させる効果がある.

キーワード：固有表現抽出, 信頼度, 事後確率, 能動学習, ブートストラップ, 学習コスト

## Tag Confidence Measure for Semi-Automatically Updating Named Entity Recognition

\author{
Kuniko Saito ${ }^{\dagger}$ and Kenji Imamura ${ }^{\dagger}$
}

\begin{abstract}
We present two techniques to reduce machine learning cost, i.e., cost of manually annotating unlabeled data, for adapting existing CRF-based named entity recognition (NER) systems to new texts or domains. We introduce the tag posterior probability as the tag confidence measure of an individual NE tag determined by the base model. Dubious tags are automatically detected as recognition errors, and regarded as targets of manual correction. Compared to entire sentence posterior probability, tag posterior probability has the advantage of minimizing system cost by focusing on those parts of the sentence that require manual correction. Using the tag confidence measure, the first technique, known as active learning, asks the editor to assign correct NE tags only to those parts that the base model could not assign tags confidently. Active learning reduces the learning cost by $66 \%$, compared to the conventional method. As the second technique, we propose bootstrapping NER, which semi-automatically corrects dubious tags and updates its model.
\end{abstract}

Key Words: Named entity recognition, Confidence measure, Posterior probability, Active learning, Bootstrap, Learning cost


## 1 はじめに

近年, 様々な言語処理タスクにおいて, 大量の正解データから学習した統計的言語モデルを解析に用いる教師あり機械学習のアプローチが広く普及している。このアプローチでは, 言語の文法的な知識を統計的な特徴量として捉えることができ, 形態素解析や固有表現抽出, 機械翻訳などの自然言語処理で広く活用されている。本稿では固有表現抽出タスクに焦点をあてる.

固有表現抽出は, 形態素解析済みの各単語に対して, 「どの種類の固有表現か」というタグを付与することにより実現されている。近年では，条件付確率場 (Conditional Random Fields; CRF) (Lafferty, McCallum, and Pereira 2001; Suzuki, McDermott, and Isozaki 2006)に基づく系列ラベリングが好成績を収めている。しかし, これらの教師あり機械学習に基づく言語処理では， モデルを学習するための正解データを構築するコストが極めて高いことが常に課題となっている.

一方, 情報検索や情報抽出の分野では, 近年ブログなどの Consumer Generated Media (CGM) を対象とした研究も多くなってきている．CGM は，テキストそのものが日々変化してゆくため, 新しい語や話題が常に出現するという特徴がある. このような日々変化するテキストにモデルを適応させる確実な方法は, 正解の追加データを作成することである. しかし, 人手コスト問題のため, 迅速に対応させるのは困難であった.

これらの人手コストを削減するための従来研究として, 能動学習 (Shen, Zhang, Su, Zhou, and Tan 2004; Laws and Schütze 2008), 半教師あり機械学習 (Suzuki and Isozaki 2008), ブートストラップ型学習 (Etzioni, Cafarella, Downey, Popescu, Shaked, Soderland, Weld, and Yates 2005) などが提案されてきた。能動学習は, 膨大なプレーンテキスト集から学習効果の高いデータを取捨選択し, 正解は選択されたデータのみに対して人手で付与する手法であり, 人手コストを効果的に集中させることに着眼している. そのため, 能動学習では学習効果の高いデータ（文） を選択するという, データセレクションが最も重要なポイントとなる 1. ここでのデータセレクションの単位は常に文である.

一方, もしシステムの解析結果をそのまま正解データとして利用できれば，人手コストは大幅に削減可能である. しかし, 現実には解析結果には解析誤りが存在するため, その解析誤りを一つ一つ人手で確認修正する作業が必要である。データセレクションの単位が文である限り, どこに解析誤りが存在するか明白ではないため, 全ての夕グをチェックする必要がある。しかし, 実際には大部分の夕グが正解であることが多いため, 文全体の全ての夕グを確認するコストは無駄が多い.

本稿では, タグ単位の事後確率に基づいて算出したタグ信頼度を導入する。この手法では,文単位の信頼度ではなく, 各単語に付与されうる全てのタグについてのタグ信頼度を計算する。 そしてタグ信頼度に基づいて解析誤りタグを自動的に検出する。自動的に検出された解析誤り箇所だけを人手チェック・修正の対象とすれば，能動学習の学習効率は更に高まる.

更に，もし検出された解析誤りを自動的に正解に修正できれば，更に学習コストを削減できる。本稿では，シードとなる正解固有表現リストを利用してブートストラップ的に正解データを収集する半自動自己更新型固有表現抽出を提案する。この手法では，予め人手でシードを準備するだけで，膨大なテキストからシードに存在する固有表現を含む正解データ2を自動的に収集し，モデル更新をすることが可能となる。

本稿で提案する 2 つの学習手法の模式図を図 1 に示す. タグ信頼度に基づいて大規模平文データからシステム解析誤りを自動検出し, 誤りタグの有無でデータセレクションを実施する。誤りタグを人手で修正する能動学習（4 章）と, 半自動で修正する自己更新型固有表現抽出 UpdateNER（5 章）を本稿では提案する.

以下，第 2 章では固有表現抽出タスクについて述べ，第 3 章では，今回提案する夕グ信頼度について説明する。第 4 章では，夕グ信頼度を能動学習に適応したときの効果を示し, 第 5 章では半自動自己更新型固有表現抽出について説明する，第 6 章で関連研究について述べ，第 7 章でまとめる.

図 1 本稿で提案する学習手法の模式図


## 2 固有表現抽出

固有表現抽出とは，テキストに含まれる人名, 地名, 組織名などの固有表現を抽出する夕スクである。本稿では，表 1 に示すとおり, IREX (IREX Committee 1999) で定義される 8 種の固有表現を抽出対象とし, IOB2 方式 (Sang and Veenstra 1999)に基づいて 17 種類のタグを使用する。

例えば，“東京/都/に”という文は次のようにタグ付けされる：

$
\text { “東京/B-<LOC }>\text { 都 } / \mathrm{I}-<\mathrm{LOC}>\text { に/O" }
$

このタスクは単語列 $W=w_{1} \ldots w_{n}$ に対して固有表現の種類を表す固有表現タグ列 $T=t_{1} \ldots t_{n}$ を付与する系列ラベリング問題として考えることができる。近年, 系列ラベリング問題では CRF(Lafferty et al. 2001; Suzuki et al. 2006)などの識別モデルが成功を収めている. 本稿では linear-chain CRF を利用し, 固有表現タグ列の事後確率を以下の式で算出する.

$
\begin{aligned}
P(T \mid W) & =\frac{1}{Z(W)} \exp \left.\{\sum_{i=1}^{n}\left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\} \\
Z(W) & =\sum_{T} \exp \left.\{\sum_{i=1}^{n}\left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\}
\end{aligned}
$

$w_{i}$ と $t_{i}$ は位置 $i$ に置ける単語（周辺単語を含む）と固有表現タグ， $f_{a}\left(t_{i}, w_{i}\right), f_{b}\left(t_{i-1}, t_{i}\right)$ は当該単語及び固有表現夕グがある条件を満たす時に 1 となる素性関数 3 である。 $\lambda_{a}, \lambda_{b}$ は素性関数の重みであり, 正解データから推定される。 $Z(W)$ は正規化項である. (1) 式を最大化するタグ列が最尤タグ列であり, Viterbi アルゴリズムを利用して求められる.

表 1 固有表現タイプとタグ

3 本稿では素性として, window サイズ 5 単語での表記と品詞に関する $\mathrm{n}$ グラム $(\mathrm{n}=1,2,3)$ と, 固有表現タグの 2 グラムを利用する。

## 3 タグ信頼度に基づく解析誤り検出

## 3.1 タグ事後確率

(1) 式から, 文全体の事後確率を夕グ列全体の信頼度として利用することは自然であり, 従来の能動学習では, 通常, 文全体の事後確率からデー夕選択のための信頼度を算出していた. 本稿では，文ではなくタグ単位の事後確率に着目し，この値をタグ自体の信頼度とみなす。そしてタグ信頼度の値を利用して解析誤りである夕グを自動的に判定する.

図 2 は夕グ信頼度計算の模式図である。単語 $w_{i}$ の夕グ候補 $t_{i, j}$ についての信頼度は, 次式のように計算される。

$
P\left(t_{i, j} \mid W\right)=\sum_{T} P\left(t_{i, j}, T \mid W\right)
$

ここで $\sum_{T} P\left(t_{i, j}, T \mid W\right)$ は夕グ候補 $t_{i, j}$ を通る全ての夕グ列の事後確率を総和したものであり, 周辺確率 (marginal probability) とも呼ばれる。なお， $j=1, \ldots, k$ は表 1 に示す固有表現タグの全種類に対応するものであり，本稿では $k=17$ である．夕グ候補の信頼度は，前向きおよび後向きアルゴリズム (Manning and Schütze 1999) により以下のように効率的に算出することができる.

$
P\left(t_{i, j} \mid W\right)=\frac{1}{Z(W)} \alpha_{i, j} \cdot \beta_{i, j}
$

ここで

$
\begin{aligned}
& \alpha_{i, j}=\sum_{k}\left.\{\alpha_{i-1, k} \cdot \exp \left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i}, w_{i}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i-1}, t_{i}\right)\right)\right.\} \\
& \beta_{i, j}=\sum_{k}\left.\{\beta_{i+1, k} \cdot \exp \left(\sum_{a} \lambda_{a} \cdot f_{a}\left(t_{i+1}, w_{i+1}\right)+\sum_{b} \lambda_{b} \cdot f_{b}\left(t_{i}, t_{i+1}\right)\right)\right.\}
\end{aligned}
$

図 2 夕グ信頼度計算の模式図

$
\begin{array}{r}
\alpha_{0, j}=1 \\
\beta_{n+1, j}=1
\end{array}
$

以上のようにして, 文中の各単語に付与されうる全ての夕グに関して信頼度が得られる.

## 3.2 リジェクター

リジェクターは, タグ信頼度を参照し, システム出力の解析誤りを自動で検出する。各単語において，デコーダが出力した最尤タグ $t_{d}$ と信頼度 1 位夕グ $t_{1}$ を参照し, 以下のような手順で各固有表現タグが正解か不正解かを判定する。なお, 最尤タグ $t_{d}$ は, (1) 式を最大化するタグであり，信頼度 1 位タグ $t_{1}$ は $(3)$ 式を最大化するタグである.

[1] 最尤夕グ $t_{d}$ が信頼度 1 位夕グ $t_{1}$ と不一致ならば，最尤タグ $t_{d}$ を解析誤りとしてリジェクトする 4

[2] [1] でアクセプトされた場合, 信頼度 1 位夕グ $t_{1}$ の信頼度 $c s_{1}$ が閾値 $\theta$ 以下ならば最尤夕グ $t_{d}$ を解析誤りとしてリジェクトする

[3] それ以外であれば最尤夕グ $t_{d}$ を正解としてアクセプトする

閾値が高ければリジェクトされるタグ数が増え，人手のチェック・修正コストが増加する。実際の運用では, 開発データにてリジェクト・アクセプトの判定誤り率が最小となるような閾値を設定すればよい。このようにして，夕グ信頼度を利用することにより，夕グを単位として解析誤りを検出することが可能となる.

## 4 能動学習

タグ単位での誤り検出は能動学習のデータセレクションに有効である。もし, 文中にリジェクトタグが 1 つでも含まれれば，その文は, 現在のモデル（ベースモデル）が確信を持って解析できない，何か新しい事象が存在していることを意味する。すなわち，このような文を優先的にモデル学習の対象とすることで高い学習効果を期待できる。 そこでここでの能動学習では,文中にリジェクトタグを含むか否かに基づいたデータセレクションを採用する．また，選別された文について, 全ての夕グを人手でチェック・修正する必要は無く, リジェクトされたタグのみを対象としてチェック・修正すればよい，図 3 は本稿で提案する能動学習のスキームを示したものである. 固有表現抽出デコーダでは, 初期正解データから学習したベースモデルに基づいて最尤タグが出力される。続いて 3 章で示した手順で最尤タグの解析誤りを検出する. このステップでは，同じベースモデルを利用してタグ信頼度を計算し，その結果を参照してリジェ
$ は稀に信頼度 1 位タグ $t_{1}$ と一致しない. これは $\mathrm{CRF}$ の特徴に由来する.
}

クターで誤り検出を実行する。データセレクションにて少なくとも 1 つ以上のリジェクトタグを含む文のみを選別し，検出された誤りタグ（リジェクトタグ）のみを人手でチェック・修正する。最終的に，人手修正済みデータを初期正解データに追加し，モデルを再学習して更新する.

## 4.1 評価実験

今回，本稿で提案する能動学習の効果を学習コストの面から評価した，実験用にブログデー 夕（45,694 文）を Web から収集し, 表 2 に示すとおり 4 つのセグメントに分割した. 全データに対して予め人手で正解となる固有表現夕グを付与したが，追加平文データに関しては，これらの正解タグは隠しておき，プレーンテキストとして扱う。そして人手修正を模する際にこの正解タグの情報を利用する。開発データは 3.2 節で述べたリジェクター判定に利用する間値を最適化する際に利用した。

学習コストは人手でタグをチェック・修正した単語の割合 (WCR: Word Check Rate) とみなした．WCR は，追加平文データに含まれる総単語数に対するチェックされた単語数の割合で

図 3 提案する能動学習スキーム

表 2 能動学習でのデータ構成

あり, 次式で表される.

$
W C R=\text { チェックした単語数/総単語数 }
$

本方式は, リジェクターの閥值に依存して, 検出されるリジェクトタグ数が変化するため,間値を 0.1 から 1.0 の範囲で 0.1 ずつ段階的に変更し, リジェクトタグを含む文のみをデータセレクションで選別して，誤り検出済みデータとした。それぞれの閾値で得られた誤り検出済みデータのうち, リジェクトタグだけを予め付与していた正解タグと変換した。この手順は，人手修正を模したものである. 修正後のデータを初期正解データに追加し, ベースモデルを再学習する。

この能動学習と比較するため, タグ単位ではなく文単位の信頼度に基づくデータセレクションによる能動学習と比較した. 文全体の事後確率を信頼度とみなし, 低信頼度の文を優先的に選択する能動学習である。本稿で提案するタグ単位の信頼度に基づく能動学習と異なり, 文単位の信頼度の能動学習では, 選択された文は全ての単語について夕グのチェックが必要であるとみなされる。

以上, 2 つ能動学習について, 再学習したモデルの精度と学習コスト (WCR) の関係を評価した。モデルの精度は評価データにおける $\mathrm{F}$ 值を利用した。

$
F=\frac{2 \times \text { recall } \times \text { precision }}{\text { recall }+ \text { precision }}
$

## 4.2 結果と考察

## 4.2.1 学習曲線と精度 :

図 4 に提案手法でのタグ単位のデータセレクションによる能動学習と, 文単位のデータセレクションによる能動学習での学習曲線を示す. 再学習後のモデルの精度が $\mathrm{F}$ 値で 0.76 となるために, 文単位での能動学習では全データの $60 \%$ 手でチェックするコストが必要だが, タグ単位での能動学習では，わずか $20 \%$ で済む。言い換えると，夕グ単位の能動学習は従来の文単位の能動学習と比較して学習コストを $1 / 3$ に低減したことを意味する.

また, 図 4 に, 追加平文データのタグをまったく修正しないで, モデルを再学習して測定した精度も併せて示す. ベースモデルでは $\mathrm{F}$ 值 0.612 であったものが，夕グ修正なしの追加平文データをすべて加えた場合は $\mathrm{F}$ 値 0.602 に若干低下した. タグ修正なしデータには誤りタグが多く残存しており，そのため $\mathrm{F}$ 值が低下したと考えられる。このように，ベースモデルによるデコード結果を単純に加えただけでは，学習デー夕量が増えても精度向上には寄与せず，悪化する場合もある。

## 4.2.2 タグ修正内容の分析 :

更に夕グ単位の能動学習の効果を調べるために，リジェクトタグに対して実施されたタグ修正の内容を以下の 4 タイプに分類して内訳を分析した.
- No Change: リジェクトタグが修正不要

・ OtoBI: リジェクトタグが O タグであり, B-又は I-夕グに置換
- BItoO: リジェクトタグがB-又は I-夕グであり，O夕グに置換
- BItoBI: リジェクトタグが B-又は I-夕グであり, 別の B-又は I-夕グに置換

表 3 はリジェクター閥値が 0.5 の時のリジェクトタグについて, 上記 4 タイプの分類の分布を示している.この閾値は開発データで, リジェクターの判定誤り率が最低となる值である.

表からわかるとおり，No Change タイプの割合が最も多い.これはリジェクターが本来修正の必要の無い夕グまで過剰にリジェクトしていることを意味する。この結果は, 更新するモデルの精度そのものには悪影響を及ぼさないが，学習コストの面では無駄が含まれていることを示している.

追加平文データのWord Check Rate

図 4 能動学習の学習曲線

表 3 リジェクトタグの置換タイプ分布

続いて OtoBI タイプが 2 番目に割合が多く, 全体の $1 / 3$ を占める. 実質的な変化のなかった No Change タイプを除き，何かしらの修正が加わった 3 つのタイプ (OtoBI, BItoO, BItoBI) だけを考慮すると，OtoBI タイプは全修正の約 $60 \%$ 占める。つまり, ベースモデルでは固有表現として認識できなかったものが, 固有表現に修正されたケースが最も多い。このことは,誤り検出済みデータ中には，初期正解デー夕にはない，新しい固有表現が多く含まれていることを示唆している。

## 5 ブートストラップ型固有表現抽出

4 章で述べた通り, 実際の修正では約 $60 \%$ が O タグを B-または I-夕グに変更する必要がある. この事実は固有表現抽出タスクの特徴に由来するものと推察される。つまり, 固有表現抽出夕スクでは，全コーパスの殆どは $\mathrm{O}$ タグで占められている．実際，4章で我々が整備した追加平文データにおいても， $91 \%$ が O夕グであった。そのため固有表現の新語が文中に出現すると， ベースモデルでは O タグが付与されてしまうことが多い.

このように O夕グが支配的であるという傾向があるならば，O夕グではない B- または I-夕グの候補の可能性を考慮することが必要である，即ち，O夕グがリジェクトされたときに，次に信頼度の高いタグは何かを調べることは意味があると考えられる。

そこで, 閾値 0.5 の時の夕グ信頼度が上位 2 位までの夕グについて, その精度を分析したものを表 4 に示す。信頼度 1 位のタグ（1 位タグ）がアクセプトとされた時, その精度は $94 \%$ と高い。一方， 1 位タグがリジェクトされた時， 1 位夕グの精度はわずか $43 \%$ であった. しかし，信頼度 2 位の夕グ（2 位タグ）の精度は $29 \%$ であり， 1 位夕グと 2 位夕グをどちらも考慮すると, いずれかに正解夕グが存在する可能性が $72 \%$ まで高まる。このことから，上位 2 位の夕グまでを考慮することにより, システム出力のリジェクト箇所を自動的に修正できる可能性があることがわかる.

図 5 に, 閥值 0.5 で 1 位夕グがリジェクトされる場合は 2 位夕グまで考慮するときの夕グの状況を示す. 以後, 本稿ではこのラティス構造をタググラフと呼ぶ. “3丁目の夕日”という映画タイトル（固有物名 ART）を 1 位タグだけでは正しく固有表現として認識できていない. し

表 4 上位 2 位の夕グ精度

図 5 タググラフ

かし，2 位タグまで考慮すると，正しい夕グ列が存在していることがわかる．もしこの正解のタグ列を自動的にシステムが発見できれば，この正しいタグ列情報を人手修正した正解データと同等のものとして利用できる.

## 5.1 半自動自己更新型固有表現抽出

以上の考察をふまえ, 新しい学習スキームである半自動自己更新型固有表現抽出 (UpdateNER) を提案する。これは, 予め用意する固有表現リストをシードとし, そのシードを利用してタググラフから正解のタグ列を発見する方式であり， シードを利用して新しいインスタンスを取得するブートストラップ型の学習に類似している。図 6 に UpdateNER の概要を示す. リジェクターでは, タグ信頼度に基づいてリジェクト／アクセプト判定をした後, 適宜 2 位までのタグを考慮したタググラフを出力する。ここでリジェクターは 4 章で述べた処理手続きを以下のように変更して動作する。

[1] 1 位夕グの信頼度スコア $c s_{1}$ が閾値以上であれば， 1 位タグ $t_{1}$ のみをアクセプトする．それ以外は $[2]$ の処理へ進む

[2] $\quad c s_{1}$ が閾値より小さければ， 1 位タグ $t_{1}$ と更に 2 位タグ $t_{2}$ をアクセプトする

後続のデータセレクションでは，2 位までのタグ候補を有するタググラフ構造を持つ文を抽出する。そして，コンテキスト抽出にて以下の手順で正解タグ列が存在するかを調べ，該当するタグ列が存在すればそのタグ列を抽出する。

[1] タググラフ内で最長となる固有表現が成立する夕グ列を選択する

[2] 該固有表現が別途準備するシードリストである固有表現リストに存在していれば文全体のタグ列を正解タグ列として抽出する

図 6 UpdateNER の概要

ステップ [1] では，夕ググラフの中から最も有望と思われるタグ列を選ぶことを意図して, 最長となる固有表現が成立するルートを選択する。例えば, 図 5 で示すタググラフの場合, “ 3 ”, “丁目”, “の”, “夕日”の 4 単語が 2 位夕グまでの候補を有しているため, 16 通りの夕グ列が存在する。例えば, “B I I I", “B I I O”, “B I O O", “O O O I", “O O O O”などである。しかし, ここでは “B I I I”の夕グ列で最長の固有表現（“3丁目の夕日”で固有物名 ART）が構成できるため, このタグ列を選択する。他の部分文字列からなる固有表現, 例えば, “ 3 ”, “ 3 丁目”,“3丁目の”でいずれも固有物名 ART となるような夕グ列は全て無視される.

ステップ [2]では, ステップ [1] で選択した有望なタグ列が本当に正解であるとみなしてよいかを判定する。夕グ列の確からしさを判定するための手がかりが必要となるので，ここではシー ドとなる固有表現リストを準備し, 表記と対応する固有表現タイプを記載しておく。このリストは，人手で必要な固有表現を登録しても良いし，辞書のような外部 DBを利用して自動的に構築しても良い.もし同じ固有表現がステップ [1] で選択されたタグ列および固有表現リストに存在していれば，このタグ列は正解であると判断されて正解データとして抽出される。そして，このようにして抽出されたデータを初期正解データに追加し，モデルを再学習する。

以上のように UpdateNER では, シードを与えるだけで学習データの収集・構築を実行できるため, 日々増大する固有表現にモデルを追随させることが可能となる枠組みを備えている.

## 5.2 評価実験

UpdateNER で 1 週間分のブログテキストからどの程度効果的にモデル更新ができるか評価した. 表 5 に実験でのデータ内訳を示す。モデルの性能評価を行う評価データは 2006 年 12 月のブログを利用する。また，べースモデルの学習に利用する初期正解データは評価デー夕より半年以上古いものである。そのため, 評価データにはベースモデルでは未知の固有表現が存在することが予想される。評価データと同時期の 2006 年 12 月から 1 週間分のブログを収集して追加平文データとし，ここからシードを使ってブートストラップ的に正解データを収集する。なお，評価データのうち，追加平文データと重複するものは予め削除してある.

リジェクターの閥値を 0.5 に設定し，追加平文データから 2 位までのタググラフを含む文を選別した. シードとなる固有表現リストは日本語 Wikipediaのエントリから自動的に収集した. Wikipediaには, 世間で注目される人や固有物が次々とエントリに登場するため, 話題語や新語を獲得する上では貴重な言語資源であると言える。本実験では, Wikipediaの記事タイトルを表記とし, 固有表現タイプは各記事のカテゴリー情報から予め設定したルールにより自動的に推定した. 最終的に 104,296 エントリの固有表現リストを得た.

UpdateNER ではこのシードを利用して, ブログ記事からシードの固有表現を含む夕グ列を自動的に探索する。もし同じ固有表現を発見したら，そのタグ列を正解データとして抽出する. このようにして自動修正したデータを初期正解データに追加し, モデルの再学習を行う。なお, タググラフ探索時には，5.1節で述べた最長固有表現列を採用したが，異なるタイプの固有表現列に展開可能な場合は，複数の候補を別の文として扱い，追加データとした.

今回, 比較のために, シードそのものの効果を調査した。ここでは, シードと同じ単語列を文中に発見したら必ず固有表現と認識するような固有表現抽出システムを想定する。なお他の単語列の部分はベースモデルに基づいて確率的に固有表現を抽出する。このシステムは, ベー スモデルの他に，ユーザが固有表現として認識したいリストをユーザ辞書（シード）として装備したシステムと捉えることができるため, 以後, ユーザ辞書システム (user dic.) と呼ぶ.

更新後のモデルの精度を再現率 (rec.) と適合率 (prec.) で評価した.

表 5 UpdateNER 評価実験でのデータ内訳

## 5.3 結果

実験の結果，のべ 2,100 文が追加データとして抽出された。このデータのうち，6,125夕グが誤りと推定されたリジェクトタグで，その中で 2,038 個は信頼度 2 位の夕グが採用された. 夕ググラフ付きデータが 73,563 文あったことを考えると, 得られた文数は少ない.

表 6 に, 人名 $(\mathrm{PSN})$, 地名 (LOC), 組織名 (ORG), 固有物名 (ART) での解析精度について, ベースモデル，ユーザ辞書システム (user dic.), UpdateNER の結果をそれぞれ示す.

シードをユーザ辞書として扱う場合, 再現率は向上するが, 適合率は殆ど変化しないか, むしろ ART では 0.667 から 0.620 と低下している。これはユーザ辞書を単に追加するだけでは固有表現抽出システムの性能を向上するには十分ではないことを示唆している．ユーザ辞書の枠組みでは, 周囲のコンテキストを利用せず単に同一の単語列（表記）を発見すれば一意に固有表現と認定してしまうため，過剰に固有表現を抽出する危険があるからである.

一方, UpdateNER では再現率と適合率ともに向上している. 例えば, ART では再現率が 0.321 から 0.370 , 適合率が 0.667 から 0.698 へと向上している.この結果から, シードに存在する固有表現だけでなく, その固有表現の周囲の文全体の夕グ列の情報がモデルの再学習には必須であると解釈できる. UpdateNER では, シードの固有表現が出現する文全体での夕グ列, 即ち,固有表現とそのコンテキストのうち, 有望で確からしいものを自動的に発見して抽出すると言う点で優れている。シードを準備するには多少の人手コストが必要ではあるが，そのコストは正解データそのものを作成するコストと比較すれば極めて小さい。そのため, この UpdateNER の学習スキームは, 実際に固有表現抽出システムを運用する場面においては学習コストを抑える 1 つの有望な手法であると考える.

表 6 で示す通り，ユーザ辞書システムも UpdateNER も ORGに対しては効果が見られなかった.これはシードに含まれる固有表現の分布によるものと考えられる. Wikipedia から自動作成したシードでは, PSNの固有表現が $74 \%$ と最も多かった。一方 ORG はわずか $11 \%$ しか存在せず，UpdateNER では ORG についての正解データを抽出する機会が十分になかったものと考えられる。また, 同じ表記でも ORG と PSN の曖昧性が生じるケースはもともと多いため,

表 6 解析精度

PSN が支配的なシードを利用した UpdateNER では ORG をPSN に過剰に学習してしまっている可能性もある。今後, シードの分布とその学習効果への影響は検討を進めたい.

なお, UpdateNER では, 初期正解データへの追加データには誤りが含まれる可能性があることを指摘しておく，実験では，追加したデータにどの程度の誤りが含まれていたかは調査できていない，ただし，第 4 章の実験では誤りタグを含むデータを追加して再学習することは精度を若干低下させることが示されていることと，本実験において精度の低下があまり見られないことを考え合わせると，本手法で追加するデータには， モデルの性能に悪影響を与えるような誤りはほとんど含まれないと推察される.

## 5.4 考察

従来の機械学習の手法と比較して, UpdateNER の一番の特徵は 1 位タグが信頼できない時に 2 位夕グまで考慮する点にある。これにより特に固有表現抽出タスクのようにベースモデルでは O夕グであると認識されたとき，次点の候補が何であるかを考慮することが可能となった。

しかし UpdateNER には，2つの大きな制約がある。1つは 2 位夕グまでに正解が存在しなければ自動的に正解データとして抽出することができない，という点である。もう1つはその固有表現がシードにも存在していなければならない，という点である。これらの 2 つ制約があるため, UpdateNER が自動的に収集・修正できる正解データの範囲は狭いと考えられる。

この弱点を克服するには，実運用にて UpdateNER とタグ単位でのデータセレクションによる能動学習を組み合わせる手法が有望であると考えている。能動学習の場合, 2 位までに正解が存在しなければならないという制約はないため, 単純に解析誤りを人手で優先的に修正して学習対象とすることが可能である．即ち，能動学習ではべースモデルが解析誤りをするデー夕全般を学習対象とすることとなり, その学習範囲は UpdateNER よりも広い. そのため, 能動学習ではベースモデルの精度を底上げするような学習に向いていると考えられる。一方, UpdateNER は日々増大する膨大なテキストから半自動で正解デー夕を収集できるという利点があり，新語への追随学習には向いていると言える。そこで, 例えば, 短期的には UpdateNER で毎週モデルの新語追随学習を実行し, 中期的には 1 カ月或いは半年といった間隔で能動学習を行ってべー スモデルの底上げをする, というような運用形態が考えられる，今後，実際のシステム運用上での本手法の効果について，評価を実施したい.

## 6 関連研究

能動学習は固有表現抽出タスクへの適応 (Shen et al. 2004; Laws and Schütze 2008)に限らず,様々な自然言語処理夕スクへの適応が研究されており, 品詞夕グ付け (Argamon-Engelson and Dagan 1999), テキスト分類 (Lewis and Catlett 1994), 構文解析 (Hwa 2000), 単語選択での曖
昧性解消 (Banko and Brill 2001) など数多くの関連研究がある.いずれの場合も信頼度や情報量といった何かしらの指標に基づいて学習効果の高いデー夕を選択することが重要であり, その指標の算出やデータセレクションの単位は基本的に文, もしくは一定の語数以上の単語列であった，今回我々が提案する能動学習では，モデル出力の信頼度を指標とするが，その算出単位は文単位ではなく，夕グ単位である点が従来研究とは異なる。更にデータセレクションも文単位ではなく，夕グ単位でリジェクト／アクセプトを決定し，リジェクトタグのみを修正箇所対象として絞っているため, 更なる学習コストの削減に繋がった. なお, (Tomanek and Hahn 2009) では, 本稿と同様にタグ単位の信頼度に基づいた能動学習を英語の固有表現抽出タスクで評価しており，本稿と同程度のコスト削減効果を報告している，今回，我々は更に夕グ単位の信頼度を利用して半自動で誤り修正を行う UpdateNER の提案および評価を実施した点が新しい.

一方，特に機械学習の分野において，正解データだけでなく膨大な量のプレーンテキストを利用する半教師あり学習の研究も進められている。自然言語処理タスクでは, 語義曖昧性解消 (Yarowsky 1995)，テキスト分類 (Fujino, Ueda, and Saito 2008), チャンキング・固有表現抽出 (Suzuki and Isozaki 2008) などへも適応されている. 特に近年は, Giga Word 単位のプレーンテキストも入手可能になってきたため, このデータを正解データと組み合わせてモデル学習することにより従来技術の性能限界を超える可能性が示唆されている。ただし，今回我々がター ゲットとしているのは, 日々語彙や話題の変化が激しいブログなどの CGM ドメインにおいて, モデルを低コストで再学習するタスクであり，このような状況を反映するような Giga Word 単位のプレーンテキストを入手するのは困難であると考えられる。そのため，膨大な量のプレー ンテキストを利用する半教師あり学習をそのまま適応することは現実的ではない.

プレーンテキストを利用するという点で半教師あり学習と類似する手法にブートストラップ学習の研究がある (Etzioni et al. 2005; Pantel and Pennacchiotti 2006). これは, 少量のシードを準備して，シードと同じカテゴリに属する新しいインスタンスをプレーンテキストから自動獲得する学習法である。本稿の UpdateNER はシードを準備するだけで，データセレクションとその修正・抽出までを自動的に実行するブートストラップ学習とみなすことができる。しかし，従来のブートストラップは新しいインスタンスを獲得して辞書（シソーラス）を構築することを目的としているのに対し, 本手法では, 固有表現単体ではなく, 固有表現を含む夕グ列,即ちコンテキスト全体を獲得している点が異なる。モデルの再学習のためには固有表現辞書たけではなく, 固有表現を含むコンテキストそのものが必要である. UpdateNER ではブートストラップ学習を適用して最終的には教師あり学習の枠組みでモデル更新を実現するという点が新しい.この学習コストはシードを準備する部分のみのため, 能動学習と比較しても極めて低く抑えられるという利点もあり，本手法は有効である.

## 7 おわりに

本稿では，夕グ単位の事後確率から算出したタグ信頼度を利用してモデルの学習コストを削減する 2 つの手法を提案した. 本手法では夕グ信頼度から解析誤りタグを自動的に判定することが可能である。そしてタグ単位でデータセレクションを行うことでベースモデルが学習対象とすべき箇所を効果的に発見でき，かつ，人手のコストを解析誤り箇所のみに集中させることが可能となった.

まず始めに, 本手法を能動学習に適応して評価した結果, 従来の文単位でデータセレクション・修正する能動学習と比較して，学習コストを $1 / 3$ まで低減できた，能動学習はべースモデルが解析誤りするデー夕全般を学習対象とできるため, モデル全体の精度向上を狙った学習に効果があると考えられる。

次に，本手法を利用して半自動自己更新型固有表現抽出 (UpdateNER)を提案した。この手法はシードと 2 位までの夕グ候補を利用してブートストラップ的に正解データを自動生成するものである。この手法では，予めシードを準備するだけで膨大なテキストから正解デー夕を自動的に収集・構築することが可能となった。この学習では，日々増大する膨大なテキストを利用してモデルを新語追随させることを狙った学習に効果がある．能動学習と UpdateNER を組み合わせることでモデル更新の学習コストを抑えた固有表現抽出システムの運用が可能となる.

## 参考文献

Argamon-Engelson, S. and Dagan, I. (1999). "Committee-based sample selection for probabilistic classifiers." Journal of Artificial Intelligence Research, 11, pp. 335-360.

Banko, M. and Brill, E. (2001). "Scaling to Very Very Large Corpora for Natural Language Disambiguation." In Proceedings of 39th Annual Meeting of the Association for Computational Linguistics, pp. 26-33.

Etzioni, O., Cafarella, M., Downey, D., Popescu, A.-M., Shaked, T., Soderland, S., Weld, D. S., and Yates, A. (2005). "Unsupervised named-entity extraction from the web: an experimental study." Artificial Intelligence, 165 (1), pp. 91-134.

Fujino, A., Ueda, N., and Saito, K. (2008). "Semisupervised learning for a hybrid generative/discriminative classifier based on the maximum entropy principle." IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 30 (3), pp. 424-437.

Hwa, R. (2000). "Sample Selection for Statistical Grammar Induction." In Proceedings $5^{\text {th }}$ EMNLP/VLC, pp. 45-52.

IREX Committee (1999). "The IREX workshop." http://nlp.cs.nyu.edu/irex/.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning (ICML-2001), pp. 282-289.

Laws, F. and Schütze, H. (2008). "Stopping Criteria for Active Learning of Named Entity Recognition." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 465-472, Manchester, UK. Coling 2008 Organizing Committee.

Lewis, D. D. and Catlett, J. (1994). "Heterogeneous Uncertainty Sampling for Supervised Learning." In In Proceedings of the Eleventh International Conference on Machine Learning, pp. 148-156. Morgan Kaufmann.

Manning, C. D. and Schütze, H. (1999). Foundations of Statistical Natural Language Processing. The MIT Press, Cambridge, Massachusetts.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 113-120, Sydney, Australia. Association for Computational Linguistics.

Sang, E. F. T. K. and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the Ninth Conference of the European Chapter of the Association for Computational Linguistics (EACL'99), pp. 173-179, Bergen, Norway.

Shen, D., Zhang, J., Su, J., Zhou, G., and Tan, C.-L. (2004). "Multi-Criteria-based Active Learning for Named Entity Recognition." In Proceedings of the 42nd Meeting of the Association for Computational Linguistics (ACL'04), Main Volume, pp. 589-596, Barcelona, Spain.

Suzuki, J. and Isozaki, H. (2008). "Semi-Supervised Sequential Labeling and Segmentation Using Giga-Word Scale Unlabeled Data." In Proceedings of ACL-08: HLT, pp. 665-673, Columbus, Ohio. Association for Computational Linguistics.

Suzuki, J., McDermott, E., and Isozaki, H. (2006). "Training Conditional Random Fields with Multivariate Evaluation Measures." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 217-224, Sydney, Australia. Association for Computational Linguistics.

Tomanek, K. and Hahn, U. (2009). "Semi-Supervised Active Learning for Sequence Labeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1039-1047, Suntec, Singapore. Association for Computational Linguistics.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics

(ACL 1995), pp. 189-196.

## 略歴

齋藤邦子：1996 年東京大学理学部化学科卒業. 1998 年同大学院修士課程修了.同年日本電信電話株式会社入社. 現在, NTT サイバースペース研究所研究主任. 自然言語処理の研究 ・開発に従事. 言語処理学会, 情報処理学会, ACL 各会員.

今村賢治：1985 年千葉大学工学部電気工学科卒業. 博士 (工学). 同年日本電信電話株式会社入社. 2000 年 2006 年 ATR 音声言語コミュニケーション研究所. 2006 年より NTT サイバースペース研究所主任研究員. 現在に至る.主として自然言語処理の研究 - 開発に従事. 電子情報通信学会, 情報処理学会, ACL 各会員.

$(2009$ 年 9 月 24 日 $\quad$ 受付 $)$
$(2009$ 年 11 月 27 日 $\quad$ 再受付 $)$
$(2010$ 年 2 月 2 日 $\quad$ 再々受付 $)$
$(2010$ 年 2 月 6 日 $\quad$ 採録 $)$