# モーラ系列と音象徴ベクトルによるオノマトペの印象推定法

オノマトペとは，擬音語や擬態語の総称である。文章で物事を表現する際に，より印象深く，豊かで臨場感のあるものにするために利用される。このようなオノマトぺ による表現は，その言語を母語としている人であれば非常に容易に理解することが できるため，国語辞書などにあえて記載されることは稀なケースである。また，記載があったとしても，使用されているオノマトぺをすべて網羅して記載しているこ とはない。そのため, その言語を母語としない人にとっては学習し難い言語表現で ある。そこで本稿では，オノマトぺが表現する印象を推定する手法を提案する．日本語を対象に，オノマトぺを構成する文字の種類やパターン，音的な特徴などを手 がかりに，そのオノマトペが表現している印象を自動推定する。これにより，日本語を母語としない人に対して, 日本語で表現されたオノマトぺの理解の支援に繋が ると考えられる。結果として, オノマトぺの表記内のモーラ系列間の類似度とオノ マトペの表記全体の音象徴べクトルによる類似度を用いた手法が最も良い推定結果 となり，参考値である人間同士の一致率の 8 割程度にまで近づくことができた.

キーワード：オノマトペ，印象推定, モーラ系列, 音象徴ベクトル
## A Novel Estimation Method of Onomatopoeic Word's Feeling based on Mora Sequence Patterns and Feeling Vectors

\author{
Seidi Tsuchiya ${ }^{\dagger}$, Motoyuki Suzuki ${ }^{\dagger \dagger}$, Fuji Ren $^{\dagger \dagger}$ and Hirokazu Watabe ${ }^{\dagger}$
}

Onomatopoeic words are frequently used for expression of rich presence. These words can be understood easily for native speakers. Therefore most of onomatopoetic words are not written in a national language dictionary, or only a part of meaning is described. On the other hand, it is hard to understand a meaning of onomatopoetic words for non-native speakers. They can neither feel a meaning of an onomatopoetic word nor look it up in a dictionary. In this paper, an estimation method of feeling of an onomatopoeic word has been proposed. The feeling of the onomatopoeic word is inferred by using several features, such as morae sequence pattern of a onomatopoeic word, feeling of each mora, and so on. From the experimental results, the estimation performance of the proposed method was 0.345 (F-value). It was approximately $80 \%$ of the estimation performance given by human (F-value was 0.427 ). It can be said that the proposed method is useful for supporting learners of onomatopoeic words.

Key Words: Onomatopoeic word, Estimation of feeling, Mora Sequence Patterns, Feeling Vectors

## 1 はじめに

オノマトペとは,「ハラハラ」,「ハキハキ」のような擬音語や擬態語の総称である．文章で物事を表現する際に，より印象染く，豊かで臨場感のあるものにするために利用される。日本語特有の表現方法ではなく, 様々な言語で同じような表現方法が存在している (得猪 2007).

このようなオノマトぺによる表現は，その言語を母語としている人であれば非常に容易に理解することができる。また，オノマトぺは音的な情報から印象を伝えるため，ある程度固定し た表現もあるが，音の組み合わせにより様々なオノマトぺを作ることも可能であり，実際様々 なオノマトペが日々創出されている (湯澤, 松崎 2004; 芋阪 1999). そのため, 国語辞書などに あえて記載されることは稀なケースであり，また，記載があったとしても，使用されているオ ノマトぺをすべて網羅して記載していることはない (山口 2003)，そのため，その言語を母語と しない人にとっては学習し難い言語表現である.

特に，オノマトぺを構成する文字が少し異なるだけでまったく異なる印象を与えることも学習・理解の難しさを助長していると考えられる．例えば先の例の「ハラハラ」という危惧を感 じる様子を表現するオノマトぺの場合，「ハ」を濁音にすると「バラバラ」となり，統一体が部分に分解される様子を表現し，また，半濁音の「パ」にすると「パラパラ」となり，少量しか 存在しない様子を表現する。さらに，「ハラハラ」の「ラ」を「キ」にした「ハキハキ」では，物の言い方が明快である様子を表現するオノマトぺになる。これらのオノマトぺの特徴は，人 が学習するときだけでなく，コンピュータで扱う際にも困難を生じさせる.

そこで本稿では，オノマトペが表現する印象を推定する手法を提案する。日本語を対象に，才 ノマトぺを構成する文字の種類やパターン，音的な特徴などを手がかりに，そのオノマトぺが 表現している印象を自動推定する。例えば，「チラチラ」というオノマトぺの印象を知りたい場合, 本手法を用いたシステムに入力すると「少ない」や「軽い」などという形容詞でその印象 を表現し出力することができる。これにより，日本語を母語としない人に対して，日本語で表現されたオノマトぺの理解の支援に繋がると考えられる。また, 機械翻訳や情報検索・推薦の 分野でも活用することができると考えられる.

## 2 関連研究と本研究の位置づけ

オノマトぺは, 感覚と強く関連する言葉であることから, 心理学や認知科学など幅広い分野 で研究対象とされている. 例えば, 映像などの視覚や音などの聴覚から感じる印象をオノマト ぺを用いて調査し, 人が感じる印象とオノマトぺとの関係性を抽出したり (土田 2005; 吉村, 関口 2006; 村上 1980; 山内, 岩宮 2005), 味覚の官能評価においてその評価項目としてオノマトペ が利用され，オノマトぺと食品の硬さを示す応力との関連性を評価したりしている (早川 2000;
池田, 早川, 神山 2006).

本稿で対象とする言語処理の分野におけるオノマトぺに関する関連研究として，オノマトぺ 辞書の構築 (奥村, 齋藤, 奥村 2003; 浅賀, 渡辺 2007) やオノマトぺの自動分類手法 (市岡, 福本 2009) などが提案されている.

前者では，大規模な Webの情報を利用し，主に用例や動詞による同義表現などが調べられる オノマトペ辞書を自動で構築している。高い精度で用例を抽出できているが，新たなオノマト ぺが日々創出され続け, 用法も変化していくため, 辞書も構築し続けなければならないという 問題はある。また，本稿で対象にしているオノマトぺが表現する印象を扱うことはできない.

後者では， 10 種類の意味を動詞で表現し，292 語のオノマトペがどの意味であるかを自動分類している．Webの情報から算出した共起頻度と子音と母音の出現頻度を用い, クラスタリン グすることで自動分類を実現している。しかし，オノマトぺ中のモーラの並びなどオノマトペ の構造に深く着目した処理とはなっていない。また，定義している意味や分類するオノマトペ の数が少ないという問題がある.

本稿では，未知のオノマトペが表現する印象は，類似したオノマトペが表現する印象と似て いるという考えに基づき，類似度計算により類似したオノマトぺを特定し，そのオノマトペが 表現する印象を推定する。しかし，前述したように，オノマトぺを構成する文字が少し異なる だけでまったく異なる印象を与えることもオノマトぺの特徴である。 そこで，既に出版されて いるオノマトペ辞書 (飛田, 浅田 2002) に掲載されているオノマトペ 1,058 語を基に, オノマト ぺを構成する文字列とその構造を解析し，オノマトぺが表現している印象を自動推定できる手法を提案する，具体的には，オノマトペ中のモーラの並びとモーラを構成する各音素が表現す る印象をべクトル化した音象徴という 2 種類の特徴を利用することにより，先の問題を解決で きる類似度計算を提案する。これにより，大規模な辞書を作成・利用することなく，新たに創出される未知のオノマトぺの印象も推定することができる。また, 推定する印象は 48 種類の形容詞で定義し，より詳細にオノマトペを理解できるようにしている.

## 3 オノマトペの印象の推定方法

本論文では，既に出版されているオノマトペ辞書に揭載されているオノマトぺにそれらが表現している印象を事前に人手で付与したデータを用い，類似したオノマトぺに付与されている 印象を推定結果として出力する。ここで重要になるのが, 「類似度の計算方法」と「印象語の出力方法」である，以下，順に説明する。

## 3.1 類似度の計算方法

オノマトペから抱く印象は, 主にオノマトペの表記に使用されているモーラ自体やモーラの 並び方に影響すると考えられる (小松，秋山 2008; 丹野 2004). そこで以下に， 4 種類の類似度算出手法を提案する.

## 3.1.1 オノマトペ中のモーラの並びに基づく類似度

オノマトペには,「フワフワ」，「チラチラ」のようにモーラの並び方にいくつかのパターンが あり，そのパターンによって表現する印象が変化する (丹野 2004). そこで，モーラの並びのパ ターンに着目した類似度を以下に 2 種類定義する。

(1) 抽象化した型表現間の類似度

オノマトペの表記をモーラの並びを表す型表現 (丹野 2004)に変換し, その型表現同士 のレーベンシュタイン距離を元に類似度を計算する．型表現への変換は，オノマトペ内 の 1 モーラを 1 つの記号へと変換する。特定のモーラに “X”，“Y”等の記号を割り振る が，一部の特徴的なモーラには特別な記号を付与する。オノマトぺの型表現に用いられ る記号のリストを表 1 に，オノマトぺの型表現への変換例を表 2 に示す.

ここで, "t", "r", “n"については, オノマトぺの表記中で基本とみられる表現（例え ば「パチ」) に対して付与されるモーラ（「パチッ」，「パチリ」,「パチン」）に対してのみ 用いられ，基本とみられる表現内のモーラ（「キリキリ」内の「リ」等）には用いられな い (この場合, 通常のモーラと同様, “X”等が用いられる)。例えば「フワフワ」「チラ チラ」はいずれも“XYXY”と変換される.

このように変換された型表現同士のレーベンシュタイン距離を算出し, 更に類似度に 変換する。本論文では，記号の置換・插入・脱落をそれぞれ距離 1 としてレーベンシュ タイン距離の計算を行うため, 系列長がそれぞれ $l_{x}, l_{y}$ である 2 つ系列 $x, y$ のレーべ ンシュタイン距離の最大値 $\hat{d}(x, y)$ は,

$
\hat{d}(x, y)=\max \left(l_{x}, l_{y}\right)
$

表 1 オノマトペの型表現に用いられる記号

表 2 オノマトペの型表現への変換例

となる。そこで, 2 のの系列 $x, y$ のレーベンシュタイン距離を $d(x, y)$ として, 2 つオ ノマトぺ間の型表現による類似度 $T(x, y)$ を

$
T(x, y)=\frac{\hat{d}(x, y)-d(x, y)}{\hat{d}(x, y)}
$

と定義する。この類似度は, 全く同じ系列同士の時に最大値 1 を, 全く異なる系列同士 の時に最小値 0 をとる。

(2) モーラ系列間の類似度

前項ではオノマトぺの表記を型表現に変換し, その系列間の類似度を計算していたが, ここでは，より直接的にオノマトぺ内のモーラ系列間の類似度を計算する。

オノマトペをモーラに分解し，モーラ系列間のレーベンシュタイン距離を算出する. その後, 式 (2) を用いて類似度を計算する。なお, この計算方法は, 前項の型表現に使用した記号の代わりにモーラを直接用いる点を除き，その他はまったく同じ計算である.

ここで得られる類似度を以降, $H(x, y)$ と表記する。

前項の型表現間の類似度では「フワフワ」と「チラチラ」はどちらも“XYXY”に変換 されるため，類似度は 1 となるが，本項のモーラ系列間の類似度では 0 となる，そのた め, モーラの並びが持つ印象の違いに加えて，モーラ自体が持つ印象の違いも考慮した 類似度であると言える。

## 3.1 .2 音象徵に基づく類似度

オノマトぺに使用されている様々なモーラを構成する各音素には，その音自体が印象を持っ ていることが知られている。この各音素が表現する印象をべクトルとして表現したものに音象徵 (小松, 秋山 2008)がある。そこで, 音象徴を基に類似度を計算する。なお, 音象徴べクトル は, 「強さ」,「硬さ」,「湿度」,「滑らかさ」,「丸さ」,「弾性」,「速さ」,「温かさ」の 8 次元の属性を有し，各属性に -2 から 2 までの 5 段階の数値を与えることで音素が表現する印象を定義 している.

まず，音素ごとに定義された音象徵べクトルを用い，あるモーラの音象徵べクトルをそのモー ラを構成するすべての音素に対応する音象徴べクトルの総和として定義する。この時, モーラ が表現する印象として，母音と比較して子音の方がより強く影響することが知られている (小松，秋山 2008)ことから，子音の音象徵ベクトルを $w_{c}$ 倍してから和をとる.

このようにして得られたモーラの音象徴ベクトル $\vec{a}, \vec{b}$ 間の類似度は, 以下の式で計算される 正規化されたコサイン類似度 $c(\vec{a}, \vec{b})$ により計算する。

$
c(\vec{a}, \vec{b})=\frac{1}{2} \frac{\vec{a} \cdot \vec{b}}{|\vec{a}||\vec{b}|}+\frac{1}{2}
$

この式では，值域が $0 \sim 1$ になるように通常のコサイン類似度に対して正規化を行っている。

本論文では，音象徴ベクトルに基づく類似度として，以下の 2 種類の類似度算出手法を提案 する.

(1) モーラの並び順と長さを考慮した類似度

オノマトペの表記中のモーラの並び順と長さを考慮するため, 2 つのオノマトぺのモーラ 系列間の類似度を動的計画法 (DP) を用いたDTW (Dynamic Time Warping) で計算する. DTW は 2 つのシンボル系列において，各シンボル間に定義された類似度をもとに，系列同士の類似度を求める方法である。 2 つのシンボル系列 $A=a_{1} a_{2} \cdots a_{I}$ と $B=b_{1} b_{2} \cdots b_{J}$ （ $I, J$ は各系列の長さ）があった時, あらかじめ各シンボル間の類似度 $d\left(a_{i}, b_{j}\right)$ を定義し ておき, シンボルの順序を保存する (シンボル $a_{i}$ が $b_{j}$ と対応したとすると, $a_{i+k}(k>0)$ は必ず $b_{j+m}(m \geq 0)$ と対応づけがなされる）という制約のもとで，対応するシンボル間 の類似度の総和が最大になるような対応づけを求める。この時, $a_{1}$ は $b_{1}$ と, $a_{I}$ は $b_{J}$ と 対応づけを行うこととする. 最適な対応づけの探索は動的計画法を用いて効率よく計算 され，結果として非線形に伸縮する系列間の類似度を計算することが可能となる。

ここでは，各オノマトぺをモーラの系列と捉え，2つのモーラ系列間の類似度を DTW で計算する。この時, 各モーラ間の類似度は式 (3) で計算される正規化されたコサイン 類似度を用いる。こうして得られた類似度の最大値を， $D(x, y)$ と表記する。

## (2) 全体の音象徵ベクトルによる類似度

オノマトぺの表記中のモーラの並びを考慮せず，各モーラの音象徴ベクトルをすべて 加算することでオノマトぺの音象徴ベクトルを計算し，その正規化コサイン類似度を式 (3)を用いて計算する.ここで得られた類似度を， $M(x, y)$ と表記する.

## 3.1.3 オノマトペ同士の類似度

前節までに定義した 4 種類の類似度を用い，オノマトぺ同士の類似度を計算する。ここでは， 4 種類の類似度の重み付き和を計算することで， 2 つのオノマトぺ $x, y$ 間の類似度 $S(x, y)$ を算出する.

$
S(x, y)=w_{T} T(x, y)+w_{H} H(x, y)+w_{D} D(x, y)+w_{M} M(x, y)
$

ここで， $w_{T}, w_{H}, w_{D}, w_{M}$ はそれぞれの類似度に対する重みであり, モーラの音象徵べクト ルを計算する際に子音に与える重み $w_{c}$ と合わせて調整可能なパラメータである．各類似度は すべて，全く同じもの同士の時が 1 ，全く異なるもの同士の時に 0 となるように正規化されて いる. しかし, 各類似度がオノマトぺの印象を推定する上でどの程度重要であるかはわからな いため, 各類似度の重要度を変化させるためのパラメータとして重みを用い, 実験的に最適な 値を探索することとする。

## 3.2 印象語の出力

本論文での提案手法の基本的な考え方は, 入力されたオノマトぺと高い類似度を持つオノマ トペを辞書内から検索し, それに付与されている印象語を出力するというものである。しかし,常に最も類似したオノマトぺに付与された印象語だけを出力するだけではなく，2位以下の才 ノマトぺに付与されている印象語ついても，その類似度に比例した重みで考慮する必要がある と思われる。

そこで，以下の手順で検索を行い，最終的な印象語を出力する.

(1) 辞書内のすべてのオノマトペと類似度計算を行い，上位 $n$ 個のオノマトぺを抽出する.

(2) 抽出された各オノマトぺに付与されているすべての印象語について，類似度に比例した 得点を与える。具体的には, 最も類似度の高いオノマトぺに付与されているすべての印象語に対して，類似度と同じ值の得点をそれぞれ与える。また，2位のオノマトぺに付与されているすべての印象語についても同様に得点を与える.この時, 1 位と 2 位の才 ノマトペ双方に同じ印象語が付与されていれば，その印象語には 1 位の類似度と 2 位の 類似度が加算された得点が与えられることになる，以下同様に， $n$ 位のオノマトペに付与された印象語まで得点を与えていく。

(3) 得られた印象語を得点の高い順に並べかえ, 最も高い得点を $s$ とした時, $s \times r$ 以上の得点を持つすべての印象語を出力する.

ここで， $r$ は $0 \sim 1$ の值であり,$n$ とあわせて実験的に決定するパラメータである.

## 4 評価と考察

評価データには，オノマトペ辞書 (飛田，浅田 2002) に掲載されているオノマトペ 1,058 語を 用いた. この辞書には, 見出し語と共に用例や解説などが記載されている。しかし, 本論文で 焦点を当てるオノマトぺが持っている印象については，明確に定義されていない，そこで，形状, 質感, 量・感覚的概念, 心理的状態を表現する形容詞を 24 対, 計 48 種類選出し, それら を推定する印象と定義した。選出した形容詞対を表 3 に示す。なお，推定する印象として使用 する形容詞は, 複数の文献 (飛田, 浅田 2001; 渡部, 堀口, 河岡 2004) (米谷, 渡部, 河岡 2003;前川, 吉田 1998) (加藤, 青山, 福田 2005) を参考に, 討議の上決定した. オノマトぺが表現し ていると思われる印象を選出した形容詞対から独自に判断し，すべてのオノマトぺに対して人手で印象を付与した，なお，オノマトぺは多義であることが多いため，複数の印象を付与する ことを許容している，例えば，「チラチラ」というオノマトぺの印象は，「速い」，「小さい」，「少 ない」,「軽い」という形容詞の集合で表現される.

## 4.1 人間同士の印象推定結果

オノマトぺから抱く印象は人によってある程度の範囲でゆれが生じると考えられる。 そこで,印象の付与は 2 名の評価者がそれぞれの感覚で独立に作業を行った. なお, 表 3 の左上から右下の順に横方向に 5 対ずつ並べてディスプレイに表示させた形容詞対とオノマトぺ辞書の見出 し語のみを参照しながら印象の付与作業を行った。それぞれの評価者が作成した印象ラベル間 の一致率を検証するため, 一方の評価者が作成した評価デー夕を正解とし, 他方の評価者が作成した評価デー夕の適合率と再現率ならびに $\mathrm{F}$ 値を算出した。結果を表 4 に示す. なお, 印象 の平均付与数は評価者 $\mathrm{A}$ が 3.40 語, 評価者 B が 2.45 語となった. また, 各形容詞ごとに「そ の形容詞が選択されたか否か」という 2 カテゴリ選択問題として人間同士の回答のカッパ係数 を求めたところ, 最大で 0.602 , 最小で -0.006 であり, 48 形容詞の平均で 0.332 であった.

この結果から，オノマトぺから抱く人の印象にゆれが生じることが確認された。つまり，人間であっても $100 \%$ 印象を特定することはできないと言える。この結果は 2 名の評価者だけから の結果であるため，あくまでも参考程度の値ではあるが，本論文では，人間同士の一致率にあ たる F 値 0.427 を提案方法の性能評価を行う際の目安として用いることとする.

## 4.2 提案手法の印象推定結果

前述のオノマトペ 1,058 語に対し, 1 語をテストデータ, 残りの 1,057 語を辞書データとして 印象語を出力する実験をテストデータを変更しながら行った。各種パラメータについては, $w_{c}$

表 3 オノマトペの印象を表現する形容詞対

表 4 評価者間におけるオノマトペから抱く印象のゆれの検証結果

表 5 提案手法によるオノマトぺの印象推定結果

は $\lceil 1,2 ， 3\rfloor の 3$ 種類, $w_{T}, w_{H}, w_{D}, w_{M}$ は $\left.\Gamma 0,1,2,5,10,20\right.\rfloor の 6$ 種類， $n$ は 1,3 , $5,10,20\rfloor の 5$ 種類, $r$ は $\lceil 1,0.8,0.6,0.4,0.2,0 」 の 6$ 種類を設定し, 最適なパラメータ を探索した。

各類似度の有効性を検証するため，それぞれの類似度を用いる場合と用いない場合のそれぞ れについて，すべてのパターンで性能を比較した。各評価者が付与した印象語を正解とし，そ れぞれに対する $\mathrm{F}$ 値を平均した值が最も高くなるようにパラメータを事後的に設定した時の結果を表 5 に示す。ここで，「類似度に対する重み」が“メ”であるものは，その類似度を使用し ないために強制的に重みを 0 としたことを，また“0”であるものは，その類似度に対する重み を変化させながら実験した結果，最終的に重みが 0 （その類似度は使用しない）の時が最も性能が良かったことを示す。なお，各種パラメータについては，最も性能が良かったもののみを その値とともに示している。“一”は，そのパラメータが使われなかったことを示す.

## 4.3 考察

2 名の評価者に対する結果から最適にパラメータ調整すると提案手法のオノマトぺの印象推定性能は, $\mathrm{F}$ 值 0.345 であった。この数値は, 4.1 節で述べた本論文の参考値である人間同士の 一致率にあたる $\mathrm{F}$ 値 0.427 の 8 割程度にあたり，有効な手法であるといえる。

詳細に分析すると, モーラ系列間のレーベンシュタイン距離 $(H(x, y))$ と音象徴ベクトル $(M(x, y))$ を用いる場合が最も性能が良く, この場合，子音に重みを与える必要があった。この
手法では, モーラ系列間のレーベンシュタイン距離でオノマトぺの構造パターンを音象徴ベク トルで音的な特徴をうまく捉えて扱うことができていると思われる.

次に良い性能であったのは, モーラ系列間のレーベンシュタイン距離とモーラの並び $(D(x, y))$ を用いる手法であった。この手法の場合, 印象語を出力する際に上位 10 位までのオノマトぺに 付与された印象語を対象にする必要がある。また， 3 番目に良い性能であった手法は，モーラ 系列間のレーベンシュタイン距離のみを用いたもので, この場合, 上位 20 位までの印象語を対象にする必要がある。これは, 多くの印象語の候補を扱うことで音的な特徴から推定される印象語を補完しようと働いていると考えられる。

さらに，表 5 から $\mathrm{F}$ 値だを抜き出し， 4 種類の類似度を使用するか否かという条件により 分類したものを表 6 に示す.これより, 以下のことが分かった.
- $H(x, y)$ が最も重要である

モーラ系列間のレーベンシュタイン距離に“○”が付いている列は“×”の列より全体的に $\mathrm{F}$ 値が高くなっていることから, 最も重要な考え方であることが分かる.
- $M(x, y)$ は $H(x, y)$ と組みあわせると性能が向上する

音象徴ベクトルは，モーラ系列間のレーベンシュタイン距離と組み合わせた時のみ性能が向上しており，良い補完関係になっているといえる。この 2 種類を組み合わせた手法が最も良い組み合わせである。
- $D(x, y)$ は $H(x, y)$ と組みあわせると性能が少しだけ向上する
- $D(x, y)$ は $M(x, y)$ と組みあわせると性能が向上するが, $H(x, y)$ がある場合は不要である モーラの並びは，モーラ系列間のレーベンシュタイン距離または音象徴ベクトルと組 み合わせると少し性能向上に寄与する。しかし, モーラの並びとモーラ系列間のレーベ ンシュタイン距離は同じような特徴を捉えているため, より性能の良いモーラ系列間の レーベンシュタイン距離を用いる方が効率的である.
- $T(x, y)$ は不要である

オノマトぺを抽象化した型表現は, 用いたとしてもすべての組み合わせで性能が向上

表 6 類似度の使用の有無による印象推定性能の違い

 &  &  &  &  \\

しないことから不用であるといえる. 型表現では, オノマトぺの特徴をうまく捉えるこ とができないためであると思われる。

本稿では，日本語を対象にオノマトぺの印象推定を行ったが，オノマトぺの表記内のモーラ 系列間の類似度とオノマトぺの表記全体の音象徵べクトルによる類似度を用いた手法が最も良 い推定結果となったことから，他の言語への対応も可能であると考えられる．他の言語では日本語程に多くのオノマトぺを頻繁に利用するわけではないが (得猪 2007)，例えば，中国語では 日本語と良く似た構造のオノマトペが利用されており，また，英語では日本語で多く見られる 反復する形ではないオノマトぺが利用されているが，実際に聞こえる音をアルファベットの発音に照らし合わせてオノマトぺとして表現するため，日本語と同様の関連性を見出すことがで きると思われる。

## 5 おわりに

本稿では, 日本語のオノマトぺ辞書を基に, 文字の種類やパターン, 音的な特徴などを手がか

りに，そのオノマトペが表現している印象を自動推定できる手法を提案した。これにより，大規模な辞書を作成・利用することなく，新たに創出される未知のオノマトぺの印象も推定する ことができる。また，日本語を母語としない人に対して，日本語で表現されたオノマトぺの理解の支援に繋がると考えられる。さらには，機械翻訳や情報検索・推薦の分野でも活用するな どの展開が考えられる。

計 4 種類の類似度計算手法を提案し，7つのパラメータを実験的に調整し最適値を探索した。結果として，オノマトぺの表記内のモーラ系列間の類似度とオノマトぺの表記全体の音象徴べ クトルによる類似度を用いた手法が最も良い推定結果となり，参考値である人間同士の一致率 の 8 割程度にまで近づくことができた.

本稿では, 評価者が 2 名と少数であったことから, 今後さらに評価者を増やして辞書構築を 行い，ゆれの少ない辞書を構築する必要があると思われる。

## 謝 辞

本研究の一部は, 科学研究費補助金（若手研究 (B) 24700215）の補助を受けて行った.

## 参考文献

浅賀千里, 渡辺知恵美 (2007). Webコーパスを用いたオノマトぺ用例辞典の開発. 電子情報通信学会 第 18 回データ工学ワークショップ, D9 (2).
池田岳郎, 早川文代, 神山かおる (2006). テクスチャを表現する擬音語・擬態語を用いた食感性解析. 日本食品工学会誌, 7 (2), pp. 119-128.

市岡健一, 福本文代 (2009). Web 上から取得した共起頻度と音象徵によるオノマトぺの自動分類. 電子情報通信学会論文誌, J92-D (3), pp. 428-438.

芋阪直行 (1999). 感性の言葉を研究する一擬音語・擬態語に読む心のありか. 新曜社.

奥村敦史, 齋藤豪, 奥村学 (2003). Web 上のテキストコーパスを利用したオノマトぺ概念辞書

の自動構築. 情報処理学会研究報告 自然言語処理研究会報告, 23, pp. 63-70.

加藤雅士, 青山憲之, 福田忠彦 (2005). 映像視聴時における感情と生体信号の関係の分析. ヒュー マンインタフェースシンポジウム 2005, 1 (3334), pp. 885-888.

小松孝徳, 秋山広美 (2008). ユーザの直感的表現を支援するオノマトペ意図 理解システム.

Human-Agent Interaction Symposium 2008, 2A (4).

米谷彩, 渡部広一, 河岡司 (2003). 常識的知覚判断システムの構築. 人工知能学会全国大会, 3C1

丹野眞智俊 (2004). Onomatopoeia（擬音語・擬態語）に関する音韻分類. 神戸親和女子大学坚

童教育学研究, 23 (1), pp. 11-26.

土田昌司 (2005). オノマトペによる映像の感性評価一感性検索への応用可能性一. 感性工学研究

論文集, $5(4)$, pp. 93-98.

得猪外明 (2007). へんな言葉の通になる一豊かな日本語, オノマトぺの世界. 祥伝社.

早川文代 (2000). 性別・年齢別にみた食感覚の擬音語・擬態語. 日本家政学会誌, $\mathbf{5 3}$ (5),

pp. 437-446.

飛田良文，浅田秀子 (2001). 現代形容詞用法辞典. 東京堂出版.

飛田良文, 浅田秀子 (2002). 現代擬音語擬態語用法辞典. 東京堂出版.

前川純孝, 吉田光雄 (1998). SD 法による流行歌の聴取印象評価一探索的・検証的因子分析一.

国際関係学部紀要, 1 (23), pp. 93-108.

村上宣寛 (1980). 音象徵仮説の検討 : 音素, SD 法, 名詞及び動詞の連想語による成分の抽出と,

それらのクラスター化による擬音語・擬態語の分析. 教育心理学研究, 28 (3), pp. 183-191.山内勝也, 岩宮眞一郎 (2005). 周波数変調音の擬音語表現とサイン音としての機能イメージ. 日

本生理人類学会誌, $10(3)$, pp. 115-122.

山口仲美 (2003). 暮らしのことば一擬音・擬態語辞典. 講談社.

湯澤質幸, 松崎宽 (2004). 音声・音韻探求法. 朝倉書店.

吉村浩一, 関口洋美 (2006). オノマトペで捉える逆さめがねの世界. 法政大学文学部紀要, $\mathbf{5 4}$

(1), pp. $67-76$.

渡部広一, 堀口敦史, 河岡司 (2004). 常識的感覚判断システムにおける名詞からの感覚想起手

法 理解システム. 人工知能学会論文誌, 19 (2), pp. 73-82.

## 略歴

土屋 誠司：2000 年同志社大学工学部知識工学科卒業. 2002 年同大学院工学研究科知識工学専攻博士前期課程修了. 同年, 三洋電機株式会社入社. 2007 年同志社大学大学院工学研究科知識工学専攻博士後期課程修了．同年，徳島大学大学院ソシオテクノサイエンス研究部助教. 博士 (工学). 2009 年同志社大学理工学部インテリジェント情報工学科助教. 2011 年同准教授. 主に，知識処理, 概念処理, 意味解釈の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 日本認知科学会, 電子情報通信学会各会員.

鈴木 基之：1993 年東北大学工学部情報工学科卒業. 1996 年同大大学院博士後期課程を退学し, 同大大型計算機センター助手. 2006 年〜2007 年英国エジン バラ大学客員研究員. 2008 年徳島大学大学院ソシオテクノサイエンス研究部准教授，現在に至る。博士（工学）。音声認識・理解，音楽情報処理，自然言語処理, 感性情報処理等の研究に従事. 電子情報通信学会, 情報処理学会, 日本音響学会, ISCA 各会員.

任福継：1982 年北京郵電大学電信工程学部卒業. 1985 年同大学大学院計算機応用専攻修士課程修了. 1991 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学)。広島市立大学助教授を経て, 2001 年より徳島大学工学部教授. 現在に至る. 自然言語処理，感性情報処理，人工知能の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, 電気学会, AAMT, IEEE 各会員. 日本工学会フェロー.

渡部 広一：1983 年北海道大学工学部精密工学科卒業. 1985 年同大学院工学研究科情報工学専攻修士課程修了. 1987 年同精密工学専攻博士後期課程中途退学. 同年, 京都大学工学部助手. 1994 年同志社大学工学部専任講師. 1998 年同助教授. 2006 年同教授. 工学博士. 主に, 進化的計算法, コンピュータビ ジョン, 概念処理などの研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, システム制御情報学会, 精密工学会各会員.


# 小規模誤りデータからの日本語学習者作文の助詞誤り訂正
## 今村 賢治 $\dagger$ ・齋藤 邦子†・貞光 九月 $・$ 西川 仁 ${ ^{\dagger}$}

本稿では, 置換, 挿入, 削除操作を行う識別的系列変換で日本語学習者作文の助詞誤りを自動訂正する．誤り訂正タスクの場合, 難しいのは大規模な学習者作文コー パスを集めることである。この問題を，識別学習の朹組み上で 2 つの方法を用いて 解決を図る。一つは日本語としての正しさを測るため, 少量の学習者作文から獲得 した n-gram 二値素性と，大規模コーパスから獲得した言語モデル確率を併用する。 もう一つは学習者作文コーパスへの直接的補強として, 自動生成した疑似誤り文を 訓練コーパスに追加する。さらに疑似誤り文をソースドメイン，実際の学習者作文 をターゲットドメインとしたドメイン適応を行う，実験では, n-gram二值素性と言語モデル確率を併用することで再現率の向上ができ, 疑似誤り文をドメイン適応す ることにより安定した精度向上ができた.

キーワード: 助詞誤り訂正, 言語モデル, 疑似誤り生成, ドメイン適応, 識別的系列変換

## Particle Error Correction of Japanese Learners from Small Error Data

Kendi Imamura $^{\dagger}$, Kuniko Saito $^{\dagger}$, Kugatsu Sadamitsu $^{\dagger}$ and Hitoshi NishiKawa ${ }^{\dagger}$

This paper presents grammatical error correction of Japanese particles written by foreign Japanese learners. Our method is based on discriminative sequence conversion, which corrects particle errors by substitution, insertion, or deletion. For this kind of error correction task, it is difficult to collect large learners' corpora. We attempt to solve this problem based on a discriminative learning framework which uses the following two methods. First, language model probabilities obtained from large Japanese corpora are combined with n-gram binary features obtained from the learners' corpora. This method is applied in order to measure the correctness of Japanese sentences. Second, automatically generated pseudo-error sentences are added to the learners' corpora in order to enrich the corpora directly. Furthermore, we apply domain adaptation, in which the pseudo-error sentences (the source domain) are adapted to the real-error sentences (the target domain). Experimental results show that the recall rate has been improved by using both the language model probabilities and the n-gram binary features. Stable improvement has been achieved by using pseudo-error sentences with the domain adaptation.

Key Words: Particle Error Correction, Language Models, Pseudo-Error Generation, Domain Adaptation, Discriminative Sequence Conversion

## 1 はじめに

日本語学習者の作文の誤り訂正は，教育の一環としてだけでなく, 近年はビジネス上の必要性も生じてきている，たとえば，オフショア開発（システム開発の外国への外部発注）では,中国，インドなどへの発注が増加している，外国に発注する場合，日本との意思疎通は英語ま たは日本語で行われるが, 日本語学習者の多い中国北部では, 日本語が使われることも多い. しかし, 中国語を母語とするものにとって日本語は外国語であり, メールなどの作文には誤り を含み，意思疎通に問題となるため，それらを自動検出・訂正する技術が望まれている (大木他 2011; 末永, 松嶋 2012). そこで本稿では, 日本語学習者作文の誤り自動訂正法を提案する.外国人にとって, 助詞はもっとも誤りやすい語であるため, 本稿では助詞の用法を訂正対象と する。

日本語の助詞誤り訂正タスクは, 英語では前置詞誤りの訂正に相当する. 英語の前置詞・冠詞誤りの訂正では, 分類器を用いて適切な前置詞を選択するアプローチが多い (Gamon 2010; Han et al. 2010; Rozovskaya and Roth 2011). これらは, 誤りの種別を限定することにより, 分類器 による訂正を可能としている。一方, Mizumoto et al. (2011)は, 日本語学習者の誤りの種別を 限定せず，翻訳器を利用した誤り訂正を行った。この方法は，誤りを含む学習者作文を正しい 文に変換することにより，あらゆる種類の誤りを訂正することを狙ったものである．本稿の訂正対象は助詞誤りであるが，今後の拡張性を考慮して，翻訳器と同様な機能を持つ識別的系列変換 (Imamura et al. 2011)をべースとした誤り訂正を行う.

翻訳の考え方を使った場合，モデル学習のために，誤りを含む学習者作文とそれを訂正した 修正文のぺア（以下，単にペア文とも呼ぶ）が大量に必要である。しかし，実際の学習者作文 を大規模に収集し, さらに母語話者が修正するのはコストが高く難しい場合が多い.この問題 に対し，本稿では以下の 2 つの提案を行う.

(1) 日本語平文コーパスの利用（言語モデル確率と二値素性の混在）

学習者作文・修正文ぺアのうち, 修正文側は正しい日本語であるため, 既存の日本語平文コーパスなどから容易に入手可能である。そこで，比較的大規模な日本語平文コーパ スを日本語修正文とみなして，変換器のモデルとして組み込む，組み込む際には，日本語平文コーパスは言語モデル確率の算出に利用し, 学習者作文・日本語修正文ぺアから 獲得した二值素性と共に, 識別モデルの枠組みで全体最適化を行う。学習者作文・修正文ぺアに出現しないものであっても，言語モデル確率によって日本語の正しさが測られ るため，誤り訂正の網羅性の向上が期待できる.

(2) 疑似誤り文によるぺア文の拡張（とドメイン適応の利用）学習者作文は容易に入手できないため, 正しい文から誤りパターンに従って誤らせるこ とにより，自動的に学習者作文を模した疑似誤り文を作成する。この疑似誤り文と元に

した日本語文をぺアにして，訓練コーパスに追加するたたたし，自動作成した疑似誤り 文は，実際の学習者作文の誤り分布を正確には反映していない。そのため，疑似誤りを ソースドメイン, 実誤りをターゲットドメインとみなして, ターゲットドメインへの適応を行う。疑似誤りの分布が実際の誤りと少々異なっていても，安定して精度向上がで きると期待される。

以下，第 2 章では，我々が収集した日本語学習者作文の誤り傾向について述べる，第 3 章で は，本稿のベースとなる誤り訂正法と，日本語平文コーパスの利用法について説明する。第 4 章では，疑似誤り文によるぺア文の拡張法について説明し，第 5 章では実験で精度変換を確認 する。第 6 章では関連研究を紹介し, 第 7 章でまとめる.

## 2 日本語学習者の誤り傾向

まず，実際に外国人がどのような日本語書き誤りをしてしまうのか，日本語を学んでいる中国語母語話者を対象に誤り例を収集した。

被験者は日本語の学習歴があり, 日本の技術系大学に在籍する, もしくは卒業した背景をも つ 37 名である. 日本滞在歴は半年から 6 年程度である. 各被験者に技術系文書（Linuxマニュ アル等 80 文）の英文と 24 個の図（のべ 104 課題）を提示し, キーボード入力による日本語作文を実施した(これを学習者作文と呼ぶ)。最終的には 2,770 文の学習者作文デー夕を収集し,各作文を日本語母語話者が推敲した（以下，単に修正文と呼ぶ）。誤りを訂正する際には，文意 を変更せず，文法的に正しい日本語とするための最小限の訂正を行うよう留意した ${ }^{1}$ 。言い換え ると, この推敲で訂正された誤りは, 訂正しないと正しい日本語にはならないものである.

## 2.1 誤りの分類と出現分布

誤り傾向の分析にあたり，まずは大分類として，文法誤り，語彙誤り, 表記誤りの 3 種類を 設定し，さらに小分類を設定した（表 1 ）.

収集した 2,770 文の分析を実施したところ，訂正が可能であったものは 2,171 文であった．訂正が出来なかったものは, 全く誤りがない日本語文 559 文, および文として不完全な断片 40 文 である。これ以降の分析は, 訂正が可能であった 2,171 文に対して行った.

まず，誤り訂正の発生箇所は 4,916 箇所であり, 1 文あたり平均 2.26 箇所であった. また各誤りの種別について, 誤り大分類での出現分布をみると, 文法誤りが $54 \%$ と最も多く, 続いて 語彙誤り $28 \%$, 表記誤りが $16 \%$ であった. これ以外は複数の誤りが混在する複合型誤りである. さらに小分類での出現分布をみると, 最も多く発生していたのは助詞・助動詞誤り $33 \%$, 続い

表 1 誤りの分類と誤り例

 &  \\

## 2.2 誤り傾向

今回の誤り傾向であるが, 助詞誤りおよびカタカナ誤りは中国語母語話者に限らず広く外国人に共通して出現するものであると推測される，助詞は日本語特有の文法であり，多くの非日本語母語話者にとっては習得が難しいものである。そのため, 中国語母語話者に限らず外国人 の学習者作文の誤りに対する訂正対象を助詞とすることは, 発生率から考えても効果的である.

助詞の種類によって誤り発生のしやすさは異なっているはずであり, 全ての助詞が一律に誤 りとはならない，今回の作文データにおける助詞誤りについて，さらに詳細に内訳を分析をし たところ，まず，誤りタイプとしては置換誤りが $74 \%$, 助詞の抜けが $17 \%$, 余分な助詞の出現

のために助詞の削除操作が必要となるケースは少ないことがわかる. 個別の助詞誤り発生回数上位 10 件は表 2 のとおりである.

このうち,「は $\rightarrow$ が」への置換訂正については, 1 文中に 2 回, 「は /係助詞」が出現し, 片方を「が／格助詞」に置換しなければならなかったものである（たとえば，「問題はあるとき は...」).「の」の助詞抜けとしては, 「2つファイル」のように, 数量表現に後続する名詞の直前の「の」が欠けている誤りがよく見られた. また, 余分な助詞「の」としては，「やったの人」「小さいの絵」など，連体修飾で使用された動詞や形容詞に後続して「の」が余分に存在してい る誤りが多い.

以上の分析から, 本稿では, 誤りの出現頻度の高い助詞誤りを訂正対象とした. また, 助詞 の置換, 挿入, 削除が現れていることから, 原文（入力文）を置換, 挿入, 削除操作すること により，誤り訂正を行う.
表 2 頻出した助詞誤り

## 3 識別的系列変換

本章では, ベースとなる識別的系列変換を用いた誤り訂正方式について述べる。本稿の誤り 訂正は，学習者作文および修正文をあらかじめ形態素解析し，単語列から単語列へ変換すること で行う，本方式は，基本的には識別モデルを用いた句に基づく統計翻訳器と同等であるが，挿入, 削除操作への拡張と，言語モデル確率を扱う拡張を行っている．分類器を用いる誤り訂正方法と異なり, 1 文中の複数の誤りを一度に訂正し, 助詞以外の誤りにも拡張が可能な方式で ある。

## 3.1 基本方式

本稿では，音声認識結果を言語処理用単語列に変換する形態素変換器 (Imamura et al. 2011) をべースにし，以下の手順で入力文の誤りを訂正する。

・まず，入力単語列でフレーズテーブルを検索し，入力側にマッチするフレーズを得る. フレーズテーブルは，助詞誤りとその訂正候補を対にして格納したものである。これは 誤り訂正タスクにおける Confusion Set (Rozovskaya and Roth 2010a) と同じもので，表 2 をテーブル化したものである²． フレーズテーブルと照合することにより，すべての訂正候補が得られる。また，無修正の場合を考慮し，入力単語を出力単語にコピーしたフ レーズを作成し，両者をまとめてラティス構造にパックする（図 1).これをフレーズラ ティスと呼ぶ.
- フレーズラティスから, 条件付き確率場 (Conditional Random Fields; CRF) (Lafferty et al. 2001) に基づき, 最尤フレーズ列を探索する. 本稿の誤り訂正では語順の変更を行

図 1 フレーズラティスの例（太線は正解系列を表す）

わないため, 探索には Viterbi アルゴリズムを用いる. フレーズラティスには, 非文法的系列（たとえば，図 1 では，格助詞「を」が連続する系列も候補として存在）も含まれ るが，枝刈りなどは行わず，モデルに従い最尤探索を行う.
- 学習時には, 学習者作文と修正文に対して, DP マッチによる単語アライメントを行い,正解のフレーズ列を作成する。この正解から, 助詞誤りだを取得してフレーズテーブ ルを作成するほか，正解を教師データとして CRF を学習する ${ }^{3}$.

## 3.2 挿入 $\cdot$ 削除操作

一般的に句に基づく翻訳器は置換操作のみで翻訳を行うが, 本稿で実施する誤り訂正は, 助詞の置換操作のほかに, 插入, 削除操作も対象となる. 挿入操作は, 空単語からある単語への 置換, 削除操作は, ある単語から空単語への置換とみなせるため, 両者も基本的には置換操作 と同等に扱い, モデルの学習・適用を行う.

しかし, 挿入操作は, 全単語間に挿入される可能性があるため, ラティス構築時にサイズが 爆発するなど，非常に計算コストの高い操作である。挿入箇所をある程度絞ることが望ましい ため, 本稿では，名詞直後に後続する助詞のみ，挿入を許可するという制約をかける，挿入は 1 箇所 1 単語のみとする.この制約により, 一部訂正不可能な誤りも生じる（たとえば，格助詞「に」の直後に係助詞「は」を挿入し，「に」を「には」に訂正するのは不可能となる).

なお, 置換操作は, 挿入操作と削除操作の連続でも表現できる。本稿では, 挿入と削除操作 が連続していた場合は, 置換操作になるように正解デー夕を作成し, モデルを学習する。誤り 訂正時には, フレーズラティス内に置換操作の候補と, 挿入と削除操作が連続する候補が混在
$ 学習のための最適化プログラムとして岡崎の libLBFGS を用い, 実装した. http://www.chokkan.org/software/liblbfgs/
}

するが, 誤り訂正モデルに従い最尤探索すると, ほとんどすべての場合, 置換操作が選ばれる.

## 3.3 素性

本手法では 2 種類の素性を用いる。一つは翻訳モデルに相当する入力と出力のフレーズ対応度を測るためのマッピング素性, もう一つは言語モデルに相当する出力単語列の日本語として のもっともらしさを測るためのリンク素性である、マッピング素性とリンク素性の概要を図 2 に，素性テンプレートの一覧を表 3 に示す.

固有表現抽出など, 識別モデルを用いる夕スクでは, タグを付与すべき単語のほかに, その周辺単語を素性として用いる場合が多く，今回も同様な考え方をする，具体的には，当該フレー

図 2 マッピング素性とリンク素性

表 3 素性テンプレート

表中の $\delta$ は，引数が完全一致したときに 1 ，それ以外は 0 を返す二値関数を表す.

ズの入力側前後 2 単語をウィンドウとして, 1３-gram と当該フレーズの出力単語の対を, 二値のマッピング素性として使用する.

リンク素性に関しては，次節で詳細に述べる。

## 3.4 日本語平文コーパスの利用とリンク素性への組み込み

誤り訂正タスクにおいては,「正しい日本語」を出力する必要があるため, リンク素性は重要 であると考えられる。この「正しい日本語」は, 既存の日本語平文コーパスから容易に入手可能 である。そこで以下の 2 種類のリンク素性を併用し，識別学習を通じて全体最適化を行う。識別モデルを用いる本稿の方式は, 相互に依存する素性を混在できるという特徴を利用している.
- n-gram 二値素性 : 出力単語の 1～3-gram を二値素性として使用する. 最適化用の訓練 コーパス（学習者作文・修正文などのぺア文）からしか獲得できない，個々のn-gramの 素性重みは，マッピング素性を含む他の素性との兼ね合いを考慮しながら最適化される ため，きめ細かい最適化ができ，訓練コーパスにおける精度は高い，言い換えると，未知テキスト中に訓練コーパスと同じパターンの誤りが出現した場合, 非常に高い精度で 訂正ができる.
- 言語モデル確率 : 出力単語列の n-gram 確率（実際にはトライグラム確率）の対数値を実数素性として使用する。素性重みは 1 つしか付与されないが，言語モデルは日本語平文 コーパスから学習できるため, 訓練コーパスに限らず，大量の文から構築できる。訓練 コーパスに出現した/しないにかかわらず，日本語としての適切さをスコアとして与え ることができる。

識別学習における二値素性と実数素性の混在は, 半教師あり学習における補助モデル (Suzuki et al. 2009; 鈴木, 磯崎 2010) と同じ考え方であり，訓練コーパス上での精度を保ちながら，未知テキストに対して頑健な訂正が行えるという利点がある.

## 4 疑似誤り文を用いたぺア文の拡張

第 3 章で述べた誤り訂正器には，学習のため, 翻訳における対訳文に相当する学習者作文・修正文ぺアが必要である。しかし, 実際の誤り事例を大量に収集するのは困難であるため, 自動生成した疑似誤り文を用いてぺア文を拡張する。本章では，まず疑似誤り文生成方法につい て説明し，ドメイン適応を利用した疑似誤り文の適用方式について説明する。

## 4.1 疑似誤り生成

前述のとおり，学習者作文・日本語修正文ぺアのうちの日本語修正文に関しては，日本語平文コーパスなどから文を適当に選択することにより，容易に入手できる。よって，収集した文

を，学習者作文のように誤らせることができれば， ペア文として扱うことができる.

本稿では, Rozovskaya and Roth (2010b) と同様の生成方法を取る. 具体的には, フレーズ テーブルには，すでに誤った助詞とその訂正候補が記録されているので，これを逆に適用し，訂正候補助詞が出現したら，正しい助詞を誤らせる。誤りはある確率で発生させるが，発生確率 には, 実誤りコーパス（学習者作文と日本語修正文ペア）上での正解助詞 $e$ とその誤り助詞 $f$ の相対頻度を使用する。すなわち，

$
P_{\text {error }}(f \mid e)=\frac{C(f, e)}{C(e)}
$

ただし, $P_{\text {error }}(f \mid e)$ は誤り発生確率, $C(f, e)$ は, 実誤りコーパス上での正解助詞 $e$ とその誤 り助詞 $f$ の共起頻度, $C(e)$ は同コーパス上での正解助詞 $e$ の出現頻度である.

このように生成した疑似誤り文を訓練コーパスに加えることにより，誤り訂正モデルを学習 する.

## 4.2 素性空間拡張法によるドメイン適応

自動で作成した疑似誤り文の問題点は，実際の誤りの確率分布を反映している保証がない点 である。より正確に実誤りに近づけるため，本稿ではドメイン適応の技術を用いる。すなわち 疑似誤り文コーパスをソースドメイン，実際の学習者作文コーパスをターゲットドメインとみ なし，ターゲットドメインに適応させた誤り訂正モデルを学習する。

本稿では, ドメイン適応法に Daume III (2007)の素性空間拡張法 (Feature Augmentation) を 用いる。これは，素性空間を拡張することによりドメイン適応を行うもので，ソースドメイン に関するモデルを事前分布と考えることに相当する。 また，学習方法（学習器）を変更する必要がないという特徴がある。

素性空間拡張法を簡単に説明する。素性選択によって構築された素性は, 共通, ソース, ター ゲットの素性空間に拡張して配備される。この際,ソースドメインから作成された素性 $\left(D_{s}\right)$ は 共通およびソースに，ターゲットドメインから作成された素性 $\left(D_{t}\right)$ は共通およびターゲットの 素性空間に配備する。つまり，素性空間が 3 倍に拡張される（図 3).

パラメータ推定は，上記素性空間上で通常どおり推定される。その結果，ソースドメイン， ターゲットドメインで共通に用いられる素性（つまり，ソース，ターゲットで矛盾しない素性） に関しては，共通空間の重みが大きくなり，両者で矛盾する素性に関しては，ソースまたはター ゲット空間の素性が重くなる。どちらか片方にしか出現しない素性については，共通空間とド メイン依存空間の素性が重くなる.

図 3 には，素性空間拡張法の適用例も示した。ここでは，格助詞「が」を「を」に置換する か, 無修正にするかという問題に単純化する。いま，ソースドメインデータ，ターゲットドメ インデータから，以下の 3 種類の素性が得られたとする（表 3 の素性 No. 11 を想定）.

図 3 素性空間の拡張

-「機能:が:利用」は，ソースドメイン，ターゲットドメイン双方に現れ，どちらも「を」 に訂正している。

$\cdot$「データ:が:変更」は, ソース, ターゲット双方に現れているが, ソースドメインでは無修正, ターゲットドメインでは「を」に置換されている.
- 「関数:が:実行」は,ソースドメインのみに現れている.

この素性空間上でパラメータ推定を行うと, 「機能:が:利用」は, ドメイン間で矛盾しないの で，共通空間の重みが特に大きくなる。一方,「データ:が:変更」は, ソース・ターゲットで矛盾 しているので，共通空間の重みが 0 になり，ソースまたはターゲット空間で，訂正先に依存した 重みが重くなる。また,「関数:が:実行」は，共通空間とソース空間の重みが大きくなっている.

誤り訂正時には，共通とターゲット空間の素性のみを利用してデコードが行われる．ターゲッ トドメインに最適化されているため, 実際の誤り出現分布に近くなる。また, ターゲットドメ インの訓練データに現れない素性に関しても, ソースドメインデータから学習された共通空間 の素性が利用できるため, ターゲットドメインのみを利用するときより，未知の入力に頑健にな る. 図 3 の例では, ソースドメインのみに出現した「関数:が:実行」も利用して訂正ができる.

## 5 誤り訂正実験

## 5.1 実験設定

訂正対象助詞 : 本稿で誤り訂正の対象とする助詞は, ipadic-2.7.0 の最上位品詞が助詞であるも のすべてである。これには, 格助詞, 係助詞のほか, 副助詞, 接続助詞, 終助詞, 並立助詞な ども含まれ，のべ 236 種類あるが，後述する学習者作文コーパスに出現しない，もしくは誤り がない助詞は訂正対象にならないため，実際の訂正対象助詞は 38 種類である 4.

学習者作文コーパス (実誤りコーパス) : 実験に使用したコーパスは, 2 章で述べた 2,770 文 (104 課題）である。ここから助詞誤りのみを残し，それ以外の部分は日本語修正文の単語を埋め込 んだ文を作成，コーパスとした。つまり，実験に使用したぺア文は，助詞誤りのみを含んだもの である。たたし, 助詞の表記が学習者作文, 日本語修正文で一致している場合は誤りとはみな さず，日本語修正文の品詞を学習者作文にコピーして利用した。誤り総数は, 助詞 13,534 個中 1,087 箇所 $(8.0 \%)$ である。また, 誤り助詞と訂正助詞を対にした異なり数は, 132 種類（置換修正 95 種類，挿入 14 種類，削除 23 種類）である。なお，実験に使用したすべての文は, $\mathrm{MeCab}^{5}$ （辞書は ipadic-2.7.0を使用）によって形態素解析し, その表記と品詞を単語情報とした.

言語モデル：言語モデルは, Wikipediaのコンピュータ関連記事と, CentOS 5 の日本語マニュ アルから，のべ 527,151 文を取得し，SRILM (Stolcke et al. 2011) でトライグラムを学習して使用した. バックオフ推定には, Modified Kneser-Ney ディスカウントと補間推定を併用し, 未知 ユニグラムを疑似単語 <unk>として残す設定で学習した。

疑似誤りコーパス：疑似誤り文は，言語モデル作成用コーパスから，ランダムに 10,000 文を取得して生成した。誤り発生確率は, 実誤りコーパス上での相対頻度を倍率 1.0 として, 倍率 0.0 （つまり誤りなし）～ 2.0 まで変化させて実験を行った.

評価法：評価は，コーパスを課題単位に分割し， 5 分割交差検定で行った. 評価基準は 2 種類使用した。

（1）正解の単語列とシステム出力の単語列の表記を比較し, 誤り訂正の再現率, 適合率, $\mathrm{F}$ 値 を算出した。

（2）本夕スクは，訂正すべき助詞数に比べ，訂正不要な助詞が圧倒的に多く, システムによっ て訂正不要な助詞を過剰に訂正してしまう懸念がある。そのため, 訂正によって文の品質が向上した助詞数（訂正が必要な助詞をシステムが正しく訂正した数）と悪化した助詞数（訂正不要な助詞を過剰に訂正した数）の差を相対向上数として評価基準とした。こ
^{4}$ Suzuki and Toutanova (2006) が対象とした格助詞 10 種+係助詞「は」と比べると, 本稿では「へ」が対象外, 「よ り」は単独では出現せず，連語「により」が訂正対象となっている。また，上記論文では，「に/は」のように，格助詞と「は」の連続も 1 語扱いで訂正対象としているが, 本稿では連続した置換, 挿入, 削除操作を用いて訂正し ている.

5 http://mecab.sourceforge.net/
}

の基準では，まったく修正を行わなかった場合に $\pm 0$ となる.

## 5.2 実験結果 1: 日本語平文コーパスの利用

まず，日本語平文コーパスを言語モデル確率として利用することの効果を測るため，以下の 3 手法について精度測定を行った.

・ 提案手法：リンク素性に n-gram二値素性, 言語モデル確率を併用した場合.
- n-gram 二値素性のみ：リンク素性に n-gram 二值素性のみを用い, 言語モデル確率を使用しない場合.

・ 言語モデル確率のみ：リンク素性に言語モデル確率のみを用い, n-gram二值素性を使用 しない場合.

実験結果を表 4 に示す。表中の†は提案手法と n-gram二値素性のみの間で有意差があったも の，§は提案手法と言語モデル確率のみの間で有意差があったものを表す $(p<0.05)^{6}$.

まず適合率について，使用したリンク素性を比較すると，提案手法と n-gram二値素性のみが 同じ精度で，言語モデル確率のみの適合率が低めとなった，再現率は，提案方式が他の 2 つ方法に比べて大幅に向上 $(9.9 \%, 11.2 \% \rightarrow 18.9 \%)$ し，その結果， F 值も高い值を示した. n-gram 二値素性のみと言語モデル確率のみを比較すると, 言語モデル確率のみの方が若干再現率が高 い.その結果, $\mathrm{F}$ 値は提案手法 (両者併用), 言語モデル確率のみ, n-gram二値素性のみの順で 精度が高くなった。

しかし, 相対向上数をみると, 言語モデル確率のみは若干悪化しており（つまり過剩訂正が 多い), 再現率の向上が, 誤り訂正の精度に直結していないことがわかる.これは, 約 $92 \%$ の助詞を無訂正にすべきという本タスクの特徴に由来するもので，安易な再現率向上は過剰訂正を 引き起こすことを示している.

提案手法は, 相対向上数でも他の 2 方式に勝っている。 ただし, 提案手法と n-gram二値素性 のみの間では有意差はなかった。これは, n-gram二値素性は確実な誤りに集中して訂正する効果があるためで，相対向上数からみると有利に働いたためと考えられる．提案方式は, n-gram 二値素性，言語モデル確率の併用によって，適合率を保持したまま再現率を向上させており，誤

表 4 リンク素性を変えたときの誤り訂正結果

$ 検定を使用し, 相対向上数には文単位の $t$ 検定を使用した.
}

り訂正精度の向上に有効である。

## 5.3 実験結果 2: 疑似誤り文によるぺア文の拡張

次に，疑似誤り文の導入効果を測定する。リンク素性を提案方法に限定し，疑似誤り文の使用方法のみを変えて実験を行う。

図 4 は，訓練に用いるコーパスと訓練法を以下の 4 通りに変えて，再現率／適合率カーブを 測定した結果である。なお, 図 4 は, 誤り訂正器が出力するスコアが高い方から, ある再現率 を達成するための訂正助詞を取得，適合率を算出したものである.
- TRG: 実誤りコーパスだけを用いて誤り訂正モデルを作成した場合（ベースライン）.
- SRC: 疑似誤りコーパスだけを用いて誤り訂正モデルを作成した場合.
- ALL: 実誤りコーパスに疑似誤りコーパスを単純追加してモデルを作成した場合.
- AUG: 提案方法. 疑似誤りコーパスをソースドメイン, 実誤りコーパスをターゲットド メインとして素性空間拡張法によるドメイン適応を行った場合.

TRG をべースラインと考えると，疑似誤り文のみ (SRC) では TRG の精度に達していない. そのため, 疑似誤り文を追加した ALLでも適合率は再現率が高いところでようやく TRG と同等の適合率である。提案法である AUGは, 再現率が高くなるに従い, TRGより高い適合率で

$55.4 \%$ となった（ただし， $p=0.16$ で有意差はない）。なお, 再現率 $18 \%$ での $\mathrm{SRC}$ の適合率は

図 5 は, 誤り発生確率毎の各方式の相対向上数をプロットしたものである。この実験では, 誤 り発生確率が低い方が全体的に精度がよく, 誤り発生なし（倍率 $0.0 ＼mathrm{~ ） か ら ~} 0.6$ までは ALL 方

図 4 再現率/適合率カーブ（誤り発生確率は倍率 1.0 のとき）

図 5 誤り発生確率 (倍率) 毎の相対向上数

式もTRGを上回っている。しかし，SRC は倍率を高くするに従って相対向上数が低下してお り, 誤り発生確率を適切に制御しないと, 疑似誤り文が効果的に作用しない。一方 AUG は, 誤 り発生確率を変えても，安定した精度向上を果たした。誤り発生倍率が 1.0 のときの相対向上数は，TRGが+28に対して AUG は+59 と，有意に向上しており，疑似誤り文を使用するとき は，ドメイン適応を併用することが望ましい。

## 5.4 誤り訂正例

実験 2 において, 誤り発生倍率 1.0 のとき, 提案方式 (AUG) の適合率は $54.8 \%$ (210/383), 再現率は $19.3 \%$ (210/1087) であった。約 $55 \%$ の適合率は， $45 \%$ 程度の修正箇所を再修正しないと 正しい文にならないという意味で，実用上は決して高いとは言えない．助詞の用法には，意味的・文法的に明らかな誤用と, 許容可能なものがあるため, 人手評価を行った.

何らかの修正操作を出力したが, 正解と異なった部分 173 箇所に関して, 1 名の評価者によっ て主観評価した。なお，そのうち 151 箇所は，正解では無修正だった部分を過剰に修正したも のである．評価観点は，システム修正を許容可能か（正解と比較して, 意味的・文法的に異なっ ていないか) である。結果, 173 箇所のうち 103 箇所は許容可能であった. つまり, 許容可能と いう観点での適合率は, $(210+103) / 383=81.7 \%$ となった.

表 5 は，システムによる誤り訂正例である。置換，挿入，削除操作により誤り訂正が成功し たもののほか，人手評価によって許容可能と判断されたものには，係助詞「は」と格助詞「が」 の置換 (No. 4) や, 複合名詞が正しい格助詞を補完して分割されたもの (No. 5) があった. 許容不可として残ったものの中には，No. 7 のように慣用句を過剰訂正したもの，受動態をとらえら れず，能動態の格助詞に置換したもの (No. 8), Linux の free コマンドの内容を知らないと訂正
表 5 システムによる誤り訂正例（訂正部分周辺のみ）

} & 1 &  &  & 置換訂正 \\

ができないもの (No. 10) があった. No. 9 は「は」と「が」の置換であるが, 「私たち」と「あ なた」が呼応する表現であるため, 許容不可と判断された。本稿で用いた素性は訂正対象助詞 の局所文脈のみであるため，大域的素性を導入しないと正しい訂正は困難なものもある.

## 6 関連研究

日本語学習者の助詞誤り検出・訂正は従来より研究されてきた. 近年では, Suzuki and Toutanova (2006) が, 最大エントロピー法 (ME) による分類器を用いて, 助詞（主に格助詞）が欠落した 文からの復元を行っている。この入力文は形態素・構文解析済みであり，基本的に誤り箇所が 既に分かっているとき，挿入操作だけで修正を行う。大木 他 (2011) は，形態素・構文解析済み の入力文（誤りを含む）に対して，周辺の形態素や係り先を素性として，SVMで助詞の誤用検出する方法を提案している。ここでは, 助詞の欠落も対象としている．検出を行うのみで修正 までは行わない.

英語の前置詞・冠詞誤り訂正では, Han et al. (2010) が, 前置詞周辺単語や構文解析の主辞など

を素性とした ME 分類器を用いて, 前置詞の誤り訂正を行った. Gamon (2010) は前置詞と冠詞誤りを対象に, ME 分類器による誤り検出, 決定木による誤り訂正を行った. また, Rozovskaya and Roth (2010a) は平均化パーセプトロンに基づく分類器で前置詞の誤り訂正を行っている. これらの研究は, いずれも誤りの種類を助詞や前置詞・冠詞に限定することで, 分類器による 誤り訂正を可能としている.

一方, Mizumoto et al. (2011)は, 誤りを助詞に限定せず，すべての誤りを対象とした自動訂正法を提案した．ここでは，対訳文に相当する学習者作文と日本人による修正文のぺアを大量 にSNS から収集し，句に基づく統計翻訳の仕組みを利用して訂正を行う．誤りを含む入力の形態素解析は行わず，文字単位で翻訳を行う。本稿で使用した系列変換は, 基本的には統計翻訳 と同等な手法である，そのため，誤りの種類を助詞に限定する必要がなく，他の誤りにも拡張 できる。しかし, 本稿の方式はあらかじめ学習者作文が単語に分割されていることを前提とし ている。誤りを含む文を形態素解析, 構文解析した場合の精度は, 一般的には日本語母語話者 が記述した文の解析精度より落ちると考えられるため, 単語分割法も併せて検討する必要があ る (藤野 他 2012).

母語話者の記述したテキスト（日本語修正文相当）のモデル化という観点で上記研究を俯瞰 すると, Suzuki and Toutanova (2006), 大木 他 (2011), Han et al. (2010), Rozovskaya and Roth (2010a)は n-gram二值素性として利用している. Gamon (2010), Mizumoto et al. (2011)は, n-gram 確率という形でモデル化している。本稿では, 識別モデルの枠組みで両者を併用し, マッ ピング素性を含んで全体最適化を行うことにより, 再現率を向上することができた.

学習者作文の利用という観点で俯瞰すると，いずれの研究も，学習者の誤り傾向をモデルと して組み込むことにより，母語話者の記述したテキストのみを用いて誤り訂正を行う場合に比 べ，訂正精度が向上したと報告している (Han et al. 2010; Gamon 2010; Rozovskaya and Roth 2010a；笠原 他 2012)．本稿の方式は, マッピング素性という形で学習者の誤り傾向をモデル化 しており, 従来研究の成果を取り込んでいる.

学習者作文を模した擬似誤り文に関しては, Rozovskaya and Roth (2010b)が提案を行ってい る.そこでは，学習者の実誤りと同じ分布を持つ擬似誤り文を追加することにより，精度が向上したと報告している。ただ，データ（論文では学習者の母語別）によって最適な擬似誤り生成方法が異なっており, 擬似誤り生成を制御する必要がある。本稿では, 擬似誤りと実誤りの ずれをドメイン適応技術を用いて修正することで安定した精度向上ができた。

さまざまな種類の誤りの同時訂正は, Dahlmeier and $\mathrm{Ng}(2012)$ も行い, 前置詞・冠詞誤りだ けでなく, スペルミス, 句読点, 名詞の数の誤りも含めて訂正を行っている. 誤りの種別ごと に分類器やルールを用いて訂正仮説を生成し, 山登り的に書き換えを繰り返すことで 1 文中の 複数の誤りを訂正する．彼らは，複数の仮説を保持することで，山登り時に局所解に陥る可能性を軽減しているが, 本稿の方式はすべての仮説をフレーズラティスに持ち, Viterbiアルゴリ

ズムで最適な組み合わせを探索しているので, モデル上は最適な訂正結果であることが保証さ れている.

本タスクは, 訂正すべき助詞に比べ訂正不要な助詞が圧倒的に多く, 安易な再現率の向上は誤 り訂正精度（相対向上数）の改善に直結しないと述べた. これはデータ不平衡問題 (Imbalanced Data Problem) と呼ばれ，機械学習を実タスクに適用するときの主要な問題の一つと認識され ている（たとえば，サーベイ論文(He and Garcia 2009)を参照)。この問題の解決方法には, 少数派と多数派のデー夕を増減させることで平衡させる方法 (サンプリング法) や, 少数派の分類誤り（本タスクの場合, 訂正誤り）と多数派の分類誤りに異なるコストを与えて学習する方法 (ベイズリスク最小法) など，さまざまなものが提案されており，本タスクに適用できるか検討 する必要がある。なお，本稿で提案した疑似誤り文は，実誤りの分布を変えないようにデー夕 を増やすのが目的であるので, 少数派データを増やす over-sampling 法とは異なる位置づけで ある.

## 7 おわりに

本稿では， 中国語母語話者の日本語作文における，助詞誤り訂正法を提案した。誤り訂正夕 スクで難しいのは，誤りを含む実際の学習者作文とその修正文を入手することである。この問題に対して，本稿では，まず日本語平文コーパスを利用して，言語モデル確率とペア文から獲得した二値素性を識別モデルの枠組みで併用し, 誤り訂正の再現率を向上させた. また, 学習者作文を模した疑似誤り文を自動生成し，学習コーパスに追加した．ドメイン適応を併用する ことにより，誤り発生確率によらず，安定した精度向上ができることを示した.

本稿で用いた識別的系列変換は，助詞誤りに限定せず，すべての誤りを対象とすることがで きる。今後は，他の種類の誤り訂正にも拡張するのが課題である.

## 謝 辞

本研究の一部は, the 50th Annual Meeting of the Association for Computational Linguistics で発表したものである (Imamura et al. 2012). 本論文に関して, 非常に有益なコメントをいた たいた査読者の方々に感謝する。

## 参考文献

Dahlmeier, D. and Ng, H. T. (2012). "A Beam-Search Decoder for Grammatical Error Correction." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Lan-
guage Processing and Computational Natural Language Learning (EMNLP-CoNLL 2012), pp. 568-578, Jeju Island, Korea.

Daume III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics (ACL-2007), pp. 256-263, Prague, Czech Republic.

藤野拓也, 水本智也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の作文の誤り訂正に 向けた単語分割. 言語処理学会第 18 回年次大会, pp. 26-29.

Gamon, M. (2010). "Using Mostly Native Data to Correct Errors in Learners' Writing." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (HLT-ACL 2010), pp. 163-171, Los Angeles, California.

Han, N.-R., Tetreault, J., Lee, S.-H., and Ha, J.-Y. (2010). "Using an Error-Annotated Learner Corpus to Develop an ESL/EFL Error Correction System." In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta.

He, H. and Garcia, E. A. (2009). "Learning from Imbalanced Data." IEEE Transactions on Knowledge and Data Engineering, 21 (9), pp. 1263-1284.

Imamura, K., Izumi, T., Sadamitsu, K., Saito, K., Kobashikawa, S., and Masataki, H. (2011). "Morpheme Conversion for Connecting Speech Recognizer and Language Analyzers in Unsegmented Languages." In Proceedings of Interspeech 2011, pp. 1405-1408, Florence, Italy.

Imamura, K., Saito, K., Sadamitsu, K., and Nishikawa, H. (2012). "Grammar Error Correction Using Pseudo-Error Sentences and Domain Adaptation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (ACL-2012) Volume 2: Short Papers, pp. 388-392, Jeju Island, Korea.

笠原誠司, 藤野拓也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の誤り傾向を反映し た格助詞訂正. 言語処理学会第 18 回年次大会, pp. 14-17.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning (ICML-2001), pp. 282-289, Williamstown, Massachusetts.

Mizumoto, T., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners." In Proceedings of 5th International Joint Conference on Natural Language Processing (IJCNLP-2011), pp. 147-155, Chiang Mai, Thailand.

大木環美, 大山浩美, 北内啓, 末永高志, 松本裕治 (2011). 非日本語母国語話者の作成するシ

ステム開発文書を対象とした助詞の誤用判定. 言語処理学会第 17 回年次大会発表論文集, pp. 1047-1050.

Rozovskaya, A. and Roth, D. (2010a). "Generating Confusion Sets for Context-Sensitive Error Correction." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP-2010), pp. 961-970, Cambridge, Massachusetts.

Rozovskaya, A. and Roth, D. (2010b). "Training Paradigms for Correcting Errors in Grammar and Usage." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (HLT-ACL 2010), pp. 154-162, Los Angeles, California.

Rozovskaya, A. and Roth, D. (2011). "Algorithm Selection and Model Adaptation for ESL Correction Tasks." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Techologies (ACL-HLT 2011), pp. 924-933, Portland, Oregon.

Stolcke, A., Zheng, J., Wang, W., and Abrash, V. (2011). "SRILM at Sixteen: Update and Outlook." In Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU 2011), Waikoloa, Hawaii.

末永高志, 松嶋敏泰 (2012). ベイズ決定理論にもとづく階層 N グラムを用いた最適予測法と日本語入力支援技術への応用. 言語処理学会第 18 回年次大会, pp. 6-9.

Suzuki, H. and Toutanova, K. (2006). "Learning to Predict Case Markers in Japanese." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (COLING-ACL 2006), pp. 1049-1056, Sydney, Australia.

鈴木潤，磯崎秀樹 (2010). 大規模ラベルなしデータを利用した係り受け解析の性能検証. 言語処理学会第 16 回年次大会発表論文集, pp. 19-22.

Suzuki, J., Isozaki, H., Carreras, X., and Collins, M. (2009). "An Empirical Study of Semisupervised Structured Conditional Models for Dependency Parsing." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP-2009), pp. 551-560, Singapore.

## 略歴

今村賢治：1985 年千葉大学工学部電気工学科卒業. 同年日本電信電話株式会社入社. 1995 年〜1998 年 NTT ソフトウェア株式会社. 2000 年～2006 年 ATR 音声言語コミュニケーション研究所. 2006 年より NTT サイバースペース研究所（現 NTT メディアインテリジェンス研究所）主任研究員. 現在に至る.
主として自然言語処理の研究・開発に従事. 博士 (工学). 電子情報通信学会,情報処理学会, 言語処理学会, ACL 各会員.

齋藤邦子：1996 年東京大学理学部化学科卒業. 1998 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 現在, NTTメディアインテリジェンス 研究所主任研究員. 自然言語処理の研究・開発に従事. 言語処理学会, 情報処理学会各会員.

貞光 九月：2004 年筑波大学第三学群情報学類卒業. 2009 年筑波大学大学院シ ステム情報工学研究科コンピュータサイエンス専攻修了. 同年, 日本電信電話株式会社入社．以来，自然言語処理の研究開発に従事．現在，NTTメディ アインテリジェンス研究所音声言語メディアプロジェクト研究員. 情報処理学会, 言語処理学会各会員.

西川仁: 2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策$\cdot$ メディア研究科修士課程修了. 同年日本電信電話株式会社入社. 現在 NTTメ ディアインテリジェンス研究所にて自然言語処理技術の研究開発に従事. 奈良先端科学技術大学院大学博士後期課程在学中. 言語処理学会, 人工知能学会, 情報処理学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Wikipediaを利用した上位下位関係の詳細化

Stijn De Saeger ${ }^{\dagger \dagger}$ ・土田 正明 $+\dagger+\dagger \dagger$ ・風間 淳一 ${ }^{\dagger \dagger}$

単語の上位下位関係を自動獲得する研究はこれまで活発に行われてきたが，上位概念の詳細さに関する議論はほとんどなされてこなかった. 自動獲得された上位下位関係の中には, 例えば「作品 $}arrow$ 七人の侍」や「作品 $}arrow 1 \mathrm{Q} 84 」$ のように, より適切と 考えられる上位概念「映画」や「小説」と比べて広範囲な概念をカバーする上位概念（「作品」）が含まれることがある。このような上位概念を検索や質問応答などの タスクにおいて利用すると, より詳細な上位概念を利用する手法と比較して有用で ないことが多い。そこで本論文では，自動獲得した上位下位関係を，Wikipedia の 情報を利用することでより詳細にする手法を提案する．例えば「作品 $}arrow$ 七人の侍」 から, 「作品 $}arrow$ 映画監督の作品 $}arrow$ 黒澤明の作品 $}arrow$ 七人の侍」のように, 単語「七人の侍」の上位概念（かつ, 単語「作品」の下位概念）として, 2 種類の中間ノード 「黒澤明の作品」，「映画監督の作品」を生成することにより，元の上位下位関係を詳細化する. 自動獲得した $1,925,676$ ペアの上位下位関係を対象とした実験では, 最も 詳細な上位概念となる一つ目の中間ノード（「黒澤明の作品」など）を重み付き適合率 $85.3 \%$ で $2,719,441$ 個, 二つ目の中間ノード（「映画監督の作品」など）を重み付 き適合率 $78.6 \%$ で $6,347,472$ 個生成し, 高精度に上位下位関係を詳細化できることを 確認した。さらに, 生成した上位下位関係が「対象 - 属性 - 属性値」として解釈 できることについても報告する.

キーワード：上位下位関係獲得，「対象-属性-属性値」抽出，Wikipedia
## Generating Information-Rich Taxonomy Using Wikipedia

\author{
Ichiro Yamada ${ }^{\dagger}$, Chikara Hashimoto ${ }^{\dagger \dagger}$, Jong-Hoon $\mathrm{OH}^{\dagger \dagger}$, Kentaro Torisawa ${ }^{\dagger \dagger}$, \\ Kow Kuroda ${ }^{\dagger \dagger,+\dagger \dagger \dagger}$, Stiun De SaEger ${ }^{\dagger \dagger}$, Masaaki Tsuchida ${ }^{\dagger \dagger \dagger \dagger}$ and Jun'ichi Kazama ${ }^{\dagger \dagger}$
}

Hyponymy relation acquisition has been extensively studied. However, the informativeness of acquired hypernyms has not been sufficiently discussed. We found that the hypernyms in automatically acquired hyponymy relations are often too vague for their hyponyms. For instance, "work" is a vague hypernym for "work $\rightarrow$ Seven Samurai" and "work $\rightarrow 1 \mathrm{Q} 84$ ". These vague hypernyms sometimes cause the lower accuracy for NLP applications such as information retrieval or question answering. In this paper, we propose a method of making (vague) hypernyms more specific ex-
^{\dagger}$ NHK 放送技術研究所, Science \& Technology Research Laboratory, Japan Broadcasting Corporation

†† 情報通信研究機構, National Institute of Information and Communications Technology ††† 京都大学, Kyoto University

††† 早稲田大学総合研究機構, Conprehensive Research Organization, Waseda University ††t†† 日本電気株式会社, NEC Corporation
}
ploting Wikipedia. For instance, our method generates two intermediate nodes "work by Akira Kurosawa" and "work by film director" for a original hyponymy relation "work $\rightarrow$ Seven Samurai". We show that our method acquires 2,719,441 hyponymy relations with the first intermediate concepts (such as "work by Akira Kurosawa") with $85.3 \%$ weighted precision and $6,347,472$ hyponymy relations with the second intermediate concepts (such as "work by film director") with $78.6 \%$ weighted precision. Furthermore, we confirm that hyponymy relaitons acquired by our method can be interpreted as "object - attribute - value".

Key Words: Hyponymy relation acquisition, Object-attribute-value acquisition, Wikipedia

## 1 はじめに

上位下位関係は自然言語処理の様々なタスクにおいて最も重要な意味的関係の一つであり, それゆえ盛んに研究されてきた (Hearst 1992; Hovy, Kozareva, and Riloff 2009; Oh, Uchimoto, and Torisawa 2009; Ponzetto and Strube 2007; 隅田，吉永，鳥澤 2009; Suchanek, Kasneci, and Weikum 2007; Nastase and Strube 2008; Snow, Jurafsky, and Ng 2005). これらの過去の研究で は，上位下位関係を，「AはＢ一種あるいはインスタンスであるＡとＢ９関係」と定義して いる．本論文の上位下位関係もこの定義に従う，ただし，「概念」の詳細な表現を可能にするた めに，単一の語だけでなく，「黒澤明の映画作品」のような句や複合語も考慮する．このように 制限を緩めることで，上位概念をより詳細に表現することが可能となる.

上記の定義によれば，次のぺアはいずれも上位下位関係にあると考えられる1.

(1) 「黒澤明の映画作品 $\rightarrow$ 七人の侍」

(2) 「映画作品 $\rightarrow$ 七人の侍」

(3) 「作品 $\rightarrow$ 七人の侍」

質問応答等のアプリケーションを考えた場合, これらの上位下位関係の有用性は異なると考 えられる。例えば,「“七人の侍”とは何ですか？」という質問に対して, 上の 3 つの上位下位関係の上位概念のうち, 答えとして適切なのは最も詳細な上位概念である (1)の「黒澤明の映画作品」と考えられる。一方, (3) の上位概念「作品」は, 「何の作品であるか」という必要な情報が欠落しているため「黒澤明の映画作品」という答えに比べて適切ではない.

本論文では, 以下の 2 つの条件を満たす場合に「下位概念 $\mathrm{C}$ に対して, A は Bより詳細な上位概念」と呼ぶ.
- A と B は同じ下位概念 $\mathrm{C}$ を持つ

・ $\mathrm{B}$ は $\mathrm{A}$ の位概念である
 \rightarrow \mathrm{B}\rfloor$ のように表す.「A」が上位概念で「B」が下位概念である.
}
上記の例では，全ての上位概念が「七人の侍」という同じ下位概念を持ち，かつ，上位概念間 には，それぞれ上位下位関係が成り立つ。「黒澤明の映画作品」の上位概念は「映画作品」，ま たは「作品」, さらに「映画作品」の上位概念は「作品」と考えられる。従って, 下位概念「七人の侍」に対して「黒澤明の映画作品」は「映画作品」や「作品」より詳細な上位概念であり，「映画作品」は「作品」より詳細な上位概念と言うことができる。また，ある上位概念をより詳細な上位概念に置き換える処理を「上位概念の詳細化」と呼ぶ.

本研究では, 自動獲得した上位下位関係の上位概念と下位概念の間に，より具体的な上位概念を中間ノードとして追加することで, 元の上位下位関係を詳細化する. 中間ノードとして追加されるより具体的な上位概念は，元の上位下位関係が記述されている Wikipedia 記事のタイ トルと元の上位概念を「Aの B」の形式で連結することで自動獲得する.

例として「作品 $\rightarrow$ 七人の侍」を挙げる。この上位下位関係は, タイトルが「黒澤明」の Wikipedia 記事の中に現れる。具体的には, 当該記事の「作品」というセクションに「七人の侍」が記載さ れている。本手法では，この情報から，「七人の侍」は黒澤明の「作品」であると推測し，「黒澤明の作品 $\rightarrow$ 七人の侍」を新たに獲得する。さらに，「黒澤明」の上位概念が「映画監督」で あることが獲得済みの上位下位関係から判明すれば，「映画監督の作品 $\rightarrow$ 七人の侍」も獲得で きる. 最終的に, 元の「作品 $\rightarrow$ 七人の侍」から, 「作品 $\rightarrow$ 映画監督の作品 $\rightarrow$ 黒澤明の作品 $\rightarrow$七人の侍」を得ることができる。

本稿ではさらに，本手法により獲得した上位下位関係（例えば「黒澤明の作品 $\rightarrow$ 七人の侍」） が「対象 - 属性 - 属性値」関係（例えば「黒澤明 - 作品 - 七人の侍」）として解釈できるこ とについて議論する。この解釈では, Wikipedia 記事のタイトルが対象に, 上位概念が属性に，下位概念が属性值に対応づけられる。実験で生成した上位下位関係 $2,719,441$ ペアは, $94.0 \%$ の 適合率で，「対象 - 属性 - 属性値」関係として解釈可能であることを確認した。

以下， 2 節では, 既存の手法で獲得された上位概念の問題点を例とともに述べる。 3 節では, Wikipedia からの上位下位関係獲得手法 (隅田 他 2009) について説明する. 4 節では, 我々が開発した, Wikipediaを用いた詳細な上位下位関係の獲得手法について説明する。 5 節では，提案手法の評価とエラー分析の結果について述べる。 6 節では，提案手法により獲得した詳細な上位概念をより簡潔に言い換える試みと，詳細な上位下位関係の「対象 一 属性 - 属性値」関係 としての解釈について議論する．7 節で関連研究について述べる。最後に 8 節で結論を述べる.

## 2 自動獲得された上位概念の問題

本節では, 隅田ら (隅田 他 2009)の手法の出力を例に, 自動獲得された上位概念に見られが ちな問題点について述べる。

自動獲得された上位概念の中には, 一般的なシソーラスにおいてルートノードの近くに位置

して広範囲な下位概念をカバーするものや, 意味的に曖昧なものが存在するという問題が見ら れる．例えば「作品 $\rightarrow$ 七人の侍」における上位概念は「作品」だが，世の中には「作品」と呼 べる物が数多く存在する。さらに極端な例として, 上位概念が「物」や「事」になっている上位下位関係も, 自動で獲得されてしまう可能性がある。このような上位概念を質問応答などの自然言語処理のアプリケーションで利用すると, より詳細な上位概念と比較してその有用性が低 いことが多い．例えば 1 節の例で言及したように「“七人の侍”とは何ですか？」という質問に 対しては，より詳細な上位概念である「黒澤明の映画作品」のほうが「作品」より適切な回答 と考えられる．また，「黒澤明の作品には何がありますか？」といったリスト形式の回答を求め るような質問に対して，上位下位関係を回答の知識源として使うことによって，上位概念「黒澤明の作品」の下位概念をリスト形式で回答できる ${ }^{2}$. 一方, 上位概念「作品」は他の映画作品 や小説作品, 音楽作品などの下位概念を持つため, 「作品」が上位概念として含まれる上位下位関係のみを知識源として利用しても，このような質問に回答することは難しい.

表 1 に，隅田らの手法で獲得された上位下位関係で頻出した上位概念を挙げる。例えば,「ア ルバム」は，写真のアルバムなのか音楽が収録されているアルバムなのか分からず，曖昧であ る. 一方,「出演者」は, これだけでは何に出演したのか分からない.この表から, 自動獲得し た上位下位関係の上位概念には，曖昧，または広範囲な下位概念をカバーする語が頻出してい ることがわかる.

このような問題点は, 隅田らの手法に限らず発生すると考えられる.「Aなどの B」といった 上位下位関係を明示する構文パターンから抽出する手法 (Hearst 1992)においても，例えば「七

表 1 隅田らの手法で獲得された上位下位関係中の上位概念（出現頻度の降順上位 20 語）

人の侍などの作品」というフレーズからは,「七人の侍」の上位概念として「作品」が抽出され る。つまり，他の多くの上位下位関係獲得手法についても当てはまる.

## 3 Wikipediaを用いた上位下位関係の獲得

本節では，隅田らが提案したWikipediaを用いた上位下位関係の獲得手法 (隅田 他 2009)に ついて述べる。この手法により獲得した上位下位関係が，4 節で説明する詳細な上位下位関係獲得の処理対象となる。

この手法では, Wikipedia 記事の階層的なレイアウト構造を利用して上位下位関係を獲得す る. 図 1 に, Wikipedia 記事の例として「アップル インコーポレイテッド」の記事を挙げる. この記事は「Apple ショップ」や「製品」という節があり，「Apple ショップ」の下位には「北海

記事タイトル

## アップル インコーポレイテッド

Annleショップ

## 北海道地方

図 1 Wikipedia 記事の例：アップル インコーポレイテッド
小節の中には, 「Mac mini」や「MacBook」,「MacBook Air」といった項目が存在する. 以後, これらの節見出し，小節タイトル，項目名を term と呼ぶことにする.

図 1 に示す Wikipedia 記事から上位下位関係候補を抽出する処理では, Wikipediaがデータベー スのダンプデータとして提供している MediaWikiソースコード（図 2）を利用する. MediaWiki ソースコードでは，節見出し，小節タイトル，項目名を表現するために特殊な修飾記号が用い られる。例えば節見出しでは $\Gamma==$ 製品 $==\rfloor$, 項目名では $\Gamma * * * M a c$ mini」などの記号が用いら れ，その修飾記号の種類，繰り返し数により，レイアウト構造上の上下関係が決定する.

隅田らの手法では，まず，記事のレイアウト構造上の上下関係（節タイトルは小節タイトル より上位にあり，小節タイトルは項目名より上位にある）を守りながら，2つの term から 1 つ の上位下位関係候補を獲得する。例えば図 1 の場合, 「製品 $\rightarrow$ コンピュータ」や「コンピュー 夕 $\rightarrow$ Mac mini」，「製品 $\rightarrow$ Mac mini」などが獲得される．次に，SVM (Vapnik 1995) を用いて,獲得された上位下位関係候補を正しそうなものとそうでないものに分類する。素性として，以下に示す特徴を上位概念候補，下位概念候補から抽出して利用する。
- 上位概念候補, 下位概念候補の品詞.
- 上位概念候補, 下位概念候補に含まれる形態素.
- 上位概念候補, 下位概念候補の表層文字列.
- 上位概念候補, 下位概念候補が属性語 Xに一致するか否か.（属性語として, 各記事の根 ノード以外のノードに出現する単語を利用. ）
- 上位概念候補, 下位概念候補の修飾記号 (“=”, “*”など).
- 上位概念候補と下位概念候補間のレイアウト構造上の距離.
- 上位概念候補が「主な〜」「〜のリスト」などの上位概念を表現する典型的なパターン に一致するか.
- 上位概念候補と下位概念候補の末尾の 1 文字が一致するか.

$
\begin{aligned}
& \text { <title>アップルインコーポレイテッド</title> } \\
& \text { ==Appleショップ== } \\
& ===\text { 北海道地方 }=== \\
& \text { * Apple Shop ビックカメラ 札幌店 - 2007年6月16日オープン } \\
& ==\text { 製品 }== \\
& ====\text { コンピュータ }==== \\
& \text { *** [[Mac mini]] Intel Core } 2 \text { Duo } 2.4 \mathrm{GHz} / 2.66 \mathrm{GHz} \text { を搭載 } \\
& \text { *** [[MacBook]]（13.3インチ）Intel Core } 2 \text { Duo 2.4GHzを搭載 } \\
& \text { *** [[MacBook Air]]（13.3インチ）Intel Core } 2 \text { Duo } 1.6 \mathrm{GHz} / 1.86 \mathrm{GHz} を \text { 搭載 } \\
& ====\mathrm{iPod}====
\end{aligned}
$

図 2 Media Wikiソースコードの例：アップル インコーポレイテッド
訓練デー夕は，隅田らが実験で用いたデータと同じものを使用した ${ }^{3}$. このデー夕は, Wikipedia から獲得した上位下位関係候補から 29,900 対を抽出し，人手により上位下位関係か否かを判定 することにより作成している.

この処理を 2009-09-27 版の Wikipedia に適用することにより，1,925,676 ペアの上位下位関係 を適合率 $90 \%$ で獲得した。この上位下位関係をべース上位下位関係（図 3(a)）と呼び， 4 節で 説明する詳細な上位下位関係獲得の処理対象とする。

階層的なレイアウトを利用する手法とは別に，隅田らは，Wikipedia 記事の定義文（記事の第一文に該当）を用いた手法と，記事下部にあるカテゴリ情報を用いた手法も提案している。こ れらの手法では記事タイトルが下位概念として使われるため，我々が提案する記事タイトルに よる上位下位関係の詳細化が適用できない。そこで, これら 2 つの手法により得られた上位下位関係はべース上位下位関係として用いず，G-上位概念の生成の際に用いる (4.2 節)。この処理により，2009-09-27 版の Wikipedia からは，522,709 個の記事タイトルに対して 1,472,035 個 の上位概念を適合率 $90 \%$ で獲得した。

## 4 詳細な上位下位関係の獲得手法

2 節で述べた通り，ベース上位下位関係の上位概念の中には広範囲な下位概念をカバーするも のや意味的に曖昧なものが存在する。そこで本節では，ベース上位下位関係を処理対象とした 詳細な上位下位関係の獲得手法について述べる。図 3 に，提案手法の処理の流れの全体像を示

(a) ベース上位下位関係

(b) T-上位下位関係

下位概念 (例: 七人の侍)

(c) G-上位下位関係

図 3 提案手法の処理の流れ

す.まず, ベース上位下位関係の各上位概念をWikipedia 記事のタイトルで詳細化し, 詳細化 された上位概念を元の上位概念と下位概念の間に中間ノードとして挿入する（4.1 節）. 以降で は，Wikipedia 記事のタイトルで詳細化された上位概念を $\mathrm{T}$-上位概念と呼ぶ。また， T-上位概念を中間ノードとして挿入された上位下位関係を $\mathrm{T}$-上位下位関係と呼ぶ（図 $3(\mathrm{~b})$ ). 次に, T上位概念中の記事タイトル箇所をその上位概念で抽象化する事で，元の上位概念よりは詳細た が T-上位概念よりは抽象的な新たな上位概念を得る. 以降では, この上位概念を G-上位概念 と呼ぶ. G-上位概念は, T-上位下位関係の上から二番目，つまり元の上位概念の直下に挿入さ れる (4.2 節). T-上位概念に加え G-上位概念が挿入された上位下位関係を, これ以降, G-上位下位関係と呼ぶ（図 3(c)）。なお本手法では，上位概念に関わらず，全てのベース上位下位関係 を本提案手法により詳細化する。以下，各処理手順を詳しく説明する。

## $4.1 \mathrm{~T$-上位下位関係の獲得}

Wikipedia の記事に出現する節タイトル, 小節タイトル, 項目名などは, その記事のタイトル によって情報を補足できると考えられる。ベース上位下位関係の上位概念は, Wikipediaの記事に出現する節タイトル, 小節タイトル, 項目名などに対応するため, T-上位下位関係の獲得処理では，ベース上位下位関係の上位概念を Wikipedia 記事タイトルで情報を補い，T-上位概念を生成する。上位概念を補う記事タイトルは, その上位概念と下位概念の抽出元の記事から 取得する.

T-上位概念は, 元の上位概念と Wikipedia 記事タイトルを, 助詞「の」によって連結して生成する，例えば，上位概念「作品」と記事タイトル「黒澤明」は，助詞「の」によって連結さ れて「黒澤明の作品」という T-上位概念になる.

生成した $\mathrm{T}$-上位概念は, 元の上位概念と下位概念の中間に挿入する. この結果, 「作品 $\rightarrow$ 黒澤明の作品 $\rightarrow$ 七人の侍」のように, 三階層の T-上位下位関係が生成される（図 3(b)）.

## 4.2 G-上位下位関係の獲得

T-上位概念は, Wikipedia 記事タイトルとベース上位概念を「の」で連結して生成した. 次 に, T-上位概念の中の Wikipedia 記事タイトルの箇所を, その上位概念で置き換えることによっ て, さらなる上位概念となる G-上位概念を生成する. 例えば「黒澤明の作品」という T-上位概念の場合，その Wikipedia 記事タイトルの箇所である「黒澤明」を上位概念である「映画監督」 で置き換えて，「映画監督の作品」という G-上位概念を生成する.

G-上位概念の生成では, Wikipedia 記事タイトルの上位概念が必要になる. Wikipedia 記事夕 イトルの上位概念は, 隅田らの手法のうち, 3 節の最後で述べた, Wikipedia 記事の第一文を用 いる手法と, 記事下部のカテゴリ情報を用いる手法によって獲得する. 例えば図 1 の場合, 記事 タイトルである「アップル インコーポレイテッド」の上位概念の候補がその第一文（「アップ

ル社は，アメリカ合衆国... 製造する多国籍企業である.」）と記事下部にあるカテゴリ情報（カ リフォルニアの企業，多国籍企業，携帯電話メーカー，...)に記載されている．これらの上位概念候補は， 3 節で述べた SVM 分類器によって上位概念か否か判定される.

生成した G-上位概念を, T-上位下位関係の中の元の上位概念と T-上位概念の間に挿入し, G上位下位関係を生成する。G-上位下位関係は，例えば「作品 $\rightarrow$ 映画監督の作品 $\rightarrow$ 黒澤明の作品 $\rightarrow$ 七人の侍」のように, 四階層の上位下位関係となる.

## 5 評価実験

提案手法を評価するため，2009-09-27 版の日本語 Wikipedia ダンプデータを対象として，提案手法により G-上位下位関係を獲得した。表 2 に，獲得した G-上位下位関係の例を挙げる。

生成した G-上位下位関係から以下の三種類の上位下位関係ぺアを抽出し，各ペアが上位下位関係として妥当か評価を行った（図 4 ）.

ベース上位下位関係： 隅田らの手法により獲得した上位下位関係 (例えば「作品 $\rightarrow$ 七人の侍」)

G-上位概念ぺア： G-上位概念とべース上位下位関係の下位概念（例えば「映画監督の作品 $\rightarrow$七人の侍」)

$\mathrm{T}$-上位概念ペア： $\mathrm{T}$-上位概念とベース上位下位関係の下位概念（例えば「黒澤明の作品 $\rightarrow$ 七人の侍」)

Wikipedia ダンプデータを解析した結果， $1,925,676$ 個のベース上位下位関係， $6,347,472$ 個の G-上位概念ぺア，そして，2,719,441 個の T-上位概念ぺアを獲得した。ベース上位下位関係は 二記事以上に出現することがあるため, 出現した記事タイトルを補うことにより生成される T上位概念ぺアの数はべース上位下位関係の数より多くなる。また, $2,719,441$ 個の T-上位概念ぺ アのうち $2,113,040$ ペアに対しては，一つの Wikipedia 記事タイトルに 2 つ以上の上位概念が獲

表 2 評価実験で獲得された G-上位下位関係の例

図 4 評価対象の三種類の上位下位関係ぺア

得されたため, G-上位概念ぺアの数は $\mathrm{T}$-上位概念ぺアの数より多い. 一方, $\mathrm{T}$-上位概念ぺアの うち 342,884 ペアに対しては, 上位概念（Wikipedia 記事タイトル）が獲得できなかったため, それらに対応する G-上位概念ぺアが得られなかった。

獲得した G-上位下位関係から 200 サンプルを評価対象として抽出し, それら 200 サンプルか らべース上位下位関係， T-上位概念ペア，G-上位概念ペアを取得した。サンプリングした G-上位下位関係の中で， 22 個の $\mathrm{T}$-上位概念に対する上位概念が自動獲得できなかったため，これ らは対応する G-上位概念ぺアが得られなかった。最終的に, ベース上位下位関係として 200 ぺ ア， T-上位概念ぺアとして 200 ペア，そして，G-上位概念ぺアとして，サンプリングした G-上位下位関係から抽出可能な 178 ペアを評価した。

いずれも筆者ではない被験者三名により，これらのぺアが上位下位関係として正しいかどう か評価を行った。被験者は次の三種類の評価ラベルを評価サンプルの各ペアに付与した.

Good: 上位下位関係として正しい.

Less good: 上位下位関係としては正しいが,「“下位概念”とは何？」といった質問の回答と して相応しくない上位概念

Bad：上位下位関係として間違っている。あるいは，上位概念または下位概念が意味不明で ある.

評価サンプルの各ペアに対して，被験者二名以上が選択したラベルを最終的な評価ラベルと した. 被験者が三名とも異なる判断をした場合は，著者の一人によって最終的な評価ラべルを 判断した ${ }^{4}$. 被験者三名による評価アノテーションの Kappa 值は 0.58 であった. これは, 本評価実験の評価アノテーションにまずまずの安定性があることを示している.

評価の指標として，次のように定義される重み付き適合率を用いた。
^{4} 578$ ペアの評価サンプルのうち 9 ペアがこのケースに該当した.
}
表 3 上位下位関係の評価結果

 \\

& $(100 / 200)$ & $(92 / 200)$ & $(8 / 200)$ & & 0.702 \\
G-上位概念ペア & 0.702 & 0.169 & 0.129 & 0.786 & 0.850 \\
T-上位概念ペア & $(125 / 178)$ & $(30 / 178)$ & $(23 / 178)$ & & \\
& 0.850 & 0.005 & 0.145 & 0.853 & \\

$
\text { 重み付き適合率 }=\frac{\# G \text { Good } \times 1+\# \text { Less good } \times 0.5+\# \text { Bad } \times 0}{\# \text { Good }+\# \text { Less } \operatorname{good}+\# \text { Bad }}
$

ここで，＃Good，＃Less good，＃Badは，それぞれのラベル数を示す. 本評価実験における重 み付き適合率の計算式では, Good ラベルを 1 つ正解サンプルとしてカウントし, Bad ラベル を正解サンプルとしてはカウントしない。この点は通常の適合率の計算と同じだが, Less good ラベル 1 つにつき， 0.5 を正解サンプル数に追加する点が通常と異なる。この重み付き適合率の 計算方法は Pasca (Pasca 2007, 2009) も採用している。また, Good ラベルのみを正解とした適合率の計算も行った. 表 3 に評価結果を挙げる。この表の重み付き適合率のコラムを見ると, ベース上位下位関係，G-上位概念ペア，T-上位概念ぺアと，獲得される上位概念が詳細なほど 重み付き適合率と Good ラベルのみを正解とした適合率が高くなっていることが読み取れる。

次に，本実験におけるSVM 分類器の効果について考察する。隅田らは，SVMによるフィル タリング処理を行わない場合, Wikipedia 記事の階層的なレイアウト構造から獲得した上位下位関係候補の適合率は 0.284 であると報告している (隅田 他 2009) ${ }^{5}$.つまり，SVMによるフィル タリング処理を行わない場合のベース上位下位関係では Good と Less Good を合わせても全体 の 0.284 しか無く, 残りの候補が上位下位関係では無いと判断される。また, SVMによるフィ ルタリング処理を行わない場合，定義文から獲得した上位下位関係候補は 0.894 ，カテゴリ情報からは 0.705 の適合率であると報告している。本提案手法でも G-上位概念を生成する際に,定義文とカテゴリ情報からフィルタリング処理を行い獲得した上位概念を使用している。この SVM によるフィルタリングの効果を明確にするため, 表 3 と同じ実験対象に対してフィルタリ ング処理を行わずに G-上位概念を生成し，被験者三名による評価実験を行った．結果を表 4 に 示す. SVMによるフィルタリングを用いない結果（表 4）は，フィルタリングを用いる結果（表 3）と比較して, 重み付き適合率が 0.157 低く, SVMによるフィルタリングが効果的であること がわかる.

表 4 上位下位関係の評洒結果（SVM によりフィルタリング処理を行わない場合）

 \\

表 3 の結果では, Good と Less good, Badのコラムからは, ベース上位下位関係, G-上位概念ペア, T-上位概念ペアと, 獲得される上位概念が詳細なぺアほど Less good と判定されるぺア が減少し，Goodあるいは Bad と判定されるぺアが増加する傾向にあることが読み取れる。つ まり，獲得される上位概念が詳細なぺアほど，詳細で正しい上位概念だけでなく，詳細だが間違っている上位概念も増加する傾向にある。詳細で正しい上位概念が増加することは, 本研究 の当初の狙い通りのポジティブな側面であるが，間違っている上位概念が増加するのは予期し なかったネガティブな側面である。そこで， T-上位概念ぺアに焦点を当てて，本提案手法によ る誤りの原因を次の三種類に分類した。

エラータイプ 1： ベース上位下位関係の誤りが原因となり, 間違いと判定された. エラー全体 の $27.6 \% を$ 占める.

例）「リンチバーグのヘリテイジ高校 $\rightarrow$ ペリーモン小学校」

エラータイプ 2 ： 助詞「の」が元の上位概念と Wikipedia 記事タイトルを連結する表現として 不適切であり, その結果生成された T-上位概念が意味不明なため, 間違いと判定された. エラー全体の $3.4 \% を$ 占める.

例）「原山理一郎のアナウンサー $\rightarrow$ 小林豊」

エラータイプ 3：Wikipedia 記事タイトルによる詳細化によって上位概念が下位概念を包含す る概念ではなくなったため（上位下位関係ではなくなったため）, 間違いと判定された.

エラー全体の $69.0 \%$ を占める.

例）「大垣市の公共施設 $\rightarrow$ 図書館」

エラータイプ 1 の例「リンチバーグのヘリテイジ高校 $\rightarrow$ ペリーモン小学校」におけるべース 上位下位関係は「へリテイジ高校 $\rightarrow$ ペリーモン小学校」であるが, これは上位下位関係として 間違いである．３節で述べた通り，ベース上位下位関係は隅田らの手法で獲得されるものであ り, 本提案手法は隅田らの手法の wrapper として機能するため, 隅田らの手法のエラーはその まま本提案手法に引き継がれる。つまり，エラータイプ 1 は提案手法を原因とはしていない.

エラータイプ 2 の例「原山理一郎のアナウンサー $\rightarrow$ 小林豊」におけるべース上位下位関係 は「アナウンサー $\rightarrow$ 小林豊」であり, 上位下位関係として正しい. しかし, 本提案手法により,「アナウンサー $\rightarrow$ 小林豊」を獲得した Wikipedia 記事のタイトル「原山理一郎」を元の上位概念「アナウンサー」に助詞「の」によって連結したため,「原山理一郎のアナウンサー」という
意味不明な上位概念が生成された。この意味不明な上位概念が本来意味するところは「原山理一郎と同期入社のアナウンサー」である。つまり，元の上位概念と Wikipedia 記事タイトルを 一様に助詞「の」で連結するというナイーブな手法がこのタイプのエラーの原因となっている.

エラータイプ 3 の例「大垣市の公共施設 $\rightarrow$ 図書館」におけるべース上位下位関係は「公共施設 $\rightarrow$ 図書館」であり，これは上位下位関係として正しい。このベース上位下位関係を獲得した Wikipedia 記事のタイトルが「大垣市」である。そのため，本提案手法により「大垣市の公共施設 $\rightarrow$ 図書館」という T-上位下位関係が獲得された. しかし，「大垣市の公共施設」という概念 は, 元の上位概念である「公共施設」より詳細になってはいるが, 「図書館」という概念を包含 していない（大垣市の図書館以外にも図書館は存在する）ので，「大垣市の公共施設 $\rightarrow$ 図書館」 は上位下位関係としては間違いとなる。

本提案手法の間違いの中でエラータイプ 3 に属するものが $69.0 \%$ と多数を占める. エラータ イプ 3 に属する不適切な上位下位関係ぺアの多くは, 下位概念が普通名詞によって表されるも のであり，正解と判定された上位下位関係ぺアは，下位概念が固有名詞によって表されるもの がほとんどであった。つまり，下位概念が普通名詞で表されている上位下位関係ぺアを出力か ら除外することでエラータイプ 3 に属する間違いを減らすことができると考えられる。そこで，次の条件のいずれかに合致する term は普通名詞である可能性が高いと仮定し，下位概念が普通名詞である上位下位関係ペアを，評価サンプルのベース上位下位関係，T-上位概念ペア，G-上位概念ペアから除外した。
- Wikipedia 記事の節タイトル，あるいは小節タイトルとして使われている term

・一定記事数（実験では 30 記事）以上に出現した term

表 3 と同じ処理対象に対して，下位概念が普通名詞と判断された上位下位関係を除外した場合の評価結果を表 5 に示す。下位概念が普通名詞と判断された上位下位関係を除外したため, ベース上位下位関係と T-上位概念では処理対象数が 200 ペアから 150 ぺアに，G-上位概念では 178 ペアから 129 ペアに減少している. 表 3 の結果と比べると, G-上位概念ぺアの重み付き適

表 5 普通名詞で表される下位概念を持つ上位下位関係を除外した場合の評価結果

 \\

G-上位概念 ペア & 0.767 & 0.171 & 0.062 & 0.853 & 0.767 \\
T-上位概念 ペア & $(99 / 150)$ & $(70 / 150)$ & $(5 / 150)$ & & 0.933 \\
& 0.933 & 0.007 & 0.060 & 0.937 & \\

合率が $6.7 \%$, T-上位概念ぺアの重み付き適合率が $8.4 \%$ 向上していることがわかる. しかし, 全処理対象に対する獲得ぺア数は， T-上位概念ぺアが 2,719,441 ゚゚アから 1,958,117ペアへ，G-上位概念ペアが $6,347,472$ ペアから $4,960,751$ ペアへと減少した. 獲得ぺア数を保ちながら重み付 き適合率を向上させる手法の開発は今後の課題とする.

## 6 応用

本節では，G-上位概念をより簡潔に言い換える手法と， T-上位概念ぺアの「対象 - 属性 属性値」関係としての解釈について議論する.

## $6.1 \mathrm{G$-上位概念のより簡潔な表現への言い換え}

G-上位概念のいくつかはより簡潔な表現に言い換えることができる。この言い換え処理が自動化できれば，本提案手法で獲得した上位下位関係を既存のシソーラスと関連づけることが可能になる。例えば，G-上位概念として生成された「映画監督の作品」は「映画」に言い換えて も問題ないと考えられる ${ }^{6}$.この言い換えにより, 本提案手法で獲得した「映画監督の作品」の 下位概念（映画のタイトルなどのインスタンスを含む）を既存のシソーラスの「映画」の位置 に追加することができる.

そこで予備実験として, 本提案手法で獲得した G-上位概念のうち最頻出の 20 概念に対して 簡潔な言い換え表現を手作業で作成し，それらによって上位概念が言い換えられた G-上位下位関係の適合率を評価した。表 6 に，G-上位概念とその言い換え表現の例を挙げる。言い換え対象の 20 の G-上位概念を含む G-上位概念ぺアは全部で 59,890 ペア，この G-上位概念に含まれ る下位概念の異なり数は 54,981 個であった。その中から 200 ペアをサンプリングし，言い換え 後の上位概念と下位概念のぺアが上位下位関係であるか判定する実験を行った。実験では，筆者を含まない三名の被験者により判定を行い, 二名以上が支持した結果を最終的な判定として 使用した。三名の被験者の一致率を示す Kappa 值は 0.674 で，十分な一致率であると考えられ

表 6 G-上位概念の簡潔な言い換え表現の例

る。実験の結果，言い換え後の上位概念と下位概念のペアが上位下位関係として正しいと判定 された適合率は $78.0 \%$ であった。

言い換え後の上位概念は既存のシソーラスに存在する単語を利用しているため，言い換え表現を 20 表現用意するだけで，異なり数 54,981 個の下位概念を適合率 $78.0 \%$ で既存のシソーラ スに追加できることがわかる。全べース上位下位関係における下位概念異なり数は $1,199,826$ 個

今後，重複する下位概念などの情報を利用することによりこの言い換え表現を自動獲得し，カ バー率を向上させることが課題となる.

## $6.2 \mathrm{~T$-上位概念ペアの「対象 - 属性 - 属性値」関係としての解釈}

T-上位概念ぺアは, Wikipedia 記事から獲得したべース上位下位関係と，その Wikipedia 記事のタイトルから構成される。この Wikipedia 記事のタイトルとベース上位下位関係の上位概念, 下位概念は，対象とその属性，属性值という 3 つ組として解釈することができる．例として 「黒澤明の作品 $\rightarrow$ 七人の侍」という $\mathrm{T}$-上位概念ぺアを挙げる。この $\mathrm{T}$-上位概念ぺアでは，「黒澤明」が Wikipedia 記事のタイトルで,「作品～七人の侍」がその記事から獲得された元のべー ス上位下位関係である。この場合, 「作品」と「七人の侍」を「黒澤明」という対象の属性, 属性値と解釈することができる．同様に，「シリコングラフィックスの製品 $\rightarrow$ IRIS Crimson」と いう T-上位概念ぺアの場合も，「製品」と「IRIS Crimson」を「シリコングラフィックス」と いう対象の属性，属性値と解釈することができる。

5 節にある通り本提案手法による上位概念の詳細化は高い性能を示しているが，このことは， $\mathrm{T}$-上位概念ぺアが「対象 - 属性 - 属性値」関係として解釈可能であるという上記の観察結果 によって, 次のように説明できる。一般的に，属性は，それがどの対象の属性かを明示するこ とで詳細化できると言える。本提案手法は, 属性と上位概念の term, 対象と Wikipedia 記事夕 イトルを対応づけた上でこの一般論に倣い，上位概念の term がどのタイトルの Wikipedia 記事 から得られた term かを明示することで上位概念を詳細化している。従って，どの対象かを明示 することで属性を詳細化できるという一般論が正しい限りにおいて, 本提案手法は正しく上位概念を詳細化できる。

$\mathrm{T}$-上位概念ぺアが「対象 - 属性 - 属性值」関係として解釈できるという仮説が正しいかど うかを明らかにするために， T-上位概念ぺアを「対象 - 属性 - 属性値」関係として評価した. まず，5 節の評価実験で使用した G-上位下位関係 200 サンプル（普通名詞で表される下位概念 を持つ上位下位関係も含む）から，ベース上位下位関係に対応する元の上位概念と下位概念, T-上位概念の Wikipedia 記事タイトル箇所を取り出し，「Wikipedia 記事タイトル - 上位概念一下位概念」の 3 つ組を 200 個用意した。この評価データを「T-上位概念セット」と呼ぶ.こ れらとは別に，比較のため, 隅田らの手法の処理途中で得られる上位下位関係候補（SVM で分
類される前のベース上位下位関係の候補. 3 節を参照）と，それらの出所である Wikipedia 記事のタイトルによって, 「Wikipedia 記事タイトル - 上位概念候補 - 下位概念候補」の 3 つ組 を 200 個用意した.この評価データを「上位下位候補セット」と呼ぶ. 2 つの評価デー夕の違い は，上位下位候補セットには上位下位関係としては不適切な上位概念と下位概念がより多く含 まれているという点にある。

次に，3名の被験者（いずれも著者ではない）によって, これらの 3 つ組が「対象 - 属性 属性値」として正しいかを評価する実験を行った，評価サンプルは， T-上位概念セットの 200 と上位下位候補セットの 200 の計 400 である. これら 400 サンプルはシャッフルした上で被験者に提示した. 評価の際は, 次の 3 種類の評価ラベルを使用した.

Vital: 「対象 - 属性 - 属性值」として適切.

Okay: 「対象 - 属性 - 属性值」として適切たが, その対象にとって当該の属性, 属性値は 本質的なものとは言えない.

Wrong: 「対象 - 属性 - 属性値」として不適切。

5 節の評価実験と同様, 2 名以上の被験者が付与したラベルを各 3 つ組の最終的な評価ラベル とした。もし 3 名の被験者が皆異なる判断をした場合, 著者の一人が最終的な評価ラべルを決定した 7 . 被験者 3 名による評価ラベリングの Kappa 値は 0.51 であり，本実験の評価ラベリン グにまずまずの安定性があることを示している。重み付き適合率は， 5 節の評価実験で使用し た, 式 (1) と同様に，ラベルが Vital であるものを 1.0, Okey を 0.5 , Wrong を 0 として正解サ ンプル数をカウントして算出した (Pasca 2007, 2009). 評価結果を表 7 に示す.

T-上位概念セットの「対象 - 属性 - 属性値」関係としての重み付き適合率が $94.0 \%$ である ことから， T-上位概念ぺアが「対象 - 属性 - 属性値」関係として解釈できるという仮説は正 しいと考えられる。この重み付き適合率は, 表 3 における T-上位下位概念ぺアの重み付き適合率より高い.これは，5 節で述べたエラータイプ 3 のものが, 「対象 - 属性 - 属性值」関係と しては，正しい関係と判定されることに起因する．例えば，エラータイプ 3 の例「大垣市 - 公共施設 - 図書館」は,「対象 - 属性 - 属性値」関係としては正しい.

表 7 T-上位概念ぺアの「対象 - 属性 - 属性值」としての評価結果

一方, 上位下位候補セットの「対象 - 属性 - 属性値」関係としての適合率は $53.5 \%$ と低い. このことは, Wikipedia 記事タイトルとその記事から取り出した 2 つの term（節タイトル，小節タイトル，項目名）ならどんなものでも「対象 - 属性 - 属性値」関係として解釈できるわ けではない，ということを示唆している。つまり，2つのt termが上位下位関係として適切な場合にのみ,「Wikipedia 記事タイトル - 上位概念の term - 下位概念の term」が「対象 - 属性 —属性値」関係として解釈できる，ということを意味している.

## 7 関連研究

大量文書からの上位下位関係の獲得手法はこれまでに数多く提案されてきた。これらは言語表現パターンを用いるもの (Hearst 1992; Ando, Sekine, and Ishizaki 2004)，クラスタリン グに基づくもの (Pantel and Ravichandran 2004; Etzioni, Cafarella, Downey, Popescu, Shaked, Soderland, Weld, and Yates 2005), HTML 文書の構造を利用するもの (Shinzato and Torisawa 2004), Wikipedia の構造を利用するもの (隅田 他 2009; Oh et al. 2009; Yamada, Torisawa, Kazama, Kuroda, Murata, De Saeger, Bond, and Sumida 2009) に大きく分類することができる.

上位下位関係を構成する概念の詳細さの問題に取り組んだ研究は我々の知る限り Hovy らの 研究 (Hovy et al. 2009)のみである. Hovy らは, Doubly-Anchored Pattern と呼ばれる語彙統語 パターンを用いた bootstrap 手法によって, “people / Shakespeare"といった上位下位関係に中間語 writersを挿入する手法を提案した。しかし彼らの手法では, あらかじめ決めた “animals” と "people" という 2 種類のルートコンセプトのみを対象としている。一方，本提案手法では，処理対象に制限はなく，あらゆる上位概念を扱うことができる。

本提案手法では Wikipediaを知識獲得源として利用しているが, Wikipediaからの知識獲得研究は近年活発化している (Kazama and Torisawa 2007; Ponzetto and Strube 2007; Suchanek et al. 2007; Nastase and Strube 2008; 隅田 他 2009; Oh et al. 2009; Yamada et al. 2009). Wikipedia からの知識獲得という文脈における本研究の新規性は, Wikipedia の百科事典としての性質を 利用することで, 上位下位関係としてだけではなく, 「対象 - 属性 - 属性值」関係としても解釈可能な知識を獲得する手法を開発した点にある。一般的に,「対象 一 属性 - 属性値」関係に おける属性と属性値のぺアは, 上位下位関係と解釈できないものも多数存在する。提案手法に より獲得できる「対象 一 属性 一 属性值」関係は, その属性と属性値が上位下位関係を持つも のに限定しているが, 「対象 - 属性 - 属性値」関係を大量かつ高精度に獲得している.

## 8 おわりに

本稿では, 自動獲得した上位下位関係の上位概念を, Wikipediaの情報を利用することで, よ り詳細にする手法を提案した。本手法により，2,719,441 個の T-上位概念ぺアを重み付き適合率 $85.3 \%$ で， $6,347,472$ 個の G-上位概念ぺアを重み付き適合率 $78.6 \%$ で獲得することができた. さ らに，下位概念が普通名詞である上位下位関係ぺアを除く処理を行うことにより，1,958,117 個 の T-上位概念ぺアに対する重み付き適合率を 93.7\%，4,960,751 個の G-上位概念ぺアの重み付 き適合率を $85.3 \%$ に向上できることを確認した。この結果は, ベースとしている上位下位関係獲得手法 (隅田他 2009) における適合率（1,925,676ペアに対して $90.0 \% ）$ と比較して十分な精度であると考えられる。また，G-上位概念をより簡潔に言い換える（例えば「映画監督の作品」 を「映画」に言い換える）実験を行い，わずか 20 個の G-上位概念の言い換え表現を作成する ことで，59,890 個の下位概念を適合率 $78.0 \%$ で既存のシソーラスに追加できる可能性があるこ とを明らかにした，最後に，本手法で獲得した上位下位関係が，「黒澤明 - 作品 - 七人の侍」 などのように, 「対象 - 属性 - 属性値」として解釈できることについて示した.

提案手法により生成した詳細な上位下位関係を使用することによって，質問応答におけるよ り適切な回答の生成や，「黒澤明の作品」の一覧といった「対象一属性」に対する属性値の検索 が可能となる.この「対象一属性」に対する属性値の検索結果は, リスト形式の回答を求める ような質問応答のタスク (Dang et al. 2006, 2007)でも有用となる. さらに提案手法は, 上位概念を詳細化して既存のシソーラスを拡張する手法としても利用可能と考えられる.

提案手法では T-上位概念を生成する際, 元の上位概念と Wikipedia の記事タイトルを助詞「の」によって連結した，助詞「の」は多様な意味で用いることができるので，我々が実験した 範囲では, この単純な方法がほとんどの場合に成功する。しかし, 助詞「の」以外に, 上位概念と Wikipedia 記事タイトルを結ぶより適切な表現が存在することもある. 例えば「作品」と 「黒澤明」の場合，「の」よりも「による」で連結した方が，日本語表現として適切な T-上位概念を生成できる. Torisawa (Torisawa 2001) は与えられた 2 つの名詞を連結する最も適切な表現 を選択する手法を開発した. Torisawaの手法により我々の提案手法がさらに洗練されたものに なる可能性が高いが, これは今後の課題とする.

## 参考文献

Ando, M., Sekine, S., and Ishizaki, S. (2004). "Automatic Extraction of Hyponyms from Japanese Newspaper Using Lexico-syntactic Patterns." In Proceedings of the 4th International Conference on Language Resources and Evaluation (LREC), pp. 387-390.

Dang, H., Lin, J., and Kelly, D. (2006). "Overview of the TREC 2006 Question Answering

Track." In Proceedings of the Fifteenth Text REtrieval Conference.

Dang, H., Lin, J., and Kelly, D. (2007). "Overview of the TREC 2007 Question Answering Track." In Proceedings of the Sixteenth Text REtrieval Conference.

Etzioni, O., Cafarella, M., Downey, D., Popescu, A.-M., Shaked, T., Soderland, S., Weld, D. S., and Yates, A. (2005). "Unsupervised named-entity extraction from the web: An experimental study." Artificial Intelligence, 165 (1), pp. 91-134.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In Proceedings of the 14th conference on Computational Linguistics (COLING), pp. 539-545.

Hovy, E., Kozareva, Z., and Riloff, E. (2009). "Toward Completeness in Concept Extraction and Classification." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 948-957.

Kazama, J. and Torisawa, K. (2007). "Exploiting Wikipedia as External Knowledge for Named Entity Recognition." In Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 698-707.

Nastase, V. and Strube, M. (2008). "Decoding Wikipedia Categories for Knowledge Acquisition." In Proceedings of the 23rd AAAI Conference on Artificial Intelligence (AAAI), pp. 1219-1224.

Oh, J.-H., Uchimoto, K., and Torisawa, K. (2009). "Bilingual Co-Training for Monolingual Hyponymy-Relation Acquisition." In Proceedings of ACL-09: IJCNLP, pp. 432-440.

Pantel, P. and Ravichandran, D. (2004). "Automatically Labeling Semantic Classes." In Proceedings of the Human Language Technology and North American Capter of the Association for Computational Linguistics Coference (HLT-NAACL), pp. 321-328.

Pasca, M. (2007). "Organizing and Searching the World Wide Web of Facts-Step Two: Harnessing the Wisdom of the Crowds." In Proceedings of the 16th World Wide Web Conference ( $W W W)$, pp. 101-110.

Pasca, M. (2009). "Outclassing Wikipedia in Open-Domain Information Extraction: WeaklySupervised Acquisition of Attributes over Conceptual Hierarchies." In Proceedings of the 12th Conference of Europian Chapter of the Association of Computational Linguistics (EACL), pp. 639-647.

Ponzetto, S. P. and Strube, M. (2007). "Deriving a Large-Scale Taxonomy from Wikipedia." In Proceeding of the 22nd Conference on the Advancement of Artificial Intelligence (AAAI), pp. 1440-1445.

Shinzato, K. and Torisawa, K. (2004). "Extracting Hyponyms of Prespecified Hypernyms from

Itemizations and Headings in Web Documents." In Proceedings of the 20th Conference on Computational Linguistics (COLING), pp. 938-944.

Snow, R., Jurafsky, D., and Ng, A. Y. (2005). "Learning Syntactic Patterns for Automatic Hypernym Discovery." In Proceedings of the Neural Information Processing Systems (NIPS). Suchanek, F. M., Kasneci, G., and Weikum, G. (2007). "Yago: A Core of Semantic Knowledge." In Proceedings of the 16th World Wide Web Conference (WWW), pp. 697-706.

Torisawa, K. (2001). "An Unsuperveised Method for Canonicalization of Japanese Postpositions."

In Proceedings of the 6th Natural Language Processing Pacific Rim Symposium (NLPRS), pp. 211-218.

Vapnik, V. N. (1995). The Nature of Statistical Learning Theory. Springer-Verlag New York, Inc., New York, USA.

Yamada, I., Torisawa, K., Kazama, J., Kuroda, K., Murata, M., De Saeger, S., Bond, F., and Sumida, A. (2009). "Hypernym Discovery Based on Distributional Similarity and Hierarchical Structures." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 929-937. Association for Computational Linguistics.

隅田飛鳥, 吉永直樹, 鳥澤健太郎 (2009). Wikipedia の記事構造からの上位下位関係抽出. 自然言語処理, 16 (3), pp. 3-24.

## 略歴

山田 一郎：1993 年名古屋大学大学院修士課程修了. 同年 NHK 入局. 2008 か ら 2011 年（独）情報通信研究機構出向. 現在 NHK 放送技術研究所主任研究員. 博士（情報科学）

橋本力：2005 年京都大学情報学研究科産学官連携研究員を経て, 2007 年山形大学大学院理工学研究科助教, 2009 年より独立行政法人情報通信研究機構専攻研究員. 博士 (言語科学, 情報学).

呉 鍾勲：2005 年 KAIST（韓国科学技術院）電子電算学科電算学専攻博士課程卒業. 同年 KAIST 研究員を経て, (独) 情報通信研究機構に専攻研究員と して着任. 博士 (工学). 自然言語処理の研究に従事.

鳥澤健太郎：1995 年東京大学大学大学院博士課程中退. 同年同大学院助手. 北陸先端科学技術大学院大学助教授を経て, 現在,（独）情報通信研究機構情報分析研究室室長. 博士 (理学). 日本学術振興会賞など受賞.

黒田航: 現京都大学・京都工芸繊維大学 (非常勤講師), 早稲田大学情報教育研究所 (招聘研究員). 元 (独) 情報通信研究機構知識創成コミュニケーショ ン研究センター言語基盤グループ研究員. 京都大学から人間・環境学博士を
取得. 言語学の認知科学と自然言語処理と言語教育を融合する研究に従事.

Stijn De Saeger: 2006 年北陸先端科学技術大学院大学知識科学研究科博士課程修了. 博士 (知識科学). 北陸先端科学技術大学院大学研究員を経て, 2007 年に情報通信研究機構に入所. 2008 年に NICT MASTAR プロジェクト言語基盤グループに専攻研究員として着任．自然言語処理を用いた知識獲得の研究に従事.

土田 正明： 2005 年東京理科大学大学院修士課程修了. 同年 4 月より $\mathrm{NEC}$ に 入社. 2009 年 4 月から 2011 年 3 月まで（独）情報通信研究機構に出向し, 現在は NEC に復帰. 2008 年人工知能学会大会優秀賞を受賞.

風間 淳一: 2004 年東京大学大学院情報理工学系研究科博士課程修了. 博士 (情報理工学). 同年北陸先端科学技術大学院大学助手. 2008 年より情報通信研究機構. 現在, 情報分析研究室主任研究員.


# マイクロブログにおける感情・コミュニケーション・動作タイプ の推定に基づく顔文字の推薦

江村 優花 ${ }^{\dagger, \dagger+} \cdot$ 関 洋平计
}

現在, 電子メール，チャット，マイクロブログなどのメディアで，顔文字は日常的 に使用されている，顔文字は，言語コミュニケーションで表現できない，ユーザの 感情やコミュニケーションの意図を表すのに便利であるが，反面，その種類は膨大 であり，場面に合った顔文字を選ぶことは難しい，本研究では，ユーザの顔文字選択支援を目的として，ユーザが入力したテキストに現れる感情，コミュニケーショ ン, 動作のタイプ推定を行い, 顔文字を推薦する方法を提案する。感情, コミュニ ケーション，動作のタイプは，Twitter から収集したコーパスを用いてカテゴリを定義し, 推定システムは, $k$ - $\mathrm{NN}$ に基づき実現した。また, システムが推薦する顔文字 がユーザの意図にどの程度適合しているか，5名の被験者により評価した結果，91 件のつぶやきに対して $66.6 \%$ の顔文字が適切に推定されており, 感情カテゴリのみ を用いて推薦された結果と比べて, 提案手法の顔文字推薦の精度が有意に向上して いることがわかった。

キーワード : 顔文字推薦, 感情カテゴリ, コミュニケーションタイプ, 動作タイプ, マイク ロブログ
## Facemark Recommendation based on Emotion, Communication, and Motion Type Estimation

## in Microblogs

\author{
Yuka Emura ${ }^{\dagger, \dagger \dagger}$ and Yoher Seki ${ }^{\dagger \dagger \dagger}$
}

Many users use facemarks everyday in recent computer mediated communication environments such as e-mail, chatting, and Microblogs. Although facemarks are useful to express the emotion or communication intentions beyond natural language communication, many users feel difficult to choose the right one from lots of candidates according to the situation. We propose a method to recommend facemarks based on the estimation of emotions, communication, or motion types in texts written by users. Emotion, communication, or motion types are defined with Twitter corpus, and estimation system is implemented with $k$-NN. Five assessors evaluated the relevance of recommended facemarks for their intention, and found that $66.6 \%$ of facemarks for

91 tweets were recommended properly, which improved significantly over the recommendation only from emotion categories.

Key Words: Facemark Recommendation, Emotion Category, Communication Type, Motion Type, and Microblog

## 1 はじめに

現在，電子メール，チャット，Twitter ${ }^{1}$ に代表されるマイクロブログサービスなど，文字べー スのコミュニケーションが日常的に利用されている。 これらのコミュニケーションにみられる 特徴の一つとして，顔文字があげられる (Ptaszynski 2012). 旧来の計算機を介した電子メール など，ある程度時間のかかることを前提としたコミュニケーションでは，直接会った際に現れ る非言語的な情報, 具体的には, 表情や身振りから読み取ることのできる感情やニュアンスな どの手がかりが少なくなることから，フレーミングなどのリスクを避けようとすると, 個人的 な感情を含まない目的のはっきりした対話に用いることが適切とされる (Derks, Bos, and von Grumbkow 2007). 一方, 利用者のネットワークへのアクセス時間の増加に伴い, マイクロブロ グや携帯メールなど, リアルタイム性の高いコミュニケーションメディアが発達するとともに,親しい友人同士の非目的志向対話への需要は増している.このようなコミュニケーションにお いては，顔文字が，対面コミュニケーションにおける非言語情報の一部を補完するとされてい る (Derks et al. 2007).

顔文字とは“(-ー)”のように，記号や文字を組みあわせて表情を表現したもので，テキスト 中で表現された感情を強調・補足できる, という利点がある。一方, マイクロブログや携帯メー ルなど, リアルタイム性の高いコミユニケーションメディアの発達と時期を同じくして, その 種類は増加の一途をたどっている。その中から，ユーザが文章で伝えたい感情に適切な顔文字 を，ただとつだけ選択するのは困難である。また，顔文字入力の主な方法である顔文字辞書 による選択では，指定された分類カテゴリ以外の意味での使用を目的とした顔文字を入力する ことは難しく，予測変換機能では，単語単位を対象としてしか顔文字を提示できない，そのほ かの手段として，他のテキストからのコピーアンドペーストやユーザ自身による直接入力があ るが, これらは操作数が多く, 効率的ではない.

そこで, 本研究では, ユーザによる適切な顔文字選択の支援を目的とし, ユーザの入力文章 から, 感情カテゴリやコミュニケーションや動作を反映したカテゴリを推定し, 顔文字を推薦 するシステムの構築を目指す.

本論文の構成は以下のとおりである，2節では，関連研究を紹介する，3節では，顔文字推薦 のために本研究で定義したカテゴリについて説明する．4節では，顔文字推薦システムの実現

について紹介し， 5 節では，評価実験について説明する．最後に， 6 節で結論をまとめる.

## 2 関連研究

顔文字推薦を目指した先行研究として, Suzuki and Tsuda (2006)では, ユーザの入力した文章から Plutchik の体系に基づき感情を推定し，顔文字を推薦することを試みている．また，感情と顔文字の関係を利用した別の応用事例として, 感情值を入力とした顔文字パーツの生成 (中村, 池田, 乾, 小谷 2003), 文章と顔文字を利用した感情推定 (篠山, 松尾 2010), 顔文字の抽出と感情解析 (Ptaszynski, Maciejewski, Dybala, Rzepka, and Araki 2010) 等の研究が行われて いる. 本研究では, 感情に限らず, コミュニケーションや動作を反映したカテゴリに基づく顔文字推薦の効果について検証を進める.

また, 村上, 山田, 萩原 (2011) は, 顔文字に関する調査や考察を行っている. 彼らの調査の 結果, 顔文字は, 単純な極性にはわけられず, 複雑な感情にわかれることや, 顔文字自体の極性 と文の極性とが異なる場合があることが明らかとなった。川上 (2008)の研究では, 顔文字の表 す感情について調査しており，1つの顔文字は複数の感情を表す場合があることを示している.

一方, 河野 (2003)は, 年代や性別による顔文字の使用理由について調査を行った結果, 文字 だけではそっけない画面をにぎやかにするため, 自分の伝えたい感情を強調する, 文章の深刻さ を和らげる, などの理由を明らかにした。加藤, 加藤, 島峯, 柳沢 (2008) は, 顔文字が感情を 表すことを感情表現機能，顔文字を使うことで言葉での表現が減ることをメール本文代替機能 と呼んでいる，彼らは，顔文字を使用することでメール本文の文字数が減ること，親しい間柄 では感情表現機能，メール本文代替機能がより使用されることを明らかにしている。また，山口, 城 (2000)では, 電子掲示板, ネットニュース, メーリングリストなどを対象として, 顔文字から受ける情緒・感情について内容分析を行った結果, 礼, 謝罪, 要請などのカテゴリが存在することを明らかにした。

加藤らの研究から, 文の感情を顔文字が代替する機能, つまり文の感情を強調する機能を持っ ていることが明らかとなった一方, 河野らの研究からは, 画面をにぎやかにする, 文章の感情 を和らげる，といった機能を持つことがわかった．このことから，顔文字を推薦するためには，単純に文章の感情のみを手がかりとするだけでなく, 文章に現れる特定の表現なども考慮した ルールを設定しなければならない. 本研究では, これらの傾向をより詳細な形で明らかにする ため, 顔文字を含む文章を分析し顔文字の使われ方を調査する。そしてその結果から, 親密な やりとりが多く出現するマイクロブログにおいて，顔文字推薦を行うためには，感情以外に必要な, コミュニケーションや動作を反映したカテゴリを, 山口, 城 (2000)よりも詳細に区別す る必要があることを明らかにし, 顔文字推薦システムを構築する.

また，顔文字ではないが，Twitter の文章に絵文字を推薦する研究として橋本 (2011) がある.
橋本の研究では，まず入力文章を形態素解析し，それを単語 3 グラムに分割する，そして絵文字入りコーパスを用い，単語 3 グラムと類似するコーパス中の文で用いられている絵文字を文章に挿入している。

しかし, 絵文字は, 顔文字と比べると, キャラクター, 動物, ハートマーク, アイスキャン ディーのような記号など, 装飾要素が強く, 文の任意の位置に挿入される傾向が強い. 一方,顔文字は，感情やコミュニケーションを反映した表現の直後の位置以外には入りにくい。した がって，感情やコミュニケーションを反映した手がかり語辞書を用いて，カテゴリを推定した 方が，顔文字推薦の目的には有効と考える。また，感情推定については，ポジネガ推定を前処理とする 2 段階推定にすることで, 精度が向上することが徳久, 乾, 松本 (2009) から明らかに なっている.

本研究では，マイクロブログ (Twitter) の文章を収集し，コーパスを作成する。また，入力文 に含まれる感情語や特定の表現などを手がかりにコーパスから類似文を見つけ，感情やコミユ ニケーションのカテゴリ推定を行う．カテゴリ推定については, 徳久 他 (2009)にならい, 2 段階での推定を行う。その結果を用いて, 作成した顔文字データベースから顔文字を推薦する。

マイクロブログを対象とした感情推定については, 感情語辞書から音韻論に基づき長音化した ものを検出すること (Brody and Diakopoulos 2011) や，顔文字そのものやハッシュタグを使っ て訓練データを拡張すること (Purver and Battersby 2012)により，感情推定の精度向上を目指 す研究がある.これらのアプローチは興味深いが, 前者は言語に依存しており, 後者は少数の 感情を除いて対応関係が曖昧とされていることから, 本研究では, これらのデータの拡張は行 わずに，定義したカテゴリの顔文字推薦についての効果を明らかにすることに主眼を置く.

## 3 顔文字推薦に用いるカテゴリの定義

本研究で提案する顔文字推薦システムは, 大きく分けてカテゴリ推定と顔文字推薦の 2 種類 の処理から構成される。本節では，それぞれの処理を行う際に必要となる情報が何かを分析し， その結果，必要となる基本情報を定義する。

## 3.1 カテゴリの調査方法

顔文字推薦のためのカテゴリ推定を行うにあたって，必要な感情カテゴリ，また，コミュニ ケーションや動作を反映したカテゴリを明らかにするため，調査を行った．調査デー夕には， きざしラボ (株式会社きざしカンパニー 2011) が提供する顔文字 92 個を含む Twitter のつぶや き 1,722 件を収集し使用した。これらのデータに，極性（ポジティブ，ネガティブ，なしの 3 種類）と感情カテゴリ（中村 (1993)，「喜」「怒」「哀」「恥」「怖」「好」「厭」「昂」「安」「驚」の 10 種類）をそれぞれ分類して付与した。また， 10 種類のカテゴリに分類することができず，よく
現れるような表現の場合は，新たにカテゴリを定義した.

調査の結果，顔文字推薦に必要な情報として，定義した情報の例を以下に示す.

(1) 感情の種類について

（a）「不快」「不安」など，頻出する項目を中心に，感情カテゴリを定義した．また， Twitterのつぶやきには，期待を表す表現や，疲れを表す表現などを含む文章が多 く見られた。しかし, 中村 (1993)の感情分類にはそれらを表す感情カテゴリはな いため，新たに「期待」，「疲れ」という感情カテゴリを定義した.

(2) 感情以外の特徴について

(a) $\quad \mathrm{m}\left(\right.$ - _ $^{2} \mathrm{~m}$ ”は,「ごめんなさい」や「申し訳ない」などの謝罪表現を含む文に付与 されることが多かった。しかし, 謝罪を表すような感情カテゴリは中村 (1993)の 分類には含まれておらず，また，謝罪は感情とは言い難い側面を持つ22。そこで，感情分類とは別のカテゴリとして，新たに「謝罪」カテゴリを定義した. このような，誰かとのやり取りや，人に伝えることを前提としたカテゴリが多く 存在したため, コミュニケーションタイプとして，新たに定義した。

(b) “(---)”や“(*-*)”は，睡眠を表す文章で使用されていた，睡眠は動作であり，感情ではない．感情カテゴリに当てはめることはできないので, これも新たに「睡眠」カテゴリを定義した。この動作を表すカテゴリを，動作タイプとして新たに 定義した。

## 3.2 定義したカテゴリ体系

前節の結果に基づき，顔文字推薦に必要な感情，感情以外のカテゴリを決定した，感情カテ ゴリの定義を表 1 に, 感情以外の特徴を, コミュニケーションタイプ, 動作タイプとして定義 した結果を表 2 に示す.

感情カテゴリは全部で 27 種類ある。中村の感情分類を基礎カテゴリとして用いて，それら 27 種類の感情を詳細カテゴリとして 10 種類の基礎カテゴリに分類した ${ }^{3}$. また，各詳細カテゴリ ごとに，極性（ポジティブ／ネガティブ／なし）の設定を行った.

コミュニケーション・動作タイプは全部で 10 種類ある。感情には分類できないが，表現とし てよく現れるものを分類した。コミュニケーションタイプは，人とのやり取りや他者に物事を 伝えることを中心とした表現のタイプであり，人にどのように伝えるかによって「やりとり型 (他者との会話に含まれる表現)」「つぶやき型（他者に見られることを前提としているが，会話
^{2}$ Ortony, Clore, and Collins (1990)のように，感情を広くとらえると，謝罪自体は何らかの感情により誘発される と考えることもできるが，本研究では，顔文字の使用者が，顔文字を使用することで伝えたい意図は，原因となる 感情ではなく，コミュニケーションにおける行為そのものと考える。

3 「残念」,「悔しい」は，感情表現辞典 (中村 1993) では「厭」に分類されているが，文章に含まれる顔文字は「悲し い」に含まれる顔文字と同じことが多く, 「哀」に分類した。
}
表 1 感情カテゴリの定義

 &  &  &  & 詳細感情カテゴリの定義 &  \\

表 2 コミュニケーション・動作タイプの定義

 & 詳細カテゴリの定義 &  \\

にはなっていない文章に含まれる表現)」「不特定多数型（やりとり，つぶやきのどちらにも使 われる表現)」の3つに分類しており, それらの分類の下に詳細カテゴリを設定した. また, 感情カテゴリ，コミュニケーションタイプに分類できず，文章の中心が動作表現となるものを動作タイプとして定義した。現在, 動作タイプとして定義できる程度に頻出した動作表現は「睡眠」だけであるため，動作タイプは 1 種類のみである.

## 3.3 カテゴリ定義の妥当性についての検証

作成したコーパスの文章に付与したカテゴリがどの程度安定しているかを調べるため, 第 1 著者と協力者 1 名（ともに大学生, 女性と男性）が，コーパス中からランダムに選んた 190 件 について, (1) 極性と (2) 感情カテゴリ, コミュニケーションタイプ, 動作タイプのいずれかを
付与した場合の一致度（ $\kappa$ 係数）を調べた。その結果, 極性の一致については, $\kappa$ 値が, 0.850 (almost perfect/ほとんど一致 (Landis and Koch 1977)), 感情カテゴリ，コミュニケーションタ イプまたは動作タイプの一致については， $\kappa$ 值が，0.747 (substantial/かなり一致 (Landis and Koch 1977)）となり，付与方針が安定していることを示すことができた.

本カテゴリのような分類体系の関連研究としては, 菊井 (2012)の提案がある. 基本的な考え 方は，両方の体系で共通しており，菊井の陳述型は，ひとりごと型に対応し，発話行為タイプ は，やりとり型に対応すると考えられる，ただし，その下位のカテゴリの分け方に関しては，本研究では，顔文字を推薦する，という前提のもとに，顔文字のつけやすいカテゴリ体系になっ ている.

## 4 顔文字推薦システムの実現

3 節で定義したカテゴリ体系に基づき，顔文字推薦システムを実現した．構築した顔文字推薦システムは，カテゴリ推定処理と顔文字推薦処理の 2 つから成り立っている．以下に，顔文字推薦システム全体の流れを示す.

(1) ユーザが文章を入力する.

（2）入力文章を用いて，カテゴリ推定を行う（カテゴリ推定処理）.

（3）カテゴリ推定の結果を用いて，顔文字データベースから適切な顔文字を取り出す（顔文字推薦処理).

（4）取り出した 5 件の顔文字を推薦候補として，画面に表示する.

本節では, 上記の処理に必要なデータの作成について, 4.1 節で具体的な内容を紹介する。 (2)(3) の 2 つの処理については, 4.2 節, 4.3 節で説明する.

## 4.1 必要なデータの作成

本研究では，カテゴリ推定処理と顔文字推薦処理に必要なデータとして，顔文字辞書，夕グ 付きコーパス，手がかり語辞書，顔文字データベースを作成した，以下，詳細を説明する.

## 顔文字辞書

顔文字推薦に使用する顔文字は，予備実験で用いた 92 個では各感情を表す顔文字を推薦する のに十分な数ではなかったため，アンケートを実施し追加を行い， 163 種類とした.

## タグ付きコーパス

3 節で定義したカテゴリ体系を用いて, 感情, コミュニケーションタイプ, 動作タイプのタグ 付きコーパス（以下，夕グ付きコーパス）を作成した，コーパスの文章は，Twitterの 2011 年

5 月 1 日 31 日, 7 月 1 日 16 日のパブリックタイムライン上のツイートから, 前述の顔文字 163 個を含む 1,369 件（ツイート数）を収集し，それらの文章に，それぞれ (1) 極性, (2) 感情 カテゴリ，コミュニケーションタイプ，動作タイプのいずれかを， 3.3 節の判定者 2 名で協議し て付与した。さらに，日常的に顔文字を使用する別の 20 代の協力者 2 名と協議しつつ，コーパ スの修正と拡張を行い, 最終的に, 3,975 件（各詳細カテゴリごと 100 件強）とした.

## 手がかり語辞書

3 節のカテゴリ体系を用いて, 手がかり語辞書を作成した。手がかり語辞書は感情表現辞典 (中村 1993), 単語感情極性対応表 (高村, 乾, 奥村 2006) を参考にし, 全 1,440 語の項目を設定 した。それぞれの語には，極性（ポジティブ，ネガティブ，なしのいずれか）と感情カテゴリ， コミュニケーションタイプまたは動作タイプのいずれかを付与した。なお，手がかり語は，お はよう（おはよ，おはよー，おはよ，おはしゃす），さようなら（さよーなら，グッバイ，さ らば）のような，オンライン上の挨拶表現の変形も含む。

## 顔文字データベース

顔文字推薦処理を実装するために, 収集した文章に含まれる顔文字の使われ方を分析し, 顔文字データベースの作成を行った。作成したタグ付きコーパスには顔文字が含まれているため, それを分析することで各顔文字の感情ごとの出現頻度を調べた.

なお, 単純なコーパス中での出現頻度以外に, 同じカテゴリに分類される顔文字でも, 文章中の表現の違いで使用のされ方が違う場合には, 補足ルールを作成し, 補足ルールにおいて設定した下位カテゴリ別の出現頻度も調べた。 補足ルールは 2 つあり，以下のとおりである.

(1)「あいさつ」カテゴリ

やすみ “(( _ _ ))..zzzZZ”), あるいは時間帯に無関係なあいさつ（例：よろしく

てくる，そこで，「あいさつ」カテゴリでは，あいさつ表現別に 9 つの下位カテゴリを作成した. また, オンライン上の挨拶表現の変形についても, 考慮した上で, 各顔文字が どの分類に当てはまるのかを分析し，それぞれの分類ごとに出現頻度を計算した。

(2)「感謝」カテゴリ

「感謝」カテゴリでは, 丁寧な口調の表現を含む場合, 泣き顔や申し訳なさを表す顔文字（例：“、 $(; \nabla ；)$ ノ）がより使用されていた。そこで，「ございます」「ありがたい です」などの言葉を含む文章について，顔文字ごとの頻度を計算した。

また， 入力文章がこれらの補足ルールに一致する語を含んでいるかを判断する必要があるた め, 補足ルールの下位カテゴリごとに, それらを表す表現を集め, 補足ルール辞書を作成した.
表 3 顔文字データベースの例

 &  &  &  &  &  &  &  &  &  \\

顔文字データベースは，顔文字とカテゴリを組み合わせて主キーとし，コーパス中でのカテ ゴリ別の顔文字の出現頻度, 補足ルールで指定した下位カテゴリ別の出現頻度を加えて, 1 レ コードとして格納した. データベースの例を，表 3 に示す.

顔文字データベースの傾向を確認するため，CAOシステム (Ptaszynski et al. 2010) との比較 を行った. このシステムでは, 分類体系は, 中村 (1993)の感情 10 種類に基づいており, 本研究 で定義したカテゴリを，表 1 の体系に基づき感情 10 種類により対応付けることで，顔文字に対 する感情カテゴリの傾向を比較した。具体的には, Ptaszynski et al. (2010, 5.4 節) の論文で有効と判定されている Unique Frequency と，本データベースの相対出現頻度との相関係数を調査 した。なお，顔文字は双方で分析可能なもの，かつある程度の出現回数がみられる 43 個を対象 として分析を行った。その結果, 相関係数が 0.4 以上のものが, $53.5 \%$, 正の相関を持つものが $72.1 \%$ となり，ある程度の相関がみられた．相関係数の低い顔文字は，泣き笑いや，汗付きの笑 いを表す顔文字などが含まれており，本研究のデータベースでは，“厭”，“哀”などの感情を表 す傾向があるのに対して，CAOシステムでは，他の感情の値の方が大きい傾向がみられる。こ れは, $C A O$ システムでは Web 全般やブログを対象としているのに対して, 本研究ではマイク ロブログを対象としていることから，使用傾向の違いが現れていると考えている.

なお，表 2 のコミュニケーション・動作タイプについては，上記のシステムとの比較が行え ないことから,この比較には用いていない.

## 4.2 カテゴリ推定処理

カテゴリ推定を行うために，分類器を構築した。分類器には $k$-NN を用い, 文章を入力する と, 各学習データとの類似度を計算し, 類似している上位 $k$ 件の中で最も多い感情を推定結果 として返す。学習データには，4.1 節で説明した，夕グ付きコーパスを用いた。

分類器によるカテゴリ推定の手順を以下に示す.
(1) 極性（“A. ポジティブ”,
“B. ネガティブ”,
“C. なし”のいずれか) を推定する.
（a）まず，手がかり語辞書に含まれる語の，入力文における出現頻度を計算する.

（b）（a）の結果から得られた各手がかり語の頻度を用いて，極性ごとに素性べクトルを 構築する。

(c) 学習データ中の各文との平方距離を計算する.

(d) 平方距離の近い上位 $k$ 件のうち, 学習デー夕において最も多く付与されている極性を推定結果とする。

（2）推定した極性に対応するカテゴリとして， A. 感情（ポジティブ）：嬉しい，めでたい 等； B. 感情（ネガティブ）：怒り，悲しい等；C. 感情（なし）：興奮，安らぎ等か, コミュ ニケーション・動作タイプ：感謝，謝罪 等のいずれかを推定する。

(a) 素性ベクトルの構築や各学習データとの距離の計算は, 1 の (a)-(c) と同様に推定 する。

（b）平方距離の近い上位 $k$ 件のうち，学習データにおいて最も多く付与されている感情 カテゴリ，コミュニケーションタイプ，動作タイプのいずれかを推定結果とする。

また，入力文に複数の手がかり語が含まれる場合，その位置関係によって推定を誤る可能性 がある.

たとえば，「おかえり〜今日はありがとね」という文には，「おかえり」と「ありがとう」とい う 2 のコミュニケーションタイプの手がかり語が含まれている。この文の場合では, 文全体 のコミュニケーションタイプは,「感謝」になるのだが,「あいさつ」が推定結果として出力され てしまう可能性がある．各カテゴリの出現頻度を計算して推定すると，どちらも同じ頻度なた め，どちらが推定されてもおかしくない。これは，文章内に現れる手がかり語の位置関係を考慮していないことによる。この対策として, 入力文内に現れる順序によって, 手がかり語に重 みを付与する，といった処理を追加した。具体的には，以下のような計算を行う．なお， word $_{n}$ は入力文内に $n$ 番目に現れる手がかり語， $N$ は入力文内に現れる手がかり語の総数である.

$
\left.\operatorname{weight}^{\text {word }_{n}}\right)=\left[\frac{n}{N}\right]
$

次に, 構築した分類器の推定精度ならびに, 重み付け処理による推定精度の向上を評価する ため， 10 分割交差検定により実験を行った，具体的には，作成したタグ付きコーパス 3,975 件 を， 398 件を 5 個, 397 件を 5 個の， 10 個に分割し， 10 分割の交差検定を行い, 推定した極性, カテゴリと, 人手でつけた極性, カテゴリがどの程度一致しているかを計算した。 推定精度の 評価尺度としては, 正確さ (accuracy) を採用した。

実験の結果, 重み付け処理を行っていない場合では, 極性の推定精度が $69.7 \%$, 極性とカテ

意差はないが，わずかに精度が向上した。重みづけ処理の失敗分析を 30 件を対象に行ったとこ

ろ，手がかり語を手動で付与した場合には， 28 件について，最後の手がかり語のカテゴリが文章のカテゴリと一致することがわかり, 手がかり語辞書との照合の精度を向上する必要性が明 らかになった。

カテゴリの推定精度が十分でない別の理由としては, “報告” カテゴリの分類が難しいことが あげられる．このカテゴリは，Twitter 特有のひとりごとである“〜なう”のような, 個別の行動の報告が含まれており，機械学習に適した共通の手がかりが得られにくい.この辺りのカテ ゴリの推定精度の向上には, ユーザの履歴, 文脈といった情報が必要になると考える。なお, “報告”カテゴリを含まずに推定した場合には，推定精度は $1.1 \%$ 向上した.

## 4.3 顔文字推薦処理

次に，顔文字推薦処理の実装を行った。顔文字推薦処理では，カテゴリ推定の結果に適合し た顔文字を，4.1 節で説明した顔文字データベースを用いて判定し，出現頻度の多い順に，最大 5 件を推薦する。また，もしカテゴリ推定の結果が，4.1 節で説明した補足ルールにマッチする 場合には, 補足ルール用辞書を用いてさらに細かい分類を行い, 適合した顔文字を推薦する。補足ルールに当てはまらないカテゴリであれば，カテゴリ推定の結果だけを用いて，顔文字デー タベースから顔文字を取り出す.

## 5 顔文字推薦システムの評価

顔文字推薦システムを実際に被験者に使わせ，推薦する顔文字がどの程度ユーザの入力した 文章に対して適切であるか調べるため，被験者実験を行った．被験者は，日常的に顔文字を使用する 21〜22 歳の男性 2 名，女性 3 名である.

## 5.1 実験内容

被験者実験は，2つの項目から構成される。

## 実験 1：マイクロブログを対象とした顔文字推薦のカテゴリに基づく評価
- 実験 1 では, Twitter のつぶやきを用意し, そのつぶやきに対して推薦される顔文字が適切かを回答させた。なお，つぶやきは全部で 91 個あり， 3.3 節で記述した，判定者間一致率の計算に用いた 190 件から, 人手で判定した各感情カテゴリ, コミュニケーション タイプ，動作タイプにつき $1-3$ 個のつぶやきをランダムに抜き出し使用した。 なお, 本 データは，4節で説明したカテゴリ推定に用いた学習データとは収集方法が異なり，デー 夕に重複はないことも確認済みである.
- 1 つの文章につき, 次の 2 つの推薦結果に対して回答させた.

（1）（提案手法）感情カテゴリ，コミユニケーションタイプ，動作タイプのいずれか を推定したカテゴリに対して，推薦した顔文字.

(2)（ベースライン）分類器の学習データを感情カテゴリに限定して, 推薦した顔文字.
- 顔文字は, 各文章について上位 5 件を推薦し, 評価した。 評価は, “ $\bigcirc$ ( = 適している)", " $\triangle$ (=どちらともいえない), “× ( =不適切) $)$ の 3 段階で行い, 適していると判定された 数を分子, カテゴリごとの正解数を分母として推薦精度を計算した。

## 実験 2: 自由入力を対象とした顔文字推薦の極性に基づく評価
- 実験 2 では，被験者に実際に顔文字推薦システムを使用させた．被験者自身が，実際に Twitter や携帯メールで使用しそうな文章を考え，システムに入力し，その結果推薦され た顔文字が適切かを回答させた。なお，10 文はポジティブな文章， 10 文はネガティブな 文章， 10 文は極性がない文章として，全部で 30 文入力させた。なお，極性がない文章 については，コミュニケーション・動作タイプおよび感情の極性なしのタイプの文章を,被験者に例示した上で，文章を考えさせた。

-こちらも, 実験 1 と同様に提案システムとべースラインの 2 つを利用して評価した.
- 顔文字の推薦件数も実験 1 と同様に 5 件であり, 評価方法は, 入力したポジティブ，ネ ガティブ，極性なしの文章数を分母として推薦精度を計算する点を除いて，実験 1 と共通である。
- また, 実験後に, 適切でなかった顔文字とその理由について, 自由に感想を記入させた

## 5.2 実験結果

実験 1,2 の結果を，表 4 , 表 5 に示す. 表 4 中の* *, 実験 1 において， $t$-検定を用いた結果, 提案手法が, 感情カテゴリのみに基づいて推薦したべースラインと比べて, 有意水準 $5 \%$,両側検定で，推薦精度に有意な改善があることを示す.

表 4 実験 1 の結果：マイクロブログを対象とした顔文字推薦のカテゴリに基づく評価

 & 全体 & 感情カテゴリ &  & 全体 \\

男性・22 歳 & $68.9 \%$ & $58.6 \%$ & $65.7 \%$ & $67.9 \%$ & $55.0 \%$ & $64.0 \%$ \\
女性$\cdot$ 21 歳 & $72.4 \%$ & $61.4 \%$ & $69.0 \%$ & $70.2 \%$ & $55.7 \%$ & $65.7 \%$ \\
女性・21 歳 & $67.6 \%$ & $56.4 \%$ & $64.2 \%$ & $67.0 \%$ & $45.7 \%$ & $60.4 \%$ \\
女性・22 歳 & $68.3 \%$ & $61.4 \%$ & $66.2 \%$ & $67.9 \%$ & $42.9 \%$ & $60.2 \%$ \\

表 5 実験 2 の結果：自由入力を対象とした顔文字推薦の極性に基づく評価

## 5.3 実験の考察

実験 $1 ， 2$ の結果に基づく考察を以下に示す.

## 実験 1 の考察：マイクロブログを対象とした顔文字推薦のカテゴリに基づく評価
- 表 4 において, 提案手法は, ベースラインと比べて, コミュニケーションタイプ, 動作 タイプのみならず, 感情カテゴリにおいても精度の向上が見られる.これは, コミュニ ケーション・動作タイプを導入することが顔文字推薦において有用であるだけでなく, 感情に基づく顔文字推薦についても，より適切な顔文字を推薦できることを示唆している。
- 推薦精度が大きく向上したカテゴリは，コミュニケーション・動作タイプでは，“ねぎら い”, “あいさつ”, “心配”, “感謝”, “謝罪”, “睡眠”などであり, 感情カテゴリでは, “不安”, “安らぎ”, “期待”などであった。

-このうち, “謝罪”, “睡眠”のように, 特定の顔文字が文章にぴったり適合するカテゴリの 場合, コミュニケーション・動作タイプを推定し, 顔文字を推薦することが有効である.
- また, “あいさつ”については,「こんにちは」などは曖昧な表現であり, ポジティブな 顔文字であれば，カテゴリ推定が間違っていても，ユーザの要求に適合する可能性はあ る。一方，「よろしく〜」，「おやすみ」などの挨拶表現については，4.1 節で説明した補足ルールに基づき時間帯を考慮して表現を区別し, 顔文字を推薦することが有効である.
- 例として，「昼からすみません」という文に対する顔文字を推薦する場合を考える。この 文章は “謝罪”を表しているが，感情カテゴリのみを推定するべースラインシステムで は, 別の感情（この場合, “興奮”) の推定が行われる，その結果，下記のような顔文字 が推薦される.

この中の 2〜4 番目の顔文字では，“謝罪”とはまったく逆の印象を与えてしまう．

しかし，コミュニケーションタイプを推定できる提案手法では，“謝罪”を推定でき，

$\mathrm{m}\left({ }_{-}\right) \mathrm{m}$ orz $\left({ }^{\prime} ; \omega ;{ }^{\prime}\right) \quad\left(' \cdot \omega \cdot{ }^{\prime}\right) \quad\left({ }^{-} ;\right)$

のように， 5 件とも文章の意図に適合した顔文字を推薦している。
- 適切でないと回答が多くあったのは, システムの推定したカテゴリが, 人手で付与した ものと異なる場合である．特に正反対の極性のカテゴリが推定されていると，推薦され た顔文字候補はまったく役に立たないこととなる。よって, システムの精度を上げるた めには，極性推定の精度の向上が必要と考えられる。

## 実験 2 の考察：自由入力を対象とした顔文字推薦の極性に基づく評価
- 実験 2 についての実験後の感想には,「ネガティブな文章に対する顔文字推薦の精度がよ い」とあった. これは，ポジティブな文章よりもネガティブな文章の方が，直接的な手 がかり語が文中に現れやすいため，カテゴリを推薦しやすいことが原因と考えられる。
- 極性なしの文章に対する推薦精度が，一部の被験者で低い理由として, “報告”カテゴリ の推定がうまくいかない点の影響がある。なお, 手がかり語が存在しない場合に“報告” カテゴリとして顔文字を推薦した場合について調査した結果, 極性なしの文章に対する 推薦精度の合計は, $60.4 \%$ に向上した.
- その他, 実験後の感想として, 「同じカテゴリの文章に対して, 表示される顔文字の種類・順序が一様である」とあった，現在，手がかり語辞書に収録している，同じカテゴリの 各手がかり語には，一意に極性が付与されている。そのため，含まれている語が異なる 場合でも，推定結果に違いがなく, 同じ顔文字が推薦される。この点については, 同じ カテゴリの手がかり語でも，極性を考慮して手がかり語辞書を作成すること, また, 極性を考慮した顔文字データベースを作成することにより，表示される顔文字の種類・順序を豊富にするだけでなく, 顔文字推薦自体の精度向上にもつながると期待できる.

## 6 おわりに

本研究では，ユーザの顔文字選択の支援を目的とし，ユーザの入力文から感情や，感情以外 のコミュニケーションや動作を反映したカテゴリを推定し，顔文字を推薦する手法を提案した.提案手法は，2つの処理にわかれており，カテゴリ推定処理と顔文字推薦処理から構成される.

カテゴリ推定処理については， $k$ - NN を用いて分類器を構築した。すなわち，文章を入力する と，手がかり語辞書内の語が含まれていないかを調べ，各カテゴリの手がかり語の出現頻度か ら構築した素性べクトルを用いて, 各学習データとの類似度を計算し, 類似度の高い上位 $k$ 件 から推定結果を決定する。

顔文字推薦処理では，カテゴリ推定の結果を用いて，顔文字データベースから適切な顔文字 を取り出し, 推薦する。また, コミュニケーションタイプについて, 各カテゴリより細かい単位で補足ルールを作成し, 入力文の推定結果が補足ルールに当てはまる場合は, 補足ルールも
用いて顔文字推薦を行う.

構築した顔文字推薦システムの推薦の正確さを評価するために，被験者実験を行った．その 結果， $66.6 \%$ の顔文字が文章に対して適切に推薦されており，感情カテゴリのみの推定に基づく 推薦に比べて, 有意に向上していることを明らかにした.

今後は，活用形も考慮した手がかり語辞書の拡張や，極性を考慮した顔文字データベースの 構築による顔文字推薦の精度向上に取り組む予定である。また，感情，コミュニケーション・動作タイプなどのカテゴリがどのような理由により発生するか（例：嬉し涙，嫌なニュースに 驚いた）を手がかりとすることで，さらに文章に適した顔文字推薦ができる可能性があると考 えている。このような, テキスト含意関係などを考慮した取り組みについても検討を進めてい きたい.

## 謝 辞

$C A O$ システムによる顔文字の解析結果を提供してくださった, 北海学園大学工学研究所の Michal PTASZYNSKI さんに感謝いたします。また，アンケートや被験者実験にご協力いたた いた皆様に感謝いたします。

本研究の一部は, 科学研究費補助金基盤研究 C（課題番号 24500291）ならびに筑波大学図書館情報メディア系プロジェクト研究の助成を受けて遂行された.

## 参考文献

Brody, S. and Diakopoulos, N. (2011). "Cooooooooooooooollllllllllllll!!!!!!!!!!!!! Using Word Lengthening to Detect Sentiment in Microblogs." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 562-570, Edinburgh, Scotland, UK.

Derks, D., Bos, A. E. R., and von Grumbkow, J. (2007). "Emoticons and Social Interaction on the Internet: The Importance of Social Context." Computer in Human Behavior, 23, pp. 842-849.

橋本泰一 (2011). Twitter への絵文字自動挿入システム. 言語処理学会第 17 回年次大会発表論文集, pp. 1151-1154.

株式会社きざしカンパニー (2011). kizashi.jp:きざしラボ.

http://kizasi.jp/labo/lets/wish.html.

加藤尚吾, 加藤由樹, 島峯ゆり, 柳沢昌義 (2008). 携帯メールコミュニケーションにおける顔文字の機能に関する分析一相手との親しさの程度による影響の検討一. 日本教育情報学会
学会誌, $24(2)$, pp. 47-55.

川上正浩 (2008). 顔文字が表す感情と強調に関するデータベース. 大阪樟蔭女子大学人間科学研究紀要, 7 , pp. 67-82.

河野道子 (2003). フェイスマークを用いた感情表現におけるコミュニケーション・ギャップに

関する研究. http://www.sonoda-u.ac.jp/dic/kenkyu/2003/14.pdf.

菊井玄一郎 (2012). なにをつぶやいているのか？：マイクロブログの機能的分類の試み. 言語処

理学会第 18 回年次大会発表論文集, pp. 759-762.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33, pp. 159-174.

村上浩司, 山田薫, 萩原正人 (2011). 顔文字情報と文の評価表現の関連性についての一考察. 言語処理学会第 17 回年次大会発表論文集, pp. 1155-1158.

中村明 (1993). 感情表現辞典 (第 1 版). 東京堂出版.

中村純平, 池田剛, 乾伸雄, 小谷善行 (2003). 対話システムにおける顔文字の学習. 情報処理学会, 第 154 回自然言語処理研究会, pp. 169-176.

Ortony, A., Clore, G., and Collins, A. (1990). The Cognitive Structure of Emotions. Cambridge University Press.

Ptaszynski, M. (2012). 顔文字処理一取るに足らない表現をコンピュータに理解させるに足るに は一. 情報処理, 53 (3), pp. 204-210.

Ptaszynski, M., Maciejewski, J., Dybala, P., Rzepka, R., and Araki, K. (2010). "CAO: A Fully Automatic Emotion Analysis System Based on Theory of Kinesics." IEEE Transactions On Affective Computing, 1 (1), pp. 46-59.

Purver, M. and Battersby, S. (2012). "Experimenting with Distant Supervision for Emotion Classification." In Proceedings of the 13th Eurpoean Chapter of the Association for Computational Linguistics, pp. 482-491, Avignon, France.

篠山学, 松尾朋子 (2010). 顔文字を考慮した対話テキストの感情推定に関する研究. 香川高等専門学校研究紀要, 1, pp. 51-53.

Suzuki, N. and Tsuda, K. (2006). "Express Emoticons Choice Method for Smooth Communication of e-Business." In Knowledge-Based Intelligent Information and Engineering Systems, Vol. 4252 of Lecture Notes in Computer Science, pp. 296-302.

高村大也, 乾孝司, 奥村学 (2006). スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌, $47(2)$, pp. 627-637.

徳久良子, 乾健太郎, 松本裕治 (2009). Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, 50 (4), pp. 1365-1374.

山口英彦, 城仁士 (2000). 電子コミュニティにおけるエモティコンの役割. 神戸大学 発達科学
部 研究紀要, 8 (1), pp. 131-145.

## 略歴

江村 優花 : 2012 年 筑波大学情報学群知識情報・図書館学類卒業. 現在, フコ ク情報システム株式会社所属.

関洋平：1996 年 慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了. 2005 年 総合研究大学院大学情報学専攻博士後期課程修了. 博士（情報学). 同年豊橋技術科学大学工学部情報工学系助手. 2008 年 コロンビア大学コンピュータサイエンス学科客員研究員. 2010 年 筑波大学図書館情報メ ディア系助教, 現在に至る. 自然言語処理, 意見分析, 情報アクセスの研究 に従事. ACM, ACL, 情報処理学会, 電子情報通信学会, 言語処理学会, 日本 データベース学会各会員.