# 新聞記事中の難解語を平易な表現へ変換する手法の提案

ロボットと人間の双方でより円滑なコミュニケーションを行うためには， ロボット にも人間のような会話能力が求められると考える. 人間の会話はあいさつや質問応答, 提案, 雑談など多岐に渡るが, ロボットがこういった会話, 例えば何かしらの 情報を持った雑談のように能動的な会話を行うには，新聞記事のようなリソース中 の表現を会話テンプレートに埋め込むという方法が考えられる。しかし新聞記事中 の語と会話に用いられる語の馴染み深さには違いがある。例えば新聞記事中の「貸与する」という語は，会話に用いる場合には「貸す」という表現の方が自然である. つまり，人間にとって違和感のない会話のためのリソースとして新聞記事を用いる には，難解語を平易な表現へ変換する必要があると考える。そこで本稿ではロボッ トと人間との自然な会話生成を担う技術の一端として, 新聞記事中の難解な語を会話表現に見あった平易な表現へと変換する手法を提案する。提案手法では人間が語 の変換を行う際の処理になぞらえ， 1 つの語を別の 1 語で変換する 1 語変換および 文章で変換する $N$ 語変換を組み合わせることでより人間にとって自然に感じる変換 を行い，その有効性を示した。結果として変換すべき難解語を $75.7 \%$ の精度で平易 な表現に， $81.1 \%$ の精度で正しい意味を保持した表現に変換することが出来た.

キーワード: 変換, 語概念連想, 概念ベース, 関連度計算方式, 記事関連度計算方式
## Proposal of a Method to Convert Difficult Words in Newspaper Articles to Plain Expressions

\author{
Misako Imono $^{\dagger}$, Eriko Yoshimura ${ }^{\dagger \dagger}$, Seisi Tsuchiya ${ }^{\dagger \dagger}$ and \\ Hirokazu Watabe ${ }^{\dagger \dagger}$
}

To smoothen the communication between robots and humans, robots must have human-like conversational abilities. Humans converse in various ways: greetings, question-answers, suggestions, and chatting, among others. Thus, methods that extract expressions from resources such as newspaper articles and embed them into the conversation template are viewed as a way to let individuals participate in active conversations, such as chat with some information by robot. However, there is a difference in the degree of difficulty of the words used in newspaper articles and the ones used in a conversation. Words in newspaper articles are generally more difficult than those used in a conversation. Hence, it is important to convert difficult words in newspaper articles to plain expressions when using newspaper articles as a resource for a robot's conversation, in order to avoid human discomfort. This paper suggests

a method of converting difficult words to plain expressions, considering the differences in the degree of difficulty of words used in newspapers and in a conversation. The proposed method aims to convert feels natural for human by combining two approaches: a method that converts one word to another and a method that converts one word to a sentence. The results show that the proposed method converts words in newspaper articles from difficult to plain expressions with an accuracy of $75.7 \%$ and converts words while retaining their meaning with an accuracy of $81.1 \%$. Therefore, the proposed word conversion method is found to be effective.

Key Words: Word Transfer Technique, Word Concept Association, Concept Base, Degree of Association

## 1 はじめに

ロボットと人間との関係は，今後大きく変化していくと考える。今までのような単純な機械作業だけがロボットに求められるのではなく, 例えば施設案内や介檴現場のサポート, 愛玩目的，ひいては人間と同じようにコミュニケーションを行うパートナーとしての存在も要求されると考える。このとき，人間との円滑なコミュニケーションのために必要不可欠となるのが会話能力である．あいさつや質問応答, 提案, 雑談といった様々な会話を人間のように行えてこそ，自然なコミュニケーションが実現すると考える，ロボットがこういった会話，とくに提案や雑談といった能動的なものを行うためにはそのためのリソースが必要である．例えば日々の時事情報が詰まった新聞などは, 情報量の多さや入手の手軽さ, 話題の更新速度などから言っても適当なリソースといえる。この新聞記事によって与えられる時事情報を会話の話題として利用することは，ロボットに人間らしい会話を行わせるためには有効なのではないかと考えた.

新聞記事を利用した会話をロボットに行わせる最も簡単な方法は，新聞記事表現を会話テンプレートに埋め込むといったものと考える. このとき問題になるのが新聞記事表現の難解さである．新聞のように公に対して公開される文章は短い文で端的に内容を表すため，馴染みの薄い難解な言葉，俗にいう「堅い」言葉を多く使う。これらの言葉は文章として読むには違和感はないが，会話に用いるには自然ではないことが多い，例えば「貸与する」という言葉は会話では「貸す」という言い方をするほうが自然である。また，一般的にはそう難解ではない言葉，例えば「落下した」という言葉も会話ということを考えると「落ちた」のような更に易しい表現の方が馴染みやすいと感じる。つまり会話に用いられる言葉と新聞といった公的な文中に用いられる言葉の間には，同じ意味を表すにしても難易度や馴染みの深さに違いがある。 ロボットの発話リソースとして新聞を用いることを考えると, このような語の馴染みの違いに考慮しなければならない。そこで本稿ではロボットと人間との自然な会話生成を担う技術の一端として，新聞記事中の難解な語を会話表現に見あった平易な表現へと変換する手法を提案する.
本稿では変換後の記事をより人間にとって違和感の無いものとするために，人間が自然に行う語の変換に則った処理を提案する。つまり, 語をそれと同じもしくは近い意味の別の平易な 1 語に変換する $1: 1$ の変換処理（1 語変換）および語を平易な文章表現に変換する $1: N$ の変換処理（ $N$ 語変換）の双方を併用することで人間が自然だと感じる語の変換を目指す。語の難解さ, 平易さの判断には (天野, 近藤 1999) で報告されている単語親密度を用いる. これは語の 「馴染み深さ」を定量化した数値であり，新聞記事に用いられる語と一般的な会話に用いられる語の間にある単語親密度の差を調査することで新聞記事中の難解語を自動的に判断，平易な表現への変換を可能とする。また，変換処理を行う上で重要な意味の保持に関しては，人間の連想能力を模倣した語概念連想を用いることでそれを実現する。語と語，文と文の間の意味関係を柔軟に表現することを目指した語概念連想の機構を利用することで，変換前の記事が持つ意味を考慮した変換を行う。

## 2 関連研究と本研究の特徵

文中の語を他の表現に変換に関する研究は数多くなされており, 平易な表現への変換技術そのものとしての研究 (鍜治, 黒橋, 佐藤 2001) や Web 検索への利用を目的とした複数パターンの変換の生成 (熊本, 田中 2008), 利用者の言語能力に配慮した平易化 (西村, 田中, 北野, 田中, 大林 2009; 中野, 遠藤, 菅原, 乾, 藤田 2005; 藤沢, 相原, 神門 2006), 会話への利用 (鍜治, 岡本, 黒橋 2004) といった形で報告が成されている. これらの研究においても, 語の表現を変換するためのアプローチとして 1 章で述べたような $1: 1$ の変換処理および語を文によって表現する $1: N$ の変換処理が挙げられている.

1：1の変換については，例えば (西村他 2009)では児童向け新聞の記事と一般の新聞記事との間でベクトル空間モデルによるマッチングを取り, 同一内容の記事の対から 1 語対 1 語の変換対を作成している。また (熊本，田中 2008)では Web を用いて入力された文字列中の語の変換候補を生成している。変換対象となる語（名詞，形容詞，動詞，カタカナ語）を入力から取り除いた文字列を用いて Web 検索を行うことで，変換対象の語があった場所に入る他の語を取得することが出来る。対して（鍜治他 2001）の報告では，国語辞典の定義文を変換に用いる 1： $N$ の変換処理が報告されている．定義文を変換に適した形の文に整形するルールを策定し，日本語として違和感の無い変換を行うことを目指している.

これらの変換処理はそれぞれ， $1: 1$ の変換処理および $1: N$ の変換処理を単独で行っているが，本稿で提案する手法はこの双方を組み合わせることでより人間の思考に沿った変換処理を提案できると考える。人間がある語の変換を行う際には，まず別の 1 語に言い換えることができないかを考える。これは変換の対象となる語の同義語や類義語によって行うことが可能である.しかし同義語や類義語を持たない語も数多く存在することを考えると, この $1: 1$ の変換で

は不十分である。また私たちの行う会話では，1つの語の変換に文を用いる場合も多々考えられる。これは分かりにくい語が出現した場合にその語の「意味を説明する」ことで語の変換を行っている．例えば「明言」という語ならば，同じ意味を持つ一語を探すよりも「はっきりと言い切る」という文による変換が自然である．1つの語に対して文，つまり $N$ 個の語による変換という機能が無ければ，人間の会話に近い自然な変換はできない.

(中野他 2005)や(藤沢他 2006) では, 本稿と同じく1:1の変換と $1: N$ の変換の組み合わせについて述べられている。例えば (中野他 2005) では対象となる文章を自治体の Webぺージに固定し，人手による変換対の作成によって語の変換を実現している．変換対はシソーラスや国語辞典の定義文を人の目で参照して作成しており，よってある語を変換するための対は 1 語である場合もあれば短い文の場合もある。（藤沢他 2006）では文化遺産に関する説明文を平易化することを目的として，そのための変換パターンの解析を行っている。この中では専門用語に対して文章による変換で補足を行うパターンや，外来語を同じ意味の日本語へ変換するといった手法により説明文を平易化できると報告している。これらの手法では変換対や変換のためのパターンが人手により作成されるため高精度を期待できるが, それに伴う労力も非常に大きい. また，変換対象を固定しているため作成した変換対やパターンの汎用性に欠けると考えられる.本稿の提案手法では変換のための語や文を既存の辞書資源から自動的に選択するため, 労力や汎用性の点で優位性があると考える.

国外でも語の変換に着目した評価型ワークショップ (McCarthy and Navigli 2007; Specia, Jauhar, and Mihalcea 2012) が開催され, (Hassan, Csomai, Banea, Sinha, and Mihalcea 2007; Jauhar and Specia 2012; Sinha 2012) といった研究が報告されている. (McCarthy and Navigli 2007) では文章中の英単語 1 語を別の語で変換するというタスクが設定されており，例えば (Hassan et al. 2007) では変換のための語を得るために $N-g r a m$, 語の出現頻度, Webヒット件数, さらには変換前の文章を他言語に翻訳した後, 再度英語に翻訳するなどの様々な手法を組み合わせることで語にポイント付けを行い，変換を実現している。(Specia et al. 2012)では (McCarthy and Navigli 2007) で示された 1 語の変換に際してより平易な語を選択するという夕スクになっている。例えば (Jauhar and Specia 2012) では (Hassan et al. 2007) のポイント付けを基礎とし, さらに(Wilson 1988; Gonzalez and Davis 2006) で定義された心理言語学的モデル，例えば語の具体性やイメージアビリティといった側面でスコア付けを行ったデータを用いて平易性の判断を行っている. (Sinha 2012)では語の平易性の判断材料として様々なコーパス内における出現頻度や語の長さを用いている。これらのタスクにおいても変換の処理は $1: 1$ のものが大半であり，英文による変換は行われていない. また， (Specia et al. 2012)のタスクでは人手で用意された変換の候補となる語に対して平易性のランク付けをすることで変換を行っており, 変換の候補となる語の選出は行っていない. 候補の選出処理は (Hassan et al. 2007) によって報告されているが，この手法は (McCarthy and Navigli 2007)における総括でも述べられてい

る通り, 変換に必要なりソースや処理過程が非常に複雑なものとなっている。前述したとおり,本稿の提案手法では $1 ： 1$ および $1 ： N$ の変換手法を組み合わせることで人間の自然な変換を実現する点，語概念連想を用いることで変換のための語や文を既存の辞書資源から自動的に選択できる点でこれらの研究と比べて優位性があると考える.

## 3 難解語の変換手法の概要

本稿で提案する難解語の変換手法は人間が自然に行う語の変換に沿い, $1: 1$ および $1: N$ の変換処理を組み合わせることで行う。同義語, 類義語を用いた $1: 1$ の変換処理（1 語変換）と, 1つの語を文で変換する $1 ： N$ の変換処理（ $N$ 語変換）によりこれを実現する。また，各変換処理において人間の連想能力を模倣した語概念連想を用いることで，語の表記に依存しない柔軟な語の変換を行う．語と語，文と文の意味的な近さを考慮した変換を行うことで，人間の常識に沿つた語の選択や多義性の解消を図ることが出来る。語概念連想の詳しい構造については 4 章に示す.

図 1 に提案する語変換処理の概要図を示す。入力は新聞記事とし，語の変換処理は句点を区切りとする記事中の 1 文ずつで行う。入力された記事中から会話に適さない馴染みの薄い語（難解語）を判別し，別の平易な語もしくは文に変換する。

難解語の判別には単語親密度 (天野, 近藤 1999) を用いる。単語親密度とは単語に対する馴染みの度合いを主観的に評価した値であり，数値が高いほどより馴染みのある単語であることを

図 1 語変換処理の概要図
示す.これは 18 歳以上の被験者 40 名に対して単語を提示し, 1 から 7 までの数字で馴染みがあるか否かを評価した結果を平均化することで算出される。表 1 に単語親密度の一部を示す.

表 1 に示した通り，例えば「あいさつ」のようにごく一般的な語は単語親密度が高く, 万人にとって馴染みの深い語であることがわかる。一方「サイドマイド」（睡眠薬の一種）は専門的な用語であり，一般的には馴染みが薄く単語親密度も低い值となる. 日常的に使用する語とは，万人にとって馴染みのある語であると考える．新聞記事中に現れる「危ぶむ」という表現は，一般的な会話ならば「心配する」程度の表現の方が違和感なく馴染みやすい. つまり馴染みの度合いが高い語ほど会話への利用に適していると考えられる。また単語親密度が高ければ高い語ほど，その語を文字として提示された場合と音声として提示された場合の双方で語彙判断の反応時間が短く認知の誤りも少ないという結果が報告されており(天野, 近藤 1998; Connine, Mullennix, Shernoff, and Yelen 1990; 天野, 近藤 2008), この事からも単語親密度が高い語ほど会話への利用に適した平易な語であるといえる。そこで本稿では単語親密度が低い語を変換すべき難解語とみなし，平易な表現への変換処理を行う.

難解語と置き換える平易な表現は語の同義・類義関係を示した関係語辞書 (小島, 渡部, 河岡 2001,2002)および国語辞書から得る。1 語変換においては国語辞典から自動構築された関係語辞書を用いて難解語の同義語・類義語を取得し, これらを変換に用いる語の候補（変換候補語） とする、辞書における同義語はある語と同じ意味を持つ別表記の語，類義語は類似の意味を持ち言い換えることの出来る語と定義されているため, これらの語を用いることで 1 語変換を行うことができる． $N$ 語変換では国語辞書を用いて難解語の意味を説明する定義文を取得し, これらを変換に用いる文の候補（変換候補文）とする。

$N$ 語変換に用いる変換候補文は辞書に記載されているそのままの形で語の変換を行うと, 出力される文が日本語として不自然な場合がある．例えば辞書の定義文に出現する「転じて」や 「〜の別名」といった言い回しは，そのままの形で変換に用いた場合に不自然さを発生させる要因となる。このような変換に必要の無い語を不要語と定義し, 不要語リストを用いてこれらの削除を行う．また，元の記事中の語を定義文で変換した際に What や Who といった文中の情報が重複することによって不自然さが発生する場合がある。 そこで意味理解システム (篠原, 渡部, 河岡 2002)を用いて不自然さを排除した上で難解語を文に変換し，会話に適した語句で構成された文を出力する。

表 1 単語親密度の例

## 4 語概念連想

一般的に語や文の類似性を計る際には, ベクトル空間モデル (Salton, Wong, and Yang 1975) のように単語の出現頻度や共起，表記の一致などを利用した手法が往々にとられる。しかし人間はそのような情報に依存することなく, 語と語や文と文の間に意味的な関連性を自然と連想し, 処理している。そのような人間の連想能力を模倣し, 人間らしい柔軟な言葉の意味理解を行う機構として語概念連想が提案されている.

語概念連想は語の意味定義を行う概念ベース (奥村, 土屋, 渡部, 河岡 2007) と, 語と語の間の関連性を定量的に表現する手法である関連度計算方式 (渡部, 河岡 2001), そしてヒッチコック型輸送問題 (Hoffman 1963) で計算される距離尺度である Earth Mover's Distance (EMD) を用いた記事関連度計算方式 (藤江, 渡部, 河岡 2009)を有する, 人間の連想能力を表現した機構である。語概念連想に関する研究報告ではべクトル空間モデルといった従来手法と比べてその有効性が示されている (渡部，河岡 2001).

本稿では語の変換を行う際に，元の語と変換の候補となる語（変換候補語）との間の意味的な近さを考慮するために語概念連想を用いる，具体的には，まず 1 語変換においては複数得られる可能性のある同義語・類義語の中から最も元の語に近い意味を持つ変換候補語を選別するために関連度計算方式を用いる。次に $N$ 語変換においては多義性の解消のために EMDを用いた記事関連度計算方式を用いる。これは難解語が多義語であった場合に辞書の定義文が複数取得されるため, 文書間の関連性を定量化することで元の記事と最も関連の強い定義文を判別し,意味の特定を図るものである.

以下に概念べース，関連度計算方式，EMD を用いた記事関連度計算方式について述べる。

## 4.1 概念ベース

概念ベースは複数の電子化国語辞書などの見出し語を概念と定義し, 見出し語の定義文に使われる自立語群を概念の特徴を表す属性として構築された知識べースである。本稿で使用した概念ベースは自動的に概念および属性を構築した後に人間の常識に沿った属性の追加や削除を行ったものであり，概念は 87,242 語となっている.

概念ベースのある概念 $A$ は, $m$ 個の属性 $a_{i}$ と, その属性の重要性を表す重み $w_{i}$ の対によって次のように表現される。

$
\text { 概念 } A=\left.\{\left(a_{1}, w_{1}\right),\left(a_{2}, w_{2}\right), \cdots,\left(a_{m}, w_{m}\right)\right.\}
$

概念 $A$ の意味定義を行う属性 $a_{i}$ を, 概念 $A$ の一次属性と呼ぶ. 概念べースの特徴として, 属性を成す単語群も概念べースの中で概念として定義されている点がある。つまり属性 $a_{i}$ を概念とみなして更に属性を導くことができる。概念 $a_{i}$ から導かれた属性 $a_{i j}$ を, 元の概念 $A$ の二次
表 2 概念ベースの例

属性と呼ぶ。概念ベースの具体例を表 2 に示す.

例えば「医者」という概念が持つ属性「患者」は, 概念「患者」としても定義されている。 この概念「患者」の持つ「病人, 看病, 治療，」.といった属性群が，元の概念「医者」の二次属性ということになる.

## 4.2 関連度計算方式

関連度計算方式は概念べースの特徴である属性の連鎖的構造を活用して，高い精度で概念間の関連性を定量化することが可能である。概念をべクトルで表現し，概念間の関連性をべクトル内積により算出した場合と比較しても，関連度計算方式は高い精度となっており，概念間の関連性の定量化における関連度の有効性が示されている (渡部, 河岡 2001)。以下に関連度計算方式の具体的な処理を述べる.

関連度計算方式では 2 つの概念間の関連性を関連度という値で定量的に表現する。関連性を算出する概念の二次属性を用いて, それぞれの一次属性を最も関連が強いもの同士で対応付けを行った上で算出する．以下に，概念 $A$ と概念 $B$ の関連度 $D o A(A, B)$ の算出方法について示す. 概念 $A$ および概念 $B$ の一次属性をそれぞれ $a_{i}, b_{i}$ とし, 対応する重みを $u_{i}, v_{i}$ とする. それぞれが持つ属性数が $L$ 個と $M$ 個 $(L \leq M)$ とすると, 概念 $A, B$ はそれぞれ以下のようになる.

$
\begin{aligned}
& \text { 概念 } A=\left.\{\left(a_{1}, u_{1}\right),\left(a_{2}, u_{2}\right), \cdots,\left(a_{L}, u_{L}\right)\right.\} \\
& \text { 概念 } B=\left.\{\left(b_{1}, v_{1}\right),\left(b_{2}, v_{2}\right), \cdots,\left(b_{M}, v_{M}\right)\right.\}
\end{aligned}
$

なお,このとき各概念の属性の重みを，その総和が 1.0 となるよう正規化している.

ここで一次属性の数が少ない概念 $A$ の属性の並びを固定する。その上で概念 $B$ の各一次属性を対応する概念 $A$ の各一次属性との一致度 $\operatorname{DoM}(A, B)$ の合計が最大になるように並べ替える。 ただし，概念 $A$ の属性と対応付けされなかった属性については無視する。

$
\text { 概念 } B=\left.\{\left(b_{x 1}, v_{x 1}\right),\left(b_{x 2}, v_{x 2}\right), \cdots,\left(b_{x L}, v_{x L}\right)\right.\}
$

このとき, 概念 $A$ と概念 $B$ の関連度 $\operatorname{Do} A(A, B)$ は,

$
\operatorname{DoA}(A, B)=\sum_{i=1}^{L} \operatorname{DoM}\left(a_{i}, b_{x i}\right) \times \frac{\left(u_{i}+v_{x i}\right)}{2} \times \frac{\min \left(u_{i}, v_{x i}\right)}{\max \left(u_{i}, v_{x i}\right)}
$

と定義する。ここで $\min \left(u_{i}, v_{x i}\right)$ は $u_{i}$ と $v_{x i}$ を比較して小さい值を， $\max \left(u_{i}, v_{x i}\right)$ は大きい值を指す.

なお, 一致度 $\operatorname{DoM}(A, B)$ は以下のように定義する。

$
\operatorname{DoM}(A, B)=\sum_{a_{i}=b_{j}} \min \left(u_{i}, v_{j}\right)
$

$a_{i}=b_{j}$ は属性が表記的に一致した場合を示している。つまり一致度とは概念 $A$ と概念 $B$ 双方が共通して持つ属性の内，小さいほうの重みを足し合わせたものとなる。共通した属性は概念 $A$ と概念 $B$ でそれぞれ重みが付与されており,このうち小さいほうの重み分は概念 $A$ と概念 $B$ 両方の属性に有効であると考えるためである.

## 4.3 EMD を用いた記事関連度計算方式

EMD を用いた記事関連度計算方式は, ヒッチコック型輸送問題 (Hoffman 1963)（需要地の需要を満たすように供給地から輸送を行う際の最小輸送コストを解く問題）で計算される距離尺度である EMD を文書検索へ適用したもので，2つの記事間の関連性を定量的に表現することが可能であり (藤江他 2009)によりその有用性が報告されている.

EMD とは 2 つの離散分布があるときに一方からもう一方の分布への変換を行う際の最小コストを指す。離散分布はそれを構成する要素と重みの対の集合で表現され，コスト算出の際には変換前の離散分布の要素が持つ重みを供給量, 変換先の離散分布の要素が持つ重みを需要量と考え，要素間の距離を供給量，需要量にしたがって重みを運送すると考える。できるだけ短い距離で，かつ需要量に対して効率的に重みを運送する経路が EMD となる。これを文書検索に適応させる際には，文章中の自立語（名詞，動詞，形容詞）を要素として捉え，自立語の集合を離散分布と考える。ある文章の離散分布を違う文章の離散分布へ変換すると考えると，その際のコストが最小となる文章が元の文章に最も近い文章となり文書検索へ適用することが可能となる。EMDを用いた記事関連度計算方式について, 以下の図 2 に示すような簡略図を用いて説明する。

ある文書 $A$ と $B$ があったとき，文書 $A$ を文書 $B$ に変換する際のコストを考える．それぞれの文書を文中の自立語 $\operatorname{Word}_{A i} ， \operatorname{Word}_{B j}$ の離散分布と考える。まず自立語それぞれには重みの付与を行うが，本稿では $t f \cdot i d f$ の考え方を用いた。

図 2 EMD による記事関連度計算方式

語の網羅性である $t f$ は, 文書 $A$ 中に出現する語 $\operatorname{Word}_{A i}$ の頻度 $\operatorname{treq}\left(\operatorname{Word}_{A i}, A\right)$ を文書 $A$ 中のすべての語数 $\operatorname{tnum}(A)$ で割ったものを利用する. 算出式は以下のようになる.

$
t f\left(\text { Word }_{A i}, A\right)=\frac{\text { tfreq }\left(\text { Word }_{A i}, A\right)}{\operatorname{tnum}(A)}
$

次に語の特定性である $i d f$ については，概念べース $i d f($ 奥村, 小島, 渡部, 河岡 2005)を用いた。概念べースは一次属性，二次属性，というように $N$ 次までの属性の連鎖集合を持つ。この $N$ 次まで属性を展開した空間内で，ある概念 $X$ を属性として持つ概念数から算出されるのが概念べース $i d f$ である. 概念ベース $i d f$ の算出式は以下のように定義される.

$
C V_{N}\left(\text { Word }_{A i}\right)=\log \frac{V_{a l l}}{d f_{N}\left(\text { Word }_{A i}\right)}
$

$C V_{N}\left(\operatorname{Word}_{A i}\right)$ は $N$ 次属性空間内における概念 Word $_{A i}$ の概念べース $i d f$ である. $V_{\text {all }}$ は概念ベースに定義されている全概念数, $d f_{N}\left(\right.$ Word $\left._{A i}\right)$ は $N$ 次属性集合内において概念 Word $_{A i}$ を属性として持つ概念の数である。本稿では (奥村他 2005)の報告より最も精度が良いとされる三次属性空間内における概念べース $i d f$ を用いた.

以上で示した式により, 自立語 Word $_{A i}$ へ付与する重み $w$ は次のような式で定義される.

$
w=t f\left(\text { Word }_{A i}, A\right) \times C V_{3}\left(\text { Word }_{A i}\right)
$

つまりある自立語の重みは, 自立語の網羅性 $t f$ と自立語の概念ベース $i d f$ を掛け合わせることで与えられる.

このようにして文書 $A, B$ 共に自立語への重みを付与する。ここでは例として図 2 のように重みが付与されたとする．EMDでは変換コストの算出を行う際に離散分布を構成する要素同士の距離を用いる．EMDを用いた記事分類方式ではこの距離を自立語同士の関連性であると考え，一致度によってこれを求める． $\operatorname{Word}_{A 1}$ と $\operatorname{Word}_{B 1}$ の距離 dis $_{A 1 B 1}$ は次の式で表される.

$
\operatorname{dis}_{A 1 B 1}=1-\operatorname{DoM}\left(\operatorname{Word}_{A 1}, \text { Word }_{B 1}\right)
$
一致度は関連性が高いと值が大きくなるため, 1 から引いた值を距離としている. ここで Word $_{A 1}$ と $\operatorname{Word}_{B 1}$ の間の変換コスト $\operatorname{cost}_{A 1 B 1}$ は次の式で算出される.

$
\operatorname{cost}_{A 1 B 1}=\operatorname{dis}_{A 1 B 1} \times 1.5
$

これは $\operatorname{Word}_{A 1}$ と $\operatorname{Word}_{B 1}$ の距離に重みを掛けたものである。 $\operatorname{Word}_{A 1}$ と $\operatorname{Word}_{B 1}$ が持つ重みは同じく 1.5 であるため供給量と需要量が合致し， Word ${ }_{A 1}$ からの重みの運送はこの時点で終了する。同様にコストの計算を行っていき，最終的にすべての運送経路のコストを足し合わせたものが EMD となる。図 2 の例では EMD は次のように表される。

$
\begin{aligned}
E M D= & \operatorname{cost}_{A 1 B 1}+\operatorname{cost}_{A 2 B 2}+\operatorname{cost}_{A 2 B 3} \\
& \operatorname{cost}_{A 1 B 1}=\operatorname{dis}_{A 1 B 1} \times 1.5 \\
& \operatorname{cost}_{A 2 B 2}=\operatorname{dis}_{A 2 B 2} \times 2.0 \\
& \operatorname{cost}_{A 2 B 3}=\operatorname{dis}_{A 2 B 3} \times 1.0
\end{aligned}
$

以上のような式で算出された EMD の値の最小値を最適化計算で求めて文書間の類似性を算出している.

## 5 語の変換処理の流れ

語の変換処理では入力された文から難解語を自動的に判別し, 関係語辞書 (小島他 2001,2002 ) による馴染みのある語への変換，もしくは国語辞書による文への変換を行う．具体的な処理の流れを図 3 に示す.

まず入力文を構成する単語の内，馴染みのない語を単語親密度の間値により判別し，難解語とする.この難解語をシソーラス (NTTコミュニケーション科学研究所 1997) 上で検索し, 難解語を意味的に包含するノードの中にノード名「具体物」が存在する場合には $N$ 語変換を，それ以外の場合には 1 語変換を先に行う. これは具体的な物を示す単語は別の 1 語に変換することが困難であるため，シソーラスにより具体物と判断できる語に関しては $N$ 語変換のみによって変換を行うためである。例えば「サリドマイド」のように具体的な薬品名を別の 1 語に変換することを考えると，物質を示す化学式や化合物名などが挙がる．それらは平易な表現とは言いがたく, そもそも難解な具体物の別称が平易であることは少ないと考えられる。この場合ならば「睡眠薬の一種」という文による変換を行えば自然でかつ平易な表現となる.

ノード「具体物」を上位に持たない語は, まず 1 語変換の処理を行う。ここでは語の同義, 類義関係を示した関係語辞書から難解語の同義語および類義語を取得することで変換候補語を得る. これら変換候補語と難解語との関連度を算出し, 最も高い関連度の候補語を用いて変換を

図 3 語の変換処理の流れ

行う。ただし, この際の関連度には下限値を設定し, 最大関連度が閥値以下の場合には 1 語変換によって得られた候補語の信憑性が薄いと判断して $N$ 語変換へ処理を移す.

$N$ 語変換では国語辞書から変換候補文を取得して変換を行う。難解語が多義性を持つ場合には複数の変換候補文を取得することになるため，元の記事中で使われている意味をもつ変換候補文を記事関連度計算方式により判別する。また，難解語をそのまま変換候補文に変換した場合, 辞書特有の言い回しや記事全体での情報の重複などにより元の文が不自然になる場合がある. そこで元の文と変換候補文との比較を行い, 不要語句の削除を行うことで変換による不自然さを排除する。これらの処理を行った上で得られる文を用いて新聞記事中の 1 文を変換する.

## 6 難解語の判別

まず入力された新聞記事から，変換すべき馴染みの薄い語を判別する処理を行う．入力された新聞記事を句点（“””もしくは“.”) を区切りとして1文ごとの記事文に分割して処理を行う. 1 文に対して形態素解析を行い, 各単語の単語親密度に間値を定めることによって馴染みの有無を判断し，馴染みの無い単語を難解語とする。本稿では会話のための資源として新聞記事を用いることを背景としているため, 単語の馴染み深さの基準は「一般的な会話で使われる単
語であるか否か」とする。この基準の作成には日本語話し言葉コーパス (国立国語研究所 2006) を用いた。

## 6.1 閾値の決定

日本語話し言葉コーパスとは日本語による発話音声を大量に収集したデータベースである.収録されている発話音声中の語数は約 750 万語, 時間は約 66 時間分となっている. 発話音声には一般的な対話や学会講演といった様々なデータが収録されているが, このうち対話の音声を用いて「一般的な会話で使われる単語」の調査を行った。表 3 にデータの一部を示す.

単語親密度の閾値を決定するために, 表 3 に示したような日本語話し言葉コーパスの対話デー 夕を構成する単語 2,000 語と, 新聞記事中の単語 2,000 語とを無作為に抽出し, それぞれの単語親密度の平均と分布を調査した。その結果, 新聞記事における単語親密度の平均が 5.74 , 標準偏差は 0.70 , 対話デー夕における単語親密度は平均が 6.05 , 標準偏差が 0.66 となった. 対話において用いられる語の単語親密度の平均の方が, 新聞記事より高い值になっている。この事から会話に利用するには新聞記事中の単語は馴染みが薄いことがわかる.

新聞記事における単語親密度のデー夕群 $(A$ とおく) と対話デー夕における単語親密度のデー 夕群（Bとおく）が，お互いにできるだけ他方の分布に属さないような値を間値とすれば，「一般的な会話で使われる単語」を判別する間値になると考えられる。そこで確率密度関数を用いて最適な閾値の調査を行った。確率密度関数は以下の式によって求める.

$
f_{(x)}=\frac{1}{\sqrt{\left(2 \pi \sigma^{2}\right)}} \mathrm{e}^{\frac{(x-\mu)^{2}}{\sigma^{2}}}
$

ここで $\mu$ は単語親密度の平均， $\sigma$ は標準偏差である。ある閥値があった時に， $A$ に属するデー 夕が閥値を越える確率および $B$ に属するデータが閥値を越える確率を算出し, 双方の和が最も小さい時の閾値を $A$ と $B$ を区切る最適な値とした。その結果, 新聞記事に用いられる単語と一般的な会話で使われる単語の単語親密度による間值は 5.82 となった. よって, 入力された新聞記事中の単語の内，単語親密度が 5.82 以下の単語を難解語と判別し，語の変換処理を行うこととした.

表 3 日本語話し言葉コーパスの例

表 4 閾値の評価結果

## 6.2 閾値の評価

前節で決定した間値が，人間と同じレベルで馴染み深い語と難解語を判別できるかの評価を行った. 単語親密度が 5.82 よりも大きい, つまり馴染み深いと判断された 200 語と, 単語親密度が 5.82 以下，難解語と判断された 200 語を新聞記事からランダムに取得し，それらを人間の目視で評価した。評価は著者, 共著者を含まない被験者 3 名（男性 2 名, 女性 1 名）で行い, それぞれの語が会話に出現する語としたときに難解と感じるか, 平易と感じるかの判断を行った. なおこのとき, 被験者には評価を行う合計 400 語が単語親密度の閾値以上であるか否かは知らせていない．多数決により 2 名以上が難解と感じた語は「人が難解と感じる語」, 2 名以上が平易と判断した語を「人が平易と感じる語」とした。単語親密度の閾値によって馴染み深いと判断された 200 語については「人が難解と感じる語」であった場合に×,「人が平易と感じる語」 であった場合に○と評価する。単語親密度の間値によって難解語と判断された 200 語については,「人が難解と感じる語」であった場合に○，「人が平易と感じる語」であった場合に×と評価する。表 4 に閾値の評価結果を示す.

各評価者 2 名ずつの kappa 係数はそれぞれ $0.729,0.668,0.790$ であった．結果として，「人が難解と感じる語」を $83.0 \%$ の精度で難解語であると判断できた。また，「人が平易と感じる語」 に関しては $99.5 \%$ の精度で馴染み深い語，つまり変換の必要がない語であると判断することができた.

## 71 語変換

1 語変換では 1 つの単語をより平易な別の 1 つの単語に変換する．難解語の同義語・類義語を取得してこれらを変換候補語とし，その中から変換に最も適した語を選択する。本稿における変換に適した語とは，変換前の語と比べて平易であり，かつ意味が同じ語である．平易であるかどうかの判断は単語親密度により行う。また，変換前と意味が同じ語を適切に選択するために関連度計算方式を用いた手法を提案する。

## 7.1 変換候補語の取得

変換候補語には難解語の同義語・類義語を用いる。これにより難解語と同じもしくは近い意味を持つ別の単語群を得ることができる。同義語・類義語の取得には関係語辞書を用いた。関
係語辞書とは国語辞書に記載されている定義文から，見出し語の同義語，類義語といった関係語を自動的に抽出した辞書である。関係語の抽出手法に関しては (小島他 2001) および (小島他 2002)において示されている，定義される関係語の例を表 5 に示す.

この辞書から得られる同義語，類義語を 1 語変換における変換候補語とする。表に示したように，1つの単語に対して複数の同義語・類義語が定義されている場合があるため，変換候補語は複数の単語群となる。

## 7.2 単語親密度と関連度による変換語の選出

変換候補語の語群から 1 語変換に適切な変換語を選出する。選出には変換候補語の単語親密度および，難解語と変換候補語との関連度を用いる。まず同義語・類義語として得られた語のうち, 6 章で述べた閾值 5.82 以上の単語親密度を持つ語を選出する. これは単語親密度が高く馴染みが深いと判断される語であるほど，平易な変換に適すると考えられるためである。しかし単語親密度は馴染みの深さのみを表現する数値であり, 語と語の意味の近さに関しては考慮されていない．変換を行う以上，難解語と最も意味の近い語が選出されるべきである．そこで語の意味を定量化する手法として， 4.2 節で述べた関連度計算方式を用いる. 単語親密度が間値以上である変換候補語の中から，元の難解語との関連度が最も高い語を選出することで「平易性がある語のうち，最も意味が近い語」を変換語とすることが出来る，具体的な変換候補語の選出方法について，「わが国は支配者の法を否定した.」というトルコの憲法改正についての記事の一部を用いて説明する（図 4）。

表 5 関係語辞書の例

## 「わが国は支配者の法を否定した」と演説をした. \\ (単語親密度5.75)

図 4 変換語の選出

この文の中で「法」という語の単語親密度は 5.75 であり, これは 6 章で述べた閾値 5.82 を下回るため難解語となる。「法」の同義語・類義語から「法律」「規則」「方法」「道理」という 4 つの変換候補語が得られる。これら変換候補語から，最も適切な変換語を選択する。

まずそれぞれの単語親密度を見ると，「道理」は単語親密度が 5.44 となり閥値 5.82 に達していないため変換語から外れる。ここで各変換候補語と元の難解語「法」との関連度を算出し, 最も関連度が高い語を変換語として選出する。この例では単語親密度が最も高い「方法」ではなく, 関連度の最も高い「法律」が変換語として選ばれることになる.

## 7.31 語変換から $N$ 語変換へ移行する条件

難解語と変換候補語との関連度に間値を定め, 閾値を越える変換候補語が存在しない場合には $N$ 語変換を行う。これは関連度が低いということは難解語と変換候補語との関連性が薄く,変換には不適切であると判断できるためである.

関連度の閾値設定は概念ベースの評価方法である $X-A B C$ 評価 (奥村他 2007) を参考にして行う。この評価は関連度の値を比較することで概念ベースを評価する方法であり, 表 6 に示すような評価セットを用いる.

評価セットはある基準概念 $X$ と, この概念 $X$ と非常に関連が強い概念 $A$, 概念 $A$ ほどではないが関連があると思われる概念 $B$, まったく関連のない概念 $C$ によって構成される。実際に用いた評価セットは (渡部, 河岡 2001) に示された方法で人手により作成された 500 組のセットとなっている (奥村他 2007).

ここで， $X$ - $A$ の関係は基準概念 $X$ と非常に関連が強い概念 $A$ というもので，実際の評価セッ卜作成時には (渡部, 河岡 2001) に示された方法を基に $X$ の同義ないしは類義語となりうる語を収集している。このテストセットは被験者実験によって作成されており，つまり人間の感覚に合致した評価セットになっている。人間の自然な感覚を反映しているこの評価セットにおいて同義, 類義関係と判断された $X-A$ 間の関連度は, 本提案手法における難解語と変換候補語との関連性の有無を判断する閾値に値すると考えた。

評価セットは 500 組存在するため, $X-A$ 間の関連度も 500 個の值が算出される。そこから人間が同義, 類義と感じる語同士の関連度を意味する值として平均値を算出した。これは (奥村他 2007) において用いられている評価式の中で, まったく関連のない $X-C$ 間の関連度の平均値

表 $6 X-A B C$ 評価セットの例

を「関連がない語の間で算出される関連度」として用いる考え方に倣い，同義，類義関係にある $X-A$ 間の関連度の平均値を「同義, 類義関係の語の間で算出される関連度」とした。 $X-A$ 間の平均值は 0.34 , 分散は $0.04, X-C$ 間の平均値は 0.002 , 分散は $9.43 \times 10^{-6}$ であった. よって提案手法では, 難解語と変換候補語との関連度が $X-A$ 間の平均値である 0.34 より低かった場合には $N$ 語変換へ処理を移行する.

## $8 N$ 語変換

1 語変換では変換ができない場合，つまり1つの語では説明できない語を相手に伝える際に人間はその語の意味を文で伝える。そこで $N$ 語変換では 1 つの単語を $N$ 語の単語群，つまり文で変換することで 1 語変換ができない難解語の変換を行う.

5 章に示した通り，まずシソーラスにおいて難解語の包含関係にあるノードに「具体物」が存在する場合には 1 語変換が不可能であると判断し， $N$ 語変換を行う．例えば「サリドマイド」 という具体物は一般的に馴染みの薄い語であるが, 「催眠薬の一種」という文章で変換されることでその内容を理解することが出来る。このように具体的な物を示す語は, 同じ意味を持つ別の 1 語に変換するよりも具体物の説明を文章で行う方が馴染みのある表現になる。また 7.3 節に示したように 1 語変換における変換候補語の関連度が閾値以下の場合にも， 1 語変換では適切な変換を行えなかったと判断して $N$ 語変換を行う.

## 8.1 変換候補文の取得

$N$ 語変換では国語辞書 (松村 1995) に記載された語の定義文を，変換を行うための文（変換候補文）として利用する。国語辞書の定義文は語の意味を説明する文であるため，これを利用することで難解語の意味を損ねることなく $N$ 語による変換が可能になる。また，定義文が端的かつ正しい日本語表現で記されているため, 変換後の記事表現が煩雑にならないと考えられる点で， $N$ 語変換の資源として国語辞書は適当である.

本稿で使用した国語辞書には 238,000 語の見出し語とその定義文が格納されている.このうち, 固有名詞および単一で意味を成さない代名詞, 助詞の見出し語を省いた 94,544 語の見出し語と定義文を $N$ 語変換に用いた.

## 8.2 多義語の意味特定

難解語が多義語であった場合, それぞれの意味から辞書の説明文が得られるため変換候補文が複数取得される。そこで適切な文を選択するために 4.3 節で説明した記事関連度計算方式を用いて難解語が含まれる元の文に意味が近い変換候補文を選択して変換を行う。図 5 に具体的な変換候補文の選択方法を示す。
「日中」という語には図に示すように 2 つ意味が定義文として記載されており，多義語である.このような多義語の場合は, 辞書のそれぞれの定義文と, 難解語を含む元の記事文との間で記事関連度の算出を行い，值の高い変換候補文を語の変換に用いる．例の場合では「日中」は 「日本と中国」という候補文が選択され，記事は「日本と中国の未来志向の…と変換される.

## 8.3 不自然さの排除

辞書の定義文の中には，そのままの形で $N$ 語変換に用いると日本語として不自然になってしまうものがある．例えば「財政再生計画を策定する」という文中の「策定」は単語親密度が 3.16 の難解語であり， 1 語変換では関連度が閥値より大きい変換候補語が得られず， $N$ 語変換が行われる語である. この時, 辞書における「策定」の定義文「政策や計画などを考えて決めること」をそのまま語の変換に用いてしまうと「財政再生計画を政策や計画などを考えて決めること」となり, 日本語として不自然である。このような変換によって起こる不自然さの排除方法として, 不要語の削除と記事中の情報の重複排除を行う.

まず，不要語の削除について述べる，不要語とは辞書によく出現する言い回しのうち，変換を行う際には必要の無い語の事を指す。この不要語を人手で判断してリスト化したものが不要語リストである。図 6 に具体的な不要語の一覧を示す.

例えば「蜀魂」という語の定義文は「ホトトギスの別名」となっているが，実際に「蜀魂」という語を変換する際に必要となる語は「ホトトギス」の部分のみである.このように辞書の定義文に存在する不要な言い回しは変換の際に削除する.

不要語を削除した後に記事中の情報の重複排除を行うが, これには意味理解システム (篠原他

日中の未来志向の関係構築のため…

（単語親密度5.78） 各定義文との記事関連度を算出

図 5 多義語の意味特定の具体例

すなわち, 転じて, など, こと, さま, ある,
〜の異名, 〜の別名, 〜の古名,
のの謙譲語, もの尊敬語, 〜の丁寧語,
あるいは, もしくは, または

図 6 不要語の一覧
入力文)妹が昨日, 本屋で母に絵本を買ってもらった

図 7 意味理解システム

財政再生計画を考えて決める

図 8 格重複の排除

2002)を利用する.このシステムは入力された文を, $6 \mathrm{~W} 1 \mathrm{H}$ (Who, What, When, Where, Whom Why, How) と用言の 8 種類に分類する. 意味理解システムの出力例を図 7 に示す.

入力文の「誰が」にあたる語は「妹」であり，これが意味理解システムでは Who に分類される.このシステムで元の記事文と辞書から得た変換候補文をそれぞれ処理し，分類が重複した場合には不自然にならないように不要部分を削除する。具体的な例を図 8 に示す.

図 8 の例では元の記事文「財政再生計画を策定する」と不要語を削除した変換候補文「政策や計画を考えて決める」の 2 文である。ここで元の記事文と変換候補文の間で分類に重複があった場合, どちらか一方を用いて出力する文を作成する．具体的には難解語ではない部分で分類の重複が起こった場合には元の記事文を，難解語の部分で分類の重複が起こった場合には変換候補文を用いる。図 8 を見るとWhat の重複は難解語ではない部分であるため，元の記事文である「財政再生計画」が選択される，逆に用言での重複は難解語の部分であるため，変換候補文である「考えて決める」が選択される。このようにして分類の重複を排除した上で，変換を行い結果を出力する。図 8 の例では最終的に「財政再生計画を策定する」という元の記事文が 「財政再生計画を考えて決める」と変換される。

## 9 提案手法の評価と考察

1 章, 2 章で述べたとおり, 人間が違和感を感じない語の変換を行うためには, 人間と同じく $1: 1$ の変換と $1: N$ の変換を組み合わせることが必要である. それを踏まえ,ここまでで提案してきた 1 語変換および $N$ 語変換の手法を統合した手法を，本稿で提案する難解語の変換手法としてその評価を行う，変換処理を統合したことによる有効性を示すため, 提案手法, 難解語を無理やり 1 語変換のみで変換した場合， $N$ 語変換のみで変換した場合の 3 種類の変換について評価を行った。評価実験の方法および評価結果について以下に述べる.

評価には朝日新聞から取得した 50 記事からランダムに選んだ記事文を利用した. 全単語数は 1567 語, うち単語親密度の閾値によって難解語と判断された語は 249 語である.

まず著者, 共著者以外の被験者 3 名（男性 2 名, 女性 1 名）に対して記事中の全単語を提示し，それぞれの語について会話に出現する語としたときに難解と感じるか, 平易と感じるかの判断を行った. 多数決により全単語を難解と感じる語, 平易と感じる語に分類し, 人が変換すべきと判断した語と変換しなくてよいと判断した語の判別を行った.

次に評価に用いた記事を変換前と変換後のセットにして被験者に提示し, 平易な表現となっている方の記事を選択させる。この際, 被験者にはどちらが変換前でどちらが変換後かは示さない状態で記事を提示し, 表現が分かりやすいと感じる方を選択させた. 提案手法により変換された後の記事が平易であると選ばれた場合に○，変換前が選ばれた場合に×の評価とする.

最後に同じ被験者 3 名に対して変換前と変換後の記事を各々がどちらの記事であるか示した上で，変換後の記事が意味的に欠損したり違和感のある表現になっていないかという意味の保持性について評価を行った，意味が保持され，違和感もない場合には○，何らかの違和感を感じる場合には $\triangle$, 意味が違っていたり, 日本語表現としておかしいといった意味が保持されていない場合に×の評価とした。

手法の評価は, 人が変換すべきと判断した語と変換すべきでないと判断した語に分けて示す. まず人が変換すべきと判断した語については，変換手法により語が適切に変換されたか否かを評価した，なお，人が変換すべきと判断した語は 222 語，そのうち提案手法によって変換された語は 206 語であった。平易性に関する評価結果を図 9 に，意味保持性に関する評価結果を図 10 に示す.

提案手法では平易性の評価が $75.7 \%$, 意味保持性の評価が $81.1 \%$ とった．難解語となった 249 語について 1 語変換および $N$ 語変換のどちらで処理が行われたかの内訳は, 1 語変換によって処理された難解語が 76 語, $N$ 語変換によって処理された難解語が 173 語であった.

これは， 1 語変換では同義語および類義語が存在しない場合は変換することが出来ないため, 変換すべき語の多くが変換できず難解語のまま残ってしまったためである．今回の評価ではすべ

図 9 変換すべき語の評価結果（平易性）

図 10 変換すべき語の評価結果（意味保持性）

$N$ 語変換のみの場合は辞書に定義された語であれば変換可能であるため，変換不可の語は全体の $7.3 \%, 15$ 語に留まったが, こちらも提案手法と比べて平易性, 意味保持性共に評価は低くなっている.

次に変換すべきでないと判断した 1,345 語についての評価を表 7 および表 8 に示す.

人が変換すべきでないと判断した語に関しては, 変換が行われないもしくは変換されてしまったが平易である，意味が保持されている場合にそれぞれ○の評価としている。すべての手法において，○の評価は高くなっている， 1 語変換のみの場合には，前述したとおり変換がそもそも不可能である難解語が多かったため，変換すべきで無い語の多くが変換されないままとなり ○の評価が高くなっている.

以下に実際の変換例を示す。まず表 9 に 1 語変換のみを用いた場合と提案手法の変換例を示
表 7 変換すべきでない語の評価結果（平易性）

表 8 変換すべきでない語の評価結果（意味保持性）

表 91 語変換のみと提案手法の比較

 &  \\

す。なお，括弧の中は各変換の評価を示す。

「送還」という難解語は同義語，類義語ともに得られず， 1 語変換のみでは変換することができない. $N$ 語変換では送還の意味として「送り返すこと」が存在するため正しい変換が行えている.

「維持」の例では 1 語変換を行うと類義語から「持つ」という変換候補語が得られる。「持つ」 は確かに「維持」を平易に変換したものだが，文脈から不自然であると判断されて意味保持性は ×となった. これを提案手法で変換すると $N$ 語変換により「保ち続ける」という変換がされ，双方とも○の評価となった。

最後の例では難解語が 2 つ存在している。 1 語変換のみの場合には「破片」という難解語が 「かけら」に変換されるが，「落下」に関しては変換候補語が得られずに変換できない．提案手法では $N$ 語変換により「落下」に関しても「下に落ちること」という定義文から変換が可能となり，結果として表のような変換が行えた。

次に，表 10 に $N$ 語変換のみを用いた場合と提案手法の変換例を示す.

表 10 に示した例を見ると， $N$ 語変換のみを用いた場合の変換結果は意味的には元の記事文
表 $10 \mathrm{~N}$ 語変換のみと提案手法の比較

 &  \\

と相違ない。しかしこれらの表現が会話中に現れると想定すると多くの人は不自然であると感じる. $N$ 語変換は文章による変換であるため, この変換が多用されると変換後の記事が冗長であると感じやすく, 結果として意味保持性において違和感を感じてしまい $\triangle$ の評価となる場合や，平易性の無い $\times$ の評価となっている。一方，提案手法ではこれらの記事は 1 語変換によって変換され，その変換結果は意味を損ねず，かつ違和感もないことがわかる．以上のことから， 1 語変換掠よび $N$ 語変換を組み合わせることによってより人間にとって違和感の無い変換が行えることが分かる。

提案手法では難解語の判別に 6.1 節で示した間値を用いている。本評価では人が変換すべきと判断した 222 語のうち 206 語が難解語と判別されており, つまり変換すべき難解語 16 語がこの閾値では難解語と判断されていない。人が難解と感じる語を $100.0 \%$ 判断できることを重視する場合には親密度の閾值を上げればよいが，閾値が高すぎると記事中の多くの語が難解語と判断されると考えられる．各変換処理によってそれらの語が全て別表現に変換されると変換後の記事が冗長になる可能性がある。そこで本評価において人が変換すべきと判断したが，提案手法では難解語と判別されなかった語のうち最も高い親密度であった「污染」という語を基準として評価を行い，提案手法との比較を行った，具体的な親密度の間值は 6.15 である。平易性に関する評価結果を図 11 に，意味保持性に関する評価結果を図 12 に示す。

結果として，難解語判別の間値を 6.15 とした場合には平易性，意味保持性ともに評価が下がる結果となった．表 11 に提案手法による出力と難解語判別の閾値変更を行った場合の出力の比較を示す。

難解語判別の閾値を高くしたことで，提案手法では変換されなかった「視野」や「交差点」といった語が難解語と判断されている。これらの語は目視では変換しなくて良い語と判断されていた語である。これらが難解語と判断されることによって, 例えば「視野」という語は $N$ 語変換により「視線を固定したままの状態で見ることのできる範囲」と変換されている。これは意

提案手法

難解語閾値6.15

図 11 難解語判別の間値変更による評価結果（平易性）

提案手法難解語閾値6.15

図 12 難解語判別の間値変更による評価結果（意味保持性）

味としては正しいが, 元の「視野」という 1 語の表現と比べて非常に冗長であるため, 平易性において評価が×となっている。「交差点」の評価も「視野」と同様に圥長な表現で平易性を失っている。しかし同じ記事中の「右折」という語は，人が変換すべきと判断したが提案手法では変換されなかった 16 語の 1 つであり，これは「右へ曲がる」という平易な表現へ変換することが出来ている.

閾値を上げることで，人が変換すべきと判断したが提案手法では変換されなかった 16 語に対しての変換は行われたが，それに伴い人が変換しなくてよいと判断した語に対しても多くの変換が行われた。具体的には新たに 88 語が難解語となったが，これらの語は人の判断では変換せずとも平易であるとされており，変換を行うことで逆に平易性が損なわれやすい結果となった. このことより， 6.1 節において示した間値の設定は有効であると考える.

以上の評価結果より, 会話中に出現する語の単語親密度によって難解語の判別を行い, 1 語
表 11 提案手法と難解語判別の間値変更の出力比較

 \\

変換と $N$ 語変換を組み合わせることで平易な表現への変換を行う提案手法の有効性を示した.

## 10 おわりに

本稿では，新聞記事中の難解な語を会話に適した平易な表現へ変換する手法を提案した．変換の際には人間が行う語の変換処理に沿い，1つの語を別の 1 語で変換する 1 語変換および文章で変換す $N$ 語変換を組み合わせることでより人間にとって自然な変換が行えることを示した。 1 語変換では難解な語を同義語・類義語により別の 1 語へ変換し， $N$ 語変換では 1 語では変換できないような語や具体物を示す語について文による変換を行った。この二つの変換を組み合わせた変換手法を提案，評価してその有効性を示した。また，処理の各段階において語概念連想により語と語，文と文の関連性の有無を判断することで変換前の語から変換後表現にかけて意味の保持を行った．最終的な結果として新聞記事 50 件， 249 語の変換を行い，変換すべき難解語を結果として変換すべき難解語を $75.7 \%$ の精度で平易な表現に, $81.1 \%$ の精度で正しい意味を保持した表現に変換することが出来た。これにより，ロボットと人間との自然な会話生成を担う技術の一端を示せたと考える.

## 謝 辞

本研究の一部は, 科学研究費補助金（若手研究 (B) 24700215）の補助を受けて行った.

## 参考文献

天野成昭, 近藤公久 (1998). 音声単語の語彙判断に対する新密度の影響. 日本音響学会秋季研究発表会講演論文集 1,pp. 363-364.

天野成昭, 近藤公久 (1999). NTT データベースシリーズ日本語の語彙特性（第 1 期 CD-ROM 版）.三省堂.

天野成昭, 近藤公久 (2008). 日本語の語彙特性第 1 巻単語新密度増補. 三省堂.

Connine, C. M., Mullennix, J., Shernoff, E., and Yelen, J. (1990). "Word familiarity and frequency in visual and auditory word recognition." Journal of Experimental Psychology. Leaning, memory andcognition, 16 (6), pp. 1084-1096.

藤江悠五, 渡部広一, 河岡司 (2009). 概念べースと Earth Mover's Distance を用いた文書検索.自然言語処理, $16(3)$, pp. 25-49.

藤沢仁子，相原健郎，神門典子 (2006). 文化遺産に関する説明文の対象ユーザに合わせた言い換えの提案. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, 106 (109), pp. 7-12.

Gonzalez, H. S. and Davis, C. (2006). "The bristol norms for age of acquisition, imageability, and familiarity." Behavior Research Methods, 38 (4), pp. 598-605.

Hassan, S., Csomai, A., Banea, C., Sinha, R., and Mihalcea, R. (2007). "UNT: SubFinder: combining knowledge sources for automatic lexical substitution." SemEval '07 Proceedings of the 4th International Workshop on Semantic Evaluations, pp. 410-413.

Hoffman, A. J. (1963). "On simple linear programing problems." In Proceedings of the 7th Symposium in Pure Mathmatics of the AMS, pp. 317-327.

Jauhar, S. K. and Specia, L. (2012). "UOW-SHEF: SimpLex: lexical simplicity ranking based on contextual and psycholinguistic features." SemEval '12 Proceedings of the First Joint Conference on Lexical and Computational Semantics, pp. 477-481.

鍜治伸裕, 黒橋禎夫, 佐藤理史 (2001). 国語辞典に基づく平易文へのパラフレーズ. 情報処理学会研究報告, 2001 (69), pp. 167-174.

鍜治伸裕, 岡本雅史，黒橋禎夫 (2004). WWW を用いた書き言葉特有語彙から話し言葉語彙への用言の言い換え. 自然言語処理, 11 (5), pp. 19-37.

小島一秀, 渡部広一, 河岡司 (2001). 常識判断のための概念べース構成法 : 概念間論理関係を用

いた概念属性の重み決定法. 電子情報通信学会技術研究報告. AI, 人工知能と知識処理, 100 (709), pp. 57-64.

小島一秀, 渡部広一, 河岡司 (2002). 連想システムのための概念ベース構成法一属性信頼度の考え方に基づく属性重みの決定. 自然言語処理, 9 (5), pp. 93-110.

国立国語研究所 (2006). 日本語話し言葉コーパスの構築法. 国立国語研究所.

熊本忠彦, 田中克己 (2008). 2 種類の共起辞書を用いた語彙的言い換えに基づく Web 検索シス

テム. 人工知能学会論文誌, 23 (5), pp. 355-363.

松村明 (1995). 大辞林第 2 版. 三省堂.

McCarthy, D. and Navigli, R. (2007). "SemEval-2007 task 10: English lexical substitution task." SemEval '07 Proceedings of the 4th International Workshop on Semantic Evaluations, pp. 48-53.

中野智子, 遠藤淳, 菅原昌平, 乾健太郎, 藤田篤 (2005). Web サイトへのアクセシビリティ向

上を目的とした難語の平易化. 電子情報通信学会技術研究報告, 105 (186), pp. 11-14.

西村健二, 田中成典, 北野光一, 田中裕一, 大林睦 (2009). 児童向け新聞教材のための言い換

え表現対の抽出に関する研究. 情報処理学会第 71 回全国大会, pp. 293-294.

NTTコミュニケーション科学研究所 (1997). 日本語語彙体系. 岩波書店.

奥村紀之, 小島一秀, 渡部広一, 河岡司 (2005). 電子化新聞を用いた概念べースの拡張と属性

重み付与方式. 情報処理学会研究報告, pp. 55-62.

奥村紀之, 土屋誠司, 渡部広一, 河岡司 (2007). 概念間の関連度計算のための大規模概念べー スの構築. 自然言語処理, 14 (5), pp. 41-64.

Salton, G., Wong, A., and Yang, C. S. (1975). "A Vector space model for automatic indexing." Communications of the ACM, 18 (3), pp. 613-620.

篠原宜道, 渡部広一, 河岡司 (2002). 常識判断に基づく会話意味理解方式. 言語処理学会第 8 回年次大会発表論文集, pp. 651-654.

Sinha, R. (2012). "UNT-SimpRank: systems for lexical simplification ranking." SemEval '12 Proceedings of the First Joint Conference on Lexical and Computational Semantics, pp. 493-496.

Specia, L., Jauhar, S. K., and Mihalcea, R. (2012). "SemEval-2012 task 1: English Lexical Simplification." SemEval '12 Proceedings of the First Joint Conference on Lexical and Computational Semantics, pp. 347-355.

渡部広一, 河岡司 (2001). 常識的判断のための概念間の関連度評価モデル. 自然言語処理, $8(2)$, pp. 39-54.

Wilson, M. (1988). "The MRC Psycholinguistic Database: Machine Readable Dictionary, Version 2." Behavior Research Methods, 20 (1), pp. 6-11.

## 略歴

芋野美紗子：2009 年同志社大学工学部知識工学科卒業. 2011 年同大学院工学研究科情報工学専攻博士前期課程修了. 同大学院工学研究科情報工学専攻博士後期課程在学. 主に, 概念処理の研究に従事. 言語処理学会会員.

吉村枝里子：2004 年同志社大学工学部知識工学科卒業. 2006 年同大学院工学研究科知識工学専攻博士前期課程修了. 2009 年同大学院工学研究科知識工学専攻博士後期課程修了. 博士 (工学). 同年より同志社大学理工学部研究員. 主に, 知識処理, 意味処理, 会話処理の研究に従事. 言語処理学会, 情報処理学会各会員.

土屋誠司 : 2000 年同志社大学工学部知識工学科卒業. 2002 年同大学院工学研究科知識工学専攻博士前期課程修了. 同年, 三洋電機株式会社入社. 2007 年同志社大学大学院工学研究科知識工学専攻博士後期課程修了. 同年, 徳島大学大学院ソシオテクノサイエンス研究部助教. 2009 年同志社大学理工学部インテリジェント情報工学科助教. 2011 年同准教授. 博士（工学）. 主に, 知識処理, 概念処理, 意味解釈の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 日本認知科学会, 電子情報通信学会各会員.

渡部広一：1983 年北海道大学工学部精密工学科卒業. 1985 年同大学院工学研究科情報工学専攻修士課程修了. 1987 年同精密工学専攻博士後期課程中途退学. 同年, 京都大学工学部助手. 1994 年同志社大学工学部専任講師. 1998 年同助教授. 2006 年同教授. 工学博士. 主に, 進化的計算法, コンピュータビジョン, 概念処理などの研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, システム制御情報学会, 精密工学会各会員.

$(2012$ 年 6 月 8 日受付)
$(2012$ 年 9 月 20 日再受付 $)$
$(2012$ 年 11 月 30 日 $\quad$ 再々受付 $)$
$(2013$ 年 1 月 11 日採録)


# 文書分類のための Negation Naive Bayes

古宮嘉那子 $\dagger \cdot$ 伊藤 裕佑 $\dagger \dagger \cdot$ 佐藤 直人怰 $\cdot$ 小谷 善行 $^{\dagger}$
}

本論文は，文書分類のための新手法として，Negation Naive Bayes (NNB)を提案す る. NNB は, クラスの補集合を用いるという点では Complement Naive Bayes (CNB) と等しいが, Naive Bayes (NB) と同じ事後確率最大化の式から導出されるため, 事前確率を数学的に正しく考慮している点で異なっている．NNB の有効性を示すた め, オークションの商品分類の実験とニュースグループの文書分類の実験を行った. ニュースグループの文書分類では, 一文書あたりの単語数（トークン数）を減らした 実験と，クラスごとの文書数を不均一にした実験を行い，NNB の性質を考察した。 $\mathrm{NB}, \mathrm{CNB}$ ，サポートベクターマシン (SVM) と比較したところ，特に一文書当たり の単語数が減り, クラスごとの文書数が偏る場合において, NNB が他の Bayesian ア プローチより勝る手法であること，また，時にはSVM を有意に上回り，比較手法中 で最も良い分類正解率を示す手法であることが分かった。

キーワード：文書分類, Naive Bayes 分類器, Complement Naive Bayes 分類器
## Negation Naive Bayes for Text Classification

\author{
Kanako Komiya $^{\dagger}$, Yusuke Ito $^{\dagger \dagger}$, Naoto Sato $^{\dagger \dagger \dagger}$ and Yoshiyuki Kotani ${ }^{\dagger}$
}

In this study, we proposed negation naive Bayes (NNB), a new method for text classification. Similar to complement naive Bayes (CNB), NNB uses the complement class. However, unlike CNB, NNB properly considers the prior in a mathematical way because NNB is derivable from the same equation (the maximum a posteriori equation) from which naive Bayes (NB) is derived. We carried out classification experiments on products offered on an internet auction site and on the 20 Newsgroups data set. For the latter, we carried out experiments in the following two settings and discussed the properties of NNB: (1) settings in which the number of words in each document decreases and (2) settings in which the distribution of documents over classes is skewed. We compared NNB with NB, CNB, and support vector machine (SVM). Our experiments showed that NNB outperforms other Bayesian approaches when the number of words in each document decreases and when texts are distributed non-uniformly over classes. Our experiments also showed that NNB sometimes provides the best accuracy and significantly outperforms SVM.

Key Words: text classification, Naive Bayes Classifier, Complement Naive Bayes Classifier

## 1 はじめに

文書分類において Naive Bayes (NB) を利用するのは極めて一般的である. しかし, 多項モデルを用いた $\mathrm{NB}$ 分類器では, クラス間の文書数に大きなばらつきがある場合に, 大きく性能が下がるという欠点があった. そのため, Rennie, Shih, Teevan, and Karger (2003)は「クラスに属する文書」ではなく「クラスに属さない文書」，つまり「補集合」を用いることにより NB の欠点を緩和した Complement Naive Bayes (CNB) を提唱した。しかし, CNB はNB と同じ式, つまり事後確率最大化の式から導くことができない. そこで我々は, 事後確率最大化の式から導くことのできる Negation Naive Bayes (NNB) を提案し，その性質を他の Bayesian アプロー チと比較した. その結果, クラスごとの単語数（トークン数）が少なく，なおかつクラス間の文書数に大きなばらつきがある場合には分類正解率が NB，CNB をカイ二乗検定で有意に上回ること，また，これらの条件が特に十分に当てはまる場合には，事前確率を無視したCNB も同検定で有意に上回ることを示す。また, NNB は, Bayes 手法以外の手法であるサポートベクターマシン (SVM) よりも, 時に優れた結果を示した。

本稿の構成は以下のようになっている。まず 2 節で Bayes 手法のテキスト分類の関連研究について紹介する．３節では提案手法である NNB の導出について述べる．4 節では本研究で用いたデータと実験方法について述べ，5節に結果を，6節に考察を，7 節にまとめを述べる.

## 2 関連研究

これまでに数多くの文書分類に関する研究がなされており，これらの中でも，Bayes の手法はよく用いられている (持橋 2006).

井筒, 横澤, 篠原 (2005) は html ファイルの自動分類で NBを使用し, ルールベースの手法や判別分析に比べて，プログラム開発者にかかる負担の低さとスケーラビリティの高さを指摘している. McCallum and Nigam (1998) は NB を適用してテキスト分類を行う際に使用する事象モデルとして, 多項モデルと多変量ベルヌーイモデルの違いを述べ，分類結果から多項モデルの優位性を示している. Lewis (1992) は, 文書分類問題において単語と句, 単語と句のクラスタ化の有無, 全ての索引語を用いるか一部を用いるかの違いについて, 分類精度の比較を行った.花井, 山村 (2005)は, NB が前提とする単語間の独立が成り立たないとし, 依存性の強い 2 単語の組が同時に生起する確率を NB に適用することによって分類精度の向上を図った. Church (2000) は，単語の重み付け方法として IDF 值のかわりに “Adaptation”という概念を用い, 文書に含まれていないが内容に関連している単語を“Neighbor” として定義して, テキスト内の特徵的な単語の抽出を行った. さらに持橋, 菊井 (2006) は, NBにおけるクラス $c$ を未知として拡張したDM (Dirichlet Mixtures) や Infinite DM を提案し, 高村, Roth (2007) は, 予測的尤度

を用いて超変数を設定することなく, 加算スムージングのパラメータを求めた.

NB を発展させた研究として, 補集合を用いて学習を行う CNB が有名である (Rennie et al. 2003). CNB は，「クラスに属する文書」ではなく「クラスに属さない文書」，つまり「補集合」 を用いることによりNBの欠点を緩和した手法である.

本研究では，多項モデルを用いた NB と CNBに注目し，その分類における特徴を考慮して， Bayesのアプローチを用いた新しい分類手法 NNB を提案する.

## 3 Negation Naive Bayes の導出

NNB は CNB と同様に補集合を利用して文書分類を行うが，CNB と異なって NB と同じ事後確率最大化の式から導出が可能である。 その結果, 事前確率を数学的に正しく考慮することで, クラスごとの文書数が異なっているときにもより正確な文書分類を行えるようにした。．本節では NB の導出と, CNBの概念について触れた後, 提案手法である NNB の導出について述べる.

## 3.1 Naive Bayes 分類器

一般に確率モデルによる文書分類では，分類対象となる文書を $d$ ，ある一つのクラスを $c$ としたとき, 事後確率 $P(c \mid d)$ を最大化するクラス $\hat{c}$ を求める (Zhang 2004). NB 分類器を用いた文書分類では, 事後確率に Bayesの定理を適用する. 文書の取り出される確率 $P(d)$ はすべてのクラスについて一定であることを考慮すると，事後確率が最大のクラスを推定することは， クラスの出現確率 $P(c)$ と各クラスでの文書の出現確率 $P(d \mid c)$ の積を最大化するクラスを推定することと等しくなる.

$
\begin{aligned}
\hat{c} & =\underset{c}{\operatorname{argmax}} P(c \mid d) \\
& =\underset{c}{\operatorname{argmax}} \frac{P(c) P(d \mid c)}{P(d)} \\
& =\underset{c}{\operatorname{argmax}} P(c) P(d \mid c)
\end{aligned}
$

式 (1) において, $P(c)$ は全文書中でクラス $c$ に属する文書の割合を用いて容易に推定ができるが, $P(d \mid c)$ を直接推定するのは難しい. そこで, まず文書 $d$ を単語列 $w_{1}, w_{2}, \ldots, w_{n}$ で近似する。

$
P(d \mid c) \approx P\left(w_{1}, w_{2}, \ldots, w_{n} \mid c\right)
$

次に，各クラスで単語が独立に生起すると仮定すると，式 (2) は

$
P\left(w_{1}, w_{2}, \ldots, w_{n} \mid c\right) \approx \prod_{i=1}^{n} P\left(w_{i} \mid c\right)
$

と近似される。

したがって, $d$ の属するクラス $\hat{c}$ は最終的に以下の式で求められる.

$
\hat{c}=\underset{c}{\operatorname{argmax}} P(c) \prod_{i=1}^{n} P\left(w_{i} \mid c\right)
$

## 3.2 Complement Naive Bayes 分類器

多項モデルを用いた NB 分類器では, クラス間の文書数に大きなばらつきがある場合に, 文書数の小さいクラスで $P\left(w_{i} \mid c\right)$ が大きくなる傾向がある. $P\left(w_{i} \mid c\right)$ は「そのクラス中に出てきたそのトークン $w_{i}$ の数/そのクラス中に出てきたそのトークンの総数」であるため, 訓練事例の単語トークン数に大きな差ができた結果, 大きいクラスの $P\left(w_{i} \mid c\right)$ は比較的小さく, 小さいクラスの $P\left(w_{i} \mid c\right)$ はかなり大きくなることが予想できる。 その結果, 小さいクラスに出現した単語を含む文書が出現した場合，その文書は，その単語をもつ小さなクラスに割り当てられることになる.

また，文書数の少ないクラスでは，新規文書に出現した単語がそのクラスに含まれていない割合が多くなり，データがスパースになりやすい.

そこで，学習する文書数のばらつきを抑え，スパースネス問題を緩和するようNB を改良したのが Rennie et al. (2003)の CNB である，具体的には，「クラス $c$ に属す訓練事例」ではなく 「クラス $c$ に属さない訓練事例」すなわち「立に属する訓練事例（補集合）」を用いて学習を行う ${ }^{1}$.

図 1 は，NB と CNB での学習に用いる文書数の違いを表している。文書数 $10,10,20,40$ の 4 つのクラスがある場合，NBではこの文書数を自身のクラスの学習に使う．そのため，文書数が最も少ないクラスと最も多いクラスでは学習に使用する文書数に 4 倍の差がある.

図 $1 \mathrm{NB}$ と CNB での学習に用いる文書数の違い
^{1}$ Rennie らは文献の中で CNB のほかに 5 種類のヒューリスティックを導入しているが, 本研究では純粋に式の変更による違いを見るため, ヒューリスティックは使用しなかった.
}
一方，CNB では自身のクラスに属する文書以外の文書から学習を行うため, 学習に用いる文書数は最小のもので 40 , 最大のもので 70 となり, NBに比べてばらつきが小さくなる.

CNB は，文書内にある単語の出現確率の積から尤度を計算し，分類するクラスを決めるという点では $\mathrm{NB}$ と同じである。つまり，式 (4)を用いて文書 $d$ の属するクラス $\hat{c}$ を推定する。しか L, CNB では $P\left(w_{i} \mid c\right)$ を最尤推定で求めるのではなく, $c$ 以外のクラス $\bar{c}$ の尤度の積から推定する。つまり, $d$ の属するクラス $\hat{c}$ は最終的に以下の式で求められる.

$
\hat{c}=\underset{c}{\operatorname{argmax}} P(c) \prod_{i=1}^{n} \frac{1}{P\left(w_{i} \mid \bar{c}\right)}
$

## 3.3 Negation Naive Bayes 分類器

前節で説明した CNB は，NB の持つ「クラス間の文書数のばらつきによって分類結果が偏る」 という特徴を緩和する手法である。しかし，CNB はヒューリスティックによる解決法であって，事後確率最大化の式から導出することはできない.

そこで本研究では, 事後確率最大化の式から導出でき，かつ，CNBの「訓練にクラスの補集合を利用する」という長所をもつ分類器を作成する，以下で $\mathrm{NB}$ と同様の, 事後確率最大化の式（式 (1)）からの式の変形について述べる.

まず，事後確率 $P(c \mid d)$ を最大化するクラス $\hat{c}$ を求める式を補集合を利用するように変形する.

$
\begin{aligned}
\hat{c} & =\underset{c}{\operatorname{argmax}} P(c \mid d) \\
& =\underset{c}{\operatorname{argmax}}(1-P(\bar{c} \mid d)) \\
& =\underset{c}{\operatorname{argmin}} P(\bar{c} \mid d)
\end{aligned}
$

次に, Bayesの定理を用いて式 (6)を変形する.

$
\begin{aligned}
\hat{c} & =\underset{c}{\operatorname{argmin}} \frac{P(\bar{c}) P(d \mid \bar{c})}{P(d)} \\
& =\underset{c}{\operatorname{argmin}} P(\bar{c}) P(d \mid \bar{c})
\end{aligned}
$

そして，式 (7)を近似する。 $P(d \mid \bar{c})$ は式 (2), (3) と同様に

$
P(d \mid \bar{c}) \approx \prod_{i=1}^{n} P\left(w_{i} \mid \bar{c}\right)
$

と近似される。したがって，文書 $d$ の属するクラス $\hat{c}$ を以下の式で推定する.

$
\hat{c}=\underset{c}{\operatorname{argmin}} P(\bar{c}) \prod_{i=1}^{n} P\left(w_{i} \mid \bar{c}\right)
$

なお, $P(\bar{c})=1-P(c)$ であり, $\mathrm{CNB}$ と同じく最大化で表現すると以下の式になる.

$
\hat{c}=\underset{c}{\operatorname{argmax}} \frac{1}{1-P(c)} \prod_{i=1}^{n} \frac{1}{P\left(w_{i} \mid \bar{c}\right)}
$

式 (5) と比較すると, $\frac{1}{1-P(c)}$ の最大化の部分, つまり事前確率 $P(c)$ の部分が異なっていることが分かる. 式 (10) は事後確率最大化の式から求められたため, 事前確率を数学的に正しく考慮した式となっている. なお, Rennie らの研究では, 式 (5) において事前確率の扱いについてあまり注意を払っていないが，我々はクラスごとに単語数の偏りが大きいデータセットについて分類を行う場合には， $P(c)$ を利用するか $\frac{1}{1-P(c)}$ を利用するかの影響は必ずしも無視して良いとは言えないと考える。また, Rennieらの研究では, $P(c)$ は $P\left(w_{i} \mid \bar{c}\right)$ に比べて分類結果への影響が小さいと判断し, 事前確率は計算してもしなくても結果は同じと考え, 実際の分類には $P(c)$ を無視して $P\left(w_{i} \mid \bar{c}\right)$ のみを計算しているため, $\mathrm{P}(\mathrm{c})$ なしの CNB についても参考として実験を行う.

## 4 実験

NNB の性能を測りその特色を調べるため，ふたつのコーパスを用いた実験を行った。一つ目はオークションの商品分類の実験であり, 二つ目はニュースグループの文書分類の実験である.これらの二つの実験において, 形態素解析により得た表層形の bag-of-words を用いて NB, $\mathrm{CNB}, \mathrm{NNB}$ の文書分類の性能を比較した。また， NBB と $\mathrm{CNB}$ の差は事前確率 $P(c)$ と $\frac{1}{1-P(c)}$ の部分であるため, $\mathrm{CNB}$ と $\mathrm{NNB}$ から第一項を省略した形の式 $(P(c)$ なしの $\mathrm{CNB})$ でも実験を行った。

なお，形態素解析ソフトには $\mathrm{MeCab}^{2}$ を利用した.

また, スムージング手法としては, 予備実験によりラプラススムージング (marquis de Laplace 1814, 1995) と Jeffreys Perks 法 (Box and Tiao 1973)を試し, Jeffreys Perks 法の方が結果がよかったため,これを採用した.

さらに, Bayes ではない手法の比較対象として, SVMについても実験を行った. この際, 分類器としてはマルチクラス対応の SVM $\left(\right.$ libsvm $^{3}$ ) を使用した. カーネルは予備実験の結果, 線形カーネルが最も高い正解率を示したため, これを採用した。また，学習の素性は Bayes の手法とそろえ, 表層形の bag-of-words の頻度べクトルを使用した。すべての実験には五分割交差検定を用いた。

## 4.1 オークションの商品分類の実験

オークションの商品分類の実験は, Yahoo! オークション4の商品タイトルを商品カテゴリに分類する実験である．詳細は佐藤，藤本，小谷 $(2010)$ にならった.

本実験では，「デスクトップ」「記念切手」「赤ちゃん用の玩具」の三つのジャンルカテゴリ5に含まれる商品を対象に実験を行った。これらのジャンルカテゴリは，以下のようにトップカテゴリ（オークション）から絞り込むことができる。

・ オークション＞コンピュータ＞パソコン＞ Windows＞デスクトップ

・ オークション > アンティーク, コレクション $>$ 切手, 官製はがき $>$ 日本 $>$ 特殊切手,記念切手
- オークション>おもちゃ, ゲーム>ベビー用

ここで, >の左が親カテゴリ, 右が子カテゴリを示す.「デスクトップ」と「記念切手」は 2012 年 6 月 26 日に,「赤ちゃん用の玩具」は 2012 年 6 月 29 日に取得したデータである. ひとつの商品はひとつの葉カテゴリにのみ属しているものとし, 出品者によって登録されたカテゴリを正しいカテゴリとして実験を行った。なお, 例えばジャンルカテゴリが「デスクトップ」の場合,「ASUS の 1,000 円〜1,099 円」や「IBM パソコン単体 31,000 円〜34,999 円」といったものが葉カテゴリである。また, 佐藤他 $(2010)$ にならい, 出品者個人による商品情報表記の癖などの偏りをなくすため, 各カテゴリにつき 1 人の出品者の商品は 1 つしか使用しないものとし,商品タイトルの全単語を利用した実験と名詞のみを使用した二つの実験を行った。

表 1 にそれぞれのジャンルカテゴリ中の葉カテゴリ数, 同じ出品者による商品をひとつにする前と後の商品数を示す. ここで, 商品数 (処理前), 商品数 (処理後) はそれぞれ, 同じ出品者による商品をひとつにする前と後の商品数である．なお，「赤ちゃん用の玩具」の商品数（処理後）には 8205,8204 と二つ数字があるが， 8205 は全ての品詞の分類， 8204 は名詞のみの分類による商品数を示している。「赤ちゃん用の玩具」のデータには, 形態素解析の結果, 全ての形

表 1 それぞれのジャンルカテゴリ中の葉カテゴリ数, 同じ出品者による商品をひとつにする前と後の商品数

^{4}$ http://auctions.yahoo.co.jp/

5 オークション＞コンピュータ＞パソコン＞Windows ＞デスクトップの例では，「デスクトップ」だけでなく，「コンピュータ」や「パソコン」，「Windows」もジャンルカテゴリであるが，本実験ではデータサイズの観点から 「デスクトップ」を対象として実験を行った。
}
態素が名詞以外の品詞に割りつけられた商品が 1 件あったため, このような結果になっている. また, 図 2 , 図 3 , 図 4 にそれぞれ「デスクトップ」,「記念切手」,「赤ちゃん用の玩具」のカテゴリごとの文書数, 単語トークン数, 名詞のトークン数を折れ線グラフにしたものを示す. 横軸のカテゴリ indexは，カテゴリを文書数で並べ替えたときに降順につけたものである。これらの図から，カテゴリの分類実験において，カテゴリごとに文書数，トークン数が非常に偏っていることが分かる．特に，「記念切手」が最も偏っていることが読みとれる。

また, 表 2 にオークションのカテゴリ分類実験の訓練事例中の商品数の標準偏差, 訓練事例中の文書数の標準偏差を訓練事例中の総文書数の平均で割った值（以降，標準偏差／平均と表記), トークン数, 1 商品当たりの平均単語数を示す. 標準偏差／平均は, カテゴリ（またはクラス）ごとの商品数（または文書数）のばらつきを見るために示した. ばらつきを測るのには

図 2 「デスクトップ」のカテゴリごとの文書数, 単語トークン数, 名詞のトークン数

図 3 「記念切手」のカテゴリごとの文書数, 単語トークン数, 名詞のトークン数

図 4 「赤ちゃん用の玩具」のカテゴリごとの文書数, 単語トークン数, 名詞のトークン数

表 2 オークションのカテゴリ分類実験の訓練事例中の商品数の標準偏差, 標準偏差/平均, トークン数, 1 商品当たりの平均単語数

標準偏差を用いるのが一般的であるが，本実験のように全商品数（または文書数）が異なる実験設定同士を比べる際には，全商品数（文書数）の絶対値が大きくなるにつれて標準偏差も大きくなるという問題があったためである ${ }^{6}$ ，標準偏差を平均で割ることによって，全商品数（文書数）のスケールに左右されないデータのばらつきを測った．表 2 のこの「訓練事例中の商品数の標準偏差／平均」を見てみると，「記念切手」の值が「デスクトップ」や「赤ちゃん用の玩具」より高いことから, 図 2〜図 4 から読みとったように, 「記念切手」が最も偏っていることが読みとれる。

## 4.2 ニュースグループの文書分類の実験

ニュースグループの文書分類の実験のコーパスには 20 Newsgroups $^{7}$ を利用した. 20 Newsgroups は, 全 20 クラス, 18774 件のニュース記事からコーパスが構成されており, 文書数はどのクラスもおよそ 1000 件である (cf. 表 3 ).

## 4.2.1一文書あたりの単語数を減らした実験

$\mathrm{CNB}$ と NNB の式, 式 (5) と式 (10) を比較してみると, 事前確率 $P(c)$ と $\frac{1}{1-P(c)}$ の部分が異なっていることが分かる. 残りの $\prod_{i=1}^{n} \frac{1}{P\left(w_{i} \mid \bar{c}\right)}$ については等しい. しかし, 単語数が少ない文書を分類する際には，単語数が多い文書を分類する際よりも，相対的に事前確率の影響が大きくなることが予想される。 そのため, 一文書あたりの単語数を減らして実験を行い, その分類正解率を比較する。この際, 一文書あたりの単語数を $n$ とし, パラメータを $x$ とすると, 一文書あたりの単語数を $n / 2^{x}$ （ただし割り切れない場合には 1 を加算する）として実験した. パラ

表 3 クラスごとの文書数を不均一にした実験のクラスごとの文書数

メータ $x$ は，0〜4を試した. $x$ が 0 のときには, オリジナルの 20 Newsgroups と等しい.

ニュースグループの分類実験において一文書あたりの単語数を減らした実験の訓練事例中の単語数, 1 文書当たりの平均の単語トークン数を表 4 に示す. なお, このとき訓練事例中の総文書数はすべて 18,774であり，訓練事例中の文書数の標準偏差はすべて 95.95 である．また，訓練事例中の文書数の標準偏差/平均は 0.10 になる.

## 4.2.2 クラスごとの文書数を不均一にした実験

NNB は事前確率を数学的に正しく考慮しているため, 文書分類ではクラスごとの文書数が不均一である際に効果を発揮すると考えられる。そのため, 20 Newsgroups において，クラスごとに文書を間引きすることによって，クラスごとの文書数を不均一にして実験を行い，比較する. この際，クラスのインデックスを $i=1 \ldots 20$, パラメータを $y$ とすると, $i=1$ だけは常にオリジナルの文書数を保ったままとし， $i=2$ から文書数を $1 /((i-1) y)$ に減らして実験を行った. 例えば， $y=1$ のときには， $i=2,3,4$ の時にはそれぞれ $1 / 1,1 / 2,1 / 3$ となり， $y=2$ のときには， $i=2,3,4$ の時にはそれぞれ $1 / 2,1 / 4,1 / 6$ となる. パラメータ $y$ は，1４を試した.

表 3 に，クラスごとの文書数を不均一にした実験のクラスごとの文書数を示す. また，表 4 にニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の訓練事例中の総文書数, 文書数の標準偏差, 標準偏差/平均, 単語トークン数, 1 文書当たりの平均の単語トークン数を示す。また, ニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の訓練事例中の総文書数, 文書数の標準偏差, 標準偏差/平均, 単語トークン数, 1 文書当たりの平均の単語トークン数を表 5 に示す.

表 4 ニュースグループの分類実験において一文書あたりの単語数を減らした実験の訓練事例中の単語トークン数, 1 文書当たりの平均の単語トークン数

表 5 ニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の訓練事例中の総文書数, 文書数の標準偏差, 標準偏差/平均, 単語トークン数, 1 文書当たりの平均の単語トークン数

## 5 結果

表 6 と表 7 に全ての品詞を使用したオークションのカテゴリ分類実験の分類正解率のマイクロ平均とマクロ平均をそれぞれ示し，表 8 と表 9 に名詞だけを使用したオークションのカテゴリ分類実験の分類正解率のマイクロ平均とマクロ平均をそれぞれ示す. また, 表 10 と表 11 にニュースグループの分類実験において，一文書あたりの単語数を減らした実験の分類正解率のマイクロ平均とマクロ平均をそれぞれ示し, 表 12 と表 13 に同分類実験において, クラスごとの文書数を不均一にした実験の分類正解率のマイクロ平均とマクロ平均をそれぞれ示す. なお,正解率は, (分類に成功したもの) / (実験デー夕数) として求めた. 同じ文書集合の実験で, NB， CNB，NNBのうちで最も良かった正解率を太字で示した。さらに，次に良かった正解率との差がカイ二乗検定で有意だったものに関しては下線を引いた。また， $P(c)$ なしの CNB と SVM に関しては，上記の三手法のうち最も良かった手法と同じか, それよりも良いものは太字で示し，その優劣にかかわらず，差がカイ二乗検定で有意だったものに関しては下線を引いた。 さらに, 参考として最頻出カテゴリ（クラス）を答えた場合の正解率も併記した.

表 6 と表 8 から, オークションのカテゴリ分類実験において, マイクロ平均を比較した際, NNB が常に NB と CNB を有意に上回っていることが分かる. また同じ二つの表から，NNBが $P(c)$ なしの CNB よりも大抵（名詞だけの実験の「デスクトップ」が例外である）上回っていることが分かる．このうち，「記念切手」の実験では, 全単語使用した場合, 名詞たけを使用し

表 6 全ての品詞を使用したオークションのカテゴリ分類実験の分類正解率（マイクロ平均）

表 7 全ての品詞を使用したオークションのカテゴリ分類実験の分類正解率（マクロ平均）

表 8 名詞だけを使用したオークションのカテゴリ分類実験の分類正解率（マイクロ平均）

表 9 名詞だけを使用したオークションのカテゴリ分類実験の分類正解率（マクロ平均）

表 10 ニュースグループの分類実験において一文書あたりの単語数を減らした実験の分類正解率 (マイクロ平均)

表 11 ニュースグループの分類実験において一文書あたりの単語数を減らした実験の分類正解率 (マクロ平均)

表 12 ニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の分類正解率 (マイクロ平均)

表 13 ニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の分類正解率 (マクロ平均)

た場合に拘わらず，カイ二乗検定によりその差が有意であった. しかし，これらの実験において最も良い結果なのはSVM であり，NNBを有意に上回っている.

また, 表 7 と表 9 から, オークションのカテゴリ分類実験において, マクロ平均においても，有意ではないながら，NNB が常に NB と CNB を上回っていることが分かる．また同じ二つの表から， $P(c)$ なしの $\mathrm{CNB}$ が有意ではないものの，NNB を上回っていることが分かる，さらに， SVM は「デスクトップ」と「記念切手」においては有意に，「赤ちゃん用の玩具」では有意ではないものの, NNB を上回った。

また, 表 10 と表 12 から, ニュースグループの分類実験においても, マイクロ平均で比較した場合，常に NBBがNBと CNB を上回ることが分かる，ただし，その差が有意なのは，クラスごとの文書数を不均一にした実験（表 12）のパラメータが1のときと 3 のときだけである. また，これらの実験において， $P(c)$ なしの CNB はしばしばNNB を上回っているが，有意に上回っていることは一度もなかった. さらに表 10 の一文書あたりの単語数を減らした実験では, パラメータ $0 ， 1 ， 2$ のとき，NNB の分類正解率がSVM を有意に上回っている．しかし， パラメータ 3，4のときはSVM が最高であり, NNB と比較してその差は有意であった. 一方, 表 12 から，クラスごとの文書数を不均一にした実験では，全ての実験設定のときに NNB がSVM を上回っている.この差はカイ二乗検定により有意であった.

これに対し，表 11 と表 13 から，ニュースグループの分類実験において，マクロ平均においても，NNB が常に NB と CNB を上回っていることが分かる。また同じ二つの表から， $P(c)$ なしの CNB が NNB を上回っていることが分かるが，これらの差はいずれも有意ではない. さらに，表 11 の一文書あたりの単語数を減らした実験では, 常に有意でないながらも NNB の分類正解率がSVM を上回っている。しかし，パラメータ 3，4のときは，マイクロ平均と同様にSVM が最高であり, NNB と比較してその差は有意であった。一方, 表 13 から, クラスごとの文書数を不均一にした実験では，全ての実験設定のときに NNB が SVM を上回っている。この差はパラメータ 0 と 1 のとき, カイ二乗検定により有意であった.

## 6 考察

オークションのカテゴリ分類実験の結果とニュースグループの分類実験の結果を総合して NNB の特色について考察する。まず，表 6〜表 13 から，全ての実験を通して， NNB は NB と $\mathrm{CNB}$ を上回っていること，また $P(c)$ なしの CNB に有意に勝っていることはあっても有意に負けていることはないことが読みとれる8 $。$ このことから， NNB は他の Bayesの定理を利用した文書分類手法に比較しても引けを取らない文書分類手法であると言える。特に NB と比較したときには，マイクロ平均では常に有意に，マクロ平均ではオークションのカテゴリ実験において「デスクトップ」と「記念切手」の全品詞を使った分類実験以外の実験で有意に勝っていた. なお, マクロ平均ではサンプル数の減少から，NNB と比較した際，SVM と NBだけにしか有意差が認められなかったため, 今後は主にマイクロ平均について考察する.

オークションのカテゴリ分類実験とニュースグループの分類実験の実験設定の違いのうち, NNB の式に大きく関わりそうな点は二点あるだ万う。一つ目は第一項の事前確率に関わる，クラスごとの文書数 (またはカテゴリごとの商品数) のばらつき, 二つ目はそれ以外の部分に関わる, 一文書ごとの単語トークン数である． 4.2 節でも述べたように, CNB と NNB の式, 式 (5) と式 (10) を比較してみると, 事前確率 $P(c)$ と $\frac{1}{1-P(c)}$ の部分が異なっており, 残りの $\prod_{i=1}^{n} \frac{1}{P\left(w_{i} \mid \bar{c}\right)}$ については等しい，NNB は事前確率を数学的に正しく考慮しているため, 文書分類ではクラスごとの文書数が不均一である際に効果を発揮すると考えられる．また，単語数が少ない文書を分類する際には, 単語数が多い文書を分類する際よりも，相対的に事前確率の影響が大きくなることが予想される.

クラスごとの文書数のばらつきを見るために，図 5 に同実験においてクラスごとの文書数を
$ が NNB を上回っている. $P(c)$ は事前確率であるため，カテゴリ間のデータ数に偏りがあり，な扔かつ単語トークン数が少ない場合には, NNB は大きなカテゴリに分類されやすいことが予想できる。そのため, マイクロ平均は $P(c)$ なしの CNB を有意に上回ったが， マクロ平均は $P(c)$ なしの $\mathrm{CNB}$ が高くなる傾向がある可能性がある.
}
不均一にした実験の, クラスごとの文書数の標準偏差／平均を横軸とした分類正解率の散布図を示す.

また，単語トークン数の影響を見るために，図 6 にニュースグループの分類実験において一文書あたりの単語数を減らした実験の，一文書あたりの単語トークン数を横軸とした分類正解率の散布図を示す。その上で $\mathrm{NNB}$ の特徴を $\mathrm{NB}, \mathrm{CNB}(P(c)$ のないものを含む)，SVM の順で比較しつつ考察する。

図 5 から，NB はクラスごとの文書数のばらつきが多い際にその分類正解率が著しく低下することが分かる。また, 商品のカテゴリ分類実験において, NB の分類正解率がとても低いのも同じ原因によるものであることがうかがえる．商品のカテゴリ分類実験において，標準偏

文書数の標準偏差/平均

図 5 ニュースグループの分類実験においてクラスごとの文書数を不均一にした実験の，クラスごとの文書数の標準偏差/平均を横軸とした分類正解率の散布図

図 6 ニュースグループの分類実験において一文書あたりの単語数を減らした実験の，一文書あたりの単語トークン数を横軸とした分類正解率の散布図
差／平均は「デスクトップ」，「記念切手」，「赤ちゃん用の玩具」がそれぞれ $1.44,2.84,1.33$ と高く, カテゴリごとの商品数のばらつきが大きいからである. この原因として, クラスごとの $P\left(w_{i} \mid c\right)$ のデータスパースネスの差が考えられる．ここで NBの式を再掲する。

$
\hat{c}=\underset{c}{\operatorname{argmax}} P(c) \prod_{i=1}^{n} P\left(w_{i} \mid c\right)
$

NB ではクラスごとの文書数のばらつきが大きい際には，クラスによって訓練事例の単語トー クン数に大きな差ができる. 例えば最も大きなクラスでは, その訓練事例となるトークン数が一万となり，小さなクラスでは 10 トークンといった具合である。 その結果, 小さなクラスではデータがスパースになり，より頻繁にスムージングが行われる。そのため, $\mathrm{NB} て ゙ は ，$ 個々の分類問題と相性の良いスムージング手法を用いることが求められるが，今回のジェフリー・パー クス法はラプラス法よりは良いとはいえ，まだ実際よりも大きな值を小さなクラスに与えていたと思われる ${ }^{9}$. このように， $\mathrm{NB}$ ではデータスパースネスによって誤分類が起きて分類正解率が著しく下がることがあるが，この問題を補集合を用いることで解決したのが CNB であり，この点について $\mathrm{NNB}$ は $\mathrm{CNB}$ と全く同じ特色を持っている.

次に, NNB と CNB の差について考察する。図 5 を見てみると， $P(c)$ を考慮しない CNB と NNB の差はあまりないが， NNB は CNB より若干良いことが分かる。これは，クラスごとの文書数に偏りが出てくると, CNB と NNB の違いである事前確率が異なってくるため, その分類正解率に差がつくからであると考えられる.

次に図 6 を見てみると，一文書当たりの平均の単語数が減ると，どの手法を用いても全体的に分類正解率が低下することが分かる. これは, 単語数が減ることで, 統計の材料となる $w_{i}$ が減っているためであると考えられる。これに対し，一文書当たりの単語数を変化させても，CNB と NNB の差が大きくなることはなかった，これは，ニュースグループのオリジナルのコーパスでは，そもそもクラスごとの文書数に偏りがあまり見られないため, 事前確率に偏りがなく, CNB とNNB がそう違わない結果になったためであると考えられる.

ここで, オークションのカテゴリ分類実験の実験設定も共に比較してみる. 図 7 に縦軸を標準偏差/平均, 横軸をクラスごとの単語数にした, 実験設定ごとの CNB と NNB の差の散布図を示す. 左の図が事前確率を考慮した CNB と NNB の差が有意であるかを表しており, 右の図が事前確率を考慮しない CNB と NNB の差が有意であるかを表している。なお，両方の図において，縦軸の値が 0.10 である五つの点が，ニュースグループの一文書当たりの単語数を減らした一連の実験であり，横軸の値が 128.71 である五つの点が，ニュースグループのクラスごとの文書数を不均一にした一連の実験である。オークションのカテゴリ分類実験の実験設定では，

用いると NB だけ飛躍的に正解率が上昇した．ただし，本論文の主張との矛盾はない結果であった。
}

CNBとNNBの差

P(c)なしのCNBとNNBの差

図 7 横軸を標準偏差／平均，縦軸をクラスごとの単語数にした，実験設定ごとの $\mathrm{CNB}$ とNB の差の散布図

ニュースグループの実験よりも，ひとつの文書（商品）ごとのトークン数が少なく（一文書当たりの単語数を最も減らした実験と同じくらいである)，なおかつクラス（カテゴリ）ごとの文書数（商品数）の偏りが，クラスごとの文書数を不均一にしたニュースグループの実験と同じくらい，またはそれ以上に偏っていることが分かる.

図 7 により, 標準偏差／平均が小さい時には CNB と NNB の差はほとんどないこと，また,標準偏差／平均が大きくなるにつれて NNB が有意に CNB を上回るようになる傾向がうかがえる。また, 一文書あたりの単語数が少ない時に, なおかつ標準偏差／平均が大きければ, NNB が有意に事前確率を考慮しない CNB に対しても有意に上回ることが分かる.オークションのカテゴリ分類実験の「記念切手」（左上の二点）のときには，両方の条件が共に十分当てはまったため，NNB の分類正解率が，CNBにも事前確率を考慮しない CNBにも有意に上回ったものと思われる。

次に，SVM との比較を行う．残念ながら，NNB の分類正解率が，CNB にも事前確率を考慮しない CNBにも有意に上回った「記念切手」の実験設定を含む，オークションのカテゴリ分類実験では，SVM の分類正解率がいつも他手法を有意に上回った．しかし，ニュースグループの文書分類実験では，一文書あたりの文書数を減らした場合のパラメータが 3 と 4 の実験を除き，NNBがSVM を有意に上回った，上述したように， $w_{i}$ の数が減ってしまうと，Bayesian アプローチの正解率は下がることが一文書当たりの単語数が減った際にSVM を有利にしたと考えられる。しかし，ニュースグループのオリジナルのコーパスの実験では，CNB との差は有意ではないながらも，NNBが全ての分類器の中で最も高い分類正解率となっている。このことから，NNB は時にはSVM を有意に上回り，他手法と比較しても最も良い分類正解率を示しうる
表 14 ニュースグループの分類実験にかかった時間

手法であることが分かる ${ }^{10}$.

また, 最後に, 提案手法の速度についての目安を知るために, 最も実行時間がかかるオリジナルのニュースグループの分類実験において，それぞれの手法の実行時間を測った．表 14 の結果を示す. SVM は C 言語により実装されたツールによるものであり，それ以外の Bayesian アプローチは Perlにより個人的に実装したものであるため，一概に比較は難しいが， NNB が CNB とほほ同じ速度で実行されることが分かる。

## 7 まとめ

本稿では，文書分類のための新手法として， Negation Naive Bayes (NNB) を提案し，その性質を他の Bayesian アプローチである Naive Bayes (NB), Complement Naive Bayes (CNB) と比較した。NNBは， CNB と同様にクラスの補集合を用いるが，NB と同じ事後確率最大化の式から導出されるため, 事前確率を数学的に正しく考慮している点で異なっている．NNB の性質を見るために，ふたつのコーパスを用いた実験を行った. 一つ目はオークションの商品分類の実験であり，二つ目はニュースグループの文書分類の実験である。このうち，ニュースグループの文書分類の実験では, 一文書あたりの単語数を減らした実験と, クラスごとの文書数を不均一にした実験を行い，オリジナルの文書集合の実験に加え，それぞれパラメータを変えて四通りを試した。その結果, すべての実験において NNB と CNB がNB の分類性能を上回ること, また, 一文書当たりの単語数が減り, クラスごとの文書数が偏るときにマイクロ平均で NNB は CNB を上回ることが分かった。事前確率を無視した CNB と比較しても,これらの条件が共に当てはまる際には，NNBが CNB を有意に上回った。これは， CNB と NNB の違いは事前確率にあるため，クラスごとの文書数が偏るときにその影響が見られ，なおかつ一文書当たりの単語数が減る際には相対的に事前確率の影響が大きくなるためであると考えられる。また, CNB または事前確率を無視した CNB が NNB を有意に上回ることはなかった. さらに，ニュースグ

ループの分類実験においては, その際の CNB との差は微小ながら, 参考として比較したサポー トベクターマシン (SVM) をカイ二乗検定で有意に上回り，比較手法中で最も良い分類正解率を示す結果も見られた。

これらのことから, 特に一文書当たりの単語数が減り, クラスごとの文書数が偏る場合において， NNBが他の Bayesian アプローチより勝る手法であること，また，時にはSVM を有意に上回り，比較手法中で最も良い分類正解率を示す手法であることが分かった.

## 謝 辞

本研究の一部は, 文部科学省科学研究費補助金 [若手 B (No: 24700138)] の助成により行われた.ここに, 謹んで御礼申し上げる。また, 本論文の内容の一部は, Recent Advances in Natural Language Processing 2011 で発表したものである (Komiya, Sato, Fujimoto, and Kotani 2011).

## 参考文献

Box, G. E. P. and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis. Reading, MA: Addison-Wesley.

Church, K. W. (2000). "Empirical Estimates of Adaptation: The chance of Two Noriegas is closer to $p / 2$ than $p^{2}$." In Proceedings of the COLING '00, pp. 182-191.

Gabrilovich, E. and Markovitch, S. (2004). "Text Categorization with Many Redundant Features:

Using Aggressive Feature Selection to Make SVMs Competitive with C4.5." In Proceedings of the The Twenty-First International Conference on Machine Learning, pp. 321-328.

花井拓也, 山村毫 (2005). 単語間の依存性を考慮したナイーブベイズ法によるテキスト分類 (類似性の発見). 情報処理学会研究報告自然言語処理研究会報告, 2005(22), pp. 101-106.

井筒清史, 横澤誠, 篠原健 (2005). Web 文書タイプ自動分類手法の比較評価と適用. In IPSJ SIG Notes 2005(32), pp. 25-32.

Komiya, K., Sato, N., Fujimoto, K., and Kotani, Y. (2011). "Negation Naive Bayes for Categorization of Product Pages on the Web." In Proceedings of the RANLP 2011, pp. 586-591.

Lewis, D. D. (1992). "An Evaluation of Phrasal and Clustered Representations on a Text Categorization Task." In Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 37-50.

marquis de Laplace, P. S. (1814). Essei philosophique sur les probabilites. Paris: Mme. Ve. Courcier.

marquis de Laplace, P. S. (1995). Philosophical Essay On Probabilities. New York: Springer-

Verlag.

McCallum, A. and Nigam, K. (1998). "A Comparison of Event Models for Naive Bayes Text Classification." In Proceedings of the AAAI/ICML-98 Workshop on Learning for Text Categorization, pp. 41-48.

持橋大地 (2006). 自然言語処理におけるべイズ統計. 電子情報通信学会技術研究報告 $\mathrm{NC}$, ニュー ロコンピューティング, pp. 25-30.

持橋大地, 菊井玄一郎 (2006). 無限混合ディリクレ文書モデル. 自然言語処理研究会報告 2006NL-172, pp. 47-53.

Rennie, J. D. M., Shih, L., Teevan, J., and Karger, D. R. (2003). "Tackling the Poor Assumptions of Naive Bayes Text Classifiers." In Proceedings of the ICML2003, pp. 616-623.

佐藤直人, 藤本浩司, 小谷善行 (2010). ウェブ上の商品情報を利用した商品のカテゴリ分類. 人工知能学会第 87 回知識ベースシステム研究会, pp. 7-10.

Siolas, G. and d'Alché-Buc, F. (2000). "Support Vector Machines based on a Semantic Kernel for Text Categorization." In Proceedings of the nternational Joint conference on Neural Networks, pp. 205-209.

高村大也, Roth, D. (2007). Predictive Naive Bayes Classifier の提案と言語処理への適用. 言語

処理学会第 13 回年次大会発表論文集, pp. 546-549.

Zhang, H. (2004). "The Optimality of Naive Bayes." In Proceedings of the the 17th International FLAIRS conference (FLAIRS2004), pp. 562-567.

## 略歴

古宮嘉那子 : 2005 年東京農工大学工学部情報コミュニケーション工学科卒. 2009 年同大大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

伊藤裕佑：2012 年東京農工大学工学部情報工学科卒. 在学中に自然言語処理の研究に従事.

佐藤直人：2009 年東京農工大学工学部情報工学科卒. 2011 年同大大学院博士前期課程情報工学科修了. 在学中にゲーム研究と自然言語処理の研究に従事.

小谷善行 : 東京農工大学大学院教授. 工学研究院先端情報科学部門・情報工学科. 人工知能, 知識処理, ゲームシステム, ソフトウェア工学, 教育工学の研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会等会員. コンピュータ将棋協会副会長. 最近では, 多量データからの知識獲得に興味を
持っている.

(2012 年 10 月 12 日受付)

(2012 年 12 月 26 日再受付)

(2013 年 3 月 6 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 『現代日本語書き言葉均衡コーパス』に対する 時間情報アノテーション

小西 光 ${ }^{\dagger}$ 浅原 正幸 $\dagger$ ・前川喜久雄 $\dagger$

時間情報表現は, テキスト中に記述される事象の生起時刻を推定するための重要な 手がかりである，時間情報表現を含む数値表現の抽出は, 固有表現抽出の部分問題 として解かれてきた，英語においては，評価型国際会議が開かれ，時間情報表現の テキストからの切り出しだけではなく, 曖昧性解消・正規化のための様々な手法が 提案されている。さらに，時間情報と事象とを関連づけるアノテーション（タグづ け）基準 TimeML の定義や新聞記事にアノテーションを行ったコーパス TimeBank の整備が進んでいる。一方, 日本語においては時間情報処理に必要なアノテーショ ン基準の定義及びコーパスの整備が進んでいない. 本稿では, TimeML の時間情報表現を表す $\langle$ TIMEX3〉タグに基づいた時間情報のアノテーション基準を日本語向けに 再定義し, 『現代日本語書き言葉均衡コーパス』(BCCWJ) コアデータの一部にアノ テーションを行った. 問題点を検討し, 今後事象の生起時刻を推定するために必要 な課題を考察する。

キーワード：時間情報処理，コーパスアノテーション
## Temporal Information Annotation on 'Balanced Corpus of Contemporary Written Japanese'

\author{
Hikari Konishi $^{\dagger}$, MasayUki Asahara $^{\dagger}$ and Kikuo Maekawa ${ }^{\dagger}$
}

Temporal information is important for grounding event expressions on a timeline. Temporal expression extraction has been performed as numerical representation extraction, which is a subtask of named entity extraction. For English texts, evaluation workshops were held in which temporal expressions were extracted and normalized. An annotation schema, TimeML, was designed to annotate events and temporal expressions, and several annotated corpora of newswire texts were developed. However, a schema for temporal information and normalization of Japanese texts has not been designed. This paper proposes an annotation schema, which is based on TimeML, for Japanese temporal information. We annotate the temporal information in parts of the 'Balanced Corpus of Contemporary Written Japanese'. We identify several problems in the annotation and discuss the steps to be taken to ground Japanese event expressions on a timeline.

Key Words: Temporal Information Processing, Corpus Annotation

## 1 はじめに

情報検索や情報抽出において，テキスト中に示される事象を実時間軸上の時点もしくは時区間に関連づけることが求められている. Web 配信されるテキスト情報に関しては, 文書作成日時 (Document Creation Time: DCT) が得られる場合, テキスト情報と文書作成日時とを関連づけることができる。しかしながら, 文書作成日時が得られない場合や, 文書に記述されている事象発生日時と文書作成日時が乘離する場合には他の方策が必要である. テキスト中に記述されている時間情報解析の精緻化が求められている.

時間表現抽出は, 固有表現抽出の部分問題である数値表現抽出のタスクとして研究されてきた. 英語においては, 評価型国際会議 MUC-6 (the sixth in a series of Message Understanding Conference)(Grishman and Sundheim 1996)で, アノテーション済み共有データセットが整備され, そのデータを基に各種の系列ラベリングに基づく時間表現の切り出し手法が開発されてきた. TERN (Time Expression Recognition and Normalization)(DARPA TIDES 2004) では, 時間情報の曖昧性解消・正規化がタスクとして追加され, 様々な時間表現解析器が開発された. さらに, 時間情報表現と事象表現とを関連づけるアノテーション基準 TimeML (Pustejovsky, Hanks, Saurí, See, Gaizauskas, Setzer, Radev, Sundheim, Day, Ferro, and Lazo 2003b) が検討され, TimeML に基づくタグつきコーパス TimeBank (Pustejovsky, Castaño, Ingria, Saurí, Gaizauskas, Setzer, and Katz 2003a) などが整備された。 2007 年には, 時間情報表現一事象表現間及び 2 事象表現間の時間的順序関係を推定する評価型ワークショップ SemEval-2007 のサブタスク TempEval (Verhagen, Gaizauskas, Schilder, Hepple, Katz, and Pustejovsky 2007) が開かれ，種々の時間的順序関係推定器が開発された. 後継のワークショップ SemEval-2010のサブタスク TempEval-2 (Verhagen, Saurí, Caselli, and Pustejovsky 2010) では, 英語だけでなく，イタリア語, スペイン語, 中国語, 韓国語を含めた 5 言語が対象となった。 2013 年に開かれる SemEval-2013 のサブタスク TempEval-3 では, データを大規模化した英語, スペイン語が対象となっている.

一方, 日本語においては IREX (Information Retrieval and Extraction Exercise) ワークショップ (IREX 実行委員会 1999) の固有表現抽出タスクの部分問題として時間情報表現抽出が定義されているのみで, 時間情報の曖昧性解消・正規化に関するデータが構築されていなかった.

そこで, 我々は TimeML に基づいた日本語に対する時間情報アノテーション基準を定義し, 時間情報の曖昧性解消・正規化を目的とした時間情報タグつきコーパスを構築した．他言語のコー パスが新聞記事のみを対象としているのに対し, 本研究では均衡コーパスである『現代日本語書き言葉均衡コーパス』(Balanced Corpus of Contemporary Written Japanese; 以下 “BCCWJ”) を対象としており, 新聞記事だけでなく, 一般書籍・雑誌・ブログなどに出現する多様な時間情報表現を対象としている。本稿ではアノテーション基準を示すとともに，アノテーションしたコーパスの詳細について示す.
以下，2 節では時間情報表現についての背景について概観する，3節では，対象とする時間情報表現について詳しく述べる．4 節では策定した日本語時間情報表現に対するアノテーション基準を示す. 5 節でアノテーションにおける日本語特有の問題について説明する. 6 節でアノテーション作業環境を示す. 7 節で実際にアノテーションしたコーパスの分析を行う．最後にまとめと今後の課題を示す.

## 2 背景

## 2.1 時間情報表現に関する関連研究

テキスト中の時間情報表現を分析する研究は日本語以外の言語で進んでおり, 時間表現の文字列の切り出しや正規化のみならず，時間表現と事象表現の関連づけなどが行われている。表 1 に英語もしくは日本語を対象とした時間情報表現に関連する研究を示す。以下，まず英語の時間情報表現に関する代表的な研究を俯瞰する。次に日本語の数少ない時間情報表現に関する研究を示す.

英語においては，評価型国際会議 MUC-6 (Grishman and Sundheim 1996) の1夕スクである

表 1 関連研究

 & 評価型会議 & 時間情報表現の切り出しのみ \\

固有表現抽出の中に時間情報表現の抽出が含まれていた．MUC-6 で定義されている時間情報表現タグ 〈TIMEX〉は日付表現 (@type="DATE") と時刻表現 (type="TIME") からなる. アノテー ション対象は絶対的な日付・時刻を表す表現にのみ限定され, "last year”などといった相対的な日付・時刻表現は含まれていない.この MUC-6 のアノテーション基準〈TIMEX〉に対し, Setzer は時間情報表現の正規化に関するアノテーション基準を提案している (Setzer 2001)，評価型国際会議 TERN (DARPA TIDES 2004) では，時間情報表現検出に特化したタスクを設定している. TERN で定義された時間表現情報タグ〈TIMEX2〉は，相対的な日付・時刻表現，時間表現や頻度集合表現が検出対象として追加されている．時間表現の正規化情報を記述する ISO-8601 形式を拡張した @value 属性などが設計され, こちらも自動解析対象となっている。その後, Pustejovsky らによりアノテーション基準 TimeML (Pustejovsky et al. 2003b) が提案されている。その中では, TERN で用いられている〈TIMEX2〉を拡張した $\langle$ TIMEX3 が提案され, さらに時間情報表現と事象表現の時間的順序関係を関連づけるための情報が付加される。これらの情報は人手でアノテーションすることを目的に設計され, TimeBank (Pustejovsky et al. 2003a) や Aquaint TimeML Corpusなどの人手による夕グつきコーパスの整備が行われた. これらのコーパスに基づく時間情報表現の自動解析 (Boguraev and Kubota Ando 2005; Mani 2006)が試みられたが，夕グの情報に不整合があったり，付与されている時間的順序関係ラベルに偏りがあったりなど扱いにくいものであった (Boguraev and Kubota Ando 2006). 2007 年に開かれた SemEval 2007 の 1 タスク TempEval (Verhagen et al. 2007) では, 時間的順序関係のラベルを簡略化し, 人手で見直したデータによる時間的順序関係同定の夕スクが行われた。このタスクでは, 時間表現に対して正規化された @value 属性などが付与されており, 事象表現の時間的順序関係同定に利用してよい. TempEval-2 (Verhagen et al. 2010) では, 英語だけでなく, イタリア語，スペイン語，中国語，韓国語に関しても同様なデータを利用したタスクが設定された.

日本語においては, IREX (IREX 実行委員会 1999)の 1 タスクとして, 固有表現抽出タスクが設定された．IREX の時間情報では，日付・時刻表現を対象にし，相対的な表現が定義に含められている。また, 関根らは拡張固有表現体系 (Sekine, Sudo, and Nobata 2002)を提案し, 辞書/オントロジやコーパスの作成などを行っており, BCCWJにも同じ体系の拡張固有表現夕グが付与されている (橋本, 中村 2010 ). 日本語においては, 表現の分類の体系化が進んでいるが, 正規化のための研究は他言語と比べて遅れをとっている.

## 2.2 コーパスアノテーションの標準化

本研究はコーパスアノテーションにおける標準化活動の観点から重要である.

国際標準化機構 (International Organization for Standardization: ISO) の標準化技術委員会 (Technical Committee) TC 37 は "Terminology and other language and content resources" と題し, 言語資源に関するさまざまな標準化を提案している。そのなかに分科会 (Structure of
the committee) が四つ設定されているが， TC 37/SC 4 が言語資源管理 (Language resource management; LRM) に関する国際規格の規定を行っている. TC 37/SC 4 はさらに以下に示すような作業部会を六つ設定しており，さまざまな形式・出自の一次言語データに対するアノテー ションやXML に代表される汎用マークアップ言語に基づくアノテーションの表現形式についての仕様記述言語を設計している.
- TC 37/SC 4/WG 1 Basic descriptors and mechanisms for language resources 言語資源に関する情報を記述するための作業部会
- TC 37/SC 4/WG 2 Semantic annotation アノテーションと表現方法を議論する作業部会
- TC 37/SC 4/WG 3 Multilingual information representation 多言語対訳テキストに特化した作業部会
- $\mathrm{TC} 37 / \mathrm{SC} 4 / \mathrm{WG} 4$ Lexical resources 言語資源そのものに関する作業部会
- TC 37/SC 4/WG 5 Workflow of language resource management 言語資源管理の作業手順を議論する作業部会
- TC 37/SC 4/WG 6 Linguistic annotation 言語情報アノテーションを議論する作業部会

TimeML 開発者は, 作業部会 TC 37/SC 4/WG 2 と連携を取りながら, Semantic Annotation Framework(SemAF)-Time (ISO-24617-1: 2012) を 2012 年に正式に制定した.

日本の言語資源整備は，実デー夕を作成せずに標準化活動を行うものと実データを作成するが標準化活動を無視して行うものとに二極化している。一方，国際標準の中には，実世界上の特定のモノもしくはコトに関係づけられる言語横断的な標準化が有効なアノテーションと, 言語の表現形態・表現機能のような言語横断的な標準化がそぐわないアノテーションとが混在している。後者の作業の失敗が顕在化しており，アノテーションの標準化作業を低く評価する傾向がある.

我々のグループは 2006 年より TimeML 開発者から TimeML 関連の情報を得ながら時間情報表現アノテーションと事象表現アノテーションに取り組んできた。標準化に適した時間情報表現アノテーションと，標準化に適さない事象表現アノテーションを切り分けたうえで，前者について ISO-TimeML に準拠する日本語版〈TIMEX3〉アノテーション基準を検討し策定した。この部分が本研究の内容に相当する。一方，後者についてはモダリティが豊かな日本語の事象表現を国際標準に合わせてアノテーションすることが困難であり，別の方策でアノテーションすることを検討中である。

日本において, 国際標準に準拠している他のアノテーションデータとして, 策定中の SemAFNE Named Entities（ISO-24617-3 制定中）に準拠している BCCWJ に対する拡張固有表現体系

アノテーション (橋本, 中村 2010 ) がある.

## 3 対象とする時間情報表現

まず以下の例文を見て欲しい.

例文：

彼は 2008 年 4 月から週に 3 回ジョギングを 1 時間行ってきたが, 昨日ケガをして走れなくなり，今朝 9 時に病院に行った。

本稿の研究対象である時間情報表現1は時間軸上の時点もしくは時区間を表現するテキスト中の文字列とする。時間情報表現は以下の四つの分類に分けられる。 (1)日付表現・(2時刻表現は 「2008年 4 月」「昨日」「今朝 9 時」といった, 時点もしくは時区間の時間軸上の位置を定義することを目的として用いられる表現である。 33時間表現は「1時間」といった，時間軸上の位置に焦点をあてずに時区間幅を定義することを目的として用いられる表現である。 (4)頻度集合表現は「週に 3 回」といった, 時間軸上複数の時区間を定義することを目的として用いられる表現である.

これら時間情報表現の曖昧性を解消しながら時間軸上の特定の区間に写像することを正規化と呼ぶ. 日付・時刻表現において, 表層の情報だけで正規化ができる表現と, 文脈の情報を用いなければ正規化ができない表現がある。前者を定時間情報表現 (fully-specified temporal expression) と呼び, 後者を不定時間情報表現 (underspecified temporal expression) と呼ぶ. 上の例では「2008 年 4 月」が定時間情報表現であり，「昨日」「今朝 9 時」が不定時間情報表現である。時間情報表現の正規化には計算機で扱う日付や時刻を扱うための国際標準 ISO-8601 形式 ${ }^{2} への$ 変換が一般的である。しかしながら, 自然言語では表現できるが, ISO-8601 形式では直接表現できない時間情報表現がある，例えば，時間表現や頻度集合表現は時間軸上不定な場合が多く ISO-8601 形式だけでは表現できず，TimeMLの〈TIMEX3〉においてさまざまな拡張形式が提案されている.

想定する時間情報表現解析では手がかりとして, テキストが書かれた日付・時刻を表す文書作成日時を用いることを仮定している。例えば，文書作成日時が 2008 年 9 月 1 日であれば，「昨日」は 2008 年 8 月 31 日（ISO-8601 形式では “2008-08-31”）を表し，「今朝 9 時」は 2008 年 9 月 1 日午前 9 時（同“2008-09-01T09:00”）を表す.
$ は分を表す二ケ夕の数字が, ss は秒を表す二ケタの数字が入る。 T は日付と時刻を分割する記号. 様々な略記方法が提案され，例えば「2008 年 4 月」は “2008-04” と表記する。詳細については ISO-8601 に対応する日本工業規格 JISX0301「情報交換のためのデータ要素及び交換形式一日付及び時刻の表記」参照のこと.
}

本節では日本語時間情報表現に対するアノテーション基準の概略を示す. アノテーション基準は，言語資源管理に関する国際標準 ISO/TC 37/SC 4 におおいて, 2009 年に採用された ISO24617-1 の元になっている TimeML (Pustejovsky et al. 2003b) 〈TIMEX3〉タグの仕様に準拠 ${ }^{4} し$ ている。以下，〈TIMEX3〉の夕グの日本語適応について説明する。細かな点で日本語に合うように変更しており，合わない部分については次節で説明する。

## 4.1 アノテーション対象

アノテーション対象は日付表現・時刻表現・時間表現・頻度集合表現の 4 種類である。図 1 にアノテーション事例を示す.

日付表現は「一九二九年二月」「前日」のような日暦に焦点をあてた表現である．時刻表現は 「午前十時ごろ」「午後六時ごろ」「昼」「九日昼」のような一日のうちのある時点に焦点をあてた表現である。日付表現と時刻表現の区別は時間軸上の粒度の区別でしかない. 便宜上不定の現在を表す「今」という表現を時刻表現に分類する．時間表現は「その間」のような時間軸上の両端に焦点をあてておらず，期間を表すことに焦点をあてている表現である．頻度集合表現は「毎日」のような複数の日付・時刻・時間に焦点をあてた表現である。この分類は, 解析の方便のために導入したものである。時間軸上一つもしくは複数の時点・時区間を表現するもの

(出典) PB59_00001（優先順位 00003）

$\langle$ sentence type="quasi" $\rangle\langle$ TIMEX3 @ @valueFromSurface="2003-10-20" @definite="true" $\rangle$ 二 $\bigcirc$ 三年十月二十日 〈/TIMEX3〉

〈TIMEX3 @tid="t2" @type="DATE" @value="2003-10-W3-1" @valueFromSurface="XXXXWXX-1"@definite="true"〉 月曜日 〈/TIMEX3 $\langle/$ sentence〉 〈br @ type="automatic_original" / $\langle$ sentence @type="quasi" $\rangle\langle$ TIMEX3 @tid="t3" @type="TIME" @value="2003-1020T17:30:XX" @valueFromSurface="XXXX-XX-XXT17:30:XX" @definite="true"〉午後五時

〈sentence〉ステイシーはだらけた姿勢でモニターの前に陣取り, 白黒の画像に見入っていた.〈/sentence〉〈sentence〉彼女は伸びをし，腕時計に目をやった. 〈/sentence〉〈sentence〉〈TIMEX3 tid="t4" type="DURATION" value="PT2H30M" valueFromSurface="PT2H30M" $\rangle$ 二時間半〈/TIMEX3〉で収穫ゼロ. 〈/sentence〉

図 1 アノテーション例

をアノテーション対象である時間情報表現とする.

現在のアノテーション基準では〈TIMEX3〉夕グの入れ子を許さない. 日付・時刻表現の線形結合はこれを一つの日付・時刻表現として切り出す。例えば「九日昼」のように日付表現と時刻表現が連接する場合には一つの時刻表現として切り出す。時間を表す際に，開始時点と終了時点を明示している場合には, 開始時点と終了時点とを別々の日付・時刻表現として切り出す.例えば「午前十時ごろから午後六時ごろまで」は一つの時間表現として切り出さず，「午前十時ごろ」と「午後六時ごろ」の二つの時刻表現として切り出す。事象が起こる期間を表すために，今後, 関連する事象表現に対し, この二つの時刻表現への参照関係を付与する予定である。頻度集合表現は，文字列上できるだけ短い単位を切り出す。例えば「毎日」を頻度集合表現として切り出すが, 「毎日午前十時ごろから午後六時まで」は現在のところ頻度集合表現として切り出していない.

## $4.2\langle$ TIMEX3 の属性

〈TIMEX3〉タグの属性のうち @tid, @type, @value, @valueFromSurface, @freq, @quant, @mod を概説する。また，作業・分析用に導入した@definiteについて説明する。

@tid 属性は一文書中の各時間情報表現に付与される識別子である。各時間情報表現を一意に同定するために用い，今後同一指示，参照，事象表現との時間的順序を表す際に用いる.

@type 属性は DATE, TIME, DURATION, SET の四つの値を持つ。それぞれ日付表現・時刻表現・時間表現・頻度集合表現を意味する.

@value 及び @valueFromSurface 属性は時間情報表現が含意する日付・時刻・時間の値を表す. 値として ISO-8601 形式を自然言語表現向けに拡張したものを用いる。このうち @valueは文脈情報を用いて正規化を行った値を付与し， ⓥalueFromSurface 属性は文脈情報を用いずに文字列の表層表現のみから判定できる値を付与する.

ここで @value と @valueFromSurface 属性の違いについて例を用いて説明する.「2013 年 4 月」という表現は，文脈を用いなくても表層の文字列から時間軸上に一意に曖昧性解消ができる。「4月」という表現に対して, 文脈情報からそれが 2013 年の「4月」であるとわかる場合には以下のように記述する（ここで属性にわりあてる値の詳細については 4.3 節に示す)．定時間情報表現は @value と @valueFromSurfaceの值は同じになるが, 不定時間情報表現は同じになるとは限らない.

@freq, @quant 属性は頻度集合表現に付与される頻度情報及び量化子情報である。属性にわりあてる値の詳細を 4.4 節に示す.

@mod 属性は時間情報表現のモダリティを表す。例えば「2000 年以前」をアノテーションするために@mod 属性に ON_OR_BEFORE という值をわりあてることにより「以前」というモダリティを表現する。属性にわりあてる値の詳細を 4.5 節に示す.

@definite 属性は "true”, “false” のいずれかの值を持ち, @value 属性が, 文脈情報により定時間情報が得られる時間情報表現は “true”の值を持ち, その他の時間情報表現は “false” の値を持つ。言い換えると，日付・時刻表現が時間軸上の特定時区間に写像できる場合と時間・頻度集合表現の時間幅が特定できる場合に“true”の値を持ち，そうでない場合に“false”の值を持つ. 例えば，以下の例はともに ⓓefiniteが “false”の例である.「10日」という表現は, 文脈から「4月」ということがわかるが，何年かまではわからないために定時間情報が得られない. なお, @definite 属性は作業・分析の便宜上導入したもので, 元の ISO-TimeML の 〈TIMEX3〉には規定されていない.

作成したコーパスに対し上記属性を付与した。他の属性として，記事配信日時など特別な意味を表す時間情報表現に付与する @functionInDocument, 同一指示を表す@anchorTimeID, 時間表現の開始位置と終了位置を表す@beginPoint, @endPoint, アノテーション時の問題点を自由記述する @comment がある.これらの情報は作業者が気づいた範囲で付与を行ったが完全ではない.

## 4.3 @value 及び @valueFromSurface

各表現に付与する @value 及び @valueFromSurface は ISO-8601 形式を基として, 自然言語が表す時間情報向けに拡張したものである。ⓥalue は文脈情報を用いて正規化を行った値を付
与し, @valueFromSurface 属性は文脈情報を用いずに文字列の表層表現のみから判定できる値を付与する. ISO-8601 の標準表記では, 日付・時刻表現を XXXX-XX-XXTXX:XX:XX の形で表す.

日付表現に対する値の事例を表 2 に示す. 自然言語向けの拡張により, ISO-8601では表現できない季節・四半期・年度などが表現できるようになっている。曜日表現に対する値の事例を表 3 に示す。曜日表現が表す WXX の数値部分は年内の暦週の番号を表す。日本語でよく用いられる「第 3 水曜」のような月内の暦週の番号を表す方策がとられていない. これについては 5.2 節で詳説する。

時刻表現に対する値の事例を表 4 に示す. 自然言語向けの拡張により，「朝」「昼」「夜」などが表現できるようになっている。*が付与されている「未明」と「深夜」は日本語新聞記事に頻出したために @valueFromSurfaceの値を独自に導入した. @valueにはどちらも「夜」と同じくTNIをわりあてる。詳しくは 5.3 節で説明する.

表 2 日付表現に対する @value

表 3 曜日表現に対する @value

表 4 時刻表現に対する @value

時間表現に対する値の事例を表 5 に示す．基本的に ISO-8601 の時間表現 5 と同じであり，接頭辞として P を付与し，その後に数值とともにそれぞれ年，月，日，時間，分，秒，週を表す $\mathrm{Y}, \mathrm{M}, \mathrm{D}, \mathrm{H}, \mathrm{M}, \mathrm{S}, \mathrm{W}$ を接尾辞として付与する. 月 $(\mathrm{M})$ と分 $(\mathrm{M})$ を区別するために日と時間の境界に $\mathrm{T}$ を付与する。

「今」「近年」「今後」など不定な表現に対する値の事例を表 6 に示す.これらは全て自然言語向けに導入した値である。

頻度集合表現は上記 @value 属性を流用しながら次節に示す @freq, @quant 属性を組み合わせることによって表現される.

## 4.4 頻度集合表現に対する ⓕreq及び @quant 属性

頻度集合表現は @value, ⓕreq, @quant 属性を組み合わせることにより複雑な時間情報を表現する。

頻度情報を表すためには，期間を表す @value 属性とともに，ⓕreq 属性に $n \mathrm{x}$ もりあてることにより，焦点をあてている期間中に事象が $n$ 回起こることを示す。例えば「週に 2 回」を表現する際には以下のようにアノテーションする ${ }^{6}$.

「週に 2 回」

$\langle$ TIMEX3 type="SET" value="P1W" freq="2X" $\rangle$ 週に 2 回 $\langle/ T I M E X 3\rangle$

@quant 属性には「毎日」「毎週」「毎 10 月」といった表現に EACH をわりあて，「10日おき」「3 日毎」といった表現に EVERYをわりあてる。この際 @value 属性には期間を表す值だけでなく，日付・時刻を表す値が入ることがある，以下に例を示す。

表 5 時間表現に対する @value

表 6 不定な表現に対する @value

^{5}$ ISO-8601 では時間を表現するために Time interval 形式と Duration 形式の二つがあるが, ここでは Duration 形式を用いる.

6 説明に不要な属性は省略して表示. 以下同様.
}

頻度集合表現は, できるだけ文字列上小さな単位で切り出しているため, 現在のところ上記定義で意味論的表示に曖昧性が生じていない。例えば「毎日午前十時ごろから午後六時まで」 のような表現の場合, 表現全体の単位で切り出すとすると, @value, @freq, @quant 属性のみで曖昧性なく意味論的表示に落とすことは困難である。これは，時間情報表現間の時間的順序関傒のアノテーションにおいて今後対処していきたい.

## 4.5 モダリティ修飾 $\bmod$ 属性

時間情報表現は接尾表現をともない，様々なモダリティを表現する。ⓜod 属性は時刻・時間表現に対するモダリティ修飾情報である．表 7 に取りうる値の一覧と例を示す.

日付・時刻・時間表現に共通して用いられる @mod 属性としてSTART, MID, END, APPROX がある. 例えば，「60 年代初頭」「10月半ば」「約 40 年」は以下のようにアノテーションする.

表 $79 \bmod$ 属性に対する値

日付・時刻表現に対する @mod 属性として, BEFORE, AFTER, ON_OR_BEFORE, ON_OR_AFTER がある. 例えば「1998年以前」は以下のようにアノテーションする.

時間表現に対する $9 \bmod$ 属性として, EQUAL_OR_LESS, EQUAL_OR_MORE, LESS_THAN, MORE_THAN がある. 例えば「10 分以内」は以下のようにアノテーションする.

## $5\langle$ TIMEX3〉日本語適応上の問題点

本節では $\langle$ TIMEX3 3 の日本語適応について問題となった事例について個別に紹介する。基本的には @valueFromSurfaceに日本語特有の表示を用い, @value に TimeML に適合した表示を用いる。必要に応じて韓国語のデータ K-TimeML (Im, You, Jang, Nam, and Shin 2009) に準拠した Korean Timebank 1.0/2.0 でどのような扱いを行っているのかを付記する.

## 5.1 暦

日本語に〈TIMEX3〉を適応するうえで一番大きな問題として, 和暦の問題がある。日本語では元号法に基づいた「昭和」「平成」などの年表記がテキスト中に出現する。これについては @valueFromSurfaceに「明治」「大正」「昭和」「平成」を表現する “M", “T", “S", “H" の接頭子を二ケ夕の数字表現に付与することで記述し, @value に西暦に換算したものを記述することとする．上記四つ以外の元号については @value 相当に西暦を記述するのみで対処する．元号以外の時代名（例：「江戸時代」）については, 時間情報表現として切り出しを行うのみで, @value 相当は空白とした.

$
\begin{aligned}
& \text { 一和暦の扱い } \\
& \text { 〈TIMEX3 type="DATE" @value="1985" @valueFromSurface="S60"〉 昭和 } 60 \text { 年 } \\
& \text { 〈/TIMEX3 }
\end{aligned}
$

旧暦に対しては, OvalueFromSurfaceにおいて日付表現の表示の末尾に Q"を付与し旧暦を表し, 明示的に新暦の暦日が記述されている場合にのみ @value 相当に記述する.
皇紀に対しては, @valueFromSurface において表示の最初に"JY”を付与し皇紀を表し, @value 相当に西暦を記述する。

韓国語 (韓国・北朝鮮), 中国語（中国・台湾）なども同様の問題が起きうるが，公開されている文書を見る限り @value 相当に西暦を記述することで対処している.

## 5.2 月次の週番号の扱い

欧米地域では年単位の週番号を利用する傾向がある一方, 東アジア地域では「第三木曜」など月単位の週番号を利用する傾向がある。このため, 韓国より〈TIMEX3〉に対して月単位の週番号を記述可能にする拡張が提案されている．具体的には以下のようにⓥalueFromSurface の日相当部分に週番号を記述する。ⓥalue にはカレンダーを参照することにより ISO-8601 の標準表記 XxxX-XX-Xx 形式の値をわりあてた.

月次の週番号の扱い

<TIMEX3 type="DATE" @value="2013-01-17"

@valueFromSurface="XXXX-XX-W3-4" $\rangle$ 第三木曜 〈/TIMEX3

## 5.3 その他日本語特有の表現

以下では日本語適応において問題となった雑多な事例について紹介する. 基本的に@valueFromSurface において日本語に限定した形式で正規化を行い, @value 相当は正規表現などを用いて正規化を行う.
- 旬（月の細分類）上旬, 中旬, 下旬

@valueFromSurface においては “ $1 \mathrm{~J}$ ”(上旬), “ $2 \mathrm{~J}$ ”(中旬), “ $3 \mathrm{~J} "$ (下旬) などと日本語に限定した形式を導入し, @valueには “XXXX-XX-(0[123456789]|10)” (上旬)のように正規表現を用いて正規化を行った.
- 未明$\cdot$ 午前 $\cdot$ 真夜中

@valueFromSurface においては新聞記事などで頻出する表現に対応するため“DW”（未明; @value は “NI”(夜) 相当)・"FN" (午前; @value は “MO”(朝) 相当)・“MN” (真夜中; ⓥalueは “NI”(夜) 相当）を導入した。
- 学期

@valueFromSurface においては学期を表現する記号として“G”を導入した. @valueは何学期制かが不明なので空白である事例が多い.
- 国民の祝日

国民の祝日は，国立天文台が官報で公表する「春分日」「秋分日」やハッピーマンデー制度が適用される四つの祝日も含めて @value 相当にその年の正しい日付を記述する。
- 休日

時間情報表現として切り出すが, 具体的にいつなのかわからない場合が多く, @valueは空白とした。
- お盆

@value 相当に“SU"（夏）を記述する。
- 十干十二支

時間情報表現として切り出すが, 具体的にいつなのかわからない場合が多く, @valueは空白とした。

## 6 作業環境と作業対象

本節では作業環境と作業対象である BCCWJについて詳しく説明する.

## 6.1 作業環境

アノテーション作業には XML Editor oXygen ${ }^{7}$ を利用した. DTD や XML Schema を記述することにより時間表現の切り出し部分や属性にわりあてる値などを統制することができる。時

図 2 XML Editor oXygen によるアノテーション
^{7}$ http://www.oxygenxml.com/
}

## 作業監督者

図 3 ペアプログラミングによるアノテーション作業

間表現の切り出しはマウスもしくはキーボードで対象となる文字列を選択したうえで Ctrl-e とタイプし，夕グを選択することで，XML タグ（閉じタグも含む）が插され。この状態で画面右の属性項目を記述することにより，XML ファイルを編集することができる。

言語資源に対するアノテーションにおいて，ある一定の基準を守ったうえで複数の作業者の主観を尊重してそれぞれの作業者間の判断の摇れを許す場合 ${ }^{8}$, 基準を厳格化し作業者間の判断の摇孔を許さない場合の 2 通りの統制手法がある。本論文の時間情報表現の特定の時間軸上への写像作業は後者の統制手法を取るために図 3 のようにペアプログラミングのような手法を取った. 1 台の PCに，キーボード二つ・マウス二つ・ディスプレイ二つを接続し，ディスプレイはミラーリングを行う。一つの PC を共有したうえで，作業者がアノテーション作業を行い，作業監督者がアノテーション仕様の改訂を行う.

アノテーション作業は 1 人の作業者と 1 人の作業監督者により行った. 1 回目のアノテーション時の作業時間は 7 時間 15 分週 2 日勤務で約 2 か月だった. 1 回目のアノテーション直後 (1 回目見直し）と 6 か月後（2 回目見直し）に見直しを行った. 1 回目の見直し作業はアノテー ション結果を帳票形式で出力したうえで，属性に関する見直しを行った． 2 回目の見直し作業は再度 XML Editor 上で行った. アノテーションデータは 1 回目の見直し作業が終わった時点で公開しており，利用者から誤りの指摘があった場合に修正を行っている.

このアノテーション作業の準備段階の〈TIMEX3〉の切り出しの一致率は $95 \%$ 以上であり, 切り出しの不一致の多くが単純な見落としであった。属性についての一致率は, 一つの時刻・時間に複数の意味論的表示を許す @value, @valueFromSurface ${ }^{9}$ を除いて $90 \%$ 以上である。

## 6.2 作業対象

作業対象である BCCWJ (国立国語研究所コーパス開発センター 2011) について概説する.

表 8 作業対象デー夕

BCCWJ のコアデータは, $\mathrm{OW}$ : 白書, PB: 書籍, PN: 新聞, $\mathrm{OC}$ : Yahoo! 知恵袋, PM: 雑誌, OY: Yahoo! ブログの六つのレジスタからなり，それぞれ約 5 万語単位で，アノテーションすべき優先順位に基づいた部分集合が規定されている10，上記全レジスタの部分集合 “A”と比較的時間表現が多いレジスタである $\mathrm{PN}($ 新聞)の部分集合 “B”をアノテーション対象とした.

表 8 にデータの概要を示す。表中「ファイル数」はアノテーションしたファイルの数，ファイル数の「うち時間表現あり」は時間表現を一つ以上含むファイルの数を表す.

OC , OY などのユーザー生成コンテンツはサンプリングの長さにもよるが 1 ファイルに時間情報表現が一つも含まれないものがある一方, OW, PB, PN, PM などのユーザー生成コンテンツ外のほとんどは時間表現が必ず一つ以上含まれている。OW の中で時間表現を一つも含まない 1 ファイルは「平成 16 年度森林・林業白書」であった。文単位では, OW, PN が時間情報表現を含む割合が最も多く，PB が時間情報表現を含む割合が最も少なかった。

## 7 タグの分析

本節ではアノテーションした情報について，時間情報表現の正規化の観点から分析を行う.表 9 に文書作成日時を示すタグを除いた@type ごとのタグの出現数を曖昧性解消の観点から二つの視点で四つに分割して示す。一つ目の視点は @definiteが “true”か “false”かである. “true”の場合，時間軸上に時区間が特定可（“DURATION”と “SET”は時間幅が特定可）であることを意味し，“false”の場合，時間軸上に時区間が特定不可であることを意味する。二つ目の視点は @value と @valueFromSurfaceの値が一致する（"="で表記）か，一致しない ("キ” で表記）かである。一致する場合人手による文脈を用いた正規化作業が行われていないことを意味し，一致しない場合人手による文脈を用いた正規化作業が行われたことを意味する.

まず日付表現 (“DATE”) について，時区間特定可（@definite が “true”) であるものの多くが，人手による曖昧性解消が行われている (@value $\neq$ @valueFromSurface)ことがわかる。こ

表 9 @type 属性ごとの出現数と文脈による曖昧性解消可能性

} & \multicolumn{3}{|c|}{ true（特定可） } & \multicolumn{3}{|c|}{ false（特定不可） } \\

のことから本アノテーションの目的とする時間表現の正規化作業の重要性がうかがえる。レジス夕にもよるが, OW 白書や PN 新聞など, 出版年・発行年月日が明らかであるものほど曖昧性解消がよく行われる傾向がある。日付表現の曖昧性解消は, 和暦から西暦への換算や, 西暦二ケタ表記から西暦四ケタ表記への換算, さらに年が省略されている表現の文脈や文書作成日時に基づく年の補完によるものがあり，白書の多くの事例がこの暦の換算作業であった。他のレジスタは曖昧性がない表現が多いわけではなく, 文書作成日時など曖昧性を解消するに足る情報がデータ中に含まれていないことにより，具体的な時間軸上の区間を指し示すことができない事例が多かった．部分的に情報を補完すること（例えば「3日」という表現に対し9月であることまでがわかるが，何年であるかまではわからないので， Qvalue="Xxxx-09-03"をわりあてること）も含まれており，時区間特定不可（@definiteが “false”）であるが人手による曖昧性解消が行われている (@value $\neq$ @valueFromSurface) ものがこれにあてはまる.

次に時刻表現 (“TIME”)については, PB の1件を除いて時区間特定可であるものの殆どが
人手による曖昧性解消が行われている。時刻表現の曖昧性解消は, 日付が省略されている場合の日付の補完のほか，午前と午後の曖昧性解消が含まれる。日付表現と同様に出版年月日がわかる新聞記事の曖昧性解消がよく行われている一方, OC Yahoo! 知恵袋や PM 雑誌は, お店の営業時間など時間軸上の特定の時刻を表現しないものが多かった。

時間表現 ("DURATION") と頻度集合表現については，時間軸上の時区間を特定することを目的とせず，時間幅が特定できれば @definiteが “true”になると定義している．実際に時間軸上の時区間に写像する際には，日付・時刻表現や事象表現との時間的順序関係（TimeML の 〈TLINK〉）を定義することが必要になる.

## 8 おわりに

本稿では BCCWJに対する日本語時間情報アノテーションについて説明した. アノテーションは各国で進められている国際標準 ISO-TimeML に定義された〈TIMEX3〉タグに準拠している.他言語においては対象を新聞記事に限定しているのに対し, 本研究は 6 種類のレジスタを対象にアノテーションを行い，レジス夕横断的な分析を行うとともに，日本語適応における問題点を調査した，作成したアノテーションデータはスタンドオフ形式で公開する．BCCWJ の DVD を入手することでタグつきテキストコーパスが復元できる.

以下，今後の展望を示す.

今回作成したテキストコーパスをべンチマークとして正規化を行う日本語時間表現解析器の開発を現在進めている。作成中の解析器では，まず，表層文字列からわかる値をラティス上に展開し, セミマルコフモデルを用いて曖性解消を行う。解析対象表現一文書作成日時および解析対象表現一隣接時間情報表現の時間的順序関係を今回作成したタグつきコーパスを用いて機械学習器を用いて推定することにより, 不定時間情報表現に対する情報補完を行う.

今後, TimeML で行われている事象表現と時間表現間の時間的順序関係 (TimeML中の $\langle$ TLINK〉)付与を進めていきたい。 そのためには, 対象となる事象表現の策定, 事象表現に対する分類 (TimeML 中の EVENT@type), テンス・アスペクト体系の整備(同 MAKEINSTANCE@tense, @aspect),節間の関係定義（同 SLINK）など解決すべき問題は山積している。事象表現に対する分類として工藤らの動詞分類 (工藤 1995,2004 )を基にしたうえで, EVENT@type を付与している．テンス・ アスペクト体系については中村らのテンス・アスペクトの解釈 (中村 2001) を参考にしてラベルを設計する予定である。日本語のアスペクト表現は多様であるために MAKEINSTANCE@aspect については，元の TimeML から拡張する予定である。今後 TimeML に準じた事象表現に対するアノテーションを行い, 最終目標である事象表現に対する時間情報付与の研究へと進んでいきたい.

## 謝 辞

本研究は, 国立国語研究所基幹型共同研究「コーパスアノテーションの基礎研究」および国立国語研究所「超大規模コーパス構築プロジェクト」による補助を得ています.

## 参考文献

Boguraev, B. and Kubota Ando, R. (2005). "TimeML-Compliant Text Analysis for Temporal Reasoning." In Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI-05), pp. 997-1003.

Boguraev, B. and Kubota Ando, R. (2006). "Analysis of TimeBank as a Resource for TimeML parsing." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC-06), pp. 71-76.

DARPA TIDES (2004). The TERN evaluation plan; time expression recognition and normalization. Working papers, TERN Evaluation Workshop.

Grishman, R. and Sundheim, B. (1996). "Message Understanding Conference-6: a brief history." In Proceedings of the 16th International Conference on Computational Linguistics (COLING96), pp. 466-471.

橋本泰一, 中村俊一 (2010). 拡張固有表現夕グ付きコーパスの構築一白書, 書籍, Yahoo! 知恵袋コアデーター. 言語処理学会第 16 回年次大会発表論文集, pp. 916-919.

Im, S., You, H., Jang, H., Nam, S., and Shin, H. (2009). "KTimeML: specification of temporal and event expressions in Korean text." In Proceeding of ALR7 Proceedings of the 7th Workshop on Asian Language Resources, pp. 115-122.

IREX 実行委員会 (1999). IREX ワークショップ予稿集.

国立国語研究所コーパス開発センター (2011). 『現代日本語書き言葉均衡コーパス』利用の手引 (第 1.0 版).

工藤真由美 (1995). アスペクト・テンス体系とテクスト一現代日本語の時間の表現一. ひつじ書房.

工藤真由美 (2004). 日本語のアスペクト・テンス・ムード体系一標準語研究を超えて一. ひつじ書房.

Mani, I. (2006). "Machine Learning of Temporal Relations." In Proceedings of the 44th Annual Meeting of the Association for Computational Linguistics (ACL-2006), pp. 753-760.

中村ちどり (2001). 日本語の時間表現. くろしお出版.

Pustejovsky, J., Castaño, J., Ingria, R., Saurí, R., Gaizauskas, R., Setzer, A., and Katz,

G. (2003a). "The TIMEBANK Corpus." In Proceedings of Corpus Linguistics 2003, pp. 647-656.

Pustejovsky, J., Hanks, P., Saurí, R., See, A., Gaizauskas, R., Setzer, A., Radev, D., Sundheim, B., Day, D., Ferro, L., and Lazo, M. (2003b). "TimeML: Robust Specification of Event and Temporal Expressions in Text." In Proceedings of the 5th International Workshop on Computational Semantics (IWCS-5), pp. 337-353.

Sekine, S., Sudo, K., and Nobata, C. (2002). "Extended Named Entity Hierarchy." In The Third International Conference on Language Resources Evaluation (LREC-02), pp. 1818-1824.

Setzer, A. (2001). Temporal Information in Newswire Articles: An Annotation Scheme and Corpus Study. Ph.D. thesis, University of Sheffield.

Verhagen, M., Gaizauskas, R., Schilder, F., Hepple, M., Katz, G., and Pustejovsky, J. (2007). "SemEval-2007 Task 15: TempEval Temporal Relation Identification." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 75-80.

Verhagen, M., Saurí, R., Caselli, T., and Pustejovsky, J. (2010). "SemEval-2010 Task 13: TempEval-2." In Proceedings of the 5th International Workshop on Semantic Evaluations (SemEval-2010), pp. 57-62.

## 略歴

小西光：2005 年上智大学文学部卒業. 2007 年上智大学文学研究科博士前期課程修了。2008 年より国立国語研究所コーパス開発センタープロジェクト奨励研究員. 現在に至る. 『日本語書き言葉均衡コーパス』『日本語話し言葉コーパス』『日本語超大規模コーパス』の整備に携わる。

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発センター特任准教授．現在に至る．博士（工学），自然言語処理・コーパス言語学の研究に従事.

前川喜久雄：1956 年生. 1984 年上智大学大学院外国語学研究科博士後期課程 (言語学) 中途退学. 国立国語研究所教授. 言語資源系長、コーパス開発センター長. 博士 (学術). 専門は音声学ならびに言語資源学.