# 日本語 Wikipedia カテゴリを用いた記事のクラス分類手法の提案

小板橋佳晃
北海道大学
yk-wwm-aa@eis.hokudai .ac.jp
}

吉岡真治
北海道大学
理研 AIP
yoshioka@ist. hokudai.ac.jp
}

う森羅 2020-ML である。本研究では、記事のクラス 分類の他言語への拡張を想定し、日本語 Wikipeida の記事のクラス分類を行なっている。トレーニング データは森羅 2020-ML で提供されるクラス分類済 みの日本語版 Wikipedia の記事のデータを用いた。 ただしこのデータには、マルチラベルのデータが含 まれているが、ノイズになりかねないためシングル ラベルのデータのみを使用した。カテゴリは 2020 年 3 月 1 日取得の Wikipedia カテゴリデータを使用 した。
## 3 Wikipedia カテゴリについて

Wikipedia は、世界最大の百科事典である。その 中で、カテゴリは閲覧性の向上を目的として記事を 分類する役割を果たしている。Wikipedia は誰でも 情報の追加や編集が可能であるため、カテゴリには 以下の 3 つの定義が示されいる。1つ目は「分割を 示すもの」、2つ目は「関連を表すもの」、3つ目は 「ウィキペディアの骨組み」である。この中の分割 を示すカテゴリは、クラス分類に役立つと考えられ る。一方で、関連を表すカテゴリや定義からは外れ たカテゴリも存在するため、カテゴリは記事のクラ ス分類に有益な情報を持つがノイズを多く持つと言 える。

私たちは、これまでカテゴリとカテゴリ間の関係 を分類し、Wikipedia カテゴリオントロジー [4] を構築してきた。この研究においてカテゴリは以下 4 つ に分類した。
- topic：「北海道大学」「トヨタ自動車」のような 具体的な事象を表すカテゴリ

$\cdot$ constrainedTopic：「日本のサッカー」「各年の日本」のような topic の性質を持つカテゴリ

・set：「大学」「企業」といったクラスを表すカテ ゴリ
- constrainedSet：「日本の大学」「各国の企業」の

## ような set の性質を持つカテゴリ

また、我々はこの Wikipedia カテゴリオントロ ジーを用いた記事のクラス分類を試みた [5]。具体的には、記事につくカテゴリから包含関係を満たす 親カテゴリを遡り対応する set カテゴリからクラス を推測する方法を提案した。しかし、図 1 のように 対応する setを調べるためにカテゴリを上位に遡る と複数の set が候補として現れ、複数クラスが推定 されてしまう課題が生じた。

図 1 カテゴリの例

## 4 提案手法

[5] の方法で問題となった対応する Setを決定する際の問題を解決するために、本研究では constrainedSet の set の文字列部分を抽出すること で上位カテゴリに遡らなくても対応する Setを決定する方法を提案する。具体的には、constraindSet の記述パターンに関するこれまでの分析から、 constraindSet は「Aの B」や「AB」のような記述パ ターンをもち、B の部分が Setを表す単語になって いることが多いことが分かっている。

## 4.1 カテゴリの set の抽出

図 2 カテゴリの例

カテゴリの setを抽出すために、カテゴリの 記述パターンを利用する。具体的には、図 2 の constrainedSet のカテゴリの例の通り、「アジアの企業」というカテゴリの上位カテゴリと子カテゴリを 見ると「A の企業」というカテゴリが存在すること がわかる。このように親カテゴリと子カテゴリで後半が一致する文字列を set として抽出した。このパ ターンによる制約部分の除去の手続きを全てのカテ ゴリ ${ }^{1}$ 間の親子関係について適用し、 set の候補を 生成した。この候補の生成は、constrainedTopic の関係についても同様に行われることになるが、後半の set 候補の抽出の際に役に立たない情報として扱わ れることが期待される。

・文字列パターンの照合
- 形態素解析の利用

文字列パターンの照合では、カテゴリの後方から 順次文字列長を増やし親子カテゴリと比較し、同じ 文字列パターンが存在する最長の文字列を set とし て抽出する。また、後方に親子カテゴリと同じ文字列パターンが存在せず、setを抽出できない場合は 前方から順次文字列長を増やし親子カテゴリと比較 し同じ文字列パターンが存在する最長の文字列を力 テゴリから引いた文字列を set として抽出する。こ れは、図 2 の例において「A の企業」というカテゴ リが親子カテゴリに存在しない場合でも前方からの 文字列の一致で「アジアの」という文字列が抽出で き、これをカテゴリから引くことで「企業」という set が抽出できるからである。

形態素解析の利用では、後方から単語を順次増や し親子カテゴリと比較し、同じ文字列が存在する最長の文字列を set として抽出した。また、後方に親子カテゴリと同じ文字列が存在せず、set を抽出で きない場合は前方から単語を順次増やし親子カテゴ リと比較し同じ文字列パターンが存在する最長の文字列をカテゴリから引いた文字列を set として抽出 した。

## 4.2 set 候補の抽出

文字列パターンの照合で抽出した set と形態素解析を利用して抽出した set のそれぞれにおいて、set 候補の抽出を行う。各 set に対して precision を計算 し、実験をした結果 0.86 以上を set 候補とした。

$
\operatorname{prec}(\text { set }, \text { class })=\frac{\text { num }(\text { set } \cap \text { class })}{\operatorname{num}(\text { set })}
$

num $($ set $)$ : 同じ set を持つカテゴリ数 num(set $\cap$ class $)$ : 各クラスごとの同じ setを持つカ テゴリ数


## 4.3 カテゴリのクラス分類

文字列パターンの照合から抽出された set 候補と 形態素解析を利用して抽出された set 候補と両方 を使って抽出した set 候補で全てのカテゴリに対 して、クラス分類を行った。その統計データは表 1 に示す。分類済みが 6 割という結果より、日本語 Wikipedia カテゴリオントロジーでは、set および、 constrainedSet に対応するカテゴリが 68 \%であるた め、その全てが森羅のクラス分類と対応するもので はないことが確認された。具体的には、set 部分が 複数のクラスに対応する (アーチスト：人名 or 公演組織名）場合などが存在した。

表 1 分類、未分類のカテゴリの割合

## 4.4 記事のクラス分類

分類済みのカテゴリを使い記事のクラス分類を行 う。具体的には、記事につく分類済みのカテゴリの 精度 prec(set,class) が最大のものをその記事のクラス とした。また、記事につくカテゴリの中に記事と同名のカテゴリが存在した場合そのカテゴリの親カテ ゴリからクラス分類を行った。これは、その記事の クラスを表すカテゴリは記事よりもそのカテゴリに つくと考えたからである。

## 5 結果

実験は 5-fold の cross-validation で行い、f 值はその 平均をとっている。実験データは, クラス数：196、記事数： 804693 件となっている。文字列パターンの 照合によりクラス分類をした結果の $\mathrm{f}$ 値ごとの分布 を表 2 に、形態素解析の利用によりクラス分類を した結果の $\mathrm{f}$ 値ごとの分布を表 3 に、両方を利用 しクラス分類した結果の $\mathrm{f}$ 值ごとの分布を表 4 に 示す。また、全体での精度は、文字列パターンの照合：0.76、形態素分析の利用：0.69、両方利用：0.71 となった。precisionを重視したカテゴリの活用を行 なったために、一貫して適切な対応するカテゴリが 作成・付与されていない場合などに、極端に recall が低い、場合によっては、対応するカテゴリが存在 しない状況になった。全体での精度を??示す。表 2 文字列パターンの照合を利用

表 3 形態素解析を利用

表 4 文字列パターンの照合を利用

## 6 考察

まず、文字列パターン照合を利用した結果を考察 していく。f 值が高いクラスに関して抽出した setを 見てみると、競走馬名では「の競走馬」「種牝馬」と いう set が抽出され、トンネル名では「州地方のト ンネル」「の道路トンネル」といった set が抽出され ており、クラス名と対応する set が抽出できている ことがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した set を 見てみると、グループ企業では「企業グループ」と いう setが抽出されており precision は 0.82 である が recall が 0.076 ととても低い。理由は、ページに つくカテゴリに「企業グループ」という setを持つ カテゴリが存在せず、「企業」の set を持つカテゴリ が多いからである。これは、編集者がグループ企業 と企業の区別を意識せずにカテゴリ付けをしてし まっているからであると考えられる。また例外的 に、precision が 0.034 と極端に低く recall も低いクラ

スが存在し、大陸地域名である。このクラスに分類 されている記事を見てみるとノイズと思われるもの がとても多く含まれており、これが原因だと考えら れる。

次に、形態素解析を利用した結果を考察してい く。f 值が高いクラスに関して抽出した setを見てみ ると、学校名では「航空学校」「私立中高一貫校」と いう setが抽出され、音楽名では「曲」「卒業ソング」 という setが抽出されおり、クラス名と対応する set が抽出できていることがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した setを見 てみると、映像作品名では「スーパー戦隊シリーズ オリジナルビデオ作品」「ビデオ・クラップ集」と いった set は抽出できており、precision は 0.79 であ るが recall が 0.11 ととても低い。カテゴリから set を抽出した段階では、「映像作品」「アニメ作品」と いった set として妥当だと考えられるものが抽出で きているがこれらの precision が低いため set 候補に ならなかった。「映像作品」は、映像作品名以外に 芸術作品_その他や公演名にも多く出てきている。 この 2 つのクラスには、音楽系の映像作品が多く含 まれていた。これらの記事は、両方のクラスに属す ると見なすこともできるため、今後検討が必要で ある。

最後に、文字列パターン照合と形態素解析を利用 したときの違いについて考察していく。実験結果よ り、文字列パターンの照合の方が $\mathrm{f}$ 値が高いクラス が多いことがわかる。precision と recall にも目を向 けると両方とも文字列パターン照合の方が高い値を 示しているが、recall の差が precision に比べて大き なっている。これは、形態素解析では単語ごとに区切って set を抽出しているが文字列パターンの照合 で一文字づつ文字列を区切っているため、単語の途中まで文字列パターンが親子カテゴリと一致してい る場合でも setを抽出できるためである。具体的に、家系名クラスに分類されたカテゴリの数を見ると、文字列パターンの照合では 1097 個、形態素解析の 利用では 637 個となっている。また、映画名クラス に分類されたカテゴリの数を見ると、文字列パター ンの照合では 4175 個、形態素解析の利用では 3051 個となっている。

また、文字列パターンの照合と形態素解析の両者 を使った結果、分類済みのカテゴリが増え recall は 上がった precision が下がってしまった。両者を組み 合わせる際は各々で set 抽出を抽出する際、precision

## を上げる必要がある。

## 7 おわりに

本研究は、30 言語版 Wikipedia の記事のクラス分類を念頭に、日本語 Wikipedia の記事の分類をカテ ゴリを用いて行なった。Wikipedia カテゴリの曖昧 さやトレーニングデータのクラス分類の曖昧さによ り記事のクラス分類がでうまくできないクラスが存在した。また、データが不十分なニッチなクラスも 多くそれが原因でクラス分類ができないものも存在 した。ニッチなクラスについてはトレーニングデー タを増やすことで改善できると考えられる。一方 で、本研究の手法により十分にクラス分類できたク ラスもある。今後は、分類済みの日本語 Wikipedia のカテゴリと記事を使い言語間リンクを使って他言語の Wikipedia 記事の分類を行いたい。また、本研究で使った分類手法を他言でも行うことでさらなる 精度の向上が期待できるため、それも合わせて今後検討していきたい。

## 参考文献

[1] Christian Bizer, Jens Lehmann, Georgi Kobi-larov, Soren Auer, Christian Becker, Richard Cy-ganiak, and Sebastian Hellmann. Dbpedia - acrystallization point for the web of data. In WebSemantics: Science, Services and Agents on theWorld Wide Web, Vol. 7, No. 3, pp. 154 - 165, 2013.

[2] Johannes Hoffart, Fabian M. Suchanek, Klaus Berberich, and Gerhard Weikum. Yago: A spatially and temporally enhanced knowledge base from wikipedia. In A spatially and temporally enhanced knowledge base from Wikipedia. Arti cial Intelligence, Vol. 194, No. O, pp. 28 61, 2013.

[3] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In In Proceedings of the NTCIR-15 Conference, 2020.

[4] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia オントロ ジーの構築. 人工知能学会研究会資料, Vol.48, No.7, pp.1-5, 2019.

[5] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia カテゴリ オントロジーを用いた wikipedia ページのクラス分類. 人工知能学会研究会資料, Vol.4, No.5, pp.1-4, 2020.
 小板橋佳晃 北海道大学 yk-wwm-aa@eis.hokudai .ac.jp }  吉岡真治 北海道大学 理研 AIP yoshioka@ist. hokudai.ac.jp }  う森羅 2020-ML である。本研究では、記事のクラス 分類の他言語への拡張を想定し、日本語 Wikipeida の記事のクラス分類を行なっている。トレーニング データは森羅 2020-ML で提供されるクラス分類済 みの日本語版 Wikipedia の記事のデータを用いた。 ただしこのデータには、マルチラベルのデータが含 まれているが、ノイズになりかねないためシングル ラベルのデータのみを使用した。カテゴリは 2020 年 3 月 1 日取得の Wikipedia カテゴリデータを使用 した。 