# 単語制約を用いた概念ネットワークの改良

本田 涼太* ${ }^{*}$ 村田 真樹*2 馬 青*3
*1 鳥取大学 工学部 電気情報系学科
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部 数理・情報科学課程
$* 1, * 2\{$ b17t2096a@edu. , murata@\}tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 1 はじめに

近年，インターネットの普及等により電子テキス トが増加している。これら大量の電子テキストから 有用な情報を効率的に取り出す技術が求められてい る.そこで言語テキスト処理技術を用いテーマキー ワードとなる単語を入力することで，電子テキスト や新聞データ等のメディアから入力単語の概念にか かわる概要情報を抜き出し概念ネットワークの研究 が進められた。

これまでの研究で, 概念ネットワークの構築に際 して，大竹ら [1] は， TF-IDF 法を用いて概念ネット ワークの構築手法を提案した。また，土遠ら [2] は，概念ネットワークに出現した単語にテーマキーワー ドと無関係な単語があることに着目し, これら無関係な単語を出現させないために，「テーマ限定抽出法」を提案した。

しかし, これまでの研究では, 関連する単語を概念ネットワークとして表示する際に，単に TF-IDF 值が大きい単語を取り出して, ネットワークを構築 しているため，よく似た内容の単語であっても離れ て出現することがあった.

そこで本研究では, この概念ネットワークの構築 において，Word2vec[3] を用いてある単語から発展 するネットワークの単語を同種の単語に制約する。 そのようにすることでネットワークをより見やすく するように改良する. 本研究の目的は，ネットワー クの構築において出現する単語を同種の単語に制約 し，より見やすいネットワークを構築することであ る. 単語制約を行いよく似た単語を近くに配置する ことで見やすくしたネットワークの一例を図 1 に示 す. 図 1 では,「ビデオカメラ」と「レンズ」，「パソ コン」と「スマートフォン」という似た意味の単語
が近くに配置されて，見やすくなっている。

図 1 単語制約したネットワークの一例

## 2 先行手法

本節では，これまでの概念ネットワークに関する 研究において用いられた手法について述べる.

## 2.1 ネットワーク構築の手順

まず, 大竹らが提案したネットワークの構築手法 を述べる.

手順 1 構築したいネットワークの主となる単語を テーマキーワードとして設定する.

手順 2 キーワードとなる単語を含んだ記事群を抽出 し，その記事群から形態素解析を用いて名詞のみを 抽出する。その際，一文字，ひらがなのみ，数字の みの単語を除外する。

手順 3 手順 2 で抽出された単語の出現頻度を調べ,上位 100 単語をノード候補とする。

手順 4 得られたノード候補の中から，TF-IDF 法を用 い，値の大きな上位 5 単語をネットワークのノード として選定する。TF-IDF 法については 2.2 節にて述 ベる.

手順 5 手順 2 から手順 4 を繰り返して概念ネット ワークを拡張する。

## 2.2 TF-IDF 法

ネットワークの構築において，ノードを選定する 際に利用した TF-IDF 法について述べる.この節で は入力データの電子テキストを新聞データとして 説明する. TF とは単語頻度 (Term Frequency) のこと であり, 入力データにおいて, 単語 $\mathrm{t}$ が出現した頻度のことをいう。また, DF は文書頻度 (Document Frequency) のことであり, 単語 $\mathrm{t}$ がある記事群 A に おいて出現した記事の数のことをいう． $\mathrm{N}$ を記事群 A の総記事数として, TF-IDF 法を用いたノードの選定式を式 (1)に示す.

$
w=t f * \log \left(\frac{N}{d f}\right)
$

## 2.3 テーマ限定抽出法

土遠らは，大竹らの構築したネットワークにテー マ限定抽出法を導入した. テーマ限定抽出法とは, 2.1 節の手順 2 において, 記事を抽出する際に, テー マキーワードと現在のキーワードの両方を含む記事 を抽出するようにしたものである. そうすることに より，テーマキーワードと関連性のない，または，関連性が薄いと考えられる単語が取り出されにくく なる.

## 3 提案手法

本節では, 本研究の提案手法である, 単語制約を 用いてネットワークを構築するという点について述 ベる.

## 3.1 Word2vec を用いた単語制約

単語制約には, Google 社が開発した Word2vec 内 にある「単語のクラスタリング」を利用する.

単語のクラスタリングとは, Word2vec にテキス トデータを学習させ，単語をベクトル化し，そのべ クトルのコサイン類似度を求め類似度の高い単語を まとめて単語のクラスタを作り，各クラスタにクラ スタ番号を割り当てるものである.このクラスタ番号が一致している単語群を似た意味を持つ単語と する。

## 3.2 単語制約を用いたネットワーク構築の手法

本研究では, 2.1 節で述べた概念ネットワーク構築の手法に，2.3 節で述べたテーマ限定抽出法と, 3.1 節で述べた単語制約の手法を加えてネットワー
クの構築を行う.この構築の手法を以下に示す.

手順 1 Word2vec の単語のクラスタリング機能を用い て，単語をクラスタ番号ごとにまとめる.

手順 22.1 節の手順 2 で得られたノード候補の単語 の中ですでに出現している単語を除き，各単語の TF-IDF 值を計算する.

手順 3 TF-IDF 值を計算した後に TF-IDF 值の大きい 順に単語を並べ，各単語のクラスタ番号を取り出 し, クラスタ番号ごとに単語をまとめる。(図 2)

手順 4 クラスタ番号が同じ単語ごとに TF-IDF 値を 計算し，TF-IDF 値が大きい順にクラスタ番号を並 ベる.

手順 5 手順 4 で求めた TF-IDF 值が上位 5 位までのク ラスタ番号を持つ単語を抜き出し，上位のクラスタ 番号に所属する単語から順に 5 個までネットワーク に表示させる.

このうち, 手順 4 で述べた TF-IDF 値の計算方法 として, TF-IDF 合計值法と TF-IDF 最大值法の 2 通 りを提案する。TF-IDF 合計値法は，クラスタ番号 が同じ単語ごとにそれらの単語の TF-IDF 值を足 し，その合計值上位 5 位までのクラスタ番号に所属 する単語をネットワークに表示させる方法である. TF-IDF 最大值法は, クラスタ番号が同じ単語ごと にそれらの単語の TF-IDF 值の最大の値を探し，そ の最大値上位 5 位までのクラスタ番号に所属する単語をネットワークに表示させる方法である.

また，これら 2 つの計算方法の計算の一例を図 3 に示す.

ノード候補の単語

図 2 手順 3 の概要

図 $3 \mathrm{TF}$-IDF 值の計算例

## 4 実験と評価

## 4.1 実験データ

本実験では， 2.1 節で述べた従来手法と， 3.2 節で 述べた 2 つの提案手法の合わせて 3 つの手法で概念ネットワークを構築した。まず，単語制約を行う ために, Word2vecに学習させるデータとして, 毎日新聞 12 年分 (2007〜2018) のデータ (1,166,761 記事) を使用した。単語のクラスタリングを行う際，クラ スタ数は 5,000 とした。ネットワークを構築する際 のデータとして 2018 年の毎日新聞の記事 $(88,032$ 記事)を使用した。また，テーマキーワードとして 20 個の単語を選定した。

## 4.2 実験結果と評価基準

構築したネットワークについて次の 2 つの観点か ら評価した。

## 4.2.1 有用性

ネットワークに出現した単語がテーマキーワード の概念を理解するのに役に立つかという観点で評価 した．具体的な評価点を以下に示す.
- 出現した単語について, あまり知らなかった事柄を知れた場合や，キーワードの概念を知るう えで役に立つと判断した場合.

・それぞれが知っている単語であっても，ノード のリンクによって新たな情報が得られる場合,意外な関係性である場合.

以上の 2 点に該当する箇所を，それぞれのテーマ キーワードで計測した結果を表 1 に示す.

## 4.2.2 見やすさ

ネットワークの見やすい部分があるかという観点 で評価した。具体的な評価点を以下に示す.

・似た意味の単語が並んで出現していることによ り，見やすくなっている場合．情報がまとまっ ていると考えられる場合.

・似た意味の単語が並んでいることにより, 知 らなかった単語でも， web 検索等をして並んで いる単語が同じような意味であると判断した 場合.

以上の 2 点に該当する箇所を，それぞれのテーマ キーワードで計測した結果を表 2 に示す.表 1 各テーマキーワードと役に立つ単語の数

 &  \\

表 2 各テーマキーワードと似た意味の単語が並んで、見 やすくなっている部分の数

 &  \\

役に立つ単語:非核，憲法，ロシアとシリア 見やすくなっている部分:首脳と首相

図 4 従来手法によるネットワーク

表 1 より, 役に立つ単語の数の平均は, 従来手法の 3.15 個に対して, TF-IDF 合計值法が 3.25 個と 上回った.しかし, TF-IDF 最大值法は 3.05 個と下回った. また, 表 2 より, 見やすい部分の平均は,従来手法が 1.15 個であるのに対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個といずれ も上回った.この結果より, TF-IDF 合計値法が有用性, 見やすさの観点からもっともよい方法である と考える。

また，構築したネットワークの一例として，テー マキーワードを「安全保障」として構築したネット ワークを以下に示す。従来手法によるネットワーク を図 4 に， TF-IDF 合計值法を用いたネットワーク を図 5 に， TF-IDF 最大值法を用いたネットワーク を図 6 にそれぞれ示す。また，それぞれの図の下に そのネットワークにおいて役に立つ単語と，似た意味の単語が並び見やすくなっている部分を列挙して いる.

## 5 おわりに

本研究では, 概念ネットワーク構築の際に Word2vecを利用した単語制約を用いて，似た意味 の単語を近くに配置し，ネットワークを見やすくす ることを目的とした。役に立つ単語の平均は，従来手法が 3.15 個で TF-IDF 合計值法が 3.25 個, TF-IDF 最大值法が 3.05 個と, 従来手法と比べても情報量が 減少することを抑え, 見やすい部分の平均は, 従来手法が 1.15 個に対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個と，似た意味の単語が並 んで見やすくなっている部分は増えた。また，提案

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と首相， シリアとトルコ，締結と署名，ロシアとウクライナ

図 5 TF-IDF 合計值法を用いたネットワーク

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と大統領と首相, 合意と一致, 問題と課題

図 6 TF-IDF 最大值法を用いたネットワーク

手法のなかでは，TF-IDF 合計值法を用いたネット ワークのほうが，より見やすいネットワークを構築 していることが分かった.

## 参考文献

[1]大竹竜太, 村田真樹, 徳久雅人. 大規模テキストデータを 用いた社会構造ネットワークの自動抽出. 言語処理学会第 19 回年次大会発表論文集, pp. 798-801, 2013.

[2]土遠雄大. テキスト処理に基づく概念ネットワークの構築における無関連ノードの扱い. 鳥取大学卒業研究発表会論文, 2013.

[3]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. Distributed representation of words and phrases and their compositionality. Advances in Neural Information Processing Systems 26, pp. 3111-3119.
 本田 涼太* ${ }^{*}$ 村田 真樹*2 馬 青*3 *1 鳥取大学 工学部 電気情報系学科 *2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻 *3 龍谷大学 先端理工学部 数理・情報科学課程 $* 1, * 2\{$ b17t2096a@edu. , murata@\}tottori-u.ac.jp ${ }^{* 3}$ qma@math. ryukoku.ac.jp  