# クラウドソーシングによる単語親密度データの構築 (2021 年版)

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

2018 年〜2021 年にかけて、継続して単語親密度調査を進めている。調査においては『分類語彙表』 に出現する見出し語に対して「知っている」「書く」「読む」「話す」「聞く」の利用の程度をクラウドソー シングにより質問紙調査を行った。今回、4年間の 累積データに対して、ベイジアン線形混合モデルを 見出し語に基づき実施したので報告する。また同 データベースの検索ツールについても紹介する。

## 1 はじめに

我々は 2018 年にクラウドソーシングによる単語親密度調査を開始した。最初の公開データ [1]には データ量が少なく、その後毎年継続調査を行いデー タを増補してきた。また従前のモデル構築方法にも 問題があった。本研究では増補したデータとともに 新たに単語親密度データベースを再構築したので報告する。改変点では以下のとおりである：

-欠損していたデータについても補完し、全見出 しに単語親密度を付与した。
- 同一見出しについて、単一の単語親密度を付与 するように変更した。

・回答数が少ない実験協力者データを排除した。

・ベイズ主義的分析においては、単語親密度・実験協力者の語彙力をともに標準正規分布により モデリングを行った。

また、分類語彙表を検索するツール CradleExpress 上 に、単語親密度情報を格納した。分類語彙表番号に 基づく語義階層ごとの単語親密度順ソートが可能に なった。

以下ではデータの構築方法とともに検索ツールに ついて紹介する。

## 2 評定値の収集・モデリング

## 2.1 評定値の収集

図 1 評定値収集画面

表 1 収集評定値の統計

分類語彙表に登録されている「見出し」を刺激 として、「知っている」 (KNOW) ・書く」(WRITE) ・「読む」(READ)・「話す」(SPEAK)・「聞く」(LISTEN) の 5 観点について Yahoo! クラウドソーシングを用 いてアンケート調査を実施した。図 1 に調査に用い た評定值収集画面の例を示す。2018 年に初回の調
査を行ったのち、欠損値を補完するために 2019 年 に未収集もしくは評定值の分散が高い見出しを中心 に評定值の収集を行った。2020 年はクラウドソー シングによる読み時間データ収集 [2] において、実験協力者の語彙力を評定する事前調査として実施し た。2021 年は区切り文字を除いた全見出しに対し て調査を行った。表 1 に調查時期と実験協力者数・回答数を示す。

## 2.2 モデリング

表 2 分析対象データ

モデリングに際して、データの整理を行った。 まず、実験協力者に呈示した見出しごと (84114 見出し) に KNOW, WRITE, READ, SPEAK, LISTEN $の 5$観点に対して一意の ID (WID: 1 420570)を付与し、 そのランダム効果を単語親密度とする。従前のモデ ル [1]では、見出しが同じである異なる分類語彙表番号を持つ語（多義語）は、分類語彙表番号ごとに 推定を行っていたが、今回は見出しごとに推定を 行う。

収束性を担保するために 150 回答以上の実験協力者である異なり 6732 人分のデータのみを利用する。実験協力者に対して一意の ID (SID: 1～6732)を付与 し、このランダム効果も「実験協力者の語彙力」と して用いる。また 1 実験協力者が 2 回以上回答し た見出しについては排除した。結果 15691265 件の データポイントを得た（表 2 ）。

図 2 統計モデルの概要

得られたデータをベイジアン線形混合モデルのラ ンダム効果によりモデル化する。グラフィカルモデ ルを図 2 に示す。 $N_{\text {word }}$ は見出し $\times 5$ 観点 WID の 定義域、 $N_{\text {subj }}$ は実験協力者 SID の定義域である。 それぞれ単語・観点のインデックス $i: 1 \ldots N_{\text {word }}$実験協力者のインデックス $j: 1 \ldots N_{s u b j}$ とする。 $y^{(i)(j)}$ は見出し $\times 5$ 観点の評定值 (RATE) で、アン ケート結果を 1（全く知らない／出現しない） 5 （よく知っている／出現する）に数值化したものを 利用する。 $y$ は平均 $\mu^{(i)(j)}$ 標準偏差 $\sigma$ によって定義 される正規分布とする：

$
y^{(i)(j)} \sim \operatorname{Normal}\left(\mu^{(i)(j)}, \sigma\right) .
$

$\sigma$ は標準偏差としてのハイパーパラメータで、 $\mu^{(i)(j)}$ は、切片 $\alpha$ と見出し $\times 5$ 観点のランダム効果 $\gamma_{\text {word }}^{(i)}$ と実験協力者のランダム効果 $\gamma_{s u b j}^{(j)}$ の線形式 で定義する：

$
\mu^{(i)(j)}=\alpha+\gamma_{\text {word }}^{(i)}+\gamma_{\text {subj }}^{(j)}
$

見出し $\times 5$ 観点のランダム効果 $\gamma_{w o r d}^{(i)}$ と実験協力者のランダム効果 $\gamma_{\text {subj }}^{(j)}$ は、それぞれハイパーパ ラメータ平均 $\mu_{\text {word }}:=0.0, \mu_{\text {subj }}:=0.0$ 、標準偏差 $\sigma_{\text {word }}:=1.0, \sigma_{\text {subj }}:=1.0$ によって定義される正規分布によりモデル化した。

$
\gamma_{\text {word }}^{(i)} \sim \operatorname{Normal}\left(\mu_{\text {word }}:=0.0, \sigma_{\text {word }}:=1.0\right),
$

$
\gamma_{\text {subj }}^{(j)} \sim \operatorname{Normal}\left(\mu_{\text {subj }}:=0.0, \sigma_{\text {subj }}:=0.5\right) .
$

このうち単語親密度は見出し語 $\times 5$ 観点のランダ 么効果 $\gamma_{w o r d}^{(i)}$ の推定値である。一方、実験協力者の 個体差はランダム効果 $\gamma_{s u b j}^{(j)}$ の推定値であるが、結果的に実験協力者の語彙力の評価値となる。

推定には R と Stan を用いた。warm-up 30 iteration のあと、 300 iteration $\times 3$ chains 並列でシミュレー ションし、すべてのモデルは収束した $(\hat{R}<1)$ 。

## 3 データの分布

図 3 に得られた語彙力および単語親密度の分布 を示す。語彙力は標準正規分布としてモデル化した ためにこのような分布になっている。この語彙力の データは匿名化したうえで読み時間評価実験 [2]参加した方の属性値として利用する。

単語親密度の分布は、「知っている」>「読む」「聞 く」>「書く」「話す」の順に大きい。「生産」は「書 く」+「話す」「受容」は「読む」+「聞く」、「書記」 は「書く」+「読む」、「音声」は「話す」「聞く」の値 である。「受容」が「生産」より大きい傾向があるほ か、「書記」が「音声」より大きい傾向がみられる。

図 3 語彙力および単語親密度の分布

また、「生産-受容」は「書く」+「話す」－「読む」－「聞く」の値である。一般的に多くの語が「受容」>「生産」であるために負の値になるが、マスコミな どで利用される語で個人ではあまり利用しない語が 「生産」>「受容」となり正の値を持つ場合がある。

最後に、「書記-音声」は「書く」-「話す」+「読 む」-「聞く」の値である。正の值であれば書き言葉特有の語、負の値であれば話し言葉特有の語である ことがわかる。

## 4 検索ツール: CradleExpress

次に分類語彙表の検索ツール CradleExpress ${ }^{1)}$ につ いて紹介する。図 4 に検索画面を示す。

「詳細条件」で分類語彙表に基づく情報で絞り込 み検索ができるほか、「親密度」でも絞り込み・並べ 替えができる。以下では、分類番号 1.5501 「体-自然-動物-哺乳類」の親密度について確認する。図 5 に「知っている」上位 5 件の見出し語を示す。「知っ ている」列で並び替えを行うと、動物園などで観ら れる「ゴリラ」・「コアラ」・「やぎ」・「ライオン」が 上位を占めた。また、分類学上の「哺乳類」が 3 位 であった。


次に「生産」(「書く」「話す」を足したもの)・「受容」（「読む」・「聞く」）列で並び替えを行うと、図 6,7 のようになった。身近な動物である「猫」「犬」「野良猫」や、食肉としての「牛」「豚」が上位を占 めた。また、分類学上の「動物」が 2 位（受容) 3 位（生産）であった。

基本語彙の観点からは、「理解語彙」（知っている） と「利用語彙」（書く・読む・話す・聞く）の 2 つの 観点で大きな差があることがわかる。「生産」と「受容」に大きな差がある語としては、「盲導犬」「猛虎」 など特定の媒体の頻出する表現が確認された。

また、書き言葉で用いられるか、話し言葉で用い られるかを判別するために、「書記-音声」(「書く」+「読む」－「話す」－「聞く」）の評定値により、降順 （書記優位）・昇順（音声優位）したものを、図 8,9 に示す。前者が特定の小説・書籍・新聞などの書き 言葉で頻出する語である一方、後者が対話などの話 し言葉で頻出する語である。

このような評定値は認知言語学における基本レべ ルカテゴリとなりうる典型例を示すことができる。 しかしながら、認知的に基本的なものとして、「理解語彙」（知っている）を指し示すか、「利用語彙」 （書く・読む・話す・聞く）を指し示すかにより、語

図 4 CradleExpress 検索要求指定画面

彙の分布が著しく異なる。さらに、「書記」（書く・読む）か「音声」（話す・聞く）かにより評定値差の 大きなものがあることから、プロトタイプ性の認定 にあたっては、そのレジスタ（書き言葉か話し言葉 か）も含めて検討すべきことが示唆された。

## 5 おわりに

本稿では、継続的に調査を行っている単語親密度 データの 2021 年時点の累積データに基づいて、見出し語単位で統計処理を行ったデータについて示し た。また、同データを検索するツールについても紹介した。

本調査では、単語単位での評定を行ったために、多義語においては、その語義ごとの利用実態を明ら かにすることができない。例えば、上の例の「なま けもの」は字義通りの「哺乳類」の評定値か「㤐惰」 の評定値かがわからない。そこで、コーパスの出現 ごとの印象評定調査を行った [3]。今後、コーパス 上の用例と本データとを対照し、ヒトの語彙のとら え方を明らかにしていきたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター共同研究プロジェクトの成果物です。また、科研費 17H00917，18K18519,19K00591，19K00655 の支援を 受けました。

 &  &  \\

コアラ & 2.16988931425696 & 0.27520523348496 & 1.115538591867071 \\
哺乳類 & 2.16628019642134 & 0.649779029443949 & 0.975175398158484 \\
やぎ & 2.13665095336729 & 0.06419158274259999 & 0.2032152535215712 \\
ライオン & 2.1223051693044 & 0.3590675971468735 & 0.680990317360433

図 5 分類番号 1.5501 「知っている」上位

 &  &  \\

図 6 分類番号 1.5501 「生産」上位

 &  &  &  \\

図 7 分類番号 1.5501 「受容」上位

 &  \\

やまあらし & 1.17036381793061 & 0.7979713163135049 \\
赤馬 & 0.308798738053768 & 0.7354525701993202 \\
霊長類 & 1.2689718203082 & 0.666646635471029 \\
土佐犬 & 1.58893703003315 & 0.6509951531038392 \\

図 8 分類番号 1.5501 「書記-音声」上位（書記優位）

 &  \\

図 9 分類番号 1.5501 「書記-音声」下位（音声優位）

## 参考文献

[1]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[2]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[3]加藤 祥 and 浅原 正幸. 『現代日本語書き言葉均衡コー パス』に対する印象評定情報付与. In 言語処理学会第 28 回年次大会発表論文集, 2022.

## A 単語親密度の検索手法

以下では、CradleExpressによる単語親密度の検索手法について示す。CradleExpress は UniDic と分類語彙表 が格納されており、このうち分類語彙表が格納されているhttps://cradle.ninjal.ac.jp/wlsp/を用いる。

## CradleExpress

 & & ms per Page: 10 &  & 200 & 500 & Downlo & Short & $\checkmark$ & 設定 & & & & \\

図 10 CradleExpress 検索結果：分類番号 1.5501 デフォルト画面

図 4 に示す検索要求指定画面に対して、検索したい「分類」を指定する。例えば、1.5501を指定すると、図 10 のような画面を得る。

る。または、検索要求画面下部にある「並べ替え」の「キー：」（図 11）により、調べたい単語親密度情報を 指定する。

図 10 の表示結果は、右側にも「生産」「受容」などの評定値があり、横スクロールで右に移動して表示で きる。または、図 12 のように「設定」をクリックし、カラム幅を調整することで、必要な列のみを表示でき る。表示しない列は「0」に設定し、表示したい列は「auto」もしくは適切な値を設定する。

図 11 単語親密度による並び換えの指定

図 12 表示列幅の指定
 浅原 正幸 国立国語研究所 masayu-a@ninjal.ac.jp  