# Masked Language Model を用いた語群から語の連想の検討

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101@chiba-u.jp, \{hory, kuroiwa\}@faculty.chiba-u.jp

## 概要

本稿では, Masked Language Model を用いて 5 つの 刺激語から 1 つの正解連想語を予測させるタスクの 検討を行った.使用したモデルはBERTおよびgMLP である。対象とした語連想タスクでは, 刺激語・連想語ともに名詞のみを用いていることから，本稿で 新たに学習したモデルでは MASK するトークンを 名詞に限定した．実験では「富士山、浜名湖、... うなぎから連想する都道府県は MASK です。」等の 文を与え，MASKに連想語が出力されるようにした。 この際，MASK の前後に鍵括弧「」を付与すること も検討した. 実験の結果, MASK の前後に「」を付与寸ることで最も高い正答率 49\%（上位 5 語以内に 正解が含まれる率 $72 \%$ ）が得られた。

## 1 はじめに

本稿では日本語 Wikipedia で学習した BERT[1]と gMLP[2]を用いて語群から語の連想を行った. 本稿 における語連想とは，単語を 5 つ与えて（刺激語）,連想する単語（連想語）を 1 つ回答させるタスクで ある.

複数の刺激語から 1 つの連想語を出力する研究と して, 米谷ら[3], 白川ら[4], 芋野ら[5]の研究がある.米谷らは感覚判断システム, 白川らはコンテキスト を考慮した関連エンティティ, 芋野らは語概念連想 を用いて，各々人間の連想を模擬できるかの検証を 行った.これらに対し, 我々は BERTを用いて 1 つ の刺激語から複数の連想語を出力する研究[6][7]を 行ってきた。一方で, 近年, BERT の学習タスクで ある Masked Language Model（以下，MLM と表記） において，タスクに対応する単語を MASKすること でそのタスクの精度を向上させる手法が提案されて いる[8][9]. そこで, 本稿では複数の刺激語から 1 つ の連想語を出力する課題に BERT を代表とする MLM の適用を試みる. 具体的には, 「<刺激語 $1>$ 、 <刺激語 5>から連想する都道府県は MASK で す。」等の文を与え，MASK に連想語が出力されるよ うにした。また，本稿の語連想では名詞のみを扱う
ため, 通常の BERT に加え，名詞のみを MASK して 学習させた BERT と gMLP を用いて, 複数の刺激語 から 1 つの連想語を出力する実験を行った。

## 2 語群から語の連想課題

本稿では, 実験に用いる語連想課題として『CD 版 そのまま使える失語症教材 2』[10] 中の教材の『名詞の想起』より，5つの語から特定の語を想起させ る『まとめる語想起』を利用した. 例を以下に示す.次の言葉から連想する都道府県はどこですか。富士山 浜名湖 茶畑 みかんうなぎ $\rightarrow$ 静罔県実験では, 『まとめる語想起』 132 題のうち, 20 代男子大学生 3 人の解答が正解の連想語 (以下, 正解語）と一致し，なおかつ 3.3 のモデルで正解語が 1 つのMASKトークンで出力可能な 87 題を採用した. また, 課題の種類ごとに『上位下位』『部分全体』『都道府県』等の 13 カテゴリに分類した（筆者らによる 独自の分類)，課題の詳細を表 1 に示す.

## 3 Masked Language Model

本稿では MLMとしてBERTと gMLPを使用した。

## 3.1 BERT

BERT[1] Bidirectional Encoder Representations from Transformers であり, Transformer をベースに構成されたモデルである．BERT は 2 つのタスクで学習を行い,その 1 つである Masked Language Modeling は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK し, その単語 を予測するタスクである. 12 層の Transformer 層の 後で, 1 層の全結合線形層により正解ラベル (単語) のスコアが大きくなるように学習する.

## $3.2 \mathrm{gMLP$}

gMLP[2]は Transformer $の$ Attention 機構の特徴で あるトークン間の情報を学習できる点を MLP (Multi-Layer Perceptron) で表現したモデルであり, Attention の代替として SGU（Spatial Gating Unit）を 採用したモデルである. 入出力層を BERT と同一に することで，MLM タスクを解くことができる.

## 3.3 実験で使用する MLM

実験では, (1)東北大学 乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル(BERT-base_mecabipadic-bpe-32k_whole-word-mask)[11]（東北大 BERT と表記)，(2)Wikipedia データセットを用いて MASK する単語を名詞に限定して学習した日本語 BERT モ デル (名詞のみ BERT と表記), (3)日本語 gMLP モ デル（名詞のみ gMLP と表記）を使用した. モデル の詳細を付録・表 3 に示す. なお, (1)は Next Sentence Prediction（NSP）も学習を行っているが，(2)と(3)は MLMのみで学習を行った。

## 4 MLM を用いた語連想手法

本稿では，MLM を用いて MASK が連想語となる 文 (以下, 連想文と表記)を作成して実験を行った。以下に作成した文の例を示す.

<刺激語 1 >、<刺激語 2 >、<刺激語 3 >、<刺激語 4 > く刺激語 5 >から連想する都道府県はMASKです。正解語が『静岡県』の場合, 刺激語 1 5 には富士山 や浜名湖等の単語が入り, MASK は連想語が入るト ークンとなる。また, 本項では刺激語と連想語とし て名詞のみを用いるため, MASK として予測された 単語のらち名詞（代名詞を除く）のみを出力する.

表 1 に実験で使用した連想文を示す.表中の『 $\bigcirc 』$ は刺激語を表す。この連想文は文献[10]を基に作成 した. また, 文献[6]において連想結果が改善された ことに鑑み, 本稿では, 表 1 に加え MASK に鍵括弧「」を付与した連想文も使用した.以下に例を示す。 <刺激語 1 >、<刺激語 2 >, <刺激語 3 >、《刺激語 4 > く刺激語 5>から連想する都道府県は 「MASK」です。

## 5 語群から語の連想実験

表 1 で示した連想文を用いて,「」の有無の両パ夕 ーンで語群から語の連想実験を行った。

## 5.1 実験結果

表 2 に実験結果を示す. 表はモデルの連想語上位 1 語, および 5 語以内に正解語が出力された課題の 数の割合を正答率として示したものであり, 正答率 の最大值は 1 である. カテゴリ欄のカッコ内は各カ テゴリの課題の総数である. 上位 1 語で最も高い正答率は「」有の BERT と名詞のみ gMLP の 0.49 であ り, 約半数を正解した. また, 上位 5 語以内で最も 高い正答率は「」有の名詞のみ gMLP の 0.72 である.同様の設定で 1 つの刺激語から複数の連想語を出力 させた実験[6]では, 人間の連想語上位 4 語と一致し た数は最大でも平均 $0.6 / 4.0$ 語であり,複数の刺激語 から 1 つの連想語を出力するタスクの方が精度が高 いと言える。

また,「」を付与することで, 全てのモデルで正解語が 1 位に出力されやすくなった. 東北大 BERT で は「」の付与によって正解語が 1 位に出力された課題が 28 題, 1 位に出力されなくなった課題が 3 題 であり, 符号検定（有意水準 5\%）により, 連想結果 が改善されたと言える。また, 名詞のみ gMLP では 改善 21 題, 改悪 3 題であり, 符号検定（有意水準 $5 \%)$ により, 同様に連想結果が改善されたと言える.一方で，モデル間の正答率に有意差はなかった。

## 表 1 実験で使用する連想文

 \\

表 2 連想語上位 1 語に正解語が出カされた課題数の割合（カッコ内は上位 5 語以内）

 &  &  &  &  &  \\

## 5.2 結果の分析

全てのモデルで「」の付与により正答率が改善し たことから，まずは「」の効果について分析する。

「」の付与で連想結果が特に改善されたモデルの 1 つが東北大 BERT であり, 特に色カテゴリで正答率が $0.13 \rightarrow 0.75$ （8 題中 1 題 $\rightarrow 6$ 題）に上昇した.正解語が赤の課題では「」の付与により, 上位 5 語 が『黄色赤 青 緑ピンク』 $\rightarrow$ 『赤 青 緑 黄色 ピンク』となった.「」無でも色の単語は出力され ているが, 8 題中 7 題で 1 位に黄色が出力された.黄色が出力されやすい要因を分析するために, 刺激語を含めない文『連想する色は MASK です。』を入力した. その結果, 『黄色 水色 青赤 カラー』の 順で出力された.この結果から，『〜連想する色は MASK です。』のMASK として黄色が出力されや すいと考えられる. 黄色が出力されやすい要因をさ らに調査するために, 日本語 Wikipedia での出現頻度を調べたところ, 最も高い色は赤であり（黄色は 6 位), 黄色が出力されやすい要因は頻度ではなか った. そこで, Attentionについて調査した. 図 1 に Attention を可視化した図を示す.「」無では MASK 周辺の単語である『色』『は』『です』への Attention が大きく,「」を付与することで,『は』『です』への Attention が小さくなった（図 $1 \mathrm{a} \rightarrow$ b）。これにより，黄色の出力が抑制され正解語の赤
が 1 位に出力されるようになったと考えられる。他 の色においても，「」の付与により，『は』『です』 への Attention は小さくなった. 一方で, 図 1 のよ うな刺激語への Attention の変化は殆ど無かった。

東北大 BERT では国カテゴリも同様に「」の付与 によって正答率が $0.25 \rightarrow 1.00$ (4 題中 1 題 $\rightarrow 4$ 題) に上昇した. 正解語がアメリカの課題では『世界中以下 アメリカ 世界 日本』 $\rightarrow$ 『アメリカ 合衆国 ニューヨーク ホワイトハウス 世界』となってい た.「」無の不正解では, 国名以外の単語が正解語 よりも上位に出力された. 色の分析と同様に刺激語 を含めない文『連想する国は MASK です。』を入力 すると『日本語 実名 以下 日本 不明』が出力され た.このことから，『連想する国は』に対して色と は異なり, 国名以外の単語も出力されやすいと言え る. 上記の文に「」を付与した連想文では『日本 アメリカ 中国 ロシアイタリア』となり, 国名が 出力されやすくなっていた. Attention を調査した ところ，「」の付与によって刺激語への Attention が 大きくなっていた。また, 色カテゴリと同様に「」 の付与によって MASK の前後の単語『は』『です』 への Attention が小さくなっていた. しかし, 『国』 への Attention に大きな変化は無く, 国名が出力さ れやすくなった. 国名が出力されやすくなった理由 については，今後より詳細に分析していく.

a.「」無

b.「」有

図 1 東北大 BERT での正解語が赤の課題における最終 Transformer 層の Attention. 12 色は各々 の Attention Head を表し，色の濃さは Attention の大きさを表している. [MASK]から各トークンに 向かう線の色は Attention Head の色を混合したものである. [12]

次に，「」の付与で連想結果が改善された名詞の み gMLP では，特に使ってすることカテゴリで正答率が $0.00 \rightarrow 1.00 （ 2$ 題中 0 題 $\rightarrow 2$ 題）に上昇し た. 正解語が洗濯の課題では「」の付与により『無理 危険 不可 苦手 禁止』 $\rightarrow$ 『洗濯 安心 仕事 便利 安全』となった.

次に，名詞のみ BERT の結果について分析する.名詞のみ BERT では,「」の有無による正答率の差 が東北大 BERT より小さく $(0.34 \rightarrow 0.44)$, 特に国力 テゴリでは正答率が変化しなかった $(1.00 \rightarrow 1.00)$. アメリカの課題では「」の付与で『アメリカメキ シコ 日本 カナダ フランス』 $\rightarrow$ 『アメリカ 日本 カナダ メキシコ フランス』となり，「」の有無に 関わらず，国名のみが出力されている。これに対 し，東北大 BERT では「」の付与で『世界中 以下 アメリカ 世界 日本』 $\rightarrow$ 『アメリカ 合衆国 二ュ ーヨーク ホワイトハウス 世界』となっており，こ の変化が名詞のみで学習することによる特徴である と考えられる。

なお，モデルや「」の有無に関わらずスポーツカ テゴリ（野球, 水泳, バレーボール, サッカー）で は正答率が高かった。これは，スポーツに関連した 名詞が日本語 Wikipedia 内で出現頻度が高いことに 要因があると考えられる。

## 6 おわりに

本稿では，MLM として BERT と gMLP を用いて 語群から語の連想実験を行った。連想課題として 5 つの刺激語から 1 つの連想語を回答するタスク (例:富士山 浜名湖 茶畑 みかん うなぎ $\rightarrow$ 静岡県）を使用し，MASKに連想語が入る連想文を作成した。実験では東北大 BERT に加え，MASK するトークンを 名詞に限定して学習した BERT と gMLP を使用し, MASK に鍵括弧「」を付与した場合の検討も行った。実験の結果，「」を付与した東北大 BERT と名詞のみ gMLP で最も高い正答率 $49 \%$ が得られた。また，上位 5 語以内に正解が含まれる割合は約 7 割であった。本稿の結果から，MASK の前後に「」を付与する 手法は，複数の刺激語から 1 つの連想語を出力する 場合でも有効であることがわかった。さらに，BERT を名詞のみで学習させることで，正答率が向上する ことも確認できた（ただし，「」の付与によりその効果は失われる)。これらのことから, 学習の段階で名詞・固有名詞に「」を付与することで，語連想タス クの精度向上が期待できる。また, Transformer の代替モデルである gMLP の精度も高かったことから， gMLP の精度向上の要因を分析するとともに，今後 はgMLPを用いた自由連想タスクも検討する。

## 謝辞

本研究を進めるに当たり, 乾・鈴木研究室の訓練済 み日本語 BERT モデルをお借りしました. モデルを 公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860, JP21K02052 の助成を受けたもので す.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.1. : arXiv preprint arXiv:1810.04805, 2018.

2. Hanxiao Liu, et al. Pay Attention to MLPs. s.l. : arXiv preprint arXiv: 2105.08050, 2021.

3. 米谷彩, 渡部広一, 河岡司. 語の共起情報を考慮した感覚連想メカニズムに関する研究. 情報処理学会 研究報告 2005-NL-166, 2005.

4. 白川真澄, 中山浩太郎, 原隆浩, 西尾章治郎.複数語句から構成されるコンテキストを考慮した連想関係の抽出. DEIM Forum 2011 F3-1, 2011.

5. 芋野美紗子, 吉村枝里子, 土屋誠司, 渡部広一. 語概念連想を用いた複数単語からの連想語生成手法の提案. 言語処理学会第 18 回年次大会

(NLP2012), 2012.

6. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 人間と BERT の語から語の連想の比較. 言語処理学会第 27 回年次大会(NLP2021), 2021.

7. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 検索画像を介在させた語から語の連想模擬法の検討. 第 20 回情報科学技術フォーラム(FIT2021), 2021.

8. Yu Sun, et al. ERNIE: Enhanced Representation through Knowledge Integration. s.l. : arXiv preprint arXiv: 1904.09223, 2019.

9. Hao Tian, et al. SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis.

ACL2020, 2020.

10. 鈴木勉 宇野園子監修. CD 版そのまま使える 失語症教材 2. エスコアール, 2022 出版予定.

11. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2022 年 01 月 14 日.) https://github.com/cl-tohoku/bert-japanese.
12. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy : Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.

## A 付録

表 3 実験で使用するモデルの詳細

 & \multicolumn{2}{|c|}{} \\

## 表 4 連想課題の例

 \\

表 5 東北大 BERT での色カテゴリにおける連想語上位 5 語


 相馬佑哉，堀内靖雄，黒岩眞吾 千葉大学 yuya10101@chiba-u.jp, \{hory, kuroiwa\}@faculty.chiba-u.jp  