# 時間的常識理解へ向けた効果的なマスク言語モデルの検証

Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論に対する言語モデル の開発に焦点を当て，効果的なマスク言語モデルの 検証を行った.ファインチューニングの前に，時間的常識を問う対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction を行い，また，MLMにおいてマスクする対象となる トークンを様々な設定に変更して実験を行なった.実験の結果，対象タスクのトピックに合わせて単語 をマスクすることにより，時間的常識を問うタスク において，4,5\%程度の精度の向上を確認できた.

## 1 はじめに

近年，BERT [1] などの事前学習済み言語モデルが 幅広い自然言語処理（NLP）タスクで大きな成果を 上げているが，これらのモデルは時間推論において はまだ性能が低い場合と言われている [2]. 特に困難な課題として，時間的常識を扱う推論が挙げられ る. 例えば，「旅行に行く」と「散歩に行く」とい う 2 の事象が与えられたとき，多くの人間は「休暇は散歩よりも長く, 発生頻度も少ない」というこ とを知っているが，コンピュータは「休㗇は散歩よ りも長く，発生頻度も少ない」という時間的常識を もって推論することが困難である.

そこで，本研究では，時間的常識推論に対する モデルの開発に焦点を当て, 先行研究 [3] の継続 として時間的常識を理解するための汎用言語モ デルの開発を行う. 対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) をタスク適応事前学習 (task-adaptive pre-training, TAPT）として実験を行う．また，MLM においてマスクする対象となるトークンを様々な設定に変更することにより，対象タスクを解くのに必要な常識的知識を付加したモデルを提案する.

## 2 提案手法

## 2.1 時間常識推論課題 MC-TACO

本研究では，対象となる課題として MC-TACO [4] を使用する，MC-TACO では，時間特性に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており，自然言語で 表現された事象の時間的常識を理解する課題から構成されるデータセットである. 5 の特徴量のいず れかの特性について記述された文章とその文章に関 する質問，それに対する答えの候補，各候補に対し て正解には yes，不正解には no とラベル付けされた ものから構成されており, yes か no かを予測する二値分類のタスクである.

## 2.2 タスク適応事前学習 (TAPT)

BERT は，対象タスクに対してファインチューニ ングを行うだけで良い性能を発揮するが，事前学習 されたモデルと対象課題との間にドメインの不整合 がある場合，タスクの精度向上が見込めない場合が ある。この問題を解決するために，対象データセッ 卜を用いて事前学習を行うことは，事前学習された モデルをターゲットタスクに適応させるために有用 である [5]. これに基づき， MC-TACO データセット を用いて，BERT に対して Masked Language Modeling （MLM）タスクと Next Sentence Prediction（NSP）タ スクを実施する。 MLM は，トークンの一部をラン ダムに特殊なトークン（例えば，[MASK]）に置き換 え，モデルにその予測をさせるタスクである．NSP は，与えられた 2 文のペアに対して，一方が他方に 続く文かどうかを判断するタスクである。本研究で は，MLMにおいて，一般的に使用されるマスクす る対象のトークンをランダムに $15 \%$ 選択する方式を 任意の基準を採用したものに変更し，課題の精度へ

の影響を精査する．以下に，採用した基準について 説明する。

## 2.3 対象タスクのトピック

対象タスクのトピックに関連する語彙をマスクす ることにより，対象タスクを解くのに必要な知識を 重点的に獲得することを目指す. 今回の対象データ セットである MC-TACO は時間的常識を問うタスク であり，モデルは時間に関する常識的知識を獲得す る必要がある。この観点から，MLM において，時間関係の単語をマスクすることにより，特に時間に 関する知識を獲得することを目指す。

時間関係の単語は，MC-TACO のデータを確認し 手動で定義する. 主な内容としては，数字，形容詞/副詞/前置詞 (often, before, after, every など), 時間の 単位（hours, years など）である（付録 $\mathrm{A}$ 参照）。

## 2.4 対象タスクの特性

対象とするデータセットの形式に着目したマス ク方法を考える．MC-TACO の1 サンプルの入力は，文章十質問十答えで構成されている。このうち，答 えの部分がもっとも二値分類タスクの予測結果に関 わる部分であり，モデルの学習に重要であるという 仮定に基づき，答えの部分を優先してマスクする。

## 2.5 注意機構 (Attention)

注意機構 (Attention) [6] の値が大きい単語に着目 したマスク方法を考える。他の単語からの Attention の値が大きい単語は，他の単語からの注目度が高い ということになり，入力された単語の中でも文脈の 理解に大きく貢献していると考えられる.

## 2.6 損失に対する顕著性 (Saliency)

損失に対する顕著性（Saliency）の値が高い単語 に着目したマスク方法を考える. Saliency は各単語 の埋め込みべクトルが最終的な判断にどれだけ寄与 しているかを表す指標である [7]. Saliency の値が高 い単語は入力文の中で重要な単語と言えるため, そ の値に着目して実験を行う。

Saliency を求める際には損失と単語の埋め込みべ クトルの勾配を求めることになるが，今回使用す るモデルである BERT [1] の入力を構成する, Token Embeddings, Position Embeddings, Segment Embeddings の 3 種類の埋め込みべクトルのうち，全てを使用す る場合と, Token Embeddingsのみを使用する場合の
2 通りで Saliencyを求める. 以下，前者を求め方 1 ,後者を求め方 2 とする.

## 3 実験

TAPT によって精度が改善することを確認した後 に，マスクする対象の選び方を変更した実験を行 う. また，作成したモデルを MC-TACO 以外のデー タに用いた性能評価を行い，その結果を分析する。

## 3.1 実験設定

MC-TACO でのファインチューニングおよび TAPT を行う際のパラメータの設定を表 1 に示 す. MCTACO に対しては, Hugging Face の Transformers ${ }^{1}$ で提供されている分類問題用のモデルであ る，BertForSequenceClassification モデルを使用する. MLM 及び NSP には，BertForPreTraining モデルを使用する.

 &  &  &  \\

本研究において，モデルには bert-base-uncased を 使用し, 評価指標としては Exact Match (EM) と F1 ス コアを採用した．EMは各質問に対する全ての答え を正しくラベル付けすることができる確率であり， F1 スコアは適合率と再現率の調和平均である.

## 3.2 実験結果

まず，通常通りファインチューニングを行なっ た場合と，対象のデータセットを用いた Masked Language Modeling と Next Sentence Prediction を TAPT として実験を行った場合の結果を比較する。なお， ここでのマスク方法はランダムである．結果を表 2 に示す.

ここからの実験結果の記載方法については, MCTACO の評価データを使用した結果と，（）内に は 5 分割交差検証を行なった結果を記載している。

こちらに示した通り，TAPTを行うことでべース ラインよりも精度が上がることがわかる。

1) https://github.com/huggingface/transformers
表 3 時間関係の単語を優先してマスク

 &  & EM [\%] & F1 [\%] \\

90 & 10 & $44.1(43.3)$ & $71.6(70.1)$ \\
80 & 20 & $\mathbf{4 5 . 1}(\mathbf{4 4 . 3 )}$ & $\mathbf{7 2 . 7}(\mathbf{7 0 . 7 )}$ \\
70 & 30 & $42.9(42.6)$ & $71.9(69.5)$ \\

表 4 答えの部分の単語を優先してマスク

以下に，提案手法における MLM におけるマスク の方法，マスクする単語の選び方を変更し，各実験 の結果を示す. なお, 今後の表内において, 表 2 に 記載のランダムでマスクした場合の TAPT よりも精度が改善した場合は，太字で結果を記載している。

対象タスクのトピック 対象タスクのトピックに 関連する時間関係の単語を高い割合でマスクする設定で実験を行なった. 結果を表 3 に示す. 実験の結果，ランダムでマスクした場合よりも精度の向上が 確認できた。

対象タスクの特性 MC-TACO の各サンプルの構造に着目して，答えの部分を高い割合でマスクする 設定で実験を行なった．結果を表 4 に示す．実験の 結果，ランダムでマスクした場合とほぼ同等の精度 が確認された。

ここで，答えの中に含まれるかつ時間関係の単語 を高い割合でマスクするという，上二つを組み合わ せた設定でも実験を行なった。結果を表 5 に示す。実験の結果，ランダムでマスクした場合よりも精度 の向上が確認できた. また，二つを組み合わせるこ とにより，単一で基準として採用するよりも精度が 向上した.

注意機構（Attention） Attention の値に着目し， 11 番目と 12 番目のレイヤーにおいて, 他の単語か らの Attention の値が大きい単語，つまり他の単語か らの注目度が高い単語を高い割合でマスクする設定 で実験を行なった、レイヤーの選び方については，全 12 層のうち，上のレイヤーの Attention の方が最終的な予測に大きく関係しているのではないかとい う考えに基づいた．結果を表 6 に示す.

実験の結果，マスクの割合を $15 \%$ に設定した際の 精度はランダムでマスクした場合と同等である事が 確認できた。損失に対する顕著性（Saliency） 2.6 節で述べた 2 通りの方法で Saliency の值を求め, その值が高い 単語上位 15 \%をマスクする設定で実験を行なった。結果を表 7 に示す.

実験の結果，3つの埋め込みベクトルのうち Token Embeddingsのみを使用して Saliencyを求めた場合の 精度は，ランダムでマスクした場合より向上するこ とが確認できた。

ここで，Saliency が高い単語に加えて，Saliency が 高い単語からの Attention が大きい単語も優先して マスクするという，二つを組み合わせた設定でも実験を行う．これは，単語単体の指標である Saliency に加えて, Attentionを用いることによって単語同士 の関係性も考慮するためである。ここでの Saliency は，Token Embedding のみを使用する方法を採用す る. 結果を表 8 に示す. 実験の結果，単語単体の Saliency のみを使用した場合よりも精度が少し下 がってしまうことが確認された。

汎化性能評価 今までは MC-TACO においてモデ ルの性能評価を行なっていたが，他のデータセッ 卜においても性能評価を行い，時間情報処理のた めの汎用言語モデルとしての汎化性能を評価する。今回は，他のデータセットとして，TimeML $[8,9]$ と MATRES [10] を採用する。時間的常識を問う MC-TACO とは異なり，TimeML はイベントの期間， MATRES はイベントの順番を問うタスクで構成さ れている。性能評価には，ランダムでマスクをする TAPT によって作成されたモデルと，時間関係の単語をマスクする TAPTによって作成されたモデルを 使用する。結果を表 9 に示す.

実験の結果，BERT モデルをそのまま使用した場合と，著者らが作成したモデルで同程度の精度と なった.
表 5 答えの中の時間関係の単語を優先してマスク

 &  [\%] &  [\%] & EM [\%] & F1 [\%] \\

100 & 10 & 15.4 & $\mathbf{4 5 . 7}(\mathbf{4 4 . 8})$ & $\mathbf{7 1 . 9 ( 7 2 . 0 )}$ \\
100 & 20 & 24.8 & $43.2(44.3)$ & $71.0(71.5)$ \\
80 & 20 & 22.4 & $44.2(44.1)$ & $71.3(71.3)$ \\

表 6 Attention の値が大きい単語を優先してマスク

表 7 Saliency の值が高い単語を優先してマスク

## 3.3 考察

マスク言語モデルにおけるマスク対象をランダム な選択から様々な設定に基づく選択で実験を行なっ てきたが，最も結果が良かったのは答えの中の時間関係の単語を高い割合でマスクした場合であり，次 に良かったのは，データセット全体において時間関係の単語を高い割合でマスクした場合であった. こ れらはランダムでマスクした場合よりも高い精度を 出している。このことは，マスクする単語を慎重に 選択することが性能に影響すること，対象タスクの トピックに合わせて単語を選択しマスクをすること で，タスクを解くのに必要な知識を重点的に獲得で きることを示している. また, Saliency の値に着目 した実験設定では，Token Embeddingsのみを使用し て Saliency の値を計算することによって選択した単語をマスクした場合に，ランダムでマスクする設定 よりも精度が向上した. Saliency の値は算術的に求 められるものであり，今後も詳しく検討する価値の ある手法であると考えている。

一方で，Attention の値に着目した実験設定では， ランダムでマスクした場合と同等程度の性能となっ た.これは，予測に関する値が高い単語をマスク することは，ランダムにマスクする場合以上のタ スクを解くのに必要な知識の獲得には繋がらない 可能性を示唆している。このことは， Transformer の Attention は最終的な識別には大きな貢献をしていな いという研究報告 [11] にも合致している.

MC-TACO 以外のデータセットを使用した汎化性表 8 Saliency が高い単語 + Attention が高い単語を優先し てマスク

 & EM [\%] & F1 [\%] \\

30 & $44.1(42.9)$ & $71.1(70.3)$ \\

表 9 汎化性能評価

 &  \\

TAPT(random) & 81.9 & $\mathbf{7 2 . 6}$ \\
TAPT (時間関係) & 82.2 & 71.6 \\

能の評価では，精度が改善しなかった。これは作成 したモデルが MC-TACO のタスクを解くのに適した ものになってしまっているからだと考えられ，現在 の手法では汎用性に欠けることがわかった。これに 対しては，今後，複数のデータセットのタスクを同時に解くマルチタスク学習などを通じて汎用性を高 めることを検討したい.

## 4 おわりに

本研究では, 対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction をタスク適応事前学習（TAPT）として実験を行っ た.また，MLMにおいてマスクする対象となる 単語の選び方を従来のランダムの選択から様々 な基準に変更して実験を行なった。提案モデルを 難易度の高い multiple choice temporal common-sense (MC-TACO) [4] で評価したところ，標準的なアプ ローチよりも性能が大幅に向上していることを確認 できた。中でも，対象タスクのトピックに合わせて 単語をマスクすることにより精度が大きく改善し， タスクを解くのに必要な知識を獲得することができ たと考える。今後は，他のデータセットやモデルに おいても同様に精度が向上するよう，汎化性能を高 めていきたいと考えている.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of nlp models with checklist. arXiv preprint arXiv:2005.04118, 2020.

[3] 木村麻友子 Lis Kanashiro Pereira, 小林一郎. 時間的常識を理解する言語モデルの構築へ向けて. 言語処理学会年次第 27 回大会, pp. 1193-1198, March 2021.

[4] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. 2017.

[7] Jiwei Li, Xinlei Chen, Eduard Hovy, and Dan Jurafsky. Visualizing and understanding neural models in NLP. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 681-691, San Diego, California, June 2016. Association for Computational Linguistics.

[8] Roser Saurí, Jessica Littman, Bob Knippen, Robert Gaizauskas, Andrea Setzer, and James Pustejovsky. Timeml annotation guidelines. Version, Vol. 1, No. 1, p. 31, 2006.

[9] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[10] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyz- ing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, Online, November 2020. Association for Computational Linguistics.

## A 付録

2.3 節に記載している時間関係の単語について，そ のリストを記載する。このリストに数字 $(0,1,2, \ldots)$ を追加したものを使用した。

['after', 'afternoon', 'afterwards', 'age', 'ago', 'already', 'always', 'am', 'annually', 'april', 'august', 'before', 'between', 'billion', 'centuries', 'century', 'current', 'currently', 'daily', 'day', 'days', 'decade', 'decades', 'during', 'earlier', 'early', 'eight', 'eternity', 'evening', 'eventually', 'ever', 'every', 'everyday', 'fifteen', 'fifty', 'first', 'five', 'for', 'forever', 'four', 'fourth', 'frequency', 'friday', 'from', 'future', 'hour', 'hourly', 'hours', 'hundred', 'hundreds', 'in', 'january', 'june', 'just', 'later', 'long', 'march', 'midnight', 'millions', 'minute', 'minutes', 'monday', 'mondays', 'month', 'monthly', 'months', 'morning', 'mornings', 'never', 'night', 'noon', 'now', 'often', 'once', 'one', 'overnight', 'past', 'per', 'pm', 'previously', 'prior', 'quickly', 'rarely', 'saturday', 'season', 'second', 'seconds', 'september', 'seven', 'several', 'since', 'six', 'sometime', 'spring', 'still', 'summer', 'sunday', 'ten', 'then', 'third', 'thirteen', 'thirty', 'thousand', 'three', 'time', 'times', 'today', 'tomorrow', 'tuesday', 'twenty', 'two', 'until', 'usual', 'usually', 'wednesday', 'week', 'weekday', 'weekdays', 'weekend', 'weekends', 'weekly', 'weeks', 'when', 'whenever', 'while', 'will', 'within', 'year', 'yearly', 'years', 'yesterday', 'yet', 'zero']

また，本文に記載の実験以外にもいくつかの設定 で実験を行なったので，こちらに記載する.

注意機構 (Attention) MC-TACO で通常通りファ インチューニングしたベースラインモデルと，今ま でに作成して精度が改善したモデルとの間で，レイ ヤー11,12における他の単語からの Attention の値の 上がり幅が大きい単語を高い割合でマスクする。こ れは，精度が改善しているということは Attention の 当たり方も改善されており，上がり幅が大きい単語 は精度の改善に大きく影響している単語なのではな いかという考えに基づいている.今まで作成したモ デルとして, 先行研究 [3] で作成したモデル 2つを 使用する. Multi-Step Fine-Tuning に SWAG を使用し たものと，ランダムでマスクした TAPT である．結

表 102 つの手法間で Attention の値の上がり幅が大きい 単語を優先してマスク

 & $40.9(42.1)$ & $69.9(68.2)$ \\

30 & $43.5(42.7)$ & $71.2(70.6)$ \\
45 & $43.0(41.2)$ & $71.0(68.9)$ \\
60 & $42.2(39.9)$ & $71.1(68.4)$ \\

30 & $42.4(42.5)$ & $70.5(69.2)$ \\
45 & $42.3(42.3)$ & $70.8(69.6)$ \\
60 & $41.4(43.6)$ & $69.4(70.1)$ \\

果を表 10 に示す. 今回の実験設定では，ランダム でマスクした場合よりも精度が下がってしまうこと が確認された。

損失に対する顕著性（Saliency） Saliency の值が 高い単語ではなく，高くも低くもない真ん中の単語 を高い割合でマスクする設定でも実験を行なった.結果を表 11 に示す. 実験の結果，精度は上がらず， Saliency に関しては値が高い単語に着目する方が良 い結果が出ることがわかった.

表 11 Saliency の值が高くも低くもない単語を優先して マスク


 Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$ 1 お茶の水女子大学 2 国立国語研究所 3 京都大学 \{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp \{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp  