# 時間的常識を理解する言語モデルの構築へ向けて

木村麻友子 Lis Kanashiro Pereira 小林一郎
お茶の水女子大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp

## 1 はじめに

テキスト内に記述された事象の時間関係を理解 するためには，その事象の時間に関する常識的背景知識が必要となる. しかし，常識がテキスト内 に明示的に表現されることはほとんどなく，コン ピュータにそのような知識を踏まえた理解や推論 をさせることは未だ挑戦的な課題となっている.自然言語処理における質問応答に関する研究は,自然言語理解一般を中心に手法の開発が進めら れ，近年，顕著な進歩を遂げているが，時間的常識を用いた特定の推論能力などを対象にしている ものは少ない. そこで, 本研究では時間的常識に 基づく理解に焦点を当て，Multiple Choice TemporAl COmmon-sense (MCTACO) [1] という自然言語で表現された事象の時間的常識を理解する課題を取り 上げ，時間的常識に対する理解の精度向上を目的 として手法の開発を行う. 本研究でのアプローチ として, 時間や常識に関する複数のコーパスを事前学習に用いた multi-step fine-tuning や, BERT 使用時において潜在トークンに対する Masked Language Modeling をする際に使用するデータを変更した場合 の出力精度との関係を調査し考察を行った. また， これらの作成したモデルのアンサンブル学習を行 い，単一モデルよりも良い結果が得られることを確認した.

## 2 関連研究

文章内のイベントに関する時間関係を正しく理解 することは，自然言語理解の実現において本質的な 課題であり, 近年, 時間的常識を踏まえた自然言語理解の研究が盛んになっている. Zhou ら [1] は，ク ラウドソーシングを使い時間に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity）の時間的常識を集め MCTACO という新 しいデータセットを作り, 時間的常識問題を解く深層学習モデルを構築したが，人の識別能力よりもお
よそ $20 \%$ 精度が低い結果となった. さらに彼らは, TacoLM という時間的常識を捉えた言語モデルを構築し [2]，通常の BERT [3] よりも時間関係を捉える タスクの予測精度が高い結果を得ている。

Gururangan ら [4] は，すでに一般的なコーパスで 言語モデルを事前学習しているモデルに対して，さ らに対象となるドメインやタスクのデータセットで 2 段階目の事前学習を行うことによって，対象タス クの出力の精度が向上されることを示している.

また, Phang ら [5] は, データ量の多い中間的な 教師付きタスクを用いて 2 段階目の事前学習を 行った.このアプローチを, Supplementary Training on Intermediate Labeled-data Tasks（STILTs）とし，結果として得られるターゲットタスクモデルが改善す ること，特にデータの少ないタスクで BERTを使用 する場合や，データに制約のある場合に学習が大幅 に安定することを示している。

## 3 提案手法

## 3.1 multi-step fine-tuning

本研究では，MCTACO を用いて時間的常識を推定する課題を解決するモデルを構築するが，モデル の精度を向上させるため，多段階のファインチュー ニング（multi-step fine tuning）を行う. 事前学習済 みの BERT を対象にして， MCTACO ではないが時間的常識に関係がありそうなタスクを採用し，それ らを用いて多段階のファインチューニングを行った 後に MCTACO のタスクを用いてファインチューニ ングすることにより，MCTACO における回答の精度向上を目指す。

## 3.2 Masked Language Modeling

本研究では, BERT の事前学習として採用され ている Masked Language modeling（以下，MLM）と Next Sentence Prediction の内のひとつである MLM に 関して，MCTACO では訓練データが提供されてい

ないため，検証データを用いてマスクする語彙の比率などを変えて潜在トークンを構築する。これに より，評価に用いるデータ（MCTACO）に更に適応 した言語モデルを構築し, モデルの精度向上を目指す.

## 4 実験

multi-step fine-tuning による影響を調査するため, MCTACO のみ 1 段階でファインチューニングした 場合と，他のデータセットを使用して 2 段階でファ インチューニングした場合を比較し, 精度がどのよ うに変化するかを分析する. また， MLM に使用す るデータセットを変更することによる影響を調査す るため, MCTACO を使用した場合の精度を求める。 さらに，マスクする割合1)をいくつか変更した場合 の違いを分析する。

## 4.1 使用データ

本研究では，学習用および評価用データセッ トとして MCTACO を使用する。また， 3.1 におけ る 1 段階目用のデータセットとして, TimeBank[6], MATRES[7], CosmosQA[8], SWAG[9]を使用する. MCTACO，TimeBank，MATRES は時間に関するデー タセットであり, CosmosQA と SWAG は時間に限ら ず一般的な常識全般に関するデータセットである.表 1 にそれぞれのデータセットの統計情報を示す.

以下に各データセットの概要を示す.

## MCTACO [1]

MCTACO では，時間特性に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており, 自然言語で表現された 事象の時間的常識を理解する課題から構成される データセットである. 5 つの特徴量のいずれかの特性について記述された文章とその文章に関する質問，それに対する答えを表す複数の選択肢，その選択肢に対して正解には yes, 不正解には no とラベル 付けされたものから構成されている（表 2参照）.


表 2 MCTACO の例

S1:He layed down on the chair and pawed at her as she ran in a circle under it.

Q1:How long did he paw at her?
A1:2 minutes [yes]
A3:90 minutes [no]
A2:2 days [no]
A4:7 seconds [yes]
Reasoning Type:Event Duration

MCTACO では，訓練データは提供されておら ず，検証データと評価データのみ提供されている。 MCTACO に対しては, huggingface $の$ transformers で提供されている分類問題用のモデルである, BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，文章十質問文と答えは [SEP] で分けられている.

## TimeBank [6]

TimeBank は, 時間的常識の中の, 特に持続時間 に関するデータセットである. 文章内に含まれる イベントの持続時間が 1 日より長いか短いかに よって yes, no のいずれかがラベル付けされている. TimeBank に対しても，BertForSequenceClassification モデルを使用する．また，入力データをエンコー ドする際に，文章とイベントは $[\mathrm{SEP}]$ で分けられて いる.

## MATRES [7]

MATRES は，文章内に含まれる二つの動詞の時間関係に関するデータセットである．時間関係に よって, AFTER, BEFORE, EQUAL, VAGUE のいずれ かがラベル付けされている. MATRES に対しても， BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，着目する文章中の二つの動詞の前後にタグマーカーを挿入して いる.

MATRES は TimeBank のデータ拡張用としても用 いる.その際，MATRES に含まれる時間情報を含む データに対して TimeBankでファインチューニング 済みのモデルを用いてラベル付けを行い，最終層に おける出力の確率値が 0.9 を超えるもののみをデー 夕拡張に用いて実験を行う。

## CosmosQA [8]

CosmosQA は, 出来事の原因や影響など，明示的に言及されていない物語の行間を読むことに 焦点を当てている．時間に限らず一般的な常識全般に関するデータセットであり, 四択一の多肢選択問題である. CosmosQA に対しては, huggingface の transformers で提供されている多肢選択問題用の モデルである BertForMultipleChoice モデルを使用す

る.また，入力データをエンコードする際に，文章十質問文と選択肢は [SEP] で分けられている.

## SWAG [9]

SWAG は，フレーズを与えられたときに次のフ レーズを常識に基づいて推測する問題のデータセッ トである。こちらも時間に限らず一般的な常識全般 に関するデータセットであり，四択一の多肢選択問題である. SWAG に対しても，BertFormultipleChoice モデルを使用する．また，入力データをエンコード する際に，文章と選択肢は $[\mathrm{SEP}]$ で分けられている。

## 4.2 実験設定

multi-step fine-tuning に関して，パラメータの設定 を表 3 に示す。それぞれのデータセットについて予備実験を通して最も精度が良くなったパラメータ （表内太字）を使用する。

また，MLMを行う際のパラメータの設定を表 4 に示す. MLM 後に MCTACO を用いて学習, 評価する際のパラメータは表 3 の 1 行目に太字で 記載のものを使用する．MLMには，huggingface の transformers ${ }^{2}$ で提供されている BertForPreTraining モ デルを使用する.

両者ともにモデルには bert-base-uncased を使用し，評価指標としては Exact Match (EM) と F1 スコアを 採用した．EM は各質問に対する全ての答えを正し くラベル付けすることができる確率であり，F1 スコ アは適合率と再現率の調和平均である.

表 3 multi-step fine-tuning の実験設定

 &  &  &  \\

MATRES & & & & \\

表 4 MLM の実験設定

 &  &  &  \\

## 4.3 実験結果

multi-step fine-tuning 実験結果を表 5 に示す.


表 5 multi-step fine-tuning による実験結果

表 5 の 1 行目は，MCTACO を用いた 1 段階のファ インチューニングの結果，2 行目以下はその他の データセットを 1 段階目に使用し，MCTACO 2 段階目として用いた mulを行なった結果である. また， 4 行目は MATRES を TimeBank のデータ拡張用に用いた結果である. 表 5 には MCTACO の評価 データを使用した結果，及び（）内には 5 分割交差検証を行なった結果を記載している。

実験の結果，使用するデータセットによる差異は あるものの全体的には multi-step fine-tuning を行なっ たことによる精度の向上が確認された. 最も良い精度となったのは最下行に記載しているSWAG を 1 段階目のファインチューニングに使用した場合で あった. CosmosQA と SWAG はどちらも一般的な常識全般に関するデータセットであり，二つを比較す ると SWAG の方が大きなデータセットである（表 1 参照).

Masked Language Modeling 実験結果を表 6 に 示す.

表 6 MLMによる実験結果

こちらも表 5 と同様に，MCTACO の評価データ を使用した結果，及び（）内には 5 分割交差検証を 行なった結果を記載している。実験の結果，最も精度が良かったのは 1 行目の，ラベルが yes のデータ のみを使用し $15 \%$ マスクした場合であった。

ここで，アンサンブル学習として Max Voting を行 う.いくつかのパターンで 3 つのモデルを使用し， MCTACO の評価データを用いて評価した. その結果を表 7 に示す.

 & $\checkmark$ & & \\

実験の結果，アンサンブル学習による精度の向上 が確認された. 特に， CosmosQAを用いて multi-step fine-tuning を行ったモデル，SWAGを用いて multistep fine-tuning を行ったモデル， MLM に MCTACO を用いたモデルの 3 つを使用したパターン 2 が最も 精度が良くなった.この結果は，Zhou ら [1] の実験結果（F1:69.9\%，EM:42.7\%）に比べてそれぞれ $3 \%$ ほど精度が向上している。

## 4.4 考察

multi-step fine-tuning を行うと, 1 段階のみのファ インチューニングを行なった場合よりも精度が良 くなることが確認できた． MCTACO は時間的特徴 の理解を問うタスクであるが，1 段階目に使用する データセットに関しては，時間的な常識に関する データセットに拘らずに一般的な常識全般に関する データセット，特に大規模なデータセットである場合に精度が大きく改善することが確認された.

また，MLM に MCTACO を用いると，マスクす る割合などによって違いはあるものの, pre-trained BERT モデルをそのまま使用する場合よりも精度 が良くなることが確認できた. さらに, multi-step fine-tuning よりも精度が良くなることも確認でき，有用な手段であると考えられる。

ここで，MCTACO のみでファインチューニング したモデルと，MLMに MCTACO を使用したモデ ル (表 6 のうち最も精度の良かった 1 行目の設定を使用）に関して，MCTACO の検証データに含 まれる例に対し Attention の可視化を行い，観察し た. 結果を図 1(a), 図 1(b) に示す. Attention の可視化には BertViz3)を使用した．BertVizでは，カーソ ルを合わせた任意のトークンからの Attentionを 各レイヤー及びヘッドごとに確認することがで
き，Attention が大きいほど色が濃く表示される．例 えば文中の"happened"という動詞について比較し てみると，MLMに MCTACO を用いることによっ て，"met"という動詞の過去形や"lonely"という形容詞への Attention が大きくなっていることが分かる. Attention の可視化について，詳しい結果を付録 A に 記載する。

(a) MCTACO でファイン チューニングしたモデル 用いたモデルを使用した を使用した場合場合図 1 Attention 可視化の例

## 5 おわりに

本研究では，自然言語で表現された事象の時間的常識を理解するタスクにおいて，多段階でのファイ ンチューニングを行うことの効果の検証，及び，事前学習 MLM において使用するデータを変更するこ との効果の検証を行った. 実験の結果，使用する データセットやマスクする割合による差異はある ものの，双方ともに精度の向上が確認された. さら に，MLM は精度がより良くなることが確認された。今後は，Attention の分析を進めながら MLM におい てマスクするトークンの選び方を変更するなどの実験を行い，さらなる精度の向上を実現するために有益なドメイン適用手法ならびに言語モデル構築手法 を開発する。

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す.


## 参考文献

[1] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal common sense acquisition with minimal supervision. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7579-7589, Online, July 2020. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 83428360, Online, July 2020. Association for Computational Linguistics.

[5] Jason Phang, Thibault Févry, and Samuel R Bowman. Sentence encoders on stilts: Supplementary training on intermediate labeled-data tasks. arXiv preprint arXiv:1811.01088, 2018.

[6] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[7] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Pro- cessing, pp.93-104, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

## A 付録

本文中 4.4 にて行った Attention の可視化の補足として，MCTACO を用いてファインチューニング（以下，FT）したモデルと MLM に MCTACO を使用したモデルに加えて，MCTACO と SWAG を用いて multi-step fine-tuning (以下，MSFT)を行なったモデルの 3 つに関して，MCTACO の検証データに含まれる例に対して Attention の可視化を行い，どのように変化しているかを観察した. 図 2 と図 3 に可視化した結果を示す.

(a) MCTACO を用いて FT したモデ ルを使用した場合

(a) MCTACO を用いて FT したモデ ルを使用した場合

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 2 Attention 可視化の例 1

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 3 Attention 可視化の例 2

(c) MLM に MCTACO を使用したモ デルを使用した場合

(c) MLM に MCTACO を使用したモ デルを使用した場合

まず，図 2 は，MCTACO を用いて FT したモデルでは正しく予測できなかったが，MCTACO + SWAG で MSFT を行なったモデルと MLM V MCTACO を使用したモデルでは正しく予測できた例に対して各モデルを 使用した結果である。例えば文中の"happened"という動詞について確認してみると，(a) と比較して，(b) で は，"before"という時間に関する接続詞や"met"という動詞の過去形への Attention が大きくなっていることが 分かる。また，(c)では，本文中でも述べた通り"met"や"lonely"という形容詞への Attention が大きくなってい ることが分かる.

次に，図 3 は，MCTACO を用いて FT したモデルでは正しく予測できていたが，MCTACO + SWAG で MSFT を行なったモデルと MLM KCTACO を使用したモデルでは正しく予測できなかった例に対して各モ デルを使用した結果である。例えば文中の"paw"という動詞について確認してみると，(a) と比較して，(b) と (c) の双方とも時間に関する単語や動詞等へ Attention が大きくなっていることはあまり確認できない.
 木村麻友子 Lis Kanashiro Pereira 小林一郎 お茶の水女子大学 \{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp  