# 時間関係タスクを対象にしたマルチタスク学習におけるデータ の親和性の解析

木村麻友子 ${ }^{1}$ Lis Kanashiro Pereira ${ }^{1}$ 浅原 正幸 ${ }^{2}$
Fei Cheng $^{3}$ 越智 綾子 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論を中心とした時間に 関係する複数のタスクにおける言語モデルの汎用性 に焦点を当て，マルチタスク学習を行うことにより 時間的知識の理解に適した言語モデルの構築を行っ た. マルチタスク学習を行った結果，使用するデー タセットにより精度が向上する場合もあるものの，実験結果にばらつきがあることがわかった. その結果を踏まえ，マルチタスク学習において共有する潜在空間での各データセットの分布を可視化すること による分析を行い，分布が近いデータセット同士を 使用した場合に，マルチタスク学習の精度の向上が 見られることを確認した。

## 1 はじめに

文章中纪表現される時間纪関するイベントに対 して，常識的な時間関係を捉えることは，自然言語理解においてとても重要な課題である. しかしなが ら，近年，幅広い自然言語処理（NLP）タスクで大 きな成果を上げている BERT [1] などの事前学習済 み言語モデルは，時間推論においてはまだ性能が低 いと言われている [2]. 特に困難な課題として, 時間的常識を扱う推論が挙げられる。例えば，「旅行 に行く」と「散歩に行く」という 2 つのイベントが 与えられたとき, 多くの人間は「休睱は散歩よりも 長く, 発生頻度も少ない」という時間的常識を持っ ているが，コンピュータにはこのような時間的常識 を用いて推論することが困難である。

先行研究 [3] では, 時間的常識推論记対するモデ ルの開発に焦点を当て, 対象タスクを解くのに必要 な常識的知識を付加したモデルを提案した. 本研究 では，汎用性という点にも目を向け，マルチタスク学習を導入し, 時間に関する複数のタスクの精度を 同時に向上させつつそれらのタスクに汎用な言語モ デルの構築を目指す.また，マルチタスク学習を通 じて得られた複数のタスクに共有する潜在空間にお いて，使用した各データセットの文章ベクトルの分布を可視化することによって分析し，マルチタスク 学習に使用するデータセットの親和性と精度の関係 について考察を行う。

## 2 マルチタスク学習

マルチタスク学習は，関連する複数のタスクを同時に学習する手法で，モデルの汎化性と性能向上に 効果的であることが確認されている．関連タスクの 共通性と相違性を利用することで性能を向上させる ことができるため, 自然言語処理の分野において普及が進んでいる [4].

本研究では，MT-DNN [5] を用いてマルチタスク 学習を実行し, 複数の時間関連タスクに対する モデルの性能を評価する．MT-DNN は，BERT や RoBERTa などのモデルを共有テキストエンコード 層として組み込むことができるマルチタスク学習フ レームワークである. エンコーダ層では全てのタス クで重みを共有し (Shared layers)，その後，それぞれ のタスクの学習を行う (Task specific layers). タスク に特化した層ではタスクごとに重みが更新され，共有されない. 図 1 に MT-DNN の構造の概要を示す.

## 3 実験

## 3.1 使用データセット

データセットの概要を以下に記す。また，表 1 に それぞれのデータセットの統計情報を示す.

図 1 MT-DNN の概要

表 1 各データセットについて 訓練データ $\quad$ 検証データ $\quad$ 評価データ

MC-TACO [6]: MC-TACO は，自然言語で表現さ れた事象の時間的常識を理解する課題から構成さ れるデータセットである. MC-TACO では，時間特性に関する 5 つの特徵量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており， これらの特徴量のいずれかの特性が記述に含まれる 文章とその文章に関する質問，それに対する答えを 表す複数の選択肢が与えられ、各選択肢が答えとし てふさわしいかどうかが判断される. 以下に例を示 す. ふさわしい選択肢は太字で表記する。

Paragraph: He layed down on the chair and pawed at her as she ran in a circle under it.

Question: How long did he paw at her?
a) 2 minutes
b) 2 days
c) 90 minutes
e) 7 seconds

Reasoning Type: Duration

TimeML [7]: MC-TACO と同様に時間的常識を 問うタスクで，その中でも特に持続時間に関する データセットである. 文章内に含まれるイベントの 持続時間が 1 日より長いか短いかによってそれぞれ yes, no のいずれかがラベル付けされている. イベン トが 1 日より短い例 (no) を以下に示す.

In Singapore, stocks hit a five year low.
MATRES [8] MATRES は，文章内に含まれる二 つの動詞の時間的順序関係に関するデータセットで ある。時間的順序関係によって，AFTER, BEFORE， EQUAL, VAGUE のいずれかがラベル付けされてい る. 以下に二つの動詞 (e1, e2) のラベルが BEFORE の例を示す.

At one point, when it (e1:became) clear controllers could not contact the plane, someone (e2:said) a prayer.

CosmosQA [9]: CosmosQA は，出来事の原因や 影響など，明示的に言及されていない物語の行間を 読むことに焦点を当てている．MC-TACO とは違い，時間に限らず一般的な常識全般に関するデータセッ トであり，四肢択一問題である. 以下に例を示す.

Paragraph: Did some errands today. My prime objectives were to get textbooks, find computer lab, find career services, get some groceries, turn in payment plan application, and find out when KEES money kicks in. I think it acts as a refund at the end of the semester at Murray, but I would be quite happy if it would work now.

Question: What happens after I get the refund?

Option 1: I can pay my bills.

Option 2: I can relax.

Option 3: I can sleep.

Option 4: None of the above choices.

## 3.2 実験設定

本研究では，事前学習済み言語モデルの一つであ る ALBERT [10] をテキストエンコーダとして使用す る. ALBERT は BERT の派生モデルであり，BERT よりも軽量でありながら GLUE などにおいて精度を 改善することに成功している。また，先行研究 [3] において，ALBERT を使用すると，BERT を使用し た場合よりも時間的常識タスクにおいて精度が改善 することが確認されている。ここでは，ALBERT の 中で最も大きい ALBERT $_{\text {xxLARGE }}$ を使用する.

マルチタスク学習時のハイパーパラメータは，文字列の最大長は 512 ，バッチサイズは 16 ，学習率は 1e-5 とし，エポック数は使用するデータセットの組 み合わせによって最も良い精度が出たものを採用し た.また，MT-DNNを用いた学習時には全てのパラ メータを調整する。
表 2 MT-DNNを用いたマルチタスク学習の結果

## 3.3 実験結果

実験結果を表 2 に示す.MT-DNNを用いてシング ルタスク学習を行った場合の結果は青字で表示し, シングルタスク学習の結果を上回った精度は太字で 表示した.

評価指標として，MC-TACO では独自に定められ た Exact Match（EM）スコアと F1 スコア，TimeML と MATRES では Accuracy を用いた．EM スコアは， モデルが各質問に対するすべての回答候補を正しく ラベル付けすることができるかを測定する評価指標 である.

実験の結果，MATRES で精度の向上が見られた が，MC-TACO では学習に用いたタスクによって差 が生じ，TimeML では向上が見られなかった.

また，使用するデータセットによって，精度 が向上する場合 (例: MC-TACO と CosmosQA で学習し，MC-TACO で評価した場合の EM スコアは $59.2 \%$ ）と低下する場合（例：MC-TACO と TimeML と CosmosQA で学習し, MC-TACO で評価した場合 の EM スコアは $53.0 \%$ ）があり，やや不安定な状態 であることがわかった. 精度が改善する場合とそう でない場合について，なぜこのような結果になるの かについて分析を行った内容を次節に示す.

## 3.4 データセットの分析

マルチタスク学習の前提条件の 1 つは，異なる夕 スクとそのデータ間の関連性である. 多くの研究で は，マルチタスク環境において，正の相関を持つタ スクを学習することが望ましいとされている [11]. また，タスクの相性が悪い場合，精度が低下する場合もある [12].

ここでは，使用した各データセットに含まれる データの文章ベクトルを可視化することにより，各 データセットの親和性と実験結果の相関を明らかに することを目指す.

設定 マルチタスク学習をして得られた共通の ベクトル空間における文章ベクトルを求めるため, MC-TACO, TimeML, MATRES, CosmosQA 9 つ を, ALBERT $_{\text {xxLARGE }}$ を用いてマルチタスク学習した モデルをエンコーダとする。各データセットからラ ンダムに 1,000 ずつサンプルを取り，各サンプルの 文章ベクトルを計算する。ここでは，最終層の隠れ 層のベクトルに注目する。ベクトルはトークンご とに出力されるが，文章ベクトルを生成するには， トークンに付与されたべクトルを集約し，単一のべ クトルにする必要がある．今回は，各サンプルの全 トークンのベクトルを合計してトークン数で割るこ とで得られたべクトルを平均化し，これを各サンプ ルの文章ベクトルとする. 得られた文書べクトルを $\mathrm{t}-\mathrm{SNE}^{1)}$ と $\mathrm{UMAP}^{2)}$ の 2 つの手法で 2 次元に次元圧縮 を行い，可視化する。

可視化結果・考察 比較のために，マルチタスク

ダとして用いた場合の文章べクトルを可視化した結果を図 2 に示す. また，マルチタスク学習したモデ ルをエンコーダとして用いた場合の文章ベクトルを 可視化した結果を図 3 に示す.

マルチタスク学習後のベクトル空間では，青で 表示された MC-TACO の文章ベクトルと，緑で表

1) https://lvdmaaten.github.io/tsne/

2) https://umap-learn.readthedocs.io/en/latest/

MC-TACO

TimeML

MATRES

CosmosQA

図 2 ALBERT $_{\text {xxLARGE }}$ をそのままエンコーダとして用いた場合の文章ベクトルの可視化結果

MC-TACO

TimeML

MATRES CosmosQA

図 3 マルチタスク学習後のモデルをエンコーダとして用いた場合の文章ベクトルの可視化結果

示された CosmosQA の文章ベクトルが，ベクトル 空間内で近い位置に分布していることがわかる. t-SNE では少し分かりにくいが，UMAP では顕著で あることが確認できる．また，赤で表示している TimeML は，一部のサンプルに分布のばらつきがあ り，MC-TACO と CosmosQA の分布に近い位置に文章ベクトルが位置するサンプルもあることがわか る. MC-TACO と CosmosQA をマルチタスク学習し た場合，MC-TACO で評価した場合の EM スコアが 上がっていたこと，また，MC-TACO と TimeML を マルチタスク学習した場合も，MC-TACO で評価し た場合の EM スコアがわずかではあるものの上がっ ていたことを踏まえると，学習後の共有されたべク トル空間内において文章ベクトルの分布が近い場合 に，データセットの親和性が高いと言え，そのよう な場合にマルチタスク学習の効果が出ると考えるこ とができる.

一方，MATRES では，すべてのマルチタスク設定 で精度が向上しているが，文章べクトルの分布は他 のデータセットと近いようには見えない. MATRES は，文章ベクトルの分布が広くなく，まとまってい る.そのようなデータセットを対象にマルチタスク 学習を行うことで，補助データセットを有益なノイ ズとして取り入れた敵対的学習が行われ，精度が改善した可能性もあると考えられる.

## 4 おわりに

本研究では，マルチタスク学習を行うことによ り，時間的知識の理解に適した言語モデルの構築を 目指した. 実験の結果，使用するデータセットによ り精度が向上する場合がある一方，精度が下がる場合もあり，結果にばらつきがあることがわかった. その点を踏まえ，各データセットの文章ベクトルを 可視化することによる分析を行い，共有べクトル空間における文章べクトルの分布が近いデータセット 同士を使用した場合に，マルチタスク学習の精度の 向上が期待できることを確認した. 今後の課題とし ては，文章べクトルの分布がまとまっているデータ セットにはマルチタスク学習が有効であるという 考察の検証をすること，また，複数の時間関係の夕 スクで同時に精度を向上できるような汎用言語モ デルの構築のため，使用するデータセットの数を増 やし，さらなる分析と実験を重ねることが考えられ る.また，マルチタスク学習前に，データセットの 表層的な特徴を捉えて相性の良いデータセットの組 み合わせを見つける試みも検討したい.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた. ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[4] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[8] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Pa- pers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[11] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[12] Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil, and Chelsea Finn. Efficiently identifying task groupings for multi-task learning, 2021.
 木村麻友子 ${ }^{1}$ Lis Kanashiro Pereira ${ }^{1}$ 浅原 正幸 ${ }^{2}$ Fei Cheng $^{3}$ 越智 綾子 ${ }^{2}$ 小林 一郎 1 1 お茶の水女子大学 2 国立国語研究所 3 京都大学 \{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp \{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp  