# 日本語の時間的常識を理解する言語モデルの構築を目的とした マルチタスク学習における検証

船史 日佳里 ${ }^{1}$ Lis Kanashiro Pereira $^{1} \quad$ 木村 麻友子 ${ }^{1} \quad$ 浅原 正幸 ${ }^{2}$
Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1820534,g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，日本語での時間的常識の推論に対す る言語モデルの開発を目的として，マルチタスク学習における検証を行った。複数の時間的常識を問う タスクを用いて，テキストエンコーダを変更して実験を行なった．実験の結果，対象タスクの組み合 わせによって，時間的常識を問うタスクにおいて， $3 \% \sim 10 \%$ 程度の精度の向上を確認できた. また，使用するテキストエンコーダも大きく影響を与える ことが確認できた。

## 1 はじめに

自然言語の文章を理解するうえで，イベントが意味する時間の理解は重要である. しかし，イベント の時間を意味する直接的な表現は文章内では省略さ れやすく，時間の理解のためには，自然言語で表現 されるイベントのさまざまな時間的側面について常識的な知識を持っている必要がある。例えば，「い つの間にか眠っていて夢を見たんだ」という文章を 読んで，我々は「眠る」と「夢を見る」というイベ ントが過去のことで，「眠る」の方が「夢を見る」よ りも長い時間がかかることやこの二つのイベントが 同時に起こることを理解できる. このような常識を 踏まえた理解や推論をコンピュータにさせることは 挑戦的な課題となっている。近年，BERT[1] などの 事前学習済み言語モデルが幅広い自然言語処理タス クで大きな成果を上げているが，これらのモデルは 時間推論においては未だ性能が低いと言われており [2], 汎用言語モデルを改善し時間的な常識における タスクの精度を上げる試みがなされている [3][4]. しかし，日本語に関する時間的な常識を捉えた研究 は未だ少ない.
そこで，我々は日本語における時間的常識に基づ く理解に焦点を当てて研究を進めており，本研究で は時間的常識に関するタスクを用いたマルチタス ク学習を行なう. 具体的には, 文章のイベントの時制・時間幅・時間順序・事実性を推定するタスクを 組み合わせて学習させ，より効果的な学習方法を検討する.

## 2 提案手法

本研究では，時間的常識に関するタスクを用いた マルチタスク学習を行なって, 時間的常識のタスク に関して更に適応した言語モデルを構築し，モデル の推定精度向上を目指す。

時間的常識のタスクとして，イベントの時制・時間幅・時間順序・事実性の四つを設定する．時制の 推定は，イベントが発話時と比べて過去・現在・未来のいずれであるかを推定する. 時間幅の推定は, イベントがどのくらいの時間を要するのかを推定す る. 時間順序の推定は, 二つのイベントの時間的順序関係もしくは重なりについて推定する。事実性の 推定は，表現が実際に起きたイベントなのか，条件節などの仮想的なイベントなのかを推定する.

マルチタスク学習は，関連する複数のタスクを同時に学習することで，モデルの汎化性能を向上させ ることを目的としている。関連するタスクの共通性 と差異を利用することで性能を向上させることがで きるため，自然言語処理において普及が進んでいる [5]. 本研究では, 対象データセットのデータサイズ が限られているため、学習時に補助的なデータセッ トを利用することによって、この問題を緩和できる マルチタスク学習が有効なアプローチであると考 え，この手法を採用した.

また，複数の事前学習済み日本語言語モデルを使
表 1 DVD データセットの例

文章：悪いやつらに追われてるって話すんだ

表 2 日本語話し言葉コーパスの例文章: 一番今まで人生の中でつらかったこと についてお話ししたいと思います

用して実験を行ない，日本語の時間的常識の推論夕 スクに最も適したものについて検証する。

## 3 実験

マルチタスク学習を行なった際の各タスクにおけ る精度を求める. さらに，タスクの組み合わせを変更した際の違いを分析する。また，言語モデルにお ける差異に関しても検証する。

## 3.1 使用データ

本研究では，DVDデータセットを対象データセッ トとして使用し，日本語話し言葉コーパスをマルチ タスク学習の補助データセットとして使用してい る. 二つのデータセットからはそれぞれ三つずつの 時間に関連する分類タスクを採用している．DVD データセットと日本語話し言葉コーパスはどちらも 書き言葉ではないという点で，似ているデータセッ トとして本研究で採用した.

DVD データセットDD データセットは，DVD の音声データの書き起こし文に対して時間に関す るラベルを付与したデータセットである．DVD は 海外の映画やドラマの日本語吹替版や日本のアニ メなどを使用している. タスクは，時制と時間幅と 時間順序の三つの分類タスクを使用した. 例文を表 1 に示す。それぞれのタスクの分布を付録の表 6 に 示す.

日本語話し言葉コーパス 日本語話し言葉コーパ スは，本人の体験談を語っている様子を録音した データの書き起こし文に対して時間に関するラベル を付与したデータセットである.表 3 実験に使用したテキストエンコーダの概要

表 4 学習の際のハイパーパラメータ

batch size learning rate \# epochs

$16 \quad 1$ e-5 10

タスクは，時制と時間幅と事実性の三つの分類夕 スクを使用している。例文を表 2 に示す。それぞれ のタスクの分布を付録の表 6 に示す.

## 3.2 テキストエンコーダ

我々は，四つの事前学習済み日本語対応言語モ デルのテキストエンコーダを用いて実験を行なっ た. 日本語 BERT モデル cl-tohoku/bert-base-japanese (BERT ${ }_{\text {BASE }}$ ), 日本語 ALBERT モデル ALINEAR/albertjapanese-v2 (ALBERT ${ }_{\text {BASE }}$ ), 日本語 RoBERTa モデル megagonlabs/roberta-long-japanese (RoBERTa ${ }_{B A S E}$ ), 多言語 RoBERTa モデル xlm-roberta-base (XLM-R BASE ), xlm-roberta-large (XLM-R LARGE ) を使用した。これら は全て Hugging Face で公開されている ${ }^{1)}$.

BERT $_{\text {BASE }}$ 2.6GB の日本語 Wikipedia コーパスを 用いて訓練された BERT モデルである．事前学習に は Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) が採用されている [1].

ALBERT $_{\text {BASE }}$ BERT よりもパラメータが大幅に 削減されて軽量化されているが，事前学習で NSP の 代わりに Sentence Order Prediction (SOP) を用いるこ とで性能を上げている [6].

RoBERTa $_{\text {BASE }}$ Common Crawl 多言語コーパスか ら抽出された日本語テキストの約 $200 \mathrm{M}$ 文を用いて 訓練された RoBERTa モデルである．BERT の事前学習を見直してNSPを排除し，訓練データのサイズを 大幅に大きくすることで性能を上げている [7].

を含む 100 言語を 2.5TB の Common Crawl 多言語 コーパスで事前学習されている [8].

やしたモデルである.

表 5 マルチタスク学習による実験結果

} & \multirow{3}{*}{ Model } & \multicolumn{4}{|c|}{ 話了葉時制 } & \multicolumn{4}{|c|}{ 時間幅 } & \multirow{2}{*}{\multicolumn{2}{|c|}{}} & \multirow{2}{*}{\multicolumn{2}{|c|}{}} \\

## 3.3 実験設定

本研究では，Multi-Task Deep Neural Networks (MTDNN)[9] を用いてマルチタスク学習を実行し，複数の時間関連タスクに対するモデルの性能を評価 した. MT-DNN はマルチタスク学習フレームワー クであり，BERT などの言語モデルのテキストエン コーディング層をすべてのタスクで共有して組み 込むことができ，上位層はタスクに特化したものと なっている，我々は，事前学習済みの言語モデルを 用いて共有する層を初期化し, マルチタスク学習 によって複数の時間関連タスクで改良した。 ハイ パーパラメータの設定は表 4 に示す. Optimizer に は Adam [10] を使用し，評価指標としては Accuracy (ACC) と F1 スコアを採用した. F1 スコアは適合率
と再現率の調和平均である.

## 3.4 実験結果

マルチタスク学習をした実験結果を，表 5 に示 す. Model の列は，マルチタスク学習で使用したタ スクを記している。 STDは standard fine-tuning，ALL は六つの全てのタスクでマルチタスク学習を行なっ た結果である。今回は精度が大きく上がった組み合 わせを中心に記載し，他の組み合わせの結果を省 く．結果は全て 5 分割交差検証をした値である.

結果として，マルチタスク学習を行なった方が STD に比べて精度が上がる場合が多かった. 特に 時間幅や時間順序のタスクに関してはXLM-R LARGE において STD と比較して $15 \%$ 程度 F1 スコアの 值を上げている。また， ALBERT ${ }_{\text {BASE }}$ に関しては，

デルであるにもかかわらず、時間順序のタスクなど で精度を上回ることができた. RoBERTaBASE よりも XLM-R BASE の方が少し精度を上回ることも確認で きた.

## 4 解析

マルチタスク学習を行なう前と行なった後のモ デルの最終層の隠れ状態を低次元空間に可視化し て解析を行なった． BERT BASE では [CLS]トークン，

視化には UMAP ${ }^{2}$ )を使用した. 本実験で一番よい精

用いて，DVD データセットの三つの全てのタスク と日本語話し言葉コーパスの時間幅タスクでマルチ

と BERT $_{\text {BASE }}$ のマルチタスク学習前が比較できるよ う可視化をした. 時間順序のタスクにおける可視化 の結果を図 1 に示す.

XLM-R RARGE のマルチタスク学習後のモデルはば らつきが少なくなっていて，時間的特徵に基づくイ ベントのクラスタリングをより良く行うことができ ることがわかる. さらに BERT ${ }_{\mathrm{BASE}}$ のマルチタスク 学習前のモデルと比べるとその違いが顕著に確認で きる.

## 5 考察

時間的常識に関するタスクにおいて，マルチタス ク学習は通常のファインチューニングよりも効果 があることが確認できた。また，単純に様々なタス クを増やすよりもタスクを組み合わせた方が効果 が高かったため, 補助タスクの組み合わせが重要だ と考えられる. 結果から, 違うデータセットの同じ タスクを増やすことでそのタスクの精度を上げら れることが確認できた。しかし，それが最も精度を 上げる組み合わせではないため，他にも要因があ ると考えられる。また，時制のタスクに関しては $\mathrm{BERT}_{\mathrm{BASE}}$ 以外のテキストエンコーダを使用した際 の効果が薄く, マルチタスク学習に適したタスクで はない，または他の種類のタスクを使用した実験が 必要だと考えられる. テキストエンコーダに関し ては，XLM-R RARGE が一番精度を上げる結果となっ

のサイズが大きいだけでなく，多言語モデルである

$\mathrm{A}<\mathrm{B}: \mathrm{A}$ が Bより前

図 1 時間順序タスクにおける最終層の隠れ状態の可視化. BERT $_{\mathrm{BASE}}$ (上) と XLM-R $\mathrm{R}_{\text {LARGE }}$ のマルチタスク学習前 (中央) と後 (下)

ことも精度を上げる要因になると考えられる。

## 6 おわりに

本研究では，自然言語で表現されたイベントの時間的常識を理解するタスクにおいて，マルチタスク 学習を行なうことの効果を検証した. 実験の結果, タスクの組み合わせや使用するテキストエンコーダ によって精度の向上が確認された。今後はマルチタ スク学習の補助データセットの種類を増やし，さら に効果的な組み合わせの傾向などを検証していきた いと考えている。

2) https://umap-learn.readthedocs.io/en/latest/

## 謝辞

本研究は，科研費（18H05521，20H05054）の支援

を受けた。ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACLHLT2019, pp. 4171-4186, June 2019.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal Common Sense Acquisition with Minimal Supervision. In Proc. of the Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[4] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[5] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019 .

[9] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learn- ing Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

表 6 データセットの分布

 &  & 1,942 \\

データセットの各タスクにおける分布情報を表 6 に示す.

DVD データセットの時間幅の TIME は $\{1$ 秒以上 1 分未満, 1 分以上 1 時間未満, 1 時間以上 1 日未満 $\}$,

\{わからない\}のように，ラベルをまとめたものである.
 船史 日佳里 ${ }^{1}$ Lis Kanashiro Pereira $^{1} \quad$ 木村 麻友子 ${ }^{1} \quad$ 浅原 正幸 ${ }^{2}$ Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$ 1 お茶の水女子大学 2 国立国語研究所 3 京都大学 \{g1820534,g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp \{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp  