# 複数動画に対する抽象的キャプション生成 のための基本モデルの検討

高橋力斗 清丸 寛一 Chu Chenhui 黒橋禎夫
京都大学情報学研究科
\{r-takahashi, kiyomaru, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

複数動画に対する抽象的キャプション生成は，複数動画に共通する内容を自然言語で説明するVision and Language タスクである. 本研究では複数動画に対する抽象的キャプション生成を行うための基本モデルとして, End-to-End モデル及び Cascade モデルを検討する. モデル構造の比較実験の結果, End-to-End モデルが複数の評価指標で Cascade モデルを凌駕していることを示す. 加えて，モデルに対する複数動画の入力手法がモデルに与える影響を報告する.

## 1 はじめに

動画キャプション生成の研究は単一動画の具体的説明に焦点が当てられてきた $[1,2]$. 一般的な動画キャプション生成のタスク設定では，モデルは動画内で起こっているイベントを単文で説明する [3].動画キャプション生成には動画と自然言語の深い理解が求められ, Vision and Language 領域における主要なタスクとして盛んに研究されている。

一方，動画理解で重要なもう一つの側面に抽象的動画理解がある. 図 1 に例を示す. われわれは左右の動画をそれぞれ大人たちが鏡の前で踊っている動画，小学生の女の子たちが体育館で踊っている動画と認識できる。しかしそれと同時に，二つの動画はいずれも人々がジムで踊っている動画であると抽象的に理解することも可能である. このような抽象的動画理解は，複数動画に共通する内容を見つけ，動画間の関係性を理解する上で重要な役割を果たす。

抽象的な動画理解に焦点を当てたタスクとして， われわれは複数動画に対する抽象的キャプション生成を提案し、データセット（本論文では AbstrActs と称する）を構築した [4]. このタスクは，与えられた複数の動画に共通する情報をできる限り多く説明す
A group of people is dancing in a gym.

図 1 複数動画に対する抽象的キャプション生成の例. 入力された複数の動画に共通する内容を説明する。

るタスクである。このタスクでは，各動画の内容を詳細に理解する能力に加えて，動画間に共通する内容を見つけるための抽象化能力が求められる。

本論文では，複数動画に対する抽象的キャプション生成を解くための種々のモデルを検討し, AbstrActs を用いてそれらの性能を評価する。具体的には，複数の動画特徴量を結合してモデルに入力する方法と，モデル全体の構造（End-to-End 及び Cascade）について検討・評価を行う．実験結果は，異なる時間における動画内容の類似度を考慮した入力手法（Soft Alignment）及び End-to-End モデルの有効性を示す。

## 2 関連研究

複数動画に対する抽象的キャプション生成は複数動画から抽象的キャプションを生成するタスクである [4]. 入力は $n$ 件の動画が含まれる動画グループ $G$ である. 出力は抽象的キャプション $y$ である. 抽象的キャプション $y$ に求められるのは，動画グルー プ $G$ 内の動画に共通する内容を可能な限り多く説明することである．タスクの最終目標は訓練データを学習した複数動画に対する抽象的キャプション生成を行うモデル $p_{\theta}(y \mid G)$ を得ることである. $\theta$ はモデルのパラメータ集合である.

動画キャプション生成では，与えられた単一動画

図 2 AbstrActs データセットの一例.

表 1 AbstrActs の動画及びキャプションの統計. キャプション数は人手キャプションとシードキャプションの数の合計を表す. 動画数は各動画グループに含まれる動画数の合計を表す. 平均含有動画数は動画グループに含まれる平均的な動画数を表す.

に対してキャプションを生成するモデルを学習する. 動画キャプション生成モデルは，まずはじめに事前学習済みの動画特徴量抽出器を用いて動画特徵量を得る。一般に，動画特徴量抽出器には CNN ベースのモデル $[5,6,7]$ あるいは Transformer ベースのモデル $[8,9,10]$ が用いられる. 動画特徴量からキャプションを生成するモデルとしては，多くの先行研究が LSTM ベースのモデルを採用しているが，最近は Transformer ベースのモデルを採用する研究が増加している [11,12].

既存の動画キャプション生成の研究の大部分は,単一動画の内容を詳細に理解して正確なキャプションを生成することに焦点が当てられてきた. 本研究で注目するのは抽象的な動画理解であり，既存のキャプション研究とは焦点が異なる.

## 3 AbstrActs データセット

AbstrActs は複数動画に対する抽象的キャプション生成のために構築されたデータセットである [4]. AbstrActs は VATEX [13] を元データとしている. 図 2 に AbstrActs の例を示す. データは動画グループ, 2 種類の抽象的キャプション (人手キャプションとシードキャプション)，TER スコアで構成される。本研究では人手キャプションを複数動画に対する抽象的キャプション生成の正解キャプションに用いる.

表 1 に AbstrActs の動画及びキャプションの統

(a) Concat

(b) Soft Alignment

図 3 二つの動画特徵量を結合する方法.

計を示す.データの分割はVATEX の分割に対応している. 動画グループには平均 3 件以上の動画が含まれる. AbstrActs に含まれる動画には, Kinetics-600 [14,15] に記載の 600 種類の人間の動作が含まれる。

## 4 基本モデルの検討

本研究では提案タスクを解くモデルとして Transformer ベースのモデルを考える. モデルに対するどのような改善が複数動画に対する抽象的キャプション生成に効果的かを確かめるために，複数の動画特徴量の入力手法及びモデル構造について検討する。

## 4.1 複数の動画特徴量の結合方法

Transformer ベースのモデルは一つの特徴量系列を入力として受け取る. 動画特徵量は時間的な特徴量系列で表され，各時間ステップが動画の数フレームに対応している．複数の動画をモデルに入力するには，何らかの手法で複数の動画特徴量を処理して一つの特徵量にする必要がある.

本研究では複数の動画特徵量を入力する手法として, Concat と Soft Alignment の二つを考える. Concat は複数の動画特徴量を各時間ステップごとに結合する。図 3(a) に概要を示す.この手法は動画間の異なるフレーム同士の内容の違いを考慮していない。

Soft Alignment では，複数の動画特徴量のうち一つに着目し，その動画特徴量に似ている部分を他の動画特徵量から集めて結合する。この手法は注意機構 [16] に着想を得ている. 図 3(b) に概要を示

(a) End-to-End モデル

(b) Cascade モデル

図 4 複数動画に対する抽象的キャプション生成を解く二つのモデル. End-to-End モデルは複数の動画から抽象的キャプションを直接生成する. Cascade モデルでは，まず単一動画キャプション生成モジュールが各動画のキャプションを生成し，その後得られた複数のキャプションを複数文抽象化モジュールに入力して抽象的キャプションを生成する.

す。動画特徴量系列同士で時間ごとに類似度を計算し，その類似度で動画特徴量を重み付けして結合する. $n$ 件の動画特徴量系列 $V_{1}, V_{2}, \ldots, V_{n}$ に対して Soft Alignment を適用することで，一つの特徴量系列 $V_{\text {align }}=\operatorname{concat}\left(V_{1}, V_{2}^{\prime}, \ldots, V_{n}^{\prime}\right)$ を得る.ただし， $V_{i}^{\prime}=W_{i} \cdot V_{i}$ である.

ここで $W_{i}$ は二つの動画特徴量系列 $V_{1}, V_{i}$ に対応する類似度行列である。また， $V_{1} \in \mathbb{R}^{T_{1} \cdot M}$ かつ $V_{i} \in \mathbb{R}^{T_{i} \cdot M}$ である. $T_{1}, T_{i}$ はそれぞれ $V_{1}, V_{i}$ の系列長を表す。 $M$ は各時間の特徴量の次元である。このとき， $W_{i} \in \mathbb{R}^{T_{1} \cdot T_{i}}$ である. 二つの動画の各時間同士に対応する類似度は次の式で計算される：

$
W_{i}\left(t_{1}, t_{i}\right)=\frac{V_{1}\left(t_{1}\right) \cdot V_{i}^{\mathrm{T}}\left(t_{i}\right)}{\left|V_{1}\left(t_{1}\right)\right|\left|V_{i}\left(t_{i}\right)\right|}
$

時間 $t$ における特徵量 $V_{\text {align }}(t)$ は，特徵量 $V_{1}(t)$ に類似する特徴量を特徴量系列 $V_{i}$ から集め，類似度で重み付けして結合したものである．特徴量系列 $V_{\text {align }}$ の系列長 $l$ は特徴量系列 $V_{1}$ の系列長に等しい.

## 4.2 モデル構造

## 4.2.1 End-to-End モデル

End-to-End モデルは入力された動画グループから直接抽象的キャプションを生成するよう学習するモデルである。図 4(a) に End-to-End モデルの概要を示す。まず学習済みの動画特徵量抽出器を用いて，入力された $n$ 件の動画の特徴量を得る. 次に，4.1 節で説明した Concat あるいは Soft Alignment を用いて，一つの特徴量系列 $V_{\text {multi }}$ を得る. 結合された特徴量系列 $V_{\text {multi }}$ は Transformer ベー スのエンコーダモデルに入力され, 特徵量の系列 $\mathbf{z}=f_{\text {enc }}\left(V_{\text {multi }}\right)=\left(z_{1}, z_{2}, \ldots, z_{l}\right)$ を得る. $l$ は結合された特徴量系列 $V_{\text {multi }}$ の系列長である.

最後に，Transformer ベースのデコーダモデルで抽象的キャプション $y$ を得る. デコードのステップ $t$ における生成単語 $y_{t}=f_{\mathrm{dec}}(\mathbf{y}, \mathbf{z})$ は，過去のステップ
で生成された単語列 $\mathbf{y}=\left(y_{1}, y_{2}, \ldots, y_{t-1}\right)$ と特徵量系列 $\mathbf{z}$ から生成される.

## 4.2.2 Cascade モデル

Cascade モデルは単一動画キャプション生成モジュールと複数文抽象化モジュールを組み合わせたモデルである．図 4(b) に Cascade モデルの概要を示す.はじめに，単一動画キャプション生成モジュー ルでは，Transformer モデルを用いて各動画に対応するキャプションを生成する，得られたキャプションは，学習済み単語埋め込みモデルによって単語埋め込みの系列に変換される。これらのキャプション特徵量系列は，4.1 節で説明した大力手法を適用することで，一つの特徴量系列に変換される. 最後に，特徴量系列を Transformer モデルに入力し, 抽象的キャプションを得る.

## 4.2.3 Cascade (Gold) モデル

Cascade (Gold) モデルは, Cascade モデルの単一動画キャプション生成モジュールが十分高い性能を持っている状態を想定したモデルである．このモデルでは単一動画キャプション生成モジュールを使用せず，代わりに各動画の正解キャプションを複数文抽象化モジュールに入力することで抽象的キャプションを生成する．正解キャプションは動画の内容を十分に説明しているはずであるため，正解キャプションは完璧な性能を持つ単一動画キャプション生成モジュールが生成するキャプションとみなせる.

## 5 モデルの評価実験

本節では 4 節で説明したモデルを用いて複数動画に対する抽象的キャプション生成の実験を行う．

## 5.1 実験設定

データセットには AbstrActs 及び VATEX [13] を用いた. AbstrActs の動画グループには最大 6 件の動画が含まれているが，実験設定の簡略化のた
表 2 複数の動画特徴量の結合方法に関する End-to-End モデルの性能比較.

表 3 異なるモデル構造に関する性能比較. 特徵量の入力手法には Soft Alignment を用いた。

めにモデルに入力する動画数を 2 件に固定した. VATEX データセットは Cascade モデルの訓練及び Cascade (Gold) モデルの推論に用いた. End-to-End モデルに入力する動画特徴量の抽出には CLIP4Clip を用いた. Cascade モデルに入力するキャプション特徵量の抽出には, fastText [17] が提供する学習済み CBOW モデルを用いた. 推論結果の評価には，動画キャプション生成タスクで広く用いられている自動評価指標である BLEU-4 [18], CIDEr [19], METEOR [20], ROUGE-L [21]を用いた.

## 5.2 複数の動画特徵量の結合方法の比較

4.1 節で説明した複数の動画特徴量の結合方法である Concat 及び Soft Alignment の二つを比較した. この実験では，4.2.1 節で述べた End-to-End モデルを使用した. 複数の動画特徴量を結合する 2 種類の手法の性能を比較した. 実験結果を表 2 に示す. Soft Alingment がいずれの評価指標においても Concat を上回った. Soft Alignment は, 動画同士の異なる時間における特徵量の類似度を考慮しているという点で, Concat と異なる.この違いが複数動画の共通内容を発見することに役立っていると考えられる.

## 5.3 モデル構造の比較

モデル構造に関する性能を比較した. 図 3 に結果を示す. 実験の結果, End-to-End モデルが Cascade モデルを凌駕していることが分かった. End-to-End モデルは全ての評価指標において Cascade モデルと Cascade (Gold) モデルの両方を上回った.

End-to-End モデルで高い性能が確認された理由の一つに, Cascade モデルで起こりうる誤り伝播問題が存在しないことがある．著者が人手で 50 件の推論結果を分析したところ，50 件中 7 件で，単一動画キャプション生成モジュールの生成キャプションに誤りがあることで Cascade モデルが抽象的キャプ

人手キャプション: a baby is playing xylophone End-to-End: $\quad$ a kid is playing musical instrument Cascade: Cascade (Gold): a kid is playing a musical instrument

図 5 異なる構造を持つ各モデルによる推論結果の例. 青色または赤色で強調されている単語は，それぞれ望ましい生成または望ましくない生成であることを表す.

and playing with a toy xylophone

and playing with a xylophone a person is playing a musical instrument

図 6 Cascade モデルで観測された，問題のあるキャプション生成の例.

ションの生成に失敗していることを確認した。図 5 に例を示す.この例では, End-to-End モデルは二つの動画に映る子供を具体的に説明できている一方， Cascade モデルは子供を “person” と説明した. 図 6 に同じ例における Cascade モデルの中間出力である各動画に対するキャプションを示す. 単一動画キャプション生成モジュールは図中右側の動画に映っている子供を “man” という抽象的な単語で説明した.抽象的キャプションには "child” や “kid" などの単語が含まれることが望ましいが，単一動画キャプション生成モジュールの誤りが複数文抽象化モジュールに伝播して，過度に抽象的な単語である “person”が生成された. End-to-End モデルが “kid”という望ましい単語を生成したのは，動画特徴量を直接使うために誤り伝播が起こらないからである。

## 6 おわりに

本研究では複数動画に対する抽象的キャプション生成タスクにおいて, 基本的なモデルの検討を行った. また，モデルの抽象的キャプション生成の性能向上に効果的な要素を調べるために, AbstrActs デー タセットを用いて評価実験を行った. 本研究で述べた実験結果及び考察により，今後の複数動画に対する抽象的キャプション生成に関する研究が促進されることを期待する.

## 謝辞

本研究はサムスン SDS 株式会社の助成を受けたものである.

## 参考文献

[1] Sheng Li, Zhiqiang Tao, Kang Li, and Yun Fu. Visual to text: Survey of image and video captioning. IEEE Transactions on Emerging Topics in Computational Intelligence, Vol. 3, No. 4, pp. 297-312, 2019.

[2] Nayyer Aafaq, Ajmal Mian, Wei Liu, Syed Zulqarnain Gilani, and Mubarak Shah. Video description: A survey of methods, datasets, and evaluation metrics. ACM Computing Surveys (CSUR), Vol. 52, No. 6, pp. 1-37, 2019.

[3] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. arXiv preprint arXiv:1412.4729, 2014.

[4] 高橋力斗, Chu Chenhui, 黒橋禎夫. 複数映像の抽象化を要するキャプション生成. 言語処理学会第 28 回年次大会, pp. 1181-1186, 浜松, 2022.3.14.

[5] Du Tran, Lubomir Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. Learning spatiotemporal features with $3 \mathrm{~d}$ convolutional networks. In Proceedings of the IEEE international conference on computer vision, pp. 4489-4497, 2015.

[6] Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6299-6308, 2017.

[7] Saining Xie, Chen Sun, Jonathan Huang, Zhuowen Tu, and Kevin Murphy. Rethinking spatiotemporal feature learning: Speed-accuracy trade-offs in video classification. In Proceedings of the European conference on computer vision (ECCV), pp. 305-321, 2018.

[8] Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, and Cordelia Schmid. Vivit: A video vision transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 68366846, 2021.

[9] Huaishao Luo, Lei Ji, Ming Zhong, Yang Chen, Wen Lei, Nan Duan, and Tianrui Li. Clip4clip: An empirical study of clip for end to end video clip retrieval. arXiv preprint arXiv:2104.08860, 2021.

[10] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin, and Han Hu. Video swin transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3202-3211, 2022.

[11] Bairui Wang, Lin Ma, Wei Zhang, and Wei Liu. Reconstruction network for video captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7622-7631, 2018.

[12] Luowei Zhou, Yingbo Zhou, Jason J Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 8739-8748, 2018.

[13] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 45814591, 2019.

[14] Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

[15] Joao Carreira, Eric Noland, Andras Banki-Horvath, Chloe Hillier, and Andrew Zisserman. A short note about kinetics-600. arXiv preprint arXiv:1808.01340, 2018.

[16] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[17] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, Vol. 5, pp. 135-146, 2017.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[20] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[21] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.


# 大規模言語モデルによって構築された常識知識グラフの 拡大と低コストフィルタリング

村田栄樹 1 井手竜也 ${ }^{1}$ 榮田亮真 1 河原大輔 1
山崎天 $^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
 }^{1}$ 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社

\{eiki.murata.1650-2951@toki., t-ide@toki.,s.ryoma6317@akane.,dkw@\}waseda.jp

\{takato.yamazaki, shengzhe.li, kenta.shinzato, toshinori . sato\}@linecorp.com
## 概要

計算機の常識を補うために常識知識グラフが構築されてきたが, 収集コストの観点から規模や言語が限られる. 本研究では, 大規模言語モデルによる常識推論にフィルタモデルを適用することで, 高精度な常識知識グラフの低コストかつ大規模な構築を目指す. まず日本語常識知識グラフにおいて, 生成に関するファクタを分析する。さらに，常識知識グラフの低コストなフィルタリング手法を提案する.フィルタリングしたグラフを人手評価した結果，提案手法の有効性が示された. 構築されたグラフで fine-tuning した中規模言語モデルの常識生成に, フィルタリングが与える影響についても検証する。

## 1 はじめに

計算機による言語理解を実現するためには, 人間がもっているような常識が必要である $[1,2]$. そこで, 常識を知識グラフ化する試みがなされてきた. 構築されたグラフは, 常識知識グラフ (CommonSense Knowledge Graph, CSKG) と呼ばれ, その構築は人手によるもの $[3,4,5]$ のみならず, GPT-3 などの大規模言語モデル (Large Language Model, LLM) によって行われることもある [6,7]. また, CSKG で言語モデルを fine-tuning した常識モデルは, LLM よりも高い精度で常識を生成することができる $[6,8]$.

LLM によって CSKG を構築する場合, 計算機による生成であるため規模を大きくすることができる代わりに, 人手による構築と比較して精度は下がる. そこで, LLM によって構築された CSKG に対して分類モデルによるフィルタリングを行うことで, 規模と精度の双方を高い水準に保つ手法が提案された [6].

しかし,この分類モデルの訓練データは, 生成され

図 1 提案手法の概観.

た CSKG の一部に対して人手アノテーションで作成されるためコストが高い. 一方で, 常識とされる知識は言語や文化圏によって異なることがあり, 単なる翻訳ではなく言語ごとに構築されることが望ましい. 各言語で CSKG を個別に構築する場合, 低コストなフィルタモデルを作成することに需要がある.

本論文では, 大規模で高精度な CSKG を低コストで構築することを目的とする. まず日本語 CSKG [7] の拡大のための分析を行い, さらなる拡大が可能であることを示す. 大規模になるに従って適切ではない推論の絶対数も増えると考えられる. そこで, 人手アノテーションを用いないCSKG のフィルタリングの手法を提案する. 既存手法と比較して低コストでありながら有効なフィルタを構築した. また, 構築したCSKGをもとに常識モデルの検証も行う．

## 2 関連研究

英語における既存の CSKG として, 概念べースの ConceptNet [3] やイベントベースの ATOMIC [4], それらを統合・拡張した $\mathrm{ATOMIC}_{20}^{20}[5]$ がある.これらはすべてクラウドソーシングを用いて構築されている.いずれも 3 つ組で表現され, 例えば ATOMIC は(イベント,推論の関係, 推論されたイベントやメンタルステート)を要素としている. また, GPT-2 など比較的小さいモデルをこれらの CSKGをもとに fine-tuning することで常識を蓄え, 常識推論をする Transformer [9] として COMET [8] が提案されている. LLM を用いて CSKGを拡張し，それをもとに
表 1 小規模グラフのサイズを変更したときの生成された大規模グラフのサイズの変化. 1 列目はクラウドソーシングによって収集されたへッドとなるイベント. 2 列目以降は HyperCLOVA により生成されたイベントや推論.

COMETを訓練する研究もある. West ら [6] は ATOMIC $_{20}^{20}$ を自動拡張した ATOMIC ${ }^{10 x}$ を構築し, 常識モデルとして GPT-2 [10] ベースの $\mathrm{COMET}_{\mathrm{TIL}}^{\mathrm{DIS}}$ を訓練した. CSKG の自動拡張には, GPT-3 [11] などに少数の例をショットとして与えてタスクを生成させる few-shot learning の手法が用いられる. さらに，生成された推論をフィルタリングするためにエンコーダモデルをフィルタとして fine-tuning する. 訓練したフィルタを拡張された CSKG に用いることで, COMET TIL は教師である GPT-3 より高精度で常識を生成できる. フィルタの訓練データは LLM により生成された CSKGに含まれる 10,000 個の 3 つ組を人手でアノテーションしている.

日本語における CSKG の構築例もあり [7], 以下の 4 種類の関係からなる CSKG を構築している. また, イベント“Xが顔を洗う”に対するそれぞれの推論の例も添える。

・xNeed あるイベントの前に人物 X がすること. (例: “X が水道で水を出す”)

・xEffect あるイベントの後に人物 X がすること. (例: “Xがタオルを準備する”)

・xIntent あるイベントの前に人物 X が思うこと. (例: “スッキリしたい”)

・xReactあるイベントの後に人物 X が思うこと． (例: “さっぱりした”)

前半の 2 つはイベント対イベントの常識で, 残りの 2 つはイベント対メンタルステートの常識である.クラウドソーシングを用いて小規模にイベントやそれに対する常識推論を収集し, それらをショットとして LLM で CSKG の大規模化を行っている. 日本語の LLM として, HyperCLOVA [12] が使用された. ただし, 英語での研究 [6] のような LLM による拡大後のグラフに対するフィルタリングは行っていない.

## 3 CSKG の拡大に向けた分析

本節では, 日本語での先行研究 [7] で構築された CSKG に対して追加実験を行い, 日本語 CSKG の分析とさらなる拡大を行う. 大規模グラフを生成する際のパラメータを変更し, HyperCLOVA のもつ知識

図 2 イベントあたりの推論生成数と生成されたユニークな推論数の関係.

がどの程度 CSKG に移行されるかを検証する. 検証するパラメータは,クラウドソーシングで構築された小規模グラフのサイズと,グラフを拡大する際のイベントあたりの推論の生成回数である. 実験には, HyperCLOVA JP 39B モデルを使用する.

小規模グラフのサイズ HyperCLOVA の生成のショットとして利用する,クラウドソーシングによって構築される小規模グラフのサイズを変更し，生成される推論数を比較する. まず, 小規模グラフのイベントをショットに 10,000 回イベントを生成する. さらに, 小規模グラフからランダムに選んだ 3 つ組をショットとして, 生成されたイベントに対する推論を得る (図 1). ショット数および 1 イベントあたりの生成回数をそれぞれ 10 回ずつに固定し,小規模グラフのイベント数を $\{100,257,392\}$ と変更した場合に生成されたユニークな推論数を比較する.

表 1 に示すように小規模グラフのイベント数が 100 のときは生成されたイベントやユニークな推論数は相対的に小さいが, 257 と 392 のときはおよそ同じ生成数となった.これは, HyperCLOVA の知識を CSKG に引き出すためのショットの多様性として，小規模グラフのイベント数は 250 から 300 程度で十分であることを示している.

HyperCLOVA による生成回数先行研究 [7] ではイベントあたりの推論生成回数は 10 で固定していた.これを増やすことで, HyperCLOVA のもつ常識推論の知識を CSKG により引き出すことができると考え,イベントあたりの生成回数を $\{5,10,50,100\}$ と変化させ生成されるユニークな推論数を比較する。 このとき,ショットに用いる小規模グラフやショッ卜数は固定する. 図 2 に示すように, イベントあたりの生成数に対して生成されたユニークな推論数は単調に増加した. 生成回数を増やすことで, 多様な推論を行うことができることがわかる.

まとめると,一定以上のショットの多様性があれば HyperCLOVA は多様な常識推論をする能力をも

ち, 推論の生成数を増やすことで CSKG のさらなる拡大が実現できる.イベントあたりの推論生成数を 10 から 100 に増やすことでユニークな推論数の合計はおよそ 4 万件から 20 万件に増加した。

## 4 低コストフィルタリング

ATOMIC ${ }^{10 x}$ など $[6,7]$ では,クラウドソーシングなど人手によって構築された小規模な CSKGをもとに GPT-3 や HyperCLOVA [12] などの LLM を用いて大規模な CSKG を得た. 言語モデルにより生成されるため, 大規模 CSKG の推論には適切ではない推論も含まれる. 3 節で, 生成回数の増加によってさらなる拡大が可能であることがわかったが, 適切ではない推論の割合は同じでもその絶対数は増加する.これまでの CSKG のフィルタモデルは, 人手アノテーションにより訓練データを得ていた [6]. 常識とされるものは言語, 文化により異なるため各言語で CSKG を個別に得ることが望まれるが, 既存の方法のコストは大きい. そこで, 人手アノテーションなしで, LLM により構築される CSKG をフィルタリングする手法を提案する. また, 日本語 CSKG における実験によりその有効性を検証する。

## 4.1 提案手法

前述の小規模グラフが人手により構築されていることから, 含まれる推論は適切だと仮定する. そこで, 小規模グラフの推論をフィルタモデルの訓練データ (正例) として扱うことで低コストでのフィルタモデルの訓練を試みる. ただし, 分類モデルの訓練には負例も必要であるため, 同じ小規模グラフ内から擬似的に負例を採用する. このように小規模グラフから訓練データを獲得し, 訓練したフィルタで大規模グラフをフィルタリングすることで追加のアノテーションなしで高精度で大規模な CSKG を得る。

以下で, 3 種類の負例の採用方法を提案する. 以降 $G_{\text {small }}$ は, 与えられるイベント $h($ head), 推論のタイプを示す関係 $r$ (relation) と推論 $t$ (tail) の 3 つ組 $(h, r, t)$ を要素とする小規模グラフを表す. 表 2 に訓練デー タの採用例を示す.

負例タイプ 1 時系列の間違っている負例を擬似的に採用する. 適切な 3 つ組 $(h, r, t) \in G_{\text {small }}$ が与えられたとき, $(t, r, h)$ を考えることで適切ではない推論を得る、ヘッドとテールを入れ替える必要があるため,イベント対イベントの推論のみに用いる.

負例タイプ 2 同じ関係の 2 つの適切な 3 つ組 $\left(h_{1}, r, t_{1}\right),\left(h_{2}, r, t_{2}\right) \in G_{\text {small }},\left(h_{1} \neq h_{2}\right)$ から,$\left(h_{1}, r, t_{2}\right)$ や $\left(h_{2}, r, t_{1}\right)$ を考えることで適切ではない推論を得る. ヘッドとテールで文脈が異なるため訓練の際は易しい例となり得る。

負例タイプ 3 CSKGには, xIntent と xReact のように時系列的に逆向きの関係が存在する。 ある関係 $r$ に対して逆向きの関係を $\operatorname{inv}(r)$ と表すと, 同じへッドに対する 2 つの適切な 3 つ組 $(h, r, t),\left(h, \operatorname{inv}(r), t^{\prime}\right) \in G_{\text {small }}$ に対して, $\left(h, r, t^{\prime}\right)$ を負例として採用できる. タイプ 2 とは異なり, 同じ文脈の負例を得ることができる。

## 4.2 実験

提案手法の検証として, 3 節と同様に日本語 CSKG において実験を行う. 比較として, 先行研究と同様に人手アノテーションによるフィルタモデルも訓練し,結果を付録 A. 2 に示す.

モデルフィルタモデルは事前学習済みのエンコーダモデルを関係ごとに fine-tuning することによって構築する. 訓練はモデルに 3 つ組を入力し， その推論が適切か適切でないかの 2 值分類タスクとして行う. 事前学習済みモデルとして日本語 RoBERTa-large ${ }^{1)}$ [13] を用いる. さらに, 先行研究 [6] に倣い, 自然言語推論 (NLI) タスクで追加訓練したモデルを使用する. 日本語の NLI データセットとしては, JGLUE [14] に含まれる JNLIを利用する。

データ 4.1 節に従い, それぞれの関係について小規模グラフに含まれるすべての 3 つ組を正例とする. さらに, 正例の数と同じ数になるように負例を採用する. 負例内の比について, 負例タイプ 2 はやや簡単であると考えたため 2:1:2 とする。

テストデータとして大規模グラフからランダムに抽出し, 人手でラベルを付与した 495 件の 3 つ組を用いる. ラベル付与には Yahoo!クラウドソーシング2)を用い, 3 人のクラウドワーカによる多数決により推論が適切か否かを付与した。

結果訓練したフィルタモデルを用いて,テストデータに対して予測を行う. クラウドソーシングで適切と判断された推論 (1) とそうではない推論 (2) ごとに, 各推論についてモデルが適切と予測した確率の平均を表 3 に示す. すべての関係において, (1) の推論に対する予測確率の方が平均して高くなっていることが確認できる. さらに, 閾値を設けてモデル

表 2 小規模グラフから採用する訓練データの例. 各例は $(h, r, t)$ を表す.

 & (X が顔を洗う, xNeed, X が PC を起動する) \\

表 3 クラウドソーシングによって適切だとされた推論とそうでない推論に対して提案手法によるフィルタが適切と予測した確率の平均と標準偏差. 最右列はその差.

(a) $x$ Need

(c) xIntent

(b) $x$ Effect

(d) $x$ React図 3 フィルタモデルによる確率の閾値ごとの通過した推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折れ線).

による予測確率が閾値以上となる推論のみを採用することでフィルタリングを行う. 図 3 にテストデー タに対して閾値ごとのフィルタを通過した推論数とその中の適切な推論の割合を示す.より高い閾値のフィルタをかけることで適切な推論の割合が高くなる傾向を確認できる. よって, 訓練したモデルがフィルタとしての役割をしているといえる。

3 節のようにさらに拡大したグラフに対して,これらのフィルタを適用することで大規模かつ高精度な CSKG を得ることができる。

## 5 常識モデルの分析

LLM から GPT-2 などの中規模言語モデルへの常識の移行を, 3 節で分析した CSKG の特性と 4 節で構築したフィルタの有無に着目して分析する.表 4 フィルタリングの強度 $s$ と大規模グラフのイベントあたりの推論生成数 $n$ による常識モデルの精度の変化.

訓練日本語 GPT-2-small ${ }^{3}$ を CSKG で fine-tuning することで常識モデルを作成する。訓練デー タとして, HyperCLOVA によるイベントあたりの推論生成数 $n \in\{10,100\}$ とフィルタの強度 $s \in\{0.2,0.5,0.8,1.0\}$ によって 8 種類の CSKG を検証する.フィルタは提案手法によるもので行い, CSKG のサイズが元の $s$ 倍になるようにモデルによる確率の低い推論を切り捨てた. $s=1.0$ の場合はフィルタを適用していないことを表す。

結果作成した常識モデルにテスト用のイベントを 150 個与え,生成された推論が適切である割合でモデルの性能を検証する. 推論の評価には Yahoo!クラウドソーシングを使用した. 表 4 に示すように， $n=10$ の場合にはフィルタの強度が 0.5 や 0.8 のときにフィルタなしのときの精度を上回った. 一方で， $n=100$ の場合はフィルタリングの強度による常識モデルの精度に差は見られなかった。

元のグラフが小さい場合は, 訓練データ全体に対する適切なものの割合と訓練データのサイズにトレードオフがあり,フィルタの強度を設定することでモデルの訓練にも良い影響を与えたと考えられる. 一方で元のグラフが大きい場合には, フィルタリングを適用しなくとも適切なデータの絶対量が十分に存在し, 差が見られなかったものと考えられる.

## 6 おわりに

本論文では, 大規模かつ高精度な CSKG を低コストに構築する手法を提案した. まず日本語 CSKG を分析し, 拡大した. さらに, 小規模グラフをもとに低コストなフィルタを訓練し，その有効性を確かめた。 また, それらに伴う常識モデルの精度も検証した。

新たな言語や知識グラフの構築の際に提案手法によって高精度化が低コストで行われることを望む。

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] 井手竜也, 村田栄樹, 堀尾海斗, 河原大輔, 山崎天, 李聖哲, 新里顕大, 佐藤敏紀. 人間と言語モデルに対するプロンプトを用いたゼロからのイベント常識知識グラフ構築. 言語処理学会第 29 回年次大会, 2023.

[8] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July
2019. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[14] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In International Conference on Language Resources and Evaluation, 2022.

## A フィルタモデル

4 節の詳細を述べる。

## A. 1 訓練の詳細

提案手法のフィルタモデルの訓練の詳細を記す。小規模グラフから採用した訓練データのサイズを表 5 に示す.

“[CLS] head [SEP] tail [SEP]" を RoBERTa に入力し, fine-tuning する. 実験は全て JNLI で追加訓練済みのモデルを利用する. JNLI は 3 值分類タスクであるため, RoBERTa のエンコーダ部分のみを利用し, 2 値の分類へッドを新たに追加して行う.

学習は 20 エポック行い, $\mathrm{F} 1$ 値が最も高いチェックポイントをモデルとして採用した. また関係ごとに, 学習率, バッチサイズとウェイトディケイについてパラメータ探索を行った.

## A. 2 人手アノテーションによるフィルタ

比較のために, 既存の手法によるフィルタも訓練する.フィルタリング対象である大規模グラフからランダムに推論を選び, 人手によって適切か否かのラベルを付与する. そのラベルをもとに RoBERTa を fine-tuning する. モデルやハイパーパラメータは提案手法によるものと同様である.

提案手法の表 3 と図 3 と同様のものを, それぞれ表 6 と図 4 に示す. 図 4 のように確率の閾値が高くなるしたがって適切な推論の割合が高くなっていることは確認できるが, 表 6 では提案手法ほどの差は見られない. 提案手法と異なり, 訓練データの正負比が偏るため予測確率も 1 に偏ったことが考えられる.

表 5 提案手法によるフィルタの訓練データ数. 関係ごとに, 正例と負例を合わせた数字を示す

表 6 クラウドソーシングによって適切だとされた推論とそうでない推論に対して, 人手アノテーションによるフィルタモデルが適切と予測した確率の平均と標準偏差. 最右列はそれらの差.

## A. 3 取り除かれた例

例として提案手法のフィルタによって適切である確率が 5\%未満とされた, CSKG の3つ組を示す.

・Xが晚御飯を作っている xNeed Xが夕食を食べる

・XがYとドライブする xEffect $X$ X゙運転免許を取得する

・XがT Vを見ながらお菓子を食べる xIntent おいしい

・Xが銀行のA TMで現金を引き出す xReact お金が欲しい

## B 常識モデル

5 節の詳細を記す。

訓練は, 3 つ組 $(h, r, t)$ を連結したものをデータとして GPT-2を fine-tuning することで行う. xNeed など関係はモデルの語彙に存在しないため, スペシャルトークンとして追加しトークナイズする. どの CSKG に対しても 3 エポックの学習を行う.

テストの際は, 3 つ組のうちへッドイベントと関係を入力し, 続きを生成させることで推論（テール） を得る. 生成時のビームサーチの本数は 5 とする.

また, 表 7 に既存手法と提案手法のフィルタの比較を示す.

(a) xNeed

(c) xIntent

(b) $x$ Effect

(d) xReact図 4 人手アノテーションフィルタモデルによる確率の間値ごとの推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折れ線).

表 7 推論生成回数 $n$ の異なる CSKG に各種フィルタを適用し, 常識モデルを訓練したときの精度の比較. 既存手法は付録 A. 2 で訓練したもの. フィルタ強度は $s=0.8$ で固定した。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語の時間的常識を理解する言語モデルの構築を目的とした マルチタスク学習における検証

船史 日佳里 ${ }^{1}$ Lis Kanashiro Pereira $^{1} \quad$ 木村 麻友子 ${ }^{1} \quad$ 浅原 正幸 ${ }^{2}$
Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1820534,g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，日本語での時間的常識の推論に対する言語モデルの開発を目的として，マルチタスク学習における検証を行った。複数の時間的常識を問うタスクを用いて，テキストエンコーダを変更して実験を行なった．実験の結果，対象タスクの組み合わせによって，時間的常識を問うタスクにおいて， $3 \% \sim 10 \%$ 程度の精度の向上を確認できた. また，使用するテキストエンコーダも大きく影響を与えることが確認できた。

## 1 はじめに

自然言語の文章を理解するうえで，イベントが意味する時間の理解は重要である. しかし，イベントの時間を意味する直接的な表現は文章内では省略されやすく，時間の理解のためには，自然言語で表現されるイベントのさまざまな時間的側面について常識的な知識を持っている必要がある。例えば，「いつの間にか眠っていて夢を見たんだ」という文章を読んで，我々は「眠る」と「夢を見る」というイベントが過去のことで，「眠る」の方が「夢を見る」よりも長い時間がかかることやこの二つのイベントが同時に起こることを理解できる. このような常識を踏まえた理解や推論をコンピュータにさせることは挑戦的な課題となっている。近年，BERT[1] などの事前学習済み言語モデルが幅広い自然言語処理タスクで大きな成果を上げているが，これらのモデルは時間推論においては未だ性能が低いと言われており [2], 汎用言語モデルを改善し時間的な常識におけるタスクの精度を上げる試みがなされている [3][4]. しかし，日本語に関する時間的な常識を捉えた研究は未だ少ない.
そこで，我々は日本語における時間的常識に基づく理解に焦点を当てて研究を進めており，本研究では時間的常識に関するタスクを用いたマルチタスク学習を行なう. 具体的には, 文章のイベントの時制・時間幅・時間順序・事実性を推定するタスクを組み合わせて学習させ，より効果的な学習方法を検討する.

## 2 提案手法

本研究では，時間的常識に関するタスクを用いたマルチタスク学習を行なって, 時間的常識のタスクに関して更に適応した言語モデルを構築し，モデルの推定精度向上を目指す。

時間的常識のタスクとして，イベントの時制・時間幅・時間順序・事実性の四つを設定する．時制の推定は，イベントが発話時と比べて過去・現在・未来のいずれであるかを推定する. 時間幅の推定は, イベントがどのくらいの時間を要するのかを推定する. 時間順序の推定は, 二つのイベントの時間的順序関係もしくは重なりについて推定する。事実性の推定は，表現が実際に起きたイベントなのか，条件節などの仮想的なイベントなのかを推定する.

マルチタスク学習は，関連する複数のタスクを同時に学習することで，モデルの汎化性能を向上させることを目的としている。関連するタスクの共通性と差異を利用することで性能を向上させることができるため，自然言語処理において普及が進んでいる [5]. 本研究では, 対象データセットのデータサイズが限られているため、学習時に補助的なデータセットを利用することによって、この問題を緩和できるマルチタスク学習が有効なアプローチであると考え，この手法を採用した.

また，複数の事前学習済み日本語言語モデルを使
表 1 DVD データセットの例

文章：悪いやつらに追われてるって話すんだ

表 2 日本語話し言葉コーパスの例文章: 一番今まで人生の中でつらかったことについてお話ししたいと思います

用して実験を行ない，日本語の時間的常識の推論夕スクに最も適したものについて検証する。

## 3 実験

マルチタスク学習を行なった際の各タスクにおける精度を求める. さらに，タスクの組み合わせを変更した際の違いを分析する。また，言語モデルにおける差異に関しても検証する。

## 3.1 使用データ

本研究では，DVDデータセットを対象データセットとして使用し，日本語話し言葉コーパスをマルチタスク学習の補助データセットとして使用している. 二つのデータセットからはそれぞれ三つずつの時間に関連する分類タスクを採用している．DVD データセットと日本語話し言葉コーパスはどちらも書き言葉ではないという点で，似ているデータセットとして本研究で採用した.

DVD データセットDD データセットは，DVD の音声データの書き起こし文に対して時間に関するラベルを付与したデータセットである．DVD は海外の映画やドラマの日本語吹替版や日本のアニメなどを使用している. タスクは，時制と時間幅と時間順序の三つの分類タスクを使用した. 例文を表 1 に示す。それぞれのタスクの分布を付録の表 6 に示す.

日本語話し言葉コーパス日本語話し言葉コーパスは，本人の体験談を語っている様子を録音したデータの書き起こし文に対して時間に関するラベルを付与したデータセットである.表 3 実験に使用したテキストエンコーダの概要

表 4 学習の際のハイパーパラメータ

batch size learning rate \# epochs

$16 \quad 1$ e-5 10

タスクは，時制と時間幅と事実性の三つの分類夕スクを使用している。例文を表 2 に示す。それぞれのタスクの分布を付録の表 6 に示す.

## 3.2 テキストエンコーダ

我々は，四つの事前学習済み日本語対応言語モデルのテキストエンコーダを用いて実験を行なった. 日本語 BERT モデル cl-tohoku/bert-base-japanese (BERT ${ }_{\text {BASE }}$ ), 日本語 ALBERT モデル ALINEAR/albertjapanese-v2 (ALBERT ${ }_{\text {BASE }}$ ), 日本語 RoBERTa モデル megagonlabs/roberta-long-japanese (RoBERTa ${ }_{B A S E}$ ), 多言語 RoBERTa モデル xlm-roberta-base (XLM-R BASE ), xlm-roberta-large (XLM-R LARGE ) を使用した。これらは全て Hugging Face で公開されている ${ }^{1)}$.

BERT $_{\text {BASE }}$ 2.6GB の日本語 Wikipedia コーパスを用いて訓練された BERT モデルである．事前学習には Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) が採用されている [1].

ALBERT $_{\text {BASE }}$ BERT よりもパラメータが大幅に削減されて軽量化されているが，事前学習で NSP の代わりに Sentence Order Prediction (SOP) を用いることで性能を上げている [6].

RoBERTa $_{\text {BASE }}$ Common Crawl 多言語コーパスから抽出された日本語テキストの約 $200 \mathrm{M}$ 文を用いて訓練された RoBERTa モデルである．BERT の事前学習を見直してNSPを排除し，訓練データのサイズを大幅に大きくすることで性能を上げている [7].

を含む 100 言語を 2.5TB の Common Crawl 多言語コーパスで事前学習されている [8].

やしたモデルである.

表 5 マルチタスク学習による実験結果

## 3.3 実験設定

本研究では，Multi-Task Deep Neural Networks (MTDNN)[9] を用いてマルチタスク学習を実行し，複数の時間関連タスクに対するモデルの性能を評価した. MT-DNN はマルチタスク学習フレームワー クであり，BERT などの言語モデルのテキストエンコーディング層をすべてのタスクで共有して組み込むことができ，上位層はタスクに特化したものとなっている，我々は，事前学習済みの言語モデルを用いて共有する層を初期化し, マルチタスク学習によって複数の時間関連タスクで改良した。 ハイパーパラメータの設定は表 4 に示す. Optimizer には Adam [10] を使用し，評価指標としては Accuracy (ACC) と F1 スコアを採用した. F1 スコアは適合率
と再現率の調和平均である.

## 3.4 実験結果

マルチタスク学習をした実験結果を，表 5 に示す. Model の列は，マルチタスク学習で使用したタスクを記している。 STDは standard fine-tuning，ALL は六つの全てのタスクでマルチタスク学習を行なった結果である。今回は精度が大きく上がった組み合わせを中心に記載し，他の組み合わせの結果を省く．結果は全て 5 分割交差検証をした値である.

結果として，マルチタスク学習を行なった方が STD に比べて精度が上がる場合が多かった. 特に時間幅や時間順序のタスクに関してはXLM-R LARGE において STD と比較して $15 \%$ 程度 F1 スコアの值を上げている。また， ALBERT ${ }_{\text {BASE }}$ に関しては，

デルであるにもかかわらず、時間順序のタスクなどで精度を上回ることができた. RoBERTaBASE よりも XLM-R BASE の方が少し精度を上回ることも確認できた.

## 4 解析

マルチタスク学習を行なう前と行なった後のモデルの最終層の隠れ状態を低次元空間に可視化して解析を行なった． BERT BASE では [CLS]トークン，

視化には UMAP ${ }^{2}$ )を使用した. 本実験で一番よい精

用いて，DVD データセットの三つの全てのタスクと日本語話し言葉コーパスの時間幅タスクでマルチ

と BERT $_{\text {BASE }}$ のマルチタスク学習前が比較できるよう可視化をした. 時間順序のタスクにおける可視化の結果を図 1 に示す.

XLM-R RARGE のマルチタスク学習後のモデルはばらつきが少なくなっていて，時間的特徵に基づくイベントのクラスタリングをより良く行うことができることがわかる. さらに BERT ${ }_{\mathrm{BASE}}$ のマルチタスク学習前のモデルと比べるとその違いが顕著に確認できる.

## 5 考察

時間的常識に関するタスクにおいて，マルチタスク学習は通常のファインチューニングよりも効果があることが確認できた。また，単純に様々なタスクを増やすよりもタスクを組み合わせた方が効果が高かったため, 補助タスクの組み合わせが重要だと考えられる. 結果から, 違うデータセットの同じタスクを増やすことでそのタスクの精度を上げられることが確認できた。しかし，それが最も精度を上げる組み合わせではないため，他にも要因があると考えられる。また，時制のタスクに関しては $\mathrm{BERT}_{\mathrm{BASE}}$ 以外のテキストエンコーダを使用した際の効果が薄く, マルチタスク学習に適したタスクではない，または他の種類のタスクを使用した実験が必要だと考えられる. テキストエンコーダに関しては，XLM-R RARGE が一番精度を上げる結果となっ

のサイズが大きいだけでなく，多言語モデルである

$\mathrm{A}<\mathrm{B}: \mathrm{A}$ が Bより前

図 1 時間順序タスクにおける最終層の隠れ状態の可視化. BERT $_{\mathrm{BASE}}$ (上) と XLM-R $\mathrm{R}_{\text {LARGE }}$ のマルチタスク学習前 (中央) と後 (下)

ことも精度を上げる要因になると考えられる。

## 6 おわりに

本研究では，自然言語で表現されたイベントの時間的常識を理解するタスクにおいて，マルチタスク学習を行なうことの効果を検証した. 実験の結果, タスクの組み合わせや使用するテキストエンコーダによって精度の向上が確認された。今後はマルチタスク学習の補助データセットの種類を増やし，さらに効果的な組み合わせの傾向などを検証していきたいと考えている。

2) https://umap-learn.readthedocs.io/en/latest/

## 謝辞

本研究は，科研費（18H05521，20H05054）の支援

を受けた。ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACLHLT2019, pp. 4171-4186, June 2019.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal Common Sense Acquisition with Minimal Supervision. In Proc. of the Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[4] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[5] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019 .

[9] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learn- ing Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

表 6 データセットの分布

 &  & 1,942 \\

データセットの各タスクにおける分布情報を表 6 に示す.

DVD データセットの時間幅の TIME は $\{1$ 秒以上 1 分未満, 1 分以上 1 時間未満, 1 時間以上 1 日未満 $\}$,

\{わからない\}のように，ラベルをまとめたものである.


# 常識的知識グラフ及び単語埋め込みを用いた 重畳型駄酒落ユーモア認識

志方脩 谷津元樹 森田武史
青山学院大学理工学部
a5819059@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp

## 概要

機械による言語的なユーモアの認識能力を向上させるため, 䭾酒落ユーモアのうち文内に潜在的な繋がりを持つ単語のぺアを含む重畳型駄酒落の検出手法を提案する. 井上ら [1] が提案した常識的知識グラフを用いる手法に加えて, 単語埋め込みを活用することにより, 重畳型駄酒落の検出性能の精度の向上が確認された. 本稿では, 定性的評価実験において確認された, 重胃型駄酒落検出の成功事例, および失敗事例における主な失敗要因について説明する。

## 1 はじめに

近年機械がユーモアを表出・理解することに対する関心が高まっており,それに接するユーザの生活の質を向上させることが報告されている. 人間のコミュニケーションは，画一的な形式によらず自由であり駄酒落やなぞかけに代表される言語的なユーモ

ことによって人間同士の会話に近い自然な対応をすることができる.

## 1.1 研究課題と目的

ユーモアはジェスチャーなどを用いる身体的なユーモアと，駄酒落やなぞかけに代表される言語的なユーモアに大きく分類される。中でも駄酒落は比較的に認識が容易であり年齢層を問わず親しみやすいものと考えられる．知識グラフや自然言語処理技術を用いて駄酒落ユーモアの検出や理解の有効性を高めるためには下記の課題が存在する。後述する滝澤の研究 [2] によれば，駄酒落には併置型駄酒落と重畳型駅酒落の 2 つの分類が存在する．以下にそれぞれの例文と構造を示す。

## (1) 猫が蒋ころんだ (併置型䭾酒落)

この例は「猫」と「寝こ」のように，音韻的に類似するぺアが文内に存在しているため, 駄酒落であると認識することができる.
(2) 鮭の卵は、いくら？(重畳型䭾酒落)

しかしこの例は併置型のように音の類似するぺアがないことから従来の手法では検出が困難である.例文 (2)では，「鮭」と「いくら」の間に何らかの潜在表現を媒介する関係があると予測される。 その場合, 外部の知識や単語埋め込みを用いることでその潜在的な表現及び関係を見出すことができる. すなわち，「『鮭』は『イクラ』という性質を持つ」という関係性である.このとき, 潜在表現である「イクラ」は文内の「いくら」に音韻的に一致するので, 上記の文を駄酒落文として認識できる. 本研究の目的は重置型駄酒落に存在するこのような潜在的な表現及び文内の語との関係性を, 常識的知識グラフや単語埋め込みを用いて発見することである。

## 2 関連研究

はじめに，大規模知識グラフについて述べる。主要な大規模知識グラフとして著名なのが DBpedia[3] やWikidata[4] であり，セマンティック Web 技術によるフリーの知識べースであり，コミュニティベー スで作成され，他のオープンデータとのリンクを持つリソースから構成されている。

ConceptNet[5] とはDBpedia，Wikidata と同様に集合知を知識源とした大規模な知識グラフである. ConceptNet は，DBpedia や Wikidataのような RDF による表現に類似した構造を持つ.

次に, 単語埋め込みについて述べる。単語埋め込みとは自然言語処理で単語を表現する手法であり,単語の意味をべクトル空間に埋め込むことで語彙を表現している.

単語埋め込みが取得できる手法として Word2vec [6] が著名である. Word2vec の他に，近年では BERT [7] のような Transformer モデルが注目されている. 従来の Transformer モデルと比べて, BERT では双方向の文脈情報を学習しているため高い精度を示している. 本研究では Transformer モデルとして,

図1各手法を統合したシステムの構成図

BERT に基づく ja-ginza-electra ${ }^{1}$ をを利用している.このため ja-ginza-electra は文脈に応じた意味を表す単語ベクトルを取得することができる.

駄酒落の検出・理解を目的とする手法の基礎に関わる提案は以前から行われている。滝澤 [2] は駄酒落を理解するシステムの構築の一環として併置型駄酒落と重胃型駄酒落を音素列や長さの一致などを基に分類し明確な基準を初めて提示している。また，谷津ら [8] は本研究の目的と同様に，ユーザによる発話をユーモアとして検出することを目的に韻文ユーモアである䭾酒落の教師あり学習に基づく検出手法を提案している. そして先行研究である井上ら [1] は重畳型駅酒落の構造に着目し, 常識的知識グラフを用いて潜在表現を抽出する手法を提案している.

## 3 提案

## 3.1 提案システム

手法は大きく分けて 4つあり, 先行研究で提案された知識グラフを用いた手法に加えて, 単語埋め込み, Transformer モデル，かな漢字変換を用いたそれぞれの手法である. 最終的には, 知識グラフを用いた手法, 単語埋め込みとして chiVe[9] と Wikipedia Entity Vectors[10] を適用したそれぞれの手法, かな漢字変換を用いた手法の計 4 つを統合し，いずれかの手法から検出成功が 2 件以上確認された文を重畳型駄酒落として認識する. 統合したシステムの構成を図 1 に示す.

## 3.1.1 知識グラフを用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 次に内容語形態素ごとに知識グラフから関連リソースを探索し，リソースの探

索に成功した場合に音韻類似度関数を用いて潜在表現の抽出を試みる. 本研究では大規模知識グラフとして ConceptNet 5 [5] を使用し, 音韻類似性を検出するためにはレーベンシュタイン距離 [11] に基づく類似度関数を用いる. 内容語と関連リソースの音韻類似度がしきい値を超えた場合, 潜在表現の抽出及び重胃型駄酒落の検出に成功となり, すべての内容語及び関連リソースについて潜在表現が抽出できなかった場合，重畳型駄酒落の検出は失敗となる.

## 3.1.2単語埋め込みを用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 次に内容語形態素ごとに単語埋め込みを利用して関連リソースを探索する. 具体的には Python の gensim ライブラリ2)を用いて単語埋め込みが取得できるモデルを利用し，内容語に対してコサイン類似度がしきい值 (0.40) 以上かつ上位 500 件以内の単語を関連リソースとして取得する。 この手法では, 単語埋め込みが得られるモデルとし $\tau$ chiVe [9], fastText [12], Wikipedia Entity Vectors [10] を利用している。そして取得した各単語に対して音韻類似度関数を用いて潜在表現の抽出を試みる。内容語と関連リソースの音韻類似度がしきい値を超えた場合, 潜在表現の抽出及び重畳型駄酒落の検出に成功となり，すべての内容語及び関連リソースについて潜在表現が抽出できなかった場合，重畳型駄酒落の検出は失敗となる.

## 3.1.3 Transformer モデルを用いた手法

まず,形態素解析から得られた各内容語の全ぺアにおいてコサイン類似度を算出する. 次に内容語のペアを「と」で連結した文を生成し，その文における各ペアのコサイン類似度を再度算出する。「と」で連結した後に,コサイン類似度がしきい值 $(0.30)$ 以上上昇し,さらに値自体もしきい値 (0.40) 以上の場合そのペアを潜在表現として検出する. 潜在表現の抽出に成功した場合は重畳型駄酒落の検出に成功となる.すべての内容語において潜在表現が抽出できなかった場合，重畳型駄酒落の検出は失敗となる。

## 3.1.4 かな漢字変換を用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 各内容語形態素のかな漢字変換から得られた単語が潜在表現の候補となる. 具体的には, GoogleTransliterate ${ }^{3)}$ を用いて, 各内容語の

2) https://radimrehurek.com/gensim/

3) https://www.google.co.jp/ime/cgiapi.html
表 1 各手法での検出性能

新たな漢字変換を取得する. そして各候補と内容語のコサイン類似度を算出し, 値がしきい値 $(0.40)$ 以上であった場合潜在表現として抽出する. 潜在表現の抽出に成功した場合は重胃型䭾酒落の検出に成功となり，すべての内容語及び潜在表現候補について潜在表現が抽出できなかった場合, 重畳型駄酒落の検出は失敗となる。

## 4 評価と考察

提案手法を用い, 駄酒落データベース [13] に収録された 1103 文の重胃型駄酒落のうち, 68 文を研究の対象に指定した. 基準として, 重疂型駄酒落の特徴が明確になっている駄酒落文を要件とした. 特徵とは,駅酒落文内の語に関連した潜在表現を介して, 音韻的に類似するペアが存在していることである.また，正例・負例各 68 文からなるテストデータを作成し,検出性能の評価を行った. 負例は駅酒落データベー スに収録されている併置型駄酒落文の中から無作為に 68 文を選択したものである.

比較実験に使用した手法は 3.1 節に基づき, 3.1.1 から 3.1.4 節の各手法及びこれらを統合した手法とした. ただし 3.1.2 節の fastTextを適用した手法と 3.1.3 節の Transformer モデルを用いた手法は予備実験において検出精度が要求される水準を下回ったため,統合したシステムより除外した.

評価の結果は表 1 に示す. 新たに単語埋め込みを用いた手法を加え統合したシステムでは適合率が 0.22 ポイント, $\mathrm{F}$ 値が 0.14 ポイントの上昇が確認された.

## 4.1 事例別の考察

本節では，認識の成功及び失敗の事例を対象に個別的に定性的評価を行い，今後の手法改良に繋がると考えられる発見について述べる。

## 4.1.1 成功例文

知識グラフを用いた手法

・煙とともに灰さようなら

内容語抽出を行うと「煙，灰」になる。探索した関連リソースと各内容語形態素との音韻類似の比較を行うと，「灰」に対しRelatedTo (灰- RelatedTo煙）という関係性で存在する「煙」が完全一致する。 したがって，「煙」を潜在表現とした検出が成功する.

## 単語埋め迄みを用いた手法

## ・育坚休暇くれるの？サンキュー

内容語抽出を行うと「育児，休暇，サンキュー」 になり，それぞれの単語における関連リソースを取得すると,「育児」とコサイン類似度が高い単語の上位 9 位に「産休」が存在し音韻類似の比較を行った結果, 入力文中の「サンキュー」と一致する. したがって，「産休(サンキュー)」という言葉が潜在的な語として抽出することが可能となり検出成功となる.

## Transformer モデルを用いた手法

## $\cdot$鮭の卵は、いくら？

内容語抽出を行うと「鮭，卵，いくら」になり，各単語のペアのコサイン類似度を算出すると,「鮭」 と「いくら」のコサイン類似度は 0.22 である. そして各ペアを「と」で連結させた「鮮といくら」という文章を生成し, 再度「鮭」と「いくら」のコサイン類似度を算出すると, 0.53 となる.したがって, 各ぺアを「と」で連結した後でコサイン類似度の上昇値がしきい値を超えたため，「いくら」という言葉が潜在的な語として抽出することが可能となり検出成功となる。

## かな漢字変換を用いた手法

## ・一番頭を使う作業は, 農作業!

内容語抽出を行うと「一番, 頭, 使う, 作業, 農, 作業」になり,それぞれの単語におけるかな漢字変換を取得し, 内容語形態素とコサイン類似度の算出を行う.すると，「農」のかな漢字変換に「脳」が存在し各内容語とのコサイン類似度の算出を行うと，「脳」と「頭」のコサイン類似度がしきい値を超える.したがって, 「農 (脳)」という言葉が潜在的な語として抽出することが可能となり検出成功となる.

## 4.1.2 音韻類似の検出漏れや表記体系の違いによる 失敗

・これを運ぶの？うん，そう.〈運送〉」

内容語抽出を行うと，「運ぶ，うん」となる。「運ぶ」の関連リソースに「貨車」，「貨車」の関連リソー スに「運送」があるが，音韻類似度比較の対象が形
態素単位であるため，「うん，そう」のように途中に読点がある場合違う単語として処理されてしまい,音韻類似の比較を行うことができない.

## 4.1.3 知識グラフの関連リソース不足による失敗

## ・オリンピックなんて, 銅でもいい.

「オリンピック」という言葉の ConceptNet 上の関連リソースにおいて「銅」という言葉が存在しなかった. Wikidata を探索した場合は正解に相当する関連リソースとして発見されるため, 異なる知識グラフについての実装は今後の課題といえる.

## 4.1.4単語埋め込みにおける関連リソース取得範囲外による失敗

・この坊主,いい読経してるぜ.

Wikipedia Entity Vectors での「坊主」と「読経」のコサイン類似度は 0.44 であり, しきい値は超えていたが類似度が高い単語の上位 500 件以内には入らなかったため, 潜在表現として取得できなかった.

## 5 おわりに

本研究の目的は, 常識的知識グラフや単語埋め込みを用いて潜在的な音韻類似の対を含む駄酒落文の検出を行いユーモアな表現を機械が理解できるようにすることである. 先行研究から新たに単語埋め込みを利用することによって関連リソースの取得できる幅が広がり精度も向上した. 具体的には, 先行研究に相当する知識グラフを用いた手法に比べて, 新たに単語埋め込みを用いた手法を加え統合したシステムでは適合率が 0.22 ポイント, $\mathrm{F}$ 值が 0.14 ポイントの上昇が確認された. しかし探索の仕方や音韻類似度の比較においては, 依然として手法を見直さなければならない点がいくつか見受けられた.

## 5.1 今後の課題

## 知識グラフを用いた手法

先行研究から引き続き課題は 4 つである. 1 つ目は音韻類似度の比較を行う際に比較対象となる単語の文字数が異なる場合正確な比較ができないという点である. 2 つ目の課題は英語表記及びローマ字表記の単語の比較ができないという点である．3つ目は関連候補の出現数上限の制限により求める関連リソースの取得が困難，という点である．4つ目は例文中に読点がある場合違う単語として処理され，音韻類似の比較を行うことができないという点である.

## 単語埋め迄みを用いた手法

4.1 節の考察を経て得られた課題は 4 つである. 1 つ目は知識グラフを用いたシステムと同様, 音韻類似度の比較を行う際に比較対象となる単語の文字数が異なる場合正確な比較ができないという点である. 2 つ目も知識グラフを用いたシステムと同様, 例文中に読点がある場合違う単語として処理され，音韻類似の比較を行うことができないという点である. 3 つ目は内容語と潜在表現のコサイン類似度がしきい値を下回るという点である. 4 つ目は内容語と潜在表現のコサイン類似度がしきい値以上になっても，上位 500 件以内に入らないという点である.これらの課題において, 関連リソースを取得する範囲の拡張や, コサイン類似度のしきい値の設定などにおいて,最適な条件を考える必要がある。

## Transformer モデルを用いた手法

4.1 節の考察を経て得られた課題は 2 つである. 1 つ目は各単語のペアを「と」で連結させた文において再度各ペアのコサイン類似度を算出すると, 値が下がってしまうという点である. 2 つ目は各単語のペアを「と」で連結させた文においてコサイン類似度が上昇した場合でも, 値自体がしきい値以上にならないという点である. 前提として 2 つ単語のコサイン類似度がしきい値の 0.40 を上回らない場合, その単語同士は似ているとは判断できないため潜在表現として取得できない. どちらの課題点においても，「と」以外にも「の」や「は」などで連結させてみたり, 他の Transformer モデルを利用してみることで解決できる可能性がある.

## かな漢字変換を用いた手法

4.1 節の考察を経て得られた課題は 2 つである. 1 つ目は各単語を形態素解析する際に, 必要以上に細かく分割してしまったり, 読点を含んだり文字数が違ったりすると意図した漢字変換ができず, 検出に失敗するという点である. 2 つ目はコサイン類似度を算出する際に, 值がしきい値を下回るという点である. 今回はコサイン類似度の算出に chiVeを用いたが, fastText ではしきい值を上回ることができる例もあったので今後他のモデルも活用したシステムの実装が課題である.
本研究は JSPS 科研費 JP21K12007 の助成を受けたものです.

## 参考文献

[1] 井上蒼一朗, 谷津元樹, 森田武史. 重畳型駄酒落ユー モアにおける常識的知識グラフを用いた潜在表現抽出. 言語処理学会第 28 回年次大会, F5-5, 2022.

[2]滝澤修. 記述された「併置型駄酒落」の音素上の性質. 自然言語処理, Vol. 2, No. 2, pp. 3-22, 1995.

[3] Christian Bizer, Jens Lehmann, Georgi Kobilarov, Sören Auer, Christian Becker, Richard Cyganiak, and Sebastian Hellmann. Dbpedia-a crystallization point for the web of data. Journal of web semantics, Vol. 7, No. 3, pp. 154165, 2009.

[4] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[5] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Thirty-first AAAI conference on artificial intelligence, 2017.

[6] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] 谷津元樹, 荒木健治. 子音の音韻類似性及び svm を用いた駄酒落検出手法. 知能と情報, Vol. 28, No. 5, pp. 875-886, 2016.

[9] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝,浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. NLP2019-P8-5. 言語処理学会, 2019.

[10] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for finegrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. 101, No. 1, pp. 73-81, 2018.

[11] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710. Soviet Union, 1966.

[12] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, Vol. 5, pp. 135-146, 2017.

[13] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹. 駄酒落デー タベースの拡張及び分析 (ことば工学研究会 (第 58 回)(異次元) 空間と創作).ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 58,


# 日本語大規模言語モデルにおける 知識グラフを活用した意味理解性能の向上

中本裕大 ${ }^{1}$ 瀬在恭介 ${ }^{1}$ 元川凱喜 1 麻生英樹 2 岡崎直観 3
${ }^{1}$ SCSK 株式会社 2 産業技術総合研究所 3 東京工業大学
\{yu.nakamoto,sezai,k.motokawa\}@scsk.jp h.asoh@aist.go.jp okazaki@c.titech.ac.jp

## 概要

事前学習後の BERT は一般的な言語表現を獲得するが, ドメイン固有の知識が不足している.ドメイン固有の知識を BERT に注入する手法として, 知識グラフを活用した研究が行われている. 本研究では,日本語 BERT モデルのファインチューニング時に知識グラフに記載されている知識を活用することによる，下流タスクへの性能向上の可能性を検討した. また, LIME を用いて, 文章分類タスクにおいて，知識を追加したことによる予測結果への影響調査を行った.

## 1 はじめに

近年, BERT [1]をはじめとする大規模言語モデルが言語処理の幅広いタスクにおいて高い精度を達成している. BERT は大規模なコーパスを用いて文脈情報を加味した単語表現を獲得することを可能とする. 事前学習後の BERT は一般的な言語表現を獲得するが，ドメイン固有の知識が不足している。

ドメイン固有にモデルを最適化する手法の 1 つとして, 事前学習またはファインチューニングの段階で外部の知識グラフ (以下 $\mathrm{KG}$ ) から BERT に知識を注入する研究が行われている $[2,3,4]$. KG を BERT の学習に用いることで, テキストに書かれていないドメイン固有の知識などを考慮した言語表現の獲得が可能となる. BERT のファインチューニング時に KG の知識を活用する KI-BERT [4] では, GLUE [5] の 8 つのタスクで BERT と比較し著しい精度向上を達成した. 英語や中国語など日本語以外の言語では KG と BERT を掛け合わせた研究が活発に行われているのに対して, 日本語 BERT モデルを用いた手法の提案はまだ少ない. BERT のビジネス活用では, 計算資源や学習時間などの学習コストが課題となる. したがって, 知識グラフで表現された知識をファイ

図 1: 提案手法の概要

ンチューニングで活用する手法は, ビジネス活用において需要が高い.

そこで, 本研究では日本語 BERT モデルのファインチューニング時に KG の知識を活用することによる下流タスクの性能向上の可能性を検討した. JGLUE [6] の 5 つのタスクのうち 4 つのタスクで精度向上を確認した. また, 実際のビジネスで利用されるデータの一例として, 子育てオープンデータ協議会より公開されている子育て FAQデータでも実験を行い, 効果を確認した。

## 2 提案手法

本節では, 日本語 BERT モデルにおいて KG の知識を活用したファインチューニングを可能とするモデルを提案する.

提案するモデルの概要を図 1 に示す. 提案手法では, 入力として $n$ 単語の単語列 $X=\left(w_{1}, \ldots, w_{n}\right)$ が入力されると, 入力に関連する知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識グラフ前処理で取得する。ここで, $c_{i}$ は知識

グラフのエンティティ (ノード)を指し $m$ は知識グラフ前処理により取得したエンティティ数となる。本稿では, 知識グラフの前処理により獲得した $c_{i}$ を 「知識」と表現する. 取得した $C$ は知識グラフ埋め込

み層で知識埋め込み表現 $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d}$ に変換される ( $d$ は次元数). BERT 埋め込み層により変換された単語埋め込み表現 $\left[e_{\mathrm{CLS}}, e_{w_{1}}, \ldots, e_{w_{n}}\right] \in \mathbb{R}^{d}$ と知識グラフ埋め込み層で変換された知識埋め込み表現の結合を BERT に与えることで, $\mathrm{KG}$ の知識も考慮したアテンション計算を行う.

以降では, 日本語 $\mathrm{KG}$ の知識を BERT 内部で利用するにあたって知識の検索, 知識埋め込み表現へと変換する機構について詳しく説明する。

知識グラフ前処理知識グラフ前処理では, 入力単語列 $X=\left(w_{1}, \ldots, w_{n}\right)$ に対して追加できる知識を KG に対して検索する.この際, $X$ を分かち書き前の文として扱い, 文に対して mecab-ipadic-NEologd(以降, NEologd $)^{11}$ [7] 辞書を使用した MeCabによる分かち書きを行う. 分かち書き後の $X$ 中の単語のうち, 名詞のものをキーワードとして KG に存在するか検索を行い, ヒットしたものを追加する知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ とする. 例えば, キーワード群「人間,山田太郎, SCSK」が KG 上に存在するか検索を行い 「人間, SCSK」が存在した場合, $m$ は 2 となる. 追加する知識の順番は入力単語列中での検索キーワードの登場順となる。

知識グラフ埋め込み層知識グラフ埋め込み層では, 知識グラフ前処理で獲得した知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識埋め込み表現へと変換する. 本研究では, $K G$ 埋め込み手法の 1 つである TransE [8] により, KG 上で登場する知識の埋め込み表現を事前に別途学習し, 獲得している. TransE により獲得した $\mathrm{KG}$ の埋め込み行列を用いて, 知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識埋め込み表現へと変換する.通常, TransE による埋め込み次元数は BERT の単語埋め込み層の埋め込み次元数 $d$ と異なる. したがって, TransE の埋め込み行列による変換後に全結合層を用いて $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d}$ へと変換する. 全結合層は学習可能パラメータとする.

続いて, 入力テキストの単語埋め込み表現と知識埋め込み表現の結合処理の詳細を説明する. 知識埋め込み表現は単語埋め込み表現の後ろに結合する。位置エンコーディングは結合後の入力系列に対し

1） 事物 (インスタンス) の関係をグラフで整理した KGに対して,インスタンス名を幅広く検索できるように固有表現に強いNEologd を採用した.表 1: JGLUE の構成

て,BERT と同様に先頭トークンから順に位置情報を付与する. 文のセグメント情報についても同様に，各文に対し知識群を加えた系列長を 1 文とみなし，各文が 1 文目か 2 文目であるかの識別情報として付与する.

BERTへの入力が 2 文 $X_{1}=\left(w_{11}, \ldots, w_{1 n}\right), X_{2}=$ $\left(w_{21}, \ldots, w_{2 k}\right)$ である場合, $X_{1}, X_{2}$ それぞれに対して KG 検索を行った後, 埋め込み表現 $\left.\{a_{11}, \ldots, a_{1 m}\right.\}$, $\left.\{a_{21}, \ldots, a_{2 l}\right.\}$ へ変換する. 獲得した埋め込み表現を各文の単語埋め込み表現へ結合し, 結合後の各入力系列を特殊トークン [SEP] によって結合した $\left.\{e_{\mathrm{CLS}}, e_{w_{11}}, \ldots, e_{w_{1 n}}, a_{11}, \ldots, a_{1 m}, e_{\mathrm{SEP}}, e_{w_{21}}, \ldots\right.$, $\left.e_{w_{2 k}}, a_{21}, \ldots, a_{2 l}, e_{\mathrm{SEP}}\right.\}$ に位置エンコーディングとセグメント情報の埋め込み表現を加算したものを BERTへの入力とする $(n, k$ は入力単語数, $m, l$ は追加する知識数). ここで, BERT 単語埋め込み層で埋め込み表現へ変換する単語列は, Hugging Face が提供している Transformers [9] の BertJapaneseTokenizer を使用して分かち書きしたものである.

## 3 実験

## 3.1 実験設定

本節では, 提案手法を JGLUE [6] と子育て FAQ データ (CC-BY 4.0 子育てオープンデータ協議会 $)^{2)}$ の両データセットで評価を行い, 提案手法の有効性を検証する. 前処理を含めた実験の詳細は付録 Aを参照されたい.

知識グラフ本実験では, JGLUE, 子育て FAQデー タともに, 知識グラフに Wikidata ${ }^{3}$ を使用した. 提案手法の知識グラフ埋め込み層で使用する KG の埋め込み行列は, OpenKE [10] で学習済みのものを使用した. ${ }^{4)}$

JGLUE 本データは,一般的な日本語理解能力を測ることを目的とした言語理解ベンチマークである. 2022 年 8 月時点において, 文章分類データセッ

表 2: 実験結果

 &  &  &  &  &  \\

ト (MARC-ja), 文ペア分類データセット (JSTS, JNLI), QA データセット (JSQuAD, JCommonsenseQA) の計 5 つのデータセットが利用可能であり, 本実験ではこれら 5 つのデータで評価を行う. 各データセットは同時点でテストデータが公開されていないため, 学習用/開発用から一部データを抽出しテストデータとして用いた. 各データセットの内訳を表 1 亿示す.

子育て FAQ データ本データは，「自治体における AI チャットボットの利活用促進」を目的に LINE が参画する子育てオープンデータ協議会より公開されている. 本データは, 子育てに関する質問サンプルとその回答サンプル, サンプルの分類カテゴリで構成されており, 本実験では 481 件を使用した. データ数が少ないため, 質問文をカテゴリに分類するタスクの性能を, 5 分割交差検定で評価した。

## 3.2 実験結果

JGLUE および子育て FAQ データの実験結果を表 2 に示す. JGLUE では, 提案手法が JSQuAD 以外の 4 つのタスクでベースラインを上回る結果となった.特に, JNLI において +1.32 ポイントと全タスクの中で最も高い精度向上となった.

子育て FAQ データでは, ベースラインと比較して+1.25 ポイントの精度向上であり, ビジネスで利用される実データの文章分類においても提案手法が有効であることを確認した。

## 3.3 KG の影響確認

子育て FAQデータでの実験について, KGを活用したことによる影響を LIME [11] 5) を用いて確認した. LIME とは, 機械学習モデルへ入力する属性群のうちどの属性が予測に寄与したかを可視化分析するツールである. 本節では, 知識追加による影響度の確認を目的とするため, 知識グラフ前処理と同様に MeCabによる分かち書き後の単語列を属性群とした. LIME は, 各ラベルに対する予測確率の内訳と,最も確率が高いラベルとそれ以外のラベルに関して，それぞれの予測結果の要因となった属性を示す

5) https://github.com/marcotcr/lime
グラフを表示する. 図 $2 \mathrm{a} \sim 3 \mathrm{~b}$ について, 各図の左側のグラフが各ラベルに対しての予測確率, 右側が要因となった属性のグラフとなっている.

図 2a, 2b は, BERT の予測は不正解で, 提案手法において正解したサンプルの LIME の分析結果である.入力文が「保育のしおりがほしいです.」で分類カテゴリが保育であるサンプルにおいて, BERT では妊娠・出産ラベルに誤分類しているのに対して，提案手法では正しく予測できている.このとき,提案手法では, $\mathrm{KG}$ から「保育」が知識として追加されている.

続いて, 図 3a, 3bで, BERT の予測では正解して, 提案手法では不正解であったサンプルの LIME の分析結果を確認する。 入力文が「アートスクールはありますか?」で分類カテゴリが施設であるサンプルにおいて, BERT では施設ラベルを正しく予測できているのに対して, 提案手法では保育ラベルを誤って予測している. 図 3a の BERT の分析結果より,施設ラベルを予測する際に「アート」,「スクー ル」といった属性を重要視している。一方, 図 3b の提案手法では, 保育ラベルを予測する際に「スクー ル」を重要視しており,施設の語義で使用されていた「スクール」を他語義で解釈していると考えられる. 提案手法では, $\mathrm{KG}$ 上でロックバンドを指す 「ART-SCHOOL」が知識として追加されており, 追加された知識により入力文中の語義とは異なる解釈がされた可能性がある。

今回の分析により, KG の知識を追加する際に, 正解ラベルと関連度の高い入力文中の単語に対して,文脈中の語義に沿った知識を追加することで正解率が向上する可能性が示唆された.このことを, 他のデータやタスクも含めてより詳細に分析することは今後の課題である。

## 4 関連研究

BERT の事前学習またはファインチューニング時に KG の知識を活用し, BERT の言語理解性能を向上させる研究が盛んに行われている。

ERNIE [3] は, モデルの事前学習時に入力文に関連

(a) BERT

(b) 提案手法

図 2: 提案手法で新規に正解した例

NOT 施設

(a) BERT

NOT 保育

(b) 提案手法

図 3: 提案手法で新規に不正解になった例

する KGの知識を埋め込むための情報合成層と専用の事前学習タスクを提案している. BERTへの入力は, BERT の単語埋め込み層で変換した入力文の埋め込み表現と入力文中の単語に関連する $\mathrm{KG}$ 上の知識を TransEで変換した知識埋め込み表現である.このとき, 単語埋め込み表現と知識埋め込み表現はそれぞれ異なるマルチヘッドアテンションに入力されることに留意されたい. ERNIE は, $\mathrm{KG}$ 上の知識を活用することでドメイン固有タスクで高い性能を達成することができた. しかし, 知識を追加する際に, 単語の語義曖昧性や同音意義語の問題を解消しておらず, 入力文中の単語に対して適切な知識を追加できないケースが存在する。

KI-BERT [4] は, モデルのファインチューニング時に, $\mathrm{KG}$ の知識を考慮した学習を可能とする手法である. 入力文中の単語に対して, 概念情報と語義曖昧性を解消した知識の追加を可能としている. 入力単語に対して概念情報と語義曖昧性を解消した語義情報のどちらを追加するかの判定を行い, 概念情報には ConceptNet [12] の知識, 語義が曖昧な単語には WordNet [13] の知識を追加する。このとき, 追加する知識は, 各 KG について事前に TransE [8] または ConvE [14] で獲得した埋め込み行列を用いて変換され, 提案手法同様に各入力文の直後に追加される. KI-BERT は GLUE [5] の各タスクにおいて ERNIE などの既存の $\mathrm{KG}$ を考慮したモデルと比較して大きな精度向上を達成した。英語データを対象とした BERT モデルにおいて外部知識を活用することで精度改善が達成できるように, 日本語モデルにおいても外部知識を活用することで精度改善が達成できることが報告されている [15,16]. LUKE [15] は, 文脈情報に基づく新たな単語とエンティティの埋め込み表現の学習方法を提案し, 下流タスクで大きな精度向上を達成した. 笹沢らの研究 [16] では, 製品に対するレビューの分類を行う感情分類モデルにおいて, レビュー文に対してユーザ ID と製品 ID の 2 種類のカテゴリ属性情報をファインチューニング時に追加することで精度が向上することが報告されている.

## 5 おわりに

本研究では, 日本語の BERT モデルに KG の知識を活用することによる下流タスクの性能向上の可能性を検討した. 実験の結果, 先行研究の英語データを対象とした実験同様に, 日本語においても KG の知識を活用することで, 多くのタスクで精度向上が確認できた. また, 文章分類での BERT と提案手法の LIME を使用した可視化分析により, 大力文中の語義に沿った KG の知識が追加されることが, 性能向上のために重要である可能性が示唆された。

今後は, 先行研究と同様に日本語においても, 入力文中での各単語の語義に適した知識を追加するため, エンティティリンキング手法などを適用することで, 精度が改善されるか確認を行いたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weijie Liu, Peng Zhou, Zhe Zhao, Zhiruo Wang, Qi Ju, Haotang Deng, and Ping Wang. K-bert: Enabling language representation with knowledge graph. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 2901-2908, 2020.

[3] Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, and Qun Liu. ERNIE: Enhanced language representation with informative entities. In Proceedings of ACL 2019, 2019.

[4] Keyur Faldu, Amit Sheth, Prashant Kikani, and Hemang Akbari. Ki-bert: Infusing knowledge context for better language and domain understanding. arXiv preprint arXiv:2104.08145, 2021.

[5] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[6] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[7] 奥村学佐藤敏紀. 単語分かち書き辞書 mecab-ipadicneologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[8] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[10] Xu Han, Shulin Cao, Lv Xin, Yankai Lin, Zhiyuan Liu, Maosong Sun, and Juanzi Li. Openke: An open toolkit for knowledge embedding. In Proceedings of EMNLP,
2018.

[11] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016, pp. 1135-1144, 2016.

[12] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Thirty-first AAAI conference on artificial intelligence, 2017.

[13] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 3941, 1995.

[14] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[15] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2020.

[16] 笹沢裕一, 岡崎直観. 属性情報を追加した事前学習済みモデルのファインチューニング. 言語処理学会第 27 回年次大会, 2021.

## A 実験の詳細説明

JGLUE 各データセットの詳細を以下に示す.

MARC-ja は, amazon における商品レビューの positive, negative の 2 值分類タスクである.

JSTS は, 2 文の意味的な類似度を推定するタスクである. 正解の類似度は 0 (意味が完全に異なる) 5 (意味が等価)の 6 段階となる.

JNLI は, 前提文と仮設文のペアに対して推論関係を予測するタスクである. 推論関係は, 含意, 矛盾, 中立の 3 つである.

JSQuAD は機械読解の QA データセットの 1 つである. 与えられた文章を読み, 内容に関する質問とその答えを文章中から抽出するタスクとなっている。

JCommonsenseQA は, 常識推論能力を評価するための 5 択式の $\mathrm{QA}$ データセットである.

本実験では, 開発用データに対して最も性能の良いモデルに対してテスト用データによる評価を行った. 実験に当たって, 公開されているデータから一部データを抽出し, 開発用 (またはテスト用) データとした. データ分割後の各データセットの内訳を表 1 に示す. JNLI は開発用データから一部データを抽出し, 抽出したデータをテスト用とした. JNLI 以外のデータについては, 学習用データから一部データを抽出し, 抽出したデータを開発用とした. また, 開発用データとして公開されているものを本実験ではテスト用データとして使用した.

子育て FAQ データ本データは, サンプル問合せ文とサンプル応答文, 各サンプルのカテゴリの組み合わせで用意されており, 各自治体に合わせた情報を入れることが可能となっている. 本実験では, 広島県に関する情報を入れたものを使用した. 各カテゴリごとのサンプル数について最大 145 件, 最小 1 件と大きな偏りがあるため, 学習時のノイズ除去の観点から, サンプル数が最低 60 件以上のカテゴリのものを使用した. 前処理後のカテゴリ数は 5 となった. また, 前処理後のデータ件数が全体で 481 件と少量であるため, 本実験では, 5 分割交差検定で実験を行い, JGLUE での実験と同様に開発用データに対して最も精度が高いモデルに対してテスト用データで評価を行った。


# 時系列構造化ニューラルトピックモデル

宮本 望 ${ }^{1}$ 磯沼 大 $^{1}$ *高瀬 翔 2 森 純一郎 ${ }^{1,3}$ 坂田 一郎 1
1 東京大学 2 東京工業大学 3 理研 AIP
\{nmiyamoto, isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
sho.takase@linecorp.com mori@mi.u-tokyo.ac.jp

## 概要

本研究ではトピック間の依存関係を捉えつつ、その時系列的発展を扱うことができる時系列構造化ニューラルトピックモデルを提案する。本モデルは、トピックの依存関係を self-attention 機構に基づいてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間の引用関係を反映するように、引用正則化項を導入する。本モデルは Perplexity や Coherence において、既存の時系列トピックモデル [1] を上回ることを確認した。また、実際の論文群を用いて、本モデルがトピックの遷移過程を捉えられることを検証した。

## 1 はじめに

文書のトピックとその比率を推定するトピックモデルは、Latent Dirichlet Allocation (LDA [2])をはじめ、自然言語処理において広く利用されている。 その一種である時系列トピックモデル $[1,3]$ は、トピックの時系列上の変遷を追うことで、時間経過に伴うトピック中の単語変化の可視化を可能にした。

しかし、既存の時系列トピックモデルは、トピックの時系列変化を各トピックで独立に扱っており、新規トピックの形成に対し過去のトピックがどう寄与したのか、トピック間の依存関係を捉えることはできない (図 1(a))。特に論文など、引用関係により依存関係にある文書のモデル化において、各トピックが独立して変化し、前の時刻のトピックにのみ依存しているという前提は適切ではない。

そこで本研究では、トピック間の依存関係を捉えながらその時系列発展を扱うことができるトピックモデルとして、時系列構造化ニューラルトピックモデルを提案する（図 1(b)）。具体的には、トピックの依存関係を self-attention 機構 [4] に基づきモデル化することで、新規トピックがどの既存トピックに基

図 1 (a) 時系列トピックモデルと (b) 提案モデルの比較。

づき生まれたかを明らかにする。さらに、文書の引用関係を反映するようにアテンションの重みを正則化する引用正則化項を導入し、アテンションの重みをトピックの分化・統合過程として解釈できるようにした。これにより、複数時刻に跨った学術トピックの分化・統合など複雑な過程を定量的に捉えることが可能になる。

評価実験では、従来モデルの ETM [5] や D-ETM [1] と比較して、Perplexity と Coherence において、提案モデルがその性能を上回ることを確認した。さらに、提案モデルが学術トピックの分化・統合過程を捉えられていることを定性的に確認した。

## 2 事前準備

まず、本研究の基礎となる時系列トピックモデルとして、Dynamic Embedded Topic Model (D-ETM [1]) を解説する。D-ETM はトピックの時系列変化をモデル化することで、時系列文書の解析を行う。具体的には、単語の意味空間におけるトピックごとの埋め込み表現（トピック埋め込み）とトピック比率の平均を変化させることで、トピックの時間変化を捉

## える。D-ETM の生成プロセスを以下に示す。

1. 時刻 $t \in\{1, \ldots, T\}$ について：

$k$ 番目のトピック埋め込みのサンプル:

$\boldsymbol{\alpha}_{k}^{(t)} \sim \mathcal{N}\left(\boldsymbol{\alpha}_{k}^{(t-1)}, \sigma^{2} \boldsymbol{I}\right)$

トピック比率の平均のサンプル:

$\boldsymbol{\eta}_{t} \sim \mathcal{N}\left(\boldsymbol{\eta}_{t-1}, \delta^{2} I\right)$

2. 各文書 $d \in\{1, \ldots, D\}$ について:

トピック比率のサンプル: $\boldsymbol{\theta}_{d} \sim \mathscr{L} \mathcal{N}\left(\boldsymbol{\eta}_{t_{d}}, \gamma^{2} \boldsymbol{I}\right)$

3. 文書 $d$ 中の各単語 $n \in\left.\{1, \ldots, N_{d}\right.\}$ について:

トピックの割り当て: $z_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{d}\right)$

単語のサンプル: $w_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{d, n}}^{\left(t_{d}\right)}\right)$

ただし、Cat($\cdot$) はカテゴリカル分布、 $\mathscr{L} N(\cdot, \cdot)$ はロジット正規分布を指す。 $\sigma$ と $\delta \gamma$ はハイパーパラメータである。単語分布 $\boldsymbol{\beta}_{k}^{(t)}$ は以下の式で計算される。

$
\boldsymbol{\beta}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{\rho}^{\top} \boldsymbol{\alpha}_{k}^{(t)}\right)
$

$\rho \in \mathbb{R}^{L \times V}$ は $L$ 次元の単語埋め込み行列であり、 $\rho_{v} \in \mathbb{R}^{L}$ は $v$ 番目の単語埋め込みに対応する。

D-ETM では、変分推論 [6] で $\boldsymbol{\alpha}$ と $\boldsymbol{\eta}$ と $\boldsymbol{\theta}$ の事後分布を推定する。特に、トピック埋め达み $\alpha$ については、以下の平均場近似を用いる。

$
\begin{array}{r}
q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)=\mathcal{N}\left(\boldsymbol{\mu}_{k}^{(t)}, \boldsymbol{\sigma}_{k}^{(t)}\right) \\
q(\boldsymbol{\alpha})=\prod_{k} \prod_{t} q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)
\end{array}
$

ただし、 $\boldsymbol{\alpha}_{k}^{(t)}$ は平均 $\boldsymbol{\mu}_{k}^{(t)}$ と分散 $\boldsymbol{\sigma}_{k}^{(t)}$ のガウス分布に従いサンプルされる。

この平均場近似は、事後分布において各トピックが独立であることを仮定しており、トピック間の依存関係を推定することができない。一方、本研究では、 self-attention 機構によりトピック埋め込みを推定する構造化変分推論を導入し、トピック間の依存関係をモデル化する。

## 3 提案モデル

本章では、提案モデルである時系列構造化ニュー ラルトピックモデルについて述べる。生成プロセスは D-ETM と同一である。

## 3.1 トピック埋め込みの推論

D-ETM とは異なり、提案モデルは構造化変分推論によりトピック埋め込みを推論する。 self-attention

図 2 self-attentionによるトピック埋め込みの素の作成。

機構を利用して、過去の全てのトピック埋め込みからトピック埋め込みを計算する。

$
\begin{array}{r}
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\operatorname{self}-\operatorname{attention}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right)=\mathcal{N}\left(f_{\mu}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right), f_{\sigma}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right)\right)
\end{array}
$

変数 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ はトピック埋め込みの素であり、 $f_{\mu}$ と $f_{\sigma}$ は $\tilde{\boldsymbol{\alpha}}_{k}^{(t+1)}$ を変分ガウス分布に変換する関数である。

self-attention の計算式 (9)を計算するため、時刻 $t-1$ 以前の全てのトピック埋め込みの素 $\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}$ からキー $\boldsymbol{K}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ 及びバリュー $\boldsymbol{V}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ を計算する。また、時刻 $t-1$ の $k$ 番目のトピック埋め込み $\tilde{\alpha}_{k}^{(t)}$ からクエリ $\boldsymbol{q}_{k}^{(t-1)} \in \mathbb{R}^{L}$ を計算する。

$
\begin{array}{r}
\boldsymbol{K}_{1: K}^{(1: t-1)}=f_{k}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{V}_{1: K}^{(1: t-1)}=f_{v}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{q}_{k}^{(t-1)}=f_{q}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t-1)}\right)
\end{array}
$

ただし、 $f_{q}, f_{k}, f_{v}$ は多層パーセプトロンである。このとき、時刻 $t$ のトピック $k$ に対するアテンションの重み $\boldsymbol{a}_{k}^{(t)} \in \mathbb{R}^{K(t-1)}$ は、以下の式で表される。

$
\boldsymbol{a}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{q}_{k}^{(t-1)} \boldsymbol{K}_{1: K}^{(1: t-1) \top}\right)
$

$\boldsymbol{a}_{k}^{(t)}$ は時刻 $t$ 以前の各トピックに依存している確率を表しているとみなせる。これを重みとして利用し、 $\boldsymbol{V}^{(1: t-1)}$ の重み和を計算することで、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ を求める。一連の過程を図 2 に示す。

$
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{a}_{1: K}^{(1: t-1)} \boldsymbol{V}_{1: K}^{(1: t-1)}
$

$\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ は、残差接続 [7] を経て正規化される。残差接続を行うことで、勾配爆発や勾配消失を防ぐことが可能になる。また、事前分布では $\boldsymbol{\alpha}_{k}^{(t)}$ は $\boldsymbol{\alpha}_{k}^{(t-1)}$ を平均とする正規分布により生成されると仮定しているため、時刻 $t$ のトピック $k$ は時刻 $t-1$ のトピック $k$ に比較的類似したものが推定される。

self-attention の導入の経緯 self-attention 機構の代わりに、トピック間の依存関係を表す学習可能な重み $\boldsymbol{w} \in \mathbb{R}^{K}$ を用いて、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{w}^{\top} \tilde{\boldsymbol{\alpha}}_{1: K}^{(t-1)}$ としてパラメータ化する方法も本研究では検討した。しかし、

この方法では 1 時刻間のトピック間の依存関係しかモデル化できず、学術論文で多く見られる複数時刻に跨るトピック間の依存関係のモデル化には不適当である。一方、self-attention 機構は任意の数のトピックを入力として用いることが可能であり、かつ各時刻を通じて $f_{q}, f_{k}, f_{v}$ のパラメータが共有されるため、パラメータ数はトピック数に依らず一定である。よって、 self-attention 機構は複数時刻に跨るトピック間の依存関係のモデル化により適当であることから、本研究では self-attention 機構を採用した。

## 3.2 全体の推論と ELBO

提案モデルによる文書の尤度は以下のように与えられる。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{d} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)_{w_{d, n}} p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right.\} \\
& \quad\left.\{\prod_{t} \prod_{k} p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

ここで、事後分布 $p\left(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha} \mid \boldsymbol{w}_{1: D}\right)$ の近似事後分布として $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ を導入する。D-ETM と同様に、 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は以下のように計算される。

$
\begin{aligned}
q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})= & \prod_{d} q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \times \prod_{t} q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \\
& \times \prod_{t} \prod_{k} q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right)
\end{aligned}
$

ただし、 $\boldsymbol{w}_{d}$ は文書 $d$ の Bag-of-Words 表現を、 $\tilde{w}_{t}$ は正規化された時刻 $t$ における全文書の Bag-of-Words 表現を表す。文書の対数尤度に対する変分下限は以下の式で求められる。

$
\begin{aligned}
& L_{d o c}=\sum_{d} \mathrm{E}_{q\left(\boldsymbol{\theta}_{d}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{d}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)\right] \\
& \quad-\sum_{d} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \| p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right] \\
& \quad-\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& \quad-\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right]
\end{aligned}
$

## 4 引用正則化項ありの提案モデル

3 章で述べた提案モデルは、トピック間のアテンションの重みを解釈することが困難である。理想的には、アテンションはトピック間の潜在的な依存関係を表し、それは文書間の引用関係として顕在化されるべきである。そこで、アテンションの重みを引用関係に対応するように正則化を行うことで、アテンションの解釈可能性を担保する。また、引用正則化項によりテキストと引用を同時にモデル化することで、トピックの質的な向上が期待される。

アテンションの重みの正則化にあたり、トピック比率 $\boldsymbol{\theta}$ 、アテンションの重み $\boldsymbol{a}$ 、文書比率 $\phi$ に基づいて文書間の引用をモデル化する。文書のぺア $(i, j) \in\{1, \ldots, D\} \times\{1, \ldots, D\}$ 間の引用は以下のようにモデル化される。

1. 引用トピックの割り当て: $z_{i} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{i}\right)$

2. 被引用トピックの割り当て: $z_{j} \sim \operatorname{Cat}\left(\boldsymbol{a}_{z_{i}}^{\left(t_{i}\right)}\right)$

3. 被引用文書のサンプル: $d_{j} \sim \operatorname{Cat}\left(\boldsymbol{\phi}_{z_{j}}\right)$

ただし、 $\boldsymbol{a}_{k}^{\left(t_{i}\right)} \in \mathbb{R}^{K\left(t_{i}-1\right)}$ はアテンションの重みであり、過去の全トピック $z_{j} \in\{1, \ldots, K\} \times\left.\{1, \ldots, t_{i}-1\right.\}$ に依存する確率の分布を指す。文書比率 $\boldsymbol{\phi}_{k} \in \mathbb{R}^{D}$ は、あるトピックが割り当てられた被引用文書の確率分布を示しており、以下の式で表される。

$
\phi_{z_{j}}^{\left(d_{j}\right)}=\frac{\theta_{d_{j}}^{\left(z_{j}\right)}}{\sum_{d_{j}} \theta_{d_{j}}^{\left(z_{j}\right)}}
$

この仮定のもと、引用 $c_{i, j} \in\{0,1\}$ の尤度は以下のように与えられる。

$
\begin{aligned}
& p\left(c_{i, j}=1 \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right) \\
& =\sum_{k}^{K} \sum_{k^{\prime}}^{K} p\left(d_{j} \mid \boldsymbol{\phi}_{k^{\prime}}\right) p\left(z_{j}=k^{\prime} \mid \boldsymbol{a}_{k}^{\left(t_{i}\right)}\right) p\left(z_{i}=k \mid \boldsymbol{\theta}_{i}\right)
\end{aligned}
$

ただし、 $c_{i, j}=1$ は文書 $d_{i}$ が文書 $d_{j}$ を引用することを示す。文書と引用の対数尤度に対する変分下限は以下の式で表される。

$
L=L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
$

ただし、 $L_{d o c}$ は式 (18)により定義され、BCE は二値の交差エントロピーである。詳細な変分下限の導出は付録 A. 1 に記す。

## 5 実験

## 5.1 実験設定

本実験では、The Semantic Scholar Open Research Corpus (S2ORC [8]) $)^{1}$ をもとに構築した $A C L$ 及び CS のデータセットを用いる。 $A C L$ データセットは ACL 系列の国際会議で発表された論文群であり、CSデー

表 1 各モデルの評価結果。Perplexity は低いほど良く、Coherence と Diversity は高いほど良い。

タセットは、研究分野に “Computer Science”を含む論文群である。各データセットの詳細な情報を、付録 A. 2 に記載した。データセットに関する具体的な数値を表 2 にまとめる。ベースラインには、ETM [5] 及び D-ETM [1]を用いる。提案モデルに対する引用データ制約の効果を測定するため、提案モデルに対する引用正則化項の有無による結果も比較する。詳細な実験設定は付録 A. 3 に記載する。

## 5.2 実験結果

トピックモデルの性能を以下の 3 つの基準で定量的に評価した。

Perplexity まず、生成モデルとしての汎化能力を評価するため、Perplexity [9]を用いた。両データセットにおいて、提案モデルは、従来モデルを上回ることを示した（表 1）。また、引用正則化項ありの提案モデルは、引用正則化項なしの提案モデルを上回ることから、引用情報がトピックモデルの汎化能力に寄与することが確認された。

Coherence トピックの解釈可能性を評価するため、トピックの Coherence を平均自己相互情報量 [10] で測定した。具体的には、トピック $k$ の頻出語上位 10 個の単語中の各 2 単語について、正規化自己相互情報量報を計算した。各モデルの全トピックの平均 Coherence を表 1 に示す。引用正則化項ありの提案モデルが従来モデルを上回った他、引用正則化項なしのトピックモデルも D-ETM と競合し、十分にトピックが解釈可能であることが確認された。

Diversity トピックの多様性を評価するため、全トピックの頻出語上位 25 語において重複していな

図 $3 A C L$ データセットにおけるトピック遷移の例。各トピックの頻出語上位 5 つを示す。Attention の重みが 0.05 以上であれば太線、 0.02 以上 0.05 未満であれば細線でトピック間の依存関係を表現した。

い単語の割合を算出し、トピック間の Diversityを測定する。各モデルにおける Diversity の平均値を表 1 に示す。両モデルは従来モデルと遜色なく、十分にトピックの多様性が担保されることを確認した。

## 5.3 トピック遷移の可視化

$A C L$ データセットを用いて、提案モデルがトピックの遷移を捉えられているか確認した。図 3 にその例を示す。上段のトピックは「グラフ」、中段のトピックは「ニューラルネットワーク」、下段のトピックは「ソーシャルメディア」を表している。トピックの頻出語を確認することで、そのトピックにおける頻出単語の変遷を追うことができる一方、アテンションの重みを確認することでトピックの分化や統合過程を追うことができる。

## 6 おわりに

本研究では、トピック間の依存関係を self-attention 機構でモデル化したトピックモデルを提案した。評価実験の結果、提案モデルは複数の指標について従来モデルの性能を上回った。また、文書間の引用関係を考慮した正則化を加えることで、さらなる性能の向上が示唆された。また、トピック遷移を追うことで、提案モデルが実際の学術文献のトピックの動向調査に利用できることを確認した。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Adji B Dieng, Francisco JR Ruiz, and David M Blei. The dynamic embedded topic model. arXiv preprint arXiv:1907.05545, 2019.

[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[3] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, ICML '06, p. 113-120, New York, NY, USA, 2006. Association for Computing Machinery.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017

[5] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[6] David M Blei, Alp Kucukelbir, and Jon D McAuliffe. Variational inference: A review for statisticians. Journal of the American statistical Association, Vol. 112, No. 518, pp. 859-877, 2017.

[7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.

[9] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, UAI '04, p. 487-494, Arlington, Virginia, USA, 2004. AUAI Press.

[10] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.

[11] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. arXiv:1412.6980v9, , 2014.

[12] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

## A 付録

## A. 1 引用正則化項ありの提案モデルの変分下限の導出

この章では、式 (24) の導出を行う。文書と引用の尤度は以下の式で計算される。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D}, c_{1,1}, \ldots, c_{D, D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{i} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)_{w_{i, n}} p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right.\} \\
& \quad\left.\{\prod_{i} p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right.\} \\
& \quad\left.\{\prod_{t} p\left(\prod_{k} \mid \boldsymbol{\eta}_{t}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

近似事後分布 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は、式 (17) のように計算される。よって、文書と引用の対数尤度に対する変分下限は以下のように表される。

$
\begin{aligned}
L & =\sum_{i} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{i}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)\right] \\
& +\sum_{i} \sum_{j} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\log p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right] \\
& -\sum_{i} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{i}}, \boldsymbol{w}_{i}\right) \| p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right] \\
& -\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& -\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right] \\
= & L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
\end{aligned}
$

## A. 2 実験に用いたデータセット

本節では、各データセットの作成手順について説明する。S2ORC は、136,595,995 の論文群を保有しており、各論文は論文 ID、出版年、要約、被引用論文 ID、ACL ID、研究分野などを保持する。 $A C L$ データセットについては、2006 年から 2019 年までの ACL ID が “None” でない論文を抽出する。CS データセットについては、2006 年から 2019 年までの研究分野が “Computer Science” である論文を抽出し、被引用論文数の多い上位 40,000 本を抽出する。

得られた論文群は、3:1:1 の比率でランダムに訓練用、検証用、評価用文書データセットに分類する。訓練用文書データセットに対して、出現数が 10 未満の語彙、 $70 \%$ 以上の論文に共通して出現する語彙、数字を除去して得られた文書を Bag-of-Words として保持する。各時刻において十分な量の文書を確保するため、 2 年分の文書群をまとめて一つの時刻の文書群とする。例えば、2006 年と 2007 年の文書群をまとめて、それらを時刻 $t=0$ とする。

## A. 3 実装詳細

各モデルのハイパーパラメータは、 $A C L$ の検証データセットの Perplexity に基づいてチューニングされている。全ての実験でトピック数 $K$ は 20 と設定し、トピック埋め込みの推論以外のパラメータは D-ETM の実装2)に従って設定した。勾配降下法は Adam [11]を用いて、バッチサイズ 512 でモデルを学習させる。学習率については、提案モデルと ETM については $6.0 \times 10^{-4} 、$ D-ETM については $8.0 \times 10^{-4}$ である。より良い実験結果を得るため、各モデルについて学習率の減衰を適用し、ロスが収束するまで学習を継続させている。

DSNTM 内部の self-attention 機構の $f_{q}, f_{k}, f_{v}$ 及びトピック埋め込みの変分パラメータ構築の $f_{\mu}, f_{\sigma}$ は、全てに次元数が 300 の隠れ層の MLPを利用する。また、残差接続後の正規化は、レイヤー正規化 [12]を指す。

各モデルとも、変文推論の事後分布の分散のパラメータは $\delta^{2}=\sigma^{2}=0.005$ で、 $\gamma^{2}=1$ とした。単語埋め込みについては、skip-gram [13] の埋め込み表現を利用しており、その次元数は 300 である。

トピック比率 $\boldsymbol{\theta}$ の推論 $q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{d}}, \boldsymbol{w}_{d}\right)$ は、ReLU 活性化と 800 次元の隠れ層を持つ 2 層の MLP、その後に $\theta_{d}$ の平均 $f_{\mu}$ と分散 $f_{\sigma}$ が続く構成である。卜ピック比率の平均 $\boldsymbol{\eta}$ の推論 $q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right)$ を構築するため、bag-of-words 表現 $\tilde{w}_{t}$ を 400 次元の低次元空間に線形写像し、それを、400 次元の 3 層の隠れ層を持つ LSTM の入力として利用する。LSTM の出力は、直前のトピック比率の平均 $\boldsymbol{\eta}_{t-1}$ と結合され、その結果を $K$ 次元空間に線形写像し、 $\boldsymbol{\eta}_{t}$ の平均と分散を得る。

2) https://github.com/adjidieng/DETM


# 木構造自己注意機構による教師あり統語構造解析

成田百花 ${ }^{1}$ 持橋大地 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 統計数理研究所
\{g1820529,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

本研究では，Transformer のエンコーダにおける自己注意機構を入力文の統語構造を反映するように変更し，抽出された特徴量を用いてデコーダにおいて構文木構造を生成する新しい統語構造解析モデルを提案する。提案モデルを用いることで既存のモデルと比較して，WSJコーパスにおける $F_{1}$ スコアをはじめとする評価実験において構文解析精度が向上することが示された. また，提案モデルにおいてエンコーダの中間層の出力を用いた統語構造解析手法についても実験結果を示す.

## 1 はじめに

近年，自己注意機構を用いた深層学習モデル Transformer [1] が，高い汎用性を持つことから機械翻訳にとどまらず，様々な自然言語処理課題に対して採用され，高い成果を挙げている。自己注意機構とは，文中の各単語間の関連性を表すスコアを算出するもので，潜在的に統語構造情報を捉えている可能性が考えられることから，これを工夫した統語構造解析手法が提案されている [2] [3]. 深層学習を統語構造解析に用いることで，文を連続値の情報であるべクトルで扱うことが可能となり，従来の文法規則のマッチングによる処理とは違い，より頑健な処理を実現できるという利点がある．その一方で，統語構造解析研究においては，これまでに構築された多くの統語構造解析結果のデータが存在する. 双方の利点を活かすことを考え，本研究では自己注意機構を用いた教師あり統語構造解析モデルを提案する。

## 2 関連研究

代表的な統語構造解析手法として, CKY アルゴリズムがある．CKYアルゴリズムを模倣した手法として, Stern ら [4] はニューラル手法による Chart Parser を提案している. Stern らのモデルでは，エン
コーダの双方向 LSTM によって抽出した入力文の特徵量を用いて，デコーダの Chart Parser が文の “句または節を構成する単語間”と“品詞”それぞれの評価点を算出し，文の最適な構文木を予測する。また， Gaddy ら [5] は Stern らの Chart Parserに修正を加えたモデルを提案している。 そして，Kitaev ら [2] は， この Gaddy らのモデルのエンコーダに双方向 LSTM ではなく，自己注意機構を用いたモデルを提案している. Stern ら， Gaddy ら，そして Kitaev らのモデルでは，双方向 LSTM と自己注意機構が統語構造情報を算出することを前提としてデコーダへの入力としている．しかし，双方向 LSTM と自己注意機構の出力には統語構造情報は明示的には反映されていないため，デコーダに用いる情報としてはまだ改善の余地がある．そこで本研究では，エンコーダの出力により確かな統語構造情報を反映するような制約を用いて抽出した特徴量をデコーダの入力とする手法を提案する。

自己注意機構を用いた教師なし統語構造解析モデルとして, Wang ら [3] は Tree Transformer を提案している. Tree Transformer は Transformer のエンコー ダを用いたモデルで，自己注意機構に入力文の統語構造情報を反映するように制約を加える。エンコー ダは，BERT [6] の学習タスクである，[Mask] トークンに置き換えられた文中の単語を予測する Masked Language Modeling (MLM)により教師なし学習される.しかし，この MLM による学習は，統語構造情報について予測を行いモデルを学習しているのではなく，[Mask]トークンの予測を対象に学習をしているため，統語構造の解析が十分とは言えない.よって，本研究は統語構造情報を含む値を予測値とし，既存の統語構造解析結果のデータを用いた，教師あり統語構造解析モデルを提案する。

## 3 基本モデル

本節では，提案モデルのベースラインとなる Kitaev ら [2] のアーキテクチャについて説明する.

図 1: 分割自己注意機構. 入力文の埋め込みべクトル $x_{c}$ と位置埋め込みべクトル $x_{p}$ それぞれに対して別々に Attention が計算され，その後に結合される.

エンコーダ部には分割自己注意機構（3.1 節)，デコーダ部には Stern ら [4]の Chart Parserに Gaddy ら [5] が修正を加えた Chart Decoder（3.2 節）を用いたモデルである.

$N$ 個の単語を含む入力文の埋め込みベクトル $\boldsymbol{x}^{(c)}=\left[c_{1}, c_{2}, \ldots, c_{N}\right]$ を BERT [6] の最終層の出力から抽出する. また，入力文の位置埋め込みベクトル $を \boldsymbol{x}^{(p)}=\left[p_{1}, p_{2}, \ldots, p_{N}\right]$ とする.

## 3.1 分割自己注意機構

通常の自己注意機構では埋め込みベクトル $\boldsymbol{x}^{(c)}$ と位置埋め込みべクトル $\boldsymbol{x}^{(p)}$ を足し合わせたべクトル $\boldsymbol{x}=x^{(c)}+x^{(p)}$ に対して Attention を計算する. しかし，分割自己注意機構では $\boldsymbol{x}^{(c)}$ と $\boldsymbol{x}^{(p)}$ それぞれに対して別々に Attentionを計算する。分割自己注意機構の入力 $\boldsymbol{x}$, パラメータ行列 $W, c=W x$ をそれぞれ式 (1)，式 (2)，式 (3)とする.

$
\begin{gathered}
\boldsymbol{x}=\left[x^{(c)} ; x^{(p)}\right] \\
W=\left[\begin{array}{cc}
W^{(c)} & 0 \\
0 & W^{(p)}
\end{array}\right] \\
c=\left[c^{(c)} ; c^{(p)}\right]=\left[W^{(c)} x^{(c)} ; W^{(p)} x^{(p)}\right]
\end{gathered}
$

以上より, 入力 $x$ から得られる Query, Key, Value はそれぞれ $Q=\left[q^{(c)} ; q^{(p)}\right], K=\left[k^{(c)} ; k^{(p)}\right], V=$ $\left[v^{(c)} ; v^{(p)}\right]$ となる. Query, Key, Value と, Keyの次元 $d_{k}$ 用いて自己注意機構は式 (4) で表される.

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

内積 $Q K^{T}$ は $q^{(c)} \cdot k^{(c)}+q^{(v)} \cdot k^{(v)}$ に分解される.

図 1 に式 (4) の值の導出過程を示す.

## 3.2 Chart Decoder

構文木 $T$ は文中の $i$ 番目の単語で始まり $j$ 番目で終わる句または節と，その品詞 $l$ の集合によって式 (5) のように表される. $|T|$ は集合の数，すなわちその文に含まれる句または節の合計数である.

$
T=\left.\{\left(i_{t}, j_{t}, l_{t}\right): t=1, \ldots,|T|\right.\}
$

また，エンコーダからの出力を用いて，各文の構文木 $T$ に実数值のスコアとして，式 (6) で表される $s(T)$ が生成される.

$
s(T)=\sum_{(i, j, l) \in T} s(i, j, l)
$

$s(i, j, l)$ は品詞 $l$ を持つ文中の $i$ から $j$ 番目の単語間の実数值のスコアである. 生成された $s(T)$ のうち最も高いスコアのものが，CKY 法を模倣した式 (7) の推測アルゴリズムによって選ばれ，構文木 $T$ の最適な統語構造として予測される.

$
\hat{T}=\arg \max _{T} s(T)
$

このように Chart Decoder を用いることで，構文木のスコア，すなわち統語構造情報を予測値とすることができる．また Chart Decoder は，CKY アルゴリズムを模倣したシンプルで合理的なアーキテクチャでありながら，WSJデータのみで学習した解析器の中では最も高い性能を達成していることから, 本研究でもこれを採用することにする。

## 4 提案手法

図 2 に提案モデルの全体の構造を示す. エンコー ダ部に Wang ら [3] の”Constituent Attention モジュー ル”を導入した木構造自己注意機構（4.1 節）を用いて, 入力文の統語構造情報を抽出する. エンコーダから抽出された情報に基づき，デコーダ部の Chart Decoder（3.2 節）で構文木のスコアを算出し，教師あり学習を行う。

## 4.1 木構造自己注意機構

木構造自己注意機構は統語構造情報を抽出するために, 3.1 節の分割自己注意機構に隣り合う単語間の関連性を捉える”Constituent Attention モジュー ル"を導入する. "Constituent Attention モジュール"では， $\mathrm{N}$ 個の単語を含む文の各単語に対して，文中の句または節（constituent）の区切りを推測する確率 $a=\left.\{a_{1}, \ldots a_{N}\right.\}$ を生成する. 確率 $a$ を用いて，同

Output: (S (NP (The ) (NP ( cute dog ))) (VP (VP ( is wagging )) (NP ( its tail ))))

个

Input: the cute dog is wagging its tail

図 2: 提案モデルの全体図. エンコーダには，分割自己注意機構に”Constituent Attention モジュール”を導入した木構造自己注意機構, デコーダには Chart Decoderを用いる。

図 3: （左）木構造自己注意機構を用いたエンコー ダ.ブロックは入力文から生成された constituent を表している。層を登るにつれ constituent はマージされ徐々に大きくなる.（右）エンコーダ各層の構成.

じ constituent に属する単語同士のみで自己注意機構を作用させる制約 ”Constituent Priors $C_{i, j}$ "が生成される. "Constituent Priors $C_{i, j}$ "は，式 (8) で表される，文中の $i$ 番目の単語と $j$ 番目の単語が同じ constituent に含まれるかの確率である.

$
C_{i, j}=\prod_{k=i}^{j-1} a_{k}
$

上層に移るにつれ constituent は隣同士でマージされて徐々に大きくなり，エンコーダ内部で入力文の構文木を形作る（図 3)。式 (8) と式 (4)を用いて，木構造自己注意機構は式 (9) のように求められる.

$
\operatorname{Attention}(Q, K, V)_{\text {tree }}=C \odot \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

木構造自己注意機構を用いることで，通常の自己注意機構よりも統語構造情報を反映した特徵量を抽出することができる．これにより，Chart Decoder が効率よく文中に含まれる句または節を捉えることを可能とする.

## 4.2 中間層を用いた統語構造解析

通常の統語構造解析では，エンコーダの最終層の出力に基づいて，デコーダが入力文の構文木を予測する. しかし，入力文によって構文木の深さは異なり，それに合った統語構造情報が必要となると考えられる。そこで，エンコーダ内部に constituent で構文木を形作る木構造自己注意機構の性質を利用して，エンコーダの中間層の出力をデコーダの入力とし，統語構造を解析する手法を提案する。 アルゴリズムを Algorithm 1 に示す.

## 5 実験

本節では，4 章で提案した手法を用いたモデルの性能及び有効性を検証する。

## 5.1 実験設定

実験では，Penn Treebank ${ }^{1)}$ の WSJ（英字経済新聞 Wall Street Journal $\left.{ }^{2}\right)$ ）コーパスを用いて，予測される構文木が人間の作成した構文木とどの程度類似しているかを評価する。コーパスのデータ数はそれぞれ，訓練データ 39,832 (2-21 章)，開発データ 1,700 (22 章)，評価データ 2,416 (23 章) の標準的分割である．学習の際， 1 Epoch おきにデータをシャッフルする. Multi-Head 数を 8, batch 数を 32 とした.

## 5.2 木構造自己注意機構の有効性検証

本節では，提案手法の木構造自己注意機構の有効性を検証するため，通常の自己注意機構を用いた Kitaev ら [2] のモデル（従来モデル）と，双方向 LSTM を用いた Stern ら [4] と Gaddy ら [5] のモデルと比較を行った. また，同じデータセットを用いたより高い精度を持つモデルとして Zhou ら [7] のモデルも表中に示す.この際， 4.2 節の手法は用いず， エンコーダの最終層の出力を用いて統語構造解析を行う．エンコーダの層数を $\ell$ として，表 1 に実験結

表 1: Penn Treebank での実験結果 [\%].

果を示す. 精度の評価尺度には $F_{1}$ スコア，再現率と適合率が共に $100 \%$ である割合（完全一致），品詞の正解率（品詞）を用いた. 表より，提案モデルが従来モデルよりも品詞以外の結果が良いことがわかる. また，双方向 LSTM を用いたモデルと比較しても精度が高い.これらのことから木構造自己注意機構は通常の自己注意機構や双方向 LSTM よりも確かな統語構造情報を抽出し，デコーダでの解析を補助し，性能改善に寄与することがわかる.

また，従来モデル $(\ell=10)$ が従来モデル $(\ell=2)$ よりも精度が低い理由は，入力文の埋め込みベクトルの生成に BERT を用いているため，これにより既に入力文の特徵がある程度抽出され，その後に多くのエンコーダを積んでしまうと過学習を引き起こす可能性が考えられる。一方で，提案モデル $(\ell=10)$ が提案モデル $(\ell=2)$ よりも精度が高い理由は，エンコーダ内部で構文木を形作る木構造自己注意機構の性質により, 入力文の構文木を作るためにはある程度の層数を必要とすることが考えられる。

## 5.3 文の長さにおける有効性検証

本節では，文の長さにおける各モデルの有効性を検証するため, 従来モデル $(\ell=2)$ と提案モデルの, 5.2 節の解析結果から完全一致した文の長さごとの数（正解数）を比較する．結果を表 2 に示す. 表中の WSJ は評価データに含まれる文の各長さの内訳である．長さが 40 以下の文に対しては，5.2 節において最も精度の高かった提案モデル $(\ell=10)$ の正解数が多かった。しかし，長さが 41 以上の文については提案モデル $(\ell=8)$ の正解数が多かった。これにより文の長さによって構文木の深さが異なり，必要となる統語構造情報が異なることが考えられる.表 2: 各モデルの解析結果から完全一致した文の長さ $|s|$ ごとの数（WSJ は評価データに含まれる文の各長さの内訳）

表 3: 中間層を用いた統語構造解析結果（提案モデル $(\ell=12)$ のエンコーダの各中間層の出力を用いた解析結果から，完全一致した文の長さ $|s|$ ごとの数）

## 5.4 中間層を用いた統語構造解析結果

本節では，提案手法の中間層を用いた統語構造解析の結果を示す. 提案モデル $(\ell=12)$ のエンコーダの各中間層の出力をデコーダの入力とし，構文木を予測する．各中間層を用いた解析結果から完全一致した文の長さごとの数を表 3 に示す. 表中の中間層は Algorithm 1 の $m$ である. 表より，Layer10と Layer8 の出力を用いた際の，長さ 41 以上の正解数が同じことから，完全一致した長さ 41 以上の文では Layer8 と Layer10 で出力されるスコアが重複していることが考えられる．以上と 5.3 節の結果から，構文木それぞれに対して適切な中間層から出力される統語構造情報を用いるべきであることが考えられる。

## 6 まとめ

本論文では，木構造自己注意機構とエンコーダの中間層を用いた統語解析手法を提案した。木構造自己注意機構を用いることで， $F_{1}$ スコアと完全一致において従来の自己注意機構や双方向 LSTM を用いたモデルを上回る結果を達成できることを実験により確認した．また，エンコーダの中間層を用いた解析結果から，各構文木に対して適切な中間層の出力を用いるべき事がわかった。このことから今後は，口ジスティック回帰などを用いて効率的に各入力文の構文木に適した中間層を選びとるような手法を提案し，モデルの改良に取り組みたい。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of the 31st NIPS, 2017

[2] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Yau-Shian Wang, Hung yi Lee, and Yun-Nung (Vivian) Chen. Tree transformer: Integrating tree structures into self-attention. In $E M N L P, 2019$.

[4] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 818-827, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[5] David Gaddy, Mitchell Stern, and Dan Klein. What's going on in neural constituency parsers? an analysis. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 999 1010, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Junru Zhou, Zuchao Li, and Hai Zhao. Parsing all: Syntax and semantics, dependencies and spans. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4438-4449, Online, November 2020. Association for Computational Linguistics.


# Recurrent Neural Network CCG 構文解析器の実装

田上青空 戸次大介
お茶の水女子大学
\{tagami.sora, bekki\}@is.ocha.ac.jp

## 概要

自然言語処理において広く利用されている深層学習モデルは、文をトークン列とみなして処理を行う。しかし文には統語構造が存在しており、意味合成のような言語学的な計算を行うためには、表層的な情報を越えた統語構造を明示的にモデル化する必要があると考えられる。文の統語構造を考慮する言語モデルとして、Recurrent Neural Network Grammars (RNNGs)[1] がある。RNNGs は言語モデルと構文解析器の二つの側面を持ち、内部の文法としては CFG を用いている。本研究では RNNGs の内部文法として、CFGに代えて、より自然言語の統語構造を適切に捉える文法である CCG を用いた実装を行い、 $\mathrm{CFG}$ によるモデルとの比較・検証を実施した。

## 1 はじめに

近年、BERT[2] や GPT-3[3] に代表される深層学習を用いた言語モデルの発展はめざましく、あらゆる自然言語処理タスクにおいて高精度を誇っている。 これらのモデルは、膨大なデータと巨大なパラメー タによって、データからある種の「傾向」を抽出することに優れている。しかし、文を文字またはサブワードからなるトークン列とみなして解析を行なっているため、文がもつ統語構造や依存関係を考慮しているわけではない。したがって、これらのモデルからは文が持つ言語学的な情報を得られず、統語解析やそれに基づく意味解析を行うことは難しい。

一方で、C\&C[4]、EasyCCG[5]、depccg[6]など、組合せ範疇文法 (Combinatory Categorial Grammar; 以後 CCG) を用いた構文解析器の開発が進んでいる。組合せ範疇文法は形式統語論の理論であり、これらの構文解析器の出力として得られる CCG の統語構造は、ccg2lambda[7]にみられるように意味合成に用いることができる。しかしながら、構文解析器の性能を向上するには、人手でアノテーションした専門的でコストの高いデータが必要となるため、このアプ
ローチには大量のデータを用意するのが難しいという欠点が存在する。また言語モデルではないため、単語の埋め込みという形での出力や単語の出現確率などの確率的な情報は得ることができない。

そのような潮流のなかで、 Recurrent Neural Network Grammars (以後 RNNGs)[1] は、文の統語構造を考慮した深層学習モデルであり、言語モデルと構文解析器の 2 つの側面を併せ持つ。このモデルは、両方の側面で文脈自由文法 (Context-Free Grammar; 以後 CFG) を用いて統語情報を獲得する。RNNGs は LSTMs に比べ長期的な依存関係が捉えられることが知られている $[8,9]$ 。また、RNNGs が学習する内容は脳波に現れる人間の言語処理の困難さの指標とも対応し、人の文処理モデルとしての妥当性も示唆されている [10]。

本研究では、RNNGs のモデルで使用する文法を CFG から CCG に変更したモデル (RNN-CCG)を構成・実装することを試みる。この変更には、CCGの統語構造を獲得し、そのまま意味合成につなげることができるという利点がある。実験を通して、文法として CFG を使用した場合とどのような違いが生じるかを検証を行い、CCG 特有の特徴を考慮するモデル構成や手法を検討する。

## 2 Recurrent Neural Network Grammars

RNNGs は、単語間やフレーズ間のネストした階層関係を明示的にモデル化する言語モデルおよび $\mathrm{CFG}$ 構文解析器である。ここでは構文解析モデルとしての振る舞いを例に挙げる。内部では Stack、 Buffer の 2 つのデータ構造が用いられており、初期状態では Buffer に全単語ベクトルが格納されている。それらに対する操作は Action として以下のように定義される。

-SHIFT: 単語ベクトルを Buffer の先頭から除いて、Stack に追加。

・NT X: 非終端記号 X に対応するべクトルを

図 1 RNNGs のアーキテクチャ

Stack に追加。この時追加される非終端記号 X は、「開いた」状態とされる。
- REDUCE: Stack から、最初に見つけた開いた非終端記号 Xまでを除く。それらをエンコードした新しいべクトルを生成し、新たな要素として Stack に再追加する。

各時点での Stack、Buffer、これまでの Action 履歴はそれぞれ LSTMs と RNNs を用いてエンコードされ、 それらをもとに次の Action が決定される形で構文解析が行われる。Stackに対して操作が行われるたび先頭から計算し直すことは非効率であるため、stack LSTMs[11] という機構を用いて最適化されている。図 1 に示すのは、The hungry cat meows. という例文がすべて正しく解析されている場合において、meows に対応するべクトルを SHIFT することを予測する際の状態を表したものである。

RNNGs には後続する研究が行われており、いくつかの類似するモデルが存在する。Bufferを廃止しStackのみを用いた stack-only RNNGs[12]、並列実行を実現しより大きなデータを学習することに対応した Pytorch 実装モデル [13]、RNNs ではなく Transformer を用いたモデル $[14,15]$ などがあげられるが、本稿では最もシンプルな形である元論文のモデル [1] を参照し、構文解析器の側面に着目して実験を行った。

## 3 RNN-CCG

本研究では、RNNGs の再実装である RNN-CFG と、RNNGs で使用する文法を CFG ではなく CCG に替えたモデルである RNN-CCG を実装した。CCG の統語範疇を $\mathrm{CFG}$ の終端記号として扱えば、CCG も句構造文法とみなすことができる。したがって、 CCG を用いた場合でも、Action の判定は多値分類問題として解くことができ、CFG を使用した場合と同様に実装することができる。

## 3.1 組合せ範疇文法 (CCG)

組合せ範疇文法（CCG）[16,17,18] は語彙化文法の一種である。文脈自由文法のような句構造文法では統語構造に関わる情報の大部分が書き換え規則によって記述され、辞書は比較的単純であるのに対し、語彙化文法では、それらの情報の大部分が辞書に記述され、組合せ規則は比較的単純であるという特徴がある。また、CCGによる統語構造は、そのまま意味合成の計算経路を決定するという大きな利点をもつ。

文脈自由文法において、The hungry cat meows. を生成するには以下の規則が必要である。1）非終端記号がこれらの書き換え規則によって、再帰的に書き換えられることにより文が解析される。

$
\begin{array}{rll}
S & \rightarrow & N P V P \\
V P & \rightarrow & \text { meows } \\
N P & \rightarrow \quad \text { The hungrycat }
\end{array}
$

一方で CCG においては、各語彙は以下のように定義される。この例の場合には、CCG の組合せ規則である逆関数適用規則を用いて二つの語彙が組み上げられ、一つの文となる。

$
\begin{array}{rll}
\text { The hungry cat } & \vdash & N P \\
\text { meows } & \vdash & (S \backslash N P)
\end{array}
$

CCG の組合せ規則の一部を以下に挙げる。

関数適用規則 $: \frac{X / Y Y}{X}>\frac{Y \quad X \backslash Y}{X}<$

関数合成規則 : $\frac{X / Y \quad Y / Z}{X / Z}>\mathbf{B} \quad \frac{Y \backslash Z \quad X \backslash Y}{X \backslash Z}<\mathbf{B}$

## 3.2 RNN-CCG vs. Transformer

RNNGs が登場した当初は BERT[2]、GPT-3[3] のような大規模言語モデルがまだ存在していなかった。 しかし、その後の大規模言語モデルの成功により、言語モデルとしての RNNGs の存在意義は薄れつつあるように見受けられる。後続する研究 $[14,15]$ は、 RNNGs の後継モデルというよりは、Transformer に構成素が持つ情報を与えてファインチューニングす

る方法論を採っている。しかし RNNGs には、以下の 2 つの側面において再評価すべき余地があると考える。

1. RNNGs も Transformer も、ある箇所に現れる言語表現の情報を、周囲の文脈を使って予測する点では共通している。しかし、周囲の文脈として参与するのは Transformer ではサブワードであるのに対し、RNNGs では構成素である。それによって、RNNGs では「構成素の埋め込み」 が「周囲を予測する情報」を担うことになる。

2. またRNNGs ではある箇所に現れる言語表現というのは、サブワードだけではなく構成素である。したがって RNNGs ではサブワードの出現と構成素の出現を区別することなく予測しなければならない。それによって、RNNGsでは「構成素の埋め込み」が「周囲によって予測される情報」を担うことになる。

結果的に、RNNGsにおける構成素は、同様の環境に現れうる構成素と近い埋め込みを持つことが期待される。これによって、RNNGsでは語と句を区別することなく捉えることができる。これは Transformer にはない特徴である。

また、構文解析にせよ文生成にせよ、RNNGs は （各構成素の分散表現だけではなく）文全体の統語構造を出力する。これもまた Transformer にはない特徵である。

RNNGsのこれら二つの特徵を考慮すると、RNNGs において CFG ではなく $\mathrm{CCG}$ を採用することには 2 つの利点があると考えられる。以下順に述べる。

まず 1 つ目の特徴に対して、CCG は CFG と比較して（等位接続構文や長距離移動構文等を含む）より多彩な統語環境において、何が構成素であり何が構成素ではないのかを適切に切り分けることができる。もし RNNGs が採用する文法が CFG ではなく CCG であれば、RNNGs はより妥当な構成素概念を持つことになり、それに対する分散表現の割り当てもより適切なものになることが期待される。

次に 2 つ目の特徴に対して、CCG は CFG と異なり、意味合成の仕組みを誘導する。すなわち、 $\mathrm{CCG}$ では統語構造と意味合成が準同型の関係にあるため、CCGでは統語解析に成功すれば意味合成は必ず成功する、という保障が得られる。これは $\mathrm{CFG}$ に基づく文法にはみられない利点である。

このように、RNNGs には Transformer ベースの言語モデルにはない二つの特徴があるが、採用する文法理論を CFG から CCG に置き換えることによって、この二つの特徵を明確な利点に置き換えることにつながると考えられる。

## 4 実験

## 4.1 実験設定

RNN-CFG と RNN-CCG の実装には、Torchの Haskell インターフェースである hasktorch ${ }^{2)}$ を用いた。学習には、CFGデータとして Penn Treebank $\left.{ }^{3}\right)$ CCG データとして $\mathrm{CCGbank}^{4)}$ を用いた。どちらも Wall Street Jarnal コーパスの §2-21を学習デー タ、§24を検証データ、§23を評価データとして使用した。詳細は表 1 の通りである。

実験環境には、産総研 $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})^{5}$ の rt_G.large (NVIDIA V100 for NVLink 16GiB HBM2) を1ノード使用した。

## 4.2 実験結果

それぞれのデータでの、いくつかの Action の F1 スコアと、全体の microF1 スコアを表 2,3 に示した。

表 2 CFG での実験結果

表 3 CCG での実験結果

一般的に構文解析器は間違った予測をするとそれ以降の予測にも影響がでるが、ここでの F1 スコアの値においては、各タイムステップ以前の予測結果は全て正解データを用いた予測の上で算出している。

## 4.3 考察

UNK ラベルの位置づけ学習データに含まれてい

2) http://hasktorch.org/

3) https://catalog.ldc.upenn.edu/LDC99T42

4) https://catalog.ldc.upenn.edu/LDC2005T13

5) https://abci.ai/

ないラベルが評価時に出現した場合は誤った出力結果とした。一般に、出現頻度の低いラベルについては unknown タグ (以下 UNK) としてまとめてしまうことが多い。

この選択肢は、RNN-CFG では問題とならない。 たとえば、本来 $A \leftarrow B, C, D$ という書き換え規則があるところで、 $C$ の頻度が低くUNK となった場合は、Stackには $B$, UNK, $D$ が並ぶことになる。これを、 $A$ として REDUCEしたところで、解析としては問題なく、得られる統語構造も正解の近似といった位置づけとなる。

しかし RNN-CCG では、たとえば本来 Stack が $N P, S \backslash N P$ となって REDUCE して $S$ となるべきところを、仮に NP の頻度が低くUNK となった場合などでは、Stackには UNK, $S \backslash N P$ が並ぶことになる。そのような場合には組合せ規則の適用ができず、自動的に不整合な予測結果となってしまうことを考慮し、本研究では UNK を用いない設定で評価を行った。

RNN-CFG vs. RNN-CCG 各ラベルごとのF1スコアをみると、RNN-CFG、RNN-CCG のどちらにおいても、SHIFT、REDUCE、NT S 等、出現頻度が高い Action に関しては正しく予測されていることが多い。一方で、CFGではハイフンで区切られた小分類を含む非終端記号、CCGでは/,\を含む統語範疇を生成する Action などは、学習データにおいて出現頻度が低い傾向にあり精度の低下に繋がっていると考えられる。

また RNN-CFG と比較して RNN-CCG の microF1 が高い原因として、以下の 2 つが挙げられる。まず、RNN-CFG の方が学習データにおいて出現頻度の低い Action の割合が高いことである。前述した通り、出現頻度が低い Action は十分に学習されておらず精度に影響するが、出現頻度が 10 回以下の Action は、RNN-CFG では全 Action の 83.9\%、RNN-CCG では 67.9\%を占める。次に、RNN-CFG の方が Action 次元数が多いことである。Action 次元数は表 1 の通りであり、これはそのまま多值分類問題のクラス数となるため、多い方が難易度の高いタスクとなる。

POSタグについて RNN-CFGでは POS タグは考慮されていない。そのため同じ枠組みで RNN-CCG を実装した場合には、出力された Action 系列から図 1 に示すような構文木を得ることになる。この例において、disclosed の統語範疇は $S[p s s] \backslash N P$ であることが推測されるが、CCG 統語構造の利点である意味合成の経路を得るにはこのような語の統語範疇を補完し、もう一段階解像度の高い統語情報を復元する必要がある。さらに、were や’nt に関しては統語範疇の補完自体が自明ではなく、意味合成に用いる文法としては現状の RNN-CCG は不十分であると考えられる。

図 1 RNN-CCGで扱われる構文木

## 5 おわりに

本研究では、RNNGs モデルの内部で使用する言語を CFG から CCGに置き換えたモデルである RNN-CCG を実装し、従来の RNNGs モデルである RNN-CFG と比較実験を行った。その結果、RNNGs を CCGを用いて実装した場合も、CFG を用いた実装と同様の恩恵を得られることが示された。ただし、 4.3 節で述べたように、文法として CFG ではなくCCG を用いることの利点を生かすためには、更に解像度の高い出力を得る必要も生じている。

今後の課題としては 2 つ挙げられる。第一に、不整合な出力結果の除去である。RNN-CCG では RNN-CFG と異なり、出力された Action 系列が不整合である場合がある。RNN-CFG では “NT X” で生成されるどのような非終端記号列も、そのような書き換え規則が存在するとみなせば適切である。しかしRNN-CCG では、組合せ規則を適用できない出力は不整合な結果であり、意味合成にも用いることができない。また 4.3 節に述べた通り、単語の統語範疇が出力されないことも構文解析器の出力結果としては不十分であり、後続タスクに影響を及ぼす。これらの問題への対処は今後の課題としたい。

第二に、出現頻度が低い統語範疇への対応である。実験結果が示す通り、出現頻度が低く十分に学習できていない統語範疇は精度が低下する原因であるため、改善が望まれる。

3.2 節で述べた通り、RNN-CCG は RNN-CFG とは異なった利点を持つものと考えられる。そのため、構文解析器としての精度を向上させることに加え、 CCG の特徴をより活かしたモデル構成を探っていきたい。

## 参考文献

[1] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, June 2016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. CoRR, Vol. abs/2005.14165, , 2020.

[4] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[5] Mike Lewis and Mark Steedman. A* CCG parsing with a supertag-factored model. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), October 2014.

[6] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. CoRR, Vol. abs/1704.06936, , 2017

[7] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, April 2017.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntax-sensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), July 2018.

[9] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), June 2019.

[10] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with

beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), July 2018.

[11] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. CoRR, Vol. abs/1505.08075, , 2015.

[12] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, April 2017.

[13] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. CoRR, Vol. abs/2105.14822, , 2021.

[14] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer grammars: Augmenting transformer language models with syntactic inductive biases at scale. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1423-1439, 2022.

[15] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), August 2021.

[16] Mark J. Steedman. Surface Structure and Interpretation. The MIT Press, Cambridge, 1996.

[17] Mark J. Steedman. The Syntactic Process (Language, Speech, and Communication). The MIT Press, Cambridge, 2000.

[18] 戸次大介. 日本語文法の形式理論一活用体系・統語範疇・意味合成 —. くろしお出版, 2010.