# JaSPICE : 日本語における述語項構造に基づく 画像キャプション生成モデルの自動評価尺度

和田唯我 兼田寛大 杉浦孔明
慶應義塾大学
\{yuiga,k.kaneda,komei.sugiura\}@keio.jp

## 概要

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である。しかし， BLEU や METEOR のような n-gram に基づく自動評価尺度は人間による評価との相関が高くないことが 報告されている．そのため英語においては，人間に よる評価との相関が高い SPICE 等が提案されてきた が，日本語においてはそのような自動評価尺度が存在しない. そこで本論文では，日本語のキャプショ ンに対してシーングラフに基づく評価を行う自動評価尺度 JaSPICE を提案する. 実験の結果，提案尺度 はベースライン尺度ならびに機械翻訳による英訳文 から算出された SPICE と比較して，人間による評価 との相関係数が高いことを確認した。

## 1 はじめに

画像キャプション生成は，視覚障害者の補助，画像に関する対話生成，画像に基づく質問応答など，幅広く研究が行われ，様々な用途で社会応用されて いる [1-3]. 本研究分野においては, 生成文の品質 が適切に評価されることが重要である.

一方， n-gram に基づく自動評価尺度は人間による 評価との相関が高くないことが報告されている [4]. そのため英語においては，人間による評価との相関 が高い SPICE [4] 等の自動評価尺度が提案されてい るものの，日本語を含めた全ての言語においてその ような自動評価尺度が存在するわけではない. した がって，日本語による画像キャプション生成におい て，人間による評価との相関が十分に高い自動評価尺度が構築されれば有益である。

SPICE は英語による画像キャプション生成タス クにおける標準的な尺度であり，シーングラフに 基づいた評価を行う。ここで，SPICE は Universal Dependency (UD) [5] を用いてシーングラフを生成す
る.しかし，UDでは基本的な依存関係しか抽出で きず，日本語における「A の B」[6] などの複雑な関係への対処が不十分である (「金髪の男性」など). また，生成文を英訳して SPICE を適用することも考 えられるが，すべての問題設定に対応できるわけで はない. 例えば，TextCaps [7] では画像中の単語を 翻訳することは必ずしも適切ではない，以上のよう に，SPICE を日本語へ直接適用することは難しい。

そこで，本論文では日本語による画像キャプショ ン生成手法における自動評価尺度 JaSPICE を提案す る. JaSPICE は係り受け構造と述語項構造から生成 されたシーングラフに基づくため，複雑な依存関係 を抽出できる．図 1 に提案手法の流れを示す. 図の ように，画像に対する参照文群とモデルの生成文を 入力として，生成文がどの程度適切であるかを示す JaSPICE 值を計算する。

既存手法との違いは，日本語における画像キャプ ション生成モデルを評価できる点，係り受け構造と 述語項構造に基づきシーングラフを生成する点，お よび同義語集合を自動評価に用いた点である. 係り 受け構造と述語項構造をシーングラフに反映させる ことで，参照文群と生成文に対し適切なシーングラ フを生成することができると期待される。また，同義語集合を用いることで，表層表現の不一致による 評価値の低下を避けることができるため，人間によ る評価との相関が高まることが期待される.

提案手法1) における新規性は以下の通りである。

・日本語による画像キャプション生成タスクにお ける自動評価尺度 JaSPICE を提案する。

・UD を用いる SPICE とは異なり，JaSPICE では 係り受け構造と述語項構造に基づき，日本語の 文からシーングラフを生成する。

・同義語を利用したグラフの拡張手法を導入 する。

図 1: 提案手法の流れ

## 2 問題設定

本論文では，日本語での画像キャプション生成に 対する自動評価を扱う. 画像キャプション生成モデ ルにおける自動評価尺度は，人間による評価に近い ことが望ましい. 具体的には評価値と人間による評価との相関係数が高いことが望ましい.

本論文で使用する用語を以下のように定義する.

・正解キャプション：画像に対してアノテータが 付与したキャプション.
- 述語項構造 : 文中の述語とその項の関係を表現 する構造 [8].

・シーングラフ : 画像内の物体同士の意味的関係 を表現したグラフ. 詳しくは 3.1 節にて述べる.

画像キャプション生成モデルにおける自動評価尺度は, $i$ 番目の画像に対してモデルの生成する キャプション $\hat{y}_{i}$ と，画像に対する正解キャプショ ン $\left.\{y_{i, j}\right.\}_{j=1}^{N}$ を入力として,$\left.\{y_{i, j}\right.\}_{j=1}^{N}$ に対して $\hat{y}_{i}$ が 適切であるかの評価値を計算する。ここで， $N$ は $y_{i}$ あたりの正解キャプション数を示す.

本自動評価尺度の評価には人間の評価との相関係数 (Pearson/Spearman/Kendall の相関係数）を使用す る. 本論文では, 日本語の画像キャプションに対す る自動評価を前提とする。ただし, 本論文の議論の 一部は，他言語に応用可能であると考えられる。

## 3 提案手法

本論文では，日本語における画像キャプション 生成のための自動評価尺度 JaSPICE を提案する. JaSPICE は SPICE [4] を拡張した自動評価尺度であ り, 日本語のキャプションに対してシーングラフに 基づく評価を行うことが可能である。本評価尺度は SPICE を拡張した手法だが，主語の補完や同義語に よるノードの追加など，SPICE では扱わない要素も 考慮しており, 本論文の議論の一部は, 他の自動評価尺度に対しても応用可能であると考えられる。

本提案手法と SPICE の主な違いは以下の通りで ある。
・UD [5]を用いるSPICE とは異なり，JASPICE は 係り受け構造と述語項構造に基づきルールベー スでシーングラフを生成する.

・ JaSPICE はヒューリスティックなゼロ照応解析 と同義語を利用したグラフの拡張を行う。

本提案手法は, 図 1 のように Japanese Scene Graph Parser (JaSGP) と Graph Analyzer (GA) に分けられる.

## 3.1 シーングラフ

シーングラフはキャプション $y$ に対して $G(y)=\mathcal{G}\langle O(y), E(y), K(y)>$ で表される. ここで, $O(y)$ は $y$ に属する物体の集合， $E(y)$ は物体同士の関係の集合，また $K(y)$ は属性を持った物体の集合である． $C, R ， A$ をそれぞれ物体，関係，属性の全体集合とすると， $O(y) \subseteq C, E(y) \subseteq$ $O(y) \times R \times O(y), K(y) \subseteq O(y) \times A$ である.

(a)

(b)図 2: 画像と対応するシーングラフの一例

図 2 に画像とシーングラフの例を示す. 図 2(b) は 図2(a) の説明文「人通りの少なくなった道路で，青 いズボンを着た男の子がオレンジ色のへルメットを 被り，スケートボードに乗っている.」から得られ たシーングラフである．ピンク，緑，水色のノード はそれぞれ物体，属性，関係を表し，矢印は依存関係を表す。

## 3.2 Japanese Scene Graph Parser

り, 出力は入力されたキャプション $\hat{y}$ に対するシー ングラフ $G(\hat{y})$ である. まず，形態素解析器，構文解析器, 述語項解析器より, $\hat{y}$ か述語項構造と係り 受け構造が取り出される。次に，述語項構造と係り 受け構造から 10 種類の格を抽出し, 抽出した格より ルールベースでシーングラフ $\mathcal{G}\langle O(\hat{y}), E(\hat{y}), K(\hat{y})>$ を生成する。ここで， 10 種類の格とはガ格， ヨ格，二格, ト格, デ格, カラ格, ヨリ格,へ格, マデ格, 時間格 [9] である.

後述の通り，提案する自動評価尺度では $E(\cdot)$ を 使用するが，日本語ではゼロ代名詞が存在する場合，すなわち関係 Rel $<o, R, o^{\prime}>$ のうち物体 $o$ が 欠損している場合がある. したがって，提案手法 では次のようにヒューリスティックな方法でゼロ 照応解析を行う．いま，物体 $o_{2}$ と $o_{3}$ が関係 $R$ に よって接続されているとする. 述語項構造と係り 受け構造より述語に対する主語が特定できない $\mathcal{R}=\mathrm{Rel}<?, R, o_{2}>$ が存在する場合， $o_{2}$ と接続して いる別の関係 $\mathrm{Rel}<\mathrm{O}_{3}, R^{\prime}, o_{2}>$ から $\mathcal{R}$ における主語 を $o_{3}$ へと決定する。

## 3.3 Graph Analyzer

GA における入力は $\left.\{y_{i, j}\right.\}_{j=1}^{N}$ から得られた $\left.\{G\left(y_{j}\right)\right.\}_{j=1}^{N}$ と $\hat{y}$ から得られた $G(\hat{y})$ である. まず， GA では次のように同義語によるノードの追加を 行う. すなわち, $o \in O(\hat{y})$ の同義語集合 $S(\hat{y})$ を生成し， $O(\hat{y})$ と $S(\hat{y})$ の和集合 $O^{\prime}(\hat{y})$ を用いて新たに $G^{\prime}(\hat{y})$ を定義する. ここで，同義語集合には日本語 WordNet [10]を用いた.

次に, $\left.\{y_{i, j}\right.\}_{j=1}^{N}$ に対する $\left.\{G\left(y_{i, j}\right)\right.\}_{j=1}^{N}$ につい て,これらを 1 つの $G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)$ へと統合す る. 具体的には, $\left.\mathcal{G}<O\left(y_{i, j}\right), E\left(y_{i, j}\right), K\left(y_{i, j}\right)\right.\rangle$ につ いて, $\mathcal{G}<\left.\{O\left(y_{i, j}\right)\right.\}_{j=1}^{N},\left.\{E\left(y_{i, j}\right)\right.\}_{j=1}^{N},\left.\{K\left(y_{i, j}\right)\right.\}_{j=1}^{N}>$ を $G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)$ とする. $T(G(x))$ を $T(G(x)):=$ $O(x) \cup E(x) \cup K(x)$ と定義すると, $T\left(G^{\prime}(\hat{y})\right)$ と $T\left(G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)\right)$ から適合率 $P$, 再現率 $R$, および $\mathrm{F} 1$値 $F_{1}$ を次のように計算する.

$
\begin{aligned}
P\left(\hat{y}, \boldsymbol{y}_{i}\right) & =\frac{\left|T\left(G^{\prime}(\hat{y})\right) \otimes T\left(G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)\right)\right|}{\left|T\left(G^{\prime}(\hat{y})\right)\right|} \\
R\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right) & =\frac{\left|T\left(G^{\prime}(\hat{y})\right) \otimes T\left(G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)\right)\right|}{\left|T\left(G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)\right)\right|}
\end{aligned}
$

$\operatorname{JaSPICE}\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)=F_{1}\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)=\frac{2 \cdot P\left(\hat{y}, \boldsymbol{y}_{i}\right) \cdot R\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)}{P\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)+R\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)}$

ここで， $\otimes$ はつのシーングラフのうち一

致している組を返す演算子である。GAでは $\operatorname{JaSPICE}\left(\hat{y}, \boldsymbol{y}_{\boldsymbol{i}}\right)$ を出力とし，この値を JaSPICE 値と 定義する。

## 4 実験

## 4.1 実験設定

JaSPICE を既存の自動評価尺度と比較評価するた め，JaSPICE 值と人間による評価との相関係数を用 いた評価実験を行う.

$s_{J}^{(i)}$ を $i$ 番目のキャプションに対する JaSPICE 値, $s_{H}^{(i)} \mathrm{i}$ 番目のキャプションに対する人間による評価とする. このとき, $\mathrm{N}$ 対の $\left.\{\left(s_{J}^{(i)}, s_{H}^{(i)}\right)\right.\}_{i=1}^{N}$ に対す る相関係数 (Pearson, Spearman, Kendall の相関係数) を評価に用いる．また，実験設定の詳細は付録 A. 2 に記載する。

## 4.2 実験結果

表 1 に提案尺度ならびにべースライン尺度 と，人間による評価との相関係数を示す。ここ でベースライン尺度には，画像キャプション 生成において標準的な尺度である BLEU [11], ROUGE [12], METEOR [13], CIDEr [14] を用いた。表 1 より，JaSPICE は Pearson, Spearman, Kendall の相関係数において，それぞれ $0.501,0.529,0.413$ であり， ベースライン尺度を上回った.

表 2 に JaSPICE および SPICE と人間による評価との相関係数を示す.ここで， $\mathrm{SPICE}_{\mathrm{trm}}$ は JParaCrawl [15] で訓練した Transformer の出力した

(DeepL) の出力した英訳文を用いて算出した SPICE 值である. JaSPICE は Pearson, Spearman, Kendall の 相関係数において，それぞれ $0.501,0.529,0.413$ で あり, SPICE $_{\text {trm }}$ と比較して $0.01,0.013,0.01$ ポイ

JaSPICE はそれぞれ $0.013,0.014,0.011$ ポイント上回った.

図 3 亿提案尺度の成功例を示す. 図は入力画像と $\hat{y}_{i}$ 「眼鏡をかけた女性が青い携帯電話を操作してい る」に対するシーングラフである．図における $y_{i, 1}$ は「女性が青いスマートフォンを片手に持ってい
表 1: 自動評価尺度と人間による評価との相関係数

表 2: JaSPICE および SPICE と人間による評価との 相関係数

る」であり, $\operatorname{JaSPICE}\left(\hat{y}, \boldsymbol{y}_{i}\right)=0.588, s_{H}^{(i)}=5$ であっ た. テスト集合において，この JaSPICE 値は上位 $0.02 \%$ の值であるため, 図の例において提案尺度は 人間による評価に近い値を出力しているといえる。

## 4.3 Ablation study

以下の 2 つの条件を Ablation study に定めた.

(i) UDを用いたグラフ解析器を使用した場合: JaSGP UD を用いたグラフ解析器に置き換え ることで，JaSPICE の性能への影響を調査した。

(ii) 同義語によるグラフ拡張を行わない場合 :同義語によるグラフ拡張を行わないことで， JaSPICE の性能への影響を調査した。

JaSPICE は $T\left(G^{\prime}(\hat{y})\right)$ と $T\left(G\left(\left.\{y_{i, j}\right.\}_{j=1}^{N}\right)\right)$ をもとに 一致する組を調べるため，一致する組がない場合 JASPICE 值が 0 になることがある.そのため，上記の ablation 条件において，相関係数および $\operatorname{JaSPICE}\left(\hat{y}, \boldsymbol{y}_{i}\right)=0$ であったサンプル数 $M$ につい ても調査した。

表 3 に ablation study の結果を示す。条件 (ii) と (iv) を比較すると Pearson, Spearman, Kendall の相関係数 において，それぞれ $0.102,0.139,0.104$ ポイント下回った. また， $M$ については 84 サンプル下回った. このことから JaSGP の導入が最も性能に寄与してい ると考えられる。同様に，条件 (i) と (iv)，条件 (iii) と (iv) から，グラフ拡張の導入も性能に寄与してい ることが確認できる.表 3: Ablation study (P: Pearson, S: Spearman, K: Kendall)

 & $\mathrm{P}$ & $\mathrm{S}$ & $\mathrm{K}$ & $\mathrm{M}$ \\

(ii) & UD & $\checkmark$ & 0.399 & 0.390 & 0.309 & 1430 \\
(iii) & JaSGP & & 0.493 & 0.524 & 0.410 & 1417 \\
(iv) & JaSGP & $\checkmark$ & $\mathbf{0 . 5 0 1}$ & $\mathbf{0 . 5 2 9}$ & $\mathbf{0 . 4 1 3}$ & $\mathbf{1 3 4 6}$

(a)

(b)図 3: 成功例における画像とシーングラフ

## 5 おわりに

本論文では，日本語での画像キャプション生成に 対する自動評価尺度を提案した。本研究の貢献を以下に示す.

・日本語の画像キャプション生成に対する自動評価尺度 JaSPICE を提案した。

・UD [5] を用いる SPICE [4] とは異なり，係り受 け構造と述語項構造に基づくルールベースのグ ラフ解析器 JaSGPを提案した.

・同義語を考慮した評価を行うため，同義語を利用したグラフの拡張を導入した.

・JaSPICE はベースライン尺度，ならびに機械翻訳による英訳文から算出された SPICE と比較し て，人間による評価との相関係数が高いことを 示した.

## 謝辞

本研究の一部は，JSPS 科研費 $20 \mathrm{H} 04269$ ，JST CREST，NEDO の助成を受けて実施されたもので ある.

## 参考文献

[1] Danna Gurari, Yinan Zhao, Meng Zhang, and Nilavra Bhattacharya. Captioning Images Taken by People Who Are Blind. In ECCV, pp. 417-434, 2020.

[2] Julia White, Gabriel Poesia, Robert Hawkins, et al. Opendomain Clarification Question Generation Without Question Examples. In EMNLP, pp. 563-570, 2021.

[3] Adam Fisch, Kenton Lee, Ming-Wei Chang, Jonathan Clark, and Regina Barzilay. CapWAP: Image Captioning with a Purpose. In EMNLP, pp. 8755-8768, 2020.

[4] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In ECCV, pp. 382-398, 2016.

[5] Marie-Catherine de Marneffe, Timothy Dozat, Natalia Silveira, et al. Universal Stanford dependencies: A crosslinguistic typology. In LREC, pp. 4585-4592, 2014.

[6] 黒橋禎夫, 酒井康行. 国語辞典を用いた名詞句「A の B」の意味解析. 情報処理学会研究報告. NL, 自然言語処理研究会報告, Vol. 129, pp. 109-116, 1999.

[7] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, et al. TextCaps: a Dataset for Image Captioning with Reading Comprehension. In ECCV, pp. 742-758, 2020.

[8] Yuichiroh Matsubayashi and Kentaro Inui. Distance-Free Modeling of Multi-Predicate Interactions in End-to-End Japanese Predicate-Argument Structure Analysis. In COLING, pp. 94-106, 2018.

[9] 河原大輔, 笹野遼平, 黒橋禎夫, 橋田浩一.格・省略・共参照タグ付けの基準，2005. https://nlp.ist.i.kyoto-u.ac.jp/nl-resource/ corpus/KyotoCorpus4.0/doc/rel_guideline.pdf.

[10] Francis Bond, Hitoshi Isahara, Sanae Fujita, et al. Enhancing the Japanese WordNet. In Workshop on Asian Language Resources, pp. 1-8, 2009.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In ACL, pp. 311-318, 2002.

[12] Chin Lin. ROUGE: A Package For Automatic Evaluation Of Summaries. In ACL, pp. 74-81, 2004.

[13] Satanjeev Banerjee, et al. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In IEEvaluation@ACL, pp. 65-72, 2005.

[14] Ramakrishna Vedantam, Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566-4575, 2015.

[15] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus. In LREC, pp. 3603-3609, 2020.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In ICML, pp. 2048-2057, 2015.

[17] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao
Soares. Image Captioning: Transforming Objects into Words. In NeurIPS, Vol. 32, pp. 11137-11147, 2019.

[18] Marcella Cornia, Matteo Stefanini, Lorenzo Baraldi, and Rita Cucchiara. Meshed-Memory Transformer for Image Captioning. In CVPR, pp. 10578-10587, 2020.

[19] Yunpeng Luo, Jiayi Ji, Xiaoshuai Sun, Liujuan Cao, et al. Dual-Level Collaborative Transformer for Image Captioning. AAAI, Vol. 35, No. 3, pp. 2286-2293, 2021.

[20] Jingyu Li, Zhendong Mao, et al. ER-SAN: EnhancedAdaptive Relation Self-Attention Network for Image Captioning. In IJCAI, pp. 1081-1087, 2022.

[21] 加藤駿弥, Chenhui Chu, 黒橋禎夫. 抽象度を制御可能 なエンティティレベルの画像キャプション生成. 言語処理学会第 28 回年次大会, pp. 1349-1354, 2021.

[22] Motonari Kambara, et al. Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions. IEEE RAL, Vol. 6, No. 4, pp. 8371-8378, 2021.

[23] Tadashi Ogura, Aly Magassouba, Komei Sugiura, Tsubasa Hirakawa, et al. Alleviating the Burden of Labeling: Sentence Generation by Attention Branch Encoder-Decoder Network. IEEE RAL, Vol. 5, No. 4, pp. 5945-5952, 2020.

[24] Aly Magassouba, Komei Sugiura, and Hisashi Kawai. Multimodal Attention Branch Network for PerspectiveFree Sentence Generation. In CORL, pp. 76-85, 2019.

[25] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, et al. From Show to Tell: A Survey on Deep Learning-based Image Captioning. arXiv preprint arXiv:2107.06912, 2021.

[26] Tsung Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, et al. Microsoft COCO: Common Objects in Context. In ECCV, pp. 740-755, 2014.

[27] Peter Young, et al. From Image Descriptions to Visual Denotations: New Similarity Metrics for Semantic Inference over Event Descriptions. TACL, Vol. 2, pp. 67-78, 2014.

[28] Piyush Sharma, Nan Ding, et al. Conceptual captions: A Cleaned, Hypernymed, Image Alt-text Dataset for Automatic Image Captioning. In ACL, pp. 2556-2565, 2018.

[29] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset. In ACL, pp. 417-421, 2017.

[30] Takashi Miyazaki and Nobuyuki Shimizu. Cross-Lingual Image Caption Generation. In ACL, pp. 1780-1790, 2016.

[31] Ron Mokady, Amir Hertz, and Amit Bermano. ClipCap: CLIP Prefix for Image Captioning. arXiv preprint arXiv:2107.06912, 2021.

[32] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, et al. Attention is all you need. In NeurIPS, Vol. 30, pp. 5998-6008, 2017.

[33] Peter Anderson, Xiaodong He, et al. Bottom-Up and TopDown Attention for Image Captioning and Visual Question Answering. In CVPR, pp. 6077-6086, 2018.

[34] Mert Kilickaya, Aykut Erdem, Nazli Ikizler-Cinbis, and Erkut Erdem. Re-evaluating Automatic Metrics for Image Captioning. In EACL, pp. 199-209, 2017.

## A 付録

## A. 1 関連研究

画像キャプション生成の研究は盛んに行われてお り [16-21], 生活支援ロボットへの応用も行われて いる [22-24]. 画像キャプション生成に関するサー ベイ論文である [25] では, 画像キャプション生成モ デルや標準的なデータセット，および評価尺度につ いての包括的な総括がなされている.

画像キャプション生成における代表的な尺度とし $\tau$, BLEU [11], ROUGE [12], METEOR [13], CIDEr [14] が挙げられる. また英語における代表的な尺度とし ては，これらに加え SPICE [4]が挙げられる.

英語の画像キャプション生成タスクにおける 標準的なデータセットとして, MS COCO [26] や Flickr30K [27], CC3M [28] がある. また日本語の画像キャプション生成タスクにおける標準的なデータ セットとして, MS COCO に日本語のキャプション が付与された STAIR Captions [29] や YJ Captions [30] がある.

## A. 2 実験設定

本研究では，日本語の画像キャプション生成にお いて標準的なコーパスである STAIR Captions [29]を 用いた. 本実験では STAIR Captions を訓練集合，検証集合，テスト集合に分割し，それぞれの集合は 413915, 37269, 35594 個のキャプションを含む.

人間による評価は，与えられた 1 枚の画像と，対応するキャプションの組に対して，キャプションの 適切さを 5 段階で評価したものである. ここで，人間による評価はクラウドソーシングサービスを用い て 100 人の評価者から収集した.

評価には，モデルの出力した各キャプション，ま た $\left.\{y_{i}\right.\}$ と $\left.\{y_{\mathrm{rand}}\right.\}$ を含む合計 21227 個のキャプショ ンを使用した. ここで， $y_{i}$ は $i$ 番目の画像に対する $\left.\{y_{i, j}\right.\}_{j=1}^{5}$ のうち 1 つを無作為に抽出したキャプショ ンであり， $y_{\mathrm{rand}}$ は全画像における正解キャプショ ンのうち 1 つを無作為に抽出したキャプションで ある.

評価に使用するモデルは，画像キャプション生成において標準的なモデルを採用した. 使用し たモデルは SAT [16], ORT [17], $\mathcal{M}^{2}$-Transformer [18], DLCT [19], ER-SAN [20], ClipCap mlp $^{\text {[31], ClipCap }}{ }_{\text {trm }}$, および 3 種類の Transformer [32] である.ここで，

(a)

(b)図 4: 失敗例における画像とシーングラフ

て Mapping Network を MLP, Transformer としたも のであり，また使用した 3 種類の Transformer は Bottom-up Feature [33] を入力に用いた 3, 6, 12 層から なる.

また上記実験に加えて, 日本語で学習したモデル の出力文を機械翻訳で英訳し，英訳文から算出した SPICE 值と人間による評価との相関係数を計算す る.ここで，機械翻訳には JParaCrawl [15] で訓練し た Transformer，および一般的な機械翻訳システム ${ }^{2)}$ を用いた。

[4] では，自動評価尺度の評価のため $\left.\{\left(s_{S}^{(i)}, s_{H}^{(i)}\right)\right.\}_{i=1}^{N}$ に対する相関係数と, モデルご との平均值に対する相関係数 $\left.\{\left(\bar{s}_{S}^{(j)}, \bar{s}_{H}^{(j)}\right)\right.\}_{j=1}^{J}$ が提示 されている.ここで $s_{S}^{(i)} i$ 番目のキャプションに 対する SPICE 值とし， $J$ をモデルの個数とする．し かし，一般に $J$ は極めて小さいため，相関係数を計算する上で適切であるとは言えない，そのため前者 は後者より適切であると考えられ，実際 [34]もキャ プションごとの相関係数のみを評価に用いている. したがって，本論文ではモデルごとの平均值を用い た相関係数の計算は行わず， $\left.\{\left(s_{J}^{(i)}, s_{H}^{(i)}\right)\right.\}_{i=1}^{N}$ に対す る相関係数を評価に用いる。

## A. 3 失敗例

図 4 に提案尺度の失敗例を示す. 図は入力画像 と $\hat{y}_{k} 「$ 皿に料理が盛られている」に対するシーン グラフである. 図における $y_{k, 1}$ は「パンにハムと きゅうりとトマトとチーズが挟まっている」であ り, $s_{H}^{(k)}=5$ であったのに対し, $\operatorname{JaSPICE}\left(\hat{y}, \boldsymbol{y}_{k}\right)=0$ であった. 図 4 の例では, $y_{k, 1}$ が「パン」や「ハム」 という語を用いているのに対して， $\hat{y}$ が「料理」と いうそれらの上位語を用いており，表層表現の不一致から低い値が出力されている.


# 画像キャプションを利用した IconQA タスクへのアプローチ

塩野大輝 1 宮脇峻平 1,2 長澤春希 1 鈴木潤 1,3
1 東北大学 2 株式会社キーウォーカー 3 理化学研究所
\{daiki.shiono.s1, haruki.nagasawa.s8\}@dc. tohoku.ac.jp
\{jun.suzuki, shumpei.miyawaki.b7\}@tohoku.ac.jp

## 概要

本研究では，抽象的なダイアグラム画像の読解と多様な推論能力を必要とする Visual Question Answering（VQA）タスクの 1つである IconQA [1] に取り組む。我々は VQA タスクを解くにあたって， 1）視覚情報と言語情報における意味表現の紐付け, 2）言語空間上での視覚推論における大規模言語モ デルの推論能力の活用，を目的にキャプション生成 モデルを用いた視覚情報の拡張を行う. 本研究では IconQA で定義された各スキル集合において，視覚情報の拡張が VQA モデルの推論能力にどのような 影響を与えるか調査を行う．実験結果より，キャプ ションによる視覚情報の拡張が VQA タスクを解く 手がかりを提供する可能性があることを示す.

## 1 はじめに

視覚情報と言語情報の意味関係を結びつけたマル チモーダルな知識 [2] を計算機が獲得することは,実社会において人工知能研究が目指す最終目的の 1つである.この目的の実現に向けた取り組みの 1 つとして，画像中の視覚情報に関連する質問に解答 することで計算機の読解能力を定量的に評価する VQA [3, 4] タスクが研究されている. 特にアイコン のような抽象的なダイアグラム画像を推論対象とし た $^{1)}$ IconQA [1]では，VQA タスクを解く上で必要と される 13 の推論スキル集合を提案しており，例え ば物体認識やテキスト読解, 常識推論や数値推論な どのスキルが含まれる. 近年では Transformer [5] を 用いて, 言語情報と視覚情報の関連する意味表現を 紐づけることで質問に解答する VQA モデルが多く 提案されているが，豊富な視覚情報を含むダイアグ ラム画像を対象にした VQA モデルは少なく, その

1) California Common Core Content Standards $の$ IXL Math Learning より収集したデータに対し，小学校 3 年生までに習う算数の問題をクラウドソーシングで作成している.方法論と推論スキル別の関係性については十分に明 らかにされていない.

本研究では，キャプション生成モデルを用い，画像を言語として記述する視覚情報の拡張が，様々な 推論スキルに対してどのような影響をもたらすのか 調査することを目的として，IconQA のベースライ ンモデルである pyramid patch cross-modal Transformer （Patch-TRM） [1]を用いて入力画像と質問に加えて キャプションを後期接続するモデルを提案する. 本研究の貢献は以下の通りである。

・視覚情報と言語情報の意味表現を紐付けること を目的に，視覚情報の拡張として入力画像の キャプションをVQA モデルに組み込む方法を 提案し，推論スキル別にその影響を評価する。

・大規模言語モデルの推論能力を活用した言語空間上での視覚推論を行うために，言語情報 として記述されたキャプションを入力とした GPT-3 [6] の推論性能について調査する.

・キャプション生成を用いた視覚情報の拡張が視覚推論に有効であることを示した。

## 2 関連研究

## 2.1 視覚情報と言語情報の融合

VQA を含む Vision and Language 分野において重要な共通事項の 1 つに「視覚情報と言語情報の融合」がある. 一般的に Transformer ベースの読解モ デル $[7,8,9,10]$ の注意機構を用いて視覚情報と言語情報の意味表現を紐づける．また画像と質問に加え て、画像に関連する付加情報（物体クラス [11]，画像中の文字情報 $[12,13]$, 視線トレース情報 [14] な ど）のモデル化により，視覚情報と言語情報の融合 が促進されることが明らかとなっている. 特に大局的な視覚情報を記述するキャプションは, 局所的な 読解対象に解答する VQA タスクにおいて視覚情報

図 1 キャプション生成を用いた視覚情報の拡張による提案モデルにおける画像選択問題の例（3.2 節）

の手がかりを提供する $[15,16,17]$. 本研究では 1 つ の参照に対して色や形など複数の意味表現を持つ ダイアグラム画像を対象に，そのキャプションが VQA モデルの推論能力に与える影響を調査する.

## 2.2 単一モダリティ空間上での視覚推論

視覚情報と言語情報の融合を促進する方法論 の 1 つとして，画像情報および言語情報を一方の モダリティとして扱うことが挙げられる $[18,19]$. Liu ら [18] は，言語としての文脈と質問をレンダリ ングし，画像として扱うことで数值推論に取り組 んでいる.また Outside Knowledge VQA（OK-VQA） [20] タスクでは，入力画像を言語として記述し,大規模言語モデルの推論能力を利用することで VQA モデルの推論性能を改善する手法が提案され ている [21, 22, 23]. 本研究では, BERT [24] および GPT-3 [6] の推論能力を活用するために，ダイアグラ ム画像のキャプションを用いて言語空間上で視覚推論を行い，その推論性能を評価する。

## 3 キャプション情報を用いた VQA

本章では，抽象的なダイアグラム画像を対象にし た IconQA に取り組む. 3.1 節では IconQA のベース ラインモデルである Patch-TRM [1] を説明し， 3.2 節 でキャプションの言語情報を Patch-TRM に組み込む 方法について提案する． 3.3 節では，画像をキャプ ションとして記述することで大規模言語モデルの推論能力を活用する方法について提案する。

## 3.1 IconQA ベースラインモデル

IconQA は質問とダイアグラム画像を入力として，質問に対する正解候補の中から解答を 1 つ選択する VQA タスクであり，1）画像候補選択問題 2）テキス 卜候補選択問題 3）穴埋め問題，の3つのサブタスク が選択問題として定義されている ${ }^{2}$ 。我々はべース ラインモデルとして Lu ら [1] が提案した Patch-TRM を用いる. Patch-TRM は，言語，画像，選択肢の 3 つのエンコーダと，解答を選択する分類器で構成さ れる。言語エンコーダは BERT [24], 画像エンコー ダは Vision Transformer [25]，選択肢エンコーダおよ び分類器は線形層をそれぞれ用いる。攵イアグラ ム画像は，階層パッチ領域に分割される ${ }^{3}$. 分割さ れたパッチ領域は事前に学習された $\operatorname{ResNet}[26]^{4}$ に よって符号化され，画像エンコーダに入力される.質問は，トークンに分割されたのち言語エンコーダ によって符号化され，注意機構によってパッチ領域 の視覚表現と融合される。また画像候補選択問題で は ResNetによる埋め込み表現，テキスト候補選択問題では GRU [27] による埋め込み表現を選択肢エン コーダに入力する．最終的に注意機構からの出力お よび選択肢エンコーダからの出力を連結した中間表現を用いて分類器が解答候補に対するスコアを算出 する。なお穴埋め問題においては，選択肢エンコー

図 2 GPT-3 [6] による視覚推論（3.3 節）

ダは使用せず，注意機構からの出力表現を分類器に 入力する. 学習時は, 分類器が出力したスコアに対 して二值交差エントロピーを用いた最適化を行う。

## 3.2 キャプションを用いた視覚情報の拡張

本節では，ダイアグラム画像と質問における視覚および言語情報の意味表現の融合を促進するこ とを目的として，ダイアグラム画像をキャプショ ンとして記述し，その言語情報を Patch-TRM に組 み込む手法を提案する（図 1)。キャプションの記述には, BLIP [28] のキャプション生成モデルを用 いる5).キャプションの組み込みを実現するため, Patch-TRM の 3 つのエンコーダに加えてキャプショ ンを符号化するための言語エンコーダを導入す $る^{6)}$. 具体的には， 3.1 節で説明したべースライン の画像エンコーダを踏襲し, 階層的にパッチ分割さ れた画像に対して BLIPを適用し，言語として記述 されたキャプションを言語エンコーダで符号化す $る^{7)}$. 以降は，3.1 節と同様に，質問および選択肢の 表現と組み合わせることで分類器に入力するため の中間表現を作成する. 本研究では分類器に入力す る中間表現として，画像エンコーダによる視覚表現 (img)，言語エンコーダからの言語表現 (txt)，両エ ンコーダから出力された視覚および言語の連結表現 （both）の 3 種類を用いて比較評価を行う. なお画像候補選択問題については，分類器に入力される選択肢の中間表現において，画像候補に加えて BLIP で 記述した言語候補も使用し，言語候補選択問題で使用する GRU と線形層で符号化された言語選択表現

表 1 IconQA [1] データセットの質問数

を視覚選択表現に連結したものを使用する ${ }^{8)}$.

## 3.3 GPT-3 による言語推論

Lu ら [1] が提案した Patch-TRM は，数値推論な ど高度な推論能力が要求される問題に対して改善 の余地がある. 我々は Schwenk ら [20] の研究に倣 い，大規模言語モデルの推論能力を活用すること で，IconQA における予測性能の改善を目指し，数值推論などのスキル別に評価を行う．具体的には， GPT-3 [6] を用いて言語空間上での推論を行うため に， 1 枚のダイアグラム画像全体に対して，人手お よび BLIP によって記述されたキャプションを使用 する. 記述されたキャプションは，図 2 で示すタス ク指示および質問のプロンプトと連結され，ゼロ ショットの設定で GPT-3 に入力される.

## 4 実験設定

5.1 節では， 3.2 節で提案した Patch-TRM の読解能力を評価するため， 13 の推論スキル9) が定義された IconQAを用いて, 画像候補選択問題 (Img.)，テキス 卜候補の選択問題 (Txt.)，穴埋め問題 (Blank.)，の3 つのサブタスクで評価を行う（表 1)，評価指標には 正解率を用いる。また Patch-TRM の分類器への 3 つ の入力表現に対して適切な比較を行うため，視覚お よび言語の連結表現（both）に関して，直前の線形層における出力次元数を，他 2 つの入力表現の次元数の半分になるように設定する（図 1)．Patch-TRM における学習設定は表 3 を参照されたい。

5.2 節では，言語モデルによる推論能力を活用す るために，3.3 節で説明した 2 つのキャプション 生成を導入して，IconQA の推論スキル別に評価を 行う. 評価対象の言語モデルは，3.2 節で説明した Patch-TRM（txt）に加えて GPT-3（表 4）を対象とす る。評価対象のタスクとして選択肢の条件に依存し

8） 事前調査より txt における画像候補選択の正解率が低かっ たため画像候補に加えることとした。

9) Geometry, Counting, Comparing, Spatial, Scene, Pattern, Time, Fraction, Estimation, Algebra, Measurement, Commonsense, Probability．詳細は Lu ら [1]の論文を参照されたい.
表 2 IconQA 評価セットにおけるサブタスクおよび推論スキル別の Patch-TRM の正解率

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

ないタスク設定に限定するため，IconQA の穴埋め 問題のみを使用し，この中から無作為に抽出した 57 件のデータを評価セットとする。 また GPT-3 の生成結果に対して適切な評価を行うため，意味的に一致 する解答を正解として人手による判断を行う10).

## 5 実験結果

## 5.1 キャプションを考慮したモデルの評価

3.2 節で説明した，キャプション生成を用いた視覚情報の拡張による Patch-TRM の読解性能の評価結果を表 2 に示す。表 2 より，画像候補選択（Img.） および穴埋め問題 (Blank.) タスクでは，視覚情報 と言語情報を共同でモデル化する both モデルの正解率が単一情報を用いるモデルの正解率を凌駕し た. また推論スキル別の評価においても，7つの推論スキルにおいて both モデルが単一情報を用いる モデルの正解率を上回ったことから，キャプション 生成モデルによる視覚情報の拡張が IconQA におい て効果的であることを示した. この結果から，視覚情報の拡張であるキャプションが，VQA タスクを 解く上で必要となる画像と質問の読解に関する手が かりを提供できることが示唆される.

## 5.2 GPT-3 を用いた視覚推論

3.3 節で説明した, 人手および BLIP によるキャ プションに対する言語モデルの推論結果に対して, IconQA の推論スキル別に評価を行った（図 3).ま た言語モデル別の性能差を調査するため， 3.2 節で 提案した Patch-TRM（txt）でも同様に評価を行った.図 3 から，人手キャプションを用いた場合に GPT-3 の推論結果の正解率が Patch-TRM に対して大きく 上回った.これにより，GPT-3を使用することで， VQA モデルの読解性能が向上する可能性があるこ とが示唆された。また GPT-3 と Patch-TRM（txt）で

10） 例えば，推論結果が one で正解が 1 であった場合，これ らは同じ内容を指しているものとし正解とする.

図 3 IconQA 穴埋め問題における推論スキル別の正解率 キャプション別に比較を行うと，GPT-3では人手 キャプションを使用した方が正解率が高い一方で， Patch-TRM（txt）では BLIPキャプションを使用した 方が正解率が高い結果となった. これは Patch-TRM （txt）の学習データが BLIPキャプションを使用して いることに起因していると考えられる．また，A. 2 節では GPT-3 による実際の推論結果を示す.この 結果より, 入力画像の大域的な視覚情報を記述した キャプションが，VQAの質問に答えるための適切 な手がかりを GPT-3 に提供していることが示唆さ れた。

## 6 おわりに

本研究では，キャプション生成を用いた視覚情報 の拡張が VQA タスクに与える影響を調査した。 5.1 節では，視覚情報と言語情報を共同で学習する手法が多くの推論スキルで有効であることを示した. 5.2 節では，キャプションを用いた GPT-3 の推論性能を評価し，多様な推論スキルが要求される VQA タスクにおいてキャプションが推論に有効な情報を 提供する可能性があることを示した. 今後の展望と して，推論スキルに対する精緻分析，適切な言語情報の探索 [31]，モデル構造の改善に取り組みたい.

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Pan Lu, Liang Qiu, Jiaqi Chen, Tanglin Xia, Yizhou Zhao, Wei Zhang, Zhou Yu, Xiaodan Liang, and Song-Chun Zhu. Iconqa: A new benchmark for abstract diagram understanding and visual language reasoning. In NeurIPS, 2021.

[2] C.K. Odgen and I.A. Richards. The Meaning of Meaning A Study of the Influence of Language upon Thought and of the Science of Symbolism. Routledge \& Kegan Paul Ltd., 1923.

[3] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. In ICCV, pp. 2425-2433, 2015.

[4] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. In CVPR, pp. 6325-6334, 2017.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008, 2017.

[6] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS.

[7] Pengchuan Zhang, Xiujun Li, Xiaowei Hu, Jianwei Yang, Lei Zhang, Lijuan Wang, Yejin Choi, and Jianfeng Gao. Vinvl: Revisiting visual representations in vision-language models. In CVPR, pp. 5579-5588, 2021.

[8] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Vision-andlanguage transformer without convolution or region supervision. In ICML, pp. 5583-5594, 2021.

[9] Zirui Wang, Jiahui Yu, Adams Wei Yu, Zihang Dai, Yulia Tsvetkov, and Yuan Cao. Simvlm: Simple visual language model pretraining with weak supervision. In ICLR, 2022.

[10] Wenhui Wang, Hangbo Bao, Li Dong, and Furu Wei. Vlmo: Unified vision-language pre-training with mixture-of-modalityexperts. CoRR, 2021.

[11] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[12] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. Tap: Text-aware pre-training for text-vqa and text-caption. In CVPR, pp. 8751-8761, 2021.

[13] 田中涼太, 西田京介, 許俊杰, 西岡秀一. テキストと視覚的に 表現された情報の融合理解に基づくインフォグラフィック 質問応答. 言語処理学会, 2022.

[14] Zihang Meng, Licheng Yu, Ning Zhang, Tamara L. Berg, Babak Damavandi, Vikas Singh, and Amy Bearman. Connecting what to say with where to look by modeling human attention traces. In CVPR, pp. 12679-12688, 2021.

[15] Soravit Changpinyo, Doron Kukliansy, Idan Szpektor, Xi Chen, Nan Ding, and Radu Soricut. All you may need for VQA are image captions. In NAACL-HLT, pp. 1947-1963, 2022.

[16] Radhika Dua, Sai Srinivas Kancheti, and Vineeth N Balasubramanian. Beyond vqa: Generating multi-word answers and rationales to visual questions. In CVPR, pp. 1623-1632, 2021.

[17] Jialin Wu, Zeyuan Hu, and Raymond Mooney. Generating question relevant captions to aid visual question answering. In ACL, pp. 3585-3594, 2019.

[18] Fangyu Liu, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Yasemin Altun, Nigel H. Collier, and Julian Martin Eisenschlos. Matcha: Enhancing visual language pretraining with math reasoning and chart derendering. CoRR, 2022.

[19] Michael Tschannen, Basil Mustafa, and Neil Houlsby. Image-andlanguage understanding from pixels only. CoRR, 2022.

[20] Dustin Schwenk, Apoorv Khandelwal, Christopher Clark, Kenneth Marino, and Roozbeh Mottaghi. A-OKVQA: A benchmark for visual question answering using world knowledge. In ECCV, pp. 146-162, 2022.

[21] Zhengyuan Yang, Zhe Gan, Jianfeng Wang, Xiaowei Hu, Yumao Lu, Zicheng Liu, and Lijuan Wang. An empirical study of GPT-3 for few-shot knowledge-based VQA. In AAAI, pp. 3081-3089, 2022.

[22] Feng Gao, Qing Ping, Govind Thattai, Aishwarya Reganti, Ying Nian Wu, and Prem Natarajan. Transform-retrieve-generate: Natural language-centric outside-knowledge visual question answering. In CVPR, pp. 5067-5077, 2022.

[23] Liangke Gui, Borui Wang, Qiuyuan Huang, Alexander Hauptmann, Yonatan Bisk, and Jianfeng Gao. KAT: A knowledge augmented transformer for vision-and-language. In NAACL-HLT, pp. 956-968. Association for Computational Linguistics, 2022.

[24] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[25] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021.

[26] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[27] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, pp. 1724-1734. ACL, 2014.

[28] Junnan Li, Dongxu Li, Caiming Xiong, and Steven C. H. Hoi. BLIP: bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, pp. 12888-12900, 2022.

[29] Soravit Changpinyo, Piyush Sharma, Nan Ding, and Radu Soricut. Conceptual $12 \mathrm{~m}$ : Pushing web-scale image-text pre-training to recognize long-tail visual concepts. In CVPR, pp. 3558-3568, 2021.

[30] Christoph Schuhmann, Richard Vencu, Romain Beaumont, Robert Kaczmarczyk, Clayton Mullis, Aarush Katta, Theo Coombes, Jenia Jitsev, and Aran Komatsuzaki. LAION-400M: open dataset of clip-filtered 400 million image-text pairs. CoRR, 2021.

[31] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In CVPR, 2016.

## A 参考情報

## A. 1 Patch-TRM の学習設定

4 章で説明した Patch-TRM [1] の学習設定を表 3 に，GPT-3 [6] の推論時の設定を表 4 に示す.

表 3 Patch-TRM（3.2 節）の実験設定

表 4 GPT-3（3.3 節）の実験設定

## A. 2 GPT-3 の推論結果の定性評価

5.2 節では，人手および BLIP [28] で生成された キャプションを用いて GPT-3 [6] の推論結果を評価 したが，その際に生成された 2 つのキャプションを表 5 に示す. 表 6 では，人手キャプションを使用 した際の GPT-3 の推論結果を示す。推論結果より， キャプションを参照せずに質問文から解答可能な問題もあれば，キャプションを記述しないと解答不可能な問題も含まれており，適切な記述が GPT-3 の視覚推論に有効な手がかりを提供する可能性があるこ とが分かった。

表 5 人手および BLIP [28] のキャプション例

 &  \\

表 6 人手キャプションを用いた際の GPT-3 の推論例

## A. 3 本研究の限界

3.2 節では，階層的にパッチ分割された画像に対 してキャプションを生成していたため，分割境界に 位置する物体に対して適切なキャプションを生成で きない。また Patch-TRM [1] において，選択肢の情報は，分類器に入力される前に質問と視覚情報の中間表現に連結されるだけであり，選択肢と入力画像 との関係性を十分に学習できていない可能性があ る. また提案法では，キャプション生成モデルとし て BLIP [28] を用いたが，VQA モデルの読解能力が BLIP の生成能力に依存してしまう。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 複数動画に対する抽象的キャプション生成 のための基本モデルの検討

高橋力斗 清丸 寛一 Chu Chenhui 黒橋禎夫
京都大学情報学研究科
\{r-takahashi, kiyomaru, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

複数動画に対する抽象的キャプション生成は，複数動画に共通する内容を自然言語で説明するVision and Language タスクである. 本研究では複数動画 に対する抽象的キャプション生成を行うための基本モデルとして, End-to-End モデル及び Cascade モ デルを検討する. モデル構造の比較実験の結果, End-to-End モデルが複数の評価指標で Cascade モデ ルを凌駕していることを示す. 加えて，モデルに対 する複数動画の入力手法がモデルに与える影響を報告する.

## 1 はじめに

動画キャプション生成の研究は単一動画の具体的説明に焦点が当てられてきた $[1,2]$. 一般的な動画キャプション生成のタスク設定では，モデルは動画内で起こっているイベントを単文で説明する [3].動画キャプション生成には動画と自然言語の深い理解が求められ, Vision and Language 領域における主要なタスクとして盛んに研究されている。

一方，動画理解で重要なもう一つの側面に抽象的動画理解がある. 図 1 に例を示す. われわれは左右 の動画をそれぞれ大人たちが鏡の前で踊っている動画，小学生の女の子たちが体育館で踊っている動画 と認識できる。しかしそれと同時に，二つの動画は いずれも人々がジムで踊っている動画であると抽象的に理解することも可能である. このような抽象的動画理解は，複数動画に共通する内容を見つけ，動画間の関係性を理解する上で重要な役割を果たす。

抽象的な動画理解に焦点を当てたタスクとして， われわれは複数動画に対する抽象的キャプション生成を提案し、データセット（本論文では AbstrActs と 称する）を構築した [4]. このタスクは，与えられた 複数の動画に共通する情報をできる限り多く説明す
A group of people is dancing in a gym.

図 1 複数動画に対する抽象的キャプション生成の例. 入力された複数の動画に共通する内容を説明する。

るタスクである。このタスクでは，各動画の内容を 詳細に理解する能力に加えて，動画間に共通する内容を見つけるための抽象化能力が求められる。

本論文では，複数動画に対する抽象的キャプ ション生成を解くための種々のモデルを検討し, AbstrActs を用いてそれらの性能を評価する。具体的には，複数の動画特徴量を結合してモデルに入力する方法と，モデル全体の構造（End-to-End 及び Cascade）について検討・評価を行う．実験結果は，異なる時間における動画内容の類似度を考慮した入力手法（Soft Alignment）及び End-to-End モデルの 有効性を示す。

## 2 関連研究

複数動画に対する抽象的キャプション生成は複数動画から抽象的キャプションを生成するタスクであ る [4]. 入力は $n$ 件の動画が含まれる動画グループ $G$ である. 出力は抽象的キャプション $y$ である. 抽象的キャプション $y$ に求められるのは，動画グルー プ $G$ 内の動画に共通する内容を可能な限り多く説明することである．タスクの最終目標は訓練データ を学習した複数動画に対する抽象的キャプション生成を行うモデル $p_{\theta}(y \mid G)$ を得ることである. $\theta$ はモ デルのパラメータ集合である.

動画キャプション生成では，与えられた単一動画

図 2 AbstrActs データセットの一例.

表 1 AbstrActs の動画及びキャプションの統計. キャプ ション数は人手キャプションとシードキャプションの数 の合計を表す. 動画数は各動画グループに含まれる動画数の合計を表す. 平均含有動画数は動画グループに含ま れる平均的な動画数を表す.

に対してキャプションを生成するモデルを学習す る. 動画キャプション生成モデルは，まずはじめに 事前学習済みの動画特徴量抽出器を用いて動画特徵量を得る。一般に，動画特徴量抽出器には CNN ベースのモデル $[5,6,7]$ あるいは Transformer ベース のモデル $[8,9,10]$ が用いられる. 動画特徴量から キャプションを生成するモデルとしては，多くの先行研究が LSTM ベースのモデルを採用しているが，最近は Transformer ベースのモデルを採用する研究 が増加している [11,12].

既存の動画キャプション生成の研究の大部分は,単一動画の内容を詳細に理解して正確なキャプショ ンを生成することに焦点が当てられてきた. 本研究 で注目するのは抽象的な動画理解であり，既存の キャプション研究とは焦点が異なる.

## 3 AbstrActs データセット

AbstrActs は複数動画に対する抽象的キャプショ ン生成のために構築されたデータセットである [4]. AbstrActs は VATEX [13] を元データとしている. 図 2 に AbstrActs の例を示す. データは動画グループ, 2 種類の抽象的キャプション (人手キャプションと シードキャプション)，TER スコアで構成される。本研究では人手キャプションを複数動画に対する 抽象的キャプション生成の正解キャプションに用 いる.

表 1 に AbstrActs の動画及びキャプションの統

(a) Concat

(b) Soft Alignment

図 3 二つの動画特徵量を結合する方法.

計を示す.データの分割はVATEX の分割に対応している. 動画グループには平均 3 件以上の 動画が含まれる. AbstrActs に含まれる動画には, Kinetics-600 [14,15] に記載の 600 種類の人間の動作 が含まれる。

## 4 基本モデルの検討

本研究では提案タスクを解くモデルとして Transformer ベースのモデルを考える. モデルに対す るどのような改善が複数動画に対する抽象的キャプ ション生成に効果的かを確かめるために，複数の動画特徴量の入力手法及びモデル構造について検討 する。

## 4.1 複数の動画特徴量の結合方法

Transformer ベースのモデルは一つの特徴量系列を 入力として受け取る. 動画特徵量は時間的な特徴量系列で表され，各時間ステップが動画の数フレーム に対応している．複数の動画をモデルに入力するに は，何らかの手法で複数の動画特徴量を処理して一 つの特徵量にする必要がある.

本研究では複数の動画特徵量を入力する手法と して, Concat と Soft Alignment の二つを考える. Concat は複数の動画特徴量を各時間ステップごとに 結合する。図 3(a) に概要を示す.この手法は動画間 の異なるフレーム同士の内容の違いを考慮してい ない。

Soft Alignment では，複数の動画特徴量のうち一 つに着目し，その動画特徴量に似ている部分を他 の動画特徵量から集めて結合する。この手法は注意機構 [16] に着想を得ている. 図 3(b) に概要を示

(a) End-to-End モデル

(b) Cascade モデル

図 4 複数動画に対する抽象的キャプション生成を解く二つのモデル. End-to-End モデルは複数の動画から抽象的キャプ ションを直接生成する. Cascade モデルでは，まず単一動画キャプション生成モジュールが各動画のキャプションを生成 し，その後得られた複数のキャプションを複数文抽象化モジュールに入力して抽象的キャプションを生成する.

す。動画特徴量系列同士で時間ごとに類似度を計算し，その類似度で動画特徴量を重み付けして結合する. $n$ 件の動画特徴量系列 $V_{1}, V_{2}, \ldots, V_{n}$ に対し て Soft Alignment を適用することで，一つの特徴量系列 $V_{\text {align }}=\operatorname{concat}\left(V_{1}, V_{2}^{\prime}, \ldots, V_{n}^{\prime}\right)$ を得る.ただし， $V_{i}^{\prime}=W_{i} \cdot V_{i}$ である.

ここで $W_{i}$ は二つの動画特徴量系列 $V_{1}, V_{i}$ に対応する類似度行列である。また， $V_{1} \in \mathbb{R}^{T_{1} \cdot M}$ かつ $V_{i} \in \mathbb{R}^{T_{i} \cdot M}$ である. $T_{1}, T_{i}$ はそれぞれ $V_{1}, V_{i}$ の系列長 を表す。 $M$ は各時間の特徴量の次元である。このと き， $W_{i} \in \mathbb{R}^{T_{1} \cdot T_{i}}$ である. 二つの動画の各時間同士に 対応する類似度は次の式で計算される：

$
W_{i}\left(t_{1}, t_{i}\right)=\frac{V_{1}\left(t_{1}\right) \cdot V_{i}^{\mathrm{T}}\left(t_{i}\right)}{\left|V_{1}\left(t_{1}\right)\right|\left|V_{i}\left(t_{i}\right)\right|}
$

時間 $t$ における特徵量 $V_{\text {align }}(t)$ は，特徵量 $V_{1}(t)$ に 類似する特徴量を特徴量系列 $V_{i}$ から集め，類似度 で重み付けして結合したものである．特徴量系列 $V_{\text {align }}$ の系列長 $l$ は特徴量系列 $V_{1}$ の系列長に等しい.

## 4.2 モデル構造

## 4.2.1 End-to-End モデル

End-to-End モデルは入力された動画グループか ら直接抽象的キャプションを生成するよう学習 するモデルである。図 4(a) に End-to-End モデルの 概要を示す。まず学習済みの動画特徵量抽出器 を用いて，入力された $n$ 件の動画の特徴量を得 る. 次に，4.1 節で説明した Concat あるいは Soft Alignment を用いて，一つの特徴量系列 $V_{\text {multi }}$ を得 る. 結合された特徴量系列 $V_{\text {multi }}$ は Transformer ベー スのエンコーダモデルに入力され, 特徵量の系列 $\mathbf{z}=f_{\text {enc }}\left(V_{\text {multi }}\right)=\left(z_{1}, z_{2}, \ldots, z_{l}\right)$ を得る. $l$ は結合され た特徴量系列 $V_{\text {multi }}$ の系列長である.

最後に，Transformer ベースのデコーダモデルで抽象的キャプション $y$ を得る. デコードのステップ $t$ における生成単語 $y_{t}=f_{\mathrm{dec}}(\mathbf{y}, \mathbf{z})$ は，過去のステップ
で生成された単語列 $\mathbf{y}=\left(y_{1}, y_{2}, \ldots, y_{t-1}\right)$ と特徵量系列 $\mathbf{z}$ から生成される.

## 4.2.2 Cascade モデル

Cascade モデルは単一動画キャプション生成モ ジュールと複数文抽象化モジュールを組み合わせた モデルである．図 4(b) に Cascade モデルの概要を示 す.はじめに，単一動画キャプション生成モジュー ルでは，Transformer モデルを用いて各動画に対応す るキャプションを生成する，得られたキャプション は，学習済み単語埋め込みモデルによって単語埋め 込みの系列に変換される。これらのキャプション特徵量系列は，4.1 節で説明した大力手法を適用する ことで，一つの特徴量系列に変換される. 最後に，特徴量系列を Transformer モデルに入力し, 抽象的 キャプションを得る.

## 4.2.3 Cascade (Gold) モデル

Cascade (Gold) モデルは, Cascade モデルの単一動画キャプション生成モジュールが十分高い性能を 持っている状態を想定したモデルである．このモデ ルでは単一動画キャプション生成モジュールを使用 せず，代わりに各動画の正解キャプションを複数文抽象化モジュールに入力することで抽象的キャプ ションを生成する．正解キャプションは動画の内容 を十分に説明しているはずであるため，正解キャプ ションは完璧な性能を持つ単一動画キャプション生成モジュールが生成するキャプションとみなせる.

## 5 モデルの評価実験

本節では 4 節で説明したモデルを用いて複数動画 に対する抽象的キャプション生成の実験を行う．

## 5.1 実験設定

データセットには AbstrActs 及び VATEX [13] を 用いた. AbstrActs の動画グループには最大 6 件の 動画が含まれているが，実験設定の簡略化のた
表 2 複数の動画特徴量の結合方法に関する End-to-End モデルの性能比較.

表 3 異なるモデル構造に関する性能比較. 特徵量の入力手法には Soft Alignment を用いた。

めにモデルに入力する動画数を 2 件に固定した. VATEX データセットは Cascade モデルの訓練及び Cascade (Gold) モデルの推論に用いた. End-to-End モデルに入力する動画特徴量の抽出には CLIP4Clip を用いた. Cascade モデルに入力するキャプション 特徵量の抽出には, fastText [17] が提供する学習済 み CBOW モデルを用いた. 推論結果の評価には，動画キャプション生成タスクで広く用いられて いる自動評価指標である BLEU-4 [18], CIDEr [19], METEOR [20], ROUGE-L [21]を用いた.

## 5.2 複数の動画特徵量の結合方法の比較

4.1 節で説明した複数の動画特徴量の結合方法で ある Concat 及び Soft Alignment の二つを比較した. この実験では，4.2.1 節で述べた End-to-End モデルを 使用した. 複数の動画特徴量を結合する 2 種類の手法の性能を比較した. 実験結果を表 2 に示す. Soft Alingment がいずれの評価指標においても Concat を 上回った. Soft Alignment は, 動画同士の異なる時間における特徵量の類似度を考慮しているという点 で, Concat と異なる.この違いが複数動画の共通内容を発見することに役立っていると考えられる.

## 5.3 モデル構造の比較

モデル構造に関する性能を比較した. 図 3 に結果 を示す. 実験の結果, End-to-End モデルが Cascade モデルを凌駕していることが分かった. End-to-End モデルは全ての評価指標において Cascade モデルと Cascade (Gold) モデルの両方を上回った.

End-to-End モデルで高い性能が確認された理由の 一つに, Cascade モデルで起こりうる誤り伝播問題 が存在しないことがある．著者が人手で 50 件の推論結果を分析したところ，50 件中 7 件で，単一動画 キャプション生成モジュールの生成キャプション に誤りがあることで Cascade モデルが抽象的キャプ

人手キャプション: a baby is playing xylophone End-to-End: $\quad$ a kid is playing musical instrument Cascade: Cascade (Gold): a kid is playing a musical instrument

図 5 異なる構造を持つ各モデルによる推論結果の例. 青色または赤色で強調されている単語は，それぞれ望まし い生成または望ましくない生成であることを表す.

and playing with a toy xylophone

and playing with a xylophone a person is playing a musical instrument

図 6 Cascade モデルで観測された，問題のあるキャプ ション生成の例.

ションの生成に失敗していることを確認した。図 5 に例を示す.この例では, End-to-End モデルは二つ の動画に映る子供を具体的に説明できている一方， Cascade モデルは子供を “person” と説明した. 図 6 に同じ例における Cascade モデルの中間出力である 各動画に対するキャプションを示す. 単一動画キャ プション生成モジュールは図中右側の動画に映って いる子供を “man” という抽象的な単語で説明した.抽象的キャプションには "child” や “kid" などの単語 が含まれることが望ましいが，単一動画キャプショ ン生成モジュールの誤りが複数文抽象化モジュール に伝播して，過度に抽象的な単語である “person”が 生成された. End-to-End モデルが “kid”という望ま しい単語を生成したのは，動画特徴量を直接使うた めに誤り伝播が起こらないからである。

## 6 おわりに

本研究では複数動画に対する抽象的キャプション 生成タスクにおいて, 基本的なモデルの検討を行っ た. また，モデルの抽象的キャプション生成の性能向上に効果的な要素を調べるために, AbstrActs デー タセットを用いて評価実験を行った. 本研究で述べ た実験結果及び考察により，今後の複数動画に対す る抽象的キャプション生成に関する研究が促進され ることを期待する.

## 謝辞

本研究はサムスン SDS 株式会社の助成を受けた ものである.

## 参考文献

[1] Sheng Li, Zhiqiang Tao, Kang Li, and Yun Fu. Visual to text: Survey of image and video captioning. IEEE Transactions on Emerging Topics in Computational Intelligence, Vol. 3, No. 4, pp. 297-312, 2019.

[2] Nayyer Aafaq, Ajmal Mian, Wei Liu, Syed Zulqarnain Gilani, and Mubarak Shah. Video description: A survey of methods, datasets, and evaluation metrics. ACM Computing Surveys (CSUR), Vol. 52, No. 6, pp. 1-37, 2019.

[3] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. arXiv preprint arXiv:1412.4729, 2014.

[4] 高橋力斗, Chu Chenhui, 黒橋禎夫. 複数映像の抽象化 を要するキャプション生成. 言語処理学会第 28 回年次大会, pp. 1181-1186, 浜松, 2022.3.14.

[5] Du Tran, Lubomir Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. Learning spatiotemporal features with $3 \mathrm{~d}$ convolutional networks. In Proceedings of the IEEE international conference on computer vision, pp. 4489-4497, 2015.

[6] Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6299-6308, 2017.

[7] Saining Xie, Chen Sun, Jonathan Huang, Zhuowen Tu, and Kevin Murphy. Rethinking spatiotemporal feature learning: Speed-accuracy trade-offs in video classification. In Proceedings of the European conference on computer vision (ECCV), pp. 305-321, 2018.

[8] Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, and Cordelia Schmid. Vivit: A video vision transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 68366846, 2021.

[9] Huaishao Luo, Lei Ji, Ming Zhong, Yang Chen, Wen Lei, Nan Duan, and Tianrui Li. Clip4clip: An empirical study of clip for end to end video clip retrieval. arXiv preprint arXiv:2104.08860, 2021.

[10] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin, and Han Hu. Video swin transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3202-3211, 2022.

[11] Bairui Wang, Lin Ma, Wei Zhang, and Wei Liu. Reconstruction network for video captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7622-7631, 2018.

[12] Luowei Zhou, Yingbo Zhou, Jason J Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 8739-8748, 2018.

[13] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 45814591, 2019.

[14] Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

[15] Joao Carreira, Eric Noland, Andras Banki-Horvath, Chloe Hillier, and Andrew Zisserman. A short note about kinetics-600. arXiv preprint arXiv:1808.01340, 2018.

[16] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[17] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, Vol. 5, pp. 135-146, 2017.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[20] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[21] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.


# 大規模言語モデルによって構築された常識知識グラフの 拡大と低コストフィルタリング

村田栄樹 1 井手竜也 ${ }^{1}$ 榮田亮真 1 河原大輔 1
山崎天 $^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
 }^{1}$ 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社

\{eiki.murata.1650-2951@toki., t-ide@toki.,s.ryoma6317@akane.,dkw@\}waseda.jp

\{takato.yamazaki, shengzhe.li, kenta.shinzato, toshinori . sato\}@linecorp.com
## 概要

計算機の常識を補うために常識知識グラフが構築されてきたが, 収集コストの観点から規模や言語 が限られる. 本研究では, 大規模言語モデルによる 常識推論にフィルタモデルを適用することで, 高精度な常識知識グラフの低コストかつ大規模な構築 を目指す. まず日本語常識知識グラフにおいて, 生成に関するファクタを分析する。さらに，常識知識 グラフの低コストなフィルタリング手法を提案す る.フィルタリングしたグラフを人手評価した結果，提案手法の有効性が示された. 構築されたグラフで fine-tuning した中規模言語モデルの常識生成に, フィ ルタリングが与える影響についても検証する。

## 1 はじめに

計算機による言語理解を実現するためには, 人間 がもっているような常識が必要である $[1,2]$. そこ で, 常識を知識グラフ化する試みがなされてきた. 構築されたグラフは, 常識知識グラフ (CommonSense Knowledge Graph, CSKG) と呼ばれ, その構築は人手 によるもの $[3,4,5]$ のみならず, GPT-3 などの大規模言語モデル (Large Language Model, LLM) によって行 われることもある [6,7]. また, CSKG で言語モデル を fine-tuning した常識モデルは, LLM よりも高い精度で常識を生成することができる $[6,8]$.

LLM によって CSKG を構築する場合, 計算機によ る生成であるため規模を大きくすることができる代 わりに, 人手による構築と比較して精度は下がる. そ こで, LLM によって構築された CSKG に対して分類 モデルによるフィルタリングを行うことで, 規模と 精度の双方を高い水準に保つ手法が提案された [6].

しかし,この分類モデルの訓練データは, 生成され

図 1 提案手法の概観.

た CSKG の一部に対して人手アノテーションで作成 されるためコストが高い. 一方で, 常識とされる知識 は言語や文化圏によって異なることがあり, 単なる 翻訳ではなく言語ごとに構築されることが望まし い. 各言語で CSKG を個別に構築する場合, 低コスト なフィルタモデルを作成することに需要がある.

本論文では, 大規模で高精度な CSKG を低コスト で構築することを目的とする. まず日本語 CSKG [7] の拡大のための分析を行い, さらなる拡大が可能で あることを示す. 大規模になるに従って適切ではな い推論の絶対数も増えると考えられる. そこで, 人手 アノテーションを用いないCSKG のフィルタリング の手法を提案する. 既存手法と比較して低コストで ありながら有効なフィルタを構築した. また, 構築し たCSKGをもとに常識モデルの検証も行う．

## 2 関連研究

英語における既存の CSKG として, 概念べースの ConceptNet [3] やイベントベースの ATOMIC [4], そ れらを統合・拡張した $\mathrm{ATOMIC}_{20}^{20}[5]$ がある.これら はすべてクラウドソーシングを用いて構築されて いる.いずれも 3 つ組で表現され, 例えば ATOMIC は(イベント,推論の関係, 推論されたイベントやメ ンタルステート)を要素としている. また, GPT-2 な ど比較的小さいモデルをこれらの CSKGをもとに fine-tuning することで常識を蓄え, 常識推論をする Transformer [9] として COMET [8] が提案されている. LLM を用いて CSKGを拡張し，それをもとに
表 1 小規模グラフのサイズを変更したときの生成された 大規模グラフのサイズの変化. 1 列目はクラウドソーシン グによって収集されたへッドとなるイベント. 2 列目以降 は HyperCLOVA により生成されたイベントや推論.

COMETを訓練する研究もある. West ら [6] は ATOMIC $_{20}^{20}$ を自動拡張した ATOMIC ${ }^{10 x}$ を構築し, 常識モデルとして GPT-2 [10] ベースの $\mathrm{COMET}_{\mathrm{TIL}}^{\mathrm{DIS}}$ を 訓練した. CSKG の自動拡張には, GPT-3 [11] などに 少数の例をショットとして与えてタスクを生成さ せる few-shot learning の手法が用いられる. さらに，生成された推論をフィルタリングするためにエン コーダモデルをフィルタとして fine-tuning する. 訓練したフィルタを拡張された CSKG に用いること で, COMET TIL は教師である GPT-3 より高精度で常識を生成できる. フィルタの訓練データは LLM によ り生成された CSKGに含まれる 10,000 個の 3 つ組を 人手でアノテーションしている.

日本語における CSKG の構築例もあり [7], 以下の 4 種類の関係からなる CSKG を構築している. また, イベント“Xが顔を洗う”に対するそれぞれの推論 の例も添える。

・xNeed あるイベントの前に人物 X がすること. (例: “X が水道で水を出す”)

・xEffect あるイベントの後に人物 X がすること. (例: “Xがタオルを準備する”)

・xIntent あるイベントの前に人物 X が思うこと. (例: “スッキリしたい”)

・xReactあるイベントの後に人物 X が思うこと． (例: “さっぱりした”)

前半の 2 つはイベント対イベントの常識で, 残りの 2 つはイベント対メンタルステートの常識である.ク ラウドソーシングを用いて小規模にイベントやそれ に対する常識推論を収集し, それらをショットとし て LLM で CSKG の大規模化を行っている. 日本語 の LLM として, HyperCLOVA [12] が使用された. た だし, 英語での研究 [6] のような LLM による拡大後 のグラフに対するフィルタリングは行っていない.

## 3 CSKG の拡大に向けた分析

本節では, 日本語での先行研究 [7] で構築された CSKG に対して追加実験を行い, 日本語 CSKG の分析とさらなる拡大を行う. 大規模グラフを生成する 際のパラメータを変更し, HyperCLOVA のもつ知識

図 2 イベントあたりの推論生成数と生成されたユニーク な推論数の関係.

がどの程度 CSKG に移行されるかを検証する. 検証 するパラメータは,クラウドソーシングで構築され た小規模グラフのサイズと,グラフを拡大する際の イベントあたりの推論の生成回数である. 実験には, HyperCLOVA JP 39B モデルを使用する.

小規模グラフのサイズ HyperCLOVA の生成の ショットとして利用する,クラウドソーシングに よって構築される小規模グラフのサイズを変更し，生成される推論数を比較する. まず, 小規模グラフの イベントをショットに 10,000 回イベントを生成す る. さらに, 小規模グラフからランダムに選んだ 3 つ 組をショットとして, 生成されたイベントに対する 推論を得る (図 1). ショット数および 1 イベントあ たりの生成回数をそれぞれ 10 回ずつに固定し,小規模グラフのイベント数を $\{100,257,392\}$ と変更した 場合に生成されたユニークな推論数を比較する.

表 1 に示すように小規模グラフのイベント数が 100 のときは生成されたイベントやユニークな推論数は相対的に小さいが, 257 と 392 のときはおよそ 同じ生成数となった.これは, HyperCLOVA の知識を CSKG に引き出すためのショットの多様性として，小規模グラフのイベント数は 250 から 300 程度で十分であることを示している.

HyperCLOVA による生成回数 先行研究 [7] では イベントあたりの推論生成回数は 10 で固定してい た.これを増やすことで, HyperCLOVA のもつ常識推論の知識を CSKG により引き出すことができると考 え,イベントあたりの生成回数を $\{5,10,50,100\}$ と 変化させ生成されるユニークな推論数を比較する。 このとき,ショットに用いる小規模グラフやショッ 卜数は固定する. 図 2 に示すように, イベントあたり の生成数に対して生成されたユニークな推論数は単調に増加した. 生成回数を増やすことで, 多様な推論 を行うことができることがわかる.

まとめると,一定以上のショットの多様性があれ ば HyperCLOVA は多様な常識推論をする能力をも

ち, 推論の生成数を増やすことで CSKG のさらなる 拡大が実現できる.イベントあたりの推論生成数を 10 から 100 に増やすことでユニークな推論数の合計 はおよそ 4 万件から 20 万件に増加した。

## 4 低コストフィルタリング

ATOMIC ${ }^{10 x}$ など $[6,7]$ では,クラウドソーシング など人手によって構築された小規模な CSKGをも とに GPT-3 や HyperCLOVA [12] などの LLM を用い て大規模な CSKG を得た. 言語モデルにより生成さ れるため, 大規模 CSKG の推論には適切ではない推論も含まれる. 3 節で, 生成回数の増加によってさ らなる拡大が可能であることがわかったが, 適切で はない推論の割合は同じでもその絶対数は増加す る.これまでの CSKG のフィルタモデルは, 人手アノ テーションにより訓練データを得ていた [6]. 常識と されるものは言語, 文化により異なるため各言語で CSKG を個別に得ることが望まれるが, 既存の方法 のコストは大きい. そこで, 人手アノテーションなし で, LLM により構築される CSKG をフィルタリング する手法を提案する. また, 日本語 CSKG における実験によりその有効性を検証する。

## 4.1 提案手法

前述の小規模グラフが人手により構築されてい ることから, 含まれる推論は適切だと仮定する. そ こで, 小規模グラフの推論をフィルタモデルの訓練 データ (正例) として扱うことで低コストでのフィル タモデルの訓練を試みる. ただし, 分類モデルの訓練 には負例も必要であるため, 同じ小規模グラフ内か ら擬似的に負例を採用する. このように小規模グラ フから訓練データを獲得し, 訓練したフィルタで大規模グラフをフィルタリングすることで追加のアノ テーションなしで高精度で大規模な CSKG を得る。

以下で, 3 種類の負例の採用方法を提案する. 以降 $G_{\text {small }}$ は, 与えられるイベント $h($ head), 推論のタイプ を示す関係 $r$ (relation) と推論 $t$ (tail) の 3 つ組 $(h, r, t)$ を要素とする小規模グラフを表す. 表 2 に訓練デー タの採用例を示す.

負例タイプ 1 時系列の間違っている負例を擬似的に採用する. 適切な 3 つ組 $(h, r, t) \in G_{\text {small }}$ が与え られたとき, $(t, r, h)$ を考えることで適切ではない推論を得る、ヘッドとテールを入れ替える必要がある ため,イベント対イベントの推論のみに用いる.

負例タイプ 2 同じ関係の 2 つの適切な 3 つ組 $\left(h_{1}, r, t_{1}\right),\left(h_{2}, r, t_{2}\right) \in G_{\text {small }},\left(h_{1} \neq h_{2}\right)$ から,$\left(h_{1}, r, t_{2}\right)$ や $\left(h_{2}, r, t_{1}\right)$ を考えることで適切ではない推論を得 る. ヘッドとテールで文脈が異なるため訓練の際は 易しい例となり得る。

負例タイプ 3 CSKGには, xIntent と xReact の ように時系列的に逆向きの関係が存在する。 あ る関係 $r$ に対して逆向きの関係を $\operatorname{inv}(r)$ と表 すと, 同じへッドに対する 2 つの適切な 3 つ組 $(h, r, t),\left(h, \operatorname{inv}(r), t^{\prime}\right) \in G_{\text {small }}$ に対して, $\left(h, r, t^{\prime}\right)$ を負例として採用できる. タイプ 2 とは異なり, 同じ文脈 の負例を得ることができる。

## 4.2 実験

提案手法の検証として, 3 節と同様に日本語 CSKG において実験を行う. 比較として, 先行研究と同様に 人手アノテーションによるフィルタモデルも訓練 し,結果を付録 A. 2 に示す.

モデルフィルタモデルは事前学習済みのエン コーダモデルを関係ごとに fine-tuning することに よって構築する. 訓練はモデルに 3 つ組を入力し， その推論が適切か適切でないかの 2 值分類タス クとして行う. 事前学習済みモデルとして日本語 RoBERTa-large ${ }^{1)}$ [13] を用いる. さらに, 先行研究 [6] に倣い, 自然言語推論 (NLI) タスクで追加訓練した モデルを使用する. 日本語の NLI データセットとし ては, JGLUE [14] に含まれる JNLIを利用する。

データ 4.1 節に従い, それぞれの関係について小規模グラフに含まれるすべての 3 つ組を正例とす る. さらに, 正例の数と同じ数になるように負例を採用する. 負例内の比について, 負例タイプ 2 はやや簡単であると考えたため 2:1:2 とする。

テストデータとして大規模グラフからランダム に抽出し, 人手でラベルを付与した 495 件の 3 つ組 を用いる. ラベル付与には Yahoo!クラウドソーシン グ2)を用い, 3 人のクラウドワーカによる多数決によ り推論が適切か否かを付与した。

結果 訓練したフィルタモデルを用いて,テスト データに対して予測を行う. クラウドソーシングで 適切と判断された推論 (1) とそうではない推論 (2) ごとに, 各推論についてモデルが適切と予測した確率の平均を表 3 に示す. すべての関係において, (1) の推論に対する予測確率の方が平均して高くなって いることが確認できる. さらに, 閾値を設けてモデル

表 2 小規模グラフから採用する訓練データの例. 各例は $(h, r, t)$ を表す.

 & (X が顔を洗う, xNeed, X が PC を起動する) \\

表 3 クラウドソーシングによって適切だとされた推論と そうでない推論に対して提案手法によるフィルタが適切 と予測した確率の平均と標準偏差. 最右列はその差.

(a) $x$ Need

(c) xIntent

(b) $x$ Effect

(d) $x$ React図 3 フィルタモデルによる確率の閾値ごとの通過した推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折れ線).

による予測確率が閾値以上となる推論のみを採用す ることでフィルタリングを行う. 図 3 にテストデー タに対して閾値ごとのフィルタを通過した推論数と その中の適切な推論の割合を示す.より高い閾値の フィルタをかけることで適切な推論の割合が高くな る傾向を確認できる. よって, 訓練したモデルがフィ ルタとしての役割をしているといえる。

3 節のようにさらに拡大したグラフに対して,こ れらのフィルタを適用することで大規模かつ高精度 な CSKG を得ることができる。

## 5 常識モデルの分析

LLM から GPT-2 などの中規模言語モデルへの常識の移行を, 3 節で分析した CSKG の特性と 4 節で 構築したフィルタの有無に着目して分析する.表 4 フィルタリングの強度 $s$ と大規模グラフのイベント あたりの推論生成数 $n$ による常識モデルの精度の変化.

訓練 日本語 GPT-2-small ${ }^{3}$ を CSKG で fine-tuning することで常識モデルを作成する。訓練デー タとして, HyperCLOVA によるイベントあたり の推論生成数 $n \in\{10,100\}$ とフィルタの強度 $s \in\{0.2,0.5,0.8,1.0\}$ によって 8 種類の CSKG を検証 する.フィルタは提案手法によるもので行い, CSKG のサイズが元の $s$ 倍になるようにモデルによる確率 の低い推論を切り捨てた. $s=1.0$ の場合はフィルタ を適用していないことを表す。

結果 作成した常識モデルにテスト用のイベント を 150 個与え,生成された推論が適切である割合で モデルの性能を検証する. 推論の評価には Yahoo!ク ラウドソーシングを使用した. 表 4 に示すように， $n=10$ の場合にはフィルタの強度が 0.5 や 0.8 のと きにフィルタなしのときの精度を上回った. 一方で， $n=100$ の場合はフィルタリングの強度による常識 モデルの精度に差は見られなかった。

元のグラフが小さい場合は, 訓練データ全体に対 する適切なものの割合と訓練データのサイズにト レードオフがあり,フィルタの強度を設定すること でモデルの訓練にも良い影響を与えたと考えられ る. 一方で元のグラフが大きい場合には, フィルタリ ングを適用しなくとも適切なデータの絶対量が十分 に存在し, 差が見られなかったものと考えられる.

## 6 おわりに

本論文では, 大規模かつ高精度な CSKG を低コス トに構築する手法を提案した. まず日本語 CSKG を 分析し, 拡大した. さらに, 小規模グラフをもとに低 コストなフィルタを訓練し，その有効性を確かめた。 また, それらに伴う常識モデルの精度も検証した。

新たな言語や知識グラフの構築の際に提案手法に よって高精度化が低コストで行われることを望む。

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] 井手竜也, 村田栄樹, 堀尾海斗, 河原大輔, 山崎天, 李聖哲, 新里顕大, 佐藤敏紀. 人間と言語モデルに対す るプロンプトを用いたゼロからのイベント常識知識 グラフ構築. 言語処理学会第 29 回年次大会, 2023.

[8] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July
2019. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[14] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In International Conference on Language Resources and Evaluation, 2022.

## A フィルタモデル

4 節の詳細を述べる。

## A. 1 訓練の詳細

提案手法のフィルタモデルの訓練の詳細を記す。小規模グラフから採用した訓練データのサイズを表 5 に示す.

“[CLS] head [SEP] tail [SEP]" を RoBERTa に入力し, fine-tuning する. 実験は全て JNLI で追加訓練済みの モデルを利用する. JNLI は 3 值分類タスクであるた め, RoBERTa のエンコーダ部分のみを利用し, 2 値の 分類へッドを新たに追加して行う.

学習は 20 エポック行い, $\mathrm{F} 1$ 値が最も高いチェッ クポイントをモデルとして採用した. また関係ごと に, 学習率, バッチサイズとウェイトディケイについ てパラメータ探索を行った.

## A. 2 人手アノテーションによるフィルタ

比較のために, 既存の手法によるフィルタも訓練 する.フィルタリング対象である大規模グラフから ランダムに推論を選び, 人手によって適切か否かの ラベルを付与する. そのラベルをもとに RoBERTa を fine-tuning する. モデルやハイパーパラメータは提案手法によるものと同様である.

提案手法の表 3 と図 3 と同様のものを, それぞれ 表 6 と図 4 に示す. 図 4 のように確率の閾値が高く なるしたがって適切な推論の割合が高くなっている ことは確認できるが, 表 6 では提案手法ほどの差は 見られない. 提案手法と異なり, 訓練データの正負比 が偏るため予測確率も 1 に偏ったことが考えられる.

表 5 提案手法によるフィルタの訓練データ数. 関係ごと に, 正例と負例を合わせた数字を示す

表 6 クラウドソーシングによって適切だとされた推論と そうでない推論に対して, 人手アノテーションによるフィ ルタモデルが適切と予測した確率の平均と標準偏差. 最右列はそれらの差.

## A. 3 取り除かれた例

例として提案手法のフィルタによって適切である 確率が 5\%未満とされた, CSKG の3つ組を示す.

・Xが晚御飯を作っている xNeed Xが夕食を食べる

・XがYとドライブする xEffect $X$ X゙運転免許を取得する

・XがT Vを見ながらお菓子を食べる xIntent おいしい

・Xが銀行のA TMで現金を引き出す xReact お金が欲しい

## B 常識モデル

5 節の詳細を記す。

訓練は, 3 つ組 $(h, r, t)$ を連結したものをデータと して GPT-2を fine-tuning することで行う. xNeed な ど関係はモデルの語彙に存在しないため, スペシャ ルトークンとして追加しトークナイズする. どの CSKG に対しても 3 エポックの学習を行う.

テストの際は, 3 つ組のうちへッドイベントと関係を入力し, 続きを生成させることで推論（テール） を得る. 生成時のビームサーチの本数は 5 とする.

また, 表 7 に既存手法と提案手法のフィルタの比較を示す.

(a) xNeed

(c) xIntent

(b) $x$ Effect

(d) xReact図 4 人手アノテーションフィルタモデルによる確率の間値ごとの推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折 れ線).

表 7 推論生成回数 $n$ の異なる CSKG に各種フィルタを 適用し, 常識モデルを訓練したときの精度の比較. 既存手法は付録 A. 2 で訓練したもの. フィルタ強度は $s=0.8$ で 固定した。


# 日本語の時間的常識を理解する言語モデルの構築を目的とした マルチタスク学習における検証

船史 日佳里 ${ }^{1}$ Lis Kanashiro Pereira $^{1} \quad$ 木村 麻友子 ${ }^{1} \quad$ 浅原 正幸 ${ }^{2}$
Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1820534,g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，日本語での時間的常識の推論に対す る言語モデルの開発を目的として，マルチタスク学習における検証を行った。複数の時間的常識を問う タスクを用いて，テキストエンコーダを変更して実験を行なった．実験の結果，対象タスクの組み合 わせによって，時間的常識を問うタスクにおいて， $3 \% \sim 10 \%$ 程度の精度の向上を確認できた. また，使用するテキストエンコーダも大きく影響を与える ことが確認できた。

## 1 はじめに

自然言語の文章を理解するうえで，イベントが意味する時間の理解は重要である. しかし，イベント の時間を意味する直接的な表現は文章内では省略さ れやすく，時間の理解のためには，自然言語で表現 されるイベントのさまざまな時間的側面について常識的な知識を持っている必要がある。例えば，「い つの間にか眠っていて夢を見たんだ」という文章を 読んで，我々は「眠る」と「夢を見る」というイベ ントが過去のことで，「眠る」の方が「夢を見る」よ りも長い時間がかかることやこの二つのイベントが 同時に起こることを理解できる. このような常識を 踏まえた理解や推論をコンピュータにさせることは 挑戦的な課題となっている。近年，BERT[1] などの 事前学習済み言語モデルが幅広い自然言語処理タス クで大きな成果を上げているが，これらのモデルは 時間推論においては未だ性能が低いと言われており [2], 汎用言語モデルを改善し時間的な常識における タスクの精度を上げる試みがなされている [3][4]. しかし，日本語に関する時間的な常識を捉えた研究 は未だ少ない.
そこで，我々は日本語における時間的常識に基づ く理解に焦点を当てて研究を進めており，本研究で は時間的常識に関するタスクを用いたマルチタス ク学習を行なう. 具体的には, 文章のイベントの時制・時間幅・時間順序・事実性を推定するタスクを 組み合わせて学習させ，より効果的な学習方法を検討する.

## 2 提案手法

本研究では，時間的常識に関するタスクを用いた マルチタスク学習を行なって, 時間的常識のタスク に関して更に適応した言語モデルを構築し，モデル の推定精度向上を目指す。

時間的常識のタスクとして，イベントの時制・時間幅・時間順序・事実性の四つを設定する．時制の 推定は，イベントが発話時と比べて過去・現在・未来のいずれであるかを推定する. 時間幅の推定は, イベントがどのくらいの時間を要するのかを推定す る. 時間順序の推定は, 二つのイベントの時間的順序関係もしくは重なりについて推定する。事実性の 推定は，表現が実際に起きたイベントなのか，条件節などの仮想的なイベントなのかを推定する.

マルチタスク学習は，関連する複数のタスクを同時に学習することで，モデルの汎化性能を向上させ ることを目的としている。関連するタスクの共通性 と差異を利用することで性能を向上させることがで きるため，自然言語処理において普及が進んでいる [5]. 本研究では, 対象データセットのデータサイズ が限られているため、学習時に補助的なデータセッ トを利用することによって、この問題を緩和できる マルチタスク学習が有効なアプローチであると考 え，この手法を採用した.

また，複数の事前学習済み日本語言語モデルを使
表 1 DVD データセットの例

文章：悪いやつらに追われてるって話すんだ

表 2 日本語話し言葉コーパスの例文章: 一番今まで人生の中でつらかったこと についてお話ししたいと思います

用して実験を行ない，日本語の時間的常識の推論夕 スクに最も適したものについて検証する。

## 3 実験

マルチタスク学習を行なった際の各タスクにおけ る精度を求める. さらに，タスクの組み合わせを変更した際の違いを分析する。また，言語モデルにお ける差異に関しても検証する。

## 3.1 使用データ

本研究では，DVDデータセットを対象データセッ トとして使用し，日本語話し言葉コーパスをマルチ タスク学習の補助データセットとして使用してい る. 二つのデータセットからはそれぞれ三つずつの 時間に関連する分類タスクを採用している．DVD データセットと日本語話し言葉コーパスはどちらも 書き言葉ではないという点で，似ているデータセッ トとして本研究で採用した.

DVD データセットDD データセットは，DVD の音声データの書き起こし文に対して時間に関す るラベルを付与したデータセットである．DVD は 海外の映画やドラマの日本語吹替版や日本のアニ メなどを使用している. タスクは，時制と時間幅と 時間順序の三つの分類タスクを使用した. 例文を表 1 に示す。それぞれのタスクの分布を付録の表 6 に 示す.

日本語話し言葉コーパス 日本語話し言葉コーパ スは，本人の体験談を語っている様子を録音した データの書き起こし文に対して時間に関するラベル を付与したデータセットである.表 3 実験に使用したテキストエンコーダの概要

表 4 学習の際のハイパーパラメータ

batch size learning rate \# epochs

$16 \quad 1$ e-5 10

タスクは，時制と時間幅と事実性の三つの分類夕 スクを使用している。例文を表 2 に示す。それぞれ のタスクの分布を付録の表 6 に示す.

## 3.2 テキストエンコーダ

我々は，四つの事前学習済み日本語対応言語モ デルのテキストエンコーダを用いて実験を行なっ た. 日本語 BERT モデル cl-tohoku/bert-base-japanese (BERT ${ }_{\text {BASE }}$ ), 日本語 ALBERT モデル ALINEAR/albertjapanese-v2 (ALBERT ${ }_{\text {BASE }}$ ), 日本語 RoBERTa モデル megagonlabs/roberta-long-japanese (RoBERTa ${ }_{B A S E}$ ), 多言語 RoBERTa モデル xlm-roberta-base (XLM-R BASE ), xlm-roberta-large (XLM-R LARGE ) を使用した。これら は全て Hugging Face で公開されている ${ }^{1)}$.

BERT $_{\text {BASE }}$ 2.6GB の日本語 Wikipedia コーパスを 用いて訓練された BERT モデルである．事前学習に は Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) が採用されている [1].

ALBERT $_{\text {BASE }}$ BERT よりもパラメータが大幅に 削減されて軽量化されているが，事前学習で NSP の 代わりに Sentence Order Prediction (SOP) を用いるこ とで性能を上げている [6].

RoBERTa $_{\text {BASE }}$ Common Crawl 多言語コーパスか ら抽出された日本語テキストの約 $200 \mathrm{M}$ 文を用いて 訓練された RoBERTa モデルである．BERT の事前学習を見直してNSPを排除し，訓練データのサイズを 大幅に大きくすることで性能を上げている [7].

を含む 100 言語を 2.5TB の Common Crawl 多言語 コーパスで事前学習されている [8].

やしたモデルである.

表 5 マルチタスク学習による実験結果

## 3.3 実験設定

本研究では，Multi-Task Deep Neural Networks (MTDNN)[9] を用いてマルチタスク学習を実行し，複数の時間関連タスクに対するモデルの性能を評価 した. MT-DNN はマルチタスク学習フレームワー クであり，BERT などの言語モデルのテキストエン コーディング層をすべてのタスクで共有して組み 込むことができ，上位層はタスクに特化したものと なっている，我々は，事前学習済みの言語モデルを 用いて共有する層を初期化し, マルチタスク学習 によって複数の時間関連タスクで改良した。 ハイ パーパラメータの設定は表 4 に示す. Optimizer に は Adam [10] を使用し，評価指標としては Accuracy (ACC) と F1 スコアを採用した. F1 スコアは適合率
と再現率の調和平均である.

## 3.4 実験結果

マルチタスク学習をした実験結果を，表 5 に示 す. Model の列は，マルチタスク学習で使用したタ スクを記している。 STDは standard fine-tuning，ALL は六つの全てのタスクでマルチタスク学習を行なっ た結果である。今回は精度が大きく上がった組み合 わせを中心に記載し，他の組み合わせの結果を省 く．結果は全て 5 分割交差検証をした値である.

結果として，マルチタスク学習を行なった方が STD に比べて精度が上がる場合が多かった. 特に 時間幅や時間順序のタスクに関してはXLM-R LARGE において STD と比較して $15 \%$ 程度 F1 スコアの 值を上げている。また， ALBERT ${ }_{\text {BASE }}$ に関しては，

デルであるにもかかわらず、時間順序のタスクなど で精度を上回ることができた. RoBERTaBASE よりも XLM-R BASE の方が少し精度を上回ることも確認で きた.

## 4 解析

マルチタスク学習を行なう前と行なった後のモ デルの最終層の隠れ状態を低次元空間に可視化し て解析を行なった． BERT BASE では [CLS]トークン，

視化には UMAP ${ }^{2}$ )を使用した. 本実験で一番よい精

用いて，DVD データセットの三つの全てのタスク と日本語話し言葉コーパスの時間幅タスクでマルチ

と BERT $_{\text {BASE }}$ のマルチタスク学習前が比較できるよ う可視化をした. 時間順序のタスクにおける可視化 の結果を図 1 に示す.

XLM-R RARGE のマルチタスク学習後のモデルはば らつきが少なくなっていて，時間的特徵に基づくイ ベントのクラスタリングをより良く行うことができ ることがわかる. さらに BERT ${ }_{\mathrm{BASE}}$ のマルチタスク 学習前のモデルと比べるとその違いが顕著に確認で きる.

## 5 考察

時間的常識に関するタスクにおいて，マルチタス ク学習は通常のファインチューニングよりも効果 があることが確認できた。また，単純に様々なタス クを増やすよりもタスクを組み合わせた方が効果 が高かったため, 補助タスクの組み合わせが重要だ と考えられる. 結果から, 違うデータセットの同じ タスクを増やすことでそのタスクの精度を上げら れることが確認できた。しかし，それが最も精度を 上げる組み合わせではないため，他にも要因があ ると考えられる。また，時制のタスクに関しては $\mathrm{BERT}_{\mathrm{BASE}}$ 以外のテキストエンコーダを使用した際 の効果が薄く, マルチタスク学習に適したタスクで はない，または他の種類のタスクを使用した実験が 必要だと考えられる. テキストエンコーダに関し ては，XLM-R RARGE が一番精度を上げる結果となっ

のサイズが大きいだけでなく，多言語モデルである

$\mathrm{A}<\mathrm{B}: \mathrm{A}$ が Bより前

図 1 時間順序タスクにおける最終層の隠れ状態の可視化. BERT $_{\mathrm{BASE}}$ (上) と XLM-R $\mathrm{R}_{\text {LARGE }}$ のマルチタスク学習前 (中央) と後 (下)

ことも精度を上げる要因になると考えられる。

## 6 おわりに

本研究では，自然言語で表現されたイベントの時間的常識を理解するタスクにおいて，マルチタスク 学習を行なうことの効果を検証した. 実験の結果, タスクの組み合わせや使用するテキストエンコーダ によって精度の向上が確認された。今後はマルチタ スク学習の補助データセットの種類を増やし，さら に効果的な組み合わせの傾向などを検証していきた いと考えている。

2) https://umap-learn.readthedocs.io/en/latest/

## 謝辞

本研究は，科研費（18H05521，20H05054）の支援

を受けた。ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACLHLT2019, pp. 4171-4186, June 2019.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal Common Sense Acquisition with Minimal Supervision. In Proc. of the Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[4] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[5] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019 .

[9] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learn- ing Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

表 6 データセットの分布

 &  & 1,942 \\

データセットの各タスクにおける分布情報を表 6 に示す.

DVD データセットの時間幅の TIME は $\{1$ 秒以上 1 分未満, 1 分以上 1 時間未満, 1 時間以上 1 日未満 $\}$,

\{わからない\}のように，ラベルをまとめたものである.


# 常識的知識グラフ及び単語埋め込みを用いた 重畳型駄酒落ユーモア認識

志方脩 谷津元樹 森田武史
青山学院大学理工学部
a5819059@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp

## 概要

機械による言語的なユーモアの認識能力を向上さ せるため, 䭾酒落ユーモアのうち文内に潜在的な繋 がりを持つ単語のぺアを含む重畳型駄酒落の検出手法を提案する. 井上ら [1] が提案した常識的知識グラ フを用いる手法に加えて, 単語埋め込みを活用する ことにより, 重畳型駄酒落の検出性能の精度の向上 が確認された. 本稿では, 定性的評価実験において確認された, 重胃型駄酒落検出の成功事例, および失敗事例における主な失敗要因について説明する。

## 1 はじめに

近年機械がユーモアを表出・理解することに対す る関心が高まっており,それに接するユーザの生活 の質を向上させることが報告されている. 人間のコ ミュニケーションは，画一的な形式によらず自由で あり駄酒落やなぞかけに代表される言語的なユーモ

ことによって人間同士の会話に近い自然な対応をす ることができる.

## 1.1 研究課題と目的

ユーモアはジェスチャーなどを用いる身体的な ユーモアと，駄酒落やなぞかけに代表される言語的 なユーモアに大きく分類される。中でも駄酒落は比較的に認識が容易であり年齢層を問わず親しみやす いものと考えられる．知識グラフや自然言語処理技術を用いて駄酒落ユーモアの検出や理解の有効性を 高めるためには下記の課題が存在する。後述する滝澤の研究 [2] によれば，駄酒落には併置型駄酒落と 重畳型駅酒落の 2 つの分類が存在する．以下にそれ ぞれの例文と構造を示す。

## (1) 猫が蒋ころんだ (併置型䭾酒落)

この例は「猫」と「寝こ」のように，音韻的に類似するぺアが文内に存在しているため, 駄酒落であ ると認識することができる.
(2) 鮭の卵は、いくら？(重畳型䭾酒落)

しかしこの例は併置型のように音の類似するぺア がないことから従来の手法では検出が困難である.例文 (2)では，「鮭」と「いくら」の間に何らかの潜在表現を媒介する関係があると予測される。 その場合, 外部の知識や単語埋め込みを用いることでその 潜在的な表現及び関係を見出すことができる. すな わち，「『鮭』は『イクラ』という性質を持つ」とい う関係性である.このとき, 潜在表現である「イク ラ」は文内の「いくら」に音韻的に一致するので, 上記の文を駄酒落文として認識できる. 本研究の目的 は重置型駄酒落に存在するこのような潜在的な表現及び文内の語との関係性を, 常識的知識グラフや単語埋め込みを用いて発見することである。

## 2 関連研究

はじめに，大規模知識グラフについて述べる。主要な大規模知識グラフとして著名なのが DBpedia[3] やWikidata[4] であり，セマンティック Web 技術に よるフリーの知識べースであり，コミュニティベー スで作成され，他のオープンデータとのリンクを持 つリソースから構成されている。

ConceptNet[5] とはDBpedia，Wikidata と同様に集合知を知識源とした大規模な知識グラフである. ConceptNet は，DBpedia や Wikidataのような RDF に よる表現に類似した構造を持つ.

次に, 単語埋め込みについて述べる。単語埋め込み とは自然言語処理で単語を表現する手法であり,単語の意味をべクトル空間に埋め込むことで語彙を表現している.

単語埋め込みが取得できる手法として Word2vec [6] が著名である. Word2vec の他に，近年では BERT [7] のような Transformer モデルが注目されて いる. 従来の Transformer モデルと比べて, BERT で は双方向の文脈情報を学習しているため高い精度を 示している. 本研究では Transformer モデルとして,

図1各手法を統合したシステムの構成図

BERT に基づく ja-ginza-electra ${ }^{1}$ をを利用している.こ のため ja-ginza-electra は文脈に応じた意味を表す単語ベクトルを取得することができる.

駄酒落の検出・理解を目的とする手法の基礎に関 わる提案は以前から行われている。滝澤 [2] は駄酒落を理解するシステムの構築の一環として併置型駄酒落と重胃型駄酒落を音素列や長さの一致などを基 に分類し明確な基準を初めて提示している。また，谷津ら [8] は本研究の目的と同様に，ユーザによる 発話をユーモアとして検出することを目的に韻文 ユーモアである䭾酒落の教師あり学習に基づく検出手法を提案している. そして先行研究である井上 ら [1] は重畳型駅酒落の構造に着目し, 常識的知識グ ラフを用いて潜在表現を抽出する手法を提案して いる.

## 3 提案

## 3.1 提案システム

手法は大きく分けて 4つあり, 先行研究で提案さ れた知識グラフを用いた手法に加えて, 単語埋め込 み, Transformer モデル，かな漢字変換を用いたそれぞ れの手法である. 最終的には, 知識グラフを用いた手法, 単語埋め込みとして chiVe[9] と Wikipedia Entity Vectors[10] を適用したそれぞれの手法, かな漢字変換を用いた手法の計 4 つを統合し，いずれかの手法 から検出成功が 2 件以上確認された文を重畳型駄酒落として認識する. 統合したシステムの構成を図 1 に示す.

## 3.1.1 知識グラフを用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 次に内容語形態素ごとに知識グラフから関連リソースを探索し，リソースの探

索に成功した場合に音韻類似度関数を用いて潜在表現の抽出を試みる. 本研究では大規模知識グラフと して ConceptNet 5 [5] を使用し, 音韻類似性を検出す るためにはレーベンシュタイン距離 [11] に基づく類似度関数を用いる. 内容語と関連リソースの音韻類似度がしきい値を超えた場合, 潜在表現の抽出及び 重胃型駄酒落の検出に成功となり, すべての内容語及び関連リソースについて潜在表現が抽出できな かった場合，重畳型駄酒落の検出は失敗となる.

## 3.1.2単語埋め込みを用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 次に内容語形態素ごとに単語埋め込みを利用して関連リソースを探索する. 具体的には Python の gensim ライブラリ2)を用いて単語埋め込みが取得できるモデルを利用し，内容語に 対してコサイン類似度がしきい值 (0.40) 以上かつ上位 500 件以内の単語を関連リソースとして取得する。 この手法では, 単語埋め込みが得られるモデルとし $\tau$ chiVe [9], fastText [12], Wikipedia Entity Vectors [10] を利用している。そして取得した各単語に対して音韻類似度関数を用いて潜在表現の抽出を試みる。内容語と関連リソースの音韻類似度がしきい値を超え た場合, 潜在表現の抽出及び重畳型駄酒落の検出に 成功となり，すべての内容語及び関連リソースにつ いて潜在表現が抽出できなかった場合，重畳型駄酒落の検出は失敗となる.

## 3.1.3 Transformer モデルを用いた手法

まず,形態素解析から得られた各内容語の全ぺア においてコサイン類似度を算出する. 次に内容語の ペアを「と」で連結した文を生成し，その文における 各ペアのコサイン類似度を再度算出する。「と」で 連結した後に,コサイン類似度がしきい值 $(0.30)$ 以上上昇し,さらに値自体もしきい値 (0.40) 以上の場合そのペアを潜在表現として検出する. 潜在表現の 抽出に成功した場合は重畳型駄酒落の検出に成功と なる.すべての内容語において潜在表現が抽出でき なかった場合，重畳型駄酒落の検出は失敗となる。

## 3.1.4 かな漢字変換を用いた手法

駄酒落文が入力されると形態素解析が行われ，内容語形態素が得られる. 各内容語形態素のかな漢字変換から得られた単語が潜在表現の候補となる. 具体的には, GoogleTransliterate ${ }^{3)}$ を用いて, 各内容語の

2) https://radimrehurek.com/gensim/

3) https://www.google.co.jp/ime/cgiapi.html
表 1 各手法での検出性能

新たな漢字変換を取得する. そして各候補と内容語 のコサイン類似度を算出し, 値がしきい値 $(0.40)$ 以上であった場合潜在表現として抽出する. 潜在表現 の抽出に成功した場合は重胃型䭾酒落の検出に成功 となり，すべての内容語及び潜在表現候補について 潜在表現が抽出できなかった場合, 重畳型駄酒落の 検出は失敗となる。

## 4 評価と考察

提案手法を用い, 駄酒落データベース [13] に収録 された 1103 文の重胃型駄酒落のうち, 68 文を研究の 対象に指定した. 基準として, 重疂型駄酒落の特徴が 明確になっている駄酒落文を要件とした. 特徵とは,駅酒落文内の語に関連した潜在表現を介して, 音韻的に類似するペアが存在していることである.また，正例・負例各 68 文からなるテストデータを作成し,検出性能の評価を行った. 負例は駅酒落データベー スに収録されている併置型駄酒落文の中から無作為 に 68 文を選択したものである.

比較実験に使用した手法は 3.1 節に基づき, 3.1.1 から 3.1.4 節の各手法及びこれらを統合した手法と した. ただし 3.1.2 節の fastTextを適用した手法と 3.1.3 節の Transformer モデルを用いた手法は予備実験において検出精度が要求される水準を下回ったた め,統合したシステムより除外した.

評価の結果は表 1 に示す. 新たに単語埋め込みを 用いた手法を加え統合したシステムでは適合率が 0.22 ポイント, $\mathrm{F}$ 値が 0.14 ポイントの上昇が確認さ れた.

## 4.1 事例別の考察

本節では，認識の成功及び失敗の事例を対象に個別的に定性的評価を行い，今後の手法改良に繋がる と考えられる発見について述べる。

## 4.1.1 成功例文

知識グラフを用いた手法

・煙とともに灰さようなら

内容語抽出を行うと「煙，灰」になる。探索した関連リソースと各内容語形態素との音韻類似の比較を行うと，「灰」に対しRelatedTo (灰- RelatedTo煙）という関係性で存在する「煙」が完全一致する。 したがって，「煙」を潜在表現とした検出が成功す る.

## 単語埋め迄みを用いた手法

## ・育坚休暇くれるの？サンキュー

内容語抽出を行うと「育児，休暇，サンキュー」 になり，それぞれの単語における関連リソースを取得すると,「育児」とコサイン類似度が高い単語の 上位 9 位に「産休」が存在し音韻類似の比較を行っ た結果, 入力文中の「サンキュー」と一致する. した がって，「産休(サンキュー)」という言葉が潜在的な 語として抽出することが可能となり検出成功とな る.

## Transformer モデルを用いた手法

## $\cdot$鮭の卵は、いくら？

内容語抽出を行うと「鮭，卵，いくら」になり，各単語のペアのコサイン類似度を算出すると,「鮭」 と「いくら」のコサイン類似度は 0.22 である. そし て各ペアを「と」で連結させた「鮮といくら」とい う文章を生成し, 再度「鮭」と「いくら」のコサイン 類似度を算出すると, 0.53 となる.したがって, 各ぺ アを「と」で連結した後でコサイン類似度の上昇値 がしきい値を超えたため，「いくら」という言葉が 潜在的な語として抽出することが可能となり検出成功となる。

## かな漢字変換を用いた手法

## ・一番頭を使う作業は, 農作業!

内容語抽出を行うと「一番, 頭, 使う, 作業, 農, 作業」になり,それぞれの単語におけるかな漢字変換 を取得し, 内容語形態素とコサイン類似度の算出を 行う.すると，「農」のかな漢字変換に「脳」が存在し各内容語とのコサイン類似度の算出を行うと，「脳」と「頭」のコサイン類似度がしきい値を超え る.したがって, 「農 (脳)」という言葉が潜在的な語 として抽出することが可能となり検出成功となる.

## 4.1.2 音韻類似の検出漏れや表記体系の違いによる 失敗

・これを運ぶの？うん，そう.〈運送〉」

内容語抽出を行うと，「運ぶ，うん」となる。「運 ぶ」の関連リソースに「貨車」，「貨車」の関連リソー スに「運送」があるが，音韻類似度比較の対象が形
態素単位であるため，「うん，そう」のように途中に 読点がある場合違う単語として処理されてしまい,音韻類似の比較を行うことができない.

## 4.1.3 知識グラフの関連リソース不足による失敗

## ・オリンピックなんて, 銅でもいい.

「オリンピック」という言葉の ConceptNet 上の関連リソースにおいて「銅」という言葉が存在しな かった. Wikidata を探索した場合は正解に相当する 関連リソースとして発見されるため, 異なる知識グ ラフについての実装は今後の課題といえる.

## 4.1.4単語埋め込みにおける関連リソース取得範囲外による失敗

・この坊主,いい読経してるぜ.

Wikipedia Entity Vectors での「坊主」と「読経」の コサイン類似度は 0.44 であり, しきい値は超えてい たが類似度が高い単語の上位 500 件以内には入らな かったため, 潜在表現として取得できなかった.

## 5 おわりに

本研究の目的は, 常識的知識グラフや単語埋め込 みを用いて潜在的な音韻類似の対を含む駄酒落文の 検出を行いユーモアな表現を機械が理解できるよう にすることである. 先行研究から新たに単語埋め込 みを利用することによって関連リソースの取得でき る幅が広がり精度も向上した. 具体的には, 先行研究 に相当する知識グラフを用いた手法に比べて, 新た に単語埋め込みを用いた手法を加え統合したシステ ムでは適合率が 0.22 ポイント, $\mathrm{F}$ 值が 0.14 ポイント の上昇が確認された. しかし探索の仕方や音韻類似度の比較においては, 依然として手法を見直さなけ ればならない点がいくつか見受けられた.

## 5.1 今後の課題

## 知識グラフを用いた手法

先行研究から引き続き課題は 4 つである. 1 つ目 は音韻類似度の比較を行う際に比較対象となる単語 の文字数が異なる場合正確な比較ができないという 点である. 2 つ目の課題は英語表記及びローマ字表記の単語の比較ができないという点である．3つ目 は関連候補の出現数上限の制限により求める関連リ ソースの取得が困難，という点である．4つ目は例文中に読点がある場合違う単語として処理され，音韻類似の比較を行うことができないという点であ る.

## 単語埋め迄みを用いた手法

4.1 節の考察を経て得られた課題は 4 つである. 1 つ目は知識グラフを用いたシステムと同様, 音韻類似度の比較を行う際に比較対象となる単語の文字数 が異なる場合正確な比較ができないという点であ る. 2 つ目も知識グラフを用いたシステムと同様, 例文中に読点がある場合違う単語として処理され，音韻類似の比較を行うことができないという点であ る. 3 つ目は内容語と潜在表現のコサイン類似度が しきい値を下回るという点である. 4 つ目は内容語 と潜在表現のコサイン類似度がしきい値以上になっ ても，上位 500 件以内に入らないという点である.こ れらの課題において, 関連リソースを取得する範囲 の拡張や, コサイン類似度のしきい値の設定などに おいて,最適な条件を考える必要がある。

## Transformer モデルを用いた手法

4.1 節の考察を経て得られた課題は 2 つである. 1 つ目は各単語のペアを「と」で連結させた文におい て再度各ペアのコサイン類似度を算出すると, 値が 下がってしまうという点である. 2 つ目は各単語の ペアを「と」で連結させた文においてコサイン類似度が上昇した場合でも, 値自体がしきい値以上にな らないという点である. 前提として 2 つ単語のコ サイン類似度がしきい値の 0.40 を上回らない場合, その単語同士は似ているとは判断できないため潜在表現として取得できない. どちらの課題点において も，「と」以外にも「の」や「は」などで連結させて みたり, 他の Transformer モデルを利用してみること で解決できる可能性がある.

## かな漢字変換を用いた手法

4.1 節の考察を経て得られた課題は 2 つである. 1 つ目は各単語を形態素解析する際に, 必要以上に細 かく分割してしまったり, 読点を含んだり文字数が 違ったりすると意図した漢字変換ができず, 検出に 失敗するという点である. 2 つ目はコサイン類似度 を算出する際に, 值がしきい値を下回るという点で ある. 今回はコサイン類似度の算出に chiVeを用い たが, fastText ではしきい值を上回ることができる例 もあったので今後他のモデルも活用したシステムの 実装が課題である.
本研究は JSPS 科研費 JP21K12007 の助成を受けた ものです.

## 参考文献

[1] 井上蒼一朗, 谷津元樹, 森田武史. 重畳型駄酒落ユー モアにおける常識的知識グラフを用いた潜在表現抽出. 言語処理学会第 28 回年次大会, F5-5, 2022.

[2]滝澤修. 記述された「併置型駄酒落」の音素上の性質. 自然言語処理, Vol. 2, No. 2, pp. 3-22, 1995.

[3] Christian Bizer, Jens Lehmann, Georgi Kobilarov, Sören Auer, Christian Becker, Richard Cyganiak, and Sebastian Hellmann. Dbpedia-a crystallization point for the web of data. Journal of web semantics, Vol. 7, No. 3, pp. 154165, 2009.

[4] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[5] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Thirty-first AAAI conference on artificial intelligence, 2017.

[6] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] 谷津元樹, 荒木健治. 子音の音韻類似性及び svm を 用いた駄酒落検出手法. 知能と情報, Vol. 28, No. 5, pp. 875-886, 2016.

[9] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝,浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. NLP2019-P8-5. 言語処理学会, 2019.

[10] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for finegrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. 101, No. 1, pp. 73-81, 2018.

[11] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710. Soviet Union, 1966.

[12] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, Vol. 5, pp. 135-146, 2017.

[13] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹. 駄酒落デー タベースの拡張及び分析 (ことば工学研究会 (第 58 回)(異次元) 空間と創作).ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 58,


# 日本語大規模言語モデルにおける 知識グラフを活用した意味理解性能の向上

中本裕大 ${ }^{1}$ 瀬在恭介 ${ }^{1}$ 元川凱喜 1 麻生英樹 2 岡崎直観 3
${ }^{1}$ SCSK 株式会社 2 産業技術総合研究所 3 東京工業大学
\{yu.nakamoto,sezai,k.motokawa\}@scsk.jp h.asoh@aist.go.jp okazaki@c.titech.ac.jp

## 概要

事前学習後の BERT は一般的な言語表現を獲得す るが, ドメイン固有の知識が不足している.ドメイン 固有の知識を BERT に注入する手法として, 知識グ ラフを活用した研究が行われている. 本研究では,日本語 BERT モデルのファインチューニング時に 知識グラフに記載されている知識を活用すること による，下流タスクへの性能向上の可能性を検討し た. また, LIME を用いて, 文章分類タスクにおいて，知識を追加したことによる予測結果への影響調査を 行った.

## 1 はじめに

近年, BERT [1]をはじめとする大規模言語モデル が言語処理の幅広いタスクにおいて高い精度を達成 している. BERT は大規模なコーパスを用いて文脈情報を加味した単語表現を獲得することを可能とす る. 事前学習後の BERT は一般的な言語表現を獲得 するが，ドメイン固有の知識が不足している。

ドメイン固有にモデルを最適化する手法の 1 つと して, 事前学習またはファインチューニングの段階 で外部の知識グラフ (以下 $\mathrm{KG}$ ) から BERT に知識を 注入する研究が行われている $[2,3,4]$. KG を BERT の学習に用いることで, テキストに書かれていない ドメイン固有の知識などを考慮した言語表現の獲得が可能となる. BERT のファインチューニング時 に KG の知識を活用する KI-BERT [4] では, GLUE [5] の 8 つのタスクで BERT と比較し著しい精度向上を 達成した. 英語や中国語など日本語以外の言語では KG と BERT を掛け合わせた研究が活発に行われて いるのに対して, 日本語 BERT モデルを用いた手法 の提案はまだ少ない. BERT のビジネス活用では, 計算資源や学習時間などの学習コストが課題となる. したがって, 知識グラフで表現された知識をファイ

図 1: 提案手法の概要

ンチューニングで活用する手法は, ビジネス活用に おいて需要が高い.

そこで, 本研究では日本語 BERT モデルのファイ ンチューニング時に KG の知識を活用することに よる下流タスクの性能向上の可能性を検討した. JGLUE [6] の 5 つのタスクのうち 4 つのタスクで精度向上を確認した. また, 実際のビジネスで利用され るデータの一例として, 子育てオープンデータ協議会より公開されている子育て FAQデータでも実験 を行い, 効果を確認した。

## 2 提案手法

本節では, 日本語 BERT モデルにおいて KG の知識を活用したファインチューニングを可能とするモ デルを提案する.

提案するモデルの概要を図 1 に示す. 提案手法で は, 入力として $n$ 単語の単語列 $X=\left(w_{1}, \ldots, w_{n}\right)$ が入力されると, 入力に関連する知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識グラフ前処理で取得する。ここで, $c_{i}$ は知識

グラフのエンティティ (ノード)を指し $m$ は知識グ ラフ前処理により取得したエンティティ数となる。本稿では, 知識グラフの前処理により獲得した $c_{i}$ を 「知識」と表現する. 取得した $C$ は知識グラフ埋め込

み層で知識埋め込み表現 $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d}$ に変換さ れる ( $d$ は次元数). BERT 埋め込み層により変換され た単語埋め込み表現 $\left[e_{\mathrm{CLS}}, e_{w_{1}}, \ldots, e_{w_{n}}\right] \in \mathbb{R}^{d}$ と知識 グラフ埋め込み層で変換された知識埋め込み表現の 結合を BERT に与えることで, $\mathrm{KG}$ の知識も考慮した アテンション計算を行う.

以降では, 日本語 $\mathrm{KG}$ の知識を BERT 内部で利用 するにあたって知識の検索, 知識埋め込み表現へと 変換する機構について詳しく説明する。

知識グラフ前処理 知識グラフ前処理では, 入力単語列 $X=\left(w_{1}, \ldots, w_{n}\right)$ に対して追加できる知識を KG に対して検索する.この際, $X$ を分かち書き前の 文として扱い, 文に対して mecab-ipadic-NEologd(以降, NEologd $)^{11}$ [7] 辞書を使用した MeCabによる分 かち書きを行う. 分かち書き後の $X$ 中の単語のう ち, 名詞のものをキーワードとして KG に存在する か検索を行い, ヒットしたものを追加する知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ とする. 例えば, キーワード群「人間,山田太郎, SCSK」が KG 上に存在するか検索を行い 「人間, SCSK」が存在した場合, $m$ は 2 となる. 追加 する知識の順番は入力単語列中での検索キーワード の登場順となる。

知識グラフ埋め込み層知識グラフ埋め込 み層では, 知識グラフ前処理で獲得した知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識埋め込み表現へと変換す る. 本研究では, $K G$ 埋め込み手法の 1 つである TransE [8] により, KG 上で登場する知識の埋め込み 表現を事前に別途学習し, 獲得している. TransE に より獲得した $\mathrm{KG}$ の埋め込み行列を用いて, 知識群 $C=\left(c_{1}, \ldots, c_{m}\right)$ を知識埋め込み表現へと変換する.通常, TransE による埋め込み次元数は BERT の単語埋め込み層の埋め込み次元数 $d$ と異なる. したがっ て, TransE の埋め込み行列による変換後に全結合層 を用いて $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d}$ へと変換する. 全結合層は 学習可能パラメータとする.

続いて, 入力テキストの単語埋め込み表現と知識埋め込み表現の結合処理の詳細を説明する. 知識埋 め込み表現は単語埋め込み表現の後ろに結合する。位置エンコーディングは結合後の入力系列に対し

1） 事物 (インスタンス) の関係をグラフで整理した KGに対し て,インスタンス名を幅広く検索できるように固有表現に強 いNEologd を採用した.表 1: JGLUE の構成

て,BERT と同様に先頭トークンから順に位置情報 を付与する. 文のセグメント情報についても同様に，各文に対し知識群を加えた系列長を 1 文とみなし，各文が 1 文目か 2 文目であるかの識別情報として付与する.

BERTへの入力が 2 文 $X_{1}=\left(w_{11}, \ldots, w_{1 n}\right), X_{2}=$ $\left(w_{21}, \ldots, w_{2 k}\right)$ である場合, $X_{1}, X_{2}$ それぞれに対し て KG 検索を行った後, 埋め込み表現 $\left.\{a_{11}, \ldots, a_{1 m}\right.\}$, $\left.\{a_{21}, \ldots, a_{2 l}\right.\}$ へ変換する. 獲得した埋め込み表現 を各文の単語埋め込み表現へ結合し, 結合後 の各入力系列を特殊トークン [SEP] によって 結合した $\left.\{e_{\mathrm{CLS}}, e_{w_{11}}, \ldots, e_{w_{1 n}}, a_{11}, \ldots, a_{1 m}, e_{\mathrm{SEP}}, e_{w_{21}}, \ldots\right.$, $\left.e_{w_{2 k}}, a_{21}, \ldots, a_{2 l}, e_{\mathrm{SEP}}\right.\}$ に位置エンコーディングとセ グメント情報の埋め込み表現を加算したものを BERTへの入力とする $(n, k$ は入力単語数, $m, l$ は追加する知識数). ここで, BERT 単語埋め込み層で埋め 込み表現へ変換する単語列は, Hugging Face が提供 している Transformers [9] の BertJapaneseTokenizer を 使用して分かち書きしたものである.

## 3 実験

## 3.1 実験設定

本節では, 提案手法を JGLUE [6] と子育て FAQ データ (CC-BY 4.0 子育てオープンデータ協議会 $)^{2)}$ の両データセットで評価を行い, 提案手法の有効性 を検証する. 前処理を含めた実験の詳細は付録 Aを 参照されたい.

知識グラフ 本実験では, JGLUE, 子育て FAQデー タともに, 知識グラフに Wikidata ${ }^{3}$ を使用した. 提案手法の知識グラフ埋め込み層で使用する KG の埋め 込み行列は, OpenKE [10] で学習済みのものを使用し た. ${ }^{4)}$

JGLUE 本データは,一般的な日本語理解能力を 測ることを目的とした言語理解ベンチマークであ る. 2022 年 8 月時点において, 文章分類データセッ

表 2: 実験結果

 &  &  &  &  &  \\

ト (MARC-ja), 文ペア分類データセット (JSTS, JNLI), QA データセット (JSQuAD, JCommonsenseQA) の計 5 つのデータセットが利用可能であり, 本実験ではこ れら 5 つのデータで評価を行う. 各データセットは 同時点でテストデータが公開されていないため, 学習用/開発用から一部データを抽出しテストデータ として用いた. 各データセットの内訳を表 1 亿示す.

子育て FAQ データ 本データは，「自治体におけ る AI チャットボットの利活用促進」を目的に LINE が参画する子育てオープンデータ協議会より公開さ れている. 本データは, 子育てに関する質問サンプル とその回答サンプル, サンプルの分類カテゴリで構成されており, 本実験では 481 件を使用した. データ 数が少ないため, 質問文をカテゴリに分類するタス クの性能を, 5 分割交差検定で評価した。

## 3.2 実験結果

JGLUE および子育て FAQ データの実験結果を表 2 に示す. JGLUE では, 提案手法が JSQuAD 以外の 4 つのタスクでベースラインを上回る結果となった.特に, JNLI において +1.32 ポイントと全タスクの中 で最も高い精度向上となった.

子育て FAQ データでは, ベースラインと比較し て+1.25 ポイントの精度向上であり, ビジネスで利用 される実データの文章分類においても提案手法が有効であることを確認した。

## 3.3 KG の影響確認

子育て FAQデータでの実験について, KGを活用 したことによる影響を LIME [11] 5) を用いて確認し た. LIME とは, 機械学習モデルへ入力する属性群の うちどの属性が予測に寄与したかを可視化分析す るツールである. 本節では, 知識追加による影響度 の確認を目的とするため, 知識グラフ前処理と同様 に MeCabによる分かち書き後の単語列を属性群と した. LIME は, 各ラベルに対する予測確率の内訳と,最も確率が高いラベルとそれ以外のラベルに関し て，それぞれの予測結果の要因となった属性を示す

5) https://github.com/marcotcr/lime
グラフを表示する. 図 $2 \mathrm{a} \sim 3 \mathrm{~b}$ について, 各図の左側 のグラフが各ラベルに対しての予測確率, 右側が要因となった属性のグラフとなっている.

図 2a, 2b は, BERT の予測は不正解で, 提案手法に おいて正解したサンプルの LIME の分析結果である.入力文が「保育のしおりがほしいです.」で分類 カテゴリが保育であるサンプルにおいて, BERT で は妊娠・出産ラベルに誤分類しているのに対して，提案手法では正しく予測できている.このとき,提案手法では, $\mathrm{KG}$ から「保育」が知識として追加されて いる.

続いて, 図 3a, 3bで, BERT の予測では正解して, 提案手法では不正解であったサンプルの LIME の分析結果を確認する。 入力文が「アートスクールは ありますか?」で分類カテゴリが施設であるサン プルにおいて, BERT では施設ラベルを正しく予測 できているのに対して, 提案手法では保育ラベルを 誤って予測している. 図 3a の BERT の分析結果よ り,施設ラベルを予測する際に「アート」,「スクー ル」といった属性を重要視している。一方, 図 3b の 提案手法では, 保育ラベルを予測する際に「スクー ル」を重要視しており,施設の語義で使用されてい た「スクール」を他語義で解釈していると考えら れる. 提案手法では, $\mathrm{KG}$ 上でロックバンドを指す 「ART-SCHOOL」が知識として追加されており, 追加 された知識により入力文中の語義とは異なる解釈が された可能性がある。

今回の分析により, KG の知識を追加する際に, 正解ラベルと関連度の高い入力文中の単語に対して,文脈中の語義に沿った知識を追加することで正解率 が向上する可能性が示唆された.このことを, 他の データやタスクも含めてより詳細に分析することは 今後の課題である。

## 4 関連研究

BERT の事前学習またはファインチューニング時 に KG の知識を活用し, BERT の言語理解性能を向上 させる研究が盛んに行われている。

ERNIE [3] は, モデルの事前学習時に入力文に関連

(a) BERT

(b) 提案手法

図 2: 提案手法で新規に正解した例

NOT 施設

(a) BERT

NOT 保育

(b) 提案手法

図 3: 提案手法で新規に不正解になった例

する KGの知識を埋め込むための情報合成層と専用 の事前学習タスクを提案している. BERTへの入力 は, BERT の単語埋め込み層で変換した入力文の埋 め込み表現と入力文中の単語に関連する $\mathrm{KG}$ 上の知識を TransEで変換した知識埋め込み表現である.こ のとき, 単語埋め込み表現と知識埋め込み表現はそ れぞれ異なるマルチヘッドアテンションに入力され ることに留意されたい. ERNIE は, $\mathrm{KG}$ 上の知識を活用することでドメイン固有タスクで高い性能を達成 することができた. しかし, 知識を追加する際に, 単語の語義曖昧性や同音意義語の問題を解消しておら ず, 入力文中の単語に対して適切な知識を追加でき ないケースが存在する。

KI-BERT [4] は, モデルのファインチューニング時 に, $\mathrm{KG}$ の知識を考慮した学習を可能とする手法で ある. 入力文中の単語に対して, 概念情報と語義曖昧性を解消した知識の追加を可能としている. 入力単語に対して概念情報と語義曖昧性を解消した語義情報のどちらを追加するかの判定を行い, 概念情報には ConceptNet [12] の知識, 語義が曖昧な単語に は WordNet [13] の知識を追加する。このとき, 追加 する知識は, 各 KG について事前に TransE [8] また は ConvE [14] で獲得した埋め込み行列を用いて変換 され, 提案手法同様に各入力文の直後に追加される. KI-BERT は GLUE [5] の各タスクにおいて ERNIE な どの既存の $\mathrm{KG}$ を考慮したモデルと比較して大きな 精度向上を達成した。英語データを対象とした BERT モデルにおいて外部知識を活用することで精度改善が達成できるよ うに, 日本語モデルにおいても外部知識を活用する ことで精度改善が達成できることが報告されてい る [15,16]. LUKE [15] は, 文脈情報に基づく新たな 単語とエンティティの埋め込み表現の学習方法を提案し, 下流タスクで大きな精度向上を達成した. 笹沢 らの研究 [16] では, 製品に対するレビューの分類を 行う感情分類モデルにおいて, レビュー文に対して ユーザ ID と製品 ID の 2 種類のカテゴリ属性情報を ファインチューニング時に追加することで精度が向上することが報告されている.

## 5 おわりに

本研究では, 日本語の BERT モデルに KG の知識 を活用することによる下流タスクの性能向上の可能性を検討した. 実験の結果, 先行研究の英語データを 対象とした実験同様に, 日本語においても KG の知識を活用することで, 多くのタスクで精度向上が確認できた. また, 文章分類での BERT と提案手法の LIME を使用した可視化分析により, 大力文中の語義 に沿った KG の知識が追加されることが, 性能向上 のために重要である可能性が示唆された。

今後は, 先行研究と同様に日本語においても, 入力文中での各単語の語義に適した知識を追加するた め, エンティティリンキング手法などを適用するこ とで, 精度が改善されるか確認を行いたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weijie Liu, Peng Zhou, Zhe Zhao, Zhiruo Wang, Qi Ju, Haotang Deng, and Ping Wang. K-bert: Enabling language representation with knowledge graph. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 2901-2908, 2020.

[3] Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, and Qun Liu. ERNIE: Enhanced language representation with informative entities. In Proceedings of ACL 2019, 2019.

[4] Keyur Faldu, Amit Sheth, Prashant Kikani, and Hemang Akbari. Ki-bert: Infusing knowledge context for better language and domain understanding. arXiv preprint arXiv:2104.08145, 2021.

[5] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[6] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[7] 奥村学佐藤敏紀. 単語分かち書き辞書 mecab-ipadicneologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[8] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[10] Xu Han, Shulin Cao, Lv Xin, Yankai Lin, Zhiyuan Liu, Maosong Sun, and Juanzi Li. Openke: An open toolkit for knowledge embedding. In Proceedings of EMNLP,
2018.

[11] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016, pp. 1135-1144, 2016.

[12] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Thirty-first AAAI conference on artificial intelligence, 2017.

[13] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 3941, 1995.

[14] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[15] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2020.

[16] 笹沢裕一, 岡崎直観. 属性情報を追加した事前学習済 みモデルのファインチューニング. 言語処理学会第 27 回年次大会, 2021.

## A 実験の詳細説明

JGLUE 各データセットの詳細を以下に示す.

MARC-ja は, amazon における商品レビューの positive, negative の 2 值分類タスクである.

JSTS は, 2 文の意味的な類似度を推定するタスク である. 正解の類似度は 0 (意味が完全に異なる) 5 (意味が等価)の 6 段階となる.

JNLI は, 前提文と仮設文のペアに対して推論関係 を予測するタスクである. 推論関係は, 含意, 矛盾, 中立の 3 つである.

JSQuAD は機械読解の QA データセットの 1 つで ある. 与えられた文章を読み, 内容に関する質問とそ の答えを文章中から抽出するタスクとなっている。

JCommonsenseQA は, 常識推論能力を評価するた めの 5 択式の $\mathrm{QA}$ データセットである.

本実験では, 開発用データに対して最も性能の良 いモデルに対してテスト用データによる評価を行っ た. 実験に当たって, 公開されているデータから一部 データを抽出し, 開発用 (またはテスト用) データと した. データ分割後の各データセットの内訳を表 1 に示す. JNLI は開発用データから一部データを抽出 し, 抽出したデータをテスト用とした. JNLI 以外の データについては, 学習用データから一部データを 抽出し, 抽出したデータを開発用とした. また, 開発用データとして公開されているものを本実験ではテ スト用データとして使用した.

子育て FAQ データ 本データは, サンプル問合せ 文とサンプル応答文, 各サンプルのカテゴリの組み 合わせで用意されており, 各自治体に合わせた情報 を入れることが可能となっている. 本実験では, 広島県に関する情報を入れたものを使用した. 各カテゴ リごとのサンプル数について最大 145 件, 最小 1 件 と大きな偏りがあるため, 学習時のノイズ除去の観点から, サンプル数が最低 60 件以上のカテゴリのも のを使用した. 前処理後のカテゴリ数は 5 となった. また, 前処理後のデータ件数が全体で 481 件と少量 であるため, 本実験では, 5 分割交差検定で実験を行 い, JGLUE での実験と同様に開発用データに対して 最も精度が高いモデルに対してテスト用データで評価を行った。