# 画像キャプション生成及び物体認識を用いた 駄酒落文ランキング手法の評価

浅野歴 1,2 谷津元樹 1 森田武史 1,2 江上周作 2 鵜飼孝典 2,3 福田賢一郎 2
1 青山学院大学 2 産業技術総合研究所 3 富士通株式会社
c5622198@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp
ugai@fujitsu.com \{s-egami,ken.fukuda\}@aist.go.jp

## 概要

ソーシャルロボットが画像大力より得られる周辺状況に基づいた発話を行う際，駄酒落等のユーモア を付加できれば，ユーザはロボットに対しより高い 親近感を持ちうると考えられる。本研究では既存の キャプション生成モデルや物体検出を用いて画像か ら画像内容に即した語を抽出し，駄酒落文を収集し たコーパスから画像の描画内容に即した駄酒落文を 選択するためのランキング手法を提案する.

## 1 はじめに

世界規模の少子高齢化の進行と，その結果である 高齢者単身世帯の急激な増加は看過できない問題と なっている。 そのため, 人手を要しない人工知能技術による支援は不可欠となる。同技術の代表格とな りうるのが，人間らしい振る舞いの可能な対話知能 である。その具体例として，言語的ユーモアを交え 笑いを通して不安を軽減する能力および視覚入力と しての画像からの周辺状況の推定能力が挙げられ る. さらに，両者を統合したユーモアの表現能力は 人間そのものに近いといえる.

本研究ではユーモア性を含む言語表現として駄酒落に注目した. 画像キャプション生成とは，画像を 入力として，その内容について記述した自然言語文 を出力する問題である [1]. この問題は画像認識お よび自然言語テキスト生成という2つのタスクを同一のシステムに統合して解く必要がある.

駄酒落を含む画像キャプション生成には，画像と その描画内容に即した駄酒落文のペアを集めたデー タセットが必要となる。しかし，現在，そのような データセットは存在しておらず，画像の描画内容 に即した駅酒落文を手動で作成するコストは高く, データセットの作成には時間を要する。そのため,本研究では画像から駄酒落を含むキャプションを 生成する前段階として, 既存のキャプション生成モ
デルや物体検出を活用し，画像に合った駄酒落デー タベース [2] 内の駄酒落文を選択することを目的と する。

## 2 関連研究

荒木らの研究 [2] では前述した背景においてユー モア理解・生成技術の基盤となるデータセットを作成することを目的として，67,000 件の駄酒落文を収録したコーパスを構築している。本研究では，この 駄酒落データベース内に存在する事例より, 入力画像が描写している内容に対して最適な駄酒落文を選択する. Chandrasekaran らの研究 [3] では，画像から 英語の駄酒落（語呂合わせ）を含むキャプション生成を課題として，画像キャプション生成とコーパス 検索に基づく二つの手法を提案している. 画像キャ プション生成に基づく手法では，画像キャプション 生成モデルを用いて得られた単語を，事前に用意し た語呂合わせが成り立つ単語や発音が近い単語のリ ストに含まれる単語に強制的に絞り込み，強制的に 絞り込まれた単語を使い画像キャプションを生成す る.コーパス検索に基づく手法では，一般的な画像 キャプション生成のモデルを用いて得られた単語 と，事前に用意した語呂合わせが成り立つ単語や発音が近い単語の両方が含まれる文をコーパスから検索する。

関連研究は，画像から英語の駄酒落を含むキャプ ション生成を課題としているのに対して，本研究で は，駄酒落データベースから画像に合った日本語の 駄酒落文を選択することを目的としている。

## 3 提案手法の構成

本研究手法では，最初に画像を入力として，キャ プション生成と物体検出を行う。キャプション生成 に関しては，日本語画像キャプションデータセット STAIR Captions[4] と MS COCO[5] データセットの画像を用いて日本語キャプション生成モデルを学習

図 1 駄酒落文スコア計算の手順

し，このモデルに基づいて画像から日本語のプレー ンキャプションを生成する. 生成されたプレーン キャプションに対して重要語抽出と形態素解析を行 う。重要語抽出では TermExtract[6]を用いてプレー ンキャプション含まれる重要な単語を抽出する。形態素解析では $\mathrm{MeCab}[7]$ を使用しプレーンキャプ ションを形態素に区切る. 物体検出では物体検出モ デル YOLOX[8] を用いて入力画像から物体ラベルを 抽出する。日本語 WordNet[9] を用いて，抽出した重要語, 形態素, 物体ラベルの同義語検索する. 駄酒落文, 重要語, 形態素, 物体ラベル, 同義語を入力 として，駄酒落文のスコアを計算し，ランキングを 行い，入力画像の描画内容に即した駄酒落文を選択 し, 出力する. 以下では，提案システムの構成要素 の詳細について述べる。

## 3.1 画像キャプション生成

本研究では, Show and Tell モデル [10]を用い て日本語画像キャプションデータセット STAIR Captions[4]を学習した日本語画像キャプション生成 モデルを用いる. 日本語画像キャプション生成を用 いる理由として，画像から駄酒落文を選択するとき に日本語画像キャプション生成で生成された文と似 た文を探すことで画像にあった䭾酒落文を選択でき ると考えたからである. STAIR Captions は日本語で の画像キャプション生成のために人手で構築され た最大規模のデータセットであり，これを訓練デー タとして学習したモデルのキャプション生成精度 が，同一の画像を使用する MS COCO[5] における英文キャプションに機械翻訳を行い，得られた文を訓練データとした場合を上回ることが判明している. このことから STAIR Captions は優れたデータセット であるといえるため，本研究では STAIR Captions を 使用する. 日本語画像キャプション生成モデルから 得られたキャプションをプレーンキャプションと 呼ぶ.

## 3.2 物体検出

物体検出とは画像や動画に写っている物体のラベ ル（物体ラベル）を検出するタスクである．物体検出を本研究に用いる理由は，画像に描写されている 物体の呼称がプレーンキャプションの生成結果に含 まれなかった場合でも，物体検出の結果に含まれて いれば駄酒落文選択に利用できる語の数が増加する 場合があるためである. 本研究では物体検出を行う ために，リアルタイム物体検出アルゴリズムである YOLO[11] の改良型である YOLOX[8] を用いる.

## 3.3 形態素解析

プレーンキャプションから形態素解析エンジン MeCabを用いて形態素を抽出する. 形態素解析を本研究に用いることにより，プレーンキャプションか ら抽出した形態素と駄酒落文から抽出した形態素の 共通部分を抽出し，画像の描画内容に即した駄酒落文を選択するためのスコアとして利用できる.

## 3.4 重要語抽出

生成されたプレーンキャプションから TermExtract[6] を用いて重要語を抽出すること により，プレーンキャプションに含まれる単語の重要度を求めることができる．重要度の高い語を多く 含む候補文を優先することにより，より画像の内容 に適した䭾酒落文を選択できると考えられる。

## 3.5 同義語検索

プレーンキャプションから形態素解析により抽出された単語，物体検出により画像から抽出された 物体ラベル，プレーンキャプションから重要語抽出により抽出された重要語の各同義語を，日本語 WordNet[9]を用いて検索する．これらの同義語集合 に重みを与えることにより，画像の描写に関連性の 高い駄酒落文をより多く比較の対象とすることがで きると考えられる。

## 3.6 駄酒落文選択

図 1 に，本研究が提案する駅酒落文スコア計算の 手順を示す. 駄酒落文選択は以下の 1 から 8 の手順 で行う. 式 (1) から式 (8) における記号の説明を表 1 に示す.

1. 式 (1)より駄酒落文に含まれるプレーンキャプ ションから抽出した形態素に重み付けをする。

$
f_{t}\left(c, d, w_{t}\right)=w_{t} \cdot\left|T_{c} \cap T_{d}\right|
$

2. 式 (2) より駄酒落文に含まれるプレーンキャプ ションから抽出した形態素の同義語に重み付け をする。

$
f_{t s}\left(c, d, w_{t s}\right)=w_{t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in T_{c}\right.\}\right|
$

3. 式 (3) より駄酒落文に含まれるプレーンキャプ ションから抽出した重要語に重み付けをする.

$
f_{i t}\left(c, d, w_{i t}\right)=w_{i t} \cdot\left|I T_{c} \cap T_{d}\right|
$

4. 式 (4)より駄酒落文に含まれるプレーンキャプ ションから抽出した重要語の同義語に重み付け をする。

$
f_{i t s}\left(c, d, w_{i t s}\right)=w_{i t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in I T_{c}\right.\}\right|
$

5. 式 (5) より駄酒落文に含まれる画像から抽出し た物体ラベルに重み付けをする。

$
f_{o}\left(i, d, w_{o}\right)=w_{o} \sum_{o \in O_{i} \cap T_{d}} C S_{o}
$

6. 式 (6) より駄酒落文に含まれる画像から抽出し た物体ラベルの同義語に重み付けをする。

$
f_{o s}\left(i, d, w_{o s}\right)=w_{o s} \sum_{o \in\left.\{o \in O_{i} \mid s \in S_{o} \wedge s \in T_{d}\right.\}} C S_{o}
$

7. 式 (7)より式 (1) から式 (6) により求めた重みの 合計值を駄酒落文のスコアとして計算する.

$
\begin{aligned}
f_{s}(i, d, \boldsymbol{w})= & f_{t}\left(I C_{i}, d, w_{t}\right)+f_{t s}\left(I C_{i}, d, w_{t s}\right)+ \\
& f_{i t}\left(I C_{i}, d, w_{i t}\right)+f_{i t s}\left(I C_{i}, d, w_{i t s}\right)+ \\
& f_{o}\left(i, d, w_{o}\right)+f_{o s}\left(i, d, w_{o s}\right)
\end{aligned}
$

8. 式 (8) よりスコアの高い上位 $\mathrm{n}$ 件の駄酒落文と そのスコアを出力する.

DajareSearch $(i, n, \boldsymbol{w})=\left.\{\left(d_{1}, s\right): d_{1} \in D \wedge\right.$

$\left.\left|\left.\{d_{2} \in D s=f_{s}\left(i, d_{1}, w\right)<f_{s}\left(i, d_{2}, w\right)\right.\}\right|<n\right.\}$

本研究では $w_{t}: 50, w_{t s}: 25, w_{i t}: 100, w_{i t s}: 50$, $w_{o}: 500, w_{o s}: 250$ とする. 図3 に入力 ${ }^{1}$ 及び表 3 に 出力の例を示す.


表 1 式(1)から式(8)における記号の説明

$d \quad$ 駅酒落文

c 画像キャプション

$n$ 取得する駄酒落文とスコアの数

$D \quad$ 駄酒落文のセット

$w$ スコアの重みべクトル

$\boldsymbol{w}=\left(w_{t}, w_{t s}, w_{i t}, w_{i t s}, w_{o}, w_{o s}\right)$

$w_{t}$ 形態素スコアの重み

$w_{t s}$ 形態素の同義語スコアの重み

$w_{i t}$ 重要語スコアの重み

$w_{i t s}$ 重要語の同義語スコアの重み

$w_{o}$ 物体ラベルスコアの重み

$w_{o s}$ 物体ラベルの同義語スコアの重み

$I C_{i} \quad$ 画像ファイル $i$ のキャプション

$T_{\text {text }} \quad$ text 中のトークンのセット

$I T_{\text {text }}$ text 中の重要語のセット

$S_{\text {token }}$ token の同義語セット

$C S_{o}$ 画像ラベル $o$ の確信度を 10 倍し,小数点以下を切り捨てた値

図 2 駄酒落文 17500 文におけるスコアの度数分布

## 4 実験と評価

## 4.1 実験方法

MSCOCO 内の画像 3500 枚を対象に各画像に対 し, スコアの高い上位 5 件の䭾酒落文とそのスコア とその内訳，画像に対するプレーンキャプション，物体ラベル，同義語を取得した. 本実験で得られた 17500 文の駄酒落に対しての分析を表 2 に示す. 1 行目にはスコアの要因となる 6 つ指標を示し，2 行目には 17500 文の内，スコアが使われた駄酒落文 の数を示す. $3 \sim 8$ 行目には 1 文の駄酒落文に対し て，含まれていた単語の数の最大，最小，平均，中央值, 最頻値，分散である. 図 2 は 17500 文の駄酒
表 2 画像 3500 枚の入力により得られる䭾酒落文 17500 文の各要素の集計

図 3 入力画像の例

表 3 駄酒落文の出力結果

落文のスコアの度数分布である. スコアの中央値は 4750 となった.

## 4.2 考察

平均を見たときにプレーンキャプションの形態素 が最大の 3.198 となった. これは重要語や物体ラべ ル，同義語にはない助詞の「は，が，を」などが含 まれているので他に比べて相対的に多い．2 番目に 平均が高い物体ラベルは本研究では物体ラベルの重 み，つまり $w_{o}$ を 1 番高く設定しているため，物体 ラベルを含んでいる䭾酒落文が多く選択されたと考 える。それぞれの同義語に関しては，重みを低く設定しているが同義語が寄与している駄酒落文が少な からずあることがあることが分かった. しかし，同義語などを提案手法に用いたことによって画像に対 して適切な，ユーモアのある駄酒落文を選択できて いるかの評価ではない. 図 2 ではスコアが 4000 台 の駄酒落文の数が 1 番多くなった. これは, 本研究 では物体ラベルの重みを 500 と高く設定しており，物体の確信度が 0.8 を超えると，その物体ラベルを 含んでいる䭾酒落文のスコアが 4000 を超えるから だと考える.

## 5 まとめと課題

本研究では既存のキャプション生成モデルや物体検出を活用し画像に合った駄酒落文を選択する ためのランキング手法を提案した. 提案手法では, STAIR Captions データセットより学習した日本語 キャプション生成モデルよりプレーンキャプション を生成し, 得られたキャプションから重要語および 他の形態素を抽出し, 画像からの物体検出を行い画像に写っている物体の名前（物体ラベル）を得た. このようにして得られた単語に対して, 同義語取得 を行った。物体ラベル及び重要語を重視して重多付 けをした. 出力として駄酒落データベースにおいて 重みの和が最大となる駅酒落文を選択した。実験で は，駄酒落文のスコアの要因となっている 6つにつ いて分析を行った. その結果どの指標も䭾酒落文選択に寄与していることが分かった.

今後の課題として，駅酒落文選択における重みべ クトルを機械学習により求めることが挙げられる. また，同義語などを提案手法に入れたことによって よりよい駄酒落文が選択できているかの評価. さら には, 本研究の提案手法は, 駄酒落データベースを 参照しているため, 出力する駄酒落文が限定されて おり，新しい駄酒落文を生成できないことも課題で ある. 今後は，キャプション生成手法を用いて駄酒落データベース内の駄酒落文だけでなく多種多様の 駄酒落文を生成できるようにしたい. さらに，画像 に写っている人の動作や位置関係に関する動詞を検出可能にすることで，より画像の描写内容に即した 駄酒落文の選択や生成が可能になると考えられる.

## 謝辞

本研究は JSPS 科研費 JP21K12007 の助成を受けた ものです. 本研究成果の一部は, 国立研究開発法人新エネルギー・産業 技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.

## 参考文献

[1] 牛久祥孝. 画像に関連した言語生成の取組み. 人工知能, Vol. 34, No. 4, pp. 483-491, 2019.

[2] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹. 駄酒落デー タベースの構築及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料 SIG-LSE-B702-3, pp. 13-24, 2017 .

[3] Arjun Chandrasekaran, Devi Parikh, and Mohit Bansal. Punny captions: Witty wordplay in image descriptions. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 770-775. Association for Computational Linguistics, 2018.

[4] 吉川友也, 重藤優太郎, 竹内彰一. Stair captions: 大規模日本語画像キャプションデータセット.言語処理学会第 23 回年次大会 (NLP2017), 2017.

[5] T.-Y. Lin, M. Maire, S. Belongie, et al. Microsoft coco: Common objects in context. In European Conference on Computer Vision (ECCV 2014). Springer, Cham, 2014.

[6] 中川裕志, 森辰則, 湯本紘彰. 出現頻度と連接頻頻度 に基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[7] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.

[8] Zheng Ge, Songtao Liu, Feng Wang, Zeming Li, and Jian Sun. Yolox: Exceeding yolo series in 2021. In arXiv preprint arXiv:2107.08430, 2021.

[9] H. Isahara, F. Bond, K. Uchimoto, M. Utiyama, and K. Kanzaki. Development of japanese wordnet. In the 6th Edition of its Language Resources and Evaluation Conference (LREC 2008), Marrakech, 2008.

[10] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan. Show and tell: A neural image caption generator. In CVPR 2015, pp. 3156-3164, 2015.

[11] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In CVPR 2016, 2016.


 浅野歴 1,2 谷津元樹 1 森田武史 1,2 江上周作 2 鵜飼孝典 2,3 福田賢一郎 2 1 青山学院大学 2 産業技術総合研究所 3 富士通株式会社 c5622198@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp ugai@fujitsu.com \{s-egami,ken.fukuda\}@aist.go.jp  