# ホッピングマスクを利用した Stable Diffusion Model による連続画像生成

趙 開顔 ${ }^{1}$ Qiyu Wu ${ }^{1}$ 村田 秀樹 2
石川隆一 ${ }^{2}$ 根之木堸亮 ${ }^{2}$ 山本 覚 ${ }^{2}$ 鶴岡 慶雅 ${ }^{1}$
1 東京大学大学院 ${ }^{2}$ 株式会社電通デジタル
\{zhaokaiyan1006, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp
\{murata.h, ishikawa.r, nenoki.s, yamamoto.sato\}@dentsudigital.co.jp

## 概要

Stable Diffusion Model (SDM) のオープンソース化 に伴い，大規模画像生成モデル，特に text-to-image モデルが話題になっている. 既存研究では拡散モデ ルを改善し，制御可能な画像生成や画像編集を目指 している。これらの方法はいずれも有効だが，使わ れるプロンプトに対する制約が大きく，編集した画像の構成を変えられないなどの欠点が存在する. そ れに加え，従来のSDM は，生成した画像の表現力 が足りず，しばしば品質の低い画像が出力されるな どの問題点を抱えている.これらを踏まえて, 本研究では再学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる 手法を提案する ${ }^{1)}$.

## 1 はじめに

近年，拡散モデル（DDPM）[1] の幅広い応用や CLIP [2] などのクロスモーダルモデルの発展に伴 い, Stable Diffusion Model [3], DALLE2 [4], Imagen [5] などの大規模画像生成モデルが話題になってい る.これらのモデルにより，専門知識の有無を問わ ず，誰でも高品質な画像を生成することができるよ うになった. 図 1 に示すように，プロンプト（生成 する画像の内容を示すテキスト）さえあれば，モデ ルが自動的にプロンプトが表す内容を画像で出力す ることが可能である. このようなテキストから画像 を生成する技術は txt2img(text-to-image) と呼ばれて いる.

2022 年の 8 月，SDM のオープンソース化を機に，画像生成への関心はさらに高まった. 画像生成を改善する方向の一つとして，制御可能性を高める方法
 maskで公開されている.

図 1 txt2img の例

が挙げられる. Hertz ら [6] の prompt-to-prompt とい う手法により，プロンプトのテキスト編集だけで 画像を編集することが可能になった。一方，Kawar ら [7] は一枚の画像と一つのプロンプトだけで，複雑な画像編集を可能にする手法を提案した. Stable Diffusion Model (SDM) への関心を踏まえ，本研究に おいても SDM である txt2img モデルを使用した.

しかし, Yang ら [8] によると, 従来の SDM には まだ多くの問題が残っている. まず，SDM は高品質な画像を生成することができるものの，時には学習がうまくいかず，崩れた画像を生成してしまうこ とがよくある [9]. また，図2 に示したように，入力 したプロンプトは「ジョンがバットを振っている」 であるのに，出力された画像は「バットを振ってい る」という動きをうまく把握していない場合が存在 する。これは，生成画像がプロンプトに忠実でない という問題である。そのほかにも，複数の入力（幾 つかのプロンプトを同時に入力する場合）に対して は，プロンプト数を認識する機能がなく，叙事的 な画像生成 (narrative image generation) は不可能であ る.これらの問題を踏まえ，私たちはホッピングマ スクを提案し，CLIP のエンコーダー側で上記の問題点を改善した。

Wu ら [10] と Huang ら [11] は文間の情報 (crosssentence information)を利用し，入力文のセマン ティック情報を強化することで，言語モデルとビデ オローカライゼーションの精度を向上させた. こう

Prompt: John is waving a baseball bat.

図 2 SDM が生成した画像がプロンプトに忠実でない例

した手法から着想を得て、我々の提案手法において も文間の情報を利用することで，高品質，高表現力 の画像連続生成を実現した.

実験では，同じプロンプト，シードで提案手法に より生成した画像と従来の SDM で生成された画像を比較したところ，文節間情報の重要性が示さ れた.

本研究での貢献は以下の通りである：
- 分離符 $<S E P>$ の使用により, 複数のプロンプ トを同時にSDM に入力しても，プロンプト数 を認識することが可能になった。

・ホッピングマスクを提案し，文間の情報を使用 することにより，画像の表現力が向上.
- 提案したホッピングマスクにより，一定の一貫性がある画像を生成することができた。

## 2 関連研究

## 2.1 txt2img 画像生成

テキストから画像の生成という分野は，2016 年 の Reed ら [12] の研究から始まった. テキスト記述に基づいた画像を生成するために従来の GAN [13] を拡張し, 小規模なデータセットと小さな画像解像度で動作することが示された. 以来数年間,主な txt2img モデルは GANのネットワーク構造 (Generator と Discriminator 二つのネットワークを互 いに競争させるような形で学習する) に従い, 生成画像の品質と解像度の両方を向上させたが, 近年話題になっているものは拡散モデルである.

拡散モデル [14] が提唱されたのは数年前に遡るこ とができるが，2020 年，Ho ら [1]が初めて何故拡散 モデルは GANよりも性能が良いのかに関し数値的
な分析を行った. 拡散モデルの仕組みは非常にシン プルで，まず画像にノイズを付与し，テキストなど の他のモダリティからの情報を通し，ノイズを除去 するものである.

しかし，画像をピクセルの配列として直接扱う場合，変数の次元が多くなり，計算量が増加してしま うという問題が存在する。ここで，SDM [3] が提案 された. SDM は，ノイズから画像を生成する代わ りに，ノイズから潜在表現 (latent)をまず生成し，そ れを画像へと戻すという 2 段階のプロセスを経て画像を生成するモデルである。

## 2.2 拡散モデルによる画像編集

従来のSDM はすでに高品質な画像を生成するこ とができるが，画像生成を改善する方向の一つとし て, 制御可能な画像生成と画像編集が挙げられる.

Hertz ら [6] からの prompt-to-prompt 手法により, プロンプトのテキスト編集だけで画像を編集するこ とが可能になった. Prompt-to-prompt のキーポイン トは，ピクセルとトークンの関係を利用し，クロス アテンションマップを拡散過程に埋め込み，生成を 制御することである。他の手法と異なり，学習，微調整，追加データや最適化を必要とせず，単に入力 プロンプトを変更するだけで，画像の背景を変更せ ずに小さな部分を変更することや，画像のスタイル を全体に変更することが可能になった．また，新し い情報を追加することも可能になった. しかし, こ の方法での入力プロンプトに対する制約は大きく， プロンプト間のギャップは数語または数フレーズで なければならない.

一方, Kawar ら [7] は Imagic を提案した. Imagic は，初めて 1 枚の実画像を，テキストのみを用いて 複雑な編集をすることを可能にした. 鮮明な画像 さえあれば，Imagic は犬を座らせ，又は，ジャンプ させる，また，鳥を羽ばたかせることができる．だ が，この方法による編集にも限界があり，編集した 画像の構成を変えることはできない.

これらの方法はいずれも有効だが，画像の表現力 が不十分な点や，画像編集が制約される等の問題は 解決されていない. 本研究において, 私たちは学習 を必要とせず，連続的に生成される画像間の相関性 を改善し，画質や表現力を向上させる手法を提案 する。

## 3 提案手法

## 3.1 SDM による画像生成

提案手法を紹介する前に，従来のSDM による プロンプトから画像への変換の流れについて説明 する.

図 3 左側のように，一つのプロンプトを，まず CLIP [2]のトークナイザー (tokenizer) に入力し，トー クン， $T_{1}, T_{2}, T_{3}, \ldots ＼mathrm{~ へ の 変 換 を 行 う . ~ 次 に ， 式 ~(1) の ~}$通り，CLIPエンコーダーを使用し，トークンを埋め 込みに変換する。

$
e_{i}=\operatorname{Attn}\left(w_{i}\right)
$

ここで， $w_{i}$ は $i$ 個目のトークンの単語埋め込み (word embedding)を示し, $e_{i}$ がアテンションの計算 を行ったトークンの埋め込みである。この変換の中 で、コーザルマスク (causal mask) [15] が SDM に使用されている. 図 4 の左側に示すように，第一列と 第一行は各トークンで，第一列から見ると，青い部分はアテンションを計算する際，計算に含まれる ことを示す. 例えば， $T_{1}$ は，自分のみを考慮し， $T_{2}$ は， $T_{1}$ と自身に基づき，アテンションを計算する。 つまり，トークンがアテンションを計算する際，そ の前のトークンと自身のみを認識できるようにして いる.このような仕組みを使用した原因としては， トークンの後に, 意味のないパディング (padding) が ついているので，意味のあるトークンをパディング を見えないように設定にしている.

続いて，埋め込み $e$ をイズを加えられた潜在表現 (latent) と一緒に U-Net[16] に入力し，埋边みを 基にノイズを除去する:

$
\hat{l}=U N e t(l, e)
$

$l$ はノイズを加えられた潜在表現であり，îはノイズ を除去した潜在表現である。最後に，ノイズが除去 された潜在表現を用い，VAE [17]を通し，ベクトル から画像へ戻す．以下の式で表すことができる。

$
\text { image }=\operatorname{vae}(\hat{l})
$

## 3.2 ホッピングマスクを用いた SDM

文間の情報を利用するために，まず，入力をいく つかの連続プロンプトにする必要がある. モデルが 一連の文を明示的にエンコードできるように、セパ レータ $<S E P>$ を文に埋め込む. この際，提案した

図 3 SDM 及び提案手法の流れ

手法の入力は以下の式で表すことができる：

$
\begin{aligned}
& x=\text { Prompt }_{1}<S E P>\text { Prompt }_{2}<S E P>\ldots, \\
& \text { Prompt }_{1}=T_{1}, \ldots, T_{n}
\end{aligned}
$

トークン化後，複数のプロンプトが存在するた め，トークンが所属するプロンプトの IDを返す関数 $P_{i d}(\cdot)$ を使う．例えば， $T_{8}$ が第三個目のプロンプ 卜 (Prompt ( $_{3}$ ) に属する場合, $P_{i d}(8)$ の値は 3 となる.続いて，我々が提案するホッピングマスクについ て説明する. Prompt $t_{2}$ の埋め込み (embedding)を計算する際，Prompt $t_{1}$ の情報を踏まえて，アテンショ ンを計算していく. そして, Prompt 3 の埋め込みを 計算する際，今回の場合 Prompt $_{2}$ の情報を考慮し， アテンションの計算を行う. 図 4 の右側に示す通 り，例えば， Prompt 3 に所属している $T_{8}$ を考える と, $T_{8}$ のアテンションの計算には, Prompt ${ }_{2}$ のトー クンと Prompt $_{3}$ の中で, $T_{9}$ 自分と自分より前のトー クンを考慮し，Prompt ${ }_{1}$ のトークンは含まれていな い. 定式化すると，以下のように表される：

$
M_{i, j}= \begin{cases}1 & i \leq j, P_{i d}(i)-P_{i d}(j) \leq 1 \\ 0 & \text { ほか }\end{cases}
$

$M_{i, j}$ は，提案したアテンション行列の $i$ 行目， $j$ 列目のマスク値のことであり，青い部分の値は 1 であ る. 分離符として使われた $\langle S E P>$ も計算時に考慮する必要がないため, ゼロに設定している.

次に，式 (1)に従い，CLIP エンコーダーでのアテ ンションの計算結果は以下のようになる：

$
\operatorname{Attn}=\operatorname{Attn}\left(w_{i}\right) * M
$

Causal Attention Mask

Proposed Hopping Attention Mask

図 4 左側はSDM に使われているコーザルマスクで，右側は提案したホッピングマスクである.

## Prompt: John is waving a baseball bat.

SDM

Proposed method

図 5 SDM が生成した画像と提案手法による生成画像の 比較

このようなアテンション計算がエンコーダーの各層で行われ，最終的に得られるのは複数のプロンプ トからホッピングマスクを使用した埋め込みであ る．SDM の手順に従い，次にU-Netを使用し，ノイ ズを除去する際には，入力の各自プロンプトの埋め 込みを抽出し，入力プロンプト数と対応している数 の潜在表現から，別々で画像を生成する：

$
\hat{l}_{i}=\operatorname{vae}\left(l, e_{i}\right), i \in P_{i d}(\cdot)
$

提案手法により，豊富な文脈情報の取得に成功 し，SDM に基づいた生成画像の品質と表現力の向上だけでなく，連続画像生成が可能になった。

## 3.3 分析

$\mathrm{Wu}$ ら [10] と Huang ら [11]によると，文間の情報 は，モデルがトークンとプロンプトの意味を正しく 理解することに非常に役に立っているとされる. 私 たちもホッピングマスクを使用することで，文間の 情報を利用し，プロンプトの埋め込みを改善した。

図 5 の右の画像は,「John throws out a baseball」の後 に生成された 2 番目の画像である. 右の画像は左の 画像と比較し，遥かに表現力があることがわかる. これは，2つ目のプロンプトの埋め込みを計算する 際に，1つ目のプロンプトの情報も考慮することで， より入力プロンプトに適合した画像を生成する可能性を高めているためである。つまり，「John throws out a baseball」と「John is waving a baseball bat」は，関連する或いは同じ活動を記述しているため，画像 2 を生成する際に，ジョンが野球をしているという事実が描写される保証が高くなると考えられる。

さらに，提案手法を用いることにより，連続的に 生成される画像間の一貫性も向上にも繋がる。これ は，異なるプロンプトで同じ名前の人物が現れる場合，後者の名前のトークンは前者のものを参照こと ができるため，類似した人物が生成されやすくなっ たと解釈できる。 その他実験結果については付録を 参照していただきたい.

## 4 まとめ

本研究では再学習を必要とせず，連続的に生成さ れる画像間の相関性を改善し，画質や表現力を向上 させる手法を提案した. 既存の画像編集方法と比較 し，プロンプトの制約が減少し，連続生成した画像 の一貫性の向上に成功した。

## 謝辞

この研究は東京大学 $\mathrm{AI}$ センターと株式会社電通デジタルが推進する共同研究の助成を受けてい ます。

## 参考文献

[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems, Vol. 33, pp. 68406851. Curran Associates, Inc., 2020.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[3] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[4] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022

[5] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding, 2022. URL https://arxiv. org/abs/2205.11487, Vol. 4, .

[6] Amir Hertz, Ron Mokady, Jay Tenenbaum, Kfir Aberman, Yael Pritch, and Daniel Cohen-Or. Prompt-to-prompt image editing with cross attention control. arXiv preprint arXiv:2208.01626, 2022.

[7] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-based real image editing with diffusion models. arXiv preprint arXiv:2210.09276, 2022.

[8] Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022.

[9] Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H Bermano, Gal Chechik, and Daniel CohenOr. An image is worth one word: Personalizing text-toimage generation using textual inversion. arXiv preprint arXiv:2208.01618, 2022 .

[10] Qiyu Wu, Chen Xing, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. Taking notes on the fly helps language pre-training. In International Conference on Learning Representations, 2020.

[11] Jiabo Huang, Yang Liu, Shaogang Gong, and Hailin Jin. Cross-sentence temporal and semantic relations in video activity localisation. In Proceedings of the IEEE/CVF
International Conference on Computer Vision, pp. 7199-7208, 2021.

[12] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In International conference on machine learning, pp. 1060-1069. PMLR, 2016.

[13] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784, 2014.

[14] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pp. 22562265. PMLR, 2015

[15] Xu Yang, Hanwang Zhang, Guojun Qi, and Jianfei Cai. Causal attention for vision-language tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9847-9857, 2021.

[16] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[17] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.

## A 付録 (Appendix)

## A. 1 アテンションマスクの可視化

図 6 提案マスクの可視化表示

## A. 2 実験設定

今回使用した SDM モデルは, stable-diffsuion-v1$4^{2)}$ である. 生成された画像の解像度は 512*512で， U-Net のステップ数は 50 に設定されている.

## A. 3 他の実験結果

実験結果に関しては，比較を行った対象は同じ シードを使った生成結果である.

## A.3.1 表現力向上の例

図 7 の中で，左側のほうは従来の SDM が生成 した画像であり，右側のは提案手法の生成結果 である.上から一組目は John is working in his farm. の次に生成された二番目の画像だ。二組目は John throws out a baseball. $<S E P>$ John is waving a baseball bat. $<S E P>$ John hits a ball with his bat. の次の結果で ある. 三組目は A mountain is tall and steep. の次に生成された二番目の画像.

Prompt: John is spreading seeds in his farm.

Prompt: John wins a baseball game.

Prompt: Sophie is climbing the mountain.

図 7 表現力向上の例

## A.3.2 一貫性向上の例

図 8 一貫性向上の例

図 8 の上列は提案手法により生成した画像であ り，犬の様子は下の SDM が生成した画像より同じ ふうに見える.

2) https://huggingface.co/CompVis/

stable-diffusion-v1-4
 趙 開顔 ${ }^{1}$ Qiyu Wu ${ }^{1}$ 村田 秀樹 2 石川隆一 ${ }^{2}$ 根之木堸亮 ${ }^{2}$ 山本 覚 ${ }^{2}$ 鶴岡 慶雅 ${ }^{1}$ 1 東京大学大学院 ${ }^{2}$ 株式会社電通デジタル \{zhaokaiyan1006, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp \{murata.h, ishikawa.r, nenoki.s, yamamoto.sato\}@dentsudigital.co.jp  