# 手順構造を考慮した作業映像からの手順書生成

西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
牛久祥孝
オムロンサイニックエックス株式会社
yoshitaka.ushiku@sinicx.com
橋本敦史
オムロンサイニックエックス株式会社
atsushi.hashimoto@sinicx.com
亀甲博貴
京都大学 学術情報メディアセンター
kameko@i.kyoto-u.ac.jp
森信介
京都大学 学術情報メディアセンター
forest@i.kyoto-u.ac.jp

## 1 はじめに

手順書は，料理や科学実験などの一連の手続きを 自然言語で記述した文書である。手順書を作業映像 から自動的に生成できるようになれば，作業者が作業内容を検証したり，同じ結果を再現したりする上 で有用である. 本研究では，作業映像から手順書を 生成することを目的とする.

正しく手順書を生成するためには，モデルは単に 映像の情景を記述するのではなく，人が読んで作業 を実施できるような一貫性を持った文を生成するこ とが要求される. そのためには，材料や動作の依存関係を捉えること，つまり，(1) 動作や材料の順番が 正しく，(2)ある手順の動作後の状態をもとに次の 手順文を生成することが重要である.

我々は，材料や動作の依存関係を木構造をはじめ とするグラフ構造で表現することで $[1,2,3]$, 前述 した要件を満たすモデル化が可能になると考えてい る.こうした構造を手順構造と呼び，図 1 にその一例を示す. この例では, 手順 1 でトマトが切られ,手順 2 においてかぼちゃが切られ炒められる. こう して得られた切ったトマト, 炒められたかぼちゃが 手順 $1 ， 2$ のノードにそれぞれ対応し，次に手順 3 で使われることを示している．以前の我々の研究で は，動画ではなく写真列を対象に，同様の手順構造 の半教師ありで学習しつつ，手順書を生成するモデ ルを提案した [2]. 本研究では，このアイデアを動画列へ拡張し，かつ教師なしで手順構造をモデル化 することで，一貫性のある手順書を生成する手法を 提案する。

図 1 物体と動作の依存関係を表現した木構造.

実験では，映像から文を生成する従来手法と比較 して文の自動評価尺度において性能が向上したこ と，また，定性的評価において提案手法がある程度構造を考慮しつつ文を生成できていることを示 した.

## 2 関連研究

画像や映像といった視覚情報から手順書を生成 する研究が近年活発に行われている。手順書の中で も，料理ドメインは Web 上で大量にデータを集めや すく，動作や材料が多様であるため，特に注目を集 めている.こうした研究の先駆けとして，Salvador ら [4] は完成写真からタイトル，材料リスト，レシ ピをまとめて生成する手法を提案した. その後, Chandu ら [5], Nishimura ら [6] は，1 枚の完成画像 ではなく，複数枚の作業途中の写真列からレシピを

(1) 入カをエンコード

(2) 手順構造を考慮した手順べクトルの計算

図 2 提案手法の概要図.

生成する課題と手法を提案した。作業映像から手順書を生成する研究も行われている. Shi ら [7] は作業映像と, 映像中の音声の書き起こしを入力にして手順書を生成する手法を提案している。

また，手順書の理解に向けて，材料や動作の依存関係をグラフで構造的に表現する研究も行われてき た $[1,2,3]$. 近年ではこれを拡張し, 手順書に付与 された画像情報も活用してマルチモーダルに木構造 で表現する取り組みも行われている $[2,8]$. 本研究 ではこの木構造の手順構造を教師なしで，入力の作業映像から獲得しつつ，手順書を生成する手法を提案する。

## 3 提案手法

提案手法は大きく分けて 3 つのプロセスからな る.(1)まず，最初に動画列と材料リストをエンコー ドし，動画，材料のベクトル表現を獲得する．(2) 次 に，手順構造を獲得するために，得られた動画，材料べクトルから材料-手順隣接行列, 手順-手順隣接行列を計算する. 計算した隣接行列を用いて, 手順 ベクトルを計算する。 (3) 最後に，計算した手順べ クトルを入力に手順書の各手順文を生成する.

## 3.1 入力のエンコード

動画列のエンコード．動画列をエンコードするた めに，動画列の各動画の先頭にエンコードを意味す
る [ENC] ラベルを結合して Transformer [9]を用いて エンコードする．そして，[ENC] ラベルに対応する ベクトルを動画ベクトルとして得る．次に，動画列 の時系列情報を考慮するために，各動画ベクトルを 別の Transformer へ入力し，動画列の時系列情報を 考慮した動画ベクトル $Z_{v}=\left(z_{v}^{1}, z_{v}^{2}, \ldots, z_{v}^{N}\right)$ を得る. ここで， $N$ は動画列に含まれる動画数である.

材料リストのエンコード. 各材料を単語の分散表現に変換した後，材料リスト内の関係を考慮するため, Transformerを用いて材料べクトル $Z_{g}=\left(z_{g}^{1}, z_{g}^{2}, \ldots, z_{g}^{M}\right)$ を得る.ここで， $M$ は材料リ ストに含まれる材料数である.

## 3.2 手順構造を考慮した手順ベクトルの 計算

(2.1) 手順構造の計算. 得られた動画べクトル，材料べクトルを用いて手順構造を計算する. 節 1 で 述べた通り, 手順構造は木構造として表現するこ とができ，これは材料がどの手順へ接続するか， ある手順がどの手順へ接続するのかを材料-手順,手順-手順の隣接行列を計算することで得られる.本研究では，この 2 つの行列計算をマルチヘッド アテンションとして定式化する。まず，材料べク トル，動画ベクトルから各へッドごとの材料ベク トル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{g}}=\left(z_{h, g}^{1}, z_{h, g}^{2}, \ldots, z_{h, g}^{M}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times M \times d_{h}}$, 動画 ベクトル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{v}}=\left(z_{h, v}^{1}, z_{h, v}^{2}, \ldots, z_{h, v}^{N}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times N \times d_{h}}$ を 得て, 材料-手順 $P_{i, j}^{i n g r} \in \mathbb{R}^{|\boldsymbol{h}| \times M \times N}$, 手順-手順行列
$P_{i, j}^{i n s t} \in \mathbb{R}^{|\boldsymbol{h}| \times N \times N}$ を以下のように計算する.

$
\begin{aligned}
P_{i, j}^{\text {ingr }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, g}^{Q}\left(\boldsymbol{Z}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right) \\
P_{i, j}^{\text {inst }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, v}^{Q}\left(\dot{\boldsymbol{Z}}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right)
\end{aligned}
$

ここで, $\boldsymbol{Z}_{h, g}^{Q}, \boldsymbol{Z}_{h, v}^{K}, \boldsymbol{Z}_{h, v}^{Q}, \dot{\boldsymbol{Z}}_{h, v}^{K}$ はそれぞれ別の 1 層の 線型結合層で変換されたべクトルである. 計算し た材料-手順隣接行列 $P_{i, j}^{i n g r}$ では, $i$ 番目の材料が $j$番目の手順に接続する確率を, 手順-手順隣接行列 $P_{i, j}^{i n s t}$ は, $i$ 番目の手順が $j$ 番目の手順に接続する確

の手順に遡って繋がらないという仮定のもと， $i \geq j$番目の要素には非常に小さい值 $\epsilon\left(=1.0 \times 10^{-5}\right)$ が挿入されている.

(2.2) 手順ベクトルの計算. 次に，得られた隣接行列を用いて，各手順に対応するべクトルを計算 する. $P_{i, j}^{i n g r}$ の $j$ 列目は $j$ 番目の手順で使われる材料の重みが， $P_{i, j}^{i n s t}$ の $j$ 列目は $j$ 番目の手順と依存関係にある手順の重みが計算されているとみなす ことができる. よって,$j$ 番目の手順における各材料, 手順の隣接行列の重みと, 材料, 動画ベクトル を掛け合わせることによって， $j$ 番目の手順での 材料と動画の重要度を加味したべクトルを得るこ とができる. 具体的には，材料，動画ベクトルを 1 層の線型結合層で変換したべクトル $\boldsymbol{Z}_{h, g}^{V}, \boldsymbol{Z}_{h, v}^{V}$ と, $P_{i, j}^{i n g r}, P_{i, j}^{i n s t}$ の $j$ 列目を用いて, $j$ 手順目と関係のあ る材料ベクトル，動画ベクトルを得る.

$
\begin{aligned}
Z_{h, g}^{j} & =\left[P_{1, j}^{i n g r} z_{h, g}^{V, 1}, P_{2, j}^{i n g r} z_{h, g}^{V, 2}, \ldots, P_{M, j}^{i n g r} z_{h, g}^{V, M}\right] \\
Z_{h, v}^{j} & =\left[P_{1, j}^{i n s t} z_{h, v}^{V, 1}, P_{2, j}^{i n s t} z_{h, v}^{V, 2}, \ldots, P_{N, j}^{i n s t} z_{h, v}^{V, N}\right]
\end{aligned}
$

ここで，[$\cdot$] はベクトルの結合を表す.こうして 得られるベクトルの各ヘッドのベクトルを結合し， $j$ 番目の動画ベクトル $z_{v}^{j}$ を結合することによって,手順書を生成するのに必要な $j$ 番目の手順べクトル $z_{s}^{j}$ を計算する.

## 3.3 手順書の生成

最後に，得られた手順べクトルから対応する手順文を生成し，それらを結合することで手順書を得 る. 手順書を $\boldsymbol{Y}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とし, 各 $\boldsymbol{y}_{j}$ は手順文を表すとする．この時，損失関数 $L$ は全ての動画列と手順書のペアからなるデータセット $D$ に対し表 1 YouCook2 材料データセットの統計情報.

て，以下の負の対数尤度が最小となるように計算を 行う.

$
L(\boldsymbol{\theta})=-\sum_{D} \sum_{j} \log p\left(\boldsymbol{y}_{j} \mid \boldsymbol{z}_{s}^{j} ; \boldsymbol{\theta}\right)
$

ここで， $\theta$ はモデル全体のパラメータを表す。ま た，デコーダには Transformer を用いる。

## 4 実験

## 4.1 実験設定

データセット. 作業映像と手順書のデータセット として YouCook2 [10]を利用した. YouCook2 は作業映像に対し, 手順書の各手順に対応する区間がアノ テーションされたデータセットである. 本研究で は，この区間を抽出することで，各手順に対応する 動画列を作成している. YouCook2 には材料のアノ テーションが行われていないため，材料のアノテー ションを 3 人のアノテータを介して行なった。アノ テーションの結果得られたデータを YouCook2 と併 せて, 本研究では YouCook2 材料データセットと呼 ぶこととする。データセットの統計情報を表 1 に示 す.なお，YouCook2 ではテストセットは公開され ていないため，材料のアノテーションは行っていな い. 以後の実験結果は全て検証セットで評価された ものである.

比較モデル. 本研究と比較するモデルとして，同 じくTransformer ベースで動画列から文章を生成す るモデルである Transformer-XL [11]，MART [12] を 用意した. 元々のモデルは材料を入力としていない ため，提案手法との公平な比較のために，提案手法 と同様に材料リストをエンコードした後，入力の動画ベクトルと結合してモデルを学習させた. また，提案手法の中でどの要素が効果があったのかを調べ るために，提案手法から要素を除いたモデルも学習 して比較した.

## 4.2 定量的評価

文の自動評価尺度である BLEU [13], METEOR [14]，CIDEr-D [15] を用いて生成した手順書を評価 した，表 2 に評価した結果を示す，全ての評価尺度

図 3 手順書の生成結果. 手順構造の予測結果はヘッドの平均值で計算されたものである. また，可視化した手順構造は 隣接行列の各行で最大の值をサンプリングすることで得られたものである.

表 2 文の自動評価尺度による評価. 最も性能が高いもの は太字に，次に性能が高いものには下線を引いている。

において，既存モデルと比較して提案手法が最も高 い性能を示した. 中でも，材料-手順のみが BLEU1， BLEU4，METEOR において最も高い性能を示して おり，材料-手順の隣接行列を計算することが有効 であることが分かる。一方，手順-手順のみのモデ ルは，動画のみのモデルに比べ性能は向上してい る.しかし，全てを組み込んだ両方のモデルでは CIDEr-Dを除いて材料-手順のみのモデルより悪化 する結果となっており, 材料-手順と手順-手順の依存関係を同時に考慮する方法については未だ検討が 必要である.

## 4.3 定性的評価

図 3 に提案手法が生成した手順書，正解の手順書，及び手順構造の予測結果を示す. 提案手法はあ る程度正しく生成できた手順もある一方で (手順 1 ,手順 6)，誤った材料や動作の記述があるものも見ら れる (手順 2, 手順 3). 手順構造の予測結果を可視化すると，手順-手順の依存関係はある程度正しく 捉えられているが，材料-手順については正しく予測できなかった. その結果，異なる手順で異なる材料を使用して手順書を生成していると考えられる。 このことから，手順構造を正しく計算しつつ，手順書の生成に効果的に反映させるようにモデルを改善 することを検討している。

## 5 おわりに

本研究では，作業映像から手順書を生成する課題 に取り組んだ。正しく手順書を生成するためには，材料と動作の依存関係をモデルが理解する必要があ る. 本研究では，こうした材料と動作の依存関係を 木構造として明示的に表現しつつ，文生成モデルに 組み込むことで正しく手順書を生成する手法を提案 した. 実験では，文の自動評価尺度による評価と定性的評価を行い，既存の文生成手法と比較して正し く手順書を生成できていることを確認した.

今後は検証セットに手順構造のアノテーション し，モデルの予測結果がどの程度一致するのか調査 する。また，手順書の一貫性をより詳しく評価する ために，人手評価および別の評価尺度を検討する。

## 参考文献

[1]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In $L R E C$, 2014.

[2]Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-aware procedural text generation from an image sequence. IEEE Access, 2020.

[3]Chloé Kiddon, Ganesa Thandavam Ponnuraj, Luke Zettlemoyer, and Yejin Choi. Mise en place: Unsupervised interpretation of instructional recipes. In $E M N L P, 2015$.

[4]Amaia Salvador, Michal Drozdzal, Xavier Giro i Nieto, and Adriana Romero. Inverse cooking: Recipe generation from food images. In CVPR, 2019.

[5]Khyathi Chandu, Eric Nyberg, and Alan W Black. Storyboarding of recipes: Grounded contextual generation. In $A C L, 2019$.

[6]Taichi Nishimura, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from a photo sequence. In $I N L G$, 2019.

[7]Botian Shi, Lei Ji, Yaobo Liang, Nan Duan, Peng Chen, Zhendong Niu, and Ming Zhou. Dense procedure captioning in narrated instructional videos. In $A C L, 2019$.

[8]Pan Liang-Ming, Chen Jingjing, Wu Jianlong, Liu Shaoteng, Ngo Chong-Wah, Kan Min-Yen, Jiang Yugang, and Chua Tat-Seng. Multi-modal cooking workflow construction for food recipes. In ACMMM, 2020.

[9]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[10]Luowei Zhou, Chenliang Xu, and Jason J. Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018.

[11]Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-xl: Attentive language models beyond a fixed-length context. In $A C L$, 2019.

[12]Jie Lei, Liwei Wang, Yelong Shen, Dong Yu, Tamara Berg, and Mohit Bansal. Mart: Memory-augmented recurrent transformer for coherent video paragraph captioning. In $A C L$, 2020.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In $A C L, 2002$.

[14]Satanjeev Banerjee and Alon Lavie. Meteor: an automatic metric for MT evaluation with improved correlation with human judgments. In ACL Workshop IEEMMTS, 2005.

[15]Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.
 西村太一 京都大学大学院情報学研究科 nishimura.taichi.43x@st.kyoto-u.ac.jp 牛久祥孝 オムロンサイニックエックス株式会社 yoshitaka.ushiku@sinicx.com 橋本敦史 オムロンサイニックエックス株式会社 atsushi.hashimoto@sinicx.com 亀甲博貴 京都大学 学術情報メディアセンター kameko@i.kyoto-u.ac.jp 森信介 京都大学 学術情報メディアセンター forest@i.kyoto-u.ac.jp  