# レシピ分野における動作対象の状態変化を考慮した データセットの構築と検索モデルの提案

白井 圭佑 ${ }^{1}$, 橋本 敦史 ${ }^{2}$, 牛久祥孝 ${ }^{2}$, 栗田修平 ${ }^{3}$, 亀甲 博貴 ${ }^{4}$, 森 信介 4
1 京都大学大学院情報学研究科, ${ }^{2}$ オムロンサイニックエックス株式会社,
${ }^{3}$ 理化学研究所 AIP, ${ }^{4}$ 京都大学学術情報メディアセンター
shirai.keisuke.64x@st.kyoto-u.ac.jp,
\{atsushi . hashimoto, yoshitaka.ushiku\}@sinicx.com,
shuhei.kurita@riken.jp, \{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

実世界で言語的な指示を理解し行動するエージェ ントは,その行動によって環境が現在の状態からど のような状態に変化するかを理解出来る必要があ る. 本研究では,料理ドメインにおいてこの問題を調查する為に, goal state identification by retrieval (GSIR) タスクを提案する。このタスクでは, 視覚的な現在 の状態と言語的な対象物と動作の情報を入力とし，動作後の視覚的な状態の検索を行う. 実験の為に, ウェブから日本語の 200 レシピを収集し，これを基 に Recipe-GSIR データセットを作成した. 本論文で は, 本タスクにおけるべースラインモデルとその発展モデルも提案し, それらの実駼結果を報告する。

## 1 はじめに

言語的な指示を理解し，それに基づいた行動を取 る自律エージェントの構築は自然言語処理における 一つの目標である [1]. 手順書に記述された一連の指示を遂行する場合には, 各指示文を理解し，それ対応した行動を実行する必要がある.しかし,これには 各動作によってその対象物の状態がどのように変化 するかを理解する能力が求められる。1)

本研究では,この問題に対処し, goal state identification by retrieval (GSIR) タスクを提案する.ここでは,動作後の状態が視覚的な情報として存在すると仮定 し，それを検索によって候補の中から特定すること を目指す. 入力としては, 視覚的な現在の状態の情報 と言語的な動作とその対象物の情報が利用可能であ るとする. 本タスクは, 動作による対象物の状態の変

1）例えば, "じゃがいも"を"切る"ことによって," じゃがいも” は切られた状態に遷移することをモデルが理解する必要があ る.

図 1 GSIR タスクの概要図。

化を考慮しなければならないという点で困難である といえる. 本研究では料理ドメインに限定し, ウェブ から収集した 200 レシピを基に, Recipe-GSIR データ セットを作成した.このデータセットでは,レシピ から抽出した動作とその対象物の単語列に対し, 付属の調理動画からサンプルした画像を用いること で, 動作前後の視覚的な状態の情報の付与を行った, また, 言語側のアノテーションはレシピ固有表現と レシピフローグラフ [2]を基に行った. さらに, 本研究では, 対象とする料理をサラダに限定してデータ セットを構築した. 本論文では, 図 1 亿示すように,共有埋め込み空間の学習によって GSIR タスクを解 く. 同時に,ベースラインモデルとレシピフローを利用した発展的なモデルも提案し,最後にそれらの定量的な評価を行う。

## 2 データセット

Recipe-GSIR データセットの構築の為に, まずクラ シル2)からサラダ 200 レシピの収集を行った.ここ で, 収集した各レシピは, それぞれ材料リスト, 調理手順書, 調理動画から成る. 表 1 亿収集した材料リス

2) https://www.kurashiru.com (2021/12/14).
表 1 材料リストと調理手順書の統計情報.

トと調理手順書の統計情報を示す3). 収集したデー タに対して, (i) レシピ固有表現 (r-NE) の付与, (ii)レ シピフローグラフ (r-FG) の付与, (iii) r-FG から抽出 した調理動作と対象物への動作前後の画像の付与を 行うことでデータセットの構築を行った. 以降では,各アノテーション手順について説明する.

## 2.1 レシピ固有表現 (r-NE)

まず,材料リストと調理手順書上の単語に r-NEの 付与を行った. r-NE タグには, 森ら [2] の提案した 8 タグを用いた. この中で, Ac, F, T の 3 タグは本研究 において重要であるため, 簡潔に説明する. Ac は調理者による動作のことを指し, 食材による動作 (Af) と区別する．F は食材を指し, 材料, 中間生成物, 最終生成物はこれに含まれる。Tは調理に用いられる道具を指し, 包丁や電子レンジ等がこれに該当する.

## 2.2 レシピフローグラフ (r-FG)

次に, r-NEに対して r-FGの付与を行った.ここで， r-FG [2,4] とは, r-NE を頂点とし, それらの関係を辺 とする有向非循環グラフである. r-FG ラベルには, 森 ら [2] の提案した 13 ラベルを用いた. この中で, Targ と Dest の 2 ラベルは本研究において重要であるた め, 簡潔に説明する. Targ は基本的に $\mathrm{F}$ を始点とし, $A c$ を終点とすることで, 食材 $(F)$ に対する動作 (Ac) を表現する. Targ は Acを始点に取ることも可能であ り,この場合は始点側の Ac はその動作によって生成 された中間生成物を表す. 一方で, Dest は F や Tを 始点とし, Acを終点とすることで, 動作 (Ac) が行わ れる方向又は場所としての食材 $(F)$ や道具 $(T)$ を表現する. Targ と同様に, Dest も Ac を始点に取ること が可能であり,この場合も Ac は中間生成物を表す.

ここまでに付与した $\mathrm{r}-\mathrm{NE} と \mathrm{r}-\mathrm{FG} を$ 基に, 調理動作とそれに紐づく対象物 (食材) と場所の情報を抽出 する.これは, Targ の終点の単語列を調理動作, 始点 の単語列を食材として抽出することで実現出来る.同様に, Acを終点に持つ Dest の始点の単語列を場所 として抽出を行う. 以降では,これによって得られた 調理動作, 食材, 場所からなる 3 項組を GSIR タスク


表 2 画像のアノテーション数.、は付与された要素を,同行の数はそれに対応する 3 項組の総数を, それぞれ示す.

における言語的な情報として用いる。

本研究では, さらにこの 3 項組を細粒度なものに 変換することを考える. ここで, 細粒度とは 3 項組内 の 1 動作が同時に 1 食材のみを取る場合を指すもの とする. 例えば, "レタスときゅうりを切る"という指示文では, 1 つの動作"切る"の対象として 2 つの食材"レタス"と"きゅうり"があるが, これは(切る,レタ ス), (切る,きゅうり)のように食材毎に動作を分割す ることで細粒度な組が得られる. しかし, 文書全体を 通して r-FG からの細粒度な 3 項組の自動抽出を行 うには, 各動作が生成する中間生成物の個数を把握 する必要がある. 例えば, 動作"切る"は $n$ 個の食材に 対して $n$ 個の切られた食材を生成するが, 動作"盛り 付ける"は対象とする食材の数に関わらず 1 つの盛 り付けられた食材を生成する筈である. 従って, 本研究では前者と後者の動作を区別し, 収集したレシピ から手動で作成したそれぞれのリストを用いること で, 細粒度な 3 項組の自動抽出を行った. これによっ て, 合計 3,705 組の細粒度な 3 項組が得られた。

## 2.3 細粒度な画像アノテーション

最後に, これらの 3 項組に対して動作前後の画像 の付与を行った. アノテーション候補の画像として は, 同一のレシピの調理動画から 3FPS でサンプルし た画像のみを用いた. アノテーションの際は, より対象の状態の変化がわかるように画像を選択した４）ま た, 対象の食材が $75 \%$ 以上見えない場合, 又は対象の 動作が動画内に存在しない場合には, 画像を付与す

4）例えば,"レタスを切る"という動作に対しては, 動作前の画像としては切られる前のレタスの画像が, 動作後の画像として は切られた後の状態のレタスのものが, それぞれ付与される.

図 2 共有埋め込みモデルの概要図.

る代わりに欠損値を記録した. 表 2 に本ステップに よって得られたアノテーション数を示す.

## 3 実験

## 3.1 GSIR タスク

GSIR タスクでは, 言語的な情報として調理動作 $a$ と $K$ 個の属性 $\left.\{t_{1}, \cdots, t_{K}\right.\}$ が与えられた時, 動作後の 視覚的な状態 $s_{\text {after }}$ を候補となる $N$ 個の画像の集合 $\left.\{s_{1}, \cdots, s_{N}\right.\}$ から特定することが目的である.ここ で, 候補の $N$ 個の画像の中には重複がないものとす る. また, $a$ と $\left.\{t_{1}, \cdots, t_{K}\right.\}$ に加え, 動作前の視覚的な 情報 $s_{\text {before }}$ も入力として用いることが可能であると する. 本研究では, 2.2 節の細粒度な 3 項組に含まれ る調理動作を $a$ とし, 対象物 $o$ と場所 $d$ をそれぞれ $\left(t_{1}, t_{2}\right)=(o, d)$ とする. また, 2.3 節で付与した動作前後の画像をそれぞれ $s_{\text {before }}, s_{\text {after }}$ として用いる.

## 3.2 共有埋め込みモデル

本研究では, 図 2 のように, 共有埋め込みモデル [5] を学習することで GSIR タスクを解く. まず, $a, o, d$ と $s_{\text {before }}$ を基に動作後の対象物 $o$ の状態を表す $\hat{h}_{o}$ を計算し，それを共有埋め込み空間上へ埋め込む. 同時に, 検索候補 $\left.\{s_{1}, \cdots, s_{N}\right.\}$ も同空間へ埋め込み, 対応する動作後の画像 $s_{\text {after }}$ の検索を行う. 以下では, これらの具体的な計算について説明する.

$s_{\text {after }}$ はまず, 畳み込みニューラルネットワーク $(\mathrm{CNN})$ を用いて特徵量 $h_{i}^{\text {after }} \in \mathbb{R}^{d_{i}}$ の抽出を行い, $\hat{h}_{i}$ を以下のように計算する。

$
\hat{h}_{i}=W_{2}^{I}\left(\operatorname{ReLU}\left(W_{1}^{I} h_{i}^{\text {after }}+b_{1}^{I}\right)\right)+b_{2}^{I},
$

ここで, $W_{1}^{I}, W_{2}^{I} \in \mathbb{R}^{d_{i} \times d_{i}}, b_{1}^{I}, b_{2}^{I} \in \mathbb{R}^{d_{i}}$ は学習可能な重 みである. 次に, Miech ら [6] に従い, 共有埋め込み空間上の表現 $\hat{h}_{i}$ を以下のように計算する.

$
\begin{aligned}
h_{v} & =\left(W_{3}^{I} \hat{h}_{i}+b_{3}^{I}\right) \circ \sigma\left(W_{4}^{I}\left(W_{3}^{I} \hat{h}_{i}+b_{3}^{I}\right)+b_{4}^{I}\right) \\
\tilde{h}_{v} & =\frac{h_{v}}{\left.\|h_{v}\right.\|_{2}}
\end{aligned}
$

ここで, $\sigma$ はシグモイド関数, 。は要素ごとの積であ $り, W_{3}^{I} \in \mathbb{R}^{d_{e} \times d_{i}}, W_{4}^{I} \in \mathbb{R}^{d_{e} \times d_{e}}, b_{3}^{I}, b_{4}^{I} \in \mathbb{R}^{d_{e}}$ は学習可能な重みである.

3 項組 $a, o, d$ は埋め込み行列を用いて $d_{v}$ 次元 のベクトルに変換し, それらを双方向長短期記憶 (BiLSTM) ネットワーク [7] を用いることで $d_{t}$ 次元 のべクトル $h_{a}, h_{o}, h_{d}$ にそれぞれ変換する. 動作前の視覚的な状態 s before は CNN を用いて特徴量 $h_{i}^{\text {before }} \in \mathbb{R}^{d_{i}}$ を抽出し, 以下のように $\hat{h}_{i}^{\text {before }} \in \mathbb{R}^{d_{t}}$ へ変換する。

$
\hat{h}_{i}^{\text {before }}=W_{1}^{T} h_{i}^{\text {before }}+b_{1}^{T} \text {, }
$

ここで, $W_{1}^{T} \in \mathbb{R}^{d_{t} \times d_{i}}$ と $b_{1}^{T} \in \mathbb{R}^{d_{t}}$ は学習可能な重み である.これらから, 動作後の対象物の状態 $\hat{h}_{o}$ を以下のように計算する。

$
\hat{h}_{o}=W_{3}^{T}\left(\operatorname{ReLU}\left(W_{2}^{T}\left[h_{a} ; h_{o} ; h_{d} ; h_{i}^{\text {before }}\right]+b_{2}^{T}\right)\right)+b_{3}^{T} \text {, }
$

ここで, ; は結合であり, $W_{2}^{T} \in \mathbb{R}^{4 d_{t} \times 4 d_{t}}, W_{3}^{T} \in \mathbb{R}^{d_{t} \times 4 d_{t}}$, $b_{2}^{T} \in \mathbb{R}^{4 d_{t}}, b_{3}^{T} \in \mathbb{R}^{d_{t}}$ は学習可能である. 最後に, 共有埋め込み空間上の表現 $\hat{h}_{o}$ を以下のように計算する.

$
\begin{aligned}
h_{t} & =\left(W_{4}^{T} \hat{h}_{o}+b_{4}^{T}\right) \circ \sigma\left(W_{5}^{T}\left(W_{4}^{T} \hat{h}_{o}+b_{4}^{T}\right)+b_{5}^{T}\right) \\
\tilde{h}_{t} & =\frac{h_{t}}{\left.\|h_{t}\right.\|_{2}}
\end{aligned}
$

ここで, $W_{4}^{T} \in \mathbb{R}^{d_{e} \times d_{t}}, W_{5}^{T} \in \mathbb{R}^{d_{e} \times d_{e}}, b_{4}^{T}, b_{5}^{T} \in \mathbb{R}^{d_{e}}$ は学習可能なパラメータである.

共有埋め込み空間上における $\tilde{h}_{t}$ と $\tilde{h}_{v}$ の距離は以下のように計算する.

$
D\left(\tilde{h}_{t}, \tilde{h}_{v}\right)=\left.\|\tilde{h}_{t}-\tilde{h}_{v}\right.\|_{2}
$

これを基に, $n$ 個の組 $\left(\left(\tilde{h}_{t, 1}, \tilde{h}_{v, 1}\right), \cdots,\left(\tilde{h}_{t, n}, \tilde{h}_{v, n}\right)\right)$ に 対して以下の Triplet Loss [8] を最小化するように重 みの調整を行う。

$
\begin{aligned}
\mathscr{L}=\sum_{i=1}^{n} \quad & \left.\{\max \left(D_{i, i}-D_{i, j}+\delta, 0\right)\right. \\
+ & \left.\max \left(D_{i, i}-D_{k, i}+\delta, 0\right)\right.\} .
\end{aligned}
$
表 3 Recipe-GSIR データセットにおける実験結果. 、は入力に用いた要素を意味する. また, 1 行目はランダムサーチに おける結果である。

ここで, $D_{i, j}=D\left(\tilde{h}_{t, i}, \tilde{h}_{v, j}\right)$ であり, $\delta$ はマージンを指 す. 式 (9) において, $D_{i, i}$ は正例の組における距離で あり $, D_{i, j}, D_{k, i}$ はそれぞれ負例の 3 項組と動作後の 画像に対する距離である. 本研究では, 負例はミニ バッチ内からのサンプリングで獲得する.

レシピフローを考慮したモデル. 2.2 節で説明し た通り,r-FG から抽出した対象物 $o$ や場所 $d$ は調理動作 (Ac) を表す単語列となる場合がある.この場合 には具体的な対象物や場所の情報が与えられなくな るため, 検索がより困難になるという問題がある.こ れに対処するために, r-FG のフローを利用し, 過去に その Ac タグを動作 $a$ として用いた際に得られた動作後の状態 $\hat{h}_{o}$ を, 中間生成物として $h_{o}$ や $h_{d}$ に用い ることが考えられる.このレシピフローを利用した モデルの精度も 3.4 節で報告する。

## 3.3 実験設定

モデルパラメータ. BiLSTM の隠れ層の次元は 256 とし, 1 層のものを用いた. 他の次元サイズはそ れぞれ $\left(d_{v}, d_{t}, d_{i}, d_{e}\right)=(496,512,2048,128)$ とした. CNN には事前学習済みの ResNet-152 [9] を, 重みを 固定して用いた. 学習可能な重みは AdamW [10] を,初期学習率 $1.0 \times 10^{-5}$ として用いた. また, エポッ ク数は 100 に設定した他, 無作為に抽出した 4 レシ ピに含まれるサンプルからミニバッチを構成した.式 (9)の $\delta$ は実験的に 0.1 に設定した.

評価. 学習と評価には, 動作後の画像が付与され ている 3,036 例を用いた. ここで, 3,036 例の内 484 例は動作前の画像が付与されていないが, それらに は $h_{i}^{\text {before }}$ の代わりに零べクトルを用いることで欠損値を表現した. モデルの評価は 10-分割交差検定 により行った. この際, データセット全体の $90 \%$ を 学習データに, 残りの $10 \%$ をテストデータとして 分割した. 評価指標には Recall@k(R@k) と Median $\operatorname{rank(MedR)}$ を用いた.

## 3.4 実験結果

表 3 に実験結果を示す. まず, 動作前の画像のみ $(2$行目) からでも, ある程度の検索が可能であることが わかる. しかし, 3 行目の結果との比較から, これよ りは調理動作の 3 項組を用いた方がより高い精度を 実現するとわかる。これは, 動作前の画像のみを用い る場合には, 同様の背景を持つ画像を対象に絞るこ とが可能であるが, どれが動作後のものとして適当 かまでは判別出来ないことが原因だと考えられる.次に, 3,4 行目の比較から, r-FG のフローを用いるこ とでさらなる精度向上の実現が可能だとわかる.こ れは, 過去に推定した $\hat{h}_{o}$ を $h_{o}$ や $h_{d}$ として扱うこ とが効果的であることを示唆している.これに加え て, 5 行目の結果から,フローを用いるか動作前の画像を用いるかでは後者の方が精度が高いことがわか る.これは, 前者ではフローから推定した現在の対象物の状態の情報を用いているのに対し, 後者では直 に現在の視覚的な状態を利用出来るためだと思われ る. 最後に, 6 行目の結果から, 入力として利用可能 な全ての情報を用いた場合に最も高い検索精度が実現出来ることがわかる.これに関しては,動作前の画像が付与されていない例に関しては,フローから推定した情報がより効果的に働く為だと考えられる。

## 4 おわりに

本研究では, GSIR タスクを提案し, 料理ドメイン において Recipe-GSIR データセットの構築を行った. また, ベースラインモデルの提案に加え, レシピフ ローを用いた発展的なモデルも提案し, それらの検索精度を定量的に評価した. 今後の方向としては, フ ローグラフから抽出した 3 項組だけでなく, BERT 等を用いて文書上のコンテキストを考慮した表現も 利用した精度向上が考えられる. また, 別の方向とし て,候補からの検索ではなく動作後の状態を表す画像を直接生成する方向も考えられる.
本研究は JSPS 科研費 21 H04910 および JST さきが

け JPMJPR20C2 の支援を受けたものである.

## 参考文献

[1] Terry Winograd. Understanding natural language. Cognitive psychology, Vol. 3, No. 1, pp. 1-191, 1972.

[2] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 2370-2377, 2014.

[3] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, 2011.

[4] Hirokuni Maeta, Tetsuro Sasada, and Shinsuke Mori. A framework for procedural text understanding. In Proceedings of the 14th International Conference on Parsing Technologies, pp. 50-60, 2015.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2630-2640, 2019.

[6] Antoine Miech, Ivan Laptev, and Josef Sivic. Learning a text-video embedding from incomplete and heterogeneous data. arXiv preprint arXiv:1804.02516, 2018.

[7] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm and other neural network architectures. Neural networks, Vol. 18, No. 5-6, pp. 602-610, 2005.

[8] Vassileios Balntas, Edgar Riba, Daniel Ponsa, and Krystian Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In Proceedings of the British Machine Vision Conference, pp. 119.1-119.11. BMVA Press, September 2016.

[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[11] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.

[12] Yoko Yamakata, Shinsuke Mori, and John A Carroll. English recipe flow graph corpus. In Proceedings of the 12th Language Resources and Evaluation Conference,
表 4 r-NE タグと各タグのアノテーション数.

表 5 r-NE タグの推定結果.

## A r-NE/r-FG アノテーション

表 4 に r-NE タグの一覧と各タグのアノテーショ ン数を示す. 表において, 食材や分量のアノテーショ ン数が特に多い理由としては, それらが材料リスト に常に含まれれている為である. r-NE のアノテー ション結果がどの程度自動的に推定出来るかを調査 するために, r-NE の推定を固有表現認識 (NER) タス クとして捉え, BiLSTM-CRF モデル [11]を用いて学習と評価を行った.この際, 評価指標には精度, 再現率, $\mathrm{F}$ 値を用いた. 表 5 に 10-分割交差検定による結果を示す. 結果から, 学習後の NER モデルは非常に 高い精度で r-NE タグを推定出来ていることがわか る.これは, 対象のデータが料理ドメインの中でも特 にサラダに限定している為, 複数のレシピに出現す る特定の動作 $(A c)$ や食材 (F) の推定が比較的容易で あったからだと考えられる。

表 6 に r-FG ラベルの一覧と各ラベルのアノテー ション数を示す. 表において, Targ ラベルのアノテー ション数が最も多い結果となったがこれは先行研究 [4] と同じ傾向である. r-FG ラベルのアノテー ション結果がどの程度自動的に推定出来るかを調査 するために, r-FG の推定を最大全域木の推定問題と して捉元, 先行研究 [4] と同様に Chu-Liu/Edmonds $ア$ ルゴリズムを用いて推定した. この際, 前田ら [4] と 同様の特徴量を用いて学習と評価を行った.この際，評価指標には精度, 再現率, $\mathrm{F}$ 値を用いた. 表 7 に 10分割交差検定による結果を示す. この結果は, 先行研究 $[4,12]$ と比較して高い精度であるといえる. 考 えられる理由としては, 調理手順書のみを対象とし ている先行研究 $[4,12]$ と異なり,材料リスト上の表現から調理手順書上の表現にも r-FG ラベルのアノ テーションを行っている為, それらの一部のラベル の推定が比較的容易であったからだと思われる.表 $6 \mathrm{r}-\mathrm{FG}$ ラベルと各ラベルのアノテーション数.

表 7 r-FG ラベルの推定結果.

表 8 アノテーション一致率

## B アノテーション一致率

本研究では, 1 人のアノテーターによって 2 節の全 アノテーションが行われた. アノテーションの一貫性を調査するために, 別のアノテーターに無作為に 選択した 10 レシピのアノテーションを依頼し, 既に アノテーション済みのものを正解ラベルとして捉え ることで, 精度, 再現率, $\mathrm{F}$ 值を用いて一致率を計算 した. 表 8 にその結果を示す. 表から, r-NE のアノ テーションは非常に高い割合で一致していること がわかる.これは, r-NEに関しては,アノテーション 時にまずNER モデルによる推定結果を提示し, 誤り を訂正するようにアノテーターに依頼していたた め, 元々の NER モデルによる推定が高精度であった ことが理由だと考えられる. 次に, r-FGのアノテー ションでは少し一致率が低下しているが, これはア ノテーション時に頂点としての材料リストと調理手順書に含まれる全ての NE と辺としてのラベルが候補となることを考慮すると,一致率として高いとい える. 最後に, 画像のアノテーション結果では, r-FG の時からさらに一致率が低下していることがわか る.しかし,これも同様に, 調理動画からサンプリン グした全ての画像が候補となること, 動作前後の画像として適当なものが一つとは限らない5)ことを考慮すると,この一致率は十分に高いといえる。

5）複数の画像が同時に基準を満たす場合がある。
 白井 圭佑 ${ }^{1}$, 橋本 敦史 ${ }^{2}$, 牛久祥孝 ${ }^{2}$, 栗田修平 ${ }^{3}$, 亀甲 博貴 ${ }^{4}$, 森 信介 4 1 京都大学大学院情報学研究科, ${ }^{2}$ オムロンサイニックエックス株式会社, ${ }^{3}$ 理化学研究所 AIP, ${ }^{4}$ 京都大学学術情報メディアセンター shirai.keisuke.64x@st.kyoto-u.ac.jp, \{atsushi . hashimoto, yoshitaka.ushiku\}@sinicx.com, shuhei.kurita@riken.jp, \{kameko, forest\}@i.kyoto-u.ac.jp  