# 「BioVL2データセット: 生化学分野における一人称視点の 実験映像への言語アノテーション」の研究経緯

西村 太一 ${ }^{\dagger}$
## 1 はじめに

本稿では, 言語処理学会の 2022 年度論文賞をいただいた “BioVL2 データセット: 生化学分野における一人称視点の実験映像への言語アノテーション”(西村他 2022 )の研究の経緯について説明する。

## 2 本研究の概要

科学は再現性の危機に瀕している。2 2016 年に学術誌 Nature に掲載された, “1,500 Scientists Lift The Lid on Reproducibility"(Baker 2016)の報告にて, 心理学, 化学, 医学といった多くの研究分野において, 多くの科学者が他者の実験結果を再現することに失敗した経験があることが明らかになった。分野ごとの統計結果も記載されているのだが，とりわけ再現の失敗する傾向が多かったのが, 生化学や生命科学などの薬品を用いた化学実験を行う研究分野である. こうした分野では， $75 \%$ から $80 \%$ 以上の研究者が他の研究者の実験結果を再現することができなかった経験があると報告している。

こうした化学実験において, 再現性の観点から重要な役割を果たすのが実験プロトコルである ${ }^{1}$ 実験プロトコルとは，ある実験を再現するために必要な操作を時系列順に記述した文書である．科学者はこれに従うことで理想的には実験を再現できるべきであるが，人が書いたものであるがゆえ手順には抜け漏れが生じたり，誤りを含んだりすることもある．また，多くは言語のみによる記述のため，直感的に分かりやすい視覚情報は含まれていない．玄人の科学者であれば，過去の実験経験をもとに，言語情報のみから再現することも可能であろうが，駆け出しの科学者であればそれもまた難しくなる。人工知能技術を用いてこの問題の解決に貢献できるだろうか？ この問いが本研究の根底にある学術的問いである.

この問いに答えるために，我々は視覚と言語の融合研究に着目した．撮影した実験映像とプロ


トコルの組から, 映像の操作シーンとプロトコルの各手順の対応関係を推定する技術 (Bojanowski et al. 2015; Naim et al. 2014, 2015) を応用すれば，手順ごとに視覚的に操作を確認できるようになる。あるいは，作業映像を入力としてプロトコルを自動生成できれば (Nishimura et al. 2021; Ushiku et al. 2017)，研究者がプロトコルを書く負担を軽減することができる。このように，化学実験を対象とした視覚と言語の融合研究は実験プロトコルの参照時と作成時の両方の負担を軽減し, 実験再現性の向上に貢献できるだろうと考えた.

この目標に向けた第一歩として, 本研究では, 生化学分野を対象として実験映像を収集し，言語アノテーションを付与した BioVL2 データセットを構築した（図 1). BioVL2 データセットには, 生化学分野の 4 種類の基礎的な実験に対して 8 映像を撮影し, 各映像に対して (a) 視覚と言語の対応関係と (b) プロトコル内に現れる物体の矩形情報の二種類のアノテーションを付与した。これらのアノテーション方法や統計情報といった詳しい説明は元論文に譲る. 重要なのは，これらの情報を利用することで，映像中からのシーン検索やプロトコル生成による科学者のプロトコル記述の補助といった科学の再現性向上に資するデータセットを提案したことである。構築した BioVL2 データセットを用いて，作業映像からのプロトコル生成を応用課題に掲げて実験を行いデータセットの有用性を検証している.

図 1 BioVL2 データセットの概要. 図は元論文から引用.

## 3 本研究の過程

## 3.1 研究の始まり

本研究は, 私が博士 1 年のはじめに取り組み始めた研究である。私は “作業映像からの手順書生成”を大きなテーマに揭げて研究に取り組んできた (Nishimura et al. 2021). 作業動画といっても全ての分野を同時に検証することは難しい，私は，Web上でデータが多く, ベンチマークデータセットが整備されている料理分野 (Zhou et al. 2018; Damen et al. 2018) に焦点を絞り研究に取り組んできた。しかし, 自分の開発した手法が果たして他の分野（部品組み立てや化学実験）にも適用できるのかは不明であった。料理分野にしか適用できない手法を開発しているのではないか？という疑問は絶えず頭の片隅にあったことを覚えている.

このことは指導教員である森信介教授にも何度か指摘された。「料理分野は取り組みやすいということで始めた研究のはずだ. そろそろ手順化することの需要が高い別の分野で研究に取り組むべきではないか」この言葉は当時グサッときた。図星であったからであろう，一方，新しい分野に飛び込む恐怖も覚えていた。映像から手順として生成することの需要が高い分野として化学実験があることは頭にあったが，どこから手をつけたら良いか（例えば，Webから映像を収集するのか，あるいは映像を実際に撮影するのか）悩んでいた。また，料理分野と違いほとんど先行研究がない中の挑戦となる。公開されているデータセットも少なければ Web 上のデー 夕 (例: YouTube 上の映像の数）も少ない. 深層学習を用いたアプローチをそのまま適用することが難しい中, 自分が一から研究を行って最後まで遂行することができるのかという不安もあった。

悩んだ末に出した答えは，“考えるより先に動く”，つまり，実際に実験映像を収集してみて分析を行ってみるしかないという結論に至った。撮影を行いたい旨を森先生に相談すると, 先生から BonBon 株式会社の荘子万能氏を紹介していただいた．荘子氏は大阪医科薬科大学の卒業生であり，我々の研究に興味を持ってくれた。そして，撮影の協力相手として氏の所属していた研究室である大阪医科薬科大学の生理学研究室の小野富三人教授を紹介していただいた. 小野教授も我々の研究内容に興味を持っていただき，実験の撮影に対して快諾していただいた。

こうして, 我々一京都大学と大阪医科薬科大学の共同研究が始まった. 当時研究室の修士 2 年であった迫田航次郎君と共に大阪医科薬科大学に定期的に通い撮影を行い研究を進めた。我々の研究室は自然言語処理の研究室であり撮影に関する知識はなかったため, コンピュータビジョンのプロであるオムロンサイニックエックス株式会社橋本敦史氏に協力を仰ぎ撮影のノウハウを教えてもらいつつ撮影を進めた2。


## 3.2 実験映像の撮影を経て得られた知見

撮影を行っていく中で，料理分野では見られなかった観察も多々得られた。 そのうちの $1 \supset$ に物体の性質の変化に伴う見た目の変化がある。作業を行っていくたびに，作業対象となる物体の性質は変化していき，時として物体の見た目にも変化が伴う。料理をもとに例を挙げよう. カレーを作る際にじゃがいもは生の状態から皮を剥かれ，切られ，鍋に入れられといったように，じゃがいもの持つ性質は人の操作によって変化する。そして，この過程でじゃがいもの見た目も生の状態から操作を経て大きく变化していく3

料理分野との大きな違いは, 化学実験において, 性質の変化に伴って見た目の変化が伴わない点にある。これは，対象とする物体は液体であることが多く，チューブに入れて操作をするためである。チューブに試料を入れて操作をするため，液体の化学的性質は変化していても見た目を手がかりに試料の性質を認識することはできない。また，異なる試料に同じチューブを利用しているため，チューブの違いから試料を区別することも難しい。こうした機械的には区別することがほとんど不可能な認識をどう行っているのか？ 撮影に協力いただいた奥田奈津子氏に尋ねると，「チューブのふたに小さい文字を書いて何の試料が入っているのかを区別している」との回答を得た。この回答をもとに，QRコードをチューブに貼ってしまったら良いのではないかと閃いた。このアイデアは BioVL2 データセットにおいては未検証であるが，現在進行形の後続研究にて QR コードを実験機材に貼って撮影することで実験中に登場する物体の識別が可能な新たなデータセットを構築する取り組みを進めている.

これらのアイデアは実験映像を撮影することでしか得られなかったであろう．新しい分野に足を踏み入れるとき重要になるのは，その分野について深く知ることである。こうした知識はすぐに手に入るものではなく，実際の現場に赴くほかにない。今後も新たな分野に挑んでいく時は需要を頭で考えるだけでなく, 体を動かして一つまり, 現場の声を聞いたうえで研究開発を行っていきたい.

## 3.3 論文誌への投稿と今後について

BioVL2 の初期バージョンに当たる BioVL データセットはコンピュータビジョンの国際会議である 2021 年の International Conference on Computer Vision (ICCV2021)の併設のワークショップである Closing the Loop Between Computer Vision and Natural Language Processing (CLVL2021)にて発表を行った (Nishimura et al. 2021).その後, ワークショップを経て頂いたフィードバックをもとに映像データの追加と映像からプロトコルを生成する実験を行って論文誌へ投稿した，査読ではデータセットの有用性を高く評価していただき，論文の主張を明確に


するための沢山の改善コメントを頂いた．多くの人のフィードバックを経てこの研究をひと段落終えることができ著者として感無量である。

一方でこの研究にはやり残した課題も多い.データセットの量も限られているし, 実験の種類も生化学実験における基礎的なものを収録しており，研究者たちが普段行う実験とは大きく異なる。そのため，再現性の改善のために現場に導入する上で実用とは程遠い.今後も研究を重ね，科学の再現性に真に寄与するであろう技術を開発していきたい.

## 4 おわりに

本稿では, “BioVL2 データセット: 生化学分野における一人称視点の実験映像への言語アノテーション"の研究の経緯について記したものである。新たな分野に飛び达むに至った経緯や,現場に赴き実験を実際に撮影することで得られた知見，そして今後の発展について述べた。

この研究は多くの協力者に参加していただき実現できたものである。みんなの力で取れた賞たと心の底から思う。協力して頂いた共著者の方々と本論文を高く評価して頂いた編集委員の皆様に感謝の意を表する。また, 実験の撮影に協力してくれた大阪医科薬科大学生理学教室の研究員の方々と有益なコメントをくだっった查読者の皆様にも感謝を申しけける.

## 参考文献

Baker, M. (2016). "1,500 Scientists Lift The Lid on Reproducibility." Nature, 533, pp. 452-454.

Bojanowski, P., Lajugie, R., Grave, E., Bach, F., Laptev, I., Ponce, J., and Schmid, C. (2015). "Weakly-supervised Alignment of Video with Text." In Proceedings of ICCV, pp. 4462-4470.

Damen, D., Doughty, H., Farinella, G. M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., and Wray, M. (2018). "Scaling Egocentric Vision: The EPIC-KITCHENS Dataset." In Proceedings of ECCV, pp. 753-771.

Naim, I., Song, Y., Liu, Q., Kautz, H., Luo, J., and Gildea, D. (2014). "Unsupervised Alignment of Natural Language Instructions with Video Segments." In Proceedings of AAAI, pp. 1558-1564.

Naim, I., Song, Y. C., Liu, Q., Huang, L., Kautz, H., Luo, J., and Gildea, D. (2015). "Discriminative Unsupervised Alignment of Natural Language Instructions with Corresponding Video Segments." In Proceedings of NAACL, pp. 164-174.

西村太一, 迫田航次郎, 牛久敦, 橋本敦史, 奥田奈津子, 小野富三人, 亀甲博貴, 森信介 (2022). BioVL2 データセット：生化学分野における一人称視点の実験映像への言語アノテーション. 自然言語処理, 29 (4), pp. 1106-1137. [T. Nishimura (2022). BioVL2: An Egocentric

Biochemical Video-and-Language Dataset. Journal of Natural Language Processing, 29 (4), pp. 1106-1137.].

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., and Mori, S. (2021). "State-aware Video Procedural Captioning." In Proceedings of ACMMM, pp. 1766-1774.

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., Yamakata, Y., and Mori, S. (2020). "Structure-aware Procedural Text Generation from an Image Sequence." IEEE Access, 9, pp. 2125-2141.

Nishimura, T., Sakoda, K., Hashimoto, A., Ushiku, Y., Tanaka, N., Ono, F., Kameko, H., and Mori, S. (2021). "Egocentric Biochemical Video-and-Language Dataset." In Proceedings of CLVL, pp. 3129-3133.

Ushiku, A., Hashimoto, H., Hashimoto, A., and Mori, S. (2017). "Procedural Text Generation from an Execution Video." In Proceedings of IJCNLP, pp. 326-335.

Zhou, L., Xu, C., and Corso, J. J. (2018). "Towards Automatic Learning of Procedures From Web Instructional Videos." In Proceedings of AAAI, pp. 7590-7598.

## 略歴

西村太一：2019 年九州大学芸術工学部卒業, 2020 年京都大学大学院情報学研究科修士課程修了. 現在同大学博士課程. 修士 (情報学)、マルチメディア,自然言語処理, コンピュータビジョンの研究に従事. 学術振興会特別研究員 (DC1).