# 視覚と言語によるナビゲーション課題への 言語に対応付けられた生成的な方策

栗田修平
理化学研究所, JST さきがけ
shuhei.kurita@riken.jp
}

Kyunghyun Cho
New York University, CIFAR
kyunghyun. cho@nyu. edu

## 1 はじめに

人間の持っている日常的な知覚を理解し，人間か ら与えられた指示に従って判断し行動するシステム の構築には，人間の知覚する環境に近い条件でモデ ル学習を行なっていくことが自然だろう。このよう なアイディアは古くから存在した ${ }^{11}$ が，近年，実世界を模した仮想の環境を利用し，仮想のモデルエー ジェントが環境内部の移動などのインタラクション を通してモデル学習を行うことが現実となりつつ ある。このような人工知能分野は, Embodied AI (身体化された $\mathrm{AI}$; 具体化された $\mathrm{AI}$ ) と呼ばれ, 急速な データセットや環境整備 $[2,3,4,5,6,7,8,9,10]$ と ともに活発なモデル提案 $[11,12,13,14,15,16]$ が行 われ，現実世界への応用 $[17,18]$ も試みられ始めて いる.この一つである視覚と言語によるナビゲー ション (vision-and-language navigation; VLN) 課題 [3] は，図1のように，内部を移動できる写実的な仮想 の $3 \mathrm{D}$ 屋内環境を利用し，与えられた自然言語によ る指示に従って仮想モデルエージェントに未知の屋内環境を探索させ，言語指示文章に示された通りに 目的の場所まで移動するものである。

視覚と言語によるナビゲーションが目指すところ は，かなり現実に近い環境で人間の指示を理解し従 うシステムの作成である.このようなシステムでは 言語指示に従って動作する課題と，言語と視覚や動作との対応付け課題の双方が求められる. この $2 \supset$ は異なる課題である [19]が，既存手法では，指示に 従って動作選択を行うことを目標としており，言語 と視覚や動作との対応付けについては，相互アテン ションなどで取り扱われるのみで明確ではなかっ た. 提案手法では，まず視覚や動作情報を，条件付言語モデル²)を用いて明示的に言語情報に写像し，


写像を利用して指示文章に従い次の動作を選択す る. 加えて，提案手法による言語モデルの予測スコ アを利用することで，視覚や動作情報を元にどのよ うな言語情報に着目してモデルが判断を行なったの か，可視化することが可能となった.

## 2 視覚と言語によるナビゲーション

視覚と言語によるナビゲーション (VLN) は，内部 を移動でき場所に応じた視覚情報が得られる仮想環境を利用して，与えられた言語指示に示された方法で仮想のモデルエージェントを目的の位置まで 移動する課題である [3]. 広く利用されているデー タセットとして，現実の家屋内の 3D スキャンであ る Matterport3D [20] による写実的な視覚情報を利用 した R2R [3] と R4R [8] が存在する．R2R は，3D ス キャン内部にモデルエージェントが移動できるグ ラフを作成し，エージェントの動作開始地点から課題の目的位置までの最短経路に対して，人手による エージェントへの経路指示文章がアノテーションさ れている．R2R はモデルが学習時に未知であった建物環境への汎化能力を測定することを目的としてお り, Matterport3D の 90 棟分の建物屋内スキャンを，学習データ, 未知 (unseen) 開発データ, 未知テスト データへと $61: 11: 18$ の割合で分割する。それぞれ に経路と言語指示アノテーションが作成され，例え ば学習データは 14,025 個の経路アノテーションを 含む．また，学習データと建物スキャンを共有する 既知 (seen) 開発データが用意されている.

VLN の問題定式 VLN は，反復的な意思決定問題である。まず課題試行の開始前に，仮想環境中の モデルエージェントに現在位置から目的位置まで の経路指示文章 $X$ を与える. ある時刻 $t \in \mathbb{N}$ に，モ デルにはその位置に応じて視覚情報 $s_{t}{ }^{3}$ が与えら れ，次の動作 $a_{t}$ を予測する。ただし，各時刻にお

い. 近年，この 2 つの用法に混乱が見られるため注記する。

3）VLNでは一般にパノラマ画像を用いる [11].

For each action, score the instruction

Walk between the the tub and bathroom counter. Go through the opening next to the bathroom counter and into the little hallway. Wait next to the family picture hanging on the left wall.

図 1 視覚と言語によるナビゲーション課題および言語に対応付けられた生成的な方策. 時系列的で写実的な視覚情報 と動作情報を，条件付き言語モデルを用いて，最初に与えられた動作指示へと対応付け，次の動作を予測をする。

いて過去の観測情報も用いることができるため，モ デルの入力として用いることができる観測情報を $h_{t}=\left.\{s_{: t}, a_{: t-1}\right.\}$ としたとき，次の動作 $a_{t} \in \mathscr{A}_{t}$ を，例 えば確率モデルを用いて $p\left(a_{t} \mid X, h_{t}\right)$ と選択する. な お，関連研究 $[11,12,21]$ にあるように，可能な動作 の集合 $\mathscr{A}_{t}$ を動作選択において用い，各動作の分散表現を視覚情報から計算し入力として使用できる。可能な動作集合 $\mathcal{A}_{t}$ には必ず試行終了動作 “STOP" が含まれており，これを選択した地点をモデルエー ジェントの予測した目的位置とし, VLN課題の成否判定に使用する.

VLN の評価手法と R4R R2R では必ず最短経路に 沿うように経路指示文章が作成されているが，これ に対し，エージェントは文章中に指示された経路指示に従っているのか？という指摘が存在した [22]. この問題に対処するために，エージェントが行動終了時の予測目的位置のみを評価する課題の成功率 SR [3] だけではなく, 最短経路を基準とし長い経路への罰則を含む SPL [22], アノテートされた経路 とモデルの経路との近さを測る CLS [8] やnDTW, SDTW [23] が考案された. SPL，CLS やSDTW は，課題の成功率 SR に加えて，エージェントがどのく らい言語指示に従って行動したか，を示す指標であ る.また，R2R より長く必ずしも最短ではない経路 への指示に従う R4R データセットが作られた [8].

VLNでは，自分の位置情報を視覚情報から読み 取る必要がある一方で，目的の場所や経路は言語指示に従う必要がある。しかし，VLNにおいても，既存モデルが言語もしくは視覚いずれかの情報に頼 りすぎているのではないか，という指摘が存在した [24, 25]. 本研究では，このような問題に対処するた め，まず視覚および動作を入力とする言語モデルを 利用して指示情報を予測し, 次に言語指示に従った 動作選択を行うモデルを提案する。

VLN の現実世界への応用 また，R2R データセッ トを利用して機械学習されたモデルを，現実世界の中を移動できるロボット上にデプロイし，ロボッ トを動かすことが可能である。関連研究 [18] では, R2R における SoTA モデルであった EnvDrop[21]を，家庭用掃除ロボットに類似する小型のロボットに 搭載させ，パノラマ画像に相当する $3 \mathrm{D}$ カメラを搭載することで，現実の建物内で動作実験を行ってい る. 機械学習による VLN モデルの構築と現実世界 でのロボット等の動作との関係性は，この論文の本旨から外れるため付録にて議論する。

## 2.1 言語に対応付けられた生成的な方策

言語および視覚情報によるナビゲーション課題で は，以下のように学習パラメータ $\theta$ を最適化する：

$
\max _{\theta} \sum_{t} \log p\left(a_{t} \mid h_{t}, X\right)
$

既存手法では, この式における $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングし, 深層学習により学習していた [3,11,12, 14, 21, 26, 27].

提案手法では，まず動作情報および視覚情報から 言語情報へと条件付き言語モデルを利用する写像変換を行い，写像変換の結果を利用して動作選択を行 うモデルを提案した. 本研究では，まず $p\left(a_{t} \mid X, h_{t}\right)$ に対し以下の式変形を行った。

$
\begin{aligned}
p\left(a_{t} \mid h_{t}, X\right) & =\frac{p\left(X \mid a_{t}, h_{t}\right) p^{\prime}\left(a_{t} \mid h_{t}\right)}{\sum_{a_{t}^{\prime} \in A_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right) p^{\prime}\left(a_{t}^{\prime} \mid h_{t}\right)} \\
& =\frac{p\left(X \mid a_{t}, h_{t}\right)}{\sum_{a_{t}^{\prime} \in \mathscr{A S}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)}
\end{aligned}
$

ここで，ある時刻 $t$ で可能な動作集合 $\mathscr{A}_{t}$ に対し， $p^{\prime}\left(a_{t} \mid h_{t}\right)=1 /\left|\mathscr{A}_{t}\right|$ という近似を用いた.これは仮想 エージェントについて，言語指示がなければどのよ うな動作を取る確率も一定であるものと解釈でき る.そして，視覚および動作情報から指示文章を 予測する，ある種の条件付き言語モデル $p\left(X \mid a_{t}^{\prime}, h_{t}\right)$ を深層学習を用いてモデルし, 式 2 に従って動作予測する手法を提案した. 既存手法のアプローチ は，動作の条件付き確率を予測する点で識別的

表 1 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R2R 開発データセットによる性能比較結果. +Aug. は関連研究 [11] にて提案された拡張データの使用を示す. (A) Disc.+Aug. と (B) Gen.+Aug. を識別的および生成的な手法をあわせて用い る実験に使用する (A+B)．＊は back-tracking[26] の使用を示す．太字は単一モデルとして最良の性能を表す.

(Discriminative) な方策であり，提案手法はべイズ的 な意味で生成的 (Generative) な方策である.

最適化は以下のように行われる.

$
\max _{\theta} \sum_{t}\left(\log p\left(X \mid a_{t}, h_{t}\right)-\log \sum_{a_{t}^{\prime} \in \mathcal{A}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)\right)
$

この第一項 $\log p\left(X \mid a_{t}, h_{t}\right)$ は正解動作 $a_{t}$ が与えられ た際の通常の言語モデルの学習の式と同一である が，第二項は，正解動作 $a_{t}$ を含む可能なすべての動作に対する罰則項である. 本研究では, $p\left(X \mid a_{t}, h_{t}\right)$ について, 条件付言語モデルとして学習済みのモデ ルを使用し, 式 3 によりVLNのための学習を行う.

このような定式化を採用する利点は，視覚や動作情報を条件付言語モデルを利用して言語情報と明確 に対応付け，その情報を利用して指示に従う動作を 選択することである. 既存手法のように $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングする場合，視覚情報と言語情報の 対応付けには広く相互アテンションが用いられてき た.しかし, 相互アテンションは視覚と言語をどの ように対応付けて課題を解いているか明確でなく,片方を無視して予測を行うことも起こりうる ${ }^{4)}$. 提案手法では，条件付き言語モデル $p\left(X \mid a_{t}, h_{t}\right)$ をモデ ルに取り入れることで，まずは視覚情報及び動作情報を指示文章へ明確に結びつける必要がある． 3.3 節では，このような条件付言語モデルによる指示文章の予測スコアが，VLNの探索のために学習済みの モデル内部でどのように振る舞うか検証する。

## 3 実験

## 3.1 実験設定・モデル

VLNにて広く使われる R2R データセットにて，生成的な方策と既存手法による識別的な方策のい ずれが優れているか，比較実験を行った. 実験に


は，関連研究 D. Fried らの Speaker-follower モデル [11] と同一構造を持つニューラルネットワークを 用いた. Speaker-follower モデルは，視覚情報と言語指示を入力としナビゲーション課題を解く Follower モデルと，動作情報および動作に従った際の視覚情報から言語指示文章を生成する Speaker モデルか らなる. 特に Speaker モデルには単独で R2R ナビ ゲーション課題を解く能力はないが，D. Fried らは， Speaker モデルを R2R データセットのデータ拡張 (data augmentaton) および，ビーム探索を利用したナ ビゲーション5)結果の再ランキングに Follower と合 わせて使用した。

本研究では，このD. Fried らの Speaker モデルを言語に対応付けられる生成的な方策に用いる。画像情報の符号化には ResNet-152 [29] を使用する。また， D. Fried らの Follower モデルを，既存手法にて典型的に用いられる識別的な方策として同様に学習に 用いる。学習には PRESS [27] と同様の学習を用い る6).また，FAST [26] にて提案された，モデルエー ジェントが以前に自分が訪れた場所まで行動罰則付 きで戻る事ができる back-tracking をモデルの評価時 に採用した場合の結果を示す. Fried らによって公開されているデータ拡張された学習データが広くモ デル学習に採用されていることを考慮し, 多くの関連研究 $[11,27,26]$ と同様にこの拡張データを学習に 使用する7)．実験では，先に紹介した主な評価尺度 である SR, SPL, CLS, nDTW, SDTW に加えて，エー ジェントの平均探索距離 PL，タスク終了時の目的地への平均距離 NE を補助的に示す.

5） R2R ナビゲーション課題でビーム探索を使用することは，現実世界では同時に複数台のロボットを使用して目的位置を 探索することに相当し，あまり意味のある実験設定とは言え ないため，本論文では考察しない。

6）なお，PRESS はBERT を使用しており，本研究と同じく事前学習済みモデルを使用するモデルである.

7） EnvDrop [21] ではさらに多くの拡張データを使用している.

表 2 R2R テストセットにおける比較.太字は SR と SPL が一番目，二番目に良いモデルを示す.

図 2 トークンごとの予測エントロピー $(1-T E N T)$. 縦軸は時刻 $t$ と $1-T E N T$ の振幅を表す. 横軸は指示文章中のトー クンであり，“Take a right and walk out of the kitchen. Take a left and wait by the dining table.”に対応する.

## 3.2 実験結果

まず，R2R における生成的な方策と既存手法にお いて典型的な識別的方策との比較を，R2R の開発 データセットで行った. 結果を表 1 に示す. データ 拡張済みの学習データでは生成的な方策は識別的 な方策を常に上回ることがわかる。また，生成的な 方策と識別的な方策をモデル評価時に結合したモ デル (Gen.+Disc) はそれらをさらに上回るとともに， back-tracking [26] の使用により改善が見られる.

次にテストセットで既存手法との比較を行った。結果を表 2 に示す. 提案手法は，R2R 評価において 広く使われる SR および SPL の両方の評価尺度に $\tau$ ，先行研究と同等以上の性能を達成している.

また，R2R よりも長距離の経路指示に従う R4R で も実験を行った．結果の詳細は付録に示すが，概略 を述べると，R4R の未知セットの性能にて生成的な 方策は識別的な方策を常に上回り，提案手法は CLS にて先行研究と同等以上の性能を達成した.

## 3.3 言語に対応付けられた説明性

最後に，提案手法による言語予測スコアが，各時刻でのエージェントの動作決定にどのような影響を 及ぼしているのか検証するため，トークンごとの予測エントロピー (TENT)を導入した. TENT は，あ
るトークンの予測スコアが動作の集合の中でどの くらい変化するかエントロピーを用いて導出して おり，1-TENT が大きいトークンほど，動作予測 に大きな影響を持つと考えられる．紙面の制約で $1-T E N T$ 導出の詳細は付録に記す. 図 2 は，既知評価セットのデータ例について，1-TENT を図示 したものである. 動作の開始時 $(t \sim 0)$ には，トーク ン予測が安定しない性質がある（グラフ振幅が大き い）ものの，各時刻において，予測の要となりやす いトークンが視覚化されており，例えば， $t=3$ で は, “take a left” の “left” という単語予測スコアが,動作選択の決め手になったことを示唆している.

## 4 結論

視覚と言語によるナビゲーションは，人間の知覚環境に近い仮想環境上で機械学習を行う革新的な課題であるが，しかし，言語と視覚やその他の情報が どのように対応付けられているか，既存手法では明 らかではない側面があった．提案手法のアプローチ が，このように視覚と言語，動作など複数のモダリ ティを結合するシステムを作成するための重要な示唆となることを願ってやまない。

謝辞 本研究は JST ACT-I，JPMJPR17U8 および JST さきがけ，JPMJPR20C2 の支援を受けた．NYU 訪問 につき関根聡先生および関係する皆様に感謝する。

## 参考文献

[1] Terry Winograd. Procedures as a representation for data in a computer program for understanding natural language. 1971.

[2] Yi Wu, Yuxin Wu, Georgia Gkioxari, and Yuandong Tian. Building generalizable agents with a realistic and rich $3 \mathrm{~d}$ environment. arXiv preprint arXiv:1801.02209, 2018.

[3] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton van den Hengel. Vision-and-Language Navigation: Interpreting visuallygrounded navigation instructions in real environments. In Proceedings of the IEEE CVPR, 2018.

[4] Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, and Dhruv Batra. Embodied Question Answering. In Proceedings of the IEEE CVPR, 2018.

[5] Erik Wijmans, Samyak Datta, Oleksandr Maksymets, Abhishek Das, Georgia Gkioxari, Stefan Lee, Irfan Essa, Devi Parikh, and Dhruv Batra. Embodied Question Answering in Photorealistic Environments with Point Cloud Perception. In Proceedings of the IEEE CVPR, 2019.

[6] Howard Chen, Alane Suhr, Dipendra Misra, Noah Snavely, and Yoav Artzi. Touchdown: Natural language navigation and spatial reasoning in visual street environments. In Proceedings of the IEEE/CVF CVPR, June 2019.

[7] Khanh Nguyen and Hal Daumé III. Help, anna! visual navigation with natural multimodal assistance via retrospective curiosityencouraging imitation learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 684-695, Hong Kong, China, November 2019.

[8] Vihan Jain, Gabriel Magalhaes, Alexander Ku, Ashish Vaswani, Eugene Ie, and Jason Baldridge. Stay on the path: Instruction fidelity in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 1862-1872, Florence, Italy, July 2019.

[9] Mohit Shridhar, Jesse Thomason, Daniel Gordon, Yonatan Bisk, Winson Han, Roozbeh Mottaghi, Luke Zettlemoyer, and Dieter Fox. ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In The IEEE CVPR, 2020

[10] Manolis Savva*, Abhishek Kadian*, Oleksandr Maksymets*, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, and Dhruv Batra. Habitat: A Platform for Embodied AI Research. In Proceedings of the IEEE/CVF ICCV, 2019.

[11] Daniel Fried, Ronghang Hu, Volkan Cirik, Anna Rohrbach, Jacob Andreas, Louis-Philippe Morency, Taylor Berg-Kirkpatrick, Kate Saenko, Dan Klein, and Trevor Darrell. Speaker-follower models for vision-and-language navigation. In Advances in Neural Information Processing Systems 31, pp. 3314-3325. Curran Associates, Inc., 2018.

[12] Chih-Yao Ma, Jiasen Lu, Zuxuan Wu, Ghassan AlRegib, Zsolt Kira, Richard Socher, and Caiming Xiong. Self-monitoring navigation agent via auxiliary progress estimation. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[13] Xin Wang, Wenhan Xiong, Hongmin Wang, and William Yang Wang. Look before you leap: Bridging model-free and model-based reinforcement learning for planned-ahead vision-andlanguage navigation. In ECCV, September 2018.

[14] Xin Wang, Qiuyuan Huang, Asli Çelikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, and Lei Zhang. Reinforced cross-modal matching and self-supervised imitation learning for vision-language navigation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, Long Beach, CA, USA, June 16-20, 2019, pp. 6629-6638. Computer
Vision Foundation / IEEE, 2019

[15] Weituo Hao, Chunyuan Li, Xiujun Li, Lawrence Carin, and Jianfeng Gao. Towards learning a generic agent for vision-andlanguage navigation via pre-training. Vol. abs/2002.10638, 2020.

[16] Wang Zhu, Hexiang Hu, Jiacheng Chen, Zhiwei Deng, Vihan Jain, Eugene Ie, and Fei Sha. Babywalk: Going farther in vision-and-language navigation by taking baby steps. CoRR, Vol. abs/2005.04625, , 2020.

[17] Jun Hatori, Yuta Kikuchi, Sosuke Kobayashi, Kuniyuki Takahashi, Yuta Tsuboi, Yuya Unno, Wilson Ko, and Jethro Tan. Interactively picking real-world objects with unconstrained spoken language instructions. In Proceedings of ICRA, 2018.

[18] Peter Anderson, Ayush Shrivastava, Joanne Truong, Arjun Majumdar, Devi Parikh, Dhruv Batra, and Stefan Lee. Sim-to-real transfer for vision-and-language navigation. In CoRL, 112020.

[19] Ludwig Wittgenstein. Philosophische untersuchungen. 1953.

[20] Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D data in indoor environments. International Conference on 3D Vision (3DV), 2017.

[21] Hao Tan, Licheng Yu, and Mohit Bansal. Learning to navigate unseen environments: Back translation with environmental dropout. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 2610-2621, Minneapolis, Minnesota, June 2019

[22] Peter Anderson, Angel X. Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, and Amir Roshan Zamir. On evaluation of embodied navigation agents. ArXiv, Vol. abs/1807.06757, , 2018.

[23] Gabriel Ilharco, Vihan Jain, Alexander Ku, Eugene Ie, and Jason Baldridge. General evaluation for instruction conditioned navigation using dynamic time warping. In Visually Grounded Interaction and Language (ViGIL), NeurIPS 2019 Workshop, Vancouver, Canada, December 13, 2019, 2019.

[24] Ronghang Hu, Daniel Fried, Anna Rohrbach, Dan Klein, Trevor Darrell, and Kate Saenko. Are you looking? grounding to multiple modalities in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 6551-6557, Florence, Italy, July 2019.

[25] Jesse Thomason, Daniel Gordon, and Yonatan Bisk. Shifting the baseline: Single modality performance on visual navigation \& QA. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 1977-1983, Minneapolis, Minnesota, June 2019.

[26] Liyiming Ke, Xiujun Li, Yonatan Bisk, Ari Holtzman, Zhe Gan, Jingjing Liu, Jianfeng Gao, Yejin Choi, and Siddhartha Srinivasa. Tactical rewind: Self-correction via backtracking in vision-andlanguage navigation. In The IEEE CVPR, June 2019.

[27] Xiujun Li, Chunyuan Li, Qiaolin Xia, Yonatan Bisk, Asli Celikyilmaz, Jianfeng Gao, Noah A. Smith, and Yejin Choi. Robust navigation with language pretraining and stochastic sampling. In Proceedings of the 2019 Conference on EMNLP-IJCNLP, pp. 1494-1499, Hong Kong, China, November 2019.

[28] Sarah Wiegreffe and Yuval Pinter. Attention is not not explanation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 11-20, Hong Kong, China, November 2019. Association for Computational Linguistics.

[29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016, pp. 770-778. IEEE Computer Society, 2016.

表 3 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R4R データセットにおける性能比較.太字は未知データセットにて CLS，nDTW，SDTW が一番目，二番目に良いモデルを示す.

## A 付録

## A. 1 機械学習による VLN モデルの構築と，現実世界でのロボット等の動作との関係性

VLNにより学習されたモデルは，現実世界のロボットにデプロイすることが可能である．関連研究 [18] は，R2R のように予め経路グラフが作成されアノテーションされた状態で，仮想環境上で $55.9 \%$ という SR に対し，現実世界で $46.8 \%$ という SRを達成している。 さらに驚くべきことに，事前に収集されたマップ情報 がない場合でも， $22.5 \%$ という SRを達成している. マップ情報が存在しない場合，関連研究 [18] では，自己 の近傍位置からエージェントの次の移動可能な方向を予測する subgoal モジュールおよび $\left.\mathrm{SLAM}^{8}\right)$ と同時に 機械学習モデルである VLN エージェントを使用することで，移動可能な方向を導出し，実際の移動を可能 にしている。また，Matterport3D 環境と，実際にロボットを動かすための ROS シミュレータ上での精度が， EnvDrop モデル [21] における実験で 1\%以内で一致したという.

## A. 2 R4Rによる実験結果

表 3 は R4R における実験結果を示す．R4R では，経路上での単純な教師あり学習 (supervised) と，言語指示された経路に沿う形での学習 (fidelity-oriented) の 2 つのモデル学習を，識別的 (Disc.) および生成的 (Gen.) な方策の双方に対し行った。なお，R4R データセットにはテストセットが存在しないため，既知 (seen) 開発 セットと未知 (unseen) 開発セットでの結果を示す. R4R の既存手法では SR が高いわりに CLS や SDTW が低 いものも存在し，これは指示文書にて示された経路に従わずに目的位置を探索している可能性を示唆する.提案手法は一般に未知データセットにおけるスコアが高く，学習環境に過適合しにくい可能性がある.

## A. 3 言語に対応付けられた説明性

本論文では，言語モデルに与えられる動作入力に応じて，言語モデルの予測がどのように変化するかを 可視化するため，トークンごとの予測エントロピー (TENT) を提案した. 指示文章 $X=\left[w_{1}, \cdot, w_{k}, \cdot\right]$ に対し， $T E N T=S\left(w_{k}\right)$ は以下のように定義され， $S\left(w_{k}\right) \in[0,1]$ を満たす.

$
\begin{gathered}
S\left(w_{k}\right)=-\sum_{a_{t} \in \mathcal{A}} q\left(a_{t}, w_{k}\right) \log _{|\mathscr{A}|} q\left(a_{t}, w_{k}\right), \\
q\left(a_{t}, w_{k}\right)=\frac{p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)}{\sum_{a_{t} \in \mathcal{A}_{t}} p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)} .
\end{gathered}
$

式 5 はトークン予測スコアの動作集合による正規化を行っている. ここで， $\sum_{a_{t} \in A_{t}}$ は，ある時刻 $t$ での可能 な動作集合 $A_{t}$ 要素全てに対する和であることを思い起こすと，このトークンごとの予測エントロピーは， そのトークン予測スコアが動作入力に応じてどのように変化するかを示す指標となる．さらに，可視化の都合上，1-TENTを考えると，1-TENT が大きいトークンほど，動作予測に大きな役割を持つと考えられる.

 栗田修平 理化学研究所, JST さきがけ shuhei.kurita@riken.jp }  Kyunghyun Cho New York University, CIFAR kyunghyun. cho@nyu. edu  