# 実世界のマルチモーダル情報に基づく 指示語を含んだ言語指示の外部照応解析

大山瑛 ${ }^{1}$ 長谷川翔一 ${ }^{1}$ 中川光 ${ }^{1}$ 谷口彰 ${ }^{1}$ 萩原良信 $^{1}$ 谷口忠大 ${ }^{1}$
1 立命館大学
}

\{oyama.akira, hasegawa.shoichi, nakagawa.hikaru\}@em.ci.ritsumei.ac.jp

\{a.taniguchi,yhagiwara, taniguchi\}@em.ci.ritsumei.ac.jp
## 概要

ロボットが家庭環境で生活支援を提供するには，指示語を含む曖昧な言語指示から対象を特定する外部照応解析が重要になる。内部照応解析と異なり外部照応解析はテキスト外の情報を求めるため実世界 の情報を総合的に用いて曖昧性を解消することが 重要になる. 本研究では, 実世界のマルチモーダル 情報を用いた外部照応により，指示語を含む言語指示における曖昧性の解消を目指す. 具体的には，物体カテゴリ，指示語，指差しの 3 つの情報とロボッ トが事前に環境を探索して得た物体知識を用いて 外部照応を行う．家庭環境を模したフィールドにお いて，ユーザが指示した物体を特定するタスクを実施し, 複数の条件において物体特定の精度を評価し た.この結果, 提案手法は複数のモダリティ情報を 用いた外部照応により, ベースライン手法よりも高 い精度で物体が特定できる事が明らかになった。

## 1 はじめに

「あれ取って」などのユーザの曖昧な言語指示を 現場環境の情報に基づいて理解し，具体的なタスク を達成する事は, 生活支援ロボットにおいて重要な 課題である [1]. 従来，自然言語処理の分野におい て照応解析の研究が実施されているが，その多くは 言語情報のみを文脈として扱っている [2-4]. 照応解析とは代名詞や指示語のような照応詞の指示対象 を推定することであり，内部照応と外部照応の 2 種類がある. 内部照応は文章中の照応詞の前後の文章 からその照応詞にあたる語を予測することである.一方，外部照応はその場の環境のものから照応詞に 対応するものを予測することである．答えや手掛か りが文章中にある問題の場合は内部照応により解決できるが，「あれ取って」などの指示語を含んだ

図1 本研究の概要図. ユーザからの曖昧な言語指示と環境内を事前に探索して得た情報からユーザが指示した物体を特定する．緑色の円はユーザが指示した物体が存在 する確率が高い領域を表す。この場合は赤い四角で囲ま れたコーヒーを指示物体として特定した。

言語指示を理解するには，言語以外の情報を参照す る外部照応を解く必要がある [5]. また，指示語を 含んだ言語指示では，指差しなどのジェスチャーも 重要な情報となり, ジェスチャー情報に基づいて対象を推定する研究が報告されている [6-9]. Chen ら は，画像と言語の大規模データセットから対象を特定する深層学習モデルを提案したが，画像内にユー ザと対象物体が含まれる制約がある [9]. Hu らは，物体と言語，指差し情報から空間における対象の位置を推定する手法を提案したが，指示語の情報は推定に用いられていない [7].

本研究では，実世界のマルチモーダル情報を外的 な文脈として用いて，指示語を含んだ言語指示の外部照応解析の実現を目指す. 具体的には，物体カテ ゴリ，指示語，指差しの 3 つの情報を用いた外部照応解析により，指示語の指示対象における曖昧性を 解消する手法を提案する. 図 1 に本研究の概要図を 示す.ここで，物体カテゴリ情報は言語情報内の物

図 2 提案手法の概要図. 矢印の色はロボットのセンサ情報の流れを表す。青色矢印はロボットが家庭環境の事前探索 により収集した情報，赤色矢印は言語情報，緑色矢印は視覚情報である。 $\boldsymbol{O}$ は物体の 3 次元位置， $\boldsymbol{P}_{\boldsymbol{O}}$ は各物体の信頼度 スコア, $\boldsymbol{e}$ はユーザの目の 3 次元位置, $\boldsymbol{w}$ はユーザの手首の 3 次元位置, $\boldsymbol{P}_{\mathbf{1}}, \boldsymbol{P}_{2}, \boldsymbol{P}_{\mathbf{3}}$ は各推定器から出力される確率であ る。ロボットは環境で事前に観測した情報と指示語情報，物体カテゴリ情報，指差し情報を用いて 3 種類の推定器から それぞれ確率を得て，それらを乗算することで目標物体を推定する.

表 1 指示語領域の予測に用いられる変数の定義

体カテゴリを表す語，指示語情報は言語情報内の指示語を表す語とする。例えば，図 1 のように“あの ペットボトル取って”という発話がされた時，“ペッ トボトル”が物体カテゴリ情報，“あの”が指示語情報に該当する．また，指差し情報はユーザが指をさ している画像とする．実験では，指示語を含む言語命令から目標物体を特定するタスクを複数の条件で 実施し，物体特定の精度をべースライン手法 [7,9] と比較し，提案手法の特性と課題を明らかにする。

## 2 提案手法

本研究では指示語情報，物体カテゴリ情報，指差 し情報の 3 種類の外部照応情報からユーザがロボッ トに指示した物体を特定する手法を提案する。提案手法の概要図を図 2 に示す. 提案手法ではロボット の事前探索で収集した情報と外部照応情報を 3 種類 の推定器に入力する. 各推定器は, 全ての候補物体 についてその物体が指示対象である確率を推定す る. ここで各推定器が出力した候補物体毎の確率を 対象確率と呼ぶこととする.

図 3 ガウス分布による指示語領域の表現の例. Hの白丸 はユーザ，R の黒丸はロボットであり，矢印はそれぞれの 向きを表す．赤い領域がコ系列，青い領域がソ系列，緑色の領域がア系列の指示語領域を表す.

## 2.1 指示語領域に基づく確率推定器

指示語領域に基づく確率推定器は指示語情報，ロ ボットが事前に環境内を探索して得た 2 次元占有格子地図と候補物体の 3 次元位置, 指差し情報から得 たユーザの体の部位の 3 次元位置の 4 つの情報を入力として対象確率を出力する. 対象確率を出力する ために，図 3 のように指示語の系列毎にユーザが指示した物体が存在する可能性の高い領域を 2 次元占有格子地図上で予測する。ここで，物体が存在する 可能性の高い領域を指示語領域と呼ぶ。また，候補物体の 3 次元位置とユーザの体の部位の 3 次元位置 は地図の座標系における位置情報である。
各指示語系列にはそれぞれ異なる性質があり，コ 系列は話し手から近い物体や人を参照する場合，ソ 系列は聞き手から近い物体や人を参照する場合，ア 系列は話し手からも聞き手からも遠い物体や人を参照する場合にそれぞれ用いられる. 本研究では各系列の性質を用いて 3 次元ガウス分布によって指示語領域を生成する. 指示語領域を生成する際にユーザ やロボットの位置，指差しの方向なども考慮する必要がある. 指差し情報からユーザの体の座標を予測 する方法については 2.3 節で述べる. 指示語領域に 基づく確率推定器は指示語領域を生成する 3 次元ガ ウス分布に各候補物体の 3 次元位置情報を入力し,得られた確率を対象確率として出力する. 指示語領域の予測に必要な変数を表 1 に示す. 各系列の指示語領域を形成する 3 次元ガウス分布の平均と分散共分散行列の定義を図 3 の下の表に示す. 各パラメー タの設計指針は以下である。（詳細は付録 $\mathrm{A}$ 参照）

・コ系列の平均：ユーザに近い手首の座標

・ソ系列の平均：ロボットに近いユーザとロボッ トの内分点の座標

・ア系列の平均：ユーザから遠い指差しベクトル の延長線上の座標

・各系列の分散：ユーザまたはロボットの位置と 指示語領域の平均の座標との距離に比例する値 また，ユーザの手首や目の位置情報を得ることがで きなかった場合は，両肩の中央の座標などの代わり となる位置情報を推定器に与える。

## 2.2 物体カテゴリに基づく確率推定器

物体カテゴリに基づく確率推定器は，物体カテゴ リ情報とロボットが事前に探索して得た候補物体 のカテゴリ確率を入力とし, 対象確率を出力する.対象確率を予測するために Objects365 [10] で事前学習済みの You Only Look Once version 5 (YOLOv5) [11] を物体検出器として用いる. YOLOv5を用いて事前 に候補物体全てを検出し, 各候補物体が属する物体 カテゴリの信頼度スコアを計算する．各候補物体の 物体カテゴリ情報に対応する信頼度スコアを正規化 したものを対象確率とする。

## 2.3 指差し方向に基づく確率推定器

指差し方向に基づく確率推定器は，指差し情報か ら骨格検出をすることで得たユーザの体の部位の 3 次元位置とロボットが事前に環境内を探索して得た候補物体の 3 次元位置を入力とし, 対象確率を出力 する。骨格検出には MediaPipe [12] を用いる. 対象確率を予測するために，ユーザの目を始点とし，手首を終点とする指差しべクトルとユーザの目から各候補物体へのベクトルの 2 種類のベクトルを使用 し，内積の定義式から 2 つのベクトルのなす角 $\theta$ を 得る.ここで得た $\theta$ を用いて，確率変数に角度を用 いる 2 次元フォンミーゼス分布から確率を得る. 指差し方向に基づく確率推定器はフォンミーゼス分布 によって得た確率を対象確率として出力する.

## 3 実験

実験では物体カテゴリ情報，指示語情報，指差し 情報の 3 種類の外部照応情報を用いて，ユーザが指示した物体をどの程度の精度で特定することができ るか検証した．また外部照応情報の内，どの情報が どの程度外部照応に寄与するかを検証した。

## 3.1 実験条件

実験は家庭環境を模した実環境で行った. 本実験 の環境の家具配置，物体配置，指差しを行う際の人 とロボットの位置を予め設定し，実験を行った．実験環境の詳細な図は付録 B に記述した。また，口 ボットには Human Support Robot (HSR) [13] を用い た、ロボットはユーザからの言語による指示を正確 に認識でき，指示文から物体カテゴリ情報と指示語情報を正確に抽出することができると仮定する。

実験では 4 カテゴリの物体を使用し, “Bottle”, "Book", "Stuffed Toy", “Cup”を 1 カテゴリ 5 物体，計 20 物体をユーザが指示する物体とした。これらの カテゴリは Objects365 [10] に基づいて，筆者が一般的な家庭環境にあると考えられる物体を選択した。

## 3.2 検証方法

実験では 2 種類の検証を行い，提案手法の有効性 を確認した，1つ目は，ベースライン手法と提案手法を比較した. 実験データには，外部照応情報が全 て含まれた場合， 3 種類の情報の内いずれかの情報 が欠けた場合，指差し情報を誤って得た場合の 5 種類を用いた．外部照応情報が全て含まれた場合は 図 4 において各地点で 4 データ, 計 40 データ用意 し，物体カテゴリ情報が欠けた場合と指示語情報が 久けた場合は 40 データからそれぞれの情報を削除 したものを用いた．また，指差し情報が欠けた場合 と指差し情報を誤って得た場合は新たに 10 データ

ベースライン手法と提案手法における指示物体の特定精度の比較.（）内は分数表示. 太字は条件での最大值.

表 3 提案手法におけるアブレーションスタディの実験結果. チェックマークは確率推定器有りを示す.

ずつ用意した. 指差し情報を誤って得た場合はユー ザの体をユーザ自身が隠してしまう自己オクルー ジョンが発生した際などで得られる. 2 つ目は，提案手法の中でどの情報が外部照応にどの程度寄与す るかを検証するために，アブレーションスタディを 行った. 3 種類の推定器の内， 1 種類の推定器を削除した場合の 3 パターン，全ての推定器を用いたパ ターンの計 4 パターンを比較した.

実験ではベースライン手法を 2 種類設定した. 1 つ目は $\mathrm{Hu}$ らの研究 [7] を参考に，ユーザの指差しと 物体カテゴリ情報を用いた手法を設定した. 基本的 には，Huらの手法における目標領域を推測する手順と同じである．異なる点は，言語情報内に物体力 テゴリ情報がない時は対象とする全ての物体で候補集合を作る点と，ユーザの指差しを観測できなかっ た場合は候補集合の中から目標物体をランダムに選択する点である. 2 つ目は Chen らの研究 [9] のモデ ルを用いた。このモデルにユーザが指差しを行って いる画像, 指示語情報と物体カテゴリ情報を含んだ 文を大力し, 得られた矩形領域から目標物体の予測 が成功しているかを判断した。

評価指標は，ユーザが指示した物体をロボッ トが正しく特定できたかの精度である. 精度は $\frac{1}{N} \sum_{i=1}^{N} S_{i}$ で計算される. $N$ は試行回数, $S_{i}$ は $i$ 番目 の試行が成功すれば 1 ，失敗すれば 0 が入力される.

## 4 実験結果

表 2 にベースライン手法と提案手法の比較を 示す.まず Voice-Guided Pointing Robot Navigation for
Humans (VGPN) [7] に基づくベースライン手法と提案手法を比較した. 外部照応情報が全て含まれた場合は同じ場所に同じカテゴリの物体が 2 つ以上ない ため, 両手法とも精度が 1.00 となったが，物体カテ ゴリ情報が欠損した場合と指差し情報が欠損した場合に精度に約 2 3 倍の差が見られた。また，指示語を考慮する提案手法において指示語情報が欠損し た場合でも 0.85 という結果を示した.これらの結果より, 提案手法は 3 種類の外部照応情報の内 1 つ が欠損した場合でも互いに補い，目標物体を予測で きたと推察される。次に，YouRefIt [9] で用いられた フレームワークと提案手法を比較した. YouRefIt で 用いられたフレームワークは画像内に目標物体がな ければ正しく予測ができないため全体的に精度が低 くなり，提案手法が上回る結果となった。

次に表 3 にアブレーションスタディの結果を示 す. 物体カテゴリに基づく確率推定器を除いた場合，同じ場所に物体が複数配置される条件下では目標物体の特定は困難と考えられるが，0.53という精度を示した. この結果から, 残り 2 つの確率推定器 により目標物体の候補を絞り込めたと考えられる。 また，指差し方向に基づく確率推定器を除いた時は 精度が 1.00 となった. これは指示語領域に基づく確率推定器が指差し方向を考慮し, 目標物体が配置さ れた領域を推定できたと考えられる．指差し方向に 基づく確率推定器は同じ場所に同カテゴリの物体が 2 つ以上ある場合などに有効であると考えられる。

## 5 まとめ

本稿ではマルチモーダル情報を外的な文脈として 用いて外部照応解析を行うためのモデルを提案し た. 物体カテゴリ情報, 指示語情報, 指差し情報を 用い，外部照応を行うことで外部照応にこれらの情報が有効であることを示した.

今後の展望として，指示語領域を形成する 3 次元 ガウス分布のデータからのパラメータ推定や，自然 な文からの指示語や物体カテゴリに対応する語の認識に取り組む予定である。

## 謝辞

本研究は【Moonshot R\&D - MILLENNIA Program】課題番号 JPMJMS2011，JSPS 科研費 JP22K12212 の 助成を受けたものです.

## 参考文献

[1] Tadahiro Taniguchi, Daichi Mochihashi, Takayuki Nagai, Satoru Uchida, Naoya Inoue, Ichiro Kobayashi, Tomoaki Nakamura, Yoshinobu Hagiwara, Naoto Iwahashi, and Tetsunari Inamura. Survey on frontiers of language and robotics. Advanced Robotics, Vol. 33, No. 15-16, pp. 700-730, 2019.

[2] 村田真樹, 黒橋禎夫, 長尾真. 表層表現を手がかりと した日本語名詞句の指示性と数の推定. 自然言語処理, Vol. 3, No. 4, pp. 31-48, 1996.

[3] 関和広, 藤井敦, 石川徹也. 確率モデルを用いた日本語ゼロ代名詞の照応解析. 自然言語処理, Vol. 9, No. 3, pp. 63-85, 2002.

[4] 飯田龍, 乾健太郎, 松本裕治. 文脈的手がかりを考慮 した機械学習による日本語ゼロ代名詞の先行詞同定. 情報処理学会論文誌, Vol. 45, No. 3, pp. 906-918, 2004

[5] 杉山治, 神田崇行, 今井倫太, 石黒浩, 萩田紀博, 安西祐一郎. コミュニケーションロボットのための指さ しと指示語を用いた 3 段階注意誘導モデル. 日本ロ ボット学会誌, Vol. 24, No. 8, pp. 964-975, 2006.

[6] Dadhichi Shukla, Ozgur Erkent, and Justus Piater. Probabilistic Detection of Pointing Directions for HumanRobot Interaction. In International Conference on Digital Image Computing: Techniques and Applications (DICTA), pp. 1-8, 2015.

[7] Jun Hu, Zhongyu Jiang, Xionghao Ding, Taijiang Mu, and Peter Hall. VGPN: Voice-Guided Pointing Robot Navigation for Humans. In IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1107-1112, 2018 .

[8] Qi Wu, Cheng-Ju Wu, Yixin Zhu, and Jungseock Joo. Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4095-4102, 2021.

[9] Yixin Chen, Qing Li, Deqian Kong, Yik Lun Kei, SongChun Zhu, Tao Gao, Yixin Zhu, and Siyuan Huang. YouRefIt: Embodied Reference Understanding with Language and Gesture. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1385-1395, 2021.

[10] Shuai Shao, Zeming Li, Tianyuan Zhang, Chao Peng, Gang Yu, Xiangyu Zhang, Jing Li, and Jian Sun. Objects365: A Large-scale, High-quality Dataset for Object Detection. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 8430-8439, 2019.

[11] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016.

[12] Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris
McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A Framework for Building Perception Pipelines. arXiv preprint arXiv:1906.08172, 2019.

[13] Takashi Yamamoto, Koji Terada, Akiyoshi Ochiai, Fuminori Saito, Yoshiaki Asahara, and Kazuto Murase. Development of Human Support Robot as the research platform of a domestic mobile manipulator. ROBOMECH journal, Vol. 6, No. 1, pp. 1-15, 2019.

A 各指示語系列の領域を形成する ガウス分布の平均と分散の設定 A. 1 コ系列指示語領域のガウス分布の 平均

コ系列の指示語は話し手から近い物体を参照する 際に用いられるので，ユーザの手首の座標をガウス 分布の平均とした. ガウス分布の平均を人の体の中心や足元の座標にせずに手首の座標を平均としたの は，ユーザの指示する方向を考慮するためである。

## A. 2 ソ系列指示語領域のガウス分布の 平均

ソ系列の指示語は聞き手から近い物体を参照する 際に用いられるので，ロボットの足元とユーザの目 をつなぐ線分を $\alpha:(1-\alpha)$ に内分する点の座標をガ ウス分布の平均とした. ロボットはユーザの体の部位の 3 次元座標を検出するために，ユーザの方向を 向いているので，この内分点はロボットの向いてい る方向にあり, 平均がロボットの背後の位置になる ことはない. しかし，他人に物を取ってもらうこと を考えたとき，頼んだものがその人の背後にあるこ とよりもその人が見えていることの方が多いと考え られるので上記のようにガウス分布の平均を設定 した.

## A. 3 ア系列指示語領域のガウス分布の 平均

ア系列の指示語は話し手からも聞き手からも遠 い物体を参照する際に用いられるので，ユーザの指 をさした方向にべクトルを $\mathrm{cl}$ だけ伸ばした先の点 をガウス分布の平均とした。他人に物を取ってもら う場面を考えたとき，頼まれた人から遠すぎる物体 はその人に頼まず，もっと近くにいる人に頼むなど の別の方法をとることが考えられる。この「遠すぎ る」の程度を定義しているのが $c$ である. また，ア 系列の平均は $l$ に比例し, これは話し手と聞き手の 距離が遠いほど，聞き手からより遠い物体を指示す る可能性が高くなるという仮定の下このように定義 した.

## A. 4 各系列指示語領域のガウス分布の分散共分散行列

各系列の分散共分散行列は $\frac{\alpha}{\beta} l \boldsymbol{E}_{3}$ が共通箇所と なっており, ア系列の分散共分散行列にのみ係数 $c$ が掛けられている。 $\beta$ は分散が小さくなりすぎない ように調整するためのパラメータ, $\boldsymbol{E}_{\mathbf{3}}$ は $3 \times 3$ の単位行列である。

まず，ソ系列の分散を図 3 にある表で定義した理由を述べる，分散は目標の物体がユーザまたはロ ボットから離れているほど大きくなると考えられる ので，目標物体がある確率に影響を与える $\alpha$ に比例 するように定義した. ソ系列の指示語が観測された 際の目標物体はロボットの近くにある確率が高いと いうことはユーザと目標物体はおよそ $l$ の距離だけ 離れていると考えられるので，分散は $l$ にも比例す るように定義した。

コ系列の場合は目標物体はユーザの近くにある確率が高いのでロボットと目標物体はおよそ $l$ 離れて いると考えられる。コ系列の指示語が観測された際 もソ系列の指示語が観測された際もユーザまたはロ ボットと目標物体まではおよそ $l$ だけ離れているの で，コ系列のガウス分布の分散もソ系列の分散と同 じものを用いることとした.

また，ア系列の場合はユーザからもロボットから も目標物体はおよそ $c l$ だけ離れていると考えられ るので， $c l$ に比例するように定義した.

## B 実験環境

本研究で使用した実験環境を図 4 に示す.

図 4 家庭環境を模した実験環境の家具配置，物体配置位置，指差しを行う人とロボットの立ち位置．緑丸が ユーザの位置，青矢印がロボットの位置と方向，赤丸は 物体が配置されている領域を表す. 緑色と青色の同じ数字はロボットに外部照応を行わせたときのシナリオを表 している. 例えば，緑色の 1 番と青色の 1 番で $\mathrm{E}$ の領域内の物体を指差ししたシナリオがある。
 大山瑛 ${ }^{1}$ 長谷川翔一 ${ }^{1}$ 中川光 ${ }^{1}$ 谷口彰 ${ }^{1}$ 萩原良信 $^{1}$ 谷口忠大 ${ }^{1}$ 1 立命館大学 }  \{oyama.akira, hasegawa.shoichi, nakagawa.hikaru\}@em.ci.ritsumei.ac.jp  \{a.taniguchi,yhagiwara, taniguchi\}@em.ci.ritsumei.ac.jp 