# モバイルマニピュレーションタスクにおける 曖昧な指示文からの対象物体選択

森下雅晴 1 長野匡隼 1 中村友昭 ${ }^{1}$
1 電気通信大学
m1910655@edu.cc.uec.ac.jp

## 概要

ロボットが行う基本的なタスクの一つであるモバ イルマニピュレーションタスクは，移動ロボットが ユーザが指示した物体を把持し，別の場所へと持っ ていくタスクである. その際に，ユーザが必ずしも 対象物体を明示的に発話しない場合があり，そのよ うな曖昧な指示発話の理解が必要となる. 本稿では 曖昧なユーザ発話文に加えて環境に存在する物体の 情報を入力とした言語モデル BERT に基づく系列 ラベリングにより，ユーザの意図に沿った物体を選択する手法を提案する．実験では，小規模なデータ セットを作成しモデルの学習を行い，提案手法が学習データに含まれない未知の曖昧なユーザ発話に対応できることを示す.

## 1 はじめに

近年，日常生活を支援する家庭用サービスロボッ トへの期待が高まっている。 そのようなロボットの 基本的なタスクの一つがモバイルマニピュレーショ ンタスクである. モバイルマニピュレーションタス クは，移動ロボットがユーザが指示した対象物体を 把持し, 別の場所へと持っていくタスクである。こ のようなタスクにおいて，ユーザの指示発話はロ ボットが理解しやすい定型文ではなく，日常的に使用している自然言語を用いる方がユーザにとって は望ましい。しかしそのような指示発話では，ユー ザが必ずしも対象物体を明示的に発話しない場合 があり，そのような曖昧な指示発話の理解が必要と なる。

そこで，本稿では物体名が明示的に含まれない ユーザの発話から，環境に存在する物体の情報を利用することで，対象物体を特定する手法を提案す る. 図 1 が想定するタスクであり，ユーザが環境の 中にある物体を持ってくることをロボットに要求

図1想定しているタスクの例

し，ロボットはその発話と環境にある物体から対象物体を特定しユーザに届ける。このようなタスクに おいて，対象物体を選択するためには，ユーザの発話と要求される物体の関係を正しく理解する必要が ある.

提案手法では物体のリストを文字列として 学習済み言語モデル BERT (Bidirectional Encoder Representations from Transformers)[1] に入力し，リス 卜内の各物体が対象物体であるか否かを表すラベル 列を予測する系列ラベリング問題として扱う。これ により，ユーザが対象物体を明示的に発話しない場合や，学習データには含まれない新規の物体が存在 する場合であっても対象物体を特定することがで きる.

関連研究としてユーザが明示的に対象物体を発話 することを想定したモバイルマニピュレーション タスク [2] があるが，本手法のように曖昧な指示文 を想定していない．また，学習済み言語モデルを用 いて，行動や物体を特定する手法 [3][4] も提案され ているが，これらの手法では新規物体を扱うために は，再学習（ファインチューニング）が必要となる.一方，本手法では，物体選択を系列ラベリング問題

図 2 提案手法の概要

とすることで，新規物体に対しても再学習すること なく，対応することができる。

## 2 提案手法

提案手法の概要を図 2 に示す. 物体リストと発話文を BERTへの入力とし，BERT からの出力を線形変換，softmax 関数を通して，各物体が対象物体で あるかどうかを表す確率を出力する。

BERT[1] は Transformers の encoderを使用した言語モデルであり，本稿では事前学習済みの BERTを ファインチューニングして使用した. 事前学習済み のモデルを利用することで，言語モデル内で学習さ れている常識的な知識により，指示文と対象物体の 関係を捉えることが期待できる.

提案手法では BERT の出力を利用した系列ラベリ ングにより物体を選択する。一方，分類タスクによ り物体の選択をすることも可能であるが，対象物体 が複数になった場合への対応が難しいといった問題 がある. また分類タスクでは，分類対象の物体数だ けの出力ノードを用いて学習するため, 事前に決め た物体のみにしか対応できず，新規物体へ対応する ためには出力ノード数を変え再学習する必要がある といった問題がある. これに対し, 系列ラベリング ではリスト内の各物体に対して対象物体か否かの ラベルを出力するため，複数の物体を選択すること ができ，言語モデルに含まれる単語であれば新規物体であっても対応することができる．モデルは，IO 法に基づいた対象物体を表すラベル（“I”)と非対象物体を表すラベル (“O”) を出力するよう学習する. これにより，「オレンジジュース」のように「オレン ジ」と「ジュース」という 2 つのトークンに分かれ表 1 発話文の種類

てしまう単語であっても，それぞれ “I”が出力され るため，トークンを結合して「オレンジジュース」 という単語を選択することができる．なお，物体リ ストは「、」で区切ることで，BIO 法を使わずとも異 なる単語を結合してしまうことはない.

学習時には, 出力された対象物体/非対称物体であ る確率と正解ラベルとのクロスエントロピーを損失関数として用い学習する．テスト時には，それぞれ のラベルの確率を出力し, 確率が高いラベルを予測 ラベルとする.

本稿では東北大学で作成された事前学習済みモデ ル [5] をファインチューニングして使用した. この モデルでは日本語版ウィキペディアを用いて事前学習されている. ファインチューニングに使用した データセットについては 3.1 節で述べる.

## 3 実験

本実験では，食べ物・飲み物・遊具・筆記用具・書物，また食べ物と飲み物で構成される食事，に関連する物体を選択することを想定し，小規模なデー タセットを作成してファインチューニングを行い，提案手法の有効性を確認した。また，より曖昧な表現を含む発話文を用いた場合の結果も確認した.

## 3.1 データセット

モデルのファインチューニングに用いるデータ セットとして，ユーザの発話文と物体のリストの組 を作成した. まずユーザの発話文として具体的な物体名を含まない「食べ物を持ってきて」，「食事を用意して」といったロボットにユーザの要求に沿った 物体を持ってくることを指示する文を 50 個用意し た. 今回想定した，発話文の種類と正解となる対象物体の例を表 1 に示す.この 50 文を学習用 40 文, テスト用 10 文に分割した. すなわち，テスト用の 文は学習用とは異なる文で構成されている。

次に，学習用物体リストとテスト用物体リストの
表 2 「食べ物」に対応した物体リスト

表 3 テストデータによる物体選択の評価

中から 6〜7 個の物体をランダムに取り出し，入力物体リストとした. この入力物体リストはユーザ発話文に合わせて正解となる物体を 1 つ以上含み，そ の他は正解ではない物体で構成されている。この 時, リスト中の単語の位置は物体選択に関係ないた め，単語の並びがランダムになるよう留意した. ま た，学習用物体リストとテスト用物体リストはそれ ぞれ異なる物体で構成されている. 表 2 が，食べ物 に対応した学習用とテスト用の物体リストである. また同時に，IO 法によって入力物体リスト内の各物体に対応した正解ラベルを作成した. この手順を 学習用とテスト用それぞれのユーザ発話文に対して 200 回行い，合計で学習用 8000 個，テスト用 2000 個のデータセットを作成した.

このように，テストデータには学習データには含 まれない物体，発話文を使用した。すなわち，テス トデータで正しく物体を選択するためには，発話文 と物体の関係を正しく学習する必要がある。

## 3.2 テストデータによる評価

表 3 が，テストデータを用いた物体選択の Precision, Recall, F-measure である. テストデータは 学習データに含まれていない物体と発話文で構成さ れていたが，各指標で 0.7 を超えるスコアを得られ た. すなわち，提案手法は学習していない未知の表現・物体に対しても，ある程度対応できると考えら れる。

## 3.3 より曖昧な発話文による物体選択

学習データは「○○を持ってきて」，「○○が欲し い」などの物を要求する文で構成されている. 本実験では，直接的に物を要求しない，より抽象的な表現から物体を選択できるか確認した。学習に使用し た表現と比べてより曖昧で抽象的な表現を含む発話表 4 より曖昧な発話文からの物体選択

 & 何か飲みたいな & オレンジジュース, \\
 & ちょっとメモしたいな & 水 \\

文を入力としたときの結果が，表 4 である．1つ目 では曖昧な表現として「何か飲みたいな」という発話から，2つ目の例では「ちょっとメモしたいな」 という発話から物体を選択した。どちらの場合も物体リスト内の太字で示した正解となる対象物体を正 しく選択できている。この結果は，事前学習済みの 言語モデルにより，ファインチューニング時にはな い「飲む」や「メモ」といった単語と各物体の関連性を捉えられているためだと考えられる.

## 4 おわりに

本稿では，家庭用サービスロボットがユーザの曖昧な発話から，環境内にある物体をユーザの意図に 合わせて選択する手法を提案した．実験では，小規模なデータセットを用いた予備的な実験であった にも関わらず，未知の表現・物体であっても正しく 物体選択できることを確認した．データセットを拡張することで，より曖昧な指示から物体を選択でき るようになると考えられる．そこで今後，クラウド ソーシングを利用してデータセットを拡充し，より 曖昧な指示やより広いドメインへの対応を考えて いる.

また，現時点では複数の正解が物体リストにある とき，それら全てが抽出されるようになっている. そのような場合には，ユーザとの対話を通して物体を選択するような方法を導入することを考えて いる.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language" arXiv:1810.04805, 2019

[2] Takahiro Kobori, Tomoaki Nakamura, Mikio Nakano, Takayuki Nagai, Naoto Iwahashi, Kotaro Funakoshi, and Masahide Kaneko, "Robust Comprehension of Natural Language Instructions by a Domestic Service Robot", Advanced Robotics, Vol. 30, Issue 24, pp. 1530-1543, 2016

[3] 田中翔平，湯口彰重，河野誠也，中村哲，吉野幸一
郎，“気の利いた家庭内ロボット開発のための曖昧 なユーザ要求と周囲の状況の収集”，情報処理学会研究報告, NL-253, 2022

[4] Michael Ahn, et al., "Do as I can, not as I say: Grounding language in robotic affordances." arXiv preprint arXiv:2204.01691, 2022

[5] "Pretrained Japanese BERT models", https://github. com/cl-tohoku/bert-japanese
 森下雅晴 1 長野匡隼 1 中村友昭 ${ }^{1}$ 1 電気通信大学 m1910655@edu.cc.uec.ac.jp  