# 観測した周囲の状況を曖昧な発話に統合した 対話ロボットによる気の利いた行動選択

田中翔平 ${ }^{1,2}$ 山崎康之介 1,2 湯口彰重 ${ }^{2,1}$ 河野誠也 ${ }^{2}$ 中村哲 1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{tanaka.shohei.tj7, yamasaki.konosuke.yi5, s-nakamura\}@is.naist.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\}@riken.jp

## 概要

人と協働する対話ロボットは，ユーザの要求が曖昧な場合でもユーザが必要とする行動を取ることが 期待される。言い換えれば，対話ロボットはユーザ 発話の内容のみでなく，ユーザの周囲の状況を正確 に理解して気の利いた行動を選択する必要がある.本研究では，このように周囲の状況から得られるマ ルチモーダル情報を活用するロボットの行動選択モ デルを構築した. また，モデルに入力するユーザ発話や周囲の状況を人手で書き起こした場合と自動認識した場合を比較した. 実験結果より, 気の利いた 行動をとるために必要な周囲の状況を選択的に与え ることで行動の選択精度が向上することがわかっ た. また, 周囲の状況に関して精度に限りがある自動認識結果を用いた場合でも，単純な事前学習モデ ルで抽出した特徵量を用いる場合よりは高精度で行動を選択できることが明らかになった。

## 1 はじめに

対話ロボット・システムが人と協働することを想定したこれまでの研究の多くは，ユーザの要求がロ ボットに対して明示される，あるいはシステムの問 い返しによって要求が明確化されることを仮定して いた $[1,2]$. しかし実際には，ユーザ自身が持つ要求が曖昧で，ユーザから明示的な要求を示すことが できない場合も多い $[3,4]$. “曖昧”とはユーザが何 らかの潜在的な要求を持っているにも関わらず，そ の要求の条件を明確に言語化できない状況にある ことを意味する [5].こうした曖昧な要求に対して，気心の知れた人間同士であれば気を利かせて相手が 必要としそうな補助を行動として起こすことができ る. 例えば，人が起きたタイミングで水を持ってい く，ため息をついたときに「どうしましたか？」な
どと聞くような行動を取ることができる。このよう に，人間と生活環境を共にする対話ロボットは，単 に相手からの要求に応じて動作するだけではなく, ユーザ発話に紐づいた状況に応じて能動的に振る舞 いを決定することが求められる。

こうした気の利いた行動をとることができるシス テムを実現するため，これまでにユーザの曖昧な要求とユーザの周囲の状況を表す画像，およびロボッ トの気の利いた行動で構成されるコーパスを収集し てきた [6]. このコーパスは，ユーザ発話のテキス トやロボットの一人称視点を想定した画像というマ ルチモーダルな情報を統合的に活用し，ロボットが そのユーザの状況にあった行動 (気の利いた行動)を 選択することを想定している。このデータで，入力 をユーザの発話と周囲の状況，出力を気の利いた行動として教師ありで分類するベースラインモデル を構築した。このとき，特に状況についてシステム が正しく認識をできるよう，様々な説明的な特徴量 のアノテーションを大力として利用した。これは例 えば，ユーザ発話時点でのコーヒーテーブル上の物体，ユーザの把持物体，ユーザの姿勢などが含まれ る. こうした特徴量をべースラインモデルの入力と して利用した場合，大規模事前学習モデルを用いて 抽出した特徴量のみを与える場合よりも気の利いた 行動選択の精度が大きく向上することがわかった.

しかし，実際にロボットでこうした特徴量を利用 する場合，状況に対する説明的な特徴量をいかに自動認識して利用できるかという問題が生じる. そこ で本研究ではこれらの特徵量を自動認識した場合に どの程度の精度で気の利いた行動を選択できるか検証した。この検証には，一般に広く用いることがで きる音声認識, 物体認識, 姿勢推定などのモデルを 利用した. 実験結果より，説明的な特徵量を自動認識した場合，アノテーションで与えた特徴量を使う

図 1 気の利いた行動の例: ロボットはバナナを持ってき ている.

表 1 家庭内ロボットの行動カテゴリリスト バナナを持ってくる，充電ケーブルを持ってくる， コップを持ってくる，ケチャップを持ってくる，宅

を持ってくる,テイッシュ箱を持ってくる, 充電 ケーブルを片付ける，コップを片付ける，ケチャツ プを片付ける，ミニカーを片付ける，ペットボトル を片付ける，リモコンを片付ける，スマホを片付け る，お菓子を片付ける，ティッシュ箱を片付ける， ゴミをゴミ箱に捨てる，缶切りを持ってくる，クッ キングシートを持っでくる，グラスを持ってくる， おろし器を持ってくる，キッチンペーパーを持って くる，レモンを持ってくる，オリーブオイルを持っ てくる，じゃがいもを持ってくる，サランラップを 持って’くる，水筒を持ってくる，缶切りを棚にしま う，クッキングシートを棚にしまう，グラスを棚に しまう，おろし器を棚にしまう，キッチンペーパー を棚にしまう，ペットボトルを泠蔵庫にしまう， サ ランラップを棚にしまう，タッパーをレンジに入れ る，タッパーを冷蔵庫にしまう，水筒を棚にしまう

場合よりも行動選択の精度が大幅に低下するもの の，事前学習モデルを用いて抽出した特徴量のみを 用いる場合と比較して高い精度が実現されることが わかった。

## 2 タスク設定とコーパス

本研究で取り組む課題は，一般的なリビングや キッチンにおいてロボットがユーザの家事を手伝う という状況を想定したものである。 ユーザは要求が 曖昧な発話や独話を行い，ロボットはユーザ発話と ユーザ発話が行われた状況を見ながら気の利いた 行動をとる状況を想定する. 図 1 にユーザとロボッ トのインタラクションの例を示す.ここでユーザの 「朝食が食べたい」という発話は，必ずしも特定の 機能に対する要求として言語化されているわけでは ない. これに対して，ロボットはユーザ発話と机の 上に“バナナ”があるなどの状況を勘案しつつ「バナ ナを持ってくる」という気の利いた行動を選択し，実際にバナナをユーザのもとに持ってくる.

こうした状況を想定して，ユーザの曖昧な発話， その発話が行われた状況を表すロボットの一人称視点を想定した画像，それに対応したロボットの気 の利いた行動の三つ組で定義されたコーパスを収集した [6]. このコーパスにおいて，ユーザの曖昧 な発話が入力されたとき，ロボットはその発話状況 と発話内容の情報を活用し，あらかじめ定義された 行動カテゴリの中から気が利いているとみなせる ような行動カテゴリを出力する。 あらかじめ定義さ れた全 40 種類の行動カテゴリのリストを表 1 に示 す. 具体的には，どのような状況でロボットがこの 行動をとったら気が利いていると思うかをクラウド ワーカーに尋ね，ユーザの先行発話および室内の状況を入力してもらうことで状況-行動ぺアを収集し た [4].

また，室内で家事を補助するロボットがユーザの 曖昧な要求を受けたときに，発話内容のみからでは 適切な気の利いた行動を選択することが難しい場合 が存在する．例えば「あれ？もう一個足りない」と いう発話はユーザがグラスとお酒を持っている状況 で，もう一つグラスが欲しいという状況における発話である.このとき発話内容のみから適切な行動で ある「グラスを持ってくる」を選択することは困難 であるが，「ユーザがグラスを手に持っている」と いう画像中の情報を参照することで紐づけが可能と なる。

また，ある環境でのロボットの一人称視点を想定 したデータを用いることを想定したとき，大量の データを用意することは難しい。 そこで，画像から 得られる様々な抽象化レべルの情報を効率よく利用 するため，状況を説明するようなラベル (説明的な 特徴量) の付与を人手で行った. この際, 動画から 最後のフレームの画像を代表画像としてクリップ し，代表画像における物体や人物姿勢などのラベル を付与した。

収集されたユーザ発話および発話に紐付けられ た画像，画像から得られる説明的な特徴量の例を 図 2 に示す.Uttr はユーザ発話を意味し，action は 対応する気の利いたロボットの行動を意味する. Viewpoint は画像を撮影したカメラの視点番号を意味し, 計 3 種類である. Position はソファやキッチ ンなど，ユーザが室内のどこにいるかを表す特徵量 である. Pose は座っている，立っているといった ユーザの姿勢を表す特徴量である．Has はユーザが 持っている物体を表す特徴量である. Coffee table は コーヒーテーブル上に置かれた物体を表す特徴量で ある. Dining table はダイニングテーブル上に置か

図 2 コーパスに含まれる対話例

図 3 ベースライン分類器における特徴量の入力

れた物体を表す特徴量である. Kitchen はキッチン に置かれた物体を表す特徴量である。これらの特徴量は人手で付与されているが，画像認識などで自動 で抽出することを指向したデザインになっている. これまでに提示したデータの収集には多大なコスト が掛かるため，本コーパスでは 400 件の事例が収録 されている.

## 3 マルチモーダル情報を活用する気 の利いた行動の分類器

収集したデータを用い，曖昧なユーザ発話と状況 から気の利いたロボット行動を推定するベースライ ンモデルを構築する. 図 3 にベースライン分類器の 概要を示す. 分類器は入力された状況に対して, そ の状況で気が利いているとみなすことができるロ ボットの正解行動を 40 クラスから選択する. 各特徵量の具体的な処理及び正解カテゴリの予測につい ては次の通りである。まずユーザ発話 (uttr) は事前学習モデルである RoBERTa [7] に入力し, RoBERTa が出力した [CLS] ベクトルを特徴量ベクトルとす る. また画像から抽出された特徴量である position, has, coffee table, dining table, kitchen はテキストであ るため，これも [SEP]トークンで結合してそれぞれ RoBERTa へ入力し [CLS] ベクトルを特徴量ベクト ルとする. Viewpoint については各 viewpoint に対応
する一次元ベクトルを embedding 層より取得する. これらの特徴量は画像から得られる説明的な特徴量 (description) である.これ以外にも，一般に用い られる画像の事前学習モデルを利用した特徵量とし て，画像 (image) を EfficientNet-B0 [8] に入力してべ クトル化する．出力層においては，これらの手続き によって得られた特徴量べクトルをすべて結合し， 1 層の Multi Layer Perceptron (MLP)へと入力して各 カテゴリに対応する確率值を算出する.

## 4 実験

行動選択のために状況に対する説明的な特徵量 を用いる場合，実際にその特徵量が認識可能かとい う問題が生じる。そこで本節ではこれらの特徴量が 人手で与えられた場合と自動認識の結果として与 えられた場合の性能変化を調査する。ユーザ発話 の音声認識は Google Speech-to-Text API ${ }^{1 ｝ \text { を用いた. }$ また説明的な特徴量の認識には EfficientNet+MLPを 用いた. 説明的な特徴量の全クラスは既知のクラ スであると設定し学習を行った。特徴量認識の性能を表 2 に示す. Viewpoint はロボット自身の現在位置から一意に定まる値であるため推測していな い.また has はそもそも含まれているインタラク ションの数が少数であり学習が不可能であった ため表 2 には含まれていない. 音声認識の評価に は word error rate (WER), match error rate (MER), word information lost (WIL) [9]を用いた。音声認識の精度 は中程度であるが，これはロボットがユーザから $2 \mathrm{~m}$ ほど離れた距離で音声認識を行う状況を想定し た結果であることに注意されたい。説明的な特徴量 についてはどれも高い精度で認識できており，特に position, pose については 100\%に近い精度で認識で きている。これはユーザの位置，ポーズはそれぞれ 3 種類と非常に限られているからだと考えられる.図 5 に coffee table, dining table, kitchen に含まれる各 オブジェクトについて，データセット中における出現回数と認識されなかった割合 (認識失敗率) の散布


(a)

(b)

図 4 気の利いた行動の選択に重要なオブジェクトが認識されなかったインタラクションの例

図 5 オブジェクトの出現回数と認識失敗率の散布図. 相関係数は -0.93 .

図を示す. 相関係数は -0.93 であり，オブジェクト の出現回数と認識されなかった割合には強い負の相関があることがわかる.

これらの自動認識した特徴量を用いるモデルの性能を表 3 に示す. 評価指標として, Accuracy (Acc.), Recall@5 (R@5), Mean Reciprocal Rank (MRR) [4] を用 いた.Uttr は図 3 におけるユーザ発話のみをモデ ルへの入力とした場合を，uttr+img は発話に加え EfficientNet で作成した画像特徴を入力とした場合 を，uttr+img+desc は uttr+img に加え画像から得ら れる説明的な特徴量 (description)を人手で与えた場合を意味する。“ (hat)” はユーザ発話または説明的 な特徴量について自動認識に置き換えた場合を意味する. Has については自動認識器が学習できな かったため, どの場合も emptyとしてモデルへと与 えた. 自動認識結果を用いる場合，どの場合につい ても uttr+img+desc と比較して大きく性能が低下し ている. Uttr+img+desc では正しい気の利いた行動 を選択できているが，uttr+img+desc^では分類に重要なオブジェクトの認識を誤っておりかつ誤った 行動を選択している例を図 4 に示す. どちらの例に おいても，気の利いた行動に関連したオブジェクト であるリモコンやゴミが認識できていない。これら のオブジェクトはデータセット中における出現回数が低いオブジェクトであった. 図 4 の例のように uttr+img+desc^が動作の対象となるオブジェクトを 認識できておらず，行動選択も誤ったケースは全誤 り中 $67.54 \%$ であった.

また $u t t r^{\wedge}+i m g+d e s c^{\wedge}$ と uttr^または $u t t r^{\wedge}+i m g$ との 性能を比較した場合，R@5, MRRについては有意 に性能が向上しているものの, accuracy は変化し表 2 自動特徴量認識の結果

表 3 自動認識した特徴量による分類結果. 対応のある $\mathrm{T}$検定で有意差を検定した。†やは $p<0.01$ を，†は $p<0.05$ を意味する。

ていないことがわかった. しかしuttr+img+desc^と uttr+img との性能を比較した場合，どの指標につい ても有意に性能が向上しており，説明的な特徴量の みを自動認識した場合は行動選択の精度が向上する ことが判明した。

## 5 おわりに

本研究では，ユーザの要求発話が曖昧である場合 に周囲の状況を理解しつつロボットの気の利いた行動を選択する分類モデルを構築し，様々な特徵量の 与え方について比較評価を行った. 具体的にはユー ザ発話および周囲の状況を自動で認識した結果を与 えた場合の分類性能を評価した. その結果，自動認識結果であっても周囲の状況に関する説明的特徴量 を与えることは気の利いた行動の識別に効果的であ り，事前学習モデルを単純に用いる場合よりも性能 が向上することが示唆された. 今後は周囲の状況を 認識するモデルの精度を向上させ，実際のロボット 上で動作する行動選択モデルとして実装する。

## 謝辞

本研究は理研の大学院生リサーチ・アソシエイト 制度の下での成果である. 本研究の一部は科研費 (22H03654)の支援を受けた。

## 参考文献

[1] Ryan Blake Jackson and Tom Williams. Enabling morally sensitive robotic clarification requests. J. Hum.-Robot Interact., Vol. 11, No. 2, mar 2022.

[2] Felix Gervits, Antonio Roque, Gordon Briggs, Matthias Scheutz, and Matthew Marge. How should agents ask questions for situated learning? an annotated dialogue corpus. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 353-359, Singapore and Online, July 2021. Association for Computational Linguistics.

[3] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 356-359, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 77-88, Singapore and Online, July 2021. Association for Computational Linguistics.

[5] Robert S. Taylor. The process of asking questions. American Documentation, pp. 391-396, 1962.

[6] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎.気の利いた家庭内ロボット開発のための曖昧なユー ザ要求と周囲の状況の収集. 情報処理学会 第 253 回自然言語処理研究会 (SIGNL), 2022.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. In $\operatorname{arXiv}, 2019$.

[8] Mingxing Tan and Quoc Le. EfficientNet: Rethinking model scaling for convolutional neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 6105-6114. PMLR, 09-15 Jun 2019.

[9] Andrew Morris, Viktoria Maier, and Phil Green. From wer and ril to mer and wil: improved evaluation measures for connected speech recognition. 102004.

[10] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer,
F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems 32, pp. 80248035. Curran Associates, Inc., 2019.

[11] Daisuke Kawahara. Kawahara Lab. RoBERTa . 2021.

[12] Hakan Cevikalp, Burak Benligiray, and Omer Nezih Gerek. Semi-supervised robust deep neural networks for multi-label image classification. Pattern Recognition, Vol. 100, p. 107164, 2020.

[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

## 付録

## 実験設定

モデルの実装には PyTorch [10], 日本語 Wikipedia および CC-100 で事前学習された RoBERTa [11]を用 いた.また収集したロボットの一人称視点を想定 した動画からクリップされた画像を事前学習され た EfficientNet-B0 で特徵量ベクトルへと変換した.

RoBERTa および EfficientNet のパラメータもモデル の学習を通じてファインチューニングした. モデル の学習には hinge loss [12,4] を用い，パラメータの 最適化には Adam [13] を使用し, 学習率は $1 \mathrm{e}-5$ と した.

## 評価指標

R@5 は分類モデルが出力した正解カテゴリの順位が上位 5 位以内に含まれている割合である。MRR $(0<M R R \leq 1)$ は次式の通り算出される.

$
M R R=\frac{1}{\left|U_{\text {test }}\right|} \sum_{i}^{\left|U_{\text {test }}\right|} \frac{1}{r_{x_{i}}}
$

ここで $r_{x_{i}}$ はユーザ発話 $x_{i}$ に対応する正解カテゴリ について分類モデルが出力した順位を意味し， $U_{\text {test }}$ はテストデータに含まれるユーザ発話の集合であ る. 全ての指標について，数値が大きいほど分類モ デルの性能が高いことを意味する．各モデルの性能 は五分割交差検証にて算出し，各分割データについ て 10 回実験を試行した。
 田中翔平 ${ }^{1,2}$ 山崎康之介 1,2 湯口彰重 ${ }^{2,1}$ 河野誠也 ${ }^{2}$ 中村哲 1 吉野幸一郎 2,1 1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト \{tanaka.shohei.tj7, yamasaki.konosuke.yi5, s-nakamura\}@is.naist.jp \{akishige.yuguchi, seiya.kawano, koichiro.yoshino\}@riken.jp  