# ガウス過程に基づく確率的生成モデルを用いた マルチモーダル情報に基づく連続的な記号の創発

劉智優 ${ }^{1}$ 江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(y_ziwoo,h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

記号システムはエージェントが他者や環境と相互作用しながら集団の中でボトムアップに創発する. この記号創発現象のメカニズムを明らかにするために，構成論的研究が進められている。 その一つとして，記号創発現象を集団的な潜在変数の推論と捉えた，集合的予測符号化仮説に基づく確率的生成モデルが提案されている.このモデルでは，分散的べイズ推論によって，2 体のエージェント間で共有された離散的な記号が創発されることを示した. ただし，このモデルでは記号を離散的な変数としてモデル化しているが，記号は必ずしも離散的なものに限定されるものではない，例えば，言語は離散的なテキスト列だと簡略化され捉えられがちであるが，人類は音声という連続的なメディアを通して言語を発達させている。この意味で連続的な記号メディアの創発の構成論を議論することは，離散的な記号の構成論を補う形でも重要である。 そこで本稿では，ロボットが取得するマルチモーダルな情報から，連続的な記号の創発が可能な確率的生成モデルを提案する. 観測の生成モデルにガウス過程を利用することで，マルチモーダルな観測から連続的な記号を創発することが可能である．実験では，マルチモーダルな観測から記号が創発されること，さらに創発された記号が正しくエージェント間で共有されていることを示す.

## 1 はじめに

サインとそれが指し示す対象に対し，それらを受け取った主体が自身の経験・状況から解釈することで記号となる。このような記号はエージェントが他者や環境とインタラクションすることでその集団の中で意味が共有され，創発する [1,2]. この過程を創発コミュニケーション (Emergent Communication) と

図 12 体のエージェントによる記号創発の確率的生成モデルの概要

呼ぶ。本稿では，そのような記号の創発が可能な確率的生成モデル Multimodal Gaussian Process Emergent Communication (MGPEmCom) を提案する. 図 1 が確率的生成モデルの概要である．提案モデルは共有された記号から両者の観測が生成される確率的生成モデルである． 2 体のエージェントが物体の視覚，聴覚，触覚の 3 情報を観測し，その物体を表現可能な共有された記号である潜在変数 $s$ を推論することで記号を創発する。

ただし，両者が記号 $s$ で接続されたモデルで推論することは，他者の内部状態をお互いが直接観測可能であることを表しており，個体として切り離されているエージェント同士の記号創発としては不自然である。この問題に対して谷口は，言語は集合的な確率的な推論によって形成されているとする集合的予測符号化仮説 $[4,5]$ を提唱し，記号の推論法としてメトロポリス・ヘイスティングス名付けゲー ム (Metropolis-Hastings Naming Game: MHNG) [6-8] を提案した．MHNG は，2 体のエージェントの記号を介したコミュニケーションにより，他者の内部状態を直接観測することなく共有された記号を創発し，その意味を獲得可能な手法である. 谷口らは， MHNG を用いて，2 体のエージェント間で離散的な記号を共有すると同時に，適切なカテゴリ化を行うことができることを示した. さらに，Okumura らは特定の記号創発タスクにおける人の行動を MHNG

図 2 提案手法 MGPEmCom のグラフィカルモデル

によって説明できることを示している [9].

しかし，記号は必ずしも離散的なものに限定されるわけではなく，例えば表情，ジェスチャ，鳴き声といった連続的なものも含まれる。 また，離散的に捉えられる言語であっても，音声によるコミュニケーションによって創発されており, 創発する過程では連続的である. 記号を表す潜在変数が連続的になることで，表現力の向上や潜在変数の内挿による新たな表現の生成なども可能になると考えられる。 そこで，我々は確率的生成モデルに GPLVM を利用することで，連続的な記号の創発 [3] を実現した。 ただしこの従来研究では，視覚情報のみの単一モダリティを用いた実験での，定性的な評価しか行っていなかった. 記号とは主体がその身体を通して得られるマルチモーダルな情報から創発するものである.そこで本稿では，この提案されたモデルをマルチモーダル拡張を行い，参照ゲームに基づく物体選択タスクにより定量的に性能を評価する。

## 2 提案手法

## 2.1 MGPEmCom の確率モデル

図 2 に MGPEmCom のグラフィカルモデルを示す. $s$ はエージェント間で生成される記号を表現する潜在変数であり， $o_{v}, o_{a}, o_{t}$ はそれぞれ，ロボットが物体から取得する視覚, 聴覚, 触覚の観測情報である.

記号の創発は，2 体のエージェントの観測を表現できる共有された潜在変数を推論することに相当する.したがって，記号は以下の式で推論することができる.

$
s \sim p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)
$

ただし，本稿では 2 体のエージェントは分離した個体であり，各エージェントは相手の内部状態や観測情報を観測することができないことを想定しており，このままでは計算することができない. そこで，個体間の $s$ を推論を実現するために， MHNG [6-8] を利用する.

## 2.1.1 Metropolis-Hastings Naming Game

MHNG は，メトロポリスヘイスティング法（以下 MH 法）に基づく推論法である。本稿では，事後分布（式 (1)）からのサンプルを生成するために，次式を目標分布とする。

$
\begin{aligned}
P(s) & =p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right) \\
& \approx C p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)
\end{aligned}
$

ただし， $C$ は正規化項であり，この式変形には Product of Experts 近似を用いた. 次に，エージェント Aがメッセージ $s^{*}$ を生成する提案分布 $Q\left(s^{*}\right)$ を

$
Q\left(s^{*}\right)=p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right)
$

とする。式(3) と式(4)より，MH 法における新たなサンプル $s^{*}$ の採択率は

$
\begin{aligned}
& =\frac{Q(s) P\left(s^{*}\right)}{Q\left(s^{*}\right) P(s)} \\
& =\frac{p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}{p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)} \\
& =\frac{p\left(s^{*} \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}{p\left(s \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}
\end{aligned}
$

となる. すなわち，エージェント $\mathrm{A}$ から提案 $s^{*}$ を受け入れるかどうかはエージェント B の情報のみで決定することができ，その逆の場合も同様である.このプロセスを繰り返すことで式 (1)をみたす両者で共有される記号を創発することができる.

## 2.1.2 ガウス過程に基づく MHNG

ガウス過程において, $N$ 個の記号 $S=$ $\left[s_{1}, s_{2}, \cdots, s_{N}\right]^{T}$ が与えられた条件のもとで，モダリティ*に対応する観測情報 $O_{*}^{B}=\left[o_{* 1}^{B}, o_{* 2}^{B}, \cdots, o_{* N}^{B}\right]^{T}$ が生成される確率は

$
G P\left(O_{*}^{B} \mid S\right) \propto \frac{1}{|K|^{D_{*} / 2}} \exp \left(-\frac{1}{2} \operatorname{tr}\left(K^{-1} O_{*}^{B}\left(O_{*}^{B}\right)^{T}\right)\right)
$

となる。ただし， $D_{*}$ は $o_{*}^{B}$ の次元数であり，K は， $k$ をカーネル関数， $\beta^{-1}$ を観測のノイズを表すパラメータとして，その $i$ 行 $j$ 列の要素が $k\left(s_{i}, s_{j}\right)+\beta^{-1} \delta\left(s_{i}, s_{j}\right)$ となるグラム行列である. 観測の生成確率はガウス過程の積であり， $\left[w_{v}, w_{a}, w_{t}\right]$ を各モダリティの重みとしたとき，

$p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right) \propto G P\left(O_{v}^{B} \mid S\right)^{w_{v}} G P\left(O_{a}^{B} \mid S\right)^{w_{a}} G P\left(O_{t}^{B} \mid S\right)^{w_{t}}$

となる.したがって, $n$ 番目の観測に関して新たな記号 $s^{*}$ が提案された場合を $S^{(n)}=$ $\left[s_{1}, s_{2}, \cdots, s_{n}^{*}, \cdots, s_{N}\right]^{T}$ とすると，その採択率 $r$ (式

(7)) は

$
\begin{aligned}
r & =\frac{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S^{(n)}\right) p\left(S^{(n)}\right)}{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right) p(S)} \\
& =\frac{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S^{(n)}\right)}{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right)}
\end{aligned}
$

となる. ただし， $p(S)$ は一様分布とした. このように式 (7) の採択率は，ガウス過程であっても計算可能である.

一方， $s$ を変数として見た場合の式 (8) で表される分布形状は複雑であり, そのままでは提案分布 $Q\left(S^{(n)}\right)=p\left(S^{(n)} \mid O_{v}^{B}, O_{a}^{B}, O_{t}^{B}\right)$ からサンプルを生成することは難しい。そこで，提案分布からのサンプルも $\mathrm{MH}$ 法で生成する。 $p(S)$ を一様分布とし, エー ジェント A が提案する記号の目標分布を

$
\begin{aligned}
P^{\prime}\left(S^{(n)}\right) & =p\left(S^{(n)} \mid O_{v}^{A}, O_{a}^{A}, O_{t}^{A}\right) \\
& \propto p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)
\end{aligned}
$

とし，提案分布を現在のサンプル $s$ と新たなサンプル $s^{*}$ に対して対称なガウス分布

$
Q^{\prime}\left(s^{*}\right)=\mathcal{N}\left(s^{*} \mid s, \sigma^{2}\right)
$

としたとき，その採択率は

$
\begin{aligned}
r^{\prime} & =\frac{Q^{\prime}(s) P^{\prime}\left(S^{(n)}\right)}{Q^{\prime}\left(s^{*}\right) P^{\prime}(S)} \\
& =\frac{\mathcal{N}\left(s \mid s^{*}, \sigma^{2}\right) p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)}{\mathcal{N}\left(s^{*} \mid s, \sigma^{2}\right) p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S\right)} \\
& =\frac{p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)}{p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S\right)}
\end{aligned}
$

となる。式 (14) と式(17)を用いた MH 法により一方のエージェントからサンプルを生成し，もう一方のエージェントに提案する。 次に，もう一方のエー ジェントの情報を利用して式 (11)によりそのサンプルを受理または棄却する．以上のプロセスによってガウス過程に基づいた記号創発が可能である.

## 2.2 記号的コミュニケーション

参照ゲーム [11] [12] [13] は，創発コミュニケー ションの研究で用いられるタスクの 1 つである. 提案手法によって創発された記号を用いて，情報を適切に伝えることができるかを参照ゲームによって評価する．参照ゲームの手順は以下の通りである。

1. 参照対象の選択: 話し手が提示された観測物体から参照対象を選択

2. 記号の伝達: 話し手は，受け手に参照対象を表現する記号 $s^{*}$ をサインとして送信
3. 記号の理解: 受け手は複数の物体から $s^{*}$ が表現する物体を選択

受け手が，話し手が選択した物体と同じ物を選択した場合を成功とする。 MGPEmCom においてエー ジェント A が話し手でエージェント B が受け手とした場合，以下のように計算することができる.

## 2.2.1 Agent A による記号 $s^{*$ のサンプリング}

まず，Agent Aが学習済みモデルに基づき，参照対象を表現する記号 $s^{*} を$ 新たにサンプリングする. 学習時の Agent A の観測情報を, $O_{v}^{A}, O_{a}^{A}, O_{t}^{A}$, 創発された記号を $S=\left[s_{1}, s_{2}, \cdots, s_{N}\right]^{T}$ とする. これらが与えられた条件の下で，参照対象の観測情報 $o_{v}^{A^{*}}, o_{a}^{A^{*}}, o_{t}^{A^{*}}$ を表現する記号 $s^{*}$ の生成確率は

$
s^{*} \sim p\left(s^{*} \mid S, O_{v}^{A}, O_{a}^{A}, O_{t}^{A}, o_{v}^{A *}, o_{a}^{A *}, o_{t}^{A *}\right)
$

となる. しかし. 分布形状は複雑であるため, 式 (18)を目標分布とした MH 法を用いて参照対象を表現するの記号 $s^{*}$ をサンプリングする. 記号 $s^{*}$ はサインとして Agent B に送られる。

## 2.2.2 Agent Bによるサイン $s^{*$ の理解}

ガウス過程において，観測情報 $o_{*}^{B *}$ の予測分布は次式のガウス分布で表される.

$
\begin{aligned}
p\left(o_{*}^{B *} \mid s^{*}\right) & =\mathcal{N}\left(\mu_{*}, \sigma^{2}\right) \\
\mu_{*} & =k^{* T} K^{-1} O_{*}^{B} \\
\sigma^{2} & =\left(k^{* *}-k^{* T} K^{-1} k^{*}\right) E
\end{aligned}
$

$E$ は $D_{*}$ 次元の単位行列であり,$k^{*}$ と $k^{* *}$ は次式となる.

$
\begin{aligned}
k^{*} & =\left[k\left(s^{*}, s_{1}\right), k\left(s^{*}, s_{2}\right), \cdots, k\left(s^{*}, s_{N}\right)\right], \\
k^{* *} & =k\left(s^{*}, s^{*}\right)+\beta^{-1} \delta\left(s^{*}, s^{*}\right) .
\end{aligned}
$

したがって, 記号 $s^{*}$ からすべての観測情報を生成する対数尤度は，

$
\begin{aligned}
L\left(o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)= & w_{v} \log \mathcal{N}\left(o_{v}^{B} \mid \mu_{v}, \sigma^{2}\right) \\
& +w_{a} \log \mathcal{N}\left(o_{a}^{B} \mid \mu_{a}, \sigma^{2}\right) \\
& +w_{t} \log \mathcal{N}\left(o_{t}^{B} \mid \mu_{t}, \sigma^{2}\right)
\end{aligned}
$

となる. $M$ 個の物体の観測情報 $\left.\{o_{v, m}^{B}, o_{a, m}^{B}, o_{t, m}^{B} \mid 1 \leq\right.$ $m \leq M\}$ が与えられたとき, Agent B は対象物体 $m^{*}$ を $m^{*}=\operatorname{argmax}_{m}\left(L\left(o_{v, m}^{B}, o_{a, m}^{B}, o_{t, m}^{B}\right)\right)$ に基づいて選択する.

## 3 実験

本稿で提案する MGPEmCom を評価するために 2 つの実験を実施した。

図 3 実験に使用した物体

## 3.1 マルチモーダル情報

実験には，文献 [10] の実験で用いた，ロボットが物体から取得した視覚, 聴覚, 触覚情報からなるマルチモーダル情報を用いた. 図 3 が，使用した 11 カテゴリに属する 67 個の物体である. それぞれ特徵量を抽出し, 聴覚情報は 50 次元, 触覚情報は 15 次元の特徵量を観測情報とした。また，物体の正面画像と背面画像から抽出した 512 次元の特徴量を, それぞれエージェント A と B の観測情報とした。

## 3.2 実験設定

物体を識別できる記号が創発されているか検証するために，カテゴリ間の物体選択と，カテゴリ内の物体選択の 2 つの実験を実施した. カテゴリ内の物体選択は物体の僅かな違いを伝える必要があり，カテゴリ間の物体選択よりも難しいタスクとなっている. 重みを $\left[w_{v}, w_{a}, w_{t}\right]=[1,300,30]$, 学習の反復回数を $J=30$ ，創発される記号は 3 次元の共有潜在変数として以下の手順で実施した。

## 3.2.1 カテゴリ間の物体選択

・テストセットは各カテゴリから 1 つずつランダムに選択した計 11 個の物体を使用し, 学習セットは残りの 56 個 (= 67-11)を使用した.

・テストセットの 1 つを参照物体とした参照ゲー ムを，その物体を変えながら 11 回試行した。

この手順を 5 回繰り返し，計 55 回 (=11 物体 $\times 5$ 回)実施し，正答率を算出した。

## 3.2.2 カテゴリ内の物体選択

・テストセットは特定のカテゴリからランダムに選択した 3 個の物体を使用し，学習セットは残りの 64 個 $(=67-3)$ を使用した.

・テストセットの 1 つを参照物体とした参照ゲー ムを，その物体を変えながら 3 回試行した.

テストセットには，物体数が多いペットボトル，お表 1 参照ゲームにおける物体選択の正答率 $(v$ : 視覚, $a$ :聴覚, $t$ : 触覚)

正答率

菓子 (箱型)，ぬいぐるみ (胴体あり）の３ カテゴリを使用した.この手順を各カテゴリで 20 回繰り返し, 計 180 回 (=3 カテゴリ $\times 3$ 物体 $\times 20$ 回) 実施し,正答率を算出した.

## 3.2.3 実験結果

実験結果を表 1 に示す．比較として，視覚情報のみを使用した場合 $[v]$ でも実施した。

まずカテゴリ間の物体選択では，観測可能モダリティが $[v]$ だけの場合と比較して $[v, a, t]$ の場合は, 95\% と高い正答率となった. モダリティを増やすことで，より物体の違いを知覚することができ，その違いを表現可能な記号が創発されたと考えられる。

次にカテゴリ内の物体選択では, 観測可能モダリティが $[v, a, t]$ の正答率は，カテゴリ間の場合に比ベて低いものの，チャンスレベル $(33 \%)$ よりも高い.すなわち，同じカテゴリに属する物体のわずかな違いを識別することができる記号を創発することができたと考えられる.

## 4 まとめ

本稿では，マルチモーダルな観測から連続的な記号の創発が可能な MGPEmCom を提案した. 推論に MHNG を利用することで，他者の内部状態を直接観測することなく記号の創発を実現した．実験では，参照ゲームによって創発された記号がカテゴリの識別だけでなく，さらに物体の僅かな違いまで表現できることが明らかとなった. だたし，今回 11 カテゴリ 67 物体を使用した小規模な実験であり，また他の手法との比較もできていない. そのため今後,大規模なデータを用いた評価と，離散的な記号を創発するモデルとの比較が必要だと考えている.

また，今回の参照ゲームでは，話し手はサンプリングした記号をそのまま受け手に伝え，受け手が物体選択をした. すなわち，サンプリング時の確率的な摇らぎによって適切に物体を表現する記号を生成できていない可能性がある．そこで，参照ゲーム時にも MHNGを用いることによって，各物体の記号を推論し，その受理確率を基に物体選択をすることで，精度が向上する可能性があると考えている。

## 謝辞

本研究は JSPS 科研費 JP21H04904，JP23H04835 および JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Taniguchi T, Nagai T, Nakamura T, et al.,"Symbol emergence in robotics: a survey.", Advanced Robotics, Vol. 30, Issue 11, pp. 706-728, 2016.

[2] Taniguchi T, Ugur E, Hoffmann M, et al.,"Symbol emergence in cognitive developmental systems: a survey.", IEEE Transactions on Cognitive and Developmental Systems, vol. 11, no. 4, pp. 494-516, 2019

[3] 中村友昭，鈴木雅大，谷口彰，谷口忠大，“ガウス過程潜在変数モデルとニューラルネットワークの統合によるマルチエージェント記号創発と潜在表現学習”, 日本ロボット学会学術講演会, 2J3-02, Sep. 2023

[4] 谷口忠大，“集合的予測符号化仮説記号創発ロボティクスと言語進化の新展開に向けて”，人工知能学会全国大会，4H3-OS-6b-01，2023

[5] Tadahiro Taniguchi, "Collective Predictive Coding Hypothesis: Symbol Emergence as Decentralized Bayesian Inference", PsyArXiv preprint, doi: https://doi.org/10.31234/osf.io/d2ty6, 2023

[6] Hagiwara Y, Kobayashi H, Taniguchi A, et al., "Symbol Emergence as an Interpersonal Multimodal Categorization.", Frontiers in Robotics and AI ,Vol. 6, pp. 134, 2019.

[7] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference.”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022.

[8] Tadarhito Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models.", arXiv: 2205.12392, 2022.

[9] Ryota Okumura, Tadahiro Taniguchi, Yoshinobu Hagiwara and Akira Taniguchi, "Metropolis-Hastings algorithm in joint-attention naming game: Experimental semiotics study", Frontiers in Artificial Intelligence, vol. 6, 2023

[10] Nakamura T, Ando Y, Nagai T, Kaneko M.,"Concept formation by robots using an infinite mixture of models.", IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp.4593-4599, 2015.

[11] Luc Steels and Martin Loetzsch."The Grounded Naming Game", John Benjamins Publishing Company, Vol. 3, pp. 41-590, 2012.

[12] Brian Skyrms."Signals: Evolution, Learning, and Information”, Oxford University Press, 2010.

[13] David Kellogg Lewis."Convention: A Philosophical Study”, Wiley-Blackwell, 1969.