# 文字列中からの単語の発見と感覚情報に基づく 単語の意味づけを通じた SIR 名付けゲームによる言語の創発

堀江孝文 ${ }^{1}$ 谷口彰 2 萩原良信 3 谷口忠大 ${ }^{2}$
1 立命館大学大学院 情報理工学研究科 2 立命館大学 情報理工学部
3 立命館大学 総合科学技術研究機構
\{horie.takafumi,a.taniguchi,yhagiwara,taniguchi\}@em.ci.ritsumei.ac.jp

## 概要

相互分節化仮説とは，複数のエージェントによる文のやり取りを通じ，文の分節化と状況の分節化が同時に行われることで，人間の言語が誕生したとする仮説である. 本研究では，相互分節化仮説に着想を得て，観測した感覚情報を表現する文字列のやり取りを通じ，エージェントが文字列中から単語を発見し, 単語と分類された感覚情報の関係を推論することで，言語が創発する過程のモデル化を目指す. そこで本稿では，教師なしで文を分節化するためのモデル NPYLM と, 色や形といった複数の属性を含む感覚情報と単語との結びつきを学習する交差状況学習のモデル CSL-PGMを統合してエージェントを構成し，二体のエージェントを接続したモデル Inter-CSL+NPYLM を構築する。また, エージェント間における推論を，文のやり取りに基づく言語ゲー ムである SIR 名付けゲームにより実現する. 実験では，提案手法が比較手法よりもエージェント間の発話の編集距離を小さくすることが確認された。一方で，提案手法が文の分節化誤りの影響を大きく受けたことで，エージェント間で多くの単語が共有されなかったことも明らかになった。

## 1 はじめに

相互分節化仮説とは，文を構成する文字列の一部と分節化された状況が対応付けられることで，言語が誕生したとする仮説である [1].この仮説では，複数のエージェントが共有された状況の中で発話する中で，発話された文の分節化と，状況の分節化が同時に行われていき，言語が創発したと考える. 本研究では，この相互分節化仮説に着想を得て，分節化されていない文字列のやり取りを通じ，エージェントが文字列を分節化しつつ，複数の属性を含む感

図 1: 本研究で扱う言語の創発の概要. 分節化されていない文字列のやり取りを通じ，エージェントが単語を発見しつつ, 単語と感覚情報を結びつける。

覚情報のカテゴリゼーションを行い, 単語と感覚情報を結びつけていくことで，言語が創発する過程のモデル化を目指す（図 1）.

切れ目のない文字列のやり取りを通じた言語の創発をモデル化するためには，文を分節化すること, 状況を分節化すること，分節化によって得られた単語を感覚情報と対応付けることが必要である.これに関し, 言語の創発の計算論的なモデル化を扱ったこれまでの研究が多数提案されている [2]. Chaabouni らは, 深層強化学習に基づいた言語ゲー ムを通して, 単語と感覚情報が結びつけられていく過程をモデル化した [3]. また萩原らは, エージェントが複数の単語を組み合わせて観測を説明する言語ゲームを通じて，記号が創発する過程をモデル化した [4]. しかし，これらのモデルは用いる単語の種類を制限しており，また切れ目のない文によるコ

ミュニケーションを扱っていなかった。

本研究では相互分節化仮説における文の分節化と状況の分節化を同時にモデル化するため， NPYLM [5] と Cross-situational learning with Bayesian probabilistic generative model (CSL-PGM) [6] という二つのモデルを統合する．NPYLM は，教師なしで文字列を分節化することができる言語モデルである. 本研究では，例えば図 1 で文を “mj gfqq dtz lwf $n x w j i "$ のように単語へと分割するために用いる. CSL-PGM は，交差状況学習に基づき，感覚情報を分類しつつ単語と結びつく属性・感覚情報を推論するモデルである. ここで交差状況学習とは，単語と感覚情報の共起を学習することで，単語と結びついている属性（例: “wji” は色属性，“lwf” は形属性など）と，感覚情報のカテゴリ（例: “wji” は赤，“lwf” は球など）を推論することである.

本稿では，CSL-PGM と NPYLM を統合したエー ジェントを構成し，そのエージェント二体を接続したモデル Inter-CSL+NPYLM を提案した. また, Inter-CSL+NPYLM 上での推論を，観測した感覚情報に結び付いた文をやり取りする言語ゲーム Sample Importance Resampling 名付けゲーム (SIR 名付けゲー ム，SIRNG)により定式化した。

## 2 提案手法: Inter-CSL+NPYLM with SIRNG

## 2.1 Inter-CSL+NPYLM

図 2 に Inter-CSL+NPYLM のグラフィカルモデルを示す. また，表 1 に各変数のうち後述の SIR 名付けゲームに関係するものの定義を示す. その他の変数の定義については Appendix を参照されたい。な

ある。

本研究では，隠れ単語列 $w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ おび文字列 (character sequence) $\ell_{d}$ の生成過程を, unigram rescaling [7] を用いて以下のように近似する。なお以下では，CSL-PGM に対応する部分の変数のうち， $w_{d}^{*}$ 以外のものに関する集合を $\Omega^{*}$ と表記する。

$
\begin{aligned}
& P\left(\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}} \mid \mathbf{v}^{\mathrm{A}}, T^{\mathrm{A}}, \mathbf{v}^{\mathrm{B}}, T^{\mathrm{B}}, \Omega^{\mathrm{A}}, \Omega^{\mathrm{B}}\right) \\
& \approx \propto \frac{P\left(\ell_{d} \mid w_{d}^{\mathrm{A}}, \mathbf{v}^{\mathrm{A}}\right) P\left(w_{d}^{\mathrm{A}} \mid T^{\mathrm{A}}\right) P\left(w_{d}^{\mathrm{A}} \mid \Omega^{\mathrm{A}}\right)}{\prod_{d, s} P\left(\ell_{d, s}\right) \prod_{d, n} P\left(w_{d, n}^{\mathrm{A}}\right)} \\
& \quad \times \frac{P\left(\ell_{d} \mid w_{d}^{\mathrm{B}}, \mathbf{v}^{\mathrm{B}}\right) P\left(w_{d}^{\mathrm{B}} \mid T^{\mathrm{B}}\right) P\left(w_{d}^{\mathrm{B}} \mid \Omega^{\mathrm{B}}\right)}{\prod_{d, n} P\left(w_{d, n}^{\mathrm{B}}\right)}
\end{aligned}
$

この近似により, $\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ の生成確率を各エー
ジェントの CSL-PGM 部分・NPYLM 部分の確率によって計算することができる。なお， $P\left(\ell_{d} \mid\right.$ $\left.w_{d}^{*}, \mathbf{v}^{*}\right), P\left(w_{d}^{*} \mid T^{*}\right), P\left(w_{d}^{*} \mid \Omega^{*}\right)$ の具体的な計算式については Appendix を参照されたい.

$\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ 以外の変数のうち, CSL-PGM 部分に対応する変数の生成・推論過程は，オリジナルの CSL-PGM と同様である [6]. また，NPYLM 部分に対応する変数は，階層 Pitman-Yor 過程 [5] により生成される。

## 2.2 SIR 名付けゲーム

Inter-CSL+NPYLM では，文のやり取りを通じたエージェント間の推論を，SIR 名付けゲームとしてモデル化する．これは，確率的生成モデルを接続する SERKET フレームワーク [8,9] における，SIR 法に基づいた手続きである。なお以下では，エージェント $\mathrm{A}, \mathrm{B}$ のうち話し手を $\mathrm{Sp}$ ，聞き手を $\mathrm{Li}$ とする。

SIR 名付けゲームは，式 (1)を重点サンプリングと SIR 法により近似する．SIR 名付けゲームの具体的な手続きを以下に示す。

(i)話し手側エージェントは，CSL-PGM 部分により, $w_{d}^{\mathrm{Sp}}$ の仮のサンプル $\overline{\bar{w}}_{d}^{\mathrm{Sp}(r)},\left(r=1, \cdots, R^{\text {speak }}\right)$ を得たのち，NPYLM 部分，および文字ユニグラム確率によって各サンプルの重み

$
\overline{\mathscr{W}}_{d}^{(r)}=\frac{P\left(\overline{\bar{w}}_{d}^{\operatorname{Sp}(r)} \mid T^{\operatorname{Sp}(r)}\right)}{\prod_{d, s} P\left(\overline{\bar{\ell}}_{d, s}^{(r)}\right) \prod_{d, n} P\left(\overline{\bar{w}}_{d, n}^{(r)}\right)}
$

を計算する。

(ii) $\overline{\mathscr{W}}_{d}^{(r)}$ に比例する確率で $\overline{\bar{w}}_{d}^{\operatorname{Sp}(r)}$ をリサンプリングし，発話される単語列のサンプル $\bar{w}_{d}^{\operatorname{Sp}(q)}(q=1, \cdots, Q)$ を得る. なお, $\overline{\bar{\ell}}_{d}^{(r)}$ は $\overline{\bar{w}}_{d}^{(r)}$ を $\mathbf{v}^{\mathrm{Sp}}$ によって変換し得られる文字列である.

(iii)話し手側の単語列 $w_{d}^{\operatorname{Sp}(q)}$ を $\mathbf{v}^{\operatorname{Sp}(q)}$ により変換し，切れ目のない文字列 $\ell_{d}$ のサンプル $\ell_{d}^{(q)}(q=1, \cdots, Q)$ を得る.

(iv)聞き手側エージェントは $\bar{\ell}_{d}^{(1)}, \cdots, \bar{\ell}_{d}^{(Q)}$ をそれぞれ分節化し $w_{d}^{\mathrm{Li}}$ の仮のサンプル $\bar{w}_{d}^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}(r=$ $\left.1, \cdots, R^{\text {segment }}\right)$ を得たうえで，各 $\bar{w}_{d}^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}$ に対し重み

$
\begin{aligned}
\mathscr{W}^{\prime(q, r)}= & \frac{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{T}^{\operatorname{Li}(q)}\right)}{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{\ell}_{d}^{(q)}, \overline{\mathbf{v}}^{\operatorname{Li}(q)}, \bar{T}^{\operatorname{Li}(q)}\right)} \\
& \times \frac{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \Omega^{\operatorname{Li}(q, r)}\right)}{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{\ell}_{d}^{(q)}, \overline{\mathbf{v}}^{\operatorname{Li}(q)}, \bar{T}^{\operatorname{Li}(q)}\right)}
\end{aligned}
$

表 1: Inter-CSL+NPYLM の各変数の定義

$\begin{array}{ll}N_{d}^{*} & \ell_{d} \text { 中の単語の数 } \\ \ell_{d} & d \text { 番目の観測に対応する文字列 }\end{array}$ $\left(\ell_{d, 1}, \cdots, \ell_{d, s}, \cdots, \ell_{d,\left|\ell_{d}\right|}\right)$

$w_{d}^{*} \quad \ell_{d}$ を生成する，単語のインデックスの列 $\left(w_{d, 1}^{*}, \cdots, w_{d, n}^{*}, \cdots, w_{d, N_{d}}^{*}\right)$

$F_{d}^{*} \quad w_{d}^{*}$ 亿対応尔了属性の列 $\left(F_{d, 1}^{*}, \cdots, F_{d, n}^{*}, \cdots, F_{d, N_{d}}^{*}\right)$

$\theta_{l}^{*} \quad$ 感覚情報カテゴリ $l$ での単語確率

$T^{*} \quad w_{d}^{*}$ を生成する n-gram 確率 $\left.\{T_{t^{\prime}, t}\right.\}_{\forall t^{\prime}, t}$. $T_{t^{\prime}, t}$ は単語列 $t^{\prime}$ の直後における単語 $t$ の確率

$\mathbf{v}^{*} \quad$ 単語辞書 $\left.\{v_{i}\right.\}_{\forall i} . v_{i}$ は単語インデックス $i$ に対応する文字列

$\rho^{*} \quad T^{*}, \mathbf{v}_{i}^{*}$ を生成するパラメータの集合

図 2: Inter-CSL+NPYLM のグラフィカルモデル

を計算する。ここで， $\Omega^{\prime \mathrm{Li}(q, r)}$ は $\bar{w}_{d}{ }^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}$ をすべて用い， $\Omega^{\mathrm{Li}}$ のうち $F_{d}^{\mathrm{Li}}, \theta_{l}^{\mathrm{Li}}$ を Gibbs sampling で学習して得られる， $\Omega^{\mathrm{Li}}$ のサンプルである.

(v)求めた $\mathscr{W}_{d}^{(q, r)}$ に比例する確率で $\bar{\ell}_{d}^{\mathrm{Li}(q)}, \bar{w}_{d}^{\mathrm{Li}(q, r)}$ をリサンプリングし，最終的なサンプル $\ell_{d}^{\mathrm{Li}(q)}, w_{d}^{\mathrm{Li}(q)}(q=1, \cdots, Q)$ を得る.

聞き手は，以上の手続きで得たサンプル $\left.\{\ell_{d}{ }^{\mathrm{Li}(q)}, w_{d}{ }^{\mathrm{Li}(q)}\right.\}_{q=1}^{Q}$ を用いて CSL-PGM 部分, NPYLM 部分のパラメータを Gibbs sampling で学習する。

本稿では，各エージェントにおいて $\ell_{d}^{*}, w_{d}^{*}$ a から z のアルファベットで構成されるランダムな文字列で初期化し， $w_{d}^{*}$ と感覚情報を用いてあらかじめ CSL-PGM 部分を学習させたうえで凍結する．そのうえで，両エージェントが聞き手と話し手の立場を入れ替えながら SIR 名づけゲームのステップ (i)-(v) と凍結されていない部分の Gibbs sampling を繰り返すことで，モデル全体の学習を実現する。

## 3 実験

本研究では, 各エージェントが感覚情報と単語を対応付けられているか，またエージェントの間で単語とその語順が共有されているかを検証するため，実験を行った. エージェント間で単語・語順が共有されているかについては，同じ状況に対する発話の類似度を評価した。具体的には，編集距離を比較対象のうち長い方の文の文字数で割って得られる値 (以下，文字あたり編集距離）と，各エージェントが発話した単語列における tri-gram 確率の間の JS ダイ
バージェンスを用いた.

## 3.1 実験条件

実験においては，萩原らの先行研究 [4] で用いられていた感覚情報のデータセットを用いる。このデータセットには，感覚情報とエージェント間の共同注視の情報が含まれている，感覚情報は， iCub シミュレータを用いて取得された，各属性（ロボットの触覚と体性感覚: Action，物体の位置情報: Position，物体の形状情報: Object，物体の色情報: Color）の情報で構成されている.

実験では，三つの異なる手法を比較した。なおモデルのパラメータの設定については Appendix を参照されたい。

-SIRNG: 本研究の提案手法である InterCSL+NPYLM with SIRNG.
- no communication: Inter-CSL+NPYLM with SIRNG において，各エージェントが相手の発話を受け取らず，代わりに自分の発話を受け取る手法. エージェントがコミュニケーションを行っていない場合に相当する。
- no listener resampling Inter-CSL+NPYLM with SIRNG において, Speaker エージェントが相手の発話を受け取った際，文を単語へ分節化した後の resampling を行う手法. 聞き手が相手の発話をそのまま受け入れる場合に相当する。

図 3: 各エージェントの発話に含まれていた単語の例。（）内は単語の属性を示す。一部の単語が共有されていた一方，似た経りの語が異なる感覚情報と結び付けられる例が多く見られた。

## 3.2 実験結果と考察

## 3.2.1 感覚情報と単語の対応・共有

図 3 に，提案手法において学習後のエージェントが用いていた単語と，それに対応する状況の例を示す. 実験では，図の “gcc” や“hhhhh” のように，両エージェントが一部の単語を共有し, 同じ感覚情報を指す言葉として学習していることが確認された。 しかし，大部分の単語は共有されず，同じ状況に対して各エージェントが全く異なる単語で会話する現象がみられた。

エージェント間で共有されていない単語に注目すると，片方のエージェントでつかわれている単語とよく似ているのにもかかわらず，異なる感覚情報と結び付けられている単語が多数確認された. 具体的には，図 3 の “hjda” と “hjadaa” のように異なる属性の感覚情報を表す語として学習されているものや， “iiig” と“iii”のように同じ属性の異なる感覚情報を表す語として学習されているものが存在した。

これは, Inter-CSL+NPYLM のうち, 感覚情報と単語を結びつける CSL-PGM 部分において，単語の文字列としての類似度を考慮していなかったためだと考えられる. CSL-PGM 部分では，単語同士の文字列としての類似度を考慮せず，一字でも違う単語は全く別の単語として扱っていた。しかし，文のやり取りにおいては，聞き手の分節化誤りなどが発生し，本来同じである単語が異なる文字列で表現されることが考えられる。由えに，違う綴りの単語を全く異なる単語として扱ったことが，エージェント間における単語の意味の共有を妨げたと考えられる。表 2: エージェントの発話の類似度に関する定量評価. “編集距離” はエージェント間の文字あたり編集距離, “JS 距離” は文字 tri-gram の JS ダイバージェンスを示している

## 3.2.2 エージェント間での単語・語順の共有

表 2 に，エージェント間における発話の文字あたり編集距離，および単語 tri-gram 確率の間の JS ダイバージェンスを示す1).

表 2 を見ると，比較手法に比べ，提案手法の方が文字当たり編集距離が小さいことが分かる.このことから，聞き手が話し手の文をそのまま受け入れるのではなく，SIR 法に基づきリサンプリングすることが言語の共有を促すと考えられる。

一方で，どの手法も文字あたり編集距離が 0.7 を上回っていることや，エージェント間の単語 tri-gram 確率に関する JS divergence がほとんど同じになっていることも確認できる。これは3.2.1 節での議論の通り，エージェント間で単語の意味の共有が十分にできていないためだと考えられる.

## 4 結論

本稿では，切れ目のない文字列によるコミュニケーションを通じ，エージェントが単語を発見しつつ感覚情報を分類し，単語と感覚情報を結びつけることで，言語が創発する過程をモデル化した。具体的には， CSL-PGM と NPYLM に基づきモデル Inter-CSL+NPYLMを構築した. また，エージェント間での推論を文のやり取りとして実現する SIR 言語ゲームを提案した。

今後の展望としては，エージェント間で単語が共有されない問題を解決するため，単語と感覚情報を結び付ける際に単語の文字列としての類似度を考慮することが挙げられる。また，相互分節化仮説 [1]による言語の創発をシミュレーションするため，エージェントによる感覚情報の分類を，コミュニケーションと同時に行わせることも課題である.

1） mean はそれぞれ，5 回の実験で得た値の平均を示している. $\mathrm{t}$-test は提案手法との $\mathrm{t}$ 検定の結果を示しており, $\mathrm{p}$ 值が 0.05 以上である場合を n.s., 0.05 未満である場合を*， 0.01 未満である場合を**として示している.

## 謝辞

本研究は JSPS 科研費 JP21H04904 および

JP23H04835 の助成を受けたものです.

## 参考文献

[1] Kazuo Okanoya and Bjorn Merker. Neural substrates for string-context mutual segmentation: A path to human language. In Emergence of communication and language, pp. 421-434. Springer, 2007.

[2] Lukas Galke, Yoav Ram, and Limor Raviv. Emergent communication for understanding human language evolution: What's missing? In Emergent Communication Workshop at ICLR 2022, 2022.

[3] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4427-4442, Online, July 2020. Association for Computational Linguistics.

[4] Yoshinobu Hagiwara, Kazuma Furukawa, Takafumi Horie, Akira Taniguchi, and Tadahiro Taniguchi. Symbol emergence as interpersonal cross-situational learning: the emergence of lexical knowledge with combinatoriality. arXiv preprint arXiv:2306.15837.

[5] Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested pitman-yor language modeling. In Proceedings of the ACL-IJCNLP, pp. 100-108, 2009.

[6] Akira Taniguchi, Tadahiro Taniguchi, and Angelo Cangelosi. Cross-situational learning with bayesian generative models for multimodal category and word learning in robots. Frontiers in neurorobotics, Vol. 11, p. 66, 2017.

[7] Daniel Gildea and Thomas Hofmann. Topic-based language models using em. In Sixth European Conference on Speech Communication and Technology, pp. 21672170, 1999.

[8] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi. Serket: an architecture for connecting stochastic models to realize a large-scale cognitive model. Frontiers in neurorobotics, Vol. 12, p. 25, 2018.

[9] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii, and Takayuki Nagai. Neuro-serket: development of integrative cognitive system through the composition of deep probabilistic generative models. New Generation Computing, Vol. 38, No. 1, pp. 23-48, 2020.
表 3: Inter-CSL+NPYLM の各変数の定義（補足）

 \\

## A 付録

## A. 1 Inter-CSL+NPYLM with SIRNG の補足

Inter-CSL+NPYLM の変数のうち，表 1 で省略したものの定義を表 3 に示す。また，SIRNG の流れをまとめたものを図 4 に示す.

## A. 2 近似式 (1) の詳細

式(1) における $P\left(\ell_{d} \mid w_{d}^{*}, \mathbf{v}^{*}\right), P\left(w_{d}^{*} \mid T^{*}\right), P\left(w_{d}^{*} \mid\right.$ $\left.\Omega^{*}\right)$ は，以下のように計算される:

$
\begin{aligned}
P\left(\ell_{d} \mid \mathbf{v}^{*}, w_{d}^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} \prod_{s=1}^{*} \delta\left(\ell_{d, S_{d,(n-1)}^{*}+S}^{*}, v_{w_{d, n}^{*}, s}^{*}\right) \\
P\left(w_{d}^{*} \mid \Omega^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} P\left(w_{d, n}^{*} \mid \Omega^{*}\right) \\
P\left(w_{d}^{*} \mid T^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} \operatorname{Cat}\left(w_{d, n}^{*} \mid T_{w_{d, n-1: n-\zeta-1, w_{d, n}}^{\mathrm{word}}}\right) .
\end{aligned}
$

ただし,

$
\begin{aligned}
& P\left(w_{d, n}^{*} \mid \Omega^{*}\right) \\
& \quad= \begin{cases}\operatorname{Cat}\left(w_{d, n}^{*} \mid \theta_{\mathrm{x}}\right) & \left(\text { if } F_{d, n}=\mathrm{x}\right) \\
\operatorname{Cat}\left(w_{d, n}^{*} \mid \theta_{l=z_{F, n}^{*}, d, \Xi_{d}^{*}}\right) & \text { (otherwise), }\end{cases}
\end{aligned}
$

である.ここで，らは NPYLM 部分の単語 n-gram オーダー,$S_{d, n}$ は $d$ 番目の観測に対応する文字列における $n$ 番目の単語境界の位置， $\delta(\cdot)$ はクロネッカーのデルタ， $\operatorname{Cat}(\cdot)$ はカテゴリカル分布を示して

(a) 話し手側の手続き

(b) 聞き手側の手続き

図 4: SIR 名付けゲームの流れ. 話し手が発話する文を決定する際，および聞き手が分節化結果を評価する際に，SIR 法 $[8,9]$ による近似が行われている.

いる。また， $\mathrm{x}$ は，対応する単語が機能語もしくは分節化誤りであることを示す属性である.

## A. 3 実験におけるモデルのパラメータ

実験において，CSL-PGM 部分のハイパーパラメータについては全手法で $\alpha^{*}=1.0, \gamma=0.1$, $m_{0}^{*}=\mathbf{O}_{\mathrm{dim}^{*}}, \kappa_{0}^{*}=0.001, \quad V_{0}^{*}=0.01 I_{\mathrm{dim}^{*}}, v_{0}^{*}=\mathrm{dim}^{*}+2$ とする．ただし， dim* は属性 $*$ の感覚情報の次元数であり, $\mathbf{O}_{\mathrm{dim}^{*}}$ は $\operatorname{dim}^{*}$ 次元の零ベクトル， $I_{\mathrm{dim}^{*}}$ は $\mathrm{dim}^{*}$ 次の単位行列である. 属性列 $F_{d}$ の定義域 $\lambda$ については，集合 $\{\mathrm{a}, \mathrm{p}, \mathrm{o}, \mathrm{c}, \mathrm{x}\}$ の元からなる長さ $N_{d}$ の重複を許した順列全てとする。NPYLM 部分では，文字モデルを可変長 $n$-gram，単語モデルを trigram (3-gram) とする。また SIR 名付けゲームにおいては，毎回のイテレーションで文中の単語の数 $N_{d}$ を 3〜7 の一様乱数で設定している.