# 相互排他性を考慮した深層強化学習による幼児語彙獲得モデル

藤田守太
電気通信大学
fujishu0407@uec.ac.jp
}

南泰浩
電気通信大学
minami.yasuhiro@is.uec.ac.jp
}

田口真輝
電気通信大学
taguchi@is.uec.ac.jp

## 1 はじめに

言語処理の分野において, 語とその実態を結び付 ける記号接地問題 [1] がある. 現在, 多くの認識課題 では, 対象の物体または行動（これを以降実態と呼 ぶ）に, 語が与えられ, その語に対して, 人が実態の 特徵量を与えることにより, 実態を結び付けている. そのため, 語と実態の特徴群を機械が自律的に結び つけることは出来ていない. 機械が語と特徴群を結 びつけるためには, 機械が実世界の環境から自律的 に語に対する特徵群を獲得していく必要がある.こ のような課題に対するアプローチとしてロボットに よる動作と言語のシンボルグラウンディング [2] や 複数のロボットによる語彙共有 [3] など様々な研究 がある.しかし,これらの研究は心理学的に観察され る様々な事象を必ずしも満たすものとはなっていな い. 本研究では, 記号接地問題に対して, 人間が行っ ている語彙獲得機構に基づき, 記号接地問題に取り 組むことが記号接地問題解決へのステップになると 考えている. また,このアプローチは心理学分野の語彙獲得機構解明への糸口にもなる. しかしながら, 事前知識のない状態で機械に人間と同様のプロセスを 経る幼児語彙獲得モデルの研究は十分に成果を上げ ているとは言えない.このような状況の中で心理学的要因に基づいて幼児の語彙獲得の仕組みをニュー ラルネットワークと強化学習を組み合わせてモデル 化した研究 [4], さらにこれを拡張させ現実のデータ で行った研究 [5]が提案されており, 新たな研究領域 を確立しつつある.しかし,これらの研究では一度に 幼览の目に入る実態（ここでは物体）を一つしか想定していない. 実際には, 幼坚が同時に目にする物体 は複数あり, その中から, 幼坚は対象物体を検出し，語と意味を結びつけている. 本研究では, 幼児のこの 機構を実現するため, 複数の物体を提示した状態で，心理学的要因を考慮した幼児語彙獲得モデルを構築 する.

## 2 幼児の心理学的要因

現実世界で語の意味を推論する際には, 膨大な事例が必要となる [6]. しかし, 幼览は少ない事例で, こ れらの語の意味を正確に推論し, 語彙を獲得するこ とが可能である.このことから幼坚が語の意味を推論する際に何かしら幼览が得る語の意味の可能性に 制限を加える暗黙的知識の存在を仮定する仮説が提案されている [7]. そこで本章では, 幼児語彙獲得モ デルにおいて見られる心理学的要因についてみて いく.

## 2.1 共同注視

共同注視とは, 非言語的コミュニケーションの一 つであり, 親, あるいは, 幼览が何かに注目している ときにもう一方も同じ対象に注目する行動である.幼览の語彙獲得は共同注視によって親と幼坚が共通 の対象に対して注目することで行われる. また, 母親 が子供の注意を追うことで語彙の獲得が加速される [8][9].

## 2.2 意図の理解

共同注視の節で母親が幼览の注意を追うことと語彙数の間には強い相関があると述べたが, 幼児は語彙獲得において受動的な存在であるわけではない. Baldwin の実験 [10] では幼児は親の意図について積極的に理解しょうと試みており, 親と幼坚による相互行為によって語彙獲得は進められていることが示 された. このように幼览の語彙獲得において, 幼览が 親の意図を理解することは重要な意味を持つ. 実際 に Tomasello らが行った探し物に関する実験 [11][12] においても, 親が対象物の探し物ゲームをしている こと, 親が怪訝な顔や微笑みで幼览の回答の正解不正解を表現していることなど親の意図を理解するこ とで, 明示的に対象物と語を示さなくても幼児が未知の語を獲得するなど語彙獲得において重要な役割 を果たしている。

## 2.3 バイアスの獲得

バイアスと呼ばれる暗黙的な知識には名詞を優先的に学習する名詞バイアス, 形状に注目し, 形状が似 ているものを同じ物体であると見做す形状バイアス など様々なバイアスが存在する.これらは幼坚が語彙を獲得する際に形成されており, 推論に制限を与 えることにより, 語彙獲得を容易にする働きがある.

## 2.4 相互排他性

相互排他性とは一つの物体に対して,一つの語し か付与されないという暗黙的知識のことである. 幼児は名前の知っている物体と未知の物体がある状況 で未知の語を聞くと, それが未知の物体に付けられ た語だと解釈する [14]. これは例えば, りんごを知っ ている幼児が「お腹がすいたのでへクを取って」と 言われた際に, 未知の物体である口紅をとるといっ た非常に強力な制約である [15].

## 3 提案手法

本研究では, 複数の物体を提示しても語彙が獲得 できるモデル, 2 章で暑かった幼児の心理学的要因 を考慮した幼児語彙獲得モデルで実現する. 共同注視, 意図の理解, バイアスの獲得について考慮したモ デルを 3.1 で説明する.このモデルを複数物体の提示でも動作するよにするため, 相互排他性を考慮し た機構を導入する. それを 3.2 で説明する.

## 3.1 深層強化学習による語彙獲得モデル

ここでは田口らの語彙獲得モデルに基づいて説明 を行う [4][5]. 本研究において語彙獲得は親の意図の 理解を介して行われる. そこで幼坚による語の選択 を出力, また, 親からの意図を報酬という形での母子相互作用を考える. 具体的なモデルの構造を図 1 に 示す.

まず, 共同注視により語彙獲得が始まり, 初期状態 $s_{0}$ を心的状態を表す LSTM に入力し, その出力結果 をDQN1に入力として与える.これにより, DQN1 は どの特徴を選択するかを出力した後, LSTM は状態 $s_{1}$ の特徵情報を更新し,この状態を次の LSTM に入力し, その出力結果を DQN2 の入力として与えるこ とで, DQN2 は語の選択を行う. この処理を語が一致 するか定められた回数まで繰り返す.

図 2 は幼児語彙獲得モデルの一連の語彙獲得の流 れであり, 語彙獲得のアルゴリズムを以下に示す.
まず, 語彙獲得させたい物体を選択, 幼坚語彙獲得 モデルが親の意図を理解し,未知の物体に共同注視 することで語彙獲得が始まる. (共同注視, 親の意図 に関する機構に関しては, [4][5] を参照のこと.ここ では簡単に説明する.) 幼児語彙獲得モデルはどの特徵を取得するのか深層強化学習を用いて選択し, 特徵から未知の物体の特徵量を取得する. その後, 幼坚語彙獲得モデルは取得した特徵量から深層強化学習 を用いて語候補から語を決定する. 幼坚語彙獲得モ デルの回答が正解ならば親は售めるなどの報酬を，不正解ならば顔を歪めるなどの負の報酬を与える. これを正解するか決められた回数まで繰り返す.

本研究で構築する幼児語彙獲得モデルは初期状態 では事前知識を持たず，ランダムな選択をするが語彙獲得が進むにつれて, 語彙を決定するのに適した 暗黙的知識を獲得する。（ここでは、形状バイアスを 想定）

図 1 幼肾語彙獲得モデルの構造

図 2 語彙獲得の一連の流れ

## 3.2 相互排他性を説明する機構

本研究では幼背語彙獲得モデルに 2 つの物体を提示, それぞれの特徵量を取得し各物体について既知 か未知かを判断する機構を導入することで幼児語彙獲得モデルに相互排他性をを説明する機構を導入す る. アルゴリズムは以下である.
1. 2 つの物体をそれぞれ幼児語彙獲得モデルに提示し, 提示された物体についてどの語であるか 推定を行う。

2. 親から語を取得し, 語について DQN2 の出力が 高い物体を選択する。

3. 選択された物体については語を明示的に示され た状態で学習を行う。

4. 選択されなかった物体については 3.1 章の学習 を行う。

また, 具体例としてオレンジについての相互排他性を図 3 に示す。

物体 1 はリンゴとして既知であり,物体 2 はオレ ンジだが未知である.この場合に幼览語彙獲得モデ ルは物体 1 をリンゴとして認識するためにオレンジ である DQN2 の出力が低くなる。.よって未知であ るオレンジを選択する.

図 3 相互排他性による判定

## 4 実験

相互排他性を用いないモデルをベースライン [5] として, 提案手法の評価実験として以下の 3 つの実験を通して検証していく。

・ベースラインとの比較

・3物体を提示した状態での語彙獲得

・語候補が 15 物体での語彙獲得

## 4.1 データベース

本研究は実世界との記号接地を目的としている. そこで幼児語彙獲得モデルに対して実データを導入する手法として田口の手法 [5] を用いる. 特徴量 の数値化について色特徴量にはカラーヒストグラ ム, 形特徴量には HOG, 味特徴量には文部科学省に よって作成された日本食品標準成分表, 動き特徴量 には Dense Trajectories をそれぞれ用いて特徴量とす る.これらの特徴量を各物体毎に取得しデータベー スとして扱う。

また, 物体数に関して 2 個の食品, 3 個の非食品の 合計 5 物体のデータセットと 10 個の食品, 5 個の非食品からなる 15 物体のデータセットを用意した。表 1 語候補

## 4.2 実験条件

2 物体での実験については「幼览モデルが物体に 対して事前に与えられた語候補の内のいずれかを答 える」を 1 ステップとし, 「モデルが 2 つ物体に対し てそれぞれ正解の語を答えるか, ステップ数が打ち 切り回数を超える」を 1 エピソードとし, エピソー ド数を 15000 回, 打ち切り回数を 5 回とした.

また, 3 物体の実験については「幼児モデルが物体 に対して事前に与えられた語候補の内のいずれかを 答える」を 1 ステップとし, 「モデルが 3 つ物体に 対してそれぞれ正解の語を答えるか, ステップ数が 打ち切り回数を超える」を 1 エピソードとし, エピ ソード数を 10000 回, 打ち切り回数を 5 回とした.

それぞれ以上の条件で 50 エピソード毎にテスト として 50 エピソードでの正答率について測定し, 提案手法とベースラインの比較を行った。

## 4.3 ベースラインとの比較

ベースラインと提案手法を比較することで相互排他性の有無が語彙獲得に与える影響についてみる。

## 4.3.1 実験結果

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 4 に示す.

図 4 から提案手法が正答率で大きく上回っており，相互排他性が有意に働いていることが確認できた。

図 4 提案手法とベースラインの正答率

## 4.3.2 バイアスの獲得

バイアスの獲得は人間の語彙獲得機構の再現にお いて重要な要素である. そこで特徴の選択傾向を見 ることでバイアスの取得の有無を見る. 特徴の選択回数を確率に直し, ヒートマップに視覚化したもの が図 5 になる. 1000 回時点では味と動きの特徴量が 同じ程度で選択されており,ランダムな選択になっ ている.しかし, 5000 回時点では最初の特徵選択で は味が選択されるようになった. また, 2 回目以降の 特徴選択に関しても 1 回目の選択が固定されるにつ れて固定されていった. 以上のことから幼児語彙獲得モデルが最初はランダムな特徴選択を行っていた が, 語彙獲得が進むにつれて特徵選択に優先度が付 き規則的な特徴選択を行っていることが分かった。 これは, 親が名詞を提示し続けたこと（親の意図）に より, 名詞を判別するための暗黙的な知識（バイア ス）を獲得したことに他ならない.

図 5 左から 1000, 5000, 15000 回時点での特徵選択確率

## 4.43 物体を提示した状態での語彙獲得

相互排他性による語彙獲得が 2 物体の時に限定さ れている可能性があるため, 3 物体を提示した場合 についても成り立つことを確かめる。

## 4.4.1 実験結果

提案手法を用いた幼坚語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 6 に示す.

図 6 から提案手法が正答率で大きく上回ってお り, 3 物体に関しても相互排他性が有意に働いてい ることが確認できた。

図 63 物体を提示した提案手法とベースラインの正答率

## 4.5 語候補が 15 物体での語彙獲得

上記の実験では語候補は 5 個に限定されていた。 しかし, 実際の世界ではより多くの語を獲得する. そ こで語候補を増やした場合の動作についても検証し ていく.

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 7 に示す.

図 7 からベースラインが語彙獲得出来ていないの に対して，提案手法は語候補が増加した影響を受け ずに語彙獲得していることがわかる.これは既知の 物体が出来た時に相互排他性に関する機構によって 未知の物体の語彙獲得が行われたからだと考えら れる。

図 7 語候補が 15 物体の場合の 提案手法とベースラインの正答率

## 5 まとめと今後の展望

本研究では相互排他性を説明できる機構を提案 し, 従来の言語獲得機構に導入し, それを用いること により複数物体を提示しても学習が進むことを確認 した. また, 3 物体以上の場合や物体数を増やした場合にも同様にベースラインに比べて有効に語彙獲得 が行われることが確かめられた。

複数物体を同時提示しても,相互排他性を考慮す ることで, 従来の語彙獲得モデルが機能することが 確認できた. 我々は,このような心理学的な機構が学習の過程で, 順次獲得されていくと考えている.今後, 相互排他性がどのように獲得されていくのかも 説明できるモデルの構築を目指す。

## 参考文献

[1] Harnad, S. The symbol grounding problem. Physica D:Nonlinear Phenomena, 42(1-3), 335-346, 1990.

[2] 小林一郎. 動作と言語のシンボルグラウンディ ングへの取り組み：自動運転車の対話的操作

を目指して. 言語処理学会第 26 回年次大会, A2-4, 2020.

[3] Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, Tadahiro Taniguchi. Symbol emergence as an interpersonal multimodal categorization. Frontiersin Robotics and AI, Vol.6, p.134, 2019.

[4] 野口輝. ニューラルネットワークと強化学習を 用いた幼児語彙獲得のモデル化. 電子情報通信学会技術研究報告, 信学技報 Vol. 117(420), pp. 59-64, 2018.

[5] 田口真輝. 実データを用いるニューラルネット ワーク強化学習による幼児語彙獲得モデル. 電気通信大学コンピュータサイエンスプログラ 么卒業論文, 2019.

[6] Willard Van Orman Quine. Word and Object. MIT Press, 1960.

[7] 今井むつみ.レキシコンの発達 : 子どもはどの ようにしてことばを学習するか. 情報処理学会研究報告音声言語情報処理, Vol.2000, No. 15 pp.63-68, 2000.

[8] Michael Tomasello, Michael Jeffrey Farrar.Joint attention and early language child development. Vol.57, No.6, pp.1454-1463, 1986

[9] Malinda Carpenter, Katherine Nagell, Michael Tomasello, George Butterworth, Chris Moore. Social cognition, joint attention, and communicative competence from 9 to 15 months of age. Monographs of the Society for Research in Child Development, Vol. 63, No. 4,pp. 1-174, 1998.

[10] Infants' contribution to the achievement of joint reference. Child Development, Vol. 62, No. 5, pp. 875890, 1991.

[11] Michael Tomasello, Randi Strosberg, Nameera Akhtar.Eighteen-month-old children learn words in non-ostensive contexts.Journal of Child Language.Volume23, pp.157-176, 1996.

[12] Nameera Akhtar, Malinda Carpenter and Michael Tomasello.The role of discourse novelty in early word learning. Child Development, Vol.67, No. 2 pp.635-645, 1996.

[13] Ellen M. Markman. Categorization and naming in children : Problems od induction. MIT Press, 1989.

[14] Haryu, Etsuko. Effects of knowledge about crosslanguage equivalents on children's use of mutual exclusivity in interpreting novel labels.Japanese Psy- chological Research, Volume40, No.2, 82-91, 1998.

[15] 針生悦子. 幼坚における事物名解釈方略の発達的検討〜相互排他性と文脈の利用〜. Japanese Journal of Educational Psychology, 39, 11 20, 1991.
 藤田守太 電気通信大学 fujishu0407@uec.ac.jp }  南泰浩 電気通信大学 minami.yasuhiro@is.uec.ac.jp }  田口真輝 電気通信大学 taguchi@is.uec.ac.jp  