# 簡素なモデルでの創発言語の接触による クレオール単純化の再現

加藤大地 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
}

\{daichi5967, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp
## 概要

「異なる言語同士の接触で生まれる言語は、単純化される傾向にある」という性質をクレオール単純化という。先行研究には、ニューラルネットワーク で構成されたエージェント同士のやり取りとして発生する人工的言語、創発言語を用いて、クレオール 単純化の再現に成功した例がある。しかし利用され たモデルが煩雑で、クレオール単純化の本質的原因 が、言語同士の接触自体にあると断定できるもので はなかった。そこで我々は、最大限まで簡素化され た創発言語の接触のモデルを設計し、クレオール単純化の再現を試みた。複数の評価指標を用いて言語 の複雑さを評価し、簡素なモデルでもクレオール単純化が現れることを実験的に示した。

## 1 はじめに

異なる言語を話す人間同士が意思疎通を図る中で 新たに発生する言語は、往々にして単純化される傾向にある。言語のこの性質をクレオール単純化と呼 ぶ $[13,15,1]$ 。クレオール単純化がなぜ、どのよう に生じるかは、言語学の未解決な問題である。

この問題に対する切り口の 1 つとして、創発言語の枠組みを使う研究が存在する。創発言語とは、 ニューラルネットワークで構成された人工エージェ ント同士の間に生じる、人工的なプロトコルのこと である。人間の言語の発現・進化の歴史の解明につ ながる可能性があり、昨今の技術向上により現実に 近い形式で言語創発を機械的に模倣できるように なってきたことも相まって、創発言語は注目を集め ている分野である [9]。

Graesser ら [6] は、シミュレーションの中で人工的に創発言語同士を接触させ、実際にクレオール単純化を発現させることに成功した。しかし、クレ オール単純化の再現のみに焦点を当てた場合、彼ら
のモデルはかなり煩雑である。ゆえに、クレオール 単純化が起こる本質的原因が、本当に言語の接触自体にあるのか、それとも単に彼らの煩雑なエージェ ントのアーキテクチャの構造や実験設定が、偶然ク レオール単純化を発生させるに至っただけなのか、判別が困難である。また、この研究の後続研究とし てクレオール単純化を議論する際に、基盤となるモ デルが簡素1)なものでないと、さらに踏み込んだ設定での実験が難航する、という問題点もある。

そこで我々は、「煩雑なモデルではなく、言語同士の接触自体にクレオール単純化の本質が眠ってい るはずである」という仮説を立てた。この仮説の検証のため、最大限まで簡素化されるようにデザイン された創発言語の接触モデルを使って、それでもな おクレオール単純化が生じるか実験した。

我々は、Graesser ら [6] が用いたエントロピーの みならず、N-gram、汎化性能、学習のしゃすさ、 TopSimのような指標も用いて、言語の複雑さを 計測した。実験の結果、我々の簡素なモデルでも、様々な評価指標でクレオール単純化が実際に発現す ることが確認された。これにより、クレオール単純化の再現には、先行研究のような煩雑なモデルを用 いる必要性はないことが示唆された。今後、この簡素化されたモデルをべースに、創発言語の立場から クレオール単純化の議論が進むことが期待される。

## 2 背景

## 2.1 クレオール単純化

異なる言語同士が接触した際に、言語にどのよ うな影響が出るかを研究する分野として Contact Linguistics $[14,17]$ がある。その中で、最も研究さ


れている対象の一つとして、異なる言語を話す集団同士が接触して生じる新しい言語である、クレオー ル言語が挙げられる。クレオール言語の顕著な特徴 として、他の自然言語に比べて、より簡単になる傾向があることが知られており $[13,15,1]$ 、本稿では これをクレオール単純化と呼ぶ。

## 2.2 創発言語の発生手法

創発言語分野では、言語を機械的に再現するため に、ゲームと呼ばれるタスクを設定し、その成功率 が上がるようモデルを学習する、という形で実験を 行うことが多い。ゲームは、Lewis[11]によるシグナ リングゲームをもとに設計されることがほとんどで ある。本節で、ゲームの流れを大まかに説明する。

ゲームには、sender、receiver と呼ばれる 2 種類 のエージェントが登場する。まず sender は、入力の 属する空間 $I$ からランダムに抽出された入力 $i$ を受 け取る。 $i$ のデータ形式はゲームの設定によって異 なり、画像、テキスト、数字列など多岐にわたる。 sender はこの入力を見て、記号列 (メッセージ) $m$ を生成し、receiver に送信する。receiver はこのメッ セージのみを頼りに、sender の入力 $\boldsymbol{i}$ が $I$ の中のど れにあたるかを予測し、その推定入力 $\hat{i}$ を出力とし て生成する。その後、 $\boldsymbol{i}$ と $\hat{\boldsymbol{i}}$ が一致しているかに応 じてゲームの成功・失敗が判定され、その結果をも とにエージェントの内部状態が更新されて、学習が 進んでいく。メッセージだけが 2 つのエージェント を接続する架け橋になることを考えると、学習が進 みゲームの成功率が上がったとき、そのメッセージ は sender、receiverにとって共通に理解できる、意味 を持つ記号列になるはずである。それを言語と見做 し、その性質を解析するのが、創発言語という分野 である。

## 2.3 創発言語の評価指標

構成性言語には構成性と呼ばれる性質があるこ とが知られている。自然言語で使われる単語はそれ ほど多くないが、ルールに従って単語を組み合わせ ることで、膨大な事象を表現できるようになる。例 えば、「黄色のバナナ」と「緑色のバナナ」を表現 する際、これらに特別な単語を割り当てるのではな く、色を表す単語と「バナナ」という対象を表す単語を組み合わせて対応する。Topographic Similarity (TopSim) [2,10] は、言語の構成性を測る指標とし

セージが属する空間を $M$ とする。TopSim は $I$ にお ける 2 つの入力の距離と、 $M$ におけるこれらの入力 に対応する 2 つのメッセージの距離との相関係数と して定義される。TopSim が高いほど、構成性が高 いことを表す。この指標は「入力同士の意味が近い ときには、対応するメッセージ同士も似たようなも のになるはずである」という直感に基づく。

不確実性 Graesser ら [6] は言語の複雑さを計測 する指標として、sender のメッセージ生成の際のエ ントロピーを用いた。彼らは「ある事象に対し、そ の表現方法の不確実性が大きいほど、難しい言語と 言えるはずである」という直感の下、エントロピー が高いほど、言語の複雑さが大きいと評価した。

## 2.4 創発言語の接触に関する先行研究

Graesser ら [6] の研究は、創発言語同士の接触に より、クレオール単純化の再現に初めて成功した研究である。しかし、彼らはクレオール単純化のみな らず、接触による言語への他の影響についても同時 に再現を試みており、実験設定は 2.2 節でのゲーム と以下のような点で異なっていて、煩雑である：

・各エージェントが sender、receiver の両方の役割 を果たし、1ゲームで複数回メッセージを交換 するマルチステップな設定にしている。

・分割された画像の半分が入力として与えられ、 もう一方のエージェントの入力画像と合わせた ものが全入力のうちどれに当たるかを推定する 必要があり、一方通行の意思疎通が起こらない ようにしている。

・エージェントが 2 人より多く登場する。

また、メッセージとして単なる 1 記号を採用してお り、創発言語分野で重要な構成性 ( 2.3 節) の評価を 行うことができない、という問題点もあった。

## 3 実験手法

ゲームの基本的な流れは 2.2 節で説明したものに 沿う。各入力 $\boldsymbol{i}$ は $n_{\text {att }}$ 個の值を連ねたタプルであ り、各値は 0 から $n_{v a l}-1$ の $n_{\text {att }}$ 種類の値を取り得 る。また、 $c_{v o c}$ 種類の相異なるシンボルからなる 集合 $V$ から、シンボルを $c_{l e n}$ 回選び (重複も許され る)、並べたものをメッセージ $m$ として定義する。創発言語の接触を、次のように発生させる (図 1):
1. 2 つの sender-receiver のペア $P_{1}=\left(S_{1}, R_{1}\right), P_{2}=$ $\left(S_{2}, R_{2}\right)$ を用意し、それぞれ成功率が $99 \%$ 以上

図 1 創発言語の接触を生じさせる流れを表した簡略図

表 1 sender の内部状態で決まるカテゴリカル分布のエン トロピーの值を、プロトコルごとに計算したもの。値は 四捨五入、括弧の中の数字は標準誤差を表す。

になるまで、独立に学習を行う。ここで創発す る 2 つのプロトコルをそれぞれ $L_{1}, L_{2}$ と呼ぶ。

2. receiverの「交換」を行う。つまり、新たなぺア $P_{3}=\left(S_{1}, R_{2}\right), P_{4}=\left(S_{2}, R_{1}\right)$ を作成する。
3. $P_{3}, P_{4}$ で正解率が $99 \%$ 以上になるまで、独立に 学習を行う。ここで創発する 2 つのプロトコル をそれぞれ $L_{3}, L_{4}$ と呼ぶ。

$L_{1}$ を話す sender と $L_{2}$ を聞く receiverによるクレ オール $L_{3} 、 L_{2}$ を話す sender と $L_{1}$ を聞く receiverに よるクレオール $L_{4}$ が作成できる。 $L_{1}, L_{2}$ と $L_{3}, L_{4}$ を比較して、クレオール単純化が発現するか様々な 評価指標で検証するのが、本実験の主旨である。

## 4 実験結果とその解釈

我々は複数のパラメタで実験を行った。 $n_{a t t}=2$, $n_{v a l}=100, c_{v o c}=10, c_{\text {len }}=6$ の設定の結果を掲載す るが、他のパラメタ設定でも同様の考察ができる結果を得た。掲載する結果は、同じパラメタに対し random seed のみを変更しながら 100 回実行を行い、平均を取ったものである。

## 4.1 エントロピー

学習時、sender は内部のカテゴリカル分布から メッセージをサンプルする。学習の最後の epochに おけるカテゴリカル分布のエントロピーを表 1に示 す。接触後言語の方がエントロピーが低く、Graesser ら [6] の研究と同様にクレオール単純化が発現した。

## 4.2 N-gram

テスト時、sender は内部状態に応じて決定的に メッセージを排出する。あり得る入力全てに対して

図 2 各言語プロトコルにおける、単語ペアの頻度の順位 と頻度の関係を表したグラフ。縦横軸ともに対数表示。薄い色で塗られた部分は標準誤差によるばらつきを表す。

図 3 各言語プロトコルにおける、epoch ごとのテスト データに対するゲームの成功率の推移。横軸のみ対数表示。薄い色で塗られた部分は標準誤差によるばらつきを 表す。

sender にメッセージを出力させることで、sender が 話す言語のコーパスのようなものを作成できる。こ のコーパスを用いて、各単語 (unigram)、各単語ぺ ア (bigram) の出現頻度の分布を作成する。代表し て bigram の結果を載せる (図 2)。横軸が各単語ペア が現れる頻度が高い順に並び替えた順位、縦軸がそ の頻度自体を表す。標準誤差区間がやや重なってい て、明らかな違いがあるとは言い難いが、接触後言語の方が頻度の分布に偏りがある結果になっている と言える。分布に偏りがあることは、エントロピー が小さいことを表し2)、クレオール単純化が発現し ている結果であると言える。

## 4.3 汎化性能

Chaabouni ら [3] と同様に、学習データには含まれ ない入力を使って成功率を計算し、その推移を見る ことで、汎化性能を計測する (図 3)。接触後言語の

2）実際、最尤推定による確率分布でエントロピーを計算した ところ、接触後言語の方が小さくなった。

図 4 receiver の状態を freeze させて senderのみを学習 させたときの、学習中のゲーム成功率の推移。 $L_{5}, L_{6}$ は $L_{1}, L_{2}$ の freeze された receiverをもとに学習した言語、 $L_{7}, L_{8}$ は $L_{3}, L_{4}$ の freeze された receiver をもとに学習した 言語である。薄い色で塗られた部分は標準誤差によるば らつきを表す。

方が素早く成功率が向上している3)。「汎化性能が 高い方が、少ない単語でより多くの事象を表現でき るため、簡単な言語である」という直感を頼りに すると、接触後言語の方が汎化性能が高いことは、 クレオール単純化が発現している結果であると言 える。

## 4.4 学習のしやすさ

本実験では、学習のしやすさとして下記の 3 種類 を用いる。

1. 学習の中での成功率の推移

2. sender のパラメタを freezeさせ、新たに初期化 した receiverを学習する際の、成功率の推移

3. receiverのパラメタを freeze させ、新たに初期化 した senderを学習する際の、成功率の推移

2 は Chaabouni ら [3] が利用した指標を参考にしてい る。彼らは成功率の推移のグラフの下側の面積を定量的に比較したが、我々はグラフ自体をそのまま比較する。この指標は、「親が子に言語を教えること」 に類推できる実験であると言える。1,2 については 特筆すべき点はないので、図の掲載は省略する。学習しやすい言語の方が簡単、つまり素早く成功率が 上がる言語の方が簡単と直感できるが、実際に、接触後言語の方が素早く成功率が上がるという結果が 得られた。

3 も前段落の「親が子に言語を教える」類推が同

3）実行ごとに学習を打ち切る epoch が異なっており、epoch が大きくなるにつれ学習が継続されている実行が減るため、 epoch が大きい部分では値のブレが大きくなっている。この ブレは現象の平均をとって見る際には非本質的な結果なの で、epochが小さい部分について議論するのが望ましい。表 2 TopSim の値をプロトコルごとに計算したもの。值 は四捨五入、括弧の中の数字は標準誤差を表す。

様にできるが、本実験で唯一、クレオール単純化に 基づく直感に反する結果を得た (図 4)。異なるパラ メタ設定でも、接触前と後で差異がない、もしくは 接触前の言語の方が素早く成功率が上がるという結果になった。結果から、sender、つまり言語を発す る側にとっては、クレオール単純化が本質的に起こ らず、むしろクレオールが、クレオールではない言語と同等もしくはそれ以上の難しさを孕んでいる可能性が示唆された。ただ、強化学習により学習が進 む sender の学習の促進のために、損失関数に足され た「エントロピー増大」のための項が、結果に不自然な働きかけをしているだけで、実際のクレオール に本質的に備わる性質ではない可能性を否定できな いため、将来の研究で更なる検証が求められる。

## 4.5 TopSim

2.3 節で説明した TopSim を計算した結果が表 2で ある。Chaabouni ら [3] は、TopSim の高さと sender を固定したときの receiver の学習のしやすさが強く 相関することを指摘しており、簡単な言語が学習し やすいという直感から推論すると、簡単な言語は TopSim が高くなる、という仮説が立つ。実際、接触後言語の方が明らかに TopSim が高くなっており、 クレオール単純化が発現している結果とみることが できる。

## 5 おわりに

本論文では、簡素な創発言語接触のシミュレー ションモデルを利用し、クレオール単純化が再現す ることを、多様な評価指標を用いて検証した。実際 に多くの指標においてクレオール単純化が発現して いると解釈できる結果が得られたが、receiver を固定 して senderを学習するという設定においてのみ、異 なる結果が得られた。この点に関しては、学習の方法を変えて再度実験する等の検討が必要になるだろ う。しかし、煩雑なモデルを使わなくとも、数多く の手法でクレオール単純化を確かめられため、今後 この簡素なモデルをベースに、創発言語の立場から クレオール単純化の議論が進むことを期待できる。

## 参考文献

[1] Peter Bakker, Aymeric Daval-Markussen, Mikael Parkvall, and Ingo Plag. Creoles are typologically distinct from non-creoles. Journal of Pidgin and Creole languages, Vol. 26, No. 1, pp. 5-42, 2011.

[2] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[3] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalizability in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 44274442. Association for Computational Linguistics, 2020.

[4] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[5] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1724-1734. ACL, 2014.

[6] Laura Graesser, Kyunghyun Cho, and Douwe Kiela. Emergent linguistic phenomena in multi-agent communication games. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 36983708. Association for Computational Linguistics, 2019.

[7] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[8] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[9] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[10] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[11] David Lewis. Convention: A philosophical study. John Wiley \& Sons, 2008.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[13] John H McWhorter. The worlds simplest grammars are creole grammars. 2001.

[14] Carol Myers-Scotton, et al. Contact linguistics: Bilingual encounters and grammatical outcomes. Oxford University Press on Demand, 2002.

[15] Mikael Parkvall, et al. The simplicity of creoles in a crosslinguistic perspective. Language complexity: Typology, contact, change, pp. 265-285, 2008.

[16] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pp. 3528-3536, 2015.

[17] Sarah Grey Thomason and Terrence Kaufman. Language contact. Edinburgh University Press Edinburgh, 2001.

[18] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.
本文で説明しきれなかったモデルのアーキテク チャや、学習に使うアルゴリズムについて紹介す る。本実験は Chaabouni ら [3] の研究を基にしてお り、以下で紹介するアーキテクチャやアルゴリズ ムは Chaabouni ら [3] のものと同じものであるため、合わせて参考にされたい。

## A モデルのアーキテクチャ

sender、receiver ともに、内部に GRU [5] による層 を持っている。これらのエージェントのアーキテク チャを以下に簡潔に説明する。

## A. 1 Sender

図 5 senderエージェントのアーキテクチャの概略図。た だし、 $c_{l e n}$ はメッセージの長さを表す。

sender はまず、受け取った入力を GRU セルの隠 れ状態べクトルとして使う。BOS の埋め込みべクト ルと同時に入力し、そこから出てくる新たな隠れ状態ベクトルから、メッセージの最初のシンボル $s_{1}$ を 生成する。学習時は、学習の探索を促すため、隠れ 状態ベクトルから作られるパラメタを基にした分布 に従って、確率的にシンボルを生成するが、テスト 時は、パラメタの中でもっとも値が大きいシンボル を貪欲に選択してシンボルを生成する。さらに、こ の隠れ状態べクトルと、生成されたメッセージは、次の GRU セルに渡され、後続のシンボルの生成に 再帰的に利用される。

## A. 2 Receiver

図 6 receiver エージェントのアーキテクチャの概略図。 ただし、 $c_{\text {len }}$ はメッセージの長さを表す。

receiver は、sender から受けとったメッセージを、
1 シンボルずつ GRU セルで消費する。全てのシン ボルを消費し終わった後に出てくる隠れ状態べク トルを線形層で整形し、それを推定入力として出力 する。

## B 学習

創発言語のほとんどのゲームにおいて、メッセー ジは離散的であるため、学習時に通常利用される誤差逆伝播法を利用することができない。これに対す るアプローチとして、

・Gumbel-Softmax $[12,7]$ : 離散分布であるカテゴ リカル分布を Gumbel-Softmax 分布と呼ばれる 別の連続分布で近似する手法。

-REINFORCE [18]：強化学習における方策勾配法の一種。

を利用することが多い。しかし、Chaabouni ら [3] の 研究では、新たな “hybrid method" として、確率的誤差逆伝播法と REINFORCE を組み合わせた学習アル ゴリズム $[16,4]$ を利用して学習を行った。

$\boldsymbol{\theta}_{S}, \boldsymbol{\theta}_{R}$ を、それぞれ sender、receiver の内部状態を 表すパラメタであるとする。また、 $\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)$ を、入力 $\boldsymbol{i}$ と receiver の推定入力 $\hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)$ との crossentropy loss であるとする。学習の目標を、この cross-entropy loss $の$ 期待値 $\mathbb{E}\left(\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right)$ を最小化することと定める。Chaabouni ら [4] は、代替関数を、

$
\begin{aligned}
& \mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right) \\
& \quad+\left(\left.\{\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right.\}-b\right) \log p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)
\end{aligned}
$

のように定め、この代替関数の勾配の期待値が、 cross-entropy loss の期待值の勾配に等しいことを利用して、学習を進めた。ただし、\{$\cdot$\}は stop-gradient 演算子、 $p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)$ は入力 $\boldsymbol{i}$ を受け取った sender がメッセージ $m$ を返す確率、 $b$ はベースラインで ある。(1) 式 の第一項は receiver を学習するのに使 われる。この部分は単純に誤差逆伝播法を利用すれ ば最適化できる。また、(1) 式 の第二項は sender を 学習するのに使われる。この部分は REINFORCE に よく似たアルゴリズムを利用することで最適化で きる。このように、全体のモデルを 2 つのアルゴリ ズムを組み合わせたような形で利用して学習を行 うことから、Chaabouni ら [3] はこの手法を "hybrid method"と呼んでいる。

なお、optimizerとして、Adam [8]を利用する。
 加藤大地 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$ 1 東京大学 }  \{daichi5967, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp 