# 創発言語はなぜ Zipf 短縮に従わないのか？暗黙の事前分布に基づく再解釈

上田亮
東京大学
ryoryoueda@is.s.u-tokyo.ac.jp

## 概要

本稿の目的は、シグナリングゲームにおいて生じ る創発言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を解明することにある。これま で、創発言語が Zipf 短縮に従わないのは、エージェ ントの帰納バイアスせいだろうと考えられてきた。 それに対し、本稿では新たな解釈を提示する。シグ ナリングゲームの目的関数の中で暗黙に仮定されて いる事前分布に着目し、それが反 Zipf 短縮の一因と なっている可能性を示唆する。

## 1 はじめに

創発言語は、シミュレーション上においてエー ジェント同士でコミュニケーションを取らせたとき に生じる、言語のようなプロトコルのことを指し、近年研究対象として注目されつつある [1]。創発言語の構造を理解し、それが自然言語とどの程度類似・乘離しているのかを知り、乘離をどのようにし て埋めていけばよいのかを考えることが、当分野で 重要なテーマの 1 つである。

Chaabouni ら [2] は、自然言語の普遍性質である Zipf 短縮 $[3,4,5]$ を取り上げ、シグナリングゲーム [6]において創発する言語が、Zipf 短縮に従うか検証 した。Zipf 短縮とは「頻出する単語ほど、単語長が 短い傾向にある」という自然言語に普遍的にみられ る性質である。例えば、英単語 “of” や “he” は高頻出であり、かつ短い。また、シグナリングゲームは シンプルなコミュニケーションモデルであり、言語創発分野で頻繁に用いられる。シグナリングゲーム には、送信者・受信者と呼ばれる 2 人のエージェン トが登場し、送信者から受信者への単方向通信のみ が許される。各プレイにおいて、送信者は入カ $i \in I$ を 1 つ受け取り、メッセージ $m \in \mathcal{M}$ を生成する。続いて、受信者はそのメッセージ $m$ を受け取り、元
の入力が何であったのかを推測する。この推測が当 たっていればゲームは成功である。このとき、送信者と受信者をつなぐメッセージ (の集合) は、何かし らの意味を伝達する言語のようなものであると考え ることができる。[2]は、1メッセージがちょうど 1 単語を成すと見做せる設定の下、創発言語が Zipf 短縮に従うか検証した。ところが、標準的な設定のシ グナリングゲームにおいて生じる創発言語は、Zipf 短縮に従わないことが示された。具体的には、メッ セージが明らかに不必要に長くなってしまうばか りでなく、頻度の高いメッセージほど長くなるとい う、反 Zipf 短縮とでもいうべき傾向が示された。こ れまで、創発言語が Zipf 短縮に従わないのは、エー ジェントの元となるニューラルネットワーク (NN) アーキテクチャ (e.g., LSTM [7]) の帰納バイアスに問題があるからであろうと考えられてきた $[2,8,9]$ 。

それに対して、本稿では、反 Zipf 短縮が起こる原因について新たな解釈を提示する。シグナリング ゲームの学習の際に用いられる目的関数の中で、暗黙に仮定されているメッセージの事前分布 $P(m)$ に 着目し、その事前分布が反 Zipf 短縮の一因となって いる可能性を示唆する。

## 2 背景

## 2.1 Zipf 短縮

Zipf 短縮 (Zipf's law of abbreviation) [3, 4, 5] は、言語学者 Gerge K. Zipf によって唱えられた自然言語の 法則である。 ${ }^{12)}$ Zipf によれば、高頻度で出現する単語ほど長さが短くなる傾向にあるという。

## 2.2 シグナリングゲーム

言語創発では、シグナリングゲーム [6] (以降、単 にゲームと呼ぶ) が頻繁に用いられる。ここでは

1） 所謂 Zipf 則 [10] とは異なる概念であることに注意。

2）日本語訳は [5] に準拠。
特に [2] による設定を紹介する。ゲームには、有限の入力集合 $I$ 、有限のメッセージ集合 $\mathcal{M}$ 、送信者 $P_{\boldsymbol{\theta}_{s}}(M=m \mid I=i)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(I=i \mid M=m)$ が登場する。送・受信者エージェントはLSTM [7] 等の NN に基づいて定義され、各々学習可能 なパラメータ $\boldsymbol{\theta}_{s}, \boldsymbol{\theta}_{r}$ をもつ。 $\mathcal{I}:=\{1,2, \ldots,|\mathcal{I}|\}$ と し、各 $i \in I$ は one-hot ベクトルで表現する。メッ セージ集合 $\mathcal{M}$ は可変長メッセージの集合とする: $\mathcal{M}:=\left.\{a_{1} \ldots a_{t-1} \operatorname{eos} \mid a_{i} \in \mathcal{A} \backslash\{\right.$ eos $\left.\}, 1 \leq t \leq T\right.\}$. ただ し、 $\mathcal{A}$ は有限アルファベット、eos $\in \mathcal{A}$ は EOS 記号、 $T$ は最大長である。ゲームの流れは以下のよう になる:

1. 入力 $i \in I$ をサンプリングする。ただし、 $i$ は幕分布に従うものとする: $i \sim P_{I}(i) \propto i^{-1}$.

2. 送信者からメッセージ $m$ をサンプリングする: $m \sim P_{\boldsymbol{\theta}_{s}}(m \mid i)$.

3. 受信者による復元の程度を表す対数尤度 $\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を最大化することを目標とする。

$i \in I$ は one-hot ベクトルで表されるうえ、幕分布 $P_{I}($ i に従う (Zipf 則に従う) ので、一般的な NLP 分野でいうところの単語 ID と思うことができる。故 に各 $i$ に対応するメッセージ $m$ は単語と見做せる。

## 2.3 ゲームの目的関数

本稿では、最適化は勾配法で行うものとして議論を進める。ゲームの最適化は、以下の目的関数 $\mathcal{J}_{\text {game }}$ を勾配法で最大化することで行われる:

$
\mathcal{J}_{\text {game }}:=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right] .
$

直観的には、受信者 $R$ による復元の正確さを平均的に最大化するのを目的としていると理解できる。 $\mathcal{J}_{\text {game }}$ の微分は以下の形で得られる $\left.[2,11]:{ }^{3}\right)$

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}[ \\
& \quad \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
& \left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

ここで、 $b: I \rightarrow \mathbb{R}$ は任意のベースライン関数であ る。式 2 は受信者を通常の誤差逆伝播によって、送信者を方策勾配 [12]によって最適化している。しか し、 $\mathcal{J}_{\text {game }}$ で創発する言語は Zipf 短縮とは真逆の傾向 (反 Zipf 短縮) に従うことが知られている。そこ で、メッセージ長に関する罰則項を設け、メッセー ジが不必要に長くなるのを防ぐ場合がある:

$
\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha):=\mathbb{E}_{\boldsymbol{P}_{I}(i), \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\alpha|m|\right]
$
_{s}, \boldsymbol{\theta}_{r}}$ の略記。以降でもこの略記を用いる。
}

ここで、 $\alpha \in \mathbb{R}_{\geq 0}$ は罰則項の強度を制御する超パラ メータ、 $|m|$ はメッセージ $m$ の長さを表す。 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の微分は以下である:

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}[ \\
& \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
&\left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\alpha|m|-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

式 2 と比較すると、送信者の報酬が修正されたよう な形をしている。この罰則項により、Zipf 短縮が創発することが知られている $[2,8]$ 。

## 3 ゲームの目的関数の分析

これまで、 $\mathcal{J}_{\text {game }}$ を最適化して得られる創発言語 が Zipf 短縮に従わないのは、エージェントに適切な 帰納バイアスがないからだと考えられてきた。例え ば [8] は、送信者には laziness が欠けており、受信者には impatience が欠けていると主張している。し かし、エージェントのバイアスだけが原因ではない ように思われる。本節では、目的関数 $\mathcal{J}_{\mathrm{game}}$ の内に 暗黙に仮定されている事前分布に着目し、それが反 Zipf 短縮の一因になっているのではないかと考え る。以降の節にてそれを示唆する議論を展開する。

## 3.1 ゲームには暗黙の事前分布が存在する

ここで、やや唐突だが、一様メッセージ分布 $P^{\mathrm{uni}}(m)=|\mathcal{M}|^{-1}$ を考元、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせ て、以下のような $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{uni}}(m) .
$

このとき、次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)\right]
$

即ち、 $\mathcal{J}_{\text {game }}$ の最大化は、同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)$ の対数尤度の期待値を最大化するのと同じである。従っ て、 $\mathcal{J}_{\text {game }}$ という目的関数は $P^{\text {uni }}(m)$ をメッセージ の事前分布として暗黙のうちに仮定していることに なる。

次に、モンキータイピング・メッセージ分布 $P^{\mathrm{mon}}(m)=\frac{1}{Z}|\mathcal{A}|^{-|m|}(Z$ は適当な正則化項)を考え、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせて、以下の $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{mon}}(m) .
$

このとき次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log |\mathcal{A}|)=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{S}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m)\right]
$
即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{mon}}(i, m)$ の期待値の最大化は、メッセー ジ長に関する罰則項の重みを $\alpha=\log |\mathcal{A}|$ としたとき の $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。更に一般化し て、 $P^{\text {mon }}(m)$ と $P^{\text {uni }}(m)$ の中間的なメッセージ分布 $P^{\text {int }}(m ; \eta)(0 \leq \eta \leq|\mathcal{A}|-1)$ を考える:

$
P^{\mathrm{int}}(m ; \eta)=\frac{1}{Z^{\prime}}(|\mathcal{A}|-\eta)^{-|m|}
$

$Z^{\prime}$ は適当な正則化項である。 $P^{\mathrm{int}}(m ; \eta=0)=$ $P^{\mathrm{mon}}(m)$ 及び $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)=P^{\text {uni }}(m)$ が成立す るので、 $P^{\text {int }}$ は中間的な分布といえる。これまでの 議論と同様に、受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ と合わせて、 $i, m$ の 同時分布 $P_{\boldsymbol{\theta}_{r}}^{\text {int }}(i, m ; \eta):=P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) P^{\mathrm{int}}(m ; \eta)$ を定義す る。このとき、次式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) \\
= & \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right]
\end{aligned}
$

即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の期待値の最大化は、罰則項の 重みを $\alpha=\log \{|\mathcal{A}|-\eta\}$ としたときの $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。逆に言えば、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化 は、 $\eta=|\mathcal{A}|-\exp (\alpha)$ としたときの $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の 期待值の最大化と同じである。吕) $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は、メッ セージに関する事前分布 $P^{\text {int }}(m ; \eta=|\mathcal{A}|-\exp (\alpha))$ を 暗黙に仮定していることになる。なお、 $P^{\text {int }}(m ; \eta=$ $|\mathcal{A}|-1)=P^{\operatorname{mon}}(m)$ より、 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布を $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)$ と言い直すこともできる。

## 3.2 暗黙の事前分布と反 Zipf 短縮

では、ゲームの目的関数の暗黙の事前分布は どのような形状をしているのだろうか。本節 では事前分布の形状について議論し、そこから 反 Zipf 短縮が生じる一因を垣間見る。事前分布 $P^{\text {uni }}(m), P^{\text {mon }}(m), P^{\text {int }}(m)$ はそのままでは可視化し づらいため、代わりに、対応するメッセージ長 $1 \leq l \leq T$ の分布を考える:

$
P^{\mathrm{int}}(l ; \eta):=\sum_{m \in \mathcal{M}} P^{\mathrm{int}}(m ; \eta) \mathbb{1}_{l=|m|}
$

$P^{\mathrm{uni}}(l), P^{\mathrm{mon}}(l)$ についても同様に定義する。5) こ こで、 $(T,|\mathcal{A}|)=(30,4)$ としたときの分布の様子 を図 1 に示す。図 1 から分かるように、 $P^{\text {uni }}(l)$ はか なり右に偏った形状をしている。つまり、 $P^{\text {uni }}(m)$ からメッセージ $m$ をサンプリングしてきたとき、

4） $\eta$ が $0 \leq \eta \leq|\mathcal{A}|-1$ を満たさなくとも式 9 は確率分布 になるが、先行研究 $[2,8]$ の $\alpha$ は必ず $\log |\mathcal{A}| \geq \alpha \geq 0$ に収 まっているため、 $\eta$ の範囲を限定しても特に問題はない。

5）ただし、自然言語の単語長の分布はガンマ分布に近いとさ れる [13]。逆に、 $l$ の分布をガンマ分布と仮定してゲームの 目的関数を逆算したらどうなるかについては付録 B 参照。

図 1 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,4))$.

$m$ の長さは高い確率で最大長 $T$ かその付近になる。 ゲームの目的関数 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布が $P^{\mathrm{uni}}$ で あったことを踏まえると、 $\mathcal{J}_{\text {game }}$ の最適化で創発す るメッセージが不必要に長くなってしまうのは、今 や当然のことのように思える。一方、 $P^{\operatorname{mon}}(l)$ は左に 偏った分布になっていて、 $P^{\text {mon }}(m)$ それ自体が Zipf 短縮に従うメッセージ分布になっていることが分か る。6) $P^{\text {int }}(l ; \eta)$ は、 $\eta$ の值によって $P^{\mathrm{mon}}(l)$ と $P^{\text {uni }}(l)$ の間をつなぐような形状になっている。 $P^{\text {int }}(l ; \eta)$ が、メッセージ長に関する罰則項を設けたゲームの 目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ における暗黙の事前分布になって いたことを踏まえると、罰則項の重み $\alpha$ を調整する ことは、分布 $P^{\mathrm{uni}}(l)$ の極端な右への偏りを緩和する ことに対応しているのだと理解することができる。

次に、 $(T,|\mathcal{A}|)=(30,40)$ としたときの、長さに関 する分布の様子を図 2 に示す。 $(T,|\mathcal{A}|)=(30,40)$ と

図 2 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,40))$.

いう超パラメータは、先行研究において典型的に選択されているものであり $[2,8,9]$ 、この分野の実態に より近い。図 2 から分かるように、 $P^{\text {uni }}(l)$ は更に右側に偏っている。 $P^{\mathrm{mon}}(l)$ は平坦な形状に見えるが、実際には依然として左側に偏っていて、右肩下がり の形状をしている。図 2 における $\eta=38.35$ は、メッ セージ長罰則項の重み $\alpha=0.5$ に概ね対応してい る。これは [2] が選択した値と同じであり、この值 で Zipf 短縮の創発に成功している。 $P^{\text {int }}(l ; \eta=38.35)$ が尚も右側に著しく偏っていることを踏まえると、

6）モンキータイピング系列が Zipf 則や Zipf 短縮に従うこと は既に知られており $[14,5]$ 、同様のことが起きている。

[2] が $\alpha=0.5$ という重みで Zipf 短縮の創発に成功 したという事実は驚くべきことである。これまで、創発言語の反 Zipf 短縮性はバイアスのせいである と考えられてきたが、 $P^{\text {uni }}(l)$ よりもわずかに偏り が緩和されただけの分布で Zipf 短縮を創発できる のなら、むしろエージェントは短いメッセージを 選好する望ましいバイアスをもっているのではな いかとさえ思える。ただし、あるメッセージ $m_{1}$ が $P^{\text {int }}(m ; \eta)$ からサンプリングされる確率は、あるメッ セージ $m_{2}$ が $P^{\mathrm{int}}(m ; \eta)$ からサンプリングされる確率 の $(|\mathcal{A}|-\eta)^{\left|m_{2}\right|-\left|m_{1}\right|}$ 倍である。つまり、個々のメッ セージ同士を比較する限りにおいては、 $P^{\text {int }}(m ; \eta)$ は 短いメッセージを選好する分布であるともいえる。

## 3.3 beta-VAE の目的関数との類似性

ゲームの目的関数に暗黙の事前分布が存在する ということは、ゲームの最適化は、ある種の生成 モデルに関する変分推論と見做せるかもしれない。 この発想に基づき、本節ではゲームの目的関数と beta-VAE [15] の目的関数との類似性について議論 する。入力 $i$ を観測変数 $x$ 、メッセージ $m$ を潜在変数 $z$ 、送信者 $P_{\theta_{s}}(m \mid i)$ を符号化器 $q_{\phi}(z \mid x)$ 、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を復号化器 $p_{\theta}(x \mid z)$ 、事前分布 $P^{\text {int }}(m ; \eta)$ を潜在変数の事前分布 $p_{\theta}(z)$ だと思うことにすれ ば、シグナリングゲームの構造は VAE [16] のそれに 類似している。そこで、シグナリングゲームの記法 で以下のような beta-VAE の目的関数を考える:

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta):=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right]\right. \\
&\left.-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] .
\end{aligned}
$

beta-VAE では通常の VAE の目的関数を拡張し、KL ダイバージェンス項を $\beta$ で重み付けする。 $\mathcal{J}_{\text {vae }}(\beta)$ は以下のように変形できる (証明は付録 A 参照):

$
\begin{aligned}
\mathcal{J}_{\text {vae }}(\beta)= & \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\}) \\
& +\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\mathrm{const}
\end{aligned}
$

式 13 の第 1 項は、メッセージ長罰則項の重みを $\alpha=\beta \log \{|\mathcal{A}|-\eta\}$ としたときのゲームの目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ に一致している。第 2 項は送信者 $P_{\boldsymbol{\theta}_{s}}$ のエ ントロピー最大化項になっている。このような、 ゲームの報酬の期待値とエントロピー最大化項が合 わさった目的関数を用いる設定は、しばしば最大エ ントロピー強化学習と呼ばれる。7) 実は、創発言語

7）変分推論と最大エントロピー強化学習が同一視できること は control-as-inference [17] の一例としても理解できる。
の研究でもエントロピー正則化項 [18] という補助目的関数が頻繁に用いられる。エントロピー正則化項 は、エントロピー最大化項と同様の効果を持つ。た だし、ややアドホックな手法であり、エントロピー 最大化項とは一般には一致しない。以上のことか ら、ゲームはアドホックな補助関数を伴いつつ、暗 に変分推論をしていると思われる。8)

## 3.4 以上の結果から得られる示唆

3 節では、まずゲームの目的関数 $\mathcal{J}_{\text {game }}, \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ が特定の事前メッセージ分布 $P_{\text {int }}(m ; \eta)$ を仮定して いることを示した。続いて、事前メッセージ分布の 形状に着目し、その形状から反 Zipf 短縮の一因を垣間見た。9）最後にVAE との類似性に触れ、ゲームが (アドホックな形で) 暗に生成モデルの変分推論をし ていることが示唆された。本稿では、Zipf 短縮とい う特定の性質を取り上げて議論したが、ここでの考 え方は、シグナリングゲームを用いる研究一般に適用可能なものである。従って、ゲームを用いる際に は、暗に想定されている事前分布と、それがもたら し得る影響を意識することが重要になるだろう。

## 4 最後に

本稿の目的は、シグナリングゲームにおいて創発 する言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を示唆することであった。具体的には、目的関数が暗にもつ事前メッセージ分布に 着目し、それが反 Zipf 短縮の一因になり得ること を示唆した。ゲームにおいて可変長メッセージを用 いるのはごく自然に思える。しかし実は、先行研究 の殆どは固定長メッセージを用いている。素朴に可変長にしても不自然にメッセージが長くなること、 メッセージ長罰則項は学習を不安定にし得ること、罰則化項の (進化) 言語学的な意味が不明瞭なこと等 が可変長が忌避される要因ではないかと推測してい る。ゲームの最適化に潜むアーティファクトを 1 つ ずつ洗い出して解決していくことが、今後の言語創発研究を豊かなものにしていくだろう。

8）また、beta-VAE と情報ボトルネック法 (IB) [19]の目的関数 にも密接な関係があることが知られている $[20,21]$ 。IB を用 いた言語創発研究としては $[22,23]$ などがある。ただし、こ れらは 1 メッセージ 1 記号の設定を用いているため、今回の ような Zipf 短縮関連の議論を適用できない。

9）ただし、 $P^{\mathrm{uni}}(m)$ が創発言語を“余計に長くする”ことが分 かっても、“反” Zipf 短縮になる理由はそれほど自明でない。恐らく、NN のバイアスやエントロピー正則化のアドホック さなど、様々な要因が絡み合い反 Zipf 短縮が生じる。この ことについて、より厳密に議論するのが今後の課題である。

## 謝辞

執筆に際してコメントを寄せてくださった宮尾祐介先生、李凌寒さんに感謝申し上げます。

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[3] George K. Zipf. The psycho-biology of language. Houghton Mifflin, 1935.

[4] Jasmeen Kanwal, Kenny Smith, Jennifer Culbertson, and Simon Kirby. Zipf' $\mathrm{s}$ law of abbreviation and the principle of least effort: Language users optimise a miniature lexicon for efficient communication. Cognition, Vol. 165, pp. 4552, 2017

[5] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021 .

[6] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969.

[7] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, pp. 17351780, 1997.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[11] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 35283536, 2015.

[12] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.

[13] Bengt Sigurd, Mats Eeg-Olofsson, and Joost Van Weijer. Word length, sentence length and frequency - zipf revisited. Studia Linguistica, Vol. 58, No. 1, pp. 37-52, 2004.
[14] George A. Miller. Some effects of intermittent silence. The American Journal of Psychology, Vol. 70, No. 2, pp. 311-314, 1957.

[15] Irina Higgins, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot, Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[16] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[17] Sergey Levine. Reinforcement learning and control as probabilistic inference: Tutorial and review. CoRR, Vol. abs/1805.00909, , 2018.

[18] Ronald J. Williams and Jing Peng. Function optimization using connectionist reinforcement learning algorithms. Connection Science, Vol. 3, No. 3, pp. 241-268, 1991.

[19] Naftali Tishby, Fernando C. N. Pereira, and William Bialek. The information bottleneck method. CoRR, Vol. physics/0004057, , 2000.

[20] Alessandro Achille and Stefano Soatto. Information dropout: Learning optimal representations through noisy computation. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 40, No. 12, pp. 2897-2905, 2018.

[21] Alexander A. Alemi, Ian Fischer, Joshua V. Dillon, and Kevin Murphy. Deep variational information bottleneck. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 2426, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[22] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Communicating artificial neural networks develop efficient color-naming systems. Proceedings of the National Academy of Sciences, Vol. 118, No. 12, p. e2016569118, 2021.

[23] Mycal Tucker, Roger P. Levy, Julie Shah, and Noga Zaslavsky. Trading off utility, informativeness, and complexity in emergent communication. In Advances in Neural Information Processing Systems, 2022.

## A 証明

本節では、スペースの都合で本文には掲載できなかった証明を示す。

式 6 ・式 8 ・式 10 の証明. 本文で述べたように、 $P^{\mathrm{int}}(m ; \eta)$ は $P^{\mathrm{uni}}(m)$ 及び $P^{\mathrm{mon}}(m)$ を包含している。ま た、 $\alpha=0$ のとき $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathcal{J}_{\text {game }}$ であるから、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は $\mathcal{J}_{\text {game }}$ を含む。従って、式 10 のみを示せばよい。

$
\begin{aligned}
& \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\nabla \log P^{\mathrm{int}}(m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-\log Z^{\prime}-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-b^{\prime}(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) .
\end{aligned}
$

1 つ目の等式は式 2 と同様の式変形によって得られ、 2 つ目の等式は $P_{\theta_{r}}^{\text {int }}(i, m ; \eta)$ の定義から従い、3つ目の等式は $\nabla P^{\mathrm{int}}(m ; \eta)=\mathbf{0}$ であることから従い、4つ目の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、5つ目の等式は新たな ベースライン関数 $b^{\prime}(i)=b(i)+\log Z^{\prime}$ を置くことで得られ、最後の等式は式 4 と同様の式変形によって得ら れる。

式 13 の証明. 式 13 は以下のように証明できる。

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta)=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)-\log P^{\operatorname{int}}(m ; \eta)\right)\right]\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\beta \log P_{\boldsymbol{\theta}_{s}}(m \mid i)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{\boldsymbol{P}_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]-\beta \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\beta|m| \log (|\mathcal{A}|-\eta)\right]-\mathbb{E}_{P_{I}(i), p_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log Z^{\prime}\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\})+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\text { const. }
\end{aligned}
$

1 つ目の等式は $\mathcal{J}_{\mathrm{vae}}(\beta)$ の定義 (式 12 ) そのものであり、2つ目の等式は KL ダイバージェンスの定義から従 い、3つ目・4つ目の等式は期待値の線形性から従い、5つ目の等式はエントロピーの定義から従い、6つ目 の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、7つ目の等式は $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の定義及び $\nabla \mathbb{E}\left[\log Z^{\prime}\right]=\nabla \log Z^{\prime}=\mathbf{0}$ から従う。

## B メッセージ長分布をガンマ分布としてゲームの目的関数を逆算した場合

自然言語における単語長分布はガンマ分布に従うことが知られている [13]。では、メッセージ長をガンマ 分布として、そこからゲームの目的関数を逆算したらどのような形になるのであろうか。まず、メッセージ 長がガンマ分布に従うと仮定する: $P^{\mathrm{gam}}(l ; k, \lambda):=\frac{1}{Z^{\prime \prime}} l^{k-1} \exp (-\lambda l) . k>0, \lambda>0$ は超パラメータであり、 $Z^{\prime \prime}$ は 適当な正則化項である。このとき、 $P^{g a m}(l ; k, \lambda)$ に無矛盾なメッセージ分布として、以下が挙げられる:

$
P^{\text {gam }}(m ; k, \lambda):=\frac{1}{Z^{\prime \prime \prime}}|m|^{k-1} \exp (-\{\lambda-\log (|\mathcal{A}|-1)\}|m|) .
$

ただし、 $Z^{\prime \prime \prime}=\frac{Z^{\prime \prime}}{\log (|\mathcal{A}|-1)}$ である。 $P^{\mathrm{gam}}(m ; k, \lambda)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ を合わせて、 $i, m$ の同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m):=$ $P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{gam}}(m ; k, \lambda)$ を定義し、新たなゲームの目的関数 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ を考える:

$
\mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda):=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m)\right] .
$

ここで、 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ の微分は以下の形で得られる:

$
\nabla \mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda)=\mathbb{E}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+(k-1) \log (|m|)-(\lambda+\log (|\mathcal{A}|-1))|m|\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
$

$\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ 同様の長さに比例する罰則に加え、長さの対数に比例する報酬が追加されたような形になる。
 上田亮 東京大学 ryoryoueda@is.s.u-tokyo.ac.jp  