# 創発言語でも Harris の分節原理は成り立つのか？

上田亮 ${ }^{1}$ 石井太河 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{ryoryoueda, taigarana, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本論文の目的は創発言語において Harris の分節原理が成り立つかを検証するというものである．創発言語とは，シミュレーションにおいてエージェント 間で生じる人工的な言語のことを指し，近年注目を 集めつつある研究対象である。 一方 Harris の分節原理とは，自然言語の系列データにおいて，データの 意味を知らずとも統計的情報のみから分節境界が得 られるという性質である。創発言語においても自然言語の性質が観察されるかどうかを検証した研究 はいくつか存在するが，Harris の分節原理に着目し た研究は今のところない. 実験の結果，創発言語は Harris の分節原理が成立するためのいくつかの前提条件を満たすが，統計的な情報から得られる分節境界が必ずしも意味的に妥当なものであるとは限らな い可能性が示唆された。

## 1 はじめに

ニューラルネットワークで表されたエージェント にコミュニケーションをさせることにより，言語の 創発をシミュレーションする創発コミュニケーショ ン (Emergent Communication) という分野が注目さ れつつある. 創発コミュニケーションによって生じ たプロトコルは創発言語（Emergent Language）と呼 ばれる。この分野は人間と交流できる AI の開発を 目的として生まれたが $[1,2,3]$, そこから派生して 創発言語そのものの性質を調べる研究も現れた. 特 に，自然言語に見られる普遍性質が創発言語におい ても観察され得るかを調べたものが多く，例えば，構成性 $[4,5,6]$, Zipf 短縮 $[7,8,9]$, エントロピー最小化 [10] に関する研究などがある.

本論文の目標は，創発言語において Harris の分節原理 $[11,12,13,14]$ が成り立つかを検証することで ある. Harris の分節原理とは，自然言語の系列デー タにおいて，データのもつ意味を参照せずとも統計的な情報のみから分節境界が得られるという普遍的
な性質のことである.ここでいう分節とは，音素の 系列に対する単語 (形態素)，単語の系列に対する節等を指す。単語や意味が事前に与えられるわけでは ない創発言語において，統計的性質から分節境界を 得る可能性を模索することは重要である.

本論文では，創発コミュニケーションで頻繁に用 いられる Lewis シグナリングゲーム [15] の実験パラ ダイムを採用する。このゲームにはスピーカ $S$ とリ スナ $L$ という 2 人のエージェントのみが登場し, ス ピーカ $S$ からリスナ $L$ への単方向通信のみが許され る. 各試行において，スピーカ $S$ は入力集合 $I$ から 情報 $i \in I$ を得て，それをメッセージ $m=S(i)$ に変換する.メッセージ $m$ を受け取ったリスナ $L$ が $i$ を 復元することができればゲームは成功である。ここ で，メッセージのデータ $\{S(i)\}_{i \in I}$ が創発言語とみな される. 実験の結果，創発言語は Harris の分節原理 を成立させるための前提条件を満たすものの，統計的性質から得た境界が必ずしも意味のある境界とは 限らないという示唆が得られた。他方, 人間が予め 与えた意味に関係なく境界のようなものが生じたと いう興味深い結果の意味するところは, 今後の課題 として残されている。

## 2 背景: 創発言語

言語を創発させるには，エージェントを取り巻く 環境やエージェントのアーキテクチャ, 最適化の手法などを決める必要がある。本論文では $[5]$ による 設定「属性值組集合を用いたシグナリングゲーム」 を導入する。

## 2.1 属性値組集合

$a, v \in \mathbb{N}(a, v>0)$ とする. $a, v$ をそれぞれ属性数, 值数と呼ぶことにする. 属性値組集合 (attributevalue set) $D_{v}^{a}$ とは以下のように定義される順序組の 集合である:

$
D_{v}^{a}=\left.\{\left(d_{0}, \ldots, d_{a-1}\right) \mid d_{i} \in\{0, \ldots, v-1\}\right.\}
$

## 2.2 シグナリングゲーム

言語を創発させる環境は，Lewis シグナリング ゲーム [15] に基づいて定式化される. シグナリン グゲーム $G$ は四つ組 $(I, M, S, L)$ から成る. ここで， $I$ は入力集合， $M$ はメッセージ集合であり，関数 $S: I \rightarrow M$ はスピーカエージェント，関数 $L: M \rightarrow I$ はリスナエージェントと呼ばれる. ゲーム $G$ の目標は各入力 $i \in I$ について $i=L(S(i))$ を成り立たせ ることである．スピーカ $S$ とリスナ $L$ は学習対象で あり, 目標に近づくよう最適化される. [5] と同様,本論文では属性值組集合を入力集合とする: $I=D_{v}^{a}$. さらに，メッセージ集合 $M$ は固定長離散記号列の 集合とする. 即ち, 有限のアルファベット $A$ 及び メッセージ長 len $\in \mathbb{N}($ len $>0)$ を用いて

$
M=A^{\text {len }}=\left.\{a_{1} \ldots a_{\text {len }} \mid a_{i} \in A \text { for } i=1, \ldots, \text { len }\right.\}
$

と定義する。また，以降の議論では，創発言語とは シグナリングゲーム $G=(I, M, S, L)$ から得られる データ $\{S(i)\}_{i \in I}$ のことを指すものとする. 創発言語 データ $\{S(i)\}_{i \in I}$ は，自然言語でいえば $|I|$ 個の独立 した発話のデータと捉えることができる.

## 3 背景: Harris の分節原理

Harris の仮説によれば，自然言語の音素系列に おける単語境界は, 後続し得る音素の種類数が増大する点に現れるという。本節では $[12,13]$ による Harris の仮説の情報理論的な定式化, 及びそれに基 づいた境界検出アルゴリズムを導入する.

## 3.1 定式化

$X$ をアルファベット， $X^{*}$ を $X$ 上の系列の集合, $X^{n}$ を $X$ 上の $n$-gram の集合とする. このとき，系列 $s=x_{0} \cdots x_{|s|-1} \in X^{*}$ に対する分岐エントロピーを以下のように定義する:

$
\begin{array}{rl}
h(s) \equiv & \mathscr{H}\left(X_{|s|} \mid X_{0} \cdots X_{|s|-1}=s\right) \\
=-\sum_{x \in \mathcal{X}} & P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) \\
& \quad \times \log _{2} P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) .
\end{array}
$

ここで， $|s|$ は系列 $s$ の長さ，各 $X_{i}$ は $X$ 上の確率変数, $P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right)$ は系列 $s \in X^{*}$ が出現した直後に記号 $x \in X$ が出現する確率を表す. 分岐エントロピー $h(s)$ は，特定の記号列 $s$ が出現した ときに，次に来る記号の不確かさの度合いを表して いる．また，長さ $n$ の系列に対する条件付きエント
ロピーを以下のように定義する:

$
\begin{aligned}
H(n) & \equiv \mathscr{H}\left(X_{n} \mid X_{0} \cdots X_{n-1}\right) \\
& =\sum_{s \in \mathscr{X}^{n}} P\left(X_{0} \cdots X_{n-1}=s\right) h(s) .
\end{aligned}
$

ここで, $P\left(X_{0} \cdots X_{n-1}=s\right)$ は $n$-gram $s \in X^{n}$ が出現す る確率である。 $H$ は分岐エントロピー $h$ の $n$-gram に関する平均と捉えることもできる。

自然言語のデータにおいては， $H(n)$ は $n$ に関して 単調に減少することが知られている．つまり，自然言語データの部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が与えられた ときに，平均的には $h\left(x_{0} \cdots x_{n-1}\right)>h\left(x_{0} \cdots x_{n}\right)$ とな る。一方で，その大域的な傾向に反して $h$ が増大す る点もある. この自然言語データにおける分岐エン トロピー $h$ の増減に関する，以下の普遍性質のこと を Harris の分節原理と呼ぶ1)：

X の要素を単位とする自然言語データにおい

て，ある部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が存在して

$
h\left(x_{0} \cdots x_{n-1}\right)<h\left(x_{0} \cdots x_{n}\right)
$

となるとき， $x_{n}$ はより大きな単位の系列にお ける分節境界である。

## 3.2 境界検出アルゴリズム

系列データを $s=x_{0} \cdots x_{|s|-1}$ とし，その部分系列 を $s_{i, j}=x_{i} \cdots x_{j-1}$ と表すことにする. 境界判定アル ゴリズムはパラメータ max_len $\in \mathbb{N}$, threshold $\in \mathbb{R}$ を 伴って以下のような手順で実行される:

$1 . i:=0 ; w:=1$; とする.
2. $i \geq|s|$ ならばプログラムを終了する.
3. $h\left(s_{i, i+w}\right)$ を計算する.
4. $w>1$ かつ $h\left(s_{i, i+w}\right)-h\left(s_{i, i+w-1}\right)>$ threshold なら ば， $i+w$ を境界点と判定する。
5. $w<$ max_lenかつ $i+w<|s|-1$ ならば $w:=w+1$; として 2 に戻る. さもなくば $i:=i+1 ; w:=1$ と して 2 に戻る.

また，創発言語においては自然言語に見られるよう な分節境界が存在するとは限らないため，以降では 境界検出アルゴリズムによって得られた仮の分節境界のことを仮説境界と呼ぶことにする。

## 4 実験設定

1） [12,13] では，このことを Harris's hypothesis と呼んでいた が，同著者の近年の出版物 [14] に倣い Harris の分節原理と呼 び改めた。

## 4.1 問題設定

創発言語において Harris の分節原理が成立するか どうかを調べるにあたり, 我々は以下の 3 つの問い に答えなければならない。

問 1. $H$ （式 4）は単調減少するか？

問 2. $h$ （式 3）は増大点（式 5）をもつか?

問 3. 仮説境界は分節境界を意味するか？

問 3 は，創発言語において Harris の分節原理が成立 するかという問いに他ならない. しかし， $H$ が単調 に減少し $h$ が所々増加するという性質が満たされな ければ問 3 はそもそも意味をなさない. 創発言語に おいてはこのような性質が成り立つかどうかさえも 自明ではないため，まず問 1 , 問 2 に答えなければ ならない.また，問 1 , 問 2 に答えるには単に $H$ と $h$ を計算すればよいが，問 3 に答える方法は自明で ない. 創発言語に分節境界があるとしても，それが どんなものであるのか事前に知る術がないからであ る.そこで以下の仮定を置く:

ゲーム $G=\left(D_{v}^{a}, A^{\text {len }}, S, L\right)$ の創発言語 $\{S(i)\}_{i}$ において，仮説境界が分節境界を意味するならば，属性数 $a$ が大きくなるほど 仮説境界の数も多くなるはずである。

属性値組集合 $D_{v}^{a}$ は，元々創発言語の構成性を測る ために導入された設定 [4]を，さらに一般化したも のである [5]. 例えば color, shape という 2 属性を もつ入力を用いたときに，創発言語が十分に構成的 であるならば，color の值を指す記号と shape の值を 指す記号が別々に出現し, それらが複合して 1 つの メッセージを成すだろうと [4] は考えた. これは創発言語の構成性を測るうえで基本的な考え方となっ ている．今回の設定でいえば，分節が複合的なメッ セージを構成するための単位であると想定したとき に，指し示すべき属性が増えれば分節もそれに合わ せて多くなるだろうと考えられる. 仮定 (A) はその ような考えに基づいている. 問 3 を仮定 (A) に従っ て以下のように言い換える:

問 3．属性数 $a$ が大きくなるほど仮説境界も多くな るか？

## 4.2 パラメータの設定

属性値組集合 問 3 , に答えるため属性数 $a$ には いくつかの値を取らせたい一方，ゲームの複雑さ を揃えるために属性値組集合のサイズ $\left|D_{v}^{a}\right|=v^{a}$ は
できるだけ等しくしたい. そこで $v^{a}=4096$ として $a, v$ を以下のように設定する:

$
(a, v) \in\left.\{\begin{array}{l}
(1,4096),(2,64) \\
(3,6),(4,8),(6,4),(12,2)
\end{array}\right.\} .
$

メッセージ集合 メッセージ集合 $M=A^{\text {len }}$ 定義するには，メッセージ長 len とアルファベットの サイズ $|A|$ を決めてやればよい.今回の実験では len $=32,|A|=8$ とした.

アーキテクチャと最適化 エージェントのアーキ テクチャ及び最適化手法についても [5]に従う. こ こではアーキテクチャについて簡単に触れる．各 エージェントはエンコーダ・デコーダモデルで表さ れる。スピーカのデコーダとリスナのエンコーダは GRU[16] とし，スピーカのエンコーダとリスナのデ コーダは順伝播型ニューラルネットワークとする. GRU の隠れ状態のサイズは [5] に倣い 500 とした。

境界判定アルゴリズム 境界判定アルゴリズム （節 3.2）にはパラメータ max_len, threshold が伴う.各メッセージが固定長 len = 32 であることに合わせ て max_len $=$ len $-1=31$ とする. threshold の設定は 自明ではないため，いくつかのパターンを試す:

$
\text { threshold } \in\{0,1 / 4,1 / 2,3 / 4,1,5 / 4,3 / 2,7 / 4,2\} \text {. }
$

## 4.3 試行回数とデータの妥当性

式 6で設定した各 $(a, v)$ に関して，異なるランダ ムシードで 4 回エージェントを学習させることとす る. 学習の結果, 入力集合 $I$ のうち $99 \%$ 以上の入力 $i \in I$ に対して $i=L(S(i))$ となるに至ったエージェン トから得られる創発言語を妥当な創発言語と呼ぶこ とにする。

## 5 実験結果

$(a, v)=(12,2)$ について 3 つ妥当な創発言語が 得られ，その他の $(a, v)$ についてはそれぞれ 4 つの 妥当な創発言語が得られた.

## 5.1 条件付きエントロピーは単調減少する

問 1 に答えるため，H（式 4）が単調減少するか どうかを調べた。図1にその結果を示す. 妥当な創発言語における $H(n)$ （赤実線）は， $n$ に関して単調減少していることが見て取れる. 従って妥当な創発言語において問 1 は成立する. なお， $H(n)$ の単調減少性はエージェントの学習前から成り立つわけでは ない. 図 1に青破線で示したグラフを見ると，学習

図 $1 H(n)$ （式 4）のプロット，妥当な創発言語に関する 結果 (赤実線) と学習前のスピーカから得た創発言語に 関する結果（青破線）を示してある.

前の創発言語においては $H(n)$ が単調に減少すると は限らないことが見て取れる. つまり学習の過程で $H(n)$ の単調減少性が生じる.

## 5.2 分岐エントロピーは所々増大する

図 2 設定 $(a, v)=(2,64)$ の下での創発言語における，あ るメッセージ上での $h$ の推移の様子. threshold $=5 / 4$ とし て仮説境界 $1, \ldots, 4$ が得られた（黒破線）.

次に，問 2 に答えるため，妥当な創発言語にお ける $h$ の推移を調べた. 例として実際の $h$ の推移 の様子を図 2 に示す. 縦軸には $h$ の值，横軸には $(a, v)=(2,64)$ として得られた妥当な創発言語から サンプルしたメッセージ “ $1,8,6,2, \ldots$ ”を取った. さらに， threshold $=5 / 4$ として得られた 4 つの仮説境界の位置を黒破線で示してある. 各折れ線グラ フが，対応する仮説境界点で thresholdを超える増大を示した $h$ の推移を表している. なお，hの増大点（式 5）の根拠となる部分系列は，メッセージの

図 3 メッセージあたりの仮説境界の平均数. いくつか の threshold を試してある.

先頭や一つ前の仮説境界から始まるとは限らない ことに注意されたい. 図 1で見たような大域的な傾向がある一方で，図 2では $h$ が増減を繰り返してい ることが見て取れる。また，メッセージあたりの仮説境界の数を調べた結果を図 3に示す. 図 3は，各 threshold（式 7）を用いたときに，1メッセージあた りにいくつ仮説境界が含まれているかを示してい る. threshold < 2 においては，どの $(a, v)$ にも仮説境界が存在していることが見て取れる。以上より，妥当な創発言語において問 2 は成立する.

## 5.3 仮説境界は分節境界ではないかもしれ ない

再び図 3に着目すると，やや見づらいがどの threshold においても属性数 $a$ に対して単調に仮説境界が増えるわけではないことが分かる2). 故に問 3, は成立しない. $a=1$ のときに最も仮説境界が多く なる傾向があるようにさえ見える.

## 6 考察と今後の展望

実験の結果から，創発言語は Harris の分節原理が 成立するためのいくつかの前提（問 1, 問 2）を満た すものの，仮説境界が分節境界を意味しない可能性 が示唆された. 創発言語に意味のある仮説境界をも たせるにはどうしたらよいか. 創発言語の構成性を 向上させる手法 [6] の適用が 1 つの方法として考え られる。一方，人間が与えた入力の意味に関わらず 創発言語に仮説境界が生じた事実はそれはそれで興味深いことでもある. この仮説境界は何を意味する のか.これも今後解決していくべき課題である.


## 参考文献

[1] Serhii Havrylov and Ivan Titov. Emergence of language with multi-agent games: Learning to communicate with sequences of symbols. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 2149-2159, 2017.

[2] Angeliki Lazaridou, Alexander Peysakhovich, and Marco Baroni. Multi-agent cooperation and the emergence of (natural) language. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[3] Angeliki Lazaridou, Anna Potapenko, and Olivier Tieleman. Multi-agent communication meets natural language: Synergies between functional and structural language learning. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, $\mathbf{2 0 2 0}$, pp. 7663-7674. Association for Computational Linguistics, 2020.

[4] Satwik Kottur, José M. F. Moura, Stefan Lee, and Dhruv Batra. Natural language does not emerge 'naturally' in multi-agent dialog. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pp. 2962-2967. Association for Computational Linguistics, 2017.

[5] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[6] Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, and Simon Kirby. Compositional languages emerge in a neural iterated learning model. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[7] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'AlchéBuc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Raquel Fernández and Tal Linzen, editors, Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335-343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Jad Kabbara, Haitao Lin, Amandalynne Paullada, and Jannis Vamvas, editors, Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] Eugene Kharitonov, Rahma Chaabouni, Diane Bouchacourt, and Marco Baroni. Entropy minimization in emergent languages. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 1318 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 5220-5230. PMLR, 2020.

[11] Zellig S. Harris. From phoneme to morpheme. Language, Vol. 31, No. 2, pp. 190-222, 1955

[12] Kumiko Tanaka-Ishii. Entropy as an indicator of context boundaries: An experiment using a web search engine. In Robert Dale, Kam-Fai Wong, Jian Su, and Oi Yee Kwong, editors, Natural Language Processing - IJCNLP 2005, Second International Joint Conference, Jeju Island, Korea, October 11-13, 2005, Proceedings, Vol. 3651 of Lecture Notes in Computer Science, pp. 93105. Springer, 2005.

[13] Kumiko Tanaka-Ishii and Zhihui Jin. From phoneme to morpheme: Another verification using a corpus. In Yuji Matsumoto, Richard Sproat, Kam-Fai Wong, and Min Zhang, editors, Computer Processing of Oriental Languages. Beyond the Orient: The Research Challenges Ahead, 21st International Conference, ICCPOL 2006, Singapore, December 17-19, 2006, Proceedings, Vol. 4285 of Lecture Notes in Computer Science, pp. 234244. Springer, 2006

[14] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[15] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969

[16] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the $\mathbf{2 0 1 4}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 17241734. ACL, 2014.
 上田亮 ${ }^{1}$ 石井太河 ${ }^{1}$ 宮尾祐介 ${ }^{1}$ 1 東京大学 \{ryoryoueda, taigarana, yusuke\}@is.s.u-tokyo.ac.jp  