# 逆接の推論関係に着目した日本語談話関係アノテーション

窪田愛 ${ }^{1}$ 佐藤拓真 ${ }^{1}$ 天本貴之 ${ }^{1}$ 秋吉亮太 ${ }^{1}$ 峯島宏次 ${ }^{1}$
1 慶應義塾大学
ai.kubota.m@gmail.com takuma.sato.keio@gmail.com
amamoto@keio.jp georg.logic@gmail.com
minesima@abelard.flet.keio.ac.jp

## 概要

本研究では、逆接の談話関係で前提される推論に 着目し、同時進行と逆接の二つの用法を持つ接続詞「ながら」「つつ」に対して談話関係アノテーション を試みる。逆接を含む談話関係コーパス自体はすで に存在するが、前提される推論を実際に書き出し、逆接の推論関係を特定しようとする点に本研究の 特色がある。本稿ではアノテーション手法とその結果、ならびに、アノテーションの際に判明した逆接 の特徴について報告する。

## 1 はじめに

テキストの談話関係を適切に認識することは、人間の言語理解の重要な側面であり、自然言語処理で も重要な課題の一つである。しかし、談話関係を分類する基準、その関係を担う談話単位を設定する基準を明確にすることは必ずしも容易ではなく、言語学・言語処理で様々な試みが続いている。一つの有力なアプローチは、明示的な接続表現（談話標識） に着目して談話関係を判別するもの $[1,2]$ であるが、同一の接続表現が複数の談話関係を担う場合、その 談話関係の判別は容易ではない。

このような背景から、本研究では逆接の意味をも つ接続表現に着目し、詳細な統語情報が付与された ツリーバンクを利用した談話関係アノテーションを 試みる。具体的には、同時進行と逆接の二つの用法 をもつ「ながら」「つつ」をとりあげ、「前提される 推論」という観点から談話関係の分類を試みる。

## 2 関連研究

## 2.1 逆接・譲歩

ここでいう逆接（あるいは逆接・譲歩）とは、「何 らかの含意関係の否定」[3]、あるいは、“denial of expectation” $[4,5]$ を伴う接続関係のことであり、以下の二種類があると言われている。（例文は [4](37) より抜粋。)

(1) 直接型 (Direct concessive) Although John is poor, he is happy.

(2) 間接型 (Indirect concessive)

The car is stylish and spacious, but it is expensive.

直接型と間接型の違いは、前提される推論の違い にある。間接型では「P (= John is poor) ならば、大抵 $\mathrm{Q}(=$ he is happy) ではない」という情報が前提されて いるのに対して、間接型では「P (= The car is stylish and spacious) ならば、大抵 $\mathrm{Q}(=\mathrm{it}$ is expensive) ではな い」という情報が前提されているとは考えにくい。間接型の場合、「P (= The car is stylish and spacious) な らば R (= we should buy it)、Q (= it is expensive) なら ば R でなはい」といったように第三の項 (R) が隠れ ている点に特徴がある $[6,7,8,4,5]^{1)}$ 。

## 2.2 「ながら」「つつ」

「ながら」は動詞の語基、非過去のイ形容詞、ナ形容詞の語幹に、また名詞及び副詞には直接後続し、「同時進行（付帯状況）」を表す用法と「逆接」を表 す用法があるとされる $[9,10]^{2)}$ 。「つつ」は動詞の語基に後続し、やはり「同時／付帯状況」と「逆接」 の二つの用法がある [9]。

典型的には、「食べる」「走る」など動的述語の場合は「同時進行」「思う」「狭い」などの静的述語の 場合は「逆接」の用法になることが多いものの、述語の種類だけで「同時進行」か「逆接」かが決まる わけではなく、以下の例（[9]の 3.4 節より抜粋）が 示すように主節との意味的な関係や文脈により解釈

が影響される $[9,10] 。$

(3) a. さびしいと思いながら毎日を過ごした。

(同時進行)

b. さびしいと思いながらそれを口にしな かった。

（逆接）

（4） a. 3 時間、英語を勉強しながら、音楽を聞 いた。 （同時進行）
b. 12 年間も英語をながら、日常会話もろく にできない。

（逆接）

そのため、以下の例（[10](31)）のように「同時進行」か「逆接」かの判断が難しいケースもある。

（5）加藤文太郎は秋の海を見ながら、思いは日本海に飛んでいた。

どのような要因により「同時進行」か「逆接」か の解釈が決まり、特にどのような場合に「逆接」の 推論を読み取って解釈しているのかという問いが、本稿での焦点である。

## 2.3 談話関係コーパス

英語の談話関係コーパスの研究として代表的なも のに、Penn Discourse Treebank (PDTB) [1,11] がある。 PDTB-3 [12] では、明示的な談話関係と非明示的な 談話関係が区別され、明示的な談話関係については 接続表現（談話標識）ごとに談話関係の単位 (Arg1, Arg2) と談話関係ラベルが付与されている。譲歩・逆接に対応する談話関係としては、CONCESSIONと CONTRAST が区別され、COMPARISON 関係の下位クラ スに分類されている。この CONCESSION と CONTRAST の判別は容易ではないことが報告されている [12]。

日本語の談話関係コーパスとしては、Web ページ の冒頭 3 文を収集したコーパス（京都大学ウェブ文書リードコーパス）に対して、PDTB の方針を参考 とし、談話関係タグを付与したものがある [2]。談話関係タグとしては、「対比」と「逆接」が区別され ているが、「が」のように同一の接続表現が対比と 逆接の用法をもつ場合、その判別基準は必ずしも明確ではない。また、談話単位 $(\mathrm{Arg} 1, \mathrm{Arg} 2)$ は自動認識によって設定されているため、言語学的な節単位 とは必ずしも対応していない。

本研究は、詳細な統語情報が付与された既存のツ リーバンクを利用することで、談話単位の認定とい う問題を回避し、より言語学的に妥当な談話関係ラ
ベルの設計に向けて、逆接の談話関係アノテーショ ンを試みる。

## 3 アノテーションの方針

## 3.1 使用したデータ

今回使用した文は全て Kainoki Treebank [13] から 抽出した。ツリーの例を付録の図 1 に示す。Kainoki Treebank は品詞タグ及び統語構造が付与されてお り、単に「ながら」「つつ」の文字列を含む文を抽出 するだけでなく、接続詞「ながら」「つつ」が取る二 つの項（これを $\operatorname{Arg} 1, \operatorname{Arg} 2$ と呼ぶ）が、埋め込み節 を含むような複雑な文でも正確に自動的に特定でき ることからこのコーパスを使用した。例えば、図 1 の例では Arg1と Arg2はそれぞれ「（女性が）事務能力を事務能力を発揮し」「女性が一家の中心となっ て働く」であるが、Arg1 は「つつ」直上の IPノー ド、 $\operatorname{Arg} 2$ は「つつ」節を直接支配する IP ノードに 支配される部分となっている。

## 3.2 談話関係ラベルと判断基準

接続詞「ながら」「つつ」を含む文 (それぞれ 1,325 文、239 文）について筆者ら含め 11 名で下記の通り ラベル付けを行った。各例に 2 名のアノテータがラ ベルを付与した。

（6） a. 逆接・譲歩（同時進行の意味を伴ってい ても逆接・譲歩の意味もあれば逆接・譲歩のラベル付けを優先する）例：(3a), (4a)

b. 同時進行（逆接・譲歩の意味を伴わない もの）例：(3b), (4b)

c. イディオム（慣用句的表現）例 : 残念ながら／今更ながら

d. 対象外（後件が省略されているもの）例：窓の外を見ながら

「ながらも」「つつも」は全て逆接・譲歩とし、「な がら」「つつ」を「ながらも」「つつも」で置き換えて 文意が変わらない場合も逆接・譲歩とした。更に、 より正確に逆接・譲歩の意味を特定するために、前提される推論 (2.1 節参照) を以下のように書き出す 作業を行った。

(7) $\left[{ }_{A r g 1}\right.$ たばこは体によくないと分かり]つつ [Arg2なかなかやめられない。]

(480_textbook_djg_intermediate;page_543)

表 1 アノテーション結果

前提される推論：たばこは体によくないと分 かっているなら、なかなかやめられないこと はない（やめられるはず）だろう。

## 4 アノテーション結果と考察

各分類ラベルの件数を表 1 に示す。 2 名のアノ テータの判定ラベルが異なる場合、第 3 のアノテー タがチェックし、ラベルを決定した。それでも決定 できない曖昧なケースは $\mathrm{A} / \mathrm{B}$ と分類した。2 名のア ノテーション一致率は Kappa 值で、それぞれ、「な がら」は 0.72、「つつ」は 0.36 であった。

## 4.1 逆接・譲歩の特徵

「ながら」「つつ」が逆接を表すのは、典型的には 述語が動的か静的かが関与するものの、例外もある (2.2 節)。ここでは今回のアノテーションで逆接・譲歩とラベル付されたものに共通してみられる傾向 があるかどうかについて考察する。

「ながら」「つつ」の用法に影響を及ぼしうると 考えられる以下の特徴について、ラベルごとにそ れぞれ当てはまるものの件数を数え、表にまとめ た (付録の表 2)。なお、それぞれの特徴は Kainoki Treebank から自動的に抽出してカウントした3)。

(8) a. 状態性アスペクト (ASP) : Arg1の述部が $\Gamma(\sim \tau)$ いる」「(〜て) ある」「〜ておく」

b. 否定 (NEG）：Arg2 が否定を含む

c. モーダル $($ MOD $): \operatorname{Arg} 2$ が「はず」「べき」等モーダル要素を含む

d. 接続詞 $(\mathbf{C N J}): \operatorname{Arg} 2$ が「しかし」「一方」 などの接続詞を含む

3）例えば、ASP の特徴をもつ「ながら」文の場合、Kainoki Treebank のウェブサイトにある検索インターフェイスで P-CONN く(ながら，おきけいあり) という検索式を用いて 抽出できる。 e. 取り立て詞（TOR）：Arg2が「も」「は」「さえ」などの取り立て詞を含む

f. 疑問文 (QUE)： $\operatorname{Arg} 2$ が疑問文

g. 命令文（IMP）：Arg2 が命令文

まず、 $\operatorname{Arg} 1$ の述部が「(〜て) いる」「(〜て) ある」「〜ておく」など静的状態を表すものである場合、逆接の用法である傾向が強いことが分かる (31/146 対 3/1046) $)^{4}$ 。また、 $\operatorname{Arg} 2$ に否定が現れる場合も、比較的逆接の用法になりやすい傾向が見られる $(21 / 146$対 13/1046)。その他には特に目立った特徴は見られ ないが、疑問（QUE）に関しては、逆接・譲歩の場合ほとんど全てが以下のような修辞（反語的）疑問文であった点が特徴的である。

（9）[Arg1 敵軍撃滅という偽情報を国民に流し 続けて煽動し]ながら [Arg2 何をいうか] と怒りをおさえがたいが、国民（女も） が戦意に燃えていたのは事実であろう。 (1037_fiction_onna_to_senso)

「つつ」に関しては全体件数も少なく、目立った 特徴は見られなかった。

## 4.2 前提される推論が書き出しにくい例

逆接・譲歩とは前提される推論（直接型の場合 $\lceil P$ ならば $\neg Q \perp$ 、間接型の場合「 $P$ ならば $R$ 、かつ $Q$ ならば $\neg R\rfloor)$ が書き出せるものとした (2.1 節)。し かし、実際に実例を見ていくと、判定が難しいもの や、一見すると逆接と思われるもののいざ前提され る推論を書き出そうとすると難しいものなど、興味深い例が見られた。

A. 前提のモーダルの種類 前提される推論を考 える際、明示的には表れていない隠れたモーダルを 補いながら考えなくてはならない場合がある。例え ば、以下の例で、機械的に「 $P$ ならば $\neg Q\lrcorner$ というテ ンプレートに当てはめて前提される推論を書き出そ うとすると (10a)となるが、「大抵〜」というような 物事の典型的な起こり方を示す (stereotypical) モダ リティというよりは、(10b)のような義務的 (deontic) なモダリティの意味合いが強い。

4） 今回、典型的な動作動詞ではない「思う」「知る」など思考や認識を表す動詞についてはカウントしなかったが、これ らの動詞は「(〜て) いる」の形をとらなくても静的状態を 表しているとも考えられるため、それらの動詞についても 「逆接」「同時進行」のいずれかになりやすいなどの傾向を調 べる必要がある。動詞の種類の詳細に関しては今後の課題と する。

（10）[Arg1 遺家族とあれば一層保護を加うべき任 にあり] ながら、[Arg2 色と慾の二筋道をかけ る〕など実に言語道断です。(454_aozora_Oda1976-2)

a. 一層保護を加うべき任にあるならば、大抵色と慾の二筋道をかけない。

b. 一層保護を加うべき任にあるならば、色と慾の二筋道をかけるべきではない。

## B. 同時進行と逆接の二分類の妥当性 「同時進行」 と「逆接」は相互排他的なものではなく、「同時進行」でもあり「逆接」でもあるケースもある。例え ば、以下の例では「ながら」に「も」が後続する逆接用法であるが、叫んだのは逃げ終わったあ後では なく逃げている最中とも解釈可能である。

(11）[Arg1 逃げていき] ながらも、[Arg2「ひゃあ!」 と叫んだ。]

(421_aozora_Harada-1960)

典型的には「ながら」は同時進行と逆接のいずれ かであるものの、「ながら」の時間性（同時か継起 か）と表現主体の判断（順接か逆接か）はそれぞれ 独立した軸であるため、それらの組み合わせの結果、(ア）「同時・順接」（イ）「同時・逆接」（ウ）「継起・順接」（エ）「継起・逆接」の４ パターンあると の見方 [10] もある。今回のアノテーションにおいて も、上記のような例が見つかることから、同時進行 と逆接という二分類が単純な相互排他的な二つのカ テゴリーではないということが窥える。

c. 対比 逆接は対比の意味も伴っていることが 多く、その二つを切り分けるのは容易ではない（2.3 節)。PDTB-3 においては CONCESSION と CONTRAST の ラベル付けに関する判断基準が決められており、 CONCESSION でもあり CONTRAST でもある場合は、前者を優先してラベル付けすることになっている [14]。

今回のアノテーションにおいても、そのような逆接と対比の切り分けの難しさが窥えた。例えば、以下の例では $\Gamma P$ ならば $Q \perp$ というテンプレートに 当てはめて前提を書き出すと (12a)のようになるが、 そもそも「おだてる」が本心から相手を尊敬して褒 め称えるというよりは、何か下心があってことさら に褒めて相手をいい気分にさせるというニュアンス があることから、前提は不自然に感じられる。

(12)「本土の人って、[Arg1 沖縄をおだて] ながら、 [Arg2 ほんとうはお人好しのバカだと思って るでしょ]」（494_fiction_onna_to_senso) a. 沖縄をおだてるなら、大抵はほんとうは お人好しのバカだと思わない。

b.（表面的には）沖縄をおだて、ほんとう はお人好しのバカだと思っている。

これを純粋な対比であるとすれば、(12b)のよう

に「表面的には」vs.「ほんとうは」、「おだてる」vs.「お人好しのバカだと思っている」という二点にお いて対立する対比の関係と見ることができる。

D. 累加 最後に累加の例を挙げる。

（13）東北大大学院工学研究科の風間基樹教授 （地盤工学・地震工学）は「[ ${ }_{\text {Arg } 1}$ 行政が作る 防災マップを参考にし]つつも、[Arg2 普段 から地域の地形的特性を把握して、非常時 の対策を考える必要がある]」と指摘する。

(27_news_KAHOKU_184;K201406140A0T10XX00001)

a. 行政が作る防災マップを参考にするな ら、大抵は普段から地域の地形的特性を 把握して、非常時の対策を考える必要 がない。

b. 行政が作る防災マップを参考にして、そ してそれだけではなく普段から地域の地形的特性を把握して、非常時の対策を考 える必要がある。

上記の例では、テンプレートに当てはめただけの 前提 (13a) は不自然であり、(13b) のように累加の意味があると考えたほうが自然に解釈できる。

逆接と累加の関係については、例えば、英語の接続詞 butで接続された節の後件に累加的表現の $t o o$ が現れうることが知られており、tooの持つ前提が どのように but の表す前提や前件の意味と相互的に 作用するのかについての研究がある [5]。今回のア ノテーションでも、逆接と累加とが言語学的に興味深い関係を示す例が見られた。

## 5 おわりに

本研究では、前提される推論という観点から、談話関係が曖昧である「ながら」「つつ」という接続表現に着目し、逆接の談話関係アノテーションを行っ た。前提される推論を明示的に書き出すことで、逆接の談話関係とその用法の広がりが明らかになっ た。今後の課題としては、「が」「のに」など様々な 逆接・譲歩の意味を伴う接続表現を対象としたアノ テーションを行うことなどが考えられる。

## 謝辞

本研究は、JST CREST、JP-MJCR2114 の支援を受

けたものである。

## 参考文献

[1] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[2] 岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語談話関係解析：タスク設計・談話標識の自動認識・コー パスアノテーション. 自然言語処理, Vol. 27, No. 4, pp. 889-931, 2020.

[3] 衣畑智秀. 日本語の「逆接」の接続助詞について: 情報の質と処理単位を軸に. 日本語科学, Vol. 17, pp. 47-64, 2005 .

[4] Mitsuko Narita Izutsu. Contrast, concessive, and corrective: Toward a comprehensive study of opposition relations. Journal of Pragmatics, Vol. 40, pp. 646-675, 2008.

[5] Grégoire Winterstein. What but-sentences argue for: An argumentative analysis of but. Lingua, Vol. 122, No. 15, pp. 1864-1885, 2012.

[6] 野矢茂樹.「しかし」の論理. 言語, Vol. 32, No. 3, 2003.

[7] 坂原茂. 日常言語の推論. 東京大学出版会, 1985.

[8] 小泉保. 譲歩文について. 言語研究, Vol. 91, pp. 1-14, 1987.

[9] 日本語記述文法研究会. 現代日本語文法 6. くろし お出版, 2008.

[10] 村木新次郎. 語彙論と文法論と.ひつじ書房, 2019.

[11] Rashmi Prasad, Bonnie Webber, and Aravind Joshi. Reflections on the Penn Discourse Treebank, comparable corpora, and complementary annotation. Computational Linguistics, Vol. 40, No. 4, pp. 921-950, 2014.

[12] Bonnie Webber, Rashmi Prasad, Alan Lee, and Aravind Joshi. The Penn Discourse Treebank 3.0 annotation manual, 2019. University of Pennsylvania.

[13] Ed Kainoki. The Kainoki Treebank - a parsed corpus of contemporary Japanese, 2022. https://kainoki. gi thub. io (accessed September 2022).

[14] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

## 付録

Kainoki Treebank のツリーの例を以下に示す。

ID@Kainoki_185_essay_Hepburn_no_shoogai_to_nihongo2

女性が事務能力を発揮しつつ、一家の中心となって 働くさまは、日本の少年少女たちを驚かせた。

図 1 Kainoki Treebank のツリーの例

各分類ラベルが付与された言語的特徴の統計情報を以下に示す。

表 2 アノテーション結果の言語的特徴


# Automatic Classification of Japanese Formality

Pin-Chen Wang ${ }^{1}$ Edison Marrese-Taylor ${ }^{1,2}$ Machel Reid $^{1,3}$ Yutaka Matsuo $^{1}$
${ }^{1}$ The University of Tokyo, ${ }^{2}$ AIST, ${ }^{3}$ Google Research
\{wangpinchen, emarrese, matsuo\}@weblab.t.u-tokyo.ac.jp
machelreid@google.com

## 概要

In this paper we propose a novel approach to automatically classify the level of formality in Japanese text, using three categories (formal, polite, and informal). We introduce new datasets that combine manually annotated sentences from existing resources, and a great number of formal sentences scrapped from the Japanese Congress. Based on our data, we propose a Transformer-based classification model for Japanese formality which obtains stateof-the-art results in benchmark datasets, as well as on our newly-introduced corpus, showing the effectiveness of our proposed approach.

## 1 Introduction

Formality or honorifics refers to the level of politeness and respect indicated by the contents, which is a core part of natural language as it indirectly shows how critical the current situation is, one's social rank and status, and also the relation of the people involved in that conversation or any written tasks. However, while many other major languages, including but not limited to English, French, and Mandarin Chinese emphasize formality through the use of standard grammar, more complicated sentence structures (active, passive, use of clauses, etc.), or more advanced and complex choice of vocabulary and phrases, as a society that respects and values etiquette, the Japanese language has its own formality system in order to create specified honorific expressions. This Japanese formality system or Keigo (敬 語) is strict and follows a standard grammar format to convert all sentences from one style to another while maintaining the original meaning, word choice, and sentence structure.

Unlike English or other European languages, Japanese formality requires users to identify the status or the relationship with the interlocutor. Japanese honorifics indicate the level of social rank and the hierarchy of the interlocutor or the intimacy one is with that certain person [1]. The crucial point that makes the Japanese formality system stand out from many other major languages is that it allows the users to change the formality level of a sentence from informal to a superiorly high level by merely adjusting the tense of the verb [2]. Generally, Japanese formality can be divided into four different categories [2],
- Regular (jyotai, 常体): a form that is often used in but not limited to a daily conversation with only people one is familiar with or people who are in the equivalent social status.
- Polite (teineigo, 丁寧語): a form that is generally used throughout the whole Japanese society to create some distance between one another. Although this form does not indicate the amount of respect one holds toward others, it helps deliver messages in a polite way that will not be offensive on any occasion.
- Respectful (sonnkeigo, 尊敬語): a form that shows extensive respect, which is used to maximize the preeminence of the interlocutor.
- Humble (sonnkeigo, 謙譲語): a form that specifies humbleness, which is used by the Japanese speakers to minimize their own value in order to highlight the greatness of the interlocutor.

Although grammatically, all the sentences in Japanese can be converted from one formality class to another, the Japanese formality system follows the additional rule [2], where one can always mix the four forms together in one paragraph. The more respectful form one uses in a sentence or a paragraph, the more courtesy one states toward one's interlocutor. Similarly, the more humble form one uses, the more modest one is in the conversation. However, it is also emphasized that when containing too many formal terms in a sentence, the sentence will become annoying and
considered inappropriate regarding the Japanese social rule [2]. Nevertheless, the limitation of the number of formal terms that can be used in a single sentence is so vague that it is impossible to clearly draw a line. The restriction varies depending on the content, length of the sentence, and also the situation of the conversation.

Even if formality control has become a popular task in machine translation, the language models trained for generating appropriate formal sentences are mainly in English or other European languages [3]. To be more specific, although there are numerous English-Japanese parallel corpora for translation tasks as well as formality-classified datasets for some major languages (especially in English), we find a lack of existing resources related to Japanese formality. Moreover, we notice that as generative systems get better at producing sentences in Japanese, we lack mechanisms to automatically determine how well such models can do in terms of adequately generating sentences according to formality levels.

In light of this issue, in this paper, we focus on evaluating and developing resources to work toward a potential solution. We begin by uncovering several flaws, including broken pieces and mislabeling in existing corpora, and introduce a new dataset for Japanese formality that consists of manually labeled sentences (informal, polite, and formal) with examples gathered from some existing sources (IWSLT2022 Special Task on Formality Control for Spoken Language Translation [4] and KeiCO [5]) and also with data extracted from meeting minutes from different committees of the House of Representatives of Japan and the House of Councilors of Japan ${ }^{1)}$ from the year 1947 to 2022 . Then, based on our data, we proposed a Transformer-based classification model for Japanese formality which outperforms any existing classification model for Japanese formality. The models and the corpus are released in this repository ${ }^{2)}$.

## 2 Related Work

Communication by way of natural language often includes indicators for respect, sometimes shown via explicit controls for formality. Consequently, for the task of machine translation where the goal is to accurately translate an input sequence into a target language, Formality-Sensitive

1) https://kokkai.ndl.go.jp/\#/

2) https://github.com/gg21-aping/Japanese-Formality-Corpus
Machine Translation Model (FSMT) [6], which explicitly takes an expected level of formality as input was introduced as a form of control to make the formality levels consistent. Despite this, research on this task is still limited.

To the best of our knowledge, one of the existing corpora for Japanese formality (the annotated contrastive reference translation dataset) was released as a shared task on Formality Control for Spoken Language Translation announced by the International Conference on Spoken language Translation (IWSLT) in 2022 [4]. This dataset released 1,000 parallel English-Japanese sentences for training and 600 parallel sentences for testing. Another recent paper introduces a corpus only for Japanese formality, where 40 native Japanese volunteers were asked to regenerate and annotate new Japanese sentences based on 3,000 original sentences [5]. The KeiCO corpus contains 10,007 examples and consists of the four forms of the Japanese formality system.

Moreover, current studies rely on human assessment or simple models to verify the performance of formality control of a machine translation model. For example, the FSMT for English-French translation [6] conducted a human study in which they assigned translation pairs for human annotators. Neural Machine Translation (NMT) models for Japanese-English translation [7] and EnglishGerman translation [8] depends on rule-based classifiers where they list grammatical rules for the language and classify the input sentence by matching certain syntaxes. In addition, based on the two datasets mentioned above, a BERT-based classifier is proposed with the KeiCO corpus [5] and an XLM-R-based [9] classifier is created for measuring the performance of Pre-trained Multilingual Language Models [10].

## 3 Proposed Approach

We divide the Japanese language into three categories based on the four formality terms and their corresponding applied situations: (1) Informal (for regular tense), (2) Polite (for polite tense), and (3) Formal (for respectful and humble tenses) - we show examples in Appendix A.

## 3.1 Datasets

The size and quality of the datasets are vital requisites to maximize the performance of the machine learning models [11]. Therefore, this study uses datasets from three criteria,

(1) existing corpus, (2) existing corpus with reannotation, and (3) newly introduced corpus. For annotation for the datasets in (2) and (3), we asked 20 to 30 native Japanese (born and raised in Japan) with ages in the range of 20 to 30 years old to annotate the examples into three classes, informal, polite, and formal. All annotators are currently undergraduate or graduate students of the University of Tokyo, Japan. Furthermore, all the annotations are then doublechecked with the Japanese dictionaries by another 3 native Japanese who are also students of the University of Tokyo.

Therefore, we prepare two training sets and two testing sets for all models based on the following dataset mentioned in this section. TrainVI consists of 1,200 examples collected from ReIWSLT2022FC, DAILY, and KoKai with 426 informal sentences, 501 polite sentences, and 273 formal sentences, where testVI has 300 informal sentences, 330 polite sentences, and 370 formal sentences also collected from the same sources. TrainV2 consists of 3,500 examples with 1,200 examples from TrainV1 and another 2,300 examples from the KeiCO corpus, with 989, 1,138, and 1,373 sentences for informal, polite, and formal, respectively. test $V 2$ consists of 2,001 examples randomly seleceted from the KeiCO corpus, with 531, 503, and 967 sentences for informal, polite, and formal, respectively.

KeiCO [5] We randomly selected $20 \%$ of the examples from the original $\mathrm{KeiCO}$ corpus as a test set following the original paper [5] and sample 2,300 examples for training purposes.

ReIWSLT2022FC We reannotate a total of 1,000 examples from the dataset introduced by IWSLT for formality control in 2022 [4] as we realized that the Japanese content is considered not reliable. Some of them are broken sentences, and some of them do not carry an understandable Japanese meaning. Besides, the provided dataset is binary classified, which is not as accurate as this paper expected. Also, we discovered after careful reannotation that 44 out of 1,000 examples are mislabeled. After reannotation, 520 sentences are informal, 464 sentences are polite, and 12 sentences are formal.

DAILY In DAILY, this paper randomly collected Japanese sentences from Japanese news, novels, textbooks, business letters, academic documents, etc. The dataset carries well-balanced three classes with 65,67 , and 68 sentences for the informal, polite, and formal classes, respectively. This dataset provides us with a quick glance at how the formality system works in Japanese and helps make up the classification models in the beginning stage of this research.

KoKai Because of the lack of formal sentences in the early stage of the research, this paper has dedicated itself to finding extremely formal examples. As we noticed that politicians in Japan speak in a superior formal way, this paper collected all the meeting minutes from the Japanese Congress from 1947 to 2022. The sentences and phrases used in the committees are considered formal, or at least polite, with very little informal syntax. There are in total 64,630 sentences with 23,672 paragraphs, excluding 11,805 broken sentences which are mostly the names, dates, or titles of the committees or the list of participants. We also assume that the broken sentences and some of the informal sentences scrapped from the meeting minutes are likely to be interrupted sentences, unfinished sentences, or questions during the interpolation. In order to utilize the KoKai corpus, we randomly selected 1,360 examples of the entire 64,630 examples, and have the annotators give labels to the sentences. As a result, we have 137 informal examples, 760 polite examples, and 463 formal examples.

## 3.2 Models

This paper constructs a rule-based classifier for Japanese formality as the baseline of the study. Then, we built models based on algorithms of logistic regression, naive Bayes, and support vector machine (SVM). Also, as BERT [12] achieved excellent performance in many tasks, we also use our dataset to finetune the BERT base Japanese proposed by Tohoku University [13]. We used AdamW as the optimizer and set the learning rate to $1 \mathrm{e} 5$. While we use nagisa tokenizer [14] for the machine learning classifiers, the transformer model uses the IPA dictionary and tokenizes sequences by the MeCab morphological parser [15].

## 4 Experimental Setup

Since the performance of machine learning models highly depends on the contents of the training data [11], we questioned the results of the models, suspecting whether the model truly learns the terms of the Japanese formality, or whether the model merely learns to draw a line between the situation implied in the contents.

Therefore, we trained our model with two training sets and tested them on another two testing sets. Formal
sentences in TrainVl mainly come from the Japanese Congress, where contents are highly related to politics, education, military, economics, development, etc. On the other hand, formal sentences from TrainV2 consist of both political text and content from diverse situations. Then, we calculate F1 scores for each model to compare their performances. Besides, we also suspect that batch sizes and the number of epochs may affect the result of the performance. Therefore, for the transformer model, we would also like to try training it with different parameters. Lastly, in order to know whether the models truly work, we then compared the accuracy scores of our models with the performances of the Japanese formality classification models so far.

## 5 Results

Here, Transformer VI represents the transformer-based model which is trained on the training set TrainV1, while Transformer V2 is the transformer-based model trained on the training set TrainV2. This paper applies the setup of batch size $=16$ and epochs $=20$ for transformer-based models as this setup proposed a better performance compared to the others. Full results of the parameter studies are displayed in Appendix B. Almost all the models result in performance greater than the baseline, while the transformerbased model reaches an $\mathrm{F} 1$ score of 0.91 for test $\mathrm{Vl}$ and 0.81 for testV2. Results of the performance for all the models have been stated in Appendix C

## 5.1 Perfomance Comparison

To prove that our model is reliable, this thesis compares our performance results with existing Japanese formality classifiers. Table 1 displays the result of comparing the performances tested on the TEST set provided by IWSLT 2022 [4] between our model and the binary classifier tested on the TRAIN set used for pre-trained models [10]. To also convert our model from a multi-class model to a binary class model, we consider the polite class in our model to become formal. Furthermore, table 2 demonstrates the performance comparison between our model and the classifier based on the KeiCO corpus [5]. The F1 score of both models is calculated based on their performance on the test $V 2$. The table suggests that without feeding any examples from the KeiCO corpus to the model during the training process, Transformer $V 1$ is unable to handle sentences created in the $\mathrm{KeiCO}$ corpus. However, after feeding some ex-表 1 Comparison of the Performance of the Models testing on IWSLT test set. (The performance given by the original paper [10] is the performance on the TRAIN set.)

表 2 Comparison of the Performance of the Models testing on KeiCO test set. The "formal" column refers to the accuracy of the model to detect the formal term while the "level" column indicates the performance of detecting the level of honorifics.

amples (apart from the testing set) to the training process, Transformer V2 outperforms the KeiCO classifier with an F1 score of 0.810 over 0.727 .

## 6 Conclusions

Briefly, this paper introduces 2 new datasets (DAILY and KoKai) and a reannotated dataset (ReIWSLT2022) for Japanese formality. Also, we discovered some flaws in the existing dataset that results in unreliable performance. Based on our data, we then report results on mainly 5 models consisting of the knowledge base (rules), algorithms, and neural networks, namely, a rule-based model, logistic regression-based models, naive Bayes-based models, SVM-based models, and transformer-based models. These models carry a state-of-the-art performance that outperforms all the other existing classifiers.

In short, the lack of ability to recognize formal terms, the inaccurate choice of vocabulary and phrases to generate, and the doubtful usage of accurate sentence structure still make it perplexing to achieve the goal of translating appropriate natural languages. Therefore, in light of specifying obstacles in the Japanese formality system, this paper aims to provide detailed and critical instructions to guide further researchers in considering honorifics in Asian societies where etiquette is highly valued.

## 参考文献

[1] Atsushi Fukada and Noriko Asato. Universal politeness theory: application to the use of japanese honorifics. Journal of Pragmatics, Vol. 36, No. 11, pp. 1991-2002, 2004.

[2] 文化審議会. Instruction to japanese formality (敬語 の指針). Technical report, Commissioner for Cultural Affairs, Japan, February 2007.

[3] Xing Niu and Marine Carpuat. Controlling neural machine translation formality with synthetic supervision. Aaai Conference On Artificial Intelligence, 2019.

[4] Maria Nădejde, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, and Georgiana Dinu. CoCoA-MT: A dataset and benchmark for Contrastive Controlled MT with application to formality. In Findings of the Association for Computational Linguistics: NAACL 2022, Seattle, USA, July 2022. Association for Computational Linguistics.

[5] Muxuan Liu and Ichiro Kobayashi. Construction and validation of a Japanese honorific corpus based on systemic functional linguistics. In Proceedings of the Workshop on Dataset Creation for Lower-Resourced Languages within the 13th Language Resources and Evaluation Conference, pp. 19-26, Marseille, France, June 2022. European Language Resources Association.

[6] Xing Niu, Marianna Martindale, and Marine Carpuat. A study of style in machine translation: Controlling the formality of machine translation output. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2814-2819, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7] Weston Feely, Eva Hasler, and Adrià de Gispert. Controlling Japanese honorifics in English-to-Japanese neural machine translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 45-53, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, San Diego, California, June 2016. Association for Computational Linguistics.

[9] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco GuzmÄA ${ }_{i}$, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv: Arxiv-1911.02116, 2019.

[10] Elijah Rippeth, Sweta Agrawal, and Marine Carpuat. Controlling translation formality using pre-trained multilingual language models. In Proceedings of the 19th International Conference on Spoken Language TransIation (IWSLT 2022), pp.327-340, Dublin, Ireland (inperson and online), May 2022. Association for Computa- tional Linguistics.

[11] Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of Machine Learning. Adaptive Computation and Machine Learning. MIT Press, Cambridge, MA, 2 edition, 2018.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[13] Tohoku University,. Bert base japanese. https:// huggingface.co/cl-tohoku/bert-base-japanese, 2019.

[14] 池田大志. nagisa: Rnnによる日本語単語分割・品詞 タグ付けツール. https://qiita.com/taishi-i/items/ 5b9275a606b392f7f58e, 2018.

[15] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

## A Classification Classes

For example, given an original English sentence " $I$ would like to inquire about the schedule of the final exam. We had this conversation earlier that the schedule for my thesis defense overlapped with the exam. I would like to know if there is a possibility that I can take the exam one week after the official exam date.", “期末試験の日程を 聞きたい。修論発表の日程が試験と被っている話を 前したのだが、正式な試験日の一週間後に受ける 形で対応してもらいたい。よろしく。” is considered informal, “期末試験の日程について聞きたいです。修論発表の日程が試験と被っている件について以前話したのですが、正式な試験日の一週間後に受験す るという形で対応してもらえますか。よろしくお願 いします。” is considered polite, and “期末試験の日程 について伺いたいことがございます。修論発表の日程が試験と被っている件について以前お話しさせて いただいたのですが、正式な試験日の一週間後に受験させていただくという形で対応していただくこ とは可能でしょうか。ご検討よろしくお願いいた します。” is considered formal. Colored phrases refer to the tense of the verb for the different categories.

## B Hyper-Parameter Tuning

表 3 Performance on Transformer V1 with different batches and epochs.

 & $\mathbf{0 . 9 5}$ & $\mathbf{0 . 8 9}$ & $\mathbf{0 . 8 7}$ & $\mathbf{0 . 9 0}$ \\

In the case of finding out if adjusting parameters affect the performance result on our dataset when finetuning the transformer-based model, different parameters were fed when training Transformer V1. Table 3 shows the results on the performance of models with different batch sizes and epochs. The size of the training set might be a core factor that results in such F1 scores for each setup. However, a simple hypothesis can be made that compared to polite and formal sentences, it is considerably easier for a model to recognize the informal tense of the Japanese language compared to other honorific levels.

表 4 Performance on all models trained by different versions of the training set.

## C Different Models

Table 4 displays the accuracy achieved by each model with different training sets and being tested with different testing sets. The results demonstrate that overall, all models perform better than the baseline model. However, the average F1 scores on different testing set significantly diverge, for test $\mathrm{VI}$, the $\mathrm{F} 1$ scores moderately increase when TrainV2 is used. When it comes to testV2, the accuracy scores remarkably rocket when training on TrainV2. Recall that almost all the formal sentences in TrainVl come from the Japanese Congress, formal examples are highly politics-related. Hence, this thesis makes the assumption that Transformer VI learns how to determine whether a given input is of a formal content rather than with a formal Japanese term.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語モデルの第二言語獲得

大羽未悠 ${ }^{1}$ 栗林樹生 ${ }^{2,3}$ 大内啓樹 1,4 渡辺太郎 1
}

1 奈良先端科学技術大学院大学 ${ }^{2}$ 東北大学 ${ }^{3}$ Langsmith 株式会社 4 理化学研究所

\{oba.miyu.ol2, hiroki.ouchi, taro\}@is.naist.jp

tatsuki.kuribayashi.e8@tohoku.ac.jp
## 概要

言語モデルの成功を踏まえ，モデルの第一言語 （L1）獲得について，人間の言語獲得を踏まえた分析が行われている. 本研究では第二言語 (L2) 獲得 にスコープを広げた調査を行う，単言語の事前学習済みモデルを L1 話者と見立て，L2コーパスを用い た言語間の転移学習により言語転移をシミュレート し，モデルの文法能力について明らかにする. 実験 では, L1 やその提示方法の違いによって, 第二言語 の文法獲得が異なる影響を受けることを観察した。

## 1 はじめに

近年，言語モデルの言語転移能力に高い関心が寄 せられている。例えば超大規模な英語の言語モデル は，学習データに少量しか存在しない英語以外の言語においても，ある程度知的な振る舞いを示してお り, 英語から他言語へ効率的に言語転移しているこ とを示唆している $[1,2]$. このような言語モデルの 言語転移能力について, 既存研究では， パープレキ シティなどの抽象度の高い指標や応用タスクでの性能に基ついいた調査, 特定の学習済み超多言語モデル を対象とした分析などが行われてきた $[3,4,5]$. 一方で，文法知識の獲得・転移や，言語ごとの転移傾向の違いといった言語学的な観点からの統制された 分析は限られている.

本研究では，言語モデルの言語転移について，第一言語での学習が第二言語の文法獲得にどのように 影響するかを言語横断的に調査する. 具体的には，類型や学習難易度の異なる 4 つの言語（第一言語; L1）を用いて各言語モデルを事前学習した後に，第二言語（英語; L2）を用いて追加の学習を行う. 最後に，モデルの L2 の文法能力に関して文法性判断 ベンチマークを用いて分析する.

自然言語処理的な視点からは, 言語モデルの言語獲得・転移能力について洞察を深める試みと見るこ
L1がL2の文法獲得に影響を与えるか?

図 1 実験手順. 初めに，第一言語（L1）を用いて単言語 の穴埋め言語モデリングを学習する (L1 獲得). 次に L1 とL2を両方用いて既存研究に従った穴埋め言語モデリン グを学習する（L2 獲得） [6]. 最後に，文法性判断ベンチ マーク BLiMP を用いてモデルの文法能力を評価し，L1 が L2 獲得にどのように影響するか調査する。

とができ，計算心理言語学的な視点からは，母語干渉についてシミュレーション的な検証をしていると みなせる．後者について，人間を直接観察する方法 とは相補的な長所がある。例えばあらゆる言語対に ついて，それらを $\mathrm{L} 1 \cdot \mathrm{L} 2$ とする人間を集め，彼らの 言語能力について統制的に分析をすることには限界 があるが，言語モデルでは言語対を増やす・学習の 規模を揃えるといった統制・分析が容易に行える。

まず事前実験にて，追学習における L2 の提示方法を比較し，L2 の文法獲得に適した学習設定を調査する.その後, 本実験では, L1を用いた事前学習 が L2 の文法獲得に及ぼす影響について，言語の異 なりや文法項目の観点から分析する.

実験結果から，人間の言語学習における英語との 乘離が小さい言語での事前学習の方が，英語のモデ ルの文法獲得に良い影響をもたらす傾向や，特定の 言語や文法項目については負の転移を引き起こす場

合があることを確認した．例えば，L2 に特有の文
表 $1 \mathrm{~L} 1$ ・L2として実験で用いる言語の性質. FSI は FSI カテゴリを示し, 值が大きいほど言語学習において英語 との乘離が大きいと想定している。IE はインド・ヨー ロッパ語族を，N-IE はそれ以外の語族を指す。

 &  & 文字 & FSI \\

法項目については，L1での事前学習の効果が低く，時に悪影響を与えることが観察された。

また，人間の L2 習得に準えるといくつか直感に 反する観察も得られ，必ずしも人間の L2 獲得のア ナロジーが通用しないことが示唆された. 例えば,言語モデルの L2 の学習時に, L1 と L2 の対訳を提示する設定では，対訳関係を崩したぺアを提示する 設定よりも，L2 の文法獲得効果が低いことが示され た. 対訳が提示される場合，語彙的な対応関係を根拠に言語モデリング問題を解けることも多く，この 学習負荷の低さが L2 文法獲得効果を下げている可能性がある。一方，人間の言語学習シナリオを踏ま えると，母語との対応関係を提示しないほうが L2 文法獲得が促されるというのは直感とは相違する.

## 2 実験手順

実験手順を図 1 に示す.まず L1 獲得を想定し，言語モデルを L1 の単言語コーパスで事前学習する。次に，L2 獲得を想定し，事前学習済みモデルを L2 （英語）を含むコーパスで追学習する. 最終的に，言語モデルの文法性判断ベンチマーク（BLiMP）[7]を 用いて，L2 におけるモデルの文法能力を評価する. この大枠を基に, L2 学習時の設定の違いや, L1 の 異なり，L1 による事前学習の有無などが，L2 の文法獲得に及ぼす影響について実験を行う（3，4 節）。

L2 には英語を使用し，L1 はフランス語，ドイ ツ語，ロシア語，日本語の 4 言語を調査対象とす る（表 1）。これら 4 言語は，アメリカ外交官養成局が報告する英語母語話者にとっての習得難易度 （FSI カテゴリ）の観点で異なり，設定の多様性の 観点から，各カテゴリにつき 1 言語ずつ採用してい る. ${ }^{1)}$ フランス語, ドイツ語, ロシア語, 日本語の

順で習得が難しくなる。また，既存研究に従い [6], Transformer ベースの双方向言語モデルを採用し，八 イパーパラメータを定めた（付録参照；表 4）。

## 2.1 L1 獲得

マスク穴埋め言語モデリング（MLM; Masked Language Modeling）[6,8]で学習を行う. 各言語に ついて，CC-100 からサンプルしたおよそ 100M 語の 単言語コーパスを用いた $[9,10]$. 人間の言語獲得に 準え，人間がおよそ 10 歳までに読む単語数 $(100 \mathrm{M}$語）と規模を揃えている.

## 2.2 L2 獲得

多言語を扱うモデルの既存研究 [6] を参考に，L1 と L2 のコーパスを両方用いる設定を想定する. MLM に加え， TLM（Translation Language Model）も 使用する．事前実験（3節）では，MLM や TLM を 用いた学習設定の文法獲得への影響を調査する。

コーパスとして， Tatoeba ${ }^{2)}$ の仏英，独英，露英，日英ペアを使用する。Tatoeba は外国語学習者向け の例文とその翻訳からなる多言語対訳コーパスであ る. 各言語ぺアのうち最も文数が少ない言語ぺアに 合わせて 211,714 ペアを用いた。

## 2.3 評価

モデルの文法能力を測定するデータセットとして BLiMP [7]を用いる．BLiMP は英語の文法能力を評価対象とし，文法項目ごとに 12 の中分類，67 の小分類からなる. 小分類ごとに文法的に容認可能な文 と不可能な文のペアが 1000 ペアずつ含まれており，本研究では中分類（以降は文法項目と記す）ごとの スコアとそれらのマクロ平均を報告する．以下は 「照応の一致」という項目のぺアの例である。（1a) は容認可能な文であるが，(1b）は herself の参照先 が存在せず容認不可能な文である.

(1a) Many teenagers were helping themselves.

(1b)* Many teenagers were helping herself.

各文の単語を 1 単語ずつマスクして言語モデルに 入力し, 各単語の確率の相乗平均を求め, 容認可能 な文と不可能な文のペア全体のうち，前者に高い確率が付与されたぺアの割合を計算することで文法性判断スコアを得る.

して転移元・先の対称性を一旦仮定し，該当言語から英語へ の転移の難しさの議論に持ち出している.

2) https://opus.nlpl.eu/Tatoeba.php
表 2 L2 の学習設定の異なりが文法能力の獲得に及ぼす 影響．值は文法性判断スコアを示す。対訳の、は，対訳関係のあるコーパスを用いたことを示す。切替における $\checkmark$ は，L1 側の文を使用するか否かをエポックごとに切り 替えて入力したことを表す。

## 3 事前実験: L2 の提示方法

初めに，L2 の学習設定による帰納バイアスを調查する. 既存研究では, 多言語モデルの学習時に対訳を入力しているが，この設定が文法性判断能力の 獲得に与える影響を事前に確認する．具体的には，追学習時に，対訳を入力する設定（TLM のみ [6]）,対訳関係を崩して入力する設定（MLM のみ $[6,8]$ ), L2 の文に対し，対訳関係のある L1 の文を連結す る・しないをエポックごとに切り替えて，TLM と MLM を組み合わせる設定（MLM+TLM）の3つを 試す．実験設定の詳細は付録 A に記す。

対訳関係の有無の比較（表 2, 1 行目と 2 行目の 比較）から，TLM のみの設定では MLM のみの設定時よりも L2 の文法獲得の効果が低いことがわかっ た．TLM の学習では，対訳関係を使用できるため， ソース言語のマスクした単語に紐づくターゲット言語の単語の訳を出力するだけで問題が解ける場合も 多い。一方，MLM の学習では，対訳関係を使用で きないので，より高負荷な問題を解かせていること に相当し，L2 の文法的理解を促した可能性がある.

また，MLM+TLM設定においてモデルの文法獲得 が最も促された. MLM とTLMが相補的に良い影響 を与えた可能性のほか，L2 の文法能力を評価する 際は L2 の文を単体で入力しており，学習時にも L2 の文が単体で入力される設定を採用することで，学習と推論の設定の乘離を縮められた可能性がある.以降の実験では，MLM+TLM の設定を採用する。

## 4 実験: L1 の影響

事前学習で用いた L1 の違いがモデルの L2 獲得に 与える影響を調査する. 各L1の単言語コーパスを 用いた事前学習を行うか否かで文法能力を比較す る. 追学習終了時の文法能力を表 3 に示す.全ての言語に見られる傾向: 表 3 はL1の事前学習 が L2 の文法獲得に与える傾向を示している，各文法項目におけるスコアのマクロ平均 OVERALL の事前学習の有無によるスコア差 $\Delta$ から， 4 言語全てに おいて，L1 での事前学習により文法能力が向上し ていることがわかる。言語間で差はあるが，L1 で の事前学習は L2 の文法獲得に好影響を促すことが 示唆された。

各文法項目におけるスコアの変化に着目すると， IRR. FORM（動詞の不規則活用）については，相対的に事前学習が悪影響を及ぼしていることが分か る. IRR. FORM では，例えば以下の（6a）は容認可能な文で，（6b）は容認不可能な文となる.

(6a) The forgotten newspaper article was bad.

(6b)* The forgot newspaper article was bad.

この例では動詞 “forget”の過去分詞形が “forgotten”で あることなどが問われている. 正しい判断のために は英語固有の動詞の活用を覚える必要があり, 英語以外の言語での事前学習が良い影響を与えないとい う結果は直観的であると言える。なぜドイツ語の設定においてより強い悪影響が観察されたかに関して は，今後の分析課題としたい.

言語の異なりがもたらす傾向: 表 3 の各文法項目 におけるスコアのマクロ平均 OVERALLを言語間で 比較すると，フランス語が最も高く，ドイツ語が僅差で続き，日本語，ロシア語はこれら 2 言語とは大 きく差が開いている. フランス語とドイツ語での事前学習は, 日本語とロシア語よりもはるかに英語の 文法獲得に効果的であることがわかった. このよう な結果は，言語間の文字体系（表 1 を参照）の類似 と関わる可能性がある。また，表 1 の FSIを参照す ると，人間の習得はフランス語，ドイツ語，ロシア 語, 日本語の順に難しくなることから, FSI の傾向 がある程度は言語モデルでも観察された. L1 にお ける L2 習得の難しさは，言語モデルと人間でおお よそ類似していることが示唆される。

文法項目ごとのスコアから, L1 ごとに得意・不得意な文法項目が異なることが分かる。例えば，フィ ラー・ギャップ依存関係 (FILLER-GAP) では, 同じ SOV 語順の言語間でも，ドイツ語と日本語モデルで 3.7 ポイントの差が生じており，言語現象の類似・相違性と一貫している. フィラー・ギャップ依存関係は，例えば以下の（2a）は容認可能な文で（2b）
表 3 L1 の事前学習や言語の異なりが L2 の文法獲得に与える傾向. OVERALL は各文法項目のスコアのマクロ平均を表 す.L1の、は，L1の単言語コーパスを用いて事前学習したことを示す. $\Delta$ は事前学習の有無によるスコア差である．値 が大きいほど，事前学習が文法獲得に対してより良い影響を与えたことを示す.

は容認不可能な文といった判断を課す問題設定に対応している.

(2a) Joel discovered the vase that Patricia took.

(2b)* Joel discovered what Patricia took the vase.

例えば，（3a）から（3b）のように格要素を移動し て従属節を作る際，英語ではギャップ（移動前の位置，記号「_-_の箇所）がフィラー（移動先，[the student]）の後ろに位置することが多い.

(3a) The teacher advised [the student].

(3b) [The student] the teacher advised .-- were smart. ドイツ語でも同様の位置関係になるが，日本語では （4a-b）のように逆となる.

（4a）先生が [学生に] アドバイスした.

（4b）先生が__-アドバイスした [学生は] 賢かった. このように, 日本語-英語間で各要素の移動先に違 いがあり, 日本語で事前学習したモデルが英語の フィラー・ギャップ依存関係の学習に苦戦する理由 のひとつになっていると考えられる。

## 5 関連研究

「ニューラルモデルはテキストデータのみから人間の言語獲得を模倣できるのか」. この問いに取り 組んだ研究は 1980 年台に始まり, 先天的な知識な しに言語獲得は可能かという問いや，コネクショニ ズムの可能性・限界の観点から，議論が繰り広げら れてきた $[11,12]$. 当初は簡易的なニューラルモデ ルを用いて議論が広げられたが，近年ニューラルモ デルを用いた自然言語処理が目覚ましい進展を遂 げ [13]，ニューラルネットワーク黎明期に認知科学分野が掲げた問いへ再訪する動きが高まってい る $[14,15]$. 近年盛んに行われているニューラルモ デルの言語知識の分析（プロービング）は，そのよ うな一連の議論の延長線上にある $[16,17]$. 既存研究では L1 の獲得に注目が置かれてきたが，本研究 ではニューラル言語モデルの第二言語獲得の傾向を 分析しており，多言語モデリングという工学的道具立ての性質の理解と共に, 人間の言語転移・第二言語獲得における母語干渉などへの計算機的なアプ ローチを見据えている.

言語転移については, 言語間の転移学習により構文知識や文法誤り知識を転移することで，構文解析 [18] や文法誤り訂正 [19] などの下流タスクに活用 する研究がなされている. 人工言語を用いた言語転移の研究も行われてきており，楽譜や括弧からなる 系列といった言語以外の系列からの転移や $[3,20]$,自然言語を規則的に編集することで得られた言語か らの転移なども分析されている [4]. 本研究は，よ り人間の学習に条件を近づけた設定で，言語モデル のL1のL2への影響やその過程を調査し，言語間の 転移能力について分析している.

## 6 おわりに

本研究では，言語モデルの言語転移について，第二言語における文法獲得への影響という観点から調査を行った. その結果として, L1 は L2 の文法獲得 に対し全体的には好影響を与えるが，言語や文法項目に依存し，負の転移を引き起こす場合もあること がわかった. 今回得られた結果に対する言語学的観点からの考察の充実化や，より多くの言語を用いた 検証を今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, et al. Language models are multilingual chainof-thought reasoners. arXiv preprint arXiv:2210.03057, 2022.

[3] Isabel Papadimitriou and Dan Jurafsky. Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6829-6839, Online, November 2020. Association for Computational Linguistics.

[4] Ameet Deshpande, Partha Talukdar, and Karthik Narasimhan. When is BERT multilingual? isolating crucial ingredients for cross-lingual transfer. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3610-3623, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Terra Blevins, Hila Gonen, and Luke Zettlemoyer. Analyzing the mono- and cross-lingual pretraining dynamics of multilingual language models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 3575-3590, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[6] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for
Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[10] Guillaume Wenzek. Ccnet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 40034012, Marseille, France, May 2020. European Language Resources Association.

[11] David E Rumelhart and James L McClelland. On learning the past tenses of english verbs. In Parallel distributed processing: Explorations in the microstructure of cognition, pp. 216-271. MIT Press, Cambridge, MA, 1986.

[12] Steven Pinker and Alan Prince. On language and connectionism: Analysis of a parallel distributed processing model of language acquisition. Cognition, Vol. 28, No. 1, pp. 73-193, 1988.

[13] Christopher D. Manning. Last words: Computational linguistics and deep learning. Computational Linguistics, Vol. 41, No. 4, pp. 701-707, December 2015.

[14] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting pinker and prince (1988) and the past tense debate. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 651-665, 2018.

[15] R Thomas McCoy, Robert Frank, and Tal Linzen. Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks. In In Proceedings of the 40th Annual Conference of theCognitiveScienceSociety, pp. 2093-2098, Madison, WI, 2018.

[16] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[17] Alex Warstadt and Samuel R. Bowman. Can neural networks acquire a structural bias from raw linguistic data? In In Proceedings of the 42nd Annual Meeting of the Cognitive Science Society, 2020 .

[18] Wasi Ahmad, Haoran Li, Kai-Wei Chang, and Yashar Mehdad. Syntax-augmented multilingual BERT for cross-lingual transfer. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4538-4554, Online, August 2021. Association for Computational Linguistics.

[19] Ikumi Yamashita, Masahiro Kaneko, Masato Mita, Satoru Katsumata, Imankulova Aizhan, and Mamoru Komachi. Grammatical error correction with pre-trained model and multilingual learner corpus for cross-lingual transfer learning. Natural Language Processing, Vol. 29, No. 2, pp. 314-343, 2022.

[20] Ryokan Ri and Yoshimasa Tsuruoka. Pretraining with artificial language: Studying transferable knowledge in language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[21] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[22] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5523-5539, Online, July 2020. Association for Computational Linguistics.
表 4 ハイパーパラメータ

## A 実験設定

L1 獲得トークナイザとして日本語は kytea3)を，フラ ンス語とドイツ語とロシア語は mosesdecoder [21] を使用 し, fastBPE ${ }^{4}$ でサブワード分割を行った. 語彙数は 14,000 を設定した。ハイパーパラメータは表4 記載している。

L2 獲得3 節の TLM は対訳コーパスをそのまま用い た対訳関係のある設定，MLM はコーパスの片方の言語 をシャッフルして対訳関係を崩した設定，MLM＋TLM は L2 側の文へ対訳関係のある L1 側の文を連結する・し ないをエポックごとに切り替える設定である。これらの モデルの MLM は, Conneau ら [6] の提案モデルを使用し ている (図 2 上部)，言語埋め込みを使用し，入力文を全 て連結し 256 トークンごとに切断した文を入力する. た だし 2 文を用いた設定の場合は文対を入力する．TLM は Conneau らが提案した MLM の一種である (図 2 下部). MLM とは入力の際に対訳関係のある 2 文を連結する点 で異なる. 単言語コーパスを用いたモデルの BPE の学習 コードと語彙は, 単言語コーパスで使用したものに対訳 コーパスの英語のものを追加し，重複したトークンや語彙を除く方法で作成した. 用いていないモデルでは，対訳コーパスの両方の言語から BPE の学習コードと語彙を 作成した. 埋め込み層を語彙数方向に増やしたことに伴 い，最終層の重み・バイアスも増やしている。サブワー ド分割のためのトークナイザは，英語は mosesdecoder [21] を使用し，他の言語は事前学習と同じ設定である. ラン ダムシードを 3 つ用いて，スコアはその平均を計算した。

図 2 conneau らの提案モデル

図 $3 \mathrm{~L} 2$ 学習中の各エポックにおける文法能力（抜粋）

図4 L2 学習中の各エポックにおける L1 の文法能力

## B 学習過程の分析

## B. 1 L2 の文法獲得過程

L2 学習の過程を分析するため, 追学習時の各エポック における文法能力を評価（図 3）した. ${ }^{5}$ OVERALL から，学習を重ねることによりおおむね文法能力が向上するこ とが示唆される．L1 の異なりの影響について，例えば IRREGULAR（動詞の不規則活用）では，追学習初期段階 では L1 ごとに性能が大きく異なるが，L2 の継続的な学習 によりそれらの差異は縮まっている。一方で，BINDING （束縛）のように，どの言語もスコアが横ばいまたは低下傾向のある項目も存在する。

## B. 2 L2 の文法獲得の L1 への影響

L2 文法の獲得時における L1 の文法能力の変化につ いて調査を行う. L2 学習時の B. 1 節と同様のエポック におけるL1（フランス語，ドイツ語，ロシア語）の文法能力を評価した (図 4 上部). 文法能力を測るために, CLAMS [22] という多言語の文法能力評価データセットを 用いる．L2を含む追学習をおこなった場合，フランス， ドイツ語では一時的に好影響，ロシア語では悪影響を受 けた，どの言語も文法能力が減少する傾向にある。

アブレーションとして，L1のみで追学習を行う実験も 試した (図 4 下部). 全体の傾向として，スコアはある程度向上した後に横ばいとなる。

これらの傾向は，学習の後半では L2 の学習による L1 の忘却の発生を示唆している. 正則化項の設計などの忘却を緩和するような方法の考案は今後の課題となる。

5） エポック数 $1,2,3,4,5,10,20,30,40,50,100$ の場合をそれぞれ評価した。
3) http://www. phontron.com/kytea/

4) https://github.com/glample/fastBPE


# 範疇文法導出を用いた創発言語の構成性の評価

1 東京大学 2 フリー
\{ryoryoueda, taigarana, yusuke\}@is.s.u-tokyo.ac.jp kkwashio3333@gmail.com

## 概要

本稿では、範疇文法導出 (CGI)を用いて、創発言語の構成性を測る方法を提案する。創発言語は、シ ミュレーション上でエージェント間で発生するコ ミュニケーションプロトコルであり、その構造的性質は重要な研究テーマである。しかし、文法構造や 文法と意味との体系的な関係 (非自明な構成性) につ いてはあまり研究されていない。NLP 分野における CGI に関する先行研究から着想を得て、我々は創発言語に CGIを適用し、更にそれに基づいた構成性 の評価を試みる。CGI は、文と意味のペアのデータ セットに対して、範疇文法と意味解析器を導出する アルゴリズムである。実験により、CGI に基づく指標が実際に構成性を測定できることが示唆された。

## 1 はじめに

ある現象の仕組みを解明したいとき、現象その ものを観察する標準的な方法の他に、その現象の 模倣物を作ることで間接的な解明を試みる構成論的アプローチがあり得る。創発言語 (創発コミュ ニケーション) [1] は、シミュレーション上のエー ジェント間で生じるコミュニケーションプロトコ ル、又はそれを対象とする研究分野を指し、NLP ・計算言語学分野における構成論的アプローチとい える。近年では、深層学習や強化学習の恩恵を受け 再び注目を集めつつある。創発言語と自然言語の間 には、しばしば構造上の乘離が指摘されており、創発言語の構造理解や自然言語とのギャップの解消 が重要な課題である $[2,3]$ 。特に、構成性原理の観点から創発言語の構造を評価することが重要視さ れ、構成性の度合いを測る指標も提案されている。 ここで、構成性とは「単純な意味が組み合わさるこ とによって複雑な意味が構成される」という自然言語の性質である。創発言語の構成性を測る指標とし ては、例えば Topograhic Similarity (TopSim) [4, 5] や

Tree Reconstruction Error (TRE) [6] などがある。しか しながら、既存の構成性評価指標の殆どは、創発言語に平坦な構造を暗に仮定している。即ち、構成的 な創発言語とは、あくまで平坦な単語の羅列に過ぎ ず、文法構造のような階層的な構造をもつわけでは ないと仮定してしまっている。創発言語分野におい ては、平坦な構成性は自明な構成性、階層的な構成性は非自明な構成性と呼ばれる [7]。

本稿では、創発言語の非自明な構成性を評価する ことを目標とする。NLP 分野における範疇文法導出 (CGI) [8] の先行研究から着想を得た我々は、創発言語に CGIを適用し、これに基づく新たな構成性指標を提案する。CGI は、文と論理式のペアから成る (自然言語の) データセットに対して、範疇文法と意味解析器を導出するアルゴリズムである。言語創発分野の標準的な設定である Lewis シグナリングゲー ム [9] では、創発言語はメッセージと意味のペアか らなる集合として定義されるため、CGI アルゴリズ ムをそのまま適用できる。また、CGIには構成性の 度合いを測るのに役立つ良い性質がある。例えば、意味解析における $\mathrm{F}$ スコアや範疇文法の語彙サイズ などが挙げられ、それぞれ CGF C CGL という名前の 評価指標として提案する。実験の結果、我々の提案指標は既存の代表的な構成性指標と有意な相関を示 し、実際に構成性指標として機能していることが示唆された。他方で、いくつかの具体例から伺えるよ うに、我々の指標は創発言語の文法構造 (非自明な 構成性) についてょり深い洞察を与えることができ るものである。より複雑な設定における創発言語を 対象に CGIを適用し、提案指標の有用性を明確にし ていくのが今後の課題である。

## 2 背景: 創発言語

言語の創発をシミュレーションするためには、 エージェントを取り巻く環境を定義する必要があ る。当分野では、Lewis シグナリングゲーム [9] あ るいはその派生形が頻繁に用いられる。

## 2.1 環境設定: シグナリングゲーム

シグナリングゲームには、送信者 $S$ と受信者 $R$ と 呼ばれる 2 人のエージェントのみが登場し、 $S$ から $R へ の 一$ 方向通信のみが許される。各プレイにお いて、 $S$ は大力 $i$ を 1 つ受け取り、メッセージ $m$ に 変換する。続いて $m$ を受け取った $R$ は、元の $i$ が 何であったかを推測する。この推測が当たってい ればゲームは成功である。より形式的には、以下 のように表せる。シグナリングゲームとは、(有限 の) 入力集合 $I$ 、(有限の) メッセージ集合 $\mathcal{M}$ 、送信者 $S: \mathcal{I} \rightarrow \mathcal{M}$ 、受信者 $R: \mathcal{M} \rightarrow I$ から成る 4 つ組 $(I, \mathcal{M}, S, R)$ であり、ゲームの目標は全ての $i \in I$ に ついて $i=R(S(i))$ を成り立たせることである。 $S, R$ は殆どの場合ニューラルネットワークで表現され、最適化の対象となる。I は画像データから抽象的な 人工データまで様々あり得る。从 はしばしば固定長離散系列の集合として表現される：

$
\mathcal{M}:=\left.\{a_{1} \cdots a_{L} \mid a_{i} \in \mathcal{A}\right.\}
$

ここで $\mathcal{A}$ は有限アルファベット、 $L$ は長さである。

## 2.2 創発言語の構成性指標: TopSim

創発言語と自然言語の類似や乘離を考える上で、構成性は特に重要視されている性質である。これま でに創発言語の構成性を測るための指標がいくつか 提案されてきた。ここでは最も代表的な指標である Topographic Similarity (TopSim) [4, 5] を紹介する。

$(\mathcal{I}, \mathcal{M}, S, R)$ をシグナリングゲームとする。便宜上各 $i, j \in \mathcal{I}$ には順序 $i<j$ が定まっているとする。 さらに、入力集合 $I$ とメッセージ集合 $\mathcal{M}$ には、そ れぞれ距離 $d_{I}: \mathcal{I} \times \mathcal{I} \rightarrow \mathbb{R}_{\geq 0}, d_{\mathcal{M}}: \mathcal{M} \times \mathcal{M} \rightarrow \mathbb{R}_{\geq 0}$ が定まっているとする。このとき、TopSim は以下 の (多重) 集合上のスピアマン相関係数として定義さ れる：

$
\left.\{\left(d_{\mathcal{I}}(i, j), d_{\mathcal{M}}(S(i), S(j))\right) \mid i, j \in \mathcal{I}, i<j\right.\} .
$

TopSim の直感はこうである：もし (創発) 言語が構成的ならば、相異なる 2 つの意味 $i, j$ が類似してい れば対応するメッセージ $S(i), S(j)$ も類似している はずであるし、意味が類似していなければ対応する メッセージも類似していないはずである。

## 3 背景: 範疇文法導出

本稿で用いる文法形式は範疇文法 (CG) $[10,11,12]$ と呼ばれるものである。CG は語彙化文法の一種で
あり、語彙項目と順・逆適用規則と呼ばれる最小限 の文法規則によって文法構造を説明できるという仮定の下に成り立っている点に特徵がある。

## 3.1 文法形式: 範疇文法

語彙項目とは、単語 $w$ ・カテゴリ $X$ ・論理式 $\psi$ か ら成る 3 つ組 $w \vdash X: \psi$ である。カテゴリは構文の 型を表す概念であり、原始的なカテゴリ $\mathrm{N}, \mathrm{S} 、$ あ るいは $X, Y$ をカテゴリとして複合的なカテゴリ $X / Y, X \backslash Y$ のいずれかの形を取る。文脈自由文法に おける非終端記号に対応するような概念である。こ こで、Nは名詞、Sは文に対応する構文型である。1)順・逆適用規則は以下のように定義される:

$
\begin{array}{lll}
X / Y: f \quad Y: a & \Rightarrow & X: f(a) \\
Y: a \quad X \backslash Y: f & \Rightarrow \quad X: f(a)
\end{array}
$

一例として以下の文と論理式の組について考える:

"John likes Mary" \& LIKE(MARY, JOHN)

これに対応する語彙項目は以下のように表せる:

John $\vdash \mathrm{N}:$ JOHN, Mary $\vdash \mathrm{N}$ : MARY,

 &  \\

likes $\vdash \mathrm{S} \backslash \mathrm{N} / \mathrm{N}: \lambda x . \lambda y . \operatorname{LIKE}(x, y)$.

これらの語彙項目と順・逆適用規則を用いること で、以下のような導出木が得られる:

$\mathrm{CG}$ による導出は意味解析器としても使えるのが特徵である。上の例では、“John likes Mary” の構文木 が作られると同時に、論理式 LIKE(MARY, JOHN) が導 かれている。

## 3.2 範疇文法導出

語彙項目の集合 $\Lambda$ が与えられたとき、 1 つの文 $m$ に対する導出木 $\tau$ や論理式 $\psi$ は複数通りあり得る。 そこで、素性関数 $\boldsymbol{\phi}(m, \tau, \psi)$ と学習可能なパラメー タベクトル $\boldsymbol{\theta}$ を用いて、CG の対数線形モデルを考 える。即ち、文 $m$ が与えられたとき、導出木 $\tau$ と論理式 $\psi$ の同時確率を以下のように定義する:

$
P(\tau, \psi \mid m ; \boldsymbol{\theta}, \Lambda):=\frac{e^{\boldsymbol{\theta}^{\top} \boldsymbol{\phi}(m, \tau, \psi)}}{\sum_{\left(\tau^{\prime}, \psi^{\prime}\right)} e^{\boldsymbol{\theta}^{\top} \boldsymbol{\phi}\left(m, \tau^{\prime}, \psi^{\prime}\right)}} .
$

1）名詞句のカテゴリ NP も頻出するが、タスク (文法導出) 及 び対象 (創発言語) に鑑み、本論文では使用しない。

このとき、文・論理式のペアから成るデータセッ ト $\mathcal{E}:=\left.\{\left(m^{j}, \psi^{j}\right)\right.\}_{j=1}^{N}$ を入力として受け取って、語彙目録 $\Lambda$ やパラメータベクトル $\boldsymbol{\theta}$ を推定するのが範疇文法導出 (CGI) と呼ばれるタスクないしはアルゴリ ズムである。2) Zettlemoyer ら [8] が最初に CGI を定式化して以来、提案されてきた CGI アルゴリズムに はいくつかバリエーション $[13,14,15,16,17]$ がある が、概ね以下の疑似コードのような共通構造をもつ:

疑似コードに示したように、CGI アルゴリズムに おける主な計算過程は以下の 5 つである:

1. InItLEx: 最初の語彙項目の集合 $\Lambda_{0}$ を求める。

2. InItPARam: 初期パラメータ $\theta_{0}$ を求める。

3. UpdateLex: 新たな語彙項目を追加。

4. UpdateParam: SGD 等でパラメータを更新。

5. PrunELex: 不要な語彙項目を削除。

## 4 構成性指標としての範疇文法導出

本節では、CGIに基づいた、創発言語の新たな構成性指標 CGF と CGL を提案する。CGI には、創発言語の構成性を測るのに役立つ良い性質が備わつ ている。特に、2つの性質に着目し、それらに基づ き CGF・CGLを定義する。1つ目は、CGベースの 意味解析を実行した際に得られる $\mathrm{F}$ スコアである。 これは言語の systematicity や productivity [18]、つま り、既存の語彙項目を組み合わせて新規の意味表現 を生み出す能力をどの程度備えているかを示す指標 になると期待できる。2つ目は、導出された CGの 語彙項目の数 (語彙サイズ) である。これは言語が CG によってどの程度簡潔に記述可能かを示し得る。

即ち、CGL は少数の要素から如何に多様な表現を生 み出せるかを間接的に測るものであり、 systematicity や productivity に関連する指標であるといえる。

## 4.1 CGF と CGL の定義

$\mathcal{E}_{\text {train }}, \mathcal{E}_{\text {dev }}, \mathcal{E}_{\text {test }}$ をそれぞれ CGI アルゴリズムに おける訓練・検証・評価用データセットとする。 $\mathcal{E}_{\text {train }}, \mathcal{E}_{\mathrm{dev}}$ を用いて語彙目録 $\Lambda$ とパラメータ $\boldsymbol{\theta}$ を推定し、 $\mathcal{E}_{\text {test }}$ を用いて F スコアを計算するものとす る。このとき、 $\mathrm{CGF}$ ・CGLを以下のように定義する:

$
\mathrm{CGF}:=\mathrm{F} \text { スコア }, \quad \mathrm{CGL}:=|\Lambda| /\left|\mathcal{E}_{\text {train }}\right| \text {. }
$

定義から $0 \leq \mathrm{CGF} \leq 1$ であり、CGF は 1 に近いほど 構成性を高く評価し、 0 に近いほど低く評価してい ることになる。逆に、CGLは 0 に近いほど構成性を 高く評価し、大きい值を取るほど構成性を低く評価 していることになる。なお、CGLは $\Lambda$ を $\left|\mathcal{E}_{\text {train }}\right|$ で 割った形で定義されているが、これは訓練データが 大きいほど語彙サイズもそれに合わせて大きくなる 傾向にあるためである。

## 4.2 創発言語に CGI を用いる際の留意点

CGI アルゴリズムにはいくつか亜種があるが、ど れを用いるべきかはそれほど自明でない。シミュ レーション上で成り行き任せに創発する言語に対し て、我々には構造に関する事前知識もなく、文法構造に関する教師データもない。それどころか、そも そも創発した言語に (自然言語的な意味での) 文法構造が存在するかどうかすら事前には分からない。従って、単に自然言語に対して高性能を発揮する複雑で新しい CGIアルゴリズムを用いればよいという わけではなく、アドホックさをできる限り除去した シンプルなアルゴリズムを採用することが望まし い。具体的には、以下の点に留意する:

1. 対数線形モデルにおける素性関数 $\phi$ はできるだ けシンプルな形であるべきである。

2. UpdateLex で追加される語彙項目は、人手で設計されたテンプレートに基づくものではなく、自動的に生成されたものであるべきである。

3. 語彙サイズ $|\Lambda|$ は PruneLex によって最小限の 大きさに抑えられるべきである。

これらを同時に満たす手法は我々の知る限りでは存在しない。そこで、1つ目の要請に対しては ZC05 [8] の素性関数を、2つ目の要請に対しては KZGS10 [14]の InitLex, UpdateLex を、3つ目の要請に対して

図 1 CGF-TopSim 間の散布図。各パラメータの組合せ $(\mathcal{I},|\mathcal{A}|, L) \in\left.\{\mathcal{D}_{2}, \mathcal{D}_{3}\right.\} \times\{8,16,32\} \times\{4,8\}$ について 8 回異 なる random seed でエージェントを訓練した。

は ADP14 [17] の PRUNELEX を用いることにした。な お、InitPARAm は KGZS10 に従い、UPdateParam は 殆どの手法で共通して用いられる SGD を用いる。

## 5 シグナリングゲームの設定

シグナリングゲームは 4 つ組 $(\mathcal{I}, \mathcal{M}, S, R)$ のこと であった。CGI を適用しやすくするため入力集合 $\mathcal{I}$ は人工的な論理式の集合 $\mathcal{D}_{k}(k=2,3)$ として定義す る。まず集合 $\mathcal{D}$ を以下のように帰納的に定義する:

1. CIRCLE, TRIANGLE, SQUARE, STAR $\in \mathcal{D}$.
2. $x, y \in \mathcal{D}$ ならば、 $\operatorname{AND}(x, y) \in \mathcal{D}$.

ここで、 $\mathcal{D}_{k}:=\{x \in \mathcal{D} \mid x$ に AND が $k$ 回出現する $\}$ と定義する。メッセージ集合 $\mathcal{M}$ は、有限アルファ ベット $\mathcal{A}$ 上の長さ $L$ の離散系列の集合とする。本論文では $|\mathcal{A}| \in\{8,16,32\}, L \in\{4,8\}$ とする。送信者 $S$ ・受信者 $R$ ともに、GRU [19] ベースの注意機構 [20] 付き encoder-decoder モデルとして表現する。ま た、 $S$ の入力 $i \in \mathcal{I}$ は、ポーランド記法で平坦化す る。最適化の目的関数は入力 $i \in \mathcal{I}$ と受信者の出力 $o \in \mathcal{I}(o \sim R(m), m \sim S(i))$ との Hamming 距離の期待值とし、REINFORCE [21]を用いる。また、TopSim に関しては $d_{I}, d_{\mathcal{M}}$ ともに Levenshtein 距離とする。

## 6 結果

CGF-TopSim 間、CGL-TopSim 間の散布図を図 1、図 2 に示す。図から分かるように、CGF・CGL と TopSim の間には有意な相関関係があり、提案指標 が創発言語の構成性指標として十分機能しているこ とを示唆している。同時に、CGF・CGL が TopSim よりも“厳しい”指標であることが伺える。CGF・ CGL が構成性を高く評価していれば TopSim も構成性を高く評価する傾向にあるが、逆の傾向は弱い。 CGI の帰納バイアスによって、TopSim が比較的高い

図 2 CGL-TopSim 間の散布図。各パラメータの組合せ $(\mathcal{I},|\mathcal{A}|, L) \in\left.\{\mathcal{D}_{2}, \mathcal{D}_{3}\right.\} \times\{8,16,32\} \times\{4,8\}$ について 8 回異 なる random seed でエージェントを訓練した。

ものの中でも取分け構成性の度合いの高い言語が識別されている可能性がある。3）また、ある創発言語 から得られた導出木の具体例を図 3 、図 4 に示す。導出木から、例えば “2” は SQUARE に関連した記号で あることが伺える。対照的に、“3”や“6”は AND の みを含む抽象的な記号であることが伺える。このよ うに、導出木を観察することで何かしらの示唆を得 られるのが、TopSim のような既存指標にはない CGI の興味深い特徴であるといえる。

 & $: \lambda x$ S\N &  &  \\

図 3 メッセージ“7 23 2”の導出木。

} &  &  &  \\

図 4 メッセージ“1568”の導出木。

## 7 結論と将来の展望

本稿では、創発言語に範疇文法導出 $(\mathrm{CGI})$ を適用 し、それに基づく新たな構成性の指標を提案した。 これは所謂非自明な構成性に関するより深い示唆を 与えるものであるといえる。しかし、本論文では既存指標との有意な相関といくつかの具体例を示した に過ぎず、提案指標の有用性・優位性を十分に示し たとは言い難い。今後、既存指標が機能しないよう な、より複雑な設定の創発言語を対象にし、提案指標の有用性を明確にする必要がある。

3）ただし、単に CGI が最適解を発見できていない可能性も 否定できない。

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[3] Satwik Kottur, José M. F. Moura, Stefan Lee, and Dhruv Batra. Natural language does not emerge 'naturally' in multi-agent dialog. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pp. 2962-2967. Association for Computational Linguistics, 2017.

[4] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[5] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[6] Jacob Andreas. Measuring compositionality in representation learning. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[7] Shane Steinert-Threlkeld. Towards the emergence of nontrivial compositionality, December 2019. Forthcoming in the journal _Philosophy of Science..

[8] Luke S. Zettlemoyer and Michael Collins. Learning to map sentences to logical form: Structured classification with probabilistic categorial grammars. In UAI '05, Proceedings of the 21st Conference in Uncertainty in Artificial Intelligence, Edinburgh, Scotland, July 26-29, 2005, pp. 658-666. AUAI Press, 2005.

[9] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969.

[10] Mark Steedman. Surface structure and interpretation, Vol. 30 of Linguistic inquiry. MIT Press, 1996.

[11] Mark Steedman. The syntactic process. Language, speech, and communication. MIT Press, 2000.

[12] 尸次大介. 日本語文法の形式理論-活用体系・統語構造・意味合成- 日本語研究叢書 (フロンティアシ リーズ）.くろしお出版, 2010.

[13] Luke S. Zettlemoyer and Michael Collins. Online learning of relaxed CCG grammars for parsing to logical form. In EMNLP-CoNLL 2007, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, June 28-30, 2007, Prague, Czech Republic, pp. 678-687. ACL, 2007.
[14] Tom Kwiatkowski, Luke S. Zettlemoyer, Sharon Goldwater, and Mark Steedman. Inducing probabilistic CCG grammars from logical form with higher-order unification. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP 2010, 9-11 October 2010, MIT Stata Center, Massachusetts, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1223-1233. ACL, 2010.

[15] Tom Kwiatkowski, Luke S. Zettlemoyer, Sharon Goldwater, and Mark Steedman. Lexical generalization in CCG grammar induction for semantic parsing. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, EMNLP 2011, 27-31 July 2011, John McIntyre Conference Centre, Edinburgh, UK, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1512-1523. ACL, 2011.

[16] Yoav Artzi and Luke Zettlemoyer. Weakly supervised learning of semantic parsers for mapping instructions to actions. Trans. Assoc. Comput. Linguistics, Vol. 1, pp. 49-62, 2013.

[17] Yoav Artzi, Dipanjan Das, and Slav Petrov. Learning compact lexicons for CCG semantic parsing. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1273-1283. ACL, 2014.

[18] Dieuwke Hupkes, Verna Dankers, Mathijs Mul, and Elia Bruni. Compositionality decomposed: How do neural networks generalise? J. Artif. Intell. Res., Vol. 67, pp. 757-795, 2020 .

[19] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1724-1734. ACL, 2014.

[20] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[21] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992


# 対話型擬人化エージェントの言語的配慮に対する 受容性の 6 か国異文化比較に関する研究 -クラウドソーシングによる大規模印象調査 3 -

松尾篤 ${ }^{1}$ 宮本友樹 2 片上大輔 1
1 東京工芸大学 2 電気通信大学
e1913122@st.t-kougei.ac.jp miyamoto@uec.ac.jp
katagami@t-kougei.ac.jp

## 概要

本研究では，対話型擬人化エージェントとの対話において，言語的配慮による受容性の文化差に ついて考察することを目的とする. Brown ら [1] によれば，ある発話行為によるフェイス侵害度 は，話者同士の社会的距離（Distance），相対的な力 の差 (Power), 当該文化における負担度（Rank of impositions）によって求まるとされている。つまり, $\mathrm{AI}$ や擬人化システムに対する考え方の違いなども 含めて, ある文化圏では適切に選択された発話方略 も, 別の文化圏では親和性の低い発話になる可能性 がある. 従って, 本研究では擬人化エージェントと の対話において文化による受容性の違いを調査す るために，文化圏や言語が異なる日本，アメリカ，中国，フランス，イギリス，オーストラリアの 6 か 国を対象とした大規模な調査を行う. 調査の結果,国間による受容性の違いが認められ，国によって性別や年齢による影響の度合いに大きな違いが見ら れた。

## 1 はじめに

昨今の人工知能技術の発展により，様々な知的対話システムが開発されている．身近なところではス マートフォンの音声応答アプリケーションである米 Apple 社の Siri をはじめ, Google 社の Google アシス タント，NTT ドコモ社のしゃべってコンシェルな ど，様々な場面において人間とシステム間の対話が 行われている。それに伴い，対話システムに関する 研究も盛んになっている [2][3][4]. 心理的距離や立場を考慮した対話システムの研究として，Brown ら によるポライトネス理論 [1] の発話方略を用いた研究がある.心理的距離や立場を考慮した対話システムとし て，ポライトネス理論 [1] の発話方略を対話システ 么の発話設計に応用し，その受容性を実験的に検証 する取り組みとして，例えば Srinivasan らの研究 [2] においては，ロボットがユーザに対して助けを求め るシチュエーションで，対話相手との心理的な距離 を縮めるポジティブ・ポライトネス・ストラテジー （PPS）を用いる実験条件と対話相手との心理的な距離を維持するためのネガティブ・ポライトネス・ス トラテジー（NPS）を用いる実験条件を設定し印象評価を行った. 実験の結果，PPS が有意に高評価で あった. このように，従来研究ではエージェントに よる言語的配慮が受容性に影響を及ぼすことが示さ れている。

また，これらの言語的配慮に，文化による受容性 の違いを調査した研究がある. 先行研究として片上 らの研究 [3] では，運転支援，家庭内，旅行代理店 の 3 シチュエーションにおいて，PPS と NPS の日米間の印象評価を行った。実験の結果，日米間のエー ジェントを利用しようと思う意向を示す Intention to Use（ITU）における評価の違いが大きく，発話条件 の違いが異文化間の受容性の違いに影響しているこ とが示された。また，片上らの研究 [3] を 6 か国に ついて分析した研究 [4] では擬人化エージェントと の対話に対して日本の印象評価が低く，中国の印象評価が高かった。

本稿では，片上らの研究 [3] を発展させ，6か国 について分析した研究 [4] についてより深い分析と 考察を行っていく．6 か国の異なる文化的背景を持 つ実験参加者を対象として以下 2 つの調査を実施 した.

・調査 1 : 社会に進出するロボットとの対話に関 する受容性の質問紙調査

・調査 2 : マルチモーダル情報を備えた対話型擬人化エージェントとの対話を想定した印象評価.

調査の方法として，クラウドソーシングサービス を用いて実験参加者を募り，オンライン上で質問紙調査を実施する. 本研究では，エージェントによる 言語的配慮に対する受容性の異文化比較研究とし $\tau$, 先行研究 [3] の日本語母語話者とアメリカ英語母語話者に加え，イギリス英語母語話者，オースト ラリア英語母語話者，フランス語母語話者，中国語母語話者の 6 か国を対象とする。 それぞれ募集には SurveyMonkeyを用いる.

## 2 異文化比較調査実験

本研究で行った異文化比較調査実験 [4] の概要に ついて説明する。

## 2.1 実験目的と概要

本実験の目的は， 1 章で述べた調査 1 及び調査 2 を通して対話型擬人化エージェントにおける受容性 の文化差について考察することである．以下に各調査の概要を述べる. なお本調査は, 東京工芸大学研究倫理委員会の承認 (倫理承認番号: 2020-06) を得 て行った.

## 2.1.1 調査 1 ：社会に進出するロボットとの対話に 関する受容性の質問紙調査

固有の擬人化エージェントを指定せずに，社会に 参画するロボット全体に対して抱いている不安印象 を実験参加者に評価してもらう．評価尺度としてロ ボット不安尺度（Robot Anxiety Scale：RAS）[5]を 使用する。 RAS はロボット会話能力不安 (3 項目), ロボット行動特性不安 (4 項目), ロボット対話不安 （4 項目）の3つの下位尺度から構成される. 各項目 は 6 件法（1：全く不安に思わない，2：ほとんど不安に思わない，3：あまり不安に思わない，4: 少し 不安に思う，5：かなり不安に思う，6：非常に不安 に思う）で評価される。

## 2.1.2 調査 2:マルチモーダル情報を備えた対話型擬人化エージェントとの対話を想定した印象評価

対話型擬人化エージェントと対話する想定の動画 を参加者に視聴してもらい，その印象を評価しても
らう。評価には Texhnology Acceptance Model (TAM) [6][7]を使用する。TAM はエージェントが人々に受 け入れられる・拒否される要因を予測することを目的として提案された 5 段階のリッカート法 ( 1 : 全 くそう思わない，2あまりそう思わない，3：どちら とも言えない，4：ややそう思う，5：とてもそう思 う）で評価する心理尺度である.

## 2.1.3 調査に関しての自由記述

調査 1 と調査 2 が終わった後に, 人型エージェン トとの対話について感じたこと, 本調査について感 じたことについて自由記述してもらった。

・設問 1 :「人型エージェントとの対話について感 じたことがあれば自由にお書きください」

・設問 2 :「本調査について感じたことがあれば記入してください」

## 2.2 実験参加者

調査 1 及び調査 2 には， 1 か国あたり 300 人，計 1800 人を募集した. その中から，実験に同意した 参加者の中で，回答に不備があった場合や募集した 国籍と異なっていた場合は分析の対象から除いた 結果，アメリカ人参加者 179 人，イギリス人参加者 230 人，オーストラリア人参加者 225 人，フランス 人参加者 229 人，日本人参加者 267 人，中国人参加者 242 人, 計 1372 人となった.

調査に関しての自由記述では，空欄や特に意見が ないものを分析の対象から除いた結果，アメリカ人参加者 124 人，イギリス人参加者 156 人，オースト ラリア人参加者 145 人，フランス人参加者 151 人，日本人参加者 149 人，中国人参加者 208 人，計 933 人となった.

## 2.3 実験動画について

調査 2 で使用する実験動画について, 先行研究 [3] の動画をもとに， 6 か国の調査向けに作り直した. また, 発話内容の英語，フランス語，中国語への翻訳は，翻訳業者に発話意図が変わらないように翻訳 を依頼した．動画の内容はマルチモーダル情報を備 えた対話型擬人化エージェントとのやり取りの再現動画となる. シチュエーションによる印象の違いに 対応するために異なるシチュエーションを用意して いる.シチュエーションの違いとして挙げられるの は，「タスク指向か非タスク指向か」と「エージェン

(a) 運転支援エージェント

(b) 家庭内エージェント

(c) 旅行代理店エージェント

図 1: 各シチュエーション動画におけるエージェン トの様子

トとユーザの関係」の違いである。また，それぞれ のシチュエーションに合わせたシナリオを用意し，発話内容に合わせて擬人化エージェントの表情を動 かす. シチュエーションごとのエージェントの様子 を図 1 に示す. シチュエーションによるタスクの違 いだけでなく，エージェントの用いる言葉遣いで印象は変化する. それぞれのシチュエーションに適し た言葉遣いを比較するために，エージェントの発話 シナリオも NPS 的敬体条件，PPS 条件の 2 通り用意 した. エージェントの発話設計のために, 社会言語学, 語用論の知見であるポライトネス理論 [1]を活用する。

## 2.4 実験結果

本稿では, 調査 2 亿ついての結果を述べる.ま た, Technology Acceptance Model との相関関係を探 る手段として数量化理論 1 類を行った. この理由と
して，国以外に性別や年齢による違いの影響を考慮 する必要があるためである．また，説明要因とする 項目には質的データが多く含まれており，各々の説明変数をカテゴリー化することによって，カテゴ リー別の目的変数に対する影響の方向と大きさを考察することが可能である.

## 2.4.1 調査 2 について

Technology Acceptance Model についての結果を表 1～表 4 に示す. 本研究では，各カテゴリー内容の スコアの最小值と最大値の差をレンジとする. 従っ て国のレンジが最も大きいので，国による違いは 1 番影響度の高い要素である。全体を通して中国のス コアが高いことが示された. つまり, 中国は擬人化 エージェントとの対話への印象評価が高かったと 言うことができる. ITU (Intention to Use : 利用しよ うとする意向）（表 1）では，日本の評価が低く，次点でアメリカやイギリスの評価が低くなっている. PENJ (Perceved Enjoyment : 使用する際の楽しさの知覚）（表 2）では，日本の評価が低く，次点でアメリ カ，イギリス，フランスの評価が低くなっている. SP（Social Presence：対話の際の社会的存在の有無） （表 3）と Trust（技術の信頼性）（表 4）では，日本， アメリカの評価が低く，次点でイギリス，フランス の評価が低くなっている．また，性別に比べて年齢 による影響が大きいことが分かる.

## 2.5 考察

表 1〜表 4 の結果より, 調査 2 の結果には国間に よる違いが大きく影響している. つまり, 国の文化 によって擬人化エージェントとの対話への印象に違 いが示されている. ITU の項目においてはレンジが 1.445 と他の項目より高いことから, 利用しようと する意向に関してより国の文化差が出やすいと言え る. さらに，ITUの項目ではシチュエーションと発話条件の影響度が逆転している. このことより，他 の印象評価と比べて利用しようとする意向において は発話条件による違いがより影響していることが分 かる. ただし，発話条件の違いは，全体で見ると国間による違いや性別による違い，年齢層による違い に比べて，影響力は小さいと言える．従って，発話方略による違いよりも，概要や 1 章で述べた Brown らの発話行為によるフェイスの侵害度の要因の 1 つ である「相対的な力の差（Power）」による影響が大 きいことが示された. つまり, Brown らのポライト
表 1: ITU（Intention to Use）の分析結果

} & driving & 962 & 0.004 & \multirow{3}{*}{0.014} & \multirow{3}{*}{5} \\

注：重相関係数は 0.405

表 2: PENJ（Perceived Enjoyment）の分析結果

} & driving & 962 & -0.000 & \multirow{3}{*}{0.075} & \multirow{3}{*}{4} \\

注：重相関係数は 0.350

ネス理論における言語的配慮の発話方略である NPS と PPS については，発話方略の選択ミスによる相手 への印象の変化は比較的少なく，相手との関係性に よる違いが大きいことから，相手との関係性によっ て相手への印象への影響がある程度決定しているこ とが示唆される。

レンジの値に着目すると，国に対するレンジの大 きさに対し，それ以外の要因のレンジが圧倒的に少 ない。つまり，文化による受容性の違いを生む要因 として，性別と年齢だけではなく国ごとの違いの影響が大きいと推測する.表 3: SP（Social Presence）の分析結果

 & \multirow{6}{*}{0.805} & \multirow{6}{*}{1} \\

注：重相関係数は 0.354

表 4: Trust の分析結果

 & \multirow{6}{*}{0.920} & \multirow{6}{*}{1} \\

注：重相関係数は 0.340

## 3 おわりに

本研究では擬人化エージェントの対話において,国ごとの文化による受容性の違いを調査し，明確な 違いが示された。また，その違いを生む要因として 性差，年齢，発話条件，シチュエーションなどにつ いて検討した.その結果，国ごとに性別や年齢によ る受容性の違いが見られた。擬人化エージェントと の対話の受容性を高めるにあたって，性別や年齢な ど，国ごとの文化による受容性の違いになる要因を 探すことが今後の研究の課題になるだろう.

## 謝辞

本研究は科研費（課題番号：22H04869）の支援を 受けました. 記して感謝いたします.

## 参考文献

[1] Penelope Brown, Stephen C Levinson, and Stephen C Levinson. Politeness: Some universals in language usage, Vol. 4. Cambridge university press, , 1987.

[2] Vasant Srinivasan and Leila Takayama. Help me please: Robot politeness strategies for soliciting help from humans. In Proceedings of the $2016 \mathrm{CHI}$ conference on human factors in computing systems, pp. 4945-4955, , 2016.

[3] 片上大輔, 山本隆太郎, 宮本友樹, 宇佐美まゆみ. 対話型擬人化エージェントの言語的配慮に対する受容性 の 6 か国異文化比較に関する研究 - クラウドソー シングによる大規模印象調査 - . HAI シンポジウム 2021, 032021.

[4] 松尾篤, 宮本友樹, 片上大輔, 宇佐美まゆみ. 対話型擬人化エージェントの言語的配慮に対する受容性の 6 か国異文化比較に関する研究 -クラウドソーシング による大規模印象調査 2 - . ファジィシステムシンポ ジウム講演論文集, Vol. 38, pp. 244-249, 092022.

[5] Tatsuya Nomura, Tomohiro Suzuki, Takayuki Kanda, and Kensuke Kato. Measurement of anxiety toward robots. In ROMAN 2006-The 15th IEEE International Symposium on Robot and Human Interactive Communication, pp. 372-377. IEEE, , 2006.

[6] Fred D Davis. Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS quarterly, pp. 319-340, 1989.

[7] Marcel Heerink, Ben Kröse, Vanessa Evers, and Bob Wielinga. Assessing acceptance of assistive social agent technology by older adults: the almere model. International journal of social robotics, Vol. 2, No. 4, pp. 361375,2010 .

## 4 付録

表 5: RAS（ロボット不安尺度）[5] より抜粋した下位尺度と質問項目

RAS-S1：ロボット会話能力不安

ロボットが会話中に的外れなことを話すのではないか.

ロボットとの会話は融通が利かないのではないか.

ロボットは難しい話が理解できないのではないか.

RAS-S2：ロボット行動特性不安

ロボットがどのような動きをするのか.

ロボットが何をしてくるのか.

ロボットがどれくらいの力を持っているのか.

ロボットがどのくらいの速さで動くのか.

RAS-S3：ロボット対話不安

ロボットにどう話しかけたらいいのか.

ロボットから話しかけられた時にどう答えたらいいのか.

ロボットに自分のした話の内容が理解されているのか.

ロボットから話しかけられた内容が自分には理解できないのではないか.

表 6: TAM[6][7] より抜粋した下位尺度と質問項目

利用しようとする意向 (Intention to Use：ITU）

近い将来，私はこのロボットを使うだろうと思う.

近い将来，私はこのロボットを使うことになると思う.

近い将来，私はこのロボットを使うつもりである.

使用する際の楽しさの知覚

(Perceived Enjoyment : PENJ)

このロボットに話しかけられるのは楽しい.

このロボットと一緒に何かをするのは楽しい.

このロボットは楽しいと思う。

このロボットは魅惑的だと思う。

このロボットはつまらないと思う.

このロボットと対話していた時，本当の人間と話しているかのように感じた.

ときどき，このロボットが本当に私の方を見ているかのように感じた.

このロボットが生き物であると想像できる.

このロボットが実在の人間ではないと思う.

ときどき，このロボットが本音を出しているように見える.

技術の信頼性（Trust）

このロボットがアドバイスをくれたら，私はこのロボットを信頼するだろう.

私はこのロボットがくれたアドバイスに従うだろう。


# 創発言語はなぜ Zipf 短縮に従わないのか？暗黙の事前分布に基づく再解釈

上田亮
東京大学
ryoryoueda@is.s.u-tokyo.ac.jp

## 概要

本稿の目的は、シグナリングゲームにおいて生じ る創発言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を解明することにある。これま で、創発言語が Zipf 短縮に従わないのは、エージェ ントの帰納バイアスせいだろうと考えられてきた。 それに対し、本稿では新たな解釈を提示する。シグ ナリングゲームの目的関数の中で暗黙に仮定されて いる事前分布に着目し、それが反 Zipf 短縮の一因と なっている可能性を示唆する。

## 1 はじめに

創発言語は、シミュレーション上においてエー ジェント同士でコミュニケーションを取らせたとき に生じる、言語のようなプロトコルのことを指し、近年研究対象として注目されつつある [1]。創発言語の構造を理解し、それが自然言語とどの程度類似・乘離しているのかを知り、乘離をどのようにし て埋めていけばよいのかを考えることが、当分野で 重要なテーマの 1 つである。

Chaabouni ら [2] は、自然言語の普遍性質である Zipf 短縮 $[3,4,5]$ を取り上げ、シグナリングゲーム [6]において創発する言語が、Zipf 短縮に従うか検証 した。Zipf 短縮とは「頻出する単語ほど、単語長が 短い傾向にある」という自然言語に普遍的にみられ る性質である。例えば、英単語 “of” や “he” は高頻出であり、かつ短い。また、シグナリングゲームは シンプルなコミュニケーションモデルであり、言語創発分野で頻繁に用いられる。シグナリングゲーム には、送信者・受信者と呼ばれる 2 人のエージェン トが登場し、送信者から受信者への単方向通信のみ が許される。各プレイにおいて、送信者は入カ $i \in I$ を 1 つ受け取り、メッセージ $m \in \mathcal{M}$ を生成する。続いて、受信者はそのメッセージ $m$ を受け取り、元
の入力が何であったのかを推測する。この推測が当 たっていればゲームは成功である。このとき、送信者と受信者をつなぐメッセージ (の集合) は、何かし らの意味を伝達する言語のようなものであると考え ることができる。[2]は、1メッセージがちょうど 1 単語を成すと見做せる設定の下、創発言語が Zipf 短縮に従うか検証した。ところが、標準的な設定のシ グナリングゲームにおいて生じる創発言語は、Zipf 短縮に従わないことが示された。具体的には、メッ セージが明らかに不必要に長くなってしまうばか りでなく、頻度の高いメッセージほど長くなるとい う、反 Zipf 短縮とでもいうべき傾向が示された。こ れまで、創発言語が Zipf 短縮に従わないのは、エー ジェントの元となるニューラルネットワーク (NN) アーキテクチャ (e.g., LSTM [7]) の帰納バイアスに問題があるからであろうと考えられてきた $[2,8,9]$ 。

それに対して、本稿では、反 Zipf 短縮が起こる原因について新たな解釈を提示する。シグナリング ゲームの学習の際に用いられる目的関数の中で、暗黙に仮定されているメッセージの事前分布 $P(m)$ に 着目し、その事前分布が反 Zipf 短縮の一因となって いる可能性を示唆する。

## 2 背景

## 2.1 Zipf 短縮

Zipf 短縮 (Zipf's law of abbreviation) [3, 4, 5] は、言語学者 Gerge K. Zipf によって唱えられた自然言語の 法則である。 ${ }^{12)}$ Zipf によれば、高頻度で出現する単語ほど長さが短くなる傾向にあるという。

## 2.2 シグナリングゲーム

言語創発では、シグナリングゲーム [6] (以降、単 にゲームと呼ぶ) が頻繁に用いられる。ここでは

1） 所謂 Zipf 則 [10] とは異なる概念であることに注意。

2）日本語訳は [5] に準拠。
特に [2] による設定を紹介する。ゲームには、有限の入力集合 $I$ 、有限のメッセージ集合 $\mathcal{M}$ 、送信者 $P_{\boldsymbol{\theta}_{s}}(M=m \mid I=i)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(I=i \mid M=m)$ が登場する。送・受信者エージェントはLSTM [7] 等の NN に基づいて定義され、各々学習可能 なパラメータ $\boldsymbol{\theta}_{s}, \boldsymbol{\theta}_{r}$ をもつ。 $\mathcal{I}:=\{1,2, \ldots,|\mathcal{I}|\}$ と し、各 $i \in I$ は one-hot ベクトルで表現する。メッ セージ集合 $\mathcal{M}$ は可変長メッセージの集合とする: $\mathcal{M}:=\left.\{a_{1} \ldots a_{t-1} \operatorname{eos} \mid a_{i} \in \mathcal{A} \backslash\{\right.$ eos $\left.\}, 1 \leq t \leq T\right.\}$. ただ し、 $\mathcal{A}$ は有限アルファベット、eos $\in \mathcal{A}$ は EOS 記号、 $T$ は最大長である。ゲームの流れは以下のよう になる:

1. 入力 $i \in I$ をサンプリングする。ただし、 $i$ は幕分布に従うものとする: $i \sim P_{I}(i) \propto i^{-1}$.

2. 送信者からメッセージ $m$ をサンプリングする: $m \sim P_{\boldsymbol{\theta}_{s}}(m \mid i)$.

3. 受信者による復元の程度を表す対数尤度 $\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を最大化することを目標とする。

$i \in I$ は one-hot ベクトルで表されるうえ、幕分布 $P_{I}($ i に従う (Zipf 則に従う) ので、一般的な NLP 分野でいうところの単語 ID と思うことができる。故 に各 $i$ に対応するメッセージ $m$ は単語と見做せる。

## 2.3 ゲームの目的関数

本稿では、最適化は勾配法で行うものとして議論を進める。ゲームの最適化は、以下の目的関数 $\mathcal{J}_{\text {game }}$ を勾配法で最大化することで行われる:

$
\mathcal{J}_{\text {game }}:=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right] .
$

直観的には、受信者 $R$ による復元の正確さを平均的に最大化するのを目的としていると理解できる。 $\mathcal{J}_{\text {game }}$ の微分は以下の形で得られる $\left.[2,11]:{ }^{3}\right)$

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}[ \\
& \quad \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
& \left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

ここで、 $b: I \rightarrow \mathbb{R}$ は任意のベースライン関数であ る。式 2 は受信者を通常の誤差逆伝播によって、送信者を方策勾配 [12]によって最適化している。しか し、 $\mathcal{J}_{\text {game }}$ で創発する言語は Zipf 短縮とは真逆の傾向 (反 Zipf 短縮) に従うことが知られている。そこ で、メッセージ長に関する罰則項を設け、メッセー ジが不必要に長くなるのを防ぐ場合がある:

$
\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha):=\mathbb{E}_{\boldsymbol{P}_{I}(i), \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\alpha|m|\right]
$
_{s}, \boldsymbol{\theta}_{r}}$ の略記。以降でもこの略記を用いる。
}

ここで、 $\alpha \in \mathbb{R}_{\geq 0}$ は罰則項の強度を制御する超パラ メータ、 $|m|$ はメッセージ $m$ の長さを表す。 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の微分は以下である:

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}[ \\
& \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
&\left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\alpha|m|-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

式 2 と比較すると、送信者の報酬が修正されたよう な形をしている。この罰則項により、Zipf 短縮が創発することが知られている $[2,8]$ 。

## 3 ゲームの目的関数の分析

これまで、 $\mathcal{J}_{\text {game }}$ を最適化して得られる創発言語 が Zipf 短縮に従わないのは、エージェントに適切な 帰納バイアスがないからだと考えられてきた。例え ば [8] は、送信者には laziness が欠けており、受信者には impatience が欠けていると主張している。し かし、エージェントのバイアスだけが原因ではない ように思われる。本節では、目的関数 $\mathcal{J}_{\mathrm{game}}$ の内に 暗黙に仮定されている事前分布に着目し、それが反 Zipf 短縮の一因になっているのではないかと考え る。以降の節にてそれを示唆する議論を展開する。

## 3.1 ゲームには暗黙の事前分布が存在する

ここで、やや唐突だが、一様メッセージ分布 $P^{\mathrm{uni}}(m)=|\mathcal{M}|^{-1}$ を考元、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせ て、以下のような $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{uni}}(m) .
$

このとき、次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)\right]
$

即ち、 $\mathcal{J}_{\text {game }}$ の最大化は、同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)$ の対数尤度の期待値を最大化するのと同じである。従っ て、 $\mathcal{J}_{\text {game }}$ という目的関数は $P^{\text {uni }}(m)$ をメッセージ の事前分布として暗黙のうちに仮定していることに なる。

次に、モンキータイピング・メッセージ分布 $P^{\mathrm{mon}}(m)=\frac{1}{Z}|\mathcal{A}|^{-|m|}(Z$ は適当な正則化項)を考え、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせて、以下の $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{mon}}(m) .
$

このとき次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log |\mathcal{A}|)=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{S}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m)\right]
$
即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{mon}}(i, m)$ の期待値の最大化は、メッセー ジ長に関する罰則項の重みを $\alpha=\log |\mathcal{A}|$ としたとき の $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。更に一般化し て、 $P^{\text {mon }}(m)$ と $P^{\text {uni }}(m)$ の中間的なメッセージ分布 $P^{\text {int }}(m ; \eta)(0 \leq \eta \leq|\mathcal{A}|-1)$ を考える:

$
P^{\mathrm{int}}(m ; \eta)=\frac{1}{Z^{\prime}}(|\mathcal{A}|-\eta)^{-|m|}
$

$Z^{\prime}$ は適当な正則化項である。 $P^{\mathrm{int}}(m ; \eta=0)=$ $P^{\mathrm{mon}}(m)$ 及び $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)=P^{\text {uni }}(m)$ が成立す るので、 $P^{\text {int }}$ は中間的な分布といえる。これまでの 議論と同様に、受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ と合わせて、 $i, m$ の 同時分布 $P_{\boldsymbol{\theta}_{r}}^{\text {int }}(i, m ; \eta):=P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) P^{\mathrm{int}}(m ; \eta)$ を定義す る。このとき、次式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) \\
= & \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right]
\end{aligned}
$

即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の期待値の最大化は、罰則項の 重みを $\alpha=\log \{|\mathcal{A}|-\eta\}$ としたときの $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。逆に言えば、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化 は、 $\eta=|\mathcal{A}|-\exp (\alpha)$ としたときの $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の 期待值の最大化と同じである。吕) $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は、メッ セージに関する事前分布 $P^{\text {int }}(m ; \eta=|\mathcal{A}|-\exp (\alpha))$ を 暗黙に仮定していることになる。なお、 $P^{\text {int }}(m ; \eta=$ $|\mathcal{A}|-1)=P^{\operatorname{mon}}(m)$ より、 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布を $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)$ と言い直すこともできる。

## 3.2 暗黙の事前分布と反 Zipf 短縮

では、ゲームの目的関数の暗黙の事前分布は どのような形状をしているのだろうか。本節 では事前分布の形状について議論し、そこから 反 Zipf 短縮が生じる一因を垣間見る。事前分布 $P^{\text {uni }}(m), P^{\text {mon }}(m), P^{\text {int }}(m)$ はそのままでは可視化し づらいため、代わりに、対応するメッセージ長 $1 \leq l \leq T$ の分布を考える:

$
P^{\mathrm{int}}(l ; \eta):=\sum_{m \in \mathcal{M}} P^{\mathrm{int}}(m ; \eta) \mathbb{1}_{l=|m|}
$

$P^{\mathrm{uni}}(l), P^{\mathrm{mon}}(l)$ についても同様に定義する。5) こ こで、 $(T,|\mathcal{A}|)=(30,4)$ としたときの分布の様子 を図 1 に示す。図 1 から分かるように、 $P^{\text {uni }}(l)$ はか なり右に偏った形状をしている。つまり、 $P^{\text {uni }}(m)$ からメッセージ $m$ をサンプリングしてきたとき、

4） $\eta$ が $0 \leq \eta \leq|\mathcal{A}|-1$ を満たさなくとも式 9 は確率分布 になるが、先行研究 $[2,8]$ の $\alpha$ は必ず $\log |\mathcal{A}| \geq \alpha \geq 0$ に収 まっているため、 $\eta$ の範囲を限定しても特に問題はない。

5）ただし、自然言語の単語長の分布はガンマ分布に近いとさ れる [13]。逆に、 $l$ の分布をガンマ分布と仮定してゲームの 目的関数を逆算したらどうなるかについては付録 B 参照。

図 1 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,4))$.

$m$ の長さは高い確率で最大長 $T$ かその付近になる。 ゲームの目的関数 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布が $P^{\mathrm{uni}}$ で あったことを踏まえると、 $\mathcal{J}_{\text {game }}$ の最適化で創発す るメッセージが不必要に長くなってしまうのは、今 や当然のことのように思える。一方、 $P^{\operatorname{mon}}(l)$ は左に 偏った分布になっていて、 $P^{\text {mon }}(m)$ それ自体が Zipf 短縮に従うメッセージ分布になっていることが分か る。6) $P^{\text {int }}(l ; \eta)$ は、 $\eta$ の值によって $P^{\mathrm{mon}}(l)$ と $P^{\text {uni }}(l)$ の間をつなぐような形状になっている。 $P^{\text {int }}(l ; \eta)$ が、メッセージ長に関する罰則項を設けたゲームの 目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ における暗黙の事前分布になって いたことを踏まえると、罰則項の重み $\alpha$ を調整する ことは、分布 $P^{\mathrm{uni}}(l)$ の極端な右への偏りを緩和する ことに対応しているのだと理解することができる。

次に、 $(T,|\mathcal{A}|)=(30,40)$ としたときの、長さに関 する分布の様子を図 2 に示す。 $(T,|\mathcal{A}|)=(30,40)$ と

図 2 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,40))$.

いう超パラメータは、先行研究において典型的に選択されているものであり $[2,8,9]$ 、この分野の実態に より近い。図 2 から分かるように、 $P^{\text {uni }}(l)$ は更に右側に偏っている。 $P^{\mathrm{mon}}(l)$ は平坦な形状に見えるが、実際には依然として左側に偏っていて、右肩下がり の形状をしている。図 2 における $\eta=38.35$ は、メッ セージ長罰則項の重み $\alpha=0.5$ に概ね対応してい る。これは [2] が選択した値と同じであり、この值 で Zipf 短縮の創発に成功している。 $P^{\text {int }}(l ; \eta=38.35)$ が尚も右側に著しく偏っていることを踏まえると、

6）モンキータイピング系列が Zipf 則や Zipf 短縮に従うこと は既に知られており $[14,5]$ 、同様のことが起きている。

[2] が $\alpha=0.5$ という重みで Zipf 短縮の創発に成功 したという事実は驚くべきことである。これまで、創発言語の反 Zipf 短縮性はバイアスのせいである と考えられてきたが、 $P^{\text {uni }}(l)$ よりもわずかに偏り が緩和されただけの分布で Zipf 短縮を創発できる のなら、むしろエージェントは短いメッセージを 選好する望ましいバイアスをもっているのではな いかとさえ思える。ただし、あるメッセージ $m_{1}$ が $P^{\text {int }}(m ; \eta)$ からサンプリングされる確率は、あるメッ セージ $m_{2}$ が $P^{\mathrm{int}}(m ; \eta)$ からサンプリングされる確率 の $(|\mathcal{A}|-\eta)^{\left|m_{2}\right|-\left|m_{1}\right|}$ 倍である。つまり、個々のメッ セージ同士を比較する限りにおいては、 $P^{\text {int }}(m ; \eta)$ は 短いメッセージを選好する分布であるともいえる。

## 3.3 beta-VAE の目的関数との類似性

ゲームの目的関数に暗黙の事前分布が存在する ということは、ゲームの最適化は、ある種の生成 モデルに関する変分推論と見做せるかもしれない。 この発想に基づき、本節ではゲームの目的関数と beta-VAE [15] の目的関数との類似性について議論 する。入力 $i$ を観測変数 $x$ 、メッセージ $m$ を潜在変数 $z$ 、送信者 $P_{\theta_{s}}(m \mid i)$ を符号化器 $q_{\phi}(z \mid x)$ 、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を復号化器 $p_{\theta}(x \mid z)$ 、事前分布 $P^{\text {int }}(m ; \eta)$ を潜在変数の事前分布 $p_{\theta}(z)$ だと思うことにすれ ば、シグナリングゲームの構造は VAE [16] のそれに 類似している。そこで、シグナリングゲームの記法 で以下のような beta-VAE の目的関数を考える:

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta):=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right]\right. \\
&\left.-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] .
\end{aligned}
$

beta-VAE では通常の VAE の目的関数を拡張し、KL ダイバージェンス項を $\beta$ で重み付けする。 $\mathcal{J}_{\text {vae }}(\beta)$ は以下のように変形できる (証明は付録 A 参照):

$
\begin{aligned}
\mathcal{J}_{\text {vae }}(\beta)= & \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\}) \\
& +\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\mathrm{const}
\end{aligned}
$

式 13 の第 1 項は、メッセージ長罰則項の重みを $\alpha=\beta \log \{|\mathcal{A}|-\eta\}$ としたときのゲームの目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ に一致している。第 2 項は送信者 $P_{\boldsymbol{\theta}_{s}}$ のエ ントロピー最大化項になっている。このような、 ゲームの報酬の期待値とエントロピー最大化項が合 わさった目的関数を用いる設定は、しばしば最大エ ントロピー強化学習と呼ばれる。7) 実は、創発言語

7）変分推論と最大エントロピー強化学習が同一視できること は control-as-inference [17] の一例としても理解できる。
の研究でもエントロピー正則化項 [18] という補助目的関数が頻繁に用いられる。エントロピー正則化項 は、エントロピー最大化項と同様の効果を持つ。た だし、ややアドホックな手法であり、エントロピー 最大化項とは一般には一致しない。以上のことか ら、ゲームはアドホックな補助関数を伴いつつ、暗 に変分推論をしていると思われる。8)

## 3.4 以上の結果から得られる示唆

3 節では、まずゲームの目的関数 $\mathcal{J}_{\text {game }}, \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ が特定の事前メッセージ分布 $P_{\text {int }}(m ; \eta)$ を仮定して いることを示した。続いて、事前メッセージ分布の 形状に着目し、その形状から反 Zipf 短縮の一因を垣間見た。9）最後にVAE との類似性に触れ、ゲームが (アドホックな形で) 暗に生成モデルの変分推論をし ていることが示唆された。本稿では、Zipf 短縮とい う特定の性質を取り上げて議論したが、ここでの考 え方は、シグナリングゲームを用いる研究一般に適用可能なものである。従って、ゲームを用いる際に は、暗に想定されている事前分布と、それがもたら し得る影響を意識することが重要になるだろう。

## 4 最後に

本稿の目的は、シグナリングゲームにおいて創発 する言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を示唆することであった。具体的には、目的関数が暗にもつ事前メッセージ分布に 着目し、それが反 Zipf 短縮の一因になり得ること を示唆した。ゲームにおいて可変長メッセージを用 いるのはごく自然に思える。しかし実は、先行研究 の殆どは固定長メッセージを用いている。素朴に可変長にしても不自然にメッセージが長くなること、 メッセージ長罰則項は学習を不安定にし得ること、罰則化項の (進化) 言語学的な意味が不明瞭なこと等 が可変長が忌避される要因ではないかと推測してい る。ゲームの最適化に潜むアーティファクトを 1 つ ずつ洗い出して解決していくことが、今後の言語創発研究を豊かなものにしていくだろう。

8）また、beta-VAE と情報ボトルネック法 (IB) [19]の目的関数 にも密接な関係があることが知られている $[20,21]$ 。IB を用 いた言語創発研究としては $[22,23]$ などがある。ただし、こ れらは 1 メッセージ 1 記号の設定を用いているため、今回の ような Zipf 短縮関連の議論を適用できない。

9）ただし、 $P^{\mathrm{uni}}(m)$ が創発言語を“余計に長くする”ことが分 かっても、“反” Zipf 短縮になる理由はそれほど自明でない。恐らく、NN のバイアスやエントロピー正則化のアドホック さなど、様々な要因が絡み合い反 Zipf 短縮が生じる。この ことについて、より厳密に議論するのが今後の課題である。

## 謝辞

執筆に際してコメントを寄せてくださった宮尾祐介先生、李凌寒さんに感謝申し上げます。

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[3] George K. Zipf. The psycho-biology of language. Houghton Mifflin, 1935.

[4] Jasmeen Kanwal, Kenny Smith, Jennifer Culbertson, and Simon Kirby. Zipf' $\mathrm{s}$ law of abbreviation and the principle of least effort: Language users optimise a miniature lexicon for efficient communication. Cognition, Vol. 165, pp. 4552, 2017

[5] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021 .

[6] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969.

[7] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, pp. 17351780, 1997.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[11] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 35283536, 2015.

[12] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.

[13] Bengt Sigurd, Mats Eeg-Olofsson, and Joost Van Weijer. Word length, sentence length and frequency - zipf revisited. Studia Linguistica, Vol. 58, No. 1, pp. 37-52, 2004.
[14] George A. Miller. Some effects of intermittent silence. The American Journal of Psychology, Vol. 70, No. 2, pp. 311-314, 1957.

[15] Irina Higgins, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot, Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[16] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[17] Sergey Levine. Reinforcement learning and control as probabilistic inference: Tutorial and review. CoRR, Vol. abs/1805.00909, , 2018.

[18] Ronald J. Williams and Jing Peng. Function optimization using connectionist reinforcement learning algorithms. Connection Science, Vol. 3, No. 3, pp. 241-268, 1991.

[19] Naftali Tishby, Fernando C. N. Pereira, and William Bialek. The information bottleneck method. CoRR, Vol. physics/0004057, , 2000.

[20] Alessandro Achille and Stefano Soatto. Information dropout: Learning optimal representations through noisy computation. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 40, No. 12, pp. 2897-2905, 2018.

[21] Alexander A. Alemi, Ian Fischer, Joshua V. Dillon, and Kevin Murphy. Deep variational information bottleneck. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 2426, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[22] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Communicating artificial neural networks develop efficient color-naming systems. Proceedings of the National Academy of Sciences, Vol. 118, No. 12, p. e2016569118, 2021.

[23] Mycal Tucker, Roger P. Levy, Julie Shah, and Noga Zaslavsky. Trading off utility, informativeness, and complexity in emergent communication. In Advances in Neural Information Processing Systems, 2022.

## A 証明

本節では、スペースの都合で本文には掲載できなかった証明を示す。

式 6 ・式 8 ・式 10 の証明. 本文で述べたように、 $P^{\mathrm{int}}(m ; \eta)$ は $P^{\mathrm{uni}}(m)$ 及び $P^{\mathrm{mon}}(m)$ を包含している。ま た、 $\alpha=0$ のとき $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathcal{J}_{\text {game }}$ であるから、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は $\mathcal{J}_{\text {game }}$ を含む。従って、式 10 のみを示せばよい。

$
\begin{aligned}
& \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\nabla \log P^{\mathrm{int}}(m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-\log Z^{\prime}-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-b^{\prime}(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) .
\end{aligned}
$

1 つ目の等式は式 2 と同様の式変形によって得られ、 2 つ目の等式は $P_{\theta_{r}}^{\text {int }}(i, m ; \eta)$ の定義から従い、3つ目の等式は $\nabla P^{\mathrm{int}}(m ; \eta)=\mathbf{0}$ であることから従い、4つ目の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、5つ目の等式は新たな ベースライン関数 $b^{\prime}(i)=b(i)+\log Z^{\prime}$ を置くことで得られ、最後の等式は式 4 と同様の式変形によって得ら れる。

式 13 の証明. 式 13 は以下のように証明できる。

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta)=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)-\log P^{\operatorname{int}}(m ; \eta)\right)\right]\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\beta \log P_{\boldsymbol{\theta}_{s}}(m \mid i)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{\boldsymbol{P}_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]-\beta \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\beta|m| \log (|\mathcal{A}|-\eta)\right]-\mathbb{E}_{P_{I}(i), p_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log Z^{\prime}\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\})+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\text { const. }
\end{aligned}
$

1 つ目の等式は $\mathcal{J}_{\mathrm{vae}}(\beta)$ の定義 (式 12 ) そのものであり、2つ目の等式は KL ダイバージェンスの定義から従 い、3つ目・4つ目の等式は期待値の線形性から従い、5つ目の等式はエントロピーの定義から従い、6つ目 の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、7つ目の等式は $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の定義及び $\nabla \mathbb{E}\left[\log Z^{\prime}\right]=\nabla \log Z^{\prime}=\mathbf{0}$ から従う。

## B メッセージ長分布をガンマ分布としてゲームの目的関数を逆算した場合

自然言語における単語長分布はガンマ分布に従うことが知られている [13]。では、メッセージ長をガンマ 分布として、そこからゲームの目的関数を逆算したらどのような形になるのであろうか。まず、メッセージ 長がガンマ分布に従うと仮定する: $P^{\mathrm{gam}}(l ; k, \lambda):=\frac{1}{Z^{\prime \prime}} l^{k-1} \exp (-\lambda l) . k>0, \lambda>0$ は超パラメータであり、 $Z^{\prime \prime}$ は 適当な正則化項である。このとき、 $P^{g a m}(l ; k, \lambda)$ に無矛盾なメッセージ分布として、以下が挙げられる:

$
P^{\text {gam }}(m ; k, \lambda):=\frac{1}{Z^{\prime \prime \prime}}|m|^{k-1} \exp (-\{\lambda-\log (|\mathcal{A}|-1)\}|m|) .
$

ただし、 $Z^{\prime \prime \prime}=\frac{Z^{\prime \prime}}{\log (|\mathcal{A}|-1)}$ である。 $P^{\mathrm{gam}}(m ; k, \lambda)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ を合わせて、 $i, m$ の同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m):=$ $P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{gam}}(m ; k, \lambda)$ を定義し、新たなゲームの目的関数 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ を考える:

$
\mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda):=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m)\right] .
$

ここで、 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ の微分は以下の形で得られる:

$
\nabla \mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda)=\mathbb{E}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+(k-1) \log (|m|)-(\lambda+\log (|\mathcal{A}|-1))|m|\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
$

$\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ 同様の長さに比例する罰則に加え、長さの対数に比例する報酬が追加されたような形になる。