# 日本語の言い直し表現に対するアノテーション基準

吉田 奈央 ${ }^{1}$ 丸山 岳彦 1
1 専修大学
nao.yoshida@senshu-u.ac.jp maruyama@isc.senshu-u.ac.jp

## 概要

現代日本語の話し言葉に現れる「言い直し表現」 （self-repair）について、その種類を認定してアノテー ション（情報付与）する基準と方法論を議論する。国語研 [1] による『日本語話し言葉コーパス』(CSJ) の独話音声（約 44 時間分）を観察し、そこに現れる 言い直し表現の認定・アノテーションを実施した。同コーパスから言い直し表現を収集・分類した先行研究 [2] では拾いきれなかった事例や、その細分類・再分類も含めて検討し、言い直し表現の認定基準に ついて議論を行った。

## 1 はじめに

日常の話し言葉の中では、流暢な発話産出の過程 がさまざまな要因により阻害される（トラブルが起 こる）ことがある。流暢な発話産出にトラブルが生 じたことを検知した話し手は、発話産出の流暢さを 取り戻すべく、できる限り速やかにトラブルの修復 に取り掛かる。前者の「流暢な発話産出の阻害要因」には、言い誤り、発音エラー、語の選択誤りな どが含まれ、後者の「発生したトラブルの修復」に は、繰り返し、言い直し、置き換え、追加、挿入な どが含まれる。これらは、発話産出過程で不可避的 に生じるトラブルと、流暢な発話産出を継続するた めの方略、という図式で捉えることができる。これ らをまとめて、非流暢性 (disfluency) と呼ぶ。

本稿では、非流暢性のうち「言い直し」(self-repair) を取り上げ、丸山（2008）[2] の分類案を一部改訂す る形で、談話中における言い直しの形態・機能を 5 種類に分類する。ここでは、丸山（2008）[2]になら い、言い直しを「発話中に現れたトラブル、および それを修復するために発話される表現」と定義し、国語研 [1]による『日本語話し言葉コーパス』(CSJ) の独話音声（44 時間分）を観察し、そこに現れる 言い直し表現の認定・アノテーションを実施した。 その過程で検討した言い直しの認定基準や、丸山
（2008）[2] の細分類・再分類について、議論を行う。 さらに、当該の言い直しが偶発的に生じたものなの か、または発話者によって聞き手への配慮として意図的に行われた言い直しなのかについて、これらは 動機が異なる点で別の事例として捉える必要がある ことを論じる。

## 2 先行研究

## 2.1 言い直しをどう捉えるか

1970 年代の社会学における会話分析や、言語心理学、会話ストラテジーの研究において、言い直しは、言い誤りを起こした話し手の修復行為として、また は聞き手側の承認を得るための会話ストラテジー として、議論の対象となってきた（Fromkin 1973[3], Levelt 1989[4], Sacks et al. 1974[5], Williams 1997[6])。一方、1990 年代以降の音声言語処理の研究の中で は、言い直しは適切な係り受け解析に対する障害 となり得ることから、発話の整形処理の対象とし て論じられてきた (中野 1998[7], 藤井 2004[8], 下岡 2005[9], 船越2006[10], 尾嶋 2006[11])。さらに 2000 年代、日本語の話し言葉コーパスの整備が進んだこ とから、記述的な言語研究においても非流暢性を定量的に扱う研究が進められている。

## 2.2 非流暢性としての言い直し

その中で丸山（2008）[2]は、日本語の自発的な 独話における言い直しを取り上げ、言い直しの構造化、および定量的な分析を行っている。丸山 (2008) [2] は、Nakatani and Hirschberg (1993) [12]の RIM 乇 デルなどの先行研究を参照し、言い直しを次の 3 つ の区間によって構造化した。「被言い直し部」は言 い直しの対象となる区間、「中断部」はフィラーや 「ていうか」「失礼」などの編集表現、「言い直し部」 は言い直した区間、にそれぞれ該当する。

被言い直し部 | 中断部 | 言い直し部 さらに丸山（2008）[2] は、言い直しの形態的特
徵および談話中で果たす機能という側面から、言 い直しを 5 種類に分類した。この分類基準をもと に、『日本語話し言葉コーパス』(CSJ)に対してア ノテーションを行い、言い直しの定量的な分析を実施している。

今回、丸山（2008）[2]によるアノテーションを再検討し、その分類基準をさらに明確化した上で、必要に応じてアノテーションされたタグの修正作業を 実施した。以下では、その内容について示す。

## 3 言い直しの分類

言い直しの形態的特徵および談話中で果たす機能 という側面から、言い直しを以下に挙げる 5 種類に 分類する。なお、言い直しを構成する各区間の名称 を次のように改め、その範囲を（）で囲むことに する。また、言い直しの分類名を冒頭に記す。

(R1 修復対象区間|編集区間|修復区間 )

## 3.1 R1: 発語の失敗に伴う繰り返し

$「 \mathrm{R} 1$ : 発語の失敗に伴う繰り返し」は、意図した 語を発話（発語）しようとしたものの、その発音に 失敗してしまい、それを直ちに（反射的に）修復す るケースに相当する。修復対象区間には、語未満の 音声（語断片）が現れることが多い。以下の c. で は、言い直しが再帰的に生じている。

a. タイプ分け (R1 (Dしみゃし)||しまし) た

b. 明治神宮 あるいは $(\mathrm{R} 1$ 新宿 (Dくい) $(\mathrm{F}$ あ) $\mid$ 新宿御苑)

c. 映画に (R1 (R1 (D なれしんだ) | (Fう)| (D なれ したん))| 馴れ親しんだ)

## 3.2 R2：単純な繰り返し

$「 \mathrm{R} 2$ : 単純な繰り返し」は、一度発話した語句を そのまま繰り返す場合に相当する。ここで扱うのは 意図的な繰り返しではなく、非流暢性としての繰り 返しであり、典型的には、発話中の逡巡やためら い、言いよどみ、自己確認に起因するものである。以下の b. c. は、一度発話しかけた語句が中断してし まい、それを改めて繰り返す場合に相当する。

a. (Fあの一) (R2 ハワイ||ハワイ)っていうのは

b. (F あの) (R2 (D う)||運転) 免許が四ドルで

c. (R2 被験 (D L)| (F あ一) (F あの)| 被験者) が

## 3.3 R3：語句の選択誤りに伴う訂正

$\ulcorner\mathrm{R} 3$ ：語句の選択誤りに伴う訂正」は、話し手の 意図とは異なる語句や表現を発話してしまい、それ を直後に訂正する場合に相当する。R3 の事例には、 $\mathrm{R} 1$ や R2 と同様に偶発的に生じたトラブル（語の選択誤り）の場合もあれば、そこまで進んでいた発話 を中断し、その場でその後の発話計画を変更する場合や、機能語の訂正を行うことで後続発話に対する 係り方を変える場合など、多様なパターンがある。 ここでは、後続発話へのつながりを明示的にするた め、訂正される対象が内容語か機能語かに応じて $\ulcorner\mathrm{R} 3-\mathrm{C}($ 内容語)」「R3-F (機能語)」という下位の類型を設けておく。

a. 同音異義を (R3-C 分別| (Fえ一)| 弁別) してい るという

b. 短調独特の (R3-F 旋律の $\mid(\mathrm{F}$ え) |旋律を) 形作っ ている

c. クロマというのは 音名 (R3-F (D2 の)|(F え)| に) 相当するものです

## 3.4 R4: 不適切な発話に伴う追加と繰り 返し

「R4：不適切な発話に伴う追加と繰り返し」は、一度発話した語句では情報として不十分であると 気づき、情報を補足する表現を追加した上で、同じ 語句を繰り返すケースである。修復対象区間の中に 本質的な誤りはないものの、そのままでは聞き手に とって分かりにくいと気づき、十全な発話としては 不適切であると判断したものである。

a. 入ってきた途端に (R4 ショーケース||ドーナ ツのショーケース)を見て

b. (R4 エヌ個に|(Fえ)|ケーミーンズ法によって エヌ個に) (Fええー) 分割します

## 3.5 R5：不適切な発話に伴う言い換え

$「 R 5$ : 不適切な発話に伴う言い換え」は、一度発話した語句を別の表現を使って言い換えるケースで ある。この種の修復が起こる動機には、一度発話し た語句が聞き手にとって理解が難しいと気づいたた めに別の平易な表現に言い換える場合や、発話した 語句をより具体的な内容を示すために言い換える場合、ある語句を現場指示・文脈指示の表現に言い換 えたりする場合などがある。この点で、R4 と同様、聞き手に対する十全な情報提供の適切さに対してト

ラブルを検知し、それを意図的に修復する行為であ ると言える。

a. (R5ミクスチャーの| (F あの) |混合重みの) 係数なんですけれども

b. 正答率はかなり ( $\mathrm{F}$ ま) (R5 内側に 来ている।।低くなっている)ことが分かります

c. 強さパターンの効果は (R5 三. 六||こちら) (F あ)で有意な効果が 見られました

## 4 アノテーション

## 4.1 対象データ及びアノテーション手法

今回、『日本語話し言葉コーパス』(CSJ) の独話・ コアデータに対し、丸山（2008）[2]で付与された 言い直しのタグをチェックし、必要に応じて修正を 行った。言い直しのチェック、タグの修正作業は、日本語文法の専門知識を持つアノテーター 3 名に よって実施した。アノテーションにはアノテーター の作業負担を軽減し、作業にかかる誤差をより少な くできるという利便性から、オープンソースライセ ンスで提供されているアノテーションツール brat ${ }^{1)}$ を使用した。丸山（2008）[2]で作成された言い直 しのタグ付き転記テキスト（短単位で区切り、節単位ごとに 1 行にしたもの）を音声を聞きながら確認 し、言い直しの範囲およびその種類（R1～R5）を 同定・確認して、必要に応じて修正を行った。アノ テーター間で判断が分かれた場合、合議を行い、合意を得た。3名の意見が合わない場合は多数決で決定した。これらの作業を通じて得られた、タグを付与するための判断過程を、フローチャートの形にま とめた。Appendix に図 1 として示す。

## 4.2 アノテーション結果

上記の作業の結果、学会講演 70 講演、模擬講演 107 講演（合計 441,759 語）の中から、5,279 箇所の 言い直しを再認定した。一覧を以下に示す。

1) https://brat.nlplab.org/

## 5 問題点

## 5.1 言い直しの細分類・再分類

今回のアノテーションの修正作業を通じ、明らか になった問題点は以下の通りである。

## 5.1.1 R3 の動機の分類が不明瞭

今回、「R3：語句の選択誤りに伴う訂正」につい $\tau$ 、内容語の訂正 (R3-C) と機能語の修正 (R3-F) の2つを細分類した。これは、「語句の選択誤り」と いう点では共通しているものの、それがどのような 原因に基づくトラブルであるのか、という点におい て異なる。先の例を一部再掲すると、

a. 同音異義を (R3-C 分別 $\mid$ (Fええー)| 弁別) して

b. 独特の (R3-F 旋律の | (F え)| 旋律を) 形作って

c. 音名 (R3-F (D2 の) | (Fえ)|に) 相当するもの です

a. は、「分別」と「弁別」を取り違えている例であ る。これは、発話プランニングの中で語彙選択をす る際、よく似た音および意味を持つ語を誤って選択 してしまった場合と考えられる。一方、b.は、「旋律 の」まで発話した後、その後に続くはずだった統語構造がうまく組み立てられないことに気づき、「旋律を」と助詞を言い直した上で、「形作る」につな げる、という動機が働いているものと考えられる。 c. も同様、「の」を「に」に言い換えて、当初に想定 していた統語構造に沿って、発話を継続しているも のと考えられる。すなわち、同じ「R3: 語句の選択誤りに伴う訂正」の下位分類として設けた R3-C と R3-Fは、トラブルの原因としてはかなり異質なもの である可能性がある。

## 5.1.2 R5 の動機の分類が不明瞭

これと同様に、「R5：不適切な発話に伴う言い換 え」についても、どのような動機によって言い換え が生じているのか、という点で、細分類・再分類が 可能になると考えられる。一部を再揭すると、

a. (R5 ミクスチャーの|(Fあの)|混合重みの) 係数

b. (R5 内側に来ている||低くなっている)ことが

c. 効果は (R5 三. 六川lこちら) (F あ)で有意な

a. は専門用語を平易な表現に言い換える例、b.は 観察された現象に対する解釈に言い換える例、c. は 言及した数値をスライド上で指し示す例（現場指
示）である。いずれも聞き手に配慮することによる 言い換えであり、談話構成上のストラテジーと考え られるが、どのような配慮のために言い換えを行う のか、という点に着目すると、それぞれは異なる事例と捉えることができるだろう。

動的に進行する発話産出処理において、どの過程 がどのような要因でトラブルを起こしているのか、 という点に着目すると、言い直しの種類をさらに細分類・再分類することが可能になると考えられる。今回のアノテーション結果に対して、心理言語学的 な観点から再分析を行うことによって、さらに多様 な言い直しの実態を把握できるだろう。この点に対 する分析と考察は今後の課題としたい。

## 6 まとめ

本稿では、現代日本語の話し言葉に現れる言い直 しをアノテーションする基準と方法論について議論 を行った。丸山 (2008) [2]におけるアノテーション 結果に対して再検討を行い、新たにアノテーション をし直した。この結果は、一般に公開する予定であ る。このアノテーションデータをもとに、言い直し の研究がさらに進展することを願いたい。

また、言い直しがどのような動機によって発生す るのか、という心理言語学的な観点を取り入れるこ とにより、さらに言い直しのタイプを細分類・再分類することできる可能性を指摘した。この点の検討 については、今後の課題としたい。

さらに、今回は『日本語話し言葉コーパス』(CSJ) という独話のデータを分析対象としたが、独話では なく会話を分析対象とした時にどのような現象が 観察されるのか、という点を考えることも重要であ る。会話中でのインタラクションを考えた場合、発話者の態度や聞き手の承認を得るための、共同作業 のストラテジーとして、言い直しが語用論的な役割 を担うことがあると考えられる。そもそも今回のア ノテーションの方式が会話にも適用できるのか、と いう点から考え始めることが必要だろう。この点に ついても今後の課題とする。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 05630$ の助成を受けたも のです。

## 参考文献

[1] 国立国語研究所. 日本語話し言葉コーパスの構築法.国立国語研究所, 2006.

[2] 丸山岳彦. 『日本語話し言葉コーパス』に基づく言 い直し表現の機能的分析. 日本語文法, Vol. 8, No. 2, pp. 121-139, 1999.

[3] A Fromkin, Victoria. The non-anomalous nature of anomalous utterances. Language, Vol. 47, pp. 27-52, 1971.

[4] W. J. M. Levelt. Speaking From intention to articulation. MIT Press, 1989.

[5] Harvey Sacks, Emanuel A Schegloff, and Gail Jefferson. A simplest systematics for the organization of turn-taking for conversation. Language, Vol. 50, No. 4, pp. 696-735, 1974.

[6] R. Inscoe Williams, J. and T. Tasker. Communication strategies in an interactional context: The mutual achievement of comprehension. Communication Strategies: Psycholinguistic and Sociolinguistic Perspectives, pp. 304-322, 1997.

[7] 中野幹生, 島津明. 言い直しを含む発話の解析. 情報処理学会論文誌, Vol. 39, No. 6, pp. 935-1943, 1998.

[8] 藤井なつ音. 日本語話し言葉における自己修復の統計モデル. 第 10 回言語処理学会年次大会発表論文集, 2004.

[9] 下岡和也, 内元清貴, 河原達也, 井佐原均. 日本語話 し言葉の係り受け解析と文境界推定の相互作用に よる高精度化. 自然言語処理, Vol. 12, No. 3, pp. 3-17, 2005.

[10] 船越孝太郎, 徳永健伸, 田中穂積. 音声対話システム における日本語自己修復の処理. Vol. 10, No. 4, pp. 33-53, 2003.

[11] 尾嶋憲治・河原達也・秋田裕也. 話し言葉の整形作業における削除箇所の自動同定. 情報処理学会研究報告, Vol. 46, pp. 85-91, 2008.

[12] C. Nakatani and J. Hirschberg. A speech-first model for repair identification and correction. Proc. of 31th Annual Meeting of ACL, pp. 200-207, 1993.

(1)「T区間が"D"'D2"タグ付きの語のみで構成される」

$* *$ 同義性の認定
・文脈上指し示す事象が実質的に同じもの
翻訳にあたるもの
- 修復区間が修復対象区間を易化／難化／抽象化／具体化した内容上記を考慮し複数のアノテーターによる合意で決定

図 1 言い直しのタグを付与するための決定フローチャート


# 『現代日本語書き言葉均衡コーパス』に見る語表記の量的分布一品詞，レジスター，頻度との関係—

山崎 誠
国立国語研究所
yamazaki@ninjal.ac.jp

## 概要

『現代日本語書き言葉均衡コーパス』を使って,現在の日本語の語表記の種類（書字形の数）の量的分布を調査した結果を報告する。これまで国立国語研究所では語彙調査とともに用字調査を行い, 漢字表や表記のゆれなどの報告書を刊行してきた。書き 言葉コーパスとして代表的な『現代日本語書き言葉均衡コーパス』は 2011 年にリリースされたが，今の ところこれを使った総合的な用字調査が行われてい ない. 本発表では, 語表記の種類に着目し, その量的実態を報告するものである．本発表では，全体の 概要を示すとともに, 誤表記の種類と品詞, レジス ター, 出現頻度との間に一定の傾向が見られたこと を確認した。

## 1 はじめに

国立国語研究所では 1948 年の創立以来, 書き言葉 の実態調查である語彙調查を実施してきたが，それ と同時に用字調査も行い，漢字表や表記のゆれなど の報告書を刊行してきた. 例えば, 『総合雑誌の用語』（1960）や『現代新聞の漢字』（1976）『現代表記のゆれ』（1983）などである. 書き言葉コーパ スとして代表的な『現代日本語書き言葉均衡コーパ ス』（以降，BCCWJ）が公開されて久しいが，まだ これを使った漢字表や表記の調査は行われていない.

## 2 先行研究

個々の語の表記の計量調査ではなく, コーパス全体を調査したものは少ない. 書き言葉の総合的調査 である, 国立国語研究所(1963)[2]は漢字の計量調查 の報告であるが，表記についての言及はない。国立国語研究所(2006: 32-33)[3]には, 調查対象となった,雑誌に出現した語について, 主に語種を中心とした 以下のような分析を行っている。出現した和語 11530 語について,そのうちの $29.3 \%$ である 3378 語についてゆれが見られた一方, 漢語 15214 語について, そのらち $4.16 \%$ に摇れが見られ,和語の方がゆれの出現率が高かった。また, 語の表記形の数が増えるにつれて語数が減っていくことも 示された（以上，筆者による要約）。国立国語研究所(2006)[3]は, BCCWJ と語の認定の仕方がやや異な るため，厳密な比較はできないが，これらは大まか な傾向として参考になるものである.

## 3 データと方法

## 3.1 データ

本発表で使用したデータは, BCCWJ Ver.1.1(2015) [DVD 版]である. その DISC4OT に納められている TSV_SUW_OT フォルダのTSVファイルを利用した. OT というのは，コーパス構築にあたって， NumTrans $^{1}$ という数字変換処理を施していない， Original Text という意味である. NumTrans を施した 本文は，アラビア数字が漢数字に置き換えられてし まうので，表記の調査としては， NumTrans 前の Original Textがふさわしいと考えた.

## 3.2 語の同定

語の表記を数えるには, 語の同定と表記の同定の 2 つの方法を決定しなければならない. BCCWJをは じめとする国立国語研究所のコーパスは UniDic と いう形態素解析用の辞書を用いて分析されているた め, UniDic の形態論情報を用いて語の同定と表記の 同定を行うのが妥当である．語の同定は，形態論情報である（1）語彙素 ID を使う，（2）語彙素，語彙素細分類, 語彙素読み, 品詞の組で語を使う，の 2 つが考えられる。しかし，次に述べる理由で以下
^{1}$ NumTrans については, [1]の P. 100 以降を参照のこと。
}

のような変則的な方法を採用した.

以下は, 語彙素 ${ }^{2}$, 語彙素読み, 語彙素 ID, 品詞 の4つを用いて語を同定し，その表記をまとめたも のである. 表記形に続けて括弧内に頻度を示した。

「あいす(4),あいする(7), 愛す(1300), 愛する(5010),愛せる(135)」

これを見ると, 活用の型が異なる「愛する」（サ 変）と「愛す」（五段活用）が同じ語の範囲になっ ているほか, 可能動詞形の「愛せる」も同じ語の範囲と扱われていることが分かる. これらを同じ語と 考えると，「あいす」と「あいする」は同じように 平仮名で書かれているにも関わらず，表記が違うと いうことになる.これは表記の違いというより語形 の違いをカウントしていることになるので, これら は別語と扱うほうが望ましいだろう。そこで，基本的には, 語彙素, 語彙素読み, 語彙素 ID, 品詞の 5 つで語を同定するが，動詞に限っては，語彙素読み を語形で置き換えたものを使った。それによって， この例は, 以下のような 3 語に分かれることになる.

・あいす(4),愛す(1300)

・あいする(7),愛する(5010)

・愛せる(135)

なお，長単位を使えばこの問題は起きないが，名詞に長い複合語が出てくるため, 今回はできるだけ 短い言語単位での実態の把握を優先した.この調整 により, 動詞の 1 語あたりの書字形数の平均は 2.90 から 2.32 に下がった.

## 3.3 表記の同定

表記の同定は，形態論情報である書字形を使う.書字形は, 原文での出現形を表記の点で保持するが，活用形の違いを捨象した終止形で示した形である3.

## 3.4 除外した語

以下の語は, 本稿の趣旨に合わないため除外した.

・語彙素が NULL のもの ${ }^{4} 298410$ 語

・伏せ字を示すロ $\mathbf{D}^{5} 65487$ 語

## 4 結果

## 4.1 全体について

2 節で述べた語の数え方により, BCCWJ の短単位全体で異なり 190,373 語, 延べ 124,256,025 語が得ら れた. 1 語あたりの書字形数の分布を図 1 に示した. 1 語あたりの書字形数の平均（算術平均）は， 1.509 であった。また, 最小值, 第 1 四分位数, 中央值,第 3 四分位数はいずれも, 1 , 最大值 6 は 81 であった.

図 11 語あたりの書字形数の分布

## 4.2 品詞との関係

図 2 は, 品詞別に 1 語あたりの書字形数の平均(以降，平均書字形数という）を示したものである.

図 2 品詞と平均書字形数

平均書字形数が多い品詞は, 感動詞(4.081), 記号 (3.926), 代名詞(3.987), 形容詞(3.986), 助詞(3.603) である. 感動詞の平均書字形数が多いのは例えば,

「ああ」に以下のような 36 個のバリエーションが見 られるように，臨時的な語形が多いからと推測され る.

あああ(3),あああ $(25)$, あ〜(814),あ〜あ(62),あ〜

(17),ああ(845),ああ(7980),あああ(4),あああ(641),あ ああ〜(16),あああー(3),ああっ(216),ああー(62),あ> (181),あア(28),あア(1),あー(517),あーあ(166),あーつ (92), あーア(1),ア〉(1),アア(24),アア(61),アアア(1), ア —(22),アーア(5),アーッ(19),吁嗟(1),鳴〜呼(3),鳴乎 (1),鳴呼(84),嗟(2),嗟呼(3),噫(21),臆(7),鳴呼(5)

## 4.3 レジスターとの関係

図 3 は，BCCWJを構成するレジスター7ごとに平均書字形数と標準偏差を見たものである.

LB（図書館書籍）と PB（出版書籍）が平均書字形数 1.4 以上で大きい。これはこれらのレジスター に相対的に多様な表記が用いられていることを示す ものであろう。一方, 平均書字形数が小さいのは順 に，OL（法律,1.04），OM(国会会議録,1.10), PN（新聞,1.12），OW（白書,1.13），OT（教科書,0.18）と なっており，公的な媒体において表記のバリエーシ ョンが少ないことが分かる．バリエーションの小さ いレジスターは, 以下のように, 標準偏差も小さい. OL（法律，0.21）, OL（国会会議録，0.42）OW（白書, 0.43), OT (教科書, 0.53)，OP（広報紙，0.58）. これは，これらの媒体の表記が安定していることを 示していると考えられる。

図 3 レジスターと平均書字形数

7 レジスターの略号は以下のとおり。LB(図書館書籍), $\mathrm{OB}($ ベストセラー), $\mathrm{OC}(Y a h o o !$ 知恵袋), $\mathrm{OL}($ 法律), $\mathrm{OM}$ (国会会議録)，OP(報紙)，OT(教科書)，OV(韻文)，OW(白書)， $\mathrm{OY}(Y a h o o !$ ブログ), $\mathrm{PB}($ 出版書籍), $\mathrm{PM}$ (雑誌), $\mathrm{PN}$ (新聞)

## 4.4 頻度との関係

表 1 は，固有名詞を除く，書字形数が 22 以上の語 の形態論情報と出現頻度を示したものである．表 1 を見ると，書字形数が多い語には，頻度も多いもの が多いようである。そこで，語の出現頻度と書字形数の関係を見たのが図 4 である。図 4 は，出現頻度 を 1000 刻みでその範囲に属する語の平均書字形数 を求めたものである.

表 1 書字形数の多い語

図 4 出現頻度と平均書字形数

図 4 からは，途中で増加が止まるような箇所もあ

るが，大局的にみると，語の出現頻度が高くなるに つれて, 平均書字形数も多くなる様子が見て取れる.

## 4.5 品詞とレジスターの関係

図 5 は，品詞とレジスターを変数としてコレスポ ンデンス分析を行ったものである ${ }^{8}$.

図 5 コレスポンデンス分析の結果

図 5 からX 軸（Dim1）で全体の約 $85 \%$ が説明で きることが分かる。この軸はレジスターでは, OW (白書)と $\mathrm{LB}$ (図書館書籍)を対極とし, 品詞では句読点と感動詞を対極とすることから，書字形のバリ エーションの多寡に対応する軸であると思われる。 ただし, 同じ書籍であっても LB(図書館書籍)と $\mathrm{PB}$ (出版書籍)との布置はかなり違っていることにつ いては説明が難しい.

## 5 おわりに

本発表では，BCCWJを使って現代日本語の語表記のバリエーションを計量的に記述した. 今回分析 できなかった観点としては, 先行研究にあった, 和語, 漢語外来語などの語種との関係が挙げられる.先行研究では, 和語よりも漢語の方が表記が安定し ていることが示されていたが，表記のバリエーショ ンが多い漢語や逆にバリエーションが少ない和語も 考えられることから，どのような条件がそこに働い ているか, 解明する必要がある. また, 課題として
^{8} \mathrm{R}$ の devtools, ggplot2, factoextra, FactoMineR のライブ ラリを使用した。
}

語の認定のしかたがある. 今回は 3.2 節に述べたよ うに, 語彙素, 語彙素読み, 語彙素 ID, 品詞の 4 つ で語を同定. 動詞に限って, 語彙素読みを語形で置 き換えるという方法だったが，例えば，名詞「バイ オリン」は，「バイオリン(293),ヴァイオリン(415), ヴィオロン(4)」のような分布になっており，語形の 異なる「ヴィオロン」も同じ語の範囲に入っている. では，全ての品詞で語形によって語を認定するとよ いかというと, その場合, 「ハロウィン(130), ハロウ イーン(69),ハロウイーン(4),ハローイン(1)」がすべて 別語になってしまい，表記のバリエーションを見る 目的に適さなくなってしまう. 活用語における活用 の型の違いや可能動詞を別語とするくらいがよいの かもしれない。その辺の検討を経て, BCCWJ の表記一覧を同漢字表とともに国立国語研究所の学術情報リポジトリで公開する予定である.

また，今回は品詞を大分類のレベルで分けている が，これを中分類や小分類のレベルにまで分けたと きにどのような違いが見られるかという点も検討課題である9.

## 謝辞

データとして利用した BCCWJ は, 国立国語研究所のプロジェクト及び文部科学省科学研究費補助金特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築 : 21 世紀の日本語研究の基盤整

備」(平成 $18 \sim 22$ 年度, 領域代表者: 前川喜久雄) による補助を得て構築したものである.

## 参考文献

1. 国立国語研究所コーパス開発センター,『現代日本語書き言葉均衡コーパス』利用の手引第 1.1 版, 2015 https://clrd.ninjal.ac.jp/bccwj/doc.html

2. 国立国語研究所, 『現代雑誌九十種の用字用語 :第 2 分冊漢字表』, 1963, 秀英出版.

http://doi.org/10.15084/00001234

3. 国立国語研究所, 『現代雑誌の表記：1994 年発行 70 誌』, 2006.

https://doi.org/10.15084/00001286


# 「否定するわけじゃないんだけど」:日本語日常会話におけるへッジ表現にみられる「否定」の使用

臼田泰如
国立国語研究所 研究系
usuda@ninjal.ac.jp

## 概要

本研究では，日本語日常会話においてしばしば見 られる，サ変可能名詞（ならびにサ変動詞）「否定 (する)」を用いた表現に着目する. 当該の語の使用のうち, 本研究において特に焦点を当てるのは,「否定するわけではないけど」に類するフレーズの 形で出現するものである。このフレーズには多くの 場合，これに後続する位置における一連の発話にお いて，話題になっている物事についての否定的評価 が述べられる際に，その否定的評価の直接性・攻撃性を緩和する機能をみてとることができる. 本研究 では, こうした「否定（する）」について，『日本語日常会話コーパス』における」出現状況を概観し,他のサ変可能名詞のふるまいとの比較を行う.

## 1 はじめに

日本語の日常会話において（あるいはウェブ上の やりとりなど，日常会話に準ずる言語使用におい て)，例 1にみられるような意味・用法における「否定（する）」というサ変可能名詞（ならびにサ変動詞）が散見される。

例 $1^{1)}$ では，参与者 A が同席している B の過去の 言動について参与者 $\mathrm{E}$ に話している2). この断片に 先行する箇所で， A は B について，明け方までお 酒を飲み歩いた上で翌朝には何事もなかったかの ように出勤してくるとし，その体力やアルコールへ の強さを賞賛的に提示しており，B も大筋で内容を 認めている。断片はそれに続く箇所で，その時点ま でに語った内容を「全否定」(4) し，「4 時間寝たあ とに」(15)「会社に来た時に」(16),「まだ酒残って る」(19) と述べた事例を挙げ，「四時間寝ても大丈夫
$ は発話していない. また $\mathrm{C} と \mathrm{D}$ は別の話をしてい るため，C と D の発話は削除した。
}

じゃない」(20)という理解を提示している.この例 においてみてとれるように，4行目の「全否定する 形になっちゃうかもしれないけど」は，それに後続 する位置における一連の発話において, 現在話題に なつていることがらに関する否定的な言明がなされ る位置において出現している.

こうした表現はへッジ (hedge[1, 2, 3]) と呼ばれ,否定的な評価など，やりとりの相手の「メンツを 潰す face-threatening[2]」行為を行わざるを得ない際 に，それをできるだけ緩和して行うための方法の一 つであるとされる。 さらによく観察すると，こうし た否定的言明・評価は慎重になされていることがわ かる. A は6行目から当該の事例についての語りを 開始し, 出来事を時系列的に提示することで，自身 の評価だけでなく, 20 行目の評価に至った理由や根拠を理解可能にしている。 またそうした出来事の提示に対し, もう一人の当事者である $\mathrm{B}$ も理解を示し ながら参与している. つまりこの表現は否定的評価 の表出および受け入れというやりとり上の課題を共同で解決するシグナルになっているといえる. 4行
目は，そのようなシークエンスを開始するための談話標識 discourse marker[4] として機能している.

本研究では，上記のような観察・質的分析を踏ま え，例 1 に見られるような，否定的言明を導くへッ ジ表現に出現する「否定」について分析するため，『日本語日常会話コーパス』における「否定」の出現状況について概観する。3で扱うのは, 「否定」の発話者の情報，および前後の語彙の分布である.

## 2 データ

本研究で扱うデー夕は，国立国語研究所によって 構築・公開された『日本語日常会話コーパス (CEJC)』 [5] である。 CEJC は日常生活における会話の多様性 をできるだけ反映し，さまざまな研究に利用可能な 形で提供するため, 音声および映像と文字起こしテ キストを利用可能な形で提供するほか，以下のよう な特徴を備えるよう設計されている。

-大規模：200 時間分の会話デー夕
- 代表性 : 年齢・性別・属性・会話の種類の均衡性を考慮
- 検索性 : 形態論情報 (品詞, 文中の位置, 発話時間など)

## 3 コーパスでの「否定」の出現状況

## 3.1 「否定」の出現数

次の表 1は，『日本語日常会話コーパス』における 「否定」の出現数, およびその「否定」がヘッジ用法 にて用いられている件数，ならびにサ変可能名詞お よびすべての短単位の総数を示したものである [6].

表 1 「否定」およびサ変可能名詞の出現数「否定」ヘッジ サ変可能 サ変可能 短単位

「否定」は CEJC 全体で 44 件出現しており, これ はサ変可能名詞の中で 202 番目に多い.このうち連鎖の観察からへッジ表現であると考えられるものは 5 件あった。

## 3.2 話者の属性, 会話の性質

図1と図2はそれぞれ「否定」とすべてのサ変可能名詞の使用者の年齢, 図 3 と図 4 はそれぞれ「否定」とすべてのサ変可能名詞の使用者の職業，図5と 図6はそれぞれ「否定」とすべてのサ変可能名詞が使用された会話の形式を示している.

図 2は，开変可能名詞全体ではおおむね参与者全体の年齢構成を反映した分布となっていることを示 しているが，図 1からは，「否定」においては 50 代 および 60 代が多くなっていることがみてとれる.追って触れるが，この傾向は会話の種類の分布にも 関連していると考えられる。

先に図3と図 4 における職業の分布を概観する.「否定」ではサ変可能名詞全体に比べて「自営業・自由業」の比率が少なくなっているが，それ以外の大 きな分布の差はみてとることができないといえる。

ついで図5と図6における，「否定」およびサ変可能名詞の使用された会話の形式を検討する。「雑談」 はいずれの図においても最も多いが，「否定」は「雑談」と並んで「会議・会合」での使用が多くを占め ることがみてとれる。これについて，表 2 に会話形式と年齢の関係を示した。表 2からは，相対的に 40 代・50 代における会議・会合への参加が多くなって いることがみてとれる。こうした傾向性が「否定」 の使用に関連している可能性がある。

表 2 会話形式と年齢の関係

会議 ・ 授業 - 用談 - 雑談

## 3.3 「否定」の前後の語彙

図7と図8はそれぞれ，「否定」とサ変可能名詞に 先行する短単位の品詞, 図9と図10はそれぞれ後続 する短単位の品詞の種類を大分類で示したものであ る. 図9のみ，直後には動詞と助詞が多いが，それ 以降には動詞が減り, 助動詞が多くを占めるように なる。このことは，サ変可能名詞全体に比べて「否定」は「否定する」の形での使用率が高いことを示唆する。

図 1 「否定」使用者の年齢

図 3 「否定」使用者の職業

図 5 「否定」が使用された会話の種類

図 2 サ変可能名詞の使用者の年齢

図 4 サ変可能名詞の使用者の職業

図 6 サ変可能名詞が使用された会話の種類

図 7 「否定」に先行する品詞

図 8 サ変可能名詞に先行する品詞

図 9 「否定」に後続する品詞

図 10 サ変可能名詞に後続する品詞

## 謝辞

本研究は国語研共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」の 成果に基づいている.

## 参考文献

[1] George Lakoff. Hedges: a study in meaning criteria and the logic of fuzzy concepts. Journal of Philosophical Logic, Vol. 2, pp. 458-503, 1973.

[2] Penelope Brown and Stephen C. Levinson. Politeness: Some universals in Language Usage. Cambridge University Press, Cambridge, 1987.

[3] Bruce Fraser. Pragmatic competence: The case of hedging. In Gumther Kaltenböck, Wiltrud Mihatsch, and Stefan Schneider, editors, New Approaches to Hedging, pp. 15-34. Emerald Group Publishing Limited, 2010.

[4] Deborah Schiffrin. Discourse Markers. Studies in Interactional Sociolinguistics. Cambridge University Press, Cambridge, 1987.

[5] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香. 『日本語日常会話コーパス』の設計と 特徵. 言語処理学会第 28 回年次大会発表論文集, pp. 2008-2012, 2022.

[6] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如,柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香. 『日本語日常会話コーパス』一設計・構築・特徴一. 国立国語研究所「日常会話コーパス」プロ ジェクト報告書 $6,2022$.
非語彙的な発音の変化や言いよどみに関わるもの

 &  &  \\

韻律・パラ言語的情報に関わるもの

 &  &  \\

■ 発話単位・転記単位に関わるもの

 &  \\

*仮名化する際, 元の語のモーラ数が一致するようにしている。

図 11 付録：『日本語日常会話コーパス』の転記夕グ一覧 [6]


# 日本語歌謡曲の歌詞における性差と時代変化の テキスト分類を用いた検討

木田菜月 久野雅樹
電気通信大学大学院情報理工学研究科
k2230049@edu.cc.uec.ac.jp, hisano@uec.ac.jp

## 概要

本研究では，作詞家や歌手の性差による歌詞の違 いに注目し，その違いを明らかにするためのテキス 卜分類を行い，その性能から差異の実態を明らかに した. 性差によって言葉の使い方にどのような違い があるかを見るために文末詞に着目し，使用割合の 違いから性差による差異が認められた。この性差に よる違いを小説の登場人物を対象とした先行研究 と比較すると，歌詞と小説には違いが見られ，さら に，作詞家の性差によって時代変化に違いがあるの かを明らかにするため，男女別に年代ごとのテキス 卜分類を行ったところ，男女それぞれある程度の年代予測力が見られた。

## 1 はじめに

日本語コーパスを対象とした特徴分析，テキスト の分類や生成の研究は，言語資源の整備と自然言語処理技法の発展にともない盛んに行われている. 本研究では日本語歌詞を対象に研究を行う. 音楽にお ける歌詞には，時代ごとの言葉の使われ方，作詞家 や楽曲のジャンルの違いによる構造の違いが大きく 反映されていると言える.

歌詞を対象とした計量的な研究の例を挙げると大出らは，1978 年から 2012 年に日本レコード大賞お よび優秀作品賞を受賞した楽曲の歌詞について計量テキスト分析を行い，ネガティブな内容からポジ ティブな内容への変化を明らかにした [1]. 細谷ら は，1979 年から 2009 年までのオリコン年間シング ルランキング TOP 100 より，調査対象全期間で 5 曲以上ランクインした女性シンガーソングライター 10 名 116 曲対して，分類害験を行った. 結果として カーネル主成分分析では，歌手ごとの一定の集中傾向が観察されたが，発行年の影響は明確には観察さ れなかった [2].
このように歌詞研究は様々に行われているが，流行歌や数名の歌手の一部の楽曲など特定の楽曲のみ を対象としたものがほとんどである．そこで，本研究では大規模な歌詞コーパスである歌詞コンテンツ データ集に含まれる日本語歌詞の楽曲を対象にテキ スト分類を行うことで，より全般的な特徵を明らか にすることを目的とし，作詞家や歌手の性差による テキスト分類と男女別年代ごとのテキスト分類を 行った.

## 2 性差によるテキスト分類

## 2.1 使用したデータセット

分析対象として，株式会社シンクパワーが提供し ている歌詞コンテンツデータ集 [3] を利用した.こ の歌詞コンテンツデータ集には，約 43 万曲分の曲名，アーティスト名，アルバム名，作詞者，作曲者，発売日，歌詞などの情報が収録されている．本研究 では，日本語歌詞を対象とするため，このコーパス から歌詞に少なくとも平仮名またはカタカナが含ま れる楽曲のみを抽出した。

そして, 1985 年から 2020 年に発売されたこの コーパスに含まれる曲数の多い作詞家上位 10 人の 楽曲 15722 曲と歌手上位 10 組の楽曲 7116 曲を対象 にそれぞれ実験を行った。楽曲を用いた作詞家およ び歌手は表 1 の通り.

## 2.2 前処理

歌詞データに含まれる鍵括弧と二重鍵括弧以外の 括弧は，ルビであったり歌っている人の名前であっ たりする場合が多いため，括弧とその中身の除去を 行った. また，言葉により着目するため，歌詞デー タに含まれる改行コードの除去，および歌詞の鍵括弧，二重鍵括弧，句読点の除去を行った。

図 1 女性作詞家楽曲の確率値の分布

図 3 ですねの使用割合 (作詞家)

表 1 実験に楽曲を用いた作詞家と歌手作詞家秋元康浜崎あゆみ つんく 嵐松井五郎槇原敬之畑亜貴 TUBU 松本隆阿久悠松任谷由実 B'z

こだまさおりDREAMS COME TRUE 吉田美和 SMAP 桑田佳祐氷川きよし 中島みゆき ゆず

## 2.3 実験手順

テキスト分類には GRU モデルを用いた．GRU は 長期記憶と短期記憶のバランスも学習でき，LSTM よりもゲートが少なくセルも必要ないため, 状態変数の数が同じであれば LSTM よりも少ない計算量・使用空間量で済ませることができるためである [4].

まず，データセットに女性を 0 ，男性を 1 として クラス情報を付加し，学習用が $80 \%$ ，テスト用が 20 \%になるように分割した. 分割したデータセッ トからボキャブラリを構築，単語の ID 化とパディ ングを行い GRU に学習させた. そして，テスト用

図 2 男性作詞家楽曲の確率値の分布

図4 かなの使用割合 (歌手)

データを用いて学習したモデルの性能評価を行った のち予測した確率値の分布を出した。最後に小説の 登場人物を対象とした研究 [5] と比較するため，文末詞 11 語に関して，全体の楽曲，女性と分類した 楽曲，男性と分類した楽曲それぞれの 100 曲あたり に含まれる曲数を出した. 同様の手順を歌手のデー タセットに対しても行った. 歌手の性別に関しては ボーカルの性別を歌手の性別としている.

## 2.4 性能評価と確率値

性能評価には予測結果の適合率と再現率，また， これらから計算される 1 値を用いた。また，予測結果は，それぞれのクラスに対してすべてのクラス の確率値の合計が 1 となるように確率値を出したの ち，確率值の值が一番高いクラスを予測結果として いる. 本実験は 2 值分類であるため，クラス 1 すな わち男性のクラスの確率値が 0 に近ければ近いほど 女性的であり，1 亿近ければ近いほど男性的な歌詞 と言える。

## 2.5 結果と考察

分類性能は表 2 のようになった。

また，作詞家の性別予測の確率値の分布は図 1 ,図 2 の通り。さらに，文末詞 11 語それぞれの語が
表 2 それぞれの性能評価

100 曲あたりに含まれる曲数を全体の楽曲，女性の 楽曲，男性の楽曲で比較した結果の一部を図 3, 図 4 に示す.

作詞家の確率値の分布を見てみると，女性作詞家楽曲に対する確率值はほとんどが 0.05 以下，男性作詞家楽曲に対する確率值はほとんどが 0.95 以上で あることが分かる. また，歌手の性差による分類で も同様の結果が得られた. このことから, 性差によ る歌詞の違いが明確にあるということが分かる.

作詞家 分類された楽曲の特徵として文末詞に着目したが，男性作詞家が比較的よく使う文末表現は 「だもの・なのよ・だよね」であり，女性が比較的 よく使う文末表現は「ですか・ますか・ですね」で あることが分かった. 特に女性作詞家に関しては，「です・ます」の使用が特徴である考えられる。ま た，「ですか・ますか・ですね」は小説の登場人物を 対象とした研究では，中性的または男性的な文末詞 という結果が出ている [5]. このことから, 小説に 見られる性差の特徴と歌詞に見られる性差の特徴に は違いがあることが分かった.

歌手 「かしら」，「だわ」や「ですね」，「ますね」 が男性に比べて極端に多いところは小説を対象と したものと一致していた．特に「かしら」，「だわ」 は非常に女性的な語とされていた [5]. しかし, 先行研究では非常に男性的な語とされていた「かな」 は男女ともに使われていることが分かった。他にも 「だよね」や「だもの」，「なのよ」は逆の傾向が見 られた.このことから，作詞家のみならず歌手にお いても小説に見られる性差の特徴と歌詞に見られる 性差の特徵には違いがあることが分かる.

## 3 男女別年代ごとのテキスト分類

## 3.1 使用したデータセット

これまでの実験と同様のコーパスに含まれる曲数の多い男性作詞家上位 14 人の楽曲を曲数がある 程度均等になるように発売年で 5 区分に区切った データセット、および同様にして発売年で 5 区分に 区切った曲数の多い女性作詞家上位 16 人の楽曲の
データセットの 2 つのデータセットで実験を行っ た. 楽曲を用いた作詞家は表 3 に示す. また, 男性,女性それぞれのデータセットの区分は表 4 の通り。

表 3 楽曲を用いた作詞家

## 3.2 実験手順

前処理としてこれまでの実験と同様の処理を行っ た. その後, 男性作詞家のデータに区分ごとのクラ ス情報を付加し，学習用が $80 \%$ ，テスト用が $20 \%$ になるように分割した. 分割したデータセットから ボキャブラリを構築，単語の ID 化とパディングを 行い GRU に学習させた。テスト用データを用いて 学習したモデルの性能評価を行い，予測した確率値 の分布を出した．女性作詞家のデータに対しても同様の手順を行った.

## 3.3 性能評価

性能評価には予測結果の適合率と再現率から計算 される $\mathrm{F} 1$ 值のマクロ平均とマイクロ平均を用いた。

図 5 男性作詞家楽曲の年代区分ごとの予測値の分布 また，予測結果は 2 值分類と同様に，それぞれのク ラスに対してすべてのクラスの確率值の合計が 1 と なるように確率値を出したのち, 確率値の值が一番高いクラスを予測結果としている.

## 3.4 結果と考察

分類性能は表 5 のようになった.

表 5 それぞれの性能評価

また，それぞれの年代区分の楽曲をどの年代区分 の楽曲と予測しているかの予測値の分布は図 5, 図 6 の通り。

男性作詞家 分類性能だけを見るとかなり低い。 しかし，正解と予測の関係を見てみるとほとんど の年代区分で正しい年代区分またはその近い区分の予測值が高くなっている。例えば，正解が区分 0(1985-1995) と区分 1(1996-2003) のグラフを見る と, 区分 0(1985-1995) の楽曲と予測している曲が 多い.また，区分 2(2004-2009) では依然として区分 0(1985-1995) も多いが区分 2(2004-2009) の方が多く なっており，区分 3(2010-2013), 区分 4(2014-2020) では区分 4(2014-2020) と予測する曲が圧倒的に多 くなっていることが分かる. このことから，区分 0(1985-1995) と区分 1(1996-2003) は近い傾向があり、年を追うごとに変化，区分 3(2010-2013) 以降は，区分 0(1985-1995), 区分 1(1996-2003) と比べて大きく 変化していると考えられる。

女性作詞家 分類性能だけを見るとかなり低く，男性作詞家との差もあまりない. しかし, 正解と予測の関係を見てみると，ほとんどの年代区分で正し い年代区分の予測值が高くなっている。この結果か ら，男性作詞家の結果よりも顕著になっていると言

図 6 女性作詞家楽曲の年代区分ごとの予測値の分布

える.しかし，区分 4(2016-2020) の予測だけは正し く予測されていない曲が多い。これは，近年の楽曲 は過去の楽曲の特徴を反映したものが増えていると も考えられる. しかし，カバー曲や再録曲の影響， また，女性作詞家のデータセットは男性作詞家のも のに比べて少ないので，区分ごとの曲の偏りによっ て見られる特徵の可能性も高いとも言える。そのた め，今後その影響について検討する必要がある.

## 4 おわりに

歌詞には作詞家や歌手の性差が反映されているこ とが，GRUを用いた性差によるテキスト分類から示 された。また，男女別での年代ごとのテキスト分類実験において，歌詞は時代によって変化しているこ とが示された. このように歌詞に反映された性差や 時代ごとによる特徵の実態が得られたことで，今後歌詞生成研究などへの応用が考えられる.

しかし，本研究で用いた歌詞コーパスには，カ バー曲や再録曲の歌詞も多く含まれていたため，時代変化を見るという点で問題が残っている.今後, このようなデータをどのように扱っていくかが課題 である.

## 参考文献

[1] 大出彩, 松本文子, 金子貴昭. 「流行歌から見る歌詞の 年代別変化」. 情報処理学会じんもんこん 2013 論文集 (4), pp. 103-110, 2013.

[2]細谷舞, 鈴木崇史.「女性シンガーソングライター の歌詞の探索的分析」. 情報処理学会じんもんこん 2010 論文集 (15), pp. 195-202, 2010.

[3] 株式会社シンクパワー.「歌詞コンテンツデータ集」。 2020.

[4] K. Cho, B. Merrienboer, C. Gulcehere, F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. EMNLP, pp. 1724-1734, 2014

[5] 黒須理紗子.「女ことば・男ことばの研究：差異と変遷」.日本文學 vol.104, pp. 187-207, 2008.


# コーパス分析によって明らかにする 新語によるコミュニケーションを可能にする複合名詞の語形成

大友和幸 ${ }^{1}$ 橋本敬 ${ }^{1}$
${ }^{1}$ 北陸先端科学技術大学院大学 知識科学系
\{s2110033, hash\}@jaist. ac. jp

## 概要

言語の共通性と新規性が両立するメカニズムを解明するため、商標登録された新規な複合語を対象と し形式・意味の両面の語形成について分析した。形式における共通性・新規性を複合語とその構成語の 出現数の推移より調査し、既存の構成語を結合させ て新規な複合語が作られることを確認した。意味の 共通性の分析として、対象語の共起語分布のジニ係数でその語がどれだけ限定的な（共通の）意味で使用されるかの定量化を試みた。意味の新規性とし

て、個々の構成語にはないが、語が結合した複合語 でのみ出現する創発的意味を調べる方法を 2 つ提案 する。一つは共起語の出現回数の違いを調査する方法で、もう一つはLDAを使用して構成語と複合語 に分配されるトピック群を比較する方法である。

## 1 背景

## 1.1 言語の共通性と新規性

コミュニケーションに用いられる言語は、共通性 と新規性という 2 つの性質を持つ。[1, p233]共通性とは、語の意味がおおむね決まったものと して使用され、それが使用者に共有されている、す なわち使用者により千差万別の意味を持たない性質 を指す。信号理論[2]に基づくコミュニケーションの 見方では、話し手が言語化（外在化）したメッセー ジを聞き手が理解するためには、コミュニケーショ ンを行う双方が語彙や文法に関する知識を共有して いることが必要となる。したがって、共通性はコミ ユニケーションの前提とされているといえるだろう。 その一方で、我々は、今までになかった新しい形式を用いて新しい概念を言語で表現することもでき る。すなわち、言語は新規性を生み出す創造的な性質を持つ。ファッションコミュニティを対象にした
コーパス分析[3]では、ユーモア、皮肉、挑発に関連 した意味に加え、説明、評価、増幅、緩和等を目的 として、新たな概念をうまく表現するために新しい 形式の語が出現していることが示されている。この ように、既存の習慣化された語ではなく、今までに 見ることがなかった新しい語の形式が誕生するとい うことが実際の現象として確認されている。

共通性が習慣化したパターンによって曖昧さを下 げてできるだけ正確な伝達を可能にする傾向である のに対し、生成された新語は厳密には話し手しかそ の意味を知りえないため、新規性は正確な伝達を妨 げる傾向にある。使用される語や文法に関する知識 が双方に共有されていない場合には、自分の意図を 正確に相手に伝えることができず、発話に表現され る意図を伝達するという意味でのコミュニケーショ ンを成り立たせることが困難となる。このように、共通性と新規性には相反する傾向性があるため、両方の性質を担保したまま新語の生成とコミュニケー ションの両方を説明することができていない。

## 1.2 複合語が持つ意味の創発性

新語を生むもっとも良く使われる方法のひとつが、既存の語を組み合わせて新しい形式を作る複合語で ある[4]。複合語の意味は部分的合成性を持つと言わ れる $[5, \mathrm{p} .8]$ 。すなわち、複合語の意味は構成要素の 意味と無関係ではないが、単純に足し合わせたもの でもないため、個々の構成語の単純な総和として複合語全体の意味を説明することができない。メンタ ルスペース理論における概念融合[6]はその典型で ある。たとえば「butcher surgeon」という表現は「下手な外科医」という意味を持ち得るが[7]、butcher「屠殺業者」が「下手な」という意味は持つわけではな く、 surgeon「外科医」と組み合わさったときに生じ る創発性を持つと考えられる。創発とは、全体が要素の集合以上の性質を持つことであり、ここでは複
合語の意味が構成要素の意味の単純な和ではないこ とである。

複合語が持つ意味の部分的合成性あるいは創発性 から考えると、共通性と新規性が両立しつつコミュ ニケーション (伝達) を成立させるメカニズムを説明する仮説として、以下のものが考えられる。

習慣的に使用され共通性を持つ要素同士を組み合 わせ、その組み合わせパターンによって複合語全体で新規性を持たせる。

すなわち、新しい概念を表現する際に、全く新しい 語をあてがうのではなく、既存の語を組み合わせる ことにより新しい概念を表現する。このような語を 使用することで、今までに聞いたことがない新語に 対しても意味を理解し、コミュニケーションを成立 させられる。

## 1.3 目的

本研究は共通性と新規性が両立するメカニズムの 解明のため、上記の仮説の検証を行うことを目的と する。具体的には、複合語として多くの言語でよく 用いられる複合名詞に限定し、新規に出現した複合名詞の形式と意味の両方において、共通性を持った 語を構成語として結合することによって新規性を持 つ複合語が作られていることを示す。

それとともに、意味面の分析において、意味的な 新規性を評価し、既存の語が結合され複合語になる 際に生じる複合語全体の意味の創発性を評価する方法を提案する。

## 2 手法

上記の目的を達成するため、新規に出現した複合語や、それを分解した構成語について、出現の推移 を計測し、形式面での共通性・新規性を評価する。意味面の共通性として使われ方の偏りを共起語分布 のジニ係数で評価する。意味の創発性を評価するた めに、複合語にはあるが各構成語にはない共起語を 分析し、複合語のみに存在する意味の検出を試みる。 また、LDAを使用した意味の検出手法を提案し、構成語が結合することによって付与した意味について の分析を行う。

## 2. 1 複合語の取得

本研究の複合語は、なにかしらの意図伝達を目的 とした新語であることが求められる。そのためには、対象独自の個別的な属性を明示しようとする意識で
ある「表現性」と、その所属先カテゴリを明示しよ うとする意識である「表示性」[8]が反映されている 必要ある。これを満たすものとして、新しい商品の 商品名が考えられる。商品名はパッケージなどに記載され、消費者がその商品を理解したうえで購入で きるよう属性などを示す必要があるため、表示性を 持つ。また、商品名は消費者の注意を引くような名前自体の独自性や、その物自体の独自性を伝えるこ とを目的として、他の商品とは違う名前にする必要 があると考えられる。

本研究では、商標データベース（工業所有権情報・研修館が提供する特許情報プラットフォーム https://www.j-platpat.inpit.go.jp にて「商標」を対象 として検索）に登録されている消費者向けの商品名 の中から複合語の商品名を取得し、それらの語の語形成について分析を行う。

## 2. 2 形式面の分析方法

形式の面における共通性・新規性として以下の性質を評価する。

共通性 複合語の出現前から構成語が出現している 新規性 複合語はその商品が出現する前までは使用 されていない

これらの性質を評価するためには、取得した複合語とその構成語それぞれについて出現の程度とその 推移を調べる必要がある。すなわち、語の使用時期 が特定でき、長期間に渡って観察できる分析データ が必要がある。また、今回扱う商品名はニュース記事や公文書等に出にくいが、商品名が使用される場面のデータである事が求められる。

今回の研究では、語の出現の計測に Google Trend 人気度を使用した。ある語の Google Trend 人気度は、 その語の検索数に応じた相対的な値を $[0,100]$ の範囲 で表示する。すなわち、その語について十分な検索 クエリがない場合には 0、指定した期間内における 最高値は必ず 100 となるよう算出される。Google Trend 人気度は月ごとに算出される。また、Google 検索は一般的に商品の情報取得や通信販売などで利用 されている点から、商品名の出現の推移を計測する のに適していると考えられる。なお、算出対象とす る全期間で十分な検索が無い場合はエラーとなるが、本稿では全期間の人気度を 0 とした。

## 2. 3 意味面の分析方法

意味の分析においては、意味に共通性がある構成語を結合させることにより、複合語全体では各構成語にはない意味が出現することを示したい。ここで は、ある語の意味はその語がどのような使用のされ 方に反映されると考える。以上の考えより、ある語 の意味の面における共通性・新規性を以下の性質で 評価する。

共通性 語がある程度決まった形で使用されており、使用者によって大きな違いがない

新規性 構成語が結合し複合語となるときに、個々の 構成語にはない使われ方が出現する

そして、語の使用のされ方を共起語の分布で表す。意味の共通性は、使用されている語の分布の偏り により評価する。ある語が共通性を持ち限定的な意味で使用されている場合、特定の語と共に使用され ると考えられる。その一方で、ある語が共通性を持 たずに使用者や使用場面により様々な意味で使用さ れる場合、使われる意味の数に応じて共起語が増え、十分な頻度がある共起語の数が多くなり、共起語分布の偏りは小さくなると考えられる。この分布の偏 りはジニ係数で評価できるだろら。すなわち、ある 語の出現回数でローレンツ曲線を計算すると、共通性が高いほど一様分布を表す完全平等線から乘離す る。反対に、共通性が低いほど完全平等線に近くな ると考えられる。

以上を踏まえ、本研究では、複合語・構成語それ ぞれのツイートにおける共起語を収集し、共起語の 出現回数におけるジニ係数を計測することで、共通性を評価する。

意味の新規性として、構成語には無いが複合語全体にはある意味、すなわち創発的意味の検出を試み る。そのための方法として、共起語を用いる方法と 潜在的ディリクレ配分法（LDA）を用いる方法を提案する。

共起語を用いる方法として、複合語・構成語につ いて、それぞれを含むツイートを取得し、最も多く 共起した語を 100 語取得する。その 100 語について、構成語には出現しないが、複合語では出現する語を 取得する。

LDA を用いる方法では、複合語・構成語が分配さ れるトピックを計測し、複合語では分配されるが構成語には分配されないトピックを観察する。トピッ クを構成する学習には取得した商品名と同じジャン
ルに属する Amazon の商品レビューを用いる。本稿 では 100 トピックに分割した。

## 3 結果

## 3. 1 形式面の分析結果

商標データベースに記載されている菓子で複合語 になっている商品名ついて GoogleTrend 人気度の推移を分析し、仮説を裏付けると考えられる例を確認 した（図1 上「チョコまみれ」の例）。すなわち、構成語の「チョコ」「まみれ」の人気度は「チョコ まみれ」の発売前 (2020 年 5 月) から人気度があり、複合語「チョコまみれ」は発売後のみで人気度が高 まっている。だが取得した複合語商品名の多くは、構成語は人気度の推移が確認できる一方で、複合語 の人気度は全ての期間で 0 となっていた (図 1 下「お いしいお菓子の御神木」の例）。

図 1 構成語の共通性・複合語の新規性

## 3.2 意味面の分析結果

意味分析のため 2022 年 12 月 31 日以前の直近ツ イートを 5,000 件取得した。Bot や繰り返しのツイー トによるデータの偏りを避けるため、全く同じ文章 のツイートは 1 ツイートのみ分析に使用した。

ジニ係数による意味の共通性の分析を示す。分析対象は複合語「チョコまみれ」「美味しいお菓子の 御神木」とその構成語、およびターゲット語の上位 カテゴリである「菓子」を含むツイートの共起語の 出現回数（共起語分布）のジニ係数を算出した（表 1）。上位カテゴリの語は様々な文脈で使われるた め、共起語分布の偏りは相対的に少なくジニ係数は 低くなると考えたが、そのような結果にはならなか

った。意味の共通性に関して、複合語、構成語、上位カテゴリ語の共起語分布のジニ係数で比較しても あまり大きな差はない事がうかがえる。

表 1 分析対象語の共起語分布のジニ係数

意味の新規性として「チョコまみれ」とその構成語の共起語を分析した結果、構成語に出現せず複合語では出現する語として表 2 の 21 語が確認された。 その中には「だらけ」「美味い」「初めて」など、一般的な語があり、「チョコまみれ」の上位カテゴ リである「カントリーマアム」「クッキー」、発売元の「不二家」だけではないことが確認できた。 LDA による意味の分析のため、Amazon で「菓子・ スナック」カテゴリに属する商品の全レビューを 100 トピックに分割してトピックを学習した。分析対象語を 1 文書とみなし、その文書が分配されるト ピックを観察した。「チョコまみれ」と「チョコ」 の配分カテゴリは一致し、「チョコまみれ」のみに 現れる意味の検出はできなかった

表 2 複合語とだけ共起する語

表 3 複合語・構成語の分配トピック

 & $8,21,25,76,79$ \\

& $23,25,27,31,32,33,34,35,36,38,40$, \\
& $41,43,54,57,58,60,61,63,68,76,79$, \\
& $81,83,84,85,87,89,90,92,93,94,95$ \\

## 4 議論

## 4. 1 まとめ

本研究では新規な商品名の複合語を取得し、その 形式・意味に対して新規性・共通性を Google Trend 人気度の推移により分析した。その結果として、形式においては、構成語が新商品が現れる前から使わ れている共通性、複合語は新商品登場後に使われる ようになる新規性があることが確認された。しかし 多くの新規複合語商品名は調查を行った全期間で人気度が 0 であった。

意味の共通性に関しては、共起語分布の偏りで分析したが、分析対象とした複合語、構成語、複合語 の上位カテゴリ語で大きな差は見られなかった。意味の新規性については、語が結合することで上位力 テゴリ等以外の語が出現することが確認でき、構成語には無いイメージを複合語が持っている例があっ た。LDAによる意味検出では、複合語のみに分配さ れたトピックを確認できなかった。

形式分析で新規性が評価できなかった理由として、 ヒット商品の商品名だけを集めることの困難さが挙 げられる。ある商標が一般消費者に広く使われるた めには商標取得後に商品として販売し、その商品が 広く普及することが必要になる。多くの商品は販売・普及の前に開発・販売が中止になることがあり、販売された中でヒットする商品はごく一部となる。今回の分析では、普及していない商品名も取得したた め、このような結果になったと考えられる。その一方で、当初定義した新規性についての計測は困難だ ったが、「共通性がある語を結合し、今までにない 形式の複合語を生成している」とはいえる。実際に は使われていないため、新語とは言い難いが、もし その商品が普及し新語となった場合には仮説を肯定 する語となることが予想される。

今回使用した GoogleTrend 人気度は、取得した期間における最大值を 100 とした相対的な値である。 そのため、語の出現について絶対的な値を出してい ないため、出現の有無を言いにくい数値となってい る。

LDA が抱える限界として、限られた意味のまとま りのものを多数のトピックに分解するとき、うまく 分割できない点が挙げられる。トピック数を増やし た分析をする必要がある。

## 謝辞

本研究は JSPS 科研費 JP 17H06383 の助成を受けた

ものです。

## 参考文献

1. Lehrer, Adrienne. Understanding trendy neologisms. Italian Journal of Linguistics. 15: 369-382, 2003.

2. Shannon, Claude Elwood. A mathematical theory of communication. The Bell System Technical Journal, 27.3: 379-423, 1948.

3. Camiciottoli, Belinda Crawford. "All those Elvismeets-golf-player looks”: A corpus-assisted analysis of creative compounds in fashion blogging. Discourse, Context \& Media, 12: 77-86, 2016.

4. Lehrer, Adrienne. Neologisms. In: K. Brown (Ed.) Encyclopedia of Language \& Linguistics. Second Edition, 590 593. Amsterdam:Elsevier, 2006.

5. 野田大志. 現代日本語における複合語の意味形成一構文理論によるアプローチ一. 名古屋大学大学院 国際言語文化研究科博士論文, 2011.

6. Fauconnier, Gilles, Turner, Mark B. Blending as a Central Process of Grammar, In: A. Goldberg, (Ed.) Conceptual Structure, Discourse, and Language. Stanford: Center for the Study of Language and Information, pp. 113-130, 1996.

7. Grady, Joseph E., Oakley, Todd, Coulson, Seana. Blending and metaphor, In: G. Steen \& R. Gibbs (Eds.). Metaphor in Cognitive Linguistics, Philadelphia: John Benjamins, 1999.

8. 吉村公宏. 認知意味論の方法: 経験と動機の言語学. 人文書院, 1995.


# Pronoun substitute annotation in seven Asian languages

Hiroki Nomoto ${ }^{1} \quad$ Ryuko Taniguchi $^{1} \quad$ Shiori Nakamura $^{1} \quad$ Yunjin Nam $^{1}$
Sri Budi Lestari $^{2} \quad$ Sunisa Wittayapanyanon (Saito) $^{1} \quad$ Virach Sornlertlamvanich $^{3}$
Atsushi Kasuga $^{4}$ Kenji Okano $^{1}$ Thuzar Hlaing $^{1}$
${ }^{1}$ Tokyo University of Foreign Studies ${ }^{2}$ Ritsumeikan Asia Pacific University
${ }^{3}$ Musashino University/Thammasat University ${ }^{4}$ Kanda University of International Studies
\{nomoto, ryukota, nakamura.shiori.v0, namyj, sunisa, okanok, thuzarhlaing\}
@tufs.ac.jp tari0828@apu.ac.jp virach@musashino-u.ac.jp
kasugaat@kanda.kuis.ac.jp
}

\begin{abstract}
We have annotated first- and second-person expressions as well as address terms in the spoken language corpora of seven Asian languages. This annotation is important because these languages employ many non-pronominal expressions ('pronoun substitutes') in addition to personal pronouns when referring to the speaker/addressee. A total of more than four million words have been annotated. Furthermore, we built new (and first-ever annotated) spoken language corpora for five Southeast Asian languages. We also developed a web-based corpus annotation tool (ETA: Easy Text Annotator) that enables non-tech-savvy linguists to benefit from our annotation results. Both resources can be used for purposes other than the present study.
\end{abstract
## 1 Introduction

Reference to the speaker and the addressee is achieved by personal pronouns such as $I$ and you. However, some languages employ other expressions for the same purpose. Such expressions are called 'pronoun substitutes' (henceforth 'prosub'). For example, the word for 'teacher' can be used not only when referring to a third-person teacher but also when teachers refer to themselves (first person) and when students refer to their teachers (second person) in Japanese, Korean, Malay, Javanese, Thai, Vietnamese and Burmese [1]. Japanese examples are given in (1). ${ }^{1)}$

(1) a. Sensei ni choodai.

'Give it to teacher (= me).'

b. Sensei no heya wa doko desuka?

'Where is teacher's (= your) room?'
Expressions such as this are thus ambiguous with regard to person. In language understanding, they require disambiguation. They can be prosubs or non-prosubs. If they are prosubs, they may be first person or second person. They pose a more difficult challenge to language generation. One needs to choose the most appropriate expressions for 'I' and 'you' according to the current context of conversation from a variety of candidates. Annotated corpora are indispensable in solving these problems automatically.

This study reports our project of annotating corpora with prosubs and related expressions in seven languages, i.e. Japanese, Korean, Malay, Indonesian, Thai, Vietnamese and Burmese.

## 2 Related work

The study of prosubs in linguistics has long been conducted at the level of specific languages and attempts at understanding their cross-linguistic properties have just begun recently. [2] is a summary of previous studies on Thai, Burmese, Malay, Indonesian, Javanese and Korean. In discussing these languages, it also makes reference to major previous studies on Japanese.

Regarding the use of large corpora, [3, 4] examined first- and second-person expressions, both personal pronouns and prosubs, in the monitor version of the Corpus of Everyday Japanese Conversation (CEJC) [5]. However, her annotation data are not openly available.

[1] created a multilingual dataset that provides information about whether or not a given expression can be used as

1) The examples in (1) and (2) were taken from the dataset reported in [1] available at https://gi thub. com/matbahasa/ProSub/blob/ main/data_all_v1.0.json.
(i) a first-person prosub, (ii) a second-person prosub, (iii) an address term and (iv) an honorific title in the seven target languages of the present study and Javanese. Examples are also given when the relevant use is available. The expressions are based on the common questionnaire for investigating pronoun substitutes and address terms developed by [6], which is a list of notions whose exponents are possible candidates of prosubs. The dataset and the questionnaire are available at https://github.com/matbahasa/ProSub.

## 3 Corpora

We used TUFS Asian Language Parallel Corpus (TALPCo) [7] and the corpora shown in Table 1.

TALPCo is an open parallel corpus consisting of 1,372 Japanese sentences and their translations into our target languages and English. ${ }^{2)}$ The sentences are given in a formal conversational register.

For Japanese and Korean, the national language institutes for the respective countries have developed spoken language corpora that we could use for our purpose. The two Korean corpora are part of the Modu Corpus published by the National Institute of Korean Language. ${ }^{3)}$ We selected 0.9\% (228/25,696 files) of the Spoken Corpus and $26.9 \%$ (600/2,232 files) of the Dialogue Corpus.

No existing spoken language corpus suitable for our project was available for the other five languages. Hence, we decided to compile our own corpora. Some of the corpus data are already publicly available. The conversation data of Malay are from $[9,10] .{ }^{4)}$ The film data of Indonesian consist of the captions of two Indonesian films, i.e. Gundala and $5 \mathrm{~cm}$, taken from opensubtitles.org. ${ }^{5)} \mathrm{We}$ also intend to make other data openly available in the future.

The word count of the Japanese corpus is based on the information provided on the corpus' website. ${ }^{6)}$ Those of the other languages were calculated based on the tokenization using the following tools: NLTK Tokenizer's word_tokenize [11] (Korean, Malay, Indonesian, Burmese), Trigram word segmentation and POS tagger

2) https://github.com/matbahasa/TALPCo

3) https://corpus.korean.go.kr

4) https://github.com/matbahasa/Melayu_Standard_Lisan/ tree/master/NorHashimah

5) https://www.opensubtitles.org

6) https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc. html
[12] and Python Vietnamese Toolkit's ViTokenizer ${ }^{7)}$.

## 4 Annotation scheme and tools

The annotation was performed by undergraduate and graduate students as well as ourselves, with each language team consisting of 3-5 members. TALPCo was used for training before embarking on larger data.

The following three tags are used: 1 st (first person), 2nd (second person) and address (address term). 1st and 2nd include not only prosubs but also personal pronouns. Personal pronouns are included because prosubs are extended personal pronouns, so to speak, and it is beneficial to study the two together. Address terms are also annotated because the expressions used as prosubs overlap considerably with those used as address terms, though they are not identical. An example of address terms in Japanese is given in (2). Recall that the word sensei can also be used as first- and second-person prosubs, as shown in (1).

(2) Sensei, bokura no heya wa doko desuka?

'Where is our room, Teacher?'

Such overlaps sometimes make it difficult to distinguish between a second-person prosub and an address term because, unlike in English, the subject does not have to be expressed overtly in our target languages. The rule of thumb when faced with uncertain cases is that second-person prosubs allow substitution by a second-person pronoun 'you', but address terms do not.

However, there are still cases that cannot be solved by such a rule. (3) is a case in point from CEJC. What makes this example complicated is the fact that the conversation involves more than two individuals, including Kaochan. Hence, Kaochan can be a third person when the sentence is not directed to her.

(3) Kaochan kore mo taberu?

(i) 'Does Kaochan (= you) wanna eat this too?' $\rightarrow$ 2nd

(ii) 'Do Øyou wanna eat this too, Kaochan?' $\rightarrow$ address

(iii) 'Does Kaochan wanna eat this too?' $\rightarrow$ no annotation

In the case of CEJC, the associated audio and video files enable us to choose from the three possibilities, based on the presence/absence of the prosody characteristic to address

Table 1 Corpora used for prosub annotation

terms and the direction of the speaker's gaze. However, such cues are unavailable in other languages. The annotators were asked to make their best decision even for very difficult cases rather than leaving them unannotated.

We used doccano [13] (Thai, Vietnamese) and the UAM CorpusTool $^{8)}$ (the other languages) for the annotation task. The annotation results can be exported in the jsonl format in the former and the tab-delimited text and XML formats in the latter. The examples of these formats are given in the Appendix.

## 5 Results

The annotation results will be made available to the public at https://github.com/matbahasa/ProSub either by uploading the files there directly or by providing links to other locations where the files are available.

## 5.1 TALPCo

Table 2 summarizes the number of annotated items in TALPCo in the seven target languages.

Table 2 The distribution of annotations in TALPCo

## 5.2 CEJC

Two groups conducted the annotation of CEJC independent of each other in order to examine the difficulty of the task. As of January 2023, 82\% of the entire corpus have been completed by both groups. Table 3 summarizes the number

8) http://www. corpustool . com. We used version 3.3 because version 6 did not run on any of our Windows computers. of annotated items by the two groups. (4) shows some of the prosubs found in CEJC.

Table 3 The distribution of annotations in CEJC

(4)

a. 1st: Sasagawa (personal name), baaba 'grandma', jibun 'self', kotchi 'over here', minna 'everyone'

b. 2nd: Nomiyama san (personal name + title), mama 'mama', papa tachi 'dad and his associates', (go-)jibun 'self', ${ }^{9)}$ sensei 'teacher', minna 'everyone'

The following two kinds of inter-annotator agreement scores were calculated:

1. Span match: The annotators identified an identical text span.

2. Value match: The annotators assigned the same value.

Value match is only relevant for matching text spans. Regarding Group B's annotations as the gold standard, the $F$-measure is calculated by the following equation in [14]. The $F$-scores thus calculated are 83.5 for span match and 95.5 for value match.

Span disagreements occur frequently with texts containing transcription symbols such as ')' and ' $\%$ '. In fact, the annotators made guidelines to handle those symbols, but the presence of the symbols still disrupted their judgements. Most of value disagreements are concerned with the choice between 2nd and address, as shown in the confusion matrix in Figure 1.

## 5.3 Facilitating use by linguists

The three kinds of output files created by the annotation tools, i.e. jsonl, tab-delimited text and XML, are not easy

## Group B

} & $1 \mathrm{st}$ & 2nd & address \\

Figure 1 Confusion matrix

to use for most linguists. Moreover, CEJC (Japanese) and NIKL corpora (Korean) prohibit redistribution of the original sentences, making it difficult for us to share the annotation results with the wider research community. As a solution to these issues, we developed a web-based tool called ETA (Easy Text Annotator) [15].

ETA takes the annotation and corpus files separately (Figure 2). For the CEJC and the NIKL corpora, we can only provide the annotation files. The corpus files need to be obtained/purchased from the institutes in charge. ETA can combine these files. One can modify the original annotation on ETA too. ETA supports three kinds of outputs. The summary table output is a text file formatted as a table and contains information about the frequencies of annotation values. It can be opened with a spreadsheet application such as Microsoft Excel. The HTML output allows one to examine an annotated text visually.

Figure 2 ETA: Easy Text Annotator

## 6 Conclusion

In this study, we annotated corpora in seven Asian languages with three prosub-related tags, i.e. 1st, 2nd and address. Moreover, we have built new spoken language corpora in five Southeast Asian languages. Compared to written language corpora, spoken language corpora, especially those involving naturalistic conversations, are limited to a handful of languages including Japanese and Korean. Our new corpora are thus valuable resources, even though their sizes are much smaller than those of the latter languages. We have also developed a corpus annotation and visualization tool ETA. It was originally developed for the project, but it can be used more generally for other projects.

The results of our corpus annotation will answer questions such as the following:

1. What are the expressions used to refer to the speaker and the addressee in language $\mathrm{X}$ ?

2. What are the expressions that can be used as prosubs in language $X$ ? How are they similar to/different from those in language $\mathrm{Y}$ ?

3. How are various speaker-/addressee-referring expressions used in a discourse?

[1] is an initial attempt to answer the second question. However, their dataset is based on a questionnaire rather than corpora. The present study can expand their list.

At least two improvements are conceivable in the present study. Firstly, 1 st and 2nd can be supplied with subclass information. Expressions assigned these tags can be (i) personal pronouns, (ii) prosubs or (iii) apparent prosubs. Apparent prosubs differ from genuine ones in that the person information is not lexically encoded. ${ }^{10)}$ They just happen to refer to the speaker/addressee, given a particular context. English examples such as (5), discussed by [16] under the term of 'imposters', are thought to fall into this category.

(5) a. In this reply, the present authors attempt to defend \{themselves/ourselves \} against the scurrilous charges which have been made. $\rightarrow 1$ st

b. How is my darling tonight? $\rightarrow$ 2nd

Secondly, it is important to recognize the so-called 'pro drop', i.e. a phenomenon in which the arguments of a predicate are not overtly expressed, in our target languages (cf. (3)). If our corpora were supplied with information about the presence of such empty items, they would also be subject to our annotation.

10) We assume that the person information is lexically encoded in prosubs. For example, in Malay, although cikgu 'teacher' can be both first- and second-person prosubs, its synonym guru 'teacher' cannot be either even when the relevant teacher is the speaker/addressee in the context.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP20H01255.

## References

[1] Ryuko Taniguchi, Wataru Okubo, Hiroki Nomoto, and Yunjin Nam. Daimeishidaiyou, yobikake hyougen no tagengo deetasetto [A multilingual dataset of pronoun substitutes and address terms]. In The Proceedings of the 164th Meeting of the Linguistic Society of Japan, pp. 307-313, 2022.

[2] Hiroki Nomoto, Sunisa Wittayapanyanon (Saito), Kenji Okano, Thuzar Hlaing, Yunjin Nam, and Sri Budi Lestari. Daimeishidaiyou, yobikake hyougen kenkyuu no genjou: Taigo, birumago, mareego, indoneshiago, jawago, chousengo [Current state of studies on pronoun substitutes and address terms: Thai, Burmese, Malay, Indonesian, Javanese and Korean]. Gogaku Kenkyuujo Ronshuu, Vol. 23, pp. 63-78, 2021. English version available at https://ling. auf.net/lingbuzz/005895.

[3] Ayami Kawano. Nihongo Nichijoukaiwa Koopasu no kazokukankaiwa niokeru koshou no shiyoujittai: Taishoudaimeishi o chuushin ni [Use of calling terms in family conversations in The Corpus of Everyday Japanese Conversation: Focusing on addresseereferring pronouns], 2019. Paper presented at Everyday Conversation Corpus Symposium IV.

[4] Ayami Kawano. Nihongo Nichijoukaiwa Koopasu niokeru jishou shiyou [Use of self-referring terms in The Corpus of Everyday Japanese Conversation], 2021. Paper presented at Everyday Conversation Corpus Symposium VI.

[5] Hanae Koiso, Haruka Amatani, Yuichi Ishimoto, Yuriko Iseki, Yasuyuki Usuda, Wakako Kashino, Yoshiko Kawabata, Yayoi Tanaka, Yasuharu Den, and Ken'ya Nishikawa. Nihongo Nichijoukaiwa Koopasu monitaakoukaiban: Koopasu no sekkei to tokyuchou [Corpus of Everyday Japanese Conversation monitor version: The architecture and features of the corpus]. National Institute for Japanese Language and Linguistics, Tokyo, 2019.

[6] Kenji Okano, Hiroki Nomoto, Sunisa Wittayapanyanon, Thuzar Hlaing, and Atsushi Kasuga. Ajia sangengo niokeru daimeishidaiyou, yobikakego no kyoutsuukoumoku chousa [An investigation of pronoun substitutes and address terms in three Asian languages based on a common questionnaire]. In Proceedings of the TwentyEighth Annual Meeting of the Association for Natural Language Processing, pp. 69-73, 2022.

[7] Hiroki Nomoto, Kenji Okano, David Moeljadi, and Hideo Sawada. TUFS Asian Language Parallel Corpus (TALPCo). In Proceedings of the Twenty-Fourth Annual Meeting of the Association for Natural Language Processing, pp. 436-439, 2018.

[8] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the Corpus of Everyday Japanese Conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, 2022. European Language Resources Association.

[9] Nor Hashimah Jalaluddin. Bahasa dalam Perniagaan: Satu Analisis Semantik dan Pragmatik [Language in Commerce: A Semantic and Pragmatic Analysis]. Dewan Bahasa dan Pustaka, Kuala Lumpur, 2003.

[10] Nor Hashimah Jalaluddin, Harishon Radzi, Maslida Yusof, Raja Masittah Raja Ariffin, and Sa'adiah Ma'alip. Sistem Panggilan dalam Keluarga Melayu: Satu Dokumentasi [Calling System in Malay Families: A Documentation]. Dewan Bahasa dan Pustaka, Kuala Lumpur, 2005.

[11] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O'Reilly Media Inc., Sebastopol, CA, 2009

[12] Virach Sornlertlamvanich, Naoto Takahashi, and Hitoshi Isahara. Building a Thai part-of-speech tagged corpus (ORCHID). The Journal of the Acoustical Society of Japan (E), Vol. 20, No. 3, pp. 189-198, 1999.

[13] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasufumi Taniguchi, and Xu Liang. doccano: Text annotation tool for human. https://github.com/doccano/ doccano, 2018.

[14] George Hripcsak and Adam S. Rothschild. Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, Vol. 12, No. 3, pp. 296-298, 2005.

[15] Hiroki Nomoto, Kaoru Kayukawa, and Yuta Takayasu. ETA: Easy Text Annotator. https://github.com/ matbahasa/ETA, 2022.

[16] Chris Collins and Paul Postal. Imposters: A Study of Pronominal Agreement. MIT Press, Cambridge, MA, 2012.

## Appendix: Output formats of doccano and UAM CorpusTool

## A Jsonl (doccano)

\{"id":265,"text":"2227\t わたしはきのう大学へ 行きました。","label":[[5,8,"1st"]]\}

\{"id":266,"text":"2229\t たばこはやめました。","label":[]\}

\{"id":267,"text":"2232\tきょうは誰も来ませんでした。","label":[]\}

\{"id":268,"text":"2234〈t あなたも よく働きますね。","label":[[5,8,"1st"]]\}

\{"id":290,"text":"2744\t 先生、こちらが 私の 母です。","label":[[5,7,"address"],[14,15,"1st"]]\}

## B Tab-delimited text (UAM CorpusTool)

## C XML (UAM CorpusTool)

<?xml version='1.0' encoding='utf-8'?>

<document>

<header>

<textfile>Texts/data_jpn.txt</textfile>

<lang>japanese</lang>

</header>

<body>

2227 <segment id='39' features='prosub;1st' state='active'>わたし</segment>は き

のう 大学へ 行きました。

2229 たばこは やめました。

2232 きょうは 誰も 来ませんでした。

2234 <segment id='40' features='prosub;2nd' state='active'>あなた</segment>も よ く 働きますね。

2744 <segment id='41' features='prosub;address' state='active'>先生</segment>、 こちらが <segment id='42' features='prosub;1st' state='active'>私</segment>の 母 です。

</body>

</document>


# 簡素なモデルでの創発言語の接触による クレオール単純化の再現

加藤大地 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
}

\{daichi5967, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp
## 概要

「異なる言語同士の接触で生まれる言語は、単純化される傾向にある」という性質をクレオール単純化という。先行研究には、ニューラルネットワーク で構成されたエージェント同士のやり取りとして発生する人工的言語、創発言語を用いて、クレオール 単純化の再現に成功した例がある。しかし利用され たモデルが煩雑で、クレオール単純化の本質的原因 が、言語同士の接触自体にあると断定できるもので はなかった。そこで我々は、最大限まで簡素化され た創発言語の接触のモデルを設計し、クレオール単純化の再現を試みた。複数の評価指標を用いて言語 の複雑さを評価し、簡素なモデルでもクレオール単純化が現れることを実験的に示した。

## 1 はじめに

異なる言語を話す人間同士が意思疎通を図る中で 新たに発生する言語は、往々にして単純化される傾向にある。言語のこの性質をクレオール単純化と呼 ぶ $[13,15,1]$ 。クレオール単純化がなぜ、どのよう に生じるかは、言語学の未解決な問題である。

この問題に対する切り口の 1 つとして、創発言語の枠組みを使う研究が存在する。創発言語とは、 ニューラルネットワークで構成された人工エージェ ント同士の間に生じる、人工的なプロトコルのこと である。人間の言語の発現・進化の歴史の解明につ ながる可能性があり、昨今の技術向上により現実に 近い形式で言語創発を機械的に模倣できるように なってきたことも相まって、創発言語は注目を集め ている分野である [9]。

Graesser ら [6] は、シミュレーションの中で人工的に創発言語同士を接触させ、実際にクレオール単純化を発現させることに成功した。しかし、クレ オール単純化の再現のみに焦点を当てた場合、彼ら
のモデルはかなり煩雑である。ゆえに、クレオール 単純化が起こる本質的原因が、本当に言語の接触自体にあるのか、それとも単に彼らの煩雑なエージェ ントのアーキテクチャの構造や実験設定が、偶然ク レオール単純化を発生させるに至っただけなのか、判別が困難である。また、この研究の後続研究とし てクレオール単純化を議論する際に、基盤となるモ デルが簡素1)なものでないと、さらに踏み込んだ設定での実験が難航する、という問題点もある。

そこで我々は、「煩雑なモデルではなく、言語同士の接触自体にクレオール単純化の本質が眠ってい るはずである」という仮説を立てた。この仮説の検証のため、最大限まで簡素化されるようにデザイン された創発言語の接触モデルを使って、それでもな おクレオール単純化が生じるか実験した。

我々は、Graesser ら [6] が用いたエントロピーの みならず、N-gram、汎化性能、学習のしゃすさ、 TopSimのような指標も用いて、言語の複雑さを 計測した。実験の結果、我々の簡素なモデルでも、様々な評価指標でクレオール単純化が実際に発現す ることが確認された。これにより、クレオール単純化の再現には、先行研究のような煩雑なモデルを用 いる必要性はないことが示唆された。今後、この簡素化されたモデルをべースに、創発言語の立場から クレオール単純化の議論が進むことが期待される。

## 2 背景

## 2.1 クレオール単純化

異なる言語同士が接触した際に、言語にどのよ うな影響が出るかを研究する分野として Contact Linguistics $[14,17]$ がある。その中で、最も研究さ

れている対象の一つとして、異なる言語を話す集団同士が接触して生じる新しい言語である、クレオー ル言語が挙げられる。クレオール言語の顕著な特徴 として、他の自然言語に比べて、より簡単になる傾向があることが知られており $[13,15,1]$ 、本稿では これをクレオール単純化と呼ぶ。

## 2.2 創発言語の発生手法

創発言語分野では、言語を機械的に再現するため に、ゲームと呼ばれるタスクを設定し、その成功率 が上がるようモデルを学習する、という形で実験を 行うことが多い。ゲームは、Lewis[11]によるシグナ リングゲームをもとに設計されることがほとんどで ある。本節で、ゲームの流れを大まかに説明する。

ゲームには、sender、receiver と呼ばれる 2 種類 のエージェントが登場する。まず sender は、入力の 属する空間 $I$ からランダムに抽出された入力 $i$ を受 け取る。 $i$ のデータ形式はゲームの設定によって異 なり、画像、テキスト、数字列など多岐にわたる。 sender はこの入力を見て、記号列 (メッセージ) $m$ を生成し、receiver に送信する。receiver はこのメッ セージのみを頼りに、sender の入力 $\boldsymbol{i}$ が $I$ の中のど れにあたるかを予測し、その推定入力 $\hat{i}$ を出力とし て生成する。その後、 $\boldsymbol{i}$ と $\hat{\boldsymbol{i}}$ が一致しているかに応 じてゲームの成功・失敗が判定され、その結果をも とにエージェントの内部状態が更新されて、学習が 進んでいく。メッセージだけが 2 つのエージェント を接続する架け橋になることを考えると、学習が進 みゲームの成功率が上がったとき、そのメッセージ は sender、receiverにとって共通に理解できる、意味 を持つ記号列になるはずである。それを言語と見做 し、その性質を解析するのが、創発言語という分野 である。

## 2.3 創発言語の評価指標

構成性言語には構成性と呼ばれる性質があるこ とが知られている。自然言語で使われる単語はそれ ほど多くないが、ルールに従って単語を組み合わせ ることで、膨大な事象を表現できるようになる。例 えば、「黄色のバナナ」と「緑色のバナナ」を表現 する際、これらに特別な単語を割り当てるのではな く、色を表す単語と「バナナ」という対象を表す単語を組み合わせて対応する。Topographic Similarity (TopSim) [2,10] は、言語の構成性を測る指標とし

セージが属する空間を $M$ とする。TopSim は $I$ にお ける 2 つの入力の距離と、 $M$ におけるこれらの入力 に対応する 2 つのメッセージの距離との相関係数と して定義される。TopSim が高いほど、構成性が高 いことを表す。この指標は「入力同士の意味が近い ときには、対応するメッセージ同士も似たようなも のになるはずである」という直感に基づく。

不確実性 Graesser ら [6] は言語の複雑さを計測 する指標として、sender のメッセージ生成の際のエ ントロピーを用いた。彼らは「ある事象に対し、そ の表現方法の不確実性が大きいほど、難しい言語と 言えるはずである」という直感の下、エントロピー が高いほど、言語の複雑さが大きいと評価した。

## 2.4 創発言語の接触に関する先行研究

Graesser ら [6] の研究は、創発言語同士の接触に より、クレオール単純化の再現に初めて成功した研究である。しかし、彼らはクレオール単純化のみな らず、接触による言語への他の影響についても同時 に再現を試みており、実験設定は 2.2 節でのゲーム と以下のような点で異なっていて、煩雑である：

・各エージェントが sender、receiver の両方の役割 を果たし、1ゲームで複数回メッセージを交換 するマルチステップな設定にしている。

・分割された画像の半分が入力として与えられ、 もう一方のエージェントの入力画像と合わせた ものが全入力のうちどれに当たるかを推定する 必要があり、一方通行の意思疎通が起こらない ようにしている。

・エージェントが 2 人より多く登場する。

また、メッセージとして単なる 1 記号を採用してお り、創発言語分野で重要な構成性 ( 2.3 節) の評価を 行うことができない、という問題点もあった。

## 3 実験手法

ゲームの基本的な流れは 2.2 節で説明したものに 沿う。各入力 $\boldsymbol{i}$ は $n_{\text {att }}$ 個の值を連ねたタプルであ り、各値は 0 から $n_{v a l}-1$ の $n_{\text {att }}$ 種類の値を取り得 る。また、 $c_{v o c}$ 種類の相異なるシンボルからなる 集合 $V$ から、シンボルを $c_{l e n}$ 回選び (重複も許され る)、並べたものをメッセージ $m$ として定義する。創発言語の接触を、次のように発生させる (図 1):
1. 2 つの sender-receiver のペア $P_{1}=\left(S_{1}, R_{1}\right), P_{2}=$ $\left(S_{2}, R_{2}\right)$ を用意し、それぞれ成功率が $99 \%$ 以上

図 1 創発言語の接触を生じさせる流れを表した簡略図

表 1 sender の内部状態で決まるカテゴリカル分布のエン トロピーの值を、プロトコルごとに計算したもの。値は 四捨五入、括弧の中の数字は標準誤差を表す。

になるまで、独立に学習を行う。ここで創発す る 2 つのプロトコルをそれぞれ $L_{1}, L_{2}$ と呼ぶ。

2. receiverの「交換」を行う。つまり、新たなぺア $P_{3}=\left(S_{1}, R_{2}\right), P_{4}=\left(S_{2}, R_{1}\right)$ を作成する。
3. $P_{3}, P_{4}$ で正解率が $99 \%$ 以上になるまで、独立に 学習を行う。ここで創発する 2 つのプロトコル をそれぞれ $L_{3}, L_{4}$ と呼ぶ。

$L_{1}$ を話す sender と $L_{2}$ を聞く receiverによるクレ オール $L_{3} 、 L_{2}$ を話す sender と $L_{1}$ を聞く receiverに よるクレオール $L_{4}$ が作成できる。 $L_{1}, L_{2}$ と $L_{3}, L_{4}$ を比較して、クレオール単純化が発現するか様々な 評価指標で検証するのが、本実験の主旨である。

## 4 実験結果とその解釈

我々は複数のパラメタで実験を行った。 $n_{a t t}=2$, $n_{v a l}=100, c_{v o c}=10, c_{\text {len }}=6$ の設定の結果を掲載す るが、他のパラメタ設定でも同様の考察ができる結果を得た。掲載する結果は、同じパラメタに対し random seed のみを変更しながら 100 回実行を行い、平均を取ったものである。

## 4.1 エントロピー

学習時、sender は内部のカテゴリカル分布から メッセージをサンプルする。学習の最後の epochに おけるカテゴリカル分布のエントロピーを表 1に示 す。接触後言語の方がエントロピーが低く、Graesser ら [6] の研究と同様にクレオール単純化が発現した。

## 4.2 N-gram

テスト時、sender は内部状態に応じて決定的に メッセージを排出する。あり得る入力全てに対して

図 2 各言語プロトコルにおける、単語ペアの頻度の順位 と頻度の関係を表したグラフ。縦横軸ともに対数表示。薄い色で塗られた部分は標準誤差によるばらつきを表す。

図 3 各言語プロトコルにおける、epoch ごとのテスト データに対するゲームの成功率の推移。横軸のみ対数表示。薄い色で塗られた部分は標準誤差によるばらつきを 表す。

sender にメッセージを出力させることで、sender が 話す言語のコーパスのようなものを作成できる。こ のコーパスを用いて、各単語 (unigram)、各単語ぺ ア (bigram) の出現頻度の分布を作成する。代表し て bigram の結果を載せる (図 2)。横軸が各単語ペア が現れる頻度が高い順に並び替えた順位、縦軸がそ の頻度自体を表す。標準誤差区間がやや重なってい て、明らかな違いがあるとは言い難いが、接触後言語の方が頻度の分布に偏りがある結果になっている と言える。分布に偏りがあることは、エントロピー が小さいことを表し2)、クレオール単純化が発現し ている結果であると言える。

## 4.3 汎化性能

Chaabouni ら [3] と同様に、学習データには含まれ ない入力を使って成功率を計算し、その推移を見る ことで、汎化性能を計測する (図 3)。接触後言語の

2）実際、最尤推定による確率分布でエントロピーを計算した ところ、接触後言語の方が小さくなった。

図 4 receiver の状態を freeze させて senderのみを学習 させたときの、学習中のゲーム成功率の推移。 $L_{5}, L_{6}$ は $L_{1}, L_{2}$ の freeze された receiverをもとに学習した言語、 $L_{7}, L_{8}$ は $L_{3}, L_{4}$ の freeze された receiver をもとに学習した 言語である。薄い色で塗られた部分は標準誤差によるば らつきを表す。

方が素早く成功率が向上している3)。「汎化性能が 高い方が、少ない単語でより多くの事象を表現でき るため、簡単な言語である」という直感を頼りに すると、接触後言語の方が汎化性能が高いことは、 クレオール単純化が発現している結果であると言 える。

## 4.4 学習のしやすさ

本実験では、学習のしやすさとして下記の 3 種類 を用いる。

1. 学習の中での成功率の推移

2. sender のパラメタを freezeさせ、新たに初期化 した receiverを学習する際の、成功率の推移

3. receiverのパラメタを freeze させ、新たに初期化 した senderを学習する際の、成功率の推移

2 は Chaabouni ら [3] が利用した指標を参考にしてい る。彼らは成功率の推移のグラフの下側の面積を定量的に比較したが、我々はグラフ自体をそのまま比較する。この指標は、「親が子に言語を教えること」 に類推できる実験であると言える。1,2 については 特筆すべき点はないので、図の掲載は省略する。学習しやすい言語の方が簡単、つまり素早く成功率が 上がる言語の方が簡単と直感できるが、実際に、接触後言語の方が素早く成功率が上がるという結果が 得られた。

3 も前段落の「親が子に言語を教える」類推が同

3）実行ごとに学習を打ち切る epoch が異なっており、epoch が大きくなるにつれ学習が継続されている実行が減るため、 epoch が大きい部分では値のブレが大きくなっている。この ブレは現象の平均をとって見る際には非本質的な結果なの で、epochが小さい部分について議論するのが望ましい。表 2 TopSim の値をプロトコルごとに計算したもの。值 は四捨五入、括弧の中の数字は標準誤差を表す。

様にできるが、本実験で唯一、クレオール単純化に 基づく直感に反する結果を得た (図 4)。異なるパラ メタ設定でも、接触前と後で差異がない、もしくは 接触前の言語の方が素早く成功率が上がるという結果になった。結果から、sender、つまり言語を発す る側にとっては、クレオール単純化が本質的に起こ らず、むしろクレオールが、クレオールではない言語と同等もしくはそれ以上の難しさを孕んでいる可能性が示唆された。ただ、強化学習により学習が進 む sender の学習の促進のために、損失関数に足され た「エントロピー増大」のための項が、結果に不自然な働きかけをしているだけで、実際のクレオール に本質的に備わる性質ではない可能性を否定できな いため、将来の研究で更なる検証が求められる。

## 4.5 TopSim

2.3 節で説明した TopSim を計算した結果が表 2で ある。Chaabouni ら [3] は、TopSim の高さと sender を固定したときの receiver の学習のしやすさが強く 相関することを指摘しており、簡単な言語が学習し やすいという直感から推論すると、簡単な言語は TopSim が高くなる、という仮説が立つ。実際、接触後言語の方が明らかに TopSim が高くなっており、 クレオール単純化が発現している結果とみることが できる。

## 5 おわりに

本論文では、簡素な創発言語接触のシミュレー ションモデルを利用し、クレオール単純化が再現す ることを、多様な評価指標を用いて検証した。実際 に多くの指標においてクレオール単純化が発現して いると解釈できる結果が得られたが、receiver を固定 して senderを学習するという設定においてのみ、異 なる結果が得られた。この点に関しては、学習の方法を変えて再度実験する等の検討が必要になるだろ う。しかし、煩雑なモデルを使わなくとも、数多く の手法でクレオール単純化を確かめられため、今後 この簡素なモデルをベースに、創発言語の立場から クレオール単純化の議論が進むことを期待できる。

## 参考文献

[1] Peter Bakker, Aymeric Daval-Markussen, Mikael Parkvall, and Ingo Plag. Creoles are typologically distinct from non-creoles. Journal of Pidgin and Creole languages, Vol. 26, No. 1, pp. 5-42, 2011.

[2] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[3] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalizability in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 44274442. Association for Computational Linguistics, 2020.

[4] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[5] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1724-1734. ACL, 2014.

[6] Laura Graesser, Kyunghyun Cho, and Douwe Kiela. Emergent linguistic phenomena in multi-agent communication games. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 36983708. Association for Computational Linguistics, 2019.

[7] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[8] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[9] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[10] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[11] David Lewis. Convention: A philosophical study. John Wiley \& Sons, 2008.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[13] John H McWhorter. The worlds simplest grammars are creole grammars. 2001.

[14] Carol Myers-Scotton, et al. Contact linguistics: Bilingual encounters and grammatical outcomes. Oxford University Press on Demand, 2002.

[15] Mikael Parkvall, et al. The simplicity of creoles in a crosslinguistic perspective. Language complexity: Typology, contact, change, pp. 265-285, 2008.

[16] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pp. 3528-3536, 2015.

[17] Sarah Grey Thomason and Terrence Kaufman. Language contact. Edinburgh University Press Edinburgh, 2001.

[18] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.
本文で説明しきれなかったモデルのアーキテク チャや、学習に使うアルゴリズムについて紹介す る。本実験は Chaabouni ら [3] の研究を基にしてお り、以下で紹介するアーキテクチャやアルゴリズ ムは Chaabouni ら [3] のものと同じものであるため、合わせて参考にされたい。

## A モデルのアーキテクチャ

sender、receiver ともに、内部に GRU [5] による層 を持っている。これらのエージェントのアーキテク チャを以下に簡潔に説明する。

## A. 1 Sender

図 5 senderエージェントのアーキテクチャの概略図。た だし、 $c_{l e n}$ はメッセージの長さを表す。

sender はまず、受け取った入力を GRU セルの隠 れ状態べクトルとして使う。BOS の埋め込みべクト ルと同時に入力し、そこから出てくる新たな隠れ状態ベクトルから、メッセージの最初のシンボル $s_{1}$ を 生成する。学習時は、学習の探索を促すため、隠れ 状態ベクトルから作られるパラメタを基にした分布 に従って、確率的にシンボルを生成するが、テスト 時は、パラメタの中でもっとも値が大きいシンボル を貪欲に選択してシンボルを生成する。さらに、こ の隠れ状態べクトルと、生成されたメッセージは、次の GRU セルに渡され、後続のシンボルの生成に 再帰的に利用される。

## A. 2 Receiver

図 6 receiver エージェントのアーキテクチャの概略図。 ただし、 $c_{\text {len }}$ はメッセージの長さを表す。

receiver は、sender から受けとったメッセージを、
1 シンボルずつ GRU セルで消費する。全てのシン ボルを消費し終わった後に出てくる隠れ状態べク トルを線形層で整形し、それを推定入力として出力 する。

## B 学習

創発言語のほとんどのゲームにおいて、メッセー ジは離散的であるため、学習時に通常利用される誤差逆伝播法を利用することができない。これに対す るアプローチとして、

・Gumbel-Softmax $[12,7]$ : 離散分布であるカテゴ リカル分布を Gumbel-Softmax 分布と呼ばれる 別の連続分布で近似する手法。

-REINFORCE [18]：強化学習における方策勾配法の一種。

を利用することが多い。しかし、Chaabouni ら [3] の 研究では、新たな “hybrid method" として、確率的誤差逆伝播法と REINFORCE を組み合わせた学習アル ゴリズム $[16,4]$ を利用して学習を行った。

$\boldsymbol{\theta}_{S}, \boldsymbol{\theta}_{R}$ を、それぞれ sender、receiver の内部状態を 表すパラメタであるとする。また、 $\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)$ を、入力 $\boldsymbol{i}$ と receiver の推定入力 $\hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)$ との crossentropy loss であるとする。学習の目標を、この cross-entropy loss $の$ 期待値 $\mathbb{E}\left(\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right)$ を最小化することと定める。Chaabouni ら [4] は、代替関数を、

$
\begin{aligned}
& \mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right) \\
& \quad+\left(\left.\{\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right.\}-b\right) \log p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)
\end{aligned}
$

のように定め、この代替関数の勾配の期待値が、 cross-entropy loss の期待值の勾配に等しいことを利用して、学習を進めた。ただし、\{$\cdot$\}は stop-gradient 演算子、 $p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)$ は入力 $\boldsymbol{i}$ を受け取った sender がメッセージ $m$ を返す確率、 $b$ はベースラインで ある。(1) 式 の第一項は receiver を学習するのに使 われる。この部分は単純に誤差逆伝播法を利用すれ ば最適化できる。また、(1) 式 の第二項は sender を 学習するのに使われる。この部分は REINFORCE に よく似たアルゴリズムを利用することで最適化で きる。このように、全体のモデルを 2 つのアルゴリ ズムを組み合わせたような形で利用して学習を行 うことから、Chaabouni ら [3] はこの手法を "hybrid method"と呼んでいる。

なお、optimizerとして、Adam [8]を利用する。


# BERT の学習済みモデルを用いた 語義定義文の類義判定に有効な日本語辞書の変更方法

石井佑樹 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
茨城大学工学部情報工学科
\{22nm702y, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

自然言語処理技術を開発する上でシソーラスの意味知識は有用である。しかし, 知識獲得や自然言語処理のタスクにおいては単語間の関係に注目するの みで語義レベルの知識を利用できていない. 本研究 では，類義関係の獲得に注目して日本語辞書の語義定義文同士の類義判定手法の提案と同時に，類義判定に効果的な定義文の変更方法を調査する．結果と して, 名詞・動詞・形容詞単語の類義語ぺアにおけ る定義文の類義判定において, 定義文が無変更の場合の $\mathrm{F}$ 值は 0.38 , 変更した場合は $\mathrm{F}$ 値が 0.44 まで向上した。考察の結果, 定義文中の「定義文中のひら がなと漢字表現の摇らぎ」「参照的な定義文」が類義判定において障害になることが考えられる.

## 1 はじめに

自然言語処理において単語の上位下位関係，同義関係，類義関係等の意味知識を獲得することは，機械翻訳や対話システム，情報検索等の技術発展にお いて有用である。しかし，増え続ける語に対して人手で知識獲得をするには時間的，人的資源の消費が 著しいため自動化することが望ましい。日本語では これまでに Wikipedia[1][2]や WWW 上に存在する HTML 文書[3]から上位下位関係を獲得する手法や,特定分野 (航空分野[4], システムの要求仕様書[5]) における同義語辞書を作成する手法が研究されてき た. また，文中で使われる多義語の語義を識別する 語義曖昧性解消（WSD）のタスクにおいては, 英語 WSD で英語 Wordnet[6]の意味知識を利用する知識 ベースの手法[7][8]が存在する.この手法は意味知識 を利用するため語義ラベル付けを必要としない利点 がある.

しかし，これらの研究は単語に対する関係性に注目するのみで，単語の語義定義文レベルの関係性を 考慮していない。そのため特に多義語においては語義レベルで知識の関係性を利用できていないと言え る.また，日本語においては英語 Wordnet の様に多様な単語間関係を含むシソーラスが作成されていな い. 現時点で日本語 WordNet は作成されているが,英語 WordNet に存在しない日本語の類義関係のまと まり（synset）の追加や現状の synsetを修正する必要 があり，タスクに利用するには課題が残る。

本研究では, 日本語において Wordnet の多様な知識体系を成すシソーラス作成の一部となることを目的とし，類義関係の獲得に注目して日本語の語義定義文同士の類義判定手法を提案する．また類義判定 にあたり, 日本語辞書の語義定義文は人が読むこと を前提として記述されているため，類義判定に必要 な文章ベクトルの取得には不適切な表現が存在する。 そのため手法の提案と同時に類義判定に有効的な語義定義文の変更方法を調査する。

## 2 提案手法

## 2.1 類義判定手法

日本語辞書における語義定義文が類義であるかど うか判定するのに、定義文の文章ベクトル同士の $\cos$類似度を求める。

各定義文の文章ベクトルは、対象単語の定義文を 学習済从の日本語 BERTに入力して得られたCLS卜 ークンを利用する。

類義判定手法を図 1 に示す.

## 2.2 類義判定のラベリング

岩波国語辞典に記載された単語から分類語彙表の 分類番号を元に類義語のペアを選出し，両単語の定義文に対して人手でラベリングを行った．類義語ぺ

アの内, 片方の単語は必ず多義語であり複数の定義文を持つ.

類義語の判定基準は，含意関係にある定義文につ いても類義であるという基準にした。含意関係にあ る定義文を図 2 に示す. 「くどい」の定義文は「し つこい」の 2 つ定義文の意味を同時に持つため, 21578-0-0-1-0 と 21578-0-0-2-0 の定義文は 13612-0-00-0 の定義文と類義であるとラベル付けをした.

分散表現

単語1 コサイン類似度

図 $1:$ 類義判定手法の流れ

図 2 : 含意関係となる定義文の例

## 2.3 定義文の変更

本研究で利用する岩波国語辞典の定義文の記述に は，定義文の文章ベクトルを取得する上で不適切な 表現が多く含まれているため定義文を変更する必要 がある。定義文の変更においては，石井，佐々木[9] が提案した岩波国語辞典の定義文の上位下位関係を 効果的に判定できる変更方法を利用する.

変更方法は以下の設定 A・(1)～(5)である。これを 段階的に適用していく.
- 語義説明の無い定義文の削除（文変更無し）A
- 辞書内表現 - 記号の削除 - 置換, 全角英字を半角英字に置換, 用例文内のハイフン「一」の置換(ひ らがな置換)(1)・(1)*
- 用例文内のハイフン「一」の置換(一対一置換)(2)

・追記情報の削除(3)

・全角括弧「（）」表現を削除(4)
- 部分的な用例文の削除(5)

## 3 実験

2 章で説明した手法の有効性を調査するため, 類義語ぺアの語義定義文に対して類義判定実験を行っ た. 利用した日本語 BERT は東北大学乾・鈴木研究室が公開している事前学習済みモデル bert-basejapanese-whole-word-masking である.

## 3. 1 実験データ

岩波国語辞典に記載された単語から分類語彙表に おいて名詞，動詞，形容詞に分類される単語ぺアを それぞれ 50 組選出した。

類義の判定をした定義文の組の総数は, 名詞の場合 389 組, 動詞の場合 397 組, 形容詞の場合 328 組,

名詞・動詞・形容詞すべて合わせた（以下 All とす る）場合は 1114 組である. 品詞ごとに類義語判定を 行う.

## 3. 2 評価方法

本実験は類義の判定をする二值分類タスクである ため, 正解率, 精度, 再現率, $\mathrm{F}$ 值を評価指標とし て求めた. 本実験では, 精度は「類義であると判定 したデータの内，実際に類義であった割合」再現率 は「類義であるぺアのうち類義であると判定できた 割合」となる。

類義の判定は，語義定義文同士の $\cos$ 類似度に閾值を設け間値を超えた場合類義であるとみなす。無変更の定義文と変更した定義文によるスコア比較を するため類似度の閾値は $\mathrm{F}$ 值が高くなる 0.85 に統一した.

## 4 実験結果

実験結果を表 1,2,3,4 に示す. 本研究では，手動で 選出した類義語ぺアに含まれる定義文の全組み合わ せに対して類義語判定を行っているため，類義でな いと判定する割合が多くなるほど正解率が高くなる。 つまり $\cos$ 類似度の閾値を高くするほど一定の正解率に近づくため, 評価指標としては精度と再現率の 調和平均を求めた $\mathrm{F}$ 値に注目する.

各品詞の設定 A（無変更）に比べて，名詞の場合 は A(1), A(1)*, 動詞・All の場合は A(1)～(4), 形容詞の場合は A(1)*(3)の変更設定において $\mathrm{F}$ 值は最高値となり，変更した語義定義文を用いた方が $\mathrm{F}$ 値は 向上した. 石井，佐々木[9]が提案した手法では，上位下位関係に有効な定義文の変更設定は A(1)*(3)で

あるが，語義定義文の類義判定においては形容詞単語のみ最高値となる結果となった。

表 $1:$ 名詞単語の実験結果

表 $2:$ 動詞単語の実験結果

表 3 : 形容詞単語の実験結果

表 4 : 名・動・形容詞単語の実験結果

次に，比較した定義文の $\cos$ 類似度を見ていく。特に変更前と変更後で差が出た具体例を表 5 に示す。

「まばゆい」「まぶしい」においては，定義文内 の用例文に用いられる “一” ハイフンの置き換え方法に精度の違いがみられた。“—” ハイフンは見出 し語に置き換えているが，設定(1)のみの場合はす心゙ てひらがなに，設定(2)が加わると一部は漢字で置換 される。「まばゆい」の定義文に直接“まぶしい” とひらがなで記述されているため, “眩しい”と漢字で置換した「まぶしい」の定義文との $\cos$ 類似度 が閾値の 0.85 に届かなかった。他の事例では，逆に 漢字が定義文に記述されており, ひらがなで置換し た定義文との $\cos$ 類似度が下がる例もあった．類義判定においては，定義文のひらがな・漢字の表現の 摇らぎは顕著な影響が出るため, 文中ではどちらか に表現を統一することが望ましい。また，設定 A と 設定 A(1)～(4)の類似度を比べると設定 A(1)～(4)の類似度が高い，前述のひらがな・漢字の摇らぎを踏ま えると “派生|さ|げ|がる” の削除によって類似度の向上が見られたと考えられる。

「すがお」「じがお」においては，表５の例に示寸類義文ペアに設定 A(1)～(4)の変更を施した類似度 が両単語の定義文ぺアの中で最低値を取る結果とな った。一方無変更の場合は定義文ぺアの中で最高値 を取るため，無変更の方が類義判定に有効な定義文 であると言える。これは定義文が短すぎるために判定に難があると考えられる．特にこの例では，「じ がお」の定義文が “素顔。”と比較対象の見出し語 のみで記述されている。「じがお」の定義文から「す がお」の定義文を読む参照的な記述となる場合，類
表 5 : 類義判定の具体例

 \\

義語判定が難しくなる.

「てんずる」「ともす」においては，全角括弧表現 を削除することによって類似度が下がった。この例 では，「ともす」にも使われている “灯火”を削除 してしまったためであると考えられる. All の設定 A (1)（4)が $\mathrm{F}$ 值の最高値を取るため, 全角括弧表現の 削除は効果的な場合とそうでない場合があると考え られる。

## 5 おわりに

実験の結果, 岩波国語辞典の語義定義文の表現を 変更することで類義判定における $\mathrm{F}$ 値が向上した. しかし, 考察の結果得られた「文中のひらがなと漢字表現の摇らぎ」「参照的な定義文」の問題は機械的に修正することが困難であり類義判定において障害になると考えられる。類義判定手法については,間値の設定方法やモデルの変更等, 改良の余地があ ると考えられる。

今後は実験で得られた結果から, 定義文変更の更 なる最適化や新たな手法の調査に努めたい.

## 参考文献

1. 只 鍾勲, 山田 一郎, 内元 清貴, 鳥澤 健太郎, 橋本 力, 言語横断共訓練による単語間の上位下位関係 の獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.3558-3573, 2011

2.山田 一郎, 鳥澤 健太郎, 風間 淳一, 黒田 航, 村田 真樹, ステイン デ・サーガ, フランシス ボンド,隅田 飛鳥, 橋本力, 分布類似度と Wikipedia から 獲得した構造情報を利用した上位下位関係獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.34353447, 2011

3. 新里 圭司, 鳥澤 健太郎, HTML 文書からの単語間の上位下位関係の自動獲得, 言語処理学会, 自然言語処理 12 (1), pp.125-150, 2005

4. 寺田 昭, 吉田 稔, 中川裕志, 同義語辞書作成支援システム, 言語処理学会, 自然言語処理 15 (2), pp.39-58, 2008

5. 伴 凌太, 高橋 宏季, 位野木 万里, word2vec を 用いた同義語辞書自動作成手法の提案と適用評価,
情報処理学会, 第 81 回全国大会講演論文集 2019 (1), pp.265-266, 2019

6. George, M. "Wordnet: a lexical database for english." Communications of the ACM, 38(11):39-41, 1995.

7. Sawan, K. Sharmistha. J. Karan, S. and Partha T."Zeroshot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

8. Bevilacqua M. and Navigli R. "Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 2854-2864, 2020.

9. 石井 佑樹, 佐々木 稔, 辞書の階層構造埋め込み 学習における日本語辞書定義文の効果的な利用, 自然言語処理学会, 言語処理学会第 28 回年次大会発表論文集，pp.789-794， 2022

## 付録

図 3 に 150 組の類義語ぺアを示す。

図 3 : 類義判定を行った類義語ぺア一覧


# 専門家と非専門家によるアノテーション検証の割当の自動化

守山慧 1 中山功太 ${ }^{2,4}$ 馬場雪乃 3,4
1 筑波大学情報学群情報科学類 2 筑波大学大学院理工情報生命学術院
3 東京大学大学院総合文化研究科 4 理化学研究所 AIP
s2113576@s.tsukuba.ac.jp kouta.nakayama@riken.jp
yukino-baba@g.ecc.u-tokyo.ac.jp

## 概要

自然言語理解を実現するために、知識ベースの構築が必要である。人手による知識べースの構築には コストがかかるため、機械学習モデルを用いて自動化することができる。だが、機械学習モデルにより 作成された知識べースは正しいとは限らないので検証する必要がある。

これを達成するために、本研究では、適切な問い 合わせ先として機械、非専門家、専門家のいずれか を自動選択する手法を提案する。実データを用いた 実験で、提案手法により問い合わせ先を選ぶ場合 と、ランダムに問い合わせる場合とで比較したとこ ろ、提案手法の方がより精度良く検証が実現できる ことを確認した。

## 1 はじめに

自然言語理解を実現するためには、言語的及び意味的な知識べースの構築が必要になる。このような 知識ベース構築プロジェクトの 1 つとして、森羅プ ロジェクト [1] がある。[1] では Wikipedia の記事を 用いて知識べースの構築を目指している。Wikipedia の記事から固有表現を抽出することで計算機が利用可能な形式での Wikipedia の構造化を進めている。

しかし、Wikipedia のようなテキストの更新が頻繁に行われ、数が膨大なテキストから知識べースを 人手で構築することは困難である。この問題の解決策として、機械学習モデルを用いて、テキスト中に 含まれる固有表現を抽出し、知識べースの構築を自動化することでコストを下げることが挙げられる。

機械学習モデルによる自動化を行った際の課題 として、抽出された固有表現が正しいとは限らない という点が挙げられる。そのため、構築された知識 ベースが実用的ではなくなってしまう。これを防ぐ ために、機械学習モデルが抽出した固有表現を検証
し、間違って抽出された固有表現が混ざることを防 ぐ必要がある。だが、人手による検証は数が膨大で あるため困難である。よって、人手による検証をす る必要のあるデータと、検証する必要のないデータ を選択することで検証にかかるコストを下げること が必要である。

また、人手による検証をする際の課題として、タ スクに対する知識の量は人によって異なる点が挙 げられる。タスクについて専門的な知識を持つ人を 専門家、そうではない人を非専門家とすると、専門家はタスクに対して深い知識を持っているため、正確な解答をすることができる。一方で、非専門家は 難しいタスクに対して正確ではない解答をする。ま た、解答を依頼する際のコストは、専門家の方が多 く、非専門家の方が少なくい。そのため、専門的な 知識を必要としないで判定が可能なデータについて は非専門家、必要とするデータについては専門家に 検証を依頼することが理想的である。

そこで本研究では、固有表現の抽出結果の検証方法の選択を行うモデルを学習させる手法を提案し た。検証方法として、機械、非専門家であるクラウ ドワーカー、専門家であるアノテーターの 3 種類を 対象とした。この損失関数で学習させた機械学習モ デルと、ランダムにデータの検証方法を決定した場合を比較して正解率、 F1 值、再現率、精度の比較を した。学習させた結果、学習させたモデルの方が正解率が高く、また割当先をうまくコントロールする ことで $\mathrm{F} 1$ 值もランダムにデータの検証方法を決め るよりも良くなっていることがわかった。

## 2 関連研究

人間が解答するデータと機械学習モデルによる予測を行うデータの割当を行う手法として $[2,3,4,5]$ がある。これらの手法は主に 2 つのアプローチがあ る。予測を行う前にデータを分割する手法 $[2,3,5]$

と、予測とタスクの依頼を同時に行う手法 [4] があ る。Raghu ら [2] の手法では、人間の予測に対する 損失関数と機械学習モデルの予測に対する損失関数をそれぞれ定義し、この損失が最小になるように データを分割することを提案している。Nastaran ら [3] は、人間に依頼するかどうか決定するモデルと 分類モデルを同時に学習させる手法を提案してい る。これらのモデルを学習させる前に、訓練データ の中から分類モデルの学習に使うためのデータを分割し、学習を行った後、訓練データを用いて人間に 依頼するかどうかを決定するモデルの学習を行う。 Wilder ら [5] の手法では、あるデータについて機械学習モデルを用いて予測を行うか、人間に問い合わ せて答えを得るかを選択する問い合わせモデルを学習させるための損失関数を提案している。

既存研究では、人間に問い合わせを行う際に専門的であるかどうかは考慮せず、問い合わせを行う人 は専門的な知識を持っているという仮定をしてい る。本研究では、人間への問い合わせ先として、専門的な知識を持つ人と持たない人の 2 つの問い合わ せ先を用意した点が既存研究と異なる。

## 3 問題設定

Wikipedia のページから抽出された固有表現の検証タスクを、機械、非専門家であるクラウドワー カー、専門家であるアノテーターのいずれかに問い 合わせる問い合わせモデルの学習を目指す。問題設定の概略図を図 1 に示す。例えば、Wikipadia のぺー ジから固有表現抽出を行った結果「所在地」クラス の固有表現として「モエリス湖」が抽出されたと する。この固有表現に対して、機械、クラウドワー カー、アノテーターのいずれかが検証を行う。検証結果は $\{0,1\}$ であり、 1 が正解、0が誤りである。

それぞれの検証方法にはメリット、デメリットが ある。機械における検証はコストがかからないが、判定結果に信頼性が低い。非専門家のクラウドワー カーによる検証は機械に比べてコストがかかるが、検証の結果が機械よりも信頼できる。専門家である アノテーターによる検証は、この 3 種類の検証方法 の中で最もコストがかかるが、検証の結果が最も信頼できる。

学習データとして固有表現と、それに対する、機械・クラウドワーカー・アノテーターによる検証結果が与えられている。この学習データを利用して、問い合わせモデルを学習する。問い合わせモデル

図 1 問題設定の概略図

図 2 既存手法 [4] のモデルと出力ベクトルの概略図

は、固有表現を入力とし、問い合わせ先（機械・ク ラウドワーカー・アノテーターのいずれか）を出力 する。

## 4 既存手法：クラス分類を機械また は人間に依頼する

既存手法 [4] はある特徴量 $\boldsymbol{x}$ を $n$ クラスに分類す る分類問題において、人間に分類を依頼するか機械学習で分類を行うかを決める手法を提案している。

[4] におけるモデルの概略を図 2 に示す。特徴量 $x$ に対するモデルの出力を $g(\boldsymbol{x})$ とする。モデルの出力は、 $n+1$ 次元になっており、 $g_{i}(\boldsymbol{x})(0 \leq i \leq n-1)$ はモデルの出力 $g(\boldsymbol{x})$ の $i$ 番目の出力で、 $i$ 番目のク ラスに対するモデルの予測確率に該当する出力に なっている。 $g_{\perp}(x)$ は $n$ 番目の出力で、人が予測し た場合の予測確率に対応している。

$x$ を特徴量を表すべクトル、 $m$ は人が行った予測 ラベル、 $y$ は正解ラベルとする。 $y$ は予測クラスの 集合で、」は人に問い合わせを行うか機械学習モデ ルの予測を採用するかを決定する際に用いる追加の クラスを表す。 $\mathbb{l}_{z}$ は、論理式 $z$ が正しい時 1 、誤り であるとき時 0 を返す関数である。

[4] で提案されている損失関数を式 1 に示す。

$
\begin{array}{r}
-\left(\alpha \cdot \rrbracket_{m=y}+\square_{m \neq y}\right) \log \left(\frac{\exp \left(g_{y}(\boldsymbol{x})\right)}{\sum_{y^{\prime} \in \mathcal{Y} \cup \perp} \exp \left(g_{y^{\prime}}(\boldsymbol{x})\right)}\right)- \\
\mathbb{\square}_{m=y} \log \left(\frac{\exp \left(g_{\perp}(\boldsymbol{x})\right)}{\sum_{y^{\prime} \in \mathcal{Y} \cup \perp} \exp \left(g_{y^{\prime}}(\boldsymbol{x})\right)}\right)
\end{array}
$

この式は、クラス分類を行う際に、機械学習モデ ルの予測を表す関数 $h(\boldsymbol{x})$ と、人にタスクを解く依頼を行うか機械学習モデルの予測を採用するかを 決める関数 $r(\boldsymbol{x})$ の学習を同時に行うことを目的と している。 $r(x)$ の定義を式 2 に示す。 $r(x)$ は、モ デルの予測確率の最大值と人の予測確率を比較し、確率の高い方の予測を採用するようになっている。 $r(\boldsymbol{x})=1$ の時、人に問い合わせを行い、 $r(\boldsymbol{x})=0$ の時 モデルの予測を採用する。

この式で、人の予測が正解している時に正解ラべ ル $y$ に対応するモデルの出力 $g_{y}(\boldsymbol{x})$ と、人に依頼す る際に使うラベル $g_{\perp}(\boldsymbol{x})$ の両方の值が大きくなるよ うに学習を行う。この時、モデルの予測を採用させ るように学習させるか、人の予測を採用させるよう に学習させるかを制御するために、 $\alpha(0 \leq \alpha \leq 1)$ を 導入している。人の予測が間違っている際、正解ラ ベルに該当するモデルの出力確率が大きくなるよう に学習を行う。

$
r(\boldsymbol{x})=\mathbb{a}_{\max _{y \in \mathcal{y}} g_{y}(\boldsymbol{x}) \leq g_{\perp}(\boldsymbol{x})}
$

## 5 提案手法: 検証を機械・非専門家・専門家にいずれかに依頼する

既存研究では、クラス分類を人間が行うか機械が 行うかを決めることを目指していた。本研究では、固有表現候補の検証を、機械、非専門家、専門家の いずれに依頼するかを決めることを目指す。提案手法における損失関数を式 3 に示す。

$
\begin{array}{r}
-\left(\alpha \rrbracket_{a=s=c}+\square_{a=s}\right) \cdot \log \left(\frac{\exp \left(g_{0}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right)}\right)- \\
\left((1-\alpha) \rrbracket_{a=s=c}+\square_{a=c}\right) \cdot \log \left(\frac{\exp \left(g_{0}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right.}\right)- \\
\rrbracket_{s \neq a \wedge s \neq c} \cdot \log \left(\frac{\exp \left(g_{2}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right)}\right)
\end{array}
$

機械による検証結果を $s$ 、クラウドワーカーによ る検証を $c$ 、アノテーターによる検証結果を $a$ とす る。問い合わせモデルの出力を $g(\boldsymbol{x})$ とする。これ は 3 次元のベクトルを表す。問い合わせ先の決定
は、 $\operatorname{argmax}(g(x))$ として決定する。これは、[4]にお ける関数 $r(x)$ に該当し、計算結果が、0 の時機械に よる検証、1 の時クラウドワーカーに検証を依頼 し、2 の時アノテーターに依頼する。 $g_{i}(\boldsymbol{x})$ は問い 合わせモデルの出力 $g(x)$ の $i$ 番目の値を表してい る。 $g_{0}(\boldsymbol{x})$ は機械へ問い合わせることが正しい確率、 $g_{1}(\boldsymbol{x})$ はクラウドワーカーへ問い合わせることがが 正しい確率、 $g_{2}(\boldsymbol{x})$ はアノテーターへ問い合わせる ことが正しい確率に対応している。

式 3 の第 1 項では、アノテーターと機械による検証結果が一致している時と、機械とクラウドワー カーの検証結果が正解している時に $g_{0}(\boldsymbol{x})$ が大きく なるように学習を行う。同様に、第 2 項では、アノ テーターとクラウドワーカーの検証結果が一致して いる時と、機械とクラウドワーカーの問い合わせ先 の検証結果が正解している時に $g_{1}(\boldsymbol{x})$ が大きくなる ように学習を行う。また、機械とクラウドワーカー の検証結果が間違っている時にアノテーターに対し て問い合わせを行いたいので、 $g_{2}(\boldsymbol{x})$ が大きくなる ように学習を行う。 $\alpha$ は機械とクラウドワーカーの 検証結果が合っている時に、どちらに優先して問い 合わせるかを決めるハイパーパラメータである。 $\alpha$ の值が 0 に近いとクラウドワーカーによる検証を優先し、1 に近いと機械による検証を優先する。

## 6 実験

提案手法の式 3 を使って学習させたモデルと、ラ ンダムに問い合わせを決めた際のスコアを比較し た。ランダムに問い合わせ先を決める際、モデルの 問い合わせ件数を揃え、シード値を 100 回変えてス コアを計測し、その平均値をランダムに問い合わせ を決めた際のスコアとした。

## 6.1 使用する深層学習モデル

最初に、固有表現として抽出されたテキス 卜をRoBERTa[6]を用いて特徵表現に変換する。 RoBERTa の事前学習として、森羅 2022 の固有表現抽出タスクのデータセットを用い、固有表現抽出タ スクの学習を行った。変換した特徴表現は次元が大 きいため、畳み込み層を 2 層使い次元削減を行っ た。この特徴表現を MLP に入力して 3 次元のべク トルに変換し、問い合わせ先を決定する。ここで用 いるモデルのアーキテクチャを図 3 に示す。モデル の学習を行う時は、RoBERTa のパラメータは固定 し、畳み込み層と MLP のみ学習を行った。

図 3 使用するモデルの概略図

最適化手法には Adam[7]、学習率の大きさは $1 \times 10^{-5} 、$ MLP 33 層用い、活性化関数には ReLU を用いた。エポック数は 150 、バッチサイズは 8 と して学習を行った

## 6.2 データセット

本実験では、人工的なデータを作成しシミュレー ションを行った。

データセットの作成に用いたのは、Wikipedia の Lake カテゴリに属するページの中から固有表現と して抽出されたテキストを用いた。固有表現抽出に は、異なる 6 種類の機械学習モデルを用いている。 そのため、同じテキストに対して同じ固有表現が抽出される場合もある。

固有表現を抽出した機械学習モデルの数に閾値を 定め、検証結果を決定した。例えば、閾値を 2 に設定した場合 2 つ以上の機械学習モデルが抽出した 場合正解、そうではない場合間違いと判定したとす る。この操作を閾値を変えて、機械とクラウドワー カーによる判定結果として実験した。機械による判定結果とクラウドワーカーによる判定結果の閾値に は、それぞれ 0 と 2 を設定した。

判定結果として、機械の判定結果よりもクラウド ワーカーによる判定結果の方が正解率が良くなるよ うなケースで実験する。そのため、検証結果がアノ テーターの解答と機械の検証結果が一致している もののうち、機械の検証結果を 4 割をランダムに選 び、間違ったものにした。

このデータセットの、データ数は 8651 件である。

## 6.3 結果

$\alpha$ を変化させた時の、問い合わせモデルによる問 い合わせ先の回数を集計したところ、 $\alpha$ が 0 の時 0 件、 $\alpha$ が 1 の時 56 件であった。そのため、 $\alpha$ が 0 に 近くなると機械に対する問い合わせ回数が増加し たことがわかる。また、クラウドワーカーへの問い 合わせは $\alpha$ が 0 の時 773 件、 $\alpha$ が 1 の時 711 件で あったそのため、 $\alpha$ が 0 に近くなるとクラウドワー

表 $1 \alpha$ の值を変化させた時のスコア

カーへの問い合わせ回数が増加していることがわ かった。

$\alpha$ を変化させた時の、正解率、 $\mathrm{F} 1$ 值、精度、再現率とランダムに問い合わせ先を決定した時のスコア を表 1 に示す。

表 1 より、正解率はランダムに問い合わせを行う よりも良くなっていることがわかる。一方で、 $\mathrm{F} 1$ 值 においてはランダムに問い合わせを行った場合より も悪くなっている。

これより、提案手法で学習させたモデルの方がラ ンダムに問い合わせ先を決めるよりも、検証の精度 が良くなっていることがわかる。

## 7 まとめと今後の展望

本論文では、固有表現抽出モデルが Wikipedia の ページから抽出した固有表現とそのラベルが合って いるかを検証する方法を選択する手法を提案した。提案した手法は、ランダムに検証する方法を決める よりも良い正解率を達成したが、F1 値については改善しなかった。

今後は、専門家であるアノテーターに対する問い 合わせ回数を制御するためのパラメータを導入し、 より精度の良くなる検証ができることを目指す。

## 参考文献

[1] Satoshi Sekine, Kouta Nakayama, Maya Ando, Yu Usami, Masako Nomoto, and Koji Matsuda. SHINRA2020ML: Categorizing 30-language Wikipedia into fine-grained NE based on "Resource by Collaborative Contribution" scheme. In Proceedings of the 3rd conference on the Automated Knowledge Base Construction (AKBC 2021), 2021.

[2] Maithra Raghu, Katy Blumer, Greg Corrado, Jon M. Kleinberg, Ziad Obermeyer, and Sendhil Mullainathan. The algorithmic automation problem: Prediction, triage, and human
effort. arXiv preprint, Vol. abs/1903.12220, , 2019.

[3] Nastaran Okati, Abir De, and Manuel Gomez-Rodriguez. Differentiable learning under triage. In Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021, NeurIPS 2021, December 6-14, 2021, virtual, pp. 9140-9151, 2021.

[4] Hussein Mozannar and David A. Sontag. Consistent estimators for learning to defer to an expert. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, pp. 7076-7087, 2020.

[5] Bryan Wilder, Eric Horvitz, and Ece Kamar. Learning to complement humans. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, IJCAI 2020, pp. 1526-1533, 2020.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, 2015.


# 人間と BERTによる文間接続関係の同定の比較と性能検証

相澤祐一, 鉫田大日, 笠間俊夫
みずほリサーチ\&テクノロジーズ株式会社
\{yuichi. aizawa, dainichi. sukita, toshio. kasama\}@mizuho-rt. co. jp

## 概要

本研究は, 計算機による文間接続関係の同定結果 と人間による同定結果を比較することにより, 計算機による誤判定の傾向および性能改善の課題を考察 する. 計算機実験では，大量のテキストデータを学習した BERT モデルにより,文間接続関係を同定さ せた. その結果，接続関係を順接に誤分類する傾向 が見られた。一方, 校正・校閲の経験者等の被験者 に，計算機実験で用いたデータを使って接続関係を 同定させた結果，接続関係を順接だけでなく，逆接 にも誤分類する傾向が見られた。両実験の結果の比較から, 被験者に比肩する精度の同定が可能な BERT モデルが構築できたことが分かった.また，接続関係間の違いをより明確に捕捉させる必要があ ることが示唆された。

## 1 はじめに

文間の関係推定は対話, 要約, 文章生成など様々 なタスクで必要とされる処理であり, 自然言語処理 の重要な問題となっている. 特に, 接続関係は, 論理的関係の把握及びその構成において，大きな役割 を果たしていると考えられている[1].

計算機に文間接続関係を同定させる試みとして，山本らは, 単語と構文的要素に基づく大量のテキス トデータを使用した統計的手法を提案した[2]. さら なるシステムの向上のため, 斎藤らは, 被験者に対 し, テキスト全体を提示した条件と二文だけの情報 を提示した条件の 2 通りにおける接続関係の推定結果から接続関係間の近さを定量化し, SVM (Support Vector Machine)を使った二值分類によって得られる 近さと同じ傾向になることを示した. このように，計算機による分析と人間の認知を比較することは,計算機モデルをどのように向上させるかといった系口を得るアプローチになる[3].
また，同じ SVM の手法を用いて，続く二文に加 えて前後各二文から品詞, 文間類似度, 係り受けの 構文パタン等の素性を取り出し，多值分類を行った ものがある[4]. 近年では, 再帰的ニューラルネット ワークを用いて文の概念ベクトルを計算，文間接続関係をRAE（Recursive AutoEncoder）を用いて同定 する試みも行われている[5]. さらに, 趙らは, BERT の Masked Language Model を用いて, 少量データで はあるが，マスクされた箇所に入る最も高い確率の 接続詞を推定するという手法を提案している[6].

このように，機械学習アプローチによる接続関係 の同定に関する取り組みが進められてきたものの,深層学習等による SOTA が様々なタスクで達成され てからは, 齐藤らが行ったような認知との比較が行 われた研究は少ない. そこで本研究では, 大量のテ キストデータを学習した BERT モデルによる文間接続関係の同定結果と人間による同定結果を比較し，計算機による同定の傾向およびシステム改善の課題 について考察する。

## 2 文間接続関係

本研究では, 先行研究[1]飞同様に, 接続関係の同定にあたって，接続関係の種類を同じくする接続表現のいずれを選んでもよいと仮定する。この仮定に 基づき, 接続関係の同定を, “接続関係種類の分類問題”と置き換えることとする.

接続関係の種類を定義するため，石黒[7]を参考に，形態素解析器 MeCab 汇辞書として登録されている 接続詞を分類し, 同文献で提案されている接続表現 をそれぞれの種類に加えて表 1 を得た。なお，複数 の接続関係の種類に見られる表現は，その表現が表 れる文間接続関係の同定が困難になることから，取 り扱わないこととした.
表 1 接続関係の種類

## 3 計算機実験

本節では，BERT モデルによる文間接続関係の同定実験について述べる.

## 3. 1 データ

本研究では，文法誤りが混在したテキストデータ を扱わないようにするため，校正・校閲が為された 新聞記事データを用いる，具体的には，毎日新聞 6 年分の記事データ[8]から，表 1 で定義した接続表現が記載されている，51,790 件の続く二文を取り出 し，接続表現に該当する部分をマスクした。なお， モデル学習時のバイアスを避けるため, データ件数 は，接続関係間で偏りがないようにしている。それ ぞれのぺアには，正解となる接続関係をラベリング した.

## 3.2 モデル

モデルは, 東北大学から提供されている BERT Pre-trained Model ( https://github.com/cl-tohoku/bertjapanese/releases/tag/v2.0）を用いて, 図 1 に示す構成 とした.

続く二文を[SEP]トークンで結合したうえで，Pretrained Model にインプットし, 全結合層で処理して 得られる出力值と, One-hot encoding した正解データ を Binary Cross Entropy Logitloss で比較することで，文間接続関係を学習させた。なお, Optimizerを AdamW, 学習率を $2 \times 10^{-5}$ とした.

図 1 BERT モデル構成

## 3.3 実験結果

3.1 で用意したデータの約 75\%を用いて, 5 分割交差検証を実施した. テストデータとして用意した残 りの約 $25 \%$ 12,948 件のデータに対して，BERT モ デルが接続関係を同定した結果を混同行列として表 A-1 に示す. 全体の正解率は， 0.52 となった.

表 A-1 において，並列が正解となる接続関係を対比と誤分類する傾向, 補足や対比が正解となる接続関係を逆接と誤分類する傾向が見られた。

続いて，接続関係ごとの Recall，Precision，および $\mathrm{F}$ 値を算定し表 2 を得た. 表 2 から, 列挙について, Recall, Precision, および $\mathrm{F}$ 值が全接続関係の中で高 いことが分かった。また，接続関係を順接に誤分類 する傾向があることから, Precision と F 値は順接が 最も低くなっていることが確認された。

## 4 被験者実験

本節では，被験者による接続関係の同定実験につ いて述べる.

## 4. 1 実験設定

実験には，校正・校閲の経験者や国語教員免許の 保有者など 22 名が参加した。

被験者には, BERT モデルのパフォーマンスの評価に使用したテストデータのうち，接続関係 1 種類 あたり 40 件，合計 400 件を取り出し，接続表現を （ ）でマスクした二文として提示，（ ）に入る のに相応しい接続関係の候補を回答させた。なお，回答にあたっては，上位 3 つまでの接続関係の候補 を選択できるようにした。
表 2 BERT モデルの分類結果（Recall, Precision, F 值）

表 3 被験者の回答結果（Recall, Precision, F 值）

## 4. 2 実験結果

表 A-2 は，被験者が第 1 候補として回答した接続関係を混同行列として表したものである。表 A-2 から，計算機実験と同様，接続関係を順接であると 誤回答する傾向が見られた. また, 補足や対比が正解となる接続関係を逆接と誤回答する傾向も確認さ れた。一方で，BERT モデルで見られる並列を対比 として誤分類する傾向は被験者実験では見られなか った.

表 3 は，被験者それぞれの回答結果の Recall， Precision，および $\mathrm{F}$ 值の平均値を算出したものであ る. 計算機実験と同様，順接の Precision が低いと いう共通点が見られるが，表 2 と比較して逆接の Recall が大きく異なることが分かった，図 2 に，同 じ 400 問に対する BERT の分類結果と，被験者に よる回答結果の分布を示す. 図 2 から, 被験者のほ うが，逆接をより多く選択していることが明らかと なった。

図 2 モデルと被験者による予測・回答の分布
F 值については，逆接を除いて，BERT モデルが 被験者よりも高く，また，被験者回答の平均正解率 は 0.46 となった. このことから, BERT モデル は, 被験者に比肩する精度の同定が可能であること が示唆された

以下に，結果をまとめる。

- BERT モデルによる接続関係の同定性能は, 被験者に比肩することが分かった.

- BERT モデル，被験者ともに，接続関係を順接 として誤分類してしまう傾向，および，補足 や対比を逆接に誤分類する傾向が見られた。

- 被験者の回答では, 接続関係を逆接として誤回答する傾向がより強く見られた. BERT モデ ルで見られる並列を対比と誤分類する傾向は 被験者実験では見られなかった。

## 5 考察

本節では,さらなる性能改善に向けた考察を行う。 まず，計算機実験及び被験者実験において，接続関係を順接と誤分類する傾向や，補足や対比の接続関係を逆接と誤分類する傾向がある点については，順接の接続関係が構造上，他の接続関係を包含ある いは代替しうる可能性, 補足・対比の接続関係が逆接と近しい可能性が考えられる。これを確認するた めには，それぞれの接続関係の組み合わせごとに，

Sentence-BERT を使った深層距離学習による二値分類を行い，先行研究[3]のように，接続関係間の距離 の近さを可視化し, 被験者実験の結果とも比較する ことが有効であろう。

続いて，接続関係を逆接として誤分類する傾向が 被験者実験で見られた点について述べる.ここで，
被験者回答結果に対して, 選択候補 1 位が正解した 場合は 1 点, 2 位は $1 / 2$ 点, 3 位は $1 / 3$ 点と点数を付 け，400問を点数の高い順に並び替えた. 上位 50 問 を取り出すと, 50 問中 18 問 (36\%) を逆接が占めて おり，かつこの 18 問については，問題にはよるが， 19 名 22 名が第 1 候補に逆接と回答できているこ とが分かった. 全体的に被験者が接続関係を逆接と して誤回答する傾向を踏まえると，そもそも人間は 逆接の関係を期待して文章を認知している可能性が ある。なぜならば，接続詞の頻度の調查結果におい て, 多くのジャンルの文章において, 逆接が頻出す ることが分かっており [9], 一定の認知的バイアスが 入っていることが考えられるからである.

しかしながら, BERT モデルは, この 18 問のうち 11 問しか正しく同定できていない. たとえば, 22 名中 20 名の被験者が逆接であると正答している以下 の文章例において, BERT モデルは転換であると誤分類しており, 前後の文脈や意味を捕捉しきれてい ない可能性があることが分かった. これを確認する ためには, 逆接の接続関係を持つ二文と, 転換の二文とで，BERT モデルの Attention の違いを観察す る必要があると考えられる。

## $<$ 文章例 $>$ (正解: 逆接)

岸田文雄外相は「予算編成作業があり，十分な受 け入れ態勢がとれなかった」と述べた。（），訪日は 10 月時点で決定しており, 延期要請の理由と しては説得力を欠き，その対応は不可解だ.

さらに，BERT モデルが，並列の接続関係を対比 と誤分類する傾向について考察する．文献[7]では，並列と対比は, 共に整理の機能を有するとされるが, BERT モデルは対比を並列と誤分類する傾向よりも，並列を対比と誤分類する傾向が強いことが表 A-1 か ら読み取れる.ここで, 被験者実験の点数上位 5 名 の並列の接続関係に対する回答と, 同じく下位 5 名 の回答を比較したところ, 下位 5 名のほうが対比を 選択する傾向があることが示唆された。このことか ら，BERT モデルにとっても，対比構造を把握する 方が，並列関係を見出すよりも平易である可能性が ある。これを確認するためには，対比の接続関係を 持つ続く二文と並列の二文とで, BERT モデルの Attention の違いを観察すること, および, システム が対比と並列をより区別して捕捉できるようにする 必要があると考えられる，具体的には，先述のよう
に，それぞれの接続関係の組み合わせごとに， Sentence-BERT を使った深層距離学習による二值分類を行い，違いを捕捉させることが有効であろう。

## 6 まとめ

本研究では，計算機による文間接続関係の同定結果と校正・校閲の経験者等被験者による同定結果を 比較し, 被験者に比肩する同定性能のモデルを構築 できたことが分かった．また，計算機にも被験者に も共通して見られる誤分類の傾向があることが分か った. このような知見は, 人間が作成した文章の自動評価にも一定の貢献があると考えられる.今後は, システムに接続関係間の違いを捕捉させる取り組み や文章構造に対するモデルの Attention の観察を通 じて, より性能のあるモデルを構築していく予定で ある。

## 参考文献

1. 山本和英, 齋藤真実. 用例利用型による文間接続関係の同定. 自然言語処理, Vol.15, No.3, 2008.

2. 齋藤真実, 山本和英, 関根聡. 大規模テキストを 用いた 2 文接続関係の同定. 言語処理学会第 12 回年次大会, pp.969-972, 2006.

3. 齋藤真実, 山本和英, 関根聡. 文間接続関係の自動同定のための人間による同定分析, NL174-12, pp.65-70, 2006.

4. 若山裕介，内海彰.SVM を用いた接続関係の同定, 人工知能学会全国大会論文集, 2012.

5. 大塚淳史, 平野徹, 宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博. Recursive AutoEncoder を用いた文間の接続関係推定. 人工知能学会全国大会論文集, 2015.

6. 趙一, 曹鋭, 白静, 馬ブン, 新納浩幸. BERT の Masked Language Model を用いた二文間の接続関係 の推定. 言語資源活用ワークショップ発表論文集, Vol.5, pp.181-188, 2020.

7. 石黒圭. 「接続詞」の技術. 実務教育出版, 2016.

8. 毎日新聞記事データ集 2017 年版, 2018年版, 2019 年版, 2020 年版, 2021 年版, 2022 年版.

9. 石黒 圭, 阿保 きみ枝, 佐川祥予, 中村 紗弥子,劉 洋. 接続表現のジャンル別出現頻度について, 一橋大学留学生センター紀要第 12 号, 2009.

## A 付録

表 A-1 BERT モデルの分類結果（混同行列）

表 A-2 被験者の回答結果（混同行列）


# New Chinese Network Jargons

Xinyuan Chen ${ }^{1}$ Sumiyo Nishiguchi ${ }^{2}$
Graduate School of Modern Commerce, Otaru University of Commerce
Center for Language Studies, Otaru University of Commerce ${ }^{2}$
g1202252006@edu.otaru-uc.ac.jp
nishiguchi@res.otaru-uc.ac.jp

## Introduction

China is well known for its Internet- monitoring and censorship efforts. As Internet technology and the online culture develop, the Chinese government continues its efforts to control content and communications. In online exchanges, As of April 20 over 2,000 Chinese people have been convicted by police for their words. To avoid detention, Chinese are using a new form of language in their online communications to avoid censorship. Firstly , I will present the background of web censorship, the mechanisms of web censorship, the rationale and examples of new alternative languages. Finally , I will create a new dictionary for the new language to facilitate understanding the meaning.

## 1 Background

Since the start of the 21 Century, we have witnessed a rapid expansion of surveillance state in China. China started to develop its surveillance capacity as early as 1998 when the Ministry of Public Security (MPS) initialized the Golden Shield (GS) project - an allencompassing informatization platform designed to facilitate police operations. By 2006, the Chinese police had built a nationwide intranet infrastructure that connects all levels of public security bureaus (from the MPS at the center to about 3,000 county-level bureaus).

In China, anyone who provides information to the public through the Internet, publishes works online, posts news articles, distributes audio-visual materials, or operates an Internet bulletin board, message forum, or chat room must first receive a permit from the appropriate government agency. Furthermore, any content that someone wants to publish is required to be pre-approved by the government or acquired from governmentauthorized sources. Ordinary information exchange also has to pass the platform review, if the word blocking is triggered it will not be able to send information or the information sent is blocked. Next paragraph, I will describe how the review is conducted and what types of text will be removed.

## 2 Conviction for speech

Conviction for speech refers to cracking down on crackdowns such as being convicted, detained, dismissed, dismissed, blocked accounts, and suppressed by public opinion for making certain speeches. To avoid being convicted for their words, the Chinese public must avoid digital surveillance systems on the Internet. A new mode of communication is born on the Internet. In China, people are often arrested by the police for comments made online, usually for 1-15 days in detention. There is no clear standard for what kind of speech will result in an arrest, and it is usually left to the discretion of the local police.

## 2.1 Electronic monitoring range

The Chinese government monitors cell phone SMS, email, computer security system, QQ, WeChat, skype, $\mathrm{msn}$, and other programs in different technical ways. Yu (2008) And all Chinese apps now monitor users' information delivery. And big software companies also put out blocked word guides to make it easy for advertisers to avoid these words to prevent accidental deletion of information.

Even private message exchanges (whether text delivery or voice calls) such as WeChat and QQ chats
are monitored. When a keyword that is not allowed to be sent is detected during message delivery, your message will not be sent, and the voice call being made will be cut off immediately. But the troubling thing is that no one knows exactly what the blocked keywords are. I will then go into detail about several speech control scenarios.

## 2.2 Speech control examples

## 2.2.1 Current Affairs News

When there is some news in China, the public is not allowed to spread or discuss it, and the places in this current affairs news, the actions become the key words to be watched.
- e.g. On the night of 7 August 2012, a traffic patrol brigade in a city in Henan Province, China, was pursuing a construction forklift truck when the pursuit became too violent, resulting in the death of four people and the injury of ten others when the truck ran into a park napping area.

Once the matter became known, the local moderator of Tianya Forum posted in several forums, making reasonable demands, only to be secretly arrested by local police on August 14 and criminally detained on August 15 for extortion of the government.

A police accident resulted in a death, although this is a current news story. But people are not allowed to spread.

## 2.2.2 Political Related

The widespread publicity of this incident has instead led people to start affectionately calling Xi Jinping as Xi Baozi.

Baozi is a very common nickname in China, and almost everyone had someone in their childhood class whose nickname was Baozi. It is not a derogatory term, but is usually used to describe round-faced, naive people. And in China, calling someone by their nickname is a symbol of closeness.
- In November 2010, Quan Ping, a student returning from studying in the United States He was arrested because he wore a cultural shirt with Xi Baozi on it. In June 2017, Jing Yingjun from Hunan, was arrested at his door and detained for 7 days for insulting a party leader for posting the word $\mathrm{Xi}$ Baozi in a group of classmates on WeChat.
- After this incident, Xi Baozi was officially identified as Xi Jinping's code name. And the names of both baozi and baozi store became banned words.

As of May 6, 2020, Chinese social media, Xiaohongshu, has published a sensitive thesaurus of 564 words about Xi Jinping. Including the words combined in a sentence, 35,467 combined words about Xi Jinping are blocked. Famous Chinese singer baritone, Liu Keqing, because of his looks and Xi Jinping have a few similarities. He was reported during the TikTok live and was permanently blocked.

## 2. 2. 3 Negative words

Any negative words are not allowed to be issued in China, probably to give young people a healthy and safe online environment. However, because of the usage of Chinese, a large amount of correct information is also blocked.
- The word 'smile' is banned as a game id because it contains 'sm'.
- The Stray Dog Association posts adoption information online.
- -有小狗, 共五只
- -There are dogs, total five.
- Because total in Chinese is “共', its same as communist party in Chinese. This information has dog and communist party(狗, 共). So it be blocked. even though there is a comma.
- eg3 A website maintainer called by police said his website needed a facelift because of sensitive words. After searching all night, he found where the problem
- - 我有一台独立服务器.
- I have a dedicated server.
- In Chinese, the quantitative word to describe a
computer is 台, is same as Taiwan. And the meaning of dedicated also can be Independent. So it has Taiwan independent.

If it were manually reviewed, these words would certainly not be misunderstood, but in order to improve the efficiency of the review, the AI review would make it impossible to send even the simplest words.

So, it is exceedingly difficult for Chinese people to use traditional Chinese to communicate on the Internet, so a lot of new languages have been invented to express themselves while avoiding sensitive words. I will add them in the last appendix. (Some of these new languages are also blocked)

## 3 Reflections

The Chinese web's blocked word system has caused a lot of inconvenience to Chinese people in their daily communication.

China has the world's largest online market, many foreigners will also want to go to China to make money on the Internet, so it is very important to master sensitive words

But it has also been used positively by many smart people. For example, because China's network has a firewall, many people will illegally transport YouTube videos to China for oh-so-profitable purposes, and copyright lawsuits are difficult to handle when crossing borders. However, many youtubers have found that by adding some sensitive words to their videos, they can't be posted in China to defend their copyright.

## 4 Reference

1. Federal prosecutors accuse Zoom executive of working with Chinese government to surveil users and suppress video calls. Washington Post. [2022-04-23

2. China censorship leaks outside Great Firewall via root server. Ars Technica. 2010-03 [2011-05-19].
3. Xiao, Muyi; Mozur, Paul; Beltran, Gray. 购买影响

力 : 中国如何操纵 Facebook 和 Twitter. The New

York Times. 2021-12-20

4. Chile NIC explains Great Firewall incident. [2019-05$16]$.

5. China's Internet Censorship Anthem Is Revealed, Then Deleted. Sinosphere Blog. 2015-02-12 [2021-10$14]$.

6. Chile NIC explains Great Firewall incident. [2019-05$16]$.

7. Zhong, Raymond; Mozur, Paul; Krolik, Aaron; Kao, Jeff. Leaked Documents Show How China's Army of Paid Internet Trolls Helped Censor the Coronavirus. ProPublica. 2020-12-19 [2021-10-14]

8. 《中国数字时代》真理部指令专栏. [2016-01-26]

9. https://twitter.com/speechfreedomcn

10. 国务院组织机构. 中国政府网. [2022-08-09]

## 5 Appendix

I created an online dictionary to include blocked words in Chinese, and replacements for those blocked words.

https://openpro.dict.naver.com/_ivo/dictmain?dictID=a0 71bd81906a4ac6b098a04203d1c8de

## Chinese Internet Jargons

## Deng xiaoping

高利亚

邓布利多

广安人

总设计师

火枪

稻上飞

矮子