# CSJを用いた日本語話し言葉 BERT の作成

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

現在，大規模なテキストデータを元に学習され た事前学習モデルが多く公開されている. 特に近年では BERT [1]を用いた研究が盛んに行われて いる. BERT とは， Transformer [2] の Encoder に対し $\tau$, Masked Language Model (MLM) と Next Sentence Prediction（NSP）と呼ばれる事前学習を行ったもの である。日本語については，Wikipedia やSNS デー タなどの書き言葉1)を用いて事前学習した BERT が いくつか公開されている.

しかしながら，発話の書き起こしといった，話し 言葉に注目した日本語事前学習モデルは著者の知 る限り存在していない。そこで，本研究では，発話の書き起こしデータである日本語話し言葉コー パス (Corpus of Spontaneous Japanese; CSJ) [3] を用 いて話し言葉 BERT の作成を行った. 具体的には, Wikipedia で学習された書き言葉 BERTを元に, 次 の 2 つの手法を用いて話し言葉 BERTを作成した.

## 1. 一部の層のみを話し言葉データで追加学習

2. 分野適応の手法を用いて追加学習

1 つめの手法は，書き言葉と話し言葉の差は主に統語的な側面にあるという仮説のもと, BERT の学習 を行う. BERT における統語情報の学習がどの層で 行われてるのかに関して, 複数の観点から研究が行 われている $[4,5,6]$. 彼らの主張に基づいて，一部の 統語的な面を学習していると考えられる層のみを追加学習することで，BERT の層の全てを学習するよ り話し言葉の統語情報をうまく学習できるのか検証 した. 2 つめの手法は, 話し言葉 BERTを作成する ために，書き言葉で学習した BERT に対して話し言葉データで分野適応を行う．具体的には Gururangan ら [7] の手法を参考に, CSJ 以外の発話の書き起こ

\author{
坂田大直 \\ 株式会社レトリバ \\ hiromasa.sakata@retrieva.jp
}

しデータを用意し，それらを用いて BERTを分野適応した。

また，作成した話し言葉 BERTを評価するため，本研究では評価タスクを作成した. CSJには様々な アノテーションがされており，その中から本研究は 係り受け解析と文境界推定，重要文抽出の 3 つの評価タスクを作成した。係り受け解析は，作成したモ デルが統語的な情報を捉えられているか，文境界推定と重要文抽出は応用的なタスクに転用可能かどう か調べるために行う。

実験結果から，BERT の一部の層のみを学習する 手法は統語的な面が強いタスクに有効であることが わかった. また, 分野適応の手法を用いて追加学習 することにより，書き言葉 BERT は話し言葉 BERT に分野適応可能なことがわかった. 本研究で作成し た話し言葉 BERT は公開予定である.

## 2 関連研究

BERT は単言語コーパスに対して MLM とNSP と 呼ばれる 2 つの目的関数を用いて事前学習を行って いる. Devlin ら [1] は事前学習した BERT に対して,最終的に解きたいタスクで fine-tuning を行うことで 高い精度が得られることを報告している．入力のあ る単語 $w_{i}$ に対して，いくつかの Transformer Encoder 層を重ね, 最終的に得られた $h_{w_{i}}$ を BERT の単語単位の出力として使用している。また，文頭に [CLS] を入れ, 対応する出力 $h_{[C L S]}$ を文単位の出力とし て使用している。私たちの知る限り，日本語では Wikipedia で事前学習したモデル²), SNS で学習した モデル3)，ビジネス記事で学習したモデル ${ }^{4)}$, 様々な Webテキストで学習したモデル5) が存在している.本研究は，これらの書き言葉データではなく, 発話

表 1 CSJ 5-gram LM に対する PPL

の書き起こしデータで BERT の事前学習を行った.

Tenney ら [4] は BERT の前半の層，つまり 12 層 の場合は 1-6 層が統語的な構造を，後半の層が意味的な情報を扱っていることを報告している。一方 で, Jawahar ら [5] や Hewitt and Manning [6] は BERT 12 層の内，それぞれ 8-9 層と 6-9 層が統語的な特徴 を捉えていると報告している. 本研究では，書き言葉と話し言葉の差は統語的な側面に存在すると考え た. 上記の先行研究を踏まえ，統語的な特徴を捉え ている層のみを追加学習することで話し言葉に向け たBERT の作成を試みた.

Gururangan ら [7] は BERT の派生モデルであ る RoBERTa [8] の分野適応のため, domain-adaptive pretraining (DAPT) と task-adaptive pretraining (TAPT) を提案した. DAPT は事前学習された RoBERTaに 対して，解きたいタスクが属している分野のラべ ルなしデータを用いて追加で事前学習を行う手法 である. TAPT は事前学習された RoBERTa に対し て，解きたいタスクのラベルは使用せず，テキスト データのみを用いて追加で事前学習を行う手法であ る. 本研究は, 話し言葉 BERT 作成に向けて TAPT とDAPTを用いた。

## 3 話し言葉 BERT の学習

## 3.1 Layer-wise Pretraining

本研究では書き言葉と話し言葉の差が統語に存在するという仮説のもと，BERT の学習を行った.具体的には，BERT の一部の層が統語的な学習を 行っていることを踏まえて, 既存の 12 層の書き言葉 BERT の一部の層のみに対して，CSJを用いた MLM と NSP の追加学習 (layer-wise) を行った. 先行研究 $[4,5,6]$ を参考に, 本研究では 1-6 層のみを 学習した場合 (layer-wise ${ }_{[1-6]}$ ) と 8-9 層のみを学習 した場合 (layer-wise ${ }_{[8-9]}$ ) と 6-9 層のみを学習した 場合（layer-wise ${ }_{[6-9]}$ ）を実験している.

## 3.2 DAPT/TAPT Pretraining

本研究では TAPT と DAPTを用いて，書き言葉 で学習された BERTを話し言葉に分野適応する。表 2 データサイズ

TAPT については，CSJを用いて評価を行うことか ら，CSJ のラベルなしデータを用いた MLM と NSP の追加学習を書き言葉 BERT に対して行っている.

本研究は DAPT に向けて，CSJ 以外の発話の書き 起こしデータとして国会議事録6)を用意し，MLM と NSP の追加学習を行っている. 事前実験として，国会議事録は本当に CSJ に近しい分野なのかを確認 した. 具体的には CSJ データから 5-gram 言語モデ ル（LM）を作成，この LM を元に国会議事録のパー プレキシティ（PPL）を計測した。また比較として CSJ LM に対する Wikipedia の PPL も計測している. この比較の際，国会議事録と Wikipedia のデータサ イズはほとんど同じになるように調整している．表 1 が Out-of-Vocabulary（OOV）を含んだ場合，含まな い場合の PPLである.この結果から，少なくとも Wikipedia と比べると国会議事録の方が CSJ に LM の観点では近しいことがわかる。

## 4 実験

本研究では，書き言葉 BERT に対して layer-wise または DAPT/TAPT を用いた話し言葉への分野適応 を行った後に，話し言葉検証タスクを行った.

## 4.1 実験設定

本研究では書き言葉 BERT として Wikipedia で学習された BERT ${ }^{7}$ （Wikipedia BERT）を使用した。ま た，CSJコアデータを評価タスクに，コアデータと 非コアデータ全てを BERT の追加学習に使用した. データサイズを表 2 に示す。単語分割は $\left.\mathrm{MeCab}^{8}\right)$ と WordPiece ${ }^{9 ）}$ [9]を用いている.

layer-wise の学習は，CSJ 全てを用い，バッチサイ ズ 8 で $90 \mathrm{~K}$ ステップ行っている. この時の最大文長 は 512 としている. 詳細は付録 A. 1 に記載した。

DAPT には国会議事録を使用している。DAPT は

DAPT/TAPT については，TAPT512 が最も高い精度だった. TAPT512 に比べると DAPT512 の学習は 精度が低いが, Wikipedia BERT と比べると高い結果 であることがわかる.

重要文抽出 話し言葉の応用的なタスクの 1 つと して，重要文抽出を行う．CSJには各文ごとに重要文かどうかの 2 值のアノテーションが振られてい る. 入力 $x$ が 1 講演で， $x$ 内の各文頭に [CLS]トー クンを付与し, $h_{[C L S]}$ に対して重要文かどうかの 2 值分類を推定する。本研究では Liu and Lapata [13] の BERTを利用した抽出型要約モデルを重要文分類 に利用している。この検証タスクは 5 分割交差検証 を用いており，評価は重要文かどうかについての 2 値分類について，重要文ラベルに対する Precision, Recall，F-measure を用いている.

実験結果を表 3 に示す。係り受け解析や文境界推定の結果と違い, 重要文抽出においては全ての手法 が Wikipedia BERT より高い結果とはならなかった.

layer-wise については layer-wise $_{[\text {all] }}$ と layer-wise ${ }_{[6-9]}$ は Wikipedia BERT より高い結果になっているが，他 の一部の層のみを学習したモデルは低い結果となっ ている。また, layer-wise ${ }_{[a l l]}$ が layer-wise 内で最も高 い精度であることから，重要文抽出では一部の層の みを学習する手法は効果が薄いことがわかる.

DAPT/TAPT については，係り受け解析や文境界推定の結果と異なり，DAPT512 は TAPT512 よ り精度が高い結果となった. また, 最も精度が 高かったのは DAPT128-TAPT512だった. 一方で， DAPT512-TAPT512 は, Wikipedia BERT よりも低い 結果となっている. これらの結果から, 重要文抽出 においてはDAPT と TAPTを組み合わせる手法は有効ではあるが，最大文長のパラメータによって結果 が大きく変わることがわかる.

また，TAPT512 については，学習量が足らないと 考え，TAPT の学習ステップを $20 K$ ではなく, $80 \mathrm{~K} ま$ で $20 \mathrm{~K}$ 刻みで行った。詳細な結果は付録 Bに示し，表 3 では最も高かった TAPT 60K ステップの結果を 記載している。この結果から分かる通り，TAPT512 について，学習量を増やすことでWikipedia BERT よ り高い結果となっている.

## 5 考察

文境界推定は単語の活用，特に終止形を当てる必要があると考えられ，統語を捉える必要があるタス クであると考えられる。この文境界推定や係り受け解析に対しては一部の層のみを学習することの有効性が確認できた. 特に, 前半の層のみを学習した場合は全ての層を学習するより高い精度を出してい る。一方で，文の意味を捉える必要があるタスクで ある，重要文抽出では一部の層のみを学習するアプ ローチは効果が薄い。これは，一部の層のみを学習 するアプローチは統語的な情報は捉えることができ るが，意味的な面ではうまく捉えることができてい ないからだと考えられる．仮に，Teeny ら [4] の主張 の通り，前半の層が統語を，後半の層が意味的な情報を扱っていると考えた場合，後半の層をうまく学習することができれば重要文抽出でも精度が向上す ると考えられる。

係り受け解析や文境界推定ではDAPTよりは TAPT の方が効果があったが，重要文抽出では DAPT の方が有効であり，TAPT は学習量を増やすことで DAPT と TAPT を組み合わせたものと同じくらいの 結果となった. これらの結果から，統語を捉える 必要があるタスクは TAPT だけでも十分ではある が，意味を捉える必要があるタスクだと TAPT はよ り多く学習を行わなければいけないことがわかる.一方で，DAPT と TAPTを組み合わせることでどの タスクでも精度向上が見込める。これは，DAPT と TAPT を連続して行うことで話し言葉分野の様々な データを学習に使用し，タスクに対して頑健なモデ ルができるからではないかと考える。

## 6 おわりに

本研究では，話し言葉 BERT 作成に向けて，一部 の層のみの学習と分野適応の 2 つの手法を用いた. また，CSJ から係り受け解析，文境界推定，重要文抽出といった BERT を用いた 3 つの評価タスクを設計した．実験の結果，BERT の一部の層のみを学習 する手法は統語的なタスクに有効であることがわか り，簡単な分野適応手法で話し言葉モデルを作成で きることがわかった。作成したモデルはそれぞれ日本語話し言葉部分学習 BERT, 日本語話し言葉分野適応 BERT として公開予定である。

## 謝辞

この研究は, 国立国語研究所との共同研究で行っ たものです. 国立国語研究所の浅原正幸様，前川喜久雄様，小磯花絵様には有益な助言をいただき，岡照晃様には研究環境管理などのご支援賜りました。 この場を借りて深く御礼申し上げます。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $¥$ L ukaszKaiser, Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, 第 30巻, pp. 5998-6008. Curran Associates, Inc., 2017.

[3]Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[4]Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[6]John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[8]Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[9]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[10]Zhiyong Wu, Yun Chen, Ben Kao, and Qun Liu. Perturbed masking: Parameter-free probing for analyzing and interpreting BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4166-4176, Online, July 2020. Association for Computational Linguistics.
[11]Dan Klein and Christopher Manning. Corpus-based induction of syntactic structure: Models of dependency and constituency. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 478-485, Barcelona, Spain, July 2004.

[12]Roy Schwartz, Omri Abend, Roi Reichart, and Ari Rappoport. Neutralizing linguistically problematic annotations in unsupervised dependency parsing evaluation. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 663-672, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 詳細な実験設定

## A. 1 layer-wise の詳細な実験設定

layer-wise のハイパーパラメータを表 4 に示す.

## A. 2 DAPT/TAPT の詳細な実験設定

DAPT/TAPT のハイパーパラメータを表 5 に示す.

## B TAPT の学習量を増やした際の重要文抽出の結果

TAPT のみの学習ステップ数が $\{20 \mathrm{~K}, 40 \mathrm{~K}, 60 \mathrm{~K}, 80 \mathrm{~K}\}$ の時のモデルを重要文抽出に使用した結果を表 6 に 示す.

表 6 TAPT の学習量を蓋した際の重要文抽出結果


# 学術論文における引用文脈を用いた文献の推薦

生駒流季
名古屋大学大学院情報学研究科
ikoma. tomokieh.mbox.nagoya-u.ac.jp
}

松原茂樹
名古屋大学情報連携推進本部
matubara@nagoya-u.jp

## 1 はじめに

学術論文では文献が引用されるが，引用される文献には,

・文献の著者が自身の研究において参考にした概念やアイデアを提案した文献

・研究の過程において利用したデータやツールな どの研究資源に関する文献
- 自身の研究に関連のある先行研究（関連研究） に関する文献

などがある，参考文献の探索は，発表される文献の増加とともに難しくなっており, その支援に向け, 文献推薦システムが提案されている $[1,2,3,4,5,6,7,8]$.

これまでに提案された文献推薦システムの多く は，入力として利用者が執筆する論文のタイトルや 要旨を受け取り，その論文で引用するのに適した文献を出力として提示する [9].

本稿では，論文における引用文脈を利用する文献推薦手法を提案する. 引用文脈とは，論文において 被引用論文が引用された箇所のテキストを指す. 引用文脈には，引用した論文の著者がその文献を引用 した目的や, 自身の研究との関連性についての記述 が含まれる. 引用文脈を併用することにより，論文 の著者による記述とは異なる観点や，他に引用した 文献との関係を考慮した推薦文献の選定が可能とな る. 医学系論文を対象とした実験により, 引用文脈 を利用することによる推薦性能の向上を確認した.

本稿の 2 章では，本研究において想定する文献推薦の場面設定を説明する. 3 章では，引用文脈を用 いることの利点について記す。 4 章では，提案する 文献推薦システムの構成について述べる. 5 章では 実験の結果を報告する。

## 2 問題の設定

文献推薦の研究は，推薦システムの利用者が執筆 する論文のタイトルや要旨などの情報に対して，そ の論文において引用するのに適した文献を推薦する 研究 $[1,2,3,4]$ と, 論文の本体の一部を入力して, その箇所で引用するのに適した文献を推薦する研究 $[5,6,7,8]$ に大別される. 前者は論文のタイトルと 要旨が完成していて本文を執筆中に利用する状況を 想定し，後者は本文を執筆した利用者が，その部分 の論旨の補強などを目的として文献を探索する状況 を想定する。

本研究は前者を前提とする。すなわち，論文の夕 イトルと要旨を入力とし，その論文において引用す るのに適した文献を出力する。

## 3 引用文脈とその利用

本章では，引用文脈について説明し，本研究にお ける利用方法を記述する。

## 3.1 引用文脈

引用した文献における被引用文献の引用文脈と は，引用した文献の本文中における，被引用文献が 引用された箇所の記述のことである. 本研究では，被引用文献への引用を示す標識 (引用タグ) を含む段落のテキストを引用文脈と定義する。

図 1 に，引用文脈の一例として，引用した文献 [10] における被引用文献 [11] の引用文脈の一部を示 す.この図において，下線を引いた箇所が被引用文献に対応する引用タグである。また，図 2 に，被引用文献の要旨の一部を示す.

引用文脈には，引用した文献の著者がその文献を 引用した目的や，自身の研究との関連性など引用し た文献の著者にとって重要な情報が記述される. 引用文脈中の記述は，被引用文献の内容のうち，引用 した文献において重要な点をまとめたものとして捉 えることができる，図 1 に例示した引用文脈では，
devastating impact on human health and healthcare systems. Take the example of the 1918 influenza pandemic, famously known as the "Spanish flu." It is estimated that this outbreak killed between 17 and 50 million people worldwide.[3,4] Although the case mortality rate with this virus was estimated to be only $3 \%-5 \%$, the virus was highly infectious and infected more than a third of the

図 1 引用した文献 [10] における文献 [11] の引用文脈 (一部)

Abstract

Go to: 『

Mortality estimates of the 1918 influenza pandemic vary considerably, and recent estimates have suggested that there were 50 million to 100 million deaths worldwide. We investigated the global mortality burden using an indirect estimation approach and 2 publicly available data sets: the Human Mortality Database (13 countries) and data extracted from the records of the Statistical Abstract for British India. The all-cause Human Mortality Database

図 2 被引用文献 [11] の要旨 (一部)

COVID-19 と過去に発生した感染症の状況の比較を 目的としてスペイン風邪の記録についての文献を 引用した旨が記述されており，引用目的が示されて いる.

一方，要旨にはその文献の研究の概略や，提案し た手法や概念，実施した実験の結果など，文献の著者がその文献において最も重要と考える情報が記述 される. 図 2 に例示した文献の要旨は，1918 年に発生したスペイン風邪の当時の拡散状況などについて の記録を再考した旨が，研究の概略として記されて いる.

## 3.2 引用文脈の利用

本研究では，引用文脈を入力論文の要旨と組み合 わせて利用する. 先行研究 $[1,2,3,4]$ の文献推薦シ ステムは， 入力論文の要旨と推薦候補文献の要旨を 比較するが，推薦候補文献の要旨のみではその文献 がどのような目的で，どのような点に着目して引用 されたかを考慮した推薦文献の選択ができない.

一方，入力論文の要旨と推薦候補文献の引用文脈 を比較することで，要旨には含まれない内容の記述 を考慮に加えた推薦候補の選択が可能となる. 図 1 および図 2 に示した例では，引用文脈を利用するこ とにより，被引用文献の記述内容が他の感染症の記録との比較に利用できるという点を考慮した上で，推薦文献として選択することができる.

図 3 提案システムの処理の流れ

図 4 推薦候補選択による文献のベクトル化

## 4 提案手法

本研究で提案する推薦システムは，推薦文献の候補を絞り込む段階と，推薦候補文献の中から推薦す る文献を決定する段階を通して文献を推薦する. 図 3 に処理の流れを示す.

## 4.1 推薦候補の選択

推薦候補選択の段階では，入力論文や文献データ ベース中の各文献を，タイトルや要旨の出現語の bag-of-words をもとにべクトル化する. 図 4 にその 概略を示す. 推薦候補選択モデルはタイトルの出現語を処理するための embeddings と要旨の出現語を 処理するための embeddings を学習し，タイトルと要旨のそれぞれについて，出現語の embeddingsの重み 付き和を算出してタイトルベクトルと要旨ベクトル を生成し，それらの重み付き和によってその文献を ベクトル化する.

推薦候補選択のモデルの学習では，引用関係にあ る 2 文献のベクトルの $\cos$ 值が高く，引用関係にな い 2 文献の $\cos$ 値は低くなるように各 embeddings と 各語の重み，タイトルベクトル及び要旨ベクトルの 重みを学習する。推薦候補選択モデルは，タイトル と要旨をもとに入力論文をべクトル化し，データ ベース中の各文献と入力論文のベクトルの $\cos$ 值を 算出して， $\cos$ 值の高い上位一定数の文献と，それ らによって引用されている文献からなる集合を推薦候補文献として出力する.

## 4.2 推薦文献の決定

推薦文献決定の段階では，各推薦候補文献が入力論文での引用にどの程度適しているかを示す推薦度

図 5 推薦文献決定に用いるモデルの構成

を FeedForward により算出し，推薦度が一定の閾値 を上回る文献を推薦文献として出力する. 図 5 にモ デルの構成を示す. 本図において, 入力論文は推薦 システムに入力された文献のタイトルや要旨を指 し，これらは推薦候補選択における入力と同じであ る。また，推薦候補文献は推薦候補選択で選出され た各文献を指す。

文献 [1] で提案された手法は, 以下の各項目を素性値として推薦度を算出し，推薦文献を決定して いる.
- 入力論文と推薦候補文献のタイトルベクトルの $\cos$ 値
- 入力論文と推薦候補文献の要旨ベクトルの $\cos$ 値
- 推薦候補選択モデルで計算された，入力論文・推薦候補文献間の $\cos$ 値
- 推薦候補文献の被引用回数 (FeedForwardへは 被引用回数の対数を入力）
- 入力論文と推薦候補文献のタイトルに共通して 出現する語の重み値の和
- 入力論文と推薦候補文献の要旨に共通して出現 する語の重み値の和

本研究の提案手法では，文献 [1] で採用されてい た素性項目に加え，以下の各項目を素性として利用 する.
- 入力論文の要旨ベクトルと，推薦候補文献の引用文脈ベクトルの $\cos$ 值（引用文脈ベクトルは，推薦候補文献の引用文脈を要旨と同様の方法で ベクトル化したものとする)
- 入力論文の要旨と, 推薦候補文献の引用文脈に 共通して出現する語の重み値の和推薦文献決定モデルにおいて用いるタイトル用 および要旨用の embedding は，推薦候補選択モデル で用いたものとは共通しない，学習では，タイトル 用および要旨用の embeddings と各語の重みに加え, FeedForward 内で用いる各素性値の重みを学習する.

## 5 実験

本章では，文献推薦における引用文脈を利用する ことの効果を検証することを目的とした実験につい て記述する。

## 5.1 データセット

実験には医学系のオープンアクセス文献を集めた PMC Open Access Subset [12]を用いた。約 32 万本の 文献を無作為に抽出し, 文献の発行年で学習・開発・テストデータに分割した. 本実験では，2018 年 までに発行された文献（約 25 万本）を学習データ， 2019 年に発行された文献（約 4.5 万本）を開発デー タ，2020 年に発行された文献（約 2.5 万本）をテス トデータとして用いた.

## 5.2 実験の概要

学習データを用いて，推薦候補選択モデルと，推薦文献決定モデルを，それぞれ 10 エポックで学習 した。選択する推薦候補文献の数を 100 とし，テス トデータ中の各文献を入力して出力された推薦文献と入力論文において引用されていた文献 (参考文献リスト)を比較して，以下の各指標で性能を評価 した.

・適合率: 推薦文献決定モデルによって推薦され た文献のうち，参考文献リストにあるものの 割合
表 1 実験結果

表 2 閾値の設定による性能の比較

- 再現率: 参考文献リストにある文献のうち，推薦文献決定モデルによって推薦されたものの 割合
- $\mathrm{F}$ 値: 適合率と再現率の調和平均

文献 [1] で提案された，引用文脈を用いない文献推薦システムの推薦性能をベースラインとし, 各評価値を比較した. 推薦文献決定における閾値は, ベースラインにおいて最も高い性能が記録された 0.95 と設定した.

## 5.3 実験結果

表 1 亿実験結果を示す. 本研究で提案したシステ ムはいずれの指標でもべースラインを上回ってお り，引用文脈を用いることの有用性が示された。

## 5.4 考察

## 5.4.1 推薦文献決定における閾値の設定

推薦文献決定で各文献を推薦するか否かを決める 閾値と推薦性能の関係を考察するために，閾値の設定を様々に変えて，開発データにおける評価値の変化を観察した．表 2 にその結果を示す。閾値が下が るにつれて推薦される文献数は多くなるため，適合率は下がり再現率は上がっている．F 値では，間値 が 0.9 のときに最も高い評価値が記録された.

## 5.4.2 推薦候補選択における引用文脈の利用

本研究の提案手法では, 引用文脈は推薦文献決定 でのみ利用するものとしている．その一方で，推薦文献決定だけでなく推薦候補選択でも引用文脈を利表 3 引用文脈の利用方法による性能の比較

用する手法も考えられる，そこで，推薦入力論文の 要旨と各候補文献の引用文脈を推薦文献決定時と同様の方法でベクトル化し，両者間の $\cos$ 值を推薦候補選択の素性に追加し, この素性の有無による性能 の変化を観察した。

本考察では推薦の閾値を 0.95 に設定し，引用文脈を使用しない，推薦候補選択でのみ用いる，推薦文献決定でのみ用いる (提案手法)，両方で用いる の 4 つの条件で，開発データにおける評価値を比較 した. その結果を表 3 に示す. 最も高い評価値が記録された条件は，推薦候補選択では引用文脈を用い ず，推薦文献決定でのみ利用する条件であった。ま た，推薦候補選択のみで引用文脈を用いる条件と，両段階で用いる条件で記録された閾値はほぼ同じで あった.この結果は, 引用文脈を二重に考慮するこ との効果は薄いことを示唆する。

## 6 まとめ

本稿では，各候補文献を引用した他文献における 引用文脈を利用して推薦文献を選定する文献推薦シ ステムを提案した。また，医学系論文を対象とした 実験により，引用文脈の利用が推薦性能の向上に貢献することを示した。

今後の課題として，引用文脈の取得のより適切な 方法について検討することを挙げる。本研究では，引用文脈は一律に引用タグを含む段落と定義した。一方，文献 [13] では，引用を含む段落において，被引用文献の内容に言及した範囲を抜き出す手法が提案されている。このような手法を引用文脈の抽出に 適用することで，引用文脈としてより適切な部分の みを用いた文献推薦が可能となると期待される。

## 参考文献

[1]Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251. Association for Computational Linguistics, 2018.

[2]Dai, Tao, Cai, Xiaoyan, Pan, Shirui, and Yuan, Sheng. Explore semantic topics and author communities for citation recommendation in bipartite bibliographic network. $J \mathrm{Ambi}$ ent Intell Human Comput, Vol. 9, pp. 957-975, 2018.

[3] Mu, Dejun, Guo, Lantian, Cai, Xiaoyan, and Hao, Fei. Queryfocused personalized citation recommendation with mutually reinforced ranking. IEEE Access, Vol. 6, pp. 3107-3119, 2018.

[4]Guo, Lantian, Cai, Xiaoyan, Hao, Fei, Mu, Dejun, Fang, Changjian, and Yang, Libin. Exploiting fine-grained coauthorship for personalized citation recommendation. IEEE Access, Vol. 5, pp. 12714-12725, 2017.

[5]Yang, Libin, Zheng, Yu, Cai, Xiaoyan, Dai, Hang, Mu, Dejun, Guo, Lantian, and Dai, Tao. A LSTM based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[6]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, 2018.

[7]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. Association for Computing Machinery, 2017.

[8]Daniel Duma and Ewan Klein. Citation resolution: A method for evaluating context-based citation recommendation systems. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 358-363, 2014.

[9]M.Färber, A. Jatowt. Citation recommendation: approaches and datasets. Int J Digit Libr, Vol. 21, pp. 375-405, 2020.

[10]Khan, G., Sheek-Hussein, M., Al Suwaidi, A. R., Idris, K., and Abu-Zidan, F. M. (2020). Novel coronavirus pandemic: A global health threat. Turkish journal of emergency medicine, 20(2), pp. 55- 62.

[11]Peter Spreeuwenberg, Madelon Kroneman, John Paget. Reassessing the global mortality burden of the 1918 influenza pandemic. American Journal of Epidemiology, Volume 187, Issue 12, 2018, pp. 2561- 2567.

[12]PMC Open Access Subset. https://www.ncbi.nlm.nih.gov/ pmc/tools/openftlist/.

[13]Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6181-6190. Association for Computational Linguistics, 2020.


# BERT-based Bi-Ranker による文脈を考慮した引用論文推薦

杉本海人†
$\dagger$ 東京大学理学部情報科学科
kaito_sugimoto@is.s.u-tokyo.ac.jp
}

相澤 彰子乵
‡国立情報学研究所
aizawa@nii.ac.jp

## 1 はじめに

学術論文の総数は昨今急速に増大しており [1],引用すべき論文を見つけることが困難になりつつあ る.この問題に対処するべく，引用論文推薦システ ム (citation recommendation system; 以下，論文推薦シ ステム）に関する研究が進められてきた.これは入力として何らかのテキストを与えたときに，その内容を裏付けるような論文を出力するというもので, Google Scholar ${ }^{1 ）}$ のようなキーワードベースの論文検索システムよりも精度の高い推薦が期待される.

論文推薦に対するアプローチは，大域的な論文推薦と局所的な論文推薦の 2 種類に大別される [2].前者はある論文の大域的な情報，すなわち本文や要旨全体などを入力とするのに対し，後者は引用文脈 と呼ばれる一文から数文程度の短い単語列を入力と する．後者は特に，文脈を考慮した論文推薦とも呼 ばれる. 表 1 に例を示す（引用元論文の出典は [3],引用先論文の出典は [4]).

近年，他の自然言語処理のタスクと同様，ニュー ラルネットワークが論文推薦の研究においても広く 用いられるようになっている. しかしながら 2 節で 述べるように， BERT [5]のような Transformer ベー スの言語モデルは十分には活用されていない. そこ で本研究では BERT-based Bi-Ranker と呼ばれるモデ ルを，文脈を考慮した論文推薦において用いる。こ のモデルでは，クエリの引用文脈と推薦する候補の 論文の文章の双方を独立に BERT で埋め込み，候補

表 1 文脈を考慮した論文推薦における入力・出力例 Instead of using the poly-encoder as a trade-off between cross-encoder and bi-encoder, we propose to

入力 train a bi-encoder model with knowledge distillation

(Buciluundefined et al., 2006; [*]) from a crossencoder model to further improve the bi-encoder's performances.

出力 Distilling the knowledge in a neural network (Hinton et al., 2015)

1) https://scholar.google.com/
の論文をコサイン類似度でランク付けする．同種の モデルは既にエンティティリンキングや対話行為予測などのタスクで効果が確認されている $[3,6]$.

2 種類のデータセットを用いた評価実験により，提案手法が近年のニューラルベースの手法よりも推薦精度が高いことを確認した．また，大域的な情報 を追加情報として用いるモデルの有効性も合わせて 検証した。

## 2 関連研究

文脈を考慮した論文推薦手法は $\mathrm{He}$ ら [7] によっ て提案された [2]. Huang ら [8] は Word2Vec [9]のよ うな 2 層のネットワークを構築し, 引用文脈内の単語の埋め込みと引用先論文の埋め込みを同時に取得することで，それらを用いた論文推薦が既存の ニューラルネットワークを用いない手法よりも効果的であることを示した. 以降，より質の高い埋め込 みを得る研究 $[10,11,12]$ や，入力の引用文脈から出力の論文までをネットワークで end-to-end に結びつ ける研究 [13] などが進められてきた。

論文推薦においても BERT [5] を用いた先行研究 は存在するが，改良の余地がある。Jeong ら [14] は BERT と GCN [15] を用いて引用文脈の埋め込みを得 ることで，LSTM ベースの既存手法 [11] に対してス コアの向上を確認したが，この研究では候補の論文 のテキストを活用していない. 一方, Cohan ら [16] は，BERT ベースの論文の埋め込みが様々な論文関連のタスクにおいて有効であることを示したが，こ の手法では引用文脈を入力対象としていないため,文脈を考慮した論文推薦には対応できない． 2 つ 研究は相補的であり, 本研究の提案手法は引用文脈 の埋め込みと候補の論文の埋め込みの双方を活用す るものと位置づけられる。

## 3 提案手法

本研究では，文脈を考慮した論文推薦のための BERT-based Bi-Ranker モデルを提案する.このモデ

図 1 モデルの概要図

ルは Context Encoder と Document Encoder の 2 種類の BERT エンコーダからなる．前者は引用文脈をエン コードし，後者は論文の内容をエンコードする． 2 つのエンコーダはともに学術論文テキストで事前学習が行われた SciBERT [17] で初期化し，訓練データ によって fine-tuningを行う.

## 3.1 通常モデル

モデルの概要を図 1 に示す. 以下の手順にした がって計算を行う。

(a) クエリの引用文脈 $c$ を Context Encoder を用いて ベクトル $\boldsymbol{y}_{\boldsymbol{c}}$ に変換する.

(b) 候補の論文 $d$ を Document Encoderを用いてべク トル $\boldsymbol{y}_{\boldsymbol{d}}$ に変換する.

(c) スコアをコサイン類似度によって計算する。

$
\operatorname{score}(c, d)=\boldsymbol{y}_{\boldsymbol{c}} \cdot \boldsymbol{y}_{\boldsymbol{d}}
$

(a) の詳細について，Context Encoder に入力する引用文脈は，以下のようなトークン列とする。

## [CLS] letxt [CIT] retxt

ここで，lctxt は引用位置の左側の文字列， rctxt は引用位置の右側の文字列を表す. また，[CIT] は引用位置を意味する特殊トークンである. 引用文脈の埋 め込み $\boldsymbol{y}_{\boldsymbol{c}}$ は Context Encoder の [CLS]トークンの位置にあたる最後の隠れ層の出力から得る.

(b) の詳細について, Document Encoder に入力する 論文に関しては，本研究では論文の題目と要旨を入 カソースとして用いる. 入力トークン列は [CLS] title [DOC] abstract とする.ここで， title は題目，abstract は要旨を表す. [DOC] は題目と要旨を分ける特殊トークンである.論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ は前と同様, Document Encoder の [CLS]トークンの位置の出力から得る.

モデルの訓練時においては，ある引用文脈と対応 する正解ラベルの論文のスコアが，訓練データの同
じバッチ内の他の論文とのスコアよりも高くなるよ う学習する. すなわち, 引用文脈と対応する論文の 組 $n$ 個 $\left(c_{i}, d_{i}\right)(i=1, \ldots, n)$ からなるバッチ内におけ る損失関数を以下のように定める $[3,18]$.

$
L\left(c_{i}, d_{i}\right)=-\operatorname{score}\left(c_{i}, d_{i}\right)+\log \sum_{j=1}^{n} \exp \left(\operatorname{score}\left(c_{i}, d_{j}\right)\right)
$

推論時においては，入力の引用文脈に対して，候補のそれぞれの論文とのスコアを計算し，スコアが 上位の論文から順に推薦を行う。

## 3.2 大域モデル

Medić ら [12] は，文脈を考慮した論文推薦におい て，引用元の論文の題目や要旨のような大域的な情報を用いた大域モデルを提案し，特に引用文脈の長 さが短い場合には推薦の精度が向上することを確認 した. これに倣い，本研究においても引用元の論文 の内容を用いた大域モデルの有効性を検証する.

このモデルにおいては，通常モデルと同様に引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ を得るだけでなく, 引用元の論文の埋め込み $\boldsymbol{y}_{\boldsymbol{g}}$ を Document Encoder を用いて求め る. 入力形式は候補論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ を得る場合 と同様である.

引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ と引用元の論文の埋め込 み $\boldsymbol{y}_{\boldsymbol{g}}$ を足し合わせたものを最終的なクエリの埋め 込み $\boldsymbol{y}_{\boldsymbol{c}}^{\prime}$ とし，スコアを計算する. その他の訓練方法は通常モデルに揃える。

$
\begin{aligned}
\boldsymbol{y}_{\boldsymbol{c}}^{\prime} & =\boldsymbol{y}_{\boldsymbol{c}}+\boldsymbol{y}_{\boldsymbol{g}} \\
\operatorname{score}(c, d) & =\boldsymbol{y}_{\boldsymbol{c}}^{\prime} \cdot \boldsymbol{y}_{\boldsymbol{d}}
\end{aligned}
$

## 4 実験

## 4.1 データセット

## 4.1.1 ACL-ARC

ACL-ARC は自然言語処理分野の論文を収録した データセットである [19]. 本研究では [12] の実験設定に従い，ACL-200 と ACL-600の 2 種類のサブセッ トを用いる．前者は引用文脈として引用位置の前後 600 文字ずつを，後者は 200 文字ずつを抽出したも のである。訓練データ，検証データ，テストデータ のサイズはそれぞれ約 $30 \mathrm{~K} ， 9 \mathrm{~K} ， 10 \mathrm{~K}$ となってい る. また，予測候補の論文の総数は約 $20 K$ である.

## 4.1.2 RefSeer

RefSeer は Web 上に存在する様々な分野の学術記事からなるデータセットである [8]. 訓練データ，検証データ，テストデータのサイズはそれぞれ約 3.5M，125K，127K となっている. また，予測候補 の論文の総数は約 $625 \mathrm{~K}$ である.

## 4.2 ベースライン

## 4.2.1 NCN

Ebesu ら [13] は NCN (Neural Citation Network) とい うモデルを提案した. これは Attention 機構を備え た Encoder-Decoder モデルであり, 引用文脈，引用元の論文の著者名, 引用先の論文の著者名の埋め込 みを連結したものを Encoder 側, 引用先の論文の題目の埋め込みを Decoder 側に与えて学習が行われ る. Ebesu らはこのモデルを RefSeer データセット において評価した。具体的には, 入力の文脈に対し て,まず BM25 [20] で上位 2,048 本の論文を候補と して取得した上で，それらの候補を NCNを用いて Re-ranking した. なお，BM25 の時点で正解ラベル の論文が得られなかった場合は, Re-ranking の候補に 正解ラベルを加えている.

## 4.2.2 SemCon, SemEnh

Medić ら [12] は, 文脈を考慮した論文推薦システ ムのための Semantic module と Bibliographic module を考案した. Semantic module は論文や引用文脈の内容を捕捉するのに対し, Bibliographic module は論文 のメタ情報（引用数等）を考慮する．本研究では内容による推薦に焦点を置くため，Semantic module の みを比較の対象とする。

Semantic module を用いたモデルは特に SemCon と SemEnh の 2 種類に分かれる. SemCon は引用文脈 と候補の引用先論文の内容それぞれの埋め込みを Bi-LSTMを用いて取得し，コサイン類似度を計算す る. SemEnhは大域的な情報を用いて SemConを拡張したモデルである. 具体的には，引用元論文の埋 め込みを別に計算し, 引用文脈の埋め込みと足し合 わせてから，コサイン類似度を計算する。

NCN の場合と同様に, Medić らはこれらのモデル を用いて， RefSeer データセットに対しては BM25 で得られた上位 2,048 本の論文を Re-ranking し, ACL-ARC データセットに対しては上位 2,000 本の 論文を Re-ranking した. $\mathrm{NCN}$ の場合と同様，BM25 の時点で正解ラベルの論文が得られなかった場合 は, Re-ranking の候補に正解ラベルを加えている.

## 4.3 評価手法

先行研究と同様に, 提案した論文推薦システムが 既存の論文の引用をどの程度予測できるかを測定 する. 本研究では, 先行研究に揃えて, 推薦された 予測候補の上位 10 件に対して Recall と MRR (Mean Reciprocal Rank) [21] を計算し，ベースラインの手法 と比較する。

## 4.4 結果

表 2 は，提案手法のスコアを既存研究で報告され た値と比較したものである，比較の上では，既存研究が BM25 で得られた候補にもとづいて値を報告し ていることから，本研究でもこれに従った（候補は [12] と同一のものを用いた). 全てのデータセット において，提案手法がベースラインの手法の値を上
表 4 BERT-based Bi-Ranker モデルによる ACL-200 データセットの予測例（太字が正解ラベルの論文を表す） クエリの引用元論文 Language Identification using Classifier Ensembles

...be some redundancy in the large number of character ngram features and removing these might increase the diversity and thus accuracy of the ensemble using the feature analysis methodology outlined by [*] we analyzed the feature interactions using the training and development set this methodology uses yule's qcoefficient statistic which can be a useful measure of pairwise dependence between two cla...

クエリの引用文脈 BERT-based Bi-Ranker（大域モデル）

BERT-based Bi-Ranker（通常モデル）

1. Language Identification using Classifier Ensembles

1. A Two-level Classifier for Discriminating Similar Languages

2. Measuring Feature Diversity in Native Language Identification

2. A Two-level Classifier for Discriminating Similar Languages

3. Proceedings of the ACL Workshop on Feature Engineering for Machine Learning in Natural Language Processing

3. Using Maximum Entropy Models to Discriminate between Similar Languages and Varieties

4. A Simple Baseline for Discriminating Similar Languages

5. Feature Space Selection and Combination for Native

Language Identification

4. A Simple Baseline for Discriminating Similar Languages

5. The NRC System for Discriminating Similar Languages

クエリの引用元論文 A Computational Approach for Generating Toulmin Model Argumentation ...tween the claim and data one of the aspects of the toulmin model in terms of determining stance クエリの引用文脈ｐrevious work has utilized attack or support claims in user comments as a method for determining stance [*] inspired by hashimoto et al 6's excitatory and inhibitory templates in this work we similarly compose a manual list of promotexy and suppressxy relations and rely on these relations coupled with pos...

BERT-based Bi-Ranker（通常モデル） BERT-based Bi-Ranker（大域モデル）

1. Cats Rule and Dogs Drool!: Classifying Stance in Online Debate

2. Get out the vote: Determining support or opposition from Congressional floor-debate transcripts

3. Recognizing Stances in Ideological On-Line Debates

4. Why are You Taking this Stance? Identifying and Classifying Reasons in Ideological Debates

1. A Computational Approach for Generating Toulmin Model

5. Stance Classification in Online Debates by Recognizing Users' Intentions Argumentation

## 2. Back up your Stance: Recognizing Arguments in Online Discussions

3. Contrasting Opposing Views of News Articles on Contentious Issues

4. Combining Textual Entailment and Argumentation Theory for Supporting Online Debates Interactions

5. Stance Classification in Online Debates by Recognizing Users' Intentions

回っている. また, ACL-600 と ACL-200の結果を比較すると，引用文脈の長さが短い ACL-200 において 大域モデルが効果的であることがわかる.

提案手法の予測例を表 4 に示す. 上段の例におい ては，通常モデルの予測候補の論文は "Feature" と いう単語を含むものが多い. これはクエリの引用文脈の "feature analysis" という部分をより考慮に入れ た結果であると考えられる。これに対し，下段の例 においては，大域モデルの予測候補においてのみ "Arguments" や "Argumentation" という単語が見られ る.これは，クエリの論文が Argumentation に関す る論文であるという大域的な情報が予測に反映され ていると考えられる。

論文推薦システムを実用化する上では，推薦候補 の論文の要旨をテキストとして抽出するのが困難 なケースも考えられる。 そこで，提案手法におい て，論文の要旨を用いず，題目のみを埋め込んだ 場合の性能を調べた. 加えて，両方のエンコーダ をSciBERT ではなく通常の事前学習済み BERT [5] で初期化した場合における性能を調べた. 結果を表
3 に示す。題目のみを情報として用いた場合でも， [12] で報告された BM25 のベースラインのスコアを 大きく上回っていることが分かる. また，BERT で 初期化した場合，題目のみの場合と同程度スコアが 下がってしまうことから，学術論文テキストによる 事前学習の重要性が示唆される.

## 5 おわりに

本研究では，引用文脈と論文の文章の双方を BERT で埋め込んだモデルを提案し，文脈を考慮し た論文推薦タスクにおいて効果を検証した. 今後の 課題として，論文の要旨以外の内容（手法や実験結果など）の埋め込みが推薦に役立つかどうかの検証 や，既知の引用先の論文がある場合にそれを入力と して有効活用する手法の検討などが挙げられる.

## 謝辞

本研究は，JST CREST-20218985 の支援を受けたも のである.

## 参考文献

[1]Mark Ware and Michael Mabe. The stm report: An overview of scientific and scholarly journal publishing. 2015.

[2]Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[3]Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, Online, November 2020. Association for Computational Linguistics.

[4]Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6]Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, and Jason Weston. Learning to speak and act in a fantasy text adventure game. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 673-683, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Qi He, Jian Pei, Daniel Kifer, Prasenjit Mitra, and Lee Giles. Context-aware citation recommendation. In Proceedings of the 19th international conference on World wide web, pp. 421-430, 2010.

[8]Wenyi Huang, Zhaohui Wu, Chen Liang, Prasenjit Mitra, and $\mathrm{C}$ Giles. A neural probabilistic model for context based citation recommendation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 29, 2015.

[9]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[10]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11]L. Yang, Y. Zheng, X. Cai, H. Dai, D. Mu, L. Guo, and T. Dai. A lstm based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[12]Zoran Medić and Jan Snajder. Improved local citation rec- ommendation based on context enhanced with global information. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 97-103, Online, November 2020. Association for Computational Linguistics.

[13]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '17, p. 1093-1096, New York, NY, USA, 2017. Association for Computing Machinery.

[14]Chanwoo Jeong, Sion Jang, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with BERT and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020.

[15]Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[16]Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270-2282, Online, July 2020. Association for Computational Linguistics.

[17]Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18]Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, and Jason Weston. Poly-encoders: Architectures and pre-training strategies for fast and accurate multi-sentence scoring. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[19]Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[20]Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: BM25 and beyond. Now Publishers Inc, 2009.

[21]Ellen M. Voorhees. The TREC-8 question answering track report. In Ellen M. Voorhees and Donna K. Harman, editors, Proceedings of The Eighth Text REtrieval Conference, TREC 1999, Gaithersburg, Maryland, USA, November 17-19, 1999, Vol. 500-246 of NIST Special Publication. National Institute of Standards and Technology (NIST), 1999.


# 言い誤りの理解過程
## 一日本語二重目的語構文の意味的整合性判断課題による検討一

\author{
井出彩音 ${ }^{1}$ 寺尾康 ${ }^{2}$ 木山幸子 ${ }^{3}$ \\ 1 東北大学文学部言語学研究室 2 静岡県立大学国際関係学部国際言語文化学科 \\ 3 東北大学大学院文学研究科言語学研究室 \\ ayane.ide.p5@dc.tohoku.ac.jp teraoy@u-shizuoka-ken.ac.jp skiyama@tohoku.ac.jp
}

## 1 はじめに

言い誤りは，文産出の仕組みを知る上で重要な手 がかりを持つ. 言い誤りを観察することで，話者が 意図した発話と，文産出の過程で何らかの誤作動の あった結果の発話の 2 つを同時に手に入れられ，処理過程の仮説を提案できるからである [1].

言い誤りは「故意にではない，発話の意図からの 冕脱」と定義され, 付加型 - 久落型 - 代用型 - 交換型・混成型・移動型 (表 1) という6 種類のタイプ に分類される [2]. また，言い誤りが起こる単位ご との分類としては，音韻レベル・語彙/形態レベ ル・語より大きいレベル・統語/文法レベル・文体 レベルがあり，それぞれがさらに細かく分けられる。例えば統語/文法レベルでは，助詞・活用・否定・助動詞といった単位が挙げられる.

表 1 言い誤りのタイプ例

言い誤りのレベルに基づいた分類では，助詞レベ ルの言い誤りにおいて，日本語に特徴的な傾向が見 られている [1]. それぞれが持つ機能によって助詞 を 3 グループに分類し，「が」「を」「に」「の」を A 類，「から」「へ」を B 類，「も」「ね」などを C 類としてグループ間の言い誤りの傾向を探った結果，同じグループ間の助詞同士で言い誤りの発生が 多く，特に「が」や「を」などの限られた助詞同士 で言い誤りの発生が多くなることが示された.

言い誤りによる文産出研究に比べ，言い誤りの理解の観点から調査した研究はほぼ皆無である。言い誤りを含む不完全な文を理解するときに，理解しや すい言い誤りとそうでない言い誤りの差異はどのよ うな要因に起因するのか.

本研究では，言い誤りが含まれた文の理解過程を 解明することを目的とし，言い誤りを引き出す問い かけに応答する対話の自己ペース読みによる意味的整合性判断課題によって，助詞レベルの交換型の言 い誤り(1)を含む日本語二重目的語文の処理を検討 した.

問いかけ 八厶、これからどうするの?返答 a. パンにハムを挟むよ。（正文）

b. パンをハムに挟むよ。（誤文）

二重目的語構文の基本語順については多くの研究 がなされており，未だに議論の余地がある，日本語二重目的語構文の基本語順を予測する統計モデルを 議論した研究 [3]では，『現代日本語書き言葉均衡 コーパス』から二重目的語構文を抽出して分析した 結果, 名詞句の情報構造の効果として知られる，旧情報が新情報よりも先行する現象（“given-new ordering”）が，直接目的語と間接目的語間の語順に 関して確認された。

また，「手に入れる」「恩を売る」などの熟語や，「棚上げ」「ごま和え」などの複合語を広辞苑から 抽出し，二格を目的語にとる動詞とヨ格を目的語に 取る動詞の数を比較し基本語順を捉えようとした研究 [4]では，二格を目的語にとる動詞のほうがラ格 を目的語に取る動詞に比べ圧倒的に数が多いという 結果を示した．さらに，「をに文」の二格は，ヲ格 に比べ生産的に用いられていないことを示した。し たがって，日本語の二重目的語構文の基本語順は，

「間接目的語-直接目的語（「にを文」）」であること が示唆される. しかし, 抽出した熟語や複合語はニ 格とヨ格のどちらを目的語にとるかが動詞ごとに異
表 2 刺激文のパターン例

なることから, 二重目的語構文の基本語順は動詞に よって異なり，一貫した語順が定まりにくい可能性 が考えられる。

本研究では, 先行研究を基に, 二重目的語構文に おいて，旧情報を先に提示するか否かと，文の語順 が基本語順かかき混ぜ語順かという 2 つ要因が 言い誤りの検出のしやすさに影響すると考え 以下 の仮説を立てた。

仮説 1 言い誤りを含む二重目的語構文において，旧情報が先にある文 (2a) のほうが，旧情報が後に ある文 (2b) に比べて誤りに気づきやすい.

(2) 問いかけ公、これからどうするの?

$
\begin{array}{ll}
\text { 返答 a. ハムにパンを挟むよ。（誤文） } \\
& \text { b. パンをハムに挟むよ。（誤文） }
\end{array}
$

仮説 2 二重目的語構文の基本語順である「にを 文」(2a)のほうが，かきまぜ語順である「をに文」 (2b) に比べて誤りに気づきやすい.

仮説 3 語順よりも旧情報の位置の操作のほうが,言い誤りの検出のしやすさに強い影響を及ぼす.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 60 人（女性 30 人, $20.83 \pm 1.98$歳）が実験に参加した.

## 2.2 刺激文

二重目的語構文 (ターゲット文: 返答文) とそれ を導く問いかけ文による対話を 48 セット用意した。述語項構造シソーラス(Predicate-Argument Structure Thesaurus (PT)) $)^{\mathrm{r}}$ 利用しながら，動詞と典型的に共起しやすい名詞を使って新たに文を作成した. 全て 二格名詞，ヨ格名詞，動詞を含む文で，二格名詞の 意味役割が[着点], Э格名詞の意味役割が[対象]で あり，二格名詞， Э格名詞がともに無生物で，身体部分や抽象概念ではないものとした. ターゲット文 は, 旧情報の位置 (先/後) と語順 (基本語順/かき混 ぜ語順) を操作して 4 パターン用意し，さらにその 2 つの名詞句を入れ替えることで誤文を用意した (表 2). 問いかけ文は, ターゲット文に含まれる名詞を利用して作成した (表 2). 上記に加え，フィラ 一の対話を 48 セット作成した. いずれもデ格名詞 とヨ格名詞を含む文であった. すべての文の間で，同じ名詞と動詞を 2 回以上使わないようにした. 夕一ゲット文では, 2 つの名詞句の間でモーラ数と親密度 [5]の平均に有意な差がないことを確認した。 これらのセット内のパターンは参加者間でカウンタ ーバランスをとり，ランダムに呈示した.

## 2.3 手続き

図 1 意味的整合性判断課題試行例
表 3 返答文読み時間に与える諸要因の効果

図 2 返答文平均読み時間（正文）

参加者は，コンピュータのモニタに提示される対話を 1 文ごとに自己ペースで読み進め, 読み終わつ た次の画面で直前のターゲット文が意味的に整合し ているかどうかの判断を, ボタン押しによって行っ た (図 1). 途中で一度小休止をとった. 本試行の前 に練習を行った。

課題終了後に, 質問紙によるフォローアップ調查 を実施した. 各質問紙には各参加者が提示されたパ ターンによる誤りを含む 48 文において，この文の 話し手が本来意図していた発話はどのようなものだ と考えられるかを作文するよう求めた.

## 2.4 分析

返答文提示における反応時間 (返答文読み時間),意味的整合性判断パートにおける反応時間，回答の 正答率を従属変数, 旧情報の位置, 語順を独立変数 として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた. R studio version 3.5.3 (C) The R Foundation） 上でパッケージ lme4 (Bates, Maechler, Bolker \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff \& Christensen, 2017)を使用し た.

## 3 結果

返答文の読み時間については, 表 3 に示すように正

図 3 返答文平均読み時間（誤文）

文と誤文の双方において，語順の主効果が得られた。 また，正文，誤文のどちらも旧情報の位置と語順の 2 次の交互作用は得られなかった. 図 2,3 からもわ かるように，語順がかき混ぜ語順（をに）の文のほ うが基本語順 (にを) の文に比べて反応時間が長く,「をに文」のほうが「にを文」よりも文理解の処理負荷が高いことが示された。

回答の正答率については, 正文において, 語順の 主効果および旧情報の位置と語順の 2 次の交互作用 が得られた (表 3). 図 4 に示すように，旧情報の位置が後で語順がかき混ぜ語順 (をに) の場合のほう が他に比べて正答率が低くなっていた.つまり，旧情報が新情報よりも後に位置する場合には「にを文」 よりも「をに文」のほうが意味的整合性判断の基準 が厳しくなることが明らかになった.

また, フォローアップ調査の回答に関してクロス 表集計によるカイ二乗検定を行った結果, 誤文の助詞の順序と訂正方法の連関が有意であり $\left(\chi^{2}{ }_{1}=\right.$ $11.43, p=0.001$ ）．誤文の語順が基本語順（にを）の 場合は名詞を入れ替えることで「にを文」の形に訂正されやすく, 誤文の語順がかき混ぜ語順 (をに) の場合は助詞を入れ替えることで「にを文」の形に 訂正されやすいことが示された. つまり，誤文の助詞の順序に関わらず「をに文」への訂正よりも「に を文」への訂正が多く，「にを文」が好まれることが 明らかになった。
表 4 回答の正答率に与える諸要因の効果

図 4 意味判断の正答率（正文）

図 5 意味判断の正答率（誤文）

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目 し, 旧情報の位置と語順が助詞レベルにおける交換型の言い誤り理解にどのような影響を与えるかにつ いて検討した。

二重目的語構文を用いて意味的整合性判断課題を 実施した結果，返答文の平均読み時間に関し，正文 と誤文の双方において語順の主効果が得られた.「をに文」のようにヨ格が動詞から離れている場合 のほうが，「にを文」のようにヨ格が動詞に近い場合 よりも反応時間が長かったことから，「にを文」より も「をに文」のほうが処理負荷が高いことが明らか になった.フォローアップ調査においても「にを文」 の形で正文を作成する場合が多く, 意味的整合性判断課題の結果を支持する結果となった. また, 回答 の正答率に関して, 正文において旧情報の位置が後 で語順が「をに」の場合に正答率が低くなっていた ことから，旧情報が新情報に先行する文の理解にお ける処理負荷の低さと, 文産出研究においてあまり 生産的に用いられないとされている「をに文」の文理解における処理負荷の高さが示された.

この結果の解釈としては, まず, 日本語の主要部後置主義が挙げられる. すなわち, 直接目的語を文 の左側に置くことで処理負荷が高くなったと考えら れる.また, 名詞の関係性も関連したと考えられる.二重目的語構文は「パンにハムを挟む」「デスクに本 を置く」のようにニ格名詞のほうがヲ格名詞よりも 物体として大きい傾向があり, 物体同士の関係性に 対するイメージが文理解に関わった可能性がある. さらに，動詞の影響も考えられる。习格名詞，二格名詞，動詞の 3 つの組が与えられた場合，「をに」語順と「にを」語順のいずれか一方の語順が 90\%以上 となる動詞が 8 割を占めると述べている研究 [6]も あり，さらなる調査が期待される.

先行研究はすべて正文における二重目的語構文の 処理負荷を比較して語順や旧情報の位置の効果が調 べられていた. しかし, 今回の研究によって初めて,誤文の処理においても語順が重要な要因であり，基本語順であるほうが意味的な正誤判断をしやすいこ とを示す結果が得られた. また, 名詞の情報状態も 判断に適切に取り入れられ，旧情報が先に提示され ていたほらが後に提示されている場合よりも意味の 照合がしやすいことが示された. これまで文産出の 研究において重要視されてきた言い誤りという現象 が，文理解の分野でも日本語二重目的語構文の基本語順の解明に有効性を示唆する結果となった.

## 謝辞

本研究は，科学研究費基盤研究 (A) 19H00532 の 助成を受けて実施した。

## 参考文献

1. 寺尾康 (1992)「第 6 章 文産出」石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371,379380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こ る?』東京 : 岩波書店.

3. 浅原正幸・南部智史・佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

4. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』東京: ひつじ書房, 90-110.

5. 天野成昭・小林哲生 (2008) 『基本語データベー ス 語義別単語親密度』 東京: 学習研究社

6. 笹野遼平・奥村学 (2017) 「大規模コーパスに基 づく日本語二重目的語構文の基本語順の分析」

『自然言語処理』 24(5): 687-703.


# 英米文学の原書書評に基づく日本語訳本の売上予測

DENGJUNFU 掛谷英紀
筑波大学システム情報工学研究科
s1920870@u.tsukuba.ac.jp kake@iit.tsukuba.ac.jp

## 1 はじめに

日本の出版業界の市場規模が 1997 年から年々縮小し、「出版不況」といわれる長期低迷の状況に陥つ ている[1]。その影響を受け、書店と印刷業全体が右肩下がりになり [2]、印税収入に依存する出版翻訳業者も厳しい境地に晒されている[3]。

出版翻訳には、海外で出版された書籍の情報を収集する「原書探し」や、作品の内容を要約し編集会議で吟味する作業などが必要であった[4]。海外書評 サイトでの書籍概要とユーザーレビューなどの既存情報を活用し、日本で売れるパターンとそうでない パターンを把握できれば、刊行までの時間が大幅に 短縮し、出版のリスクも低減すると予想される。

近年、書評を対象とした分類研究が盛んに行われ ている。例えば、橋本ら[5]が最大エントロピー法を 用いたイデオロギー分析や、掛谷ら[6]がアマゾンの ユーザーレビューに基づいた先見性の分析、樋口ら [7]が書評を用いた政治的見解の異なる人物像の特徵分析などがある。

本研究では既存の分類モデルを参考し、和訳され た英米文学作品の売れ行きを予測するシステムの実現を目的とする。具体的には、紀伊国屋書店 [8]で掲載された英米文学作品を対象に、海外最大級の書評 サイト GoodReads[9]の情報から対象作品が日本で売 れるかどうかを分類するモデルを構築する。その上、売れる・売れない作品の特徴を分析する。

## 2 提案システム

提案システムの全体構成を図 1 に示す。まず、紀伊国屋の英米文学ジャンルから和訳本のリストを抽出し、研究対象の選定基準に準ずるかどうかを判断 する。対象外の作品は除外し、対象となる作品につ いては GoodReads から原書の情報を抽出する。

原書の情報は発売日、レビュー数など基本情報（構造的データ）と概要、レビューのテキストデータが あるが、概要のみある作品とレビューのみある作品
があるため、実験対象を概要群とレビュー群、2つ の実験群に分けて、複数のモデルを用いて売れ行き の分類実験を行う。

図 1 提案システムの構成

実験結果より、平均精度のよい実験群の上位モデ ルを選出し、最適ハイパーパラメーターを探して再実験する。最後は売れ行きのよい作品とそうでない 作品の特徴的語彙を抽出し分析する流れである。

## 2.1 分析対象の選定基準とラベリング

分析対象として、1)海外で出版され、その後和訳 された文学作品、2)名作の再版、新訳本ではないこ と、3)日本で発売されてから一年以上経った作品の 三つの基準に全て合致するものを選んだ。名作につ いては、Wikipedia の「もっとも多く翻訳された著作

[11]、2つのリストに記載される作品と定義する。上述した基準に基づき、紀伊国屋書店から 2018 年 12 月前に出版された 900 作品を抽出し、GoodReads か ら基本情報と概要のある原書 756 点、レビューのあ る原書 621 点（和訳本が出版される前のもの）を収集した。

売れ行きの良しあしをラベリングする際に、本の 実売部数を基準とするのが一番理想的だが、そのデ 一夕は出版社しか分からず、一般人として入手する のが極めて困難だと考えられる[12]。そのため本研究は日本最大級の書評サイト BookMater[13]から収集した「登録者数」を「注目度」と定義する（登録者数は発売年数の増加に比例する可能性がため両者間の相関関係を調べたが、 0.17 しかない)。それを基準として、注目度分布の上位 3 割を売れる・下位 3 割を売れない、のようにラベリングした。

## 2.2 書籍関連情報の相関分析

原書の基本情報となるレビュー数、出版されたバ ージョン数、平均評価 (星)、ページ数とレビュー数 も売れ行きと関連する可能性があるため、各実験群 の基本情報と登録者数との相関関係を分析した。そ の結果、売れ行きの基準となる登録者数との相関係数が最も高いのは原書のレビュー数であるが、概要群 0.30 、レビュー群 0.33 しかないため、基本情報の みで和訳後の売れ行きを予測するのは難しいと考え られる。

## 2.3 機械学習の手法

2.1 の基準でラベリングしたサンプルは、概要群 452 点（売れる 225、売れない 227 、平均単語数 72 、標準偏差 137)、レビュー群 332 点（売れる 181、売 れない 151、平均単語数 3894、標準偏差 6323）であ る (レビュー者数が 5 以下の作品は除外)。実験は多種類の学習器と組み合わせる形で行った (図2)。

図 2 実験手法の詳細

具体的には、まずテキストから記号と符号を除去 し、spacy[14]で形態素解析を行う。各種素性の深層格を抽出し、全素性、名詞、動詞、形容詞と副詞の 5 つのパターンに分けて実験する。選択した素性を BoW(Bag of Words)とGloVe[15]で作成された分散表現でベクトル化する。単語の重要度および稀少性の 影響も調べたいため、埋め込む際に tf-idf 法 (または idf 法のみ) で処理したパターンとそうでないパター ンに分けて行う。分散表現の場合は、テキストにあ る全素性の分散表現の平均を取り、1作品あたり 300 次元の特徴量ベクトルを作成する。文書 $d$ の分散表現ベクトル $\boldsymbol{v}(d)$ は

$
\boldsymbol{v}(d)=\frac{1}{n} \sum_{i}^{n} \boldsymbol{w}\left(w_{i}\right)
$

と表される。tf-idfを重みとしてつける場合は、原田 ら[16]の手法に基づき

$
\boldsymbol{u}(d)=\frac{1}{n} \sum_{i}^{n} t f i d f\left(w_{i}\right) \cdot \boldsymbol{w}\left(w_{i}\right)
$

を用いる。実験は、ナイーブベイズ、サポートベクターマシ ン(SVM)、ExtraTrees (ランダム木)、LightGBM、多層パーセプトロン（MLP）の 5 種類の学習器と指定素性のテキストベクトルを図 2 のように組み合わせ て行う。できるだけ早く相性の良い組み合わせを選出するため、すべての学習器はデフォルトのパラメ ータで学習した。

## 3 実験

## 3.1 クロスバリデーションの結果

各学習法のクロスバリデーションの結果を表 1 と 表 2 に示す。ここでリストアップしたのは、それぞ れの素性で実験する際に、精度の一番良いモデルで ある。概要群について、全素性を使い、BoW で化し て Naive Bayes で行った実験は最高 $70.7 \%$ の精度を 得た。他の素性のみ使った場合も $60 \%$ 以上の結果が 得られた。

表 1 概要群の実験結果 $(\%)$

表 2 レビュー群の実験結果 $(\%)$

レビュー群については tfidf と SVM の組み合わせ が一番良く、名詞のみ使った場合 $82.5 \%$ の精度に達 した。他の素性のみ使った場合の精度も概要群より 高く、70\%以上の結果が得られた。結果から原書の 海外レビューから和訳本の売れ行きを予測する可能性があると考えられ、売れ行きを左右する特徴は名詞、形容詞、副詞などに潜んでいることがわかる。

## 3.2 上位モデルのパラメータ最適化

概要群とレビュー群の分類実験で精度の良かった
素性と分類器の組み合わせに対して、パラメータ最適化を行った。具体的な手法を図 3 に示す。

図 3 パラメータ最適化の手法

まずすべてのデータを学習用 $75 \%$ 、テスト用 $25 \%$ の割合で分割し、学習用データのみ使って探索する。次に 7 分割のクロスバリデーションで平均精度の一番良いパラメータの組み合わせを選出する。最後は 選出したパラメータで設定し、探索用のすべてのデ 一タを学習してテストデータで検証する。上記の手法で実験した結果、ペア 10 のモデルのパラメータ (n_estimators $=245$, max_depth $=16$, max_feature $=$ 17)で設定した場合、 $85.4 \% の \mathrm{fl}$ 値が得られました。表 3 と図 4 は実験の混同行列と信頼度曲線である。

表 3 混同行列

図 4 ROC 曲線と PR 曲線（AUC 値 0.94/0.92）

売れる・売れない作品のいずれに対しても、 $85 \%$以上の適合率と再現率が得られた。また、ROC 曲線 から見ても、偽陽性率が低い時でも高い真陽性率が 見られるため、一般的に言うと、信頼性の高いモデ ルと考えられる。

## 3.3 登録者数を予測する実験

以上の実験でにおいて、翻訳小説の売れ行きを最高 $85.4 \%$ で判断することができるが、どれほど売れ る・売れないのかという問題がある。より有益な予測を行うために、多層ニューラルネットワークを用 いて、GoodReads のレビューに基づいて BookMeter の登録者数を直接予測することを試みた。実験に用
いたネットワークは、入力/出力層と 3 層の隠れユニ ットで構成されている。各隠れユニットは全結合層、 バッチ正則化層、dropout 層で接続され、最終的に ReLU 関数で活性化する。各層のニューロン数と係数を図 5 に示す。

図 5 ニューラルネットワークの構成

Optimizer は RMSprop で、損失関数は平均二乗誤差 (MSE)、評価関数は平均絶対誤差 (MAE) を用い た。全 epoch 数は 500、バッチサイズ 40 で学習し、学習率 $\operatorname{lr}(t)$ は式 3 のように、100 エポック以後徐々 に減衰させる。なお、 early stopping は 40 エポックに 設定する。

実験は 3.2 で高い精度に達するidf 付き Glove 分散表現のベクトルを使う。登録者数の分布が偏ってい るため、対数変換の手法で前処理する。具体的な手順は図 6 のように、まず 562 個のデータを訓練デー タとテストデータに分割し、その比率を 7:3 とする。次に訓練データを 7 分割のクロスバリデーションで 学習する。その都度、訓練されたモデルを用いてテ ストデータを予測する。最後は、 7 の予測值の平均値を計算し、最終の予測結果としてモデルを評価 する。

図 6 予測値を出す手順

提案モデルは、GoodReads のレビュー数を用いて、線が原点を通る条件のもとで作成した線形回帰モデ ルと比較し、ニューラルネットワークと線形回帰モ デルの予測値から与えられる RMSE、MAE、相関係数を用いて評価する。結果は表 4 に示す。

提案モデルの予測値と実際の登録者数との相関は 0.50 であり、線形回帰で与えられた値より $31 \%$ 高い 結果が得られた。提案モデルと線形回帰による真値 と予測値の比較を図 7 に示す (登録者数が対数の形 でプロットされている)。
表 4 予測結果の評価

図 7 予測値の真値

図に示されているように、ニューラルネットワー クの方が線形回帰より良い予測値を与えていること が分かる。

## 5 考察

売れる・売れないとラベリングされた作品にどの ような特徵があるかを調べるため、レビューテキス トの単語を出現確率

$
\rho_{j}^{(i)}=\frac{c_{j}^{(i)}}{\sum_{k=0}^{1} c_{k}^{(i)}}
$

の順にソートした。ここでの $c_{j}^{(i)}$ は、単語iがクラス $i$ での出現回数で、 $c_{j}^{(i)} \geq n$ を満たすように計算する。 $n$ は名詞の語彙数を 100 とした時、各素性の語彙数 に比例する。つまり出現頻度に偏りの大きく、しか も一定回数以上出現した単語のみリストアップした。 これらを表 5 に示す。

結果から刺激性の強いサスペンス(killer, detective)系、スリラー(thriller)系及び奇想天外 (fantasy, quirky) のものと、 $\mathrm{SF}$ (dystopia, universe, postapocalyptic)作品 が特に愛読されていることがわかる。

一方、英米文化の色濃い作品(church, slavery)や、詩(poems)、生活感(allergies, students, coffee)の強い作品は人気がないように見える。国や地域、軍隊など 言葉が出たが、元のテキストから確認したところ、欧米の戦争や歴史、移民などを語る物語ということ
がわかるが、それらも日本文化に距離があるため売 れ行きが芳ばしくないと考えられる。

表 5 レビュー群の実験結果 $(\%)$

## 6 おわりに

本研究は、海外書評サイトの英語レビューに基づ き、和訳本の売れ行きを予測するシステムを考案し、売れる・売れないものの二値分類実験を行った。実験は概要群とレビュー群に分け、それぞれ全素性、名詞、動詞、形容詞と副詞で分類した。結果として 概要群では最高 $70 \%$ 、レビュー群では最高 $82 \%$ の精度が得られた。パラメータ調整後にレビュー群では 最高 $85.4 \%$ の精度が得られ、信頼度曲線から見てこ のモデルは信頼できると考えられる。

次に、レビュー群のみを対象とし、登録者数の値 を予測するモデルを提案した。ニューラルネットワ ークを用いた場合、予測値と真値の相関係数は $50 \%$ で、線形回帰より 31 ポイント高い結果が得られた。

さらに、売れる作品と売れない作品のレビューに 頻出する単語を調查し、刺激性の強い作品、非現実・ $\mathrm{SF}$ の要素のある作品が特に日本で売れており、英米文化の色濃い作品やポエムは人気ではないことが明 らかになった。実験対象が日本と海外での売れ行き の差異を調べ、両方でも売れる作品とそうでない作品、そして日本・海外のみ売れる作品はそれぞれ違 う特徴を持っていることが明らかになった。

## 参考文献

1. 出版科学研究所, “日本の出版販売額”, 出版指標年報 2020 年版, 2020.

2. 日本印刷産業連合会, “印刷産業の出荷高 - 事業所数・従業員数の推移”，マーケティング・データ・ ブック 2020, Vol.18, 2020.

3. 山岡洋一，“翻訳の過去・現在・未来”，「翻訳通信」 100 号記念セミナー, 2010.

4. 株式会社トランネット, “出版翻訳とは”, https://www.trannet.co.jp/about-publish-translation.html, 2020.

5. 橋本ら，“Web 上のレビュー記事のイデオロギー 分析とその応用”, 言語処理学会第 16 回年次大会, pp.740-743, 2010.

6. 掛谷ら, “書籍のレビューに基づく先見性のある 人物の特㣦分析”，言語処理学会第 22 回年次大会, pp.1149-1152, 2016.

7. 樋口ら，“国会会議録と書評を用いた政治的見解 が異なる人物像の分析”, 2019 年度日本選挙学会, 2019.

8. 紀伊国屋書店，“英米文学ジャンル”, www.kinokuniya.co.jp/f/dsd-101001015025001--
9. GoodReads, www.goodreads.com.

10. Wikipedia, “もつとも多く翻訳された著作物”， 2020 .

11. Norwegian Book Clubs, "The top 100 books of all time", 2002.

12.上原龍一，“本の実売部数の調べ方”， www.uehararyuichi.com/jitsubai-299

13. BookMeter, www.bookmeter.com

14. spacy, www.spacy.io/

15. Jeffrey Pennington et al, "GloVe: Global Vectors for Word Representation”, Proceedings of EMNLP 2014, pp.1532-1543, 2014.

16. 原田ら，“単語の分散表現および if-idf 法を用 いた自動ようやくシステム” , ARG WI2, No.9, pp49$50,2016$.


# マルチラベル分類による材料推薦モデル

深澤 祐援 原島 純
クックパッド株式会社
\{yusuke-fukasawa, jun-harashima\}@cookpad.com
西川荘介
東京大学大学院情報理工学系研究科
sosuke-nishikawa@nii.ac.jp

## 1 はじめに

クックパッドなどの料理レシピサービスでは, ユーザがレシピを投稿できる．レシピを投稿する画面を図 1 に示す.まずタイトルを記入し，作り方， コツ・ポイント，材料の名前とその分量などを入力 する。これら全ての情報をユーザが入力するのは手間がかかる. 特にサイズの小さいスマートフォン 上で多くの情報を入力する作業はより負荷が高ま る. そうしたユーザに対して，レシピ投稿時に必要 な情報を補完できれば，レシピ投稿のハードルを下 げられる.

本研究ではこうした背景を元に，レシピタイトル を大力としてそのレシピに必要な材料を推薦する夕 スクを定義する。 そしてそのタスクを解くモデルを 提案する. クックパッドに存在するレシピのタイト ルと材料のデータを用いて，提案したモデルの性能 を報告する。また提案手法を用いた材料推薦機能を リリースし，オンライン上でモデルの評価を行った 結果も合わせて示す.

## 2 関連研究

料理に関連したドメインにおける推薦問題では, レシピの推薦が着目されることが多い. Khan らは レシピに使われている材料を入力として，栄養を考慮に入れたアンサンブルベースのトピックモデリン グによるレシピ推薦を提案している [1]. Gao らは 料理の画像から材料を推定し, siamese-network を構築してレシピを推薦している [2].

本研究が対象とする材料推薦の先行研究は，レシ ピの推薦を対象とした研究と比べるとそれほど多く ない. Park らは 2 つの材料を入力として，その組み 合わせがペアリングとして適しているかのスコアを

図1 クックパッドアプリ (Android) からレシピを投稿す る際の入力画面 (2021-01-04 時点)

出力するモデルを提案している．しかしレシピとの 関連性は着目されていない [3].

材料に関連した先行研究としては，Harashima ら による Seq2Seqを用いた材料名の正規化が挙げ られる [4]. また Yamaguchi らは Character-CNN と Bidirectional GRU を組み合わせた系列ラベリングモ デルを構築し，材料情報の中で材料に相当しない部分 (コメントなど)を検出している [5].

ニューラルネットワークが発展している昨今では 出力部分を柔軟に定義できるようになり，情報推薦 をマルチラベル分類とみなしてアプローチする例も 見られる. Zhang らは論文のレビュアーを推薦する

図 2 提案手法の概要

問題をマルチラベル分類問題として定式化している [6]. Chen らは一枚の画像を入力とし, その画像中 に存在する複数の物体のラベルを推薦するタスクを 対象としたモデルを提案している [7].

マルチラベル分類の性能を向上させる方法とし て，事前に学習させたラベル情報を活用するアプ ローチが存在する. Rousu らはラベルの階層構造を 考慮したアプローチを提案している [8]. Huang ら は ImageNet の各予測対象クラスについて事前に埋 め込み表現を学習させ，それを活用して未知クラス が含まれる画像分類問題への転移学習にアプローチ している [9].

## 3 提案手法

本研究では，レシピのタイトルを入力として適切 な材料を推薦するタスクに取り組む．学習データに はレシピタイトルとその材料が紐付いており，この データを元に学習したモデルが $k$ 個の材料予測結果 を出力する．具体例としては，「鮭とほうれん草の 奨油和風パスタ」というレシピタイトルから，その レシピで使われている「鮭」・「ほうれん草」・「にん にく」・「オリーブオイル」という材料を予測するタ スクとなる。

提案手法は図 2 のように表せる. 詳細を以下に 示す.
1.レシピタイトルを形態素に分割し，モデルに入力する

2. 各形態素をベクトル表現に変換する

3. 各形態素のベクトル表現の平均を算出し, レシ ピタイトルのベクトル表現 (300 次元) とする

4. レシピタイトルのベクトル表現を全結合層 (512 $\rightarrow 256 \rightarrow 300$ ) に入力する

5. 出力する材料クラスごとに事前に割り当てたべ クトル表現行列との内積を取る

6. 内積を取った値に sigmoid 関数を適用する. 得 た値を各材料クラスに対する確信度とする

7. 確信度が高い上位 $k$ 個を推薦結果として出力 する

提案手法では Huang ら [9] と同じく, 事前に学習 させた材料クラスごとの埋め込み表現を用いる. マ ルチラベル分類問題では出現する頻度の少ないクラ スを予測することが多い. 今回対象とする材料推薦問題でも出現頻度には大きな差がある. 提案手法で はクラスの埋め込み表現を明示的に与えることで， few-shot なクラスであっても適切に推薦できるモデ ルとなっている.

## 4 実験

提案したモデルの有効性を検証するためにベース ラインとの比較実験を行った.

## 4.1 実験設定

本実験ではクックパッドに投稿されたレシピデー タを用いる。レシピデータにはレシピタイトル，詳細文，そのレシピに使われた材料と分量一覧，レ シピの手順がユーザによって入力され紐付いてい る. 本研究ではレシピタイトルを入力とし，その レシピで用いられた材料名を予測対象として用い る.レシピタイトルは $\mathrm{MeCab}$ (IPA 辞書) [10] を用 いて形態素に分割した. 材料名は表記摇れしている ものを名寄せするなどの前処理を実施し，約 1100 クラスとなった．使用するデータは，材料が紐付 いているレシピを抽出した上でランダムに分割 し，学習データ:検証データ:テストデータ $=930,000$件:230,000 件:10,000 件とした.

## 4.2 比較手法

k-NN 材料クラスの予測を行うアーキテク チャとして近傍探索に基づくアプローチ (kNearestNeighbor: k-NN) との比較を行う. k-NNでは,
表 1 材料予測結果の例

 &  &  & 觡，酒，塩，コ \\

タイトルのベクトル表現を獲得するところまでは提案手法と同じである. ベクトル表現を獲得した後,近い値を持つタイトルを持つレシピを $\mathrm{k}$ 個取得す る. 取得した $k$ 個のレシピに紐づく材料を集計し,得られた出現数に基づいて上位 5 個の材料を推薦結果として表出する。

提案手法（IE なし） また提案手法について，材料クラスごとのベクトル表現との内積を取らない提案手法 (IngredientEmbedding: IE なし) も比較対象と する.

提案手法を含むこれら手法で用いる分散表現モデ ルは，予めクックパッドの全レシピデータにおける タイトル，手順テキストを対象に学習させた fasttext (300 次元のベクトルを学習するように設定しその他 パラメータはデフォルトで設定) [11]を用いる。な お, 提案手法 (IEなし), 提案手法は Adam[12] で最適化し，検証データに対する TopKCategoricalAccuracy が最良となるエポックで EarlyStop させたものを評価対象とする。

## 4.3 評価指標

各手法を評価するため、順序を考慮せず集合を評価する指標と、順序を考慮する指標を使用した. 前者には Precision と Recall、F1、HITS (予測したクラ ス $k$ 個のうち，いくつが正解したかの絶対数)を使用した。また、後者には MAP と MRR、NDCG を使用した. また，モデルの予測する材料クラスの偏り を見る指標として，全クラス数のうち予測したクラ スの重複を排除した数の割合を Coverage と定義し， その值についても確認した。

## 4.4 実験結果

表 2 に実験結果を示す。推薦されるアイテムの 幅広さを示す Coverage が最も高かったのは k-NN であったが，提案手法がそれ以外の全ての指標で 最も高い精度を記録した。提案手法についても Converage は 0.6 程度という値から，偏りのある推薦表 2 各評価指標における性能比較

 & 提案手法 \\

Recall@5 & 0.38 & 0.48 & $\mathbf{0 . 4 9}$ \\
F1@5 & 0.37 & 0.47 & $\mathbf{0 . 4 8}$ \\
NDCG@5 & 0.43 & 0.54 & $\mathbf{0 . 5 5}$ \\
MAP@5 & 0.30 & 0.41 & $\mathbf{0 . 4 2}$ \\
MRR@5 & 0.71 & 0.83 & $\mathbf{0 . 8 4}$ \\
HITS@5 & 2.01 & 2.56 & $\mathbf{2 . 6 1}$ \\
Coverage & $\mathbf{0 . 7 8}$ & 0.50 & 0.64 \\

結果でないことが示された.

表 1 に各モデルの出力結果を示す. 1 例目につい て，k-NN は「真鯛」と「甘塩鮭」が同時に出てい る. モデルの性質上，魚系でベクトル表現が近いレ シピタイトルを取得した結果，「真鯛」のレシピと 「甘塩鮭」のレシピとが近かったことによるものだ と考えられる。

2 例目について, $\mathrm{k}-\mathrm{NN}$ ・提案手法 (IE なし) はいず れも「ディル」が当てられていない. 「ディル詰 め」というレシピがそもそもあまり多いものでは ないため，集計べースのモデルの場合「いわし」や 「オーブン焼き」などのキーワードに出現する材料 に引きずられた傾向が見られる。提案手法 (IE なし) については，「しお・こしょう」などといった出現数 の多い調味料に引きずられるきらいがあった.これ らに対して提案手法は，モデル内に組み込まれた材料クラスのベクトル表現によって，提案手法 (IE な し) と比較すると改善傾向が伺える。

3 例目について，前述したようにマルチラベル分類モデルは出現数の多いクラスに引きずられてしま う.この例ではその傾向が顕著に出ており，上位 5 つの出力結果が調味料ばかりに偏り主材料を出力で きていない。これに対して，k-NN は適切に主材料 を当てることができている.

## 4.5 オンライン評価と考察

最後に，ここまでオフラインテストで検証したモ デルについて，オンライン上で実際にユーザへ推薦
表 3 オンラインでの材料推薦結果

図 3 レシピ投稿画面でユーザに表出した材料推薦の様子

表 4 豆腐を例とした同一系統材料のレシピ出現頻度

結果を表出する検証を行った. 図 3 がユーザへ推薦結果を表出した画面である。 ユーザがレシピタイト ルを入力した後, 材料入力の位置までスクロールす ると推薦画面が表出する仕様とした. 2020 年 11 月初旬にデプロイしてから 2020 年 12 月末までの期間 を対象として，提案手法によって推薦された材料を ユーザが一度でも選択した割合の平均を計測したと ころ，14.97\%となった.

表 3 にユーザに推薦された材料とユーザによっ て選択された材料の例を示す。上から 2 つの例「超簡単！超時短！生チョコくるみタルト」や「ケンタ 味！カリカリのフライドポテト！」のように推薦材料の殆どが選択され，うまく機能しているケース も見られた. 一方で下から 2 つの例「驚きの美味し さ！塩麹とカレーの鶏唐揚げ」や「白身魚の和風レ モンマスタードソース」というレシピタイトルにつ いては，主材料である「鶏肉」や「白身魚」を推薦で きていないからか，推薦されたいずれの材料も選択 されなかった. このことから，調味料などの周辺材料を正しく推薦することよりも主材料を推薦するこ とがユーザにとって重要ではないかと考えられる。

また，改善点として材料ラベル間の共起関係に着目することが挙げられる。具体例として，同一種類 の材料が同時に出現する可能性は低いことがわかっ ている. 表 4 では「もめん豆腐」と「絹ごし豆腐」，及び「高野豆腐」が同じレシピに出現する分布を示 している.この表を見るとこれら材料が同時に出現する可能性が低いことがわかる. Chen らの提案手法 [7] では画像中にテニスラケットと人は同時に 写っていることが多いといった，物体ラベルに依存関係があることを示している。その関係性をグラフ 畳み込みニューラルネットワークで学習させ，その 重みを分類時に適用させるモデルを提案している.本タスクにおいても同様に，ラベル間の関係性を考慮するアプローチは有効だと考えられる。

## 5 結論

本研究ではレシピタイトルを入力として適切な材料を予測するタスクに取り組んだ。またそれを解く モデルとして予め学習した材料クラスのベクトル表現を組み込んだマルチラベル分類モデルを提案し た. $\mathrm{k}$ 近傍探索モデルと比較した結果，提案手法の ほうがより正確に材料推薦ができること，また全体的に高い精度で材料推薦が可能であることが示され た. 今後の展望としては，材料ラベル間の共起関係 を考慮すること，調味料などの周辺材料の場合と主材料などの場合とで損失に対する重み付けを調整す るといったモデル改善を行っていくことが挙げられ る. さらにオンライン上での $\mathrm{AB}$ テストを実施する ことで実用観点におけるモデルの比較を行うことが 課題である.

## 参考文献

[1]Mansura A. Khan, Ellen Rushe, Barry Smyth, and David Coyle. Personalized, health-aware recipe recommendation: An ensemble topic modeling based approach. In Proceedings of the 4th International Workshop on Health Recommender Systems co-located with the 13th ACM Conference on Recommender Systems 2019, 2019.

[2]Xiaooyan Gao, Fuli Feng, Xiangnan He, Heyan Huang, Xinyu Guan, Chong Feng, Zhaoyan Ming, and Tat-Seng Chua. Hierarchical attention network for visually-aware food recommendation. IEEE Transactions on Multimedia, 2019.

[3]Donghyeon Park, Keonwoo Kim, Yonggyu Park, Jungwoon Shin, and Jaewoo Kang. Kitchenette: Predicting and ranking food ingredient pairings using siamese neural network. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, 2019.

[4]Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management, 2018.

[5]Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient detection in usergenerated recipes using the sequence tagging approach. In Proceedings of the 6th Workshop on Noisy User-generated Text, 2020.

[6]Dong Zhang, Shu Zhao, Zhen Duan, Jie Chen, Yanping Zhang, and Jie Tang. A multi-label classification method using a hierarchical and transparent representation for paperreviewer recommendation. ACM Transactions on Information Systems, 2020.

[7]Z. Chen, X. Wei, P. Wang, and Y. Guo. Multi-label image recognition with graph convolutional networks. In Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[8]Juho Rousu, Craig Saunders, Sandor Szedmak, and John Shawe-Taylor. Kernel-based learning of hierarchical multilabel classification models. Journal of Machine Learning Research, 2006.

[9]He Huang, Yuan-Wei Chen, W. Tang, Wenhao Zheng, Qingguo Chen, Yao Hu, and Philip S. Yu. Multi-label zero-shot classification by learning to transfer from external knowledge. ArXiv, 2020.

[10]工藤拓, 山本薫, 松本裕治. Conditional random fields を 用いた日本語形態素解析. 情報処理学会研究報告. NL,自然言語処理研究会報告, 2004.

[11]Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 2017.

[12]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, 2015.


# 日本人名にみられる音象徵:
## 子音タイプと母音タイプに着目した音声提示による実験

\author{
市野満梨奈 1 木山幸子 ${ }^{2}$ \\ 1 東北大学文学部言語学研究室, 2 東北大学大学院文学研究科言語学研究室 \\ marina.ichino.q3@dc.tohoku.ac.jp; skiyama@tohoku.ac.jp
}

## 1 はじめに

人の名前を聞いた時にその人物のイメージが喚起 されることがある。これには、使用されている漢字 の意味や、同名の人物・事物・事象の印象とともに、子音や母音の音象徵も影響していると考えられる。先行研究から、人物名において阻害音（日本語で は、「か・が、さ・ざ、た・だ、は・ば・ぱ」行）や 前舌母音（日本語では「い、え」）は、角ばった・男性的な印象を与え、男性名で好まれる傾向があり、共鳴音（同上、「な、ま、や、ら、わ」行）や後舌母音（同上、「あ、お、う」）は、丸みのある・やわら かい女性的な印象を与え、女性名で好まれる傾向が ある (Jakobson, 1978; Köhler, 1929/1947; Perfors, 2004; Shinohara \& Kawahara, 2013; Slater \& Feinman, 1985;上村, 1965）と考えられている。また、阻害音と共鳴音の違いが、人のパーソナリティについても特定の 異なる印象を喚起するという（Shinohara \& Kawahara， 2013）。しかし、日本語で実在する名前における音象徵については、まだ明らかにされていない。

本研究では、意味微分 (semantic differential, SD)法による印象評定実験を行い、実在する男女日本名 において、子音（阻害音・共鳴音）と母音（前舌母音・後舌母音）がその名前を持つ人物についてどの ような印象を形成するかを明らかにしたい。先行研究に基づき、男女名ともに、共鳴音や後舌母音の名前は「親しみやすい」「気長な」、阻害音や前舌母音 の名前は「責任感の強い」「積極的な」などの印象が 強くなると予測する。また、男性名では阻害音や前舌母音の名前が、女性名では共鳴音や後舌母音の名前がより肯定的に評価されると予測する。

## 2 方法

## 2.1 実験参加者

日本語を母語とする満 20 歳〜39 歳の男女 102 名
（うち男性 40 名、平均年齢 32.0 歳、標淮偏差 5.2) が参加した。CrowdWorks を通じて Web 上で実験を 実施した。

## 2.2 実験材料

実験は、名前を発音する音声刺激と顔描画刺激を 組み合わせて提示し、形容詞対によって印象評定を させた。PsyToolkit version 3.1.1 (Stoet, 2010, 2017) を 使用した。

名前は、 3 モーラの日本人名を計 160 (男女各 80 )用意した。 1 モーラ目を、(1)阻害音 $\times$ 前舌母音（き みお、きみこ等)、(2)阻害音 $\times$ 後舌母音（かける、か えで等)、(3)共鳴音 $\times$ 前舌母音 (みきお、みおり等)、

(4)共鳴音 $\times$ 後舌母音（なおき、なおみ等）という、子音 $\times$ 母音の組み合わせに統制した。2・3 モーラ目 については統制せず、できるだけ典型的な日本人の 名前になるように配慮して作成した。

名前を読み上げた音声刺激には、合成音声ソフト CeVIO Creative Studio【通常版】を使用して作成した。男声 1 種、女声 1 種を使用し、「(名前) です」と発音させた。

顔描画は、男女各 20 種類用意した。視覚刺激によ る印象の差が出ないよう、同じ顔で髪型と服の色の み変化をつけて本職のイラストレーターが描いた。

印象評価項目としては、林（1978）から対人認知 の主要因子である「個人的親しみやすさ」「社会的望 ましさ」「活動性」の 6 因子に対応し、各因子に高く 寄与する形容詞対計 13 個を使用した（個人的親し みやすさ：「感じの悪い-感じのよい」「親しみにくい 一親しみやすい」「短気な-気長な」「なまいきな-なま いきでない」、社会的望ましさ :「軽率な-慎重な」「無分別な-分別のある」「軽薄な-重厚な」「無責任な-責任感の強い」「無気力な-意欲的な」「いじわるな-親切 な」、活動性：「消極的な-積極的な」「非社交的な-社交的な」、「恥ずかしがりの-恥しらずの」)。

## 2.3 手続き

参加者は、顔描画を見ながら名前の音声を聞き、各人物の印象について 13 個の形容詞対の 6 段階ス ケールによって評価した。参加者 1 人につき、 40 の 人物の印象を評価した。必ず音声を聞いて回答する ように、音声は繰り返し聞いてよいと教示した。

## 2.4 分析

## 2.4.1 線形混合効果モデル

線形混合効果モデル（liner-mixed effect model）に よって、各印象評価項目（形容詞対）における男女名の印象評価点に、1 モーラ目の子音タイプ・母音 タイプという要因がどのように影響しているかを分析した。従属変数は、形容詞対ごとの評価点 ( $\mathrm{z}$ 值) とし、独立変数（固定効果要因）は、名前の性別（男性名/女性名)、子音タイプ (阻害音/共鳴音)、母音タ イプ（前舌母音/後舌母音）の3つを設定した。ラン ダム効果要因として、参加者と名前、顔描画を設定 した。 R version 4.0.3 (R Core Team, 2020) 上でパッケ ージ lme (Bates, Maechler, Bolker, \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff, \& Christensen, 2017) を使用した。

## 2.4.2 因子分析 - 分散分析

本研究における因子の構成を確認するために、印象評価項目ごとの名前の評価点をもとに因子分析を 行った（信頼性係数は、Cronbach's alpha $=0.81,95 \%$信頼区間 $=0.802-0.818)$ 。最小平均偏相関を基準と して因子数を 3 に指定し、最尤法でジオミン斜交回転により因子を抽出した。

その後、因子分析で得られた各因子が、子音や母音という音韻特性に応じてどのように影響するかを 調べるために、分散分析を行った。従属変数は、各形容詞対の評価点、独立変数は、因子（個人的親し みやすさ/活動性/社会的望ましさ)、子音タイプ、母音タイプの 3 つを設定した。因子分析には、 $\mathrm{R}$ version 4.0.3 上でパッケージ psych (Revelle, 2020) と GPArotation (Bernaards \& Jennrich, 2005) を使用した。分散分析にはパッケージ plyr (Wickham, 2011) と DescTools (Signorell et mult. al, 2020) を使用した。

## 2.4.3 階層的クラスタ分析

男女の名前について、因子に基づく印象の差異に
よって分類するため、各因子の平均印象評価点 $(\mathrm{z}$ 值) を独立変数として階層的クラスタ分析を行った。ク ラスタ併合の方法はウォード法、名前間の距離は平万ユークリッド法を用いた。 R version 4.0.3 上でパ ッケージ MASS (Venables \& Ripley, 2002) を使用し た。

## 3 結果

## 3.1 線形混合効果モデル

子音タイプの主効果が見られた項目は、「消極的な -積極的な」 $(\beta=-0.161, p=0.030)$ と、「非社交的な -社交的な」 $(\beta=-0.185, p=0.007)$ であった。阻害音 の名前が共鳴音の名前よりも、「積極的」(図 1) で、「社交的な」（図 2）印象を与えることが分かった。子音タイプと母音タイプ両方の主効果が見られた 項目は、「無責任な-責任感の強い」（子音タイプ $\beta=$ $-0.121, p=0.043$, 母音タイプ $\beta=-0.130, p=0.044)$ 、「恥ずかしがりの-恥しらずの」（子音タイプ $\beta=$ $-0.242, p=0.002$, 母音タイプ $\beta=-0.166, p=0.011$ ) であった。共鳴音より阻害音の名前が、前舌母音よ り後舌母音の名前のほうが、「責任感の強い」(図 3)、「恥しらずの」（図 4）印象であった。

名前の性別と母音タイプの 2 次の互作用が見られ た項目は、「無気力な-意欲的な」 $(\beta=0.189, p=0.035)$ であった。女性名において後舌母音の名前が前舌母音の名前よりも「意欲的な」印象を与えた（図 5）。

## 3.2 因子分析 $\cdot$ 分散分析

因子分析では、先行研究で示されている 3 つの因子：「個人的親しみやすさ」(「いじわるな-親切な」、「無分別な-分別のある」、「なまいきな-なまいきで ない」、「無責任な-責任感の強い」、「親しみにくい親しみやすい」)、「活動性」（「消極的な-積極的な」、「無気力な-意欲的な」、「非社交的な-社交的な」、「恥 ずかしがりの一恥しらずの」)、「社会的望ましさ」(「軽率な一慎重な」、「軽薄な一重厚な」、「短気な一気長な」、

「感じの悪い-感じのよい」）の良好な解が得られた $(\mathrm{TLI}=0.944, \mathrm{RMSEA}=0.061,95 \%$ 信頼区間 $=0.057-$ $0.065)$ 。

形容詞対評価点についての分散分析の結果 (図 6)、子音タイプの主効果 $\left(F(1,10)=24.840, p=0.001, \eta_{\mathrm{p}}{ }^{2}\right.$ $=0.713)$ 、母音タイプの主効果 $(F(1,10)=8.516$,
$\left.p=0.015, \eta_{\mathrm{p}}{ }^{2}=0.460\right)$ 、因子と子音タイプの交互作用

$\left(F(2,10)=10.160, p=0.004, \eta_{\mathrm{p}}{ }^{2}=0.670\right)$ 、因子と母音タイプの交互作用 $\left(F(2,10)=8.080, p=0.008, \eta_{\mathrm{p}}{ }^{2}=\right.$ 0.618）が有意であった。共鳴音よりも阻害音が第 1 モーラにある名前の万が、また前舌母音よりも後舌母音が第 1 モーラにある名前の方が、全体として高 く評価された。多重比較の結果、有意差が見られた のは共鳴音の「活動性」と阻害音の「個人的親しみ やすさ」間のみだった $(p=0.021)$ 。共鳴音の「個人的親しみやすさ」と共鳴音の「活動性」間について は有意傾向 $(p=0.095)$ があり、共鳴音の名前は「個人的親しみやすさ」が高く、「活動性」が低い印象を 与える傾向があると言える。

## 3.3 階層的クラスタ分析

男性名は 4 つのクラスタ（親しみやすさ低程度群 /親しみやすさ高程度群/活動性・社会的望ましさ低程度群/活動性・社会的望ましさ高程度群）に分類さ れた (判別分析の交差妥当化による正判別率： $97.5 \%$ )。

女性名は 3 つのクラスタ（親しみやすさ・社会的望ましさ高程度群/親しみやすさ・社会的望ましさ低程度群/活動性高程度群) に分類された (同: 92.5\%)。

男性名について、「活動性・社会的望ましさ高程度群」は、1 モーラ目に $[\mathrm{sh}]$ や $[\mathrm{t}]$ を、 3 モーラ目に 共鳴音、特に $[\mathrm{r}]$ を使用する名前（しげる、たける、 とおる等）の割合が高いという特徴がみられた。「親 しみやすさ高程度群」は、2 モーラ目に $[\mathrm{t}]$ を（もと き、もとし、ゆたか)、3 モーラ目に $[\mathrm{g}]$ を(けんご、 しんご、せいご）使用する名前の割合が高いという 特徴がみられた。

女性名については、阻害音を多く含む名前が全体的に高く評価された。「親しみやすさ・社会的望まし さ高程度群」は、1 モーラ目に共鳴音と前舌母音 [i] を、2・3 モーラ目に阻害音を使用する名前の割合が 高く(みかこ、みさこ等)、特に 2 モーラ目に $[\mathrm{z}]$ を 使用する割合が高い（みずほ等）という特徴がみら れた。「活動性高程度群」は、1 モーラ目に阻害音、特に $[\mathrm{ch}]$ を(ちあき、ちひろ等)、2 モーラ目に $[\mathrm{ts}]$ を（せつこ、なつみ等）、3 モーラ目に $[\mathrm{r}]$ (ひかり、 みおり等）を使用する名前の割合が高いという特徴 がみられた。

図 1 性別・子音タイプ・母音タイプごとの 「消極的な一積極的な」への平均評価点注 : 誤差バーは標準誤差である。

図 2 性別・子音タイプ・母音タイプごとの 「非社交的な-社交的な」への平均評価点注 : 誤差バーは標準誤差である。

図 3 性別・子音タイプ・母音タイプごとの 「無責任な-責任感の強い」への平均評価点注 : 誤差バーは標準誤差である。

図 4 性別・子音タイプ・母音タイプごとの「恥 ずかしがりの-恥しらずの」への平均評価点注 : 誤差バーは標準誤差である。

図 5 性別・子音タイプ・母音タイプごとの「無気力な-意欲的な」への平均評価点注 : 誤差バーは標準誤差である。

図 6 因子と子音タイプ・母音タイプごとの平均評価点

注 : 誤差バーは標準誤差である。

## 4 考察

本研究は、実在する日本人の男女名において子音
と母音のタイプがその名前を持つ人物についてどの ような印象を形成するかを検討した。男性名におい ては、阻害音や前舌母音の名前が、女性名において は共鳴音や後舌母音の名前がより肯定的に評価され るのではないかと予測したが、そうした予測とは異 なる傾向が認められた。

分析の結果、男女名ともに、1 モーラ目が阻害音 の名前は共鳴音の名前よりも、また 1 モーラ目が後舌母音の名前は前舌母音の名前よりも「活動性」が 高い印象を与えることが分かった。また、1 モーラ 目が共鳴音の名前は「個人的親しみやすさ」が高く、

「活動性」が低い印象を与える傾向もみられた。

子音については予測を支持する結果といえる。阻害音は発音時に口腔内気圧の上昇があり、圧力的変化が非周期的で角ばった波形となり、共鳴音は発音時に口腔内気圧の上昇が少なく、圧力的変化が周期的で丸みのある波形となる (川原, 2017)。この音響的な特徴や、阻害音調音時の強い狭めを作る動作、後舌母音調音時の口腔を広げる（篠原・川原, 2013）動作が、阻害音と後舌母音の「活動性」が高い印象、共鳴音の「個人的親しみやすさ」が高く「活動性」 が低い印象に影響したと考えられる。

1 モーラ目の子音タイプ・母音タイプの違いが「個人的親しみやすさ」「活動性」「社会的望ましさ」に 関する印象の変化に影響していることも明らかとな った。また、各クラスタは母音よりも子音の違いで 弁別されていたため、日本人名において前述の印象 の違いを生み出すのは、母音よりも子音の影響が大 きいと言えるのではないだろうか。子音は母音より も先に現れるため、印象により大きな影響力を持つ と考えられる。1 モーラ目の阻害音 [sh] や [ch]、3 モーラ目の共鳴音 $[\mathrm{r}]$ が「活動性」を高め、 $2 \cdot 3$ モ 一ラ目の濁音が「個人的親しみやすさ」を高めるな ど、阻害音や共鳴音をどのモーラで使用するのかに よって印象が変化し、阻害音や共鳴音という分類の 中でも、特定の音が特定の印象を高める可能性もあ ると考えられる。

先行研究では、女性名はやわらかい印象を与える 共鳴音が好まれるとされていたが、本研究では、阻害音を多く含む名前のほうが共鳴音を多く含む名前 よりも、「個人的親しみやすさ」「活動性」「社会的望 ましさ」の観点から高く評価された。この背景には、社会で活躍する女性が多くなってきている現在にお いて、以前よりも阻害音の持つ動的な印象が好まれ るという時代の変化が関係しているかもしれない。

## 引用文献

林文俊 (1978) 「対人認知構造の基本次元について の一考察」『名古屋大學教育學部紀要（教育心理学科)』 25: 233-247.

Jakobson, Roman (1978) Six lectures on sound and meaning. Cambridge: MIT Press.

川原繁人 (2017) 『「あ」は「い」より大きい!?一音象徵で学ぶ音声学入門』東京: ひつじ書房.

Köhler, Wolfgang (1929/1947) Gestalt psychology. New York: Liveright.

Perfors, Amy (2004) What's in a Name? The effect of sound symbolism on perception of facial attractiveness. Proceedings of the Annual Meeting of the Cognitive Science Society 2004 26(26): 1617.

篠原和子・川原繁人 (2013) 「第 2 章 音象徴の言語普遍性「大きさ」のイメージをもとに」『オノ マトペ研究の射程 = Sound Symbolism and Mimetics：近づく音と意味』 東京：ひつじ書房.

Shinohara, Kazuko \& Shigeto Kawahara (2013) The sound symbolic nature of Japanese maid names. The proceedings of the Japan Cognitive Linguistics Association 13: 183-193.

Slater, Anne Saxon \& Saul Feinman (1985) Gender and the phonology of North American first names. Sex Roles 13: 429-440.

上村幸雄 (1965) 「音声の表象性について」『言語生活』171(12): $66-70$. 東京 : 筑摩書房.

「良運命名 五十音順から見る おなまえ一覧」（引用日 2021 年 1 月 10 日） https://www.nihonikuji.com/search/aiueo.

## 謝辞

本研究は、科学研究費基盤研究 (A) 19H00532 の 助成を受けて実施した。実験実施や結果の解釈の際 には、東北学院大学の那須川訓也先生のご助言をい ただいた。記して感謝する。


# Simulating acceptability judgments using ARDJ data

Kow Kuroda ${ }^{1}$, Hikaru Yokono ${ }^{2}$, Keiga Abe ${ }^{3}$, Tomoyuki Tsuchiya ${ }^{4}$, Yoshihiko Asao ${ }^{5}$,
Yuichiro Kobayashi ${ }^{6}$, Toshiyuki Kanamaru ${ }^{7}$, and Takumi Tagawa ${ }^{8}$
${ }^{1}$ Kyorin University, ${ }^{2}$ Fujitsu Laboratories Ltd., ${ }^{3}$ Gifu Shotoku College, ${ }^{4}$ Kyushu University,
${ }^{5}$ National Institute of Communications and Information Technology ${ }^{6}$ Nihon University, ${ }^{7}$ Kyoto University, ${ }^{8}$ Tsukuba University

## 1 Introduction

Acceptability judgment plays a crucial role in linguistic theorizing $[5,15,17,19]$. But it is far from fully understood how "ordinary" people react to sentences with varied degrees of deviance or anomaly, simply because there is no such data provided with high reliability. In our understanding, current theoretical linguistics is a strange mixture of best and worst practices [4]. In its best practice, it provides deep insights into human mind/brain. In its worst practice, research directions are under the strong influence of a few authorities, and discussions are plagued by confirmation biases $[1,2,9]$. This is why most "evidence" in current theoretical linguistics often falls close to anecdotes. This situation is reminiscent of the medical practices before "evidence-based medicine," aka EBM, was gaining ground. The essence of EBM is a fairly straightforward idea that all pieces of "evidence" need to be sorted out and hierarchically organized according to their effectiveness $[6,8]$.

As medicine needed EBM to alleviate the harmful effects of authorities, linguistics seems to follow a similar path: it would need "evidence-based linguistics," or EBL, to be renovated. In our view, Acceptability Rating Data of Japanese (ARDJ) is a potential contribution to a virtual movement for EBL in that it explores true nature of acceptability judgments using a sharable, large-scale, randomized survey, based on as little theoretically biased stimuli as possible. Its goal is to provide "proper evidence" in linguistics, though it is only the beginning, we admit.

ARDJ has completed two experiments. The first one, called "survey 1," was carried out in 2017. It was intended to be a pilot study with only a limited variety of responders (roughly 200 college students only) on 200 sentences for stimuli. Kuroda et al. [10] reported on this survey. The second experiment, called "Survey 2," was carried out in 2018. This was the main study, with the stimulus set expansed to 300 with some overlap with Survey 1. Samples of the used stimuli are presented in Table 1.

Survey 2 had two phases, Phases 1 and 2, and collected responses from 1,880 participants in total. ${ }^{1)}$. Phase 1 was a small scale paper-based survey, to which 201 partici-
^{1)}$ The response data we used for analysis is freely available at https : // kow-k.github.io/Acceptability-Rating-Data-of-Japanese/, but you need to register to use it.
}

pants (basically college or university students) contributed responses. This was comparable to the pilot study done in 2017. Phase 2 was a large scale web survey to which 1,679 participants contributed responses. They were significantly more varied in attributes and we would safely state responses obtained were randomized enough.

Kuroda et al. [11] analyzed the data at Phase 2 of Survey 2 and reported the results of Hierarchical Clustering and PCA applied to it, excluding data at Phase 1. See Appendix A for relevant information. The current paper serves as a supplement to the previous report in that it tries to directly simulate human's acceptability judgments rather than simply clustering obtained data. To this end, we conduct two analyses. In Analysis 1, we use Semi-supervised Local Fisher Discriminant Analysis (SELFA) [20] to see how clusters obtained are likely to be related to acceptability judgments. This analysis is exploratory in that it does not simulate acceptability judgments directly. In Analysis 2, we try a direct simulation of human categorical judgments using logistic regression [14] to yield a promising result. But it comes with a surprising suggestion that acceptability judgement is better characterized as a social decision rather than a personal/private one, against the popular view.

## 2 Partitioning responses by SELFA

In Kuroda et al. [11], 300 stimuli were analyzed using Hierarchical Clustering and PCA. See Figure 6 for relevant information. Results like this are undoubtedly useful, but you would argue they are not enough, because they do not tell us what acceptability judgment is. Explicit modeling of it is missing. To this end, we need to implement a function that maps, or "interprets," our data at hand to acceptability judgments, where $P=\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$ are explanatory variables, and labels $\mathbf{A}$ (cceptables) and UNA(cceptables) (plus undecidables $(\mathbf{X})$ if necessary) are objective variables.

## 2.1 Metrics to evaluate

Our data did not have "acceptable" and "unacceptable" labels as such, though explicit modeling requires them. Thus, we need to generate them, but no obvious way is known.

Table 1: Sample stimuli in gr0

We were forced to try out whatever metrics we could think of, ending up with the ones in (1).

(1) a. Condition 0 : If $p[0,2)>0.5$ then A; else UNA.

b. Condition 1: If $p[0,2)>\{0.6,0.72,0.85, \ldots\}$ then A; else UNA.

c. Condition 2: If $p[0,2)>p[1,3)$ AND $p[1,3)>$ $p[2, \infty)$ then A; else UNA.

d. Condition 3: If $p[0,2)>0.5$ then $\mathbf{A}$; if $p[2, \infty)>$ 0.5 then UNA; else $\mathbf{X}$.

e. Condition 4: If $p[0,2)>0.5$ then $\mathbf{A}$; if $p[1,3)>$ 0.5 then UNA; else $\mathbf{X}$.

f. Condition 5: If $\operatorname{MAX}(p[0,2), p[1,3), p[2, \infty))=$ $p[0,2)$ then $\mathbf{A} ;$ if $\operatorname{MAX}(p[0,2), p[1,3), p[2, \infty))$ $=p[2, \infty)$ then UNA; else $\mathbf{X}$.

g. Condition 6: If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3)$, $p[3, \infty))=p[0,1)$ then $\mathbf{A}$; if $\operatorname{MAX}(p[0,1)$, $p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; else $\mathbf{X}$.

h. Condition $6 r$ : If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3)$, $p[3, \infty))=p[0,1)$ then $\mathbf{A}$; if $\operatorname{MAX}(p[0,1)$, $p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; if $p[1,2)>p[2,3)$ then $\mathbf{X}$; else $\mathbf{Y}$.

where $p[i, j)$ means density over ranges from $i$ next to $j$.

(1)a,b,d,e are simple dichotomies with particular ad-hoc thresholds (e.g., 0.5, 0.6, .. ). In contrast, (1)c, $\mathrm{d}-\mathrm{h}$ are not simple dichotomies, involving $\mathbf{X}$ (and $\mathbf{Y}$ ) for buffering, and more importantly they are distribution-aware ones in that $\operatorname{MAX}(. .$.$) is used for decision.$

The metrics in (1) are evaluated using Semi-supervised Local Fisher Discriminant Analysis" (SELFA) [20] ${ }^{2)}$ to evaluate the models in (1). ${ }^{3)}$ We selected this for two reasons: 1) it is resistant to outliers and avoids over-fitting, and 2) it allowed us to seek the best mix of supervised and unsupervised classifications.

To generate simulated "(in)correct judgments," we assigned A, X, and UNA to Clusters 1, 2 and 3 in Figure 6.
^{2)}$ An $R$ package ldfa [21] was chosen for this purpose.

 }^{3}$ SELFA, like LFDA, has a parameter $r$ to specify the dimensionality of reduced space. $r=3$ gave us the most reasonable results.

Figure 1: SELFAs (Conditions 0 and 1) of 300 stimuli

Figure 2: SELFA (Conditions 2 and 3) of 300 stimuli

Figure 3: SELFA (Conditions 4 and 5) of 300 stimuli

Figure 4: SELFAs (Conditions 6 and 6r) of 300 stimuli

Table 2: correct counts and match rates for Conditions

Figure 1 shows the SELFAs for Conditions 0 and versions of Condition 1. Figure 2 shows the results for Conditions 2 and 3. Figure 3 shows the results for Conditions 4 and 5. Figure 4 shows the results for Conditions 6 and $6 \mathrm{r}$.

Note that the boundary between Clusters 1 and 2 in Figure 6 in Appendix A does not fit the A/X/UNAboundaries in Figures 1 and 2, suggesting that simple threshold-based partitioning is inadequate. The results for Conditions 2 and 3 look better but not drastically. The results for Conditions 4 and 5 in Figure 3 look good, and so do the results for Conditions 6 and 6r in Figure 4. The problem here is that it is hard to select the best result if there is one.

## 2.2 Simple evaluations of SELFA results

Results in Figures 1-4 are informative, but they cannot be quantitatively assessed. To make our assessment quantitative, we tentatively measured the "correctness" of each metric in (1) by measuring the match rates between simulated "judgments" and cluster assignment interpretations $1 \rightarrow \mathbf{A}$, $2 \rightarrow \mathbf{X}$, and $3 \rightarrow$ UNA.

Table 2 shows its results. It says that in terms of simple match rate, Condition $\mathrm{C} 4 r 3$ performed the best, and Condition $\mathrm{C} 4 r 2$ the next best. Conditions $4 r N$ are variants of Condition 4 in (1e) with threshold values other than 0.5 determined by manual tweaking. Specifically,

a. Condition $4 r 2$ : If $p[0,2)>0.8$ then $\mathbf{A}$; if $p[1,3)>0.60$ then UNA; else $\mathbf{X}$.

b. Condition 4r3: If $p[0,2)>0.8$ then $\mathbf{A}$; if $p[1,3)>0.65$ then UNA; else $\mathbf{X}$.

These results are far from definitive, however. Note that correctness thus defined is artificial, if not arbitrary. While we do not believe that this setting is seriously unrealistic, but we are not certain how much truth it can capture. Definitely, a better modeling is in need.

## 3 Logistic regression

## 3.1 Analysis 2 and its results

Our strong motivation in the current research is to see if we can construct a reasonable model for acceptability judgment as as a categorical decision. SELFA successfully link clustering results to the models in (1) but does not give us exactly what we need. We need to take another route.

For this purpose, logistic regression [14] was applied to the discrimination models listed in (1). This was done for two purposes. First, we had the impression that Condition 6(r) gave a better fit qualitatively and wanted to see whether our intuition was correct or not. Second, we wanted to see if parameter-free models could work, because $\mathrm{C} 4 r 2$, and $\mathrm{C} 4 r 3$, high performers, require manual parameterization for thresholds.

Logistic regression was performed using glm package for $R$ with the formula as follows: ${ }^{4)}$

(3) decision $\sim p[0,1)+p[1,2)+p[2,3)+p[3, \infty)$ where decision $=1.0$ if label is $\mathbf{A}$ (or $\mathbf{X}$ ); otherwise, decision $=0.0$.

Roughly, the formula in (3) checks if probability $p$ of $\mathbf{A}$ (with or without $\mathbf{X}$ ) against probability $(1-p)$ of UNA is predictable from the following estimate:

$
\begin{aligned}
& \ln \frac{p}{1-p}= \\
& c+w_{1} p[0,1)+w_{2} p[1,2)+w_{3} p[2,3)+w_{4} p[3, \infty)
\end{aligned}
$

where $c, w_{1}, \ldots, w_{4}$ are given in Table 3. The left-hand side is the log odds of $p$ against $(1-p)$ and the right-hand side is a linear combination of $p[0,1), p[1,2), p[2,3)$ and $p[3, \infty)$ with appropriate weights and an intercept $c$.

Two settings were tried out for comparison. In one setting, only $\mathbf{A}$ was set to 1.0, and both $\mathbf{X}$ and UNA were into 0.0. In another, $\mathbf{A}$ and $\mathbf{X}$ were converted into 1.0 and only UNA was into 0.0 , on interpreting $\mathbf{X}$ as part of $\mathbf{A}$.

In the first setting, none of the 11 conditions, $\mathrm{C} 0, \mathrm{C} 1, \ldots$, $\mathrm{C} 6, \mathrm{C} 6 r 1$, reached convergence. In the second, only C6 and C6 1 reached convergence ${ }^{5)}$ with the estimation presented in Table 3, and the others all failed. This indicates that $\mathbf{X}$ needs to be treated as A for convergence. But admittedly this contradicts with the relative closeness of Clusters 2 and 3. We will return to this in $\S 3.2$.

Table 3: Coefficients for C6 and C6r 1 (significance codes:

In this regression, $w_{4}$ turned out to be ineffective. In other words, the probability of $\mathbf{A}$ can be predicted from three values $p[0,1), p[1,2)$ and $p[2,3)$ only.
^{4)}$ Used link function is binomial.

 }^{5)}$ Incidentally, the fittings of C6 and C6r 1 returned the same result.

Figure 5: Predicated acceptabilities by Condition 6(r1)

To give readers a good grasp of the result, Figure 5 plots the predicted values (between 0.0 and 1.0) for sampled 100 sentences. ${ }^{6)}$

Quite interestingly, only C6 and C6r1 reached convergence and all other Conditions, including $\mathrm{C} 4 r 2$ and $\mathrm{C} 4 r 3$, high performers in simple metric, failed to converge. This result is noteworthy, because it suggests that effectiveness in terms of simpler measures can be faulty.

## 3.2 Discussion for Analysis 2

The status of Cluster 2 (in red, of $\mathbf{X}$ stimuli) in Figure 6 in Appendix A is troublesome. Are they part of A or UNA? This is a choice of theoretical importance that makes a difference. In Analysis 2, we compared two cases where $\mathbf{X}$ is included into UNA and alternatively it is included into $\mathbf{A}$. The result revealed that the second treatment was necessary for convergence. Though it is far from definitive, it suggests that the best way to treat $\mathbf{X}$ is to include it into $\mathbf{A}$.

But this conclusion cannot be debate-free, because in terms of closeness of clusters, Clusters 2 and 3 form a larger cluster. So, the result is fairly puzzling, making the obtained solution look somewhat opportunistic. We admit that we can offer no good explanation for this.

Whatever status Cluster 2 has, though, it would not be a serious problem as far as we consider the preconditions for convergence of logistic regression. Under logistic regression, only Conditions 6 and $6 r 1$ converged and all other conditions failed. Given this result is not accidental, it poses interesting theoretical implications for the question of what mental process acceptability judgement demands.

Note that Conditions 6(r1) uses MAX(...) function. Because $\mathbf{X}$ is included in $\mathbf{A}$, Condition 6(r) is equivalent to:
^{6}$ Sentences were sampled because a full plot of 300 predicated values was very likely be unreadable.
}

(4) If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; else A.

This evaluation metric is "collective," in the sense of "collective intelligence" [13, 18], or at least "population-aware," in that it is density-based. But how can a judgment be population-aware? What is crucial is that each rater should "know" how others respond, or at least they should be able to relativize their own ratings to those by other raters, most likely performing a kind of mental simulation of judgements by others. Why is this so? Because, otherwise, higher function like MAX (...) would not be unnecessary.

If this conclusion is correct, it suggests that acceptability judgment is not only a fairly complex decision, but also a "socialized" decision, we would like to claim. This conclusion is debatable but intriguing enough from the perspective of language acquisition in social context [22] and perspective of cultural inheritance $[3,7,16,23]$.

Another important implication is that acceptabilities, as something measurable, are not an intrinsic property of stimuli, i.e., sentences. Rather, they are a property "distributed" over a population of speakers. This likely to debunk the methodological basis of a certain brand of linguistics that do not see acceptabilities in this way.

## 4 Conclusion

Two models for acceptability judgment as a categorical decision were considered in this paper. One is an indirect modeling of it using SELFA. Another was a direct modeling of it using logistic regression. The second modeling turned out to be successful, suggesting that it is possible to simulate human's acceptability judgments, at least in a rudimentary form. Moreover, and theoretically quite interestingly, successful simulation requires population-aware metrics rather than simple threshold-based ones. This is a bald conjecture, but is supported by the analyses presented in this study.

But this conclusion also begs questions: 1) given acceptability judgement is a part of our "collective intelligence," how do individuals internalize it? We admit that this question is open to further research and theorizing.

## Acknowledgements

This research was supported by JSPS through Grant-in-Aid (16K13223).

We are grateful for Shunji Awazu (Jissen Women's University), Asuka Terai (Future University of Hakodate) and Minoru Yamaizumi (Osaka University), who kindly helped our execution of Phase 1 of ARDJ Survey 2.

## References

[1] Jonathan Baron. Thinking and Deciding. Cambridge University Press, 2000 [1988, 1994].

[2] H. W. Bierhoff and R. Klein. Expectations, confirmation bias, and suggestibility. In V. A. Gheorghiu, et al., editors, Suggestion and Suggestibility, pp. 337346. New York: Springer, 1989.

[3] Robert Boyd and Peter J. Richerson. Culture and the Evolutionary Process. University of Chicago Press, 1988.

[4] Holly P. Branigan and Martin Pickering. An experimental approach to linguistic representation. Behavioral and Brain Sciences, 40, 2017.

[5] Wayne Cowart. Experimental Syntax: Applying Objective Methods to Sentence Judgments. Sage Publishing, Inc., 1997.

[6] Evidence-based Medicine Group. Evidence-based medicine: A new approach to teaching the practice of medicine. Journal of the American Medical Association, 268(17):2420-5, 1992 (Nov 4).

[7] Joseph Henrich. The Secret of Our Success: How Culture Is Driving Human Evolution, Domesticating Our Species, and Making Us Smarter. Princeton University Press, 2017. [邦訳: 文化がヒトを進化させた: 人類の繁栄とく文化-遺伝子革命>. 白揚社, 2019.].

[8] David Isaacs and Dominic Fitzgerald. Seven alternatives to evidence based medicine. The British Medical Journal, 319(7225):1618, 1999. EBM.

[9] Joshua Klayman. Varieties of confirmation bias. Psychology of Learning and Motivation, 32:384-418, 1995.

[10] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Development of Acceptability Rating Data of Japanese (ARDJ): An initial report. In Proc. of the 24th Annual Meeting of the Association for NLP, pp. 65-68, 2018.

[11] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Insights from a large scale web survey for Acceptability Rating Data for Japanese (ARDJ) project. In Proc. of the 25th Annual Meeting for the Association of NLP, pp. 253256, 2019.

[12] Sebastien Le, Julie Josse, and Francois Husson. FactoMineR: An $\mathrm{R}$ package for multivariate analysis. Journal of Statistical Software, 25(1):1-18, 2008.
[13] P. Levy. Collective Intelligence. Basic Books, 1997.

[14] Scott Menard. Applied Logistic Regression Analysis. Sage Publications, 2nd edition, 2001.

[15] Gary Dean Prideaux, Bruce L. Derwing, and William J. Baker. Experimental Linguistics: Integration of Theories and Applications. John Benjamins, 1979.

[16] Peter J. Richerson and Robert Boyd. Not By Genes Alone: How Culture Transformed Human Evolution. University of Chicago Press, 2008.

[17] Carson T. Schütze. The Empirical Base of Linguistics: Grammaticallity Judgments and Linguistic Methodlogy. Language Science Press/University of Chicago Press, 2016 [1996].

[18] Steven Sloman and Philip Fernbach. The Knowledge Illusion: The Myth of Individual Thought and the Power of Collective Wisdom. Picador, 2017.

[19] Jon Sprouse. Three open questions in experimental syntax. Linguistics Vanguard, 1(1):89-100, 2015.

[20] Masaru Sugiyama, Tsuyoshi Ide, Shin'ichi Nakajima, and Jun Sese. Semi-supervised local Fisher discriminant analysis for dimensionality reduction. Machine Learning, 78(35), 2010.

[21] Yuan Tang and Wenxuan Li. LFDA: An R package for local fisher discriminant analysis and visualization, 2016.

[22] Michal Tomasello. Constructing a Language: A Usage-based Theory of Language Acquisition. Harvard University Press, revised edition, 2005.

[23] 田村 光平. 文化進化の数理. 森北出版, 2020.

## A Clustering and PCA of sentences

## A. 1 Collection of ratings/responses

On acceptability rating, participants were asked to choose one of the four choices in (5).

（5） 0. 違和感がなく自然に理解できる文 [natural and easy to understand]; 1. 違和感を感じるが理解可能な文 [more or less deviant but comprehensible]; 2. 違和感を感じて理解困難な文 [deviant and difficult to understand]; 3. 不自然な理解不能な文 [quite unnatural and incomprehensible]

Prefixes 0, 1, 2 and 3 are added to indicate the degrees of deviance, though they need not be on a single scale.

Outlier responders were filtered out using standard deviation $(0.6<\mathrm{sd}<1.5)$ and Mahalanobis distance $(<0.95)$. See Kuroda et al [11] for relevant details.

## A. 2 Standardizing responses

Table 4: Frequency table by ranges (6 samples)

Table 5: Density table by ranges (6 samples)

Note that gr0, .., gr9 are different data sets, and cannot be directly compared. Comparison of them requires standardization. All groups were collapsed and responses were counted for each of the four rating ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty){ }^{7)}$ Table 4 shows 10 samples of this process. These raw counts were then converted into proportions to item-wise sums. This gave us density array, $P=\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$, as exemplified in Table 5. The arrays of ranged response probabilities in this format are to be called "response potentials." They are commensurable among groups with different sets of responders, and were used as encodings of the stimuli in the following multivariate analyses. ${ }^{8)}$
^{7)}$ Note that allowed response values were $0,1,2$, and 3 . These numbers are reinterpreted as ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty)$, respectively, where $r[i, j)$ means a sum of response counts between $i$ and $j$ with $i$ included and $j$ excluded.

 }^{8)}$ Another route to follow is data imputation in which missing values are

## A. 3 Hierarchical clustering and PCA

Hierarchical clustering is a popular method for grouping data. Principal Component Analysis (PCA) is a popular method for revealing a simple geometry in the data. An $\mathrm{R}$ package FactoMineR [12] was used to PCA and Hierarhical Clustering in combination.

Figure 6: HCxPCA of combined responses for gr0-gr9

Building on standardized responses, a multivariate analysis was conducted where PCA was combined with hierarchical clustering, resulting in visualization in Figure 6. In this, we recognize three major classes of stimuli: clusters 1 (in black, of supposedly "acceptable" stimuli), cluster 2 (in red, of undecidable stimuli) and cluster 3 (in green, of supposedly "unacceptable" stimuli). Clusters 2 and 3 form a larger cluster, contrasting with cluster 1.

## A. 4 Interpreting PCs

Table 6: Effects of principal components

Table 6 gives the contribution of the three factors identified by PCA. PC 1 roughly corresponds to the polar opposition of $r[0,1)$ and $r[2,3)$. PC 2 is mildly encoded by $r[1,2)$, and weakly by $r[3, \infty)$.

The interpretation of PC1 is straightforward. It encodes the degree of deviance (read from right to left), or of acceptability (read from left to right). In contrast, the interpretation of PC2 is not as simple as PC1. A few likely interpretations come to mind, but the most convincing one would be that PC2 encodes semantic and/or syntactic complexity that often blurs the judgment.

imputed. We made a few attempts but it turned out that our data have too many unobserved data points to be handled successfully.


# 相互排他性を考慮した深層強化学習による幼児語彙獲得モデル

藤田守太
電気通信大学
fujishu0407@uec.ac.jp
}

南泰浩
電気通信大学
minami.yasuhiro@is.uec.ac.jp
}

田口真輝
電気通信大学
taguchi@is.uec.ac.jp

## 1 はじめに

言語処理の分野において, 語とその実態を結び付 ける記号接地問題 [1] がある. 現在, 多くの認識課題 では, 対象の物体または行動（これを以降実態と呼 ぶ）に, 語が与えられ, その語に対して, 人が実態の 特徵量を与えることにより, 実態を結び付けている. そのため, 語と実態の特徴群を機械が自律的に結び つけることは出来ていない. 機械が語と特徴群を結 びつけるためには, 機械が実世界の環境から自律的 に語に対する特徵群を獲得していく必要がある.こ のような課題に対するアプローチとしてロボットに よる動作と言語のシンボルグラウンディング [2] や 複数のロボットによる語彙共有 [3] など様々な研究 がある.しかし,これらの研究は心理学的に観察され る様々な事象を必ずしも満たすものとはなっていな い. 本研究では, 記号接地問題に対して, 人間が行っ ている語彙獲得機構に基づき, 記号接地問題に取り 組むことが記号接地問題解決へのステップになると 考えている. また,このアプローチは心理学分野の語彙獲得機構解明への糸口にもなる. しかしながら, 事前知識のない状態で機械に人間と同様のプロセスを 経る幼児語彙獲得モデルの研究は十分に成果を上げ ているとは言えない.このような状況の中で心理学的要因に基づいて幼児の語彙獲得の仕組みをニュー ラルネットワークと強化学習を組み合わせてモデル 化した研究 [4], さらにこれを拡張させ現実のデータ で行った研究 [5]が提案されており, 新たな研究領域 を確立しつつある.しかし,これらの研究では一度に 幼览の目に入る実態（ここでは物体）を一つしか想定していない. 実際には, 幼坚が同時に目にする物体 は複数あり, その中から, 幼坚は対象物体を検出し，語と意味を結びつけている. 本研究では, 幼児のこの 機構を実現するため, 複数の物体を提示した状態で，心理学的要因を考慮した幼児語彙獲得モデルを構築 する.

## 2 幼児の心理学的要因

現実世界で語の意味を推論する際には, 膨大な事例が必要となる [6]. しかし, 幼览は少ない事例で, こ れらの語の意味を正確に推論し, 語彙を獲得するこ とが可能である.このことから幼坚が語の意味を推論する際に何かしら幼览が得る語の意味の可能性に 制限を加える暗黙的知識の存在を仮定する仮説が提案されている [7]. そこで本章では, 幼児語彙獲得モ デルにおいて見られる心理学的要因についてみて いく.

## 2.1 共同注視

共同注視とは, 非言語的コミュニケーションの一 つであり, 親, あるいは, 幼览が何かに注目している ときにもう一方も同じ対象に注目する行動である.幼览の語彙獲得は共同注視によって親と幼坚が共通 の対象に対して注目することで行われる. また, 母親 が子供の注意を追うことで語彙の獲得が加速される [8][9].

## 2.2 意図の理解

共同注視の節で母親が幼览の注意を追うことと語彙数の間には強い相関があると述べたが, 幼児は語彙獲得において受動的な存在であるわけではない. Baldwin の実験 [10] では幼児は親の意図について積極的に理解しょうと試みており, 親と幼坚による相互行為によって語彙獲得は進められていることが示 された. このように幼览の語彙獲得において, 幼览が 親の意図を理解することは重要な意味を持つ. 実際 に Tomasello らが行った探し物に関する実験 [11][12] においても, 親が対象物の探し物ゲームをしている こと, 親が怪訝な顔や微笑みで幼览の回答の正解不正解を表現していることなど親の意図を理解するこ とで, 明示的に対象物と語を示さなくても幼児が未知の語を獲得するなど語彙獲得において重要な役割 を果たしている。

## 2.3 バイアスの獲得

バイアスと呼ばれる暗黙的な知識には名詞を優先的に学習する名詞バイアス, 形状に注目し, 形状が似 ているものを同じ物体であると見做す形状バイアス など様々なバイアスが存在する.これらは幼坚が語彙を獲得する際に形成されており, 推論に制限を与 えることにより, 語彙獲得を容易にする働きがある.

## 2.4 相互排他性

相互排他性とは一つの物体に対して,一つの語し か付与されないという暗黙的知識のことである. 幼児は名前の知っている物体と未知の物体がある状況 で未知の語を聞くと, それが未知の物体に付けられ た語だと解釈する [14]. これは例えば, りんごを知っ ている幼児が「お腹がすいたのでへクを取って」と 言われた際に, 未知の物体である口紅をとるといっ た非常に強力な制約である [15].

## 3 提案手法

本研究では, 複数の物体を提示しても語彙が獲得 できるモデル, 2 章で暑かった幼児の心理学的要因 を考慮した幼児語彙獲得モデルで実現する. 共同注視, 意図の理解, バイアスの獲得について考慮したモ デルを 3.1 で説明する.このモデルを複数物体の提示でも動作するよにするため, 相互排他性を考慮し た機構を導入する. それを 3.2 で説明する.

## 3.1 深層強化学習による語彙獲得モデル

ここでは田口らの語彙獲得モデルに基づいて説明 を行う [4][5]. 本研究において語彙獲得は親の意図の 理解を介して行われる. そこで幼坚による語の選択 を出力, また, 親からの意図を報酬という形での母子相互作用を考える. 具体的なモデルの構造を図 1 に 示す.

まず, 共同注視により語彙獲得が始まり, 初期状態 $s_{0}$ を心的状態を表す LSTM に入力し, その出力結果 をDQN1に入力として与える.これにより, DQN1 は どの特徴を選択するかを出力した後, LSTM は状態 $s_{1}$ の特徵情報を更新し,この状態を次の LSTM に入力し, その出力結果を DQN2 の入力として与えるこ とで, DQN2 は語の選択を行う. この処理を語が一致 するか定められた回数まで繰り返す.

図 2 は幼児語彙獲得モデルの一連の語彙獲得の流 れであり, 語彙獲得のアルゴリズムを以下に示す.
まず, 語彙獲得させたい物体を選択, 幼坚語彙獲得 モデルが親の意図を理解し,未知の物体に共同注視 することで語彙獲得が始まる. (共同注視, 親の意図 に関する機構に関しては, [4][5] を参照のこと.ここ では簡単に説明する.) 幼児語彙獲得モデルはどの特徵を取得するのか深層強化学習を用いて選択し, 特徵から未知の物体の特徵量を取得する. その後, 幼坚語彙獲得モデルは取得した特徵量から深層強化学習 を用いて語候補から語を決定する. 幼坚語彙獲得モ デルの回答が正解ならば親は售めるなどの報酬を，不正解ならば顔を歪めるなどの負の報酬を与える. これを正解するか決められた回数まで繰り返す.

本研究で構築する幼児語彙獲得モデルは初期状態 では事前知識を持たず，ランダムな選択をするが語彙獲得が進むにつれて, 語彙を決定するのに適した 暗黙的知識を獲得する。（ここでは、形状バイアスを 想定）

図 1 幼肾語彙獲得モデルの構造

図 2 語彙獲得の一連の流れ

## 3.2 相互排他性を説明する機構

本研究では幼背語彙獲得モデルに 2 つの物体を提示, それぞれの特徵量を取得し各物体について既知 か未知かを判断する機構を導入することで幼児語彙獲得モデルに相互排他性をを説明する機構を導入す る. アルゴリズムは以下である.
1. 2 つの物体をそれぞれ幼児語彙獲得モデルに提示し, 提示された物体についてどの語であるか 推定を行う。

2. 親から語を取得し, 語について DQN2 の出力が 高い物体を選択する。

3. 選択された物体については語を明示的に示され た状態で学習を行う。

4. 選択されなかった物体については 3.1 章の学習 を行う。

また, 具体例としてオレンジについての相互排他性を図 3 に示す。

物体 1 はリンゴとして既知であり,物体 2 はオレ ンジだが未知である.この場合に幼览語彙獲得モデ ルは物体 1 をリンゴとして認識するためにオレンジ である DQN2 の出力が低くなる。.よって未知であ るオレンジを選択する.

図 3 相互排他性による判定

## 4 実験

相互排他性を用いないモデルをベースライン [5] として, 提案手法の評価実験として以下の 3 つの実験を通して検証していく。

・ベースラインとの比較

・3物体を提示した状態での語彙獲得

・語候補が 15 物体での語彙獲得

## 4.1 データベース

本研究は実世界との記号接地を目的としている. そこで幼児語彙獲得モデルに対して実データを導入する手法として田口の手法 [5] を用いる. 特徴量 の数値化について色特徴量にはカラーヒストグラ ム, 形特徴量には HOG, 味特徴量には文部科学省に よって作成された日本食品標準成分表, 動き特徴量 には Dense Trajectories をそれぞれ用いて特徴量とす る.これらの特徴量を各物体毎に取得しデータベー スとして扱う。

また, 物体数に関して 2 個の食品, 3 個の非食品の 合計 5 物体のデータセットと 10 個の食品, 5 個の非食品からなる 15 物体のデータセットを用意した。表 1 語候補

## 4.2 実験条件

2 物体での実験については「幼览モデルが物体に 対して事前に与えられた語候補の内のいずれかを答 える」を 1 ステップとし, 「モデルが 2 つ物体に対し てそれぞれ正解の語を答えるか, ステップ数が打ち 切り回数を超える」を 1 エピソードとし, エピソー ド数を 15000 回, 打ち切り回数を 5 回とした.

また, 3 物体の実験については「幼児モデルが物体 に対して事前に与えられた語候補の内のいずれかを 答える」を 1 ステップとし, 「モデルが 3 つ物体に 対してそれぞれ正解の語を答えるか, ステップ数が 打ち切り回数を超える」を 1 エピソードとし, エピ ソード数を 10000 回, 打ち切り回数を 5 回とした.

それぞれ以上の条件で 50 エピソード毎にテスト として 50 エピソードでの正答率について測定し, 提案手法とベースラインの比較を行った。

## 4.3 ベースラインとの比較

ベースラインと提案手法を比較することで相互排他性の有無が語彙獲得に与える影響についてみる。

## 4.3.1 実験結果

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 4 に示す.

図 4 から提案手法が正答率で大きく上回っており，相互排他性が有意に働いていることが確認できた。

図 4 提案手法とベースラインの正答率

## 4.3.2 バイアスの獲得

バイアスの獲得は人間の語彙獲得機構の再現にお いて重要な要素である. そこで特徴の選択傾向を見 ることでバイアスの取得の有無を見る. 特徴の選択回数を確率に直し, ヒートマップに視覚化したもの が図 5 になる. 1000 回時点では味と動きの特徴量が 同じ程度で選択されており,ランダムな選択になっ ている.しかし, 5000 回時点では最初の特徵選択で は味が選択されるようになった. また, 2 回目以降の 特徴選択に関しても 1 回目の選択が固定されるにつ れて固定されていった. 以上のことから幼児語彙獲得モデルが最初はランダムな特徴選択を行っていた が, 語彙獲得が進むにつれて特徵選択に優先度が付 き規則的な特徴選択を行っていることが分かった。 これは, 親が名詞を提示し続けたこと（親の意図）に より, 名詞を判別するための暗黙的な知識（バイア ス）を獲得したことに他ならない.

図 5 左から 1000, 5000, 15000 回時点での特徵選択確率

## 4.43 物体を提示した状態での語彙獲得

相互排他性による語彙獲得が 2 物体の時に限定さ れている可能性があるため, 3 物体を提示した場合 についても成り立つことを確かめる。

## 4.4.1 実験結果

提案手法を用いた幼坚語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 6 に示す.

図 6 から提案手法が正答率で大きく上回ってお り, 3 物体に関しても相互排他性が有意に働いてい ることが確認できた。

図 63 物体を提示した提案手法とベースラインの正答率

## 4.5 語候補が 15 物体での語彙獲得

上記の実験では語候補は 5 個に限定されていた。 しかし, 実際の世界ではより多くの語を獲得する. そ こで語候補を増やした場合の動作についても検証し ていく.

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 7 に示す.

図 7 からベースラインが語彙獲得出来ていないの に対して，提案手法は語候補が増加した影響を受け ずに語彙獲得していることがわかる.これは既知の 物体が出来た時に相互排他性に関する機構によって 未知の物体の語彙獲得が行われたからだと考えら れる。

図 7 語候補が 15 物体の場合の 提案手法とベースラインの正答率

## 5 まとめと今後の展望

本研究では相互排他性を説明できる機構を提案 し, 従来の言語獲得機構に導入し, それを用いること により複数物体を提示しても学習が進むことを確認 した. また, 3 物体以上の場合や物体数を増やした場合にも同様にベースラインに比べて有効に語彙獲得 が行われることが確かめられた。

複数物体を同時提示しても,相互排他性を考慮す ることで, 従来の語彙獲得モデルが機能することが 確認できた. 我々は,このような心理学的な機構が学習の過程で, 順次獲得されていくと考えている.今後, 相互排他性がどのように獲得されていくのかも 説明できるモデルの構築を目指す。

## 参考文献

[1] Harnad, S. The symbol grounding problem. Physica D:Nonlinear Phenomena, 42(1-3), 335-346, 1990.

[2] 小林一郎. 動作と言語のシンボルグラウンディ ングへの取り組み：自動運転車の対話的操作

を目指して. 言語処理学会第 26 回年次大会, A2-4, 2020.

[3] Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, Tadahiro Taniguchi. Symbol emergence as an interpersonal multimodal categorization. Frontiersin Robotics and AI, Vol.6, p.134, 2019.

[4] 野口輝. ニューラルネットワークと強化学習を 用いた幼児語彙獲得のモデル化. 電子情報通信学会技術研究報告, 信学技報 Vol. 117(420), pp. 59-64, 2018.

[5] 田口真輝. 実データを用いるニューラルネット ワーク強化学習による幼児語彙獲得モデル. 電気通信大学コンピュータサイエンスプログラ 么卒業論文, 2019.

[6] Willard Van Orman Quine. Word and Object. MIT Press, 1960.

[7] 今井むつみ.レキシコンの発達 : 子どもはどの ようにしてことばを学習するか. 情報処理学会研究報告音声言語情報処理, Vol.2000, No. 15 pp.63-68, 2000.

[8] Michael Tomasello, Michael Jeffrey Farrar.Joint attention and early language child development. Vol.57, No.6, pp.1454-1463, 1986

[9] Malinda Carpenter, Katherine Nagell, Michael Tomasello, George Butterworth, Chris Moore. Social cognition, joint attention, and communicative competence from 9 to 15 months of age. Monographs of the Society for Research in Child Development, Vol. 63, No. 4,pp. 1-174, 1998.

[10] Infants' contribution to the achievement of joint reference. Child Development, Vol. 62, No. 5, pp. 875890, 1991.

[11] Michael Tomasello, Randi Strosberg, Nameera Akhtar.Eighteen-month-old children learn words in non-ostensive contexts.Journal of Child Language.Volume23, pp.157-176, 1996.

[12] Nameera Akhtar, Malinda Carpenter and Michael Tomasello.The role of discourse novelty in early word learning. Child Development, Vol.67, No. 2 pp.635-645, 1996.

[13] Ellen M. Markman. Categorization and naming in children : Problems od induction. MIT Press, 1989.

[14] Haryu, Etsuko. Effects of knowledge about crosslanguage equivalents on children's use of mutual exclusivity in interpreting novel labels.Japanese Psy- chological Research, Volume40, No.2, 82-91, 1998.

[15] 針生悦子. 幼坚における事物名解釈方略の発達的検討〜相互排他性と文脈の利用〜. Japanese Journal of Educational Psychology, 39, 11 20, 1991.