# 日本人名にみられる音象徵:
## 子音タイプと母音タイプに着目した音声提示による実験

\author{
市野満梨奈 1 木山幸子 ${ }^{2}$ \\ 1 東北大学文学部言語学研究室, 2 東北大学大学院文学研究科言語学研究室 \\ marina.ichino.q3@dc.tohoku.ac.jp; skiyama@tohoku.ac.jp
}

## 1 はじめに

人の名前を聞いた時にその人物のイメージが喚起 されることがある。これには、使用されている漢字 の意味や、同名の人物・事物・事象の印象とともに、子音や母音の音象徵も影響していると考えられる。先行研究から、人物名において阻害音（日本語で は、「か・が、さ・ざ、た・だ、は・ば・ぱ」行）や 前舌母音（日本語では「い、え」）は、角ばった・男性的な印象を与え、男性名で好まれる傾向があり、共鳴音（同上、「な、ま、や、ら、わ」行）や後舌母音（同上、「あ、お、う」）は、丸みのある・やわら かい女性的な印象を与え、女性名で好まれる傾向が ある (Jakobson, 1978; Köhler, 1929/1947; Perfors, 2004; Shinohara \& Kawahara, 2013; Slater \& Feinman, 1985;上村, 1965）と考えられている。また、阻害音と共鳴音の違いが、人のパーソナリティについても特定の 異なる印象を喚起するという（Shinohara \& Kawahara， 2013）。しかし、日本語で実在する名前における音象徵については、まだ明らかにされていない。

本研究では、意味微分 (semantic differential, SD)法による印象評定実験を行い、実在する男女日本名 において、子音（阻害音・共鳴音）と母音（前舌母音・後舌母音）がその名前を持つ人物についてどの ような印象を形成するかを明らかにしたい。先行研究に基づき、男女名ともに、共鳴音や後舌母音の名前は「親しみやすい」「気長な」、阻害音や前舌母音 の名前は「責任感の強い」「積極的な」などの印象が 強くなると予測する。また、男性名では阻害音や前舌母音の名前が、女性名では共鳴音や後舌母音の名前がより肯定的に評価されると予測する。

## 2 方法

## 2.1 実験参加者

日本語を母語とする満 20 歳〜39 歳の男女 102 名
（うち男性 40 名、平均年齢 32.0 歳、標淮偏差 5.2) が参加した。CrowdWorks を通じて Web 上で実験を 実施した。

## 2.2 実験材料

実験は、名前を発音する音声刺激と顔描画刺激を 組み合わせて提示し、形容詞対によって印象評定を させた。PsyToolkit version 3.1.1 (Stoet, 2010, 2017) を 使用した。

名前は、 3 モーラの日本人名を計 160 (男女各 80 )用意した。 1 モーラ目を、(1)阻害音 $\times$ 前舌母音（き みお、きみこ等)、(2)阻害音 $\times$ 後舌母音（かける、か えで等)、(3)共鳴音 $\times$ 前舌母音 (みきお、みおり等)、

(4)共鳴音 $\times$ 後舌母音（なおき、なおみ等）という、子音 $\times$ 母音の組み合わせに統制した。2・3 モーラ目 については統制せず、できるだけ典型的な日本人の 名前になるように配慮して作成した。

名前を読み上げた音声刺激には、合成音声ソフト CeVIO Creative Studio【通常版】を使用して作成した。男声 1 種、女声 1 種を使用し、「(名前) です」と発音させた。

顔描画は、男女各 20 種類用意した。視覚刺激によ る印象の差が出ないよう、同じ顔で髪型と服の色の み変化をつけて本職のイラストレーターが描いた。

印象評価項目としては、林（1978）から対人認知 の主要因子である「個人的親しみやすさ」「社会的望 ましさ」「活動性」の 6 因子に対応し、各因子に高く 寄与する形容詞対計 13 個を使用した（個人的親し みやすさ：「感じの悪い-感じのよい」「親しみにくい 一親しみやすい」「短気な-気長な」「なまいきな-なま いきでない」、社会的望ましさ :「軽率な-慎重な」「無分別な-分別のある」「軽薄な-重厚な」「無責任な-責任感の強い」「無気力な-意欲的な」「いじわるな-親切 な」、活動性：「消極的な-積極的な」「非社交的な-社交的な」、「恥ずかしがりの-恥しらずの」)。

## 2.3 手続き

参加者は、顔描画を見ながら名前の音声を聞き、各人物の印象について 13 個の形容詞対の 6 段階ス ケールによって評価した。参加者 1 人につき、 40 の 人物の印象を評価した。必ず音声を聞いて回答する ように、音声は繰り返し聞いてよいと教示した。

## 2.4 分析

## 2.4.1 線形混合効果モデル

線形混合効果モデル（liner-mixed effect model）に よって、各印象評価項目（形容詞対）における男女名の印象評価点に、1 モーラ目の子音タイプ・母音 タイプという要因がどのように影響しているかを分析した。従属変数は、形容詞対ごとの評価点 ( $\mathrm{z}$ 值) とし、独立変数（固定効果要因）は、名前の性別（男性名/女性名)、子音タイプ (阻害音/共鳴音)、母音タ イプ（前舌母音/後舌母音）の3つを設定した。ラン ダム効果要因として、参加者と名前、顔描画を設定 した。 R version 4.0.3 (R Core Team, 2020) 上でパッケ ージ lme (Bates, Maechler, Bolker, \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff, \& Christensen, 2017) を使用した。

## 2.4.2 因子分析 - 分散分析

本研究における因子の構成を確認するために、印象評価項目ごとの名前の評価点をもとに因子分析を 行った（信頼性係数は、Cronbach's alpha $=0.81,95 \%$信頼区間 $=0.802-0.818)$ 。最小平均偏相関を基準と して因子数を 3 に指定し、最尤法でジオミン斜交回転により因子を抽出した。

その後、因子分析で得られた各因子が、子音や母音という音韻特性に応じてどのように影響するかを 調べるために、分散分析を行った。従属変数は、各形容詞対の評価点、独立変数は、因子（個人的親し みやすさ/活動性/社会的望ましさ)、子音タイプ、母音タイプの 3 つを設定した。因子分析には、 $\mathrm{R}$ version 4.0.3 上でパッケージ psych (Revelle, 2020) と GPArotation (Bernaards \& Jennrich, 2005) を使用した。分散分析にはパッケージ plyr (Wickham, 2011) と DescTools (Signorell et mult. al, 2020) を使用した。

## 2.4.3 階層的クラスタ分析

男女の名前について、因子に基づく印象の差異に
よって分類するため、各因子の平均印象評価点 $(\mathrm{z}$ 值) を独立変数として階層的クラスタ分析を行った。ク ラスタ併合の方法はウォード法、名前間の距離は平万ユークリッド法を用いた。 R version 4.0.3 上でパ ッケージ MASS (Venables \& Ripley, 2002) を使用し た。

## 3 結果

## 3.1 線形混合効果モデル

子音タイプの主効果が見られた項目は、「消極的な -積極的な」 $(\beta=-0.161, p=0.030)$ と、「非社交的な -社交的な」 $(\beta=-0.185, p=0.007)$ であった。阻害音 の名前が共鳴音の名前よりも、「積極的」(図 1) で、「社交的な」（図 2）印象を与えることが分かった。子音タイプと母音タイプ両方の主効果が見られた 項目は、「無責任な-責任感の強い」（子音タイプ $\beta=$ $-0.121, p=0.043$, 母音タイプ $\beta=-0.130, p=0.044)$ 、「恥ずかしがりの-恥しらずの」（子音タイプ $\beta=$ $-0.242, p=0.002$, 母音タイプ $\beta=-0.166, p=0.011$ ) であった。共鳴音より阻害音の名前が、前舌母音よ り後舌母音の名前のほうが、「責任感の強い」(図 3)、「恥しらずの」（図 4）印象であった。

名前の性別と母音タイプの 2 次の互作用が見られ た項目は、「無気力な-意欲的な」 $(\beta=0.189, p=0.035)$ であった。女性名において後舌母音の名前が前舌母音の名前よりも「意欲的な」印象を与えた（図 5）。

## 3.2 因子分析 $\cdot$ 分散分析

因子分析では、先行研究で示されている 3 つの因子：「個人的親しみやすさ」(「いじわるな-親切な」、「無分別な-分別のある」、「なまいきな-なまいきで ない」、「無責任な-責任感の強い」、「親しみにくい親しみやすい」)、「活動性」（「消極的な-積極的な」、「無気力な-意欲的な」、「非社交的な-社交的な」、「恥 ずかしがりの一恥しらずの」)、「社会的望ましさ」(「軽率な一慎重な」、「軽薄な一重厚な」、「短気な一気長な」、

「感じの悪い-感じのよい」）の良好な解が得られた $(\mathrm{TLI}=0.944, \mathrm{RMSEA}=0.061,95 \%$ 信頼区間 $=0.057-$ $0.065)$ 。

形容詞対評価点についての分散分析の結果 (図 6)、子音タイプの主効果 $\left(F(1,10)=24.840, p=0.001, \eta_{\mathrm{p}}{ }^{2}\right.$ $=0.713)$ 、母音タイプの主効果 $(F(1,10)=8.516$,
$\left.p=0.015, \eta_{\mathrm{p}}{ }^{2}=0.460\right)$ 、因子と子音タイプの交互作用

$\left(F(2,10)=10.160, p=0.004, \eta_{\mathrm{p}}{ }^{2}=0.670\right)$ 、因子と母音タイプの交互作用 $\left(F(2,10)=8.080, p=0.008, \eta_{\mathrm{p}}{ }^{2}=\right.$ 0.618）が有意であった。共鳴音よりも阻害音が第 1 モーラにある名前の万が、また前舌母音よりも後舌母音が第 1 モーラにある名前の方が、全体として高 く評価された。多重比較の結果、有意差が見られた のは共鳴音の「活動性」と阻害音の「個人的親しみ やすさ」間のみだった $(p=0.021)$ 。共鳴音の「個人的親しみやすさ」と共鳴音の「活動性」間について は有意傾向 $(p=0.095)$ があり、共鳴音の名前は「個人的親しみやすさ」が高く、「活動性」が低い印象を 与える傾向があると言える。

## 3.3 階層的クラスタ分析

男性名は 4 つのクラスタ（親しみやすさ低程度群 /親しみやすさ高程度群/活動性・社会的望ましさ低程度群/活動性・社会的望ましさ高程度群）に分類さ れた (判別分析の交差妥当化による正判別率： $97.5 \%$ )。

女性名は 3 つのクラスタ（親しみやすさ・社会的望ましさ高程度群/親しみやすさ・社会的望ましさ低程度群/活動性高程度群) に分類された (同: 92.5\%)。

男性名について、「活動性・社会的望ましさ高程度群」は、1 モーラ目に $[\mathrm{sh}]$ や $[\mathrm{t}]$ を、 3 モーラ目に 共鳴音、特に $[\mathrm{r}]$ を使用する名前（しげる、たける、 とおる等）の割合が高いという特徴がみられた。「親 しみやすさ高程度群」は、2 モーラ目に $[\mathrm{t}]$ を（もと き、もとし、ゆたか)、3 モーラ目に $[\mathrm{g}]$ を(けんご、 しんご、せいご）使用する名前の割合が高いという 特徴がみられた。

女性名については、阻害音を多く含む名前が全体的に高く評価された。「親しみやすさ・社会的望まし さ高程度群」は、1 モーラ目に共鳴音と前舌母音 [i] を、2・3 モーラ目に阻害音を使用する名前の割合が 高く(みかこ、みさこ等)、特に 2 モーラ目に $[\mathrm{z}]$ を 使用する割合が高い（みずほ等）という特徴がみら れた。「活動性高程度群」は、1 モーラ目に阻害音、特に $[\mathrm{ch}]$ を(ちあき、ちひろ等)、2 モーラ目に $[\mathrm{ts}]$ を（せつこ、なつみ等）、3 モーラ目に $[\mathrm{r}]$ (ひかり、 みおり等）を使用する名前の割合が高いという特徴 がみられた。

図 1 性別・子音タイプ・母音タイプごとの 「消極的な一積極的な」への平均評価点注 : 誤差バーは標準誤差である。

図 2 性別・子音タイプ・母音タイプごとの 「非社交的な-社交的な」への平均評価点注 : 誤差バーは標準誤差である。

図 3 性別・子音タイプ・母音タイプごとの 「無責任な-責任感の強い」への平均評価点注 : 誤差バーは標準誤差である。

図 4 性別・子音タイプ・母音タイプごとの「恥 ずかしがりの-恥しらずの」への平均評価点注 : 誤差バーは標準誤差である。

図 5 性別・子音タイプ・母音タイプごとの「無気力な-意欲的な」への平均評価点注 : 誤差バーは標準誤差である。

図 6 因子と子音タイプ・母音タイプごとの平均評価点

注 : 誤差バーは標準誤差である。

## 4 考察

本研究は、実在する日本人の男女名において子音
と母音のタイプがその名前を持つ人物についてどの ような印象を形成するかを検討した。男性名におい ては、阻害音や前舌母音の名前が、女性名において は共鳴音や後舌母音の名前がより肯定的に評価され るのではないかと予測したが、そうした予測とは異 なる傾向が認められた。

分析の結果、男女名ともに、1 モーラ目が阻害音 の名前は共鳴音の名前よりも、また 1 モーラ目が後舌母音の名前は前舌母音の名前よりも「活動性」が 高い印象を与えることが分かった。また、1 モーラ 目が共鳴音の名前は「個人的親しみやすさ」が高く、

「活動性」が低い印象を与える傾向もみられた。

子音については予測を支持する結果といえる。阻害音は発音時に口腔内気圧の上昇があり、圧力的変化が非周期的で角ばった波形となり、共鳴音は発音時に口腔内気圧の上昇が少なく、圧力的変化が周期的で丸みのある波形となる (川原, 2017)。この音響的な特徴や、阻害音調音時の強い狭めを作る動作、後舌母音調音時の口腔を広げる（篠原・川原, 2013）動作が、阻害音と後舌母音の「活動性」が高い印象、共鳴音の「個人的親しみやすさ」が高く「活動性」 が低い印象に影響したと考えられる。

1 モーラ目の子音タイプ・母音タイプの違いが「個人的親しみやすさ」「活動性」「社会的望ましさ」に 関する印象の変化に影響していることも明らかとな った。また、各クラスタは母音よりも子音の違いで 弁別されていたため、日本人名において前述の印象 の違いを生み出すのは、母音よりも子音の影響が大 きいと言えるのではないだろうか。子音は母音より も先に現れるため、印象により大きな影響力を持つ と考えられる。1 モーラ目の阻害音 [sh] や [ch]、3 モーラ目の共鳴音 $[\mathrm{r}]$ が「活動性」を高め、 $2 \cdot 3$ モ 一ラ目の濁音が「個人的親しみやすさ」を高めるな ど、阻害音や共鳴音をどのモーラで使用するのかに よって印象が変化し、阻害音や共鳴音という分類の 中でも、特定の音が特定の印象を高める可能性もあ ると考えられる。

先行研究では、女性名はやわらかい印象を与える 共鳴音が好まれるとされていたが、本研究では、阻害音を多く含む名前のほうが共鳴音を多く含む名前 よりも、「個人的親しみやすさ」「活動性」「社会的望 ましさ」の観点から高く評価された。この背景には、社会で活躍する女性が多くなってきている現在にお いて、以前よりも阻害音の持つ動的な印象が好まれ るという時代の変化が関係しているかもしれない。

## 引用文献

林文俊 (1978) 「対人認知構造の基本次元について の一考察」『名古屋大學教育學部紀要（教育心理学科)』 25: 233-247.

Jakobson, Roman (1978) Six lectures on sound and meaning. Cambridge: MIT Press.

川原繁人 (2017) 『「あ」は「い」より大きい!?一音象徵で学ぶ音声学入門』東京: ひつじ書房.

Köhler, Wolfgang (1929/1947) Gestalt psychology. New York: Liveright.

Perfors, Amy (2004) What's in a Name? The effect of sound symbolism on perception of facial attractiveness. Proceedings of the Annual Meeting of the Cognitive Science Society 2004 26(26): 1617.

篠原和子・川原繁人 (2013) 「第 2 章 音象徴の言語普遍性「大きさ」のイメージをもとに」『オノ マトペ研究の射程 = Sound Symbolism and Mimetics：近づく音と意味』 東京：ひつじ書房.

Shinohara, Kazuko \& Shigeto Kawahara (2013) The sound symbolic nature of Japanese maid names. The proceedings of the Japan Cognitive Linguistics Association 13: 183-193.

Slater, Anne Saxon \& Saul Feinman (1985) Gender and the phonology of North American first names. Sex Roles 13: 429-440.

上村幸雄 (1965) 「音声の表象性について」『言語生活』171(12): $66-70$. 東京 : 筑摩書房.

「良運命名 五十音順から見る おなまえ一覧」（引用日 2021 年 1 月 10 日） https://www.nihonikuji.com/search/aiueo.

## 謝辞

本研究は、科学研究費基盤研究 (A) 19H00532 の 助成を受けて実施した。実験実施や結果の解釈の際 には、東北学院大学の那須川訓也先生のご助言をい ただいた。記して感謝する。


# Simulating acceptability judgments using ARDJ data

Kow Kuroda ${ }^{1}$, Hikaru Yokono ${ }^{2}$, Keiga Abe ${ }^{3}$, Tomoyuki Tsuchiya ${ }^{4}$, Yoshihiko Asao ${ }^{5}$,
Yuichiro Kobayashi ${ }^{6}$, Toshiyuki Kanamaru ${ }^{7}$, and Takumi Tagawa ${ }^{8}$
${ }^{1}$ Kyorin University, ${ }^{2}$ Fujitsu Laboratories Ltd., ${ }^{3}$ Gifu Shotoku College, ${ }^{4}$ Kyushu University,
${ }^{5}$ National Institute of Communications and Information Technology ${ }^{6}$ Nihon University, ${ }^{7}$ Kyoto University, ${ }^{8}$ Tsukuba University

## 1 Introduction

Acceptability judgment plays a crucial role in linguistic theorizing $[5,15,17,19]$. But it is far from fully understood how "ordinary" people react to sentences with varied degrees of deviance or anomaly, simply because there is no such data provided with high reliability. In our understanding, current theoretical linguistics is a strange mixture of best and worst practices [4]. In its best practice, it provides deep insights into human mind/brain. In its worst practice, research directions are under the strong influence of a few authorities, and discussions are plagued by confirmation biases $[1,2,9]$. This is why most "evidence" in current theoretical linguistics often falls close to anecdotes. This situation is reminiscent of the medical practices before "evidence-based medicine," aka EBM, was gaining ground. The essence of EBM is a fairly straightforward idea that all pieces of "evidence" need to be sorted out and hierarchically organized according to their effectiveness $[6,8]$.

As medicine needed EBM to alleviate the harmful effects of authorities, linguistics seems to follow a similar path: it would need "evidence-based linguistics," or EBL, to be renovated. In our view, Acceptability Rating Data of Japanese (ARDJ) is a potential contribution to a virtual movement for EBL in that it explores true nature of acceptability judgments using a sharable, large-scale, randomized survey, based on as little theoretically biased stimuli as possible. Its goal is to provide "proper evidence" in linguistics, though it is only the beginning, we admit.

ARDJ has completed two experiments. The first one, called "survey 1," was carried out in 2017. It was intended to be a pilot study with only a limited variety of responders (roughly 200 college students only) on 200 sentences for stimuli. Kuroda et al. [10] reported on this survey. The second experiment, called "Survey 2," was carried out in 2018. This was the main study, with the stimulus set expansed to 300 with some overlap with Survey 1. Samples of the used stimuli are presented in Table 1.

Survey 2 had two phases, Phases 1 and 2, and collected responses from 1,880 participants in total. ${ }^{1)}$. Phase 1 was a small scale paper-based survey, to which 201 partici-
^{1)}$ The response data we used for analysis is freely available at https : // kow-k.github.io/Acceptability-Rating-Data-of-Japanese/, but you need to register to use it.
}

pants (basically college or university students) contributed responses. This was comparable to the pilot study done in 2017. Phase 2 was a large scale web survey to which 1,679 participants contributed responses. They were significantly more varied in attributes and we would safely state responses obtained were randomized enough.

Kuroda et al. [11] analyzed the data at Phase 2 of Survey 2 and reported the results of Hierarchical Clustering and PCA applied to it, excluding data at Phase 1. See Appendix A for relevant information. The current paper serves as a supplement to the previous report in that it tries to directly simulate human's acceptability judgments rather than simply clustering obtained data. To this end, we conduct two analyses. In Analysis 1, we use Semi-supervised Local Fisher Discriminant Analysis (SELFA) [20] to see how clusters obtained are likely to be related to acceptability judgments. This analysis is exploratory in that it does not simulate acceptability judgments directly. In Analysis 2, we try a direct simulation of human categorical judgments using logistic regression [14] to yield a promising result. But it comes with a surprising suggestion that acceptability judgement is better characterized as a social decision rather than a personal/private one, against the popular view.

## 2 Partitioning responses by SELFA

In Kuroda et al. [11], 300 stimuli were analyzed using Hierarchical Clustering and PCA. See Figure 6 for relevant information. Results like this are undoubtedly useful, but you would argue they are not enough, because they do not tell us what acceptability judgment is. Explicit modeling of it is missing. To this end, we need to implement a function that maps, or "interprets," our data at hand to acceptability judgments, where $P=\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$ are explanatory variables, and labels $\mathbf{A}$ (cceptables) and UNA(cceptables) (plus undecidables $(\mathbf{X})$ if necessary) are objective variables.

## 2.1 Metrics to evaluate

Our data did not have "acceptable" and "unacceptable" labels as such, though explicit modeling requires them. Thus, we need to generate them, but no obvious way is known.

Table 1: Sample stimuli in gr0

We were forced to try out whatever metrics we could think of, ending up with the ones in (1).

(1) a. Condition 0 : If $p[0,2)>0.5$ then A; else UNA.

b. Condition 1: If $p[0,2)>\{0.6,0.72,0.85, \ldots\}$ then A; else UNA.

c. Condition 2: If $p[0,2)>p[1,3)$ AND $p[1,3)>$ $p[2, \infty)$ then A; else UNA.

d. Condition 3: If $p[0,2)>0.5$ then $\mathbf{A}$; if $p[2, \infty)>$ 0.5 then UNA; else $\mathbf{X}$.

e. Condition 4: If $p[0,2)>0.5$ then $\mathbf{A}$; if $p[1,3)>$ 0.5 then UNA; else $\mathbf{X}$.

f. Condition 5: If $\operatorname{MAX}(p[0,2), p[1,3), p[2, \infty))=$ $p[0,2)$ then $\mathbf{A} ;$ if $\operatorname{MAX}(p[0,2), p[1,3), p[2, \infty))$ $=p[2, \infty)$ then UNA; else $\mathbf{X}$.

g. Condition 6: If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3)$, $p[3, \infty))=p[0,1)$ then $\mathbf{A}$; if $\operatorname{MAX}(p[0,1)$, $p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; else $\mathbf{X}$.

h. Condition $6 r$ : If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3)$, $p[3, \infty))=p[0,1)$ then $\mathbf{A}$; if $\operatorname{MAX}(p[0,1)$, $p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; if $p[1,2)>p[2,3)$ then $\mathbf{X}$; else $\mathbf{Y}$.

where $p[i, j)$ means density over ranges from $i$ next to $j$.

(1)a,b,d,e are simple dichotomies with particular ad-hoc thresholds (e.g., 0.5, 0.6, .. ). In contrast, (1)c, $\mathrm{d}-\mathrm{h}$ are not simple dichotomies, involving $\mathbf{X}$ (and $\mathbf{Y}$ ) for buffering, and more importantly they are distribution-aware ones in that $\operatorname{MAX}(. .$.$) is used for decision.$

The metrics in (1) are evaluated using Semi-supervised Local Fisher Discriminant Analysis" (SELFA) [20] ${ }^{2)}$ to evaluate the models in (1). ${ }^{3)}$ We selected this for two reasons: 1) it is resistant to outliers and avoids over-fitting, and 2) it allowed us to seek the best mix of supervised and unsupervised classifications.

To generate simulated "(in)correct judgments," we assigned A, X, and UNA to Clusters 1, 2 and 3 in Figure 6.
^{2)}$ An $R$ package ldfa [21] was chosen for this purpose.

 }^{3}$ SELFA, like LFDA, has a parameter $r$ to specify the dimensionality of reduced space. $r=3$ gave us the most reasonable results.

Figure 1: SELFAs (Conditions 0 and 1) of 300 stimuli

Figure 2: SELFA (Conditions 2 and 3) of 300 stimuli

Figure 3: SELFA (Conditions 4 and 5) of 300 stimuli

Figure 4: SELFAs (Conditions 6 and 6r) of 300 stimuli

Table 2: correct counts and match rates for Conditions

Figure 1 shows the SELFAs for Conditions 0 and versions of Condition 1. Figure 2 shows the results for Conditions 2 and 3. Figure 3 shows the results for Conditions 4 and 5. Figure 4 shows the results for Conditions 6 and $6 \mathrm{r}$.

Note that the boundary between Clusters 1 and 2 in Figure 6 in Appendix A does not fit the A/X/UNAboundaries in Figures 1 and 2, suggesting that simple threshold-based partitioning is inadequate. The results for Conditions 2 and 3 look better but not drastically. The results for Conditions 4 and 5 in Figure 3 look good, and so do the results for Conditions 6 and 6r in Figure 4. The problem here is that it is hard to select the best result if there is one.

## 2.2 Simple evaluations of SELFA results

Results in Figures 1-4 are informative, but they cannot be quantitatively assessed. To make our assessment quantitative, we tentatively measured the "correctness" of each metric in (1) by measuring the match rates between simulated "judgments" and cluster assignment interpretations $1 \rightarrow \mathbf{A}$, $2 \rightarrow \mathbf{X}$, and $3 \rightarrow$ UNA.

Table 2 shows its results. It says that in terms of simple match rate, Condition $\mathrm{C} 4 r 3$ performed the best, and Condition $\mathrm{C} 4 r 2$ the next best. Conditions $4 r N$ are variants of Condition 4 in (1e) with threshold values other than 0.5 determined by manual tweaking. Specifically,

a. Condition $4 r 2$ : If $p[0,2)>0.8$ then $\mathbf{A}$; if $p[1,3)>0.60$ then UNA; else $\mathbf{X}$.

b. Condition 4r3: If $p[0,2)>0.8$ then $\mathbf{A}$; if $p[1,3)>0.65$ then UNA; else $\mathbf{X}$.

These results are far from definitive, however. Note that correctness thus defined is artificial, if not arbitrary. While we do not believe that this setting is seriously unrealistic, but we are not certain how much truth it can capture. Definitely, a better modeling is in need.

## 3 Logistic regression

## 3.1 Analysis 2 and its results

Our strong motivation in the current research is to see if we can construct a reasonable model for acceptability judgment as as a categorical decision. SELFA successfully link clustering results to the models in (1) but does not give us exactly what we need. We need to take another route.

For this purpose, logistic regression [14] was applied to the discrimination models listed in (1). This was done for two purposes. First, we had the impression that Condition 6(r) gave a better fit qualitatively and wanted to see whether our intuition was correct or not. Second, we wanted to see if parameter-free models could work, because $\mathrm{C} 4 r 2$, and $\mathrm{C} 4 r 3$, high performers, require manual parameterization for thresholds.

Logistic regression was performed using glm package for $R$ with the formula as follows: ${ }^{4)}$

(3) decision $\sim p[0,1)+p[1,2)+p[2,3)+p[3, \infty)$ where decision $=1.0$ if label is $\mathbf{A}$ (or $\mathbf{X}$ ); otherwise, decision $=0.0$.

Roughly, the formula in (3) checks if probability $p$ of $\mathbf{A}$ (with or without $\mathbf{X}$ ) against probability $(1-p)$ of UNA is predictable from the following estimate:

$
\begin{aligned}
& \ln \frac{p}{1-p}= \\
& c+w_{1} p[0,1)+w_{2} p[1,2)+w_{3} p[2,3)+w_{4} p[3, \infty)
\end{aligned}
$

where $c, w_{1}, \ldots, w_{4}$ are given in Table 3. The left-hand side is the log odds of $p$ against $(1-p)$ and the right-hand side is a linear combination of $p[0,1), p[1,2), p[2,3)$ and $p[3, \infty)$ with appropriate weights and an intercept $c$.

Two settings were tried out for comparison. In one setting, only $\mathbf{A}$ was set to 1.0, and both $\mathbf{X}$ and UNA were into 0.0. In another, $\mathbf{A}$ and $\mathbf{X}$ were converted into 1.0 and only UNA was into 0.0 , on interpreting $\mathbf{X}$ as part of $\mathbf{A}$.

In the first setting, none of the 11 conditions, $\mathrm{C} 0, \mathrm{C} 1, \ldots$, $\mathrm{C} 6, \mathrm{C} 6 r 1$, reached convergence. In the second, only C6 and C6 1 reached convergence ${ }^{5)}$ with the estimation presented in Table 3, and the others all failed. This indicates that $\mathbf{X}$ needs to be treated as A for convergence. But admittedly this contradicts with the relative closeness of Clusters 2 and 3. We will return to this in $\S 3.2$.

Table 3: Coefficients for C6 and C6r 1 (significance codes:

In this regression, $w_{4}$ turned out to be ineffective. In other words, the probability of $\mathbf{A}$ can be predicted from three values $p[0,1), p[1,2)$ and $p[2,3)$ only.
^{4)}$ Used link function is binomial.

 }^{5)}$ Incidentally, the fittings of C6 and C6r 1 returned the same result.

Figure 5: Predicated acceptabilities by Condition 6(r1)

To give readers a good grasp of the result, Figure 5 plots the predicted values (between 0.0 and 1.0) for sampled 100 sentences. ${ }^{6)}$

Quite interestingly, only C6 and C6r1 reached convergence and all other Conditions, including $\mathrm{C} 4 r 2$ and $\mathrm{C} 4 r 3$, high performers in simple metric, failed to converge. This result is noteworthy, because it suggests that effectiveness in terms of simpler measures can be faulty.

## 3.2 Discussion for Analysis 2

The status of Cluster 2 (in red, of $\mathbf{X}$ stimuli) in Figure 6 in Appendix A is troublesome. Are they part of A or UNA? This is a choice of theoretical importance that makes a difference. In Analysis 2, we compared two cases where $\mathbf{X}$ is included into UNA and alternatively it is included into $\mathbf{A}$. The result revealed that the second treatment was necessary for convergence. Though it is far from definitive, it suggests that the best way to treat $\mathbf{X}$ is to include it into $\mathbf{A}$.

But this conclusion cannot be debate-free, because in terms of closeness of clusters, Clusters 2 and 3 form a larger cluster. So, the result is fairly puzzling, making the obtained solution look somewhat opportunistic. We admit that we can offer no good explanation for this.

Whatever status Cluster 2 has, though, it would not be a serious problem as far as we consider the preconditions for convergence of logistic regression. Under logistic regression, only Conditions 6 and $6 r 1$ converged and all other conditions failed. Given this result is not accidental, it poses interesting theoretical implications for the question of what mental process acceptability judgement demands.

Note that Conditions 6(r1) uses MAX(...) function. Because $\mathbf{X}$ is included in $\mathbf{A}$, Condition 6(r) is equivalent to:
^{6}$ Sentences were sampled because a full plot of 300 predicated values was very likely be unreadable.
}

(4) If $\operatorname{MAX}(p[0,1), p[1,2), p[2,3), p[3, \infty))=p[3, \infty)$ then UNA; else A.

This evaluation metric is "collective," in the sense of "collective intelligence" [13, 18], or at least "population-aware," in that it is density-based. But how can a judgment be population-aware? What is crucial is that each rater should "know" how others respond, or at least they should be able to relativize their own ratings to those by other raters, most likely performing a kind of mental simulation of judgements by others. Why is this so? Because, otherwise, higher function like MAX (...) would not be unnecessary.

If this conclusion is correct, it suggests that acceptability judgment is not only a fairly complex decision, but also a "socialized" decision, we would like to claim. This conclusion is debatable but intriguing enough from the perspective of language acquisition in social context [22] and perspective of cultural inheritance $[3,7,16,23]$.

Another important implication is that acceptabilities, as something measurable, are not an intrinsic property of stimuli, i.e., sentences. Rather, they are a property "distributed" over a population of speakers. This likely to debunk the methodological basis of a certain brand of linguistics that do not see acceptabilities in this way.

## 4 Conclusion

Two models for acceptability judgment as a categorical decision were considered in this paper. One is an indirect modeling of it using SELFA. Another was a direct modeling of it using logistic regression. The second modeling turned out to be successful, suggesting that it is possible to simulate human's acceptability judgments, at least in a rudimentary form. Moreover, and theoretically quite interestingly, successful simulation requires population-aware metrics rather than simple threshold-based ones. This is a bald conjecture, but is supported by the analyses presented in this study.

But this conclusion also begs questions: 1) given acceptability judgement is a part of our "collective intelligence," how do individuals internalize it? We admit that this question is open to further research and theorizing.

## Acknowledgements

This research was supported by JSPS through Grant-in-Aid (16K13223).

We are grateful for Shunji Awazu (Jissen Women's University), Asuka Terai (Future University of Hakodate) and Minoru Yamaizumi (Osaka University), who kindly helped our execution of Phase 1 of ARDJ Survey 2.

## References

[1] Jonathan Baron. Thinking and Deciding. Cambridge University Press, 2000 [1988, 1994].

[2] H. W. Bierhoff and R. Klein. Expectations, confirmation bias, and suggestibility. In V. A. Gheorghiu, et al., editors, Suggestion and Suggestibility, pp. 337346. New York: Springer, 1989.

[3] Robert Boyd and Peter J. Richerson. Culture and the Evolutionary Process. University of Chicago Press, 1988.

[4] Holly P. Branigan and Martin Pickering. An experimental approach to linguistic representation. Behavioral and Brain Sciences, 40, 2017.

[5] Wayne Cowart. Experimental Syntax: Applying Objective Methods to Sentence Judgments. Sage Publishing, Inc., 1997.

[6] Evidence-based Medicine Group. Evidence-based medicine: A new approach to teaching the practice of medicine. Journal of the American Medical Association, 268(17):2420-5, 1992 (Nov 4).

[7] Joseph Henrich. The Secret of Our Success: How Culture Is Driving Human Evolution, Domesticating Our Species, and Making Us Smarter. Princeton University Press, 2017. [邦訳: 文化がヒトを進化させた: 人類の繁栄とく文化-遺伝子革命>. 白揚社, 2019.].

[8] David Isaacs and Dominic Fitzgerald. Seven alternatives to evidence based medicine. The British Medical Journal, 319(7225):1618, 1999. EBM.

[9] Joshua Klayman. Varieties of confirmation bias. Psychology of Learning and Motivation, 32:384-418, 1995.

[10] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Development of Acceptability Rating Data of Japanese (ARDJ): An initial report. In Proc. of the 24th Annual Meeting of the Association for NLP, pp. 65-68, 2018.

[11] Kow Kuroda, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. Insights from a large scale web survey for Acceptability Rating Data for Japanese (ARDJ) project. In Proc. of the 25th Annual Meeting for the Association of NLP, pp. 253256, 2019.

[12] Sebastien Le, Julie Josse, and Francois Husson. FactoMineR: An $\mathrm{R}$ package for multivariate analysis. Journal of Statistical Software, 25(1):1-18, 2008.
[13] P. Levy. Collective Intelligence. Basic Books, 1997.

[14] Scott Menard. Applied Logistic Regression Analysis. Sage Publications, 2nd edition, 2001.

[15] Gary Dean Prideaux, Bruce L. Derwing, and William J. Baker. Experimental Linguistics: Integration of Theories and Applications. John Benjamins, 1979.

[16] Peter J. Richerson and Robert Boyd. Not By Genes Alone: How Culture Transformed Human Evolution. University of Chicago Press, 2008.

[17] Carson T. Schütze. The Empirical Base of Linguistics: Grammaticallity Judgments and Linguistic Methodlogy. Language Science Press/University of Chicago Press, 2016 [1996].

[18] Steven Sloman and Philip Fernbach. The Knowledge Illusion: The Myth of Individual Thought and the Power of Collective Wisdom. Picador, 2017.

[19] Jon Sprouse. Three open questions in experimental syntax. Linguistics Vanguard, 1(1):89-100, 2015.

[20] Masaru Sugiyama, Tsuyoshi Ide, Shin'ichi Nakajima, and Jun Sese. Semi-supervised local Fisher discriminant analysis for dimensionality reduction. Machine Learning, 78(35), 2010.

[21] Yuan Tang and Wenxuan Li. LFDA: An R package for local fisher discriminant analysis and visualization, 2016.

[22] Michal Tomasello. Constructing a Language: A Usage-based Theory of Language Acquisition. Harvard University Press, revised edition, 2005.

[23] 田村 光平. 文化進化の数理. 森北出版, 2020.

## A Clustering and PCA of sentences

## A. 1 Collection of ratings/responses

On acceptability rating, participants were asked to choose one of the four choices in (5).

（5） 0. 違和感がなく自然に理解できる文 [natural and easy to understand]; 1. 違和感を感じるが理解可能な文 [more or less deviant but comprehensible]; 2. 違和感を感じて理解困難な文 [deviant and difficult to understand]; 3. 不自然な理解不能な文 [quite unnatural and incomprehensible]

Prefixes 0, 1, 2 and 3 are added to indicate the degrees of deviance, though they need not be on a single scale.

Outlier responders were filtered out using standard deviation $(0.6<\mathrm{sd}<1.5)$ and Mahalanobis distance $(<0.95)$. See Kuroda et al [11] for relevant details.

## A. 2 Standardizing responses

Table 4: Frequency table by ranges (6 samples)

Table 5: Density table by ranges (6 samples)

Note that gr0, .., gr9 are different data sets, and cannot be directly compared. Comparison of them requires standardization. All groups were collapsed and responses were counted for each of the four rating ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty){ }^{7)}$ Table 4 shows 10 samples of this process. These raw counts were then converted into proportions to item-wise sums. This gave us density array, $P=\langle p[0,1), p[1,2), p[2,3), p[3, \infty)\rangle$, as exemplified in Table 5. The arrays of ranged response probabilities in this format are to be called "response potentials." They are commensurable among groups with different sets of responders, and were used as encodings of the stimuli in the following multivariate analyses. ${ }^{8)}$
^{7)}$ Note that allowed response values were $0,1,2$, and 3 . These numbers are reinterpreted as ranges $r[0,1), r[1,2), r[2,3)$, and $r[3, \infty)$, respectively, where $r[i, j)$ means a sum of response counts between $i$ and $j$ with $i$ included and $j$ excluded.

 }^{8)}$ Another route to follow is data imputation in which missing values are

## A. 3 Hierarchical clustering and PCA

Hierarchical clustering is a popular method for grouping data. Principal Component Analysis (PCA) is a popular method for revealing a simple geometry in the data. An $\mathrm{R}$ package FactoMineR [12] was used to PCA and Hierarhical Clustering in combination.

Figure 6: HCxPCA of combined responses for gr0-gr9

Building on standardized responses, a multivariate analysis was conducted where PCA was combined with hierarchical clustering, resulting in visualization in Figure 6. In this, we recognize three major classes of stimuli: clusters 1 (in black, of supposedly "acceptable" stimuli), cluster 2 (in red, of undecidable stimuli) and cluster 3 (in green, of supposedly "unacceptable" stimuli). Clusters 2 and 3 form a larger cluster, contrasting with cluster 1.

## A. 4 Interpreting PCs

Table 6: Effects of principal components

Table 6 gives the contribution of the three factors identified by PCA. PC 1 roughly corresponds to the polar opposition of $r[0,1)$ and $r[2,3)$. PC 2 is mildly encoded by $r[1,2)$, and weakly by $r[3, \infty)$.

The interpretation of PC1 is straightforward. It encodes the degree of deviance (read from right to left), or of acceptability (read from left to right). In contrast, the interpretation of PC2 is not as simple as PC1. A few likely interpretations come to mind, but the most convincing one would be that PC2 encodes semantic and/or syntactic complexity that often blurs the judgment.

imputed. We made a few attempts but it turned out that our data have too many unobserved data points to be handled successfully.


# 相互排他性を考慮した深層強化学習による幼児語彙獲得モデル

藤田守太
電気通信大学
fujishu0407@uec.ac.jp
}

南泰浩
電気通信大学
minami.yasuhiro@is.uec.ac.jp
}

田口真輝
電気通信大学
taguchi@is.uec.ac.jp

## 1 はじめに

言語処理の分野において, 語とその実態を結び付 ける記号接地問題 [1] がある. 現在, 多くの認識課題 では, 対象の物体または行動（これを以降実態と呼 ぶ）に, 語が与えられ, その語に対して, 人が実態の 特徵量を与えることにより, 実態を結び付けている. そのため, 語と実態の特徴群を機械が自律的に結び つけることは出来ていない. 機械が語と特徴群を結 びつけるためには, 機械が実世界の環境から自律的 に語に対する特徵群を獲得していく必要がある.こ のような課題に対するアプローチとしてロボットに よる動作と言語のシンボルグラウンディング [2] や 複数のロボットによる語彙共有 [3] など様々な研究 がある.しかし,これらの研究は心理学的に観察され る様々な事象を必ずしも満たすものとはなっていな い. 本研究では, 記号接地問題に対して, 人間が行っ ている語彙獲得機構に基づき, 記号接地問題に取り 組むことが記号接地問題解決へのステップになると 考えている. また,このアプローチは心理学分野の語彙獲得機構解明への糸口にもなる. しかしながら, 事前知識のない状態で機械に人間と同様のプロセスを 経る幼児語彙獲得モデルの研究は十分に成果を上げ ているとは言えない.このような状況の中で心理学的要因に基づいて幼児の語彙獲得の仕組みをニュー ラルネットワークと強化学習を組み合わせてモデル 化した研究 [4], さらにこれを拡張させ現実のデータ で行った研究 [5]が提案されており, 新たな研究領域 を確立しつつある.しかし,これらの研究では一度に 幼览の目に入る実態（ここでは物体）を一つしか想定していない. 実際には, 幼坚が同時に目にする物体 は複数あり, その中から, 幼坚は対象物体を検出し，語と意味を結びつけている. 本研究では, 幼児のこの 機構を実現するため, 複数の物体を提示した状態で，心理学的要因を考慮した幼児語彙獲得モデルを構築 する.

## 2 幼児の心理学的要因

現実世界で語の意味を推論する際には, 膨大な事例が必要となる [6]. しかし, 幼览は少ない事例で, こ れらの語の意味を正確に推論し, 語彙を獲得するこ とが可能である.このことから幼坚が語の意味を推論する際に何かしら幼览が得る語の意味の可能性に 制限を加える暗黙的知識の存在を仮定する仮説が提案されている [7]. そこで本章では, 幼児語彙獲得モ デルにおいて見られる心理学的要因についてみて いく.

## 2.1 共同注視

共同注視とは, 非言語的コミュニケーションの一 つであり, 親, あるいは, 幼览が何かに注目している ときにもう一方も同じ対象に注目する行動である.幼览の語彙獲得は共同注視によって親と幼坚が共通 の対象に対して注目することで行われる. また, 母親 が子供の注意を追うことで語彙の獲得が加速される [8][9].

## 2.2 意図の理解

共同注視の節で母親が幼览の注意を追うことと語彙数の間には強い相関があると述べたが, 幼児は語彙獲得において受動的な存在であるわけではない. Baldwin の実験 [10] では幼児は親の意図について積極的に理解しょうと試みており, 親と幼坚による相互行為によって語彙獲得は進められていることが示 された. このように幼览の語彙獲得において, 幼览が 親の意図を理解することは重要な意味を持つ. 実際 に Tomasello らが行った探し物に関する実験 [11][12] においても, 親が対象物の探し物ゲームをしている こと, 親が怪訝な顔や微笑みで幼览の回答の正解不正解を表現していることなど親の意図を理解するこ とで, 明示的に対象物と語を示さなくても幼児が未知の語を獲得するなど語彙獲得において重要な役割 を果たしている。

## 2.3 バイアスの獲得

バイアスと呼ばれる暗黙的な知識には名詞を優先的に学習する名詞バイアス, 形状に注目し, 形状が似 ているものを同じ物体であると見做す形状バイアス など様々なバイアスが存在する.これらは幼坚が語彙を獲得する際に形成されており, 推論に制限を与 えることにより, 語彙獲得を容易にする働きがある.

## 2.4 相互排他性

相互排他性とは一つの物体に対して,一つの語し か付与されないという暗黙的知識のことである. 幼児は名前の知っている物体と未知の物体がある状況 で未知の語を聞くと, それが未知の物体に付けられ た語だと解釈する [14]. これは例えば, りんごを知っ ている幼児が「お腹がすいたのでへクを取って」と 言われた際に, 未知の物体である口紅をとるといっ た非常に強力な制約である [15].

## 3 提案手法

本研究では, 複数の物体を提示しても語彙が獲得 できるモデル, 2 章で暑かった幼児の心理学的要因 を考慮した幼児語彙獲得モデルで実現する. 共同注視, 意図の理解, バイアスの獲得について考慮したモ デルを 3.1 で説明する.このモデルを複数物体の提示でも動作するよにするため, 相互排他性を考慮し た機構を導入する. それを 3.2 で説明する.

## 3.1 深層強化学習による語彙獲得モデル

ここでは田口らの語彙獲得モデルに基づいて説明 を行う [4][5]. 本研究において語彙獲得は親の意図の 理解を介して行われる. そこで幼坚による語の選択 を出力, また, 親からの意図を報酬という形での母子相互作用を考える. 具体的なモデルの構造を図 1 に 示す.

まず, 共同注視により語彙獲得が始まり, 初期状態 $s_{0}$ を心的状態を表す LSTM に入力し, その出力結果 をDQN1に入力として与える.これにより, DQN1 は どの特徴を選択するかを出力した後, LSTM は状態 $s_{1}$ の特徵情報を更新し,この状態を次の LSTM に入力し, その出力結果を DQN2 の入力として与えるこ とで, DQN2 は語の選択を行う. この処理を語が一致 するか定められた回数まで繰り返す.

図 2 は幼児語彙獲得モデルの一連の語彙獲得の流 れであり, 語彙獲得のアルゴリズムを以下に示す.
まず, 語彙獲得させたい物体を選択, 幼坚語彙獲得 モデルが親の意図を理解し,未知の物体に共同注視 することで語彙獲得が始まる. (共同注視, 親の意図 に関する機構に関しては, [4][5] を参照のこと.ここ では簡単に説明する.) 幼児語彙獲得モデルはどの特徵を取得するのか深層強化学習を用いて選択し, 特徵から未知の物体の特徵量を取得する. その後, 幼坚語彙獲得モデルは取得した特徵量から深層強化学習 を用いて語候補から語を決定する. 幼坚語彙獲得モ デルの回答が正解ならば親は售めるなどの報酬を，不正解ならば顔を歪めるなどの負の報酬を与える. これを正解するか決められた回数まで繰り返す.

本研究で構築する幼児語彙獲得モデルは初期状態 では事前知識を持たず，ランダムな選択をするが語彙獲得が進むにつれて, 語彙を決定するのに適した 暗黙的知識を獲得する。（ここでは、形状バイアスを 想定）

図 1 幼肾語彙獲得モデルの構造

図 2 語彙獲得の一連の流れ

## 3.2 相互排他性を説明する機構

本研究では幼背語彙獲得モデルに 2 つの物体を提示, それぞれの特徵量を取得し各物体について既知 か未知かを判断する機構を導入することで幼児語彙獲得モデルに相互排他性をを説明する機構を導入す る. アルゴリズムは以下である.
1. 2 つの物体をそれぞれ幼児語彙獲得モデルに提示し, 提示された物体についてどの語であるか 推定を行う。

2. 親から語を取得し, 語について DQN2 の出力が 高い物体を選択する。

3. 選択された物体については語を明示的に示され た状態で学習を行う。

4. 選択されなかった物体については 3.1 章の学習 を行う。

また, 具体例としてオレンジについての相互排他性を図 3 に示す。

物体 1 はリンゴとして既知であり,物体 2 はオレ ンジだが未知である.この場合に幼览語彙獲得モデ ルは物体 1 をリンゴとして認識するためにオレンジ である DQN2 の出力が低くなる。.よって未知であ るオレンジを選択する.

図 3 相互排他性による判定

## 4 実験

相互排他性を用いないモデルをベースライン [5] として, 提案手法の評価実験として以下の 3 つの実験を通して検証していく。

・ベースラインとの比較

・3物体を提示した状態での語彙獲得

・語候補が 15 物体での語彙獲得

## 4.1 データベース

本研究は実世界との記号接地を目的としている. そこで幼児語彙獲得モデルに対して実データを導入する手法として田口の手法 [5] を用いる. 特徴量 の数値化について色特徴量にはカラーヒストグラ ム, 形特徴量には HOG, 味特徴量には文部科学省に よって作成された日本食品標準成分表, 動き特徴量 には Dense Trajectories をそれぞれ用いて特徴量とす る.これらの特徴量を各物体毎に取得しデータベー スとして扱う。

また, 物体数に関して 2 個の食品, 3 個の非食品の 合計 5 物体のデータセットと 10 個の食品, 5 個の非食品からなる 15 物体のデータセットを用意した。表 1 語候補

## 4.2 実験条件

2 物体での実験については「幼览モデルが物体に 対して事前に与えられた語候補の内のいずれかを答 える」を 1 ステップとし, 「モデルが 2 つ物体に対し てそれぞれ正解の語を答えるか, ステップ数が打ち 切り回数を超える」を 1 エピソードとし, エピソー ド数を 15000 回, 打ち切り回数を 5 回とした.

また, 3 物体の実験については「幼児モデルが物体 に対して事前に与えられた語候補の内のいずれかを 答える」を 1 ステップとし, 「モデルが 3 つ物体に 対してそれぞれ正解の語を答えるか, ステップ数が 打ち切り回数を超える」を 1 エピソードとし, エピ ソード数を 10000 回, 打ち切り回数を 5 回とした.

それぞれ以上の条件で 50 エピソード毎にテスト として 50 エピソードでの正答率について測定し, 提案手法とベースラインの比較を行った。

## 4.3 ベースラインとの比較

ベースラインと提案手法を比較することで相互排他性の有無が語彙獲得に与える影響についてみる。

## 4.3.1 実験結果

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 4 に示す.

図 4 から提案手法が正答率で大きく上回っており，相互排他性が有意に働いていることが確認できた。

図 4 提案手法とベースラインの正答率

## 4.3.2 バイアスの獲得

バイアスの獲得は人間の語彙獲得機構の再現にお いて重要な要素である. そこで特徴の選択傾向を見 ることでバイアスの取得の有無を見る. 特徴の選択回数を確率に直し, ヒートマップに視覚化したもの が図 5 になる. 1000 回時点では味と動きの特徴量が 同じ程度で選択されており,ランダムな選択になっ ている.しかし, 5000 回時点では最初の特徵選択で は味が選択されるようになった. また, 2 回目以降の 特徴選択に関しても 1 回目の選択が固定されるにつ れて固定されていった. 以上のことから幼児語彙獲得モデルが最初はランダムな特徴選択を行っていた が, 語彙獲得が進むにつれて特徵選択に優先度が付 き規則的な特徴選択を行っていることが分かった。 これは, 親が名詞を提示し続けたこと（親の意図）に より, 名詞を判別するための暗黙的な知識（バイア ス）を獲得したことに他ならない.

図 5 左から 1000, 5000, 15000 回時点での特徵選択確率

## 4.43 物体を提示した状態での語彙獲得

相互排他性による語彙獲得が 2 物体の時に限定さ れている可能性があるため, 3 物体を提示した場合 についても成り立つことを確かめる。

## 4.4.1 実験結果

提案手法を用いた幼坚語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 6 に示す.

図 6 から提案手法が正答率で大きく上回ってお り, 3 物体に関しても相互排他性が有意に働いてい ることが確認できた。

図 63 物体を提示した提案手法とベースラインの正答率

## 4.5 語候補が 15 物体での語彙獲得

上記の実験では語候補は 5 個に限定されていた。 しかし, 実際の世界ではより多くの語を獲得する. そ こで語候補を増やした場合の動作についても検証し ていく.

提案手法を用いた幼児語彙獲得モデルとベースラ インのエピソード数とテストの正答率を図 7 に示す.

図 7 からベースラインが語彙獲得出来ていないの に対して，提案手法は語候補が増加した影響を受け ずに語彙獲得していることがわかる.これは既知の 物体が出来た時に相互排他性に関する機構によって 未知の物体の語彙獲得が行われたからだと考えら れる。

図 7 語候補が 15 物体の場合の 提案手法とベースラインの正答率

## 5 まとめと今後の展望

本研究では相互排他性を説明できる機構を提案 し, 従来の言語獲得機構に導入し, それを用いること により複数物体を提示しても学習が進むことを確認 した. また, 3 物体以上の場合や物体数を増やした場合にも同様にベースラインに比べて有効に語彙獲得 が行われることが確かめられた。

複数物体を同時提示しても,相互排他性を考慮す ることで, 従来の語彙獲得モデルが機能することが 確認できた. 我々は,このような心理学的な機構が学習の過程で, 順次獲得されていくと考えている.今後, 相互排他性がどのように獲得されていくのかも 説明できるモデルの構築を目指す。

## 参考文献

[1] Harnad, S. The symbol grounding problem. Physica D:Nonlinear Phenomena, 42(1-3), 335-346, 1990.

[2] 小林一郎. 動作と言語のシンボルグラウンディ ングへの取り組み：自動運転車の対話的操作

を目指して. 言語処理学会第 26 回年次大会, A2-4, 2020.

[3] Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, Tadahiro Taniguchi. Symbol emergence as an interpersonal multimodal categorization. Frontiersin Robotics and AI, Vol.6, p.134, 2019.

[4] 野口輝. ニューラルネットワークと強化学習を 用いた幼児語彙獲得のモデル化. 電子情報通信学会技術研究報告, 信学技報 Vol. 117(420), pp. 59-64, 2018.

[5] 田口真輝. 実データを用いるニューラルネット ワーク強化学習による幼児語彙獲得モデル. 電気通信大学コンピュータサイエンスプログラ 么卒業論文, 2019.

[6] Willard Van Orman Quine. Word and Object. MIT Press, 1960.

[7] 今井むつみ.レキシコンの発達 : 子どもはどの ようにしてことばを学習するか. 情報処理学会研究報告音声言語情報処理, Vol.2000, No. 15 pp.63-68, 2000.

[8] Michael Tomasello, Michael Jeffrey Farrar.Joint attention and early language child development. Vol.57, No.6, pp.1454-1463, 1986

[9] Malinda Carpenter, Katherine Nagell, Michael Tomasello, George Butterworth, Chris Moore. Social cognition, joint attention, and communicative competence from 9 to 15 months of age. Monographs of the Society for Research in Child Development, Vol. 63, No. 4,pp. 1-174, 1998.

[10] Infants' contribution to the achievement of joint reference. Child Development, Vol. 62, No. 5, pp. 875890, 1991.

[11] Michael Tomasello, Randi Strosberg, Nameera Akhtar.Eighteen-month-old children learn words in non-ostensive contexts.Journal of Child Language.Volume23, pp.157-176, 1996.

[12] Nameera Akhtar, Malinda Carpenter and Michael Tomasello.The role of discourse novelty in early word learning. Child Development, Vol.67, No. 2 pp.635-645, 1996.

[13] Ellen M. Markman. Categorization and naming in children : Problems od induction. MIT Press, 1989.

[14] Haryu, Etsuko. Effects of knowledge about crosslanguage equivalents on children's use of mutual exclusivity in interpreting novel labels.Japanese Psy- chological Research, Volume40, No.2, 82-91, 1998.

[15] 針生悦子. 幼坚における事物名解釈方略の発達的検討〜相互排他性と文脈の利用〜. Japanese Journal of Educational Psychology, 39, 11 20, 1991.


# 児童作文の評価に向けた脱文脈化観点からの検討

田中弥生
神奈川大学・国立国語研究所
yayoi@ninjal.ac.jp
佐尾ちとせ
関西学院千里国際中等部・高等部
csao@senri.ed.jp
宮城 信
富山大学
miyagi@edu.u-toyama.ac.jp

## 1 はじめに

作文はこれまで、使用語彙や漢字の割合などの文字表記、文の種類や構造など様々な観点から評価さ れてきた $[1,2]$ 。本研究は児童の文章作成能力の評価等の包括的研究に向けたパイロットスタディの位置付けで、児童によって書かれた作文の、テーマに よる違いと学年による違いを、脱文脈化程度の観点 からどのように捉えられるか検討するものである。

脱文脈化程度とは、コミュニケーションが行わ れている「今・ここ・わたし」の時空とその発話内容との、時間的・空間的距離の程度をさす。教室授業では、情報の “脱文脈化” と “文脈化” という二 つの知的作業を子供達に課しているという [3]。ま た、「学校での多くの学びは、実生活の状況とは切 り離され、脱文脈化された概念的な知識の獲得にむ けられ」「日常の生活文脈に密着した状況的な思考 から、日常の生活文脈から切り離された抽象的で 無性格的な思考に慣れることが重要な課題となる」 ( $[3,33])$ とされる。これを作文にあてはめて考える と、学年があがるとともに、脱文脈化した表現を使用できるようになることや、脱文脈化した表現と文脈化した表現を操作できるようになることが考えら れる。例えば、餅つきという行事を「年末に僕は餅 つきをしました」という文脈化した個人的な体験と して述べることも「僕たちの町内では毎年餅つきを 行います」のように脱文脈化した表現で示すことも できる。さらに「餅つきは日本の伝統行事の一つで す」のようにより一般化された知識として述べるこ とも可能である。このように必要に応じて伝えたい 情報を文脈化、あるいは脱文脈化させて文章を構成 していくわけである。

脱文脈化の観点からの分析には、修辞ユニッ
ト分析 ${ }^{1)}[6]$ の分類法を用いる。発話機能 (speech function)、中核要素 (central entity)、現象定位 (event orientation) の認定結果の組み合わせから修辞機能と 脱文脈化程度を知ることができ、談話や文章におい てどのような修辞機能が用いられているか、使用さ れている言語表現は脱文脈化程度が高いか低いか (「今・ここ・わたし」から遠いか近いか)、という観点からの検討が可能になる。これまで、成人や子供 の談話、ネット上の QA サイトなど様々なテキスト を分析し、児童生徒の作文については、脱文脈化の 様相と教員の評価の関連を検討している [7]。本発表では、児童によるテーマの異なる作文の修辞機能と脱文脈化指数の出現頻度を確認して、(1) テーマによる違いと学年による違いを検討し、(2)特徴的な作文について修辞機能と脱文脈化指数の現 れ方を検証する。

## 2 分析対象と分析方法

## 2.1 分析対象

分析対象は『児童・生徒作文コーパス』 $[8,2]$ に含 まれる作文で、作文のテーマは「ゆめ (夢)」(以下、夢作文とする。）と「ぼくの／わたしのがんばったこ と」（以下、がんばった作文とする。）である。この テーマは、先行研究を踏まえて、抽象的なものと生活文的なものということで決められ、「夢作文」に ついては、将来の夢と就寝時に見た夢のいずれかと いう指示は行なっておらず、様々な内容が収集され ている [2] という。本発表では、小学校低学年（1、 2 年)、中学年 $(3 、 4$ 年)、高学年 $(5 、 6$ 年) の $3 \supset$ の層に分け、「夢作文」と「がんばった作文」のそれ

1） Rhetorical Unit Analysis [4, 5] を日本語に適用したものであ る。

ぞれ 5 作文ずつ、計 30 作文を分析対象データとし て用いた。低学年、中学年、高学年の、「夢作文」及 び「がんばった作文」それぞれの平均文数（四捨五入）と同じ文数で、短単位数が平均（四捨五入）に 近い作文を選んだ。中学年では「夢作文」と「がん ばった作文」の両方で短単位数平均が同じ作文が 2 つあったため、文節数と文字数が平均に近い 1 つを 選択した。表 1 にデータの概要を示す。

表 1 分析対象データの概要（短単位と文字数は平均値）

## 2.2 分析方法

修辞機能と脱文脈化指数の確認には修辞ユニット 分析 ${ }^{2}$ [6] の分類法を用いる。以下に概要を示す3)。

## 2.3 分析単位への分割と種類の認定

分析単位の「メッセージ」は概放節に相当し、 4 種類に分類する。「位置付け」は分類対象外で、「拘束; 意味的従属」は単独では分類しない。「拘束；形式的従属」と主節の「自由」について、以下の分類を行う。本研究の分析対象の作文は、その層の平均文数と同じ文数のものを選んでいるが、文の中に 「拘束; 形式的従属」がある場合、 1 文が複数のメッ セージになるため、分析対象メッセージ数は作文に よって異なっている。

## 2.4 発話機能・中核要素・現象定位の認定 と修辞機能・脱文脈化指数の特定

メッセージの種類が「拘束; 形式的従属」及び「自由」と認定されたメッセージについて、発話機能・中核要素・現象定位を認定する。図 1 に示したよう に、これらの組み合わせから、修辞機能と脱文脈化程度が特定される。

図 1 と図 2 の数字は脱文脈化指数で、図 2 に示す ように，その会話の場（今ここ）に最も近い（脱文脈化指数が低い）ものから、最も遠い（脱文脈化指数が高い）ものまで配置されている。

発話機能は 2 種類に分類する。「その本を取って ください」のような会話当事者がいるその場での品

2) Rhetorical Unit Analysis [4, 5] を日本語に適用したものであ る。

図 1 発話機能・中核要素・現象定位からの修辞機能と脱文脈化指数

図 2 脱文脈化指数

物・行為の交換に関する提供・命令は「提言」で、 この段階で修辞機能【行動】と脱文脈化指数 $\left.<1>^{4}\right)$ が 特定される。情報の要求・提供は「命題」で、この 後の分類を行う。

中核要素は、話し手と発話内容の空間的距離を表 すもので、基本的に主語である5)。メッセージの送 り手や受け手のいる場に存在する人や事象が中核要素の場合は「状況内」で、下位分類として、メッ セージを伝達する当事者は「状況内; 参加」、伝達し ていない人や事象は「状況内; 非参加」に分類する。中核要素がその場に存在しない人や事象の場合は 「状況外小普遍的な性質などを述べているメッセー ジの主語は「定言」である。中核要素が省略されて いる場合には復元して認定する。

現象定位は、話し手と発話内容の時間的距離を表 すもので、基本的にテンスや時間を表す副詞などに よって表現される。「過去」「現在」「未来」「仮定」 に分類する。「現在」は、普遍的・習慣的か、一時的かの下位分類がある。「未来」は「未来; 意図的」 か「未来; 非意図的」に分類する。発話機能・中核要素・現象定位の分類後、図 1 から修辞機能と脱文脈化指数を特定する。

表 2 夢作文とがんばった作文の個々の修辞機能 (脱文脈化指数) の出現頻度と修辞機能の種類

 & 計画4 &  &  &  & 観測8 & 報告9 &  &  &  &  &  &  \\

## 3 分析結果と考察

表 2 に作文ごとの修辞機能の出現と、メッセージ 数、修辞機能の種類の数を示した。

## 3.1 がんばった作文

がんばった作文では、1つをのぞいてすべての作文で【状況内回想】<3>が使用されており、自分の 体験を回想して文にしていることがうかがえる。

がんばったことを表すのに、(1)や(2)のような過去形を用いる以外に、(3)のように現在形を使用し ているものもある。いずれもがんばったことを述べ ているがその修辞機能及び脱文脈化指数は異なる。

(1)練習では、先生がきびしくて、こわくてつら かったけど、（命題\&状況内; 非参加\& 過去 $\rightarrow$状況内回想<3>）（中学年）

(2)十一月に最後の大会がありました。（命題\&状況外 \& 過去 $\rightarrow$ 状況外回想<10>）（高学年）

(3) わたしのがんばったことは、音楽会です。 (命題 \& 状況内; 非参加 \& 現在; 習慣的 - 恒久

$\rightarrow$ 観測<8>）（低学年）

学年層の違いを見ると、低学年のほうが個々の作文の中での【状況内回想】<3>の比率が高い。中学年の書いた作文の中には、全く【状況内回想】<3>を 使用していない作文がある。「今、ぼくのがんばっ ていることは」という書き出しで始まるこの作文 は、「がんばったこと」という題から、がんばってい ることを表現して、つまり過去ではなく現在と未来 で表現している点が特徴的である ${ }^{6)}$ 。

6）この作文の修辞機能と脱文脈化指数などの詳細は付録の表 4 に示している。

## 3.2 夢作文

夢作文では、【計画】<4>が多く使用されている。 2.1 で述べたように、分析対象の「夢作文」には、将来の夢を書いたものと、就寝中にみた夢について書 いたものがある。本研究の分析対象データでは、 15 本の夢作文のうち、就寝中に見る夢を書いたものが 1 本 (中学年)、就寝中の夢と将来の夢の両方を書い たものが 2 本（中・高学年各 1 本）で、他の 12 本 は将来の夢について書いている。就寝中の夢を書い た 1 本は、17 のメッセージから成り、【状況内回想】 <3>と【状況外回想】<10>がそれぞれ 6 メッセージ と $2 / 3$ を回想が占めているものの、「でもだれかはお ぼえていません」【実況】<2>「その家は今はこわさ れてちがう家になっています。」【説明】<13>「今 9 さいになってもはあちゃん)からきらきととてもこわ くなります。」【実況】<2>という他の修辞機能のバ リエーションもあり、脱文脈化程度もさまざまで、単調ではない。

将来の夢と就寝中の夢の両方を書いた中学年の作文では、将来の夢について【計画】<4>【実況】<2> で述べ、次に最近よく見る夢を【自己記述】<7>で述 べた後、「どうしてゆめを見るのか不し議になるの で今度調べたいと思います」【計画】<4>と述べ、「も う一つなりたいゆめがあります。」【報告】<9>と再度将来の夢の話題を始めて、【状況内予想】<5>【実況】<2>【計画】<4>という展開で終わっている8)。

将来の夢を書いた低学年の作文の 1 つは、最後 のメッセージ以外、各述部が「やりたいと思いま す」「やりたいです」「なってみたいです」「なって みたい」「かいたいです」「かいたいです」と、ほぼ 【計画】<4>で構成されている。また、別の低学年の 作文では、【状況内予想】<5>で始まり、その後、そ の夢のために自分がどうしているかを【自己記述】 <7>で列挙している。いずれも単調に感じられる。

## 3.3 使用されている修辞機能の異なり

表 3 に、各層の作文で使用されている修辞機能の 種類の平均値を示した。それぞれの作文の中で使用 されている修辞機能の種類は、中学年高学年が多 く、低学年は少ない傾向にある。各作文の値は表 2 の右列に示している。夢作文で最も多い種類を用いていたのは、中学年

表 3 使用している修辞機能の種類（平均）

の【実況】【状況内回想】【計画】【状況内予想】【自
己記述】【観測】【報告】【予測】【説明】の9つで、低学年では【状況内回想】【計画】【自己記述】【観測】【報告】の5つであった。図1を参照すると、これら の 5 つのうち 4 つは空間的距離のレベルが低い修辞機能であることがわかる。

がんばった作文では高学年の 2 つが最も多い 9 種類を用いていた。種類は、1つは夢作文の中学年と 同じで、もう 1 つは【説明】の代わりに【状況外回想】を用いていた。低学年の最高は【実況】【状況内回想】【報告】【状況外回想】の 4 種類である。図 1 を参照すると、この 4 つは時間的距離のレベルが低 い修辞機能であることがわかる。

今回の分析対象作文数が少ないことと、作文を構成する文の数が高学年中学年の方が多いことから、単純には比較できないが、このような修辞機能の異 なりは作文の様子を知る一つの手掛かりになること が考えられる。

## 4 おわりに

本発表では、テーマの異なる児童作文の修辞機能 と脱文脈化指数の出現頻度を確認して、(1)テーマ による違いと学年による違いを検討し、(2) 特徴的 な作文について修辞機能と脱文脈化指数の現れ方を 検証することによって、児童作文の修辞機能と脱文脈化指数による評価の可能性を検討を行った。分析 の結果、テーマによって時制にかかわる特徴がみら れ、学年層による違いとしては、低学年において、使用する修辞機能に偏りがあることがうかがえた。今回は 30 作文のみのパイロットスタディであった が、同コーパス内の作文についてアノテーションし て、全体の様子を明らかにするとともに、作文評価 や作文指導への知見を提示していきたいと考えて いる。

## 謝辞

本研究は JSPS 科研費 JP19K00588,JP20H01674 の助成を受けたものです。

## 参考文献

[1]冨士原 紀絵・宮城 信・松崎 史周. 児童生徒作文の基礎的研究: 児童生徒作文コーパスの構築と活用. お茶 の水女子大学子ども学研究紀要, 4:9-20, jun 2016.

[2]今田水穂 宮城 信. 作文コーパスを資料に児童・生徒 の漢字使用・選択傾向と発達の実態を明らかにする一語彙情報つき作文コーパスの構築と学齢別語彙・漢字使用実態調査一. 漢字 ・日本語教育研究, 5:4-20, 2015.

[3]岩田 純一. 児童の心理学. Number 3. 有斐閣, 1995.

[4]Carmel Cloran. Rhetorical units and decontextualisation: An enquiry into some relations of context, meaning and grammar. PhD thesis, University of Nottingham, 1994.

[5]Carmel Cloran. Contexts for Learning. In In Pedagogy and the Shaping of Consciousness: Linguistic and Social Processes, pages 31-65. Cassell Academic London, 1999.

[6]小磯花絵 佐野 大樹. 現代日本語書き言葉における修辞ユニット分析の適用性の検証 - 「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係一. 機能言語学研究, 6:59-81, 2011.

[7]田中弥生. 児童・生徒作文の日本語修辞ユニット分析と教員評価の検討. In 言語資源活用ワークショッ プ発表論文集, volume 3, pages 91-104. 国立国語研究所, 2018.

[8]宮城 信・今田水穂. 『児童・生徒作文コーパス』の 設計. 第 7 回コーパス日本語ワークショップ予稿集, (2):223-232, 2015.

[9]佐野 大樹. 日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論（システミック理論） における談話分析一（修辞機能編）, 2010.

[10]佐野大樹. 特集選択体系機能言語理論を基底とする特定目的のための作文指導方法について一修辞ユニット の概念から見たテクストの専門性. 専門日本語教育研究, (12):19-26, 2010.

## A 付録

表 4 がんばった作文 中学年 (SF 発話機能 CE 中核要素 EO 現象定位)

 & 命題 & 状況内; 非参加 & 現在; 習慣的・恒久 & 観測 & 8 \\

表 5 ゆめ作文 中学年 (SF 発話機能 CE 中核要素 $\mathrm{EO}$ 現象定位)

 & 命題 & 状況内; 参加 & 未来; 意図的 & 計画 & 4 \\


# 日本語 BERT による否定要素認識についての分析

蘆田 真奈 平澤 寅庄 金子正弘 小町守
東京都立大学
\{ashida-mana, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

言語を理解するさい、文中において否定を表す要素（否定要素）を正しく認識する能力は必要不可欠 である。一方で、言語モデルにとっては否定要素が 否定要素であるということは必ずしも自明ではな い。日本語において否定を表す表現は「ない・ん・ ず」などがあるが、修辞技法や慣用句に含まれる 「ない・ん・ず」は否定要素として使用されないケー スも数多くあり、表層形の知識や構文の理解はもち ろん、文脈の理解も必要とされる。

近年、自然言語処理では事前学習済み大規模 ニューラル言語モデルが多くのタスクにて高い精度 を出し、脚光を浴びている $[1,2]$ 。一方でニューラ ルネットワークを用いたアーキテクチャはブラック ボックスなどとも言われ、その振る舞いの解釈は困難である。そのような背景から、ニューラルモデル の内部メカニズムがどれほど人間の言語に関する知識を獲得できているかを調べる研究 (Probing) が数多く提案されている $[3,4,5]$ 。これらの研究を通じ て、現時点でのニューラル言語モデルの得手不得手 についての新たな知見が得られつつある。

今回の研究ではニューラル言語モデルの中 でも、特に Bidirectional Encoder Representations from Transformers (BERT) [1] がどの程度、否定要素を認識 できるのかについて、日本語 BERT を用いて否定要素認識タスクを行うことで評価する。また、Probing タスクとして、日本語 BERT に否定要素がマスクさ れた文を与えた場合に、BERT が否定要素を予測で きるか、及びできない場合に何と予測するかについ て調査する。BERT による予測結果を分析すること で、BERT が何を手がかりにして否定要素を認識し ているかについて考察する。最後に、否定に関わる 統語情報についての知識が獲得されているかにつ いて、否定極性項目（Negative Polarity Items (NPIs))
と否定要素の関係性に着目して分析を行う。

## 2 関連研究

日本語の否定コーパス 日本語の自然言語処理に おいて、否定要素に限定して行われた研究には松吉 ら $[6,7]$ などがある。[6] は否定要素のアノテーショ ンを付与したコーパスの作成についての報告であ る。[7]では [6] のコーパスをデータセットとし、否定要素があらかじめ検出されている文に対して統語情報を与えた上で否定焦点を検出するシステムを構築している。本稿では、否定焦点の検出ではなく否定要素の検出を日本語 BERT を用いて行うために コーパスを用いる。

BERTを用いた英語の否定要素認識 日本語 BERT を用いた否定要素認識こそ行われていないも のの、英語ではいくつかの BERT を用いた否定要素認識の研究がある。多くは*SEM (Joint Conference on Lexical and Computational Semantics) の Shared Task での Sherlock データセット [8]もしくは医療分野の コーパス（the BioScope Corpus[9]）を使用したタスク である。NegBERT [10] は否定要素と否定のスコー プのアノテーションがなされたコーパスで fine-tune された BERT であり、文を入力とし、否定要素を検出することができる。[11] は Conversational Question Answering (CoQA) タスクにおいて、NegBERT を用 いて系列の否定要素を明示することでモデルの性能 が上がることを報告している。

BERT の英語の否定の理解性能 BERT がどのよ うなメカニズムで色々なタスクにおいて良い性能を 出すことができるのかについての研究が盛んに行わ れており、その研究の中には否定の理解に関するも のもいくつかある。例えば、[12] や [13] では空欄補充タスクを用いて BERT が否定の働きについて捉え ているかどうかを検証している。「Aが Xである。」、 と「AはXではない。」という文脈において、Xを空
欄とした場合にどちらの場合にも Xには A の上位概念（hypernym）を候補としてあげてしまうことか ら、BERT は否定が含まれた文脈では正しい推論が できていないと結論づけている。今回の研究では、肯定と否定文のペアを作成するのではなく、実際に コーパスに出現する文を用い、BERT が否定要素を 正しく予測できるかについて検証する。

言語モデルの英語の NPIs についての分析 NPIs とは文の否定要素と共起することを必要とする項目 のことであり、その制約ゆえ、言語学者の間では広 く議論されてきた[14]。NPIs には自然言語処理の文脈では、NPIs が否定要素を伴わない場合、その文 が非文法的になることを用いて、言語モデルに文の 文法性を判断させることで言語モデルが NPIs に関 わる統語的制約を学習しているかを検証している $[15,16]$ 。日本語の NPI の例としては『しか』などが あげられる。以下はしかが文法的である場合とそう でない場合の例である。

・太郎は 野菜『しか』食べない。

・*太郎は野菜『しか』食べる。

ここで『しか』は Licensor と呼ばれる文の否定要素ないのスコープのなかに存在するときにのみ文法的である。

## 3 否定要素認識

否定要素認識タスクは医療分野での言語処理 （Biomedical NLP）に端を発する [17]。自然言語処理 における否定認識 (negation detection) は 2 段階の タスクからなる。まず、文中の否定要素 (negation trigger, negation cue）を検知する。日本語では「な い」や「ず」に当たる。次に、否定が及ぶ範囲を 同定する。これは否定のスコープの認識 (negation scope detection, negation scope resolution）とも言われ る。さらに、否定の焦点（focus of negation）は否定 のスコープの中でも、特に否定されている要素のこ とをいう。否定の焦点検知についての研究は $[8]$ で の Shared Task に関するものがある。今回の研究で は否定要素の認識に取り組む。

## 3.1 データセット

今回のタスクで使用するコーパス [6] は「現代日本語書き言葉均衡コーパス」 $(\mathrm{BCCWJ})^{1)}$ のコアデー タの新聞のうち Aグループを対象に否定要素と否定 の焦点をアノテーションしたものである。

1) https://pj.ninjal.ac.jp/corpus_center/bccwj/

図 1 BERT による否定要素認識

・十七日まで選手にも協会関係者にも明かさな い。[PN2f_00002]

という例文において、否定要素は「ない」であり、否定の焦点は「十七日まで」である。また、否定の スコープは「十七日まで選手にも協会関係者にも明 かさ」で表現される事象であると考えられる [6]。 ただし、今回の研究では否定要素のみに注目する。

このコーパスの全 2807 文のうち、 $80 \%$ を訓練デー タ、10\%を開発データ、 $10 \%$ 評価データとして用 いた。コーパスの全文に対して mecab-ipadic-neologd を用いて単語分割を行った。これは使用した日本語 BERT の訓練時の分割方式と一致させるためであ る。ラベルはコーパスに従って付与した。

## 3.2 否定要素認識器の作成方法

否定要素認識器の作成にあたっては、否定要素を neg、それ以外を neutral とラベル付けする系列ラべ リングのタスクを設定し、日本語 BERT の fine-tune を行なった。今回、neutral 以外のラベルは複数の トークンにまたがっていないため、先頭や終わりを マークせず上述の 2 つのラベルのみを使用した。図 1 は BERT を用いた認識器及び入力のイメージであ る。BERT の中間層の上にランダムに初期化された 出力層を重ね、系列ラベリングを訓練させた。

## 3.3 実験

実験設定 本稿では東北大が公開した日本語 BERT モデル2)を用いて実験を行った。BERT の dense layer と出力層の両方を fine-tune したモデル （fine-tuned）と BERT の embedding の重みを更新し ないモデル（frozen）を用いた。訓練の epoch 数は 10 回とし、 $F_{1}$ スコアをモデル選択時の指標として、推論時には開発データの $F_{1}$ スコアが一番良いモデ ルを使用した。

実験結果 図 1 は 5 回シードを変えて実験を行っ て得られた精度・再現率・ $F_{1}$ スコアの平均を示し たものである。テストデータ内に「ない・なく・な

2) https://huggingface.co/cl-tohoku/bert-base-japanese

かっ・なけれ・ぬ・ん・ず」は計 28 回出現し、その うち neg ラベルが付与されていたのは 16 個である ので、どちらのモデルについても単純な表層形のみ について分類を行うよりは精度が高くなっている。 frozen モデルは fine-tuned と比べてわずかに性能が 良く、これには fine-tuned モデルが過学習している 可能性が考えられる。

## 3.4 エラー分析

BERT は「違いない」「似ても似つかぬ」「暴力 に暴力で向かってはいけない」「やる気をなく す人」などの否定として機能していない要素を否定 と捉えるエラーを出していた。「違いない」「似ても 似つかぬ」「いけない」のケースは慣用表現であり、「ない」が文否定として働いていないにも関わらず、 そのことが捉えられていないからだと考えられる。 このことから、BERT はトークンの一部が慣用表現 の一部なのか、文の要素として機能しているのかを 認識できていないということが示唆される。

一方で、否定を捉えられていないケースには「珍 しくなかった」というケースがあり、5 回試行した うちの 1 度の試行で存在した。ただし、テストデー タには「なかっ」は 3 回出現していた。

## 4 日本語 BERTによる否定要素予測

3 節の実験では fine-tune された日本語 BERT が否定要素を認識できるかについて検証した。この節で は fine-tune を行っていない BERT が否定要素を正し く予測できるかについて分析する。これはニューラ ル言語モデルの Probing の研究で行われている、言語モデルをブラックボックスとみなし、異なる入力 を与えた際の出力からモデルの性質を分析するとい うアプローチ $[18,16]$ の系譜を踏むものである。

## 4.1 分析方法

まず 3 節の実験で用いたコーパスに含まれる 303 個の否定要素について、否定要素を含む文を抽出 し、否定要素をマスクした文を BERT にインプット として与え、BERT にマスクされたトークンを予測 させた。予測に際しては Transformers から利用可能
な fillmaskpipeline ${ }^{3)}$ を利用した。予測されたトーク ンが不正解であった場合について分析する。

## 4.2 分析結果

303 個の否定要素のうち、予測が不正解であった のは 66 個であった（付録 A)。

動詞との関連性 不正解のうち、11 個について観察された事象は、BERT が「ない」と「ある」の両方に対して比較的高い尤度を与えているというもの であった。以下はそのような例の一つである。

・罪のある（正：ない）記者が次々死ぬのを見る と、戦争の意図がクリーンではないことがよく 分かる」[PN3a_00002]

日本語においては「ある」という存在の動詞の否定形が「ない」であり、他の一般動詞の否定形のよ うに「動詞の未然形＋ない」の統語構造を持たず、動詞の活用形から接続を予測することが困難である ことが誤答の理由のと考えられる。また、一般動詞 の否定形は動詞の未然形に接続するが、同じく未然形に接続する助動詞である「せる」にも比較的高い 尤度を付与していたケースもあった。統語構造の観点からは、一段活用の場合には未然形と連用形が同 じであるために五段活用と比較してさらに多くの選択肢が存在することから、BERT にとっても困難で ある可能性がある。このように、動詞の接続から一意に否定が導かれない場合における曖昧性の解消の ためには BERT がより正確に文脈を考慮する必要が あるだろう。

否定の接頭辞 次に多くみられた不正解の予測は 否定の接頭辞を正しく予測することができていない という 16 の事象である。例えば、「就学児」の否定形は「不就学児」であるが BERT は「未就学児」で あると予測した。これは「不就学」と比較して「未就学」という言葉が使われる頻度が高いからである と考えられる。また以下の例のように、「不可能」 を「ほとんど可能」と予測するなど、正反対の予測 をする場合も観察された。

・(前略）もはや民間まかせでは過剩債務処理はほとんど（正：不）可能ということだ。 [PN1b_00004]

このことからも BERT は否定の働きを理解できてい ないことが考えられる。

加えて、「無得点」を「連続得点」「不干涉」を 「相互干涉」と予測していて、他の結びつきが強い 名詞を選んで複合名詞を予測していると考えられ る。ただし、「無得点」に関しては、直前に「依然・ まだ」という言葉がある場合には正しく予測するこ とができ、これは BERT がマスクされたトークンの 直前の文脈を考慮することができていることを示す ものと考えられる。

## 5 日本語 NPIs に関する分析

この節では日本語 NPIs についての分析を行う。先行研究で示した NPIs に関する研究ではデータ セットを構築し、BERT に文法性を判断させていた が、ここでは既存のコーパスを使用し、以下のよう な方法を用いて分析を行う。

## 5.1 分析方法

まず 3 節で用いたコーパスのうち、「ない」を含む 文を抽出し、その後、日本語の NPIs である副詞の 「さほど・それほど・そんなに・ろくに・だてに・二度と・あまり・しか・そんな・ろくな」などを含む 文とそうでない文に分類した。用いた文全体に「な い」は 214 個存在しており、そのうち 43 個が否定 の機能を持たない「ない」であり、 171 個が否定要素の「ない」であった。否定要素の「ない」のうち、 NPI と共起するものは 8 つであり、そのうちの 5 つ が「しか」との共起であり、残りの 3 つはそれぞれ 「そんな・そんなに・それほど」との共起であった。

3.4 で述べたように、コーパスには否定として機能していない「ない」が存在する。BERTが NPIs に 関する統語的制約についての知識を持っているとす れば、中間層のレベルで、否定として機能していな い「ない」と明確に区別されているのではないかと 考えた。

そのことを検証するため、抽出した各文の「ない」 というトークンの BERT の中間層の第 1 層を t-SNE アルゴリズムを用いて可視化した。ラベルは neutral の「ない」(neutral)、negの「ない」で NPI と共起し ている場合 (neg_npi)、negの「ない」でNPI と共起 しない場合（neg_non_npi）である。

## 5.2 分析結果

図 2 は日本語 BERT の第 1 層目の中間層を $\mathrm{t}$-SNE で可視化したものである。右の方に否定の「ない」 のクラスターができているように見えるが、NPI と

図 2 異なるラベルを付与された「ない」の分布

共起した否定要素の「ない」がクラスターになって いることは観察できなかった。このことから文中の NPI の存在と否定要素の結びつきに関しては特別な 情報を共有していないことが示唆される。

また、[3]によれば BERT は深い層より浅い層で 表層的・統語的な情報を学習しており、[19]によれ ば、浅い層に比べて深い層で文脈依存の情報が扱わ れると報告されていて、実際により深い層において は分布にばらつきが存在していた（付録 B)。

今後は日本語 NPIs を用いて非文と文法的な文の ペアを用意し BERT に文の尤度を出力させるなどし てより詳細に検証していきたい。

## 6 おわりに

本稿では事前学習済みニューラル言語モデル BERT の否定要素認識性能に着目した。今後は否定要素だけでなく、否定のスコープをアノテーション することにより BERT がスコープを同定できるかに ついても詳しく検証していきたい。

否定要素の予測については、ある熟語に対して反意語を作る際に正しい接頭辞を予測できるかどうか で BERT を評価するタスクなどを行い、BERT が否定の接頭辞についてどのような傾向を示すかについ ても研究を進めていきたい。また、BERTが動詞の 接続などの統語情報以外のどのような知識を用いて 否定を認識しているのかについても研究を進めてい きたい。

日本語 NPIs については、他言語での先行研究に 準じ、データセットの構築を行って BERT による文法性判断をもとに BERT の統語構造に関連する知識 についての研究を進めていきたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Nelson F. Liu, Matt Gardner, Yonatan Belinkov, Matthew E. Peters, and Noah A. Smith. Linguistic knowledge and transferability of contextual representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1073-1094, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] 松吉俊. 否定の焦点情報アノテーション. 自然言語処理, Vol. 21, No. 2, pp. 249-270, 2014.

[7] 大槻諒, 松吉俊, 福本文代. 否定の焦点コーパスの構築と自動検出器の試作. 言語処理学会第 19 回年次大会論文集, pp. 936-939, 2013.

[8] Roser Morante and Eduardo Blanco. *SEM 2012 shared task: Resolving the scope and focus of negation. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 265-274, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[9] György Szarvas, Veronika Vincze, Richárd Farkas, and János Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[10] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Asso- ciation.

[11] Ieva Staliūnaite and Ignacio Iacobacci. Compositional and lexical semantics in RoBERTa, BERT and DistilBERT: A case study on CoQA. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7046-7056, Online, November 2020. Association for Computational Linguistics.

[12] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[13] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[14] 片岡喜代子. 日本語否定文の構造: かき混ぜ文と否定呼応表現, 第 18 巻. くろしお出版, 2006.

[15] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[17] Roser Morante, Anthony Liekens, and Walter Daelemans. Learning the scope of negation in biomedical texts. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 715-724, Honolulu, Hawaii, October 2008. Association for Computational Linguistics.

[18] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5523-5539, Online, July 2020. Association for Computational Linguistics.

[19] Kawin Ethayarajh. How contextual are contextualized word representations? comparing the geometry of BERT, ELMo, and GPT-2 embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 55-65, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 否定要素の種類とその頻度

4 節の実験において、予測させたトークンごとに頻度とその不正解個数をまとめたものが以下の表である。

## B t-SNE による BERT 中間層の可視化

以下は 5 節の実験において異なるラベルを付与された「ない」の日本語 BERT の中間層の第 2 (左上)、5（右上)、7 （左下）、12（右下）層目の重みを t-SNE で可視化した様子である。

図 3 BERT 中間層における異なるラベルが付与された「ない」の分布


# Indexicals in Chinese

Zhuoyun Wu†, Sumiyo Nishiguchił, Lu Guo*, Yingxuan Wang*
Graduate School of Commerce, Otaru University of Commerce ${ }^{\text {†** }^{* *}}$
Center for Language Studies, Otaru University of Commerce:
wu304728096@163.com ${ }^{\dagger}$ nishiguchi@res.otaru-uc.ac.jp

## 1 Introduction

This is a research about monsters, the context-change functions, and the words that are indexicals like tense adverbs, pronouns, etc. in Chinese. There are many researchers who wrote about indexicals in their own languages, but there is not a lot of research on Chinese. This paper discusses the indexical words in Chinese by giving some examples.

## 2. Pronouns

Like English, pronouns can also cause ambiguity in different contexts in Chinese. Normally, as in the example in (1), the first person indexical wo "I" ambiguously refers either to the speaker or the matrix subject Li.

(1) Zuotian Li shuo wo qiantian
昨天, 李 说 我 前天
yesterday Li said I the day before yesterday
Zhong-de hua kai-le
种的
planted 花 $\quad$ flower bloomed
"Yesterday, Li said the flower I planted the day
before yesterday bloomed."
$\sqrt{ }$ The flower was planted by Li.
$\sqrt{ }$ The flower was planted by I.

The agent wo "I" is shifted in the scope of shuo "say."

(2) Li shuo ni zuotian zhongde hua kai-le 李说你昨天种的花开了。

$\mathrm{Li}$ said you yesterday planted flower bloomed

"Li said the flower you planted yesterday bloomed."

$\sqrt{ } \mathrm{Li}$ is talking to me ---The flower was planted by me.

$\sqrt{ } \mathrm{Li}$ is talking to Ge ---The flower was planted by Ge.
The interpretation of the indexical $n i$ "you" depends on the context and it can be the person Li talking to, and it has two different meanings.

(3) Banzhang shuo ta bei tongzhi le mingtian 班长说他被通知了明天 monitor said he was informed tomorrow qu nide bangongshi kaihui 去 你的 办公室 开会。

go your office meeting "The monitor said that he was informed to go to the meeting at your office tomorrow."

In English, the pronoun he is ambiguous between a bound and free pronouns, that is, he can be the monitor or someone else salient in the context. In Chinese, ta 他 "he" also means monitor or someone else dominated by the conversation.

(3) Meimei shuo ta/ta zuotian zhong-de 妹妹 ${ }_{i}$ 说 她 $\mathrm{i}_{\mathrm{i}} /$ 他 $_{\mathrm{j}}$ 昨天 种的

sister said she / he yesterday planted

hua kaile

花开了。

flower bloomed.

"My sister said the flower she/he planted yesterday bloomed."

When ta "he" is used in the sentence:

$\sqrt{ }$ The flower was planted by Ge.

When $t a$ "she" is the pronoun in the sentence (3):

$\sqrt{ }$ The flower was planted by Wang.

$\sqrt{ }$ The flower was planted by my sister.

The subject sister can only have a bound pronoun she. So, he is not ambiguous. The sentence with he has only one meaning. On the other hand, she is ambiguous and can be bound by the agent my sister:

The personal pronouns you and my are shiftable. The interpretation of my depends on you.

If [you] means [speaker], then [my] means [Li];

If [you] means [Wang], then [my] means [speaker]:

## 3. Tense Adverbs

(5) Zuotian Li shuo wo qiantian 昨天, 李 说 我前天

Yesterday Li said I the day before yesterday zhongde hua kaile

种的花开了

planted flower bloomed

"Yesterday, Li said the flower I planted the day before yesterday bloomed."

In English, tense adverbs, like yesterday, the day before yesterday, tomorrow etc. are not shiftable even when there is another tense adverb in the sentence. In Chinese, in (5), qiantian "the day before yesterday" can only mean "two days ago from now", and can not mean "two days ago from 'yesterday'.

$\sqrt{ }$ The flower was planted 2 days ago (from now)

* The flower was planted 3 days ago (from now)
(6) Banzhang shuo ta bei tongzhi-le mingtian monitor said he was informed tomorrow qu ni-de bangongshi kaihui

去 你的 办公室 开会。

go your office meeting

Even though, in English, tomorrow cannot be shifted, in Chinese the reference of 明天 "tomorrow" is dominated by the timing of conversation.

(7) Li gangcai shuo Wu xianzai dei qu

李刚才 说武 现在得去

Li just said $\mathrm{Wu}$ now have to go to

laoshi-de bangongshi

老师 的 办公室

teacher's office.

"Li just said Wu have to go to teacher's office now."

$\sqrt{ }$ Wu have to go to teacher's office 3 minutes ago.

$\sqrt{ }$ Wu have to go to teacher's office right now.

Now is shifted by just in (7). Just means a past time, but not a very long time ago, i.e., 3 minutes ago. In contract, now means the time speaker said this sentence.

(8) Li shangzhouyi zaoshang shuo ta xianzai 李上周一早上 说 他现在

Li last Monday morning said he now

zai da lanqiu

在 打 篮球

Is playing basketball.

"Last Monday morning, Li said he was playing basketball now."

$\sqrt{ }$ Li was playing basketball last Monday’s morning.

* Li is playing basketball now.

Now only means last Monday morning

## 4. Location

(9) $\mathrm{Li}$ shuo ta zuotian zai zhe zhongde

李说 他 昨天在这种的

Li said he yesterday here planted

Hua kai-le

花 开 了

flower bloomed.

"Li said the flower he planted here bloomed."

$\sqrt{ }$ Li planted flower in my balcony.
* Li planted flower in his balcony.

Here can only mean the place the speaker is standing now. (If the speaker standing in my balcony now, the conversation happened in Li's balcony).

## 5. Conclusion:

For pronouns, words like $I$, you, me, he, his, can be ambiguous and determined by context in Chinese.

As for tense adverbs, words like yesterday, tomorrow, are shiftable when there is another tense adverb in the sentence may be shifted in Chinese.

Location adverbs like here and there are shiftable in Chinese.

## References

[1] Anand, Pranav and Andrew Nevins. 2004. Shifty Operators in Changing Contexts. R. Young (ed), SALT XIV 20-37, Ithaca, 2004. [2]Chierchia, Gennaro. 1989. Anaphora and Attitudes De Se. R. Bartsch, J. van Benthem, and B. van Emde (eds.) Language in context. Dordrecht: Foris.

[3]Cresswell, Maxwell J. 1985. Structured meanings: The semantics of propositional attitudes. MIT Press.

[4] Frajzyngier, Zygmunt. 1993. A grammar of Mupun. Dietrich Reimer Verlag.

[5]Heim, Irene, and Angelika Kratzer. 1998. Semantics in generative grammar. Blackwell.

[6]Hyman, Larry. 1979. Aghem Grammatical Structure. Southern California Occasional Papers in Linguistics 7

[7]Yang, Lili. 2020. The Change of "I" Perspective and Empathy in Indirect Speech. Soochow University College of Arts Central China Academic 2020,13(02)


# 属性情報を追加した事前学習済みモデルの ファインチューニング

笹沢裕一 岡崎直観
東京工業大学
\{yuichi.sasazawa[at]nlp.c, okazaki[at]c\}.titech.ac.jp

## 1 導入

感情分類，要約，文章生成などの幅広い言語処理タスクにおいて，ユーザ ID や製品 ID などの属性情報を活用することでタスクの性能が向上す ることが報告されている $[1,2,3]$. 感情分類の既存研究では，LSTM や CNN モデルに対して注意機構 $[4,5,6,7,8]$ やメモリーネットワーク $[9,10,11,2]$,重み行列 $[12,13]$ などで属性情報を組み込んでいる。近年, GPT [14], BERT [15], BART [16] などの事前学習済みモデルに対して，様々な言語処理タスクで ファインチューニングするアプローチが成功を収め ている。そこで，本研究は事前学習済みモデルに属性情報を組み込む手法を探求する．タスクとして感情分類と要約に取り組み，それぞれのタスクで事前学習済みモデルに属性情報を組み込んだモデルを提案する。提案モデルには事前学習済みのパラメータ と追加要素に対応する未学習のパラメータの 2 種類 が混在する．タスクの学習データでファインチュー ニングをするときは，後者のパラメータを効率よく 学習することが重要であるが，前者のパラメータを 更新しすぎると破滅的忘却に陥る．そこで，事前学習モデルと追加要素のパラメータに対して異なる学習率を設定する戦略を提案する．評価実験では，提案手法が感情分類タスクと要約タスクにおいて既存手法の性能を大きく上回り，最高性能の結果を示す ことを報告する．また，追加要素のパラメータに対 して異なる学習率を設定する戦略は，シンプルであ りながら性能向上に大きく貢献することを示す.

## 2 手法

## 2.1 感情分類モデル

提案する感情分類モデルの概要を図 1 に示す。標準的な文書分類タスクでは $n$ 単語の単語列

図 1: BERT モデルを使用した感情分類モデル $x=\left(w_{1}, \ldots, w_{n}\right)$ を受け取り, ラベル $y \in \mathcal{y} （ y$ は $l$種類のラベルから構成されるラベル集合）を予測す る. 本タスクでは $m$ 種類のカテゴリ属性 $\left(c_{1}, \ldots c_{m}\right)$ も与えられる. 本研究の感情分類データセットでは ユーザ ID と製品 ID の 2 種類のカテゴリ属性が与え られるため， $m=2$ である.

我々は感情分類タスクの事前学習済みモデルと して BERT モデル [15] を使用する． BERT モデルは 一連のトークン $\left([\mathrm{CLS}], w_{1}, \ldots, w_{n},[\mathrm{SEP}]\right)$ を入力と して受け取り，各入力トークンに対応する隠れ状態 $\left[h_{\mathrm{CLS}}, h_{1}, \ldots, h_{n}, h_{\mathrm{SEP}}\right]$ を生成する. 既存研究に倣 い， $h_{\mathrm{CLS}} \in \mathbb{R}^{d}$ を入力の分散表現として使用する（d は次元数). 属性情報をモデルに考慮させる様々な 手法を比較したところ，テキスト分散表現と属性埋 め込み表現を結合する手法が最も優れた性能を示す ことが分かった。つまり，提案モデルではテキスト の予測ラベルを次式により算出する。

$
\begin{aligned}
& a_{k}=\operatorname{LayerNorm}\left(\operatorname{emb}\left(c_{k}\right)\right) \\
& y=\operatorname{Softmax}\left(W\left[h_{\mathrm{CLS}} ; a_{1} ; \ldots ; a_{m}\right]+b\right)
\end{aligned}
$

図 2: BART モデルを使用した要約モデル

emb は埋め込み層，LayerNorm は $\beta, \gamma$ をパラメータ として持つ Layer Normalization 層による正規化処理 であり $a_{k} \in \mathbb{R}^{d_{\mathrm{a}}}$ である. $W \in \mathbb{R}^{l \times\left(d+d_{\mathrm{a}} m\right)}$ と $b \in \mathbb{R}^{l}$ は 線形層のパラメータ，Softmax はソフトマックス関数, [.;.] はべクトルの結合である。我々の提案モデ ルではテキスト分散表現 $h_{\text {CLS }}$ と各属性の埋め込み 表現 $\left[a_{1}, \ldots, a_{m}\right]$ の結合を後続の線形層に与えるこ とで最終的な予測べクトル $y$ を計算する。

## 2.2 要約モデル

要約モデルの概要を図 2 に示す。要約タスクでは $n$ 単語の単語列 $x=\left(w_{1}, \ldots, w_{n}\right)$ を受け取り, 要約単語列を予測する. テキスト分類と同様に $m$ 種類の カテゴリ属性 $\left(c_{1}, \ldots c_{m}\right)$ が与えられ $m=2$ である.

本研究では要約タスクの事前学習モデルとして BART モデル [16] を使用する．入力テキストの埋め 込み表現を $\left[e_{\mathrm{BOS}}, e_{w_{1}}, \ldots, e_{w_{n}}, e_{\mathrm{EOS}}\right] \in \mathbb{R}^{d \times(n+2)}$ とす る ( $e_{w}$ は単語 $w$ の埋め込み表現である). 通常の要約タスクではこのテキスト埋め込み表現を BART エ ンコーダに入力することにより要約モデルを学習 する. 提案モデルでは，属性情報を考慮するために テキスト埋め込みと属性埋め込みをエンコーダに 入力する. つまり，感情分類モデルと同様の手法で 獲得した属性埋め込み $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d \times m}$ を使用 ᄂ, $\left[e_{\mathrm{BOS}}, e_{w_{1}}, \ldots, e_{w_{n}}, e_{\mathrm{EOS}}, a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d \times(n+2+m)}$ を BART エンコーダに入力する.

## 2.3 追加事前学習

既存研究はターゲットコーパス上での追加の事前学習により，BERT モデルを用いたテキスト分類タスクの性能がさらに向上したと報告してい
る $[17,18]$. 要約タスクにおいても事前学習済みモ デルの学習において追加の事前学習がモデルの性能 の向上に貢献すると報告されている [19]. これらの 研究に倣い，ファインチューニングの前にそれぞれ のタスクの訓練データを用いてマスクトークンの予測による事前学習を行う.

## 2.4 複数の学習率の使用

我々のモデルは事前学習済みモデルのパラメータ と, 追加要素に含まれる未学習のパラメータから構成される. 感情分類タスクでは (emb, $\beta, \gamma, W, b)$ が 追加要素に含まれる未学習のパラメータである．多 くの機械学習モデルではモデル全体に一律の学習率（オプティマイザに与える初期学習率）を設定し て訓練を行っている。しかし，事前学習済みのパラ メータと追加要素のパラメータの両方に対して一律 の学習率を用いて学習を行うことは不適切である可能性がある。つまり，高い学習率を用いてモデル全体を訓練した場合，事前学習済みモデルは壊滅的忘却に陥る。一方，低い学習率を用いた場合は追加要素のパラメータを十分に訓練できない.

この問題に対処するために，図 1,2 に示すように 事前学習済みモデルと追加要素のパラメータに対し て異なる学習率を使用する。つまり，我々は追加要素には $1 \times 10^{-3}$ のような高い学習率を使用し，事前学習モデルには $1 \times 10^{-5}$ のような低い学習率を使用 する. 後に実験で示すように，2 種類の学習率を使用するこの戦略は事前学習済みモデルに追加要素を 組み込んだモデルの性能を大きく改善する。

パラメータごとに異なる学習率を用いるとい うアイデア自体は様々な研究で提案されている. Adagrad [20] や Adam [21] などのオプティマイザは それぞれのパラメータが受けた勾配に基づいて個別 の学習率を設定しているが，一律の初期学習率では モデルの最適化に限界がある. Sun ら [17] は BERT モデルの層ごとに複数の学習率を使用する戦略を提案しているが，追加要素に対しては BERT モデルと 等しい低い学習率を用いている。

## 3 実験

## 3.1 実験設定

ハイパーパラメータ設定，既存手法の説明，デー タセットの統計を含めたより詳細な設定は付録 $\mathrm{A}$ を 参照されたい，それぞれのモデルにおいて追加事前
表 1: 感情分類タスクの実験結果

表 2: 要約タスクの実験結果

学習と複数の学習率を使用する手法を試し，モデル の性能に対する影響を確認する。

感情分類 3 種類のレビューデータセット: IMDB，Yelp 2013，Yelp2014 [1]を用いた。分類の ターゲットはレビュースコアであり，IMDB は 1～ 10 の 10 種類, Yelp では 1 5 の 5 種類である. カ テゴリ属性としてレビューを記載したユーザー の ID と，レビューの対象となる製品の IDを使用した. 事前学習モデルは BERT モデルとして RoBERTa $_{\text {BASE }}$ [22] を使用した. 既存研究と同様に分類の正解率と二乗平均平方根誤差 (RMSE) を報告す る. BERT（属性なし）はテキストのみを BERT モ デルに入力して分類を行うモデルであり，このモデ ルにおいても複数の学習率を試した. つまり, 追加要素である線形層の学習率を, BERT モデルに対す る学習率よりも高い値に設定した。要約 データセットは Amazon のレビューデー タ [2]を使用した. 要約のターゲットはレビューの タイトルである. 感情分類タスクと同様に，ユーザ ID と製品 ID がカテゴリ属性として与えられる。事前学習モデルは $\mathrm{BART}_{\mathrm{BASE}}$ を使用した. 既存研究と 同様に Rouge-1, Rouge-2, Rouge-Lを報告する.

## 3.2 実験結果

表 1 は感情分類タスクにおける実験結果である.我々の提案した BERT ベースの手法が既存手法の 結果を大きく上回り, 最高性能の結果を達成してい る. また，複数の学習率を使用する戦略によってモ デルの性能が大きく向上している。一方，属性情報 を使用せずにテキストのみを使用して BERT モデル で分類を行う場合は，複数の学習率を設定してもモ デルの性能をほとんど向上させることができない. この結果より，複数の学習率を使用する戦略は属性情報を事前学習済みモデルと組み合わせて使用する 際に特に有用であることが分かる。また，追加事前学習は属性情報の有無に関わらずモデルの性能を向上させていることが確認できる.

表 2 は要約タスクにおける実験結果である. 要約 タスクにおいても事前学習済みモデルをべースと した手法が最高精度を達成している。また，感情分類タスクと同様に，複数の学習率を使用する手法と 追加事前学習も性能の向上に寄与していることを 確認できる. 特に，複数の学習率を設定することで Rouge スコアの大幅な上昇が見られる.

図 3: BERT モデルの学習率と正解率の関係

図 4: 追加要素の学習率と正解率の関係

## 3.3 学習率と正解率の関係

図 3 は感情分類データセットの Yelp2013におい て, 追加要素の学習率を $1 \times 10^{-3}$ に固定し, 事前学習済み BERT の学習率のみを変化させた時の正解率 の変化を示したものである．学習率を高くし過ぎる と破滅的忘却もしくはパラメータの発散が発生し,正解率が低下する。一方，学習率を低くし過ぎた場合もパラメータを十分に学習できず，正解率が低下 する. 図 4 は BERT の学習率を $1 \times 10^{-5}$ に固定し,追加要素の学習率のみを変化させた時の正解率の変化を示したものである. 追加要素の学習率が低いと 十分に学習が行われず，正解率が低下することが分 かる。これらの結果より，事前学習済みのパラメー タと追加要素のパラメータのそれぞれに対して学習 に最適な学習率が存在し, 複数の学習率の使用がモ デルの訓練において重要であることが分かる.

## 3.4 パラメータの変化量

学習率の設定によるモデルのパラメータに 対する影響を確認する。事前学習済みモデルの BERT と追加要素のそれぞれに対して，パラメー タの初期状態からの変化量の絶対值の平均值 $\delta_{t}=\frac{1}{|P|} \sum_{p \in P}\left.\|p_{t}-p_{0}\right.\|$ を一定ステップごとに記録す る. ただし $P$ は対象とする要素の全てのパラメータ 集合， $p_{t}$ は訓練中の $t$ ステップ目におけるパラメー タ $p$ の值である。一律の学習率を使用する設定では モデル全体の学習率を $1 \times 10^{-5}$ に設定した. 複数の 学習率を使用する設定では，BERT モデルの学習率

図 5: BERT モデルのパラメータ変化量

図 6: 追加要素のパラメータ変化量

を $1 \times 10^{-5}$ に，追加要素の学習率を $1 \times 10^{-3}$ に設定 した. つまり，BERT モデルの学習率は両方の設定 で固定であり，追加要素の学習率のみが異なる.

図 5 は Yelp2013 データセットにおける BERT モ デルのパラメータ変化量であり，BERT モデルに対 する学習率が一定の場合は追加要素の学習率に関わ らず，パラメータの変化量はほとんど変化しないこ とが分かる。一方，図 6 は追加要素のパラメータ変化量であり，追加要素の学習率を低く設定するとパ ラメータの変化量が小さくなることが分かる．つま り，一律の低い学習率では追加要素のパラメータを 十分に最適化できず，それがモデルの性能向上の足枷になると推測される。

## 4 結論・今後の課題

本研究では事前学習済みモデルに対して属性情報 を組み込むための手法を探求した。感情分類タスク と要約タスクのそれぞれにおいて属性情報を組み込 んだ提案手法は，既存手法の性能を大きく上回り，最高性能を達成した。また，追加要素のパラメータ に対して異なる学習率を設定する戦略は，性能向上 に大きく寄与することを示した.

今後は，属性情報とテキストの相互作用を考慮で きるさらに性能の高いモデルの検討し，他の言語処理タスクにおいても事前学習済みモデルと複数の学習率を用いた手法が性能の向上に寄与するか実験を 重ね，性能向上の要因を更に分析したい.

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受けた.

## 参考文献

[1]Duyu Tang, Bing Qin, and Ting Liu. Learning semantic representations of users and products for document level sentiment classification. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1014-1023, 2015.

[2]Hui Liu and Xiaojun Wan. Neural review summarization leveraging user and product information. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM '19, p. 2389-2392, 2019.

[3]Li Dong, Shaohan Huang, Furu Wei, Mirella Lapata, Ming Zhou, and Ke Xu. Learning to generate product reviews from attributes. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 623-632, 2017.

[4]Huimin Chen, Maosong Sun, Cunchao Tu, Yankai Lin, and Zhiyuan Liu. Neural sentiment classification with user and product attention. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1650-1659, 2016.

[5]Dehong Ma, Sujian Li, Xiaodong Zhang, Houfeng Wang, and $\mathrm{Xu}$ Sun. Cascading multiway attentions for document-level sentiment classification. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 634-643, 2017.

[6]Reinald Kim Amplayo, Jihyeok Kim, Sua Sung, and Seungwon Hwang. Cold-start aware user and product attention for sentiment classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2535-2544, 2018.

[7]Zhen Wu, Xin-Yu Dai, Cunyan Yin, Shujian Huang, and Jiajun Chen. Improving review representations with user attention and product attention for sentiment classification. In Proceedings of the Thirty Second AAAI Conference on Artificial Intelligence, pp. 5989-5996, 2018.

[8]J. Zhang and C. Chow. Moca: Multi-objective, collaborative, and attentive sentiment analysis. IEEE Access, Vol. 7, pp. 10927-10936, 2019.

[9]Zi-Yi Dou. Capturing user and product information for document level sentiment analysis with deep memory network. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 521-526, 2017.

[10]Yunfei Long, Mingyu Ma, Qin Lu, Rong Xiang, and ChuRen Huang. Dual memory network model for biased product review classification. In Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 140-148, 2018.

[11]Zhigang Yuan, Fangzhao Wu, Junxin Liu, Chuhan Wu, Yongfeng Huang, and Xing Xie. Neural review rating prediction with user and product memory. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, p. 2341-2344, 2019.

[12]Jihyeok Kim, Reinald Kim Amplayo, Kyungjae Lee, Sua Sung, Minji Seo, and Seung-won Hwang. Categorical metadata representation for customized text classification. Trans- actions of the Association for Computational Linguistics, Vol. 7, pp. 201-215, 2019.

[13]Reinald Kim Amplayo. Rethinking attribute representation and injection for sentiment classification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5602-5613, 2019.

[14]Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Technical report, 2018.

[15]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, 2019.

[16]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[17]Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How to fine-tune bert for text classification? In Maosong Sun, Xuanjing Huang, Heng Ji, Zhiyuan Liu, and Yang Liu, editors, Chinese Computational Linguistics, pp. 194-206, 2019.

[18]Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4933-4941, 2020.

[19]Xingxing Zhang, Furu Wei, and Ming Zhou. HIBERT: Document level pre-training of hierarchical bidirectional transformers for document summarization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5059-5069, 2019.

[20]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, Vol. 12, No. 61, pp. 2121-2159, 2011.

[21]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, International Conference on Learning Representations, 2015.

[22]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint, Vol. arXiv:1907.11692, p. (15 pages), 2019.

[23]Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A conditional transformer language model for controllable generation. arXiv preprint, Vol. arXiv:1909.05858, p. (18 pages), 2019.
表 3: データセットの統計

## A 詳細な実験設定

データセットの統計を表 3 に示す. オプティマ イザとして Adam オプティマイザ [21]を使用し, $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-6}, \mathrm{~L} 2$ 正則化係数は 0.01 である. 学習率は訓練ステップ数の最初の $6 \%$ で ウォームアップさせ，その後線形に減衰させた. ド ロップアウト率は 0.1 , 属性埋め込みを含めた全て の次元数は 768 である. つまり, $d=d_{\mathrm{a}}=768$ であ る. ファインチューニングでは両タスクにおいて バッチサイズを 8 , 入力テキストの最大トークン数 を 512 に設定した. 入力テキストが 510 トークン1) より長い場合は Sun ら [17] の手法に倣い，最初の 128 トークンと最後の 382 トークンを抽出し，これ を大力テキストとして使用した.

感情分類 BERT モデルの学習率は $1 \times 10^{-5}$, 追加要素の学習率は $1 \times 10^{-3}$ を設定し, 一律な学習率 を使用する設定では $2 \times 10^{-5}$ を使用した. 追加事前学習ではバッチサイズを 32 , 学習率を $5 \times 10^{-5}$, 入力テキストの最大トークン数を 128 , エポック数を 20 に設定した. エポック数は $\{2,3,4,5\}$ の候補の中 から最適な值を探索し, IMDB, Yelp 2013 では 3 回, Yelp 2014 では 2 回のエポック数を使用した. 以下 に既存手法を示す.

CMA [5] はテキストエンコーダとして階層的な LSTM を使用しており，2 段階の注意機構を使用し てカテゴリ属性を組み込んでいる。

RRP-UPM [11] はテキストエンコーダとして LSTM と CNNを組み合わせた階層的なモデルを使用して いる。また，メモリーネットワーク機構を使用して 獲得した属性埋め込み表現を注意機構によってエン コーダに組み込んでいる。

MOCA [8] は注意機構と多層パーセプトロンを使用 し, LSTM モデルによって獲得されたテキスト分散表現と属性埋め込みの相互作用を捉えている。ま

表 4: 各追加要素に対する高い学習率による影響

た，損失関数としてレビュースコアの分類による損失と回帰による損失の和を使用している.

要約 BART モデルの学習率は $2 \times 10^{-5}$, 追加要素の学習率は $4 \times 10^{-3}$ を設定し, 一律な学習率を使用する設定では $1 \times 10^{-4}$ を使用した. 追加事前学習ではバッチサイズを 16 , 学習率を $2 \times 10^{-5}$, 最大 トークン数を 128 ，エポック数を 20 に設定した. エ ポック数は $\{2,3,4,5\}$ の候補の中から最適な値を探索し, 2 回のエポック数を使用した. 要約生成時の ビームサイズは 2 , 生成要約長に対するペナルティ (length penalty) は 1.3, 同じ単語の繰り返しに対する ペナルティ (repetition penalty) [23] は 3.0 である. 以下に既存手法を示す.

AttrEnc [2] は属性埋め込みとテキスト埋め込みの結合を LSTM エンコーダに入力することで属性情報を 組み込んでいる。

MemAttr [2] は属性情報をメモリーネットワークで 埋め込み, Pointer-generator 機構により属性埋め込み をLSTM モデルに組み込んでいる。

## B 追加要素に対する高い学習率の 使用による影響

表 4 は感情分類データセットの Yelp2013 におい $\tau$, 追加要素 (属性埋め込み層, 正規化層, 線型層) の一部に対して高い学習率 $\left(1 \times 10^{-3}\right)$, その他の要素 に対しては低い学習率 $\left(1 \times 10^{-5}\right)$ を設定した時の性能を示したものである. 全ての追加要素について,高い学習率を使用することで正解率が向上すること が確認できる. しかし, 一つの要素の学習率を高く しただけでは正解率の向上は小さく, 全ての追加要素に対する学習率を高くした場合の正解率が最も高 い.この結果より, 全ての追加要素のパラメータは 高い学習率で訓練する必要があり，それによってモ デル全体の十分な訓練が可能であることが分かる.


# 動画の談話構造解析

福島健司 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{fukuken@lr., kamigaito@lr., oku@\}pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 1 はじめに

テキストを構成する文や節の間には「因果」や 「対比」などの何らかの関係が成り立っており，こ うした関係に基づきテキストを構造化したものを 談話構造という。談話構造をあらわす理論として，修辞構造理論 (Rhetorical Structure Theory: RST) [1] が よく用いられる．RSTではテキストは，終端記号が Elementary Discourse Unit (EDU) という節相当の談話単位, 非終端記号が EDU によって構成されるテキ ストスパンの核性1)，枝がスパン間の修辞関係をあ らわす句構造木として表現される。つまり，修辞構造はテキストがあらわすイベント間の関係を木構造 として表現したものとして捉えることができる.

一方，テキストとして記述されたイベントの多く は実世界での出来事と結びついている2)。よって, それを記録した映像，つまり，動画にもテキストと 同様に修辞構造が存在すると考えられる. 動画の修辞構造を解析できるようになれば，一貫性の高い動画要約や動画内容理解の支援などアプリケーション の高度化に貢献できる.

本研究では, 動画の修辞構造解析の第一歩とし て，動画とそれに含まれるイベントに対してキャプ ションとその修辞構造の注釈を与えたベンチマーク データセットを構築し, 既存の修辞構造解析手法を ベースとして動画の修辞構造解析がどの程度可能か を検証する。

図 1 に動画の修辞構造木の例を示す. 動画は時間情報を伴ったイベントに分割され，分割されたイベ ントにはその内容をあらわすキャプション (文)が 付与される. 動画修辞構造木は, 終端記号がイベン ト，つまり動画中の区間とそれに対応するキャプ

1）修辞関係で結びついた 2 つのスパンのうち，主となる役割 を担うスパンが核 (Nucleus)，補助的な役割を担うスパンが衛星 (Satellite) となる.

2）もちろん，テキストで記述されるイベントのすべてが実世界のイベントと結びっいているわけではない.

s1. some guys are lying down and many people are assembled around them. s2. a man speaks to the cloud with a microphone and the crowd clap their hands. s3. another man run and jump over the guys and a cheer goes up from the crowd.

図 1 動画に対する修辞構造木. 動画は https://youtu.be/coKW897eLyg より得た.

ション文，非終端記号がイベントとキャプション文 がなすスパンの核性，枝が 2 つのスパン間の修辞関係をあらわす木である.テキストの修辞構造木で は終端記号は文よりも小さい EDU であるが，動画修辞構造の場合は，イベントを終端記号とするの で，文が談話構造の最小単位になることに注意され たい.

## 2 関連研究

動画をイベントに分割し，それぞれのイベントが 支配する区間に対しキャプションを与えるという 試みは Dense Video Captioning (DVC) と呼ばれ，コン ピュータビジョン分野で研究が盛んに行われてお り，いくつかのベンチマークデータセットが整備さ れている。そのなかでも， ActivityNet Captions ${ }^{3)}$ は 最大規模のデータセットである。人間の動作を含む YouTube の 2 万動画に対しイベント分割とイベント に対するキャプション文を与えたデータセットで

図 2 映像特徴量のモデルへの導入方法

あり, ActivityNet Challenge4)でのシェアドタスクの データとして用いられていることから，このデータ を用いた DVC の研究が盛んに行われている。なお， 1 つの動画は平均 3.67 個のイベントに分割される. つまり，1つの動画に与えられるキャプション文は 平均で 3.67 文となる. また, 1 つのイベントは平均 36 秒となっている. ただし，DVC は動画中のイベ ント同定とキャプション付与が目的であるため, 修辞構造の注釈は与えられていない。つまり，動画中 のイベントに修辞構造の注釈を与えたデータセット は現状では存在しない.

一方，本研究と同様に動画の修辞構造解析を目的 とした研究として [2] がある. この研究では, 動画 のキャプションに対して修辞構造木を推定した後, キャプション文とそれに該当する動画中の区間の割 り当てを行うことで動画の修辞構造木を推定する。

[2] では，このタスクのためのデータセットを整備 していないため, 得られた修辞構造木の妥当性は不明である。 さらに，修辞構造解析を，キャプション テキストのみを対象に行っているので，技術として はテキスト修辞構造解析そのものであり，動画から 得られる特徴の利用が考慮されていない。

## 3 提案手法

近年，ニューラルネットワークを用いたテキスト 修辞構造解析手法の研究が盛んに行われており, そ の性能が飛躍的に向上している. 本研究では，テキ スト修辞構造解析のベンチマークデータセットであ る RST-DT [3] を用いた評価結果で良い結果を残し た Kobayashi らの解析器 [4] (Span-based Parser: SBP) をべースとして，キャプション文から得られる特徴 とイベント区間から得られる特徴を同時に利用する

4) http://activity-net.org
ビデオ修辞構造解析手法を提案する．SBP は，イベ ントが構成するスパンを入力として，それを再帰的 に分割することで木を構築し，分割した 2 つのスパ ンの核性と関係ラベルをそれぞれ3クラス，18クラ スの分類問題を解くことで決定する。

## 3.1 イベントのベクトル表現

本研究では，SBP で利用するスパン(イベント系列)ベクトルをイベントに与えられたキャプション 文とイベントに含まれる動画区間のフレームから得 た画像特徴量の双方を連結することで生成する. こ のベクトル表現を得るためのニューラルネットワー クの構造を図 2 に示す.

まず，キャプション文内の各単語において， GloVe[5], ELMo[6] から得た単語ベクトルを結合す る. 次に，それらに BiLSTM と Selective Gate[7]を適用して文の表現ベクトルを得る. $j$ 番目の単語の内部表現ベクトルは，前向きLSTM ( $\overrightarrow{\mathrm{LSTM}})$ と後向き

$
\begin{aligned}
\overrightarrow{\mathbf{h}_{j}^{w}} & =\overrightarrow{\operatorname{LSTM}}\left(\mathbf{h}_{j-1}^{w}, \mathbf{w}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{w}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}_{j+1}^{w}}, \mathbf{w}_{j}\right) \\
\mathbf{h}_{j}^{w} & =\left[\overrightarrow{\mathbf{h}}_{j}^{w} ; \overleftarrow{\mathbf{h}}_{j}^{w}\right]
\end{aligned}
$

$\mathbf{w}_{j}$ は $j$ 番目の単語に対する ELMo と Gloveのべク トルを結合したものである. キャプション文の単語数を $n$ とすると, Selective Gate は $j$ 番目の単語の内部表現 $\mathbf{h}_{j}^{w}$ と文脈ベクトル $\mathbf{s}=\left[\mathbf{h}_{n}^{w} ; \mathbf{h}_{1}^{w}\right]$ を受け取り，新たな $\mathbf{h}_{j}^{w^{\prime}}$ を生成する.

$
\begin{aligned}
\mathbf{s G a t e}_{j} & =\sigma\left(\mathbf{W}_{s} \mathbf{h}_{j}^{w}+\mathbf{U}_{s} \mathbf{s}+\mathbf{b}_{s}\right), \\
\mathbf{h}_{j}^{w^{\prime}} & =\mathbf{h}_{j}^{w} \odot \mathbf{s G a t e}_{j} .
\end{aligned}
$

$\mathbf{W}_{s}$ と $\mathbf{U}_{s}$ は重み行列， $\mathbf{b}_{s}$ はバイアスベクトル， $\sigma$ は シグモイド関数，๑は要素積をそれぞれあらわす。 そして,$i$ 番目のイベントの文ベクトル $\mathbf{t}_{i}$ を以下の
式で定義する。

$
\mathbf{t}_{i}=\frac{1}{\mathrm{n}} \sum_{j=1}^{n} \mathbf{h}_{j}^{w^{\prime}}
$

映像特徴量としては，動画から一定時間ごとに切 り出したフレームの特徴量を利用する。イベントの 動画区間に含まれる特徵量の総数を $m$ としたとき，前向きLSTM と後向き LSTMを用い，イベントの映像ベクトル $\mathbf{e}_{i}$ を以下の式で定義する。

$
\begin{aligned}
& \overrightarrow{\mathbf{h}_{j}^{v}}=\overrightarrow{\operatorname{LSTM}}\left(\overrightarrow{\mathbf{h}}_{j-1}^{v}, \mathbf{v}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{v}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}}_{j+1}^{v}, \mathbf{v}_{j}\right), \\
& \mathbf{h}_{j}^{v}=\left[\overrightarrow{\mathbf{h}_{j}^{v}} ; \overleftarrow{\mathbf{h}_{j}^{v}}\right] \\
& \mathbf{e}_{i}=\left[\mathbf{h}_{m}^{v} ; \mathbf{h}_{1}^{v}\right]
\end{aligned}
$

ここで， $\mathbf{v}_{j}$ は $\mathrm{j}$ 番目の映像特徴量である. $\mathbf{t}$ と にそれぞれスカラー重み $\mathscr{W}_{t}, \mathscr{W}_{e}$ を乗じて結合することで 1 つのイベントに対するベクトル $\mathbf{u}_{i}=\left[\mathscr{W}_{t} \mathbf{t}_{i} ; W_{e} \mathbf{e}_{i}\right]$ を得る. 次に，これを再度 BiLSTM に入力し, 以下のイベントに対する隠れ状態ベクト ル $\mathbf{f}_{j}, \mathbf{b}_{j}$ を得る.

$
\mathbf{f}_{j}=\overrightarrow{\operatorname{LSTM}}\left(\mathbf{f}_{j-1}, \mathbf{u}_{j}\right), \quad \mathbf{b}_{j}=\overleftarrow{\operatorname{LSTM}}\left(\mathbf{b}_{j+1}, \mathbf{u}_{j}\right)
$

最終的に $i$ 番目のイベントから $j$ 番目のイベントの スパンをあらわすべクトル $\mathbf{u}_{i: j}$ を次式で定義する。

$
\mathbf{u}_{i: j}=\left[\mathbf{f}_{j}-\mathbf{f}_{i-1} ; \mathbf{b}_{i-1}-\mathbf{b}_{j}\right] .
$

## 3.2 解析モデル

スパンを $k(i<k<j)$ 番目のイベント区間で分割 するかを判定するスコアは以下の式で定義される。

$
\mathrm{s}_{\text {split }}(i, j, k)=\mathbf{h}_{i: k}^{\top} \mathbf{W}_{u} \mathbf{h}_{k+1: j}+\mathbf{d}_{l}^{\top} \mathbf{h}_{i: k}+\mathbf{d}_{r}^{\top} \mathbf{h}_{k+1: j} .
$

$\mathbf{W}_{u}$ は重み行列， $\mathbf{d}_{l}$ と $\mathbf{d}_{r}$ は重みベクトルである。ま た， $\mathbf{h}_{i: k}$ と $\mathbf{h}_{k+1, j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\operatorname{MLP}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\operatorname{MLP}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right) .
\end{aligned}
$

$\mathrm{MLP}_{*}$ は多層パーセプトロンを表し，一層の順伝播型ニューラルネットワークと，活性化関数に ReLU 関数を用いる。そして，関数 $\mathrm{s}_{\text {split }}$ を最大とする $\hat{k} て ゙ ~$ スパンを分割する。

$
\hat{k}=\underset{\mathrm{k} \in\{i, \ldots, j-1\}}{\arg \max }\left[\mathrm{s}_{\text {split }}(i, j, k)\right] .
$

スパン $(i, j)$ を $k$ で分割した 2 つのスパン間に付与 する核性ラベルと関係ラベルのスコア $\mathrm{s}_{\mathrm{label}}(i, j, k, \ell)$ は以下の式で定義される。

$\mathrm{S}_{\text {label }}(i, j, k, \ell)=\mathbf{W}_{\ell} \operatorname{MLP}\left(\left[\mathbf{u}_{i: k} ; \mathbf{u}_{k+1: j} ; \mathbf{u}_{1: i} ; \mathbf{u}_{j: n}\right]\right)$. $\mathbf{W}_{\ell}$ は重み行列である. そして，以下の式でラベル が選択される。

$
\hat{\ell}=\underset{\ell \in L}{\arg \max }\left[\mathrm{s}_{\text {label }}(i, j, l, \ell)\right] .
$

$L$ は，核性ラベル推定の際には $\{\mathrm{N}-\mathrm{S}, \mathrm{S}-\mathrm{N}, \mathrm{N}-\mathrm{N}\}$ ，関係ラベル推定の際には 18 種類の修辞関係ラベルの 集合をそれぞれをあらわす。

そして，すべてのパラメタは正解の分割 $k^{*}$ と正解ラベル $\ell^{*}$ に対し, 以下の損失の最小化により最適化される。

$
\begin{aligned}
& \max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}\right)-\mathrm{s}_{\text {split }}(i, j, \hat{k})\right) \\
& +\max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \ell^{*}\right)-\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \hat{\ell}\right)\right) .
\end{aligned}
$

## 4 実験

## 4.1 データセット

上で述べた ActivityNet Captions の検証用データ セット中のデータ 339 件に対し，人手で修辞構造の 注釈を与えたデータセット（Activity-RST）を作成し た.なお，注釈付けは RST-DT 作成時に利用された マニュアル ${ }^{5}$ に従った. 表 1 に，1文書あたりの文数, 修辞構造木の深さを, RST-DT との比較で示す. Activity-RST の木は RST-DT の木と比ベノード数が 少なく，階層が浅い．RST-DT の核性ラベルの頻度 は，N-S が 5079，N-Nが 1851，S-Nが 532 であり，関係ラベルは Elaboration， Joint，Explanation の順で多 かった。一方, Activity-RST の核性ラベルの頻度は, N-S が 44，N-N が 204，S-N が 1111 であり，関係ラ ベルは Elaboration, Background, Textual-organization の順で多かった. 2 つのスパンが RST-DT では S-N に分類されることが多く, Activity-RST では N-S に 分類されることが多い。この理由は，RST-DT は新聞記事が対象であるため記事の重要部が主に前に 現れることに対し, Activity-RST は動画が対象であ るため重要部は後に現れることにある。これらの比較から, Activity-RST は RST-DT とは性質の異なる データセットであることが分かる.

## 4.2 映像特徵量

本実験で使用した映像特徴量は，C3D[8] お よび, RGB ResNet-200(RES)[9] と Optical flow BNInception(BN)[10] の組み合わせである。C3D は，3D

5) https://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.201.9677\&rep=rep1\&type=pdf
表 1 データセットの比較

ConvNetwork を用いて 8 フレーム毎に映像を 1 つの 500 次元べクトルへと畳み込んだもので, ActivityNet Challenge で公式に配布されている特徴量である. RES と BN の組み合わせは，Zhou らの DVC システ ム [11] で利用された特徵量である. RES は映像の RGB 值を 0.5 フレーム毎に取得した特徴量, BN は オプティカルフローを 0.5 フレーム毎に取得した特徵量である.

## 4.3 実験設定

10 分割交差検証 (訓練:検証:テストデータ=8:1:1) により解析器の評価を行った. また，5 モデルアン サンブルを用い，異なる初期値の 3 回の試行の平均値を最終的な評価結果とした。

解析に用いるキャプションは, ActivityNet Captions で与えられた正解キャプションと Zhou らのシステ ム [11] に正解イベントの区間を与えて生成したキャ プションを試した. C3D, RES+BNとも ActivityNet Captions の正解イベントの区間から得たものを利用 した. そして，テキストから得た特徴と映像から得 た特徴のそれぞれの組み合わせも評価した。

評価指標は RST-Parseval[3] に従い，ラベルなしス パン (Span)，核性ラベル付きスパン (Nuc)，関係ラベ ル付きスパン (Rel), すべてのラベル付きスパンの一致 (Full)の micro-averaged $F_{1}$ 值を用いた.

## 4.4 結果と考察

表 2 に評価結果を示す. テキスト特徴量, 映像特徵量を単独で用いた場合を比較すると，正解キャプ ションを利用した場合のスコアが最も高い. 正解 キャプションを用いた場合よりもスコアは大きく 下がるが，C3D，RES+BNを用いた場合がほぼ同等 のスコアであり，システムが生成したキャプション を用いた場合が最もスコアが低く, C3D， RST+BN よりも 2 ポイント程度劣化している. 修辞構造の注釈は正解キャプションに基づき行われたため, 正解 キャプションを利用した場合が最も良い結果を得た ことは妥当であろう．しかし， C3D，RES+BNより もシステムが生成したキャプションを用いた場合に表 2 Micro-averaged $F_{1}$ による性能比較

性能が劣化していることは自動生成されたキャプ ション文の質が低いことを示唆している.

次にテキスト特徴量と映像特徴量を組み合わせ た場合をみると, 正解キャプションに対して C $3 \mathrm{D}$, RES+BN の双方を組み合わせるとすべての指標にお いてスコアが改善されていることがわかる.この結果は, 映像特徴量が修辞構造解析に役立っているこ とを示している. しかし, システムが生成したキャ プションを組み合わせると，C3D，RES+BNをそれ ぞれ単独で利用する場合よりもスコアは劣化してお り, システムが生成したキャプションの質の低さが 悪影響を与える結果となった。

## 5 おわりに

本稿では, 動画の修辞構造解析のため, ActivityNet Captions データセットの一部に修辞構造の注釈を与 えたベンチマークデータセットを構築した. テキス 卜と映像特徴量が解析性能に与える影響を調べた結果，正解キャプションから得た特徴量を用いる場合 の性能が最も良く, 正解キャプションと正解イベン トの区間から得られる映像特徵量を組み合わせるこ とでさらに性能が向上することを確認した. 今回の テキストと映像の特徵量の組み合わせ方は非常に単純なものであるため，これをさらに洗練されたもの に改良することで性能向上をはかりたい。また，未知のデータの解析のためにはイベントの区間推定, キャプションの生成をともに自動的に行わねばなら ない. 今回の実験結果では自動推定したキャプショ ンで大きく性能が劣化したことからキャプション生成における改善の必要性が明白となった。 また，イ ベント区間の自動推定についても手法を開発し，修辞構造解析の性能に与える影響を調べる必要がある だろう.

## 参考文献

[1]W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87190, USC/ISI, 1987.

[2]Arjun Reddy Akula and S. Zhu. Visual discourse parsing. ArXiv, Vol. abs/1903.02252, , 2019.

[3]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the Second SIGdial Workshop on Discourse and Dialogue, 2001.

[4]Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the 2020 Conference on Artificial Intelligence for the American, pp. 8099-8106, New York, America, September 2020.

[5]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[6]Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7]Qingyu Zhou, Nan Yang, Furu Wei, and Ming Zhou. Selective encoding for abstractive sentence summarization. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1095-1104, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8]Du Tran, Lubomir D. Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. C3D: generic features for video analysis. CoRR, Vol. abs/1412.0767, , 2014.

[9]K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[10]Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[11]Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.