# 敵対的サンプルを用いた対照学習の性能向上への取り組み

折口希実 ${ }^{1}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学
\{g1620512, koba\}@is.ocha.ac.jp

## 概要

アンカーとされる一つの画像から派生した画像群間の特徵量の類似度を最大化し，アンカーとは異な る画像から派生した画像群の特徵量とは類似度を最小化することにより自己教師あり学習を行う対照学習は，機械学習に新しい技術変革をもたらし優れた 精度向上を実現した. 本研究では, この対照学習を 自然言語処理に導入した SimCSE [1] の枠組みに敵対的サンプルを導入することにより，さらに性能を 向上させた対照学習を提案する. また，とくに，対照学習において明確な制約が存在しない負例の生成 に着目し，様々な負例の導入方法を検討することに より, 対照学習の性能向上を試みた. 評価には意味的にテキストの類似性を測定できる SentEval の STS タスクを用いた．BERT ベースを用いた提案モデル では先行研究モデルのスピアマンの相関 $74.06 \% を$

## 1 はじめに

教師あり学習の精度を向上させるためには，大量 のデータを必要とするが，データ全てに対してラべ ル付けを行うことは，多くの人的コストを要してし まう。一方，自己教師あり学習は，ラベルなしデー タから自動で正解ラベル付きデータを生成すること が可能であり，学習用データ構築のコストを大幅に 下げることに有効な手段である。近年では, 自己教師あり学習に対照学習を用いることで教師あり学習 に匹敵する性能を実現している．対照学習とは，識別空間において識別対象と類似したデータは近く に，異なるデータは遠くに置かれるように学習する 機械学習の手法の一つである. 表現学習では対照学習を用いることで特徴量をうまく抽出できるモデル を得ることが可能であり，様々な下流タスクに利用 できる. 特に対照学習の枠組みを用いた教師なし学習は教師あり学習に匹敵することが示されている [2].本研究では，そのような対照学習をより高性能な ものとするために，敵対的サンプル [3] を導入し，様々な観点から対照学習における負例の導入方法を 検討する。

## 2 提案手法

本研究では，Gao ら [1] によって提案された埋め 込み学習の枠組みである SimCSE モデルをベースに し，敵対的サンプルの導入や負例の生成方法を拡張 したモデルを構築した.

## 2.1 SimCSE

対照学習では，アンカーとされるオリジナルの データ $x_{i}$ に対して, 意味的に近いデータ $x_{i}^{+}$(正例と 呼ぶ) のペアの集合 $D=\left.\{\left(x_{i}, x_{i}^{+}\right)\right.\}_{i=1}^{m}$ が与えられる と, 事前学習済みの汎用言語モデルによって入力 をエンコードし，埋め込みべクトルを獲得する。一方, SimCSE モデルでは $x_{i}=x_{i}^{+}$であり, データをド ロップアウトマスクを用いて 2 度エンコードするこ とで僅かに異なる埋め込みべクトルの正例ぺアを取得する. 以下，汎用言語モデルを BERT として話を 進める. 通常 BERTへの入力の際，バッチ単位で複数の文を同時にそれぞれべクトル化しているが，そ のときのミニバッチ内のアンカーとする対象文以外 の他の文については負例として扱う。損失関数であ る NT-Xent loss を用いて正例のペアのソフトマック スを 1 に近づけるように，そうでないものを 0 に近 づけるように学習することで対照学習を行う.

SimCSE モデルの損失関数は式（1）で示される.

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{i}^{z_{i}^{\prime}}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{j}^{z_{j}^{\prime}}\right) / \tau}}
$

ここで,$N$ はミニバッチ数であり,$z$ はドロップア ウトマスク， $\tau$ はソフトマックスの温度パラメータ である. $\mathbf{h}$ はデータ $x ， x^{+}$それぞれの特徴表現を示 す.また， $\operatorname{sim}(\cdot)$ はコサイン類似度の関数であり，
文同士の類似度を計算している。正のぺアは 1 に，負のペアは 0 に近づくように学習を行う。

対照学習におけるデータの拡張では，単語の削除 や入れ替え等の既存手法が主流であったが [4], ド ロップアウトマスクのみというシンプルな仕組み で，SimCSE モデルは既存手法の精度を更新する十分な精度を実現している。

## 2.2 敵対的サンプルの対照学習への導入

敵対的学習 [3] において，モデルの出力を変えて しまうようなノイズベクトルのことを「敵対的摂動」と呼び，意図的に作成される. 作成方法につ いては，主に 2 つの設定 (White-Box, Black-Box) に より異なり，モデル知識の有無で分かれる. モデ ル知識がない場合が Black-Box であり，ある場合の 設定が White-Box である. 本研究での取り組みは, White-Box に該当するため，以下それについてのみ 言及する. 敵対的サンプルを作成する手法の代表的 なものの 1 つに Fast Gradient Sign Method (FGSM) が ある [3]. 摂動は，式 2 で示すように与えられる。

$
x=x+\epsilon \operatorname{sign}\left(\nabla_{x} \operatorname{Loss}(x, y)\right)
$

ここで,$x$ は入力データ,$y$ はそのラベルである. また, sign 関数は正の値を +1 ，負の値を -1 にする 関数で， $\epsilon$ は摂動に対する調整係数である。損失を 最大化する方向へ入力 $x$ を $\epsilon$ ずつ更新していく.

モデルを誤認識させてしまう敵対的サンプルを混 ぜて学習を行うことでより堅牢なモデルを得られる ことが報告されており $[5,6]$, 本研究においても対照学習における正例に対して，敵対的サンプルを 生成させ，モデルの学習に用いた. 図 1 に概要を示 す. 正例から生成した敵対的サンプルを負例のよう に扱い，損失関数は式 (1)を用いた。

## 2.3 対照学習の性能向上に向けて

敵対的サンプルの導入により，対照学習における 正例の拡張を行なったのと同様に，負例に関しても 拡張を考える. 対照学習における負例の生成におい ては, 制約が緩く, 工夫の余地がある. 以下に，本研究で導入した負例の生成について記す。

## 1. 損失関数のコサイン類似度を用いた負例の拡張 Contrastive Loss を計算過程では文の特徴表現の 類似度としてコサイン類似度にて算出する. 負例は基本的に正例と全く似つかないものである ため負例ぺアの類似度はかなり低いものとなっ

図 1 提案モデル

てしまう．そのため正例ぺアのものと負例ペア のものとの間には類似度に一定の乘離が存在し ている。その乘離部分は正例ペアに近い境界部分の負例のペアの類似度を表していると推測 し，その部分の拡張を行うことは境界部分の データを拡張していることと同義で，潜在空間 をより補完できるのでははないかと考えた．損失関数は式 (3)のように表せる.

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{i}^{z_{i}^{\prime}}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{i}^{z_{i}}, \mathbf{h}_{j}^{z_{j}^{\prime}}\right) / \tau}+\lambda \cdot \sum_{k=1}^{M} e^{\operatorname{sim} A / \tau}}
$

$\operatorname{sim} A$ は正例ペアと負例ぺアの間のコサイン類似度の間の範囲から生成される擬似コサイン類似度であり， $M$ は生成される数を示し， $\lambda$ は調整係数を示すハイパーパラメータである.

## 2. margin を考慮した負例の生成

深層距離学習 [7] において, アンカー, 正例,負例の 3 つ組の埋め込み空間の状態を捉えた損失関数 triplet loss の設定やデータ間の距離を捉 える margin といった考え方がある. アンカー から遠く離れた負例は学習にとってさほど重要 な意味を持たず，アンカーに近ければ近いほど 効果的な学習ができるため, その効果的な学習を可能とする範囲が margin である. 学習に とって理想的な負例は，正例に極めて近いが正例ではない境界の近くに存在するものと考える ことができる. ここでは，学習にとって有益 な負例となるデータが存在する範囲のことを margin とし，文のべクトルにノイズを加え，正例を負例に近づけるように拡張させた敵対的サ ンプル（正例の限界点とみなす）との距離を考
表 1 実験結果 (STS タスク)

図 2 埋め込みの視覚化：(左）BERT（中央）BERT を用いた SimCSE モデル（右）敵対的サンプルを用いた提案モデル

慮することにより，有効な負例を見つけ学習に 用いる. 具体的には，アンカーからもっとも遠 いとみなされる正例の限界点を敵対的サンプル とし，負例との間の範囲を margin としている.敵対的サンプルと新たな負例との間のベクトル を生成することで margin の範囲にある負例と した.

## 3. GS-InfoNCE

Wu ら [8] は，SimCSE をべースとして，その損失関数の分母に, Gauss 分布で表現されるノ イズを追加した手法である Gaussian Smoothing InfoNCE (GS-InfoNCE) を提案している。まず， ガウス分布から文のベクトルと同じ次元で $M$個のガウスノイズベクトル $\mathbf{g}$ をランダムにサン プリングする. これらのべクトルはサンプルと 高い信頼性を持つ負のペアとなる．そのような 負のペアを生成して負例を拡張することによっ て，表現空間をより充実させ，滑らかなものと する．次のような式にて損失関数を示す。

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}, \mathbf{h}_{i}^{+}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{j}, \mathbf{h}_{i}\right) \tau} /+\lambda \cdot \sum_{k=1}^{M} e^{\operatorname{sim}\left(\mathbf{g}_{k}, \mathbf{h}_{i}\right) \tau}}
$

この手法では，SimCSE モデルを上回る結果と なったことが示されており, 本研究での提案手法との比較のための追実験を行った.表 2 実験設定

## 3 実験

提案モデルを含め, $2.2,2.3$ 項で述べた方法につ いて実験を行い，対照学習の性能を向上させる方法 を検証する。

## 3.1 実験設定

表 2 に実験設定を示す. パラメータ等は [1] を元 にして行った.

評価方法 評価方法については, 先行研究と同様 に SentEval: evaluation toolkit for sentence embeddings ${ }^{1 \text { ) }}$ を用いる. SentEval を使用し，STS（Semantic Textual Similarity）を用いてタスク遂行に際して、精度を向上させるような文の埋め込み表現が獲得できたか を評価する．STS は，文章の等価性を評価するタス クであり，2 つの文の関係について類似度を対象と して評価する。本研究では STS の7つのタスグ2)を 用いて評価を行った. 対照学習は「似た表現を近く に，異なる表現を遠くへ」と学習させるものである

1) https://github.com/facebookresearch/SentEval

2) STS12, STS13, STS14, STS15, STS16, STS Benchmark, SICK Relations
表 3 学習済み言語モデルの比較 (Avg.)

ので，類似を評価するSTS タスクを用いることで文 の埋め込み表現のパフォーマンスについて評価が可能である. また，学習された潜在空間のクラスタ化 がなされているかを検証するために $\mathrm{UMAP}^{3}$ )を用い て, データ数約 40 万の amazon の製品レビューでカ テゴリのラベルのついたデータの潜在空間の視覚化 を行う. UMAP とは t-SNE よりも高速・高性能に次元削減・可視化する手法であり，似たカテゴリ同士 は近くに，似ていないカテゴリ同士は遠くに配置さ れる。

## 3.2 実験結果

STS の 7 つのタスクに対し，2.2，2.3 項で述べた 提案手法を用いて評価を行った結果を先行研究らの 追実験の結果と比較し表 1 に示す. 実験で用いた提案モデルは 5 つであり, 手法を組み合わせたモデル も用いた. 表 1 で示すモデルの事前学習済み汎用言語モデルは全て BERT を用いて行ったものとなって いる。また学習済み汎用言語モデルとして BERT と RoBERTa それぞれを採用した際の STS のタスクの 結果の比較を表 3 に示す.この結果は STS の7つの タスクのスピアマン相関の平均值であり, 先行研究 モデルの SimCSE と敵対的サンプルを用いた提案手法で比較を行った.

また，敵対的サンプルを用いた提案手法と先行研究モデルとで可視化し比較したものを図 2 に示 す. 左から BERT，BERT ベースのモデルを用いた SimCSE モデル，敵対的サンプルを用いた提案モデ ルの順になっている。

## 3.3 考察

表 1 に示すように， 5 つの提案モデルは先行研究 モデルである SimCSE と Wu らによって提案された モデル [8] のスコアのほとんど全てを上回ったこと がわかる. これにより，2.2，2.3 項で示した手法は 全て効果的に作用したといえる. しかし， 5 つの提案モデルの結果はタスクによってべストスコアを出 すモデルは異なっているためどの手法が優れてい るかについては一概にはいうことはできない. だ
が，基本的には敵対的サンプルを単独や組み合わ せて用いたモデルが，7 つのタスク中 6 つのタスク で最も高いスピアマンの相関を得ることができて おり，かなり効果的な手法の一つと考える。また， ours(+GS+ae) モデルのように GS-InfoNCE モデルと ours(+adversarial examples) モデルを組み合わせるこ とでスコアを落としてしまうこともあり，安易に手法を組み合わせることで逆効果になり得ることがわ かる.

表 3 からは 7 つのタスクのスピアマン相関の平均スコアが学習済みの汎用言語モデルとして BERT を用いるより RoBERTa を用いる方が SimCSE モデ ル，提案モデルのベストスコアでそれぞれ $3.67 \%$, $2.08 \%$ 上回った. このことから RoBERTa をべースと したモデルの方が優れていることを示している.

図 2 では文の埋め込み表現のパフォーマンスにつ いて BERT，SimCSE モデル，提案手法の一つである 敵対的サンプルを用いた提案モデルの 3 つで比較を 行っているが，敵対的サンプルを用いた提案モデル が最もクラスタが分かれており，効果的な対照学習 はより解きほぐされた表現空間を生成することに繋 がっていることがわかる.

## 4 おわりに

本研究では，自然言語処理において効果的な対照学習を行うことができるように敵対的サンプルを用 いたデータの拡張方法の模索や負例の生成方法につ いて検討をし，実験を行った。実験を通じて，敵対的サンプルを単独，または組み合わせたモデルが STS の 7 つのタスクのほとんどのベストスコアを達成しており，有効な手法であることを示した。損失関数のコサイン類似度を用いて負例を拡張したモデ ルについてもかなり高いスピアマン相関を達成して おり, さらに改善の余地のあるパラメータの調整等 を行うことでより良いスコアを得られるのではない かと考える。今後の課題として、それらを行った実験を行い性能向上に努め，また，具体的な潜在空間 を可視化して負例のデータ分布を margin の中で一様に補完するような負例の生成をしたいと考えてい る. 提案手法は，自然言語処理において優れた表現 の獲得を可能とし，また潜在空間をより明確に整理 が行えるため，分類系統のタスクにおいて特に役立 つと期待している.

## 参考文献

[1] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Empirical Methods in Natural Language Processing (EMNLP), 2021.

[2] Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, and Geoffrey Hinton. Big self-supervised models are strong semi-supervised learners. arXiv preprint arXiv:2006.10029, 2020

[3] Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples, 2015.

[4] Zhuofeng Wu, Sinong Wang, Jiatao Gu, Madian Khabsa, Fei Sun, and Hao Ma. Clear: Contrastive learning for sentence representation, 2020.

[5] Chih-Hui Ho and Nuno Vasconcelos. Contrastive learning with adversarial examples. ArXiv, Vol. abs/2010.12050, , 2020.

[6] Minseon Kim, Jihoon Tack, and Sung Ju Hwang. Adversarial self-supervised contrastive learning. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[7] Kaya and Bilge. Deep metric learning: A survey. Symmetry, Vol. 11, No. 9, p. 1066, August 2019.

[8] Xing Wu, Chaochen Gao, Liangjun Zang, Jizhong Han, Zhongyuan Wang, and Songlin Hu. Smoothed contrastive learning for unsupervised sentence embedding, 2021.


# Transformer におけるフィードフォワードネットの作用

小林悟郎 1 栗林樹生 ${ }^{1,2}$ 横井祥 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
goro.koba@dc.tohoku.ac.jp \{kuribayashi, yokoi, inui\}@tohoku.ac.jp

## 概要

近年 Transformer ネットワーク [1] が大きな成功を 収め，Transformer を用いたモデルの分析が盛んに行 われている。しかし多くの研究は注意機構に焦点を 絞り，他のモジュールを無視して分析を行ってい る. 特に，多くの学習パラメータを持つフィード フォワードネットを分析に組み込む試みはこれまで ほとんどない. 本研究ではフィードフォワードネッ トにも光を当て，層を構成するすべてのモジュール を考慮した分析方法を提案する．BERT[2]を対象と した実験では，フィードフォワードネットが単語埋 め込み間の混ぜ合わせに興味染い影響をもたらすこ とを明らかにする。

## 1 はじめに

近年，Transformer ネットワークが自然言語処理の 幅広いタスクに性能向上をもたらし，基盤技術とな りつつある。その成功理由の解明および更なる性能改善を目指して Transformerを用いたモデル（BERT など）の分析が盛んに行われている [3]. Transformer は入力系列の情報を混ぜ合わせながら単語埋め込み を更新していく．そこで既存分析の主な関心は，モ デルが単語埋め込みを更新する際に文脈情報をどの ように混ぜ合わせているかにある. 多くの既存研究 では，直接的に単語埋め込み同士の混ぜ合わせを実現する注意機構の振る舞いに焦点を絞った分析が行 われてきた $[4,5,6,7,8,9,10,11,12]$.

しかし, Transformerを構成する要素は注意機構だ けではなく，その他のモジュールも間接的に混ぜ合 わせに影響を及ぼしうる。 そこで我々はこれまで， Transformerをより精緻に分析するために分析範囲を 拡張することを試みてきた $[12,13]$. その結果，分析範囲を拡張することでモデル内部の観察が大きく 変わることが分かっており，対象モジュールを絞っ た限定的な分析を続けることには不完全な知見をコ ミュニティ内に積み上げてしまう危険がある.

図 1 Transformer 層の概要と各種分析方法のスコープ.

本研究では新たにフィードフォワードネットを分析に組み込み，分析範囲を層全体まで拡張する。代表的なモデルである BERTを対象とした実験の結果，フィードフォワードネットによって混ぜ合わせ の振る舞いが変化すること，さらに言語的に関係深 い単語ぺア (e.g., 意味的つながりが強い単語ペア) の相互作用が増幅されることなどがわかった.

## 2 準備: Transformer

Transformer は入力されたべクトル系列（トークン 列）を混ぜ合わせながら更新する層を積み上げて構成される。各層は (1) 注意機構，（2）フィードフォ ワードネット，（3）残差結合，（4）層正規化の 4 種類の要素からなる（図 1). Transformer を用いたモ デルを分析する多くの既存研究は，注意機構だけに 焦点を当ててきた $[4,5,6,7,8,9,10,11,12]$. 最近,我々が注意機構に加えて残差結合と層正規化を考慮 することを提案した [13] が，フィードフォワード ネットの影響はいまだ考慮されていない。本研究で はフィードフォワードネットを分析に組み込み，層内の混ぜ合わせにもたらされる影響を調査する。
注意機構 (ATTN) は単語埋め込み列 $\left.\{x_{1}, \ldots, x_{n}\right.\} \subseteq$ $\mathbb{R}^{d}$ を混ぜ合わせることで各埋め込み $x_{i}$ を更新する 機構である. 具体的には, 各単語ぺア $\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right)$ の関係性に相当する注意重み $\alpha_{i, j} \in[0,1]$ を計算しその 值に基づいて周囲の埋め込みを混ぜ合わせること で，関係深い単語の埋め込みから情報を多く集めな がら埋め込みを更新することを実現する。

フィードフォワードネット（FF）は活性化関数を 間に挟んだ 2 層の線形ニューラルネットワークで ある。各単語埋め込みに対して独立に同じ変換を行 うため，この機構単体では埋め込み同士に混ぜ合わ せのような相互作用は生まない. 以降ではフィード フォワードネットを FF と省略して表記する。

残差結合（RES）は注意機構および FF の前後を短絡する形で，それら機構への入力ベクトルをその出 カベクトルに足し込み，元の情報を残す.

層正規化（LN）は各べクトルに要素平均を 0 ，要素分散を 1 にする正規化を行った上で，各要素をス ケーリングするアフィン変換を行う。

## 3 関連研究

本節では Transformerを用いたモデル（BERTな ど）の内部挙動を分析する既存手法を概観し, 本研究の位置付けについて述べる。

注意機構の分析 モデル内部での単語間の混ぜ 合わせを調べるために多くの研究で注意機構に焦点が当てられてきた. 特にアテンション重み $\alpha$ の 値を観察するのが最も典型的な分析方法である $[4,5,6,7,8,9,10,11]$ (図 1 の AtTN-w).この方法は 機構内の $\alpha$ 以外の影響を無視してしまうが，我々の 以前の研究ではその点を改良した注意機構の包括的 な分析方法を提案した [12]（図 1 の ATTN）.

分析範囲を拡張する試みこれらの分析では Transformer を構成する 4 要素（セクション 2）のう ち注意機構だけしか考慮されない. そこで注意機構以外の構成要素も分析に組み込むことも過去の研究で試みた。具体的には，ベクトルノルムを用いる ことで層の前半部分（注意機構・残差結合・層正規化）を包括的に分析する方法を提案した [13]（図 1 の AtTNResLn)，そして実際に，この分析範囲の拡張によってモデル内での単語間の混ぜ合わせの見え 方が大きく変化することを報告した.

既存の問題点と本研究の立ち位置しかしながら Transformer の学習可能パラメータの半数以上（埋め 込み層を除く）を占める $\mathrm{FF}$ を分析に組み込む試み

1. 各入カ $x_{j}$ に紐づくベクトルの和として表す

図 2 ベクトルノルムに基づく分析の概要.

は現状ほとんどない，数少ない試みは FF を独立に 調べるもので $[14,15]$ ，注意機構など直前までのモ ジュールによる混ぜ合わせに与える影響については 明らかになっていない. 本研究は $\mathrm{FF}$ を注意機構な どの周囲のモジュールと合わせて分析に組み込むこ とで，FF が単語同士の混ぜ合わせにどのような影響を与えるのかを調べる。

## 4 提案手法

Transformer を構成する 4 種類の要素全て（2 節） を考慮した， 1 層の包括的な分析法を提案する.

## 4.1 ベクトルノルムに基づく分析

本研究の提案手法では我々が以前提案したべクト ルノルムを用いた方法 [12]を採用する。この方法は アテンション重み $\alpha$ を観察するような方法と違い，分析範囲を自然に拡張できる。また，勾配を用いて 分析対象の入出力間の関係を分析する方法と違い,入力ベクトルによる影響も考慮できる。 ベクトルノ ルムを用いた分析の概要を図 2 に示す. 分析は次の 2 段階で行われる：

1. 分析したい処理を各入力 $\boldsymbol{x}_{j}$ に紐づくベクトル の和に書き直す（加法分解する）.

2. 分解された各べクトルのノルムを測ることで出力 $\boldsymbol{y}_{i}$ に対する各入力 $x_{j}$ の貢献を測定する.

この方法はベクトルの総和において長いべクトルほ ど出来上がるべクトルに強く影響を与えるという性質を基に考案されている. 3 節で述べた注意機構の 包括的な分析（図 1 の ATTN）[12]，および層の前半部分（注意機構・残差結合・層正規化）の包括的な
分析（図 1 の AtTnResLn） [13] はこの方法を用いて 実現したものである. 本研究では分析対象を FFに 広げることで層の包括的な分析を実現する。

## 4.2 FF の加法分解

分析の第 1 段階として今回の分析対象である Transformer 層全体を加法分解したい. 層全体の加法分解は, 層を構成する 4 要素の処理をそれぞれ加法分解することで実現できる.このうち注意機構・残差結合・層正規化の 3 要素についてはそれぞれ近似 なしで加法分解できることを以前の研究 $[12,13]$ で 示している. しかし本研究で新たに組み达む $\mathrm{FF}$ に は活性化関数が含まれている1). 非線形な作用には 分配則が適用できないため近似なしで加法分解でき ない. そこで活性化関数部分を近似的に加法分解す る方法について検討した. 分解前後で合計値が変化 しないことを要件とし，これを満たす近似手法とし て（1）勾配に基づいた近年代表的な特徴量帰属手法 Integrated Gradients [17] と（2）ゲーム理論に基づい て出力への寄与値を分配する Shapley Value [18] を候補に挙げた. 両手法で試したところ, Shapley Value には系列長に応じて急激に計算速度が遅くなる問題 があったため, 本研究では Integrated Gradientsを採用した. 他の方法も踏まえて近似分解手法を比較検討することは今後の展望の一つである.

## 4.3 提案手法まとめ

以上によりすべての構成要素の加法分解が可能と なり, Transformer 層での埋め込みの更新を入力に紐 づくべクトルの和 $\boldsymbol{y}_{i} \approx \sum_{j} F\left(\boldsymbol{x}_{j}\right)$ で表すことができ た. あとは分析の第 2 段階として分解した各べクト ルのノルム $\left.\|F\left(x_{j}\right)\right.\|$ を測ることで，埋め込み $x_{i}$ を $\boldsymbol{y}_{i}$ へと更新する際の各入力埋め込み $x_{j}$ の貢献を測 る. 測定した値はその層における $j$ 番目の単語から $i$ 番目の単語への混ぜ度合いに相当しており, その 値の大きさからモデルが周囲の各単語情報をどれほ ど強く混ぜ合わせているかを観察できる。

## 5 実験

Transformer を用いた代表的なモデルである BERT の内部挙動を $\mathrm{FF}$ の作用に注目しながら分析する. 5.1 節では FF が文脈の混ぜ合わせを変化させること をデータ全体のマクロな分析から確かめる． 5.2 節 では個別の単語ぺアに注目したミクロな分析によ

図 3 分析範囲の異なる手法間の結果の類似度.

り，FF が言語的に興味深い単語ぺアの混ぜ合わせ を大きく変化させる傾向を明らかにする.

モデル 事前学習済み BERT-base (uncased)を用い た. BERT-base は 12 層から構成されており，その各層が注意機構，フィードフォワードネット，残差結合，層正規化から構成されている（図 1).

データ 既存研究 $[4,12,13]$ に従い，モデルへ入力するテキストデータに Wikipedia から抽出された 992 系列 [4] を用いた. BERT の事前学習の設定に合 わせ，各系列の $12 \%$ 2) のトークンは [MASK]トークン に置換してからモデルに入力した.

分析手法 実験では分析範囲の異なる 6 種類の手法で分析し，結果を比較することで各モジュールの 混ぜ合わせへの影響を調査する. 各手法の分析範囲 は図 1 に示す通りである. ATTN-w は注意重み $\alpha$ を 分析する最も典型的な方法で，他 5 手法はベクトル ノルムに基づく分析（4.1 節）を採用している.

## 5.1 各モジュールの混ぜ合わせへの影響

分析に考慮するモジュールを増やすことで混ぜ具合の観察結果がどの程度変化するかを確認する。

手順 BERT に各系列（トークン数 $n$ ）を入力し, 6 種類の分析手法それぞれで入力単語間の混ぜ度合 い（ $n \times n$ の行列）を算出する. 続いて系列毎に手法間で結果の類似度を測り，全系列で平均する。その 後，モデル全体での傾向を調べるために各層から算出された値を平均する．行列間の類似度を測定する 方法は，多変量解析法である表現類似性分析 [19] に 従う. 具体的には各行列 $\left(\mathbb{R}^{n \times n}\right)$ をべクトル $\left(\mathbb{R}^{n^{2}}\right)$ に平坦化してスピアマン順位相関係数を計算する。

結果・考察 図3に6種類の分析手法で算出され た混ぜ合わせの結果同士の類似度を示す。

2） BERT の事前学習では入力系列の $15 \%$ が選ばれ，そのうち 80\%（全体の 12\%）が [MASK]トークンに置換される。
表 1 FFが混ぜ度合いを増幅した単語ぺア。

FF は混ぜ合わせを変化させる：FFを分析に組み込 む前後で混ぜ合わせの類似度は 0.79 で 1.0 より確か に低く, FFが混ぜ合わせに変化をもたらしているこ とが分かった. FF は埋め込み間に相互作用を生ま ないため一見混ぜ合わせには寄与しないように思え るが，その各入力は直前の注意機構などを通して埋 め込みが混ぜられたものであり, FF はベクトル変換を通してその混ぜ具合を確かに変化させている.

残差結合・層正規化も混ぜ合わせを変化させる：FF の後にある残差結合の前後では類似度が 0.96 , 層正規化の前後では類似度が 0.73 であり, 残差結合と層正規化も混ぜ合わせに変化をもたらしていること が分かった. 特に層正規化による変化は大きく, ア フィン変換が強く働いていると考えられる. この傾向を詳細に調べることは今後の展望の一つである.

## 5.2 フィードフォワードネットの仕事

前節では FF が単語埋め込み間の混ぜ具合を変化 させていることを明らかにした。本節ではこの FF による混ぜ合わせへの影響についてミクロに調査 し，どのような単語ぺアに対して大きな変化をもた らすのかを明らかにする。

手順 BERT に各系列を入力し，FFを分析に組み 込む前後 (AtTNResLn と AtTnResLnFF) でそれぞれ 単語間の混せ度合い $(n \times n$ の行列) を算出する. そ れぞれの結果に対して各行の合計值が 1 になるよう 正規化を行っで3 から差分を取り, FF が各 2 単語間 での混ぜ合わせ $\left(w_{j}->w_{i}\right)$ にもたらす変化量を計算する.これを単語の組み合わせ毎にデータ全体で 平均し，変化が大きい傾向にある単語ぺアを特定す る.このとき周囲文脈との関係に注目する目的で，同じ位置の単語への混ぜ合わせ $\left(w_{j}->w_{j}\right)$ は除外 した. さらに外れ値の影響に対処するため，データ 中に一度しか出現しないぺアも集計から除外した。

結果・考察 各層の FF が混ぜ度合いを平均的に 大きく増幅もしくは減衰した単語ペアを特定し，そ のうち顕現的なぺアを表 1 および表 2 にまとめた. ${ }^{4)}$
$ に示す.
}

表 2 FFが混ぜ度合いを減衰した単語ぺア。

関係深い単語ペアの混ぜ度合いの増幅 (表 1)：1 層目では 2 トークンで 1 つの単語をなすサブワードの ペア（detour や weeknight）や熟語をなす 2 単語（cell phones）といった，意味の繋がりが強く，隣り合っ たぺアで混ぜ合わせが増幅されていた。 6 層目では 副詞を伴うコロケーションを成す単語ぺア，9層目 では文内において意味的な接続があると予想される 単語ペアでの混ぜ合わせが増幅されていた. 10 層目では同系列内に複数個出現する同じ単語同士で の混ぜ合わせが増幅される傾向にあった. 以上によ り, FF は何らかの意味で関係深い単語ペアの混ぜ 度合いを増幅する傾向にあることが示唆される。

同グループに属する単語同士の混ぜ合わせと特殊 トークンへの混ぜ合わせの減衰 (表 2) : 3 層目では 月名単語同士の混ぜ合わせが減衰され，5 層目では 同系列内に複数回登場する同じ単語同士での混ぜ合 わせが減衰されていた。これより, FFが同グルー プに属する単語同士に対して不要な混ぜ合わせを 抑制する働きを持つことが示唆される. 10,12 層目 では特殊トークンである $[C L S]$ と [SEP]への混ぜ合 わせが減衰される傾向にあった. 特に最終層である 12 層目で [CLS]への混ぜ合わせを減衰していること は，[CLS] の埋め込みを用いて 2 文間の連続性につ いて予測する事前学習タスクを解くために重要でな い情報を抑制している可能性が考えられる.

## 6 おわりに

本稿では，Transformer の各層における単語埋め込 み間の混ぜ合わせを包括的に分析する方法を提案し た. BERT を対象とした実験結果から，FF がべクト ル変換を通じて混ぜ具合を変化させていることを明 らかにした. 特に, FF は意味的な接続や事前学習 タスクに紐づいた混ぜ合わせに大きく変化をもたら すことが示唆された。

今後は, PMIなどの言語的性質と照らし合わせな がら FF の働きについて更に深掘りしていく.また， これまでのように各層を独立に分析するのではなく 層を跨ぐ拡張を導入することで，複数層もしくはモ デル全体を包括的に分析する方向性も興味深い.

## 謝辞

本研究は JSPS 科研費 JP20J22697 の助成を受けた ものです. また本研究は, JST, ACT-X, JPMJAX200S および JST，CREST，JPMJCR20D2 の支援を受けた ものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[3] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2021.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D Manning. What Does BERT Look At? An Analysis of BERT's Attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, 2019.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the Dark Secrets of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4364-4373, 2019.

[6] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and Measuring the Geometry of BERT. In Advances in Neural Information Processing Systems 32 (NeurIPS), pp. 8594-8603, 2019.

[7] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open Sesame: Getting Inside BERT's Linguistic Knowledge. Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 241-253, 2019.

[8] David Mareček and Rudolf Rosa. From Balustrades to Pierre Vinken: Looking for Syntax in Transformer SelfAttentions. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 263-275, 2019.

[9] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do Attention Heads in BERT Track Syntactic Dependencies? arXiv preprint arXiv:1911.12246, 2019.

[10] Alessandro Raganato and Jörg Tiedemann. An Analysis of Encoder Representations in Transformer-Based Machine Translation. In Proceedings of the 2018 EMNLP Work- shop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, 2018.

[11] Gongbo Tang, Rico Sennrich, and Joakim Nivre. An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation. In Proceedings of the 3rd Conference on Machine Translation (WMT): Research Papers, pp. 26-35, 2018.

[12] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, 2020.

[13] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 45474568, 2021.

[14] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward Layers Are Key-Value Memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[15] Daisuke Oba, Naoki Yoshinaga, and Masashi Toyoda. Exploratory Model Analysis Using Data-Driven Neuron Representations. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 518-528, 2021.

[16] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). 2016.

[17] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 3319-3328. PMLR, 2017.

[18] Shapley L. S. A Value for n-person Games. Contributions to the Theory of Games, pp. 307-317, 1953.

[19] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008.

## A 5.2 節の結果の詳細

5.2 節ではフィードフォワードネットによる混ぜ合わせへの影響が大きい単語ぺアの中から顕現的なもの を列挙した（表 1 および表 2). 本節ではそれらを列挙する前の，影響が大きかった上位 10 ペア全てを表 3 および表 4 に示す.ここで上位ぺアを算出する際の計算量の問題により，データ全体で 1 度しか出現しない ペアが上位に多すぎる層では表の結果に 10 ペア未満しか載っていない.

表 3 フィードフォワードネットによって混ぜ度合いが増幅した上位単語ペア.

 \\

表 4 フィードフォワードネットによって混ぜ度合いが減衰した上位単語ぺア.

 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# On the Applicability of Zero-Shot Cross-Lingual Transfer Learning for Sentiment Classification in Distant Language Pairs

Andre Rusli Makoto Shishido
Graduate School of Advanced Science and Technology
Tokyo Denki University
\{20udc91@ms., shishido@mail.\}dendai.ac.jp
}

\begin{abstract}
This research explores the applicability of cross-lingual transfer learning from English to Japanese and Indonesian using the XLM-R pre-trained model. The results are compared with several previous works, either by models using a similar zero-shot approach or a fullysupervised approach, to provide an overview of the zeroshot transfer learning approach's capability using XLM$R$ in comparison with existing models. Our models achieve the best result in one Japanese dataset and comparable results in other datasets in Japanese and Indonesian languages without being trained using the target language. Furthermore, the results suggest that it is possible to train a multi-lingual model, instead of one model for each language, and achieve promising results.
\end{abstract
## 1 Introduction

In recent years, the pace of newly proposed methods and tools for natural language processing (NLP) using deep learning approaches are increasing rapidly. After BERT [1], a massive pre-trained language model based on Transformers [2], was released, it only took a couple of years for the deep learning and NLP community to propose improvements and other methods that are shown to be better than the last, pushing various boundaries in the NLP field. While high-resource languages have achieved great successes in various tasks, other languages with limited data and computational resources are still left behind.

Cross-lingual transfer learning, where a high-resource language is used to train a downstream task model to improve the model's performance in another target language, shows a promising potential to tackle this setback. Many works of research have experimented and shown the potential benefit of using cross-lingual transfer in several NLP tasks, such as machine translation [3] [4], and named entity recognition [5] [6]. Recently, crosslingual transfer learning has become an essential tool for improving performance in various downstream NLP tasks. This is also thanks to the recent advancements of massively multi-lingual Transformers pre-trained models, including mBERT [1], XLM [7], and the most recent one being XLM-RoBERTa (XLM-R) [8].

Even though the multi-lingual field has grown a lot, there are still some challenges. For example, previous works have reported that the quality of unsupervised cross-lingual word embedding is susceptible to the choice of language pairs and the comparability of the monolingual data [9], thus limiting the performance when the source and target language have different linguistic structures (e.g., English and Japanese) [10]. XLM-R is trained using 100 languages globally and achieved SOTA results in various multi-lingual NLP tasks such as the XNLI, Named Entity Recognition, Cross-lingual question answering, and the GLUE benchmark [8]. However, it reports only the performance evaluation for some of the languages used during pretraining such as English, French, Swahili, and Urdu.

This research explores the XLM-R base pre-trained model's capability for cross-lingual transfer learning encompassing English, Japanese, and Indonesian languages. We compare the performance with models from previous works, evaluate zero-shot transfer learning capability, and fine-tune mono- and multi-lingual models in a supervised manner for comparison purposes. This paper shows that both fine-tuning and zero-shot transfer learning from English to Japanese and Indonesian for a
downstream task; in this case, binary sentiment classification, using XLM-R yields promising results. All experiments are conducted using Google Colaboratory. We also report the full specifications and hyperparameters used in our experiments for reproducibility and provide an overview of the applicability of using XLM-R for zeroshot transfer learning within a limited amount of data and computational resources.

## 2 Related Works

As a massively multi-lingual Transformers (MMT) model, XLM-R [8] is a robustly trained RoBERTa, exposed to a much larger multi-lingual corpus than mBERT. It is trained on the CommonCrawl-100 data of 100 languages. There are 88 languages in the intersection of XLM-R's and mBERT's corpora; for some languages (e.g., Kiswahili), XLM-R's monolingual data are several orders of magnitude larger than with mBERT. There are many methods for performing cross-lingual transfer based on MMTs, some of which are fine-tuning [11] and zeroshot transfer learning [12] [6]. The common thread is that data in a high-resource source language can be used to improve performance on a low-resource target language.

Even though XLM-R is pre-trained using 100 languages, investigations regarding the applicability of XLM-R for downstream tasks in some languages with less resource than English, such as Japanese and Indonesian, with thorough experiments and reproducible results are still limited. Several works have tried to implement crosslingual transfer learning using several Japanese and Indonesian text classification models.

For Japanese, previous works have shown the capability of XLM-R for Japanese for dependency parsing [13] and named entity recognition [14], but no thorough comparison for cross-lingual transfer learning (fine-tuned and zero-shot) for sentiment classification are provided. In the Multi-lingual Amazon Review Corpus [15] in which Japanese is one of the languages of the corpus, the authors provided baseline sentiment classification performance using mBERT, but performance using XLM$\mathrm{R}$ has not been reported. For Indonesian, previous works have shown the capability of using BERT and XLM-R for various tasks including sentiment classification [16] [17], however, the results are mainly focused on building powerful monolingual models for Indonesian.
Furthermore, unlike English, Japanese texts contain no whitespace and there are various ways to split sentences into words, with each split could end in a different meaning and nuance. In order to tackle this problem, a recent work proposed a language-independent subword tokenizer and detokenizer designed for neural-based text processing, named SentencePiece [18]. Its performance is shown to be effective for various tasks involving language pairs with different character sets, such as EnglishJapanese neural machine translation [18] and sentiment analysis in Japanese [19]. It is also utilized by state-ofthe-art cross-lingual models such as XLM-R, which is the focus of our current research.

## 3 Experimental Setup

## 3.1 Dataset

We gathered binary sentiment datasets from several sources and put shorthand nicknames on each dataset to be addressed in the following sections.

1. AmazonEN: English Amazon product review sentiment dataset from The Multi-lingual Amazon Reviews Corpus [15]. We use 160,000 data for finetuning. 4,000 data for evaluation.

2. AmazonJA: Japanese Amazon product review sentiment dataset from The Multi-lingual Amazon Reviews Corpus [15]We use 160,000 data for finetuning. 4,000 data for evaluation.

3. RakutenJA: Japanese Rakuten product review binary sentiment dataset from [20]. We use 400,000 data for evaluation.

4. IndolemID: Indonesian Twitter and hotel review sentiment dataset from IndoLEM dataset [17]. We use 5,048 data for evaluation.

5. SmsaID: Indonesian multi-platform review sentiment dataset from SmSA dataset [21]. We use 1,129 data for evaluation.

For each dataset, we use the review body/text as the input and the sentiment ( 0 for negative and 1 for positive) as the classification label.

## 3.2 Experimental Setup

In this experiment, we use the free version of Google Colab with GPU for all our experiments. Due to the dynamic GPU allocation by Google Colab, two GPU types are used in our experiment: Tesla T4 and Tesla

P100-PCIE-16GB. Review sentiments gathered from AmazonEN and AmazonJA are rated as a 5-star rating. Following the original paper's practice (Keung et al., 2020), we converted the 1 - and 2 -stars rating as negative the 4 - and 5 -stars rating as positive reviews, we omit the 3 -stars rating. Indonesian review data gathered from SmsaID initially contains three classes, which are positive, negative, and neutral; similarly, we omit the neutral class in this paper.

Furthermore, to provide an equal comparison of our models' performance, we use similar metrics used in the sources of each dataset. Specifically, we use the error percentage for AmazonEN, AmazonJA, RakutenJA, and the macro-averaged F1-score for SmsaID and IndolemID. Additionally, we report the hyper-parameters and the time needed for fine-tuning the models to provide a general overview of the applicability and resource needed by the readers to reproduce the results of our experiments. We divide the experiments into two scenarios:

1. Fine-tuned supervised learning

Fine-tune the XLM-RoBERTabASE pre-trained model using AmazonEN, AmazonJA, and the combination of English and Japanese Amazon reviews (AmazonENJA), then evaluate the models in monolingual and multi-lingual settings.

2. Zero-shot transfer learning

Use the fine-tuned model using AmazonEN to evaluate zero-shot cross-lingual transfer learning capability in AmazonJA, RakutenJA, SmsaID, and IndolemID datasets.

## 4 Results and Analysis

## 4.1 Fine-tuned Supervised Learning

We fine-tuned the xlm-roberta-base pre-trained model from the HuggingFace transformers library, three times, using AmazonEN, AmazonJA, and AmazonENJA. For AmazonEN and AmazonJA, our final models are finetuned using the linear scheduler with warmup, 4 epochs, batch size $=32$, optimizer $=A d a m W$, and learning rate $=2 \mathrm{e}-$ 5. For AmazonENJA, the final model uses the same above parameters but only with 2 epochs. Table 1 shows the GPU and averaged elapsed time for each epoch in the fine-tuning process.

Table 1. Fine-tuning specifications and elapsed time

 & GPU &  &  \\

After fine-tuning three models in the previous step, we evaluate each of the fine-tuned models for supervised learning performance on the exact language from which the model is fine-tuned. We calculate the error percentage for the model prediction on test data and compare the results with a baseline model trained using mBERT [15], as displayed in Table 2. It can be seen that XLM-R outperforms mBERT in all three supervised models for binary sentiment classification in English and Japanese. There is no comparison from the baseline model for the multi-lingual model fine-tuned using AmazonEN and AmazonJA. However, it can be seen that it is possible to have a single bi-lingual model for both languages, eliminating the need to set up multiple models for every language.

Table 2. Error percentage of the fully-supervised evaluation on the Multi-lingual Amazon Review Corpus. Results using mBERT are obtained from [15].

## 4.2 Zero-shot Transfer Learning

In this scenario, we use the fine-tuned models from the previous scenario to evaluate the applicability of zeroshot cross-lingual transfer learning from one language to the others. Table 3 shows the results (error percentage, lower is better) of the experiments conducted in this scenario using the multi-lingual Amazon and Japanese Rakuten data. Additionally, Table 4 reports the results (F1 score, higher is better) using the multi-platform Indonesian sentiment datasets.

Table 3. Error percentage of zero-shot cross-lingual transfer learning using XLM- RASE $_{\text {BAS }}$ in comparison to a zero-shot mBERT from English data [15] and Japanese data [19]

 & - & 4.45 \\

On the Japanese product review from the Amazon dataset, in Table 3, our model achieves a better error percentage of 11.12. It is almost 8 points better than the original baseline model [15], which is also evaluated using zero-shot cross-lingual transfer learning from English to Japanese, using mBERT. On another Japanese dataset with more evaluation data (400,000 reviews), the Rakuten dataset, our model achieves a 13.09 error percentage with zero-shot from English. Furthermore, it achieves a much better score of 8.51 error percentage if we add a substantial 160,000 review data from AmazonJA when fine-tuning the model. Although they are from different platforms, product review data shares similar patterns. This result is still far from the SOTA result of the 4.45 error percentage achieved by previous work [19], in which the model is trained in a fully-supervised monolingual setting using BERT.

For the Indonesian sentiment datasets, as also described in Table 4, we use two datasets with comparable results from different sources for evaluation purposes. Macroaveraged F1 score is used to evaluate the Indonesian datasets to follow previous works for comparison purposes. We experimented with zero-shot cross-lingual transfer learning using two models for classifying the Indonesian datasets; one is trained only with 160,000 English Amazon reviews, and another one containing English and Japanese Amazon reviews. In both Indonesian datasets, we can see a pattern of more data leads to better performance. Similar to prior research results [8], the model trained with multilingual data, in our case, Japanese and English review data, performs better.

73.31 F1-score on the IndolemID dataset, outperforming a previous model [17], trained with mBERT in a fullysupervised monolingual setting. Moreover, the same model achieves a better F1-score of 88 on the SmsaID dataset, outperforming another mBERT model [16] trained in a fully-supervised monolingual setting. For both datasets, our model performance is still worse when compared to the SOTA model's result, as shown in Table 3 and Table 4.

Table 4. Macro-averaged F1-score of zero-shot cross-lingual transfer learning using XLM-R BASE for Indonesian (IndoLEM

 & 84.13 & 92.72 \\

Based on the results above, it is essential to note that the models used to compare RakutenJA, IndolemID, and SmsaID are trained in a fully-supervised approach using the same language with the target language. In contrast, our model, which is trained using AmazonEN, has never seen Japanese product reviews, and our models trained with AmazonEN and AmazonENJA have never seen Indonesian review texts. Furthermore, it is also essential to know that the models compared in the previous tables are trained mainly by much bigger architectures with more epochs, which means training them will need much more computational resources and time. Our current experiments show the applicability of zero-shot crosslingual transfer learning with less computational costs, which yields promising results.

## 5 Conclusion and Future Work

This paper reports the results of experiments focusing on evaluating the applicability of cross-lingual transfer learning using the XLM-R pre-trained model. We then compare the results with previous works to provide an overview of the zero-shot approach's capability using XLM-R to use a multi-lingual model for bilingual data instead of one model for one language. Based on the results, zero-shot cross-lingual transfer learning yields promising results using XLM-R. All experiments are performed using the free version of Google Colab. The models achieve the best result in one dataset and shows the applicability of cross-lingual transfer learning, considering that the models have not seen languages in the target dataset, it can outperform SOTA results in other datasets trained in a fully-supervised approach. Future research steps include experimenting with more hyperparameters, evaluating other potential methods such as few-shot transfer learning, which has been proven to be useful to improve performance by adding just a few annotated data [13] and meta-learning [22].

## References

[1] J. Devlin, M.-W. Chang, K. Lee and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in NAACL, Minneapolis, Minnesota, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser and I. Polosukhin, "Attention Is All You Need," in arXiv preprint arXiv:1706.03762., 2017.

[3] T. Q. Nguyen and D. Chiang, "Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation," in Eighth International Joint Conference on Natural Language Processing, Taipei, 2017.

[4] G. Neubig and J. Hu, "Rapid Adaptation of Neural Machine Translation to New Languages," in Conference on Empirical Methods in Natural Language Processing, Brussels, 2018.

[5] S. Mayhew, C.-T. Tsai and D. Roth, "Cheap translation for cross-lingual named entity recognition," in Conference on Empirical Methods in Natural Language Processing, Copenhagen, 2017.

[6] J. Xie, Z. Yang, G. Neubig, N. A. Smith and J. Carbonell, "Neural Cross-Lingual Named Entity Recognition with Minimal Resources," in Conference on Empirical Methods in Natural Language Process-ing, Brussels, 2018.

[7] G. Lample and A. Conneau, "Cross-lingual Language Model Pretraining," in arXiv preprint arXiv:1901.07291, 2019.

[8] A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzman, E. Grave, M. Ott, L. Zettlemoyer and V. Stoyanov, "Unsupervised Cross-lingual Representation Learning at Scale," in arXiv preprint arXiv:1911.02116, 2020.

[9] A. Søgaard, S. Ruder and I. Vulić, "On the limitations of unsupervised bilingual dictionary induction," 2018.

[10] X. Chen, A. H. Awadallah, H. Hassan, W. Wang and C. Cardie, "Multi-Source Cross-Lingual Model Transfer: Learning What to Share," 2018.

[11] B. Zoph, D. Yuret, J. May and K. Knight, "Transfer Learning for Low-Resource Neural Machine Translation," in Conference on Empirical Methods in Natural Language Processing, Austin, Texas , 2016.

[12] W. U. Ahmad, Z. Zhang, X. Ma, E. Hovy, K.-W. Chang and N. Peng, "On Difficulties of CrossLingual Transfer with Order Differences: A Case Study on Dependency Parsing," 2019.
[13] A. Lauscher, V. Ravishankar, I. Vulić and G. Glavaš, "From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers," in Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, 2020.

[14] J. Pfeiffer, I. Vulić, I. Gurevych and S. Ruder, "MAD-X: An Adapter-Based Framework for MultiTask Cross-Lingual Transfer," 2020.

[15] P. Keung, Y. Lu, G. Szarvas and N. A. Smith, "The Multilingual Amazon Reviews Corpus," 2020.

[16] B. Willie, K. Vincentio, G. I. Winata, S. Cahyawijaya, X. Li, Z. Y. Lim, S. Soleman, R. Mahendra, P. Fung, S. Bahar and A. Purwarianti, "IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding," in 1st Conference of the AsiaPacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, Suzhou, China, 2020.

[17] F. Koto, A. Rahimi, J. H. Lau and T. Baldwin, "IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP," in 28th International Conference on Computational Linguistics, Barcelona, Spain (Online), 2020.

[18] T. Kudo and J. Richardson, "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing," in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, Brussels, 2018.

[19] E. Bataa and J. Wu, "An Investigation of Transfer Learning-Based Sentiment Analysis in Japanese," in 57th Annual Meeting of the Association for Computational Linguistics, Florence, 2019.

[20] X. Zhang and Y. LeCun, "Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?," arXiv:1708.02657v2 [cs.CL], 2017.

[21] A. Purwarianti and I. A. P. A. Crisdayanti, "Improving Bi-LSTM Performance for Indonesian Sentiment Analysis Using Paragraph Vector," in International Conference of Advanced Informatics: Concepts, Theory and Applications (ICAICTA), Yogyakarta, Indonesia, 2019.

[22] F. Nooralahzadeh, G. Bekoulis, J. Bjerva and I. Augenstein, "Zero-Shot Cross-Lingual Transfer with Meta Learning," in Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, 2020.


# RINA:マルチモーダル情報を利用したキャラクターの感情推定

頼展鞱高橋誠史
株式会社バンダイナムコ研究所
z-lai@bandainamco-mirai.com m3-takahashi@bandainamco-mirai.com

## 概要

本研究では，テキストからキャラクターの感情 を推定するアプローチについて考察した. マルチ モーダル情報を含むゲームシナリオデータセット において，本研究で提案する Reference Information Normalize Adapter (RINA) モデルを用いてマルチクラ スの感情推定の精度が既存手法に比べて向上するこ とを実験を行い示した. また，結合手法を変更する ことで，非テキスト情報を取り込む方法を比較し， Transformer の入力トークンとして直接追加するより も，テキスト情報の分散表現ベクトルに対し補正を 行う方が優位であることを示した.

## 1 はじめに

テキストから感情を推定することは自然言語処理 における主要な課題のひとつである. BERT[1]をは じめ，さまざまな事前学習済みモデルを用いた感情推定の手法が対話システムやソーシャルメディアマ イニングなどの分野で活発に研究されている [2].

現実世界の人間に対する感情推定と同じように， ゲームなどのフィクション作品内のキャラクター に対する感情分析の研究も注目されている. 近年の 技術発展とともに，ゲームの表現は高度に多様にな り.ゲームの開発コストが膨れ上がる結果となっ た. 特に多数のキャラクターが登場するゲームにお いて，キャラクターのセリフにあわせて適切な感情表現や演出を指定するタスクが手作業で行われてい るため，現状多大な工数がかかっている. この課題 を解決するには，自然言語理解によるキャラクター の感情推定の作業支援が必要である.

本研究では，フィクション作品内のキャラクター のセリフから感情推定について取り組む. 現実世界 の人間との違いとして, キャラクターに対する感情推定の特徴は以下 2 点が挙げられる.

一つ目は，キャラクターによる感情表現の分布が 人間と異なることである。コメディ作品のキャラク
ターの感情表現が明るい傾向を示すことに対し，シ リアスな作品のキャラクターはネガティブな感情を 表現する場合が比較的多い。また，物語を通して多様な場面で活躍するメインキャラクターでは豊か な表現を持つことに対し, 物語の一部でしか登場し ないサブキャラクターはその個性のイメージをよ り早くユーザに定着させるため，感情表現が偏るス テレオタイプである可能性が高い [3]. 作品の基調, キャラクターの設定，または物語での役割に応じて 感情表現の分布が変化することがあるが，逆にこれ らの情報は事前に開示されることが多いため，補助情報として参照することで，キャラクターの感情表現をより正確に把握することができる.

二つ目は，キャラクターの感情を推定する際，文脈に対する依存度が人間より高い点である。本研究 で指す「文脈」とは，感情推定の対象文前後のセリ フなどのテキスト情報だけでなく，発話シーンの背景グラフィックや音楽の種類などの非テキスト情報 を含む．依存度が人間より高い原因として，キャラ クターのセリフは演出の都合や，画面で表示できる 文字数などのインターフェイスによる制約があるた め，現実世界の言葉より断片的であることが多い.感情推定の対象文として利用する場合，現実世界の 人間の発話に比べて情報量が少ないセリフは，文脈情報を参照せず感情表現を正確に推定することが困難である。

本研究では，ゲームのシナリオスクリプトを題材として，テキストを主体とした対象文に，非テ キストの参照情報を結合することにより，キャラ クターの感情推定の精度を向上させることを試み た. その際複数の結合方法の効果について実験的に 調査した. 本研究で提案した Reference Information Normalize Adapter (以下 RINA という) モデルを用い て，テキスト情報の分散表現ベクトルに対し参照情報による補正を行うことで，従来手法より推定精度 の向上を確認した.

## 2 関連研究

テキストにおける感情推定は，マーケティング，心理学などの分野における膨大な応用の可能性か ら，これまでさまざまな手法が提案されている [2].

Raskin ら [4] はフィクション作品に注目し, 物語中の人物の心的状態を推定するためのデータセッ トとして, Story commonsense データセットを構築し た. Story commonsense データセットを対象した感情推定に関する研究として，田辺ら [5][6] はコモン センス知識を導入し，さらに推定対象文の先行文脈 を対象文と連結させることによって，推定精度を向上させた. Gaonkar ら [7] は感情カテゴリ間の関係 を考慮し，ラベル同士の共起関係の利用することで ラベルなしデータによる半教師あり学習の手法を提案した. これらの研究は, 感情推定の対象文と関連 するテキスト情報の利用に焦点を当てており，非テ キスト情報を利用していない.

非テキストを含むマルチモーダル情報を扱うこ とを目的としたモデルはこれまで様々なものが提案されている. VilBERT[8] や VLBERT[9] などのモ デルは，BERT の構造をそのまま流用し，非テキス トの画像情報を入力の追加トークンとして利用し ている。しかし，これらのモデルのタスクは本来テ キスト情報のみ利用した BERT の事前学習タスク と大きく異なるため，画像とテキストのマルチモー ダルデータを用いて改めて事前学習が必要である.上記課題の解決案として, Kiela ら [10] は画像情報 を追加の入力トークンとして扱いながら，事前学習済みの BERT モデルを直接利用し，マルチモーダル データをファインチューニング段階のみ利用する MMBT モデルを提案した。これまでのマルチモー ダルデータセットではテキストと非テキスト情報の 重みが対等であることが多かった. しかし，本研究 の対象する感情推定において，補助という位置付け の非テキスト情報に過大の重みを付けると，事前学習済みモデルによる分散表現に悪影響を及ぼす可能性がある。これに対しRahman ら [11] は画像・音声 によるテキストにおける表現空間のベクトルを補正 する手法を提案した. また， $\mathrm{Gu}$ ら [12] は複数のテ キストと非テキスト情報を結合するモデル構造に対 するベンチマークを行った.

図 1 提案手法のモデル構造

## 3 提案手法

本研究の提案手法のモデル構造を図 1 に示す.ま ずテキスト情報同士を連結し，BERT などの事前学習済みモデルによるエンコードを行った。 その後， RINA モデルを用いて非テキスト情報を結合させた 後, 複数の全結合層を経て出力し. 出力されたシー ケンスの [CLS]トークンのベクトルの分散表現を感情推定の対象として利用した。

## 3.1 テキスト情報同士の結合

テキスト情報同士の BERT など事前学習済みモデ ルへの入力形式は，先行研究 [5] を参考し，以下の ように対象文と関連文を記号「」により区切る形式 とした.

$[C L S]$ 対象文 | 関連文 $[S E P]$

## 3.2 テキスト情報と非テキストの結合

本研究は以下 2 つのコンセプトに基づいて Reference Information Normalize Adapter (RINA) モデ ルを提案する。

マルチモーダル情報の結合は Transformer モデ ル出力の後に行う. 既存のマルチモーダルモデル の構造は Transformer の中間層にモダリティを跨ぐ Attention 機構を組み込むことが多いが，本研究では BERT[1] や XLNet[13] など Transformer の内部構造に
依存しない特性を重視し, Transformer の出力の後に モダリティの結合を行う Adapter 型の構造 [14] を利用した.

## 非テキスト情報を考慮しテキストの分散表現ベク

トルを補正する. 感情推定の対象文の意味は分散表現としてべクトル空間で表現しているが，非テキス ト情報を付随条件として与えられた際，対象文の意味の変化はベクトル空間上の変位として表現する. このテキストと非テキストの関係性を反映した変位 ベクトルによって新しい分散表現を決定する。

$
\begin{array}{r}
\boldsymbol{m}=\boldsymbol{t}+\alpha \boldsymbol{h} \\
\boldsymbol{h}=\boldsymbol{g} \odot(\boldsymbol{W} \boldsymbol{r})+b_{h} \\
\alpha=\min \left(\frac{\|\boldsymbol{x}\|_{2}}{\|\boldsymbol{h}\|_{2}} * \beta, 1\right) \\
\boldsymbol{g}=\mathrm{R}\left(W_{g}(\boldsymbol{r} \| \boldsymbol{t})+b_{r}\right)
\end{array}
$

ここで， $t$ はテキスト情報の入力行列， $r$ は非テキ スト情報の入力行列， $b$ はスカラーバイアス， $W$ は 重み行列， $R$ は活性化関数を表す. $\beta$ はゲーティン グ機構 $[11]$ のスケーリング係数を表す. $\beta$ を導入す る目的として，クロスバリデーション段階でチュー ニングすることにより，非テキスト情報による補正 の度合いを調整可能とする。

## 4 実験

## 4.1 データセット

これまで先行研究では Story commonsense データ セット [4]を採用するものが多いが，非テキスト情報が付与されていないため, 本実験では独自のゲー ムシナリオスクリプトをデータセットとして用い た. データセットでは 3 シーズンに分かれており. シーズン 1 からシーズン 2 を学習データとして使用し, シーズン 3 の約 $50 \%$ をイパーパラメータ最適化用にバリデーションデータ，残り $50 \%$ をスト データとして評価を行った. データ量は学習デー タ 19199 件，バリデーションデータ 4512 件，テス トデータ 4484 件である. データに含まれる説明変数について，テキスト情報では対象文となるセリフ と文脈のセリフ計 2 種類, 非テキスト情報ではキャ ラクターの名前, 性別などの属性や, 対象文が発生 するシーンの ID 情報を含め計 9 種類を用いる. 推定対象となる目的変数はゲーム内対象文が発話時 に表示されるキャラクターの表情画像の種類を用表 1 実験で利用する各手法のマルチモーダル情報の結合

いる．表情画像は「通常」，「怒り」，「悲しみ」，「驚 き」，「笑い」計 5 種類である.

## 4.2 ベースライン

提案手法の比較対象とするべースライン手法は表 1 で示す. BERT text only はテキストのみ利用する モデルである. BERT w/concat は非テキスト情報を Transformer の追加トークンとして入力するモデルと して，BERT w/MLP は非テキスト情報を多層パーセ プトロンに入力し, その出力を Transformer の出力 と結合するモデルを表している。

## 4.3 訓練設定

事前学習済みモデルは東北大学が公開した BERT base Japanese (unidic-lite with whole word mask-

した Wikipedia データセットと今回の対象となる ゲームシナリオのドメインが離れていたたため, データセットに存在し, BERT の Tokenizer 辞書に存在しない頻出 n-gram の上位 179 件を辞書に追加し た上, Gururangan ら [15] が提案した Domain-Adaptive Pretraining を用いて本データセットの全テキストに 対して 5 Epoch の追加事前学習を行った. 追加事前学習ではバッチサイズを 64 ，トークンのマスク率を $15 \%$ に設定した。

追加事前学習済みのモデルを用いてべースライン と提案モデルを実装する際のハイパーパラメータは 以下で示す.
- Epoch 数: 10
- 学習率 $\alpha: 3 \times 10^{-5}$

・バッチサイズ: 64
- 最大入力長: 128
- Dropout 率: 0.2
- 活性化関数 R: ReLU

・ゲーティング機構のスケーリング係数 $\beta: 0.4$

## 4.4 評価指標

マルチクラス分類タスクの評価指標として $F 1_{\text {micro }}$ スコアと $F 1_{\text {macro }}$ スコアを用いる.

## 4.5 実験結果

実験の結果を表 2 で示す. 本研究が利用するシ ナリオスクリプトデータセットにおいて，F1 $1_{\text {micro }}$ は全体件数に対する推定精度，F $1_{\text {macro }}$ は各クラス に対する推定精度のバランスを反映した。全体の スコアの傾向として，データセット内の表情画像 が「通常」と表示されるセリフは約 $40 \%$ 占めてい るため，件数が少ない「怒り」，「悲しみ」，「驚き」，「笑い」クラスの推定精度は「通常」クラスより低 い傾向を示している. また，各手法の $F 1_{\text {macro }}$ と $F 1_{\text {micro }}$ の変化は同じ傾向を示している.

各手法の非テキスト特徴を取りこむ有効性の比較 において，非テキスト情報を利用しない BERT text only が最も推定精度が低いモデルである. これは データセットの非テキスト情報がキャラクターの感情推定に寄与することを示唆している.

テキスト情報と非テキスト情報を結合させる手法の中, BERT w/MLP では $F 1_{\text {micro }}$ において BERT w/concat を上回るが，F1 macro においてはBERT w/concat より低いことから，非テキスト情報を Transformer 入力段階のトークンとして追加する手法 と，Transformer 出力で結合させる手法に大きな差が 見られないことが明らかになった。

提案手法の BERT w/RINA について, $F 1_{\text {micro }}$ と $F 1_{\text {macro }} 2$ つの指標が他の手法と比較して最も高い スコアを確認している. これは今回使用している データセットにおいて，RINA を利用したテキスト 情報の分散表現ベクトルを補正する手法の有効性を 証明した。

## 4.6 考察

本研究のタスクである感情推定と，本データセッ トのテキストが主体情報，非テキストが補助情報と いう特徴が，前節で述べた RINA のコンセプトに適 しているが原因であるが，非テキスト情報がタスク における重要度がテキスト情報と同等もしくは以上の場合，他の手法がより推定精度が高い可能性が あるため，今後の課題としてデータセットのライン アップを追加し検証したい.表 2 各手法の表情クラス推定精度の比較

## 5 おわりに

本研究では，ゲームのシナリオスクリプトに注目 し，テキストと非テキスト情報を含むマルチモーダ ルデータセットを対象として，セリフ発話時のキャ ラクターの感情を推定する手法の提案した。今回提案する RINA モデルを用いて，テキスト情報の分散表現ベクトルに対し参照情報による補正を行うこと で，従来手法より推定精度の向上を確認した.

また，今回利用する非テキスト情報はカテゴリや 数值形式のデータに限定しているが，今後の取り組 みとして，表情画像を直接入力として利用するな ど，多様なモダリティに対応できるよう RINA モデ ルの構造の改善を行いたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Armin Seyeditabari, Narges Tabari, and Wlodek Zadrozny. Emotion detection in text: a review. ArXiv, Vol. abs/1806.00674, , 2018.

[3] 金水敏. 役割語研究の展開. くろしお出版, 2011.

[4] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Hikari Tanabe, Tetsuji Ogawa, Tetsunori Kobayashi, and Yoshihiko Hayashi. Exploiting narrative context and a priori knowledge of categories in textual emotion classification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5535-5540, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] 田辺ひかり, 小川哲司, 小林哲則, 林良彦. コモンセン ス知識を利用した物語中の登場人物の感情推定. 言語処理学会第 27 回年次大会発表論文集.

[7] Radhika Gaonkar, Heeyoung Kwon, Mohaddeseh Bastan, Niranjan Balasubramanian, and Nathanael Chambers. Modeling label semantics for predicting emotional reactions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 46874692, Online, July 2020. Association for Computational Linguistics.

[8] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. VL-BERT: pre-training of generic visual-linguistic representations. CoRR, Vol. abs/1908.08530, , 2019.

[10] Douwe Kiela, Suvrat Bhooshan, Hamed Firooz, and Davide Testuggine. Supervised multimodal bitransformers for classifying images and text. ArXiv, Vol. abs/1909.02950, , 2019.

[11] Wasifur Rahman, Md Kamrul Hasan, Sangwu Lee, AmirAli Bagher Zadeh, Chengfeng Mao, Louis-Philippe Morency, and Ehsan Hoque. Integrating multimodal information in large pretrained transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2359-2369, Online, July 2020. Association for Computational Linguistics.

[12] Ken Gu and Akshay Budhkar. A package for learning on tabular and text data with transformers. In Proceedings of the Third Workshop on Multimodal Artificial Intelligence, pp. 69-73, Mexico City, Mexico, June 2021. Association for Computational Linguistics.

[13] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. Xlnet: Generalized autoregressive pretraining for language understanding. CoRR, Vol. abs/1906.08237, , 2019.

[14] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameterefficient transfer learning for nlp, 2019.

[15] Suchin Gururangan, Ana Marasovic, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. CoRR, Vol. abs/2004.10964, , 2020.


# 共学習によるレビュー文書からのネガティブな意見文の抽出

三戸尚樹 ${ }^{1}$ 古宮嘉那子 ${ }^{2}$ 佐々木稔 ${ }^{3}$
${ }^{1}$ 東京農工大学 工学部 ${ }^{2}$ 東京農工大学 工学研究院 ${ }^{3}$ 茨城大学 工学部
s202436r@st.go.tuat.ac.jp, kkomiya@go.tuat.ac.jp, minoru. sasaki.01@vc. ibaraki.ac.jp

## 概要

本研究では，評点のみが付与された一般的なレビ ユーを用いて，文レベルのネガティブな意見の抽出 を行う。具体的にはレビューを文単位に分割しても ともとのレビュー全体の評点を付与し，それらのデ 一夕を利用して共学習を行うことでデータ不足を補 い，ネガティブなレビューを抽出する．分類器には BERT を利用し, 対象商品には工具を用いた. 本研究 では，文単位の共学習を利用することにより，より 性能の高い抽出を行うことがでることを示す.

## 1 はじめに

評判分析とは，テキスト情報をテキストマイニン グや機械学習の技術を用いて，肯定的な評価をして いる記述と否定的な評価をしている記述に分類する 技術である. SNS やブログ，EC サイトの普及によ り，ユーザーの生の声を企業が把握することができ る評判分析は多くの企業や研究者から注目を集めて いる.

Amazon や楽天で商品を販売している企業にとつ て，購入者のレビューは商品改良の重要な手掛かり であるため，レビュー本文からネガティブな意見を 抽出する事が求められる。ところが，(1) 評点は悪く ないレビューの中にネガティブな意見が含まれてい る場合があり，そのような意見抽出は従来の評点の 予測による評判分析の技術では抽出できない. また， (2) ネガティブなレビューの割合はポジティブなレ ビューに比べて少ないことが多いため, 二値分類の 単純な分類器では抽出が難しい, という問題がある.

そのため本研究では, 評点のみが付与された一般的なレビューを用いて，文レベルのネガティブな意見の抽出を行う. 本研究では, まずレビューを文単位に分割してもともとのレビュー全体の評点を付与 して疑似的な訓練事例とすることで，文単位のネガ ティブな意見抽出を行う。また，共学習を利用して データ不足を補い，ネガティブなレビューを抽出す
る.

共学習とは, 教師-生徒のように一方が指導し一方 が学習するのではなく，自律した個同士が教え・教 わる関係を同時に成立させている状態を表すモデル である。一方の知識レベル向上が他方の知識レベル の向上を促進することで相乗的な学習効果が期待で きる[1].

本研究では, Amazon と楽天の工機ホールディン グスの製品のレビューデータからネガティブなデー 夕の抽出を行った. Amazon のレビューデータのみ で作成したモデルと楽天のレビューデータのみで作成したモデルを共学習させる事により，一つの分類器で学習したモデルでの精度よりもネガティブなデ 一夕の抽出の精度が高くなる事を示す。

## 2 関連研究

Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al., 2019)[1]とは, 2018 年 10 月に Google の Jacob Devlin らの論文で発表された事前学習モデルである。BERT は

Transformer[2]の Encoder を使ったモデルである．文章の文脈を読むことが可能なモデルであり，文書分類や質問応答など，言語処理の多種多様なタスクに おいて当時の最高スコアを吒き出した．GRUと

BERT を使用し, 略語やスラング，スペルミス等の データとしてノイズが多い Twitter の評判分析を行 っている研究もある[3].

## 3 共学習によるデータ選別を利用し た評判分析

本研究では，評点のみが与えられたレビューの文集合から，ネガティブな意見抽出を行う。そのた め，まずレビューを文単位に区切り，それぞれの文 に暫定的にレビューの評点を付与する。この際, 評点が 1 と 2 についてはネガティブ，評点が $3 ， 4$ ， 5 についてはポジティブ（非ネガティブ）とした.

これにより文ごとにおおまかに正しいポジティブ/ ネガティブの評点のついたデータが生成できるが，評点は悪くないレビューの中にネガティブな意見が 含まれている場合や，その逆の場合には不正確なデ 一タが混じった状態になる. また, ネガティブな意見は全体のレビューの中で少ない傾向があり, 二値分類の単純な分類器では抽出が難しい。そこで本研究では, 共学習を用いてデータ不足を解消しつつ, より正しいと思われる評点のついた文データを訓練事例に足してゆくことで，これらの問題を解決する ことを試みる。

本研究では Amazon のレビューデータ[5]から作成した BERT モデルと楽天のレビューデータ[6]か ら作成した BERT モデルの 2 つのモデルで使って 共学習を行った。

本研究では, Amazon のレビューデータからのみ 訓練させた BERT モデルと楽天のレビューデータ のみで訓練された BERT モデルの 2 つのモデルで 共学習を行った。共学習は以下の手順によって行 う.

(1)Amazon データと楽天データを訓練データとテ ストデータに分ける

(2)モデルを二つ作成する．この際，一つ目のモデ ルは Amazon の訓練データのみ，ふたつ目のモデル は楽天の訓練データのみで学習を行う。また，ハイ パーパラメータの調整には，一つ目のモデルには楽天の訓練データを，ふたつ目のモデルには Amazon の訓練データを利用する.

（3）モデルにテストデータを適用する。この際，一つ目のモデルには楽天のテストデータを，ふたつ 目のモデルには Amazon のテストデータを適用す る.

(4) テストデータのうち, 高い確信度でネガティ ブであると判定されたデータを抽出する

(5) (4)で抽出したネガティブなデータをネガティ ブな訓練データとしてもともとの訓練データに追加 する。また，この際に，ポジティブな訓練データを ランダムに選択して同時に訓練データに追加する。 この際，ポジティブなデータは推論結果ではなく， レビューの評点を利用して追加した

(6) これらのデータを訓練データとして，次のモ デルを学習する

(7) (3)-(6)を繰り返す
(8) ふたつのモデルの最終的な訓練データを合計 して，新しいモデルを学習し，これを最終的なモデ ルとする

## 4 データ

本研究は，ネガティブな意見を文単位で抽出する ことを目的とする．実験に際して，文ごとのアノテ ーションつきデータを含む対象商品のレビューと文 ごとのアノテーションのない別商品のレビューデー 夕の二つを使用した。

まず，対象商品のデータは工機ホールディングス の商品と工機ホールディングスの競合企業の商品の Amazon と楽天のレビューデータである. 工機ホー ルディングスの Amazon データ 515 件，楽天データ 234 件, 競合企業の Amazon データ 770 件, 楽天デ 一夕 820 件から成る. その中でも極性とレビュー本文のセットが 1,963 件，極性とレビュー本文，工機 ホールディングスが抽出したいと考えているネガテ イブな文がアノテーションされているデータが 376 件である。極性ごとのデータ件数を表 1 に示す。ア ノテーションは工機ホールディングスの社員によっ て行われた。

表 1 対象商品データの極性の分布

表 2 レビューデータの極性の分布

次に，文ごとのアノテーションのないレビューデ 一夕は，ランダムに抽出した Amazon データ 5,000 件と工機ホールディングスが販売している製品と同

じジャンルの工具の楽天データ 46,617 件である. Amazon データのジャンルについては, ベビー用品 など多岐にわたる．極性ごとのデータ件数を，表 2 に示す.

## 5 実験

BERT の訓練には, 最適化関数は SGD, 損失関数 はクロスエントロピー誤差を用いた。

Amazon のレビューデータは，訓練データを 1,165 件，テストデータを 3,001 件に分けた。楽天データ は，訓練データ 2,000 件，テストデータを 1,730 件 に分けた，そのうえで，レビューデータを文レベル に分割し，レビューの評点を文に付与した。 ベース ラインの文レベルの評点の分布およびポジティブと ネガティブのデータ件数を表 3 に示す. なお，a は アノテーションでネガティブとラベル付けしたデー タである. また, 列を示す 1 から 5 は五分割交差検定のテストデータを示す. レビューごとに評点を付与した後, データ件数が均等になるように五分割交差検定のデータセットを分けたため，アノテーショ ンでネガティブとラベル付けしたデータには偏りが 生じている. なお, 訓練データのネガティブの割合 は，5.52\%から $8.86 \%$ になる.

表 3 ベースラインの文レベルの評点の分布

また，提案手法において，データを追加する前の 文レベルの評点の分布とポジティブとネガティブの データ件数を表 4 に示す. このデータを 1 回目のモ デルの訓練事例とした. なお, 訓練データのネガテ イブの割合は, Amazonデータは $15.98 \%$, 楽天デー

表 4 共学習の 1 回目のモデルの訓練データに使用した文レベルの評点の分布

共学習を行う上でポジティブなデータの足し方と して，以下の 2 つの手法で実験を行った.

(1) 事前確率の割合でデータを足す手法

(2) 同数のデータを足す手法

(1)事前確率の割合でデータを足す手法では, 例 えば Amazon のみで訓練を行った BERT モデルがネ ガティブであると推論した件数が 100 件だった場合，事前に訓練させた楽天の BERT モデルと同じ 割合（1:9）を保つために， 900 件のポジティブの データを追加した. (2)同数のデータを足す手法で は，例えば Amazon のみで訓練を行った BERT モデ ルがネガティブであると推論した件数が 100 件だっ た場合， 100 件のポジティブのデータを追加し た. モデルの作成は三回繰り返した。つまり, デー タの追加は二度行った。

推論時の確信度は, softmax 関数のネガティブの值 が 0.8 以上のデータを抽出した.

提案手法の訓練には, 評点のみ付与された

Amazon および楽天のレビューデータを用い, 評価 する時のみ, 対象商品のデータを用いた。これに対 し, 本研究のベースラインには, 対象商品のデータ で五分割交差検定を行ったものを用いる。まず，文 に分割し，文にはレビューの評点を付与した. さら に， 376 件のアノテーションつきデータについて は，レビューの評点にかかわらずネガティブなデー タとして使用した。

また，モデルにはベースラインを含めて，どれも

BERT を fine-tuning して利用した. ベースラインお よび共学習を行った全てのモデルのハイパーパラメ 一夕は, 0.0001 となった.

## 6 結果

ベースラインの結果を表 5 に，事前確率の割合で データを足した手法の結果を表 6 に，また，同数の データを足した手法の結果を表 7 に示す. 表の $\mathrm{EPOCH}$ は 30 エポック回した中の $\mathrm{F}$ 値が最高だっ たときのエポック数である. またその時点での精度，再現率， $\mathrm{F}$ 值を表に示した。表 5-7から， ふ たつの提案手法の精度, $\mathrm{F}$ 值がベースラインを超え る事を確認できた。また，同数のデータを足した場合には再現率もべースラインを上回った.

表 5 ベースラインの結果

表 6 事前確率の割合で足した場合の結果

表 7 同数のデータを足した場合の結果

## 7 考察

提案手法では, 文レベルでアノテーションされた テストデータの情報は一切用いていないのに対し， ベースラインではこれらの用例を五分割交差検定に用いている。それにもかかわらず，提案手法の $\mathrm{F}$值はベースラインを上回った。このことから，評点 のみが付与されているレビューデータからのネガテ イブな意見抽出のタスクに共学習を用いた提案手法 が有効であると分かる。また，事前確率の割合でポ ジティブなデータを追加した場合より，ネガティブ なデータと同数のポジティブなデータを追加した場合の方が $\mathrm{F}$ 值が高かった. これは, 偏りのある事前確率の割合でポジティブデータを足したため，ネ ガティブなデータの割合が非常に低くなった結果,再現率が低くなったためであると考えられる。一般 に，精度と再現率はトレードオフの関係にあるが，今回の実験ではこの偏りの影響をうまく回避できた ため, 同数のデータを足した場合の $\mathrm{F}$ 值が他手法 を上回ったと考えられる。

共学習を終えた時の事前学習の割合でデータを足 した場合と同数のデータを足した場合のデータのネ ガティブとポジティブの分布を表 8 に示す. 同数の データを足した場合にはネガティブなデータの割合 が高まっているのが見て取れる.レビューの評点を 文に付与した「おおよそ正しいデータ」をもとに，信頼性の高いネガティブデータを抽出し，なおかつ 同数のポジティブデータを足すことで共学習におい て正解率を高めることができたと考えられる。

表 8 共学習を終えた時のネガ/ポジの分布

 &  \\

## 8 おわりに

本研究では, Amazon と楽天のレビューデータから 工機ホールディングスが抽出したいネガティブなデ 一夕の抽出を行った. その結果, 共学習を利用した BERT モデルは， ベースラインを超える精度でデー 夕抽出を行える事が明らかになった。今後は, 精度 の向上とポジティブのデータ抽出方法について検討 する必要がある.

## 謝辞

工機ホールディングスの西河智雅様, 吉嵪陽祐様 には, 本研究のベースライン, 評価データで使用す るデータを準備していただきました。また，楽天デ 一タにつきましては, 国立情報学研究所の楽天市場 データを利用させていただきました。この場を借り て御礼申し上げます. 本研究は JSPS 科研費 17H00917，17KK0002，18K11421の助成を受けた ものです.

## 参考文献

1. Anders Sogaard, Semi-Supervised Learning and Domain Adaptation in Natural Language Processing (Synthesis Lectures on Human Language Technologies), Morgan \& Claypool Publishers, 2013

2. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Jacob
Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Computation and Language 2018

3. Transformers for Language Understanding, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, In Proceedings of NAACL-HLT 2019, pp. 4171-4186, (2019)

4. GRUBERT A GRU-Based Method to Fuse BERT Hidden Layers for Twitter Sentiment Analysis, Leo Horne, Matthias Matti, Pouya Pourjafar, Zuowen Wang, Association for Computational Linguistics 2020, pp. 130-138, (2020)

https://s3. console. aws. amazon. com/s3/buckets/a mazon-reviews-ml?region=us-west-

2\&prefix=json/\&showversions=false

6. 楽天グループ株式会社 (2021)：楽天市場デー タ. 国立情報学研究所情報学研究データリポジトリ.

https://doi.org/10.32130/idr. 2.1


# レビューから抽出されたキーフレーズと感情スコアを 用いた評判分析
HUANG YIPU ${ ^{1}$ 佐々木稔 1 古宮嘉那子 ${ }^{2}$
1 茨城大学工学部情報工学研究科 2 東京農工大学工学研究院 21nm723s@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp
kkomiya@go.tuat.ac.jp

## 概要

近年, Web サイトには，さまざまな商品についての購入者のレビューが揭載され るようになった，企業の担当者はこれらの レビューを閲覧することにより, 商品の利用者側の立場からの意見を収集・分析し，商品の改良に利用しょうと考えている。し かし, 既存の分析手法ではレビューを単語 に分けて分析を行っており，フレーズとな っている機能名に対する分析は行っていな い。そこで我々は，レビューから抽出され たキーフレーズの頻度と感情スコアによっ て得られる決定木モデルを用いた評判分析手法を提案する．実験の結果，キーフレー ズを用いた提案手法は単語単位で分析を行 う既存手法と比較して 3 ポイントの精度改善をすることができた。

## 1 はじめに

消費者が商品やサービスを購買する際 に，必ずというほど参考にするのが，レビ ュー情報だ。実際レビュー分析が, 個人に だけではなく，企業にとって多くのメリッ トがある。

例えば，商品企画への活用，ユーザーのニ 一ズや不満を分析し, 機能やサービス改善 のヒントとする，プロモーションやマーケ ティング施策の効果検証などは企業レビュ 一分析の効果である.

商品を改良するため, レビュー者が商品 のどのところを気にし, 更に評価はどうか を知ることが必要である。そこで，我々は キーフレーズの出現頻度，感情スコアを 2 つ基準でレビュー判断される。例えば，キ ーフレーズの出現頻度が高い, 感情スコア も高いのは「皆の関心度が高い, そして評判も良い」, すぐに改良しなくてもよい商品 だと判断する。

今回は，あるレビューからキーフレーズ （重要語）抽出し，キーフレーズが key と して, キーフレーズの出現頻度が value とし て，辞書を作る。そして，レビュー文から 感情スコア計算し, 感情スコア, キーフレ 一ズの頻度を説明変数と扱い, 改良の必要 かどうかまたは優先度を目的変数と扱い，決定木モデルを作成する.

以下は, キーフレーズの抽出, 感情スコ ア計算, 決定木モデルの作成, 品質の評価 について述べる.

## 2 関連研究

これまで,レビュー分析の方法がいくつか の研究例があります.小林[1]では,web ページ からレビューを収集分析する,彼らが tf-idf を利用してキーワードを抽出し,更に感情表 す単語を抽出し,キーワードと感情表現単語 を組合せという手法です.しかし,様々なレビ ユーから抽出の感情語が多様化,全体像を把握することが難しい.

## 3 キーフレーズの抽出

## 3.1 キーフレーズの概要

キーフレーズ抽出は，文書中からその文書をよく表現する句（フレーズ）を抽出す る技術である。ここでいうフレーズとは意味がひとまとまりの単語集合ですが，実際 には名詞句が採用されることが多い。既に 存在する方法が多くある, PageRank[2], TextRank[3], SingleRank[4], TopicRank[5]等 がある.

## 3.2 抽出過程

今回は pke[6]を用いてキーフレーズを抽出する. pke は MultipartieRank[7] の論文 の著者である Florian Boudin 氏が公開して おり, GPL 3.0 だので, 商用利用も可能 だ.

 & ['軽量化'] \\

## 3.3 キーフレーズの頻度

レビューから客様が商品に対する関心度 を知るため, 各キーフレーズの頻度計算が 重要である。キーフレーズの出現回数によ る，value 值を付けて，辞書を作る。

## 表 2 辞書例

表 3 キーフレーズ頻度 $\mathrm{z}$ の定義

$
\begin{gathered}
x=\text { キーフレーズの発生回数 } \\
\mu=\frac{\text { キーフレーズ発生総回数 }}{\text { キーフレーズ数 }} \\
\sigma=\sqrt{\frac{1}{n} \sum_{i=1}^{n}(x-\mu)^{2}} \\
z=\frac{x-\mu}{\sigma}
\end{gathered}
$

キーフレーズの抽出効果は以下に

「トルクは申し分なく握った時の重量配分 も問題ない」 $\rightarrow$ 「トルク,申し分, 重量配分,問題」 $\rightarrow$ 「1.7452，-0.923112，0.4218， 2.9283233.これから, 各レビューはキー フレーズの頻度に表示された。

## 4 感情スコア計算

レビューから客様の評価の良いか悪いか の判断を，感情分析に行う.

## 4.1 モデル

ここでは huggingface の bert-base-japanesesentiment[8]を用いた。

図 1 モデル試すの効果

## 4.2 手順

ここで感情分析を効果的に行うために は，感情スコアを $[-1,1]$ の間で浮遊させる必要がある. bert-base-japanese-sentiment モデ ルを利用して, 結果を少し改良する.

## 表 4 感情スコア

‘ポジティブの場合 :

$
\text { score }=2 \times \text { score }-1
$

‘ポジティブ’の場合 :

$
\text { score }=1-2 \times \text { score }
$

## 4.3 結果

一つずつレビュー文 が感情スコアを付け る。以下は結果の一部になる.

Text1：そして電池の持ちがいい

Score:0.9681352376937866

text2:本体部分が小さいのはびっくりで

score: 0.771661639213562

text3: 多少重いがやむを得ないか

score: -0.9029324054718018

## 5 決定木モデル

## 5.1 概要

決定木分析は「予測」や「判別」,「分類」を目的として使われるデータマイニン グ手法だ. 顧客情報やアンケート結果など について，“従属変数”に影響する “説明変数”を見つけ，樹木状のモデルを作成する分析方法となる。

## 5.2 説明変数

説明変数は，分析すべき対象である。こ こは, 関心度 (キーフレーズの頻度), 感情 スコア値を説明変数として行う。

## 5.3 目的変数

目的変数は, 色々説明変数に影響されて 明るくに結果を表示するものである。ここ は, A,B,C,D,E,F 六つ種類として目的変数を 設定する。

表 5 目的変数の定義

具体的に言われば

$\mathrm{A}$ ：注目されて評価良い

$\mathrm{B}$ ：注目されて評価悪い

$\mathrm{C}$ : 注目されなくて評価良い

$\mathrm{D}$ ：注目されなくて評価悪い

そして, 企業に対する, 改良の優先度順番 はBDCA.

## 5.4 決定木モデルの構築

決定木モデルの構築すれば，説明変数と 目的変数が必要だ。説明変数は, キーフレ ーズの頻度と感情スコア, 前に計算して付 けたものだ，目的変数は，また明膫的に見 えない要素だ。データセットは学習用デー タとテストデータに $3: 7$ の割合で分割され る. そして, 学習用データに手動的で目的変数を追加する.

表 6 決定木モデル

今度は CART 決定木[9]で分析を行う。

図 2 決定木概念図

## 6 品質の評価

## 6.1 方法

作成したモデルがうまく動くかどうかを 検証するために，559つ商品レビューを利用してキーフレーズの頻度, 感情スコアに 変化する, モデルの精度に評価する。

## 6.2 結果

結果を表 6 に示す.

表 6 評価結果

この結果より, 約 $83 \%$ のレビューの結果を 当たってる.

## 6.3 分析と比較

結果見れば,この決定木モデル手法が有効 になる.今の提案と小林らのレビュ一分析手法を比べる

表 7 手法比較

 & 感情分析 &  & 精度 \\

自分が提案手法が小林らより,全体像把握 することができて,精度が少し上がる.そし て,モデルを利用して,レビュー対する,企業 が次商品の改良優先順位が明膫的に表示す ることができます.

ただし,改良すべきところも存在する。

## 7 終わりに

企業が商品を改良するために, レビュー に対するの分析が重要だ. ここに商品の関心度と評判を知るため, キーフレーズの頻度と感情スコアを説明変数として CART 決定木を提案する。この $\mathrm{ABCD}$ の四つ種類の 目的変数によって, 企業が次に商品の改良手順が決める. 今後の課題として, レビュ 一分析の精度上がるため, キーフレーズ抽出手法を改良しておる, 同時決定木モデル の改良を検討している.

## 謝辞

本研究は茨城大学工学部情報工学研究科佐々木自然言語処理研究室により得られた ものです.

また先生からご協力いただきました。こ こに御礼申し上げます。

## 参考文献

[1]小林大祐, 長尾俊一, 須藤大輔, 井上潮, Web ページの文章解析によるユーザレビ ユーの収集・分析システムの提案, DEWS2008 B8-2

[2]Sullivan, Danny. What Is Google PageRank? A Guide For Searchers \& Webmasters. Search Engine Land. [2018-12$09]$. [3]Torres-Moreno, Juan-Manuel (1 October 2014). Automatic Text Summarization. Wiley. pp. 320-. ISBN 978-1-848-21668-6.

[4]Berger, A., and Mittal, V. 2000. OCELOT: A system for summarizing Web Pages. In Proceedings of SIGIR2000.

[5]Taher H. Haveliwala. 2003. TopicSensitive PageRank: A Context-Sensitive Ranking Algorithm for Web Search. IEEE
Transactions on Knowledge and Data Engineering, 15(4):784-796

[6]Paar, Christof; Pelzl, Jan; Preneel, Bart (2010). Understanding Cryptography: A Textbook for Students and Practitioners. Springer. ISBN 978-3-642-04100-6.

[7]F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel,B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. 2011. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research 12:2825-2830.

[8]"daigo/bert-base-japanese-sentiment " 19 May 2021.[Online]. Available: https://huggingface.co/daigo/bert-basejapanese-sentiment [Accessed 19 May 2021].

[9]Quinlan, J. Ross: Induction of decision trees, Machine learning, Vol. 1, No.1, pp. 81106 (1986).


# 直近 1 年の動向を考慮した最新論文のインパクト予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

発表される論文の増加に伴い，新たに発表された 論文の将来的なインパクトを自動で予測する技術の 重要性は増している. 本研究では，論文のインパク 卜予測を発表から 1 年後の被引用数予測として定式化し，学習データとしてそのまま用いることができ ない，発表から 1 年未満の論文から得られる情報を 活用する手法を提案する。また， arXiv から収集し た約 17,000 の論文を用いた実験を通して，直近 1 年以内の論文を活用することの有効性を示す.

## 1 はじめに

近年，自然言語処理を含む人工知能分野の論文数 は大きく増加しており，興味があるトピックに絞っ たとしても全ての論文に目を通すことは困難になっ ている。このため，同時期に発表された論文の中か ら，将来的なインパクトが大きくなる重要性の高い 論文を選択的に自動提示する技術が求められてい る. 本研究では，このようなインパクトの指標とし て発表から 1 年後の被引用数を採用し, 新たに発表 された論文の 1 年後の被引用数予測に取り組む.

発表から 1 年後の被引用数予測において，学習 データとしてそのまま使用できるのは 1 年後の被引用数が既知の論文，すなわち，発表から 1 年以上経過した論文のみである. しかし，人工知能分野の技術革新の速度は増しており，直近 1 年以内に発表さ れた論文から得られる情報を用い，最新の動向を捉 えることが重要であると考えられる。そこで本研究 では， 1 年後の被引用数予測において，直近 1 年以内に発表された論文を活用する 2 つ手法を提案す る. 1 つ目の被引用数補完では，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，発表から 1 年未満の論文を学習データとして利用す る. 2 つ目の早期導入度の利用では, 被引用数予測対象の論文が，直近 1 年以内に発表された被引用数
の高い論文を引用しているかどうかの情報 (早期導入度) を利用する.これは発表後，短期間で多く引用されている論文は重要な研究成果を報告している 可能性が高く，そのような重要な研究成果をいち早 く取り込んでいる研究も，新規性が高く技術的貢献 が大きい可能性が高いという直観に基づいている.

被引用数予測に取り組んだ研究はすでに多く存在 する. 初期の研究として Fu ら [1] は，被引用数予測を分類と回帰で定式化し，論文のアブストラクト やジャーナルのインパクトファクターなどの被引用数予測において有効な特徴量を調査した. Li ら [2] は，論文に対応した複数の査読テキストを被引用数予測に活用した. Dongen ら [3] は，より大規模 なデータセットを使いつつ，BERTを用いて効率的 に論文の本文をエンコードし，被引用数予測を行っ た.しかし，これらの研究では，予測対象の論文が 発表された時点では利用できない情報，具体的には その論文と近い時期に発表された論文の将来的な被引用数を利用しており，発表されてから間もない論文の将来的な被引用数予測には適用できない設定が 採用されている。これに対し，本研究では被引用数予測の対象論文が発表された時点の情報だけを利用 するという設定を採用し，そのような設定における 直近 1 年以内の論文の活用方法を提案する.

## 2 最新論文を活用した被引用数予測

## 2.1 問題設定

本研究では，論文の著者情報とタイトル，アブス トラクトから，その論文の発表から 1 年後の被引用 スコアを予測するタスクに取り組む。被引用スコ アは, Wenniger ら [4] に倣い, 被引用数の対数, す なわち論文の発表から 1 年後の被引用数 $c$ に対し, $\log (c+1)$ と定義する.

学習に使用できる情報は，被引用数予測の対象論文が発表された時点で入手可能な情報に限定する. すなわち，本研究で予測対象とする 1 年後の被引用
表 $1 \mathrm{n}$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文を引用している論文の発表 1 年後の被引用数の平均.「引用なし」は， $\mathrm{n}$ ヶ以以に発表された論文を引用していない論文，括弧内の数字は各グループに属する論文の割合を示す.

数情報が利用できるのは，それより 1 年以上前に発表された論文のみであり，直近 1 年に発表された論文についてはその時点の被引用数のみを利用する。

## 2.2 ベースライン手法

Transformer [5] ベースの事前学習済みモデルであ る BERT [6] を fine-tuning することで，被引用数予測を行う，入力に用いる情報は，著者情報，タイト ル，アブストラクトとし，1文目として著者情報と タイトルを繋げたもの，2 文目としてアブストラク トを入力する．ただし，著者情報には著者名ではな く, 以下の手順で生成する特殊トークンを用いる. まず，論文の各著者がその論文発表時から見て 1 年以上前かつ 5 年以内に発表した論文の発表 1 年後 の被引用数を収集する，続いて，各著者ごとに平均被引用数を算出し, さらにその值を全著者で平均し た値をその論文の著者スコアとする。このような著者スコアを学習用論文すべてに対し算出し，スコ

上位 10\%のグループであれば [著者 $0 \sim 10 \%] ， 50 \% \sim$ 60\%のグループであれば［著者 50 60\%］といった特殊トークンを生成する。

BERT の出力として, 特殊トークンである [CLS] に対応するべクトルを利用し，CLS ベクトルを線形変換することで，被引用スコアの予測值を得る. 学習中には CLS ベクトルにドロップアウト [7]を適用 し, 予測値と被引用スコアの平均二乗誤差 (MSE) が 最小になるように学習を行う.

## 2.3 被引用数補完

予測対象である 1 年後の被引用数情報が利用でき るのは，発表から 1 年以上経過した論文のみである が，最新の動向を反映したモデルを構築するために は，発表から 1 年未満の論文も考慮することが重要 であると考えられる. そこで，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，被引用数の補完を行い, 発表から 1 年未満の論文を学習データとして利用する．被引用数の補完には次の 事例ベースの手法と比率べースの手法を併用する.

事例ベース 学習用論文において，発表から $n$ ヶ月後に被引用数が $c$ の論文の 1 年後の被引用数を 全て抽出し，その中央值を利用

比率ベース 発表から $n$ ケ月後の被引用数の平均と 発表から 1 年後の被引用数の平均の比を計算 し, 被引用数 $c$ に掛けた值を利用

事例ベースの補完は，同じ被引用数をもつ論文が多数存在しうる “被引用が少ない論文” に対しては正確な補完が期待できる一方で，同じ被引用数をもつ 論文がない，または，少ないと考えられる“被引用 が多い論文”には適していないと考えられる。 その ため本研究では，発表から $n$ ヶ月後の被引用数の中 で，被引用数 $c$ が上位 $10 \%$ に属する場合は比率べー スの手法で補完を行い，下位 90\%に属する場合は事例ベースの手法で補完を行う1).

## 2.4 早期導入度

発表から短い期間に多く引用されている論文は重要な研究成果を報告している可能性が高く，そのよ うな重要な研究成果をいち早く取り达んでいる研究 も，新規性が高く技術的貢献が大きい可能性が高い と考えられる。この仮説を検証するため，“ $n$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文”を 引用している論文の，発表から 1 年後の被引用数の 平均を調査した。

調査には，3.1 節で述べる学習用の論文集合の 1 つである 2015 年 6 月から 2020 年 5 月に $\operatorname{arXiv}^{2)}$ 上で 発表された 15,962 論文を用い，上位 $k \%$ の計算には，発表から $m$ ヶ月後の論文の場合，論文集合から発表 から $m$ ヶ月後時点の被引用数の分布を作成し，その 分布内での順位を用いた。また， $n$ ヶ月以内に発表 された論文を複数引用している場合，その中でもっ とも被引用数の順位が高い論文の順位を利用した.

調査結果を表 1 に示す. 全体的な傾向として，よ
$ を参照.

2) https://arxiv.org/
}

り被引用数が高い論文を，より早期に引用している ほど，平均的な被引用数が高いことが確認できる。 たとえば，発表から３ ヶ月以内に，被引用数が上位 $1 \%$ 以内の論文を引用している論文の平均被引用数 は 15.5 であり，これは全論文の平均被引用数 6.5 の 約 2.4 倍であった.

以上の調査結果を踏まえ，本研究では，論文が早期に被引用数が高い論文を引用しているという情報 (早期導入度)を被引用数予測に利用する。 入力方法としては，著者情報と同様に，早期導入度を 特殊トークン化して 1 文目の先頭に挿入する. 本研究では, 「上位 $0 \sim 1 \% 」$, 「上位 $1 \sim 2.5 \% 」$, 「上位 2.5 5\%」,「上位 5 10\%」,「上位 10 25\%」,「上位 25 100\%」，「引用なし」をそれぞれ表す 7 つの特殊 トークンを作成し, 予測対象の論文がそれぞれ 3 , 6，9，12 ヶ月以内に引用している論文の中で最も被引用数の順位が高い論文に対応する特殊トークン 4 つを 1 文目の先頭に挿入することにより早期導入度 を考慮する．たとえば，ある論文が 3 ヶ月以内に発表された論文を引用しておらず，6，9ヶ月以内に発表された被引用数が上位 5 10\%の論文を引用してお り，12 ヶ月以内に発表された被引用数が上位 $0 \sim 1 \%$ の論文を引用している場合に入力する特殊トークン 列は，“[引用なし][上位 5 10\%][上位 5 10\%][上位 0 1\%]”となる.

## 3 実験

## 3.1 データセット

被引用数予測において直近 1 年以内の論文を活用 することの有効性を確認するため，arXiv で発表さ れた論文を対象とした評価実験を行った． arXiv の 論文を対象としたのは，大量の論文が発表される一方で，無査読であり品質が保証されていないことか ら，論文の質の自動推定技術の重要性が極めて高い 論文集合であると考えたためである.

本研究では，2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL (計算言語学) カテゴリで発表された 論文集合をそれぞれ評価セットとする 12 個のデー タセットを用いて実験を行った. 各データセットに おいて, 評価対象の論文の発表から過去 5 年間に発表された論文を学習用論文として用いた。たとえ ば，2019 年 7 月に発表された論文集合を評価セット とする場合，2014 年 7 月 2019 年 6 月に発表された 論文が学習用論文となる. 学習用論文数の平均, 学習用論文のうち 1 年以上経過した論文数の平均，評価用論文数の平均はそれぞれ $13,457 ， 8,714 ， 490$ で あった ${ }^{3)}$. 発表時期は月単位で扱い，過去のある時点における被引用数を算出するための引用情報は, Semantic Scholar ${ }^{4}$ から収集した。

## 3.2 比較手法

本研究では以下の 5 つのモデルを比較する.

全 1 年後被引用数使用 過去 5 年間に発表された全論文の発表から 1 年後の被引用数を用いベース ライン手法で学習したモデル

直近 1 年論文不使用 発表から 1 年以内のものを除 く過去 5 年間に発表された論文を用いベースラ イン手法で学習したモデル

+被引用数補完 被引用数補完を行うことで過去 5 年間に発表された全論文を用いべースライン手法で学習したモデル

+早期導入度 直近 1 年論文不使用モデルに早期導入度を追加したモデル

+補完+早期導入度 被引用数補完モデルに早期導入度を追加した提案手法

このうち，全 1 年後被引用数使用モデルは，評価用論文の発表時に取得不可能な情報を用いており，最新論文の被引用数予測には利用できない.

## 3.3 評価方法

評価指標には大きく分けて2つの指標を用いる. まず，全体的な被引用数予測性能を評価するため， スピアマンの順位相関係数 $(\rho)$ を用いる. さらに，将来的にインパクトが大きくなる論文を上位にラン キングできているか評価するため，実際の被引用数 が上位 $\mathrm{n} \%$ となる論文が，予測值の上位 $\mathrm{k} \%$ にどのく らい含まれるかという指標 ( $\mathrm{n} \%$ @ $\mathrm{k} \%$ ) を用いる.

また， 3.1 節で述べた通り，データセットごとの 評価用論文の平均論文数は 490 と小さいことから， データセットごとに評価した場合，スコアが安定し ない可能性が考えられる. そこで，より大規模な論文集合で評価を行えるように，評価値の算出は全 データセットの評価用論文を用いて月横断的に行 う. 具体的には，各データセットで学習を行い，評価用論文の被引用数スコアの予測値を出力し, 全 12 か月分の予測値を合わせて評価値を算出する ${ }^{5)}$.

3）データセットごとの論文数は付録 B を参照

4) https://www.semanticscholar.org/

5）データセットごとの実験結果は付録 C を参照.
表 2 被引用数予測の実験結果 (評価値 $\times 100)$

## 3.4 実験設定

BERT の初期重みには, Transformers [8] で公開 されている, Wikipedia などの一般ドメインの コーパスで事前学習を行なった BERT (bert-baseuncased) と，大規模な論文で構築された科学分野のコーパスで事前学習を行なった SciBERT [9] (allenai/scibert_scivocab_uncased)を用いた. 全ての手法において，エポック数は 3 , バッチサイズは 32 ,最適化関数は AdamW [10] を用い, 全体の学習ス テップの $10 \%$ で warm-up し, 残りのステップで線形 に減衰する学習率スケジューリングを行った. 学習率は，2019 年 6 月に発表された論文を評価用論文と して作成したデータセットを用いて，Devlin ら [6] に倣い，2e-5, 3e-5, 5e-5 で探索を行い，全ての手法 において最も順位相関係数が高くなった 2e-5を使用した.また，各手法でランダムシードで 3 回実験 を行って評価値の平均と標準偏差を算出した.

## 3.5 実験結果

実験結果を表 2 に示す. 全体的に SciBERT の性能 が BERT の性能を上回っており，科学分野のコーパ スでの事前学習が，被引用数予測タスクにおいて有効であることが確認できる。また，被引用数補完，早期導入度をそれぞれ用いることで，性能が向上す る傾向が確認できる. 特に, 被引用数補完と早期導入度を組み合わせた提案手法は，予測対象の論文の 発表時に利用可能な情報しか用いていないにも関わ らず，全 1 年後被引用数使用モデルと同等以上の性能となった. 被引用数補完は, 全 1 年後被引用数使用モデルで使用している情報を近似的に再現してい るに過ぎないことから，性能向上は主に，早期導入度を考慮することで，最新の技術動向をいち早く取 り込んでいる研究を評価できるようになったためで あると考えられる．実際の予測性能に着目すると，被引用数補完と早期導入度の両方を用いた SciBERT ベースのモデルは，5\%@25\%で 78.3 という值であっ た.これは，与えられた論文集合のうち $25 \%$ を読 むことで，将来の被引用数が上位 $5 \%$ となる論文の $78.3 \%$ をバーできるということであり，実用面に おいて有用性の高い手法であるといえる.

## 4 おわりに

本論文では，与えられた論文の発表 1 年後の被引用数予測タスクにおいて，最新の動向を捉えること の重要性に着目し， 1 年後の被引用数が未知である ことからそのままでは学習データとして使用できな い直近 1 年以内に発表された論文の活用法を提案し た. 具体的には，過去の論文の被引用数の推移から 1 年後の被引用数を推定し学習データとして利用す る手法と，より被引用数が高い論文をより早期に引用している論文は平均的な被引用数が高くなるとい う傾向に着目した早期導入度を利用する手法の 2 つ 手法を提案した。 $\operatorname{arXiv}$ から収集した約 17,000 の論文を用いて行った実験の結果，直近 1 年以内に発表 された論文を活用することで，被引用数予測の性能 が向上することが確認できた。特に，早期導入度を 用いて，最新の技術動向をいち早く取り込んでいる 研究を評価することで，論文発表時点では取得不可能な未来の被引用数を利用した手法と同等以上の性能が達成できた．今後の課題としては，自然言語処理以外の人工知能分野の論文を含めた評価や，提案手法では活用していない本文や図，表などを考慮し たモデルの構築が挙げられる.

## 参考文献

[1] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical articles. In AMIA Annual Symposium Proceedings, pp. 222-226, 2008.

[2] Siqing Li, Wayne Xin Zhao, Eddy Jing Yin, and Ji-Rong Wen. A neural citation count prediction model based on peer review text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 49144924, 2019.

[3] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 148-157, 2020.

[4] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 158-167, 2020.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 41714186, 2019.

[7] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Process- ing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

## A 被引用数補完の性能

被引用数補完性能の評価結果を表 3 に示す。評価は，被引用数補完前，被引用数補完後のデータセット ごとに，全論文の 1 年後の被引用数を正解データセットした場合の，被引用数のスピアマンの順位相関係数 $(\rho)$ ，および，正解データにおいて上位 $10 \%$ に含まれる論文がどのくらい上位 $10 \%$ に含まれるかの値 $(10 \% @ 10 \%)$ により行った．評価データには 3.1 節で述べた， 12 個のデータセットを用い，各評価指標の平均値と標準偏差を算出した。

表 3 被引用数補完の評価結果 (評価値 $\times 100$ )

## B 各データセットのサイズ

2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL カテゴリで発表された論文集合をそれぞれ評価セット とする 12 個のデータセットの統計値を表 4 に示す.

表 4 各データセットの論文数

## Ｃ各データセットにおける実験結果

3 節で行った実験の，各データセットごとの実験結果を示す。各評価指標のうち，表 5 にはスピアマンの 順位相関係数，表 6 には $10 \%$ @10\%の結果を示す.

表 5 各データセットにおける実験結果 (スピアマンの順位相関係数 $\times 100$ )

表 6 各データセットにおける実験結果 $(10 \% @ 10 \% \times 100)$


# ガウス確率場による単語の意味変化と語義数の同時推定

井上誠一 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋 大地 4
1 東京都立大学 2 国立国語研究所 3 産業技術総合研究所 4 統計数理研究所
inoue-seiichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 概要

本研究では，単語の通時的な意味変化のモデル化 において，ディリクレ過程をガウス確率場の上に考 えることで，単語によって異なる語義数を自動的 に推定できる階層ベイズモデルを提案する1). 疑似 データを用いた実験において，意味変化と語義数を 正しく推定できることを示した．また，実データを 用いた実験においては，複数の解析対象の単語に対 して推定結果を示し，分析した。

## 1 はじめに

言語は動的なシステムであり，常に進化し，話者 とその環境の需要に適応している [1]. 特に単語は さまざまな意味を持ち，その分布や広がりはジャン ルや文脈によって異なっている. 例えば，“cute”と いう単語は 18 世紀初頭に登場し，もともと“賢い” という意味で使われていたが，19 世紀後半に“狡猾 な”という意味で使われ，現代においては，“魅力的 な” という意味で使用されている [2]. このような通時的な単語の意味変化を捉えることができれば，辞書学での単語の意味変化に関する記述への利用や,単語の意味表現がより正確になることにより，意味情報が重要なタスクへの活用が可能になる.近年では，単語の分散表現を用いて意味変化を検出する手法が数多く提案されているが $[3,4,5]$, こ れらは意味変化の検出はできるが，意味の趨勢や変化の様子を捉えることはできない. それに対し，解釈性の高い確率的生成モデルを用いて意味変化を捉 える試みもある. Emms ら [6] は，単語の新たな意味の出現を捉えるための動的な生成モデルを提案し ており，Frermann ら [7] は，意味の出現だけではな く変化のパターンも捉えることができるモデルを提案した. しかし，実際に単語の意味変化を調査した

い場合は解析対象の単語の語義数が自明であること は多くないにも関わらず，これらのモデルは語義数 を事前に設定しなければならないという大きな問題 がある.

そこで，我々はディリクレ過程をガウス確率場の 上に考え Frermann らのモデルを拡張することで，語義数をデータから自動で推定し, 単語の意味変化を 捉えることのできる階層ベイズモデルを提案する. (1) 疑似データを用いた検証を行った結果，提案モ デルが解析対象の単語の意味変化と語義数を正しく 推定できることを定量的，定性的に示した. また， (2) 実データを用いた実験では，複数の単語に対し 定性的な分析を行い，妥当性を示した。

## 2 関連研究

## 2.1 A Bayesian model of diachronic meaning change [7]

Frermann らは，単語の通時的な意味の発展を捉 える，動的なベイズモデル（dynamic Bayesian model of Sense ChANge; 以下，SCAN と表記）を提案した. SCAN では，対象単語 $w$ 一つに対して一つのモデル が構築され, 入力は, 対象単語 $w$ が含まれる文章の 文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章 が出現した年のラベルとなっている.

SCAN において, 時点 $t \in\{1 \ldots T\}$ のスニペット 集合は時点ごとのユニグラム混合:
- 意味上の $K$ 次元多項分布 $\phi_{t}$ (意味分布)
- 各意味 $k$ の語彙上の $V$ 次元多項分布 $\psi_{t, k}$ (意味-単語分布)

でモデル化される．また，それぞれの事前分布には ガウス分布が仮定され，次のように変換することで $\phi$ を得る：

・多次元ガウス分布から $K$ 次元ベクトル $\boldsymbol{\alpha}$ を生成

・ロジスティック変換 $\phi_{k}=\exp \left(\alpha_{k}\right) / \sum_{k=1}^{K} \exp \left(\alpha_{k}\right)$ によって $K-1$ 次元単体に射影.
$\psi$ についても同様である. そして，意味分布と意味-単語分布のパラメータ $\phi, \psi$ が，時間変化と共に 変化をするように，事前分布に 1 階の内生的ガウス 確率場 (iGMRF) [8] を定義する。iGMRF は，“近傍 と似た値をとる” 事前分布であり ${ }^{2}$ ，実数ベクトル $\mathbf{x}=\left(x_{1}, x_{2}, \cdots, x_{T}\right)$ について，ガウス分布 $\mathcal{N}\left(\mu, \sigma^{2}\right)$ を用いて，次のように定義される：

$
x_{t} \mid \boldsymbol{x}_{-t}, \kappa \sim \mathcal{N}\left(\frac{1}{2}\left(x_{t-1}+x_{t+1}\right), \frac{1}{2 \kappa}\right) .
$

ただし， $\boldsymbol{x}_{-t}$ は $\boldsymbol{x}$ から $x_{t}$ を除いたものであり，кは 精度パラメータである．また，意味分布と意味-単語分布の事前分布であるガウス分布は，それぞれ変化の度合いをコントロールするパラメータとして $\kappa_{\phi}, \kappa_{\psi}$ を持つ. 特に, 対象単語 $w$ によって意味の 変化の “速度” は異なるため，意味分布の事前分布 の精度パラメータ $\kappa_{\phi}$ はデータから推定する.

これらを踏まえると，SCAN の生成モデルは次の ようになる. $\operatorname{Ga}(a, b)$ はガンマ分布, $\operatorname{Mult}(\theta)$ は多項分布を表す.

1. Draw $\kappa_{\phi} \sim \mathrm{Ga}(a, b)$

2. For time interval $t=1 \ldots T$

(a) Draw sense distribution
i. $\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right)$

ii. $\phi_{t}=\operatorname{Softmax}\left(\alpha_{t}\right)$

(b) For sense $k=1 \ldots K$

i. Draw sense-word distribution
A. $\beta_{t, k} \mid \beta_{-t}, \kappa_{\psi} \sim \mathcal{N}\left(\frac{1}{2}\left(\beta_{t-1, k}+\beta_{t+1, k}\right), \kappa_{\psi}^{-1}\right)$
B. $\psi_{t, k}=\operatorname{Softmax}\left(\beta_{t, k}\right)$

(c) For snippet $d=1 \ldots D$

i. Draw sense $z_{d} \sim \operatorname{Mult}\left(\phi_{t}\right)$

ii. For context position $i=1 \ldots I$

A. Draw word $w_{d, i} \sim \operatorname{Mult}\left(\psi_{t, z_{d}}\right)$

## 2.2 Logistic stick-breaking process [9]

ディリクレ過程は有限次元の多項分布を生成する ディリクレ分布の無限次元版であり，その実現例の 一つとして， stick-breaking process (SBP) [10] が挙げ られる。SBPでは，確率の総和である長さ 1 の棒を 折っていくことで， $k$ 番目のクラスに対する確率 $\pi_{k}$ を決定し，デルタ関数 $\delta\left(\theta_{k}\right)$ を基底測度 $G_{0}$ からサ ンプルした場所 $\theta_{k} \sim G_{0}$ に立てていくことで確率分布 $G$ を生成しており, 生成過程は次のようになる:

$
\begin{gathered}
\pi_{k}=v_{k} \prod_{k^{\prime}}^{k-1}\left(1-v_{k^{\prime}}\right), v_{k} \sim \operatorname{Be}(1, a), \theta_{k} \sim G_{0} \\
G=\sum_{k=1}^{\infty} \pi_{k} \delta\left(\theta_{k}\right) .
\end{gathered}
$

2） カーネルが隣接する時間に限定されるガウス過程の特別な 例と捉えることもできる.
ただし， $\mathrm{Be}(1, a)$ はベータ分布である.

Ren ら [9] は，各クラスが何らかの共変量と紐づ いている3)場合，それをロジスティック変換し各ク ラスの確率とすることで，同様にディリクレ過程を 実現する logistic stick-breaking process (LSBP) を提案 した. 各クラスのガウス分布に従う確率変数を $\beta_{k}$ としたとき，LSBP によって生成される確率分布 $G_{\beta}$ は次のようになる:

$
\begin{gathered}
\pi\left(\beta_{k}\right)=\sigma\left(\beta_{k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\beta_{k^{\prime}}\right)\right), \\
G_{\beta}=\sum_{k=1}^{\infty} \pi\left(\beta_{k}\right) \delta\left(\theta_{k}\right) .
\end{gathered}
$

ただし， $\sigma(x)$ はシグモイド関数を表す.

## 3 提案手法

## 3.1 Infinite SCAN

我々は，2.1 節で紹介した SCANにおいて，対象単語によって異なる語義数をコーパスから自動的に 推定できるように，2.2 節で紹介したLSBPを用いて 拡張を行った階層ベイズモデルを提案する。

提案モデルでは，SCAN と同様に対象単語 $w$ 一つ に対して一つのモデルを考え，入力もSCAN と同様 に，コーパスにおける対象単語 $w$ が含まれる文章の 文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章 が出現した年のラベルとする.

時点 $t$ に出現したスニペット集合は， $\phi_{t}$ と $\psi_{t, k}$ そ れぞれの上に定義される意味分布と意味-単語分布 によって表され，それぞれがガウス分布に従う。こ こで，意味分布のパラメータ $\phi_{t}$ について，対象単語 $w$ によって異なる語義数 $S_{w}$ をコーパスから自動的 に推定できるように，LSBPを用いて生成過程を次 のように変更する:

$
\begin{gathered}
\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right), \\
\phi_{t, k}=\sigma\left(\alpha_{t, k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\alpha_{t, k^{\prime}}\right)\right)(k=1, \ldots, K) .
\end{gathered}
$

ここで，LSBP は無限次元の多項分布を生成するが，実際には十分な語義の次元があればそれ以上使わ れることはないため, 本研究では SCAN と同様に $K=8$ とした ${ }^{4)}$. また, 提案モデルでは, 意味分布の パラメータ $\phi_{t}$ は，全体を見て正規化する Softmax 変換ではなく，それぞれの意味における停止確率を意味ごとに確率化する LSBP によって構築される.

3）SCAN の場合はガウス分布に従う確率変数が各意味，意味 における各単語と紐づいている。

4）事前実験より，8 個以上の語義を持つ単語はほとんど存在 しなかった
表 1 各モデルによって推定された意味分布と正解の意味分布の Kullback-Leibler 距離.

のため提案モデルでは，SCANのように $\kappa_{\phi}$ を全て の意味 $k \in\{1 \ldots K\}$ で共有するのではなく，各意味 の値 $\alpha$ ごとに異なる分散 $\kappa_{\phi}^{(k)}$ を仮定し推定する.

## 3.2 MCMC 法による推定

提案モデルの推定には，ブロック化 Gibbs sampler を用いる。提案モデルにおける推定パラメータは， スニペットに割り当てられる意味 $z$ ，意味分布と意味-単語分布の事前分布である $\alpha$ ( $\phi$ の LSBP 変換前), $\beta$ ( $\psi$ の Softmax 変換前)，ガンマ分布に従う意味分布の事前分布の精度パラメータ $\kappa_{\phi}$ である. サ ンプリングの疑似コードを図 5 に示した.

スニペットの意味 各スニペットの意味 $z_{d}$ は， サンプリング時点でのパラメータ $\phi, \psi$ を用いて，次の事後分布に従ってサンプリングされる:

$p\left(z_{d} \mid \boldsymbol{w}, t, \phi, \psi\right) \propto p\left(z_{d} \mid t\right) p\left(\boldsymbol{w} \mid t, z_{d}\right)=\phi_{z_{d}}^{(t)} \prod_{w \in \boldsymbol{w}} \psi_{w}^{\left(t, z_{d}\right)}$

意味分布のパラメータ 意味分布の事前分布は ガウス分布となっているため, 多項分布との間に 共役性がないので，ディリクレ-多項分布のよう なサンプリングはできない. Linderman ら [11] は， Pólya-gamma 補助変数を用いることで，LSBPを用い て表現される，ガウス分布を事前分布として持つ多項分布のパラメータに対するギブスサンプリング を提案しており，本研究ではそれに従って推定を行 う) $^{5)} \alpha$ の事後分布は次のようになる:

$
\begin{aligned}
p\left(\alpha_{t} \mid z, \boldsymbol{\alpha}_{-t}, \omega\right) & \propto \mathcal{N}\left(\omega^{-1} f(c) \mid \alpha_{t}\right) \mathcal{N}\left(\alpha_{t} \mid \boldsymbol{\alpha}_{-t}, \kappa_{\phi}^{-1}\right) \\
& \propto \mathcal{N}\left(\alpha_{t} \mid \tilde{\mu}, \tilde{\kappa}_{\phi}^{-1}\right) .
\end{aligned}
$

ただし, $\omega$ は補助変数であり,$c_{k}$ を $k$ 番目の意味に属 しているスニペットの個数, $N\left(c_{k}\right)=\sum_{k} c_{k}-\sum_{j<k} c_{j}$ として, Pólya-gamma 分布 $\omega \mid z, \alpha_{t} \sim \operatorname{PG}\left(N\left(c_{k}\right), \alpha_{t}\right)$ か らサンプリングされる. また, $f\left(c_{k}\right)=c_{k}-N\left(c_{k}\right) / 2$ として, 事後分布の平均と分散は, $\tilde{\mu}=\left(f\left(c_{k}\right)+\right.$ $\left.\mu_{k} \kappa_{\phi}\right) \cdot \tilde{\kappa}_{\phi}, \tilde{\kappa}_{\phi}=\left(\omega_{k}+\kappa_{\phi}\right)^{-1}$ である.

意味-単語分布のパラメータ 意味-単語分布も意味分布と同様に事前分布としてガウス分布を仮定し ているため，ディリクレー多項分布のようなサンプ

表 2 実験に使用したコーパスの年代とサイズ.

リングはできない. Mimno ら [12] は, Softmax 変換 を用いて表現される，ガウス分布を事前分布として もつ多項分布のパラメータに対するギブスサンプリ ングを提案しており，本研究ではそれに従って推定 を行う6)，スニペット数を $D$ ，スニペット長を $N_{d}$ とすると， $\beta$ の事後分布は次のようになる:

$p\left(\beta_{t}\right) \propto \prod_{d=1}^{D}\left(\prod_{n=1}^{N_{d}} \frac{\exp \left(\beta_{w_{n}}^{\left(t, z_{d}\right)}\right)}{1+\sum_{w^{\prime} \neq w} \exp \left(\beta_{w^{\prime}}^{\left(t, z_{d}\right)}\right)}\right) \mathcal{N}\left(\beta_{t} \mid \beta_{-t}, \kappa_{\psi}^{-1}\right)$

精度パラメータ 平均が既知であるガウス分布の 精度パラメータは，ガンマ事後分布に従う．ガンマ 分布の形状パラメータを $a$, 尺度パラメータを $b$ と すると， $\kappa_{\phi}$ の事後分布は次のようになる:

$
p\left(\kappa_{\phi}^{(k)}\right)=\mathrm{Ga}\left(a+\frac{K}{2}, b+\frac{1}{2} \sum_{t=1}^{T}\left(\alpha_{t, k}-\bar{\alpha}_{k}\right)\right)
$

ただし， $\bar{\alpha}_{k}=\frac{1}{T} \sum_{t} \alpha_{t, k}$ は意味 $k$ における $\alpha$ の平均 である.

## 4 実験

## 4.1 疑似データによる検証

実データでの検証に先立ち，提案モデルが，任意 の意味変化と語義数をきちんと推定できるか検証す るため，疑似データによる検証を行う．疑似データ の生成において，意味分布の生成にはガウス過程を 用い，意味-単語分布の生成にはディリクレ分布を 用いて正解データをランダムに生成した.

表 1 に，語義数を $S_{w}=2, . ., 5$ と動かした場合にお けるSCAN と提案モデルの疑似データに対する推定結果の比較を示した. ここでは，意味の分布を正 しく表現できるか定量的に測るため, 指標として推定された意味分布と正解の意味分布の $\mathbb{R}^{T \times K}$ 上での Kullback-Leibler 距離を用いた. 結果から，語義数を 自動的に推定できないSCAN と比較して提案モデル が優れていることがわかる。また, 図 1,2 に, 語義数が $S_{w}=5$ の場合の正解例と，疑似データに対する 提案モデルの推定結果を示した. 横軸が時点，縦軸 が時点における意味の確率を表し, 色に対応する意

6）詳細は参考文献 [12]を参照されたい.

図 1 語義数が $S_{w}=5$ の場合の意味変化の正解例.

図 2 語義数が $S_{w}=5$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.

味を凡例に示した．図より，提案モデルによる推定結果は意味の趨勢をほとんど正しく捉えていること がわかる。

## 4.2 データセット

本研究では，英語を対象とし，通時コーパスで ある Corpus of Historical American English (COHA) と The Corpus of Late Modern English Texts (CLMET3.1) を用いた、コーパスの統計量を表 2 に示した.

実験で用いる際は，トークナイズ，見出し語化を 行ったのち，ストップワードの削除を行った.また 品詞タグ付けを行い，名詞，動詞，形容詞のみを抽出し使用した. 以上の前処理を行ったのち，対象単語が出現する箇所をコーパスから抽出し，文脈空幅 を 5 として対象単語のコーパスを作成した. 対象単語としては，SCANで分析されたものを参考にして “coach”と “power”を選択した。

## 4.3 結果

図 3, 4 に“coach”と “power”に対する推定結果を 示した，凡例には，意味 $k$ における意味-単語分布 $\psi_{k}=\sum_{t} \psi_{t, k}$ の Normalized pointwise mutual information (NPMI) [13] の高い単語を上から 10 個示した.

“coach”では，コーパスから推定された語義数は 2 つとなった. 馬車や乗り物としての意味（青色）か

図 3 対象単語“coach”に対する提案モデルの推定結果.

図 4 対象単語 “power” に対する提案モデルの推定結果.

ら指導や指導者という意味（橙色）に変化している ことが捉えられている. “power”については，コー パスから推定された語義数は 6 つとなった. 宗教や 教会の文脈で使用される力の意味（青色）は，現在 に至っても使用されていることがわかる。また，肉体上・精神上の自然の能力，体力，知力といった意味（橙色）と法や政治的な力といった意味（赤色） は現在に近づくにつれて使われることが少なくなっ ている。一方で，経済的な力としての意味（緑色） や国際的な政治力や戦争などの文脈における力（紫色）たた動力の意味（茶色）は現在になるにつれて 使用されることが増えてきていることがわかる.

これらの結果は歴史的背景や辞書からも妥当であ り，提案モデルはコーパスからある程度正しく意味変化を捉えることができていることがわかる.

## 5 まとめと今後の展望

本研究では，単語の通時的な意味変化のモデル化 において，単語によって異なる語義数を自動的に推定できる階層ベイズモデルを提案した。疑似データ を用いた実験において，意味変化と語義数を正しく 推定できることを示した。また，実データを用いた 実験においては，複数の解析対象の単語に対して推定結果を示し，分析した．今後は，他の単語や英語以外の言語を対象とした分析を行っていきたい.

## 謝辞

本研究は国立国語研究所の共同研究プロジェクト 「現代語の意味の変化に対する計算的・統計力学的 アプローチ」，「通時コーパスの設計と日本語史研究

の新展開」および JSPS 科研費 19H00531，18K11456

の研究成果の一部を報告したものである.

## 参考文献

[1] Jean Aitchison. 2001. Language Change: Progress Or Decay?. Cambridge Approaches to Linguistics. Cambridge University Press.

[2] Angus Stevenson, editor. 2010. The Oxford English Dictionary. Oxford University Press, third edition.

[3] Robert Bamler, and Stephan Mandt. 2017. Dynamic Word Embeddings. In Proceedings of the 34th International Conference on Machine Learning, edited by Doina Precup and Yee Whye Teh, 70:380-89.

[4] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. 2015. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635.

[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. 2016. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1489-1501.

[6] Martin Emms, and Arun Kumar Jayapal. 2016. Dynamic Generative Model for Diachronic Sense Emergence Detection. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, 1362-73.

[7] Lea Frermann, and Mirella Lapata. 2016. A Bayesian Model of Diachronic Meaning Change. Transactions of the Association for Computational Linguistics 4: 31-45.

[8] Havard Rue and Leonhard Held. 2005. Gaussian Markov Random Fields: Theory and Applications. Chapman \& Hall/CRC Monographs on Statistics \& Applied Probability. CRC Press.

[9] Lu Ren, Lan Du, Lawrence Carin, and David Dunson. 2011. Logistic Stick-Breaking Process. Journal of Machine Learning Research: JMLR 12: 203-39.

[10] Jayaram Sethuraman. 1994. A Constructive Definition of Dirichlet Priors. Statistica Sinica 4 (2): 639-50.

[11] Scott Linderman, Matthew J. Johnson, and Ryan P. Adams. 2015. Dependent Multinomial Models Made Easy: StickBreaking with the Polya-Gamma Augmentation. In Advances in Neural Information Processing Systems, vol. 28, 3456-64.

[12] David Mimno, Hanna Wallach, and Andrew McCallum. 2008. Gibbs Sampling for Logistic Normal Topic Models with Graph-Based Priors. In Neural Information Processing Systems Workshop on Analyzing Graphs. vol. 61.

[13] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. 2009. Proceedings of the German Society for Computational Linguistics and Lan- guage Technology, vol 30: 31-40.

[14] Valerio Perrone, Marco Palma, Simon Hengchen, Alessandro Vatri, Jim Q. Smith, and Barbara McGillivray. 2019. GASC: Genre-Aware Semantic Change for Ancient Greek. In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 56-66 .

## A MCMC アルゴリズム

3.2 節で説明した提案モデルの推定に用いた Gibbs sampler の疑似コードを図 5 に示す. 各パラメータ の初期值は基本的に Frermann ら [7] に従っている. ただし，本研究では，対象単語の意味の変化を“意味-単語分布の変化”ではなく，できるだけ “意味分布の変化” で捉えたいため（前者の場合，語義数の 推定が難しくなる), Perrone ら [14] に従い， $\kappa_{\psi}$ の值 を比較的大きな 100.0 とした。

図 5 MCMC 法による Infinite SCAN の推定.

## B 疑似データに対する推定結果

4.1 節で行った，疑似データによる提案モデルの 性能の検証において, 語義数 $S_{w}$ が異なる場合の結果を示す. 図 6,7 には語義数が $S_{w}=2$ の正解例と 推定結果, 図 8,9 には語義数が $S_{w}=3$ の正解例と推定結果を示した. 語義数が異なっても，提案モデル は意味変化と語義数を適切に推定できていることが わかる。

図 6 語義数が $S_{w}=2$ の場合の正解例.

図 7 語義数が $S_{w}=2$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.

図 8 語義数が $S_{w}=3$ の場合の正解例.

図 9 語義数が $S_{w}=3$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.


# スローガンにおける比喻表現とそれを背景にした新しい掛けことば現象の考察—中国大学入試に関するスローガンを対象に

徐佳
愛知大学大学院 中国研究科
jokaxujia@hotmail.com

## 概要

日常言語生活によく使われる比喻技法は、物事を 興味深く、生き生きとした表現で表すことが出来る。本稿は、スローガンにおける比喻表現を対象に、具体例を挙げながら、比喻の効果とそれを背景にした 言葉現象を考察する。そして、大学入試のスローガ ンにおける発音の関連性や意味の類似性から生まれ た掛けことばは、どのような社会現象を生み出した かに関しても、実例に基づき分析する。

## 1 はじめに

ある物事を、類似または関係する他の物事を借り て表現する比喻は、聞き手に新しい概念を理解させ、情報を円滑に伝達するための修辞技法として、有効 な方法の一つである。比喻の効果は、多くの研究者 によって指摘されてきた。主な観点をまとめると、言葉遊びの一種として、人間の好奇心、求知心にこ たえることができ、そして、難解なものを分かりや すく伝え斬新な言葉を生み出し、物事を生き生きと した表現で表すことができるなどが挙げられる。本稿では、比喻を用いた大学入試に関するスローガン を対象に比喻表現を対象に見ていく。

中国では、例年、全国で 3 日間に渡る大学入試が あり、これを「普通高等学校招生全国统一考试（以下、高考）」と呼び、受験者は 15 年の教育を経て受験する。全国の高校三年生が同じ日程で統一された 試験に臨むため、非常に競争が激しい試験である。受験学年の教室では、受験生を励ますため、黒板の 上の壁に、スローガンを掲げる教室が多い。例を挙 げると、“提高一分, 干掉千人”（訳 : 1 点多く取 れば千人を抜かすことになる）や、“欲戴皇冠, 必承其重”（訳：王冠が欲しければ、重みに耐えなけ ればならない）などがよく見られる。その中でも、

“欲戴皇冠, 必承其重” のような、比喻を用いた興味深いスローガンも少なくない。
こういった比喻を用いたスローガンは、いずれも 何らかの意味変換によって受験勉強を励ます働きを 実現するという共通の特徴を持っている。本稿では、中国の大学入試に関するスローガンの中に、どのよ うな比喻表現が使用されたか、具体的に分析しなが ら、比喻がコミュニケーションにもたらす効果を考察する。そして、中国の大学入試期間に見られた保護者と受験生の取った縁起のよい行動について、掛 けことばの観点から分析し、そのような掛け言葉の 形成される理由や背後にある認知的動機づけについ て考察する。

## 2 比喻における二方向性について

比喻の一般的形式「Aは、Bである」のAは、たとえら れるものであり、Bはたとえるものである。すなわち、Aを、類似または関係するBを借りて表現する。認知心理学 において、比喻では情緒・感覚的類似性、カテゴリ 的類似性、特徴語との共起関係の強さが重要とされ ている。その関係は以下の図で表すことが出来る。

上記の図を見ると、AとBの特徴として、共通する要素 が、 $\alpha 、 \beta$ など $\cdots$ とあり類似しているため、Bにも特徴と して、要素 $\omega$ があるはずだと推論している。さらに、比喻 の方向としては、

(1) 抽象的・難解なものを具体的・身近なものに喻える。例: 人生は旅だ。

(2) 時に具体的・身近なものを抽象的・難解なものに喻 える。

例:母がかけてくれたあの言葉は私にとって、「成功へ の扉」となった。

## 3 類似性の法則について

人間は自分と似ている人に親近感を抱き、心を許す 傾向がある。初対面の人でも出身地が同じであったり、共通の趣味を持っていたりするとすぐに打ち解けること が多い。心理学では、「ミラーリング効果」といら概念があ り、相手を模倣することにより、親近感を持たせたり好感 を抱かせる心理テクニックである。これは、「類似性の法則」といらものが深く関係している。人間が自分と似た人、 または似たものに対して好感を抱きやすい心理がある。 これらの概念は言語学に反映され、掛けことばの形成さ れる理由やその背後にある認知的動機づけに対する理解に役立つ。次に、中国の大学入試スローガンと大学入試を背景にしたミラーリングと類似性の視点から具体例を挙げながら考察していく。

## 4 中国の大学入試に関わるスローガ

## ンの実例分析

似ているような発音、または関連性のある意味合 いによって生まれた掛けことばは、聞き手に親近感 と安心感を与え、より強い印象を残す。たとえば、次の例を見ていただきたい。

（1）勤是甘泉水，学似聚宝盆

訳 : 勤勉さは甘い泉であり、学ぶことは宝物を盛っ た盆である。

（2）时间抓起来就是黄金, 抓不起来就是流水訳 : 時間は掴めば黄金になるが、掴めなければ、流 れてゆく水である。

( 3 ) 不经风雨, 怎见彩虹?

訳 : 暴風雨を乗り越えなければ、虹に出会うことも ない。

（4）欲达高峰, 必忍其痛

訳：高峰に達したければ痛みに耐えなければならな い。

（5）读书不觉已春深，一寸光阴一寸金

読書して、春らしくなったことも気づかない。時は 金である。

（6）宝剑锋从磨砺出, 梅花香自苦寒来宝剣の鋭さは磨いてから出てくる。梅の花の香りは、厳しい寒さに耐えながら出てくるのだ。

（7）书山有路勤为径本の山を登るには勤勉という道がある。

（8）会当凌绝顶，一览众山小

一番高い山の頂上に登れば、他の山が小さく見える。
（9）今朝勤学苦，明日跃龙门

勉学に励むのは苦しいが、将来は（鯉の滝登りのよ うに）竜門を登ることができる。

（1０）把汗水变成珍珠

訳 : 汗粒をパール真珠にかえるのだ。

大学入試のつらさを乗り越えるためのスローガン は、励ましの言葉でもあるが緊張する受験勉強の中 での遊び心の表れでもある。すなわち、これらのス ローガンは比喻に潜む「謎」を解き明かす快感が味 わえ、人間の好奇心、求知心にこたえることができ、 そして、やわらかいイメージで受験勉強の緊張感を 和らぐ働きがある。

努力、時間、成功、汗粒などを甘い泉、虹、高い 山、真珠などに喻えている。泉、虹、山、真珠など の具体像で、受験の成功に対する祈りという抽象的 な概念を比喻で具体化して表している。前者が後者 に、意味の関連性の面で類似していると捕らえ、前者を後者に喻えている。汗粒を真珠にたとえる例を、類似性の観点から分析すると、両者の関係と比喻が 成り立つ要素を以下の図で表すことが出来る。

汗粒と真珠は両方と粒状であり、そして、数少な い（貴重）、きらきらする（光沢がある、）つらい 時に出る（刺激を受ける）という共通する要素があ る。こういった類似性に注目することで、「「汗粒 をパール真珠にかえるのだ」に対する理解を助ける 効果がある。

「暴風雨を乗り越えなければ、虹に出会うことも ない」の例に表されているような、類似性に基づく 意味の拡張である比喻であると考えられる。それは つらい受験勉強を「暴風雨」に喻えている点が比喻 であり、また試験に受かったことを虹に出会えたこ とに喻えている点でも比喻である。つまり、受験勉強のつらさと受かったときの達成感に焦点を当てて 認知し、「暴風雨」と「虹」に喻えている。したが

って、聞く者に強いエンパシーを感じさせ、比喻と の相乗効果が出ている。受験勉強といえば、つらさ を真っ先に想起するため、「つらさ」という参照点 を表示するだけでターゲットである「暴風雨」にア クセスすることが可能になるのである。

例（4）は、「高い成績」を参照点にして、ター ゲットである「高い山」を表現している。

このスローガンは受験勉強の苦しみと受かったと きの達成感を詩的な表現で豊かに表した。受験勉強 の苦しみと暴風雨に打たれるつらさは、共通性のあ る概念で、共感を喚起しやすくエンパシーの程度が 高いスローガンになっている。

## 5 大学入試期間に保護者らが取った 興味深い行動についての分析

受験生の豪快なスローガンに合わせ、保護者たちも 精一杯の努力で受験生を応援している。日本と異なり、中国の両親のほとんどは大学入試の子供を試験会場ま で送り迎えする。毎年、新聞のトップページに出るほど 大学受験生への応援が盛大である。たとえば、受験現場の外で縁起を担ぐために、結婚式のときぐらいしかチ ヤイナドレスを着ないない受験生の母親らが、鮮やかな 姿で注目を集める。これは、チャイナドレスが礼服である だけではなく、その背後にある掛けことばが潜んでいる ためである。掛けことばは、発音の類似性を使って1つ の言葉に2つの意味を持たせるといらレトリックである。 すなわち、表面上は1つの意味でありながら、内容上は 2つの意味を含ませている技巧である。このチャイナドレ ス現象がその仕組みを巧みに応用した例である。前節では、比喻の使用した大学入試のスローガンを 考察した。次に、大学入試を背景にした興味深い掛け ことば現象を見てみよう。前文で分析したエンパシーを 比喻表現の効果的な利用で表現していることについて 以下の例で考察する。いずれも発音の関連性と意味の 類似性から生まれた掛けことばが支える現象であり、新聞やニュースに出るほど注目も集めている。

(1)「旗袍」と「旗开得胜」

チャイナドレスは中国語では「旗祀」と言う。この「旗」 の字と中国の成語「旗开得胜 (戦いがうまくいき勝利す る)」の「旗」の字を掛けているのである。また、「旗袍」の 横は開いているため、「旗开得胜」の「开」に掛け、発音 の類似性と意味の関連性で裏付けられた共感度の高 い掛けことばである。

(2)「马补」と「马到成功」女性はチャイナドレス、男性の多くは「马补」を着て試験会場まで応援に行く。これは、「马补」を着ると縁起が いいと言われているためである。なぜなら、「马补」の 「马」と言う字と中国の四字熟語「马到成功 (戦いが始ま ってすぐ勝利がつかめる)」の「马」の字を掛けているか らである。

(3) 「吻过」と「稳过」

試験問題を手に取ると、縁起のいい行為としては試験ペーパーにキスすることである。受験番号などを書く 前、まず、試験ぺーパーにキスする受験生がいる。なぜ なら、試験ぺーパーをキスした(吻过)ことで、試験を簡単に通過する(稳过)ことができるといら「吻、稳」によつ て生成された掛けことばが背後にあるからである。

(4)「紫腚」と「指定」

縁起を追求するための行為は、受験生の着る服にも 及ぶ。紫色のパンツを履くことも、試験がうまくいく「手段」の一つであるとされている。「腚」は中国語の俗語で、「お尻」を意味する。紫色のパンツを履くと紫色のお尻 になり、すなわち「紫腚」になる。中国語の「指定过」と掛 けて、必ずパス寸る」といら意味を表している。

(5)「高举向日葵」と「一举夺魁」

試験会場外で、保護者らがひまわりの花を高く挙げ ながら待っている風景も注目を集めている。ひまわりを 高く挙げる「高举向日葵」の「举」と「葵」を、「一発で一番上位の座を取る」ことを意味する四字熟語の「一举夺魁」に掛けている。

(6)「红、绿、黄」と「开门红」「一路绿灯」「走向辉煌」受験生が試験で着る服の色も、縁起のいい掛けこと ばによって決めることがある。比較的に人気があるのは、「红、绿、黄」がある。具体的には、試験の初日は「红」 (赤)色で「开门红(順調でいい滑り出し)」と掛け、翌日 は「绿」(緑)色で「一路绿灯 (道全体が青信号)」と掛け ている。そして、試験の最後の日は「走向辉煌 (煌びや かな未来に向かって歩んでいく)」の「黄」(黄色)と掛け ている。

(7) 試験日の縁起のいい料理

日本では、「受験に勝つ」にかけてかツを食べる文化 があるように、中国でも試験でいい点数が取れるように、縁起のいい料理が人気である。たとえば、地域によって は「粽子(粽) 」食べて試験に臨む文化がある。漢字の 「粽」の発音は、高い点数で試験に合格する「高中」の 「中」が近音字であるその理由である。その他、麺を食 べる際、一本一本スムーズに進むため、麺を食べると試験が順調に行くといら言い伝えもある。

(8) Nike が人気

ナイキのロゴの形は、チェックマークからである。試験 ペーパーを判定する際、正解を表すのは、チェックマー クである。ナイキの服を着ることで「答えが正解であるよ うに」ということを祈り、よい結果を期待する。

(9) WeChat (ウィーチャット)の「红包」の金額について 新年などで何かを祝う際、赤色の封筒にお金を入れ、家族の中の年上の人が、若者や子どもに渡すものが昔 の「红包」である。現在ではデジタル化が進むことにより、現金ではなく、ウィーチャットで「红包」を送ることが多い。大学入試の受験生を励ますため親や親戚が「紅包」 を送ることもある。しかし、新年に渡す 888 元のような金額ではなく、試験の際に渡すのは、 211 元、または 985 元が多い。なぜなら、「211 工程重点大学」と「985 工程重点大学」は、中国で名門大学とされ、受験生の憧れ である。よって、 211 と 985 の数字も縁起の良い数字とさ れている。

以上で挙げた例は、いずれも比喻を巧みに利用した ものであり、親しみやすさと、そこはかとないユーモアを 醸し出している。言葉の意味や発音の類似性による「掛 けことば行為」以外に、(7)、(8)の例のような、形による 「掛けことば」も多く存在する。こういったような「掛けこと ば行為」は、他にも数え切れないほど存在する。一見、意味の分かりにくい行為や現象であるが、その背後に ある掛けことばを分析することで、理解しやすくなり、強 い印象が残る。エンパシーの喚起がより噈楽性に溢れ るものになり、共感度も高まる。こうした掛けことば表現 によって、試験に受かることに対する期待感が無意識に 表現されている。周りの人からも親しまれやすく、エンパ シーを表す効果的な手段と一つであるといえる。

## 6 終わりに

本稿では、まず、大学入試のスローガンの具体例を

それぞれ分析しながら紹介した。次に、このようなスロー
ガンがどのようなプロセスで生成されているかを明らか にした。さらに、その背後にどのような認知的動機づけ が働いているかを詳細に考察した。その結果、共感を 喚起する比喻および掛けことばの豊かな使用が明らか になった。

今後の課題としては、今回紹介したデータは質的お よび量的な側面でも、網羅することはなかったため、そ の点を補ら必要がある。また、今回見つけることができな かった種類の語形成の手段などをさらに探索し、考察を 深めていこうと考えている。

## 参考文献

1.楠見孝『比喻理解の構造』誠信書房 1990

2.瀬戸賢一『よくわかる比喻一一言葉の根っこをもっと 知万う』研究社 2005

3. 高橋英光『言葉のしくみ 認知言語学のはなし』北海道大学出版社 2010

4.橋本学「命名の認知言語学的分析に関する試論—地域の名称をケース・スタディとして一」『欧米言語文化論集』pp. 191 - 207, 2012-03-07, 岩手大学人文社会科学部欧米言語文化コース 2012

5.ウイキペディアミラーリング(オンライン)(引用日: 2022 年 1 月 1 日.) https://ja.wikipedia.org/wiki/ミラーリング.