# 絵文字の共起関係を用いた距離学習

町田秀輔守屋俊柴田千尋
東京工科大学 バイオ・情報メディア研究科
\{c011624552, c0115334ef, shibatachh\}@edu.teu.ac.jp

## 1 はじめに

スマートフォンや PC の発達により，インター ネットや電子メールを通じたテキストベースの伝達方法が盛んに行われるようになっている. 商品レ ビューやチャットツール，ソーシャルネットワーキ ングサービスなど人の意見や考えなど気軽に発言で きる場が増え, それらを利用した解析技術の需要も 増している．自然言語処理の感情分析は，テキスト から人間の感情を推定することを目的とし，前述し たサービスの分析に非常に重要な技術の一つであ る.しかし，人間的な感情を正確に捉えることは難 しく, 感情の定量的な推定を行うことができる手法 は未だに発展途上である．既存の感情分析タスクと しては，文または文章から，「ポジティブ，ネガティ ブ，ニュートラル」のような 3 つの極性感情を推定 したり, SemEval [1]の「Joy, Sadness, fear, anger」 のような細分化した感情を推定するものが存在す る。一方で, 心理学分野では, プルチックら [2] に よって提案されている感情の輪と呼ばれるものがあ り, 8 つの基本感情「喜び, 信頼, 恐れ, 驚き, 悲し み，嫌悪，怒り，期待」があり，さらにこれら 2 つ を組み合わせた感情を人間特有の高度な感情と定義 される。 心理学的な知見である感情の輪では, 人間特有の感情は基本感情を組み合わせたものとしてい るが，自然言語処理の感情分析タスクでは，これら の高度な感情についての言及はしておらず，まだ基本感情の分析しか行われていない. そこで本研究で は複雑な感情表現を得るための足掛かりとして, 絵文字を利用した距離学習を提案する．絵文字を使う 利点として, 絵文字には, 感情を表す表現の種類が 豊富であることがあげられる．絵文字の持つ豊富な 感情の含意を利用して，絵文字間の共起関係を距離学習の仮ラベルとして用い，対応する文を距離空間 へ埋め込むことで，従来のラベルを予測するモデル よりも，定量的表現が獲得できる。絵文字は, 同一文章内で複数種類使われることが多いため，この共起関係を用いることで，文章の感情の視点から見た ときの類似性を表しているものとして捉えることが 可能となる.

## 2 関連研究

## 2.1 距離学習

距離学習は, データ間の距離や類似度などから データの埋め込み表現を学習をする手法の一つであ る. Hadsell ら [3] による Contrastive loss では，一般的に，入力データを一度に二つサンプリングし，サ ンプル同士が類似しているなら距離を近づけ，そう でないなら遠ざけるように学習することで，任意距離で測れる空間へ埋め込むことが可能となってい る.また，Wang ら [4] は，入力データを一度に三サ ンプル $(a, b, c)$ 用意し, サンプル $a$ の埋め込みベクト ルと, $a$ と類似するサンプル $b$ との埋め込みべクト ルとの距離を近づけ, 同時に,$a$ と類似していない サンプル $c$ の埋め込みベクトルとの距離を遠ざける ように学習する手法 (トリプレットロス)を提案して いる.

## 2.2 BERT

BERT [5] は事前学習を行うモデルの一種で，多く 自然言語処理のタスクで高い性能が報告されている 汎用性の高いモデルである．入力データはサブワー ドによるトークン化を行い，先頭と文末に特殊トー クンである CLS と SEP を挿入する。事前学習では 入力トークンをマスクし，マスク箇所を周囲の情報 から予測する Masked Language Model と，2つの文章 を入力して繋がりのある文章か，そうでないかの 2 值分類を行う Next Sentence Prediction を行わせてい る.この 2 つのタスクを解くことで，トークン間の 関係と文間の関係を教師なしで学習することができ る. 事前学習を行わせた BERT では，特定のタスク には特化していないが，文章の表現を獲得すること

に優れたモデルとなっており, 事前学習済みモデル に対して，特定のタスクに特化したデータセットを 用いて fine tune を行うことで, 対象のタスクに対し て適応した高い精度を持ったモデルとなる。

## 3 提案手法

## 3.1 絵文字を元にした距離学習

本研究の朹組みで行う距離学習では, 文章を BERT へ入力し, 得られた埋め込み表現からトリプ レットロスで学習を行う，提案手法では，トリプ レットロスで学習する際のデータのサンプリングに 絵文字の共起関係を用いる.

$
\begin{aligned}
\operatorname{TripletLoss}(a, p, n)= & \max \{d(a, p)-d(a, p) \\
& + \text { margin, } 0\}
\end{aligned}
$

式 1 は, 本研究で用いるロス関数であり, $a$ は特定 の絵文字が付いた文の埋め込みべクトル, $p$ は, $a$ と同一の絵文字または共起関係にある絵文字が付い た別の文の埋め込みべクトル,$n$ は, $a$ と異なりか つ共起関係にない絵文字の付いた文の埋め込みべク トルである.また, margin の値は 1 とする.

全体の流れとしては, 図 1 に示すように，まず， データを一つ選び，そのデータに付与されていた絵文字と共起しやすい絵文字, または同一の絵文字の ついた文章をポジティブなサンプルとし，それ以外 の文章をネガティブなサンプルとして取る。その 後, 得られた三つのサンプルをそれぞれ BERT の Encoderへ入力する．BERTの出力のうち, CLSトー クンに対応する位置の出力ベクトルを文ベクトル して, トリプレットロスで誤差を計算し，モデルを 更新する. 提案手法では, 絵文字の共起関係を通し て, 文の持つ感情を捉えた文間の距離関係が, 学習 の結果, ベクトル空間中に埋め込まれることを期待 する.

図 1 提案手法の概要図

## 3.2 絵文字の共起関係の抽出および共起頻度に基づくサンプリング

絵文字自体は視覚的な訴求力を伴った記号であ り，どのような感情を意味するかが事前に与えられ
ているわけではない. また, 本研究で用いた絵文字 の総数はであり, それらがすべて独立した感情を 表しているわけではない。一方で，実際に文章内に 用いられる際には, 視覚的・意味的に似ている絵文字が同一文章内で複数種類使われることが多い. そ こで, 共起している絵文字を使用している文章同士 は感情の意味で類似していると仮定し, この共起関係から似た文表現が埋め込む先の空間でまとまり やすくなることを期待する．さらに，前述の三つの サンプルを得る際のサンプリング確率に, 共起頻度，または，自己相互情報量 (PMI; Point-wise Mutual Information)を用いる.

$
\operatorname{PMI}(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

共起頻度を用いたサンプリングでは, 頻度の閾値 を 1000 回として，間值以上のものを共起関係にあ るものとした。そして，各頻度を足して 1 になるよ う正規化することで確率とみなし，サンプリングを 行う. PMIを用いたサンプリングでは, PMI が間值 0 を超えるサンプル同士を共起している，閾値を上回らないものを共起していないとする．PMI は頻度 とは異なるため, サンプリング時の確率にするため に Softmax 関数を通すことで確率とみなしてサンプ リングを行う。これにより, 単に共起したかどうか の二值ではなく, どの程度共起しやすいかが, 距離空間上でどの程度文同士がまとまりやすいかに影響 を与えるようにすることができる.

## 4 データセット

## 4.1 訓練データ

提案手法のデータセットは 2012 年から 2016 年の Twitter から収集した文章内に絵文字が含まれている もの, 約 1600 万件を用いる. サンプリングに用い る共起頻度と PMI はこの 1600 万件の発言から計算 する.しかし, 距離学習に用いるデータセットは絵文字の出現頻度, 上位 100 個の絵文字が含まれた文章を用いる. これは低頻度な絵文字については, 共起関係を得ることが難しい. 提案手法の学習に悪影響を与えてしまう可能性があるためである.

## 4.2 評価デー夕

評価用のデータセットには，3つのデータセット を使用する. Twitterを基に作成された SemEval2013-

2016 年の Sentiment Analysis in Tweet のデータセット と SemEval2018 年の Affect in Tweets を用いる. さら に，もう 1 つは映画のレビューサイトを基に作成 された SST-2(Stanford Sentiment Treebank)を用いる. データセットの詳細については表 1 に示す. SST-2 のデータセットには, ポジティブ, ネガティブの 感情ラベルがあり, SemEval2013-2016 年にはさら にニュートラルの感情ラベルが付与されている. SemEval2018 年はより詳しい感情ラベルと感情の強度が 0-1 の範囲の連続值でラベル付けされている。感情ラベルには喜び, 恐れ, 怒り, 悲しみの 4 つの 感情ラベルがついており, 感情強度には, アンケー トから BWS(Best Worst Scaling)を用いて各ツイート に連続值がラベル付けされている.

## 5 実験

データセットの文章を BERTへ入力し, 得られた 文ベクトルを使った実験を行う，得られた文べクト ルが感情分類データセットへどの程度効果的か, 文 ベクトルが感情表現に基づいて埋め込まれているか を次元圧縮によって可視化したマップから定性的に 評価する。また, SemEval2018 の感情強度を用いた 実験では, 文ベクトルが, 強度ごとに分布している かを, 強度とべクトル間の距離に基づき実験する。

## 5.1 感情分類データセットでの評価

提案手法が実際に感情分類データセットへ効果的 かを調べるため, まず，3つのデータセットを用い た評価実験を行う．モデルの評価には BERT で得ら れた文ベクトルを入力とした線形 SVM の正解率で 示す. 距離空間への埋め込みを学習しているため,通常の文表現よりも分類しやすいということを定量的に測るため線形モデルで文ベクトルの評価を 行う. 評価データは<文ベクトル，ラベル>の対を感情分類データセットごとに用意する。訓練データと テストデータの総数については表 1 の通りに行う. ベースラインである事前学習済み BERT と提案手法 3 つのモデル評価を行い，実験の結果を 2 に示す.表 2 線形 SVM による比較

ベースラインは, 事前学習済み BERT の文ベク トルを使った実験である。(a), (b), (c) は提案手法 であり (a) は全ての絵文字付き文章が距離空間で独立する様に学習させるものである. (b) は絵文字間 の共起頻度に基づいてポジティブサンプリングを 行ったもので, (c) は絵文字間の PMIに基づいてポ ジティブサンプリングを行うものである. ベースラ インと提案手法では, 提案手法がどのデータセット でも線形 SVM の正解率が高いことを示している.特に, SemEval2018では, より細分化した感情ラべ ルがついたデータセットではあるが，提案手法では ベースラインと比べると約 $12 \%$ ほど，正解率が向上していることがわかる．他のデータセットと比べ ると, 感情ラベルが多いことから分類が難しいデー タセットではあるが，正解率が向上していることか ら，より細かい感情を捉える様な学習ができている ことがわかる. また, 提案手法である (b), (c) は, (a)よりも優れている。共起関係を用いたサンプリ ングが効果的であったことが結果からわかる.

## 5.2 文ベクトルの可視化

BERT によって得られた文べクトルの可視化を行 う. 可視化には, 次元圧縮手法である t-SNEによっ て 2 次元へ埋め込んだデータ点から, ベースライン と提案手法の比較を行う．可視化を行うデータセッ トは SST-2 のテストデータとする. まずベースライ ン手法の文ベクトルを可視化したものを図 2 で示 す. 図 2 では, ベースラインの文ベクトルが, 感情 ラベルごとに分かれることはなく交わった状態で可視化されている. ベースラインのモデルでは, 感情 ラベルにまつわる情報を上手く獲得できていないと いうことが結果からわかる. 次に, 図 3 では, 提案手法の文ベクトルを可視化したものになる. 図 2 と 比べるとラベル間の交わりが少ないことがわかる.可視化の結果から, 文ベクトルは一定の感情的な情報に作用した埋め込みが行われていることを示唆し ているといえる.

図 2 ベースライン

図 3 提案手法

## 5.3 感情強度と文ベクトル間距離

SemEval2018には感情強度についてのラベルがあ る. そこで，この強度とラベル間の距離についての 分析を行う。まず，感情強度は $0-1$ の範囲であるた め, 0.1 間隔で 10 個のラベルヘ再ラベリングを行 う．新たにつけた感情強度のラベルと文ベクトル間 の距離についての相関関係を図 4 に示す.

図 4 感情ラベル"悲しみ"の強度と距離についての図

図 4 では，提案手法を用いた，感情ラベル"悲し み"の感情強度と文ベクトル間の距離についての相関関係を示す.この図では相関係数が 0.987 となり 強度と距離の相関関係には強い正の相関があること がわかった。ベースラインのベクトル表現を用いた場合だと相関係数が 0.836 と，提案手法よりも低い。 そのため，提案手法が感情の強度を表す様な学習が 行われているということがわかる。さらに，全ての 感情ラベルとデータセット全体の強度についても 分析を行った。その結果を表 3 に示す. 感情ラベル の"楽しい"を除いた 3 つの感情ラベルとデータセッ 卜全体での結果から，提案手法では感情の強度とべ クトル間の距離についてうまく表現できていること がわかる.

表 3 感情ラベルの強度と距離の相関係数

## 相関係数

## 6 おわりに

本研究では，絵文字を利用したデータサンプリン グを行う距離学習を提案した。絵文字のついた文章 が複雑な感情を表しているとして，絵文字に基づい た距離学習を行い，より分類しやすい空間へ文べク トルを埋め込む学習を行った。その結果，線形 SVM の正解率はデータセットによらず向上していること が確認でき，感情の強度についても，強度ごとに文 ベクトルを埋め込むことができていることを確認で きた。提案手法では，新たなデータセットで再学習 することなく一定の感情分類の精度が得られ, 感情 の強度についても，文ベクトルを強度ごとに埋め込 むことが確認された。今後は，さらに複雑な感情ラ ベルに対しての分析や他の言語への適応などが期待 される.

## 参考文献

[1]Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 task 1: Affect in tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]ROBERT PLUTCHIK. Chapter 1 - a general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3]R. Hadsell, S. Chopra, and Y. LeCun. Dimensionality reduction by learning an invariant mapping. In 2006 IEEE Computer So-
ciety Conference on Computer Vision and Pattern Recognition (CVPR'06), Vol. 2, pp. 1735-1742, June 2006.

[4]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.


# グラフニューラルネットワークによるアスペクトベースの感情分析

樊惠†，杉本徹 $!$
}

†芝浦工業大学大学院 理工学研究科, †芝浦工業大学 工学部

\{ma20079, sugimoto\}@shibaura-it.ac.jp
## 1 はじめに

アスペクトに基づく感情分析（Aspect Based Sentiment Analysis 以下 ABSA）は感情分析タスクの 一つであり，テキストを文レベルではなく単語レベ ルにタグ付けをする感情分析である．例えば「The food is delicious, but the service is too bad.」というレビ ユーを考える．文レベルの感情分析手法はこのよう なポジティブとネガティブの両方を含むレビューを 分析しにくい. 一方, ABSA は単語による分析を行 う手法なので，このレビューに対し「food」と「service」 を抽出し，タグを付けることができる。

ABSAのタグはアスペクト「B(はじめ), I(中間),

$\mathrm{E}($ 終わり), S (シングル), O (無感情)」と感情「pos (ポジティブ), neu (中立的), neg (ネガティブ)」 から構成される.従来の研究は, 図 1 に示すように, タグを aspect と polarityに分けてそれぞれに予測す る. あるいは, 2 種類のタグをまとめ (unified), 同時に予測する手法もある[1]. Li ら [2]は BERT モデル を使ってまとめたタグを予測し,「SemEval-2014 Task 4 Laptop」[3]において micro-f1 61.12\%を得た.

図 1 ABSAのタグ付け

しかし，ABSAに使用されるデータは短いテキス トが多いので，夕グの予測に使える情報量が少ない という問題が存在している.

本研究は, 分析対象テキストにおける依存関係な どの単語間の関係の情報を導入することで, 情報量 を増やすことを試みる．単語間の関係は通常グラフ 構造なので, 一般的なニューラルネットワークに適用できない. そのため, 近年複数の分野でうまく機能することが示されているグラフニューラルネット ワーク（以下 GNN）を用いる. この方法で, ABSA における情報量不足の問題を解決できる.

## 2 提案手法

本研究で提案するモデルの構造を図 2 に示す.ま ず，レビュー文をグラフ化し，モデルに入力する. そしてタグを予測する。最後に，従来手法により構築したモデルと比較して，結果を評価する。

$\hat{v}$

図 2 モデルの構造

## 2.1 テキストのグラフ化

GNN に入力するデータはグラフのノード特徴量 とノードの隣接情報である。本研究は，文を単位と してグラフを構築する．各文の単語をグラフのノー ドとして扱う．そして，BERT モデルが出力したべ クトルをノード特徴量とする. ノードの隣接情報を 単語間の依存関係または self-attention により作る。

## 2.2 Graph Convolutional Network

Graph Convolutional Network[4]（以下 GCN）の原理は各ノードが隣接ノードから特徵量を集約 (aggregate）し，自身の特徴量を更新することであ る. これで，ニューラルネットワークの順伝搬を行 う時に，更新された各ノードの特徴量に隣接ノード の特徴量も含まれ，計算に関連する情報が増えてい る. GCN の更新式を以下に示す.

$
h_{i}^{(l+1)}=\sigma\left(\sum_{j \in N_{i}} \widehat{D}^{-\frac{1}{2}} \hat{A} \widehat{D}^{-\frac{1}{2}} h_{j}^{(l)} W^{(l)}+b^{(l)}\right)
$

$h_{i}^{(l+1)}$ は第 $1+1$ 層目のノード $\mathrm{i}$ の特徴量

$\sigma$ は非線形活性化関数

$N_{i}$ はノード $\mathrm{i}$ 自身を含めた全ての隣接ノード

$\hat{A}$ はグラフの隣接行列+単位行列 $\widehat{D}$ は $\hat{A}$ 次数行列

$h_{j}^{(l)}$ は第 1 層目のノード $\mathrm{i}$ 自身を含めた全ての隣接 ノードの特徴量

$W^{(l)}$ は第 1 層目の重み $b^{(l)}$ は第 1 層目のバイアス

$\widehat{D}^{-\frac{1}{2}} \hat{A} \widehat{D}^{-\frac{1}{2}}$ は隣接ノードの特徴量を集約するための 正則化ラプラシアン行列である

## 2.3 Graph Attention Network

Graph Attention Network[5]（以下 GAT）は attention メカニズムを用い，特徴量を集約する。この際，集約するのは隣接ノードからの特徴量だけではなく, グラフの全ノードに対して attention をし, attention 係数を計算する. さらに, BERT モデルの self-attention のように multi-head を用い, よりロバストなモデル になるようにする. GAT の attention 係数の計算式を 以下に示す.

$
a_{i j}=\frac{\exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{j}\right]\right)\right)}{\sum_{k \in N_{i}} \exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{k}\right]\right)\right)}
$

$h_{i}$ はノード $\mathrm{i}$ の特徴量

$h_{j}$ はノード $\mathrm{i}$ と attention 係数を求めるノード $\mathrm{j}$ の 特徴量

$[\cdot \| \cdot]$ はノード $\mathrm{i}$ と $\mathrm{j}$ の特徴量を feature transformation を行い，そして二つの新たな特徴量を concat する

$\mathrm{a}(\cdot)$ は concat された特徴量を実数にマッピングす る

LeakyReLu は非線形活性化関数

の attention 係数を取得できる。全ノードと attention する必要があるので, softmax を用い, 各 attention 係数を正規化する. そして GAT の更新式を以下に示于.

$
h_{i}^{(l+1)}=\sigma\left(\sum_{j \in N_{i}} a_{i j} W^{(l)} h_{j}^{(l)}\right)
$

$h_{i}^{(l+1)}$ は第 $1+1$ 層目のノード $\mathrm{i}$ の特徴量

$\sigma$ は非線形活性化関数

$N_{i}$ はすべてのノード

$h_{j}^{(l)}$ は第 1 層目のすべてのノードの特敀量

$W^{(l)}$ は第 1 層目の重み

## 3 評価実験

## 3.1 使用するデータとタグ

本研究は「SemEval-2014 Task 4 Laptop」データセ ノト[3]を用いる.データセットの割合を表 1 に示す.

表 1 データセットの割合

レビュー文とタグのフォーマットを表 2 に示す.

表 2 レビュー文とタグの例

表 3 に示すように，タグの種類は感情タグ「pos, neu,neg」と位置タグ「BIES」の組み合わせ 12 種類 と「O」と「eq」である.「O」は無感情単語を表す. BERT モデルは単語辞書による，長い単語を複数の トークンに分割する場合がある。分割された単語の 中に「\#\#」を含むトークンは「eq」を付ける.

表 3 タグの全 14 種類

## 3.2 BERT モデルの fine-tuning と埋め込み

本研究のデータセットによりふさわしい埋め込み を取得するために，事前学習済みの BERT モデル[6] を微調整する. エポック数は最大 10 として, 訓練セ ット全体を 1 回訓練するごとに，検証セットでモデ ルを評価し，精度を計算する。また，毎回の精度を 比較し，最良モデルを保存する． 10 回の訓練を終え た後, 保存したモデルが最適なモデルになる.

レビュー文を微調整した BERT モデルに入力し，

「単語数 $+2,768$ 」次元のベクトルを取得する. BERT モデルの特性により, 出力するベクトルには「CLS」

と「SEP」というトークンがある.この 2 つのトー クンを除くとベクトルは「単語数, 768 」次元になる.

このベクトルをノード特徴量として用いる.

## 3.3 単語間の関係の構築

## 3.3.1 依存関係

「スタンフォード大学 NLP ライブラリ」[7]を用 い，依存関係をノードの隣接情報とする，単語と単語の間に依存関係があれば，エッジを作る。

## 3.3.2 self-attention

テキストを BERT モデルに入力した時, selfattention 行列が生成される. self-attention 行列は単語 と単語の関連性を示す. 例文「The cat sat on the mat」 に対する self-attention 行列の 1 つを図 3 に示す.

図 3 self-attention 行列

12 層 12 ヘッドの BERT モデルに文を入力すると， このような行列が全部で 144 個生成される. selfattention の非線形活性化関数は softmax なので, 行毎 の合計は 1 である. 各行で関連性の値が最大の成分 （図 3 の赤字の所）に対応して, 図 4 の統計行列の 対応する位置にある成分に 1 を足す. これを 144 個 の self-attention 行列すべてに対して行う.

図 4 最大関連性の統計行列

統計行列において,「CLS」,「SEP」はBERT モデ ルのトークンであるので，無視する。また，GCN と GAT を計算する時に自己ループを追加するので，自身との関連性（対角成分）も無視する. 残りの成分 の中で各行で数値が最大の成分（図 4 の赤字の所） が単語間の強い関連性を表すと考え，対応する行と 列の単語間にエッジを作る。

## 3.4 全結合層

特徴量を集約することによって，異なるノードの 特徴量が同じ内容になる可能性がある。そのため, GCN/GAT 層とは別に全結合層を用意して concat す ることにする。これにより，埋め込みの情報をモデ ルの計算中に維持できる.

## 3.5 GCN と GAT の訓練

## 3.5.1 共通の部分

Batch-size は full-batch を設定する. 学習率と過学習抑制「Weight Decay」は 0.001 と 0.0005 を設定す る. Optimizer は Adam を選択する. エポック数は 500 を設定する.クロスエントロピーで損失を計算する.訓練セット全体を 1 回訓練するごとに，検証セット でモデルを評価し， micro-f1 が向上した場合にパラ メータを保存する．最後に，保存したモデルをテス トセットで評価する.

## 3.5.2 GCN

第 1 層目と第 2 層目は $\mathrm{GCN}$ 層である. 第 3 層目 は GCN 層と全結合層の concat である. 第 4 層目は タグを予測する全結合層である.

## 3.5.3 GAT

第 1 層目は 4 ヘッド GAT 層である. 第 2 層目は 1 ヘッド GAT 層と全結合層の concat である. 第 3 層目はタグを予測する全結合層である。

## 3.6 ABSA の評価指標

本研究の評価指標は適合率, 再現率と micro-f1 と する. 出力されたタグの次元は「単語数，タグの種類数」である。活性化関数 log-softmax を適用して， タグを予測する．出力されたタグと正解のタグの中 で，感情を持つ 12 種類のタグのみに着目して感情「pos,neu,neg」ごとに集計する[2]. 評価指標を計算 する数式を以下に示す.

$
\begin{gathered}
\text { precision }=\frac{\sum_{d} T P_{d}}{\sum_{d}(T P+F P)_{d}} d \epsilon\{\text { pos, neu,neg }\} \\
\text { recall }=\frac{\sum_{d} T P_{d}}{\sum_{d}(T P+F N)_{d}} d \epsilon\{\text { pos, neu,neg }\} \\
\text { micro }-f 1=\frac{2 * \text { precision } * \text { recall }}{\text { precision }+ \text { recall }}
\end{gathered}
$

## 4 実験結果

実験結果を表 4 に示す. 参照モデル 3 種と提案モ デル 4 種に対して，テストデータで各モデルを 5 回 ずつ評価し，得られた結果の平均を記録した。

参照モデル[2]は，「BERT only」「BERT + Linear（全結合層)」と「BERT + GRU」である. Linear 層と GRU 層はそれぞれに BERT モデルと直接連結し, End-toEnd モデルになる.

提案手法は，単語間の関係として依存関係（SD） と self-attention (SA), GNN として GCN と GAT の 組み合わせ計 4 種類のモデルを試した。

図 5 は各モデルの訓練ステップと損失の関係を示 す. 図 6 は $\mathrm{GCN}$ と GAT の ROC 曲線を示す.
表 4 実験結果

図 5 ステップと損失の関係

図 $6 \mathrm{ROC}$ 曲線

## 5 考察

表 4 を見ると，「BERT+GAT+依存関係」の組合せ が最も高い micro-fl の値を得た. GCN/GAT を用い たモデルの micro-f1 が「BERT only」より高いという ことは，ABSA タスクにおける GCN/GAT の有効性 を示している。 また，BERT モデルと他のニューラ ルネットワークの組合せよりも高いので, GCN/GAT を用いたモデルは ABSAタスクによりふさわしいと 判断できる. ノードの隣接情報を生成する 2 つの手法（依存関係と self-attention）を比較すると, 結果に
ほとんど差が無かった。レビューの単語数は多くな いので，単語間の関係はあまり複雑ではない。その ため,ノードの隣接情報を生成する手法を変えても，結果にあまり影響がなかったと考えられる。

次に図 5 を見ると， $\mathrm{GCN} / \mathrm{GAT}$ を用いたモデルの 收束が最も速い。GCN/GAT は固定された BERT モ デルの埋め込みを使ったので，モデルの計算中に埋 め込みを更新しない。一方，linear または GRU を使 う場合は BERT モデルと直接に連結するので， batch ごとに BERT モデルのパラメータも更新する．その ため，毎回埋め込みを改めて計算する必要があるた め, GCN/GAT よりも計算に時間がかかり収束も遅 くなる.

最後に, 図 6 の ROC 曲線が示すように, ABSA 夕 スクに対して GAT モデルは $\mathrm{GCN}$ より良い結果が得 られた. 本研究は inductive learning であるので，訓練セットはテストデータを含まない。そのため，テ ストセットをモデルに入力する時に, グラフの構造 の変化が生じた. GCN モデルのパラメータを更新す る時に，すべてのノード特徴量を更新する必要があ るため, GCN モデルはグラフの構造に影響される.一方, GAT モデルは単にノード間の attention 係数の 計算を行うため，グラフの構造の影響を受けないの で本研究により適している。

## 6 おわりに

本研究は, グラフニューラルネットワークによる アスペクトベースの感情分析手法を提案した。 GCN/GAT を用いることで, BERT を用いる既存手法 よりも良い結果が得られた. グラフニューラルネッ トワークモデルはグラフ構造のデータを処理できる ので，単語間の依存関係などの情報をモデルに入力 できる。そのため, モデルの学習における情報量が 増えたので，精度が向上したと考えられる。

グラフニューラルネットワークによるアスペクト ベースの感情分析は複数のグラフで構成されたノー ド分類タスクである. しかし，レビューの単語数が 異なるので，各グラフのノード数も異なる. 今後， グラフのノード数が一致するかどうかが結果にどの くらい影響を及ぼすかを研究する。また，エッジの 重みを含むグラフニューラルネットワークもあるの で，エッジの重みを付ける手法を考えつつ，このよ うなグラフニューラルネットワークを研究すること も今後の課題である。

## 参考文献

1. Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis. Haiyun Peng, Lu Xu, Lidong Bing, Fei Huang, Wei Lu, Luo Si .AAAI 2020, 2019 年.

2. Exploiting BERT for End-to-End Aspect-based Sentiment Analysis. Xin Li, Lidong Bing, Wenxuan Zhang, Wai Lam. Association for Computational Linguistics, 2019 年.

## 3. SemEval-2014 Task 4.

https://alt.qcri.org/semeval2014/task4/data/uploads/lapto ps-trial.xml, 2020-8 閲覧.

4. Semi-Supervised Classification with Graph Convolutional Networks. Thomas N. Kipf, Max Welling. ICLR 2017, 2017 年.

5. Graph Attention Networks. Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio. ICLR 2018, 2018 年.

6. BERT-base-uncased. 12-layer, 768-hidden, 12-heads, 110M parameters.

https://pytorch.org/hub/huggingface_pytorch-transform ers, 2020-4 閲覧

7. Stanza: A Python NLP Library for Many Human Languages.

https://github.com/stanfordnlp/stanza/, 2020-9 閲覧.


# コモンセンス知識を利用した物語中の登場人物の感情推定

田辺ひかり
}

小川哲司林哲則林良彦
早稲田大学理工学術院
tanabe@pcl.cs.waseda.ac.jp

## 1 はじめに

物語における登場人物の感情推定においては，直接的な感情表現を手がかりとするだけではなく，常識的知識を援用して「行間を読む」ことが必要とな る. 本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態 に関するコモンセンス知識を導入し，さらに，対象文の先行文脈を考慮することで，感情推定の精度を 向上させることを試みる。

本研究で対象とする Story commonsense データ セット [1] は，5 文からなる短い物語の各文に対し，登場人物の感情カテゴリが，Plutchik の基本感情 [2] を利用したマルチラベルの形態で付与されている。 このため，対象タスクはマルチラベルの分類問題と して定式化される. 本研究では，外部のコモンセン ス知識として, 出来事と出来事, 出来事と人物の心的状態の関係に関する事態知識を収集した知識グラ フ ATOMIC [3] を使用し，文脈情報としては，対象文の先行文を用いた。

評価実験において，対象文，文脈，外部知識それ ぞれからの情報の統合方法に関して複数の設定を比較した結果，外部知識，文脈の双方を用いることが 推定精度向上に有効であるが，その際は，双方の情報を別々に処理した後にアンサンブル的に統合する ことが有効であること，および，用いる外部知識は タスクに適合するように事前に選別しておくことが 有用であることなどが確認された.

## 2 関連研究

Rashkin ら [1] は物語中の人物の心的状態を推定 するためのデータセットとして Story commonsense データセットを構築した. 物語理解のデータセット では，物語の中で起きたことや物語の前後を推論す る QA 形式のものが多く [4][5][6]，人物の心的状態 に焦点を当てたデータセットは珍しい.
Story commonsense データセットには基本的欲求 と人物の感情の二つの側面でラベル付与がなされ ている. Paul と Frank [7] は, ConceptNet [8]を利用 した基本的欲求ラベルの推定を行っている. 物語 と欲求カテゴリを関係付ける可能性のあるパスを ConceptNetから取り出し, PageRankなどのグラフ理論的指標により算出したパスの重要度が高い上位 $k$本のパスを推定に利用することで，外部知識を用い ないモデルを上回る精度を達成した. しかし，本研究で扱う感情推定は行っていない.

Story commonsense データセットにおける感情推定を行った研究として， $[9,10,11]$ がある. 対象夕 スクがマルチラベル分類問題であるため，カテゴリ 間の依存・相関関係の扱いが課題となる.

田辺ら [9] [11] は Plutchik の環の構造, 学習データ における感情ラベルの共起関係を用い，感情極性の 二值分類とのマルチタスク学習を行った. さらに推定対象文の先行文脈を取り込むことで推定精度を向上させた．また，モデルから得られる文の分散表現 の主成分分析から Plutchik の環の構造が概ね妥当で あることを示した。

Gaonkar ら [10] は, Label-Embedding Attentive Network (LEAM) [12] を利用することにより，感情カテ ゴリ間の関係を考慮し，さらに，BERTを用いた label embedding の獲得やラベル同士の共起関係の利用, ラベルなしデータを用いた半教師あり学習を行うこ とにより，当該タスクの SOTAを達成した。

これらの研究はカテゴリ間の関係の利用に焦点を当てており, Paul と Frank の研究ような外部知識は利用していない. Paul と Frank の研究では ConceptNet のようなエンティティを単位とした知識 グラフを利用しているものの，ATOMIC で提供さ れるような出来事を単位とするコモンセンス知識 は利用しておらず，知る限りでは，本研究は Story commonsense データセットにおける感情推定に対す るコモンセンス知識利用の初めての試みである。

## 3 データセットと知識リソース

## 3.1 Story commonsense データセット

Rashkin らは物語文中の登場人物の内面状態を推定するために，Story commonsense データセット [1] を作成した. このデータセットは 5 文からなる短い 物語を集めた Story cloze test [13] データセットの一部に対して，一文ごと・登場人物ごとに心的状態を アノテートしている. 心的状態は基本的欲求と感情 の二つの観点でラベル付けされており，それぞれ複数のラベルの付与が許容されている. これにより，多面的な心的状態が表されるが，タスクはマルチラ ベル分類問題となる. なお, 本研究の対象である 感情ラベルには Plucthik [2] の 8 感情 (joy, trust, fear, surprise, sadness, disgust, anger, anticipation) が用いら れている。

## 3.2 コモンセンス知識グラフ: ATOMIC

ATOMIC [3] は，事態1) 間の前後・因果関係などに 関する常識的知識 (コモンセンス) を if-then 関係と して整理した知識グラフである. 特に，出来事と関係する人物の感情・意図などの心的状態の関係知識 を収集している点が特徴的であり, 物語文からの感情推定に有用であることが期待できる.

以下に ATOMIC における互いに関連する三つ組群の例を示す。一行目は各三つ組に共通する head ノードであり, IfEvent を表す.二行目以降の各行 は，三つ組における relation エッジ，tail ノードを表 しており，これらによりThenEventを表す.これに は，状態や性質に関する記述も含まれる。

[PersonX repels PersonY's attack]
- [xAttr] -> [PersonX is brave]
- [xEffect] $\rightarrow$ [PersonX's heart races]
- [xEffect] -> [PersonX gains an enemy]

$-[$ oEffect] -> [PersonY gets hurt]

表 1 に ATOMIC で使用される三つ組・エッジの夕 イプ・定義などを表す. 最左列は，三つ組が (1)人物の内面状態を表す IfEvent-MentalState，(2) 人物の 態度や人柄を表す IfEvent-Persona，(3) IfEvent と関連 する出来事を表す IfEvent-Event の3つのタイプに大分類されることを示す. 感情推定に関しては，特に (1)と (2)のタイプの三つ組が有効であることが期待 できる. 第二列に示すエッジタイプでは，headノー

ドの出来事を行う主体 (PersonX) とそれ以外の客体 (others)を区別している.

## 4 感情推定モデル

図 1 に提案する感情推定モデルを示す. 対象文 とそれに関連するコモンセンス知識を用いること により感情推定を行う知識利用モデルからの尤度 (logits_p) と, 対象文と先行文脈から感情推定を行 う文脈利用モデルの尤度 (logits_s) を次式の重み付 き和により統合し, 最終的な推定結果を得る.

$
\text { logits }=w \text { logits_s }+(1-w) \text { logits_p }
$

なお，それぞれのモデルにおけるエンコーダーは 事前に別個に学習されたものを使用する.

## 4.1 知識利用モデル

外部知識の抽出: 感情推定に有用そうな情報を ATOMIC から抽出しモデルに入力する. 抽出は物語文と三つ組の headノードの単語マッチングによっ て行う。まず，物語文の単語から品詞が 'PART'， 'PUNCT', 'CCONJ', 'DET' のいずれかである ものをストップワードとして削除し，残された単語と ATOMIC 中の IfEvent との重複単語数が閾値以上の三つ組を一定個数取得する. 今回は，三つ 組の量と物語との合致度に関する定性分析から閾值を 3 とした. 実験においては，モデルへ入力す る知識を表 1 に示した ATOMIC の三つ組タイプが IfEvent-Persona，IfEvent-MentalState のものに限定す る場合と全てを用いる場合を比較する。

対象文のエンコーディング: 以下の入力形式に より感情推定の対象文を BERT [14] によりエンコー ドし, [CLS] ベクトルを分散表現として利用する.

$[C L S]\{$ 人物 $\} \#\{$ 対象文 $\}[S E P]$

外部知識の導入：対象文と同様に BERT を用い たエンコーディングを行うため，抽出した三つ組 をエッジを表 1 最右列に示す疑似自然文に置換し，三つ組の各要素 head, relation, tail は別個にエンコー ドする. 得られた分散表現と物語文の分散表現の source-target attention を行い，物語文との関連度で重 み付けされた三つ組分散表現に更新する. Attention で重み付けされた三つ組の分散表現と対象文の分散表現を連結したのち，全結合層と softmax 関数に通 し，8つの各感情クラスの有無を示す尤度を求める. この尤度による識別結果と正例との損失を binary cross-entropy loss によって計算し，パラメータ更新
表 1 ATOMIC のエッジと自然文への書き換え表現一覧

 &  &  &  \\

図 1 提案する感情推定モデル

## を行う。

## 4.2 文脈利用モデル

登場人物の感情は，物語中の一文のみだけでなく 複数文に渡る出来事や状況の連鎖によって生じう る.このような場合，推定モデルへ入力する対象文一文のみでは正しく推定することは難しい. そこ で，対象文より前に何が起きたか，そもそもどのよ うな状況にあるのかといった文脈を入力に加える.

Rashkin ら [1] は，先行文脈において推定対象の登場人物が現れる文に限定したが，本研究では複数人物間のインタラクションが，対象の人物が陽に現れ ない文に記述される可能性を考慮し, 対象文に先行 する文を文脈として利用する [11].

BERT のの入力形式は，以下のように対象文と文脈を記号\#により区分する形式とした.

## $[C L S]\{$ 人物 $\ \#\{$ 文脈 $\} \#\{$ 対象文 $\}[S E P]$}

なお，後述の実験においては，比較のために，導入する文脈を空として文脈モデルを利用する設定で の評価 (表 2 の\#7) も行っている.

## 5 実験

## 5.1 実験設定

Story commonsense データセットの train セットに は正例ラベルが付与されていないため，dev セット を学習データとして使用し， test セットを用いて評価を行った。データ量 (物語文・登場人物対) は，学習データ 13,004 対，テストデータ 11,859 対である.

物語と三つ組のエンコードには，事前学習済み の BERT のモデル bert-base uncased を使用し，学習 データで fine-tune した. 物語文の最大入力長は 20
表 2 マルチラベル感情分類への外部知識と文脈の利用の効果

単語とし, 先行文による文脈を用いる場合は 80 単語に制限した. BERT から得る [CLS] 分散表現の次元サイズは 765 とした. 学習における最適化には Adam [15]を用い，エポック数は 32 ， バッチサイズ は 32 とした. ATOMIC から抽出する三つ組の最大個数は 40 個とした. 式 1 において，知識利用モデ ルと文脈利用モデルの影響力を調節する重み $w$ は，予備実験から $w=0.7$ とした. 評価指標にはマイク 口平均による精度 (Precision), 再現率 (Recall), F1 值 (F1)を用いた.

## 5.2 実験結果

表 2 に各設定における推定精度を示す. 知識利用 モデルのカラムにおける onlyEmo は, ATOMIC の三 つ組タイプを IfEvent-Persona， IfEvent-MentalState に 限定した場合，All は限定しない場合を表す。参考 のため，Gaonkar らの実験結果 [10]を\#1，\#2 に引用 している.

\#1, \#2 と \#3 の比較から, 提案手法は現在の SOTA を達成しているモデルよりも P が上回っているが， R では劣っている.これは, Gaonkar らの手法 [10] がラベル間の共起関係を強く意識した手法であるこ とによる.

\#4 と \#5 の比較からは，利用する外部知識のタイ プをあらかじめ対象タスクに応じて限定できるな ら，そうすべきことが分かる. このことは，\#7に対 する\#5 の比較では外部知識を限定なしで利用する とかえって精度が下がるのに対し，\#7 と\#4 に比較 では精度が向上していることからも裏付けられる。

\#3 と \#4の比較からは，外部知識だけでなく，文脈を併用することが有効であることが分かる. 事前実験として知識利用モデル側で文脈を利用する設定 も試したが，精度が低下したことから，外部知識と 文脈は別に扱い，後にアンサンブル的に統合するの が良いと考えられる。
＃3 と ４４違いは，文脈利用モデルのアンサンブ ルの有無であり，後者では $\mathrm{F} 1$ が $60.11 \mathrm{pt}$ から $57.90 \mathrm{pt}$ へ $2.21 \mathrm{pt}$ 低下している. これに対し, \#3 と \#6の差異は，知識利用モデル (onlyEmo 条件) 使用の有無で あるが，後者における $\mathrm{F} 1$ の低下は，0.68pt にとど まっている。この差から，現状のモデルにおいて は，文脈利用による精度向上への寄与の方がコモン センス外部知識より大きい可能性が示唆される. 現在の文脈の扱いは非常に単純化したものであるに も関わらずこのような傾向が見られたことから，外部知識の利用に関しては，まだ多くの改善の余地が 残っているものと考えられる。

## 6 むすび

本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態に 関するコモンセンス知識 (ATOMIC) を導入すことに より，感情推定の精度を向上させることを試みた. また，その際に物語テキストの文脈を利用すること の効果について実験的に調査した.

Story commmonsense データセットを用いた実験結果からは，上記のアンサンブルモデルが有効である こと，用いる外部知識は，可能ならばタスクに適合 するように事前に限定しておくことが有用であるこ と，外部知識を用いる効用は文脈から得られる後よ りも小さく, 外部知識の利用法にはまだ多くの課題 が残っていることなどが分かった.

今後の課題としては，外部知識からの三つ組の抽出法を改善し, 利用する知識情報を増やすこ一方 で，これにより増大するノイズを低減することが挙 げられる。後者に関しては, Story commonsense デー タセットに収録されている基本欲求を利用し，それ に基づく行動・出来事と引き起こされる登場人物の 感情との相互作用や, 物語の進行と感情の推移の連関関係などを扱っていく必要があると考えている。

## 参考文献

[1] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Robert Plutchik. A general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035, 2019.

[4] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A challenge dataset for the opendomain machine comprehension of text. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 193-203, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In AAAI spring symposium: logical formalizations of commonsense reasoning, pp. 90-95, 2011.

[7] Debjit Paul and Anette Frank. Ranking and selecting multihop knowledge paths to better predict human needs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3671-3681, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[9] 田辺ひかり, 小川哲司, 小林哲則, 林良彦. 感情推定 における感情カテゴリに関する先験的知識の利用. 言語処理学会第 26 回年次大会発表論文集, pp. 1404-1407, 2020 .

[10] Radhika Gaonkar, Heeyoung Kwon, Mohaddeseh Bastan, Niranjan Balasubramanian, and Nathanael Chambers. Modeling label semantics for predicting emotional reactions. In Proceedings of the 58th Annual Meeting of the As- sociation for Computational Linguistics, pp. 4687-4692, Online, July 2020. Association for Computational Linguistics.

[11] Hikari Tanabe, Tetsuji Ogawa, Tetsunori Kobayashi, and Yoshihiko Hayashi. Exploiting narrative context and a priori knowledge of categories in textual emotion classification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5535-5540, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[12] Guoyin Wang, Chunyuan Li, Wenlin Wang, Yizhe Zhang, Dinghan Shen, Xinyuan Zhang, Ricardo Henao, and Lawrence Carin. Joint embedding of words and labels for text classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2321-2331, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[13] Nasrin Mostafazadeh, Michael Roth, Annie Louis, Nathanael Chambers, and James Allen. LSDSem 2017 shared task: The story cloze test. In Proceedings of the 2nd Workshop on Linking Models of Lexical, Sentential and Discourse-level Semantics, pp. 46-51, Valencia, Spain, April 2017. Association for Computational Linguistics.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .


# 類似度を利用した変換テーブルの精度向上

森本世人
鳥取大学 工学部
b16t2117c@edu.tottori-u.ac.jp

## 1 はじめに

機械翻訳において，相対的意味論に基づいた変換主導型統計機械翻訳 [1](Transfar Driven Statistical Machine Translation : 以下, TDSMT) が提案されている. TDSMT では変換テーブルを用いて翻訳を行う．変換テーブルと は $\ulcorner A$ が $B$ ならば $C$ は $D$ である」という $A, B, C, D$ の 相対性に基づいて関係を定義したテーブルである.ここ で $A$ と $B$ は単語である.また， $C$ と $D$ は単語もしくは句 である.

変換テーブルを自動的に作成する際に，誤つた変換テー ブルを作成してしまうという問題点が存在する. そとてで，従来手法では誤った変換テーブルを削除するために変換 テーブルを生成した後に，枝刈りを行う．従来行われて いる枝刈りの手法は， $A$ と $B, C$ と $D$ の対訳単語確率を 用いた枝刈りである.しかし，枝刈りの精度は未だ不十分である。

本研究では，従来手法で行う枝刈りに加えて， $A$ と $C$, $B$ と $D$ の類似度を用いて枝刈りを行うことを提案する。類似度とは注目単語の前後環境がどれだけ一致している かと定義する．提案手法を用いることで変換テーブルの 精度を向上できると考える [2].

## 2 変換テーブル作成方法

変換テーブルは対訳学習文からパターンを用いて自動作成する. 以下に変換テーブルの作成手順を示す. また,表 1 に変換テーブルの作成過程の例を示す.

## 手順 1 対訳単語の作成

対訳文 (1) と対訳単語確率 (IBM model 1[3]) を利用 して対訳単語を作成する. 対訳単語は変換テーブルの $A$ と $B$ の部分に相当する.

手順 2 パターンの作成

手順 1 で作成した対訳単語に相当する部分を変数化 し,パターンを作成する.

手順 3 変換テーブルの作成対訳文 (2) とパターンを照合する. パターンにおいて 変数が一致した対訳句は変換テーブルの $C$ と $D$ の部分に相当する.

## 3 従来手法

## 3.1 対訳単語確率 [4]

対訳単語確率とは入力言語の単語が出力言語の単語 に訳される確率を示している。対訳単語確率が高いほど もっともらしい訳であると考えられる . 值は IBM model 1 によって求める.

日本語単語 $A$ が英語単語 $B$ に訳される対訳単語確率を

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

表 1 変換テーブルの作成過程

} & \multicolumn{2}{|c|}{ 日本語 } & \multicolumn{2}{|c|}{ 猫 } \\

$\operatorname{prob}(A B)$ とする.入力言語と出力言語を入れ替えた対訳単語確率 $\operatorname{prob}(B A)$ も同樣に計算する.

## 3.2 対訳単語確率を用いた枝刈り

以下に手順を示す。

手順 1 変換テーブルより $\operatorname{prob}(A B), \operatorname{prob}(B A)$, $\operatorname{prob}(C D), \operatorname{prob}(D C)$ の値を計算する.

手順 2 単語ごとに光れ光れ，順位付けする。

手順 3 任意の順位を閾値として枝刈りを行う。

従来手法の問題点として, 誤った変換テーブルが多く 残る点がある。

## 4 提案手法

## 4.1 類似度

誤った変換テーブルは $A$ と $C$ や $B$ と $D$ 置き換え可能性が低いと考える. $A$ と $C$ や $B$ と $D$ 類似度で枝刈り をすると精度の向上が見込める．類似度が高い単語らは，置き換え可能性が高いと仮定する. 本研究では，類似度 とは前後単語の環境と定義する.よって注目単語におけ る前後単語の一致度が高いほど類似度が高いと考える。

4.2 類似度を用いた枝刈り

以下に手順を示す . 類似度の値を $\operatorname{sim}($ )とする。

手順 1 従来手法の枝刈りを行う

手順 2 変換テーブルより $\operatorname{sim}(A C), \operatorname{sim}(B D)$ の値を計算 する.

手順 3 任意の値を閾値として枝刈りを行う。

## 4.3 類似度の計算

二つの日本語単語 $A$ と $C$ の類似度の値を $\operatorname{sim}(A C)$ とす ると $\operatorname{sim}(A C)$ は以下の式 4.3 で計算する.

$
\begin{aligned}
\operatorname{sim}(A C)=\log _{2}\{ & \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(A_{\text {context }}\right)} \\
& \left.\times \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(C_{\text {context }}\right)}\right.\}
\end{aligned}
$

$\operatorname{count}(X)$ :集合 $X$ の単語の総数

$
A_{\text {context }}, C_{\text {context }} \text { : 単語 } A \text { と } C \text { の前後単語の集合 }
$

上記の式は One-hot の word2vec に類似している.なお 類似度の計算においては 2 単語連続を 1 単語として用 いる.式 4.3 を英語単語 $B$ と $D$ でも同樣の計算を行い $\operatorname{sim}(B D)$ とする.

## 5 実験条件

## 5.1 実験データ

電子辞書などの例文より抽出した単文コーパス [5] を用 いる . 使用するデータは対訳学習文約 160,000 文である .学習文より生成された枝刈り前の変換テーブルの数は約 2,064 万個である . 枝刈り前の変換テーブルの精度は誤 り率 $76 \%$ である.

## 5.2 評価方法

枝刈り後の変換テーブルをランダムに 100 個抽出する．抽出した変換テーブルに対して人手で正解か否かで 2 值評価する . 変換テーブルの評価は置き換え可能性の評価 が難しい．よって，翻訳に用いる際最も重要となる $C$ と $D$ の対訳関係を評価する．

## 6 実験

6 章の実験の目的は , 変換テーブルの精度向上である．光して，提案手法と従来手法を比較する.

## 6.1 閥值

実験 1 で用いた閾値を表 2 に示す.表 2 実験で用いた閾値

## 6.2 実験結果

評価結果を表 3 に示す.

表 3 従来手法と提案手法の誤り率

表 5.2 の結果より，提案手法による変換テーブルの精度向上が確認できた . 提案手法により，誤り率が約 $28 \%$ から $3 \%$ に向上する.一方で変換テーブルの数が約 $81 \%$減少した。

## 6.3 出力例

提案手法の出力例を表 4 と表 5 に示す. 表 4 は正解と 評価される変換テーブルである . 表 5 は誤りと評価され る変換テーブルである。

従来手法では出力し，提案手法では出力できなかった 例を表 6 と表 7 に示す.表 6 は誤りと評価される変換表 4 提案手法における正解の出力

表 5 提案手法における誤りの出力

テーブルである . 表 7 は正解と評価される変換テーブル

 & $D$ &  \\

である.

表 6 提案手法における変換テーブルの改善例

表 7 提案手法における変換テーブルの改悪例

提案手法は間違った変換テーブルを出力から削除でき る (表 6). 一方で, 正解の変換テーブルも削除している (表 7).

## 7 考察

## 7.1 単語と句に分けた調査

枝刈りした変換テーブルにおける単語と句の内訳を調査する. 方法として , 6 章で枝刈りした変換テーブルの $C$ と $D$ に当たる部分が単語-単語, 単語-句, 句-単語, 句-句 でグループ分けする.

7.1.1 枝刈り前の変換テーブル

枝刈り前の変換テーブルにおけるグループごとの変換 テーブルの数を表 8 に示す.

7.1.2 枝刈り後のテーブルの調査

グループごとの変換テーブルの数を表 9 に示す.
表 8 グループごとの変換テーブルの数

表 9 グループニ゙との変換テーブルの数

次に，表 9 の各グループを評価した . グループごとに ランダムに 100 個ずつ抽出して評価した. 評価結果を表 10 に示す.

表 10 誤り率

表 10 より, 句-句のグループでは誤り率が $38 \%$ から $11 \%$ に向上した.

## 7.1.3 出力例

7.1 節における句の出力例を表 11 と表 12 に示す. . 表 11 は正解と評価した例である. 表 12 は誤りと評価した 例である

表 11 提案手法における句の正解例

 & $D$ &  \\

表 12 提案手法における句の誤り例

7.2 変換テーブルの評価 ( $A$ と $\mathrm{C}, B$ と $D$ の置き換え可能性)

今回は簡易的に評価を行うために $C$ と D の部分の訳が 適切であるかで評価を行った. しかし変換テーブルの構成を考えると $A$ と $\mathrm{B}$ の訳の適切さや $A$ と $\mathrm{C}, B$ と $D$ の 置き換え可能性も考慮に入れて評価する. 光こで， 6 章 で用いた変換テーブルに注目して評価を行う。

## 7.2 .1 評価結果

評価結果を表 13 に示す.

表 13 従来手法と提案手法の誤り率

## 7.2 .2 評価例

7.2 章で評価した変換テーブルの例を示す. . 表 14 は正解と評価した例である。

$
\text { 表 } 14 \text { 評価例 }
$

表 14 において対訳関係は正しいと考える.ここで置き 換え可能性を考える．「少し」は副詞であり，「調査」は名詞である．副詞は後ろに何を伴っても良い．よってA と $C$ は置き換え可能性があると考えられる．

表 15 は正解と評価した例である.

表 15 評価例

表 14 と同樣に表 15 も対訳関係は正しいと考える. 同樣に，置き換え可能性を考える。「では」は主に接続助詞 と係助詞の連語であり，「限り」は名詞である．接続助詞 の前単語は名詞を取る. 名詞は複合名詞の形で名詞につ ながる可能性がある.よって $A$ と $C$ は置き換え可能性が あると考える

表 14 と表 15 で示した例のように品詞が異なった変換 テーブルの置き換え可能性を評価するのが難しい．

7.3 パターンについて

変換テーブルの作成において，複数の変数によるパ ターンが用いられている. 表 16 と 17 に変換テーブルの パターンの例を示す.

表 16 は正解と評価される変換テーブルである

表 16 パターン例

 & $D$ &  \\

表 16 では「が」と「The」のように訳されない単語を 仮定した上で，SV の形でパターンが生成され上手く対応 されている.(ここでD源文は SVO 形ではあるがV と O を一つの句として扱っている)

表 17 は誤りと評価される変換テーブルである．

表 17 と同様に $D$ の原文が命令形になっているとパ ターンが誤ってしまう例が多い。

## 7.4 変換テーブルの数を増加させた実験

7.4 節では , 変換テーブルの数を提案手法と従来手法で 同程度に揃えた上で精度を調査する.少して，提案手法 と従来手法を比較する。
表 17 パターン例

}} \\

## 7.4 .1 閾値

7.4 の実験では求められた類似度を昇順に順位付けす る.さらに , 類似度の順位を閾値とする．実験で用いた 閾値を表 18 に示す.

表 18 実験で用いた閾値

## 7.4 .2 実験結果

評価結果を表 19 に示す.

表 19 従来手法と提案手法の誤り率

表 19 の結果より，変換テーブルの数を同程度にした 際も，提案手法による変換テーブルの精度向上が確認で きた . 提案手法を用いることにより誤り率が $28 \%$ から $20 \%$ に向上する.

## 7.4.3 出力例

従来手法では枝刈りできず，提案手法では枝刈りでき た変換テーブルの例を表 20 と 21 に示す. 表 20 と 21 は 誤りと評価される変換テーブルである

表 20 提案手法による変換テーブルの改善例

表 21 提案手法における変換テーブルの改善例

この節の例については 7.5 章で考察する

## 7.5 形態素解析の問題

7.4 章で得た出力例を考察する. 表 20 と表 21 はいず れも誤りと評価した例である．

例のように，C が「し」となる変換テーブルは従来手法で枝刈りをした場合 6482 個存在する.一方提案手法 で枝刈りをすると 44 個となる．中身として従来手法では $\ulcorner し\lrcorner$ 訳として「with」や「to」などが多くある. 提案手法では「did」や「has $」\ulcorner$ made」などが列挙される.

日本語において「し」は動詞に付属して「〜した」と いう 3 単語の形で用いられることが多い. しかし, 英語 では「〜した」を 1 単語の動詞の過去形で訳される場合 が多い．また，英語文において「し」の対訳単語はない場合も多い.よって「し」の樣な単語において間違った変換テーブルを作成してしまう場合がある．提案手法では $A$ と $C$ の類似度を用いて枝刘りを行うので多くの間違っ た変換テーブルを削除できると考える．

## 7.6 閾値の選択

6 章では閾値を類似度の数值とした. 7.4 章では閾値を 類似度の順位とした. 表 3 と表 19 より閾値を類似度の 数値とした実験がより高い精度を示した . 類似度の数値 を閾値としたことで改善できる例を表 22 に示す. . 表 22 は誤りと評価される例である．

表 22 誤りが削除された例

一方 , 閾値を類似度の順位としたほうが良い例を 23 に 示す . 表 23 は正解と評価される例である.

表 23 正解が削除された例

表 22 において「listener」という表現がある．「listener $」$ という表現は学習文内で 6 度しか出現しない表現である．表 23 において「shoreline」という表現がある．「shoreline」 という表現は学習文内で 3 度しか出現しない表現である．学習文内での出現頻度が低頻度な表現は類似度の順位が 高さと類似度の値が高さが一致しない．

## 8 おわりに

本研究では , 変換テーブルの精度向上を目的とする手法を提案した. 提案手法は, 変換テーブルの同言語間の類似度を用いて枝刈りする手法である . 実験結果より ,変換 テーブル数の誤り率が $28 \%$ から $3 \%$ に改善できた . また 句-句のグループでも $38 \%$ から $11 \%$ に改善できた . よつ て，提案手法の有効性が確認できた . しかし，変換テー ブルの数が $3,698,524$ 個から 701,828 個に減少する.

## 参考文献

[1] 安場裕人, 村上仁一。“変換主導型翻訳の提案” 自然言語処理学会, 2018

年 3 月

2] 中島綜太, 村上仁一“TDSMT で作成された自動対訳句の前後環境を用いた 精度向上”, 言語処理学会第 26 回年次大会, P4-36, 2020

[3] Peter F.Brown, Stephen A.Della Pietra, Vincent J.Della Pietra, Robert L.Mercer (1993). The mathematics of statistical machine translation:Parameter Estimation. Computational Linguistics.

[4] 興梠玲架，村上仁一“パターンに基づく統計機械翻訳において変数部の総和 を使つた対訳句の抽出”, 卒業論文, 2016 年 3 月

[5] 村上仁二, 藤波進“日本語と英語の対訳文対の収集と著作権の考察”, 第一回 コーパス日本語学ワークショップ,pp.119-130. 2012.


# Universal Dependencies における述語並列記述の展望

伊藤 薫
九州大学 言語文化研究院
ito@flc.kyushu-u.ac.jp

## 1 はじめに

## 1.1 Universal Dependencies とは

Universal Dependencies (UD) は通言語的に統一さ れた方法で依存構造や品詞などについてアノテー ションが付与されたコーパス群を開発する国際プロ ジェクトである [1]。UD は依存構造が内容語主辞で 付与されていること、Universal POS (UPOS) と呼ば れる品詞体系や依存関係タグが定義され、コーパス に付与されていることなどを特徴とする。また、人手アノテーションのしやすさやパージング精度の 高さなど、言語学的妥当性以外も考慮して設計され ている [2]。しかし、UD は進行中のプロジェクトで あるため問題も多く抱えており、日本語UDにおけ る並列表現もその 1 つである。本論では Universal Dependencies (UD) ver. 2.7 [3] における日本語の述語並列に関わる問題について、UDコーパスを用いた 日英比較から得られたデータと、言語学で蓄積され た並列に関する知見をもとに議論し、今後の展望に ついて述べる。

## 1.2UDにおける並列表現の定義

本節では、UD における並列表現について説明す るため、公式サイト [3] に掲載されている依存関係 タグに関する記述をもとに、解説を加えながら紹介する。UDにおいて、並列表現は等位接続詞を表 す品詞タグ CCONJ、等位項を表す関係タグ conj、及 び、等位接続詞に掛かる関係タグ $c c$ によって表現 される。conj タグは等位接続詞で結合される等位項 (conjunct) であることを示すタグである。UD の方針 として内容語を主辞としていることから、並列表現 における最初の等位項が主辞とされ、それ以降の等位項は全て最初の等位項に依存すると定められて いる。最初の等位項とそれ以降の等位項は関係タグ conjで結ばれる。最後に、関係タグ cc は CCONJ とそ の主要部を結ぶ。UDでは等位接続詞が省略される場合（e.g. 句読点類のみで並列が示される場合）に も並列構造とみなすことを認めており、この場合は CCONJ, $c c$ がなく、conjのみで並列構造が表されるこ とになる。

英語の並列表現をUD の体系で表す場合、CCONJ は 'and', 'or', 'but’ など、語やそれより大きい構成要素を統語的に従属させることなく結び、両者の間の 意味関係を表すものとされる。また、conjについて は UD 全体に向けた記述と大きな相違点は見受けら れない。'either', 'both', 'neither' 等も CCONJ と見なさ れ $c c$ の対象に含まれる点が英語に関して若干特徴的と言えるだろう [3]。

## 1.3UD Japanese の並列アノテーション

前節で見たように、UDにおいて関係タグ conj は 最初の等位項を主辞として付与する、と定められて いるため、日本語のような右主辞の言語とは相性が 悪い。日本語 UDでは conj タグが強制的に左主辞と なる仕様であることから生じる不自然さを回避する ため、名詞句、動詞句の並列で conj タグを使用せず にコーパスが構築されている。例えば、「食べて走 る」では「て」によって2つの動詞句が並列されて いるが、「て」を従属接続詞とみなし 2 つの動詞を 副詞句による修飾 ( $a d v c l$ ) としている [2]。

また、UD 2.7 における日本語コーパスで最大の ものは UD Japanese-BCCWJ で、日本語UD のデータ のおよそ 4 分の 3 を占める。これは BCCWJ-DepPara という日本語書き言葉均衡コーパス (BCCWJ) のコ アデータに対して追加アノテーションを施したもの を変換することで作成されている。BCCWJ-DepPara では並列アノテーションの付与対象は名詞句の並列、部分並列とされており、日本語の節間の並列関係を従属関係と識別するのが困難なため述語並列は 対象外とされている [4]。従って、今後上述の主辞 に関わる問題が解決されたとしても、元コーパスに 信頼のおけるアノテーションが施されている名詞句 などの並列と比較して、他の日本語 UD における述
語並列のアノテーションはデータに反映されにくい 状況が続くと考えられる。

## 2 述語並列の日英比較

前節では、UD における並列と日本語UDにおけ る述語並列の記述に関する問題を概観した。多言語 パラレルコーパス PUD treebankを用いて英語の並列表現が日本語 UDでどのように扱われるかを、翻訳 と UD タグという観点から調査する。

## 2.1 PUD treebank

Parallel UD (PUD) treebank は 2017 年の記述によ ると 1,000 文、 18 言語からなるパラレルコーパスで ある [1]。本論では英語と日本語の UD を対象とし ているため、PUD の英語版である UD English-PUD および日本語版である UD Japanese-PUD (以下、そ れぞれ PUD-en, PUD-ja と略記する) を使用した。 1,000 文のうち 750 文は英語の文書から集められ、残りの 250 文は他の 4 言語からの翻訳である。な お、本論では多重に翻訳された文を除いた分、つま り、PUD-en において原文が英語である文 (文 ID が n01 または w01 で始まる文)を対象とした。収録さ れている文は Wikipedia とオンラインニュースから 無作為に抽出されたものである。

## 2.2 手法

まず、PUD-en の英語を言文とする 750 文から動詞 (VERB) と動詞が関係タグ conj で結ばれている関係を全て抽出し、PUD-jaでどのような形式で翻訳さ れているかを調査した。 ${ }^{1)}$ PUD-en からデータを抽出 する際には、オンラインで提供されているコーパス インターフェイス Grew[5] を使用した。抽出した文 に関して収集した情報は文 ID、本文、係り元と係り 先の表層形、そのうち等位接続詞を伴うものについ ては上記に加え CCONJ タグのついた語の表層形であ る。次に、抽出した英語文に対応する PUD-ja の文 を文IDによって検索し、目視で日本語訳を確認し た。PUD-ja において注目したのは PUD-en における 接続表現（主に CCONJ だが、句読点のみの場合など も含む）との対応であり、それらに対応する日本語

の接続表現の表層形、及び、XPOS に記載されてい る国語研短単位品詞を集計した。また、活用のある 品詞の場合は品詞に活用形を追記した。

並列される動詞句や節の構造が翻訳文でも保た れている場合は、(1)のように先に出現する動詞に 直接依存する接続表現もしくは連用形 2$)$ を収集した が、原文とは大きく異なる構造になっている場合 や、(2)のように 3 つ以上の等位項がある場合も見受けられた。(2)の場合は、conj 関係タグで結ばれ る動詞は 'works' と 'lives'、 'works' と 'breathes' の 2 組だが、後者の組に対応する日本語文については、後方の等位項を含む節の直前に出現する接続表現を 収集を試みた。つまり、'works'と 'breathes’に関わ る接続表現を日本語文で探す際は、'breathes’に対応する「生きている」の直前にある接続表現「暮ら し」（動詞-一般-連用形）を集計対象とした。3) また、適切な接続表現が見つからない場合は(3)のように 「該当なし」4) とした。

(1) (a) A sacrococcygeal teratoma is a tumour that $d e$ velops before birth and grows from a baby's tailbone.

(b) 仙尾骨部のテラトーマは、赤ん坊の誕生前 に発生し、尾てい骨から成長する腫瘍であ る。(ID: n01051006, 強調筆者)

(2) (a) It's fair to say that Rocco Catalano works, lives and breathes retro.

(b) ロッコ・カタラーノ氏はレトロに働き、 らし、生きていると言ってもよい。

(ID: n01087005, 強調筆者)

(3) (a) Isner, who produced some of his best tennis as he leveled at one set all and forced a decider, also paid his tribute.

(b) 最高のテニスでワンセットオールで対戦を 余儀なくされた、イスナーもまた、賛辞を 送っている。(ID: n01142007,強調筆者)

2）日本語 UD では、サ変動詞は語幹名詞+動詞「する」とされ る。

3）この方針は後述する PUD-en における接続詞の集計方法と は異なるが、これは英語においては同じ語から conj タグで表示される 3 つ以上の並列としてコーパスで記述されているの に対し、PUD-ja では連体修飾関係を示す $a d v c l$ タグで連鎖的 にタグ付けされているという違いに基づく。

4）「ワンセットオール」の後の「で」は格助詞とタグ付けさ れている。
表 1 翻訳文中で対応する接続表現の品詞別頻度

## 2.3 結果

PUD-en からは conj タグで結ばれる 175 組の動詞 の組が抽出され、うち等位接続詞を伴う並列は 172 組であった。また、集計対象は conj タグの頻度であ るため、3つ以上の等位項が並列されている場合は 「等位項 1 と等位項 2 」、等位項 1 と等位項 3$\lrcorner \cdots \cdots$. のように主辞を基準として個別に計上した。収集さ れた等位接続詞の集計結果を付録の表 2 に示す。な お、括弧で括られた等位接続詞は 3 つ以上の等位項 を持ち、等位項と等位接続詞が隣接していないこと を表す。また、表中に大文字で NONE と表記した データでは等位接続詞が見られず、カンマのみで並列が表されていた。付録の表 2 に見られるように、英語の等位接続詞は 'and' が大半 $(75 \%)$ を占め、次 いで 'but', 'or'、更に少数の例としてカンマによる並列、 'as' ('as well as' の一部) が確認された。

次に、PUD-ja において対応する接続表現の頻度を 品詞ごとに表 1 に示す。対応する接続表現がない場合は表中に「(該当表現なし)」としてまとめた。表 の末尾には品詞の区別なく活用形のみでまとめた 場合の数値も付記した。表 1 に示した接続表現の うち、日本語 UD で CCONJ タグがついているものは 「接続詞」のみであり、 5 例 $\left.{ }^{5}\right)(3.5 \%)$ と稀である。ま た、品詞としてはサ変動詞の連用形が最も多くを占 めており、品詞を問わず活用形のみで集計すると半数以上 $(58.5 \%)$ を連用形による接続が占めている。連用形は一般的な日本語文法においては動詞の活用形の 1 つとされており並列表現の 1 形式でもある $[6,7]$ が、日本語 UDでは $a d v c l$ として主節に係る。

## 3 考察

5）確認された表層形は「また」「しかし」「あるいは」「およ び」。

## 3.1 日本語並列表現の多様性と UD

英語では表層形の種類が限られており、今回の調査では 'and', 'but', 'or', '(as well) as'の 4 種類のみで あった。英語 UD の方針では 'both’ や 'either’ なども CCONJ に含まれるが、今回の結果には含まれなかっ た。一方、日本語では読点を除き 37 語が並列表現 を含む英文の翻訳に使用されており、語幹ごとに 別々に数えられる動詞の連用形を除いても 10 語6) と、英語に比べ種類が多いのが特徴である。

また、現状の日本語UDの仕様では並列表現 が様々な UPoS に分散している。基本的に英語で CCONJ が出現する場合でも、日本語訳では CCONJ は 出現せず、延べ語数で数えた場合に半数以上が連用形で表されることが明らかになった。また、連用形 に次いで多い接続助詞は PUD-ja において SCONJ と される。具体的には今回抽出された「し」「て」「が」 は全て SCONJ だが、これらは理論によっては全て並列を担う表現とされうる。また、英語では CCONJ と される 'or' に対応する表現は「か」だが、これらは PUD-ja において PART とされる。他にも、PART とさ れる「たり」の扱いにはそもそも日本語学の中でも 様々な立場があり、少なくとも並列を表す接続助詞 とする立場 [6]、タ系連用形とする立場 [7] がある が、PUD-ja のデータには国語研短単位品詞で助詞副助詞とされているなど、基礎的な部分での困難も ある。翻訳においても意味的な並列が保持されてい るのであれば、これらの扱いが日本語 UD における 並列の記述方法に大きな影響を与えることになる。

## 3.2 日本語の並列表現と UD の体系

UD は世界中の個別言語を 1 つの体系で記述しょ うとするプロジェクトであるため、個々の言語への 適用の際には問題が生じる場合もある。これらの問題は UD 以前に個別言語で整備されてきたデータの 蓄積や UDへの対応状況というローカルな事情によ るものから、類型論的挑戦である UD の仕様そのも のが抱える問題まで様々である。

今回観察したデータには接続助詞「か」が接続詞「あるいは」と同時に出現する場合もあり、この場合は英語のように「か」を CCONJ と見なすと UD 上 では二重に CCONJ が出現することになる。これは英語の 'either ... or ...' に相当する。また、現在のとこ

6）「また」「しかし」「か」「が」「し」「たり」「て」「と」「(た め)に」「(もの) の」

ろ「て」「が」は日本語UDにおいてSCONJとして夕 グ付けされ、SCONJを伴う節と節を関係タグは多く の場合 $a d v c l$ となり、少なくとも conj は不適である。加えて、上記 2 つよりも問題は少ないが連用形によ る接続の場合、品詞タグ VERB が付与される語の内部に並列を示す特徵が組み込まれていることにな り、独立した CCONJ は出現しない。そのため、連用形による述語並列を日本語 UDにおいて並列と認め る場合、形式的には並列を表す表現があるものの、 UPoS としては VERB であるため CCONJ を伴わず conj が出現する例が多くなる。

上述のように、日本語では連用形や助詞によって 並列を表すことが多い。そのため、英語と親和性が 高そうに思われる UD の基準からすると、日本語の 並列表現は CCONJ を伴わない非典型的な形式として 記述することになる場合が多くなると思われる。特 に、連用形の場合は並列を表す形式が語に内在して いるため、現在のUDの体系では表現が難しい。UD では語に内在する特徴 (Features) を記述することが でき、動詞的な屈折特徴としては時制、法、相等が 設定されている。Features には Verbform という動詞 の形式を表すカテゴリがあり、日本語の連用形やテ 形は Conv (converb, 副詞的な従属接続標示すること を主な機能とする不定動詞 [8]) であり、日本語の連用形 [9] やテ形 [8][9] を converb としている文献も存在する。ただし、この方法の場合は統語的に従属と なることを示すに留まり、意味的に並列であること を示すことはできない。

## 3.3 並列表現の認定基準

英語では conj タグが出現する例において等位接続詞が出現する場合が多く、カンマのみによる並列 が少ないことを 2.3 で明らかにした。しかし、日本語の場合は述語並列の形式が英語に比べて多様で あり、並列と従属の線引きも難しく、何を以て並列 とするかも理論によって異なる。例えば、節の並列 で言えば「主節に対して対等に並ぶ関係で結びつく 節」を「並列節」とする統語面を重視する定義 [7] や、「2つ以上の異なる自体の時間的前後関係が解釈 の際に問題にならない時、その事態は並列関係にあ る」という意味的側面を重視する定義 [6] がある。 また、BCCWJ-DepPara が節の分類の際に依拠してい る文法書 [10] では接続表現の形式ごとに従属節内部に出現可能な要素を検討して3つに分類してお り、並列は従属節が表す意味の一部に組み込まれて
いる。

また、形式のみで等位接続と従属接続が明確に分 かれると思われる英語においても、同様の問題は 存在する。例えば、'You drink another can of beer and I'm leaving." という例文では、前半の節が後半の節 の条件として解釈でき、統語的には並列だが意味的には従属と見なせるとされる [11]。また、この 議論を発展させて並列と従属は統語と意味の両面 から見るべきだという提案もあり、上記 'and' の例 を pseud-coordination、日本語の「て」による並列を pseudo-subordination（統語的には従属、意味的には 並列）とする研究もある [12]。並列は多面的な現象 であり、UD の体系の中で日本語の並列を記述する ためには並列のどのような側面を重視して認定する かを考慮する必要がある。

## 4 終わりに

本論では日本語 UDにおける述語並列の問題につ いて議論し、現在の仕様では英語の並列表現が日本語訳の大半において従属節となっており、連用形や 一部の接続助詞の扱いが重要であることを示した。 この状態は pseudo-subordination という観点から、現在の日本語 UD の仕様は統語面を重視した仕様に なっていると評価できる。Croft[13] は information packaging を依存関係、意味内容を語彙のタグセット と組み合わせるべきであると主張しており、依存関係を重視すれば日本語では conj を使う機会は減ると 予測されるが、3.2で示した通り現在の仕様では直接的に語彙のタグセットで並列であることを示す手段はない。逆に機能的側面を重視するならば、英語 の 'and' が pseudo-coordination となる例もあるため、典型的に意味的な並列を担う語彙項目に関して、現在 $a d v c l, S C O N J$ となっている一部の並列表現形式を conj, CCONJへ変更するのも一案である。

いずれにしても、UDにおいては日本語の述語並列について並列と見なすのであれ従属と見なすので あれ、何らかの方針に基づきタグ付けをすることに なる。認定基準は典型的な用法、統語テスト、機能面で見た並列用法と従属用法の比率など様々に考え られるが、UD 全体との整合性やコンバージョンの 容易さなどを考慮して決定する必要がある。

謝辞本研究の一部は JSPS 科研費 $19 K 13180$ の助成および国立国語研究所コーパス開発センター共同研究プロジェクトの支援を受けたものです。

## 参考文献

[1]Anders Björkelund, Agnieszka Falenska, Xiang Yu, and Jonas Kuhn. Ims at the conll 2017 ud shared task: Crfs and perceptrons meet neural networks. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 40-51, 2017.

[2]浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[3]Universal Dependencies contributors. Universal dependencies, 2020-10 閲覧. https://universaldependencies. org/.

[4]浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コーパ ス』に対する文節係り受け・並列構造アノテーション.自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[5]Bruno Guillaume. Grew- graph rewriting for nlp, 2020-12 閲覧. https://grew.fr/.

[6]中俣尚己. 日本語並列表現の体系. ひつじ書房, 東京, 2015.

[7]益岡隆志, 田窪行則. 基礎日本語文法一改訂版一. くろ しお出版, 東京, 1992.

[8]Martin Haspelmath. The converb as a cross-linguistically valid category. In Martin Haspelmath and Ekkehard König, editors, Converbs in Cross-linguistic Perspective, pp. 1-55. Mouton de Gruyter, Berlin, 011995.

[9]清瀬義三郎則府. 連結子音と連結母音と-日本語動詞無活用論. 国語学, Vol. 86, pp. 42-56, 1971.

[10]南不二男. 現代日本語の構造. 大修館書店, 東京, 1974.

[11]Peter W. Culicover and Ray Jackendoff. Semantic subordination despite syntactic coordination. Linguistic Inquiry, Vol. 28, No. 2, pp. 195-217, 1997.

[12]Etsuyo Yuasa and Jerry M. Sadock. Pseudo-subordination: A mismatch between syntax and semantics. Journal of Linguistics, Vol. 38, No. 1, pp. 87-111, 2002.

[13]W. Croft, D. Nordquist, Katherine Looney, and Michael Regan. Linguistic typology meets universal dependencies. In TLT 2017, 2017.

## A 付録

表 2 PUD-en で収集された CCONJ の形式と頻度


# 集合知を用いた大規模意味的フレーム知識の構築

小原京子
慶大/理研 AIP
ohara@hc.st.keio.ac.jp
河原大輔
早大/理研 AIP
dkw@waseda.jp

## 1 はじめに

本研究の目的は、高度な言語理解の実現に向けて、自然言語処理の手法で構築された「京都大学格フレ 一ム」（KCF）の格フレームと人手で構築中の「日本語フレームネット」（JFN）の意味フレームとを集合知を用いて対応付け、フレーム知識を統合するこ とである. 具体的な目標は 2 つる. 究極的目標は、 $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応付けし、 $\mathrm{KCF}$ 格フレームを構成するすべての文がその $\mathrm{JFN}$ 意味フレームにあてはまるとみなすことによって、 $\mathrm{JFN}$ 意味フレームアノテーション付きコーパスを大幅に増強することである。もう1つはクラウドソー シングの結果から JFN 上の既存のフレーム定義が不完全であることがわかる可能性があるため、これら について人手でチェックすることによりJFNを改良 することである．本論文は、 1 つ目の究極的目標に 向けた中間報告であるとともに、2つ目の目標の指針を決定するためのケーススタディである.

図 $1 \mathrm{KCF}$ 格フレームと JFN 意味フレーム

本研究では、ある述語に対するそれぞれの KCF 格 フレームについて、その述語に対して定義された JFN 意味フレームのいずれかに対応付ける (図 1). この対応付けを大規模かつ高速に行うためにクラウ

\author{
笹野遼平 \\ 名大/理研 AIP \\ sasano@i.nagoya-u.ac.jp satoshi.sekine@riken.jp
}

ドソーシングを用いる．具体的には、一つの KCF 格 フレームを代表する例文を提示文、JFN 意味フレー 么の例文 2 文を選択肢 1,2 として、提示文と用法が 似ている選択肢を選ぶタスクを実行する（図 2）。選択肢 1,2 に加えて、「いずれにも似ていない、も しくは判断できない」という選択肢（以下では “OTHER”と呼ぶ）を別途設け、JFNのいずれの例文 にも似ていない場合、もしくは提示文からは判断が 難しい場合に選択してもらう。この選択肢が多くの クラウドワーカーに選ばれた場合には、提示文、選択肢、あるいはそれ以外の何かを見直した方が良い 可能性がある.

## 提示文中の [...】の語の意味を考え、意味がもっとも似ている選択肢を選んでくだ さい。意味が似ている選択肢がない場合、もしくは判断できない場合は「※どれに も似ていない、もしくは判断できない」を選んでください。

ファイルサイズが指定サイズ以上のファ

我が国のそれそれれの地域・企業において実際に行われている取組みの事例を 【収集】し、分析することとした。

図 2 クラウドソーシングタスク例

$\mathrm{KCF}$ とFN の両方に存在する述語は図 1 に示し た通り 926 述語あり、そのうち JFNにアノテーショ ン例文があるのは 713 述語である.これらのうち 185 述語については既にクラウドソーシングを行い、言語分析者が人手でその結果の評価を行った. その内訳は、表 1 の通りである.

本論文では、表 1 の 85 述語と同様に JFN 上で現在 1 つの意味フレームに割り当てられており、複数 のアノテーション例文が存在する 81 述語のクラウ ドソーシング結果について報告と考察を行う．考察 においては、JFNで 2 つの意味フレームに割り当て

られた 37 述語のクラウドソーシング結果に関する 先行研究[1]、[2]の知見と比較する.

表 1 実施済みクラウドソーシング対象

 &  \\

分析の結果、JFN に一義語として登録されている 述語についても、正解率の高低やクラウドワーカー らの回答には多義語の場合と同様の傾向が見られる ことがわかった. 加えて、クラウドソーシング結果 の正解率の向上と JFN 改良のための指標が得られた.以下では、まず第 2 節で先行研究の知見を概観し た後に、第 3 節で今回の実験について論じる. 第 4 節では今回の実験結果を先行研究のそれと比較する.最後の第 5 節で今後の展望について述べる.

## 2 先行研究

先行研究[1]、[2]では、JFN において 2 つの意味 フレームに割り当てられており（つまり2つの意味 を持つ多義語）、それぞれの $\mathrm{JFN}$ 意味フレームで例文が 1 文以上存在する 37 述語について実験を行つ た. その結果、述語や格フレームによって最多票を 得た回答の正解率にばらつきが見られるが、 2 つの 語義が明らかに隔たっていて JFN 上の意味フレーム 定義に不備がない述語は正解率が高いこと、最多票 の回答が OTHER で得票数が多い格フレーム例文に は複単語表現 (multi-word expression、以下 MWE) が 出現しているものが多いことが明らかとなった.

10 人のクラウドワーカーらの回答について、最多票を獲得した JFN 意味フレームとその例文が正解だ ったかどうかを言語分析者が人手で評価・分析した.各述語の 2 つの語義間の類似度と、それらの意味が 現行のJFNに正確に意味フレームとして登録されて いるかどうかにより、37 述語を 3 つに分類した： カテゴリーI:2つの語義が明らかに隔たっている (9 述語、例：「送る」）。

カテゴリーII:2つの語義が似通っている（11 述語、

例：「書く」）.

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の $\mathrm{KCF}$ 格フレームに見られる全ての 語義を正確に表現していない（17 述語）.以下の 2 種類のケースがある：1) JFN 上で誤った意味フレー ムが当該述語に割り当てられていた(例:「適切だ」); 2) $\mathrm{KCF}$ 格フレームから当該述語が 3 つ以上の語義 を持つことが判明したが、JFN 上の当該述語に対す る意味フレーム割り当てが不完全であった (例:「与 える」).

述語カテゴリー別の、述語の平均正解率は以下の 通りであった.

$
\begin{aligned}
& \text { カテゴリーI: } 83.9 \% \\
& \text { カテゴリーII: } 55.0 \% \\
& \text { カテゴリーIII: } 39.9 \%
\end{aligned}
$

この結果から、クラウドワーカーらはカテゴリーIの 述語、つまり 2 つの語義が明らかに隔たっている述語に対しては、概教正しく $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応づけられたと言える。

また、最多票が OTHER でその得票数が多いKCF 格フレーム例文には複単語表現が関与するものが多 かった. (1)から(3)はその例である (文末のカッコ内 の数字は最多票を得た OTHER の得票数).

（1）自分が青春時代を【送った】（10）

(2) その日に私が話題に【上った】そうだ

(3)ここは私が話を【通そう】（8）

KCF の述語には MWE は含まれず、JFNでも今のと ころ MWE の見出し語は少ないので、KCF 格フレー ムと JFN 意味フレームの対応付けの際には MWE の 扱いに留意する必要がある.

本研究の究極的目標である KCF 上のそれぞれの 格フレームに対して JFN 意味フレームを効率的に対応づけるためにも、当面の目標である JFN コンテン ツの改良のためにも、クラウドソーシング結果を言語分析者が人手で詳細に評価する前にあらかじめ正解率の高い述語や留意すべき格フレームを推定でき ることが望ましい。従って、この先行研究で得られ た、JFN 上の意味フレーム定義に不備がない述語の 正解率が高いという傾向と、OTHER が最多票でな おかつ得票数が多い場合に MWE を含むケースが多

いという傾向が、一義語についても見られるかどう かを調查することにした。

## 3 実験

## 3.1 実験設定

今回の実験では、JFN 上で 1 つの JFN 意味フレー ムに登録されている（すなわち一義語とされている） 81 述語、合計 $1319 \mathrm{KCF}$ 格フレーム（1 述語あたり 平均 16.7 格フレーム) を対象とした.

## 3.2 結果

先行研究と同様に、最多票を獲得した選択肢が正解かどうかを評価した. OTHER が最多票を獲得し た際にそれが正解かどうかを得票数別に調べた。そ の結果を表 2 の OTHER 得票数 6-10 に示す.

## 表 2 格フレームごとの得票数別最多票 OTHER の正解率

} &  &  &  \\

9 & 4 & 4 & 100 \\
8 & 8 & 7 & 87.5 \\
7 & 19 & 9 & 47.4 \\
6 & 39 & 9 & 23.1 \\
5 & 77 & 16 & 20.8 \\
4 & 128 & 20 & 15.6 \\
3 & 218 & 41 & 18.8 \\
2 & 309 & 52 & 16.8 \\
1 & 329 & 41 & 12.5 \\
0 & 184 & 23 & 12.5 \\

まず、OTHER が最多票を取得し、なおかつ正解だ った格フレームについて分析した. OTHER が正解 となった理由としては次の 4 つがある：1) 述語が MWE の一部となっており MWE 全体で別のフレー ムを喚起する、2) JFN 上には 1 つの意味フレームの み割り当てられていたが、実際には他にも語義があ り KCF 格フレーム例文の用法はその別の語義に関 するものであった、3) JFN に割り当てられた意味フ
レームかアノテーション例文に誤りがあった、4)提示文である $\mathrm{KCF}$ 格フレーム例文の意味がわかりら゙ らかった、である(表 3).それぞれの例を(4)から (7) に示す (文末のカッコ内の数字は最多票だった OTHER の得票数).

(4) MWE

多くの人が会場で門前払いを【食った】

(5) 多義

有効の方がメモリを【食い】ません（10）

[Ingestion フレームに加え、 Expend_resourceフレームへ割り当て必要]

(6) JFNの意味フレーム割り当て不正確

いつでも気持ちは「日に【新た】」です (6)

[Familiarityフレームではなく正しくはAge フレーム]

(7) $\mathrm{KCF}$ 例文意味不明

今日も一日が【大幅に】しないとね

表 3 OTHER が正解だった理由の内訳

} & \multirow{2}{*}{} & \multicolumn{4}{|c|}{} \\

表 3 から分かる通り、MWE の関わる KCF 格フレ 一ム例文は、最多票 OTHER が正解でなおかつ得票
数が 7 から 10 までの格フレームに限られた. これ は先行研究で見られた傾向と同じである. これに対 して、JFN 上の意味フレームかアノテーション例文 の誤りに関わる KCF 格フレームは、OTHER 得票数 が少ない格フレームに多く見られた。

次に、OTHER が最多票を獲得した (つまり得票数 が 6 から 10 までだった）が、正解ではなかった 41 格フレームについて調べた (表 2 参照).これらの格 フレームにおいて OTHER が不正解となった理由と して考えられる顕著なものに KCF 例文（提示文） と JFN 例文 (選択肢) の文構造の違いがある (14 述語、計 25 格フレーム)，以下の例(8)-(10)に示すよう に、同一語義・用法であるにもかかわらず両者の文構造が違うためにクラウドワーカーらが同義と認識 できず、OTHERを選択したと考えられる.

(8) 文末 $v s$. 名詞修飾男のほうが顔を【重視】するのだろうな（KCF）；【重視】すべき機能に応じた森林整備の推進 (JFN)

(9) 文末 $v s$. て接続

アップグレードビジネスクラスを【比較】しよ ら! (KCF) ;

商業借款と【比較】して一定の水準以上に優遇 された貸付条件であることが必要とされている (JFN)

(10)否定形 vs.肯定形、能動態 vs.受動態

パソコンがモデムを【認識】しなくなってしま った（KCF）;

大量破壊兵器やその運搬手段である弾道ミサイ ルの移転・拡散は、冷戦後の大きな脅威の一つ として【認識】され続けてきた（JFN）

以上、JFN に一義語として登録されている述語に ついても、最多票の回答が OTHER で得票数が多い 格フレームに MWE が関与しているケースが多いこ とがわかった。さらに、MWE 以外にもその述語の 他の語義が見つかるケースがあることが判明した。 また、クラウドワーカーらは提示文と選択肢の文構造を比較して回答しているらしいことが示唆された.

## 4 考察

今回の実験対象は $\mathrm{JFN}$ 上で 1 つの JFN フレーム に登録されている述語であったが、クラウドソーシ ング結果を評価・分析した結果、 81 述語のうちの 9 述語が多義語であることが判明した. そこで先行研究に倣い、述語の意味的特徴と、それらが現行の JFN に正確に反映されているかどうかに基づき、これら 9 つの多義語をカテゴリーIから III に分類した. 述語カテゴリー別に述語の平均正解率を算出したとこ 万、以下の通りとなった。

カテゴリーI:2つの語義が明らかに隔たつている (2 述語：「食う」、「浮かぶ」）：100\%

カテゴリーII: 2 つの語義が似通っている（2 述語：

「教える」、「泳ぐ」）: 50.95\%

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の KCF 格フレームに見られる全ての 語義を正確に表現していない（5 述語）: $52.7 \%$

1) JFN に誤り（2 述語：「記録」、「重ねる」）： $28.1 \%$

2) 3 つ以上の語義 (3 述語：「吸う」、「決定」、「飲む」）：69.1\%

今回の実験においても 2 つの語義が明らかに隔たつ ており JFN のコンテンツに不備のない述語（カテゴ リーI 述語）は正解率が高いことが示された. ちなみ に、一義語の 72 述語のうち $\mathrm{JFN}$ 上の意味フレーム 割り当てやアノテーション例文に不備のない 59 述語の正解率は $63.2 \%$ 以上 $100 \%$ 以下に分布しており、不備のある残りの一義語（13 述語）の正解率はそれ より低い $0 \%$ 以上 $56.3 \%$ 以下に分布していた.

## 5 まとめと今後の展望

$\mathrm{JFN}$ 上で 1 つの JFN 意味フレームに登録されてい る述語を対象に、 $\mathrm{KCF}$ 格フレーム例文に JFN 意味フ レーム例文を対応づけるクラウドソーシングを行い、 その結果を正解率の向上と JFN 改良の観点から考察 した. 得られた知見は以下の通りである. 1) OTHER が正解となる理由は 4 つある. 2) OTHER が最多票 で得票数が多い場合は正解率が高く、MWE が関与 している可能性が高い．3）一義語・多義語ともに $\mathrm{JFN}$ 上で不備のない述語の正解率が高い. 4) クラウ ドワーカーらは回答の際に KCF 格フレーム例文と JFN フレーム例文の構造を考慮していると推定でき る. 今後 JFN に 1 例文のみ存在する一義語の実験の 際にこれらの仮説をさらに検証していく．

また、多義語と分析した 9 述語の述語カテゴリー への分類では語義間の意味の隔たりを考慮したが、 JFN 意味フレームの粒度と JFN 上のフレーム間関係 に鑑み、多義語については集合知のみならず自動処理を用いて今後検討していきたい。

## 参考文献

1. クラウドソーシングによる日本語 FrameNet と 自動構築した格フレームとの対応付け. 河原大輔,小原京子, 関根聡, 乾健太郎. 言語処理学会第 24 回年次大会, 2018.

2. Linking Japanese FrameNet with Kyoto University Case Frames Using Crowdsourcing. Ohara, Kyoko Hirose, Daisuke Kawahara, Satoshi Sekine, and Kentaro Inui. Proceedings of LREC2018 International FrameNet Workshop 2018: Multilingual Framenets and Constructicons, 2018.


# Cloze Test for Verbs in Academic Writing by Masked Language Models

Chooi Ling Goh
The University of Kitakyushu
goh@kitakyu-u.ac.jp

## 1 Introduction

Recently, many advanced language models have been trained and proven to improve many natural language processing (NLP) tasks, such as text generation, summarization, machine translation, question answering and etc. General pre-trained language models such as BERT [1] and GPT-2 [2] have been used in many NLP tasks, and achieve excellent performance. This paper focuses on text infilling on academic writing, where pre-trained language models are used to fill in some blanks, especially verbs, in the text.

We use BERT, a masked language model inspired by the Cloze task, and investigate how well can it fill in the blanks in the text in academic writing. Experiments are carried out on some English abstracts taken from the journal papers from NLP field. We compare two journals, where one of them is an international journal and mostly written by native English speakers and the other one is a local journal mostly written by non-native English speakers. In the experiments, some verbs in the texts are masked out, and predicted by the pre-trained language models. We count how many words can be predicted same as the original words, and see if the language model can derive better words than the original ones. We also compare the fluency of texts before and after the replacement of the predicted words.

## 2 Text Infilling

The original masked language model (MLM) BERT is designed to predict randomly masked tokens like in a Cloze task, and whether the next sentence is a succeeding sentence [1]. BERT is based on the multilayer bidirectional Transformer [3], which enables representation of left and right contexts for predicting the masked token. BERT is trained by masking $15 \%$ of the words. It is trained on general domain corpora, i.e. Book Corpus and English Wikipedia texts, with 3.3B tokens.
While BERT can only predict single masked token, further research has expanded the model to predict multiple masked tokens, such as in [4]. However, in this research, the length of spans must be decided in advance. Later on, variable-length spans are proposed $[5,6,7]$. This research is referred to as text infilling by language modeling. These models are able to fill in the blanks with multiple words, and have no limitation of the length of span. [5] propose to infill different granularities of text: words, $\mathrm{n}$ grams, sentences, paragraphs, and documents. However, these text infilling methods can generate fluent text, but has no control on the meaning of generated text.

In this paper, we want to know if the filling of verbs in the academic articles would be possible using the MLMs and investigate how well can they predict compared to the original texts. Furthermore, we also compare the results with a word embedding model, Word2vec [8], trained on domain specific scientific articles.

## 3 Experiments

## 3.1 Pre-trained Models

We compare four language models in our experiments: Word2vec, BERT, DistilBERT and SciBERT.

Word2vec [8] is a word embedding model which is able to compare the word vectors in order to calculate their similarity using cosine measure. It has been proven that using a Word2vec embedding model trained on specific domain, one can find the most similar words which can be used to replace the words in academic writing. A Word2 $\mathrm{vec}^{1)}$ model trained on the ACL Anthology Reference Corpus ${ }^{2}$ (ACL-ARC) can propose semantically similar candidates using cosine similarity [9]. There are 66,453 word vectors in this model. However, this model can only compare the

word vectors without any context information. Therefore, sometimes the similar word may be the one with opposite meaning.

Beside the original BERT, we also compare two MLMs which are based on BERT. DistilBERT is a distilled version of BERT, which is smaller, faster and lighter [10] while retaining $97 \%$ of its performance in language understanding. SciBERT is also based on BERT but is trained on scientific texts from Semantic Scholar, with 3.17B tokens [11]. Both BERT and SciBERT has an overlapping of $42 \%$ of vocabularies, which shows that general domain and scientific domain have substantial difference on use of frequent words.

Below shows precisely the models we used for comparison.

## - BERT

bert-base-uncased
- DistilBERT

distilbert-base-uncased

## - SciBERT

allenai/scibert_scivocab_uncased

We employ the implementation of Hugging Face [12] for using these language models.

## 3.2 Datasets

We collected 631 English abstracts from the Journal of Natural Language Processing (JNLP) published by The Association for Natural Language Processing (ANLP), $\mathrm{Japan}^{3)}$. These articles are mostly written by non-native speakers of English ${ }^{4)}$. These abstracts contributes to 4,564 sentences, and 108,322 tokens. We mask out all the verbs $^{5}$, and try to fill in these verbs with the MLMs. There are 11,224 masked words, which covers $10.36 \%$ of the tokens. For comparison, we collected 662 abstract from the Computational Linguistics Journal (CLJ) published by The Association for Computational Linguistics (ACL), $\mathrm{USA}^{6}$. On the contrary, these articles are mostly written by native English speakers. There are 4,409 sentences, and 116,644 tokens, with 11,995 masked verbs, which is $10.28 \%$ of the tokens. Table 1 shows the summary of the datasets.

3) https://www.anlp.jp/guide/index.html

4) The authors may have asked for proofreading service to correct their English.

5) Except auxiliary verbs.

6) https://www.mitpressjournals.org/loi/coli
Table 1 Statistics on the datasets for JNLP and CLJ.

## 3.3 Results

This section explains the prediction results. First, we count how many words suggested by the MLM matched with the original words. The word may be found in the first position, top 5 suggestions or top 10 suggestions. Table 2 shows the accuracy rates. Apparently, SciBERT's suggestions are far better than the other two models. This proves that domain specific MLM is useful in suggesting correct vocabularies for that domain. When restricted to top 10 suggestions, SciBERT achieves an accuracy of about three-quarter of the verbs.

Table 2 Accuracy from each model for JNLP and CLJ.

Second, we evaluate the performance of the models using perplexity (PPL). Lower value of perplexity reflects better fluency of texts. The perplexity (PPL) is calculated based on the GPT-2 language model $[2]^{7}$. This model has been successful to improve many NLP tasks with zero-shot task transfer. We believe that this model can provide fair results for evaluating texts in any domain. Table 3 shows the perplexity obtained. The Word2vec model fills in the masked words with the most similar words using cosine similarity. In other words, none of the words are the same as the original words. Therefore, the perplexity is higher, implying lower fluency, as Word2vec does not take contexts into account. Many word proposals by Word2vec do not conform to neither functional nor morphological

7) https://huggingface.co/transformers/perplexity.html
similarity. Although JNLP's articles are mostly written by non-native English speakers, the fluency is slightly better than CLJ based on perplexity. However, since we do not assess on the proficiency level, it is hard to say that JNLP is higher level than CLJ. For MLMs, only the first suggestion is used for evaluation. From Table 2, we noticed that only $22 \%-39 \%$ of the first suggestions are the same as the original words. However, these do not deteriorate much on the perplexity, or rather better than the original text, especially for SciBERT. This implies that in-domain MLM could offer good suggestions for filing the verbs in academic text.

Table 3 Perplexity for original tokenized text and output from

## 4 Discussion

Table 4 shows some examples of the prediction outputs. The words in bold face with square brackets are masked words used for prediction. The outputs of each model are in the order as below.

$\left.\{\begin{array}{l}\text { [Masked] } \\ \text { Word2vec } \\ \text { DistilBERT } \\ \text { BERT } \\ \text { SciBERT }\end{array}\right.\}$

Some of the words although are not the same as the original words, they make sense to be replaced. For example, it is certainly reasonable to use "demonstrate" to replace "show" in sentence $\mathrm{S} 1$, and "combining" to replace "integrating" in the sentence S3. Since Word2vec does not take contexts into account, it may introduce some grammatically or functionality erroneous words. For example, in $\mathrm{S} 2$, "correlates" is replaced by "correlate", and in $\mathrm{S} 4$, "managing" has become "multimedia". On the other hand, the problem with MLM is that although they can predict suitable words based on the contexts, which make the sentence become fluent, sometimes they do not convey the same meaning as the original word. For example, it is fine to replace "understand" with "comprehend" or "investigate" in sentence $\mathrm{S} 4$, but certainly "determine" is running out from the meaning of the sentence. However, in general, both Word2vec and MLM are useful in this cloze test

This experiment results are promising to motivate us in the design of a writing system: we can either use Word2vec to only look for similar words, or masked language model to fill in the blanks. For example, in the input sentence below,

## We [*] how to integrate this [method] into a standard phrase-based SMT pipeline .

where [*] is used to look for suitable words, and [method] is used to look for alternative words that has the similar meaning as "method".

## 5 Conclusion

The purpose of this research was to investigate the use of masked language models in aiding academic writing. By providing the MLMs the left-right contexts of a sentence, they are able to predict some useful words to fill in the blanks. Our experiments were carried out on the abstracts taken from the NLP journal articles written by both native and non-native English speakers. The results were promising and encouraging us to design a writing system that includes both word embedding and language model features. Using models trained on specific domain, such as SciBERT and Word2vec trained on ACL-ARC, we can control the selections of vocabularies used in scientific articles, and improve the proficiency of academic writing style.

## Acknowledgments

This work was supported by JSPS KAKENHI Grant Number JP18K11446 .

Table 4 Some output examples from each model for JNLP and CLJ. Words in bold face with square brackets are masked words used for predictions. The outputs of each model are in the order of \{[Masked], Word2vec, DistilBERT, BERT, SciBERT\}.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. Technical report, OpenAI, 2019

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[4] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[5] Chris Donahue, Mina Lee, and Percy Liang. Enabling language models to fill in the blanks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2492-2501, Online, July 2020. Association for Computational Linguistics.

[6] Wanrong Zhu, Zhiting Hu, and Eric P. Xing. Text infilling. CoRR, Vol. abs/1901.00158, , 2019.

[7] Tianxiao Shen, Victor Quach, Regina Barzilay, and Tommi Jaakkola. Blank language models. arXiv preprint arXiv:2002.03079, 2020.

[8] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In 1st International Conference on Learning Representations, ICLR 2013, Workshop Track Proceedings, 2013.

[9] Chooi Ling Goh and Yves Lepage. An assessment of substitute words in the context of academic writing proposed by pre-trained and specific word embedding models. In LeMinh Nguyen, Xuan-Hieu Phan, Kôiti Hasida, and Satoshi Tojo, editors, Computational Linguistics. PACLING 2019. Communications in Computer and Information Science, vol 1215, pp. 414-427, Singapore, 2020. Springer Singapore.

[10] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. In Proceedings of the 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing, 2019.

[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chau- mond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Huggingface's transformers: State-of-the-art natural language processing. ArXiv, Vol. abs/1910.03771, , 2019.


# 静的な単語埋め込みによる カタカナ語を対象とした BERT の語彙拡張

平子潤
名古屋大学情報学部
hirako.jun@g.mbox.nagoya-u.ac.jp

## 1 はじめに

BERT[1] ではサブワードを利用することで語彙に 含まれない未知語を含む文も適切に処理することが 可能となっている. しかし，サブワードが意味を持 つ適切な単位となっていない場合，その有効性は限定的であると考えられる。こうしたケースはカタカ ナ語の未知語において特に多く出現すると言える。 たとえば本研究で使用した BERT (3.2 節参照)では,「クロワッサン」は「クロ」「\#\#」「\#\#ッサン」の 3 つのサブワードに分割されるが，これらは意味のあ る単位とはなっていない。

このような未知語を含む文を適切に扱えるよう にする 1つの方法は語彙サイズを大きく設定し, こ れらの語を語彙に含めてしまうことである. しか し，BERT の事前学習時の語彙サイズを大きくした 場合，計算コストが増大してしまう，そこで，本研究では比較的低コストに学習できる静的な単語埋め 込みを用いた BERT の語彙拡張手法を提案する.

## 2 単語埋め込みのマッピング

BERT は，図 1 に示すように語彙に含まれる各単語に対し文脈に依存しない単語埋め込み (BERT Token Embeddings) を持っている.この埋め込み層 を拡張することで BERT の語彙の拡張が可能とな る. 本研究では, より大きな語彙サイズで学習した 静的な単語埋め込みを, BERT Token Embeddings と 共通する語を手掛かりにマッピングすることで，事前学習済みの BERT の語彙を拡張する。

## 2.1 既存のマッピング手法

異なる単語埋め込み空間のマッピングは, 2 言語間の単語埋め込みの対応付けを目的として行われる 場合が多い [2]. 教師あり手法の場合， 2 言語辞書を 用いて対応付けるべき単語ペアを獲得し，各単語ぺ アの単語ベクトルが近くなるようにソース単語埋め

\author{
笹野遼平武田浩一 \\ 名古屋大学大学院情報学研究科 \\ \{sasano, takedasu\}@i.nagoya-u.ac.jp
}

図 1 BERT の構造. BERT Layers は BERT の Input Embeddings 以外の層を表している.

込みをターゲット単語空間にマッピングする。この ような手法の先駆けとして, Mikolov ら [3] は，マッ プ後のソース単語ベクトルとターゲット単語ベクト ルの平均二乗誤差が小さくなるような変換行列 $W$ を SGDで求める手法を提案した．また，Xing ら [4] は，ソースとターゲットの全単語ベクトルのノルム を正規化し，変換を直交変換に限定する手法を提案 した. さらに, Artetxe ら [5] は, ノルムの正規化や 直交変換に加えて，分散の正規化，再重み付け，次元削減を複数ステップで行う枠組みを提案した.

## 2.2 静的な単語埋め込みからのマッピング

本研究で目的とする, 静的な単語埋め込みから BERT Token Embeddings へのマッピングが，既存の 言語間の単語埋め込みのマッピングと大きく異なっ ている点として，言語間マッピングでは基本的に各言語における単語埋め込み生成アルゴリズムは同一 のものが使用されるのに対し，本研究におけるマッ ピングではソース単語埋め込みとターゲット単語埋 め込みの生成アルゴリズムが異なっていることが挙 げられる。したがって，マッピング対象とする $2 \supset$ の埋め込み空間の性質が大きく異なる可能性が考 えられることから，本研究で使用した BERT Token Embeddings と, fastText で学習した静的な単語埋め 込み (3.2 節参照) の両方に含まれる単語のノルムの 関係を調査した. 結果を図 2 , 図 3 に示す. BERT

図 2 BERT Token Embeddings と fastText Skip-gram で共通 する単語のノルムの関係. 相関係数は 0.355 .

図 3 BERT Token Embeddings と fastText CBOW で共通す る単語のノルムの関係. 相関係数は-0.142.

Token Embeddings と fastText で学習した静的な単語埋め込みの間で，ノルムに強い相関は確認できず， また，平均値も大きく異なっていることが分かる. ${ }^{1}$

これらの結果から，単純な変換行列に基づくマッ ピングを行った場合，ノルムの性質の違いを要因と し精度低下が起こる可能性が考えられる。そこで，単純な変換行列に基づくマッピング (補正なし) に加 え，ノルムの性質の違いを考慮した3つのマッピン グ手法を含めた下記の 4 つのマッピング手法を考 える。これらの手法において直交変換は，変換後の ソース単語埋め込みとターゲット単語埋め込みの平均二乗誤差が最小となるように行う.

1. 補正なし: 静的な単語埋め込み $M$ を直交変換

2. 平均補正: 静的な単語埋め込み $M$ の平均ノルム が BERT Token Embeddings の平均ノルムと一致 するよう $M$ を定数倍してから直交変換

3. 正規化: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してから直交変換

4. 正規化＋補正: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してか ら直交変換した後，BERT Token Embeddings の 平均ノルムで変換後の $M$ を定数倍

本研究では，サブワードが適切に機能しないケー スが多いと考えられるカタカナ語を対象に，これら 4 つのマッピング手法を用い fastText で学習した静的な単語埋め込みを BERT Token Embeddings にマッ ピングすることで BERT の語彙拡張を行う。

## 3 実験

本研究では語彙拡張の有効性をマスク単語予測実験を通して検証する，具体的には，語彙拡張が有効 であるならば，拡張した語を含む文において拡張語 と依存関係の強い周辺語のマスク単語予測の精度 が，語彙拡張前の BERTを使った場合，すなわち拡張語をサブワードの系列として扱った場合と比べ 向上するとの仮説に基づき，マスク単語予測データ セットを作成し, それらのタスクの精度を通して語彙拡張の有効性を検証する。

## 3.1 マスク単語予測データセット

語彙拡張の有効性検証のため，上位語予測，兄弟語予測, 述語予測, 被連体語予測の 4 タイプのマ スク単語予測データセットを作成した. 以下の文 (1) (4) はそれぞれのタイプの例となっている.

(1) <カボチャ>は [野菜] の一種です。

(2) 「<スプーン>」と「[フォーク]」。

(3) くフローラル>の [香り]が気に入った。

(4) 久しぶりに<クロワッサン>を [食べる]。

これらの例において, '<>' で囲った語が拡張語, '[]' で囲った語がマスク予測対象語となっており，いず れの場合もマスク予測対象語は拡張前の BERT の語彙に含まれている語である. 各タイプのデータセッ トの作成方法と評価指標を以下にまとめる.

上位語予測 拡張語の上位語が予測対象語とな るようにデータセットを作成した，入力文は『<拡張語>は [MASK] の一種です。』とし，対象とする拡張語は，日本語 WordNet[6] に含まれ，拡張語を含 む synset の上位 synset に BERT の語彙に含まれる 語が存在した語とした. 条件を満たした拡張語は 2730 個であった. 正解となる上位語は複数存在す る可能性があることから評価指標には Mean Average Precision (MAP) を用いた。

兄弟語予測 拡張語の兄弟語が予測対象語とな るようにデータセットを作成した．入力文は『く<拡張語>」と「[MASK] ]。』とし, 対象とする拡張語 は，日本語 WordNetに含まれ，拡張語を含む synset の上位 synset の下位 synset から，拡張語が含まれる
表 1 マスク単語予測実験の結果 (太字は拡張なしょり高いスコアであることを表す)

} & \multirow{2}{*}{ 拡張なし } & \multicolumn{4}{|c|}{ 拡張あり (Skip-gram) } & \multicolumn{4}{|c|}{ 拡張あり (CBOW) } \\

synset を除いた synset (兄弟 synset) に BERT の語彙 に含まれる語が存在した語とした. 条件を満たした 拡張語は 3049 個であった. 上位語予測と同様に評価指標には Mean Average Precision (MAP) を用いた。

被連体語予測拡張語が連体修飾する語が予測対象語となるようにデータセットを作成した. 具体的には，Common Crawl に含まれるテキスト2を， $\mathrm{MeCab}^{3}$ を用いて形態素解析し, そこから『<拡張語 >のく名詞〉く格助詞〉』というパターンを含む文章を 抽出し，BERT の語彙に含まれるく名詞〉を [MASK] に置き換えた 1 万文を使用した．正解単語は置き換 え前の<名詞>とし, 正解が 1 つであることから, 評価指標には平均逆順位 (MRR)を用いた。

述語予測 拡張語を項とする述語が予測対象語と なるようにデータセットを作成した，具体的には， Common Crawl から『<拡張語〉<格助詞〉<動詞〉。』と いうパターンを含む文を抽出し，BERT の語彙に含 まれているく動詞〉を [MASK] に置き換えた 1 万文を 使用した．ただし，情報量の少ない「する」や「な る」などの述語を除くため, 平仮名のみで構成され るく動詞〉を含む文は対象から外した，被連体語予測 と同様に評価指標には平均逆順位 (MRR)を用いた。

## 3.2 実験設定

静的な単語埋め込みの作成には, fastText ${ }^{4}$ を利用 し, Skip-gram と CBOW[7] の 2 つのモデルで学習を 行った.コーパスは Wikipedia 日本語版を利用し, $\mathrm{MeCab}^{3}$ により単語分割を行った. 次元数は BERT Token Embeddings と同じ 768 次元とした. また, 事前学習済みの BERT として, 東北大学で公開されて いるモデル゙を利用した。

実験では，語彙拡張を行わないBERTをべースラ インとし, 4 つのマッピング手法 (補正なし, 平均補正，正規化，正規化+補正) で語彙拡張した BERTを 比較した. マッピングの学習には, BERT の語彙の
^{2} \mathrm{http} / / /$ statmt.org/ngrams/で公開されているデータを利用した.

${ }^{3}$ https://taku910.github.io/mecab/ (辞書: mecab-ipadic)

${ }^{4}$ https://github.com/facebookresearch/fastText

 }^{5}$ https://github.com/cl-tohoku/bert-japanese で公開されているモ デルのうち, Wikipediaを MeCab (ipadic) と WordPiece で単語分割 し, Whole Word Masking で学習したモデルを利用した.

うちサブワードトークン(「\#\#」から始まる) と特殊 トークン ([MASK] や [CLS] など) を除く，すべての 単語を使用した. 拡張対象語彙は，静的な単語埋め 込みの学習に使用した Wikipedia において，BERT の語彙に含まれない出現頻度上位 32000 個のカタ カナ語とした. ただし，カタカナ語とは， MeCabに よって 1 語としてまとめられた，カタカナのみで 構成される単語である. 32000 語を語彙に追加する ことで, Wikipediaのカタカナ語の頻度ベースのカ バー率は $71.3 \%$ から $90.7 \%$ となった.

## 3.3 実験結果

表 1 に実験結果を示す. 上位語予測と兄弟語予測 では，提案手法のうちノルムの違いを考慮した 3 手法はベースライン (拡張なし)を上回った。一方，被連体語予測と述語予測では，いずれの手法を用いて もべースラインを上回ることができなかった.これ については次節で詳細な分析を行う。

ノルムの補正を行わない手法 (補正なし) と行う手法を比較すると，補正を行うことで精度が大幅に向上することが確認できる。一方，ノルムの補正を行 う 3 手法間では大きな精度の違いは見られなかっ た. このことは, 図 2, 図3で示したように，BERT Token Embeddings と静的な単語埋め込みのノルムの 性質が大きく異なるため，ノルムの平均の補正や正規化を行わなずに直交変換するだけでは適切にマッ ピングできないことを示している.

マッピングに使用した静的な単語埋め込みの 学習に利用した 2 モデルを比較すると，ノルム の補正を行わなかった場合 (補正なし) は, BERT Token Embeddings とのノルムの相関が比較的大きい Skip-gram を用いた場合の方が，CBOWを用いた場合より高い精度となった. 一方，ノルムの補正を 行った場合は静的な単語埋め込みの違いによる精度差はほとんど確認できなかった。

## 4 単語構成と出現頻度による分析

被連体語予測および述語予測において，提案手法 がベースラインを上回ることができなかったのは，大きく2つの要因があると考えられる.

1つ目は，単語に構成性があることである．たと えば拡張したカタカナ語に含まれる「ビデオカメ ラ」は，「ビデオ」と「\#\#カラ」という 2 つのサブ ワードに分割されるが，これらはそれぞれ意味を持 つ形態素となっている.このようにより細かい形態素に分解可能な語は，カタカナ語であっても意味の あるサブワードに分割することができるため，サブ ワードが有効に働くと考えられる.

2 つ目は, 出現頻度の高いカタカナ語の存在であ る. 高い頻度で出現するカタカナ語の場合，人間が 見た場合に意味のあるサブワードに分割すること ができなかったとしても，それらのカタカナ語の 意味を適切に処理できるようにサブワードの埋め 込みの学習が行われている可能性がある。たとえ ば，拡張したカタカナ語に含まれる「ペンギン」は， Wikipedia において 1900 回以上という高い頻度で出現していることから，「ペンギン」を構成する「ぺ ン」および「\#\#ギンというサブワードは「ペンギ ン」に近い意味となるように学習が行われている可能性がある.

これら 2 つの要因による影響を検証するため，拡張語を単語構成と出現頻度に基づき分類した 8 つの タイプごとに，被連体語予測と述語予測においてカ タカナ語を追加する効果を調査した。具体的には，下記の基準によりカタカナ語を分類し, Common Crawl から各タイプに該当する文を 2500 文ずつ抽出 し，正規化+補正手法により語彙を拡張する場合と， しない場合の精度を比較した。

単語構成による分類Unidic[8] が採用している，短い語の単位である短単位に基づきカタカナ語を形態素解析し ${ }^{6}$, Unidic に含まれる複数の語に分割さ れたものを複合語，それ以外の語を単純語に分類

出現頻度による分類 32000 語のカタカナ語を， Wikipedia における出現頻度により上位 $25 \%$, 上位 $25 \sim 50 \%$ ，上位 50 75\%，下位 $25 \%$ の 4 つに分類

実験結果を表 2 に示す。表 2 において太字はべー スラインより高いスコアであることを示す. 単純語 かつ出現頻度が高くない単語に対しては, ほとんど の場合において，拡張ありのスコアが拡張なしのス コアを上回っており，語彙拡張が有効であることが 確認できる。このことから，拡張するカタカナ語を 単純語かつ高頻度でない単語に限定すれば，有用な 単語拡張が可能であると考えられる。一方，合成

表 2 単語構成と出現頻度による分析 (MRR)

} & \multirow{3}{*}{} & \multirow{3}{*}{ 出現頻度 } & \multirow{3}{*}{ 拡張なし } & \multicolumn{2}{|c|}{ 拡張あり } \\

表 3 マスク単語予測において改善した例

語，および，単純語であっても頻度上位の語につい ては拡張することでスコアが低下しており，被連体語予測および述語予測においてカタカナ語を対象と した語彙拡張によるスコアの向上が確認できなかっ た要因は，構成的な単語および高頻度語を対象とし た語彙拡張が有効でなかったためであると言える。

表 3 に BERT の語彙を拡張したことによる改善例 を示す. 語彙拡張を行うことで「クロワッサン」な どの語の意味を適切に捉えることができるように なっていることが確認できる.

## 5 おわりに

本研究では, 静的な単語埋め込みから BERT Token Embeddingsヘマッピングを行うことで，BERT の語彙を拡張する手法を提案した. さらに，マスク単語予測データセットを用いて，カタカナ語を対象とし た語彙拡張の有効性の検証を行い，単純語かつ出現頻度が高くないカタカナ語については語彙拡張が有効であることを示した．今後の課題としては，構成的でない漢字語などカタカナ語以外に対する提案手法の有効性の検証や，本研究で用いた直交変換に基 づく手法より適したマッピング手法の解明などが考 えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL'19, pp. 4171-4186, 2019.

[2] Sebastian Ruder, Ivan Vulić, and Anders Søgaard. A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, Vol. 65, p. 569-631, 2019.

[3] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv:1309.4168, 2013.

[4] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized word embedding and orthogonal transform for bilingual word translation. In Proc. of NAACL'15, pp. 1006-1011, 2015.

[5] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Generalizing and improving bilingual word embedding mappings with a multi-step framework of linear transformations. In Proc. of AAAI'18, 2018.

[6] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, 2009.

[7] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Proc. of ICLR'13, Workshop Track Proceedings, 2013.

[8] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 :形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.


# Tokenizer の違いによる日本語 BERT モデルの性能評価

築地俊平
茨城大学工学部
情報工学科
17t4055g@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

近年、事前学習済みモデル BERTを利用すること で自然言語処理システムの性能が飛躍的に向上して いる。当初、実質英語だけが対象であった BERT だ が、現在は日本語 BERT も数多く構築・公開され、一般に利用できるようになってきた。様々な日本語 BERT がある中で、どの BERT を利用すべきかは明 らかではないが、選択の要因の一つは単語分割にあ ると考えられる。日本語 BERT は各々の Tokenizer を持ち、そこで利用される語彙リストが異なってい る。そのためタスクの目的に合った Tokenizer を持 つ BERTを利用した方がよいと考えられる。一方逆 に利用する BERT を固定したい場合も多いと思われ る。その場合、その BERT の持つ Tokenizer とは異 なる Tokenizerを利用した際に、性能への影響がど の程度あるのかは興味深い。

ここでは東北大版の 'bert-base-japanese' と呼ばれ る BERTを利用して、上記の調査を行った。'bertbase-japanese' の BERT は Tokenizer として MeCab が 利用されている。入力された文は MeCabにより単語分割され、各単語が token id に変換される。この 際、語彙リストに登録されていない単語については WordPiece が起動されて単語分割が行われる。つま り BERTへの入力として別の Tokenizer を利用して 単語分割を行っても、token id 列に変換され、以後の 処理は正常に行われる。

本論文では BERTを利用した文書分類のタスクを 行う。利用する BERT は東北大版日本語 BERT であ る。文書から BERT の入力となる token id 列を得る のに、様々な Tokenizer を利用して、Tokenizer の違 いによる性能の評価を行う。

## 2 BERT と Tokenizer

## 2.1 BERT

BERT は汎用的な言語モデルの事前学習を行う手法の一つである．大量のテキストデータを事前学習したモデルに少量の教師データを追加学習させる ことで、テキスト分類などの様々なタスクで先行研 を超える分類性能を達成している．BERT は双方向 Transformerをべースとした汎用言語モデルであり、大規模コーパスで事前学習を行い、その後タスクに 応じたファインチューニングを行うことで、様々な タスクに応用できるモデルである本実験では BERT の学習済みモデルには東北大学乾・鈴木研究所で作成された日本語 BERTを用いる [1].

## 2.2 Tokenizer

日本語は英語と比べると単語間に明確な区切り が存在しない．そのため、日本語の解析をする場合 には単語、文字など何らかの部分に分ける必要があ る. さまざま分け方はあるが、分割された文字列の ことをトークンという. Tokenizer は文書を単語分割 をして、それに ID という数値に変換するモジュー ルである．単語を分割する方法としては

・N-graum を使って単語に分割

・MeCab、Juman などを使って形態素解析して形態素に分割

・事前に単語単位に分割して各単語の頻度を求 め、高頻度で現れる単語を一つの単語とするサ ブワード

がある.また、サブワードについてくわしくは後述 する。

表 2 Tokenizerによる token id 列

## 3 実験

本研究では 6 種類の Tokenizer と東北大学乾・鈴木研究室が公開している日本語 BERTを使う。その中 で Toknizer の SentencePiece は日本語 Wikipedia デー 夕を使用する．使用する日本語 BERT の Tokenizer は MeCab+WordPiece である.

## 3.1 実験条件

本研究では訓練データ、テストデータを livedoornews から使用した. テストデータは 736 文、訓練データは 5887 文が用意し、それぞれ以下の 9 つ のカテゴリに属するものを収集したデータセットで ある。

・トピックニュース
- SportsWatch

・IT ライフハック

・家電チャンネル

$\cdot$ MOVIE ENTRY
- 独女通信

・エスマックス
- livedoor HOMME
- Peachy

本実験では 9 種類の文書を文書分類をするタスク を行う.まずは通常の単語分割がされていないなめ
データの文書を訓練データとして学習させ、単語分割していない生データである、テストデータを実行 し精度を確認した，次に各 Tokenizer で訓練データ、 テストデータを単語分割した文書を使い精度を確認 した. 続けて訓練データのみ Tokenizer で単語分割 した文書を使用し、テストデータは単語分割のない 生データの文書で精度を確認した. 最後に訓練デー タは単語分割されていない生データを使用し、テス トデータは各 Tokenizer で単語分割した文章を使い それぞれ精度を確認した。

## 3.2 性能評価に使用する Tokenizer

今回使用する Tokenizer の特徴は以下の通りであ る. Tokenizerごとにアルゴリズムがかわってくるた め、特徴と違いについて触れる。

MeCab+IPAdic、MeCab+IPAdic+NEologd ラティス を構築して、その中から最適なパスを選択する。辞書である NEologd が追加されたため複数の形態素に 分割されてしまう固有表現をもっているニュース記事から抽出した新語や固有名詞や道語、ネット上で 流行した単語や慣用句やハッシュタグなども行って いる. 文書クラスが定義する以下についての変更は 禁止とする。

Juman++ 京都大学黒橋研究室で作成され た,RNNを使用した形態素解析機である. ニューラ ル LMを用いることで精度が高くなっている. 辞
表 3 Sudachi の分割情報と 3 種類の形態素解析結果

書は基本辞書、Wikipedia、Wikiionary、Web text であ り、合計で 90 万語ほどになっている.

## Sudachi [2]

ワークスアプリケーションズ ワークス徳島人工知能 NLP 研究所が開発した形態素解析機である.

UniDic 由来の単単位語句と NEologd 由来の膨大な 固有名称をべースに大規模な辞書データをを構築し ている。約 280 万語を超えている. 最適な形態素の 長さは、アプリケーションによって異なるという考 えから 3 種類の形態素単位が用意されている（表 3 参照)

A 単位とはほぼ UniDic の単単位規定と同じであ るが、一部のものは更に短くしているものを A 単位 としている. B 単位はとは $\mathrm{A}$ 単位に説示及び漢字 1 文字の名詞が結合したもの、及び複合動詞である。 $\mathrm{C}$ 単位とは更に多くの語句が結合したもので、複合名詞や固有名称、慣用句などがこれに相当し、アプ リケーションごとに形態素単位を選択している.

Neologd 由来の語句は長単位のものが多いため、基本的にすべて分割情報を付与している。ただし、量が膨大なため、まず機械的に分割情報を付与し、人手でチェックする

さまざまなツールがある中、商業利用に耐えう る、より高品質で使い勝手の良い形態素解析器であ り、辞書の継続的なメンテナンスがされる.

## nagisa [3]

Bidrectional-LSTM を用いた日本語単語分割卜品詞推定が特徴である. Bi-LSTM を用いた文字単位の 系列ラベリングによる解析を行うので、顔文字や URL、ネット用語に対し頑健な解析ができる. 多言語に対応している。

## SentencePiece [4]

サブワードの考え方を用いた分割方法である.

事前にテキストを単語分割し、各単語の頻度を求 めておく．高頻度の単語は 1 単語として扱い、低頻度後は短い単位に分割する。最終的なトークン数が 事前に与えられた数千から数万のサイズになるよう に分割をする。サブワードによって未知語がなくな り、低頻度語も最終的には文字になり、語彙数を小
さくすることができる.

SentencePiece は文書をサブワードに分割するモ デルであり、コーパスから教師なし学習が可能に なる. 特徴の一つとして、End to End 処理に向けた テキストの可逆分割ができます. 通常の形態素解析の単語分割では、分割はできてもそれを復元す ることは困難である. この単語分割の逆を脱トー クン化という．脱トークン化を可能にするために、 SentencePiece ではスペースを通常のトークンとして 扱う、便宜的にスペースをメタ文字 (_) に書き換え る. 言語依存の処理がなく、完全な End-to-End 処理 が可能になる.

参考として各 Tokenizerで得られる単語分割と token ID 列の例を表 1 と表 2 に示す。

## 3.3 実験結果と考察

今回の実験では、訓練データとテストデータの文書を生データのまま東北大版 BERT で文書分類し、評価值を調べたところ、結果は 87.44 となった.こ れを基準として、3つの実験結果を見ていく.

訓練データとテストデータを各々同じ Tokenizer で単語分割したデータでタスクを行った. 文書分類をした結果は表 4 となった. 全体を通じて、生 データのまま文書分類をした場合と比べて、評価値が飛躍的に高くなる、低くなることはなかった. SentencePiece で単語分割したデータの評価値がほか と比べて低くなっていた.

訓練データは生データ、各 Tokenizer で単語分割 したテストデータで文書分類のタスクを行った結果は表 5 となった.ここでも生データのままタスク を行ったときの評価値と大きく差は出なかったが、 SentencePiece のみ 84.96 と大幅に評価値を落として いた.

テストデータは生データのままで、各 Tokenizer で単語分割した訓練データでの文書分類のタスクを 行った結果は表 6 となった. 同じように 88.00 を超 えることはなく、SentencePiece が評価值落としてい た. Tokenizerが同じで、訓練データやテストデータ で比較すると、大きな違いはなく、SentencePiece 以外は 87.00 から 87.90 の間の評価値であった.

東北大版日本語 BERT の Tokenizer が MeCab+WordPiece である. 他の Tokenizer では分割が異なるため、IDが変わる。そのため、MeCabで 単語分割したタスクは生データの評価値と近くなる

ことが予想されていた. 逆に、他の Tokenizer で単語分割し、タスクを行ったときは評価値が下がると 予想していたが評価値は MeCabでの評価值とあま り変わらなかった。これは、多少 Tokenizer の仕組 みが変わっても、ID 化したときにはタスクにはあ まり影響が出ない程度の違いでしかないと考えられ る. Tokenizer で分割した文書を ID にしたときの違 いの割合と関係していると考察する。

表 4 訓練データとテストデータを Tokenizer で単語分割両方のデータに使用した Tokenizer accuracy 生データのまま 87.44

MeCab+IPAdic 87.39

MeCab+IPAdic+NEologd 87.85 Juman++ 87.76

Sudachi 87.59

nagisa 87.71

SentencePiece 86.37

表 5 テストデータを Tokenizer で単語分割

表 6 訓練データを Tokenizer で単語分割

## 4 おわりに

本研究では、訓練データとテストデータの文書を 様々な Tokenizer を使用することによって、日本語 BERT の評価値の変化を確認することができた.

単語ごとに分割する形態素解析器での文章の 分割の仕方によって、文章のトークン化に多少 の違いはあるが、日本語 BERT の Tokenizer(今回は
MeCab+NEologd) でトークン化した ID と結果が類似 したためか精度は大きく変化はしなかった.

単語を IDにしてもところどころの変化すること があっても、その程度であれば学習に影響が出にく くなっている。もしくは単語分割、今回であれば形態素解析器らは精度が上がり、かなり正確に同じよ うに単語分割ができており、その結果、評価值に変化が小さくなってると考えた. そうであれば単語分割のアプローチは様々あれど形態素解析であれば、結局はあまり変わらないことが予想される.

課題としては、今回は日本語 BERT の東北大版の みを実験で使用したが、日本語事前学習モデル全体 でも今回の実験と同じように、結果の差が出るかは わからない。

今後は、異なる日本語 BERT での精度の変化を調 べたい. SentenceBERT など Tokinizer がサブワード で単語分割されている日本語 BERT では違いがある 可能性がある.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. https://arxiv . org/abs/1810.04805

[2]坂本美保, 川原典子, 久本空海, 一馬, 内田 佳孝 (株式会社ワークスアプリケーションズワークス徳島人工知能 NLP 研究所）. 形態素解析器『sudachi』のための大規模辞書開発. 言語資源活用ワークショップ 2018, 2018.

[3]池田大志. Pythonによる日本語自然言語処理系統ラベリングによる実世界テキスト分析, 2019. https://speakerdeck.com/taishii/pycon-jp-2019.

[4]John Richardson Taku Kudo. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. 2018. https://arxiv.org/abs/ 1810.04805 .


# 単語属性変換による自然言語推論データの拡張

石橋 陽一 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

自然言語推論は前提文と仮説文が与えられ、単れ らの間にどのような関係が成立するかを予測する タスクである。これまでいくつかのタスクとデータ セットが公開されており、例えばとの中で代表的な ものとして Stanford Natural Language Inference corpus (SNLI) [1] がある。SNLI は前提文と仮説文の間に成 り立つ関係として「含意」「矛盾」光しでのどち らとも判別できない例に対して「中立」の3 種類の ラベルが付与されているコーパスである。SNLIの データ数は $550 \mathrm{k}$ ペアと、自然言語推論の他のコー パス (MultiNLI [2]:433k・SciTail [3]:27k) よりも比較的多いが、現在主流のニューラルネットワークに基 づく手法を利用するにあたっては、觉の性能を向上 させるためにより多くのデータで学習することか望 ましい。乥こで本研究では自然言語推論のデータ拡張に取り組む。

自然言語推論のデータは語の多樣性が少小いため 文の表層的な情報に過学習してしまう問題点があ ることが指摘されている $[4]$ 。この問題の解決のた めには、表層的な情報への過学習を回避するような データが必要である。乥こで本研究では SNLI 文中 の特定の単語に対して、単の意味を反転した単語に 置換することで、表層的な情報をできる限り維持し たまま意味類似性が低い文を生成する手法を提案す る。例えば、前提文 "The boy is eating a fruits." と、含意となる文 "The boy is eating an apple." が仮説文とし て与えられているとき、仮説文に対して性別を変換 する単語変換を適用し、"The girl is eating an apple." を生成する。このようなデータ拡張は元の仮説文の 文法やスタイル等の表層的な部分は変化させずに、意味を矛盾の方向に変化させることができる。した がって本研究のデータ拡張で生成した仮説文をモデ ルが学習する場合、表層的な情報だけでなく一部の 単語の意味の違いに注目する必要があるため、拡張 データで学習したモデルの性能が表層的な情報に左右されにくく頑健になると考えられる。

特定の単語の変換を行う手法として鏡映変換によ る単語属性変換 [5] がある。この手法は次の 2 つの 特徵：(1) 変換対象の属性 (例: 性別)を持つ単語 を変換し (2) 変換対象の属性を持たない単語は変換 しないという特徴を持つ。鏡映変換に基づく単語属性変換を文中の全ての単語に鏡映変換を適用した 場合、文中の一部の単語が変化し串れ以外は元文と 同じであるような文を作り出すことができる。これ により元文の表層的な情報をある程度維持したまま 意味を変えたデータを生成することが可能となる。 そこで本研究ではSNLIのデータ拡張に鏡映変換を 適用し、单の効果を検証する。

## 2 関連研究

SNLI のデータ拡張は Kang [6] らか提案している。 SNLI のデータはクラウドワーカーにアノテーショ ンされているため単の語彙か限られており文の多様性か低い。单のためモデルがある種のパターンに過学習することが指摘されている [4]。例えば、前提文 “The dog did not eat all of the chickens." に対して仮説文 “ The dog ate all of the chickens.” が与えられたと き、正しいラベルは「矛盾」であるにもかかわらず、既存のモデルは「含意」と誤分類した例が蕔告され ている。この問題に対して Kang らはルールテンプ レートを介して大規模な語彙を文に組み込みデータ を拡張することでSNLI と SciTail の精度を向上させ た。本研究では別のアプローチとして単語の変換に 基づく方法を提案する。

## 3 手法

## 3.1 単語属性変換

本研究では文のデータ拡張として、文中の特定の 単語を変換する鏡映変換に基づく単語属性変換 [5] を用いる。鏡映変換に基づく単語属性変換は、変換対象の属性を持つ単語を変換し、変換対象の属性を
持たない単語は変換しないという性質を持つ。例 えば性別の属性変換 $f_{\text {gender }}$ によって “man” のべク トル $\mathbf{v}_{\text {man }}$ を“woman” のベクトル $\mathbf{v}_{\text {woman }}$ に変換す る。一方で、性別に対して不変であるような単語、例えば“person” のベクトルが与えられた場合は変換 せず入力ベクトルと同じ $\mathbf{v}_{\text {person }}$ を出力する。これ らの 2 つの性質によって文中の特定の単語（例：性別に関する単語) のみ変換し、光れ以外の単語は変換せずにノイズの少ないデータを自動で生成可能 となる。ここで単語ベクトルのアナロジーでも変換可能のように思えるが、爫の場合は変換対象の単語 (例：性別単語) に関して事前知識を用意する必要 がある。例えばアナロジーで男性を表す単語を女性 に変換する場合、男性のベクトルから差ベクトル $d=\mathbf{v}_{\text {woman }}-\mathbf{v}_{\text {man }}$ を引くことで女性に変換し、逆に 女性から男性への変換の場合 $d$ を足すことで変換す る。したがってアナロジーで単語を変換する場合は 入力単語ベクトル $\mathbf{v}_{x}$ が男性もしくは女性のどちら に属すかという事前知識が必要となるが、鏡映変換 は事前知識を用いないための条件 (単語べクトル空間中の 2 点を同じ写像で反転可能) を淽たす写像で あるため、光のような事前知識を用ることなくデー 夕拡張に適用できる。

## 3.2 鏡映変換

図 1 鏡映変換に基づく単語属性変換

鏡映変換は鏡と呼ばれる超平面によって 2 つのべ クトルの位置を反転させる写像である。標準内積が 与えられた $n$ 次元実ユークリッド空間 $\mathbb{R}^{n}$ における 鏡映変換は

$
\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}(\mathbf{v})=\mathbf{v}-2 \frac{(\mathbf{v}-\mathbf{c}) \cdot \mathbf{a}}{\mathbf{a} \cdot \mathbf{a}} \mathbf{a}
$

と定義される。ここで $\mathbf{a} \cdot \mathbf{a}$ は内積を表す。また $\mathbf{a}$ お よび $\mathbf{c}$ は光れ艾れ鏡（超平面）を決定するパラメタ であり、a は鏡に直交するべクトル、c $\mathbb{R}^{n}$ 上の点である (図 1)。

本研究では全結合の多層パーセプトロン (MLP)
によって変換対象の属性ごとに鏡のパラメタである a と $\mathbf{c}$ を推定することて鏡を学習する：

$
\begin{aligned}
& \mathbf{a}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right) \\
& \mathbf{c}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right)
\end{aligned}
$

ここで $[\cdot ; \cdot]$ はベクトルの列方向の連結を表す。光し て入力単語ベクトル $\mathbf{v}_{x}$ の属性を反転させたベクト ルを鏡映変換し $\mathbf{v}_{y}$ を得る:

$
\mathbf{v}_{y}=\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}\left(\mathbf{v}_{x}\right)
$

光して予測されたベクトル $\mathrm{v}_{y}$ が目的の単語ベクト ルとなるように平均二乗誤差で最適化する。

## 3.3 データ拡張

鏡映変換に基づく単語属性変換を利用してデータ 拡張を行う。最初に単語属性変換モデルを学習し、光の後 SNLI のデータに適用しデータを拡張する。本研究では SNLI データの仮説文のうち含意ラベル が付与されている文に単語属性変換を適用し、文の 意味が前提文と矛盾するように単語の意味を反転さ せることで矛盾ラベルを付与した新たな文を生成す る。単語を変換する場合、変換対象外の単語が変換 されてしまうことが起きうるが、鏡映変換に基づく 単語属性変換では、鏡映写像の特性によって変換対象外の単語が入力された場合はほぼ変換されないた め、この問題をある程度回避する事ができる。また これにより、一部の単語のみが変換されることで、文の表層的な情報をほとんど変えずに矛盾する文を 生成できる。光こで本研究では含意ラベルが付与さ れた仮説文の全ての単語を鏡映によって変換する。 なお、単語属性変換によって拡張するデータは訓練 データのみとし、評価データは拡張を行わない。ま た、鏡映変換によって変化しなかった文は新たな データとして追加しない。

## 4 実験

## 4.1 単語属性変換の学習と SNLI データの 拡張

まずは単語属性変換の学習を行った。[5] の単語属性変換の学習データと評価用データを結合し、学習データとして用いた。変換対象は性別と反意語と し、少れら 2 つの単語データを結合し学習データと した。事前学習済み単語埋め込みには GloVe [7] を 使用した。単語べクトルの次元数は 300 次元、 5 層 の MLP の隠れ層次元数は 300 次元で鏡映変換の学習を行った。最適化には Adam を使用し学習率の設
定は以前の研究で最高精度のモデルの設定を使用 した。

表 1 単語属性変換の学習用データセット

次に、学習した単語属性変換を SNLI のデータに 適用しデータを拡張した。表 2 は追加されたデータ 数と拡張前のデータ数の比較である。拡張前と比較 して最大で 24 万件データを生成・追加することがで きている。表 4 に生成されたデータの一例を示す。鏡映変換によって変換対象の特定の単語のみ変換 されており、元の仮説文の表層的な類似性を維持し たまま意味を矛盾に変えることができている。例え ば、性別の鏡映変換によって “An actor is performing in an outdoor park dressed up." の “actor" を “actress" に 変えているが、それ以外の単語は鏡映変換を適用し ても変化していない。このため、文の品質を損なう ような単語が混在した文を生成することなくノイズ の少ないデータを多く生成できたと考えられる。

表 2 データ拡張の結果

表 3 単語属性変換で拡張したデータで学習したモデルの スコア

4.2 SNLI モデルの学習とデータ拡張によ る精度の変化

データ拡張を行っていないオリジナルのデータ と、単語属性変換による拡張を行ったデータでとれ ぞれ SNLI のモデルを学習した。本研究では前提文 と仮説文龸れ艾れを別の RNN でエンコードし結合 したベクトルを MLP に入力し分類するモデル [1] を 用いた。モデルの設定はすべての実験で同一とし、
RNN には 300 次元の LSTM を用い、バッチサイズ は 128 で学習を行った。実験の結果を表 3 に示す。

実験の結果、データ拡張の実施前後でモデルの性能は大きく向上しなかった。この原因としてラベル の偏りによってモデルが過学習したことが挙げられ る。本研究では矛盾ラベルは大きく増加しているが 含意や中立のラベルは増えていないため、SNLI モ デルが矛盾ラベルに過学習し、分類結果が偏るケー スが増加したと考えられる。光こで、混同行列を作成しラベルの偏りによって分類結果が異なっている か確認した (図 2)。光の結果、矛盾と中立に分類さ れたケースが 128 から 303 件増加していることがわ かった。したがって、ラベルの偏りにモデルが過学習した結果、精度が向上しなかったと思われる。解決策として含意ラベルを付与した文を増加させる方法を検討中である。

図 2 混同行列の可視化。(a): データ拡張なし (b) : デー 久拡張 (性別) (c): データ拡張 (反意語) (d): データ拡張 (性別 + 反意語) (b)-(d) は (a) からの差分 (増減数) を 元に混同行列を作成している。

## 5 まとめと今後の課題

本研究では自然言語推論のデータ拡張のために文 の表層的な情報をできる限り変化させず意味を変化 させたデータを追加するデータ拡張に取り組んだ。文の表層的な類似性を保ち意味を変換するため文中 の特定単語のみを変換する単語属性変換を適用し光 の効果を検証した。実験の結果、鏡映変換に基づく 手法は文中の特定の単語のみを変換させ、ノイズの 少ないデータを多く生成することができた。実験で は SNLI モデルを学習しデータ拡張による性能を比

 & The woman is wearing green. & The man is wearing green. \\

較したが、データ拡張によって特定のラベルが増加 し過学習が起きた結果、モデルの性能に顕著な差は 見られなかった。今後はラベルスムージングや前提文にもデータ拡張を適用し含意ラベルを増やすこと でラベルの偏りを調整することを検討している。

## 謝辞

本研究は JST さきがけ(JPMJPR1856) の支援を受 けたものである.

## 参考文献

[1] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Lluís Màrquez, Chris Callison-Burch, Jian Su, Daniele Pighin, and Yuval Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 632-642. The Association for Computational Linguistics, 2015.

[2] Adina Williams, Nikita Nangia, and Samuel R. Bowman. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pp. 1112-1122. Association for Computational Linguistics, 2018.

[3] Tushar Khot, Ashish Sabharwal, and Peter Clark. SciTaiL: A Textual Entailment Dataset from Science Question Answering. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artifi- cial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, pp. 5189-5197. AAAI Press, 2018.

[4] Guanhua Zhang, Bing Bai, Junqi Zhang, Kun Bai, Conghui Zhu, and Tiejun Zhao. Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Crossdataset Generalization Ability. CoRR, Vol. abs/1909.04242, , 2019.

[5] Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Reflection-based Word Attribute Transfer. In Shruti Rijhwani, Jiangming Liu, Yizhong Wang, and Rotem Dror, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, ACL 2020, Online, July 5-10, 2020, pp. 51-58. Association for Computational Linguistics, 2020.

[6] Dongyeop Kang, Tushar Khot, Ashish Sabharwal, and Eduard H. Hovy. AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pp. 2418-2428. Association for Computational Linguistics, 2018.

[7] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1532-1543, 2014.


# 人狼知能開発のためのドメイン特化事前学習モデルの作成

角田一星
静岡大学 情報学部
itsunoda@kanolab.net

## 1 はじめに

不完全情報ゲームである人狼をプレイする人工知能の開発は人狼知能プロジェクト [1] と呼ばれ、高度な自然言語によるコミュニケーションと推理を要 することから挑戦的なテーマとして盛んに研究され ている。

しかし、人狼知能プロジェクトのような限定され たドメイン下では、近年主流となっている深層学習 を用いるための十分なデータを用意することが難し い。そこで、そのような限定的なドメイン下での研究を支援するため、BERT[2]のような事前学習済み モデルの転移学習が頻繁に行われている。しかし、既にトークナイズを含め学習を行ったモデルを、通常とは大きくかけ離れたドメインに適応することは 望ましくない。例えば人狼ゲームでは、専門用語や 記号を頻繁に使用する上に多人数での会話を行って おり、日本語 wikipediaコーパス等での事前学習が効果的かどうかは疑いの余地ある。実際、Sci-BERT[3] や、Bio-BERT[4] のようなドメイン特有のコーパス で事前学習させたモデルが汎用的なコーパスで学習 させたモデルより高い精度を出したことが報告され ている。

そこで本研究では、ネット上で行われた人狼ゲー ムのログを学習コーパスに用いた人狼ドメインに 特化した事前学習モデルの作成を行った。提案手法 により、限定的なドメインにありがちなコーパスの 不足をデータ拡張によってカバーし、多人数会話口 グを事前学習用コーパスとして用いる一例を示し た。また、モデルに関しては、入力の最大長の設定 によってモデルが学習した文脈の活用の仕方に違い があることがわかり、汎用的なドメインのコーパス で学習されたモデルより少ない計算コストで同等の 性能を発揮することができることを確認した。1)

\author{
狩野芳伸 \\ 静岡大学 情報学部 \\ kano@inf.shizuoka.ac.jp
}

## 1.1 人狼とは

人狼ゲームは、数人から十数人のプレイヤーに よって行われる。各プレイヤーには役職が割り振ら れ、その役職に応じて村人陣営と人狼陣営に分かれ て戦う。互いのコミュニケーションによって"人狼" の役職を割り当てられたプレイヤーを見つけ出すこ とがこのゲームの目的である。各役職には他人の役職が分かる等の能力があり、嘘をついたり見破った りしてゲームを自分の有利に進めることがこのゲー ムの醍醐味である。そのため、このゲームではプレ イヤーの発言を正しく理解することが何よりも重要 であり、高度な言語処理が要求される。

## 2 提案手法

## 2.1 事前学習モデル

事前学習タスクには Masked Language Model(以下 MLM)のみを設定した。BERT では MLM に加えて NextSentencePrediction(以下 NSP)を行うが、人狼の ような多人数会話においては関連する発話が常に隣接するかどうかは保証することができず、NSP は事前学習タスクとして効果が薄いという研究結果 ([5], 4.2 項) も報告されていることから NSP は不必要で あると考えた。

また、モデルの最大長が 128 トークンの small モ デルと最大長が 254 トークンの large モデルの 2 つ を用意した。この際、small モデルと large モデルの 時間計算量を揃えるため、small モデルは large モデ ルの 2 倍のバッチサイズになるようにした。さら に、small モデルと large モデルの最大長以外のモデ ル設定の差異を可能な限り減らすため、small モデ ルの学習時の入力には、 large モデルに入力するデー タ 1 件を半分ずつに分割して入力するようにして まったく同じ入力文から学習を行うようにした。詳細は以降のセクションで解説する。

なお、モデルのハイパーパラメータや細かいモデ

図 1 Windowを $1 / 3$ ずつスライドさせればコーパスは 3 倍になる。

表 2 データ成形の例

<spk>少女 リーザ</spk>個人的には

ジムゾンを占って欲しいかなくbr>

## ル設定は表 1 に示した通りである。

## 2.2 コーパス

事前学習モデルのコーパスには、ネット上で チャット形式で行われている人狼 BBS[6] の全試合 をクロールし用いた (ログの具体例に関しては付録 に記載した)。 7249 試合、16,402,471 発話を収集し、約 5.3GB となった。なお、発話内の URL やメール アドレスは除去し、数字はゲームに関係することが 多いため残している。また、改行は<br>トークンに 置換し、発話者を示すための<spk>,</spk>トークン を発話冒頭に付加した(表 2)。

## 2.3 データ拡張

2.2 で用意したコーパスのデータサイズは日本語 で 5.3GB と、[2]や [5] の研究に比べて不足してい るため、モデルの最大長で Window を定義しスライ ドさせていくデータ拡張を行った(図1)。これによ り、異なる文脈によって条件付けられたデータを用意することができ、Windowを $1 / 3$ ずつスライドさ せたためデータサイズは約 3 倍の 17GB となった。結果、8,967,034 件の 254 長のトークン系列を用意 することができ、そのうち $8,877,364$ 件を train セッ ト-large、残りの 89,670 件を test セット-large とした。 また、それらの各データについて半分の 127 長ずつ に分割し、文頭、文末トークンの足りない方を付加 して 128 長の small モデル用のデータセットとした (データセットのサイズは 2 倍になる)。

## 3 実験

今回作成したモデルの学習設定は、一般的な BERT のモデル設定 [2] に対して、step 数は約半分、 バッチサイズは small モデルが $1 / 2$ large モデルが $1 / 4$ であり、それぞれ $1 / 4 、 1 / 8$ ほどの少ない計算コ ストとなっている。そこで、作成したモデルの性能 を確かめるため、以下の 3 つの実験を行った。

## 3.1 下流タスク

人狼 BBS コーパスで学習した有効性を確かめ るために、作成した 2 つのモデルに加えて日本語 Wikipedia コーパスによって学習された BERT[7] の 計 3 つのモデルを人狼ゲームに関する下流タスクに よって比較した。下流タスクには稲葉らの公開して いるコーパス [8] を拡張して作成したデータセット を用いたテキスト分類を設定した (付録 A. 3 参照)。 このタスクは、人狼中の発話をカミングアウト (自 らの役職を告白すること、CO) 発話や、占い結果発話などのゲーム中に重要となる発話行為に分類する

図 23 種類の文脈の作成方法

表 3 発話行為分類結果

タスクであり、人狼知能の開発には基本となるもの である。データサイズは、11952 件で、このデータ セットを train:dev:test=6:2:2 に分割して学習、テスト を行った。データ数に関しては表 5 に記載した。

結果は表 3 のようになった。全てのモデルで高い スコアとなり、モデルの性能にほとんど差は見られ なかったが、今回作成したモデルの学習設定は wiki モデルに対して small は $1 / 4$ 、large は $1 / 8$ の計算コス トであり、少ない計算コストでwiki モデルと同等の 性能を発揮したということが確認できた。

## 3.2 マスクトークンの予測

small モデルと large モデルの言語モデルとしての 性能を比較するため、マスクトークンの予測による perplexityを算出した。その際、比較のために、 2.2 で用意したテストデータセットに対しては静的なマ スキング処理を行い、2つのモデルが同一箇所に対 するマスクトークン予測を行うようにした。

結果は表 4 に示した通りとなった。large テスト セットに関しては 2.1 で示した訓練方法の効果に よりほぼ同一の結果となったが、small テストセッ トに関しては small モデルが大差をつけて精度が高

表 5 発話行為分類タスクのデータ

かった。これには二つの理由が考えられる。一つ は、small テストセットは large テストセットを分割 して作成されたため、large モデルが活用できる長い スパンの文脈情報が失われたことにより large モデ ルの不利になったこと。もう一つは、2.1 で示した 訓練方法の通り、small モデルは 128 長のデータに 関してバッチサイズを 2 倍にして学習していること から epoch 数が 2 倍になり、128 長のデータに関し ては small モデルが有利なことである。この結果よ り、同一の時間計算コスト、同一文章からモデルを 学習させたとしても small モデルと large モデルでは 異なる文脈情報を活用するよう学習しており、small モデルは狭い範囲の文脈情報をより深く、large モデ ルは広い範囲の文脈情報を浅く活用しているという ことがわかった。large モデルの文脈情報の活用に関 しては次のセクションでさらに調査した。

## 3.3 文脈活用

large モデルがどの程度文脈を活用することができ ているのか、またどのような文脈を活用しているの かを明らかにするため、マスクされていない文脈情報を追加で入力する large モデルと追加しない small

図 3 small モデルと large モデルの perplexity の比

モデルとで perplexity の比較を行った。文脈情報は は図 2 に示した通り、マスキング箇所の前 127 トー クン、前後 63/64トークン、後 127 トークンの 3 種類である。また、マスキングの確率を 0.05 間隔で変化させて実験を行った。図 3 は、その結果であり、 small モデルと large モデルの perpexity の比である。

図3を見ると、常に値は 1.0 を超えており、small モデルでは入力することのできない文脈情報が perplexity の低下に効果的であることがわかった。 また、文脈は、前後 $>$ 前 $\fallingdotseq$ 後の順に perplexity の低下に寄与しており、限られた入力長下では双方向の 文脈を入力することが最も効果的であることもわ かった。図 3 が指数関数的に増大しているのは、マ スクトークン同士の依存性を学習できない MLM 下 ではマスクトークンが増えるほど文脈情報に依存す るためである。

## 4 おわりに

人狼 BBS のゲームログを用いた人狼ドメインに 特化した事前学習モデルを作成した。その際、コー パスに対して Windowを重複させながらスライドす ることにより学習データの水増しを行い、ドメイン を限定することに伴うデータ不足を軽減した。実験 により、少ない計算コストで同等の性能を出せたと いう点でドメインを限定した事前学習モデルが効果的であることがわかった。また、モデルは最大長の 違う 2 種類を用意し、同じ時間計算コストの下で同 じ文章から学習させたモデルでも最大長によってモ デルが活用する情報に違いがあることがわかった。 そのため、下流タスクでより広範囲の文脈を必要と しないならば精度の良い small モデル、そうでなけ れば large モデルという使い分けが考えられる。 また、今回作成したモデルでは、MLM 以外の事前学習タスクを行っておらず、文の分散表現に関し ては学習を行っていない。今後は、文の分散表現を 獲得するための事前学習タスクの考案とその評価方法が課題であり、ゲーム情報を活用した人狼特有の 事前学習タスクを行いたいと考えている。

## 5 謝辞

本研究を行うにあたり、人狼 BBS のデータ使用 を許可していただいた ninjin 氏に心より感謝致し ます。

## 参考文献

[1] 片上大輔, 鳥海不二夫, 大澤博隆, 稲葉通将, 篠田孝祐, 松原仁ほか. 人狼知能プロジェクト (<特集>エン ターテイメントにおける ai). 人工知能, Vol. 30, No. 1, pp. 65-73, 2015.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[3] Iz Beltagy, Arman Cohan, and Kyle Lo. Scibert: Pretrained contextualized embeddings for scientific text. CoRR, Vol. abs/1903.10676, , 2019.

[4] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. CoRR, Vol. abs/1901.08746, , 2019.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[6] ninjin. 人狼 bbs, 2021. http://ninjinix.com/.

[7] 鈴木正敏. Pretrained japanese bert models, 2021. https://github.com/cl-tohoku/bert-japanese/ blob/master/README.md.

[8] 稲葉通将, 狩野芳伸, 大澤博隆, 大槻恭士, 片上大輔, 鳥海不二夫. 人狼 bbs に対する役職表明・能力行使報告情報のアノテーション. 第 32 回人工知能学会全国大会, 1H1-OS-13a-01, 2018 .

## A 付録

図 4 人狼 BBS の発話例

表 6 MLM の例

リーザちゃんの木の実占い！この袋の中には、白と黒の木の実が入っています。

今から、木の実をひとつだけ取り出します。白い木の実なら人間、黒い木の実なら狼さんです。

・・取り出したのは、白い木の実なのです・・・!【フリーデルさんは<mask>!】

## A. 1 人狼 BBS の発話例

図 4 は人狼 BBS の発話例である。プレイヤーはキャラクターに応じたロールプレイをすることが多く、専門用語や記号を多用する。

## A. 2 MLM の例

マスクトークン予測の例を表 6 に示す。人狼 BBS では"【】"によって重要部分を囲む慣例があるため、こ の部分をマスクトークンにすることで例のような簡易的な要約も可能である。

## A. 3 下流タスク

[8] のアノテーションのうち、用いたラベルは"CO","占い結果","霊能結果","護衛"であり、"占い結果"と"霊能結果"は統合した。さらにスクレイピングした際のゲーム情報を利用することで、発話行為ラベルを CO し た役職ごとや能力の対象にしたキャラクターごとに細分化し、ラベル数を 44 とした。また、ドメインを人狼 BBS のみに偏らせないために"【】"を除去するデータ拡張と、"【】"部分を要約したデータを人手で作成する データ拡張を行っている。