# BERT を用いた文書分類タスクへの Mix-Up 手法の適用

菊田尚樹
茨城大学工学部
情報工学科
17t4028n@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理のタスクを機械学習のアプローチ で解決しょうとした場合，訓練データの構築コスト が高いことが問題になる。このため従来より様々な 試みがなされている。その中で近年のトピックの一 つとしてデータ拡張 (Data Augmentation)[1] がある. データ拡張手法は大きく加工と生成の 2 種類に分 けられる. 例えば画像の識別であれば，訓練データ 内の画像を反転させたり, 切り取ったりした画像で あってもその画像のラベルに変化はないので，その ようにして加工した画像を訓練データに追加する ことで訓練データを増やすことができる．あるいは GAN などを利用して人工的なデータを生成する手法もデータ拡張の一種といえる. データ拡張の生成手法の一つである Mix-Up 手法 [2] は，簡単に実装で き効果も高いことが知られている. Mix-Up 手法は 画像識別を対象にした手法であるが，自然言語処理 にも応用が可能である [3].

本論文では BERT [4]を用いた文書分類タスクに Mix-Up 手法を試みる. 具体的には BERT は 2 文の 入力が可能であるため，ラベルの異なる 2 文書を組 み合わせて入力し, マルチクラスの出力を教師デー タとする. livedoorニュースコーパスを用いた実験 で提案手法の有効性を示した。

## 2 関連項目

## 2.1 BERT

BERT (Bidirectional Encoder Representations from Transformers の略) は 2018 年に Google が作成し て以降利用が注目されている高性能な事前学習済み モデル [4] であり, 分類, 単語予測, 文脈判断など に活用ができる. 本研究では Mix-Up 手法を利用す ることで，BERTを用いた文書分類タスクの精度向上を試みる。

## 2.2 Mix-Up 手法

Mix-Up とは, 2017 年に Hongyi Zhang により発表 された画像分野でのデータ拡張手法である [2]. 画像データに関しては式 1 , ラベルに関しては式 2 に よってデータ拡張を行う。

$
\begin{aligned}
& x=\lambda x_{i}+(1-\lambda) x_{j} \\
& y=\lambda y_{i}+(1-\lambda) y_{j}
\end{aligned}
$

$\mathrm{x}$ は画像データのベクトル $\mathrm{y}$ はラベルの one-hot ベクトルである。 $\lambda$ は混合の割合を表わしている.

## 2.3 nlp に Mix-Up 手法を用いた先行研究

2019 年，Hongyu Guoにより，Mix-Up 手法を nlp に用いた研究が行われた [3]. Mix の方法は前節の 画像分野での方法と同じく, 式 1 と式 2 によって 行っている. nlp の場合は, xが単語の埋め込み表現 または文の埋め込み表現である。

(例) 6:4 の割合で Mix-Upする場合

## 文書 $\mathbf{1$ のベクトル}

$[0.2,-0.3,0.5, \cdots]$

## 文書 $\mathbf{2$ のベクトル}

$[0.4,0.1,-0.5, \cdots]$

## 新たな文書のベクトル

$[0.2,-0.3,0.5, \cdots] \times 0.6+[0.4,0.1,-0.5, \cdots] \times 0.4$ $=[0.28,0.22,0.1, \cdots]$

## 3 提案手法

先行研究での Mix-Up 手法を BERT での文書分類 にも採用するとなると問題が生じてしまう. 先行研究の手法では, NN の学習以前に文書の特徴べクト ルを作っておく必要があるが，BERTを利用した文書分類では NN の学習プロセスで文書の特徵ベクト ルを得るため, 先行研究とは順序が異なる. 仮に先行研究の手法を採用するとなると, BERTによる特
徵ベクトルの計算部分は学習の外でやることにな り，分類精度が期待できない。 (図 1 参照)

図 1 先行研究手法を BERT で採用する場合の学習範囲

$
\text { そこで，本論文では以下の手法を提案する. }
$

## 3.1 データの Mix 方法

2 つの文書において，BERT に入力する際の ID 列同士を連結するという手法である。id"2"は文の先頭を表し，後続の ID 列には不要なので除いた.こ の手法であれば文書の特徴べクトルを得る BERT 部分の学習が可能である. (図 2 参照) また, BERT の 入力最大列長は 512 のため，それを超えないように 前半と後半の ID 列長はそれぞれ 252 までの制限を かけた。

(例)

## 1 つ目の ID 列

[2, 6259, 9, 12396, 14, 3596, 3]

## 2 つ目の ID 列

[2, 11475, 9, 3741, 5, 12098, 75, ]

## Mix-up 後の新たな ID 列

$[2,6259,9,12396,14,3596,3,11475,9,3741,5$, $12098,75,3]$

図 2 本研究手法での学習範囲

## 3.2 ラベルの Mix 方法

各ラベルをまず 0 と 1 からなる one-hot ベクトル で表現した. Mix させる場合は 0.5 が 2 箇所で残 りが 0 のベクトルを作成した. Mix 後のラベルが 0.5 同士なのは 2 つの文書が等価値に混ざっている ことを表している.

(例)

## ラベル 3

$[0,0,0,1,0,0,0,0,0]$

## ラベル 6

$[0,0,0,0,0,0,1,0,0]$

## ラベル $\mathbf{3$ と $\mathbf{6}$ の Mix}

$[0,0,0,0.5,0,0,0.5,0,0]$

## 4 実験

## 4.1 概要

Mix-Up 手法を用いることで訓練データ数を増加 させた状態での BERTによる文書分類と，BERTを 使った通常の文書分類の精度を比較し, 本研究手法 の効果を調べた。

## 4.2 条件

## 4.2.1 実行環境

実験は Google Colaboratory の GPU 環境を利用し て行った.

## 4.2.2 使用した BERT モデル

BERT は，東北大学 乾・鈴木研究室が作成した日本語版 BERT の事前学習モデル1）のうちの一つであ る,「bert-base-japanese-whole-word-masking 」を使用し た.

## 4.2.3 使用したコーパス

livedoor ニュースコーパス2)を使用し，以下の 9 ジャンルに対しての文書分類を行った.

・ラベル $0:$ 独女通信

・ラベル $1:$ IT ライフハック

・ラベル 2 : 家電チャンネル

・ラベル 3 : livedoor HOMME

・ラベル 4 : MOVIE ENTER

・ラベル 5 : Peachy

・ラベル 6: エスマックス

・ラベル 7 : Sports Watch

・ラベル $8:$ トピックニュース

## 4.3 実験手順 ・手法

## 4.3.1 データの準備

本実験では livedoorニュースコーパスより 6623 個 の記事 (本文) を抽出し，表 1 のように振り分けた。

2) https://www. rondhuit.com/download.html\#ldcc
表 1 使用データの内訳

train は訓練時に用いたデータ，val はハイパーパ ラメータを調整するために分類精度をこまめに確認 する際に使用した検証用データ, test は出来上がっ たモデルの最終的な分類精度を確認する際に使用し たテストデータである.

また，以降の手順において各文書は BERT により 形態素解析と ID 化を済ませた状態で扱っている.

## 4.3.2 訓練データの Mix-Up

訓練データについて，Mix-Up 手法を用いてデー 夕拡張を行った. Mix させる文書の選出方法は以下 の 2 通りを試した。

## Mix させる文書の選出方法 (1)

1 つ目の選定方法は全てのラベルの文書をラ ンダムで Mix させるというものである. 乱数 を用いて 736 個の文書をランダムに並び替 え，一番目から順に隣り合った 2 つ文書 (と そのラベル)を Mix させた. この方法の場合,文書間の隙間の数だけペアが作られるため, 735(736-1) 個の拡張データができる. その結果訓練データは 736 個から 1471 個に拡張した. また，プログラムを起動するたびに選出される 組み合わせは変わるようになっている。

## Mix させる文書の選出方法 (2)

2 つ目の選定方法は，不足しているラベルの文書を対象に Mix-Up によってデータ数を増加さ せるというものである. 本実験では表 1 に示す 通り, 訓練データではラベル 3 の文書が不足し ているため，ラベル 3 の文書が必ず選定される ような動作にした. 具体的には, 51 個のラベル
3 文書からランダムに 1 つ選び，次にラベル 3 以外の 685 個のデータからもランダムに 1 つ選 び，その 2 つの文書を Mix させるという手順を 繰り返した. 連結の順序はラベル 3 の文書が前半でラベル 3 以外の文書が後半である. この動作により 765 個の新たな訓練データを作成し，訓練データは 1501 個に拡張した. また，選出方法 (1) と同じようにプログラムを起動するた びに組み合わせは変わるようになっている.

## 4.3.3 作成した分類器

分類器として使ったニューラルネットワークのモ デルは BERT の直後に全結合層を一層追加したもの を用いた. 長さ 512 以下の ID 列を BERT に入力し, 768 次元の文書の特徴べクトルを出力として得る. それを全結合層に入力し，9 次元の各ラベルに対す る予測値を出力として得るという流れである．細か な設定を以下に示す.

## 損失関数

交差エントロピー : 今回ラベルは one-hot 表現 のため nn.CrossEntropyLoss() に直接入力するこ とはできないため, nn.LogSoftmax()を利用し，交差エントロピーの定義通りに計算して損失を 求めた。

## 最適化関数

確率的勾配降下法 (SGD) : 学習率は検証データ を用いて分類精度と学習効率の両方を考慮した 結果，0.01を採用した。

## 訓練データのバッチサイズ

バッチサイズは実行環境である Google Colaboratory にて可能な最大値であった 10 を採用し た.

## エポック数

検証データでの分類精度の上がり幅を考慮した 結果，10 エポック学習すれば精度は収束値に 達していると判断した。

## 4.4 実験結果

通常版，選出方法 (1) の Mix-Up 版，選出方法 (2) の Mix-Up 版の 3 つにおいて, 訓練データで 10 エ

ポック学習したモデルをそれぞれ 10 個用意し，テ ストデータに対する正解率を求めた. 各モデルを比較した箱ひげ図を図 3 に示す. また，平均値の比較 を表 2 に示す. ※正解率は小数点第 4 位を四捨五入 している.

図 3 実験結果

表 2 平均値の比較

精度の高い順に，選出方法 (2) の Mix-Up，通常の BERT，選出方法 (1)の Mix-Up という結果になった.

## 5 考察

選出方法 (1) では通常よりも精度が落ち, 選出方法 (2)では精度が上がっていることから Mix させる 文書の選定方法が精度に大きく影響を与えることが わかった. 本実験からは，不足しているラベルを中心に Mix させてデータ拡張していくのが有効である と言える。様々な選出方法を試して，最終的な結論 を出したい。

また，今回は Mix させる二つの文書を等価値 (割合を $0.5: 0.5)$ にして実験を行ったが，連結させる ID 列長に差を設けてその割合をラベルの one-hot 表現に採用するといった手法も試してみる価値はある と考えている。

## 6 おわりに

本論文では BERTを用いた文書分類タスクに Mix-Up 手法を試みた。具体的には BERT は 2 文の 入力が可能であるため，ラベルの異なる 2 文書を 組み合わせて入力し，ラベルは one-hot ベクトルに て 0.5 の要素を二つ作ることで混合した. livedoor ニュースコーパスを用いた実験を行い，Mix-Upさ せる文書の選出方法によって精度に差が出ることを 示した.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, p. 60, 2019.

[2] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization, 2017.

[3] Hongyu Guo, Yongyi Mao, and Richong Zhang. Augmenting data with mixup for sentence classification: An empirical study, 2019.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers forlanguage understanding, 2018.


# 第一原理モデル自動構築のための モデル構築アルゴリズム

加藤祥太
京都大学大学院情報学研究科
katou.shouta.23v@st.kyoto-u.ac.jp
}

加納学
京都大学大学院情報学研究科
manabu@human.sys.i.kyoto-u.ac.jp

## 1 はじめに

化学や鉄鋼などのプロセス産業では，プロセスの 挙動の理解や設計，運転に第一原理モデル（物理モ デル）に基づくプロセスシミュレータが用いられて おり，第一原理モデルはプロセス産業に必要不可欠 である.しかしながら，第一原理モデルの構築には プロセスに関する深い理解と専門知識だけでなく,精度向上のための試行錯誤的な取り組みが必要とさ れる. 本研究の最終目的は, 複数の文献からモデル 構築に必要な情報（数式，変数，実験データなど） を抽出して第一原理モデルを自動で構築する人工知能（AI）を開発することである．著者らは，第一原理モデル自動構築 AI の実現に向けて, 必要な要素技術の開発に取り組んでいる [1].

本研究では，複数の数式を組み合わせて新しい第一原理モデルを自動で構築する手法を提案する. 本稿では，第一原理モデルをモデルと呼ぶ.

## 2 モデル候補作成アルゴリズム

モデルは，プロセスの状態を表す変数（プロセス 変数）間の関係を表す数式で構成されている. モデ ルを構築する上で重要な概念として，「自由度」が ある [2].

$
\text { 自由度 }=\text { 変数の数 }- \text { 数式の数 }
$

自由度は自由に動かすことができる変数の数を表 す. 化学プラントでは，いくつかの変数を操作して 温度や圧力などを制御して製品を製造する。モデル を構築するときには操作する変数（操作変数）の数 と自由度が一致する必要がある。

第一原理モデル自動構築 $\mathrm{AI}$ は，まず，ユーザから モデルに含めたい変数 (必須変数) の集合 $S_{\mathrm{rv}}$ と操作変数の集合 $S_{\mathrm{mv}}$ を受け取る. そして， $S_{\mathrm{rv}}$ と $S_{\mathrm{mv}}$ に 基づき， $N_{\mathrm{e}}$ 個の数式の集合 $S_{\mathrm{e}}$ からモデルを複数作成する。モデルは以下の条件を満たす必要がある.

・必須変数を含む

・操作変数の数とモデルの自由度が等しい

本稿ではこれをモデルの必要条件と呼ぶ.

## 2.1 単純な手法

$N_{\mathrm{e}}$ 個の数式の組み合わせの総数は

$
\sum_{n=1}^{N_{e}}{ }_{N} \mathrm{C}_{n}=\sum_{n=0}^{N_{e}}{ }_{N} \mathrm{C}_{n}-1=2^{n}-1
$

であり，組み合わせ 1 つ 1 つに対してモデルの必要条件を満たすか判定することで，モデルを得る ことができる. 本稿ではこれを単純な手法と呼ぶ. Algorithm 1 に単純な手法のアルゴリズムを示す. こ のアルゴリズムは $O\left(2^{N_{\mathrm{e}}}\right)$ の計算量を要する．プロ セスが複雑，大規模になるほどモデルに含まれる数式の数は多くなる. 仮に，複数の文献から 50 個の 異なる数式を得たとすると，数式の組み合わせは $2^{50} \simeq 10^{15}$ 個あるので，単純な手法では現実的な計算時間でモデルを構築することはできない.

## 2.2 提案手法

提案手法のアルゴリズムを Algorithm 2 に示す.提案手法では，まず，各数式に含まれる変数の集合 と， $S_{\mathrm{e}}$ に現れる各変数を含む数式の集合を作成する (1-6 行目). 次に, 必須変数を含む数式の集合の直積集合を計算し，すべての必須変数を含む数式群の 集合 $M^{\prime}$ を得る (8行目). その後, $M^{\prime}$ に含まれる数式群がモデルの必要条件を満たすか判定する．Mำ の要素 $m^{\prime}$ の自由度 $N_{\mathrm{F}, m^{\prime}}$ が操作変数の数 $N_{\mathrm{mv}}$ に等 しいとき， $m^{\prime}$ はモデルの必要条件を満たす $(12,13$行目). $N_{\mathrm{F}, m^{\prime}}$ が $N_{\mathrm{mv}}$ と異なるとき， $m^{\prime}$ に含まれる 必須変数以外の変数 $\left.\{\tilde{v}_{1}, \cdots, \tilde{v}_{N_{m}}\right.\}$ を求める $(15,16$行目).その後， $\left.\{\tilde{v}_{1}, \cdots, \tilde{v}_{N_{m}}\right.\}$ を含む数式群の集合 $M^{\prime \prime}$ を得る（17 行目）。 $M^{\prime \prime}$ の要素 $m^{\prime \prime}$ と $m^{\prime}$ を組 み合わせた数式群を $\tilde{m}$ とし, $\tilde{m}$ の自由度 $N_{\mathrm{F}, \tilde{m}}$ が $N_{\mathrm{mv}}$ に等しいとき， $\tilde{m}$ はモデルの必要条件を満たす (19-25 行目). 最後に，モデルの必要条件を満たす 数式群を出力する (28 行目).

集合 $S$ の要素数を $L(S)$ で表すと，提案アルゴリ ズムの計算量は式 (3)で表される.

$
\begin{aligned}
& O\left(N_{\mathrm{e}}\right)+O\left(\prod_{i=1}^{N_{\mathrm{rv}}} L\left(S_{\mathrm{e}, v_{i}}\right)\right) \\
& \quad+O\left(L\left(M^{\prime}\right)\left(\prod_{i=1}^{N_{m}} L\left(S_{\mathrm{e}, \tilde{v}_{i}}\right)+L\left(\mathcal{M}^{\prime \prime}\right)\right)\right)
\end{aligned}
$

ここで, $\prod_{i=1}^{N_{\mathrm{rv}}} L\left(S_{\mathrm{e}, v_{i}}\right)$ は必須変数を含む数式群の数, $\prod_{i=1}^{N_{m}} L\left(S_{\mathrm{e}, \tilde{v}_{i}}\right)$ は必須変数を含む数式に含まれる必須変数以外の変数の数である.

## 3 実験

単純な手法と提案手法を用いて，複数の数式の集合，必須変数の集合，操作変数の集合からモデルを 構築した結果を比較した。

## 3.1 実験条件

実験で用いた数式，必須変数，操作変数の集合を 表 1 に示す. 本実験では，数式中の変数を容易に判別できるとした.

## 3.2 モデル構築結果

単純な手法と提案手法によるモデル構築結果を表 2 に示す.

ケース 1 では，単純な手法と提案手法によって同 じモデルの集合が得られた. 得られたモデルは必須変数を含み，操作変数を代入することで必須変数の 值を得ることができる.

ケース 2 では，ケース 1 で用いた数式の集合に必須変数に含まれない変数に関する数式を加えて，2 つの手法で得られるモデルを比較した. 提案手法で はケース 1 と同じモデルの集合が得られたが，単純 な手法では 64 個のモデルの集合が得られた. これ は，必須変数に含まれない変数に関する数式が加 わってもモデルの自由度が変化しないからである. また， $N_{i}$ の数を増加させたとき，提案手法で要する 計算時間にはほぼ変化がないのに対し，単純な手法
表 1 実験で用いた数式, 必須変数, 操作変数の集合

で要する計算時間は指数的に増加した。

ケース 3 では，ケース 1 と同様に，単純な手法と 提案手法によって，同じモデルの集合が得られた.表 2 の例に示す最初の 2 つのモデルでは, 操作変数 を代入することで必須変数の值を得ることができ る. しかし，表 2 の最後に示したモデルでは，操作変数を代入しても必須変数の値を得ることができな いので，実際に使うことはできない。これは，提案手法と単純手法において，モデルに必要な条件のみ しか判定していないからである. 実際に使うことが できるモデルのみを得るためには，2 節で示したモ デルに必要な条件に加えて，必須変数の值を得るこ とができるかを判定する必要がある．モデルに含ま れるすべての方程式が変数に関して一次であれば係数行列を用いて判定できるが，ケース 3 のように変数に関して一次でない方程式を含むモデルもある.判定できない場合もある．実際に使うことができる モデルの選定方法の開発は今後の課題である.

## 4 おわりに

本研究では第一原理モデル自動構築に必要な要素技術として，複数の数式から第一原理モデルを自動 で構築する手法を提案した. 実験を通し，提案手法 を用いることで，複数の数式から現実的な計算時間 で第一原理モデルを構築することができることを確認した. しかし, 提案手法によって構築した第一原理モデルには実際に使うことができないものが含ま
れる.今後はこの問題の解決に取り組み，より有用 な手法を開発する。

## 参考文献

[1] Shota Kato and Manabu Kano. Identifier information based variable extraction method from scientific papers for automatic physical model building. PSE Asia Paper No. 210043, 2020.

[2] Dale E Seborg, Duncan A Mellichamp, Thomas F Edgar, and Francis J Doyle III. Process dynamics and control. John Wiley \& Sons, 2010.
表 2 単純な手法と提案手法によるモデル構築結果

 &  \\

-r_{\mathrm{A}} & =k \\
k & =k_{0} \exp (a / T) \\
k_{0} & =0.1 \\
a & =10 \\
v_{0} C_{\mathrm{A} 0} & -v_{0} C_{\mathrm{A} 0}+r_{\mathrm{A}} V=0 \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}} \\
k & =k_{0} \exp (a / T) \\
k_{0} & =0.1 \\
a & =10 \\
v_{0} C_{\mathrm{A} 0} & -v_{0} C_{\mathrm{A} 0}+r_{\mathrm{A}} V=0 \\
-r_{\mathrm{A}} & =k \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}} \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}}^{2} \\
k & =k_{0} \exp (a / T)\end{aligned}$ & なし \\


# 商品レビューの複数の観点からの有用性の評価

曽田竬人
北陸先端科学技術大学院大学
s1910131@jaist.ac.jp

## 1 はじめに

ユーザが商品の購入を検討する際，他のユーザに よって書かれた商品のレビューを参考にすること は日常的に行われている. しかし, レビューの中に は，ユーザにとって役に立つものもあればそうでな いものもある. 膨大な量のレビューの中から有用な レビューを見つけるのは多大な労力を要するため, これを効率よく見つける技術が求められる。このよ うな背景の下, レビューの有用性を自動判定する研究が行われてきた。しかし, 先行研究の多くは単に レビューが有用であるか否かを判定するが，どのよ うなレビューが有用かはユーザによって異なると考 えられる。例えば，商品を使用した体験が役に立つ と考えるユーザもいれば，他の商品との比較を重視 するユーザもいるだろう。

本研究では, 商品レビューの有用性を複数の観点 から評価し，その評価結果を包括的にユーザに提示するシステムを提案する [1]. 様々な観点による 有用性の評価結果を閲覧できるようにすることで, ユーザが自身の嗜好に合わせて有用な商品レビュー を見つける作業をサポートすることを狙う。

## 2 関連研究

山澤らは， Amazon ${ }^{1)}$ のレビューを対象に，ユーザ が内容を信用して利用できる文 (有用文)を判別する Support Vector Machine (SVM) を学習した [2]. 佐々木らは，人手による有用なレビューの分析結果を基 に，機械学習を用いて有用なレビューを判別する手法を提案した [3]. Fan らは，製品のメタデータ(夕 イトル,ブランドなど) とレビューテキストの両方を 入力とし, レビューが有用か否かを分類するディー プニューラルネットワークを提案した [4]. Vo ら は, Rodak ら [5] が提案したレビューの特徴を素性 として使用し, Elastic Net 回帰を使用してレビュー の有用性を予測し，レビューをランク付けし，その

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

上位のレビューをユーザに提示するシステムを提案 した [6].

これらの先行研究は，レビューが有用か否かのみ を判定しているのに対し, 本研究では, 有用性の観点をいくつか定義し, 個々の観点毎にレビューの有用性を判定することで，ユーザが多角的な視点から 有用なレビューを見つけることを支援する。

## 3 提案手法

## 3.1 有用性の観点

本研究では, レビューの有用性を判定する先行研究 $[3,6,7]$ の知見や著者らによる経験などを踏まえ,以下の 7 つの観点からレビューの有用性を評価する ことを提案する。

観点 1 評価表現に対する根拠がある

単に商品の善し悪しを評価するだけでなく，その 善し悪しの根拠となる事実もあわせて書いていると き，そのレビューの有用性は高いと評価する。図 1 の例では，「便利です」という評価の根拠として「大 きさもちょうど良い」を示している.

観点 2 商品に関係のある言及が多い

レビューの中には，商品に言及している文もあれ ば，ショップの対応や配送業者の対応など, 商品以外のことに言及している文もある。商品に言及して いる文が多ければ多いほど有用性は高いと評価す る. 図 1 の例では,「発送までが遅かったのが残念 でした」という文は商品に言及していない.

観点 3 他の商品と比較している

レビューが評価対象の商品と他の商品を比較し ているとき，ユーザにとって参考になる情報を提供 している可能性が高いため, 有用性が高いと評価 する. 図 1 の例では, 「商品 $\mathrm{B}$ に比べて軽そう」と いった比較がある.

観点 4 実際に商品を使用した(あるいはしていな い)と推測できる

1) https://www.amazon.co.jp/

図 1 レビューの例

実際に商品を使用していない人のレビューは有用性が低いと評価する。図 1 の例では，まだ実際に使用していませんが,」という句は，ユーザが商品を 実際には使っていないことを表し，このレビューの 信頼性が低くなる。

観点 5 評価(レーティング)に対する根拠がある 多くの ECサイトやロコミサイトでは，ユーザは 商品に対して星の数などでレーティングをつけるこ とができるが，そのレーティングの根拠となる文が 示されているとき, 有用性は高いと評価する. 図 1 の例では, 星の数は 4 と高く, 「便利です」といった 評価表現はその理由の説明とみなせる。

観点 6 分量が多い

ごく簡単に感想を書いた短い一文のレビューよ り，商品に対する意見・感想を詳細に書いた長いレ ビューの方が，有用性が高いと評価する。

観点 7 文章が読みやすい

読みやすい文章で書かれたレビューほど有用性が 高いと評価する。

以下，観点 1 ，観点 2 ，観点 3 による有用性の評価手法については 3.2，3.3，3.4 項で，これら以外の観点による有用性の評価については 3.5 項で述べる.

## 3.2 根拠を含む文の検出

本項では，レビュー文が根拠を含むか否かを判定 する手法について述べる。基本的な考えとしては，根拠を示す接続詞で終わる文節 (例は図 1 の「良い ので」) が評価表現を含む文節 (例は図 1 の「便利で す」) に係るとき，そのレビュー文は根拠を含むと 判定する。具体的には，以下のいずれかの条件を見 たす文を根拠を含む文として検出する。

条件 1 連用形 $\rightarrow$ 評価表現

用言の連用形で終わる文節が評価表現を含む文節 に係る。

(例) 片手でも持ちやすくて 実用的です2)

のが，ので，のは，為，ため，点が，くて， のも，ところが，ところも

図 2 根拠を示す接続詞

条件 2 根拠を表す接続詞 $\rightarrow$ 用言

根拠を示す接続詞で終わる文節が用言を含む文節 に係る。

(例) 耐熱性能も良いのでライフも期待できる

上記を踏まえ，以下の手続きでレビュー文に根拠 が含まれるかを判定する。

1. CaboCha[8]を用いて文節の係り受け解析を 行う.

2. 評価表現もしくは用言 (動詞, 形容詞, 形容動詞)を含む文節 $\mathrm{E}$ を検出する。評価表現は以下 の 2 通りの方法で検出する.

・日本語評価極性辞書 (用言編)[9] に含まれ る評価表現

$\cdot$感情分析 API である COTOHA API[10] に よって検出された評価表現

3. 文節 $\mathrm{E}$ に直接係る文節 $\mathrm{R}$ を検出する。文節 $\mathrm{R}$ が根拠を示す接続詞 (図 2)を含むかどうかを判定する。

4. 文節 $\mathrm{R}$ と $\mathrm{E}$ が上記の条件 1 ，条件 2 のいずれか を満たすとき，根拠を含むと判定する．それ以外は含まないと判定する。

最終的なシステムでは，上記の手法で根拠を含む 文の検出を試み，レビューに根拠を含む文が出現す るか否かをユーザに提示する。また，含む場合には 検出された文を強調して提示する。

## 3.3 商品への言及度の判定

本項では，商品レビューが評価対象の商品につい て言及している度合を「商品言及度」(以下，単に 言及度と記す) と定義し，これを推定する手法につ いて述べる。言及度はユーザレビューの有用性を表 す指標の 1 つとしてユーザに提示することを想定 する。

本研究では, 評価対象の商品のカテゴリに固有の 単語がどれだけ多く含まれるかで言及度を定量化す る. 例えば，商品カテゴリがペットのとき，「大型犬」「フード」「匂い」「食いつき」などはペットに関連する商品に言及するときによく使われる単語であ り，またこのような単語が多いレビューほど商品に 言及していると言える.

同様に表記する。

まず，商品カテゴリ毎に単語の重要度を算出す る. 商品カテゴリ $c$ におけるキーワード $k$ の重要度 $\operatorname{Sig}(k, c)$ は, TF-IDF の考え方に基づき, 式 (1)のよ うに定義する。

$
\operatorname{Sig}(k, c)=t f_{k, c} \cdot \log \frac{N_{c}+1}{c f_{k}}
$

$t f_{k, c}$ は商品カテゴリ $c$ のレビュー集合に含ま れるキーワード $k$ の相対出現頻度, $c f_{k}$ (category frequency) は $k$ が出現するカテゴリの数, $N_{c}$ はカテ ゴリの総数である．重要度の算出は楽天デー夕 [11] における楽天市場の商品説明文の集合を用いる，商品カテゴリは「ビューティ」「文房具」などの 18 種 とする．重要度を算出するキーワードは名詞もしく は複合名詞に限定する。

与えられたレビュー $r$ の言及度を式 (2) のように 定義する。

$
\operatorname{Ex}(r, c)=w \cdot \sum_{k \in K_{r}} \operatorname{Sig}(k, c)+(1-w) \cdot \log \operatorname{len}(r)
$

言及度は, レビュー内の全てのキーワード $\left(K_{r}\right)$ の重要度の和と, レビューの長さ (文字数) len $(r)$ の重み つき和とする， $c$ は，レビュー $r$ が評価対象とする 商品のカテゴリである. len $(r)$ を考慮したのは, 長 いレビューほど商品への言及度が高いという直観に 基づく．重み $w$ は実験的に決定する。

## 3.4 比較の有無の判定

本項では，簡単なルールベースの手法で複数の 商品を比較する文を検出する手法について述べる. Amazon の家電とホームカテゴリの商品レビュー を 1,201 件取得し, 複数の製品を比較しているレ ビューを 176 件見つけた。これらのレビューから，他の商品との比較があるレビューを検出するルール を策定した。ルールは以下の 3 つに大別される。

・比較を表すキーワード＋評価表現複数の商品の比較を示唆するキーワードを含 み，そのキーワードの後に評価表現が出現す るとき，そのレビューは比較ありと判定する。「くらべる」「違う」「反面」など， 34 個のキー ワードからなるルールセットを作成した.

・レビューの最初の文で比較を示唆する表現「○○から買い換えました」などの表現がレ ビューの最初の文に出現するとき, レビュー全体で他の商品との比較があると判定する。「買 い換え」「以前」など 6 つのキーワードを設定
し，それが最初の文に出現するときに比較あり と判定するルールセットを作成した。

・「より」を含む文

節が評価表現を含む文節に直接係るとき，比較 を含むレビューと判定する。

(例) 他の製品より 良いと思います.

最終的なシステムでは, 「他の商品と比較して いる」という観点からの有用性を示すために，レ ビューの中に比較があるか否かを表示することを 想定している。ここでのルールは，比較を含むレ ビューの検出について, 再現率よりも精度を重視し て設計している.

## 3.5 その他の観点からの有用性の評価

これまで述べてきた 3 つの観点以外については，現時点では評価方法を検討している段階である.

観点 4「実際に商品を使用したと推測できる」に ついては, 予備調査として, Amazonに投稿され た本，電子機器，ホーム・キッチンカテゴリのレ ビューを 1,385 件取得し, 商品を使用していないと 思われるレビューを人手で判定した。その結果，該当するレビューはわずか 11 件であった。実際に商品を使用していないレビューの数が非常に少ない ことから，これを自動検出する手法の検討は行わな かった. とはいえ, 別の商品カテゴリのレビューや Amazon 以外のサイトに投稿されたレビューでは商品を使用していないレビューが多く存在する可能性 もあり，今後も調査を続けたい。

観点 5 「評価(レーティング) に対する根拠がある」 については, レビューの極性判定を行い，その極性 がレーティングに近いかどうか，また極性判定の信頼性が十分高いかどうか，などの手法によって評価 する予定である。

観点 6「分量が多い」については，単語数や文字数などで比較的容易に定量化できると考えられる。

観点 7「文章がよみやすい」については，文書の 平易さや読みやすさを判定する先行研究があり, こ れらの技術を適用することが考えられる。

## 4 評価実験

本節では観点 1 , 観点 2 , 観点 3 で有用性を判定 する提案手法の評価実験について述べる.

## 4.1 根拠を含む文の検出手法の評価

Amazon に LED 電球，ルンバ e5，インパクトドラ イバー，洗顔料について投稿されたレビューをラン ダムに 50 件取得した。これらのレビューに対し,根拠を含む評価文が現われるかを著者 2 名が独立に 判定した。提案手法は根拠を含む文を抽出する手法 であるので，商品に対する評価とその根拠が複数の 文に書いてある場合は除外し，ひとつの文に書かれ ているかを判定した。二者の判定の一致率は 0.76 , $\kappa$ 係数は 0.56 であった。

この評価デー夕に対し， 3.2 項で述べた手法で根拠を含む文を検出し，その精度，再現率， $\mathrm{F}$ 值を調 べた。また, 根拠の有無の判定が一致する割合 (正解率) も算出した. 結果を表 1 に示す. 再現率は比較的高いが, 特に評価者 2 に対する精度が低く, $\mathrm{F}$値も 0.7 程度に留まっている。

表 1 根拠を含む文の検出の評価結果

## 4.2 商品への言及度の判定の評価

言及度の計算に用いた 18 のカテゴリについて， それぞれのカテゴリに投稿されたレビューをランダ ムに選択し, レビューの組を 10 件ずつ, 計 180 件作成した。これらに対し, 著者 2 名が独立に, どち らのレビューがより商品に言及しているかを判定 した。このとき，どちらの言及度が大きいか判定が 難しい場合には「不明」とした。最終的に, 評価者 のどちらかが不明と判定した 24 件のデー夕を除く 156 件を評価データとした。二者の判定の一致率は 0.904， $\kappa$ 係数は 0.807 であった。この評価デー夕に 対し, それぞれのレビューの組に対して 3.3 項で述 べた手法でレビューの言及度を算出し, 言及度の大 きいレビューが人手による判定の結果とどれだけ 一致するか (正解率)を調べた。 ベースラインとし て，常に文字数の多いレビューを言及度の大きいレ ビューとして選択する手法 (式 (2)の $w$ を 0 とした 場合) と比較した。図 3 は, 重从 $w$ を 0.990 から 1 ま で $10^{-6}$ 刻みで変動させたときの正解率の変化を示 している.

ベースライン (図 3 の直線) の正解率は, 評価者 1 (a) 評洒者 1

(b) 評価者 2

図 3 商品への言及度の評価結果

は 0.801 ，評価者 2 は 0.740 であった。提案手法につ いては，評価者 1,2 ともに $w=0.9983$ のときに正解率が最大となり，その値はそれぞれ $0.801 ， 0.769$ であった。提案手法がベースラインと同等もしくは 上回ることを確認した。ただし，パラメ夕 $w$ の最適化は本来はテストデータとは別の開発データで行う べきである. 開発データを用いた $w$ の最適化は今後 の課題である。

## 4.3 比較の有無の判定の評価

3.4 項で説明した個々のルールについて，それを 用いて比較を含むレビューを検出したときの精度を 測った。ルールの設計に用いた家電・ホームカテゴ リのレビューに対する精度 (クローズド) と，新たに 取得した「ベビー」カテゴリのレビュー 557 件に対 する精度 (オープン)を調べた。いくつかのルールに ついて，検出精度が十分に高いことを確認した。例 を表 2 に示す。

表 2 比較を含むレビューを検出するルールの精度

## 5 おわりに

今後の課題として, これまで着手していない 4 つ 観点からの有用性評価を実現することが挙げられ る。一方，3つの観点からの有用性の判定について,本論文で提案した手法は比較的基本的なものであ り，これらをより洗練することも必要である。ま た，7つの観点からの有用性の評価結果をどのよう にユーザに提示し，ユーザのレビュー検索を補助す るシステムを実装するかも重要な課題である。

## 参考文献

[1]曽田颯人. 商品レビューの複数の観点からの有用性の評価. 修士論文, 北陸先端科学技術大学院大学, 32021.

[2]山澤美由起, 吉村宏樹, 増市博. Amazon レビュー 文の有用性判別実験. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 53 (2006-NL-173), pp. 15-20, 2006.

[3]佐々木優衣, 関洋平. 商品レビューを対象とした 有用性の定義と判別. 第 6 回データ工学と情報 マネジメントに関するフォーラム (DEIM2014) B5-1, 2014.

[4]Miao Fan, Chao Feng, Lin Guo, Mingming Sun, and Ping Li. Product-aware helpfulness prediction of online reviews. In Proceedings of the World Wide Web Conference, pp. 2715-2721, 2019.

[5]J. Rodak, M. Xiao, and L. Longoria. Predicting helpfulness ratings of amazon product reviews. Technical report, Stanford University,, 2012.

[6]Chau Vo, Dung Duang, Duy Nguyen, and Tru Cao. From helpfulness prediction to helpful review retrieval for online product reviews. In Proceedings if the Ninth International Symposium on Information and Communication Technology (SolCT 2018), pp. 38-45, 2018.

[7]木浪貴博, 小林亜樹. 商品レビュー文における主観的表現と有用性に関する検討. 情報処理学会第 77 回全国大会講演論文集, pp. 159-160, 2015.

[8]工藤拓, 松本裕治. チャンキングの段階適用に よる日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[9]小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[10]NTT コミュニケーションズ. COTOHA API. https://api.ce-cotoha.com/contents/index.html. (2020 年 12 月閲覧).

[11]Rakuten Institute of Technology. 楽天デー夕公開. https://rit.rakuten.co.jp/data_release_ja/. (2020 年 12 月閲覧).


# SESTM モデルによる会社四季報センチメントを用いた投資戦略 の実証分析
## 指田 晋吾

野村アセットマネジメント株式会社 s-sashida@nomura-am.co.jp

## 1 はじめに

近年、機械学習技術の発展によるテキストマイニ ング技術の進展とともに、ファイナンス分野にお いても様々なテキスト情報が分析・利用されてい る。テキスト情報としてよく利用されるものは決算短信、有価証券報告書、新聞記事があり、これらは 個々の文書の分量が多くかつ文書自体も大量にある ため、個人投資家だけではなく、証券、銀行、資産運用会社といった金融機関においても、金融テキス 卜を自動的に解析し、業務支援や経済活動に役立て ようと試みている $[1,2,3]$ 。とりわけ、これらのテキ スト情報から抽出した情報と株価との関係が研究さ れており、テキストマイニングの投資における有効性が明らかになってきている [4]。例えば、[5] らは 決算短信の要約から因果関係の表現を含む文を抽出 し、構文パターンより因果関係を示すネットワーク (因果チェーン [6])を構築し、そのノード間には株価 のリード・ラグ効果があることを実証した。また、 [7] らは決算短信とこれまで分析されていない情報媒体である会社四季報について、肯定語・否定語ス コアを定義した辞書を用いて各テキストについてセ ンチメントスコアを算出し、それが投資に有効であ ることを確認している。さらに、[8] らは、テキス ト内のセンチメント語を抽出する SESTM(Sentiment Extraction via Screening and Topic Modeling) モデルを 構築し、そのモデルから算出されたセンチメントス コアにて非常に良好な株価リターンが得られること を確認している。本研究では、分析例が少ない会社四季報データを用いて日本株式市場において、テキ スト情報を利用した投資戦略の収益機会が存在する かどうかを検証することを目的とする。分析手法と しては、[7] らは四季報を対象に Bag of Words 方式 を用いて共通の辞書を用いてセンチメントを付与 しているのに対して、本研究では、より洗練された中川慧

野村アセットマネジメント株式会社

k-nakagawa@nomura-am.co.jp

SESTM モデルによりセンチメントを付与し、イベ ントスタディ方式での実証分析を行う。

## 2 SESTM モデル

SESTM モデルは、[8] らがニュースからセンチメ ントを抽出する新しい手法を用いて構築されるモデ ルである。彼らが提案した手法は、データベンダー が提供するような一般的なセンチメントスコアな どで多く用いられる辞書べースの手法とは異なり、株価リターンを直接教師として考慮するもので、リ ターン予測に特化している。提案手法は次の 3 つの ステップから構成される。

Step 1: スクリーニング センチメントに影響を与え る単語と与えない単語を分類

Step 2: センチメント評価 それら単語にトピックモ デルを適用しセンチメントを評価

Step 3: スコアリング ペナルティ付きの尤度を用い 文章単位のセンチメントスコアを算出

先行研究では米国株式市場を対象にダウ・ジョー ンズ経済通信のニュース記事を用いて実証分析を 行っており、提案手法の特徴について次の利点を挙 げている。まず、計算負荷量が低いのでコンピュー タリソースを多く必要としない。また、標準的な計量経済手法をベースとしており、シンプルな教師あ り学習となっているので、深層学習等と比較しても 解釈性が高い。そして、既存の辞書データ等は用い ずに分析対象のテキストとそのテキストに対応する リターンデータのみでモデルを構築するため目的用途に特化したものを構築できることも利点として挙 げている。

## 2.1 Notation
- $n, m$ : 四季報の記事数、単語数
- $d_{i} \in \mathbb{R}_{+}^{m}: i$ 番目の記事における単語数
- $D: D=\left[d_{1}, \ldots, d_{n}\right]^{\top}$ と定義される行列 $(n \times m)$

・ $S, N$ : センチメントに影響を及ぼす (及ぼさな い) 単語の集合
- $y_{i}: i$ 番目の記事に対するラベル (リターン)
- $p_{i}: i$ 番目の記事のセンチメントスコア $p_{i} \in[0,1]$

・ $O_{+}, O_{-}$:各単語がポジティブ (ネガティブ) な確率を並べたもの (トピック)

## 2.2 モデルの設定

センチメント $p_{i}$ で条件付けられたリターン $y_{i}$ と $d_{i}$ は (条件付き) 独立であると仮定する。さらに、リ ターン $y_{i}$ とセンチメント $p_{i}$ の関係は、 $g(\cdot)$ を単調増加な関数として $P\left(\left(y_{i}>0 \mid p_{i}\right)=g\left(p_{i}\right)\right)$ と仮定す る。すなわち、センチメント $p_{i}$ が良いほど、リター ンが正となる確率が高いと仮定する。また、関数 $g$ の具体的な関数系は特に推定しない。最後に、 $m$ 個 の単語は、それぞれセンチメントに影響を及ぼす単語 $S$ と影響を及ぼさない単語 $N$ に分割できるとし、 それらをインデックスとした $d_{i,[S]}$ と $d_{i,[N]}$ は独立 であると仮定する。さらに、センチメントが付与さ れた単語数は、次のような多項分布に従うとする。

$
d_{i,[S]} \sim \operatorname{Multinomial}\left(s_{i}, p_{i} O_{+}+\left(1-p_{i}\right) O_{-}\right)
$

ここで、SESTM モデルはパラメータである $O_{+}, O_{-}, p_{i}$ を特定することが目的であり、これらが 推定できれば、新たな記事 $i+1$ に対してセンチメン ト $p_{i+1}$ を付与することができる。

## 2.3 パラメータの推定

SESTM モデルのパラメータである $O_{+}, O_{-}, p_{i}$ の推定は次の 3 つのステップで行う。

## Step 1:センチメントに影響を与える単語 $S$ を抽出 $m$内の単語 $j$ ごとにスコア $f_{j}$ を計算。

$
f_{j}=\frac{\text { 単語 } j \text { を含む記事数、かつ } \operatorname{sgn}(y)=1 \text { の数 }}{\text { 単語 } j \text { を含む記事数 }}
$

次の回帰モデルを考える。

$
\operatorname{sgn}\left(y_{i}\right)=f_{j} \cdot \operatorname{sgn}\left(d_{i, j}\right)+\epsilon_{i} \quad j=1 \ldots m
$

するとハイパーパラメータ $\left(\alpha_{+}, \alpha_{-}, \kappa\right)$ を用いて、次 の $\hat{S}$ を $S$ 推定量 (集合) とすることができる。

$\hat{S}=\left.\{j: f_{j} \geq \frac{1}{2}+\alpha_{+}\right.\} \cup\left.\{j: f_{j} \leq \frac{1}{2}-\alpha_{-}\right.\} \cap\left.\{j: \kappa_{j} \geq \kappa\right.\}$

Step 2: $O_{+}, O_{-}$の推定 $p_{i}$ の推定量 $\hat{p}_{i}$ として次を計算 する。

$
\hat{p}_{i}=\frac{\text { rank of } y_{i} \text { in }\left.\{y_{l}\right.\}_{l=1}^{n}}{n}
$

以下の回帰式から、 $D$ を回帰することで $O=$ $[O+, O-]$ を推定する。

$
\begin{aligned}
\mathbb{E} \tilde{D}^{\top} & =O W, \\
\text { where } W & =\left[\begin{array}{rrr}
p_{1} & \ldots & p_{n} \\
1-p_{1} & \ldots & 1-p_{n}
\end{array}\right] \text {, } \\
\text { and } \tilde{D} & =\left[\tilde{d}_{1}, \ldots, \tilde{d}_{n}\right]^{\top}
\end{aligned}
$

ここで、 $\tilde{D}$ は記事 $i$ ごとのすべてのセンチメントが 付与された単語の頻度を表す。

Step 3:センチメントスコアを推定 パラメータ $O_{+}, O_{-}$ が求まったので、新しい記事に対してセンチメント スコア $p$ を次の最尤推定により求める。

$
\begin{array}{r}
\hat{p}=\arg \max _{p \in[0,1]} \hat{s}^{-1} \sum_{j=1}^{\hat{s}} d_{j} \log \left(p \hat{O}_{+, j}+(1-p) \hat{O}_{-, j}\right) \\
+\lambda \log (p(1-p))
\end{array}
$

$s_{i}$ は $S$ に属する単語の総数であり、 $d_{i,[S]}$ は記事 $i$ の センチメントが付与された単語ベクトルであり観測 できる。また、最尤推定においては、 $p_{i}$ が 0.5 をと りにくいようにペナルティ項 $\lambda \log (p(1-p))$ が付与 されている。

## 3 実証分析

## 3.1 データセット

会社四季報 (以下，四季報) は東洋経済新報社が 3 カ月に一度出版する発行物で、出版日は $3,6,9,12$月の中旬である。四季報には、日本の株式市場の全上場企業について直近決算期の基本財務項目や投資関連指標が記載される。

また、数値以外のデータとして、会社四季報編集部による業績予想数字についての記事があり、そこ には前期実績と比較した今期予想についてのコメン 卜と、前号に揭載した予想や会社計画と比較した今期予想についてのコメントが記載される。この数値及びテキストデータは全上場企業について同様の形式でまとめられている。

本研究では 1999 年 09 月から 2020 年 06 月までに 発行された四季報のテキストデータと紐づく企業 のスペシフィック・リターンを用いてモデルの学習及び予測を行う。本研究では、スペシフィック・リ ターンとして Barra JPE4 モデルのファクターモデル から算出される数値を用いた。スペシフィック・リ ターンとは銘柄の騰落率 (トータル・リターン) か ら、市場全体の全銘柄に共通するあるファクター

(要因)で説明可能なリターンを取り除いた、各銘柄 に固有の変動部分である。四季報データは各企業の 業績について個別に記事が用意されているため、そ の効果の計測がしやすい銘柄固有のリターンであ るスペシフィック・リターンを教師データとして用 い、予測の対象とする。なお、[8]においてはスペシ フィック・リターンではなく、株価リターンを用い ているものの、SESTM モデルで仮定される前提は スペシフィック・リターンでも成立する。

## 3.2 分析手順

分析では四季報の出版日をイベントデーとするイ ベントスタディ [9]を行う。イベントスタディとは 情報の公開等のイベントが、当該企業の市場価値に どのような影響を与えるかを分析する方法である。

モデル作成にあたり、学習データは各出版日から 過去数年分の記事を利用し、教師データは出版日か ら翌出版日までのスペシフィックリターンの算術平均值を正規化したものを利用する。本研究では利用 する過去データを $3,4,5$ 年分の 3 パターンのモデ ルを作成して検証した。学習には全銘柄のデータを 利用し、予測する対象は TOPIX（東証株価指数）の 時価総額上位 500 銘柄 (TOPIX500 の構成銘柄) とし た。モデルは四季報の出版日のタイミングで作成さ れ、その時点の四季報のテキストデータを用いて将来のスペシフィックリターンを予測する。次に予測値を 10 分位に分け、各グループについてイベント デー前後の平均スペシフィックリターン (前回出版日から翌出版日)を求める。そして、各基準日 (四季報の出版日) で得られた各分位の結果の平均を求め、 その累和推移を算出する。このイベントスタディ分析にて四季報データにおける SESTM モデルの有効性を確認する。

## 3.3 分析結果

各学習モデルのイベントスタディの結果は表 (1) となった。累積日数は 57 営業日分である。どのモ デルについても上位分位銘柄 (q1) の四季報出版日以降の平均スペシフィックリターンの累積和が低位分位銘柄 (q10)を上回っていることが分かる。イベン ト日以降の平均スペシフィックリターンについて、平均値が 0 と有意に異なるか $\mathrm{t}$ 検定 (両側検定) にて 確認した。その結果、学習期間 4 年の上位の分位銘柄 (q1) について、1\%水準で有意であった。学習期間 4 年のイベント日以降のスペシフィックリターン
の累積和を表 (2)、イベント前後の累積和の推移を 図 (1) に示す。図の横軸は営業日日数で座標 0 を四季報出版日 (イベントデー) としている。上位分位銘柄 (q1) の平均スペシフィックリターンは四季報出版日以降プラス方向に伸びていることが確認できる。以上の結果より、四季報データを用いた SESTM モ デルの分析では、 4 年分の学習データを用いたモデ ルが比較的良好な結果となり、検定結果からセンチ メントがポジティブな銘柄については分類出来てい るが、ネガティブな銘柄についての分類は上手く出来ていないことが確認出来る。この原因としては、 [7] らの四季報の分析でも確認されている通り、四季報内の肯定語は否定語のおおよそ 2 倍を占めてい ることから、そのデータで学習したモデルの分位別 の結果 (有意性) に差が生じたものと考えられる。

次に作成した SESTM モデルにおいて、単語毎に センチメント評価を行い、学習期間におけるポジ ティブワードとネガティブワードの出現度につい て確認する。図 $(2,3)$ は学習期間が 2005 年 9 月から 2020 年 3 月までの記事で学習させたモデルにて同期間の記事の単語でセンチメントを評価し、ポジ ティブ及びネガティブの単語出現数で単語の表示サ イズを変化させたものである。結果を確認すると、図 (2)のポジティブ側の結果については"増益"、"堅調"、”利益"、” 改善"など幾つかの肯定語の存在が確認出来る。一方、図 (3) のネガティブ側の結果につ いては"減益"などの単語は確認出来るが否定語の数 は多くないことが分かる。この違いは四季報の肯定語と否定語の比率に偏りがあるためだと考えられ、 イベントスタディでの有意性の偏りについての原因考察とも整合する。

図 1 学習期間 4 年でのスペシフィックリターンの類和推移

## 4 まとめと今後の課題

本研究では会社四季報データを用いて SESTM モ デルにてセンチメント評価を行い、イベント・スタ
表 1 各学習モデルのイベントデー以降の累積和リターン (\%). 累積日数: 57 日. *は $10 \%$ 有意、**は $5 \%$ 有意、***は $1 \%$ 有意を示す.

表 2 学習期間 4 年のモデルでのイベントデー以降の累積和リターン $(\%)$ の推移分位

ディによる有効性評価を行った。その結果、学習 データで 4 年分の記事を用いたモデルにて比較的良好な結果を得ることが確認できた。分位分けした結果では高分位銘柄についてはスペシフィックリター ンの有意性が確認出来たものの、低分位銘柄につい ては確認出来なかった。これは四季報データ自体の 肯定語の占める割合が多いことが起因していると考 えられる。今後の課題としては、データ量の多い金融ニュースデータを利用した場合の分析や、比較的肯定後、否定語の割合に差がない決算短信のデータ を用いた検証などが挙げられる。

## 参考文献

[1]高野海斗, 酒井浩之, 坂地泰紀, 和泉潔, 岡田奈奈, 水内利和. 株主招集通知における議案タイトルとその分類及び開始ページの推定システム. 自然言語処理, Vol. 25 , No. 1, pp. 3-31, 2018.

[2]Tomoki Ito, Hiroki Sakaji, Kiyoshi Izumi, Kota Tsubouchi, and Tatsuo Yamashita. Ginn: gradient interpretable neural networks for visualizing financial texts. International Journal of Data Science and Analytics, Vol. 9, No. 4, pp. 431-445, 2020.

[3]高野海斗, 酒井浩之, 中川慧. 学習データの自動生成によ る深層学習を用いた株主招集通知の重要ページ抽出. 人工知能学会論文誌, Vol. 36, No. 1, pp. WI2-G G $_{1}--19,2021$.

[4]和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマイニ ングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券 アナリストジャーナル= Securities analysts journal, Vol. 55, No. 10, pp. 28-36, 2017.

[5]Nakagawa Kei, Sashida Shingo, Sakaji Hiroki, and Izumi Kiyoshi. Economic causal chain and predictable stock returns. In 2019 8th

図 22005 年 9 月から 5 年分の記事におけるポジティブ ワードの出現度

図 32005 年 9 月から 5 年分の記事におけるネガティブ ワードの出現度

International Congress on Advanced Applied Informatics (IIAIAAI), pp. 655-660. IEEE, 2019.

[6]Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the First Workshop on Financial Technology and Natural Language Processing, pp. 61-65, 2019.

[7]山本零, 川代尚哉, 栗田昌孝. 決算短信と四季報テキスト情報の投資戦略への利用可能性検証. ジャフィー・ジャーナ ル, Vol. 18, pp. 46-62, 2020.

[8]Zheng Tracy Ke, Bryan T Kelly, and Dacheng Xiu. Predicting returns with text data. Technical report, National Bureau of Economic Research, 2019.

[9]John Y Campbell, John J Champbell, John W Campbell, Andrew W Lo, Andrew W Lo, and A Craig MacKinlay. The econometrics of financial markets. princeton University press, 1997.


# 医師の経験をよく反映した擬似カルテ文書の作成方法

香川璃奈馬場雪乃鶴嶋英夫
筑波大学医学医療系 筑波大学システム情報系
\{kagawa-r, hideo-tsurushima\}@ md.tsukuba.ac.jp baba@cs.tsukuba.ac.jp

## 1 背景と目的

電子カルテには、日々の臨床現場での多様なデー タが蓄積される。カルテの中でも文書には、患者の 主観的な訴えや医師の思考過程など、構造化が容易 とはいえない多彩な情報を、医師が日々記載してお り、その再利用は教育研究目的でも有用である。し かしその一方で、文書に記録される豊富な情報は病歴すなわちプライバシーであり、保護せねばならな い。名前や住所などの個人識別符号を除去した文書 であっても、制限のない公開は日本を含む多くの国 と地域で難しく、ドイツなどでは研究者による利用 が事実上不可能となっている [1]。

そこで我々は、時代や地域に依存する個人情報の 定義、言語や医療体制、対象疾患を問わずに本物ら しい擬似的なカルテ文書データセットを作成できる、汎用的な枠組みが必要だと考えた。

## 1.1 提案フレームワークの方針

まず、教育研究目的で有用な疑似カルテ文書デー タセットが満たすべき要件を 2 つに整理した。

(1) 臨床的妥当性

カルテ文書には、患者の訴え、検査結果、治療計画とその根拠、家族歴や嗜好歴などが記載される。疑似文書には、これらが 1 人の患者ごとに、臨床的 な矛盾なく記載されている必要がある。また、実臨床で臨床家が対応に苦戦する、複雑な患者像を描け てこそ、教育研究目的で価値がある本物らしいデー タセットになると考える。その一方で、臨床的妥当性は医療制度などにも影響されるため、実際にどの ような臨床的特徴を持つ患者がどの程度存在するの かは不明である。

（2）カルテ文書に特徴的な記載の妥当性

多忙な臨床現場において専門知識を持つ医師が記載するカルテ文書には、文脈によって意味が変化す る極端な省略表現やスペルミスを含む非文法的な構造が多用されることが、国や地域を問わず指摘され ている $[2,3]$ 。その一方で、どのような特徴が存在す
るのかを網羅的に明らかにした研究は存在しない。

これらは、カルテ文書の網羅的な閲覧が倫理的観点から不可能であることから、医師にとっても経験的な知見であり評価することは難しい。Generative Adversarial Network に代表されるデータ生成技術は 医療データにも応用されているが、現状で生成され ている文書は限られた内容の短文 $[4,5,6]$ が主であ り、これらを組み合わせても 2 つの要件を満たす擬似文書データセットの作成は困難である。そもそも プライバシー保護の観点から、データ生成に資する 大規模なカルテ文書収集も容易ではない。また、既存の公開カルテ文書として、医師が記憶と経験に基 づいて記載した 670 個の文書[7]や、医師が教育目的 で記載した書籍からの抜粋[1]から成るデータセッ トが存在するが、これらは先述の 2 つの要件の評価 が明示的に行われておらず、特に(2)の特徼が反映さ れていないことが指摘されている[8]。すなわち 2 つ の要件を満たして自由に利用可能な擬似カルテ文書 は存在しない。

そこで我々は 2 つ要件を満たすデータセット作成のために 3 つのステップからなるフレームワーク を提案する。

Step 1: 臨床的妥当性を満たす文書の大規模な生成

Step 2: カルテ文書に固有な特徴の種類とその多様性の顕在化

Step 3: Step 1 で生成された文書のうち Step 2 で得ら れた特徴を満たす文書を選択し、擬似カルテ文書デ ータセットとする。

## 1.2 本研究の目的と貢献

本研究は、提案フレームワークの有効性を実証す ることを目的とする。効率的かつ現実的な手法で実証するため、クラウドソーシングを利用する。本研究の貢献は以下の通りである。

(i)専門的な文書を生成するフレームワークの提案

(ii)カルテ文書に固有な特徴の種類とその多様性の 顕在化

(iii)医師が擬似的に記載する文書よりも本物のカル

テ文書に類似していると評価された、9,856 個の擬似 カルテ文書の公開

## 2 方法

## 2.1 材料

筑波大学附属病院を2013 年 1 月 2018 年 9 月に受診した患者 53,246 人からランダムに選択した 245 人 の患者(女性 $48.2 \%$ 、平均年齢 $60.1 才$ 才)の文書(カルテ 文書の一般的なテンプレートである SOAPフォーマ ットに則るもの。以下、本物のカルテ文書と呼ぶ)を 利用した。また、既存の擬似カルテ文書[7]から SOAP フォーマットに則る 257 個の文書(以下、既存公開文書と呼ぶ)を利用した。各文書が記載された診療科を 筆頭著者が推定した。

解析には以下を利用した。Python 3.7.2、NumPy

1.17.2、SciPy 1.2.1、Pandas 0.24.2、Matplotlib

3.0.3、NetworkX 2.3、Apyori 1.1.1、Community

1.0.0、R 4.0.2、exactRankTests packages $0.8-21$ 。

## 2.2 提案フレームワークの実現例

本研究では、クラウドソーシングを利用すること で提案フレームワークを低コストで実現した(図 1)。前処理として、本物のカルテ文書の固有名詞や 日付などを筑波大学附属病院臨床研究倫理審查委員会から承認を得た手順で書き換え、患者個人が特定 されないことを著者ではない 3 名が確認した。

## step 1 : 臨床的妥当性を満たす文書の生成

模倣をすることで背景知識がなくても事象を再現 できる人間の認知特性[9]を参照し、クラウドワーカ 一が本物のカルテ文書を模倣することで臨床的妥当性を満たす文書を生成した。(a) まず、本物のカルテ 文書を SOAP フォーマットに則って $\mathrm{S}, \mathrm{O}, \mathrm{A} / \mathrm{P}$ の 3 種類に分割した 260 個の文書(140 人の患者分)を作成 した。(b)その中から同じ診療科で記載された同じ 意味( $\mathrm{S}$ または $\mathrm{O}$ または $\mathrm{A} / \mathrm{P})$ に分割された文書をワ 一カーに提示し、ワーカーは提示された文書を模倣 した文書を 1 つ記載した。一度に提示される文書の 数は 1, 2, 3 個からランダムに決定した。ワーカー1 人あたり 20 回作業を行い報酬は 660 円とした。(c) ワーカーが記載した模倣文書のうち模倣の際に提示 された本物のカルテ文書に同じ患者が含まれる模倣文書をSOAP フォーマットに則って再構成した。こ れを生成文書と呼ぶ。同じ患者に基づく模倣文書を 再構成することで、生成文書の中で臨床的な矛盾が生じにくい一方で、別の患者のデータに基づく記載 が含まれることで非実在患者の情報が記載された文書であることを担保した。

図 1 提案フレームワークの概略

## step 2 : カルテ文書に固有な特徴の顕在化

比較を行うことで相違点の判断能力が高まるとい う人間の認知特性 [10]を参照し、以下の 2 段階のマ イクロタスクを実施した。(a) 本物のカルテ文書と 既存公開文書をそれぞれワーカーに提示し、2 者の 違いを「患者の不安な気持ちが記載されている」「日本語の文章の中に英単語が混ざっている」のよ うに任意の数の yes/no クエスチョンのかたちでワ 一カーが記載した。一度に提示する文書数は 1,3 , 5, 7, 10 個ずつのいずれかからランダムに決定し た。得られた回答を特徴候補と呼ぶ。 72 人のワー カーが 50 回ずつ作業を行い、 1 人あたり報酬は 550 円とした。(b) 類似する特徵候補を集約すること で、カルテ文書に固有な特徴を明らかにしたい。そ こでまず、ランダムに選択した 100 個の本物のカル テ文書と、その文書が満たす特徴候補のぺアを取得 した。本物のカルテ文書一つと特徴候補がワーカー に提示され、ワーカーは提示された本物のカルテ文書が満たす特徴候補を任意の数、選択した。1 人あ たり 25 回作業を行い報酬は 440 円とした。得られ た本物のカルテ文書と特徴候補のぺアのうち、出現頻度が低くても強い相関があるぺアを取得するた め、lift[11]が 5 以上のペアを採用した。(c) 類似す る特徴候補を集約するため、(b)でぺアとして採用 された本物のカルテ文書集合間の Jaccard 係数が 0.5 以上の特徴候補同士を類似しているとみなした。特徵候補をノードとし類似する特徴候補間にエッジが あるネットワークを作り、Louvain 法を適用してコ ミュニティを抽出した。コミュニティ毎に、構成す る特徴候補の中から延べ 105 人のワーカーの多数決 で決定された最も代表的な特嘚候補を、本物のカル

テ文書に固有な特徴(以下、記載特徴と呼ぶ)とし

た。 1 人あたりランダムに選択された 50 個のコミ

ユニティについて作業し報酬は 440 円とした。各記載特徵について、カルテ文書を業務で閲覧する治験 コーディネーター 3 名が「この特徴を持つカルテ文書は存在しない $(-2) 」$ から「存在する $(+2)$ 」までの 5 段階のリッカート尺度で評価した。

## step 3 : カルテ文書に固有な特徴を持つ擬似カ ルテ文書の選別

生成文書から 100 個をランダム選択し、生成文書一つと記載特徼を延べ 50 人ワーカーに提示した。 ワーカーは、提示された文書が満たす記載特徴を任意の数、選択した。 1 人あたりランダムに選択され た 10 個の生成文書について作業し報酬は 550 円と した。記載特嘚のうち治験コーディネーターによる 評価の平均が 0 より小さい記載特徴を満たすと判断 したワーカーが半数以下の生成文書を、 2 つの要件 を満たした擬似的なカルテ文書と判断した。

## 2.3 作成した擬似カルテ文書の評価

提案フレームワークによって得られた疑似カルテ 文書と、ランダムに選択した 100 個の本物のカルテ 文書との類似性を評価した。比較対象として、2人 の医師が臨床現場を再現した実験環境で電子カルテ 様画面を利用して記載した 19 個の文書(医師記載文書と呼ぶ)および 257 個の既存公開文書と本物のカ ルテ文書との類似性の比較も行った。類似性の量的評価として、文書あたりの、標準病名数[12]、MeCab0.996 と mecab-ipadic-2.7.0 dictionary を利用して求め た形態素数、文章の難易度(readability)を評価する 13 段階からなる指標である T-13[13,14]を計測した。類似性の質的評価として、医師 3 人が、上記 4 種類の 文書からそれぞれランダムに選択した 12 個ずつを ランダムな順番に閲覧し、各文書を実際のカルテ文書だと思うかを「思わない(1)」から「思う(10)」まで の 10 段階リッカート尺度で回答した。各指標につ いて、本物のカルテ文書とそれ以外の 3 種類の文書 の間の、スコアの平均値の有意差検定を行った。

Shapiro-Wilk 検定と Bartlett の結果に基づき、文書あ たりの標準病名と形態素数の平均値の比較には Brunner-Munzel 検定を用い、readability と医師による 質的評価のスコアの平均値の比較には MannWhitney U 検定を利用した。また、データセットの スコアの分布間の Kullback-Leibler (KL)擬距離(式 (1))を求めた。 $p(x)$ は本物のカルテ文書のスコアの分布、 $q(x)$ はそれ以外の 3 種類のカルテ文書のスコア の分布である。

$
D_{K L}(p(x) \| q(x))=\sum_{x} p(x) \ln \frac{p(x)}{q(x)}
$

## 3 結果

## 3.1 クラウドワーカーの統計データ

延べ 1,662 人のクラウドワーカーのうち $97.3 \%$ は 医療従事者でなく、医療系の学生経験もなかった。

## 3.2 提案フレームワークの実現例

## step 1 : 臨床的妥当性を持つ文書の生成

35 人のワーカーが延べ 700 個の文書を作成し、再構成により 9,856 個の文書が生成された。

## step 2 : カルテ文書に固有な特徴の顕在化

3,197 個の特徴候補から 176 個の記載特徴が抽出 された。コミュニティが抽出され、3 人の治験コー ディネーターの評価によりそのうちの 166 個がカル テ文書の記載特徴とされた(表 1)。また、Step 2 と同様の実験を 3 人の治験コーディネーターが行い取得 された 105 個の特徴と、記載特徴を著者が比較した ところ定性的な違いは認められなかった。

## step 3 : カルテ文書に固有な特徵を持つ擬似力 ルテ文書の選別

100 個の生成文書のらち 83 個が、 2 つの要件を満 たした擬似的なカルテ文書と判断された。

表 1 カルテ文書に固有な特嘚の例

## 3.3 作成した擬似カルテ文書の評価

既存公開文書、医師記載文書、擬似カルテ文書、本物のカルテ文書のそれぞれについて、文書あたり の標準病名数(平均值)は $23.56 、 37.47 、 45.18 、 60.48$ 、形態素数(平均値)は 89.54、105.47、164.04、178.34、 readability スコア(平均値)は 9.70、8.08、10.22、10.29、医師の質的評価(平均値)は $4.53 、 5.25 、 5.20 、 5.0$ であ った。既存公開文書や医師記載文書と異なり、擬似 カルテ文書では 4 つの全ての指標について、スコア の平均値が本物のカルテ文書と等しいという帰無仮説が棄却されなかった(図 2, 表 2)。各指標の本物の

カルテ文書のスコアの分布からの KL 擬距離は、既存公開文書、医師記載文書、擬似カルテ文書の順に、文書あたりの標準病名数は $0.385 、 0.569 、 0.244$ 、形態素数は $0.312 、 0.942 、 0.115 、$ readability スコアは $0.098 、 4.160 、 0.633$ 、医師の質的評価は $1.573 、 1.111$ 、 0.767 であった。すなわち、擬似カルテ文書が他の 2 つのデータセットよりも本物のカルテ文書に類似し ていると判断した。作成した擬似カルテ文書は公開 iした。

表 2 作成した擬似カルテ文書の評価

 &  & 0.54 &  & 0.36 \\

標準病名

図 2 各評価指標のスコア

## 4 考察

本研究では、医師にとっても経験的なカルテ文書 の特徴に着目して提案した擬似文書作成フレームワ 一クを利用して、医師が電子カルテ画面を実験用に再現して記載した文書よりも本物のカルテ文書に類似している擬似カルテ文書を作成した。

## 4.1 提案フレームワークの汎用性と限界

提案フレームワークは、国や地域に依存しない点 で汎用性があり、本実験のようにクラウドソーシン グを利用すれば少数の本物のカルテ文書から擬似的 なカルテ文書を作成できる利点を持つ。その一方で、 カルテ文書に固有の特徴を明らかにする際に、実際 のカルテ文書には存在しない特徴を明らかにするこ とはできない提案手法である点は限界である。

## 4.2 擬似カルテ文書の汎用性と限界

本研究で作成した擬似カルテ文書は、プライバシ 一の問題なく自由に利用可能である。日本語の擬似 カルテ文書として、公開文書数は知る限り最大であ る。文書には「ビタミン B12 内服=痺れ」(痺れの訴 えに対してビタミン B12 を内服する、という意味) のようなカルテ文書に特徴的な記載が存在した。

一方で、医療の背景知識を持たないクラウドワー カーによる記載、また利用した本物のカルテ文書の 特徴を原因とする未知の偏りが生じる可能性は否定 できない。カルテ文書の網羅的な閲覧が倫理的観点 から不可能であることに起因する限界である。

## 5 結論

本研究では、文書の内容の一貫性を保つ必要があ り、文書に固有の特徴が明らかになっておらず、大規模なデータ収集が困難、という 3 つの特徴を持っ たカルテ文書を、擬似的に生成するフレームワーク を提案した。さらに提案フレームワークを、専門知識を持たないクラウドワーカーにより実現すること で、医師が臨床現場を模した環境で記載したカルテ 文書よりも本物らしいと判断できる擬似カルテ文書 を作成した。カルテ文書をはじめとした公開が困難 な文書資源を利用した言語処理研究において、提案 フレームワークが利用されれば幸いである。

## 6 倫理的配慮および謝辞

本研究は筑波大学附属病院臨床研究倫理審査委員会の承認を得た (H30-145)。JST 未来社会創造事業 (JP19211284)、JSPS 科研費 (JP19K19347)、筑波大学社会工学データコモンズの助成を受けた。

## 参考文献

[1] Lohr, Christina, Sven Buechel, and Udo Hahn. "Sharing Copies of Synthetic Clinical Corpora without Physical Distribution-A Case Study to Get Around IPRs and Privacy Constraints Featuring the German JSYNCC Corpus." Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). 2018.1259-1266.

[2] Savkov, A., Carroll, J., Koeling, R. et al. Annotating patient clinical records with syntactic chunks and named entities: the Harvey Corpus. Lang Resources \& Evaluation 50, 523-548 (2016).

[3] Aramaki A, Imai T, Miyo K, Ohe K. Robust classification for ungrammatical and fragmented texts. Proceedings of the $23^{\text {rd }}$ IEEE International Conference on Data Engineering Workshops; 2007 Apr 15-20:195-201

[4] Lee SH. Natural language generation for electronic health records. NPJ Digit Med 2018; 1(1): 1-7. PMID: 26900011 doi: $10.1016 /$ j.artmed.2016.01.003

[5] Guan J, Li R, Yu S, Zhang, X. Generation of synthetic electronic medical record text. Proceedings of the 2018 IEEE International Conference on Bioinformatics and Biomedicine; 2018 Dec 3-6:374-380; Madrid, Spain. Washington, DC: IEEE; 2018. doi: 10.1109/BIBM.2018.8621223

[6] Ive J, Viani N, Kam J, Yin L, Verma S, Puntis S, et al. Generation and evaluation of artificial mental health records for natural language processing. NPJ Digit Med 2020; 3(1): 1-9. PMID: 32435697 doi: 10.1038/s41746020-0267-х

[7] Aramaki E, Morita M, Kano Y, Ohkuma T. Overview of the NTCIR-11 MedNLP-2 task. Proceedings of the 11th NTCIR Conference; 2014 Dec 9-12:147-154; Tokyo, Japan. Toyko: NII; 2014.

[8] 香川璃奈, 篠原恵美子, 河添悦昌, 今井健, 大江和彦:医師の暗黙知に基づくタグ付きカルテコーパ
ス作成の要件の検討、言語処理学会第 24 回年次大会論文集 2018.757-760

[9] Kuniyoshi Y. The science of imitation — towards physically and socially grounded intelligence - Real World Comput Proj Joint Symp 1994; 95-96.

[10] Gentner D, Markman AB. Structure mapping in analogy and similarity. Am Psychol 1997; 52(1): 45-56.

doi: 10.1037/0003-066X.52.1.45

[11] Tan PN, Kumar V, Srivastava J. Selecting the right objective measure for association analysis. Inform Syst. 2004; 29: 293-313. doi: 10.1016/S0306-4379(03)000723

[12] ICD10 対応標準病名マスター(引用日 : 2020 年 9

月 15 日) https://www2.medis.or.jp/stdcd/byomei/index.html.

[13] Sato S, Matsuyoshi S, Kondoh Y. Automatic assessment of Japanese text readability based on a textbook corpus. Proceedings of the $6^{\text {th }}$ International Conference on Language Resources Evaluation; 2008 May 29-30:654-660; Marrakech, Morocco. Luxemburg: ELRA; 2008.

[14] 帯 3 日本語テキストの難易度を測る(引用日： 2020 年 9 月 15 日 ) http://kotoba.nuee.nagoyau.ac.jp/sc/obi3/

## 付録 公開した擬似カルテ文書の例

(S)

プールで週 1 回のリハビリ、10 分の散歩を初めて、ストレスは減り、体が軽くなったようだ。体調 はまあまあだ。

(O)

推定塩分摂取量 $6.11 \mathrm{~g} /$ day

体重 $66.7 \mathrm{k} \mathrm{g}$

骨格筋 $23.2 \mathrm{k} \mathrm{g}$

骨格筋量 $25.4 \mathrm{k} \mathrm{g}$

低血糖の自覚はないです。

74-199-177-

$(\mathrm{A} / \mathrm{P})$

昨夜からランタス 3 単位で開始したところ、今朝から低血糖になり、ランタスは 1 単位へと減らす。

また、退院は血糖コントロールが安定するまで外科主科で診てもらう。

当科と併せて診てもらい、血糖コントロール続けていく。

退院の目処が立ち次第外科へ連絡。

$\mathrm{Q}(1-1-1) \mathrm{G}(0-0-0-1 \downarrow) \curvearrowleft$

ストレスがあり、栄養や運動の調整は難しい

ビタミンB 12 内服二疩れ


# 主観感情と客観感情の強度推定のための日本語データセット

\{kajiwara, chu, takemura, n-yuta, nagahara\}@ids.osaka-u.ac.jp
## 1 はじめに

感情分析は、対話システム [1] やソーシャルメ ディアマイニング [2] など多くの応用を持つ主要な 自然言語処理タスクのひとつである。感情分析は 活発に研究されており、テキストの感情極性の推定 [3] だけでなく、近年ではより詳細な感情の識別 や感情強度の推定 [4] が試みられている。

先行研究では、Ekman の 6 感情（喜び・悲しみ・驚き・怒り・恐れ・嫌悪） [5] や Plutchik $の 8$ 感情 （喜び・悲しみ・期待・驚き・怒り・恐れ・嫌悪・信頼）[6]が代表的な基本感情として用いられている。既存の感情分析データセットには、テキストの書き 手による主観的な感情強度のラベルを収集したも の [7] と、テキストの読み手による客観的な感情強度のラベルを収集したもの [8-13] が含まれる。多く の先行研究が客観的な感情強度ラベルを収集してき た1)ため、これまでの感情分析の研究は客観的な感情強度の推定に焦点を当ててきた。

本研究では、テキストの書き手による主観的な感情強度ラベルとテキストの読み手による客観的な感情強度ラベルの両方を収集し、これらの差異につい て調査する。まず、クラウドソーシングを用いて雇用した 50 人の主観注釈者が、SNS 上での自身の過去の投稿に主観的な感情強度を付与した。そして、収集した全投稿に対して、それぞれ 3 人の客観注釈者が客観的な感情強度を付与した。合計で、 17,000 件の投稿について、Plutchik の 8 感情 [6] の強度を、主観と客観の両方で 4 段階（無・弱・中・強）で付与 した日本語の感情分析データセット2)を構築した。

先述の通り、英語を中心に多くの感情分析データ セット [7-13] が公開されているが、テキストの書き 手が持つ感情と読み手が受ける感情の両方を収集し

表 1 感情強度ラベルの例 $(0:$ 無、1: 弱、2: 中、3: 強)

たのは本研究が初である。日本語では、鍜治ら [14] や鈴木 [15] の研究があるが、これらは感情極性を対象としており、多様な感情を扱っていない。

収集した主観ラベルと客観ラベルを比較した結果、怒りや信頼の感情を中心に、読み手は書き手の 感情を充分に検出できないことが明らかになった。表 1 に、書き手が強い悲しみと怒りの感情を持って 書いた投稿の例を示す。読み手は書き手と同じく悲 しみの感情を持っているが、怒りではなく驚きを感 じており、書き手と読み手の感情は充分に一致しな い。このように、書き手が強い怒りの感情を持って 書いたテキストでも、その半数以上に読み手は怒り を全く感じないなど、全体的に読み手は書き手の感情を過小評価する傾向が見られた。また、BERT [16] による感情強度の推定実験の結果、客観ラベルより も主観ラベルの推定が難しいことがわかった。テキ ストの書き手が持つ感情と読み手が受ける感情には 大きなギャップが存在し、テキストの「読み手」で ある機械学習モデルにとっても、書き手の主観的な 感情強度を推定することは難しいと言える。

## 2 感情分析データセットの構築

## 2.1 主観的感情強度ラベルの収集

クラウドソーシングサービスのランサーズ3)を用 いて、50人の主観注釈者を雇用した。注釈者の内訳は、男性が 22 人、女性が 28 人、 10 代が 2 人、 20 代が 26 人、 30 代が 18 人、 40 歳以上が 4 人である。

表 2 Quadratic Weighted Kappaによる評価者間のアノテーションの一致率

主観注釈者は、SNS 上での自身の過去の投稿に対 して、Plutchik の 8 感情 [6] の強度をそれぞれ 4 段階（無・弱・中・強）で付与した。ただし、テキス トからの感情分析という目的のために、画像付きの 投稿や URL 付きの投稿は対象外とした。各注釈者 は 100 件から 500 件の投稿にラベルを付けており、合計で 17,000 件の投稿と主観的感情強度のラベル を収集した。投稿時期については特に制限を設けな かったが、結果として 2011 年 6 月から 2020 年 5 月 までの 9 年の範囲の投稿が集まった。なお、投稿 1 件あたり 21.5 円の報酬を支払った。

収集したラベルの品質を評価するために、注釈者 ごとに 30 件の投稿を無作為抽出した。評価者（大学院生 1 人) は、投稿内容と 8 感情の強度ラベルを 見て、以下の基準で各投稿を 4 段階評価した。

・3: 付与されたラベルに完全に同意できる

・2: 付与されたラベルに概ね同意できる

・ 1 : 付与されたラベルに同意しにくい

・0：真面目にラベル付けしていると思えない

評価結果を注釈者ごとに平均すると、平均 2.1 点、最低 1.8 点、最高 2.5 点であった。なお、 0 点の投稿 は存在しなかった。平均 2 点を下回る注釈者は 5 人 いたが、著しく低品質な注釈者は見られなかった。

## 2.2 客観的感情強度ラベルの収集

同じくランサーズを用いて、3人の客観注釈者を 雇用した。注釈者の内訳は、30 代の女性が 2 人と 40 代の女性が 1 人である。客観注釈者は、 2.1 節で 収集した 17,000 件の投稿に対して、主観注釈者と同 じく、Plutchik の 8 感情 [6] の強度をそれぞれ 4 段階 で付与した。ただし、主観注釈者がテキストの書き 手である自身の感情を付与した一方で、客観注釈者 はテキストの読み手である自身の感情を付与した。 なお、投稿 1 件あたり 3.8 円の報酬を支払った。収集したラベルの品質を評価するために、注釈者間の一致率として Quadratic Weighted Kappa ${ }^{4)}$ [17] を計算した。表 2 の上段に、客観注釈者間のアノ テーションの一致率を示す。喜びの感情は $\kappa>0.6$ の substantial agreement、信頼の感情は $\kappa<0.4$ の fair agreement であるが、全体としては $0.5<\kappa<0.6$ の moderate agreement を確認できた。

## 2.3 主観注釈者の性格診断

本研究では、性格と感情の関係についても調査 するために、主観注釈者に対して性格診断を実施 した。性格 5 因子モデル [18] に基づく 60 項目の質問 [19] を通じて、調和性・外向性・情緒不安定性・開放性・誠実性の 5 種類の性格診断を実施した。こ の性格診断は、「陽気な」「素直な」などの 60 種類の 性格形容語に対する自身の該当度を 7 段階評価で申告し、各項目の該当度の足し引きによって 5 種類の 性格指標を計算するものである。4 節では、性格診断の結果を用いて感情分析モデルの改善を試みる。

## 3 データセットの分析

表 2 の下段に、主観注釈者と客観注釈者の間の感情強度の一致率を示す。客観注釈者間の感情強度の 一致率に比べて、主観注釈者と客観注釈者の間の感情強度の一致率は全体的に低い。特に、怒りの感情 において、客観注釈者間の一致率と主観注釈者-客観注釈者間の一致率に大きなギャップがある。な お、 3 人の客観注釈者の感情強度を平均すると、主観注釈者との一致率が全体的に若干向上した。

表 3 に、主観の感情強度ラベルと客観の感情強度 ラベルの混同行列を示す。例えば、喜びの感情にお いて、主観注釈者が無とラベル付けした投稿のう

4) https://scikit-learn.org/stable/modules/generated/ sklearn.metrics.cohen_kappa_score.html
表 3 主観ラベルと客観ラベルの混同行列（\%）

ち、客観注釈者が無を付けた割合は 91.7\%であり、客観注釈者が弱を付けた割合は $3.1 \%$ でる。怒り の感情に注目すると、テキストの書き手である主観注釈者が強を付けた投稿の $58.6 \%$ に対して、テキス トの読み手である客観注釈者は無を付けている。信頼の感情では更に顕著であり、主観注釈者が強を付

おり、読み手が書き手の感情を充分に検出できない ことがわかる。その他の感情についても、主観注釈者の感情強度が中以下の投稿については、客観注釈者によって無が付けられる割合が最も高い。また、主観注釈者の感情強度が無のときに客観注釈者の感情強度が弱以上になることは少なく、全体的に読み 手は書き手の感情を過小評価する傾向がある。

## 4 感情強度推定の実験

2 節のデータセットを用いて、感情強度（無・弱・中・強）を推定する 4 值分類の評価実験を行う。

## 4.1 実験設定

データセットは、 30 人 15,000 件の訓練用データ、 10 人 1,000 件の検証用データ、 10 人 1,000 件の評価用データに重複なく分割して実験する。単語分割に は MeCab（IPADIC-2.7.0）５［20]を使用する。

感情分析モデルの性能は、平均絶対誤差によって 評価する。主観注釈者が付与した感情強度ラベル （主観データ）を用いる評価と、3人の客観注釈者が 付与した感情強度ラベルの平均（客観データ）を用

いる評価の両方を実施する。感情分析モデルには、BERT [16] を用いる。事前訓練済みの $\mathrm{BERT}^{6}$ を再訓練し、 $\boldsymbol{y}=\operatorname{softmax}(\boldsymbol{h} \boldsymbol{W})$ と して感情強度を推定する。ただし、 $\boldsymbol{h}$ は BERT の [CLS] トークンから得られる素性べクトルである。主観データにおける評価と客観データにおける 評価の両方で、主観データで訓練した BERT（主観 BERT）と客観データで訓練した BERT（客観 BERT）の両方の性能を調査する。BERT の実装には Transformers ${ }^{7)}$ [21] を使用する。WholeWordMasking モデルを使用し、バッチサイズは 32 、ドロップアウ 卜率は 0.1、学習率は 2e-5、最適化は Adam [22] とし て、3エポックの early-stopping を適用する。

主観データの評価では、主観 BERT において以下 の 2 つの方法で主観注釈者の性格を考慮する。

・ $\mathbf{w} / \mathbf{P c}: \boldsymbol{h}_{c}=[\boldsymbol{u} ; \boldsymbol{v}] \boldsymbol{W}^{c}$ として、性格を考慮する。 ただし、uは 5 次元の性格情報ベクトルを BERT と同じ 768 次元に線形変換した性格表現であ り、v は BERT の [CLS] トークンから得られる 768 次元のテキスト表現である。感情強度の推定においては、 $\boldsymbol{h}$ の代わりに $\boldsymbol{h}_{c}$ を用いる。
- $\mathbf{w} / \mathbf{P a}: \boldsymbol{h}_{a}=\operatorname{attention}\left(\boldsymbol{u} \boldsymbol{W}^{Q}, \boldsymbol{v} \boldsymbol{W}^{K}, \boldsymbol{v} \boldsymbol{W}^{V}\right)$ として、性格を考慮する。つまり、注意機構のクエリと して性格表現 $u$ 、キーおよびバリューとしてテ キスト表現 $v$ を用いる。感情強度の推定におい ては、 $\boldsymbol{h}$ の代わりに $\boldsymbol{h}_{a}$ を用いる。

表 4 感情強度推定の平均絶対誤差

参考のために、最頻クラスのベースラインも評価 する。これは、感情ごとに最も高頻度なラベルを常 に出力するベースラインである。本データセットで はいずれの感情においても無のラベルが最高頻度で あるため、実際には常に無のラベルを出力する。

## 4.2 実験結果

実験結果を表 4 に示す。下段の客観データにおけ る評価よりも上段の主観データにおける評価の方が 全体的に平均絶対誤差が大きく、書き手の感情強度 の推定がより難しいことがわかる。これまでの議論 で、書き手の感情を読み手が推定するのは難しいと 述べたが、同じく「読み手」である機械学習モデル にとっても書き手の感情推定は難しいと言える。

上段の主観データにおける評価では、主観データ で訓練した主観 BERT ではなく客観データで訓練し た客観 BERT が最高性能を達成するという想定外の 結果となった。先述のように、テキストの書き手の 感情（主観データ）の推定は難しいため、単純な訓練では充分な性能が得られなかったものと考える。

そこで、書き手の性格情報を用いて訓練を補助す る 2 手法を検討した。実験の結果、性格表現とテキ スト表現を単純に結合する主観 BERT w/ Pc は有効 ではなかったが、性格表現とテキスト表現を重み付 きで考慮する主観 BERT w/ Pa は単純な主観 BERT よりも低い平均絶対誤差 $(0.553 \rightarrow 0.545)$ を達成し た。しかし、性格情報を用いても、客観 BERT の性能には及ばなかった。参考のために、客観注釈者の性能も掲載する。客観 BERT の性能は、客観注釈者 $\mathrm{A}$ および $\mathrm{C}$ を超えて おり、テキストの「読み手」としての主観感情の推定においては人間に匹敵する水準にあると言える。

下段の客観データにおける評価でも、主観データ における評価と同じく、BERT は最頻クラスのべー スラインよりも低い平均絶対誤差を達成し、客観 BERT が最高性能を達成した。各客観注釈者と比較 すると、客観 BERT の性能は、客観感情の推定にお いては改良の余地が残っていることがわかる。

## 5 おわりに

本研究では、日本語の感情分析のために 17,000 件 のデータセットを構築し、公開 2 ) した。Plutchik の 8 感情に基づき、50人の注釈者が自身の過去の SNS の投稿に主観的な感情強度をラベル付けし、さらに 3 人の注釈者が客観的な感情強度を付与した。

書き手の主観的な感情強度と読み手の客観的な感情強度を比較したところ、怒りや信頼の感情を中心 に、読み手は書き手の感情を充分に検出できず、過小評価する傾向が見られた。また、同じくテキスト の「読み手」である機械学習モデルにとっても、書 き手の主観的な感情強度の推定は難しい。今後は、書き手の性格情報や過去の投稿履歴を考慮し、より 高精度に主観感情を推定するモデルを開発したい。

## 謝辞

本研究は文部科学省による Society 5.0 実現化研究拠点支援事業の支援を受けたものである。

## 参考文献

[1] 徳久良子, 乾健太郎, 松本裕治. Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, Vol. 50, No. 4, pp. 1365-1374, 2009.

[2] Stefan Stieglitz and Linh Dang-Xuan. Emotions and Information Diffusion in Social Media - Sentiment of Microblogs and Sharing Behavior. Journal of Management Information Systems, Vol. 29, No. 4, pp. 217-248, 2013.

[3] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[4] Laura Ana Maria Bostan and Roman Klinger. An Analysis of Annotated Corpora for Emotion Classification in Text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, 2018.

[5] Paul Ekman. An Argument for Basic Emotions. Cognition and Emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[6] Robert Plutchik. A General Psychoevolutionary Theory of Emotion. Theories of Emotion, Vol. 1, pp. 3-31, 1980.

[7] Klaus R. Scherer and Harald G. Wallbott. Evidence for Universality and Cultural Variation of Differential Emotion Response Patterning. Journal of Personality and Social Psychology, Vol. 66, No. 2, pp. 310-328, 1994.

[8] Saima Aman and Stan Szpakowicz. Identifying Expressions of Emotion in Text. In International Conference on Text, Speech and Dialogue, pp. 196-205, 2007.

[9] Carlo Strapparava and Rada Mihalcea. SemEval-2007 Task 14: Affective Text. In Proceedings of the Fourth International Workshop on Semantic Evaluations, pp. 7074, 2007 .

[10] Sven Buechel and Udo Hahn. EmoBank: Studying the Impact of Annotation Perspective and Representation Format on Dimensional Emotion Analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 578-585, 2017.

[11] Saif Mohammad and Felipe Bravo-Marquez. Emotion Intensities in Tweets. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics, pp. 65-77, 2017.

[12] Saif Mohammad and Svetlana Kiritchenko. Understanding Emotions: A Dataset of Tweets to Study Interactions between Affect Categories. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 198-209, 2018.

[13] Laura Ana Maria Bostan, Evgeny Kim, and Roman Klinger. GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1554-1566, 2020

[14] 鍜治伸裕, 喜連川優. HTML 文書集合からの評価文 の自動収集. 自然言語処理, Vol. 15, No. 3, pp. 77-90, 2008 .
[15] Yu Suzuki. Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[17] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[18] Lewis R. Goldberg. The Development of Markers for the Big-Five Factor Structure. Psychological Assessment, Vol. 4, No. 1, pp. 26-42, 1992.

[19] 齊藤崇子, 中村知靖, 遠藤利彦, 横山まどか. 性格特性用語を用いた Big Five 尺度の標準化. 九州大学心理学研究, Vol. 2, pp. 135-144, 2001.

[20] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[21] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[22] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.


# 絵文字の共起関係を用いた距離学習

町田秀輔守屋俊柴田千尋
東京工科大学 バイオ・情報メディア研究科
\{c011624552, c0115334ef, shibatachh\}@edu.teu.ac.jp

## 1 はじめに

スマートフォンや PC の発達により，インター ネットや電子メールを通じたテキストベースの伝達方法が盛んに行われるようになっている. 商品レ ビューやチャットツール，ソーシャルネットワーキ ングサービスなど人の意見や考えなど気軽に発言で きる場が増え, それらを利用した解析技術の需要も 増している．自然言語処理の感情分析は，テキスト から人間の感情を推定することを目的とし，前述し たサービスの分析に非常に重要な技術の一つであ る.しかし，人間的な感情を正確に捉えることは難 しく, 感情の定量的な推定を行うことができる手法 は未だに発展途上である．既存の感情分析タスクと しては，文または文章から，「ポジティブ，ネガティ ブ，ニュートラル」のような 3 つの極性感情を推定 したり, SemEval [1]の「Joy, Sadness, fear, anger」 のような細分化した感情を推定するものが存在す る。一方で, 心理学分野では, プルチックら [2] に よって提案されている感情の輪と呼ばれるものがあ り, 8 つの基本感情「喜び, 信頼, 恐れ, 驚き, 悲し み，嫌悪，怒り，期待」があり，さらにこれら 2 つ を組み合わせた感情を人間特有の高度な感情と定義 される。 心理学的な知見である感情の輪では, 人間特有の感情は基本感情を組み合わせたものとしてい るが，自然言語処理の感情分析タスクでは，これら の高度な感情についての言及はしておらず，まだ基本感情の分析しか行われていない. そこで本研究で は複雑な感情表現を得るための足掛かりとして, 絵文字を利用した距離学習を提案する．絵文字を使う 利点として, 絵文字には, 感情を表す表現の種類が 豊富であることがあげられる．絵文字の持つ豊富な 感情の含意を利用して，絵文字間の共起関係を距離学習の仮ラベルとして用い，対応する文を距離空間 へ埋め込むことで，従来のラベルを予測するモデル よりも，定量的表現が獲得できる。絵文字は, 同一文章内で複数種類使われることが多いため，この共起関係を用いることで，文章の感情の視点から見た ときの類似性を表しているものとして捉えることが 可能となる.

## 2 関連研究

## 2.1 距離学習

距離学習は, データ間の距離や類似度などから データの埋め込み表現を学習をする手法の一つであ る. Hadsell ら [3] による Contrastive loss では，一般的に，入力データを一度に二つサンプリングし，サ ンプル同士が類似しているなら距離を近づけ，そう でないなら遠ざけるように学習することで，任意距離で測れる空間へ埋め込むことが可能となってい る.また，Wang ら [4] は，入力データを一度に三サ ンプル $(a, b, c)$ 用意し, サンプル $a$ の埋め込みベクト ルと, $a$ と類似するサンプル $b$ との埋め込みべクト ルとの距離を近づけ, 同時に,$a$ と類似していない サンプル $c$ の埋め込みベクトルとの距離を遠ざける ように学習する手法 (トリプレットロス)を提案して いる.

## 2.2 BERT

BERT [5] は事前学習を行うモデルの一種で，多く 自然言語処理のタスクで高い性能が報告されている 汎用性の高いモデルである．入力データはサブワー ドによるトークン化を行い，先頭と文末に特殊トー クンである CLS と SEP を挿入する。事前学習では 入力トークンをマスクし，マスク箇所を周囲の情報 から予測する Masked Language Model と，2つの文章 を入力して繋がりのある文章か，そうでないかの 2 值分類を行う Next Sentence Prediction を行わせてい る.この 2 つのタスクを解くことで，トークン間の 関係と文間の関係を教師なしで学習することができ る. 事前学習を行わせた BERT では，特定のタスク には特化していないが，文章の表現を獲得すること

に優れたモデルとなっており, 事前学習済みモデル に対して，特定のタスクに特化したデータセットを 用いて fine tune を行うことで, 対象のタスクに対し て適応した高い精度を持ったモデルとなる。

## 3 提案手法

## 3.1 絵文字を元にした距離学習

本研究の朹組みで行う距離学習では, 文章を BERT へ入力し, 得られた埋め込み表現からトリプ レットロスで学習を行う，提案手法では，トリプ レットロスで学習する際のデータのサンプリングに 絵文字の共起関係を用いる.

$
\begin{aligned}
\operatorname{TripletLoss}(a, p, n)= & \max \{d(a, p)-d(a, p) \\
& + \text { margin, } 0\}
\end{aligned}
$

式 1 は, 本研究で用いるロス関数であり, $a$ は特定 の絵文字が付いた文の埋め込みべクトル, $p$ は, $a$ と同一の絵文字または共起関係にある絵文字が付い た別の文の埋め込みべクトル,$n$ は, $a$ と異なりか つ共起関係にない絵文字の付いた文の埋め込みべク トルである.また, margin の値は 1 とする.

全体の流れとしては, 図 1 に示すように，まず， データを一つ選び，そのデータに付与されていた絵文字と共起しやすい絵文字, または同一の絵文字の ついた文章をポジティブなサンプルとし，それ以外 の文章をネガティブなサンプルとして取る。その 後, 得られた三つのサンプルをそれぞれ BERT の Encoderへ入力する．BERTの出力のうち, CLSトー クンに対応する位置の出力ベクトルを文ベクトル して, トリプレットロスで誤差を計算し，モデルを 更新する. 提案手法では, 絵文字の共起関係を通し て, 文の持つ感情を捉えた文間の距離関係が, 学習 の結果, ベクトル空間中に埋め込まれることを期待 する.

図 1 提案手法の概要図

## 3.2 絵文字の共起関係の抽出および共起頻度に基づくサンプリング

絵文字自体は視覚的な訴求力を伴った記号であ り，どのような感情を意味するかが事前に与えられ
ているわけではない. また, 本研究で用いた絵文字 の総数はであり, それらがすべて独立した感情を 表しているわけではない。一方で，実際に文章内に 用いられる際には, 視覚的・意味的に似ている絵文字が同一文章内で複数種類使われることが多い. そ こで, 共起している絵文字を使用している文章同士 は感情の意味で類似していると仮定し, この共起関係から似た文表現が埋め込む先の空間でまとまり やすくなることを期待する．さらに，前述の三つの サンプルを得る際のサンプリング確率に, 共起頻度，または，自己相互情報量 (PMI; Point-wise Mutual Information)を用いる.

$
\operatorname{PMI}(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

共起頻度を用いたサンプリングでは, 頻度の閾値 を 1000 回として，間值以上のものを共起関係にあ るものとした。そして，各頻度を足して 1 になるよ う正規化することで確率とみなし，サンプリングを 行う. PMIを用いたサンプリングでは, PMI が間值 0 を超えるサンプル同士を共起している，閾値を上回らないものを共起していないとする．PMI は頻度 とは異なるため, サンプリング時の確率にするため に Softmax 関数を通すことで確率とみなしてサンプ リングを行う。これにより, 単に共起したかどうか の二值ではなく, どの程度共起しやすいかが, 距離空間上でどの程度文同士がまとまりやすいかに影響 を与えるようにすることができる.

## 4 データセット

## 4.1 訓練データ

提案手法のデータセットは 2012 年から 2016 年の Twitter から収集した文章内に絵文字が含まれている もの, 約 1600 万件を用いる. サンプリングに用い る共起頻度と PMI はこの 1600 万件の発言から計算 する.しかし, 距離学習に用いるデータセットは絵文字の出現頻度, 上位 100 個の絵文字が含まれた文章を用いる. これは低頻度な絵文字については, 共起関係を得ることが難しい. 提案手法の学習に悪影響を与えてしまう可能性があるためである.

## 4.2 評価デー夕

評価用のデータセットには，3つのデータセット を使用する. Twitterを基に作成された SemEval2013-

2016 年の Sentiment Analysis in Tweet のデータセット と SemEval2018 年の Affect in Tweets を用いる. さら に，もう 1 つは映画のレビューサイトを基に作成 された SST-2(Stanford Sentiment Treebank)を用いる. データセットの詳細については表 1 に示す. SST-2 のデータセットには, ポジティブ, ネガティブの 感情ラベルがあり, SemEval2013-2016 年にはさら にニュートラルの感情ラベルが付与されている. SemEval2018 年はより詳しい感情ラベルと感情の強度が 0-1 の範囲の連続值でラベル付けされている。感情ラベルには喜び, 恐れ, 怒り, 悲しみの 4 つの 感情ラベルがついており, 感情強度には, アンケー トから BWS(Best Worst Scaling)を用いて各ツイート に連続值がラベル付けされている.

## 5 実験

データセットの文章を BERTへ入力し, 得られた 文ベクトルを使った実験を行う，得られた文べクト ルが感情分類データセットへどの程度効果的か, 文 ベクトルが感情表現に基づいて埋め込まれているか を次元圧縮によって可視化したマップから定性的に 評価する。また, SemEval2018 の感情強度を用いた 実験では, 文ベクトルが, 強度ごとに分布している かを, 強度とべクトル間の距離に基づき実験する。

## 5.1 感情分類データセットでの評価

提案手法が実際に感情分類データセットへ効果的 かを調べるため, まず，3つのデータセットを用い た評価実験を行う．モデルの評価には BERT で得ら れた文ベクトルを入力とした線形 SVM の正解率で 示す. 距離空間への埋め込みを学習しているため,通常の文表現よりも分類しやすいということを定量的に測るため線形モデルで文ベクトルの評価を 行う. 評価データは<文ベクトル，ラベル>の対を感情分類データセットごとに用意する。訓練データと テストデータの総数については表 1 の通りに行う. ベースラインである事前学習済み BERT と提案手法 3 つのモデル評価を行い，実験の結果を 2 に示す.表 2 線形 SVM による比較

ベースラインは, 事前学習済み BERT の文ベク トルを使った実験である。(a), (b), (c) は提案手法 であり (a) は全ての絵文字付き文章が距離空間で独立する様に学習させるものである. (b) は絵文字間 の共起頻度に基づいてポジティブサンプリングを 行ったもので, (c) は絵文字間の PMIに基づいてポ ジティブサンプリングを行うものである. ベースラ インと提案手法では, 提案手法がどのデータセット でも線形 SVM の正解率が高いことを示している.特に, SemEval2018では, より細分化した感情ラべ ルがついたデータセットではあるが，提案手法では ベースラインと比べると約 $12 \%$ ほど，正解率が向上していることがわかる．他のデータセットと比べ ると, 感情ラベルが多いことから分類が難しいデー タセットではあるが，正解率が向上していることか ら，より細かい感情を捉える様な学習ができている ことがわかる. また, 提案手法である (b), (c) は, (a)よりも優れている。共起関係を用いたサンプリ ングが効果的であったことが結果からわかる.

## 5.2 文ベクトルの可視化

BERT によって得られた文べクトルの可視化を行 う. 可視化には, 次元圧縮手法である t-SNEによっ て 2 次元へ埋め込んだデータ点から, ベースライン と提案手法の比較を行う．可視化を行うデータセッ トは SST-2 のテストデータとする. まずベースライ ン手法の文ベクトルを可視化したものを図 2 で示 す. 図 2 では, ベースラインの文ベクトルが, 感情 ラベルごとに分かれることはなく交わった状態で可視化されている. ベースラインのモデルでは, 感情 ラベルにまつわる情報を上手く獲得できていないと いうことが結果からわかる. 次に, 図 3 では, 提案手法の文ベクトルを可視化したものになる. 図 2 と 比べるとラベル間の交わりが少ないことがわかる.可視化の結果から, 文ベクトルは一定の感情的な情報に作用した埋め込みが行われていることを示唆し ているといえる.

図 2 ベースライン

図 3 提案手法

## 5.3 感情強度と文ベクトル間距離

SemEval2018には感情強度についてのラベルがあ る. そこで，この強度とラベル間の距離についての 分析を行う。まず，感情強度は $0-1$ の範囲であるた め, 0.1 間隔で 10 個のラベルヘ再ラベリングを行 う．新たにつけた感情強度のラベルと文ベクトル間 の距離についての相関関係を図 4 に示す.

図 4 感情ラベル"悲しみ"の強度と距離についての図

図 4 では，提案手法を用いた，感情ラベル"悲し み"の感情強度と文ベクトル間の距離についての相関関係を示す.この図では相関係数が 0.987 となり 強度と距離の相関関係には強い正の相関があること がわかった。ベースラインのベクトル表現を用いた場合だと相関係数が 0.836 と，提案手法よりも低い。 そのため，提案手法が感情の強度を表す様な学習が 行われているということがわかる。さらに，全ての 感情ラベルとデータセット全体の強度についても 分析を行った。その結果を表 3 に示す. 感情ラベル の"楽しい"を除いた 3 つの感情ラベルとデータセッ 卜全体での結果から，提案手法では感情の強度とべ クトル間の距離についてうまく表現できていること がわかる.

表 3 感情ラベルの強度と距離の相関係数

## 相関係数

## 6 おわりに

本研究では，絵文字を利用したデータサンプリン グを行う距離学習を提案した。絵文字のついた文章 が複雑な感情を表しているとして，絵文字に基づい た距離学習を行い，より分類しやすい空間へ文べク トルを埋め込む学習を行った。その結果，線形 SVM の正解率はデータセットによらず向上していること が確認でき，感情の強度についても，強度ごとに文 ベクトルを埋め込むことができていることを確認で きた。提案手法では，新たなデータセットで再学習 することなく一定の感情分類の精度が得られ, 感情 の強度についても，文ベクトルを強度ごとに埋め込 むことが確認された。今後は，さらに複雑な感情ラ ベルに対しての分析や他の言語への適応などが期待 される.

## 参考文献

[1]Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 task 1: Affect in tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]ROBERT PLUTCHIK. Chapter 1 - a general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3]R. Hadsell, S. Chopra, and Y. LeCun. Dimensionality reduction by learning an invariant mapping. In 2006 IEEE Computer So-
ciety Conference on Computer Vision and Pattern Recognition (CVPR'06), Vol. 2, pp. 1735-1742, June 2006.

[4]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.


# グラフニューラルネットワークによるアスペクトベースの感情分析

樊惠†，杉本徹 $!$
}

†芝浦工業大学大学院 理工学研究科, †芝浦工業大学 工学部

\{ma20079, sugimoto\}@shibaura-it.ac.jp
## 1 はじめに

アスペクトに基づく感情分析（Aspect Based Sentiment Analysis 以下 ABSA）は感情分析タスクの 一つであり，テキストを文レベルではなく単語レベ ルにタグ付けをする感情分析である．例えば「The food is delicious, but the service is too bad.」というレビ ユーを考える．文レベルの感情分析手法はこのよう なポジティブとネガティブの両方を含むレビューを 分析しにくい. 一方, ABSA は単語による分析を行 う手法なので，このレビューに対し「food」と「service」 を抽出し，タグを付けることができる。

ABSAのタグはアスペクト「B(はじめ), I(中間),

$\mathrm{E}($ 終わり), S (シングル), O (無感情)」と感情「pos (ポジティブ), neu (中立的), neg (ネガティブ)」 から構成される.従来の研究は, 図 1 に示すように, タグを aspect と polarityに分けてそれぞれに予測す る. あるいは, 2 種類のタグをまとめ (unified), 同時に予測する手法もある[1]. Li ら [2]は BERT モデル を使ってまとめたタグを予測し,「SemEval-2014 Task 4 Laptop」[3]において micro-f1 61.12\%を得た.

図 1 ABSAのタグ付け

しかし，ABSAに使用されるデータは短いテキス トが多いので，夕グの予測に使える情報量が少ない という問題が存在している.

本研究は, 分析対象テキストにおける依存関係な どの単語間の関係の情報を導入することで, 情報量 を増やすことを試みる．単語間の関係は通常グラフ 構造なので, 一般的なニューラルネットワークに適用できない. そのため, 近年複数の分野でうまく機能することが示されているグラフニューラルネット ワーク（以下 GNN）を用いる. この方法で, ABSA における情報量不足の問題を解決できる.

## 2 提案手法

本研究で提案するモデルの構造を図 2 に示す.ま ず，レビュー文をグラフ化し，モデルに入力する. そしてタグを予測する。最後に，従来手法により構築したモデルと比較して，結果を評価する。

$\hat{v}$

図 2 モデルの構造

## 2.1 テキストのグラフ化

GNN に入力するデータはグラフのノード特徴量 とノードの隣接情報である。本研究は，文を単位と してグラフを構築する．各文の単語をグラフのノー ドとして扱う．そして，BERT モデルが出力したべ クトルをノード特徴量とする. ノードの隣接情報を 単語間の依存関係または self-attention により作る。

## 2.2 Graph Convolutional Network

Graph Convolutional Network[4]（以下 GCN）の原理は各ノードが隣接ノードから特徵量を集約 (aggregate）し，自身の特徴量を更新することであ る. これで，ニューラルネットワークの順伝搬を行 う時に，更新された各ノードの特徴量に隣接ノード の特徴量も含まれ，計算に関連する情報が増えてい る. GCN の更新式を以下に示す.

$
h_{i}^{(l+1)}=\sigma\left(\sum_{j \in N_{i}} \widehat{D}^{-\frac{1}{2}} \hat{A} \widehat{D}^{-\frac{1}{2}} h_{j}^{(l)} W^{(l)}+b^{(l)}\right)
$

$h_{i}^{(l+1)}$ は第 $1+1$ 層目のノード $\mathrm{i}$ の特徴量

$\sigma$ は非線形活性化関数

$N_{i}$ はノード $\mathrm{i}$ 自身を含めた全ての隣接ノード

$\hat{A}$ はグラフの隣接行列+単位行列 $\widehat{D}$ は $\hat{A}$ 次数行列

$h_{j}^{(l)}$ は第 1 層目のノード $\mathrm{i}$ 自身を含めた全ての隣接 ノードの特徴量

$W^{(l)}$ は第 1 層目の重み $b^{(l)}$ は第 1 層目のバイアス

$\widehat{D}^{-\frac{1}{2}} \hat{A} \widehat{D}^{-\frac{1}{2}}$ は隣接ノードの特徴量を集約するための 正則化ラプラシアン行列である

## 2.3 Graph Attention Network

Graph Attention Network[5]（以下 GAT）は attention メカニズムを用い，特徴量を集約する。この際，集約するのは隣接ノードからの特徴量だけではなく, グラフの全ノードに対して attention をし, attention 係数を計算する. さらに, BERT モデルの self-attention のように multi-head を用い, よりロバストなモデル になるようにする. GAT の attention 係数の計算式を 以下に示す.

$
a_{i j}=\frac{\exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{j}\right]\right)\right)}{\sum_{k \in N_{i}} \exp \left(\operatorname{LeakyReLU}\left(a\left[W h_{i} \| W h_{k}\right]\right)\right)}
$

$h_{i}$ はノード $\mathrm{i}$ の特徴量

$h_{j}$ はノード $\mathrm{i}$ と attention 係数を求めるノード $\mathrm{j}$ の 特徴量

$[\cdot \| \cdot]$ はノード $\mathrm{i}$ と $\mathrm{j}$ の特徴量を feature transformation を行い，そして二つの新たな特徴量を concat する

$\mathrm{a}(\cdot)$ は concat された特徴量を実数にマッピングす る

LeakyReLu は非線形活性化関数

の attention 係数を取得できる。全ノードと attention する必要があるので, softmax を用い, 各 attention 係数を正規化する. そして GAT の更新式を以下に示于.

$
h_{i}^{(l+1)}=\sigma\left(\sum_{j \in N_{i}} a_{i j} W^{(l)} h_{j}^{(l)}\right)
$

$h_{i}^{(l+1)}$ は第 $1+1$ 層目のノード $\mathrm{i}$ の特徴量

$\sigma$ は非線形活性化関数

$N_{i}$ はすべてのノード

$h_{j}^{(l)}$ は第 1 層目のすべてのノードの特敀量

$W^{(l)}$ は第 1 層目の重み

## 3 評価実験

## 3.1 使用するデータとタグ

本研究は「SemEval-2014 Task 4 Laptop」データセ ノト[3]を用いる.データセットの割合を表 1 に示す.

表 1 データセットの割合

レビュー文とタグのフォーマットを表 2 に示す.

表 2 レビュー文とタグの例

表 3 に示すように，タグの種類は感情タグ「pos, neu,neg」と位置タグ「BIES」の組み合わせ 12 種類 と「O」と「eq」である.「O」は無感情単語を表す. BERT モデルは単語辞書による，長い単語を複数の トークンに分割する場合がある。分割された単語の 中に「\#\#」を含むトークンは「eq」を付ける.

表 3 タグの全 14 種類

## 3.2 BERT モデルの fine-tuning と埋め込み

本研究のデータセットによりふさわしい埋め込み を取得するために，事前学習済みの BERT モデル[6] を微調整する. エポック数は最大 10 として, 訓練セ ット全体を 1 回訓練するごとに，検証セットでモデ ルを評価し，精度を計算する。また，毎回の精度を 比較し，最良モデルを保存する． 10 回の訓練を終え た後, 保存したモデルが最適なモデルになる.

レビュー文を微調整した BERT モデルに入力し，

「単語数 $+2,768$ 」次元のベクトルを取得する. BERT モデルの特性により, 出力するベクトルには「CLS」

と「SEP」というトークンがある.この 2 つのトー クンを除くとベクトルは「単語数, 768 」次元になる.

このベクトルをノード特徴量として用いる.

## 3.3 単語間の関係の構築

## 3.3.1 依存関係

「スタンフォード大学 NLP ライブラリ」[7]を用 い，依存関係をノードの隣接情報とする，単語と単語の間に依存関係があれば，エッジを作る。

## 3.3.2 self-attention

テキストを BERT モデルに入力した時, selfattention 行列が生成される. self-attention 行列は単語 と単語の関連性を示す. 例文「The cat sat on the mat」 に対する self-attention 行列の 1 つを図 3 に示す.

図 3 self-attention 行列

12 層 12 ヘッドの BERT モデルに文を入力すると， このような行列が全部で 144 個生成される. selfattention の非線形活性化関数は softmax なので, 行毎 の合計は 1 である. 各行で関連性の値が最大の成分 （図 3 の赤字の所）に対応して, 図 4 の統計行列の 対応する位置にある成分に 1 を足す. これを 144 個 の self-attention 行列すべてに対して行う.

図 4 最大関連性の統計行列

統計行列において,「CLS」,「SEP」はBERT モデ ルのトークンであるので，無視する。また，GCN と GAT を計算する時に自己ループを追加するので，自身との関連性（対角成分）も無視する. 残りの成分 の中で各行で数値が最大の成分（図 4 の赤字の所） が単語間の強い関連性を表すと考え，対応する行と 列の単語間にエッジを作る。

## 3.4 全結合層

特徴量を集約することによって，異なるノードの 特徴量が同じ内容になる可能性がある。そのため, GCN/GAT 層とは別に全結合層を用意して concat す ることにする。これにより，埋め込みの情報をモデ ルの計算中に維持できる.

## 3.5 GCN と GAT の訓練

## 3.5.1 共通の部分

Batch-size は full-batch を設定する. 学習率と過学習抑制「Weight Decay」は 0.001 と 0.0005 を設定す る. Optimizer は Adam を選択する. エポック数は 500 を設定する.クロスエントロピーで損失を計算する.訓練セット全体を 1 回訓練するごとに，検証セット でモデルを評価し， micro-f1 が向上した場合にパラ メータを保存する．最後に，保存したモデルをテス トセットで評価する.

## 3.5.2 GCN

第 1 層目と第 2 層目は $\mathrm{GCN}$ 層である. 第 3 層目 は GCN 層と全結合層の concat である. 第 4 層目は タグを予測する全結合層である.

## 3.5.3 GAT

第 1 層目は 4 ヘッド GAT 層である. 第 2 層目は 1 ヘッド GAT 層と全結合層の concat である. 第 3 層目はタグを予測する全結合層である。

## 3.6 ABSA の評価指標

本研究の評価指標は適合率, 再現率と micro-f1 と する. 出力されたタグの次元は「単語数，タグの種類数」である。活性化関数 log-softmax を適用して， タグを予測する．出力されたタグと正解のタグの中 で，感情を持つ 12 種類のタグのみに着目して感情「pos,neu,neg」ごとに集計する[2]. 評価指標を計算 する数式を以下に示す.

$
\begin{gathered}
\text { precision }=\frac{\sum_{d} T P_{d}}{\sum_{d}(T P+F P)_{d}} d \epsilon\{\text { pos, neu,neg }\} \\
\text { recall }=\frac{\sum_{d} T P_{d}}{\sum_{d}(T P+F N)_{d}} d \epsilon\{\text { pos, neu,neg }\} \\
\text { micro }-f 1=\frac{2 * \text { precision } * \text { recall }}{\text { precision }+ \text { recall }}
\end{gathered}
$

## 4 実験結果

実験結果を表 4 に示す. 参照モデル 3 種と提案モ デル 4 種に対して，テストデータで各モデルを 5 回 ずつ評価し，得られた結果の平均を記録した。

参照モデル[2]は，「BERT only」「BERT + Linear（全結合層)」と「BERT + GRU」である. Linear 層と GRU 層はそれぞれに BERT モデルと直接連結し, End-toEnd モデルになる.

提案手法は，単語間の関係として依存関係（SD） と self-attention (SA), GNN として GCN と GAT の 組み合わせ計 4 種類のモデルを試した。

図 5 は各モデルの訓練ステップと損失の関係を示 す. 図 6 は $\mathrm{GCN}$ と GAT の ROC 曲線を示す.
表 4 実験結果

図 5 ステップと損失の関係

図 $6 \mathrm{ROC}$ 曲線

## 5 考察

表 4 を見ると，「BERT+GAT+依存関係」の組合せ が最も高い micro-fl の値を得た. GCN/GAT を用い たモデルの micro-f1 が「BERT only」より高いという ことは，ABSA タスクにおける GCN/GAT の有効性 を示している。 また，BERT モデルと他のニューラ ルネットワークの組合せよりも高いので, GCN/GAT を用いたモデルは ABSAタスクによりふさわしいと 判断できる. ノードの隣接情報を生成する 2 つの手法（依存関係と self-attention）を比較すると, 結果に
ほとんど差が無かった。レビューの単語数は多くな いので，単語間の関係はあまり複雑ではない。その ため,ノードの隣接情報を生成する手法を変えても，結果にあまり影響がなかったと考えられる。

次に図 5 を見ると， $\mathrm{GCN} / \mathrm{GAT}$ を用いたモデルの 收束が最も速い。GCN/GAT は固定された BERT モ デルの埋め込みを使ったので，モデルの計算中に埋 め込みを更新しない。一方，linear または GRU を使 う場合は BERT モデルと直接に連結するので， batch ごとに BERT モデルのパラメータも更新する．その ため，毎回埋め込みを改めて計算する必要があるた め, GCN/GAT よりも計算に時間がかかり収束も遅 くなる.

最後に, 図 6 の ROC 曲線が示すように, ABSA 夕 スクに対して GAT モデルは $\mathrm{GCN}$ より良い結果が得 られた. 本研究は inductive learning であるので，訓練セットはテストデータを含まない。そのため，テ ストセットをモデルに入力する時に, グラフの構造 の変化が生じた. GCN モデルのパラメータを更新す る時に，すべてのノード特徴量を更新する必要があ るため, GCN モデルはグラフの構造に影響される.一方, GAT モデルは単にノード間の attention 係数の 計算を行うため，グラフの構造の影響を受けないの で本研究により適している。

## 6 おわりに

本研究は, グラフニューラルネットワークによる アスペクトベースの感情分析手法を提案した。 GCN/GAT を用いることで, BERT を用いる既存手法 よりも良い結果が得られた. グラフニューラルネッ トワークモデルはグラフ構造のデータを処理できる ので，単語間の依存関係などの情報をモデルに入力 できる。そのため, モデルの学習における情報量が 増えたので，精度が向上したと考えられる。

グラフニューラルネットワークによるアスペクト ベースの感情分析は複数のグラフで構成されたノー ド分類タスクである. しかし，レビューの単語数が 異なるので，各グラフのノード数も異なる. 今後， グラフのノード数が一致するかどうかが結果にどの くらい影響を及ぼすかを研究する。また，エッジの 重みを含むグラフニューラルネットワークもあるの で，エッジの重みを付ける手法を考えつつ，このよ うなグラフニューラルネットワークを研究すること も今後の課題である。

## 参考文献

1. Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis. Haiyun Peng, Lu Xu, Lidong Bing, Fei Huang, Wei Lu, Luo Si .AAAI 2020, 2019 年.

2. Exploiting BERT for End-to-End Aspect-based Sentiment Analysis. Xin Li, Lidong Bing, Wenxuan Zhang, Wai Lam. Association for Computational Linguistics, 2019 年.

## 3. SemEval-2014 Task 4.

https://alt.qcri.org/semeval2014/task4/data/uploads/lapto ps-trial.xml, 2020-8 閲覧.

4. Semi-Supervised Classification with Graph Convolutional Networks. Thomas N. Kipf, Max Welling. ICLR 2017, 2017 年.

5. Graph Attention Networks. Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio. ICLR 2018, 2018 年.

6. BERT-base-uncased. 12-layer, 768-hidden, 12-heads, 110M parameters.

https://pytorch.org/hub/huggingface_pytorch-transform ers, 2020-4 閲覧

7. Stanza: A Python NLP Library for Many Human Languages.

https://github.com/stanfordnlp/stanza/, 2020-9 閲覧.


# コモンセンス知識を利用した物語中の登場人物の感情推定

田辺ひかり
}

小川哲司林哲則林良彦
早稲田大学理工学術院
tanabe@pcl.cs.waseda.ac.jp

## 1 はじめに

物語における登場人物の感情推定においては，直接的な感情表現を手がかりとするだけではなく，常識的知識を援用して「行間を読む」ことが必要とな る. 本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態 に関するコモンセンス知識を導入し，さらに，対象文の先行文脈を考慮することで，感情推定の精度を 向上させることを試みる。

本研究で対象とする Story commonsense データ セット [1] は，5 文からなる短い物語の各文に対し，登場人物の感情カテゴリが，Plutchik の基本感情 [2] を利用したマルチラベルの形態で付与されている。 このため，対象タスクはマルチラベルの分類問題と して定式化される. 本研究では，外部のコモンセン ス知識として, 出来事と出来事, 出来事と人物の心的状態の関係に関する事態知識を収集した知識グラ フ ATOMIC [3] を使用し，文脈情報としては，対象文の先行文を用いた。

評価実験において，対象文，文脈，外部知識それ ぞれからの情報の統合方法に関して複数の設定を比較した結果，外部知識，文脈の双方を用いることが 推定精度向上に有効であるが，その際は，双方の情報を別々に処理した後にアンサンブル的に統合する ことが有効であること，および，用いる外部知識は タスクに適合するように事前に選別しておくことが 有用であることなどが確認された.

## 2 関連研究

Rashkin ら [1] は物語中の人物の心的状態を推定 するためのデータセットとして Story commonsense データセットを構築した. 物語理解のデータセット では，物語の中で起きたことや物語の前後を推論す る QA 形式のものが多く [4][5][6]，人物の心的状態 に焦点を当てたデータセットは珍しい.
Story commonsense データセットには基本的欲求 と人物の感情の二つの側面でラベル付与がなされ ている. Paul と Frank [7] は, ConceptNet [8]を利用 した基本的欲求ラベルの推定を行っている. 物語 と欲求カテゴリを関係付ける可能性のあるパスを ConceptNetから取り出し, PageRankなどのグラフ理論的指標により算出したパスの重要度が高い上位 $k$本のパスを推定に利用することで，外部知識を用い ないモデルを上回る精度を達成した. しかし，本研究で扱う感情推定は行っていない.

Story commonsense データセットにおける感情推定を行った研究として， $[9,10,11]$ がある. 対象夕 スクがマルチラベル分類問題であるため，カテゴリ 間の依存・相関関係の扱いが課題となる.

田辺ら [9] [11] は Plutchik の環の構造, 学習データ における感情ラベルの共起関係を用い，感情極性の 二值分類とのマルチタスク学習を行った. さらに推定対象文の先行文脈を取り込むことで推定精度を向上させた．また，モデルから得られる文の分散表現 の主成分分析から Plutchik の環の構造が概ね妥当で あることを示した。

Gaonkar ら [10] は, Label-Embedding Attentive Network (LEAM) [12] を利用することにより，感情カテ ゴリ間の関係を考慮し，さらに，BERTを用いた label embedding の獲得やラベル同士の共起関係の利用, ラベルなしデータを用いた半教師あり学習を行うこ とにより，当該タスクの SOTAを達成した。

これらの研究はカテゴリ間の関係の利用に焦点を当てており, Paul と Frank の研究ような外部知識は利用していない. Paul と Frank の研究では ConceptNet のようなエンティティを単位とした知識 グラフを利用しているものの，ATOMIC で提供さ れるような出来事を単位とするコモンセンス知識 は利用しておらず，知る限りでは，本研究は Story commonsense データセットにおける感情推定に対す るコモンセンス知識利用の初めての試みである。

## 3 データセットと知識リソース

## 3.1 Story commonsense データセット

Rashkin らは物語文中の登場人物の内面状態を推定するために，Story commonsense データセット [1] を作成した. このデータセットは 5 文からなる短い 物語を集めた Story cloze test [13] データセットの一部に対して，一文ごと・登場人物ごとに心的状態を アノテートしている. 心的状態は基本的欲求と感情 の二つの観点でラベル付けされており，それぞれ複数のラベルの付与が許容されている. これにより，多面的な心的状態が表されるが，タスクはマルチラ ベル分類問題となる. なお, 本研究の対象である 感情ラベルには Plucthik [2] の 8 感情 (joy, trust, fear, surprise, sadness, disgust, anger, anticipation) が用いら れている。

## 3.2 コモンセンス知識グラフ: ATOMIC

ATOMIC [3] は，事態1) 間の前後・因果関係などに 関する常識的知識 (コモンセンス) を if-then 関係と して整理した知識グラフである. 特に，出来事と関係する人物の感情・意図などの心的状態の関係知識 を収集している点が特徴的であり, 物語文からの感情推定に有用であることが期待できる.

以下に ATOMIC における互いに関連する三つ組群の例を示す。一行目は各三つ組に共通する head ノードであり, IfEvent を表す.二行目以降の各行 は，三つ組における relation エッジ，tail ノードを表 しており，これらによりThenEventを表す.これに は，状態や性質に関する記述も含まれる。

[PersonX repels PersonY's attack]
- [xAttr] -> [PersonX is brave]
- [xEffect] $\rightarrow$ [PersonX's heart races]
- [xEffect] -> [PersonX gains an enemy]

$-[$ oEffect] -> [PersonY gets hurt]

表 1 に ATOMIC で使用される三つ組・エッジの夕 イプ・定義などを表す. 最左列は，三つ組が (1)人物の内面状態を表す IfEvent-MentalState，(2) 人物の 態度や人柄を表す IfEvent-Persona，(3) IfEvent と関連 する出来事を表す IfEvent-Event の3つのタイプに大分類されることを示す. 感情推定に関しては，特に (1)と (2)のタイプの三つ組が有効であることが期待 できる. 第二列に示すエッジタイプでは，headノー

ドの出来事を行う主体 (PersonX) とそれ以外の客体 (others)を区別している.

## 4 感情推定モデル

図 1 に提案する感情推定モデルを示す. 対象文 とそれに関連するコモンセンス知識を用いること により感情推定を行う知識利用モデルからの尤度 (logits_p) と, 対象文と先行文脈から感情推定を行 う文脈利用モデルの尤度 (logits_s) を次式の重み付 き和により統合し, 最終的な推定結果を得る.

$
\text { logits }=w \text { logits_s }+(1-w) \text { logits_p }
$

なお，それぞれのモデルにおけるエンコーダーは 事前に別個に学習されたものを使用する.

## 4.1 知識利用モデル

外部知識の抽出: 感情推定に有用そうな情報を ATOMIC から抽出しモデルに入力する. 抽出は物語文と三つ組の headノードの単語マッチングによっ て行う。まず，物語文の単語から品詞が 'PART'， 'PUNCT', 'CCONJ', 'DET' のいずれかである ものをストップワードとして削除し，残された単語と ATOMIC 中の IfEvent との重複単語数が閾値以上の三つ組を一定個数取得する. 今回は，三つ 組の量と物語との合致度に関する定性分析から閾值を 3 とした. 実験においては，モデルへ入力す る知識を表 1 に示した ATOMIC の三つ組タイプが IfEvent-Persona，IfEvent-MentalState のものに限定す る場合と全てを用いる場合を比較する。

対象文のエンコーディング: 以下の入力形式に より感情推定の対象文を BERT [14] によりエンコー ドし, [CLS] ベクトルを分散表現として利用する.

$[C L S]\{$ 人物 $\} \#\{$ 対象文 $\}[S E P]$

外部知識の導入：対象文と同様に BERT を用い たエンコーディングを行うため，抽出した三つ組 をエッジを表 1 最右列に示す疑似自然文に置換し，三つ組の各要素 head, relation, tail は別個にエンコー ドする. 得られた分散表現と物語文の分散表現の source-target attention を行い，物語文との関連度で重 み付けされた三つ組分散表現に更新する. Attention で重み付けされた三つ組の分散表現と対象文の分散表現を連結したのち，全結合層と softmax 関数に通 し，8つの各感情クラスの有無を示す尤度を求める. この尤度による識別結果と正例との損失を binary cross-entropy loss によって計算し，パラメータ更新
表 1 ATOMIC のエッジと自然文への書き換え表現一覧

 &  &  &  \\

図 1 提案する感情推定モデル

## を行う。

## 4.2 文脈利用モデル

登場人物の感情は，物語中の一文のみだけでなく 複数文に渡る出来事や状況の連鎖によって生じう る.このような場合，推定モデルへ入力する対象文一文のみでは正しく推定することは難しい. そこ で，対象文より前に何が起きたか，そもそもどのよ うな状況にあるのかといった文脈を入力に加える.

Rashkin ら [1] は，先行文脈において推定対象の登場人物が現れる文に限定したが，本研究では複数人物間のインタラクションが，対象の人物が陽に現れ ない文に記述される可能性を考慮し, 対象文に先行 する文を文脈として利用する [11].

BERT のの入力形式は，以下のように対象文と文脈を記号\#により区分する形式とした.

## $[C L S]\{$ 人物 $\ \#\{$ 文脈 $\} \#\{$ 対象文 $\}[S E P]$}

なお，後述の実験においては，比較のために，導入する文脈を空として文脈モデルを利用する設定で の評価 (表 2 の\#7) も行っている.

## 5 実験

## 5.1 実験設定

Story commonsense データセットの train セットに は正例ラベルが付与されていないため，dev セット を学習データとして使用し， test セットを用いて評価を行った。データ量 (物語文・登場人物対) は，学習データ 13,004 対，テストデータ 11,859 対である.

物語と三つ組のエンコードには，事前学習済み の BERT のモデル bert-base uncased を使用し，学習 データで fine-tune した. 物語文の最大入力長は 20
表 2 マルチラベル感情分類への外部知識と文脈の利用の効果

単語とし, 先行文による文脈を用いる場合は 80 単語に制限した. BERT から得る [CLS] 分散表現の次元サイズは 765 とした. 学習における最適化には Adam [15]を用い，エポック数は 32 ， バッチサイズ は 32 とした. ATOMIC から抽出する三つ組の最大個数は 40 個とした. 式 1 において，知識利用モデ ルと文脈利用モデルの影響力を調節する重み $w$ は，予備実験から $w=0.7$ とした. 評価指標にはマイク 口平均による精度 (Precision), 再現率 (Recall), F1 值 (F1)を用いた.

## 5.2 実験結果

表 2 に各設定における推定精度を示す. 知識利用 モデルのカラムにおける onlyEmo は, ATOMIC の三 つ組タイプを IfEvent-Persona， IfEvent-MentalState に 限定した場合，All は限定しない場合を表す。参考 のため，Gaonkar らの実験結果 [10]を\#1，\#2 に引用 している.

\#1, \#2 と \#3 の比較から, 提案手法は現在の SOTA を達成しているモデルよりも P が上回っているが， R では劣っている.これは, Gaonkar らの手法 [10] がラベル間の共起関係を強く意識した手法であるこ とによる.

\#4 と \#5 の比較からは，利用する外部知識のタイ プをあらかじめ対象タスクに応じて限定できるな ら，そうすべきことが分かる. このことは，\#7に対 する\#5 の比較では外部知識を限定なしで利用する とかえって精度が下がるのに対し，\#7 と\#4 に比較 では精度が向上していることからも裏付けられる。

\#3 と \#4の比較からは，外部知識だけでなく，文脈を併用することが有効であることが分かる. 事前実験として知識利用モデル側で文脈を利用する設定 も試したが，精度が低下したことから，外部知識と 文脈は別に扱い，後にアンサンブル的に統合するの が良いと考えられる。
＃3 と ４４違いは，文脈利用モデルのアンサンブ ルの有無であり，後者では $\mathrm{F} 1$ が $60.11 \mathrm{pt}$ から $57.90 \mathrm{pt}$ へ $2.21 \mathrm{pt}$ 低下している. これに対し, \#3 と \#6の差異は，知識利用モデル (onlyEmo 条件) 使用の有無で あるが，後者における $\mathrm{F} 1$ の低下は，0.68pt にとど まっている。この差から，現状のモデルにおいて は，文脈利用による精度向上への寄与の方がコモン センス外部知識より大きい可能性が示唆される. 現在の文脈の扱いは非常に単純化したものであるに も関わらずこのような傾向が見られたことから，外部知識の利用に関しては，まだ多くの改善の余地が 残っているものと考えられる。

## 6 むすび

本研究では，物語を構成する各文における登場人物の感情を推定するというタスクにおいて，事態に 関するコモンセンス知識 (ATOMIC) を導入すことに より，感情推定の精度を向上させることを試みた. また，その際に物語テキストの文脈を利用すること の効果について実験的に調査した.

Story commmonsense データセットを用いた実験結果からは，上記のアンサンブルモデルが有効である こと，用いる外部知識は，可能ならばタスクに適合 するように事前に限定しておくことが有用であるこ と，外部知識を用いる効用は文脈から得られる後よ りも小さく, 外部知識の利用法にはまだ多くの課題 が残っていることなどが分かった.

今後の課題としては，外部知識からの三つ組の抽出法を改善し, 利用する知識情報を増やすこ一方 で，これにより増大するノイズを低減することが挙 げられる。後者に関しては, Story commonsense デー タセットに収録されている基本欲求を利用し，それ に基づく行動・出来事と引き起こされる登場人物の 感情との相互作用や, 物語の進行と感情の推移の連関関係などを扱っていく必要があると考えている。

## 参考文献

[1] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Robert Plutchik. A general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035, 2019.

[4] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A challenge dataset for the opendomain machine comprehension of text. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 193-203, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In AAAI spring symposium: logical formalizations of commonsense reasoning, pp. 90-95, 2011.

[7] Debjit Paul and Anette Frank. Ranking and selecting multihop knowledge paths to better predict human needs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3671-3681, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[9] 田辺ひかり, 小川哲司, 小林哲則, 林良彦. 感情推定 における感情カテゴリに関する先験的知識の利用. 言語処理学会第 26 回年次大会発表論文集, pp. 1404-1407, 2020 .

[10] Radhika Gaonkar, Heeyoung Kwon, Mohaddeseh Bastan, Niranjan Balasubramanian, and Nathanael Chambers. Modeling label semantics for predicting emotional reactions. In Proceedings of the 58th Annual Meeting of the As- sociation for Computational Linguistics, pp. 4687-4692, Online, July 2020. Association for Computational Linguistics.

[11] Hikari Tanabe, Tetsuji Ogawa, Tetsunori Kobayashi, and Yoshihiko Hayashi. Exploiting narrative context and a priori knowledge of categories in textual emotion classification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5535-5540, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[12] Guoyin Wang, Chunyuan Li, Wenlin Wang, Yizhe Zhang, Dinghan Shen, Xinyuan Zhang, Ricardo Henao, and Lawrence Carin. Joint embedding of words and labels for text classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2321-2331, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[13] Nasrin Mostafazadeh, Michael Roth, Annie Louis, Nathanael Chambers, and James Allen. LSDSem 2017 shared task: The story cloze test. In Proceedings of the 2nd Workshop on Linking Models of Lexical, Sentential and Discourse-level Semantics, pp. 46-51, Valencia, Spain, April 2017. Association for Computational Linguistics.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .


# 類似度を利用した変換テーブルの精度向上

森本世人
鳥取大学 工学部
b16t2117c@edu.tottori-u.ac.jp

## 1 はじめに

機械翻訳において，相対的意味論に基づいた変換主導型統計機械翻訳 [1](Transfar Driven Statistical Machine Translation : 以下, TDSMT) が提案されている. TDSMT では変換テーブルを用いて翻訳を行う．変換テーブルと は $\ulcorner A$ が $B$ ならば $C$ は $D$ である」という $A, B, C, D$ の 相対性に基づいて関係を定義したテーブルである.ここ で $A$ と $B$ は単語である.また， $C$ と $D$ は単語もしくは句 である.

変換テーブルを自動的に作成する際に，誤つた変換テー ブルを作成してしまうという問題点が存在する. そとてで，従来手法では誤った変換テーブルを削除するために変換 テーブルを生成した後に，枝刈りを行う．従来行われて いる枝刈りの手法は， $A$ と $B, C$ と $D$ の対訳単語確率を 用いた枝刈りである.しかし，枝刈りの精度は未だ不十分である。

本研究では，従来手法で行う枝刈りに加えて， $A$ と $C$, $B$ と $D$ の類似度を用いて枝刈りを行うことを提案する。類似度とは注目単語の前後環境がどれだけ一致している かと定義する．提案手法を用いることで変換テーブルの 精度を向上できると考える [2].

## 2 変換テーブル作成方法

変換テーブルは対訳学習文からパターンを用いて自動作成する. 以下に変換テーブルの作成手順を示す. また,表 1 に変換テーブルの作成過程の例を示す.

## 手順 1 対訳単語の作成

対訳文 (1) と対訳単語確率 (IBM model 1[3]) を利用 して対訳単語を作成する. 対訳単語は変換テーブルの $A$ と $B$ の部分に相当する.

手順 2 パターンの作成

手順 1 で作成した対訳単語に相当する部分を変数化 し,パターンを作成する.

手順 3 変換テーブルの作成対訳文 (2) とパターンを照合する. パターンにおいて 変数が一致した対訳句は変換テーブルの $C$ と $D$ の部分に相当する.

## 3 従来手法

## 3.1 対訳単語確率 [4]

対訳単語確率とは入力言語の単語が出力言語の単語 に訳される確率を示している。対訳単語確率が高いほど もっともらしい訳であると考えられる . 值は IBM model 1 によって求める.

日本語単語 $A$ が英語単語 $B$ に訳される対訳単語確率を

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

表 1 変換テーブルの作成過程

} & \multicolumn{2}{|c|}{ 日本語 } & \multicolumn{2}{|c|}{ 猫 } \\

$\operatorname{prob}(A B)$ とする.入力言語と出力言語を入れ替えた対訳単語確率 $\operatorname{prob}(B A)$ も同樣に計算する.

## 3.2 対訳単語確率を用いた枝刈り

以下に手順を示す。

手順 1 変換テーブルより $\operatorname{prob}(A B), \operatorname{prob}(B A)$, $\operatorname{prob}(C D), \operatorname{prob}(D C)$ の値を計算する.

手順 2 単語ごとに光れ光れ，順位付けする。

手順 3 任意の順位を閾値として枝刈りを行う。

従来手法の問題点として, 誤った変換テーブルが多く 残る点がある。

## 4 提案手法

## 4.1 類似度

誤った変換テーブルは $A$ と $C$ や $B$ と $D$ 置き換え可能性が低いと考える. $A$ と $C$ や $B$ と $D$ 類似度で枝刈り をすると精度の向上が見込める．類似度が高い単語らは，置き換え可能性が高いと仮定する. 本研究では，類似度 とは前後単語の環境と定義する.よって注目単語におけ る前後単語の一致度が高いほど類似度が高いと考える。

4.2 類似度を用いた枝刈り

以下に手順を示す . 類似度の値を $\operatorname{sim}($ )とする。

手順 1 従来手法の枝刈りを行う

手順 2 変換テーブルより $\operatorname{sim}(A C), \operatorname{sim}(B D)$ の値を計算 する.

手順 3 任意の値を閾値として枝刈りを行う。

## 4.3 類似度の計算

二つの日本語単語 $A$ と $C$ の類似度の値を $\operatorname{sim}(A C)$ とす ると $\operatorname{sim}(A C)$ は以下の式 4.3 で計算する.

$
\begin{aligned}
\operatorname{sim}(A C)=\log _{2}\{ & \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(A_{\text {context }}\right)} \\
& \left.\times \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(C_{\text {context }}\right)}\right.\}
\end{aligned}
$

$\operatorname{count}(X)$ :集合 $X$ の単語の総数

$
A_{\text {context }}, C_{\text {context }} \text { : 単語 } A \text { と } C \text { の前後単語の集合 }
$

上記の式は One-hot の word2vec に類似している.なお 類似度の計算においては 2 単語連続を 1 単語として用 いる.式 4.3 を英語単語 $B$ と $D$ でも同樣の計算を行い $\operatorname{sim}(B D)$ とする.

## 5 実験条件

## 5.1 実験データ

電子辞書などの例文より抽出した単文コーパス [5] を用 いる . 使用するデータは対訳学習文約 160,000 文である .学習文より生成された枝刈り前の変換テーブルの数は約 2,064 万個である . 枝刈り前の変換テーブルの精度は誤 り率 $76 \%$ である.

## 5.2 評価方法

枝刈り後の変換テーブルをランダムに 100 個抽出する．抽出した変換テーブルに対して人手で正解か否かで 2 值評価する . 変換テーブルの評価は置き換え可能性の評価 が難しい．よって，翻訳に用いる際最も重要となる $C$ と $D$ の対訳関係を評価する．

## 6 実験

6 章の実験の目的は , 変換テーブルの精度向上である．光して，提案手法と従来手法を比較する.

## 6.1 閥值

実験 1 で用いた閾値を表 2 に示す.表 2 実験で用いた閾値

## 6.2 実験結果

評価結果を表 3 に示す.

表 3 従来手法と提案手法の誤り率

表 5.2 の結果より，提案手法による変換テーブルの精度向上が確認できた . 提案手法により，誤り率が約 $28 \%$ から $3 \%$ に向上する.一方で変換テーブルの数が約 $81 \%$減少した。

## 6.3 出力例

提案手法の出力例を表 4 と表 5 に示す. 表 4 は正解と 評価される変換テーブルである . 表 5 は誤りと評価され る変換テーブルである。

従来手法では出力し，提案手法では出力できなかった 例を表 6 と表 7 に示す.表 6 は誤りと評価される変換表 4 提案手法における正解の出力

表 5 提案手法における誤りの出力

テーブルである . 表 7 は正解と評価される変換テーブル

 & $D$ &  \\

である.

表 6 提案手法における変換テーブルの改善例

表 7 提案手法における変換テーブルの改悪例

提案手法は間違った変換テーブルを出力から削除でき る (表 6). 一方で, 正解の変換テーブルも削除している (表 7).

## 7 考察

## 7.1 単語と句に分けた調査

枝刈りした変換テーブルにおける単語と句の内訳を調査する. 方法として , 6 章で枝刈りした変換テーブルの $C$ と $D$ に当たる部分が単語-単語, 単語-句, 句-単語, 句-句 でグループ分けする.

7.1.1 枝刈り前の変換テーブル

枝刈り前の変換テーブルにおけるグループごとの変換 テーブルの数を表 8 に示す.

7.1.2 枝刈り後のテーブルの調査

グループごとの変換テーブルの数を表 9 に示す.
表 8 グループごとの変換テーブルの数

表 9 グループニ゙との変換テーブルの数

次に，表 9 の各グループを評価した . グループごとに ランダムに 100 個ずつ抽出して評価した. 評価結果を表 10 に示す.

表 10 誤り率

表 10 より, 句-句のグループでは誤り率が $38 \%$ から $11 \%$ に向上した.

## 7.1.3 出力例

7.1 節における句の出力例を表 11 と表 12 に示す. . 表 11 は正解と評価した例である. 表 12 は誤りと評価した 例である

表 11 提案手法における句の正解例

 & $D$ &  \\

表 12 提案手法における句の誤り例

7.2 変換テーブルの評価 ( $A$ と $\mathrm{C}, B$ と $D$ の置き換え可能性)

今回は簡易的に評価を行うために $C$ と D の部分の訳が 適切であるかで評価を行った. しかし変換テーブルの構成を考えると $A$ と $\mathrm{B}$ の訳の適切さや $A$ と $\mathrm{C}, B$ と $D$ の 置き換え可能性も考慮に入れて評価する. 光こで， 6 章 で用いた変換テーブルに注目して評価を行う。

## 7.2 .1 評価結果

評価結果を表 13 に示す.

表 13 従来手法と提案手法の誤り率

## 7.2 .2 評価例

7.2 章で評価した変換テーブルの例を示す. . 表 14 は正解と評価した例である。

$
\text { 表 } 14 \text { 評価例 }
$

表 14 において対訳関係は正しいと考える.ここで置き 換え可能性を考える．「少し」は副詞であり，「調査」は名詞である．副詞は後ろに何を伴っても良い．よってA と $C$ は置き換え可能性があると考えられる．

表 15 は正解と評価した例である.

表 15 評価例

表 14 と同樣に表 15 も対訳関係は正しいと考える. 同樣に，置き換え可能性を考える。「では」は主に接続助詞 と係助詞の連語であり，「限り」は名詞である．接続助詞 の前単語は名詞を取る. 名詞は複合名詞の形で名詞につ ながる可能性がある.よって $A$ と $C$ は置き換え可能性が あると考える

表 14 と表 15 で示した例のように品詞が異なった変換 テーブルの置き換え可能性を評価するのが難しい．

7.3 パターンについて

変換テーブルの作成において，複数の変数によるパ ターンが用いられている. 表 16 と 17 に変換テーブルの パターンの例を示す.

表 16 は正解と評価される変換テーブルである

表 16 パターン例

 & $D$ &  \\

表 16 では「が」と「The」のように訳されない単語を 仮定した上で，SV の形でパターンが生成され上手く対応 されている.(ここでD源文は SVO 形ではあるがV と O を一つの句として扱っている)

表 17 は誤りと評価される変換テーブルである．

表 17 と同様に $D$ の原文が命令形になっているとパ ターンが誤ってしまう例が多い。

## 7.4 変換テーブルの数を増加させた実験

7.4 節では , 変換テーブルの数を提案手法と従来手法で 同程度に揃えた上で精度を調査する.少して，提案手法 と従来手法を比較する。
表 17 パターン例

}} \\

## 7.4 .1 閾値

7.4 の実験では求められた類似度を昇順に順位付けす る.さらに , 類似度の順位を閾値とする．実験で用いた 閾値を表 18 に示す.

表 18 実験で用いた閾値

## 7.4 .2 実験結果

評価結果を表 19 に示す.

表 19 従来手法と提案手法の誤り率

表 19 の結果より，変換テーブルの数を同程度にした 際も，提案手法による変換テーブルの精度向上が確認で きた . 提案手法を用いることにより誤り率が $28 \%$ から $20 \%$ に向上する.

## 7.4.3 出力例

従来手法では枝刈りできず，提案手法では枝刈りでき た変換テーブルの例を表 20 と 21 に示す. 表 20 と 21 は 誤りと評価される変換テーブルである

表 20 提案手法による変換テーブルの改善例

表 21 提案手法における変換テーブルの改善例

この節の例については 7.5 章で考察する

## 7.5 形態素解析の問題

7.4 章で得た出力例を考察する. 表 20 と表 21 はいず れも誤りと評価した例である．

例のように，C が「し」となる変換テーブルは従来手法で枝刈りをした場合 6482 個存在する.一方提案手法 で枝刈りをすると 44 個となる．中身として従来手法では $\ulcorner し\lrcorner$ 訳として「with」や「to」などが多くある. 提案手法では「did」や「has $」\ulcorner$ made」などが列挙される.

日本語において「し」は動詞に付属して「〜した」と いう 3 単語の形で用いられることが多い. しかし, 英語 では「〜した」を 1 単語の動詞の過去形で訳される場合 が多い．また，英語文において「し」の対訳単語はない場合も多い.よって「し」の樣な単語において間違った変換テーブルを作成してしまう場合がある．提案手法では $A$ と $C$ の類似度を用いて枝刘りを行うので多くの間違っ た変換テーブルを削除できると考える．

## 7.6 閾値の選択

6 章では閾値を類似度の数值とした. 7.4 章では閾値を 類似度の順位とした. 表 3 と表 19 より閾値を類似度の 数値とした実験がより高い精度を示した . 類似度の数値 を閾値としたことで改善できる例を表 22 に示す. . 表 22 は誤りと評価される例である．

表 22 誤りが削除された例

一方 , 閾値を類似度の順位としたほうが良い例を 23 に 示す . 表 23 は正解と評価される例である.

表 23 正解が削除された例

表 22 において「listener」という表現がある．「listener $」$ という表現は学習文内で 6 度しか出現しない表現である．表 23 において「shoreline」という表現がある．「shoreline」 という表現は学習文内で 3 度しか出現しない表現である．学習文内での出現頻度が低頻度な表現は類似度の順位が 高さと類似度の値が高さが一致しない．

## 8 おわりに

本研究では , 変換テーブルの精度向上を目的とする手法を提案した. 提案手法は, 変換テーブルの同言語間の類似度を用いて枝刈りする手法である . 実験結果より ,変換 テーブル数の誤り率が $28 \%$ から $3 \%$ に改善できた . また 句-句のグループでも $38 \%$ から $11 \%$ に改善できた . よつ て，提案手法の有効性が確認できた . しかし，変換テー ブルの数が $3,698,524$ 個から 701,828 個に減少する.

## 参考文献

[1] 安場裕人, 村上仁一。“変換主導型翻訳の提案” 自然言語処理学会, 2018

年 3 月

2] 中島綜太, 村上仁一“TDSMT で作成された自動対訳句の前後環境を用いた 精度向上”, 言語処理学会第 26 回年次大会, P4-36, 2020

[3] Peter F.Brown, Stephen A.Della Pietra, Vincent J.Della Pietra, Robert L.Mercer (1993). The mathematics of statistical machine translation:Parameter Estimation. Computational Linguistics.

[4] 興梠玲架，村上仁一“パターンに基づく統計機械翻訳において変数部の総和 を使つた対訳句の抽出”, 卒業論文, 2016 年 3 月

[5] 村上仁二, 藤波進“日本語と英語の対訳文対の収集と著作権の考察”, 第一回 コーパス日本語学ワークショップ,pp.119-130. 2012.


# Universal Dependencies における述語並列記述の展望

伊藤 薫
九州大学 言語文化研究院
ito@flc.kyushu-u.ac.jp

## 1 はじめに

## 1.1 Universal Dependencies とは

Universal Dependencies (UD) は通言語的に統一さ れた方法で依存構造や品詞などについてアノテー ションが付与されたコーパス群を開発する国際プロ ジェクトである [1]。UD は依存構造が内容語主辞で 付与されていること、Universal POS (UPOS) と呼ば れる品詞体系や依存関係タグが定義され、コーパス に付与されていることなどを特徴とする。また、人手アノテーションのしやすさやパージング精度の 高さなど、言語学的妥当性以外も考慮して設計され ている [2]。しかし、UD は進行中のプロジェクトで あるため問題も多く抱えており、日本語UDにおけ る並列表現もその 1 つである。本論では Universal Dependencies (UD) ver. 2.7 [3] における日本語の述語並列に関わる問題について、UDコーパスを用いた 日英比較から得られたデータと、言語学で蓄積され た並列に関する知見をもとに議論し、今後の展望に ついて述べる。

## 1.2UDにおける並列表現の定義

本節では、UD における並列表現について説明す るため、公式サイト [3] に掲載されている依存関係 タグに関する記述をもとに、解説を加えながら紹介する。UDにおいて、並列表現は等位接続詞を表 す品詞タグ CCONJ、等位項を表す関係タグ conj、及 び、等位接続詞に掛かる関係タグ $c c$ によって表現 される。conj タグは等位接続詞で結合される等位項 (conjunct) であることを示すタグである。UD の方針 として内容語を主辞としていることから、並列表現 における最初の等位項が主辞とされ、それ以降の等位項は全て最初の等位項に依存すると定められて いる。最初の等位項とそれ以降の等位項は関係タグ conjで結ばれる。最後に、関係タグ cc は CCONJ とそ の主要部を結ぶ。UDでは等位接続詞が省略される場合（e.g. 句読点類のみで並列が示される場合）に も並列構造とみなすことを認めており、この場合は CCONJ, $c c$ がなく、conjのみで並列構造が表されるこ とになる。

英語の並列表現をUD の体系で表す場合、CCONJ は 'and', 'or', 'but’ など、語やそれより大きい構成要素を統語的に従属させることなく結び、両者の間の 意味関係を表すものとされる。また、conjについて は UD 全体に向けた記述と大きな相違点は見受けら れない。'either', 'both', 'neither' 等も CCONJ と見なさ れ $c c$ の対象に含まれる点が英語に関して若干特徴的と言えるだろう [3]。

## 1.3UD Japanese の並列アノテーション

前節で見たように、UDにおいて関係タグ conj は 最初の等位項を主辞として付与する、と定められて いるため、日本語のような右主辞の言語とは相性が 悪い。日本語 UDでは conj タグが強制的に左主辞と なる仕様であることから生じる不自然さを回避する ため、名詞句、動詞句の並列で conj タグを使用せず にコーパスが構築されている。例えば、「食べて走 る」では「て」によって2つの動詞句が並列されて いるが、「て」を従属接続詞とみなし 2 つの動詞を 副詞句による修飾 ( $a d v c l$ ) としている [2]。

また、UD 2.7 における日本語コーパスで最大の ものは UD Japanese-BCCWJ で、日本語UD のデータ のおよそ 4 分の 3 を占める。これは BCCWJ-DepPara という日本語書き言葉均衡コーパス (BCCWJ) のコ アデータに対して追加アノテーションを施したもの を変換することで作成されている。BCCWJ-DepPara では並列アノテーションの付与対象は名詞句の並列、部分並列とされており、日本語の節間の並列関係を従属関係と識別するのが困難なため述語並列は 対象外とされている [4]。従って、今後上述の主辞 に関わる問題が解決されたとしても、元コーパスに 信頼のおけるアノテーションが施されている名詞句 などの並列と比較して、他の日本語 UD における述
語並列のアノテーションはデータに反映されにくい 状況が続くと考えられる。

## 2 述語並列の日英比較

前節では、UD における並列と日本語UDにおけ る述語並列の記述に関する問題を概観した。多言語 パラレルコーパス PUD treebankを用いて英語の並列表現が日本語 UDでどのように扱われるかを、翻訳 と UD タグという観点から調査する。

## 2.1 PUD treebank

Parallel UD (PUD) treebank は 2017 年の記述によ ると 1,000 文、 18 言語からなるパラレルコーパスで ある [1]。本論では英語と日本語の UD を対象とし ているため、PUD の英語版である UD English-PUD および日本語版である UD Japanese-PUD (以下、そ れぞれ PUD-en, PUD-ja と略記する) を使用した。 1,000 文のうち 750 文は英語の文書から集められ、残りの 250 文は他の 4 言語からの翻訳である。な お、本論では多重に翻訳された文を除いた分、つま り、PUD-en において原文が英語である文 (文 ID が n01 または w01 で始まる文)を対象とした。収録さ れている文は Wikipedia とオンラインニュースから 無作為に抽出されたものである。

## 2.2 手法

まず、PUD-en の英語を言文とする 750 文から動詞 (VERB) と動詞が関係タグ conj で結ばれている関係を全て抽出し、PUD-jaでどのような形式で翻訳さ れているかを調査した。 ${ }^{1)}$ PUD-en からデータを抽出 する際には、オンラインで提供されているコーパス インターフェイス Grew[5] を使用した。抽出した文 に関して収集した情報は文 ID、本文、係り元と係り 先の表層形、そのうち等位接続詞を伴うものについ ては上記に加え CCONJ タグのついた語の表層形であ る。次に、抽出した英語文に対応する PUD-ja の文 を文IDによって検索し、目視で日本語訳を確認し た。PUD-ja において注目したのは PUD-en における 接続表現（主に CCONJ だが、句読点のみの場合など も含む）との対応であり、それらに対応する日本語

の接続表現の表層形、及び、XPOS に記載されてい る国語研短単位品詞を集計した。また、活用のある 品詞の場合は品詞に活用形を追記した。

並列される動詞句や節の構造が翻訳文でも保た れている場合は、(1)のように先に出現する動詞に 直接依存する接続表現もしくは連用形 2$)$ を収集した が、原文とは大きく異なる構造になっている場合 や、(2)のように 3 つ以上の等位項がある場合も見受けられた。(2)の場合は、conj 関係タグで結ばれ る動詞は 'works' と 'lives'、 'works' と 'breathes' の 2 組だが、後者の組に対応する日本語文については、後方の等位項を含む節の直前に出現する接続表現を 収集を試みた。つまり、'works'と 'breathes’に関わ る接続表現を日本語文で探す際は、'breathes’に対応する「生きている」の直前にある接続表現「暮ら し」（動詞-一般-連用形）を集計対象とした。3) また、適切な接続表現が見つからない場合は(3)のように 「該当なし」4) とした。

(1) (a) A sacrococcygeal teratoma is a tumour that $d e$ velops before birth and grows from a baby's tailbone.

(b) 仙尾骨部のテラトーマは、赤ん坊の誕生前 に発生し、尾てい骨から成長する腫瘍であ る。(ID: n01051006, 強調筆者)

(2) (a) It's fair to say that Rocco Catalano works, lives and breathes retro.

(b) ロッコ・カタラーノ氏はレトロに働き、 らし、生きていると言ってもよい。

(ID: n01087005, 強調筆者)

(3) (a) Isner, who produced some of his best tennis as he leveled at one set all and forced a decider, also paid his tribute.

(b) 最高のテニスでワンセットオールで対戦を 余儀なくされた、イスナーもまた、賛辞を 送っている。(ID: n01142007,強調筆者)

2）日本語 UD では、サ変動詞は語幹名詞+動詞「する」とされ る。

3）この方針は後述する PUD-en における接続詞の集計方法と は異なるが、これは英語においては同じ語から conj タグで表示される 3 つ以上の並列としてコーパスで記述されているの に対し、PUD-ja では連体修飾関係を示す $a d v c l$ タグで連鎖的 にタグ付けされているという違いに基づく。

4）「ワンセットオール」の後の「で」は格助詞とタグ付けさ れている。
表 1 翻訳文中で対応する接続表現の品詞別頻度

## 2.3 結果

PUD-en からは conj タグで結ばれる 175 組の動詞 の組が抽出され、うち等位接続詞を伴う並列は 172 組であった。また、集計対象は conj タグの頻度であ るため、3つ以上の等位項が並列されている場合は 「等位項 1 と等位項 2 」、等位項 1 と等位項 3$\lrcorner \cdots \cdots$. のように主辞を基準として個別に計上した。収集さ れた等位接続詞の集計結果を付録の表 2 に示す。な お、括弧で括られた等位接続詞は 3 つ以上の等位項 を持ち、等位項と等位接続詞が隣接していないこと を表す。また、表中に大文字で NONE と表記した データでは等位接続詞が見られず、カンマのみで並列が表されていた。付録の表 2 に見られるように、英語の等位接続詞は 'and' が大半 $(75 \%)$ を占め、次 いで 'but', 'or'、更に少数の例としてカンマによる並列、 'as' ('as well as' の一部) が確認された。

次に、PUD-ja において対応する接続表現の頻度を 品詞ごとに表 1 に示す。対応する接続表現がない場合は表中に「(該当表現なし)」としてまとめた。表 の末尾には品詞の区別なく活用形のみでまとめた 場合の数値も付記した。表 1 に示した接続表現の うち、日本語 UD で CCONJ タグがついているものは 「接続詞」のみであり、 5 例 $\left.{ }^{5}\right)(3.5 \%)$ と稀である。ま た、品詞としてはサ変動詞の連用形が最も多くを占 めており、品詞を問わず活用形のみで集計すると半数以上 $(58.5 \%)$ を連用形による接続が占めている。連用形は一般的な日本語文法においては動詞の活用形の 1 つとされており並列表現の 1 形式でもある $[6,7]$ が、日本語 UDでは $a d v c l$ として主節に係る。

## 3 考察

5）確認された表層形は「また」「しかし」「あるいは」「およ び」。

## 3.1 日本語並列表現の多様性と UD

英語では表層形の種類が限られており、今回の調査では 'and', 'but', 'or', '(as well) as'の 4 種類のみで あった。英語 UD の方針では 'both’ や 'either’ なども CCONJ に含まれるが、今回の結果には含まれなかっ た。一方、日本語では読点を除き 37 語が並列表現 を含む英文の翻訳に使用されており、語幹ごとに 別々に数えられる動詞の連用形を除いても 10 語6) と、英語に比べ種類が多いのが特徴である。

また、現状の日本語UDの仕様では並列表現 が様々な UPoS に分散している。基本的に英語で CCONJ が出現する場合でも、日本語訳では CCONJ は 出現せず、延べ語数で数えた場合に半数以上が連用形で表されることが明らかになった。また、連用形 に次いで多い接続助詞は PUD-ja において SCONJ と される。具体的には今回抽出された「し」「て」「が」 は全て SCONJ だが、これらは理論によっては全て並列を担う表現とされうる。また、英語では CCONJ と される 'or' に対応する表現は「か」だが、これらは PUD-ja において PART とされる。他にも、PART とさ れる「たり」の扱いにはそもそも日本語学の中でも 様々な立場があり、少なくとも並列を表す接続助詞 とする立場 [6]、タ系連用形とする立場 [7] がある が、PUD-ja のデータには国語研短単位品詞で助詞副助詞とされているなど、基礎的な部分での困難も ある。翻訳においても意味的な並列が保持されてい るのであれば、これらの扱いが日本語 UD における 並列の記述方法に大きな影響を与えることになる。

## 3.2 日本語の並列表現と UD の体系

UD は世界中の個別言語を 1 つの体系で記述しょ うとするプロジェクトであるため、個々の言語への 適用の際には問題が生じる場合もある。これらの問題は UD 以前に個別言語で整備されてきたデータの 蓄積や UDへの対応状況というローカルな事情によ るものから、類型論的挑戦である UD の仕様そのも のが抱える問題まで様々である。

今回観察したデータには接続助詞「か」が接続詞「あるいは」と同時に出現する場合もあり、この場合は英語のように「か」を CCONJ と見なすと UD 上 では二重に CCONJ が出現することになる。これは英語の 'either ... or ...' に相当する。また、現在のとこ

6）「また」「しかし」「か」「が」「し」「たり」「て」「と」「(た め)に」「(もの) の」

ろ「て」「が」は日本語UDにおいてSCONJとして夕 グ付けされ、SCONJを伴う節と節を関係タグは多く の場合 $a d v c l$ となり、少なくとも conj は不適である。加えて、上記 2 つよりも問題は少ないが連用形によ る接続の場合、品詞タグ VERB が付与される語の内部に並列を示す特徵が組み込まれていることにな り、独立した CCONJ は出現しない。そのため、連用形による述語並列を日本語 UDにおいて並列と認め る場合、形式的には並列を表す表現があるものの、 UPoS としては VERB であるため CCONJ を伴わず conj が出現する例が多くなる。

上述のように、日本語では連用形や助詞によって 並列を表すことが多い。そのため、英語と親和性が 高そうに思われる UD の基準からすると、日本語の 並列表現は CCONJ を伴わない非典型的な形式として 記述することになる場合が多くなると思われる。特 に、連用形の場合は並列を表す形式が語に内在して いるため、現在のUDの体系では表現が難しい。UD では語に内在する特徴 (Features) を記述することが でき、動詞的な屈折特徴としては時制、法、相等が 設定されている。Features には Verbform という動詞 の形式を表すカテゴリがあり、日本語の連用形やテ 形は Conv (converb, 副詞的な従属接続標示すること を主な機能とする不定動詞 [8]) であり、日本語の連用形 [9] やテ形 [8][9] を converb としている文献も存在する。ただし、この方法の場合は統語的に従属と なることを示すに留まり、意味的に並列であること を示すことはできない。

## 3.3 並列表現の認定基準

英語では conj タグが出現する例において等位接続詞が出現する場合が多く、カンマのみによる並列 が少ないことを 2.3 で明らかにした。しかし、日本語の場合は述語並列の形式が英語に比べて多様で あり、並列と従属の線引きも難しく、何を以て並列 とするかも理論によって異なる。例えば、節の並列 で言えば「主節に対して対等に並ぶ関係で結びつく 節」を「並列節」とする統語面を重視する定義 [7] や、「2つ以上の異なる自体の時間的前後関係が解釈 の際に問題にならない時、その事態は並列関係にあ る」という意味的側面を重視する定義 [6] がある。 また、BCCWJ-DepPara が節の分類の際に依拠してい る文法書 [10] では接続表現の形式ごとに従属節内部に出現可能な要素を検討して3つに分類してお り、並列は従属節が表す意味の一部に組み込まれて
いる。

また、形式のみで等位接続と従属接続が明確に分 かれると思われる英語においても、同様の問題は 存在する。例えば、'You drink another can of beer and I'm leaving." という例文では、前半の節が後半の節 の条件として解釈でき、統語的には並列だが意味的には従属と見なせるとされる [11]。また、この 議論を発展させて並列と従属は統語と意味の両面 から見るべきだという提案もあり、上記 'and' の例 を pseud-coordination、日本語の「て」による並列を pseudo-subordination（統語的には従属、意味的には 並列）とする研究もある [12]。並列は多面的な現象 であり、UD の体系の中で日本語の並列を記述する ためには並列のどのような側面を重視して認定する かを考慮する必要がある。

## 4 終わりに

本論では日本語 UDにおける述語並列の問題につ いて議論し、現在の仕様では英語の並列表現が日本語訳の大半において従属節となっており、連用形や 一部の接続助詞の扱いが重要であることを示した。 この状態は pseudo-subordination という観点から、現在の日本語 UD の仕様は統語面を重視した仕様に なっていると評価できる。Croft[13] は information packaging を依存関係、意味内容を語彙のタグセット と組み合わせるべきであると主張しており、依存関係を重視すれば日本語では conj を使う機会は減ると 予測されるが、3.2で示した通り現在の仕様では直接的に語彙のタグセットで並列であることを示す手段はない。逆に機能的側面を重視するならば、英語 の 'and' が pseudo-coordination となる例もあるため、典型的に意味的な並列を担う語彙項目に関して、現在 $a d v c l, S C O N J$ となっている一部の並列表現形式を conj, CCONJへ変更するのも一案である。

いずれにしても、UDにおいては日本語の述語並列について並列と見なすのであれ従属と見なすので あれ、何らかの方針に基づきタグ付けをすることに なる。認定基準は典型的な用法、統語テスト、機能面で見た並列用法と従属用法の比率など様々に考え られるが、UD 全体との整合性やコンバージョンの 容易さなどを考慮して決定する必要がある。

謝辞本研究の一部は JSPS 科研費 $19 K 13180$ の助成および国立国語研究所コーパス開発センター共同研究プロジェクトの支援を受けたものです。

## 参考文献

[1]Anders Björkelund, Agnieszka Falenska, Xiang Yu, and Jonas Kuhn. Ims at the conll 2017 ud shared task: Crfs and perceptrons meet neural networks. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 40-51, 2017.

[2]浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[3]Universal Dependencies contributors. Universal dependencies, 2020-10 閲覧. https://universaldependencies. org/.

[4]浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コーパ ス』に対する文節係り受け・並列構造アノテーション.自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[5]Bruno Guillaume. Grew- graph rewriting for nlp, 2020-12 閲覧. https://grew.fr/.

[6]中俣尚己. 日本語並列表現の体系. ひつじ書房, 東京, 2015.

[7]益岡隆志, 田窪行則. 基礎日本語文法一改訂版一. くろ しお出版, 東京, 1992.

[8]Martin Haspelmath. The converb as a cross-linguistically valid category. In Martin Haspelmath and Ekkehard König, editors, Converbs in Cross-linguistic Perspective, pp. 1-55. Mouton de Gruyter, Berlin, 011995.

[9]清瀬義三郎則府. 連結子音と連結母音と-日本語動詞無活用論. 国語学, Vol. 86, pp. 42-56, 1971.

[10]南不二男. 現代日本語の構造. 大修館書店, 東京, 1974.

[11]Peter W. Culicover and Ray Jackendoff. Semantic subordination despite syntactic coordination. Linguistic Inquiry, Vol. 28, No. 2, pp. 195-217, 1997.

[12]Etsuyo Yuasa and Jerry M. Sadock. Pseudo-subordination: A mismatch between syntax and semantics. Journal of Linguistics, Vol. 38, No. 1, pp. 87-111, 2002.

[13]W. Croft, D. Nordquist, Katherine Looney, and Michael Regan. Linguistic typology meets universal dependencies. In TLT 2017, 2017.

## A 付録

表 2 PUD-en で収集された CCONJ の形式と頻度