# 自己回帰型言語モデルを活用した Sentiment Interpretable Neural Network の構築

伊藤友貴 ${ }^{1}$
1 三井物産株式会社
Tomok.ito@mitsui.com

## 概要

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決 するアプローチの一つとして，解釈可能なニュー ラルネットワークモデルの構築が考えられる.こ のような背景のもと，本研究では「感情分類」の夕 スクを対象に，予測結果を説明可能かつその予測性能も高いニューラルネットワークの構築を目指 す。本目的達成のため，近年提案された，単語レべ ルでのセンチメントに基づき予測結果を説明可能 ななニューラルネットワーク Sentiment Interpretable Neural Network へ自己回帰型学習言語モデルを導入 し，予測性能を解釈性を保ちつつ向上させることを 試みる。景気ウォッチャー調査に関する日本語デー タを用いて本手法の性能を検討した結果，本研究に て提案されたアプローチを取ることで，説明性を担保しつつもべースライン手法に比べ予測性能が高い ニューラルネットワークを構築することができた.

## 1 はじめに

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決す るアプローチの一つとして，解釈可能なニューラル ネットワークモデルの構築が考えられる。このよう な背景のもと, 本研究では「感情分類」のタスクを 対象に，予測結果を説明可能かつその予測性能も高 いニューラルネットワークの構築を目指す.

解釈可能なニューラルネットワークの構築に関 する研究は近年，いくつか提案されているが，そ の中でも最近提案された手法の一つが， Sentiment Interoratable Neural Network (SINN) である。本ニュー ラルネットワークを活用することで，図 1 のよう
に単語レベルでのセンチメントに基づき予測結果 を説明可能となる．SINN を構築するには，専門用語に関する極性辞書をなニューラルネットワー ク Sentiment Interoratable Neural Network Model を構築 する手法 Lexical Initialization Learning (LEXIL) [2] や Joint Sentiment Propagation 学習 [1]. 本手法を利用す ることにより，センチメント分析の結果を各単語の オリジナルセンチメント，極性反転，及び大域的な 重要度に分解する形で説明可能なニューラルネット ワークを構築することが可能となる。

本学習手法は対象タスクが感情分類であれば，一定の汎用性が見込まれる一方で，先行研究では比較的層の浅いネットワークにしか適用できておらず， GPT を始めとする，近年提案されている大規模言語 モデルに適用できるかどうかは不明瞭である。ま た，SINN では LSTM 及び Self Attention を用いた文脈層により，極性反転，及び大域的な重要度をモデ リングしており，結果，Self Attention の層が双方向 の情報を活用しており，極性反転が右側の文脈から 起きるのか左側の文脈から起きるのかを LSTM の層 にて捉えることができても，その強弱が左右どちら の文脈から引き起こすのかについて観測することは 難しい。

このような背景のもと，本研究では，SINNへ 自己回帰型の学習済み大規模言語モデルを組み込 み，Joint Sentiment Propagation 学習を用いて自然な 形で学習させることで，(1) ニューラルネットワー クの予測性能向上，及び (2) 各単語のセンチメント への影響をその前後で分離させ，可視化すること を試みる。学習済み大規模言語モデルを利用する ことで性能の向上が期待され，また，自己回帰型 のモデルを採用することで各単語のセンチメント への影響をその前後で分離させることができるこ とが期待される．提案手法では，まず，学習済み 大規模言語モデルを使えるようにするために SINN

[2]を LSTM ベースから GPT-2[3] ベースへ切り替え る. さらに, Global Word-Level Context 層には GPT-2 の Decoder 層の Attention をそのまま活用し, Global Word-Level Context 層の計算時には前の情報しか利用できない形にする.このようなモデルの構造を採用することで，各単語のセンチメントへの影響をそ の前後で分離されることが期待する. 景気ウォッ チャー調査に関する日本語データを用いて本手法の 性能を検討した結果，本研究にて提案されたアプ ローチを取ることで，説明性をある程度担保しつつ も従来手法に比べ予測性能が高いニューラルネット ワークモデルを構築できることを検証できた. その 一方で，提案手法では極性反転は捉えきれないと いった課題も見えた。

## 2 関連研究

深層学習モデルの ブラックボックス性に関する 取り組みとしていくつかの関連研究が挙げられる.深層学習モデルの予測結果を説明する取り組みとし て「ニューラルネットワークモデルの解釈」に関す る研究いくつかが過去に行われてきた $[5,6,7]$. こ れらの手法を用いると, 出力に対する入力の寄与度を Back Propagation 法に近い形で計算することに よって, 入力要素のうちどこが出力に大きな影響を 与えたかを可視化することができる．また，その他 の有用なアプローチとして「各層の意味が解釈可能 なニューラルネットの構築」も挙げられる。その中 でも近年，提案されたのがセンチメント分析の結果 をオリジナルセンチメント，極性反転，極性反転，大域的な重要度に分解する形で説明可能なニューラ ルネットワーク SINN である．また，本手法ではこ のような解釈可能なニューラルネットワーク実現の ため，極性辞書を用いた初期化 Lexical Initialization を利用した学習手法を提案している. また，[1] で は，その改良版アルゴリズム Joint Sentiment（JSP） Propagation 学習が提案されている.

## 3 自己回帰言語型モデルベース SINN

本節では今回検討する自己回帰型言語モデ ルベース SINNを紹介する．SINN は訓練データ $\left.\{\left(\mathbf{Q}_{n}, d^{\mathbf{Q}_{n}}\right)\right.\}_{n=1}^{N}$ 及び小規模な単語のセンチメント スコア辞書を用いた学習 Joint Sentiment Propagation (JSP) 学習により構築可能である. ここで， $N$ は訓練データのサイズ， $\mathbf{Q}_{n}$ はレビュー,$d^{\mathbf{Q}_{n}}$ はセンチメ ントタグ (1: ポジティブ, 2: ネガティブ)である.

## 3.1 モデル

SINN は Token-level Original Sentiment layer (WOSL), Token-level Contextual layer (WCL), Token level Contextual Sentiment layer (WCSL)，そして出力層から構成 される, レビュー $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ 入力すると，その ポジネガ予測 $y^{\mathbf{Q}} \in\{0$ ( negative), 1 ( positive) $\}$ を出力 する NN である. 本論文ではコーパスに出現する 語彙数 $v$ の語彙集合を $\left.\{w_{i}\right.\}_{i=1}^{v}$, 単語 $w_{i}$ の語彙 ID を $I\left(w_{i}\right), w_{i}^{e m} \in \mathbb{R}^{e}$ を単語 $w_{i}$ の次元 $e$ の用意され たコーパスから計算された分散表現とし，さらに $\boldsymbol{W}^{e m} \in \mathbb{R}^{v \times e}:=\left[\boldsymbol{w}_{1}^{e m T}, \cdots, \boldsymbol{w}_{v}^{e m T}\right]^{T}$ とする.

## 3.1.1 WOSL

この層ではコメント $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ の各単語をその 単語が文脈に左右されずに持つセンチメント値，オ リジナルセンチメント値に変換する。

$
p_{t}^{\mathbf{Q}}:=w_{I\left(w_{t}^{\mathbf{Q}}\right)}^{p}
$

ここで， $\boldsymbol{W}^{p} \in \mathbb{R}^{v}$ は各単語のオリジナルセンチメン 卜值を表す. $w_{i}^{p}$ は $\boldsymbol{W}^{p}$ の $i$ 番目の要素を表し, $w_{i}^{p}$ の值が $w_{i}$ のオリジナルセンチメント值に対応する.

## 3.1.2 WCL

この層は各単語 $w_{t^{\prime}}^{\mathrm{Q}}$ へのセンチメントに関する影響（反転や強弱）を表す. まず，レビュー $\mathbf{Q}$ 内の 単語 $\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を埋め込み表現 $\left.\{\boldsymbol{e}_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ に変換する. その後順方向及び逆方向の自己回帰型言語モデ ル CLM（本研究における検証では CLM として GPT2[3] を採用）によって順方向からのセンチメン トへの影響 $\vec{s}_{t}^{\mathbf{Q}}$ と逆方向からのセンチメントへの影響 $\overleftarrow{s}_{t}^{\mathbf{Q}}$ を表す値に変換する。

$
\begin{aligned}
& \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}:=\overleftarrow{\operatorname{CLM}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)
\end{aligned}
$

$
\begin{aligned}
& \vec{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {left }}{ }^{T} \cdot \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right), \overleftarrow{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {right }^{T}} \cdot \overrightarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right) \\
& \vec{\beta}_{t}^{\mathbf{Q}}=\tanh \left(\overrightarrow{\mathrm{CLM}^{a t t}}\left(w_{1}^{\mathbf{Q}}, w_{2}^{\mathbf{Q}}, \ldots, w_{t}^{\mathbf{Q}}\right)\right), \\
& \overleftarrow{\beta}_{t}^{\mathbf{Q}}:=\tanh \left(\overleftarrow{\operatorname{att}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)\right)
\end{aligned}
$

向の CLM のデコーダーによって出力される最終層 への変換，また， $\overrightarrow{\mathrm{CLM}^{a t t}}$ 及び $\overleftrightarrow{\mathrm{CLM}^{a t t}}$ は順方向及

び逆方向の CLM による各単語へのアテンションへ の変換を表す。

$\vec{s}_{t}^{\mathbf{Q}}$ 及び $\overleftarrow{s}_{t}^{\mathbf{Q}}$ はそれぞれ単語 $w_{t}^{\mathbf{Q}}$ がその右側及び 左側の単語群 $w_{t}^{\mathbf{Q}}:\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=1}^{t-1}$ and $\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=t+1}^{n}$ によるセ ンチメントに関する影響に関するスコアを表す。次 に, $\vec{s}_{t}^{\mathbf{Q}}$ と $\overleftrightarrow{s}_{t}^{\mathbf{Q}}$ から各単語への両方向からのセンチ メントへの影響値 $\left.\{s_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ へと変換する.

$
s_{t}^{\mathbf{Q}}:=\vec{s}_{t}^{\mathbf{Q}} \cdot \stackrel{\leftrightarrow}{s}_{t}^{\mathbf{Q}}
$

先行研究では CLM $\mathrm{LSTM}, \beta_{t}^{\mathrm{Q}}$ をSTM から出力される隠れ層をべースとするアテンションを利用 しているが，本研究では事前気隔週ズム言語モデル 活用による性能向上，及び左右からの影響を見える ようにするため，CLM には GPT2 を採用する。

## 3.1.3 WCSL

WCSL では WOSL 及び WCL の値を用いて各単語の文脈センチメント $\left.\{c_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を以下のように表す.

$
c_{i t}^{\mathbf{Q}}:=p_{i t}^{\mathbf{Q}} \cdot s_{i t}^{\mathbf{Q}} \cdot \alpha_{i t}^{\mathbf{Q}} .
$

## 3.1.4 出力

最後に SINN は文の極性を $y^{Q}$ 以下のように出力 する

$
y^{\mathbf{Q}}=\sum_{t=1}^{T} c_{t}^{\mathbf{Q}}
$

ここで， $y^{\mathbf{Q}}>0$ は $\mathbf{Q}$ がポジティブであることを表

表す.

## 3.2 JSP 学習

SINN は JSP 学習によって学習する. JSP 学習は 「単語センチメント辞書を用いた初期化 (Lexicon Initialization)」と「SSLへの制約付き学習」により 構成される。

## Lexicon Initialization

まず，以下のような初期化を学習前に行う。

$
w_{i}^{p} \leftarrow \begin{cases}P S\left(w_{i}\right) & \left(w_{i} \in S^{d}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

ここで， $P S\left(w_{i}\right)$ は単語 $w_{i}$ のセンチメント辞書値で あり， $S^{d}$ はセンチメント辞書内単語の集合である. これは $S^{d}$ が $S^{*}$ の部分集合であり，また，センチメ ント辞書のセンチメント值が正しい，つまり $P S\left(w_{i}\right)$ の符号が $P N^{*}\left(w_{i}\right)$ に一致し，かつ $S^{d}$ が十分に大き く, $S^{*} \subset \Omega\left(S^{d}\right)$ という条件が成り立つ場合には $S^{*}$内の任意の単語について SINN の各層における解釈性が担保されることが期待される.

## SSL への制約付き学習

学習時には次の $L_{\text {joint }}^{\mathbf{Q}}$ を最小化させるよう学習さ せる。

$
\begin{aligned}
& L_{\text {shift }}^{\mathbf{Q}}:=\sum_{t \in\left.\{t \mid w_{t}^{\mathbf{Q}} \in\left(S^{d} \cap \mathbf{Q}\right)\right.\}} \operatorname{SCE}\left(s_{t}^{\mathbf{Q}}, l_{s s l}\left(P S\left(w_{t}^{\mathbf{Q}}\right)\right)\right. \\
& L_{\text {joint }}^{\mathbf{Q}}:=L_{\text {doc }}^{\mathbf{Q}}+\lambda \cdot L_{\text {shift }}^{\mathbf{Q}}
\end{aligned}
$

where $l_{s s l}(a)= \begin{cases}1 & \left(a>0 \wedge d^{\mathbf{Q}}=1\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=0\right) \\ 0 & \left(a>0 \wedge d^{\mathbf{Q}}=0\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=1\right)\end{cases}$

ここで， $\lambda$ はハイパーパラメータであり, $L_{\text {shift }}^{\mathbf{Q}}$ は SSLへの制約に関するコスト関数である.

この $L_{\text {shift }}^{\mathbf{Q}}$ の活用によって $R^{*}\left(w_{t}^{\mathbf{Q}}\right)$ と $s_{t}^{\mathbf{Q}}$ の符号 が一致させるような制約が $\Omega\left(S^{d}\right)$ 内の単語について かかることが期待でき，WOSL や SSLへの極性情報 の伝搬が促進されることが期待できる.

## 4 評価実験

## 5 解釈性の評価

本節では実データを用いて本手法の評価を予測性能及び解釈性の二点から評価する.

## 5.1 実験設定

景気ウォッチャー調査の現状に関する日本語コ メントのデータセット [2] を用いて実験を実施し た. 本データセットは訓練データ，検証データ， テストデータから構成され，各データセットにポ ジティブコメント及びネガティブコメントがそれ ぞれ 20,000 件，2,000 件，4,000 件格納されている. Lexicon Initialization においては「”上がる”, ”回復”, "上方”, ”増加”, ”上昇”」及び「["減少”, ”低下”, "損失”, ”遅れ”, ”リスク”]」についてそれぞれ +1 と -1を入れる形で初期化を実施した。また，Tokenizer は rinna/japanese-roberta-baseを利用した。

## 5.2 評価指標

予測性能についてはテストデータに対するポジ ネガ分類制度により評価した。解釈性については， [2] にて提供されている人手で作成された，単語レ ベルでのポジネガリスト及び極性反転に関するデー タセットをもとに (A) WOSL 及び (B) WCSL の評価 を実施した. (A) WOSL の評価では，WOSL の妥当
性をWOSLから得られるリスト内単語の極性（ポジ ティブ 189 件，ネガティブ 198 件）と単語極性リス 卜内の極性の一致度 (macro $F_{1}$ 値) をもとに評価し た.また，(B) WCSL の評価では，まず極性反転に 関するデータセットに記載される各コメントをモデ ルに読み込ませ， CWL 層から各トークンの文脈ス コア $s_{t}^{\mathbf{Q}}$ を抽出する. その後, 単語極性リスト内に 含まれるトークンを対象に， $s_{t}^{\mathbf{Q}}<0$ の場合，また は $\left.\{s_{t}^{\mathbf{Q}}\right.\}$ の平均値よりも小さい場合にはセンチメン トが「反転または軽減されている」とみなし，そう でない場合には「反転または軽減されていない」と みなした. この予測結果とデータセットにつけられ る反転タグが一致するかどうかによって評価した。評価指標には Macro F1 値を利用した. 尚，本評価 データには「反転または軽減されている」のラベル が 660 件,「反転または軽減されていない」のラべ ルが 3,000 件付与されていた.

## 5.3 ベースライン

性能評価のため，解釈性に関しては，SINN[2]加え，SINNにおける WGCL の層に RoBERTa

## 5.4 結果・考察

表 1 が評価結果である.SINN+GPT の結果が提案手法の結果である. SINN に比べ，予測性能をあげ ることには成功した。また，WOSL や WCL に関す る解釈性についてもある程度性能を保っていること が見て取れる。また，図 1 で見て取れるように，本提案手法 (SINN+GPT) センチメントへの影響を後 ろから受けていることが見て取れる。例えば、「イ ベントが何もないので、という記載においてイべ ント（ポジティブワード）が「何もない」によって 後ろから反転させられていることが可視化結果をも とに理解できる。一方, SINN+GPT 内の WCL に 関しては，極性反転されている部分について，マイ ナスの値を取ることができていない様子が見られ， この部分を改善し, SINN (ベースライン) のように 極性反転に対し, WCL 内の値をマイナスに取るこ とができれば，WOSL に関しても更なる性能向上が されることが期待される.

## 6 結論

SINN へ自己回帰型の学習済み大規模言語モデル を組み込み，Joint Sentiment Propagation 学習を用い て自然な形で学習させることで, (1)ニューラルネッ表 1 評価結果

 &  \\

RoBERTA & 0.955 & - & - \\

図 1 Visualzation example by SINNs

トワークの予測性能向上，及び (2) 各単語のセンチ メントへの影響をその前後で分離させ，可視化する ことを試みた。予測性能を解釈性をある程度保ちつ つも向上させることには成功したが，まだ改善の余地があると言える. 今後の展開としてはマルチリン ガルモデルの活用による性能向上や Few Shot 学習手法の提案，あるいはより効率の良い学習手法の提案等が挙げられる。また，より大規模なデータセッ 卜を用いた本手法の評価やもう一歩踏み込んだ可視化結果の評価等も今後の展開としては考えられる.

## 参考文献

[1] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, SSNN: Sentiment Shift Neural Network, SDM 2020, 2020.

[2] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, Word-level Contextual Sentiment Analysis with Interpretability, AAAI 2020.

[3] Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya, Language Models are Unsupervised Multitask Learners, 2019.

[4] Zhuang et al., A Robustly Optimized BERT Pre-training Approach with Post-training, CCL 2021

[5] S. Bach and A. Binder and G. Montavon and F. Klauschen and K. R. Muller and W. Samek, On pixel-wise explanations for nonlinear classifier decisions by layer-wise relevance propagation, PLOS ONE Vol. 10. No. 7. 2017.

[6] L. Arras and G. Montavon and K. R. Muller and W. Samek,

Explaining Recurrent Neural Network Predictions in Sentiment Analysis, EMNLP Workshop 2017

[7] M. T. Ribeiro and S. Singh and C. Guestrin, Why Should I Trust You?" Explaining the Predictions of Any Classifier, KDD 2016.
 伊藤友貴 ${ }^{1}$ 1 三井物産株式会社 Tomok.ito@mitsui.com  