# 発話順序に基づくGraph Attention Networks を用いた 対話文における感情認識

石渡 太智 ${ }^{\dagger,+\dagger}$ ・安田 有希 $\dagger$ ・宮㠃 太郎 ${ }^{\dagger}$ 後藤 淳 $\dagger$
}

SNS 上のユーザ動向調査やフェイクニュース検知を目的に, 対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている。ERCで は，対話文における各発話の内容に加えて，発話間の関係が話者の感情に大きな影響を 与えることが知られている。従来の State-of-the-art を達成した手法は, 発話間の関係 の中でも特に自己依存と相互依存を, Relational Graph Attention Networks (RGAT) を用いて取得し, 当時の世界最高峰の認識精度を得た. しかしながら, RGAT モデル は発話の順序情報を利用できない課題がある。そこで本論文は， RGAT モデルに発話順序を加える新たな手法 Relational Position Encodings を提案する。提案手法を用い ることで，自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用で きる。評価実験において，ERCにおける 3 つのベンチマークデータセットのうち， 2 つのデータセットで従来手法を上回る認識精度を達成し, 世界最高峰の認識精度を達成 した.

キーワード：感情認識, 発話順序, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings
## Position-aware Graph Attention Networks for Emotion Recognition in Conversations

\author{
Taichi Ishiwatari ${ }^{\dagger, \dagger \dagger}$, Yuki Yasuda $^{\dagger}$, Taro MiYazaki ${ }^{\dagger}$ and Jun Goto ${ }^{\dagger}$
}

Interest in emotion recognition in conversations (ERC) has been increasing in various fields, because it can be used in the various tasks such as analyzing user behaviors and detecting fake news. Many recent ERC methods use graph neural networks to consider the relationships between the utterances of the speakers. In particular, the strong method considers self-speaker and inter-speaker dependencies in conversations by using relational graph attention networks (RGAT). However, graph neural networks do not consider sequential information. In this paper, we propose relational position encodings that provide RGAT with sequential information reflecting the relational graph structure. Therefore, our RGAT model can capture both the speaker dependency and the sequential information. Experiments on three ERC datasets show that our model is beneficial to recognizing emotions expressed in conversations. In

addition, our approach empirically outperforms the state-of-the-art on several benchmark datasets.

Key Words: Emotion Recognition, Utterance Sequence, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings

## 1 はじめに

SNS 上のユーザ動向調査 (Lee and Hong 2016) やフェイクニュース検知 (Guo et al. 2019)への応用を目的として, 対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている (Picard 2010)。またチャットボットなどの会話エージェントが自然な発話文を生成するために，話者の感情が対話中にどのように変化するかが分析されている (Huang et al. 2018).

先行研究の多くは, Recurrent Neural Networks (RNN) を用いて, 各発話の特徴を抽出する (Liu et al. 2016; Hochreiter and Schmidhuber 1997)。しかし，RNNを用いる場合，長い系列データの特徴の抽出は容易ではない (Bradbury et al. 2016). そこで Majumder らは, Attention 機構により全発話の中から関連のある発話に焦点を当て, 長い系列データの特徴を抽出することで高い認識精度を実現した (Majumder et al. 2019)。しかしながら，これらの従来手法は発話間の関係，特に自身の発話からの影響（自己依存）と他者の発話からの影響（相互依存）を考慮していない．表 1 を用いて，2つの依存関係の重要性を示す。表 1 は，2 人の話者が就職活動について意見を交わす例である。話者 A は長い間就職先が見つからないため，一連の発話で常に負の感情を抱いている. これは自己依存の例を示し，自分自身の感情の推移を表す。一方で，話者 B の 4 番目の感情は，直

 & neutral \\

表 1 対話文の各発話に現れる感情ラベルの例
前の話者 A の状況に同情し, 負の感情を抱いている. これは相互依存の例を示し, 他者の発話が自身の感情に影響を与える性質を持つ。

Ghosal らは自己依存と相互依存の関係を利用するために, Relational Graph Attention Networks (RGAT) 1 を用いて, 当時の世界最高峰の認識精度を達成した (Ghosal et al. 2019).この手法は, ノードに各発話の特徴量を, エッジに発話間の関係を, エッジの種類に依存関係の種類を設定し,有向グラフを構築する。しかしながら，RGAT を含む Graph Neural Networks (GNN) は対話文中の発話の順序情報を利用できない課題がある．表 1 を用いて，順序情報の重要性を示す。話者 B は 4 番目の発話で，感情が変化する。これは， 1 番目や 2 番目の発話ではなく, 直前の 3 番目の発話に同情したことが原因と考えられる。従って, ERC の認識精度の向上には, 発話から発話への距離の影響を考慮する必要がある。

一般的な解決策として，発話の絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018)を基にした Position Encodings を，GNN モデルに加える方法がある．絶対位置を基にした Position Encodings は GNN のノード（発話）に，相対位置を基にした Position Encodings はエッジ（発話間の関係) に加えられる。一方で提案手法は, Ghosal らの手法 (Ghosal et al. 2019)を参考に, 自己依存と相互依存の利用を目的として, 依存関係の種類に応じたRGAT を用いる。従って, 絶対位置や相対位置ではなく依存関係の種類に応じた位置表現を用いることで, 認識性能の向上が期待できる.

本論文は，依存関係の種類に応じた位置表現を新たに作成し，RGAT に加える手法 Relational Position Encodings を提案する。提案手法を用いることで, 自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用できる．評価実験において，ERCにおける 3 つのべンチマー クデータセットのうち, 2 つのデータセットで従来手法を上回り, 世界最高峰の認識精度を達成した. さらに, 絶対位置や相対位置ではなく, 依存関係の種類に応じた位置表現が, ERC の精度向上に貢献することも確認した。

本論文の貢献を以下に示す。(1) 対話文における発話の順序情報を利用するため, 初めて RGAT モデルに Relational Position Encodings を適応した. (2) 提案手法を用いることで, 自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方の利用を可能にした. (3) 従来手法との比較実験を通して，提案手法の有用性を確認した。(4) 絶対位置や相対位置ではなく, 依存関係の種類に応じた位置表現の有用性を確認した。
^{1}$ RGCN: Relational Graph Convolutional Networks (Schlichtkrull et al. 2018) と GAT: Graph Attention Networks (Veličković et al. 2017) を組み合わせたモデル.
}

## 2 関連研究

対話文における各発話の感情認識 (ERC) 多くの研究者が ERC に注目し認識精度向上に取り組んでいる。その中でも，精度向上に大きく貢献した手法に DialogueRNN (Majumder et al. 2019) がある. DialogueRNN は, Attention 機構によって全発話の中から関連のある発話に焦点を当て,長い系列デー夕の特徴を抽出する手法である.

また，発話の特徴を抽出する手法として，Luo らの手法 (Luo and Wang 2019) と Yang らの手法 (Yang et al. 2019) がある. Luo らの手法 (Luo and Wang 2019) は事前学習済み BERT モデル (Devlin et al. 2018)を用いて, トークンごとの特徴量を抽出する. 得られた特徴量の中から, 先頭の $[C L S]$ トークンの特徴量を抜き出し, Feed Forward Neural Networks (FFNN) を用いて感情ラベルの確率値を算出する. Yang らの手法 (Yang et al. 2019) は, 事前学習済み BERT モデルに,複数の発話をまとめて入力する手法である。複数の発話の間に $[S E P]$ トークンを挿入し，連結する。連結した複数発話を同時に入力することで, 各発話の内容を考慮しつつ発話間の相互作用も利用することができる.

Graph Neural Networks (GNN) GNN は, 自然言語処理の分野だけでなく画像処理など様々な問題に応用され, 著しい注目を集めている。いくつか種類のある GNN の中でも，ノードとノー ドの結合関係を表す隣接行列を利用した GCN: Graph Convolutional Networks (Kipf and Welling 2016)をはじめ, RGCN (Schlichtkrull et al. 2018)やGAT (Veličković et al. 2017) が盛んに利用されている。提案手法は， RGCN と GATを組み合わせた RGAT を用いる， RGCN はノード間の関係の種類ごとに GCN を用意するため，自己依存と相互依存など依存の種類ごとにネットワークを構築することができる。またGAT を用いることで, ノード間の類似度を計算し，関連性のあるノードに注意を向けることができる.

提案手法に最も関連のある手法として, DialogueGCN (Ghosal et al. 2019) がある. DialogueGCN は，自己依存と相互依存を含む発話間の関係の取得のために RGAT モデルを利用し，当時の世界最高峰の認識精度を達成した手法である．Ghosal らは，対話文に登場する話者ごとに自己依存と相互依存の影響の度合いが異なると考え, 話者ごとに自己依存と相互依存を区別する RGAT モデルを構築した. しかしながら, 話者の数が増えると, 依存関係の種類が増えパラメータの数も増加する. そこで提案手法は, パラメータ数の削減を目的として, 話者ごとに自己依存と相互依存を区別しないRGAT モデルを構築する。加えて, DialogueGCN を含む GNN モデルは, 対話文中の発話の順序情報を利用できない課題がある。本論文は, 順序情報の利用を目的として, 依存関係の種類に応じた位置表現を新たに作成し，RGAT モデルに加える手法 Relational Position Encodings を提案する.

Position Encodings本論文は, 発話の順序情報をGNN モデルに加える手法を提案する。関連研究に, Position Encodings を Transformer (Vaswani et al. 2017) に加える方法がある. Transformer

モデルは Attention 機構を基に構成されるため，時系列情報の利用が容易ではない，そこで，絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018), 構造位置 (Wang et al. 2019) に基づく Position Encodings が提案されている. GNN も同様に時系列情報の利用が容易ではない。そのため Ingraham らはタンパク質の設計に際し，タンパク質の相対的な位置をGNN のエッジに付加するモデルを提案した (Ingraham et al. 2019).

## 3 提案手法

はじめに $\mathrm{ERC}$ の問題設定を示す． ERC では，対話文における各発話 $u_{1}, u_{2}, \cdots, u_{N}$ の感情ラべル (neutral, surprise, fear など）を認識する．Nは1つの対話に現れる発話の数を示す.また, 1 つの対話に登場する話者を $s_{m}(m=1, \cdots, M)$ とする． $M$ は話者の人数を示す.

提案手法は, 発話特徵量の抽出, Position Encodings を加えた発話関係の抽出, 感情ラベルの識別の 3 つで構成される。全体図を図 1 に示す. 本手法は, Ghosal らの手法 (Ghosal et al. 2019)を参考に，発話間の関係の抽出を目的として，RGAT モデルを構築する。さらに，RGAT では取得が容易でない発話の順序情報の利用を目的として, Position Encodings を加える手法を提案する.

図 1 提案手法の全体図。はじめにRoBERTaを用いて発話の特徵量を抽出する。次に，RGATを用いて発話間の関係を考慮した特徴量を作成する。 $\mathbf{h}_{i}^{l}$ は発話 $u_{i}$ の $l$ 層目の特徴量を表す. 次に, Position Encodings により RGAT に発話の順序情報を付加する。最後に発話の特徴量と発話間の関係を考慮した特徴量を連結し, FFNNを用いて感情ラベルを認識する。 図は発話 $u_{4}$ の感情ラベルを識別する例を示す.

## 3.1 発話特徵量の抽出

BERT モデル (Vaswani et al. 2017) を用いた発話特徵量の抽出方法 (Luo and Wang 2019) を参考に, 発話内の token ごとの特徵量を抽出する。まず, 各発話 $u_{1}, u_{2}, \cdots, u_{N}$ を RoBERTa tokenizer を用いて, tokenごとに分割する。発話 $u_{i}$ の分割された token を $\left(u_{i, 1}, u_{i, 2}, \cdots, u_{i, T_{i}}\right)$ とする. $T_{i}$ は発話 $u_{i}$ に含まれる tokenの数を示す. 次に，事前学習モデル RoBERTa-large ${ }^{2}$ (Liu et al. 2019) を用いて，発話の内容を考慮した特徴量を抽出する。最後に，Max-pooling を通じて発話 $u_{i}$ の特徵量 $\mathbf{h}_{i}^{0} \in \mathbb{R}^{D}$ を得る. $D$ は発話特徴量の次元数を示す. 事前学習済み RoBERTa モデルは, 学習ステップでファインチューニングを行う.

## 3.2 順序情報を考慮した発話関係の抽出

次に，3.1 節で作成した特徴量 $\mathbf{h}_{i}^{0}$ を RGAT に入力し, 発話間の関係を考慮した特徴量を作成する。本手法は，自己依存と相互依存の関係を区別するために，RGAT を用いて関係の種類に応じたネットワークを用意する。また, Attention 機構を導入し，関連性のある発話に注意を向ける。さらに，発話の順序情報の利用を目的として，依存関係の種類に応じた位置表現を加える Relational Position Encodings を提案する.

## 3.2.1 グラフ構造

はじめにグラフ構造を定義する. グラフのノード（発話の特徵量）を $\mathbf{v}_{i} \in \mathcal{V}$ とし，2つのノード $\mathbf{v}_{i}, \mathbf{v}_{j}$ 間を結ぶエッジ（発話間の関係）を $\left(\mathbf{v}_{i}, r, \mathbf{v}_{j}\right) \in \mathcal{E}$ とする. $r \in \mathcal{R}$ はエッジの種類（依存関係の種類）を示す.ノードとエッジを一つにまとめた複数のグラフを， $\mathcal{G}=(\mathcal{V}, \mathcal{E}, \mathcal{R})$ と表記する. ノードグラフのノード $\mathbf{v}_{i} \in \mathcal{V}$ は, 各発話の特徴量で表現する. ノード $\mathbf{v}_{i}$ は, 発話の特徴量 $\mathbf{h}_{i}^{0}$ を初期値とする．RGAT を複数層重ねることで，隣接する発話の特徴量を複数回集計する． $L$ 層重ねた発話 $u_{i}$ の特徴量を $\mathbf{h}_{i}^{L}$ とする.

エッジの種類発話間の関係ごとにグラフを構築する Ghosal らの手法 (Ghosal et al. 2019) を参考に，(a) 話者の関係と (b) 時間の関係に基づきエッジの種類を決定する。(a) 話者の関係：発話間の関係を自己依存と相互依存のいずれかに割り当てる。話者 $s_{m}$ による発話 $u_{i}$ に対して, 同じ話者 $s_{m}$ の発話（ $u_{i}$ を含む）を自己依存とする。一方で, 話者 $s_{m}$ による発話 $u_{i}$ に対して, 違う話者 $s_{k \neq m}$ の発話を相互依存とする. (b) 時間の関係：発せられた時間によって, エッジの種類を割り当てる。すなわち発話 $u_{i}$ に対して，発話 $u_{j}$ が先に発せられたか（過去），あるいは後に発せられたか（未来）に応じて種類を分ける。一般的に，リアルタイムの対話では，未来の発話を利用できないが，ERC の問題設定はデータが全て揃ったオフラインを想定しているため，未来の発話も利用することができる.
^{2}$ https://github.com/pytorch/fairseq
}
以上より，(a) 話者の関係と (b) 時間の関係に基づき, (1) 自己 - 過去, (2) 相互 - 過去, (3) 自己 - 未来, そして (4) 相互 - 未来, の計 4 種類のエッジを設定する. エッジの種類を $\mathcal{R}=\{1,2,3,4\}$ とする。

次に，エッジの種類について, Ghosal らの手法 (Ghosal et al. 2019) と本手法の違いを説明する.

Ghosal らは自己依存と相互依存の影響の度合いが話者ごとに異なると考え，登場する話者の数に応じて, (a) 話者の関係と (b) 時間の関係に基づく 4 種類の関係を用意した。例えば，ある対話に $s_{1}, s_{2}$ の話者 2 人が登場する場合, (1) 話者 $s_{1}$ - 自己 - 過去, (2) 話者 $s_{2}$ - 自己 - 過去, $\cdots$, (8) 話者 $s_{2}$ - 相互 - 未来の, 計 2 (話者の数) $\times 4$ (関係の種類) $=8$ 種類のエッジを用意する. Ghosal らの手法は，話者ごとにネットワークを区別するため，特定の話者に関する影響を考慮することができる。しかしながら，対話に登場する話者の数が増えると，エッジの種類が増えパラメータの数も増加する，そこで本手法は，パラメータの数を削減するために，話者ごとに関係を区別せず，(a)話者の関係と $(\mathrm{b})$ 時間の関係に基づく 4 種類の関係を用いる.

グラフの構築対話文における全ての発話に対して，4 種類の関係に基づいたグラフを構築する.

図 2 を用いて, グラフ構築の例を示す. 図 2 は，4 番目の発話（左）と 5 番目の発話（右）を基準にしたときの，隣接する発話との関係を示す。例えば，4番目の発話を基準にした 1 番目の発話は，過去の自身の発話なので，赤色で示す $(1)$ 自己 - 過去の関係 $(r=1)$ を表す. また， 6 番目の発話は未来の自身の発話なので，青色で示す $(3)$ 自己 - 未来の関係 $(r=3)$ を表す. 次に， 5 番目の発話を基準にした図 2 の右側の例を考える．５番目の発話を基準にした 2 番目の発話は，過去の違う話者の発話なので, 黄色の点線で示す $(2)$ 相互 - 過去の関係 $(r=2)$ を表す.このように, 対話文における全ての発話 $u_{i}$ に対して, 隣接する発話 $u_{j}$ と, 話者と時間の関係に基づく 4 種類の関係を

図 2 グラフの構築方法. 対話文における全ての発話に対して, エッジの種類に基づくグラフを構築する. 左は発話 $\mathbf{h}_{4}$ を基準にしたとき，右は発話 $\mathbf{h}_{5}$ を基準したときのエッジの種類を示す.
構築する.

エッジの上限数エッジを結ぶ発話の上限数（密幅）を定める．過去の密幅を $p$ ，未来の密幅を $f$ としたとき，発話 $u_{i}$ と $p$ 個の過去の発話， $f$ 個の未来の発話をエッジで結ぶ．密幅を小さく設定する場合，小さな隣接グループしか注目することができない，一方で窓幅を大きくする場合，高い計算コストが必要となる。従って，適当な窓幅 $p$ と $f$ の設定が求められる．本手法は，ハイパーパラメータの数を削減するために, 過去の密幅 $p$ と未来の窓幅 $f$ を同じ値 $p=f$ に設定する.

隣接発話の集合発話 $u_{i}$ の隣接する発話の集合を定める. エッジの種類 $r$ で発話 $u_{i}$ に隣接する発話の集合を $\mathcal{N}_{r}(i)$ とする。集合 $\mathcal{N}_{r}(i)$ の要素は，最大で密幅 $p(=f)$ の数存在する，例えば，図 2 において窓幅 $p=3$ で 5 番目の発話（右側）を基準にしたとき，黄色の点線で示すエッジの種類 $r=2$ で発話 $u_{5}$ に隣接する発話の集合は, $\mathcal{N}_{2}(5)=\{1,2,4\}$ となる.

## 3.2.2 RGAT

RGCN モデル (Schlichtkrull et al. 2018) と GAT モデル (Veličković et al. 2017) に基づき，隣接する発話の特徵を加味した, $l+1$ 層目の発話 $u_{i}$ の特徵量 $\mathbf{h}_{i}^{l+1}$ を作成する. 次項に示す, 発話 $u_{i}$ と発話 $u_{j}$ 間の Attention 機構と Position Encodings を加味した重み係数 $\alpha_{i j}^{l}$ により，隣接する発

集計した特徴量を下式で示す.

$
\mathbf{h}_{i}^{l+1}=\sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}_{r}(i)} \alpha_{i j}^{l} W_{r}^{l} \mathbf{h}_{j}^{l}
$

$W_{r}^{l}$ は，エッジの種類 $r$ ごとに用意した RGAT のパラメータである. RGAT の層数を $L$ 回重ねることで， $L$ 回分のエッジによって結ばれた隣接ノードの特徵を反映することができる。 さらに本手法は式 (1)に Multi Head Attention を適用し, Layer Normalization も加える.

## 3.2 .3 エッジの重み係数

式 (1)における, Attention 機構を用いたエッジの重み係数 $\alpha_{i j}^{l}$ を導入する。本手法は, GAT モデル (Veličković et al. 2017) と同様に Attention 機構を利用する. 発話 $u_{i}$ と, エッジの種類 $r$ で隣接する発話の集合 $\mathcal{N}_{r}(i)$ の発話 $u_{j}$ の, エッジの重み係数 $\alpha_{i j}^{l}$ を下式で示す.

$
\begin{aligned}
\alpha_{i j}^{l} & =\frac{\exp \left(z_{i j}^{l}\right)}{\sum_{\bar{j} \in \mathcal{N}_{r}(i)} \exp \left(z_{i \bar{j}}^{l}\right)} \\
z_{i j}^{l} & =\operatorname{LeakyReLU}\left(\left(\mathbf{a}_{r}^{l}\right)^{T}\left[W_{r}^{l} \mathbf{h}_{i}^{l} \| W_{r}^{l} \mathbf{h}_{j}^{l}\right]\right)
\end{aligned}
$

ただし, 式 (1) に示すように, $j$ はエッジの種類 $r$ で発話 $u_{i}$ に隣接する集合 $\mathcal{N}_{r}(i)$ の要素である. 従っ $\tau, j \in \mathcal{N}_{r}(i)$ の関係から， $(i, j)$ の組が定まるとエッジの種類 $r$ も定まる。また, $W_{r}^{l}$ は Attention 機構のパラメータを, $\mathbf{a}_{r}^{l}$ は学習可能なべクトルを, ${ }^{T}$ は転置を示す. 活性化関数 LeakyReLU を
通じて得た $z_{i j}^{l}$ を，集合 $\mathcal{N}_{r}(i)$ における edge softmax ${ }^{3}$ (Veličković et al. 2017)で正規化し，重み係数 $\alpha_{i j}^{l}$ を得る.

## 3.2.4 Relational Position Encodings

本項では，RGAT モデルでは取得が容易でない発話の順序情報の利用を目的として，エッジの種類に応じた位置表現を新たに作成し，RGAT に加える手法 Relational Position Encodings を提案する。提案手法の位置表現を図 3 に示す。

順序情報を加える従来手法に，絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018) に基づくPosition Encodings がある. 図 3 に示すように，絶対位置はノード（発話）の順番に基づき，相対位置はエッジ（発話間の関係）すなわち発話から発話への距離に基づく．発話から発話へ有向グラフを結ぶ GNN では，相対位置を基にした Position Encodings の適用が望ましい。しかしながら，相対位置を基にした Position Encodings は，エッジの種類によらず一律に順序情報が与えられる。本手法は，自己依存と相互依存の取得を目的に RGAT を利用するため（3.2.1 項），エッジの種類に応じた位置表現を作成する。以上より，図 3 に示す，エッジの種類ごとに用意した相対位置の位置表現 (Relational Position)を新たに作成する。

次に Relational Position の式を示す.はじめに，隣接発話の集合に対応する順番の集合を定める. 隣接発話の集合 $\mathcal{N}_{r}(i)$ に対応する順番の集合を， $\mathcal{I}_{r}(i) \subset \mathbb{N}$ とする． $\mathbb{N}$ は自然数の集合を示す. $\mathcal{I}_{r}(i)$ は, 窓幅 $p(=f)$ を最大とする自然数から降順に，隣接発話の集合 $\mathcal{N}_{r}(i)$ の要素数を取り出した集合を示す. 例えば, 図 3 の例で空幅 $p=3$ の時, エッジの種類 $r=1$ で発話 $u_{4}$ に隣接する集合は， $\mathcal{N}_{1}(4)=\{1,2,4\}$ である.この時，窓幅 $p=3$ を最大とする自然数から降順に，隣接発話の集合 $\mathcal{N}_{1}(4)$ の要素数取り出した順番の集合は $\mathcal{I}_{1}(4)=\{1,2,3\}$ となる. 次に，エッジの種類 $r=2$

図 3 提案手法 Relational Position の例. 提案手法は,エッジの種類ごとに用意した相対位置を用いる. 背景色は $\mathbf{h}_{4}$ を基準とした時のエッジの種類を示す. 提案手法の値は, 空幅 $p=3$ のときの発話 $u_{4}$ からの Relational Position を示す.


で発話 $u_{4}$ に隣接する集合 $\mathcal{N}_{2}(4)=\{3\}$ に対応する順番の集合を考える。この時，密幅 $p=3$ を最大とする自然数から降順に，隣接発話の集合 $\mathcal{N}_{2}(4)$ の要素数取り出した順番の集合は $\mathcal{I}_{2}(4)=\{3\}$ となる.

続いて，隣接発話の集合 $\mathcal{N}_{r}(i)$ の要素に対応する，順番の集合 $\mathcal{I}_{r}(i)$ の要素を取り出す変換を定める. 隣接発話の集合 $\mathcal{N}_{r}(i)$ の中で，対象 $i$ から相対距離の遠い順に，順番の集合 $\mathcal{I}_{r}(i)$ の要素を対応させる. その変換を $\operatorname{idx}_{r, i}: \mathcal{N}_{r}(i) \rightarrow \mathcal{I}_{r}(i)$ とする. すなわち, 対象 $i=4$ にエッジの種類 $r=4$ で隣接する発話の集合 $\mathcal{N}_{4}(4)=\{5,9,10\}$ に対して, 対象 $i=4$ から相対距離の遠い順に, 順番の集合 $\mathcal{I}_{4}(4)=\{1,2,3\}$ を対応させる. 例えば, $j=10$ 番目の発話は, 隣接する発話 $\mathcal{N}_{4}(4)$ の中で対象 $i=4$ に最も遠いので，順番の集合 $\mathcal{I}_{4}(4)$ の中から 1 が対応する. したがって， $j=10$ 番目の発話の順番を抜き出すときは，変換 $\mathrm{idx}_{r, i}(j)$ を用いて $\mathrm{idx}_{4,4}(10)=1$ となる.

本手法では, 発話 $u_{j}$ から発話 $u_{i} への$ 位置表現 Relational Position を，変換 $\mathrm{idx} r_{r, i}$ を用いて，下式で表現する。

$
\mathrm{PE}_{i j}=\mathrm{idx}_{r, i}(j)-\{(r+1) \bmod 2\}
$

$\bmod$ は剩余演算を示す. 式 $(3)$ の $\bmod$ を含む 2 項目は, 相互の依存関係を示すエッジの種類 $r=2,4$ の時に，位置表現の値を $(-1)$ 加算する処理を示す。すなわち，対象の発話に対して，自分自身の発話の位置表現を最大（空幅 $p$ ）に設定する。また，位置表現 $\mathrm{PE}_{i j}$ は，対象の発話から離れるに従い減少する.

Gehring らの手法 (Gehring et al. 2017) を参考に，位置表現 $\mathrm{PE}_{i j}$ の値を固定する場合 (fixed) と学習する場合 (learned)の 2 つを用意する。まず值を固定する場合 (fixed) は, 式 (3) によって得られる値をそのまま用いる。一方で，値を学習する場合 (learned) は，式 (3) によって得られた値を入力した 1 層の FFNN の出力を用いる。値を学習する場合 (learned) は，データセットに適した位置表現を学習することが可能になる.

図 4 に示すように，相対位置に基づく位置表現 $\mathrm{PE}_{i j}$ は，発話から発話への距離に相当し，エッジの重み係数に加えることができる (Relational Position Encodings). 新たに提案する位置表現を加えたエッジの重み係数を下式で示す.

$
\begin{aligned}
\alpha_{i j}^{l} & =\frac{\exp \left(z_{i j}^{l}\right)}{\sum_{\bar{j} \in \mathcal{N}_{r}(i)} \exp \left(z_{i \bar{j}}^{l}\right)} \\
z_{i j}^{l} & =\operatorname{LeakyReLU}\left(\left(\mathbf{a}_{r}^{l}\right)^{T}\left[W_{r}^{l} \mathbf{h}_{i}^{l}|| W_{r}^{l} \mathbf{h}_{j}^{l}\right]+\mathrm{PE}_{i j}\right)
\end{aligned}
$

式 (2) との違いは, 位置表現 $\mathrm{PE}_{i j}$ を足し合わせている点である。位置表現 $\mathrm{PE}_{i j}$ は, 値を固定する場合 (fixed) も学習する場合 (learned) も, 同様にスカラー値である.

図 4 Relational Position Encodings の挿入方法. 位置表現をエッジの種類ごとに用意し，それぞれをエッジに加える。 “PE"は Position Encodings を示す.

表 2 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットの割合と評価方法. train, validation, test における対話数と発話数, クラス数を示す.

## 3.3 感情ラベルの識別

3.2 節で発話関係を考慮し作成した特徴量 $\mathbf{h}_{i}^{L}$ と， 3.1 節で作成した発話の特徴量 $\mathbf{h}_{i}^{0}$ を連結した

別する。式を以下に示す.

$
\operatorname{Classifier}(\mathbf{x})=\operatorname{ReLU}\left(\mathbf{x} W_{1}+\mathbf{b}_{1}\right) W_{2}+\mathbf{b}_{2}
$

$W_{1}$ と $W_{2}$ は FFNN のパラメータを示し, $\mathbf{b}_{1}$ と $\mathbf{b}_{2}$ は学習可能なバイアスベクトルを示す.

## 4 実験設定

## 4.1 データセット

ERCにおける 3 つのベンチマークセットを用いて，提案手法の有効性を検証する． train, validation， test の割合と評価方法を表 2 に示す。また各セットにおける対話数と発話数，クラス数を示す.

MELD (Poria et al. 2018) は，複数の俳優が登場する Friends という TVドラマの, 一部シー ンを切り取った映像と音声の書き起こしからなるデータセットである。また， 1 つ対話に複数の話者が登場するデータセットである。各発話は, (neutral, happiness, surprise, sadness, anger, disgust, or fear)のうち 1 つが付与される.

IEMOCAP (Busso et al. 2008) は 2 人の話者が， 1 対 1 の会話を行う様子を収録した映像と音声の書き起こしからなるデータセットである. 各発話は, (happy, sad, neutral, angry, excited, or frustrated) のうち 1 つが付与される.

EmoryNLP (Zahiri and Choi 2018) はTV ドラマ Friendsから，一部のシーンを切り取り収集したデータセットである．MELDデータセットとデータサイズとラベルの種類が異なり， (neural， sad, mad, scared, powerful, peaceful, or joyful)のうち 1 つが付与される.

## 4.2 評価指標

Ghosal らの手法 (Ghosal et al. 2019) で用いられた評価指標と同じ, Weighted-F1 值を全てのデータセットの評価に用いる.

## 4.3 従来手法

提案手法の有効性を検証するために，以下に示す従来手法と精度を比較する。

CNN (Kim 2014)Convolutional Neural Networks (CNN) を用いて対話文における各発話の特徵量を抽出する手法である。これは対話文における発話同士の関係は利用しない.

CNN+cLSTM (Poria et al. 2017) CNN を用いた発話特徴量の抽出に加えて，双方向 Long Short Term Memory (LSTM) を用いて隣接する発話間の関係を利用する手法である.

KET (Zhong et al. 2019) 階層的 Self-Attention を用いて発話の特徴量を抽出する手法である. また, GAT と外部データベースを組み合わせ, Commonsense Knowledge と感情に関連する単語の特徵量を抽出する手法である.

DialogueRNN (Majumder et al. 2019) CNN を用いて発話の特徴量を抽出し，各発話の関連と話者の特徴, 感情の推移について，それぞれ Gated Recurrent Unit (GRU) でモデリングする手法である.

DialogueGCN (Ghosal et al. 2019) CNN を用いて発話の特徴量を抽出し，隣接する発話間の相互作用を GRU を用いて抽出する手法である。加えて，発話間の関係の中でも自己依存と相互依存の取得に RGAT を利用する手法である.

IEIN (Lu et al. 2020) 双方向 GRU を用いて発話の特徵量を抽出し, 発話間の相互作用の抽出に双方向 GRU と Attention 機構を用いる手法である。 さらに，感情ラベルの確率を入力し，新たな感情ラベルの確率を出力するネットワークを用いる，再起的に確率を導出することで，隣接する発話間の影響を利用する。

HiTrans (Li et al. 2020) EmoryNLP データセットにおいて, State-of-the-art を達成した手法である。発話特徴量の抽出に BERT モデルを用い，話者間の関係の抽出に Transformer を利用し，階層的に組み合わせた手法である。

DialogXL (Shen et al. 2020) MELD, IEMOCAP データセットにおいて, State-of-the-art を達成した手法である。過去の発話を保存し共有するネットワークを, XLNet に加えた手法である. また隣接する発話間の関係 (local) と, 会話全体の発話間の関係 (global) と, 話し手, 聞き手の特徵を，それぞれ Self-Attention を用いて抽出する手法である。

## 4.4 その他の実験設定

その他の実験設定を示す. 提案手法は, 損失関数に Cross Entropy Loss を用いて学習を行った. また, RoBERTa と RGAT モデルの学習率を $1 e-3$ に設定し, Cosine Annealing Schedule により学習率を減少させ学習した (Loshchilov and Hutter 2016). RAdam optimizer (Liu et al. 2019)を用いて最適化を行った. 発話の特徴量と発話関係を考慮し作成した特徴量の次元数を 1024 とし, ラベル識別の中間層の次元数を 512 に設定した。また, エッジ重み係数を計算する際に, 4-Head Attention を用いた．RGATのレイヤ数とバッチサイズはそれぞれ 2 と 8 に設定した． validation セットで最も Weighted-F1 值が高くなるハイパーパラメータの組み合わせを選択した. ドロップアウトの割合は $0.1,0.3,0.5$ の中から 0.3 を，窓幅は $(p, f)=(2,2),(3,3),(4,4),(5,5)$ の中から $(p, f)=(5,5)$ を選択した。全ての実験結果は 5 回行い平均値を用いた. $512 \mathrm{~GB}$ メリの Xeon(R) Gold $6246 \mathrm{CPU}$ と，48GBメモリの Quadro RTX 8000 GPU を用い, CentOS 環境で実験を行った.

## 5 結果と考察

## 5.1 従来手法との比較

従来手法との比較結果を表 3 と表 4 に示す. 提案手法を除く全ての Weighted-F1 値は, 各文献から引用する。

ベンチマークの比較表 3 より, MELD データセットでは, Weighted-F1 値 $63.12 \%$ を達成し, 従来手法を約 $0.7 \%$ 近く上回る世界最高水準の認識精度を達成した。また, IEMOCAPデータセットにおいても, Weighted-F1 值 $65.95 \%$ を獲得し，世界最高水準の認識精度を達成した。結果から 3 つのベンチマークデータセットのうち，2つのデータセットでState-of-the-art を達成し, 提案手法の有効性を確認した. さらに, 複数のベンチマークで高い認識精度を有することから, デー夕数や発話数，登場する話者数が異なる場合でも，精度良く認識できることを確認した。

感情ラベルの比較MELD データセットを用いて, 感情ラベルごとの認識精度を比較し, 提案手法の特徴を分析する。結果を表 4 に示す. 従来手法 $(\sharp 0-\sharp 4)$ に加え, $\sharp 5$ に発話特徴量の抽出を目的として RoBERTa を用いた手法 (RoBERTa), $\sharp 6$ に発話関係の抽出を目的としてRGAT を加え

表 3 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットにおける従来手法との比較.ボールド体は最も性能が高い値を示す，各値は 5 回の実験による Weighted-F1 值の平均値を示す.

表 4 MELDデータセットに打ける従来手法と提案手法の, 感情ラベルごとの認識結果. ボールド体は最も性能が高い値を示す．RoBERTa は発話特徴量の抽出を目的としてRoBERTaを用いた手法, +RGAT は発話関係の抽出を目的としてRGAT を加えた手法 (RoBERTa+RGAT), +PE は Position Encodings を加えた提案手法 (RoBERTa+RGAT +PE) を示す．W-F1 は Weighted-F1 值を示す.

た手法 (+RGAT)，そして $\sharp 7$ に Position Encodings を加えた提案手法 (+PE) の結果を示す.

結果から, 従来手法 $(\sharp 0-\sharp 4)$ と比較し, 全ての感情ラベルで提案手法 $(\sharp 7)$ の有効性を確認できる. 特に, 出現回数の少ない disgust ラベルにおいて, 提案手法 ( $\sharp 7$ ) は F 1 值 $27.51 \%$ を達成し, F1 値 $19.38 \%$ を獲得した $\mathrm{Lu}$ らの手法 ( $\sharp 4)$ を $8 \%$ 以上上回る認識精度を達成した．出現頻度の低い感情ラベルにおいても，提案手法は高い認識性能を有することを確認した。

また $\operatorname{RoBERTa}(\sharp 5)$ と $+\operatorname{RGAT}(\sharp 6)$ と比較し, ほとんど全ての感情ラべルで提案手法 ( $\sharp 7)$ の有効性を確認できる。しかしながら， fear ラベルでは， $\operatorname{RoBERTa}(\sharp 5)$ が高い認識性能を達成した. MELD データセットでは, “I lost it”や“How bad is this?”といった発話に，しばしば fear ラべルが付与される． RoBERTa(\#5) が最も高い $\mathrm{F} 1$ 值を達成したことから，他の発話からの影響や時系列情報に比べて，発話内容が fear の感情に影響することが分かった.

## 5.2 推定結果の分析

次に，発話特徴量の抽出を目的としてRoBERTaを用いた手法，発話関係の抽出を目的として RGAT を加えた手法 (+RGAT)，そしてPosition Encodings を加えた提案手法 $(+\mathrm{PE})$ ，それぞれの推定結果を分析する．結果を表 5 に示す．表 5 は，MELDの validation セットの一部で，恋人と共に引越しをする Monica が，友人である Rachel に別れを告げるシーンである.

結果から，RGAT を用いない手法 (RoBERTa) は，4番目と 10 番目の発話で，誤って joy と認識していることが分かる。一方で, RGAT を用いる手法 $(+\mathrm{RGAT},+\mathrm{PE})$ は, 正しく感情ラべルを認識した，発話間の関係を考慮したことで，Monicaと Rachel の一連の悲しい感情を反映し，正しく認識した。

しかしながら，0 番目の発話で，提案手法 (+PE) は joy と誤って認識した. 先頭（または末尾） の発話を認識する場合, 未来（過去）の発話しか参照できないため, 他の発話に比べて識別が難しい，そこで，対話全体の感情の傾向を考慮することで，参照し得る情報の不足を補うことが見达める. MELD データセットでは, 表 5 の正解ラベルが示すように, 負の感情が現れる対話の場合は負の感情 (sadness, surprise など）が続く傾向にある，従って，対話全体で負の感情が連続する傾向を考慮することで, 表 5 の 0 番目の結果のような正の感情（joyなど）への誤認識を防ぐことが期待

 & neutral & joy & neutral & joy \\

表 5 MELD データセットにおける推定結果．RoBERTa は発話特徴量の抽出を目的として RoBERTaを用いた手法, +RGAT は発話関係の抽出を目的として RGAT を加えた手法 (RoBERTa+RGAT), +PE は Position Encodings を加えた提案手法 (RoBERTa+RGAT+PE) を示す.

$r=1:$ 自己 - 過去 $\square r=2:$ 相互 - 過去

$r=3:$ 自己 - 未来 $\square r=4:$ 相互 - 未来

図 5 表 5 のサンプルにおけるエッジの種類ごとの重み係数. 左に発話関係の利用を目的として RGAT を加えた手法+RGAT(RoBERTa+RGAT), 右に Position Encodings を加えた提案手法 $+\mathrm{PE}(\mathrm{RoBERTa}+\mathrm{RGAT}+\mathrm{PE})$ の結果を示す. 各図は RGAT モデルの最終層 $(L=2)$ の, 4 番目の発話へのエッジの重み係数を示す。重み係数の值が大きいほど，濃い色を示す.

できる。提案手法は，window 幅を設け隣接する発話の局所的な影響を考慮する構造をそなえているが，対話全体の感情の傾向を捉える構造はそなえていない．今後の展望として，発話間の局所的な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する．

最後に RGAT を加えた手法 $(+\mathrm{RGAT})$ と提案手法 $(+\mathrm{PE})$ について, 4 番目の発話で neutral と推定した際に，周辺のどの発話の影響を重視したかを分析する。表５のサンプルにおける，+RGAT と $+\mathrm{PE}$ のそれぞれのエッジの重み係数（式 (2),(4)）を，図 5 に示す. 左に+RGAT の結果を，右に $+\mathrm{PE}$ の結果を示す。それぞれの図は，RGAT モデルの最終層 $(L=2)$ の， 4 番目の発話に対するエッジの種類ごとの重み係数を示す. 重み係数の值が大きいほど濃い色で示す.

図 5 の結果から, $\mathrm{PE}$ 加えることで，対象の発話 $(i=4)$ に近い発話の影響がそれぞれのエッジの種類で大きくなることが確認できる．赤色で示す自己 - 過去の関係 $(r=1)$ では，PE を加えることで 4 番目の発話の影響が大きくなり，緑色で示す相互 - 未来の関係 $(r=4)$ では, $\mathrm{PE}$ を加えることで 7 番目の発話の影響が大きくなった。このように，PEを加えることで，対象に近い発話の影響を重視することが確認できる。

## 5.3 モデルの種類

MELD データセットを用いて，絶対位置と相対位置に基づくPosition Encodings と比較し，提案手法の有効性を確認する。 Transformerにおける Position Encodings 手法 (Vaswani et al. 2017) を参考に，絶対位置に基づくPosition Encodings をRGAT モデルの入力部分に加える．また，相対位置に基づくPosition Encodings を，グラフのエッジ係数に加える。位置表現を示す值は，固定する場合 (fixed) と，FFNN を用いて学習する場合 (learned)のいずれかを用いる．結果を表 6 に

表 6 絶対位置と相対位置, 提案手法に基づくPosition Encodings の比較

示す. 発話特徴量の抽出を目的としてRoBERTa を用いた手法 $(\sharp 0)$ と，発話関係の抽出を目的としてRGAT を加えた手法 ( $\sharp 1)$ をそれぞれベースラインとする．Position Encodings の種類を変更し，固定または学習した場合の結果を $\sharp 2-\sharp 7$ に示す.

提案する Relation Position Encodings を用いて値を学習する場合 ( $\sharp 7$ ), 最も高い Weighted-F1 値 $63.12 \%$ を得た。提案手法はベースライン $(\sharp 0, \sharp 1)$ に比べ $2 \%$ 近く值が改善し, さらにその他の Position Encodings に比べ高い認識精度を達成した，以上より，Position Encodings を学習する場合, 最も高い認識精度を達成することが確認できる。また，全ての Position Encodings $(\sharp 2-\sharp 7)$ が，ベースライン $(\sharp 0, \sharp 1)$ よりも高い Weighted-F1 值を得ていることから, Position Encodings の有効性も確認することができる。

## 6 まとめ

本論文は，対話文における各発話の感情認識において，RGAT モデルに適した順序情報を加える Relational Position Encodings を提案した。順序情報を加えたRGAT を用いることで，発話間の関係と発話の順序情報の両方を利用できる．3つのベンチマークデータセットを用いて提案手法の有効性を確認したところ，2つのデータセットで従来手法を上回る認識精度を達成した。また提案手法は, 絶対位置や相対位置に基づく Position Encodings よりも高い認識精度を達成し, その有効性を確認した。

今後, Relational Position Encodings の次元数を増加させることを検討している． Relational Position Encodings はエッジの重み係数に加えるため, スカラー值で表現した. スカラー值では表現次数として不十分な可能性があり，今後次元数を増やすことを検討する．また，発話間の局所的な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する。

## 謝 辞

本論文の内容の一部は, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP2020) で発表したものである (Ishiwatari et al. 2020).

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎上級研究員, 美野秀弥研究員,遠藤伶研究員, 東京工業大学の德永健伸教授に感謝の意を表す.

## 参考文献

Bradbury, J., Merity, S., Xiong, C., and Socher, R. (2016). "Quasi-recurrent Neural Networks." In Proceedings of the International Conference on Learning Representations.

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). "IEMOCAP: Interactive Emotional Dyadic Motion Capture Database." Language resources and evaluation, 42 (4), p. 335.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." CORR, abs/1810.04805.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional Sequence to Sequence Learning." In Proceedings of the 34th International Conference on Machine Learning-Volume 70, pp. 1243-1252.

Ghosal, D., Majumder, N., Poria, S., Chhaya, N., and Gelbukh, A. (2019). "DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 154-164.

Guo, C., Cao, J., Zhang, X., Shu, K., and Liu, H. (2019). "DEAN: Learning Dual Emotion for Fake News Detection on Social Media." CORR, abs/1903.01728.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Huang, C., Zaiane, O. R., Trabelsi, A., and Dziri, N. (2018). "Automatic Dialogue Generation with Expressed Emotions." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54.

Ingraham, J., Garg, V., Barzilay, R., and Jaakkola, T. (2019). "Generative Models for Graph-based Protein Design." In Advances in Neural Information Processing Systems,
pp. 15794-15805.

Ishiwatari, T., Yasuda, Y., Miyazaki, T., and Goto, J. (2020). "Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7360-7370.

Kim, Y. (2014). "Convolutional Neural Networks for Sentence Classification." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1746-1751.

Kipf, T. N. and Welling, M. (2016). "Semi-supervised Classification with Graph Convolutional Networks." In Proceedings of the International Conference on Learning Representations.

Lee, J. and Hong, I. B. (2016). "Predicting Positive User Responses to Social Media Advertising: The Roles of Emotional Appeal, Informativeness, and Creativity." International Journal of Information Management, 36 (3), pp. 360-373.

Li, J., Ji, D., Li, F., Zhang, M., and Liu, Y. (2020). "HiTrans: A Transformer-Based Contextand Speaker-Sensitive Model for Emotion Detection in Conversations." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4190-4200.

Liu, L., Jiang, H., He, P., Chen, W., Liu, X., Gao, J., and Han, J. (2019). "On the Variance of the Adaptive Learning Rate and Beyond." In Proceedings of the International Conference on Learning Representations.

Liu, P., Qiu, X., and Huang, X. (2016). "Recurrent Neural Network for Text Classification with Multi-Task Learning." In Proceedings of the 25th International Joint Conferences on Artificial Intelligence Organization (IJCAI-16), pp. 2873-2879.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Loshchilov, I. and Hutter, F. (2016). "SGDR: Stochastic Gradient Descent with Warm Restarts." In Proceedings of the International Conference on Learning Representations.

Lu, X., Zhao, Y., Wu, Y., Tian, Y., Chen, H., and Qin, B. (2020). "An Iterative Emotion Interaction Network for Emotion Recognition in Conversations." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4078-4088.

Luo, L. and Wang, Y. (2019). "EmotionX-HSU: Adopting Pre-trained BERT for Emotion Classification." CORR, abs/1907.09669.

Majumder, N., Poria, S., Hazarika, D., Mihalcea, R., Gelbukh, A., and Cambria, E. (2019). "DialogueRNN: An Attentive RNN for Emotion Detection in Conversations." In Proceedings
of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6818-6825.

Picard, R. W. (2010). "Affective Computing: From Laughter to IEEE." IEEE Transactions on Affective Computing, 1 (1), pp. 11-17.

Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A., and Morency, L.-P. (2017). "Context-Dependent Sentiment Analysis in User-Generated Videos." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (volume 1: Long papers), pp. 873-883.

Poria, S., Hazarika, D., Majumder, N., Naik, G., Cambria, E., and Mihalcea, R. (2018). "MELD: A Multimodal Multi-party Dataset for Emotion Recognition in Conversations." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. $527-536$.

Schlichtkrull, M., Kipf, T. N., Bloem, P., Van Den Berg, R., Titov, I., and Welling, M. (2018). "Modeling Relational Data with Graph Convolutional Networks." In European Semantic Web Conference Springer, pp. 593-607.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 464-468.

Shen, W., Chen, J., Quan, X., and Xie, Z. (2020). "DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition." In 35th AAAI Conference on Artificial Intelligence, pp. 13789-13797.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Veličković, P., Cucurull, G., Casanova, A., Romero, A., Lio, P., and Bengio, Y. (2017). "Graph Attention Networks." In Proceedings of the International Conference on Learning Representations.

Wang, X., Tu, Z., Wang, L., and Shi, S. (2019). "Self-Attention with Structural Position Representations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1403-1409.

Yang, K., Lee, D., Whang, T., Lee, S., and Lim, H. (2019). "EmotionX-KU: BERT-Max based Contextual Emotion Classifier." CORR, abs/1906.11565.

Zahiri, S. M. and Choi, J. D. (2018). "Emotion Detection on TV Show Transcripts with Sequencebased Convolutional Neural Networks." In Workshops at the 32nd AAAI Conference on

Artificial Intelligence, pp. 44-52.

Zhong, P., Wang, D., and Miao, C. (2019). "Knowledge-Enriched Transformer for Emotion

Detection in Textual Conversations." In Proceedings of the 2019 Conference on Empirical

Methods in Natural Language Processing and the 9th International Joint Conference on

Natural Language Processing (EMNLP-IJCNLP), pp. 165-176.

# 
略歴

石渡太智：2017 年早稲田大学大学院修士課程修了. 同年, NHK に入局. 2019 年より放送技術研究所にて自然言語処理の研究に従事. 2021 年より東京工業大学博士後期課程在学. 言語処理学会会員.

安田有希：2017 年早稲田大学大学院修士課程修了. 同年, NHK に入局. 2019 年より放送技術研究所にて自然言語処理の研究に従事.

宮﨑太郎：2006 年東京工業大学大学院修士課程修了. 同年, NHK に入局. 2011 年より放送技術研究所にて自然言語処理の研究に従事. 2017 年から 2018 年メルボルン大学訪問研究員. 言語処理学会, 映像情報メディア学会, 電子情報通信学会, 各会員.

後藤淳：1993 年徳島大学大学院修士課程修了. 同年, NHK に入局. 1998 年より同放送技術研究所で言語処理研究に従事. 2014 年総合研究大学院大学博士課程修了. 博士 (情報学). 現在, 放送技術研究所上級研究員. 映像情報メディア学会, 電子情報通信学会各会員.

\author{
(2021 年 3 月 31 日受付) \\ (2021 年 7 月 1 日再受付) \\ (2021 年 8 月 11 日採録)
}