# Graph Neural Network based Speaker Modelling for Emotion Recognition in Conversation

Prakhar Saxena, Yin Jou Huang, Sadao Kurohashi
Kyoto University
\{prakhar, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## Abstract

Each person has a unique personality which affects the way they feel and convey emotions. Hence, speaker modeling is important for the task of emotion recognition in conversation (ERC). In this paper, we propose a novel graph-based ERC model which considers both conversational context and speaker personality. Our model outperforms other graph-based models and achieves a performance comparable to the current state-of-the-art model.

## 1 Introduction

Emotion recognition in conversation (ERC) is a task within the sphere of emotion recognition. The goal of ERC is to predict the emotion of each utterance in a conversation. With the recent advances of dialogue research, ERC has gained popularity due to its potential to support downstream applications such as building affective dialog systems [1] and opinion mining from social media chats [2].

The emotion of an utterance depends on many factors including surrounding context and speaker personality. The same utterance can express different emotions under different contexts. On the other hand, the speaker's personality and background may affect how we interpret the emotion of an utterance. For example, in Figure 1, the utterance "This is great!" can carry either negative sentiment (sarcastic person) or positive sentiment (not sarcastic). This difference can be attributed to the different personalities of speakers.

In speaker modeling, we distinguish between the static and dynamic states of a speaker. The static speaker state refers to the average state of a person that remains unchanged over a long time. On the other hand, the dynamic speaker state refers to the deviation from the static state in presence of external stimuli. External stimuli can dictate and change the speaker's internal state, which in turn affects

Figure 1 The emotion conveyed by the phrase "This is great" can either be negative (sarcasm) or positive (in the case that the person ordered the wrong item). This example is taken from [10].

the emotion displayed by an individual, hence modeling the dynamic state of a speaker is important for ERC.

In the past few years, Graph Neural Networks (GNNs) have been used increasingly in ERC. GNNs provide an intuitive way to model conversations [3] given the inherent structural flexibility of the graph. The graph structure can be used to capture the dependency between utterances and speakers.

Recent works such as DialogGCN [4], RGAT [5], EmoBERTa [6] and DAG-ERC [3] have modelled conversational contexts using various methods, however they do not model speaker state explicitly. Whereas ConGCN [7] and MMGCN [8] models the speaker state explicitly, however, they use random embedding for initialization and model just the static aspect.

In this study, we propose a novel graph-based ERC model which considers both static and dynamic aspects of speaker state. We utilize a graph which includes past utterance nodes and explicit speaker nodes to model the interactions between utterances and speakers in the dialogue. Experimental results on the benchmark MELD dataset [9] verified the effectiveness of our model regarding both context and speaker modeling.

## 2 Related Work

DialogGCN [4] was the first paper to use GNN to model dialogues. Given an input dialogue, a complete graph within a fixed context (past and future) window is built.

Figure 2 Model overview . The target utterance is denoted in yellow color.

Since graph-based neural networks do not take sequential information into account, RGAT [5] uses relational positional encodings to improve upon DialogGCN. DAGERC [3] builds a more intuitive graph structure by considering local and remote information, without using any future utterance.

EmoBERTa [6] models the speaker state and context by prepending the speaker names to utterances and inserting separation tokens between the utterances in a dialogue, and feeding it to RoBERTa. ConGCN [7] explicitly uses speaker nodes, which are initialized randomly. MMGCN [8] also incorporate randomly initialized speaking embeddings in their model.

## 3 Methodology

## 3.1 Problem Definition

In ERC, a conversation is defined as a sequence of utterances $\left.\{U_{1}, U_{2}, \ldots, U_{N}\right.\}$, where $N$ is the number of utterances. Each utterance $U_{i}$ is spoken by a speaker $S_{i}$ and has an emotion label $Y_{i}$. The goal of ERC is to predict the emotion label $Y_{t}$ for a given utterance $U_{t}$.

## 3.2 Model Overview

Our model consists of three components: Feature extractor, Graph encoder, and Prediction layer. Figure 2 shows the overview of our proposed model.

## 3.3 Feature Extraction

We use pretrained RoBERTa [11] as our feature extractor. Inspired by EmoBERTa [6], we feed the following sequence to RoBERTa for each utterance $U_{i}$ with speaker $S_{i}$ (as shown in Figure 2):

$
[C L S] S_{i}: U_{i}[S E P]
$

For each utterance $U_{i}$, we take the output vector of RoBERTa corresponding to the [CLS] token as the utterance embedding $h_{i}^{u}$. In addition, we extract the RoBERTa output vector corresponding to the speaker token $S_{i}{ }^{1)}$ as speaker embedding $h_{i}^{s p}$.

## 3.4 Graph Encoder

## 3.4.1 Graph Construction

For a target utterance $U_{t}$ in the dialogue, we build a graph $G=(V, E)$ to model the information flow in a conversation, where $V$ denotes the set of nodes and $E$ is the set of edges.

The graph $G$ contains two types of nodes:
- Utterance node: We consider the target utterance $U_{t}$ and up to $w$ utterances preceding $U_{t}$ as past utterances.
- Speaker node: We consider the unique speakers of the target and past utterances.

1) We consider the first token after [CLS] as the speaker embedding.

Figure 3 Graph Structure.

The set of nodes can be represented as:

$
V=\left.\{U_{j}\right.\}_{j=t-w}^{j=t} \cup \operatorname{Uniq}\left(\left.\{S_{j}\right.\}_{j=t-w}^{j=t}\right)
$

where the function $\operatorname{Uniq}()$ returns all the unique elements in a set.

Our graph contains two types of edges, given by:
- Utterance-Utterance Edge: We connect each utterance to its previous utterance. These model the effect of past utterance on the present utterance. These are given by $E_{u u}=\left.\{\left(U_{j-1}, U_{j}\right)\right.\}_{j=t-w+1}^{j=t}$
- Utterance-Speaker Edge: We connect each utterance $U_{j}$ to its corresponding speaker $S_{k}$. The set of utterance-speaker edges are denoted as $E_{u s}=$ $\left.\{\left(U_{j}, S_{k}\right)\right.\}_{j=t-w}^{j=t}$. These edges model the effect of speakers on the utterances.

The set of edges can be given by:

$
E=E_{u u} \cup E_{u s},
$

Figure 3 illustrates an example of the constructed graph with a target utterance $U_{4}$ (colored in yellow) and 3 past utterances. $U_{1}$ and $U_{3}$ are spoken by speaker $S_{1}$, while $U_{2}$ and $U_{4}$ are spoken by $S_{2}$.

## 3.4.2 Node Initialization

We initialize the utterance and speaker nodes as follows:
- Utterance node : $u_{i}^{0}=h_{i}^{u} \forall i \in[t-w, t]$
- Speaker node : $s_{j}^{0}=\operatorname{avg}\left(h_{i}^{s p}\right) \forall i$ spoken by $S_{j}$.

Since there is only one speaker node for each unique speaker, we average all the embeddings for each unique speaker and use the averaged embedding to initialize the Speaker node.

## 3.4.3 GCN-based graph encoding layers

After constructing and initializing the graph, we feed it to the Graph Convolutional Network (GCN) [12] based encoding layers, which update node representation considering the graph structure.
For each GCN layer, the layer-wise propagation rule is:

$
H^{l+1}=\sigma\left(A^{*} H^{l} W^{l}\right)
$

where:
- $H^{l}$ : Matrix for layer $l$, with all the node embeddings row wise, of size $N \times D$. ( $N$ : number of nodes, $D$ : embedding size)
- $A^{*}=A+I, A$ is adjacency matrix and $I$ is identity matrix.
- $W^{l}$, are the weights for $l$-th layer.

We use GCN to get the updated representation of the nodes in $G$. After being processed by $L$ layers of GCN, the final utterance and speaker node representations are denoted as: $u_{i}^{l}$ and $s_{j}^{l} . s_{j}^{l}$ models the dynamic speaker state under the current dialog context.

## 3.5 Emotion Classification

Finally, we concatenate the initial and the final node embedding (embedding after the $L$-th GCN layer) of target utterance and feed it through a feed-forward network to classify emotions.

$
\begin{gathered}
P_{t}=\operatorname{softmax}\left(F F N\left(u_{t}^{0} \| u_{t}^{l}\right)\right), \\
Y_{t}^{*}=\operatorname{argmax}\left(P_{t}\right),
\end{gathered}
$

Here, $\|$ denotes the concatenation operation, $F F N$ is the feed-forward neural network layer, and $P_{t}$ is the probability distribution for the predicted emotion.

## 3.6 Training Objective

We use the standard cross-entropy along with L2regularization as the measure of loss $(\ell)$

$
\ell=-\sum_{x=1}^{M} \sum_{t=1}^{N_{x}} \log P_{x, t}\left[Y_{x, t}\right]+\lambda\|\theta\|_{2}
$

Here, $M$ is the total number of training dialogues, $N_{x}$ is the number of utterances in the $x^{t h}$ dialogue, $Y_{x, t}^{*}$ and $Y_{x, t}$ are the predicted probability distribution of emotion labels and the truth label respectively for utterance $j$ of the dialogue $x . \lambda$ is the L2-regularization weight, and $\theta$ is the set of all trainable parameters.

## 4 Experiment

Table 1 Statistics for the MELD dataset.

## 4.1 Dataset

We evaluate our model on the benchmark Multimodal EmotionLines Dataset (MELD) dataset [9]. MELD is a multi-modal dataset collected from the TV show Friends. There are 7 emotion labels including neutral, happiness, surprise, sadness, anger, disgust, and fear. Since this is an imbalanced dataset, weighted $\mathrm{F} 1$ is used as the evaluation metric. The statistics of MELD are shown in Table 1.

## 4.2 Experimental Settings

The feature extractor used is RoBERTa-large[11] The model is trained for 10 epochs, batch-size is set to be 8 , and the learning rate is set at $1 \mathrm{e}-6$. The model with the highest weighted F1 on the validation set is selected for evaluation. The past context is set to be 3 utterances and the number of GCN layers is set to be 2 . The size of hidden features is 1024. Also, we report the average score of 3 random runs on the test set.

## 5 Results and Analysis

Compared Methods We compare our proposed model with several baselines and previous works. The overall results are reported in Table 2.

First, we compare our model to the baseline RoBERTa models. In RoBERTa (no context), the utterance alone is used as input to the pretrained RoBERTa model. In RoBERTa (w/ modified input), we uses inputs as given by Equation 1. Our proposed method performs significantly better than both RoBERTa baselines. This shows the advantage of the graph encoding mechanism.

Next, we compare our model with other GNN-based models: $D A G-E R C, D i a l o g G C N$ and RGAT. For fair comparison, we use the models which use RoBERTa as the feature extractor. The authors of DAG-ERC re-implement DialogGCN and RGAT using RoBERTa as feature extractor, we use the scores reported by the DAG-ERC paper. Our model outperforms all these models, proving the advantage of using explicit speaker nodes to model conversations.

Finally, we compare our results with the state-of-the-art

Table 2 Comparison with other models.

Table 3 Impact of speaker modeling.

model, EmoBERTa. Our model achieves comparable performance with EmoBERTa. However, EmoBERTa uses both past and future utterances as context, whereas we only use the past utterances as context.Under the condition that the past utterances are allowed, the proposed model outperforms EmoBERTa (w/o future context).

Impact of speaker modeling To investigate the impact of the speaker modeling on the performance, we evaluate our model by removing speaker nodes and by randomly initializing speaker nodes. The results are shown in Table 3. Removing speaker nodes reduces the performance significantly, which confirms our hypothesis that, modelling speaker states is important. Whereas randomly initializing speaker nodes results in a performance which is comparable to using utterance nodes only.

## 6 Conclusion

We proposed a novel idea of modeling speaker states explicitly using a graph for emotion recognition in conversation (ERC). Experiments showed that our model achieves comparable results with the state-of-the-art model and outperforms other graph-based models. In addition, empirical results illustrated the effectiveness of explicit speaker modeling.

## References

[1] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

[2] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. SemEval-2019 task 3: EmoContext contextual emotion detection in text. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 39-48, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[3] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed acyclic graph network for conversational emotion recognition. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1551-1560, Online, August 2021. Association for Computational Linguistics.

[4] Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, and Alexander Gelbukh. DialogueGCN: A graph convolutional neural network for emotion recognition in conversation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 154-164, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Taichi Ishiwatari, Yuki Yasuda, Taro Miyazaki, and Jun Goto. Relation-aware graph attention networks with relational position encodings for emotion recognition in conversations. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7360-7370, Online, November 2020. Association for Computational Linguistics.

[6] Taewoon Kim and Piek Vossen. Emoberta: Speaker-aware emotion recognition in conversation with roberta, 2021.

[7] Dong Zhang, Liangqing Wu, Changlong Sun, Shoushan Li, Qiaoming Zhu, and Guodong Zhou. Modeling both context- and speaker-sensitive dependence for emotion detection in multi-speaker conversations. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5415-5421. International Joint Conferences on Artificial Intelligence Organization, 72019

[8] Jingwen Hu, Yuchen Liu, Jinming Zhao, and Qin Jin. Mmgen: Multimodal fusion via deep graph convolution network for emotion recognition in conversation, 2021.

[9] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.

[10] Soujanya Poria, Navonil Majumder, Rada Mihalcea, and
Eduard Hovy. Emotion recognition in conversation: Research challenges, datasets, and recent advances, 2019.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks, 2017.


# 対話での共通基盤構築過程における名付けの分析

齋藤結 1 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学 2 日本電信電話株式会社
s1810274@edu.cc.uec.ac.jp
\{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する 共通基盤の構築は重要な課題とされてきたが，その 構築過程を分析した研究は少ない. 共通基盤の構築過程が記録されたコーパスを調査したところ，図形配置課題に関する図形オブジェクトへの「名付け」 が多く見られており，この名付けが共通基盤の構築 に重要である可能性がある。本研究では，共通基盤構築過程が記録されたコーパスに対する名付けのア ノテーション仕様の作成，および，一定規模のデー タに対するアノテーションを実施した. その結果, オブジェクトについての知識を利用する名付けが 多く出現したことや課題で使用するオブジェクト ごとに使用する名付けの種類が変化することがわ かった。

## 1 はじめに

対話において話者が相互理解を行うためには，話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2]$. 対話における共通基盤をモ デル化することを目的とし，課題が達成されるまで の過程とその対話を大量に集めモデルを構築する研究が報告されている $[3,4]$. 例えば宇田川ら [3] は，初期状態が互いに異なる複数の点の中から共通す る点を選ぶタスクを設計し，対話履歴とタスクの結果を収集した. さらに収集したデータセットに対し て，指示語と指示内容を結びつけるアノテーション を実施した [5]. また光田ら [4] は，宇田川らが設計 したタスクを参考に初期位置が互いに異なる複数の 図形を対話を通して同じ配置にする実験を設計し，課題を達成するまでの対話内容とそれに対応する図形配置が定量的に記録されたデータを収集した.

図 1 に先行研究 [4] で収集された対話例を示す.話者 B が発話 $U_{2}$ で円を「自動車の車輪」と名付け

 & \\

図 1 名付けを通して共通基盤構築が進む対話の例 (数字 は発話 ID，A，B は話者を表し，作業画面はそれぞれの話者が見ているものを示している。)

たことで話者 $\mathrm{A}$ は発話 $\mathrm{U}_{3}$ で「トラック」をイメー ジし話している。それに対して話者 $B$ は発話 $\mathrm{U}_{4}$ で 四角形を「トラックの運転席」と「荷台の部分」と 名付けることでどの位置にどの図形を配置するかの 方針が相手にも伝わっている。このようにオブジェ クトに対して「トラック」のような名付けをするこ とで，目標を決定したり，オブジェクトの操作を指示したりしていると考えられる。.このような名付け は共通基盤の構築において重要な役割を持っている 可能性がある.

本稿では，名付けに着目して共通基盤の構築過程 を明らかにすることを目指し，先行研究 [4] で収集 されたデータセット（共同図形配置コーパスと呼 ぶ）に対して名付けのアノテーションを行う仕様を 作成し，実際にアノテーションを行った結果とその 予備的な分析について報告する。

## 2 共同図形配置コーパス

図 2 亿，本研究で名付けの対象として利用する共同図形配置コーパスの作業用ツールについて示し, その概要を述べる.

本コーパスでは作業者 2 名がペアとなり，ツール を通じて図形の配置と対話を行う．各作業者の画面 には，同数の図形が異なる図形配置で表示される。作業者は相手と対話をしながらマウスを使用して図形を動かし，2 名で同じ図形配置を作る.このとき 各作業者は相手の図形配置を見ることはできない.図形の数は 5 個または 7 個，種類は重複あり，大き さはランダムである. 図形の回転，縮小拡大，削除 はできず移動のみが可能である．相手と同じ図形配置を作成すればこの作業は成功となる [4].

図 3 にこの作業で利用される図形を示す. 1つ目 が上部に示す三角や四角などの単純図形で，2つ目 が下部に示す建物などの前提知識を利用できる建物図形である. それぞれ 10 種類存在する. 共同図形配置コーパスには単純図形を用いた対話が 489 対話，建物図形を用いた対話が 495 対話が含まれ，合計 984 対話である.

## 3 名付けのアノテーション仕様

本節ではまず，本研究のアノテーション対象とな る「名付け」と「参照」を定義する. 次に，予備分析の結果，名付けのアノテーションは 2 種類の情報 （図形個個数・配置に関する分類，および，名付けの 名称に関する分類）に分けられることがわかったた め，その詳細について述べる。 トライアルアノテー ションと仕様の改善を繰り返し行うことで本仕様を 作成した.

## 3.1 「名付け」と「参照」の定義

本研究では「名付け」を以下のように定義する。

名付け 単純図形または建物図形 1 つまたは複数個 と何らかの名前を結びつけること

また，一度名付けた名前を再利用したり，名付けた 名前を新たに名付けしたりすることもある。 それら の行為は「参照」とし，以下のように定義する。

参照 同一の図形に関連づいている名前を使用する こと

共同図形配置コーパス中の名付けを予備分析で分析したところ 2 つの分類に分けられることがわかっ

図 2 共同図形配置コーパスで利用されている作業用ツー ルの画面（片方の作業者に提示される画面）

図 3 共同図形配置コーパスで利用されている単純図形 (上部)，および，建物図形（下部）

た. 1 種類目は「個数・配置に関する分類」である.名付け対象の図形の数と名付けを発話した時点での 名付け対象の図形の配置状態でラベル付けを行う. これに注目した理由は，名付けと関連づいている図形の数や図形の配置状態に違いがあることがわかっ たからである．また，図形の数によって名付けの質 も変わり、最終的なゴールに対しての名付けは対話 の方向性やタスクの達成の成否に関わり共通基盤の 形成に大きくかかわるのではないかと考えたからで ある。

2 種類目は「名称に関する分類」である。これに 注目した理由は名付けた名前の分類が名付けが対象 とする図形種などにより変化すると考えたからであ る. 以降，各々について説明する。

## 3.2 個数・配置に関する分類

表 1 の上部に，個数・配置に関する分類の体系を 示す. 名付けの対象となる図形の数と, その図形配置が今あるものかを表す. 図形の個数は 1 つか複数個か，名付けを発話した時点で名付けの対象となる 図形の配置がすでにあるかどうかで分けた．分類の 数は 3 種類のラベルとし, 1 つの名付けにつき 1 つ のラベルを付与する. 図形/建物 1 つの例を図 4 , 図形/建物複数・目標の例を図 5 , 図形建物複数・その 他の例を図 6 に示す.

## 3.3 名称に関する分類

表 1 下部に名称に関する分類の体系を示す. 名称 に付与される名付けのラベルを 15 種類に分類した.予備分析の結果, 修飾語が含まれている名付けが多数存在したので，修飾語についてのラベルと，名詞 についてのラベルを用意した. 1 つの名付けに対し て 2 種類の情報がマルチラベルで付与される.

## 4 アノテーションの実施と分析

## 4.1 アノテーションの実施

外部のアノテータ 6 名に依頼しアノテーションを 行った. 最初にツールの使い方とアノテーションの 仕方に慣れてもらうために，作業の練習を行った.公園は坁役所のとなりじやないです か?

図 4 図形/建物 1 つの例，名付けの対象が 1 つの図形で ある.

図 5 図形/建物複数・目標の例.「ランプ」の対象は「円」 と「台形」であり，この発話時点で「ランプ」は配置され ていない.

図 6 図形/建物の複数・その他の例,「蛇口みたいな形」 は図形全てが対象であり，この発話時点で「蛇口みたい な形」が配置されている。

図 7 名付けをアノテーションした例. 矩形は名付けを表 し，エッジは参照を表す。

アノテーションはbrat[6] を用いて実施した，bratで アノテーションを行った例を図 7 に示す.

アノテーション作業では，作業者を 2 グループに 分けて作業を実施した. 1 グループ目では， 2 人の アノテータが同じ 20 対話にアノテーションを行っ た. 2 グループ目では，残りのアノテータ 4 人が分担して重なりのない 160 対話にアノテーションを 行った. 前述のアノテーションの結果，単純図形の 対話が 89 対話，建物図形の対話が 91 対話の計 180 対話となった。
表 2 一致率および $\kappa$ 值（個数・配置のみは計算可能なも ののみが対象）

## 4.2 アノテーター致率

表 2 に 2 人のアノテータのアノテーションについ て，名付けスパンの一致率と名称に関する分類のみ の $\kappa$ 値，個数・配置に関する分類のみの $\kappa$ 値，2つ を組み合わせた $\kappa$ 値と参照の一致率の 5 つを示す. この表から，高い一致率でアノテーションができて おり，仕様の妥当性が確認できた。

## 4.3 アノテーション結果の分析

各名付けの頻度について調査し，全体的な各名付 けの傾向について述べる. アノテーションされた 180 対話には，名付けの数が 3476 個， 1 対話の平均数が約 19 個，異なり名付けの数が 1213 個， 1 対話 につき約 8 個存在した. 異なり名付けの総数が名付 けの数の半分以下であることから，対話の中で多く の共通の名付けが出現していることがわかる. 名称 に関する分類で「登録名」にラベル付けされたもの を除いて，上位 5 つを調査した結果，単純図形では，頭 : 19 回，家：18 回，直角三角形 : 14 回，それ: 14 回, これ: 13 回, また, 建物図形では, BAR: 31 回,街 : 30 回，ビル群：16 回，交番：16 回. 警察署：16 回出現した. この結果から, 建物図形で頻出の名付 けの回数が単純図形の名付けの回数よりも多いこ とがわかる. 建物図形の名付けは建物名の名付けが 多いが，単純図形はイメージしやすい体に関する多様な名前が利用されている。また指示語である「そ れ」が比較的多く使用されており，お互いの画面が 見えない状況下でも, 指示語が発話される傾向が確認された。

個数・配置に関する分類の出現回数ついても述べ ると, 図形/建物 1 つが 2366 個, 図形/建物複数・目標が 167 個，図形/建物複数・その他が 943 個となっ た. 図形/建物複数・目標は 1 対話に 2 回以上出現し ない傾向がある. 図形建物 1 つでは，BAR，交番，街, 図形/建物複数・目標では, 街, 顔, 家, 図形/建物複数・その他では，それ，手，街となった。これ らの結果から図形/建物複数・目標は他の 2 つのラべ ルと役割が違うことがわかる. 特に図形建物複数・

図 8 上：名付けの出現回数を時系列で示した図,下：図形建物複数・目標の出現回数を時系列で示した図

目標の名付けは構成要素を多く含む名付けが多い. これより図形/建物複数・目標の名付けの仕方で図形/建物 1 つと図形/建物複数・その他の名付けの仕方が変化すると考えられるので図形建物複数・目標 の名付けは重要な要素と考えられる。

図 8 上部に各ターンにおける名付けの出現回数,下部に各ターンにおける図形/建物複数・目標の出現回数を示す。まず上部から，対話の前半での名付け の回数が多いことがわかる. すなわち，対話の前半 で名付けを多く行って共通基盤を構築し，対話の後半では構築した共通基盤を利用して対話を進めてい ると考えられる。次の 2 つのグラフを見比べると，目標設定は対話の早い段階で行われていることがわ かる。このことから，名付けを通して最初に目標設定を行うことで共通基盤の構築を効率的に進めてい る可能性が考えられる。

## 5 おわりに

本稿では，名付けに着目して共通基盤構築の過程 を明らかにするため, 名付けのアノテーション仕様 の作成，アノテーションの実施，予備的な分析を 行った結果について述べた. アノテーションの仕様 が妥当であること，分析の結果対話の中で多くの共通する名付けが出現することや名付けに用いた図形 によって出現頻度が高い名付けが異なること，目標 を決める名付けは他の名付けとは違う役割を持つこ とがわかった．今後は収集したデータを用いて有効 な名付けの仕方や対話中でどのタイミングにどうい う名付けがされやすいかなどの分析をさらに進めて いきたい.

## 参考文献

[1] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[2] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[3] Takuma Udagawa and Akiko Aizawa. A natural language corpus of common grounding under continuous and partially-observable context. In Proc. of AAAI, pp. 71207127, 2019.

[4] 光田航, 東中竜一郎, 大賀悠平, 杵渕哲也. 共同図形配置課題における対話の共通基盤構築過程の分析. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), pp. 1697-1701, 2021.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proc. of EACL, pp. 102-107, 2012.


# Prompt-Tuning による個性を持った対話システムの構築

笠原智仁 河原大輔
早稲田大学理工学術院
\{tomo_k@ruri., dkw@\}waseda.jp

## 概要

一貫した発話をしない対話システムは魅力的では ない。本研究では、対話システムに一貫性を持たせ るため、与えられたキャラクター設定 (ペルソナ)を 考慮した応答を行うことが可能な雑談対話システム の構築に取り組む。言語モデルの大規模化が進む動向を踏まえ、学習コストの低い Prompt-Tuningを事前学習済みの大規模言語モデルに施すことによるア プローチを提案する。Fine-Tuning と比較して、学習 にかかる時間と計算資源量を抑えた上で、より自然 で個性を持つ応答が可能な対話システムが構築でき ることを自動評価と人手評価によって示した。

## 1 はじめに

ニューラルネットワークモデルを用いた生成ベー スの対話システムでは、様々な話者の発話から成る 大規模な対話コーパスをモデルの学習に用いる。そ のため、学習したモデルが生成する発話において一貫性に欠けることが多いという久点がある [1]。例 えば「私は東京出身です。」と発話した後に、「私は 京都出身です。」等といった一貫性のない発話をす る可能性がある。

本研究ではこのような一貫性に欠けた発話を減ら すことを目的とし、ペルソナをモデルに与え、それ を基に応答を行うことができる対話システムの実現 を目指す。モデルにペルソナを与える単純な手法と して、モデルへの入力にペルソナを自然言語で付加 する方法 [2] が考えられる。しかし、この手法では ペルソナ情報が増えれば増えるほど入力文が長く なるため、入力方法として適しているとは考えられ ない。そこで、入力トークン列の前に固定長の新た なトークン列を付加し、そこにペルソナ情報を埋め 込む手法を提案する。具体的には、ペルソナを基に 発話がなされたデータセットを用いて、付加される トークン列の埋め込みべクトルのみを学習によって 最適化する。自動評価と人手評価により、ペルソナを活かした 自然な応答ができる対話システムの構築が本手法 によって可能であることを示す。本手法では事前学習済みモデルのパラメータ更新を行わないため、学習に要する時間と計算資源の削減が可能である。ま た、数百個の対話ぺアからなる小規模なデータセッ 卜を用いたとしても、個性を持った対話システムの 構築が可能であることを示す。本手法は対話システ ムに個性を持たせること以外にも、感情ごとにトー クンを用意することで対話システムに感情に応じた 応答をさせること等にも応用が可能である。

## 2 関連研究

## 2.1 Prompt-Tuning

BERT [3] などの事前学習済みモデルの登場に より、事前学習したモデルを Fine-Tuning すること によって目的タスクに適応させる手法が主流と なった。しかし、モデルの大規模化が進む現在、 Fine-Tuning のコストの増大と事前学習済みモデルが 持つ知識の増大により、パラメータを更新せずにタ スクに適応させる手法が注目を浴びている。

Brown ら [4] は手作業でタスクの説明といくつか の例 (まとめて Prompt と呼ぶ)を作成することでタ スクを解くZero/Few-Shot Learningを提案した。これ らの改良についての研究 $[5,6]$ があるが、Fine-Tuning と比較すると精度は悪い。

自動的に Prompt を最適化する Prompt-Tuning と呼 ばれる手法には、離散的な語彙の中から最適な単語 を選択する手法 [7] と、連続的な埋め込みべクトル を用意してそれを最適化する手法 $[8,9,10,11,12]$ が存在する。Prefix-Tuning $[9,10]$ は入力の先頭に Prefix-Token と呼ばれるトークン列を追加して、こ のトークンの埋め込みベクトルのみを最適化する。画像と自然言語のマルチモーダルな Prompt-Tuning に関する研究 [13] もなされている。

なお、Liu ら [14]によって Prompt 関連の研究がま

とめられ、ウェブ上に公開されている1)。

## 2.2 対話システムの個性

対話システムがより自然な対話を人間と行うため には、一貫した個性を持つこと、知識を持つこと、感情を持ち対話相手に共感すること、の 3 つの観点 からの改善が必要であると Roller ら [15] は述べてい る。本研究ではこの 3 つの観点の中でも、個性に注目する。

Persona-Chat Dataset [2] は対話システムに個性を 持たせることを目指して作成されたデータセット である。キャラクター設定が記されたペルソナ文を 約 5 文ずつ与えられた 2 人のクラウドワーカー同士のマルチターンの対話で構成されている。ペルソ ナ文には、実際にワーカーが対話を行う際に使用し た Original と、それを言い換えた Revised の 2 種類 が存在する。Persona-Chat Dataset の日本語版である JPersonaChat Dataset [16] も存在する。発話者のペル ソナ情報が含まれる対話コーパスには、Redditから 対話データを抽出することで作成されたもの [17] や、PersonalDialog [18] などがある。Zheng ら [18] は PersonalDialog を用いて、エンコードしたペルソナ 情報を入力に付加してから Seq2Seq モデルに入力す る手法を提案している。

## 3 提案手法

## 3.1 提案モデル

Transformer のアーキテクチャを用いた事前学習済 み言語モデルに、ペルソナ情報を埋め込むトーク ン用の Embedding 層を追加したモデルを提案する。以降、このトークンを Persona Info Token と呼ぶ。提案モデルのアーキテクチャと入出力関係を図 1 に 示す。

## 3.2 データセット

日常生活における会話は必ずしも個人の情報と 関連したものばかりではない [19]。そこで、ペルソ ナと無関係な発話もモデルが行えるようにするこ とを目的とし、1 種類のペルソナを基に発話が行わ れた対話データセットと、ペルソナと無関係な対話 データセットの 2 種類を混ぜたデータセットを用意 する。

図 1 提案モデルのアーキテクチャと入出力関係

## 3.3 学習方法

Persona Info Token を新たに追加した Embedding 層 によって、発話と応答のぺア (生成時は発話と生成 が完了したところまでの生成文)を事前学習済み言語モデルの Embedding 層によってそれぞれ埋め込 む。これらの埋め込みベクトルは結合してからモデ ルに入力される。学習時、モデルからの出力の応答文にあたる部分で Cross Entropy Loss を計算し、新 たに追加した Embedding 層のパラメータのみを更新 する。

## 4 実験

3 節の手法に基づいて、個性を持った対話システ ムを構築する。システムの構築には Hugging Face の Transformers を使用し、計算資源には AI 橋渡しク ラウドを利用した。使用した GPU は NVIDIA A100 SXM4 であり、搭載されているGPUメモリサイズ は40GBである。

## 4.1 データセットの作成

実験には Persona-Chat Dataset と DailyDialog [20]の 2 種類のデータセットを用いる。

## 4.1.1 学習用データセット

まず、Persona-Chat Dataset の複数ターンの対話を 1 往復の 2 発話ずつに分割する。この 2 発話のペア を以降は対話ペアと呼ぶ。対話ペアの応答側のワー カーに与えられていたペルソナ種類ごとに対話ぺ アを集計する。なお、Persona-Chat Dataset には 1,155 種類のペルソナが存在するが、本実験では集められ た対話ぺア数の多い上位 3 種類のペルソナのみを用 いる。この 3 種類のペルソナを基に発話が行われた 対話ぺア数はそれぞれ 185,167, 166 である。実験で は 1 つの実験設定につき、 3 種類のペルソナに対応 した 3 つのモデルを学習して評価を行う。集計した 対話ぺアを学習用と評価用に 9:1 の割合で分割する。 ペルソナとは無関係な一般的対話ペアとして、

DailyDialog の中でも、挨拶などの一般的な発話が多 い、Topic ${ }^{2}$ が Relationship の対話ぺアを用いる。そ の中から、発話と応答の両方の長さが 50 文字以下 の対話ぺアを一定の比率で学習用データセットに混 ぜる。このような条件を設けた理由は、Persona-Chat Dataset には長さが短い発話やペルソナとは無関係 な発話が少ないため、短くて一般的な発話をデータ セットに取り入れるためである。DailyDialog から学習用データセットに追加する対話ペアの比率につい ては、Persona-Chat Dataset から取得した対話ペア数 に対する比率が 1:0、1:1、1:5 となるような 3 種類の 加え方を用意する。以降、この比率を学習用データ セットの比率と呼ぶ。

## 4.1.2 評価用データセット

評価用データセットは Persona Eval Dataset と General Eval Dataset の 2 種類を用意した。Persona Eval Dataset は4.1.1 節で述べた 9:1 に分割したうち の 1 割のデータセットである。General Eval Dataset は DailyDialog から 4.1.1 節と同様の条件で取得した 50 個の対話ペアからなる。

## 4.2 実験設定

4.1 節のデータセットを用いて、GPT 系の事前学習済み言語モデルの Fine-Tuning と Prompt-Tuning を 行う。モデルのサイズは GPT2-XL と GPT-J-6B の 2 種類とする。なお、GPT-J-6B の Fine-Tuning は GPU メモリサイズの都合上、実験は行っていない。

Prompt-Tuning のハイパーパラメータについては Lester ら [10] の設定にならう。Persona Info Token の 長さについては予備実験を実施し、100と 200 で比較したところ、200 の方がより多様性のある生成を 行うことができた。そのため、本実験では 200 と する。Persona Info Token 用 Embedding 層の初期化に は、Original のペルソナ文を並べた文章を事前学習済み言語モデルの Embedding 層によって埋め込んだ ベクトルを用いる。その文章のトークン数が 200 に 満たない場合には、長さが 200 になるまでペルソナ 文を繰り返し並べる。応答文の生成の戦略は Greedy Searchを採用している。Epoch 数は学習時の loss が 収束するような値に設定した。

Fine-Tuning は対話ぺアのみを入力する方法と対話 ペアの発話の前にペルソナ文を付加してからモデル

2）対話ごとに Topic が付与されており、Attitude \& Emotion, Culture \& Education, Finance, Health, Ordinary Life, Politics, Relationship, School Life, Tourism, Work の 10 種類がある。表 1 Distinct による自動評価. 付加の有無はペルソナ文を 入力文に付加しているかどうかを示す。

 & 0.595 \\

に入れる方法の 2 種類を実験した。

## 4.3 実験結果

学習用データセットを用いて学習を行ったモデル に、Persona Eval Dataset と General Eval Dataset の対話ペアの発話を入力する。モデルから生成された応答に対して、多様性を自動評価し、発話に対する応答として自然でペルソナを活かしているかどうか を人手評価する。なお、結果が最も良かった学習用 データセットの比率が 1:1 の設定における結果のみ を本節に載せ、その他の比率の結果については付録 に載せる。

## 4.3.1 自動評価

生成された文の多様性を Distinct [21] によって評価する。Distinct-1 と Distinct-2 の値を表 1 に示す。 なお、評価の値は 3 種類のペルソナに対応するそれ ぞれのモデルからの Persona Eval Dataset と General Eval Dataset の生成結果全ての平均をとっている。結果から、GPT-J-6B を Prompt-Tuning したモデルが 最も多様性のある生成を行うことが分かる。また、 Zhang ら [2] の実験結果と同様に、Fine-Tuning にお いては入力にペルソナ文を付加しない方が良い結果 となることが分かる。

## 4.3.2 人手評価

Amazon Mechanical Turk を利用し、生成文が発話 に対する応答として自然で、ペルソナ設定に沿って いるかどうかを人手評価する。Zhang ら [2] の手法 にならい、応答が文法的に正しいか、魅力的である か、発話に関連しているか、ペルソナを考慮してい るか、の 4 項目を 5 段階評価する。 1 つの応答につ き 5 人のワーカーに回答してもらい、平均を取る。 Persona Eval Dataset と General Eval Dataset の人手評価結果をまとめて表 2 に示す。Human のスコアは Zhang ら [2] の結果を引用する。なお、Fine-Tuning において、入力にペルソナ文を付加した場合の自動評価結果が、付加しない場合と比較して悪かったた
表 2 人手評価

表 3 応答の生成例

 \\

表 4 応答生成例で用いたペルソナ ペルソナ文

i am a retired gym teacher.

i volunteer at a soup kitchen.

i was poor growing up. cheeseburgers are my favorite food. i like watching war documentaries.

め、付加しない場合の人手評価のみを行った。

表 2 から、Persona Eval Dataset を用いた人手評価結果では、すべての項目において GPT-J-6Bを Prompt-Tuning をしたモデルの評価が高いことが分 かる。これは、モデルサイズが大きいほど事前学習 でモデルに蓄えた知識が多く、その知識を生かして より自然な応答が行えたためと考えられる。流暢 さ、魅力度、関連性については Human スコアに近 い値を出すことが出来ている。General Eval Dataset を用いた人手評価では、そこまで大きな差が生まれ なかった。これは、General Eval Dataset に含まれる 発話には挨拶などの一般的で短いものが多いため、応答も短い簡単な文になったためであると考えら れる。

GPUメモリサイズを固定した上で、学習可能な 最大サイズのモデル同士で Fine-Tuning と PromptTuning を比較すると、Prompt-Tuning の方がより個性的で自然な応答を行うことのできる対話システムを構築可能であると言える。

最も人手評価の合計スコアが高かった設定であ る、GPT-J-6B を Prompt-Tuning によって学習したモ デルからの生成例を表 3 に示す。なお、生成例は表 4 に示すペルソナのデータセットを用いて学習を 行ったモデルからの生成である。数百ペアの小規模学習データセットを用いた学習により、表 3 のよう な自然で一貫した個性を持つ応答を行えることが分 かる。

## 5 おわりに

本論文では、 1 種類のペルソナを基に発話が行 われた対話データとペルソナとは無関係な対話 データの 2つを用いて、事前学習済み言語モデルを Prompt-Tuning する手法を提案した。Fine-Tuning と 比較して、学習にかかる時間と計算資源量を抑えた 上で、より自然でペルソナに沿う応答が可能な対話 システムの構築ができたことを自動評価と人手評価 によって確認した。本実験では数百個の対話ぺアか らなる小規模なデータセットを用いたが、よりサイ ズの大きなモデルとデータセットを用いることで更 なる精度向上が見込まれると考えられる。また、本手法は対話システムに個性を持たせることに限ら ず、 1 種類の感情を基に発話が行われた対話データ を用いることで、その感情を持つ対話システムを構築する等にも応用が可能である。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Laria Reynolds and Kyle McDonell. Prompt programming for large language models: Beyond the few-shot paradigm. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-7, 2021.

[6] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1269712706. PMLR, 18-24 Jul 2021.

[7] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[8] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5203-5212, Online, June 2021. Association for Computational Linguistics.

[9] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4582-4597, Online,
August 2021. Association for Computational Linguistics.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too. CoRR, Vol. abs/2103.10385, , 2021.

[12] Tu Vu, Brian Lester, Noah Constant, Rami Al-Rfou, and Daniel Cer. Spot: Better frozen model adaptation through soft prompt transfer. CoRR, Vol. abs/2110.07904, , 2021.

[13] Maria Tsimpoukelli, Jacob Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Processing Systems, Vol. 34, , 2021.

[14] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. CoRR, Vol. abs/2107.13586, , 2021.

[15] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[16] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformerbased japanese chit-chat systems, 2021.

[17] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[18] Yinhe Zheng, Guanyi Chen, Minlie Huang, Song Liu, and Xuan Zhu. Personalized dialogue generation with diversified traits. CoRR, Vol. abs/1901.09672, , 2019.

[19] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training persona-based dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 様々な学習用データセットの比率における評価結果

学習用データセットの比率が 1:0、1:1、1:5 のときの評価結果を載せる。

## A. 1 自動評価

表 5 に Distinct による自動評価結果を示す。太字は同 Ratio 内の最高値で、赤字は Ratio 間をまたいだ最高値である。DailyDialog から取得した対話ぺアの比率が高いほど学習用データセットが大きくなるため、 Distinct のスコアも高くなる傾向にある。また、同サイズの学習用データにおいて学習手法とモデルを比較す ると、GPT-J-6B を Prompt-Tuning したモデルが最も多様性のある生成を行うことが可能であることが分かる。

表 5 Distinct による自動評価. 全ての学習用データセットの比率の結果を載せる。

 &  \\

## A. 2 人手評価

人手評価結果を表 6 に示す。

表 6 Persona Eval Dataset の人手評価. 全ての学習用データセットの比率の結果を載せる。


# 遠隔操作アンドロイドを用いた マルチモーダル説得対話コーパスの収集と分析

有岡無敵 ${ }^{1,2}$ 山本賢太 $^{3}$ 井上昂治 ${ }^{3}$ 河原達也 ${ }^{3}$ 中村哲 ${ }^{1}$ 吉野幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学先端科学技術研究科
2 理化学研究所ガーディアンロボットプロジェクト
3 京都大学大学院情報学研究科
koichiro.yoshino at riken.jp

## 概要

対話を通じてユーザに行動変容を促す説得対話 システムについての研究を行うため、マルチモーダ ル情報を含む説得対話コーパスの収録を行った。具体的には、WoZ 法で遠隔操作されたアンドロイド を用いて、ユーザに対してシステムとの対話（ター ンテイキング）を意識させつつ、音声と顔画像から 得られる特徴量を含む説得対話コーパスを収集し た。収集した音声は書き起こし、対話行為タグの付与を行った。収集したコーパスと合わせて前後にア ンケートを行い、各被験者の性格、説得対象ドメイ ンへの意識、説得前後での意識の変化、対話上で説得に応じたかなどのラベル付けを行った。また、各被験者に対して追跡調査を行い、実際に説得によっ て行動変容が生じたかについても調査した。

## 1 はじめに

対話システムのような言語インタフェースを備え るシステムの多くは、何らかの目的を持って構築さ れる。この目的は、ユーザが要求する情報の検索 [1] や具体的な支援の呼び出し [2] など様々だが、そう した目的の一つにユーザの行動変容が挙げられる。行動変容システムとはユーザの行動や目標の変更を 介入によって促すもので、特に自然言語による対話 を用いて行動変容を促すシステムを説得対話システ ムと定義することができる $[3,4]$ 。説得対話システ ムは、対話を通じて人の行動や目標を、あらかじめ 設定されたシステムの目的に合わせて変容させるも ので、例えば生活習慣の改善 [5] や、社会問題に対 する取り組み [6] などの観点から注目されている。

これまで行われてきた説得対話研究の多くは、対話における言語的な側面、特に対話行為や語彙の選択に着目してきた $[4,7,6,8,9]$ 。しかし実際には、我々は対話の上で表現される多様なモダリティ上の 現象に影響を受けており、これらの関係にも着目す る必要がある。例えば信頼した人からの説得には応 じやすいなど、対話における信頼度・親密度は説得 の成功とも相関があるが、こうした信頼度・親密度 はマルチモーダル情報に着目することである程度明 らかにすることができる [10]。また、ユーザの感情状態 [11] や、嘘をついているかどうか [8] などの情報も、マルチモーダル情報から取得し、説得対話に 活用することができる。

そこで本研究では、説得対話における非言語情報 の活用を指向して、遠隔操作アンドロイドを用い た WoZ 対話によってマルチモーダル説得対話コー パスの収集を行った。具体的には、先行研究 $[5,6]$ に従って「運動の促し」「インターネット依存の改善」「募金の促し」という 3 通りの説得ドメインを 定義し、各ドメイン 20 話者ずつとの音声対話を収録した。この際、被験者と相対するシステムとして 人型アンドロイド ERICA[12]を用い、遠隔操作 [13] による WoZ 対話を行った。対話中の被験者からは、音声および正面顔画像から得られる特徵量（Action Unit; AU）を収録した。収録した音声は書き起こし を行い、分析に利用した。書き起こしたコーパスに 対して、拡張 ISO-24617-2 対話行為タグ [14] に基づ いて対話行為タグの付与を行った。また、被験者の 属性や性格 [15]、説得を受けてどう感じたか、対話上で説得に応じたか、実際に説得された通りの行動 を取ったかなどについてのラベルを付与した。さら に、対話収録後に追跡調査を行い、実際に行動変容 が引き起こされたかどうかについてもラベルを付与 した。このデータを用い、説得の成否判定や説得に 有効な要素についての分析を行った。

## 2 説得対話の収録

説得対話システムは、説得者をシステム、被説得者をユーザとし、システムが持つ対話目標の状態へ ユーザを誘導する。対話はユーザが説得に合意す る、あるいはユーザが説得に合意しないまま一定時間（または一定ターン）経過することで終了する。今回の収録では、対話時間は最低 5 分から最大 8 分程度と設定し、以下のような設定で収録を行った。

## 2.1 説得対象ドメイン

今回、「運動の促し（運動）」「インターネット依存の改善 (ネット)」、慈善事業団体への募金の促 し (慈善事業)」を目的とする説得対話を収録した。運動および慈善事業は先行研究 $[6,5]$ で存在する説得目標で、このうち慈善事業に関しては米国で行わ れた研究であるため、日米の慈善事業に対する意識 の違いから異なる結果が出る可能性があった。そこ で、今回集められた被験者に対応しそうなインター ネット依存の改善の説得目標を新たに追加した。

## 2.2 被験者への教示

被験者は、人型アンドロイド ERICA の対話実験 として集められた 18 歳から 38 歳までの男女 60 名 （男性 43 名、女性 17 名）である。正しく収録できた のが 58 セッション（男性 41 名、女性 17 名）であっ た。被験者には今回の対話の目的が説得であるこ と、WoZ 対話であることは伏せ、ERICA で開発され た新しいシステムと対話をして貪うという目的で集 まって貪った。対話の際の教示としては、ERICA と 対話のターンの受け渡しを意識し、発話が被らない ようにすることを注意して革った。収録にあたって は、理化学研究所の倫理審査結果に従い、音声と顔画像の特徴量が収録されること、アンケートによっ て性格などの情報が収集されることについての説明 を行い同意を得た。また、今回の運動、ネット、慈善事業のいずれかに興味を持つ者をあらかじめスク リーニングして被験者とした。被験者には後に説明 する追跡調査終了後に謝金を支払った。

## 2.3 演者への教示

今回は人型アンドロイド ERICAを演者が遠隔操作で操作した。演者は 2 名で、過去に ERICA の操作経験がある演技経験者から選抜した。演者には被験者へ行った教示に加えて、説得対話を行う際の技術や流れについても説明した。

説得対話を行う際、以下のような戦略が有効であ ることが知られている [6]。これらの戦略を効果的 に利用するようあらかじめ演者に教示を行った。

1. 論理的な説得: 説得に応じた場合のメリット、説得に応じなかった場合のデメリットを具体的 に説明する。

2. 感情への訴えかけ: 共感、罪悪感、怒りなど被験者の感情に訴えかける。

3. 信頼性のアピール: 科学的エビデンスや機関・権威などの信頼性をアピールする。

4. 簡単な内容での説得: 簡単な要求から説得を開始し、徐々に難易度を高くする。

5. 個人の経験の開示: 説得に応じることに対する 個人のポジティブな経験について語る。

6. 具体的な情報提供: 詳細な行動についての指示 を行い、どのように説得に応じるか具体的にイ メージさせる。

7. 説得目標を認知しているかどうかの質問: 説得対象となる問題を認知しているか尋ねる。

8. 説得目標に関する質問: 説得対象について知 りたいことなど、被説得者の意見や期待を尋 ねる。

9. 被説得者に関する質問: 説得対象について、被説得者の個人的な経験を尋ねる。

演者には、以下のような流れで対話を進めるよう に指示をした。

1. お互いに挨拶をする

2. 会話のテーマ (運動、ネット、または慈善事業) を提示する

3. 会話のテーマに対する被験者の意識を尋ねる (戦略 7)

4. 相手の反応に応じて説得を進める
5. 5 分経過後会話の流れに応じて説得を終了する

演者には演じて貪った対話数に応じて謝金を支払 い、対話上説得が成功したと判定された対話の数に 応じて追加の謝金を支払う旨を伝えた。

## 2.4 収録環境

収録環境を図 1 に示す。被験者の音声と演者の音声は説話マイク1)を用いてステレオで録音した。顔画像は Web カメラ゙2) で正面から撮影し、OpenFace ${ }^{3)}$

図 1 収録環境

で Action Unit (AU)を抽出した。ERICA は演者の表情に合わせ、Valence-Arousal の二軸を調整しながら 対話中の表情を変化させた [16]。収録された音声は 書き起こし、さらに訓練された一名のアノテータに よって、拡張 ISO-24617-2 対話行為タグ [14] に基づ く対話行為タグ付与を行った。

## 2.5 事前・事後アンケート

事前アンケートとして、被験者の性格、意思決定 の傾向、説得対象ドメインへの意識や現在の状況に ついての調査を行った。この調査項目については 先行研究 [6] に従った。まず、性格、意思決定の傾向については Big Five [15] を計測するための設問を 含めた。各説得対象ドメインへの意識については、「運動」では、現在の運動習慣と生活習慣への自己意識を問う設問を用意した。「ネット」では、現在 のインターネットの利用時間とそれに対する自己意識を問う設問を用意した。「慈善事業」では、これ までの慈善事業への参加経験と、参加への意識を問 う設問を用意した。詳細な調査項目は付録を参照さ れたい。

事後アンケートでは先行研究に従い、年齢、性別、学歴、パートナーの有無、政治的見解について問う 設問を用意した。また、対話中の ERICAへの印象 を尋ねる質問と、対話を通じて意識がどのように変化したか尋ねる質問を用意した。

## 2.6 追跡調査

説得対話では、対話上での合意に加えて、対話後実際にその合意が履行されたかどうかが重要であ る。そこで今回の研究では、対話上で説得に対して 合意した被験者に対して、その合意を履行したか どうか 1 週間後に追跡調査を行った。具体的には、表 1 意識の変容

表 2 行動の変容

表 3 対話上の合意

「運動」では 1 週間の運動時間、「ネット」では 1 週間のインターネット利用時間、「慈善事業」では 1 週間に行った寄付の金額を答えてもらった。

## 3 コーパスの分析

収集されたコーパスの分析を行うため、まず説得 の成否について述べる。次に、アンケートで得られ た項目が説得成功どのように寄与するか調査するた め、ロジスティック回帰によって説得の効果予測器 を構築し、各素性に与えられた重みを比較した。

## 3.1 説得の成否

まず、説得の成否について表 $1 、 2 、 3$ に示す。今回、説得の指標としては意識の変容、行動の変容、対話上の合意を用いた。意識の変容は、事後アン ケートで説得対象ドメインへの関心が上がったと 答えた被験者の人数・割合である。変容値は、アン ケートの中でどれくらいの時間について行動変容 を起こそうと思うかについて尋ねた値の平均値で ある。ただし、慈善事業については説得対話中で慈善事業への参加を促したものの、具体的な参加内容 については議論しなかったため、行動変容を起こそ うと思った人の割合についてだけ示す。行動の変容 は、追跡調査の回答で実際に行動変容を行ったと答 えた被験者の人数・割合である。変容値は、実際に 行動変容を行った際の変容量の平均値である。慈善事業については、実際に慈善事業へ参加した人が 0 人であったため、変容値の記載がない。対話上の合意は、システムとの対話を聴取し説得に合意したと
表 4 運動ドメインで有効な素性

判断できた対話を行った人の人数・割合である。 まず全体を通して見ると、実際の行動の変容や意識の変容に関わらず、多くの人が対話上では説得へ の合意を行うことがわかる。つまり、実際に説得が 有効であったかを対話上の振る舞いから判定するこ とは困難である。説得の有効性については、意識の 変容が起こったかどうかについて調査を行うか、実際の行動変容が起こったかを調べる必要がある。ま た、意識の変容が起こったと答えた人でも、実際に 行動変容に至った人はその半分であった。これは、実際に対話を通じて行動変容に行うことに納得した としても、そこから行動に移すためにはハードルが あることがわかる。効果的に行動変容を促す説得対話システムを構築するためには、即座に行動変容を 起こすことができるタイミングでの説得を行うこと も重要であることがわかる。

## 3.2 説得に有効な要素

次に、アンケートで取得した個人の属性や性格な どから、どの要素が説得に有効化についての調査を 行った。この調査のため、アンケートで得られた各項目を入力とし、実際に行動変容を起こしたかど うかを 0/1 で予測するロジスティック回帰（L2 正則化）の学習を行った。なお、慈善事業については 行動変容を起こした人がいなかったため、意識の 変容を起こした人を予測するタスクとして学習を 行った。

今回の事例全てで学習をした結果、いずれの説得対象ドメインでも学習データに対しては $100 \%$ で識別可能な識別器を構築できた。これらの識別器で学習した素性重みのうち、絶対値が大きかったもの （絶対値 0.3 以上）を説得対象ドメインごとに表 4 、 5、6 に示す。

この結果から、まず説得対話を行うエージェント の発言に説得力を持たせる、重要な話をしていると 感じさせる、信頼性を持たせる、誠実さを感じさせ るなどが重要であることがわかる。またそれ以外に もユーザ側の性質として、指示されることを好む、保守的である、あまり熟慮をせず直観に頼る、など が説得されやすさに関わっていることがわかる。

この結果から、今後説得対話システムを構築する にあたって、システム側の発言にいかに説得力を持 たせるかに注力することが重要であることがわか る。具体的には、論理的な説得や、信頼性のアピー ル、具体的な情報提供などの戦略を用い、誠実さ、信頼性などを向上させることが説得の成功に寄与す ると考えられる。ユーザの特性を対話の序盤で分析 し、それに合わせた戦略を取ることも有望である。

## 4 まとめ

本研究では、対話を通じてユーザに行動変容を促 す説得対話システムの研究を行うため、アンドロイ ドを用いた WoZ 対話によりマルチモーダル情報を 含む説得対話コーパスの収録を行った。コーパスを 分析した結果、説得の成否判定の方法や説得成功に 重要な要素についての示唆が得られた。今後はマル チモーダル情報の分析も進めるとともに、収録した データを、マルチモーダル情報を用いる説得対話シ ステムの構築に活用する。

## 倫理審査の承認に関する開示事項

本研究課題は理化学研究所研究倫理第三委員会に よる倫理審査を受け、承認された（承認番号: Wako3 2021-20、承認日: 2021 年 5 月 31 日、研究課題名: 人型ロボットを用いた遠隔操作によるマルチモーダル 説得対話収録）。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 05567$ の助成を受けた。

## 参考文献

[1] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gasic. Multiwoz-a large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018), pages 5016-5026, 2018.

[2] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL2021), pages 77-88, 2021.

[3] Pierre Andrews, Suresh Manandhar, and Marco De Boni. Argumentative human computer dialogue for automated persuasion. In Proceedings of the 9th SIGdial Workshop on Discourse and Dialogue (SIGDIAL2008), pages 138147, 2008.

[4] Takuya Hiraoka, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Learning cooperative persuasive dialogue policies using framing. Speech Communication, 84:83-96, 2016.

[5] Sara Asai, Koichiro Yoshino, Seitaro Shinagawa, Sakriani Sakti, and Satoshi Nakamura. Eliciting cooperative persuasive dialogue by multimodal emotional robot. In Proceedings of the 12th International Workshop on Spoken Dialog System Technology (IWSDS2021), 2021.

[6] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for good: Towards a personalized persuasive dialogue system for social good. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), pages 5635-5649, 2019.

[7] He He, Derek Chen, Anusha Balakrishnan, and Percy Liang. Decoupling strategy and generation in negotiation dialogues. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018), pages 2333-2343, 2018.

[8] The Tung Nguyen, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura, et al. Dialog management of healthcare consulting system by utilizing deceptive information. Transactions of the Japanese Society for Artificial Intelligence, 35(1):DSI-C_1, 2020.

[9] Weiyan Shi, Xuewei Wang, Yoo Jung Oh, Jingwen Zhang, Saurav Sahay, and Zhou Yu. Effects of persuasive dialogues: testing bot identities and inquiry strategies. In Proceedings of the $2020 \mathrm{CHI}$ Conference on Human Factors in Computing Systems (CHI2020), pages 1-13, 2020.

[10] Yoshihiro Yamazaki, Yuya Chiba, Takashi Nose, and Akinori Ito. Construction and analysis of a multimodal chattalk corpus for dialog systems considering interpersonal closeness. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pages 443-448, 2020

[11] Nurul Lubis, Sakriani Sakti, Koichiro Yoshino, and Satoshi Nakamura. Eliciting positive emotion through affectsensitive dialogue response generation: A neural network approach. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI2018), volume 32, 2018.

[12] Koji Inoue, Pierrick Milhorat, Divesh Lala, Tianyu Zhao, and Tatsuya Kawahara. Talking with erica, an autonomous android. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 212-215, 2016.

[13] Shuichi Nishio, Hiroshi Ishiguro, and Norihiro Hagita. Geminoid: Teleoperated android of an existing person. Humanoid robots: New developments, 14:343-352, 2007.

[14] Koichiro Yoshino, Hiroki Tanaka, Kyoshiro Sugiyama, Makoto Kondo, and Satoshi Nakamura. Japanese dialogue corpus of information navigation and attentive listening annotated with extended iso-24617-2 dialogue act tags. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[15] Oliver P John, Eileen M Donahue, and Robert L Kentle. Big five inventory. Journal of Personality and Social Psychology, 1991.

[16] Arellano D., Perales F.J., and Varona J. Mood and its mapping onto facial expressions. Articulated Motion and Deformable Objects. AMDO 2014. Lecture Notes in Computer Science, 8563, 2014.

## 付録

## 事前アンケート

・あなた自身の性格について、以下にあてはまるかどうか 5 段階で選択して下 さい。

一周りに人がいることに居心地の良さを感じる。
- 自分から会話を始める败とが多い。

一会話することが少ない

一乼目を集めるのが好きではない。

一他人に興味を持っている。

一他人の気持ちに共感きる。ことが多い。

一他人にはあまり興味がない

一他人をあまり気遗わない

一指かされることを好む

一仕事敢しい

一物事を適切な場所に戾すのを忘れることが多い。
- 義務的なことと负責任感を感さない。

ーストレスを感じやすい。

一物事が心配になることが多い。

一不機嫌になるらさとか

一想像力豊かである。

一物事を理解夺るらが早い。

一今两での街動などを志く反省する。

・帛なた自身の意思決定の傾向についでどの程度当てはまるかを゙段階で教え

一意思決定をするとき、状況の長所/短所やリスク便益を熟考する時間を

一職る惫決定をするとき、主に自分の直感に頼る。

・あなたが何かの物事の善し悪しを決めるとき、次のことをどの程度考慮して考

えていますか?

一その物事により感情的に苦しんだ人がいたかどうか

その物事が愛国心にもとづくものかどうか

一その物事が権威に対方る敬意を欠いていたかどうか

一その物事に弱者への梿いが含まれているかどうか

その物事が社会の伝統・規範に従っているかどうか

その物事が誰かの権利を侵しているかどうか

一 その物事において誰かの自由が制限されたかどうか

-以下の文竞を読み、同意するか同意しないが思いゃ段階で示してください。
-苦しんでいる人要である

何か決まり作るとき、すべての人が公平波われるようにすることが最 も重要である

一権威を尊重することは、誰もが学ばなければならない

正義は、社会汇とって最も重要である

何か悪いとされることであっても、家族のためであればよい

一男と殺ではそれぞれ社会で果たすべき役割が違う

一自身の考えが実現されるより、チームの目的が達成される方が重要で ある

一自分の上司に従う義務があるとき、上司の方針に反対であっても、義務 なのでとにかく従う
- 真操は重要で価値のある美徳である、誰もが自分の好きなように自由に 行動すべきだ

一伝統が重要で、家族や社会が伝えてきた習慣を守りたいと思っている 一周围の人行大切に思っておりり周りの人の健康を気遣っているることをを望

几でいる常に目新しいことを求めており、人生では色々なことを体験したい

一成功したい尊敬を思めて、周りの人が自分の言うことに耳を傾けるょうに な晏全・慾しいが大事であり、これらを务かすような物事を避ける

・あなたが以下の内容についてどの程度同意するか教えて下さい。

一犮人よりも自分の信念の方が大切だも、友人が望む内容を伝えることが 最善の場合もある 一様子を見るためだけに反対の意見を言うことがある

一他人に頑固だと思われている

・(運動の参加者のみいて最も当てはまると思うものを選んでください（4段階）一健康に運動は必要だと思いますか。(yes/no)

-ここ一週間での毎日の平均運動時間を教えてください。

今後運動量を増やす予定はありますか？もしある場合は目標とする一

楽鑑賞、買い物をする、テレビ・動画鑑賞、ボーっとする、好きなもの を食べる、力ラ每運動・スポーツをする、その他)。

一自身の睡眠時間に坟するる充足感を教えてくだ゚さい。
- 朝食を食べていま注意（複数選択; 野菜を多くとる、食事の栄養バランス、食事の量・カロリー、脂肪分の取りすぎ、糖分の取りすぎ、食物繊維を多 くそる境 (実家、類と暮らし塩分の取りすぎ

気がつくと思っていたより、長い時間インターネットをしていることが ありますか。

ーインターネットをする時間を増やすために、家族での仕事や役割をおろ 配偶者や友人と過ごすょりも、インターネットを選ぶことがありま

卞か゚ターネットで新しい仲間を作ることがありますか。

一インターネットをしている時間が長いと周りの人から文句を言われた

こインダムネットてている時間が長くて、学校の成績や学業に支障をき 他にやらなければならないことがあっても、まず先に電子メールを チェツクすることがありますか。仕事の能率や成果が下がったことがありま 霖加。

人にインターネットで何をしているのか聞かれたとき防御的になった

3、隠そうとしたことがどれくらいありますか。

是々の生活の心配事から心をそらすためにインターネットて心を静め

ることがありますか

とがありますが。をするときのことを考えている自分に気がつくこ

インターネットの無い生活は、退屈でむなしく、つまらないものだろう

と恐ろしく思うことがありますか。

り、怒ったり、大声を出した最中に誰かに邪磨をされると、いらいらしてた

一睡眠時間をけずって、深夜までインターネットをすることがありま すか。

焦ジターネットをしていないときでもインターネットのことどかり考 ますか。 インターネットをしているとき「あと数分だけ」と言っている自分に気 インタニネットを卞る時間を減らそうとしても、できないことがありま インタ
秀が
インタ

イジターネットをしていた時間の長さを隠そうとすることがありま 䜅が 倠が外出するより、インターネットを選ぶことがありますか。

一インターネットをしていないと憂うつになったりいいらいらかたりして

も、再開すると嫌な気持ちが消えてしまうことがありますか。

一ここ一週間での每日の平均使用時間を教えてください。

一後イシターネット使用量を減らす予定はありますか？もしある場合

$\cdot$ (慈善事業 $の$ 参加者のみ)

金額を教えてください。

## 事後アンケート

・あなたの年齡を教えて下さい

最終学麻们教えて下

・玩在の学年につ有無につて教えて下さ教えて下さい(学生の場合)。

・あなたは今日対話を行ったシステムに対して、どのくらいポジティブな気持ち

・会詰をて通してどのように感じましたか?
- 以下の項目について、ERICA からどのょうな印象を受けましたか? 以下の項目 こどの程度あてはまるか答えて下さい。

-発言に説得力があつた感じた

一あなたの行動を変えたいという意図が伝わった

一全体的に同意できる話だった

一あなたに圧力をかけようとした

-不誠実だった

・今のあなたの気分を次の 5 段階で評価してください

一誇り高い

一嶵悪感

一誇らしい

一感銘を受けた

・以下の項見に関しで、ERICAを次の 5 段階で評価してください。

一自信を持つている

一効率的である

一䂠的である゙る

善意がある

一信頼できる

システ允の対話を通して自身の（運動｜インターネットの使用量｜慈善事

・業)に関する関心は上がりましたか）運動｜インターネットの使用量 | 慈善事業参

加) 状涚をどのように感じていますが いと思いますか?

## 追跡調査

・実験旦の翌旦から一週間にかけて、(運動｜インターネット使用時間の削減 |


# 知識源との一対多関係を有する対話コーパスによる発話生成

金田龍平 ${ }^{1}$ 芳賀大地 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{18aj045, 18aj110\}@dendai.ac.jp
h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

End-to-end 発話生成において，発話文脈に加えて外部知識を活用することにより，知識を反映した発話 を生成できることが知られている．外部知識に基づ く発話生成モデルに用いられる学習コーパスとし て，Wizard-of- wikipedia のような，知識を参照しな がらユーザに対話させ，その際の発話と知識の対を 収集する枠組みが提案されている。しかし，ある文脈において利用可能な知識は一意とは限らず，実際 に利用された知識以外にも利用可能な知識は存在す る可能性がある．本研究では，旅行代理店における 客と店員の対話を題材として対話データを収集し，基準対話データセットとした. 基準対話データセッ トの一部に対し, 発話文脈から利用可能な外部知識 にリンクを付与することで，マルチラベル対話デー タセットを構築した. その結果付与されたリンクの 総数は，基準対話データセット 1 に対し，マルチラ ベル対話データセットが 5.8 であった。このような マルチラベル対話データを知識選択モデルの評価に 用いたところ，知識選択モデルの適切な評価には発話と知識が一対多となるデータセットが良いことが わかった. また，発話生成モデルの生成に用いたと ころ，多様で適切な応答が可能になることが示唆さ れた.

## 1 はじめに

対話システムにおける発話生成には，対話履歴など の文脈情報に加えて外部知識を利用する手法が提案 されている $[1,2,3]$. 発話生成部の学習は, 対話履歴, 知識情報, さらにそれらを利用して生成される であろう後続発話からなるコーパスが必要になる.

そうした対話コーパスとして，児玉らによる映画推薦タスクにおける対話コーパスがある [4]. この コーパスでは，ある映画における監督名やキャスト名などの構造化された知識に加え，あらすじやレ ビュー情報といった構造化されていない知識も外部知識源として利用している。そして，これらの外部知識を用いた発話生成を行い，20 ターン以上の約 2,500 件からなる対話データが収集されている.

児玉らの作成したコーパスでは，発話に付与され た知識ラベルは，その発話を生成するのに使われた ものとして知識候補の中から一意に定まる。すなわ ち, 児玉らの作成したコーパスにおける発話と知識源の関係は，「先行発話と使用した知識」である。 しかし，先行発話に対する応答が固定されていなけ れば，利用可能な知識は複数存在するはずであり，「先行発話と利用可能な知識」の関係も利用可能に なると期待できる。したがって，このようなコーパ スを用いて，知識を選択するモデルを評価すること は適切なラベルで評価していないことになる。ま た，利用可能な知識が少なければ，生成できる応答文の多様性も低下してしまう。

そこで，2021 年に開催された対話ロボットコンぺ ティション1)のタスクである旅行代理店対話に着目 し，外部知識に基づく対話コーパスを作成した. こ のコーパスは，クラウドソーシングによって作成し た基準対話データセット，応答文生成に利用可能な 知識に着目して作成されたマルチラベル対話デー タセットなどによって構成される. 作成した旅行代理店対話コーパスの概要図と統計情報を, 図 1 と表 1 にそれぞれ示す.マルチラベル対話データを用い た実験の結果，知識選択モデルを適切に評価するに は発話と知識が一対多の関係となる評価データが 良いことと，このようなデータセットを用いること で，多様かつ適切な応答が可能になることが示唆さ れた.

1) https://sites.google.com/view/crobotcompetition/home

図 1 旅行代理店対話コーパスの概略図

表 1 旅行代理店対話コーパスの統計情報

## 2 関連研究

まず，日本語の対話コーパスに関する研究として，稲葉らの旅行代理店対話コーパス [5] や田中らの ユーザの曖昧な要求に対して適切な応答をするため の対話コーパス [6] などがある。稲葉らは，旅行代理店勤務経験者 5 名と 7 歳〜 72 歳の男女 55 名によ る旅行代理店対話から、音声データやテキストデー タなどを収集した。田中らは，タスク指向型対話に おいて，ユーザが曖昧な要求をしてきたとしても対応できるように，旅行案内のドメインで対話データ を収集した。

また，外部知識を用いた対話データとして Wizardof-wikipedia [7]がある。これは， wikipediaを直接検索し，それによって得られた情報を用いて対話を行 うことで外部知識と対話がセットになったデータ セットを作成した. 質問分類タスクに関する研究と して，情報検索（Information Retriever）の分野では， クエリと知識を入力とすることで分類問題を解く手法が提案されている [8]. この手法では，まず，知識候補をコーパス全体から BM25 [9] に従って数千程度に絞りこむ。そして，クエリと知識候補を入力と してクエリと知識候補の類似度を BERT に予測させ ることで，知識候補をリランキングし，最終的に回答生成モジュールに渡す知識を決定する。

## 3 旅行代理店対話コーパスの構築

図 2 知識情報の概要図

表 2 知識情報の統計情報量

## 3.1 基準対話データセット

クラウドソーシングを活用することで，東京と大阪 の観光地 441 件を対象に，観光地に関する対話を合計で約 3,000 対話収集した．観光地には，事前に 12 種類の知識情報が与えられている。知識情報は，名称・概要・所在地・営業時間・アクセス・駐車場・料金・レビュー1～ 5 といった 12 のカテゴリで構成 される. 名称・概要・所在地などの基礎情報はじゃ らん ${ }^{2}$ からスクレイピングを行い，レビュー情報に ついては Google Map $\mathrm{API}^{3}$ を用いて取得した. 概要図を図 2 に示し，統計情報は表 2 に示す. クラウド ワーカー（以下，ワーカー）は，店員の発話と客の 発話をそれぞれ 7 発話作成する（以下，店発話，客発話).このとき, 店発話には上記で示した知識情報をなるべく用いて発話を作成してもらった。ま た，使用できる知識情報源は最大で 2 つとし，相槌 などの知識情報を使用しない発話には，知識を使用 しなかったという意味で none ラベルを付与した.具体的な作業手順と作業画面は，付録 A.1，付録 A. 2 にて示す.

これらの作業手順に従い，1つの観光地に対して，複数人のワーカーが作成することで合計 2,971 対話収集することが出来た.

} & \multirow{5}{*}{} &  & 全国の隠れた名産品を扱っているんです。 \\

図 3 外部知識を用いて生成した応答文の一例

## 3.2 マルチラベル対話データセット

応答文生成に利用できる知識は，発話と知識が「先行発話と利用可能な知識」という関係においては,複数存在すると考えられる. しかし, 基準対話で は，最大二つの知識を用いて応答文を作成してい る.したがって，ある発話に対して利用可能な知識 は，最大二つまでとなってしまい，他の知識は利用できない知識ということになる。この利用でき ない知識は，本来「利用していない知識」であって 「利用できない知識」ではない. そこで，400 発話対 （店発話十客発話）を用いてアノテーションを行っ た. アノテーションの対象としたデータは，基準対話データセットから 400 発話対を抽出し，それぞれ に知識を付与した形へ整えたものである．ラベル は，ある発話対から次の応答文を生成する際に，付与された知識が利用可能かどうかを意味する.

マルチラベル対話データセットを作成する際に，単に整合性が取れているかだけではなく以下の点に も着目してアノテーションを実施した.
- 機械が対象の知識を用いて適切な応答文に変換 できるか
- 客発話が相槌のような場合は知識におすすめポ イントが入っているか

・知識の内容がマイナスな内容ではないか

また，生成モデルに渡す知識情報が長くなると，モ デルが知識情報を生成文に反映させることが難しく なると考え，概要とレビュー情報に関しては知識情

図 4 基準対話データセットとマルチラベル対話データ セットそれぞれにおいて，12 種類の各知識源と関連付け られた発話例の総数.

報を句点で区切る処理を行った. この前処理を施し たものに対してもアノテーションをしたが，本稿で は発話と知識情報の関係性に着目しているため，詳細は付録 A. 3 にて述べる. アノテーションを実施し た結果，利用可能な知識がどの程度増加したかを図 4 に示す. 基準対話データセットの分布とマルチラ ベル対話データセットの分布を比較すると，多くの 知識源が利用可能であることが分かる. すなわち，基準対話データセットでは，正解となる知識以外は 利用できない知識となってしまうが，実際は利用で きる知識が多く含まれていることを示している.

## 4 実験

## 4.1 実験概要

対話システムでは，外部知識を用いた生成を行う場合に，知識候補から最適な知識を選択する必要があ

る.そこで, BERTを用いて利用可能な知識情報を 選択し, Transformer ベースの大規模対話モデル（以下，hobbyist）で，知識情報を用いた応答生成を行う 対話システムを構築した. BERT と hobbyist を学習 する際に，基準対話データセットを用いた。また， hobbyist は，NTTコミュニケーションシステム基礎科学研究所が構築した [10].

本実験では，知識選択モデルの評価にマルチラベ ル対話データセットを利用した場合に，基準対話 データセットと比較してどのように変化するか確認 した. また, 先行発話に対する応答文を作成する際 に, 利用した知識から利用可能な知識として用いる ことのできる知識数を増やすことで，文脈として正 しくかつ多様性のある生成が可能であるかも確認 した.

## 4.2 実験設定

Laboro 社の提供している日本語版 BERT の事前学習済みモデル4)を用いた． BERT に用いる学習データ は，基準対話データセットから以下の手順に従って 作成した。

1. 対話データから発話対と知識情報を時系列に 抽出（ただし，知識を使用していない発話対は 除く)

2. 時刻 $\mathrm{t}$ の店発話と客発話に，12 ある知識情報の うち 1つを結合

3. 店発話, 客発話, 知識情報の間にセパレーショ ントークン（[SEP]）を挿入

4. 正解ラベルは, 時刻 $\mathrm{t}+1$ の店発話作成に使用し た知識情報であれば 0 を，そうでない知識情報 であれば 1 を付与

また, 評価時には上記手順によって作成された学習データを 8:2:2 = train:validation:test と分割したもの と, マルチラベル対話データセットから上記手順に 従って評価データを作成し,これを $1: 1=$ validation:test となるように分割したものを用いた. 基準対話デー タセットから作成した test データをシングル test と し, マルチラベル対話データセットから作成した test データをマルチ test とする. 評価指標には正解率を用い，発話対に対して適切な知識を選択するこ とが出来れば正解となる.

## 4.3 実験結果

まず，BERT を用いた知識選択の結果を示す. 学習 したモデルの評価結果はシングル test が 0.46 , マル チ test が 0.90 であった. 本実験では，ある発話対に 対して適切な知識を選択することが出来れば正解と なる. したがって，マルチラベルであるマルチ test に対する精度がシングルラベルであるシングル test と比較して高いのは妥当である。

次に，シングル test とマルチ test の両方を用いて hobbyist による発話生成を行った. 生成文の一例を 図 3 に示す.構築したマルチラベル対話データは人間が，利用可能であると判断したラベルが付与され ている. 図 3 にあるように，人が利用可能と判断し たものであっても, 生成モデルはすべて文脈とし て正しく，知識を反映した生成をしている結果と なった.

## 4.4 考察

BERT の最適な知識選択において，正解率が 0.46 か ら 0.90 に上がったことから，シングル test で誤って いると判断された知識は，実際には利用できる知識 であるということであり，既存手法における使用し た知識という観点での最適な知識では過度に厳しい 評価を行っていることが考えられる。また，実際に hobbyist が生成した発話文から, 複数の利用可能な 知識を用いて発話を複数生成し，その中から適切な 発話をリンランキングなどの処理によって最終的 な発話を生成するような手法に, マルチラベル対話 データセットのような複数の知識が可能であるデー タセットを用いることで, 多様かつ適切な発話が可能になることが考えられる.

## 5 おわりに

本稿では，発話対と知識源が一対一となる基準対話 データセットを作成した. このデータセットを分析 したところ，発話対と知識源の関係が，一対多が望 ましいことが明らかになった. そこで，発話対と知識源が一対多となるマルチラベル対話データセッ トを作成し，これらを用いて実験を行った。実験で は，BERTを用いた知識情報の選択と，hobbyistを用 いた発話生成を行った. その結果, 発話対に対する 知識源が複数存在データセットを用いることで, 多様で且つ文脈情報を考慮した発話生成が可能となる ことが示唆された.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受 けた。

## 参考文献

[1] Pavlos Vougiouklis, Jonathon Hare, and Elena Simperl. A neural network approach for Knowledge-Driven response generation. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3370-3380, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[2] Sixing Wu, Minghui Wang, Dawei Zhang, Yang Zhou, Ying Li, and Zhonghai Wu. Knowledge-aware dialogue generation via hierarchical infobox accessing and infoboxdialogue interaction graph network. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, California, August 2021. International Joint Conferences on Artificial Intelligence Organization.

[3] Sixing Wu, Ying Li, Dawei Zhang, Yang Zhou, and Zhonghai Wu. TopicKA: Generating commonsense knowledgeaware dialogue responses towards the recommended topic fact. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, California, July 2020. International Joint Conferences on Artificial Intelligence Organization.

[4] 児玉貴志, 田中リベカ, 黒橋禎夫. 外部知識に基づく 発話生成に向けた日本語映画推薦対話データセット の構築. 言語処理学会第 27 回年次大会, 2021 .

[5] 稲葉通将, 東中竜一郎, 千葉祐弥, 駒谷和範, 宮尾祐介, 長井隆行. 多様な年代の話者による旅行代理店 タスク対話コーパスの収集と分析. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 192-197, 2021.

[6] 田中翔平, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧な要求 と気の利いた応答を含む対話コーパスの収集と分類. 言語処理学会第 27 回年次大会, 2021.

[7] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[8] Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. arXiv [cs.IR], January 2019.

[9] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. September 2021.

## A 付録

## A. 1 対話収集の教示文

対話データ収集のために，ワーカーに示した作業手順と，注意事項を図 5 に示す.

1. 作業について

1.1人で店員と客の二役をこなして対話文を作文

2.「名称」〜「料金」の情報を確認.

3. 各7ターンの対話（店7発話, 客7発話の合計14発話）

4. 対象の観光地をどのような「観点」に沿ってお勧めするか選択.

5. 店員の発話は, 可能な限り与えられた情報を用いて作成.

6. 利用した知識は「利用知識」に記載し，最大で2つまで選択。

2. 注意事項

1. 対話中，客は1回は質問とそれに対する回答を行う。

2. 対話中, 店員は1回は客の興味や経験を尋ね，より客に合ったお勧めをできるよう にする。

3. 店員の発話は, 自身の知識や別途検索した結果ではなく, 与えられた情報に基づ いて発話を作成する。

4. 概要などの与えられた情報は，あくまで参考にしてコピーしない.

5. 発話数が7ターンになっているか確認する.

6. 観点を選択しているか確認する.

図 5 具体的な作業手順と注意事項

## A. 2 対話収集時の作業画面

対話コーパスを作成するにあたって，クラウドワーカーに依頼した作業ファイルを図 6 に示す。ワーカーは 指示書に従って，該当の Excel ファイルに対して，記入する形とした。

図 6 実際の作業画面

## A. 3 文区切りを施したマルチラベル対話データセット

使用した知識情報は，本文で示した通り 12 種類存在する.しかし，概要やレビュー情報にはテキスト長がと ても長いものが含まれる。深層学習モデルには，扱えるトークン長があり，発話対に対して知識情報が極端 に長いと知識の選択においても，発話生成においても，偏った学習を行ってしまうことが考えられる。した がって，概要とレビュー情報に関しては，句点で文を区切り，区切った後の一文で一つの知識情報として 扱った対話データも作成した。これにより，概要とレビュー情報の知識情報が約 1,200 件から約 3,200 件に増加した.


# 分類モデル BERT による不整合生成文の検出について

大野瞬 1 森脇恵太 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部 ${ }^{2} \mathrm{NTT}$ コミニケーション科学基礎研究所
\{18aj031,18aj128\}@ms.dendai.ac.jp h.sugi@ieee.org
\{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

ニューラル文章生成において, 文章としては自然であるが, 内容が事実と異なるという事実不整合（factual inconsistency）の発生が問題となってい る.そこで本研究では, BERT (Bidirectional Encoder Representations from Transformers）の分類タスクを応用して事実不整合となる生成文を検出することを試 みる. 実験対象として観光地案内をドメインとし, 客 の質問に適切な知識を用いて答えるニューラル生成 モデル Hobbyist の出力文を扱う. 料金, 営業時間, ア クセス方法に関する知識情報源と正しい応答文との 対 2,299 件をもとにし, そこから整合対 6 万件, 不整合対 6 万件からなる疑似データセットを作成した. この疑似データセットを用いて BERT の学習を行っ た結果, 事実不整合を含むニューラル生成文に対し て recall 0.69 の結果を得た. 一方, 日本語 SNLI デー タセットを用いた学習では 0.50 であり, 不整合検出 におけるドメイン適応の重要性が明らかになった。

## 1 はじめに

GPT-3 (Generative Pre-trained Transformer - 3) [1] や BART (Bidirectional Auto-Regressive Transformer) [2] など, 現代のニューラルネットを使った文章生成モ デルは人間の書いた文章と相違ない自然な文章生成 が可能になっている. 生成モデルを用いた質問応答 チャットシステムの実装などができればより人手応答に近い柔軟な応答ができるようになると考えられ る.しかし,生成モデルはしばしば図 1 のような事実 と異なる内容を含んだ文章を出力してしまう.この

図 1 事実不整合を含んだ出力例
ような出力はユーザの信頼を損なうことにつなが り,システムを実用レベルにするためにはこの問題 に対策を講じる必要がある.

そこで我々は事実不整合を含む出力を検出し, 修正するため分類モデルと修正モデルを用いた事実不整合修正の為の機構を提案する. 生成モデルの出力 を分類モデルにかけ不整合検出を行い, もし不整合 が検出された場合さらに下に構えている修正モデル に引き渡し, 事後修正を行うことで文章を正しいも のにすることが狙いである. 生成モデルの学習用に 作られたデータセットを改変, 増強して学習を行う ことで特定の生成モデルに特化した修正機構を構築 することを試みる. 機構のイメージは図 2 に示した 通りである. 本稿では修正モデル部分の話には触れ ず, 提案機構の中の分類モデル部分についてのみ記述する. 分類モデルには BERT（Bidirectional Encoder Representations from Transformers）[3]を用いた。

これまでの研究として, 例えば, [4] は既存のデー タセット（ここでは CNN/DailyMail dataset[5]）から 改変例を大量に用意し, BART に学習させ,他の ニューラル生成モデルの出力文章を入力として事実 に即した内容に書き換えをするという手法である が, 十分な成果を得られていない. 一方我々は生成モ デルの学習に用いたデータをテンプレートとして 改変例を作成し, 事実不整合検出の為の学習データ とした.これにより特定の生成モデルに対して高い 精度で事実不整合の検出, 修正を行うことを期待で きる.

## 2 データセット

今回作成する学習用データセットは観光地情報に 基づく旅行代理店対話コーパス [6] に含まれる基準対話データセットを利用したものである.これに含 まれる知識情報と,それを使って作られた店員発話 を改変することで疑似的に多くのデータを作成す る. 知識と店員発話の整合性を保った疑似整合例と，

図 2 提案する機構のイメージ

図 3 疑似例の作成例（料金情報）

整合性をなくした疑似不整合例を作成し，モデルの 学習に利用する. 知識情報はそれぞれ最大 12 件用意 されていたが, 今回は特に数值に対してロバストな モデルになるよう学習を行うため, 知識に数値が含 まれている料金情報, アクセス情報, 営業時間情報と いう 3 つのカテゴリに絞って学習に用いることとす る. 数値の含まれているデータに絞る理由としては,第一に整合性の判定が比較的容易と考えられること である.これら 3 つのカテゴリは観光地情報の中で もある程度決まったフォーマットになっており, 扱 いやすいものと考える. 第二に我々が実際に生成モ デルを動かした際, 数値周りに不整合が多く発見さ れたことである. 我々の扱うモデルは NTTコミュ ニケーション科学基礎研究所開発の雑談対話エン ジン [7] を観光地情報に基づく旅行代理店対話コー パスでファインチューニングしたもの（以下，これ を Hobbyist と呼ぶ）であり,これは入力に知識情報 と質問文を入れると, 知識情報を用いて質問文への 回答を生成する. Hobbyist に文章生成を行わせたと ころ, 特にこれら 3 つのカテゴリを用いて回答生成 した際に数値を誤ったかたちの不整合が多くみられ

 \\

図 4 アクセス情報と店員発話の一例

図 5 営業時間情報と店員発話の一例

た. 以上の理由から, 我々の提案手法の有効性を見る ために数値に特化することは有効であると考えた。

疑似例の作成は数値や日付, 駅名等を書き換える ことで行うが, 料金,アクセス, 営業時間情報につい て含まれる書き換え対象が異なるため, それぞれに ついて異なる形でデータの改変を行う. 疑似例作成 の一例を図 3 に示す. 疑似例のカテゴリによって改変方法が異なるため, 以下にそれぞれの手順を示す.

## ・料金情報の疑似例

疑似整合例 知識及び店員発話に含まれる料金を 表す数值の十の位の書き換えを行う。

疑似不整合例 疑似整合例の内容から店員発話部分のみに対してスワッピングまたは数字の付け足し を行い知識と店員発話の整合性を消す。

## ・アクセス情報の疑似例

疑似整合例 知識及び店員発話に含まれる時間表記及び駅名を同様に書き換える。

疑似不整合例 疑似整合例の内容から店員発話部分のみに対して数値のスワッピングまたは書き換 え, 及び駅名の書き換えを行い, 知識との整合性を 消す。

## ・営業時間情報の疑似例

疑似整合例 曜日や日付, 時刻を示す表現に対 し, 知識と店員発話の該当する部分を同様に書き換 える。

疑似不整合例 疑似整合例の内容から店員発話の みに対して時刻の「分」部分の書き換えを行い知識 との整合性を消す。

それぞれ疑似例の元とした知識と店員発話のぺア （テンプレート）数として料金情報は 224 件, アクセ ス情報は 1,607 件, 営業時間情報は 468 件となって いる.

疑似例を用いた学習用のデータセットとは別に， Hobbyist の出力を収集した評価用のデータセットも
表 1 事実整合性判定学習データセットの内訳

表 2 ニューラル生成文データセットの内訳

作成する. Hobbyistへの入力は知識情報と質問文で あり, Hobbyist の出力は知識情報を用いた質問文へ の回答である。

以下に今回作成した 2 つのデータセットについて 述べる.

事実整合性判定学習データセット 料金,アクセ ス, 営業時間情報について作成した疑似整合例, 不整合例をそれぞれのカテゴリについて同じ件数ずつ集 め, データセットを作成する.

実験においては,この件数を 20,000 件とする.内訳を表 1 に示す.

ニューラル生成文データセット Hobbyistを用い て生成した文章に対して, 知識に即しているか否か を人手で判定してラベリングを行ったデータセット を作成する. 料金, アクセス, 営業時間情報のみを用 いて 1,000 件の応答を生成し, うち生成文にも知識 にも数値が含まれているもののみを抽出し, まとめ たデータセットとなっている. 内訳は表 2 を参照.

## 3 実験

## 3.1 実験設定

分類モデルとして学習を行うのは Laboro 社の日本語 BERT（base）である.[8]

黒橋研究室が公開している日本語 SNLI データ セット [9]をベースラインデータセットとして我々 の提案データセットである事実整合性判定学習デー タセットと比較を行う.このデータセットからは フィルタリングされた学習データからのみ抽出し,元についていたラベルが entailment（含意）である ものを整合例, ラベルが contradiction（矛盾）である ものを不整合例として, 表 3 の形でデータセットを表 3 日本語 SNLI データセットの内訳

整形する.

我々の作成したデータと異なりアクセスや料金な どのカテゴリ分けはできないため, 単に学習に用い たデータ数を整合, 不整合で 60,000 件ずつに合わせ る形とする。

モデルの学習には huggingface transformers[10]を 利用してファインチューニングする. このとき, 学習 に用いるデータセットを 9:1 に分割し, 前者を学習 データ, 後者を検証データとする. ファインチューニ ングのパラメータ設定は学習率を 5e-5, loss を cross entropy, バッチサイズを 64 とし, 10 エポックの学習 を行う. 評価結果には最良モデルの混同行列を載せ るが, 最良モデルの基準としては評価データである ニューラル生成文データセットに対する不整合例の recall が最大であるものとする. 本来であれば検証 データに対する loss が低いエポックについてデータ を載せることが一般的であると考える。このように した理由として, 学習の際 loss の収束は早く完了し てしまうことが多く，しかし評価データに対しての 精度は loss 収束後のエポック同士でもかなり異なっ ていることから lossのみを見ても本来の分類対象に 対しての性能が測れないと考えたからである. 加え て, 今回の目的は不整合を含む生成モデル出力の検出であるため評価データの不整合例に対する recall が低いモデルは大量の不整合を見逃していることに なり，目的を果たせていないと考えたことによる。

## 3.2 実験結果・考察

結果はそれぞれ図 6,7 に示すとおりである. (positive, negative はそれぞれ整合例, 不整合例を示 す）加えて提案データセットについて学習曲線の上 から評価データの recall をプロットしたものを図 8 に示す. (train, validation はそれぞれ学習, 検証データ である）提案手法では不整合例, 整合例の recall とも にベースラインよりも高い結果を記録した。

学習曲線について, 学習, 検証データの accuracy は 単調増加をしているような動きで順調に学習が進ん でいるように見える. そのうえで学習曲線に重ねた 評価データの recallを見ると, 特に負例について学習 が進むごとに上がっているように見られ, 提案手法 に事実不整合検出に対しての有効性があることを示

図 6 提案データセットで学習したモデルを用いた評価結果

している可能性がある.

今回正解できなかった不整合例の内訳は料金 7 件, アクセス 1 件, 営業時間 16 件となっている. 表 2 と 見比べると料金, 営業時間, アクセスの順で recall が 低い. 今回用意できたテンプレートは料金 224 件, 営業時間 468 件, アクセス 1,607 件であり, テンプレー トの件数とカテゴリごとの recall の順は同一である.精度向上にはそれぞれのテンプレート数を増やす必要が想定され, 今後この手法で精度を上げていくた めにはテンプレートの拡充が必須であると考えら れる。

今回整合例に対して不整合例の精度が落ちている のは, 整合例は単に知識の内容が生成内容に含まれ ていれば良いのに対し, 不整合例は整合例以上に広 い分布をするからと考える. 今回正解できなかった 不整合例をさらうと, 知識内容の一部のみ矛盾して いる, 知識に一切含まれない内容が含まれていると いうもので占められていた. どちらも今回の作成疑似例でカバーすることができると考えていたが, 実際にはそういったことを学習させることはできてお らず，よりバリエーションに富んだ疑似例作成手法 を考える必要がある。

## 4 おわりに

本稿では, 生成モデルに含まれる事実不整合を BERT の分類タスクを応用して検出することを試み た. 分類モデルの学習に生成モデルの学習に用いた データを改変したデータを用いることで, ベースラ インの手法に対する提案手法の有効性を示すことが できた. 今後, 他の生成モデルに対して同様の手法を 用いた事実不整合検出の可能性についても検討を進 める. また, 実際に現れる事実不整合のパターンは無

図 7 ベースラインデータセットで学習したモデルを用い た評価結果

図 8 提案データセットを用いたモデルの学習曲線, 評価 データの recall

数にあり,それらを限られたデータから効率的に検出する手法の調査も必要となるだろう.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受 けたものである。

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam

McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, Online, December 2020.

[2] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv:1910.13461 [cs, stat], October 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), Vol. 1, pp. 4171-4186, Minneapolis, MN,USA, June 2019. Association for Computational Linguistics.

[4] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6251-6258, Online, November 2020. Association for Computational Linguistics.

[5] Karl Moritz Hermann, Tomáš Kočiský, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS), Vol. 1, pp. 1693-1701, Cambridge, MA, USA, 2015. MIT Press.

[6] 金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作.知識源との一対多関係を有する対話コーパスによる 発話生成. 言語処理学会第 28 回年次大会, 2022 発表予定.

[7] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv:2109.05217 [cs], September 2021.

[8] Xinyi Zhao, Masafumi Hamamoto, and Hiromasa Fujihara. Laboro BERT Japanese: Japanese BERT pre-trained with web-corpus. https://github.com/laboroai/LaboroBERT-Japanese, 2020.

[9] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会研究報告, Vol. 2020-NL-244, No. 6, pp. 1-8, 2020.

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.


# Transformer による hallucination error の事後修正

森脇恵太 ${ }^{1}$ 大野瞬 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{18aj128, 18aj031\}@ms.dendai.ac.jp
h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

大規模対話コーパスで学習された End-to-End 対話モ デルは非常に自然な文章を生成できることが知ら れている。一方，文生成時に与えた外部知識と異な る内容を持つ発話文を生成してしまう, hallucination error(以降，HE)が課題となっている. そこで本研究 では，HEを含むデータを疑似的に作成し，BART や transformer などのニューラルモデルを用いて， HE の事後修正 (postfix)を試みた。旅行対話タスクにお ける自動発話生成において発生した HE の中で重要性が高く，且つ，比較的扱いが容易であると考えら れる，3つの情報源 (アクセス，営業時間，料金)を 対象に検討を行った. その結果, transformerでは実際にニューラル生成モデルで生成した $\mathrm{HE}$ を含む文章 52 件中 29 件を修正した。

## 1 はじめに

GPT-3（Generative Pre-trained Transformer-3）[1] ど 大規模ニューラル文章生成モデルの研究が進み，可読性が高く且つ自然な文章が生成できるようになり つつある。 それによって，雑談対話のように非目的指向型の対話も実現可能になった。しかし，こうし たニューラル生成モデルによる文章生成では，生成 した文章が事実と異なる HE が発生するという問題 が指摘されている [2]. 例えば，「新宿三丁目駅から 徒歩 5 分」という事実があるのにも関わらず，生成 モデルが「新宿駅から徒歩 5 分」など誤った文章を 生成することがある. この HE の問題に対し, 文章生成モデルと TruthfulQAを用いた検証が行われてい るが，モデルの規模が大きくなるほど事実と異なる 生成を行う傾向がある [3].

文章要約の対象となる原文と要約文のいずれか 人工的に書き換えることで HE を含む疑似不整合例 を作成し，これを学習データとして用いることで postfix モデルを構築する．具体例として，要約文中 のエンティティを書き換えることにより作成した 疑似不整合例を BART (Bidirectional Auto-Regressive Transformer）[4]を用いて修正する [5]. また, 要約文 の代名詞や数字の入れ替え，要約文中にある単語を 追加，削除することで疑似不整合例を作成し，スパ ン選択ヘッドを追加した BERT(Bidirectional Encoder Representations from Transformers )[6] を用いて HE の 検出と修正の両方を行う手法も提案されている [7].本論文では，HE を検出し修正する機構 [8] のう ち，HEを修正する postfix モデルの検証を行った.旅行対話タスクにおける生成発話において発生した $\mathrm{HE}$ の中で重要性が高く, 且つ, 比較的 HE の修正を 学習するためのデータセットの作成が容易であると 考えられる，3つの情報源 (アクセス，営業時間，料金)を対象に検討を行う。

知識源を参考に記述された文章にあるエンティ ティの書き換える手法と知識源とは無関係の文を 追加する手法のそれぞれを用いて HE を含むデータ を作成し，BART や trandformers を finetune すること で postfix モデルを構築した。また，旅行対話データ で finetune した大規模雑談対話モデル [9] を利用し， HE を含むデータセットで学習した postfix モデルが どの程度事実と異なる内容を正しく書き換えられる かを評価した。

## 2 データセット

## 2.1 データの収集

クラウドソーシングを利用して収集した観光地情報 に基づく旅行代理店対話コーパス [10] を対象にして 実験を行った。このコーパスは旅行代理店における 客と店員の対話ログで構成されており，12 種類の知識情報を有する 600 箇所の観光地がある．店員の発話文は知識源にある内容を参考に記述されており，

図 $1 \mathrm{HE}$ 修正データの作成手順

表 1 知識カテゴリごとの書き換え対象エンティティ

12 種類の知識源のうちどの知識源を参考にしたか が明記されている。

## 2.2 事後修正のための学習用データセット

知識源に数値や固有名詞がある場合ニューラル生成 モデルが HEを起こしやすいという傾向に基づき， コーパスにある 12 種類の知識源のうち，営業時間， アクセス，料金のいずれかを参考に記述された店員 の発話文と知識源のペアを抽出した. 収集した発話文と知識源のペアは営業時間が 468 件，アクセスが 1,600 件，料金が 224 件と知識カテゴリで数が異な るだけでなく，最も多いアクセス情報で約 1,600 件 と数が少ないため，一つの発話文と知識源のぺアを テンプレートとして複数のデータを疑似的に作成す ることで，各知識カテゴリごとに 40,000 件の発話文 と知識源のペアを作成した。

抽出した発話文と知識源のペアに存在する同一の エンティティを書き換えることで疑似整合例を作成 し，疑似整合例の発話文にあるいずれかのエンティ ティを書き換えることで疑似不整合例を作成した [8]. 表 1 に示すように，書き換え対象となるエン ティティは知識源に割り当てられているカテゴリに よって異なる. 図 1 に示すように疑似整合例と疑似不整合例を組み合わせることで，HE を含む発話文 とその HE を修正した発話文で構成される HE 修正 データを作成した. postfix モデルは HE を含む発話

付与対象:[18時からですね。], [年中無休で営業しています。]

引用対象候補から一つ選択

図 2 無関係な発話を含むデータの作成手順

文と参考にした知識源を入力として受け付け， $\mathrm{HE}$ を修正した発話文を出力するように学習する。これ により, postfix モデルは知識源に則していないエン ティティを書き換える。

## 2.3 無関係な発話を含むデータの追加

ニューラル生成モデルは事実と無関係な文章を生成する場合がある。これを考慮し、エンティティの 書き換えだけでなく，無関係な発話を含んだデータ を作成した。データを追加することで事実と不整合 な文を削除し、HEを修正することを期待した.こ のデータセットは 2.2 で作成した HE 修正学習デー タセットに 40,000 件の無関係な発話を含むデータ を追加したものである. エンティティの書き換えを 行って集めた 90,000 件の HE 修正データから二つの 異なる発話文を抽出した後に，抽出した一方の発話文を句読点で分解し，分解したうちの一つの文をも う一方の発話文に加えることで無関係な発話を含む データを作成した。無関係な発話を含むデータの作成手順と具体例を図 2 に示す.

## 2.4 評価用データの収集

HE 修正学習データセットはルールベースで作成さ れており，同じデータを拡張することで件数を増や しているためデータに偏りが存在する. これを考慮 し, 作成した HE 修正学習データセット以外で評価用のデータを収集した。評価用データはニューラル 生成モデルからの出力データ（ニューラル生成デー タセット）と人の手で作成した知識源と発話文のぺ アで構成される評価用データ（handmade データセッ ト）の二種類を作成した.

ニューラル生成データセットはニューラル生成モ
表 2 各種データセットの件数と概要

デルから出力された $\mathrm{HE}$ を含む生成文と文章生成に 用いた知識源で構成される. データセットを作成す るために，旅行対話データで fine-tuning したニュー ラル生成モデルを用いて発話文を生成し，人の目で HE を含むかどうかを判定した。

handmade データセットの一部は表 1 の書き換え 対象を踏まえて，知識源と $\mathrm{HE}$ を含む発話文を作成 した. これは $\mathrm{HE}$ 修正データがルールベースの書き 換えで作成されたことを考慮している。また，表 1 の書き換え対象とは異なるデータを加えている。こ れは，モデルのロバスト性を評価する意図がある。

handmade データセットは作成時にターゲットと なる教師データを加えているが，ニューラル生成 データセットにはターゲットとなる教師データは存在しない.

## 3 実験

## 3.1 実験設定

事前学習済みの Transformer，BARTを今回作成した $\mathrm{HE}$ 修正学習データセットでファインチューニング することで postfix モデルを構築した. 事前学習済み モデルとして NTTコミュニケーション科学基礎研究所が公開している japanese-dualog-transformers ${ }^{1)}$,黒橋研究室が公開している BART 日本語 Pretrained モデル $[11]^{2)}$ を使用した. それぞれのパラメータ数 は japanese-dialog-transformers は 1.6B, BART は 0.12B である. HE 修正学習データセットは 2.3 で作成した 無関係な発話を含むデータセット (add_unrelated) と 含まないデータセット（baseline）の 2 種類を用意し た.また, ニューラル生成データセットと handmade データセットを用いて、それぞれのモデルを評価し た. 学習, 評価に使用したデータセットの件数を表 2 に示す.

モデルの学習，評価にはシーケンスモデリング ツールキットである fairseq ${ }^{3)}$ 利用した。

1) https://github.com/nttcslab/japanese-dialog-transformers

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

3) https://github.com/pytorch/fairseq

表 4 handmade データセットによる評価結果

モデルへの入力は知識源と HE を含む発話文を セパレーショントークン（[SEP]）で繋げたもので ある。しかし，事前学習済みの BART ではこのトー クンに対応していない。これを回避するために Fusion-in-Decoder[12] BART に実装し，知識源と 修正対象を入力した.

## 3.2 評価指標

修正結果の評価指標として，修正結果の内容が知識源の内容と一致しているかを一手において評価した Faithfulness[13] と BLEU-4 score[14] を用いた. モデ ルの生成文に知識源と無関係な文，または知識源と 矛盾した文のいずれかが一つも含まれない場合、モ デルは HE を修正したと判定する.

モデルの出力を得るために fairseq の Command-line Toolsを利用し， beam sizeを 10 に設定した。これに より一つの入力に対して 10 個の出力候補を得られ る. Faithfulness では, 10 個の出力候補の中に一つで も HE を修正したと判定されるものがあればその入力を修正できたとして評価している.

## 3.3 結果・考察

表 3, 4 より, BLEU-4 score と Faithfulness の結果が比例するとは限らないことが分かる。 入力に用いた発話文とターゲットが似ているため BLEU-4 score が高 くなりやすいと考えられる。この結果は，BLEU-4 score では数値が異なるといった単純な $\mathrm{HE}$ を正し く評価することができないことを示唆している. BART と transformer で結果に大きな差がでたのはパ ラメータ数と事前学習に用いたデータセットの差に よるものだと考えられる。

評価用データを用いて得られたいくつかの出力例
表 5 transformer におけるデータセットごとの出力例

 &  &  &  \\

を表 5 に示す. HE 修正データの書き換え対象であ るエンティティに着目すると，一部のデータでは正 しく書き換えられていない．特に知識源に出現する エンティティ順序と発話文に出現するエンティティ の順序が異なる場合，postfix モデルは正しく書き換 え出来ていない. モデルは"大人"と"500 円"のよう なエンティティの関連付けが出来ていないと言え る. また，知識源に出現するエンティティの順序と モデルの出力に出現するエンティティの順序が同じ であることから，エンティティが出現する順序に注目して対象となるエンティティの書き換えを行って いると考えられる。

baseline では発話文にあるエンティティのみ書き 換えるのに対し， add_unrelated では発話文にある一文を削除して出力する傾向が見られた．モデルは入力にある発話文の一部を削除することを学習したと 考えられる。しかし，無関係な一文に限らず知識源 に則っている一文についても削除するものもある. これらから，発話文の削除とエンティティの書き換 えを行うことで知識源との整合性を取るように学習 したと考えられる. 発話文の削除は無関係な一文に 関わらず，知識源と矛盾，または含意の一文にも行 うことで生成文全体が知識源に則るように文章を生成すると考えられる。

## 4 おわりに

本研究では，特定のエンティティのみを書き換えた データ，無関係な発話を追加したデータなどで構成 される $\mathrm{HE}$ 修正学習データセットを用いて，知識源
を使用する文章生成における HE を修正する postfix モデルの学習を行った.

学習データとは独立に用意したデータセットによ り評価実験を行い，学習時に使用する HE 修正デー タを変えることで HE 修正データに沿ってモデルの 挙動が変化することを示した。また，HE 修正学習 データセットと似たデータがあるにも関わらず HE を修正できない例も存在した.. 今後は, HE 修正学習データセットの基となるデータの収集，書き換え ルールなど作成手法の拡張が必要である。また，拡張した結果モデルの出力が変化し, HE の修正に貢献したかを手法ごとに検証すべきである.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受 けた。

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Ashish Agarwal Clara Fannjiang David Sussillo Katherine Lee, Orhan Firat. Hallucinations in neural machine translation. Accepted in Workshop of Interpretability and Robustness in Audio, Speech, and Language, 2018.

[3] Stephanie Lin, Jacob Hilton, and Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan

Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[5] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6251-6258, Online, November 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Wojciech Kryściński, Bryan McCann, Caiming Xiong, and Richard Socher. Evaluating the factual consistency of abstractive text summarization. arXiv preprint arXiv:1910.12840, 2019.

[8] 大野瞬, 森脇恵太, 杉山弘晃, 酒造正樹, 前田英作. 分類モデル bert による不整合生成文の検出について. "言語処理学会第 28 回年次大会", 2022(発表予定).

[9] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[10] 金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作.知識源と一対多関係を有する対話コーパスによる発話生成. 言語処理学会第 28 回年次大会, 2022(発表予定).

[11] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセッ トと訂正システムの改良. 言語処理学会第 27 回年次大会, 2021.

[12] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[13] Ankur P Parikh, Xuezhi Wang, Sebastian Gehrmann, Manaal Faruqui, Bhuwan Dhingra, Diyi Yang, and Dipanjan Das. Totto: A controlled table-to-text generation dataset. arXiv preprint arXiv:2004.14373, 2020.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 大規模因果関係テキストを用いた反論生成手法

鎌倉 まな ${ }^{1,2}$ 飯田 龍 ${ }^{1,2}$ 呉 鍾勲 ${ }^{1}$ 田仲 正弘 ${ }^{1}$
Julien Kloetzer ${ }^{1}$ 淺尾 仁彦 ${ }^{1}$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人 情報通信研究機構 (NICT)
データ駆動知能システム研究センター (DIRECT)
2 奈良先端科学技術大学院大学 先端科学技術研究科
\{kamana, ryu.iida, rovellia,mtnk, julien, asao, torisawa\}@nict.go.jp

## 概要

議論は他者と意見交換を行い意思決定を行う 重要な手段であり、ユーザと議論する対話システ ム $[1,2,3]$ が研究されてきたが、データ構築の困難 さにより適用できる議論は限定的であった。本研究 では、ブレインストーミングが可能な音声対話シス テムの実現を目指し、Webから 7.9 億件の大規模な 因果関係を表すテキストを、テキスト中の省略を補完しつつ収集し、それを活用することで、ユーザの 多様な主張に反論を出力する手法を提案する。ま た、提案手法が出力した反論を人手で評価した結果 を報告し、今後対処すべき課題について論じる。

## 1 はじめに

議論は日常生活と社会生活において、他者との間 でそれぞれの意見を交換し、集団内でより良い意思決定を行うため重要な手段である。特に、他者の意見に対して反論することで、集団による不適切な意思決定を回避したり、より精密な意思決定を行うこ とが可能になる。例えば、ある人が「リニアが奈良 を通ったらいいよね」と言ったとき、他の人が「で も、リニアが奈良を通ると京都の経済力が落ちるか もしれないよ」と、潜在的リスクを挙げて反論を行 えば、より適切な意見、意思決定につながることが 期待できる。本研究では、Walton [4] が論証スキー ムの一つとして挙げた、ネガティブな帰結からの論証 (Argument from Negative Consequences、ANC) 「も し Aを実行すると、Bが起きる。B は悪い結果であ る。ゆえに、Aを実行すべきでない」をべースとし、大量の Web データから反論となるテキストを見つ け出す手法を開発した。上述のリニアに関する反論 は、Aを「奈良にリニアを通す」、Bを「京都の経済力が落ちる」とすれば、まさにこの ANC の典型例
と言える。反論となるテキスト候補としては、Web から抽出した因果関係知識（例えば、原因文「奈良 にリニアを通す」、帰結文「京都の経済力が落ちる」 のように、因果関係を持つ原因文、帰結文の対）を 7.9 億件用いており、多岐にわたる話題に関して反論テキストを発見することが可能である。

NICT DIRECT では、現在、雑談対話システム WEKDA [5] や介護支援用対話システム MICSUS ${ }^{1 \text { ) }}$ $[6,7]$ の開発を行なっている。これらのシステムは Web 情報を用いて雑談を行うが、本研究で開発した 手法は、そうした雑談に反論を導入し、多様な意思決定に関するブレインストーミングを可能にし、こ れらの対話システムの適用範囲をより広げる狙いが ある。

提案手法では、ユーザの主張が入力されると、因果関係知識のデータベースから、BERT ベースのモ デルを複数個使い、ユーザの主張を含意する／に含意される原因文を持つ因果関係で、帰結文がなんら かのトラブルを表しているものを反論として発見す る。手法の評価のため、「リニアが奈良を通る」のよ うな何らかの出来事、行為、施策を表す主張を 500 件作成し、そのうち提案手法が反論候補を出力でき た 452 件について、著者以外の 3 人の作業者の多数決で、それらの反論候補が本当に反論として成立す るかどうか判定した。各々の主張に対して、トラブ ル認識のスコアの最上位の出力が反論として成立し た割合は $50.0 \% 、 3$ 位まで出力した場合、そのうち のどれかが反論として成立した割合は $79.0 \%$ であっ た。この精度は高くはないが、反論生成に特化した データを使っていない初の試みとしてはまずまずの

1）けいはんな $\mathrm{R \& D} フ ェ ア 2021 「$ 高齢者介護支援マル チモーダル音声対話システム MICSUS」https://keihannafair.jp/exhibition/ai/899、YouTube NICTchannel「高齢者向け マルチモーダル音声対話システム“MICSUS”」 https://www.youtube.com/watch?v=gCUrC3f9-Go
結果であると考えている。本論文の最後で、誤りの 原因も分析し、今後の改善策についても言及する。

## 2 関連研究

これまでもユーザと議論する手法がいくつか研究されてきた。Sakai ら $[8,9]$ は、約 2 千件の主張や 根拠を表す文を支持・不支持関係で結びつけた論証構造を手動で作成し、論証構造に基づいてユーザと 議論する対話システムを提案した。また、Reddit 等 のオンラインディベートフォーラムのデータを用 いて、議論のためのテキストを発見したり、生成し たりする研究もある $[2,10,11]$ 。これらの研究の課題は、まず、議論可能なトピックや反論がディベー トフォーラムのデータや人手で作成したデータに よって強く制約されてしまうことである。また、テ キスト生成を行う手法では、根拠のない議論を行っ てしまう可能性がある。加えて、英語ではディベー トフォーラムが盛んであり、中には支持・不支持等 のタグづけがユーザによってなされているものもあ る一方、日本語ではそこまでデータが集まっておら ず、日本語を対象とするシステムでの活用は難しい という問題がある。一方、我々の手法では、対象が 反論に限定されてはいるが、ディベートフォーラム であるか否かを問わず、非常に大量の Webぺージか ら取得した因果関係テキストを使うため、極めて広範な話題に関して反論を出力でき、また、反論は実際に誰かが Webに書いたテキストを元にしている ため、全く根拠のない反論が出力されるリスクはき わめて小さく、優位性があるものと考えている。

## 3 反論を出力するアルゴリズム

提案手法は、ユーザの主張を表す入力文に対して 反論を出力するが、 4 節で述べる大規模な因果関係 に関する知識ベースと、入力文に関して知識ベース を検索した結果をフィルタリングするための各種分類モデル (4 節で述べる含意等認識器、トラブル 認識器）を利用する。因果関係に関する知識べース は、原因と帰結のぺアがそれぞれ文の形式で（例え ば、原因文「これから導入されるマイナンバーは、国だけではなく、一般企業も給与の支払いなどで 使用する」と帰結文「マイナンバーで情報漏えい が起きるリスクが高い」のように）保持している。 Hashimoto らの研究 [12] と異なり、原因文、帰結文 にはそれぞれ名詞 1 個、述語 1 個といった制限はな く、任意の形態の文が含まれる。手続きとしては、入力文に含まれる内容語 (「プロ野球に FA 制度がある」の「プロ野球」や 「FA 制度」）を原因文に含む因果関係を、Lucene を用いて検索し、次に得ら れた原因文・帰結文ぺアの各々に関して、含意等認識器、トラブル認識器を適用し、1) 入力文と含意 （含意の方向は問わない）もしくは等価であると分類された原因文と 2) トラブルを含むと分類された 帰結文からなるぺアのみを選択し、その帰結文を反論として出力する。なお、評価ではトラブル認識器 の分類スコアが最も高い帰結文を最大で 3 個出力し た。なお、後述するように含意等認識器、トラブル 分類器ともに、BERT ベースの二値分類器であり、入力が含意等の性質を持つ確率を分類スコアとして 出力しているが、その確率が 0.5 を上回るものをそ の性質を持つ入力であるとみなした。本手法が出力 した反論の例を表 1 に示す。

## 4 因果関係獲得と含意等文間関係・ トラブル認識処理

3 節のアルゴリズムで利用する知識の獲得は下記 の手順で行う。まず、Webから収集した 7 文からな るテキストパッセージと、そのパッセージに Oh ら [13] の CRFベースの因果関係抽出手法を適用して得 られる因果関係の候補を表すテキストの原因部分と 帰結部分の単語列を入力とし、さらに高精度な因果関係を抽出するため、BERTで重ねて分類を行った。 この BERT モデルの学習のためにアノテータ 3 名の 多数決を実施し、学習用、開発用、評価用データと して、それぞれ 127,240 事例、20,937 事例、20,954 事例を得た。実際には、呉らの因果関係をさらに、解決法、「〜が起きると、〜の可能性が高くなる」等 いくつかのタイプの因果関係に再分類しており、上記学習データはそれらの再分類された因果関係の タイプに関するアノテーションを含んでいるが、本研究では、先述の「可能性が高くなる」因果関係の みを利用するので他の詳細は割愛する。NICT が収集した大規模 Web テキスト 350GB で事前学習した $\mathrm{BERT}_{\text {large }}$ でファインチューニング2) した結果、評価用データに関する上述の「可能性が高くなる」因果関係に関する自動分類の性能は平均精度で $91.7 \%$ と なった。

上述の手法で抽出された因果関係は、ゼロ照応等 による省略が含まれており、原因文、帰結文それぞ れを単独で読んでも意味が通らないことが多い。こ

表 1 入力と反論の例

のため、省略等が補完され原因文、帰結文それぞれ の単体を読んで内容が理解できるような形式で整形された原因と帰結の文の対を生成する課題を設計し、その処理に必要な判定、生成の学習・評価用 データを作成した。先述の BERT 学習用データの原因部分、帰結部分に各事例 1 名のアノテータが元 パッセージからの省略等の補完や文の整形などを 行う編集作業を実施した。また、省略が補完された 原因文、帰結文アノテーション学習用、開発用、評価用データの件数はそれぞれ他の関係と合わせて 113,486 事例、17,216 事例、17,364 事例である3)。こ れをもちいて、上述の $\mathrm{BERT}_{\text {large }}$ をべースとして、さ らに事前学習を行った Transformer Encoder-Decoder モデルをファインチューニングして生成器を作成 し、この性能は評価データの ROUGE- $1 \mathrm{~F}$ 值で 80.0 \%である。これらの因果関係判定器、生成器を Web 約 200 億ページから得た約 35 億パッセージに適用 し、「可能性が高くなる」関係に関しては約 7.9 億件 の知識を獲得した。

また、含意の認識処理についても、類似する文対 をヒューリスティックに獲得し、それらに対して意味的に等価、含意（含意の方向性として、2つの可能性があるので、2 種類の関係)、(本研究では使用 していないが）矛盾の４つの関係をアノテーション した。 5 万件の事例に対し 3 名のアノテータが独立 に判定を行い、多数決でラベルを決定した。この事例を学習用、開発用、評価用データとして 35,000 事例、5,000 事例、 10,000 事例に分割し、上記の関係判別と同様に $\mathrm{BERT}_{\text {large }}$ をファインチューニングし て実験を行った。この結果、等価、含意 (2 種類)、矛盾の判定性能は評価データの平均精度でそれぞ

3）上述の因果関係の判定アノテーションでは複数の因果関係 のタイプに関して判定を行うため 1 事例に対して複数の正例 が得られる場合もあるが、生成のアノテーションではその個別の正例を 1 事例としてアノテーションを行っているため、上記の判定の事例数とはアノテーションの件数が異なってい る。
れ $88.0 \% 、 87.6 \% 、 88.8 \% 、 55.4 \%$ という結果を得て いる。

また、トラブル認識のためにも学習・評価用デー タを作成した。この作成時には、負担・トラブル表現リスト ${ }^{4 ）}[14]$ と活性・不活性辞書 [15] を組み合わ せ、「結核を患う」のようなトラブル名詞と活性述語テンプレートの組み合わせ、また、「出生率が低下する」のような非トラブル名詞と不活性述語テン プレートの組み合わせをトラブル認識の対象となる 核表現とし、その核表現を含む文をその前後文とと もに Web 文書から 4 万件サンプリングした。 3 名の アノテータが文中の核表現がトラブルを表す内容と して記述されているかを判定し、多数決でラベルを 決定した。ただし、3節で述べた提案手法では帰結文全体を入力してトラブルを含むか否かを判定する 必要があるため、核表現に対するアノテーション結果をその核表現が含まれる文に対するアノテーショ ン結果とみなして学習・評価に利用した ${ }^{5}$ )。上述の 4 万事例を学習用、開発用、評価用としてそれぞれ 28,000 事例、4,000 事例、8,000 事例に分割し、上記 の BERT $_{\text {large }}$ でファインチューニングを行った。こ の結果得られた分類器の性能は、評価用の平均精度 で約 $91.0 \%$ である。

## 5 実験

対話システムにユーザが話しかけるとき「マイナ ンバーで役所の手続きが簡単になるといいね」「小学校でプログラミングが必修になるんだって」のよ うにユーザの主張が明示されないか、間接的な言い 方で示されることが想定される。ここでは問題を単純化するために、「マイナンバーを導入する」「小学校でプログラミングを必修にする」のように、ユー

表 2 評価用主張文 500 件に対する反論候補の評価結果

ザ発話中の出来事を取り出し、賛成と反対の両方の 立場が仮定できるシンプルな主張に書き換え、ユー ザが主張に「賛成」「そう願っている」と仮定する。以下では書き換え後の文をユーザの主張として扱 い、提案手法が出力した反論候補が反論として成立 するかどうか評価する。

より具体的には、雑談のための入力発話として、任意のトピックに関してアノテータが作成したユー ザ入力発話の中から、賛成と反対の両方の立場が仮定できるシンプルな主張に書き換え可能なものを 著者の一人が選び、上記のようにシンプルな主張へ の書き換えを行い、ユーザの主張文とした。ユー ザの主張は、開発用、評価用としてそれぞれ 50 事例、500 事例を用意した。提案手法の適用に際して は、含意等認識を適用する因果関係の候補として、 Lucene の検索結果上位 5,000 件を利用した。また、反論候補が複数得られた場合にはトラブル認識の分類スコアが最も高い反論候補を最大 3 つ出力するこ ととした。評価としては、主張文と反論候補の組を 提示し、主張文の内容に対して「賛成」「そう願う」「よい選択だ」のような立場をある人がとったと仮定した場合に、反論候補がその人に対する反論とな るかどうかを、3名の作業者がそれぞれ独立に判定 し、多数決でラベルを決定する。

## 5.1 実験結果

入力となる主張文、開発用 50 事例、評価用 500 事例のうち、反論が出力できたのはそれぞれ 41 事例、 452 事例であった。評価様主張文の人手評価結果を 表 2 に示す。トラブル認識の分類スコアスコア最上位の反論候補が反論になると判定された場合 (P@1) が $50.0 \%$ 、トラブル認識の分類スコア 3 位までの反論候補に、反論になると判定されたものが含まれる 割合(P@3) が 79.0\%となった。Fleiss の $\kappa$ 値は 0.605 であった。特に分類スコア最上位の場合は高精度と は言えないが、特に反論生成に特化した学習データ を作成していないことを考えると、まずまずの結果 であると考えている。

誤りの原因を探るため、評価用データに対して出力された反論について、トラブル認識の分類が最大 の反論候補のうち、反論ではないと判定された事例表 3 反論として成立しなかった要因（合計 100 件）

の中から 100 件サンプリングし、反論が成り立たな い要因を分析した。その要因の分類と事例数を付録表 3 に示す。主な要因は因果関係が迂遠で分かりづ らいことであった。例えば、主張「ホームドアを設置する」に対する反論「事故が起きる可能性があ る」では、「ホームドアが設置されている駅とされ ていない駅が混在することで視覚障害者が混乱し てしまい事故につながる」といった説明があれば反論として成立すると考えられる。また、含意等判定器、因果関係判定器、生成器にも改善の余地がある ことがわかる。今後は、反論に特化した学習データ を作成するとともに、こうした課題に対処していく 予定である。

## 6 おわりに

本論文では、ユーザのブレインストーミングを助 けより良い意思決定を支援する手法の開発を目指 し、因果関係知識を大規模に獲得し、ユーザに対し て帰結に問題を含む因果関係を用いて、反論として 出力する手法を提案した。提案手法による反論は情報源が Web であるため、信頼性に難があったり意見が偏っていたりするものもあり得るが、今後は、 DISAANA [16] 等のデマ検出技術で培ったテキスト 間の矛盾検知技術 [17] 等も活用し、よりバランスの 取れた反論や、因果関係 [12] の連鎖による推論等 も用いてよりクリエイティブな反論や、ユーザや文脈により適合した反論を提供することを目指す。加 えて、深層学習自動並列化ミドルウェア RaNNC[18] を用いて事前学習したより巨大な言語モデルや、そ もそもアーキテクチャの異なる言語モデル、例えば [19] も用いてさらなる高精度化を図る。また、反論 だけではなく、支持のような議論の他の構成要素も 同様の手法で出力が可能だと考えており、これらも 用いて多様な意思決定に関するブレインストーミン グを可能にする対話システムの実現を目指す。

## 参考文献

[1] Ryuichiro Higashinaka, Kazuki Sakai, Hiroaki Sugiyama, Hiromi Narimatsu, Tsunehiro Arimoto, Kiyoaki Matsui, Takaaki Fukutomi, Yusuke Ijima, Hiroaki Ito, Shoko Araki, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Yoshihiro Matsuo. Argumentative dialogue system based on argumentation structures. In Proceedings of the 21st Workshop on the Semantics and Pragmatics of Dialogue, 2017.

[2] Dieu Thu Le, Cam-Tu Nguyen, and Kim Anh Nguyen. Dave the debater: a retrieval-based and generative argumentative dialogue agent. In Proceedings of the 5th Workshop on Argument Mining, pp. 121-130, 2018.

[3] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy BarHaim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, Liat Ein-Dor, Roni Friedman-Melamed, Assaf Gavron, Ariel Gera, Martin Gleize, Shai Gretz, Dan Gutfreund, Alon Halfon, Daniel Hershcovich, Ron Hoory, Yufang Hou, Shay Hummel, Michal Jacovi, Charles Jochim, Yoav Kantor, Yoav Katz, David Konopnicki, Zvi Kons, Lili Kotlerman, Dalia Krieger, Dan Lahav, Tamar Lavee, Ran Levy, Naftali Liberman, Yosi Mass, Amir Menczel, Shachar Mirkin, Guy Moshkowich, Shila Ofek-Koifman, Matan Orbach, Ella Rabinovich, Ruty Rinott, Slava Shechtman, Dafna Sheinwald, Eyal Shnarch, Ilya Shnayderman, Aya Soffer, Artem Spector, Benjamin Sznajder, Assaf Toledo, Orith Toledo-Ronen, Elad Venezian, and Ranit Aharonov. An autonomous debating system. Nature, Vol. 591, No. 7850, pp. 379-384, 2021.

[4] Douglas Walton, Chris Reed, and Fabrizio Macagno. Argumentation Schemes. Cambridge University Press, 2008.

[5] 水野淳太, クロエツェージュリアン, 田仲正弘, 飯田龍, 吳鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源とする質問応答システム を用いた博学対話システム. 人工知能学会第 84 回言語・音声理解と対話処理研究会, pp. 135-142, 2018.

[6] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 653-661, 2020.

[7] 淺尾仁彦, 水野淳太, 呉鍾勲, Julien Kloetzer, 大竹清敬, 福原裕一, 鎌倉まな, 緒形桂, 鳥澤健太郎. 介護支援対話システムのための意味解釈モジュール. 言語処理学会 発表論文集, 2022.

[8] Kazuki Sakai, Akari Inago, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Creating large-scale argumentation structures for dialogue systems. In Proceedings of the 11th International Conference on Language Resources and Evaluation, 2018.

[9] Kazuki Sakai, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Hierarchical argumentation structure for persuasive argumentative dialogue generation. IEICE Transactions on Information and Systems, Vol. E103.D, No. 2, pp. 424-434, 2020.

[10] Xinyu Hua, Zhe Hu, and Lu Wang. Argument generation with retrieval, planning, and realization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2661-2672, 2019.

[11] Khalid Al Khatib, Lukas Trautner, Henning Wachsmuth, Yufang Hou, and Benno Stein. Employing argumentation knowledge graphs for neural argument generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4744-4754, 2021.

[12] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 987-997, 2014.

[13] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 1733-1743, 2013.

[14] Stijn De Saeger, Kentaro Torisawa, and Jun'ichi Kazama. Looking for trouble. In Proceedings of the 22nd International Conference on Computational Linguistics, $\mathrm{pp}$. 185-192, 2008.

[15] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, 2012.

[16] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016: System Demonstrations, pp. 263-267, 2016.

[17] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, 2013.

[18] 田仲正弘, 田浦健次朗, 塙敏博, 鳥澤健太郎. 自動並列化深層学習ミドルウェア RaNNC. 自然言語処理, Vol. 28, No. 4, pp. 1299-1306, 2021.

[19] Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, and Kentaro Torisawa. BERTAC: Enhancing transformer-based language models with adversarially pretrained convolutional neural networks. In Proceedings of the 59th ACL and the 11th IJCNLP, pp. 2103-2115, 2021.