# Prompt-based Fine-tuning for Emotion Recognition in Conversation

Zikai Chen 鶴岡 慶雅
東京大学大学院
\{chen, tsuruoka\}@logos.t.u-tokyo.ac.jp
}

\begin{abstract}
Emotion Recognition in Conversation (ERC) is an important task in Natural Language Processing. However, few studies on ERC have fully exploited the knowledge within pre-trained language models (PLMs), or investigated ERC in low-resource settings. In this paper, we propose a Prompt-based fine-tuning method for ERC tasks (PERC), which leverages the knowledge of large PLMs to improve the performance of ERC in low-resource settings. We conduct experiments on four widely-used ERC benchmarks and show that our method outperforms or is comparable to current state-of-the-art (SOTA) methods. We also run experiments in the few-shot setting and demonstrate that our method greatly outperforms SOTA baselines.
\end{abstract
## 1 Introduction

Emotion Recognition in Conversation (ERC) is a task aiming at identifying the emotions of each utterance in a dialogue. ERC has garnered growing attention in recent years due to its potential applications in various fields, such as empathetic dialogue systems [1], opinion mining in social media [2], and healthcare [3].

In ERC, the emotions of an utterance are often influenced by the dialogue context. This distinguishes ERC from traditional emotion recognition techniques, which typically operate on individual sentences. Such dependencies can be further classified into two categories: the intra-speaker dependency and the inter-speaker dependency. The intraspeaker dependency refers to the emotion flow within a single speaker, where the current emotion of a speaker may be strongly influenced by his/her previous emotional states. In contrast, the inter-speaker dependency occurs when the emotions of one speaker are affected by other speakers within a conversation. An example of such dependencies can be seen in Figure 1, which shows a dialogue snippet from the MELD [4] dataset.

Figure 1 A dialogue snippet from MELD. Intra- and inter-speaker dependencies are represented by blue and orange arrows, respectively.

In previous literature, there has been significant research modeling both intra-speaker and inter-speaker dependencies in ERC with Recurrent Neural Networks (RNNs), Graph Neural Networks (GNNs), or Transformers $[5,6,7,8,9,10,11,12,13]$. However, there are two main limitations on such research. Firstly, many previous studies rely on Pre-trained Language Models (PLMs) to obtain the embeddings of utterances. Some of them directly use PLMs with frozen parameters, which limits the capability of these models. Others fine-tune PLMs during training, but as fine-tuning introduces extra layers on top of PLMs and has a different objective from the pre-training phase, such fine-tuning is prone to overfit the dataset, and knowledge learned during pre-training is not effectively utilized [14].

Secondly, despite the extensive research on ERC, few studies have focused on low-resource settings. This is a critical issue, as it can be challenging to obtain large
dialogue corpora with well-annotated emotion labels. The ability to perform ERC effectively in a low-resource setting is therefore of great importance.

Recently, prompt-based fine-tuning methods have been proposed for various Natural Language Processing (NLP) tasks $[15,16,17]$. In classification tasks, these methods transform the task into a blank-filling problem and predict the labels using a Masked Language Model (MLM) loss function. This aligns with the MLM pre-training objective of PLMs, allowing for better utilization of the knowledge within these models. Prompt-based fine-tuning methods have also shown excellent performance in few-shot learning settings.

We propose a Prompt-based fine-tuning method for ERC tasks (PERC). Our approach involves designing a template that focuses on both intra- and inter-dependencies in dialogues, and using a simple verbalizer to make the process easy to generalize to different ERC tasks.

We conduct experiments on four widely-used ERC datasets, and the results show that our method can achieve better or comparable performance to current state-of-theart (SOTA) methods. In addition, we evaluate our model in the few-shot setting, and find that it greatly outperforms SOTA baselines.

## 2 Related Works

## 2.1 Emotion Recognition in Conversation

ERC has been intensively studied in recent years. In the relatively early stages, techniques such as GRU and LSTM were commonly used to model dependencies between utterances in a dialogue. For example, Wang et al. [6] used general and personalized LSTMs to capture the dependencies within the dialogue. Ghosal et al. [7] employed GRU and common knowledge to update various types of states representing different aspects of the speakers in a conversation. Hu et al. [8] used different LSTMs to obtain the contextual information on each utterance, and then employed a recursive reasoning module to obtain the final representation.

More recently, GNNs and Transformer-based approaches have gained popularity in ERC. For example, Shen et al. [9] built an acyclic graph network to model dependencies among utterances, and fine-tuned a RoBERTalarge model on ERC datasets to obtain utterance representa- tions. Lee et al. [10] transformed ERC tasks into dialoguebased relation extraction (RE) tasks, and solved these RE tasks with a graph-based network. Liang et al. [11] applied different masks to the sentence-level attention of a Transformer to model various dependencies in a dialogue, and combined this approach with GNNs to model the distance between speakers. Li et al. [12] used a BART-based encoder and used sentence-level attention to model the dependencies. They also combined emotion prediction with contrastive learning and next sentence generation to facilitate training. Lee et al. [5] employed a RoBERTalarge model to encode the entire dialogue context while also maintained a GRU-based memory network for each speaker.

Other tactics that have been proposed for ERC include adding Conditional Random Fields (CRFs) on top of the model layers to faciliate the modeling of the transition of speakers' emotions [6,11], and using common knowledge from an external knowledge base [7, 13].

## 2.2 Prompt-based Fine-tuning

Since GPT-3 [18], prompt-based methods have achieved impressive results on a variety of NLP tasks, particularly in few-shot and even zero-shot settings. However, with no gradient updates, such methods require extremely large model sizes to work well, which is not practical in many real-world scenarios [16]. As an alternative, prompt-based fine-tuning has been proposed. By reformulating various tasks as cloze tasks and use an MLM loss function to finetune the language model (LM), this approach allows for a smooth transition between pre-training and fine-tuning. Additionally, prompt-based fine-tuning does not introduce any new parameters to the model, making it particularly effective in few-shot settings [15, 16, 17]. In this paper, we apply this approach to the task of emotion classification for each utterance in a dialogue.

## 3 Method

## 3.1 Task Definition

In ERC, the dataset $D$ consists of multiple conversations. Each conversation $C$ consists of $n$ utterances $\left.\{u_{1}, u_{2}, \ldots, u_{n}\right.\}$, where each utterance $u_{i}$ is spoken by speaker $s_{i}$ and annotated with an emotion label $y_{i}$ from a pre-defined label set $Y$. In this paper, we consider the

Figure 2 Our proposed prompt template $T$. $x_{i}$ and $u_{i}$ represent speaker $s_{i}$ 's index and utterance, respectively. In the Memory section, the past utterances of $s_{i}$ are denoted as $\left.\{u_{m_{1}}, u_{m_{2}}, \ldots, u_{m_{j}}\right.\}$, where $m_{1}<m_{2}<\cdots<m_{j}=i$.

real-time setting, in which the emotion of an utterance $u_{i}$ is predicted using only the preceding utterances $u_{\leq i}$ and their labels/predictions. This mirrors real-world scenarios, such as emotion prediction in a dialogue system. We only consider the text modal in this paper.

## 3.2 Prompt Template

We propose a Prompt-based fine-tuning approach for ERC tasks (PERC). First we manually design a template function $T$ that maps each utterance (along with its context information) to its corresponding prompt.

To ensure compatibility across datasets that may not include speaker names, we assign each speaker an index. If speaker $s_{i}$ is the $x$-th person to speak in the conversation, we define $x_{i}=x-1$. This always makes $x_{1}=0$. Then in the prompt, we simply refer to speaker $s_{i}$ as Speaker $x_{i}$.

As illustrated in Figure 2, our prompt template $T$ consists of three parts: Context, Memory and Question, separated by $[S E P]$ tokens. The Context section includes all the dialogue history up to the current utterance, $u_{i}$. For each past utterance $u_{k}$, we include Speaker $x_{k}: u_{k}$ in the prompt. We expect the LM to learn the inter-speaker dependencies through the Context section.

The Memory section has the same format as the Context section, but only includes the conversation of current speaker $s_{i}$. We expect the LM to learn intra-speaker de- pendencies through the Memory section.

The final part of the template is the Question section, where the LM is asked to predict the emotion of $s_{i}$ in the utterance $u_{i}$. The format of Question is How is Speaker $x_{i}$ ? [MASK]. Here, Speaker $x_{i}$ appears again to draw the model's attention to the information related to $s_{i}$, and we use a question mark to elicit the answer at the [MASK] position.

## 3.3 Prompt Answer

In the previous literature, researchers often use a verbalizer $V$ to map label categories to prompt answer words/phrases $[15,19]$. Instead of manually design the answer for each label in each dataset, we adopt a simple rule to automatically perform the mapping. For each category label $y$, we define $V(y)$ as the first sub-word in the tokenized, capitalized label. For example, using the RoBERTa-large language model, $V$ (anger) = Anger, while $V$ (sadness) $=$ Sad because "Sadness" is tokenized into Sad and \#\#ness. We capitalize the label word first because we place a question mark immediately before the [MASK] token, and we want the prompt to be more natural language-like.

## 3.4 Training Objective

To fine-tune the model for utterance $u_{i}$ with label $y_{i}$, we maximize the probability of $V\left(y_{i}\right)$ at the [MASK] position with a MLM loss. As there is only one masked position, the MLM loss reduces to a simple cross-entropy loss.

## 4 Full-shot Experiments

## 4.1 Datasets

We evaluate our proposed method on four widelyused benchmark datasets: MELD [4], IEMOCAP [20], EmoryNLP (EMORY) [21], and DailyDialog (DD) [22]. Details of these datasets are in Appendix A. Following previous studies, we report the micro-F1 score (ignoring the neutral label) on DailyDialog, and the weighted-F1 scores on the other datasets.

## 4.2 Results

We conduct full-shot experiments with PERC. Experiment details can be found in Appendix B.1. We compare our results with several SOTA baselines, includ-

Table 1 Full-shot results. Results for ablation studies can be found in the bottom of the table.

ing COSMIC [7], TODKAT [13], DAG-ERC [9], and CoMPM [5].

From Table 1, we see that PERC sets up new SOTA F1 scores on IEMOCAP, EmoryNLP, and DailyDialog. In particular, on IEMOCAP, our performance is 4 points higher than the highest baseline. On MELD, our score is also competitive with the current SOTA, CoMPM.

## 4.3 Ablation Studies

We also conduct ablation studies on our model. We modify the prompt template by removing the Context section (PERC w/o Context) or the Memory section (PERC w/o Memory). We also investigate the impact of model size by replacing the PLM with the RoBERTa-base model.

The result of ablation studies are shown in the bottom of Table 1. In all cases except for PERC w/o Memory on MELD, performances decrease when the corresponding component is removed. Removing the Context section significantly deteriorates the performance on IEMOCAP, indicating the importance of inter-speaker information in this dataset. Removing the Memory section also slightly hurts the performance on all datasets except MELD. The reason why the performance increases on MELD when the Memory section is removed may be that the MELD is taken from the script of the TV show Friends, and a conversation may contain multiple scenes, resulting in incoherence in the same speaker's utterances. As a result, adding the Memory section to the prompt may be ineffective for MELD. As to the model size, decreasing the model size from large to base consistently degrades the performance by 2 to 4 points on all datasets, indicating that the amount of knowledge in the PLM is critical and using a larger model is beneficial.

Table 2 Few-shot results for $K=16$.

## 5 Few-shot Experiments

## 5.1 Few-shot settings

To create a few-shot setting, following Gao et al. [17], we assume that for each class in the dataset, only $K$ instances are available in the train set and the development set, respectively. Each instance consists of an utterance with its speaker information and emotion label annotation, as well as its full context (all preceding utterances and speaker information), but the emotional labels for preceding utterances are not provided.

## 5.2 Results

We use the datasets described in Section 4.1. Experiment details can be found in Appendix B.2. We conduct few-shot experiments with DAG-ERC, CoMPM, and our PERC. The results for $K=16$ are presented in Table 2. Our method achieves significantly better results than the baselines on all datasets.

## 6 Conclusion

In this paper, we proposed a prompt-based fine-tuning method for Emotion Recognition in Conversation. By designing a template that focuses on both intra- and interspeaker dependencies and using a simple verbalizer to map emotional labels to prompt answers, our method is able to achieve better or comparable performance to current state-of-the-art methods on four widely-used datasets. In addition, our method also greatly outperforms baselines in the few-shot setting.

## References

[1] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

[2] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. SemEval-2019 task 3: EmoContext contextual emotion detection in text. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 39-48, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[3] Francisco A. Pujol, Higinio Mora, and Ana Martínez. Emotion recognition to improve e-healthcare systems in smart cities. In Anna Visvizi and Miltiadis D. Lytras, editors, Research \& Innovation Forum 2019, pp. 245-254, Cham, 2019. Springer International Publishing.

[4] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. MELD: A multimodal multi-party dataset for emotion recognition in conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 527-536, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Joosung Lee and Wooin Lee. CoMPM: Context Modeling with Speaker's Pre-trained Memory Tracking for Emotion Recognition in Conversation, April 2022. arXiv:2108.11626 [cs] version: 3.

[6] Yan Wang, Jiayu Zhang, Jun Ma, Shaojun Wang, and Jing Xiao. Contextualized Emotion Recognition in Conversation as Sequence Tagging. p. 10

[7] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion Identification in Conversations, October 2020. arXiv:2010.02795 [cs].

[8] Dou Hu, Lingwei Wei, and Xiaoyong Huai. DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations. arXiv:2106.01978 [cs], June 2021. arXiv: 2106.01978 .

[9] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed Acyclic Graph Network for Conversational Emotion Recognition. arXiv:2105.12907 [cs], September 2021. arXiv: 2105.12907.

[10] Bongseok Lee and Yong Suk Choi. Graph Based Network with Contextualized Representations of Turns in Dialogue. arXiv:2109.04008 [cs], September 2021. arXiv: 2109.04008

[11] Chen Liang, Chong Yang, Jing Xu, Juyang Huang, Yongliang Wang, and Yang Dong. S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation, December 2021. arXiv:2112.12389 [cs, eess].

[12] Shimin Li, Hang Yan, and Xipeng Qiu. Contrast and Generation Make BART a Good Dialogue Emotion Rec- ognizer, January 2022. arXiv:2112.11202 [cs] version: 2.

[13] Lixing Zhu, Gabriele Pergola, Lin Gui, Deyu Zhou, and Yulan He. Topic-Driven and KnowledgeAware Transformer for Dialogue Emotion Detection. arXiv:2106.01071 [cs], June 2021. arXiv: 2106.01071.

[14] Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi Tan, Fei Huang, Luo Si, and Huajun Chen. KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction. In Proceedings of the ACM Web Conference 2022, pp. 2778-2788, April 2022. arXiv:2104.07650 [cs].

[15] Timo Schick and Hinrich Schütze. Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, January 2021. arXiv:2001.07676 [cs].

[16] Timo Schick and Hinrich Schütze. It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners, April 2021. arXiv:2009.07118 [cs].

[17] Tianyu Gao, Adam Fisch, and Danqi Chen. Making Pretrained Language Models Better Few-shot Learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online, August 2021. Association for Computational Linguistics.

[18] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners, July 2020. arXiv:2005.14165 [cs].

[19] Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang. PPT: Pre-trained prompt tuning for few-shot learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8410-8423, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[20] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower Provost, Samuel Kim, Jeannette Chang, Sungbok Lee, and Shrikanth Narayanan. Iemocap: Interactive emotional dyadic motion capture database. Language Resources and Evaluation, Vol. 42, pp. 335-359, 122008.

[21] Sayyed M. Zahiri and Jinho D. Choi. Emotion detection on tv show transcripts with sequence-based convolutional neural networks, 2017.

[22] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. Dailydialog: A manually labelled multiturn dialogue dataset, 2017.

## A Dataset Details

Statistics of MELD, IEMOCAP, EmoryNLP (EMORY), and DailyDialog (DD) are shown in Table 3.

Table 3 Statistics of ERC datasets. Numbers of dialogues (\#Dlg) and utterances (\#Utt) in train/dev/test sets are listed.

MELD: The Multimodal EmotionLines Dataset is a multimodal dataset collected from the TV show Friends. In our experiments, we only use the text modality. 7 emotion labels are included: neutral, joy, surprise, sadness, anger, disgust, and fear.

IEMOCAP: The Interactive Emotional Dyadic Motion Capture is a multimodal dataset collected from a scripted dialogue between two actors. In our experiments, we only use the text modality. It contains 6 emotion labels: neutral, happiness, sadness, anger, frustration, and excitement.

EmoryNLP (EMORY): The EmoryNLP dataset is also collected from the TV show Friends, but it only includes the text modality. The dataset uses a different emotion set: mad, scared, neutral, joyful, sad, peaceful, and powerful.

DailyDialog (DD): The DailyDialog corpus consists of communications from English learners. This dataset includes 7 emotion labels: neutral, happiness, surprise, sadness, anger, disgust, and fear.

## B Experiment Details

## B. 1 Full-shot Experiments

In full-shot experiments, we use the RoBERTa-large as our PLM and $</ s></ s>$ as the [SEP] token accordingly. We use the AdamW optimizer and a linear learning rate schedule strategy, with the maximum learning rate set to 1e-5. We train for 2 to 5 epochs depending on the dataset size and convergence speed, with 1 epoch for warmup. The batch size is 8 , with gradient being accumulated every 4 steps, resulting in an equivalent batch size of 32 . We run the experiment on 3 random seeds and report the average scores.

## B. 2 Few-shot Experiments

For each dataset, we first sample $K$ instances for the train set and the development set for each class, and then run the same training process as in Section B.1. Finally, we evaluate our model on the full test set. Because few-shot training can be unstable, we repeat the sample, training, and evaluation process 5 times and report the average score.

## C Prompt Example

Figure 3 shows an example of the emotion recognition for $u_{4}$ in Figure 1.

Figure 3 A prompt example of the emotion recognition for $u_{4}$ in Figure 1.


# Subspace representation for text classification with limited training data

Erica K. Shimomoto ${ }^{1}$, Edison Marrese-Taylor ${ }^{1}$, Hiroya Takamura ${ }^{1}$ Ichiro Kobayashi $^{1,2}{ }^{1,}$ Yusuke Miyao $^{1,3}$
National Institute of Advanced Industrial Science and Technology ${ }^{1}$
Ochanomizu University $^{2}$, The University of Tokyo ${ }^{3}$
\{kidoshimomoto.e, edison.marrese, takamura.hiroya\}@aist.go.jp
koba@is.ocha.ac.jp, yusuke@is.s.u-tokyo.ac.jp
}

\begin{abstract}
Using large pre-trained language models (PLM), such as BERT, to tackle natural language processing downstream tasks has become a common practice, where it is often necessary to fine-tune the PLM to achieve the best results. However, these PLMs require large training data to fine-tune the desired task properly. To solve this problem, we propose using subspace-based methods to explore the geometrical structure of embeddings extracted from a PLM, effectively performing text classification when limited training data is available. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. While our results are limited to sentiment analysis, they showcase a less data-hungry strategy that could be applied in other limited resource contexts.
\end{abstract
## 1 Introduction

With the development of the transformer architecture [1], it has become a common practice to use pretrained large language models (PLM), such as BERT [2] and GPT3 [3], to tackle downstream tasks in natural language processing.

While there are strategies to use these PLMs without further training, through prompting, and/or training in a parameter-efficient manner by using adapters, fine-tuning these models for the desired task by adding a simple head to the language model is still a standard strategy.

Fine-tuning language models have been shown to lead state-of-the-art results in several downstream tasks in NLP, but struggle to deliver good performance when there is lim- ited training data. Nevertheless, fine-tuning can be tricky as results can highly vary depending on the choice of random seed for hyper-parameter initialization and training data order [4].

In light of this issue, in this paper, we offer a simple alternative to PLM fine-tuning, based on the subspace representation, and demonstrate its effectiveness when there is limited training data in the task of text classification.

Such representation comes from computer vision, based on the empirical evidence that patterns of the same entity (e.g., pictures of the same person) tend to cluster in highdimensional space [5, 6]. Moreover, it has been shown to hold also for traditional word embeddings of texts, being extensively explored in several NLP downstream tasks, such as word compositionality [7], word polysemy [8], text summarization [9], and text classification [10].

In this setting, each text input is represented as a set of embeddings, which are modeled as low-dimensional linear subspaces in a high-dimensional embedding space. When modeled using the principal components analysis (PCA), the subspace compactly represents the distribution of the features in a set based on the directions of the highest variance. This subspace discards irrelevant information, such as noise, while effectively representing variations, making it a powerful tool when there is limited training data.

We extend these studies to showcase the capabilities of the subspace representation when limited training data is available to fine-tune a PLM. We specifically target the task of sentiment analysis, performing tests on the Movie Review and IMDB datasets. We chose these two datasets as they contain samples from the same domain but significantly differ in size. We compared the subspace-based methods' performance to a standard classifier built on top

Figure 1: Process of modeling a text as a subspace. Words from the text are extracted and then translated to word vectors by using a word embedding model. Then, the set of word vectors is modeled as a word subspace by using PCA

of BERT, and our results show that the subspace-based methods using pre-trained BERT embeddings can outperform fine-tuned BERT in a low training data regime.

## 2 Subspace theory overview

In this section, we lay down the foundations of subspace representation and how it is applied to textual data. Then, we discuss the main subspace-based methods used to tackle the text classification task.

## 2.1 Subspace representation for texts

In this formulation, each text is represented by a set of $n$ embedding vectors organized as the columns in an embedding matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of the embedding vectors. This set of vectors is then modeled as a set of basis vectors spanning a linear subspace. To obtain a consistent subspace representation that can be applied to sets of different numbers of embedding vectors, we apply the principal components analysis (PCA) without data-centering.

This representation retains most of the variability of the original embeddings in the set [11,12], and, consequently, can effectively and compactly represent the context of the corresponding text. Each direction given by the basis vectors of this subspace represents the directions with the highest variance of the text embeddings and can be regarded as the main semantic meanings [9].

Figure 1 shows our approach to model a subspace from a text. To model the word subspace for this set of embeddings, we first need to compute the following autocorrelation matrix, $\boldsymbol{R}=\boldsymbol{X} \boldsymbol{X}^{\top}$. The orthonormal basis vectors of the $m$-dimensional subspace $\mathcal{Y}$ are obtained as the eigenvectors with the $m$ largest eigenvalues $\left.\{\lambda_{l}\right.\}_{l=1}^{m}$ of the matrix $\boldsymbol{R}$. The subspace $\mathcal{Y}$ is then represented by the matrix $\boldsymbol{Y} \in \mathbb{R}^{p \times m}$, which has the corresponding orthonormal basis vectors as its column vectors.
For details on choosing the subspace dimension $m$, we refer the readers to the Appendix A. In addition, we will refer to the subspaces by their basis vectors' matrices for simplicity.

## 2.2 Subspace-based methods for text classification

This section discusses the main subspace-based methods used for text classification, specifically for sentiment analysis. We formulate our problem as a single-label classification problem. Given a set of training texts and their respective labels denoted as $\left.\{\left(\boldsymbol{X}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$, where $\boldsymbol{X}_{i} \in \mathbb{R}^{p \times n_{i}}$ are the text's embeddings, $l_{i} \in(1,2)$ is its class label, and $d$ is the number of texts in the dataset; we wish to classify an input text $\boldsymbol{X}_{i n}$ into one of the classes. In the case of sentiment analysis, we consider only two different classes, i.e., positive and negative sentiment.

## 2.2.1 MSM

The application of mutual subspace method (MSM) [13] to text classification comes from the observation that a subspace spanned by important words representing a class, i.e., class subspace, can also be derived from a single text or a combination of all texts in the class. Furthermore, a subspace modeled from a text, i.e., text subspace, that also belongs to this class should be almost the same as the class subspace [10].

Given an input text subspace $\boldsymbol{Y}_{\text {in }} \in \mathbb{R}^{p \times m_{i n}}$ and the $c$-th class subspace $\boldsymbol{Y}_{c} \in \mathbb{R}^{p \times m_{i}}$, we measure their similarity based on their canonical angles [14], computed using the singular value decomposition (SVD) [15].

We first calculate the SVD, $\boldsymbol{Y}_{i n}^{\top} \boldsymbol{Y}_{c}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\top}$, where $\boldsymbol{\Sigma}=$ $\operatorname{diag}\left(\kappa_{1}, \ldots, \kappa_{m_{i n}}\right),\left.\{\kappa_{j}\right.\}_{j=1}^{m_{i n}}$ represents the set of singular values, and $\left(\kappa_{1} \geq \ldots \geq \kappa_{m_{i n}}\right)$. The similarity can then be calculated as $S^{i n, c}(t)=\frac{1}{t} \sum_{j=1}^{t} \kappa_{j}^{2}$, where $1 \leq t \leq m_{i n}$, and is equivalent to taking the average of the squared cosine of $t$ canonical angles. Finally, the input text is assigned to the class with the highest similarity.

## 2.2.2 GSM

The Grassmann Subspace Method (GSM) increases the abstraction level by representing each text subspace $\boldsymbol{Y}$ as a point $\boldsymbol{y}$ on the Grassmann manifold, where each sentiment class can then be modeled by the distribution of the subspaces it contains. Classification is performed by comparing a set of reference points on the Grassmann manifold,

Figure 2: Subspace representation on a Grassmann manifold

modeled as a subspace $\boldsymbol{S}_{c}$, with an input point $\boldsymbol{y}_{i n}$.

The Grassmann manifold $\mathcal{G}(m, p)$ is defined as a set of $m$-dimensional linear subspaces of $\mathbb{R}^{p}[16]$. This manifold can be embedded in a reproducing kernel Hilbert space by using a Grassmann kernel [17]. In this work, we use the projection kernel, $k_{p}\left(\boldsymbol{Y}_{1}, \boldsymbol{Y}_{2}\right)=\frac{1}{m} \sum_{j=1}^{m} \cos ^{2} \theta_{j}$, which is homologous to the subspace similarity.

Then, a text subspace $\boldsymbol{Y}$ can be represented as a point on the Grassmann manifold with regards to a reference subspace dictionary $\left.\{\boldsymbol{Y}_{q}\right.\}_{q=1}^{N}$ as:

$
\begin{aligned}
\boldsymbol{y} & =k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{q}\right) \\
& =\left[k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{1}\right), k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{2}\right), \ldots, k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{N}\right)\right] \in \mathbb{R}^{N}
\end{aligned}
$

Figure 2 shows a conceptual diagram of the subspace representation on a Grassmann manifold. Consider the set of training subspaces $T=\left.\{\left(\boldsymbol{Y}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to the texts in the training set. We obtain a set of points $\left.\{\left(\boldsymbol{y}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to each training text subspace by using equation 1 with respect to $T$. Through the kernel trick using the projection kernel, we now have a set of points on the Grassmann manifold corresponding to each sentiment class. GSM models the sentiment class subspaces $S_{c}$ based on the set of points corresponding to each class.

We measure the similarity between a sentiment class subspace $\boldsymbol{S}_{c}$ and an input point $\boldsymbol{y}_{i n}$ by $S^{i n, c}=\boldsymbol{y}^{\top} \boldsymbol{P}_{c} \boldsymbol{y}$, where $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$ is the projection matrix onto the subspace $S_{c}$.

Although this method is not suitable for tasks with a large number of training samples, due to the kernel matrix calculation, it is very effective to generalize the local distribution of subspaces on the Grassmann manifold when there is limited training data.

## 2.2.3 GOSM

Word embeddings extracted from models trained based on the co-occurrence of words do not necessarily carry sentiment information, i.e., opposite sentiment words might have very close embedding representations because they often occur in the same context. Based on this observation, previous work [10] has shown that using discriminative versions of the subspace-based methods, such as the Grassmann Orthogonal Subspace Method (GOSM), to be effective in solving sentiment analysis.

GOSM applies the whitening process to the sentiment class subspaces $S_{c}$ on the Grassmann manifold, maximizing the distance between them, and alleviating the lack of sentiment information, i.e., it increases the distance between opposite sentiment word embeddings.

First, we need to calculate the whitening matrix $\boldsymbol{O}$. We define their projection matrices as $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$, and then calculate the total projection matrix, $\boldsymbol{G}=\sum_{c=1}^{|C|} \boldsymbol{P}_{c}$, where $|C|$ is the number of classes.

The whitening matrix $\boldsymbol{O}$ can be obtained based on the eigenvalues and eigenvectors of the matrix $\boldsymbol{G} \in \mathbb{R}^{v \times p}$ as $\boldsymbol{O}=\mathbf{\Lambda}^{-1 / 2} \boldsymbol{E}^{\top}$, where $v=|C| \times m, \boldsymbol{\Lambda} \in \mathbb{R}^{v \times v}$ is the diagonal matrix with the $j$-th highest eigenvalue of the matrix $G$ as the $j$-th diagonal component, and $\boldsymbol{E} \in \mathbb{R}^{p \times v}$ is a matrix whose $j$-th column vector is the eigenvector of $\boldsymbol{G}$ corresponding to the $j$-th highest eigenvalue.

Classification under this framework is very similar to GSM; however, we compute a whitening transformation matrix during the training stage. In the classification stage, we first apply this whitening transformation to all reference subspaces $\boldsymbol{S}_{c}$ and input point $\boldsymbol{y}_{\text {in }}$ following:

$
\begin{aligned}
S_{c}^{o} & =O S_{c} \\
\boldsymbol{y}_{i n}^{o} & =O \boldsymbol{y}_{i n}
\end{aligned}
$

Then, classification follows as described in GSM.

## 3 Experiments and Results

In this section, we describe the experiments performed to assess the effectiveness of the discussed subspace-based methods in low training data regimes and compare them against a transformer-based language model using full finetuning. More specifically, we compare against BERT [2], using the HuggingFace library [18] implementation and the "bert-base-uncased" pre-trained model.

In our experiments, we used two different datasets:
- Movie review (MR) dataset $\mathbf{\text { 2.0 }}{ }^{1)}$, proposed by [19], containing 2000 reviews extracted from the IMDB website, with 1000 positive sentiment review, and 1000 negative sentiment reviews.
- IMDB dataset ${ }^{2)}$, proposed by [20], containing 50000 reviews also extracted from the IMDB website, where half of the reviews express positive sentiment, and half express negative sentiment.

We specifically chose these two datasets because they contain samples from the same domain but significantly differ in size. For both datasets, we used the standard traintest sets.

Classification using subspaces followed the methods explained in Section 2.2. When using BERT, we added a classification head that consists of a linear layer on top of the pooled output. We will refer to this method as "standard" as this is one of the standard ways to perform classification when using BERT ${ }^{3}$.

While there are several ways to extract embeddings from BERT, in our experiments, we considered the following: Given a text $t$ with $n$ tokens ${ }^{4}$, we extracted $n$ embeddings. For each token, we considered the sum of the token's representation taken from the last four layers in BERT. Therefore, each text can be represented as a matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of BERT's hidden layers (i.e., 768).

We first compared their performances on the larger IMDB dataset. Due to this dataset's size, we did not test the Grassmann variations of the subspace-based methods.

Results are shown in Table 1. When using the pretrained BERT, we can see that although the standard classifier can perform relatively well, MSM could outperform it. However, once we fine-tune BERT, the standard classifier achieves the best performance, although the difference with MSM is smaller than with pre-trained BERT. These results indicate that the subspace-based methods can be helpful when fine-tuning is not feasible.

We then assessed their performance in the smaller MR dataset. Results are shown in Table 2. We can see that without fine-tuning, the standard classifier performs poorly. On the other hand, MSM shows a performance consistent with the IMDB dataset. Furthermore, we can see results further

Table 1: Results on the IMDB dataset, comparing the MSM with standard classifier when using pre-trained BERT and fine-tuned BERT on the IMDB training set

Table 2: Results on the Movie Review dataset, comparing the subspace-based methods with the standard classifier when using pre-trained BERT and fine-tuned BERT on the MR and IMDB training set

improve with GSM and GOSM.

In addition, we can observe that when we fine-tune BERT on the MR dataset, the standard classifier's performance significantly improves; However, we can see it achieves about the same performance as GSM with pretrained BERT embeddings. Fine-tuning BERT on IMDB helps improve its performance on the MR dataset, but it is still far below the performance it achieved for IMDB.

## 4 Conclusions

We presented a subspace-based alternative for finetuning large transformer language models when there is limited training data for text classification. When modeled using PCA, the subspace representation can compactly represent the distribution of the features in a set, making it a powerful tool in low training data regimes. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. Although limited, our results show that subspace-based methods can offer an effective alternative for fine-tuning in text classification.

## Acknowledgments

This paper is based on results obtained from the project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877-1901, 2020.

[4] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020.

[5] Satosi Watanabe and Nikhil Pakvasa. Subspace method of pattern recognition. In Proc. 1st. IJCPR, pages 25-32, 1973.

[6] Taizo Iijima, Hiroshi Genchi, and Ken-ichi Mori. A theory of character recognition by pattern matching method. In Learning systems and intelligent robots, pages 437-450. Springer, 1974.

[7] Hongyu Gong, Suma Bhat, and Pramod Viswanath. Geometry of compositionality. In Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[8] Jiaqi Mu, Suma Pallathadka Bhat, and Pramod Viswanath. Geometry of polysemy. In 5th International Conference on Learning Representations, ICLR 2017, 2019.

[9] Hongyu Gong, Tarek Sakakini, Suma Bhat, and JinJun Xiong. Document similarity for texts of varying lengths via hidden topics. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2341-2351, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Erica K Shimomoto, François Portet, and Kazuhiro Fukui. Text classification based on the word subspace representation. Pattern Analysis and Applications, 24(3):1075-1093, 2021.

[11] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Represent- ing sentences as low-rank subspaces. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 629-634, 2017.

[12] Erica K Shimomoto, Lincon S Souza, Bernardo B Gatto, and Kazuhiro Fukui. Text classification based on word subspace with term-frequency. In 2018 International Joint Conference on Neural Networks (IJCNN), pages 1-8. IEEE, 2018.

[13] Kazuhiro Fukui and Atsuto Maki. Difference subspace and its generalization for subspace-based methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(11):2164-2177, 2015.

[14] Françoise Chatelin. Eigenvalues of Matrices: Revised Edition. SIAM, 2012.

[15] Kazuhiro Fukui and Osamu Yamaguchi. Face recognition using multi-viewpoint patterns for robot vision. Robotics Research, The Eleventh International Symposium, ISRR, pages 192-201, 2005.

[16] Yasuko Chikuse. Statistics on special manifolds. Springer, Lecture. Notes in Statistics, 174, 2013.

[17] Jihun Hamm and Daniel D Lee. Grassmann discriminant analysis: a unifying view on subspace-based learning. In Proceedings of the 25th international conference on Machine learning, pages 376-383. ACM, 2008.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pages 38-45, 2020.

[19] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. In Proceedings of the 42nd annual meeting on Association for Computational Linguistics, page 271. Association for Computational Linguistics, 2004.

[20] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pages 142-150, 2011.

## A Subspace dimension

In general, the dimension $m$ of each subspace is empirically determined. For sentences, about four dimensions should suffice to retain most of the sentence embeddings' variance [11]. However, for texts or sets of texts, more dimensions will likely be necessary. The amount of variance retained by the basis vectors of the subspace can be determined by using the cumulative contribution rate $\mu(m)$. Considering that we want to keep a minimum of $\mu_{\text {min }}$ of the text variance, we can determine $m$ by ensuring that $\mu(m)_{d} \geq \mu_{\text {min }}$, where:

$
\mu(m)_{d}=\frac{\sum_{l=1}^{m}\left(\lambda_{l}\right)}{\sum_{l=1}^{p}\left(\lambda_{l}\right)} .
$


# 経験に基づく知識の想起・深化を行う 対話システムの開発に向けたコーパスの構築

渡邊 寛大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト
watanabe.kanta.wm7@is.naist.jp,
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

対話システムが人間社会で活用されるには，高い 信頼性と長期的な関係性を築くための記憶・学習能力が必要である. 具体的には，複数回行われる対話 の中で以前の対話を記憶・利用し，またそこに出現 するキーワードなどから自身の知識を深めて次回以降の対話に活用できる機能が必要である. 本研究で はこうした対話モデルを構築することを指向して，過去の対話セッションとそれに紐づけられた外部 データベースを考慮した雑談対話コーパスを収集 し，分析した.

## 1 はじめに

自然言語を用いて人間と対話をする対話システム は，医療や教育，生活支援をはじめとした様々な分野で注目され $[1,2,3]$, 研究開発が活発に行われてい る. 一方で，実際に活用されるために改善すべき課題は依然として存在する。例えば，現在の対話シス テムの多くは，単一セッションで毎回異なる話者と 初対面の対話を行うことを想定している。しかし，医療であれば患者，教育であれば生徒，生活支援で あれば持ち主のように，長期間に渡って特定のユー ザと対話し，過去の対話内容を想起・活用し，そこ から学習する能力が必要となる. こうした場合，対話者が人間であれば，複数回行われる対話（過去の 対話セッション）の中で行われた対話を記憶・利用 し，またそこに出現するキーワードなどから，自身 の知識を深めて次回以降の対話に活用することが できる. 対話システムもこのように，対話履歴（経験）から知識を想起・深化して次回以降の対話で活用することが望まれる. 対話システムがこのような 経験に基づく知識の想起・深化・活用を行うこと

$
\begin{aligned}
& \text { Apprenticeは過去の対話セッションの内容を基に、 } \\
& \text { 外部データベースを用いてさらに学習 }
\end{aligned}
$

図 1 本研究で想定する対話システムの概要

で，信頼関係の構築や，経験や知識の再検討による 自己成長・自己理解・相互理解が可能となる. 長期間に渡って特定のユーザと対話を行う対話システム を構築しょうとする場合，こうした機能は必要不可久である.

本研究では，過去の対話セッションに基づいて知識を想起し，外部データベースを用いて知識の深化 を行い対話に活用する対話システムの開発を目指す (図 1).その第一段階として, 過去の対話セッショ ンとそれに紐づけられた外部データベースを考慮し た雑談対話コーパスを構築し，分析した。結果とし て，考案した設定により目的に沿った対話を収集可能であることが確認できた。

## 2 関連研究

対話システムによる知識の想起やモデルの更新に 関わる研究として，外部知識を対話システムの応答生成に組み込んだ研究 $[4,5,6]$ や特定ユーザとの長期的な対話に焦点を当てた研究 $[7,8,9]$ が存在する.本節では, これらの研究と本研究の違いについて説明する。

## 2.1 外部知識に基づく応答生成

Dinan ら [4] は，応答に必要な外部知識を選択し，選択した外部知識に紐づいた応答を生成する対話応答生成モデルを提案した. また，このモデルを 実際に学習・評価するために, Wikipedia の知識に 基づくオープンドメインの対話の大規模なコー パスである Wizard of Wikipediaを収集してモデル を構築・評価した. Komeili ら [5] は，対話文脈か ら生成したクエリでインターネット検索を行い， その結果を知識として利用して応答を生成する 対話応答生成モデルを提案した. Shuster ら [6] は, neural-retrieval-in-the-loop 構造を知識ベース対話に利用して，会話能力を維持したまま知識を最大化する モデルを構築・評価した. これらの研究では, 過去数ターンの発話から外部知識を検索して応答生成 に使用する.これに対して本研究では, 過去の対話 セッションから知識を想起し, 外部のデータベース から知識の深化を行い，それによってモデルが動的 に変化する対話モデルを構築することを指向する.

## 2.2 長期間の文脈を考慮した応答生成

Xu ら [7] は，過去の対話セッションの要約が注釈されたマルチセッション対話のデータセット Multi-Session Chat を収集し，過去の対話セッション を要約して応答生成に使用するモデルを構築した。 $\mathrm{Xu}$ ら [8] は, ユーザとシステム双方のペルソナ情報（テキストで記述された個人の情報）を過去セッ ションの対話履歴から抽出・更新・参照し, 応答を 生成する対話応答生成モデルを提案した．Bae ら [9] は，ペルソナ同士が矛盾を生まないように情報を動的に更新する手法を提案した. これらの研究では応答生成に過去セッションの対話履歴の一部や要約 を考慮するが，本研究では過去の対話セッションの 考慮に加えて, 過去の対話セッションに基づいて知識を想起し, 外部のデータベースから知識を深化し て対話システムの応答生成に活用することを指向 する.

## 3 知識の想起・深化を伴う対話コーパス

ここまでの説明のように，本研究では過去の対話 セッションが存在する状況で，その対話セッション に基づく知識の想起と外部データベースを用いた知識の深化から対話モデルを更新するような対話シス テムの構築を目的としている。このため，まずは知識の想起・深化を行うシステム役を人間が行った場合の対話を収集して分析する。この節では収集にお ける具体的な対話タスクの設定と，その収集方法の 詳細について述べる。

## 3.1 タスク設定

本研究では, 過去の経験（過去の対話セッション） に基づいて知識を想起して，外部データベースを用 いて深化し，次回の対話に活用した対話コーパスを 構築した. 過去の対話セッションとしては Wizard of Wikipedia データセット [4]を日本語訳したもの，外部データベースには Wikipediaを使用した. Wizard of Wikipedia では知識を伝える Wizard と知識につい て尋ねる Apprentice という役割分担で対話が行わ れ，Wizard 側のシステムを構築することが行われ てきた. 今回は我々の目的である経験に基づく知識 の想起・深化を行う様子を収録するため, Apprentice 側が過去の対話セッションに基づいて自主学習を行 うシステムという想定で対話収集を行った．具体的 には, 過去の対話セッションで Wizard から与えら れた知識を Apprenticeがより深く学習してきたとい う設定で行った. Wizard of Wikipedia の設定と対比 させた本研究での設定は以下の通りである.

## 3.1.1 Wizard of Wikipedia の役割設定

Apprentice 会話の各段階で, Apprentice はWizard に自由に話しかけ，好奇心旺盛な学習者の役を演 じ，おしゃべりに熱中する。目標は，自分自身や相手が興味を持っている選ばれたトピックについて，会話を魅力的で楽しいものにしながら，深く掘り下 げていくことである.

Wizard Wizard は情報検索システムにアクセス し, Wikipedia から会話に関連しそうなパラグラフ を見ることができる．会話の順番が回ってくる前 に，これらのパラグラフを読み，観察された知識に 基づいて次の返答をすることが可能である.

## 3.1.2 本研究の役割設定

本研究では， Wizard of Wikipedia から以下のよう にそれぞれの役割の設定を更新している。

Apprentice 前回教えてもらったことに対して，新たに学んできたことをWizard に提示して, さら に議論を深めるのが目的である. Apprentice は過去 の対話セッションとそれに紐づけされた Wikipedia の記事をもとに知識を深化した発話を行う。
表 1 各コーパスの統計情報と語彙的特徴

表 2 役割ごとの統計情報と語彙的特徴

Wizard Wizard は前回の対話で自身の知識を Apprentice に与えている. 今回は Apprentice が学習 してきたことを深掘りして，さらに議論を深めるこ とがが目的である.

## 3.2 収集方法

収集の方法には，テキストチャットを用いた。対話の収集は，日本語を母国語とする 3 名（Wizard 役 1 名, Apprentice 役 2名）の作業者によって行った.自然な対話を意識すること，過去の対話セッション とつじつまが合うこと，話し方を統一するため丁寧語で会話すること，想起対象である過去の対話セッ ションに紐づけられた Wikipedia の記事の情報をで きるだけ発話に使用することを指示した。

## 3.2.1 実験の手順

1. 二人の作業者に役割 (Apprentice 役と Wizard 役）を与える.

2. 過去の対話セッションをお互い確認する.

3. Apprentice 役は記事を使用して知識を深めた対話の内容を考える. 過去セッションの各単語に Wikipedia の見出し語へのリンクが付与されて おり, Apprentice 役も Wizard 役も自由に記事の 内容を参照できる.

4. Apprentice 役から Wizard 役に「実験開始」の文字列を送信すると，実験が開始される。

5. Wizard 役が最初の発話を送信する。

6. 記事及び Wizard 役からの発話を考慮して, Apprentice 役が応答を送信する.

7. 応答の際に使用した知識が記載されているパラ
グラフのタイトルをスプレッドシートに記入 する.

8. 応答の際に焦点を当てた過去の対話セッション の発話をスプレッドシートに記入する。

9. 5-8 の手順を合計 20 ターン行う.

## 3.3 対話行為ラベルの付与

収集した発話と過去の対話セッションを句点ごと 分割し, 対話行為ラベルを付与した. 対話行為ラベ ルの定義には, ISO 24617-2 に基づいて Informationseeking, Information-providing, Commissives, Directives を使用した [10].これらの対話行為のいずれにも属 さない場合は Others とした.

## Information-seeking（IS）

話し手が聞き手から特定の情報を得ることを目的 とする機能。(例：質問)

## Information-providing (IP)

話し手が聞き手に特定の情報を知らせることを目的とする機能. (例 : 応答，賛成，不賛成）

## Commissives (CM)

話し手が特定の行為を行うために自分自身の行為 を聞き手に委ねることを目的とする機能.（例：依頼，約束，指示機能への承諾）

## Directives (DR)

話し手が聞き手に特定の行為を行わせることを目的とする機能. (例 : 指示，要求，提案）

## 4 分析

知識の想起・深化を伴う対話コーパス（今回の対話セッション）と過去の対話セッションの統計を表

1,2 に，実際の収集データの例を付録 $\mathrm{A}$ に示す. 語彙的特徴については，各コーパスの基本的な統計情報に加えて，表層上の語彙の多様性を Herdan の $C$ [11,12] を用いて算出した. この指標は, 総トーク ン数 $N$ と語彙数 $V$ を用いて次のように表される.

$
C=\frac{\log V}{\log N}
$

## 4.1 語彙多様性

語彙の多様性を表す $C$ の値は，過去の対話セッ ションよりも知識の想起・深化を伴う対話コーパス の方がやや大きかった. このことから, 知識の想起・深化を伴う対話コーパスには過去の対話セッ ションよりも多様な語彙が含まれていることが分か る. また, 役割ごとの分析でも, Apprentice の $C$ の 值は過去の対話セッションと比べて大幅に向上して いる.このことから, 過去の対話セッションから知識を想起し，外部データベースを用いて知識の深化 を行い，次の対話に活用する対話設定は，語彙の多様性の向上に寄与すると考えられる.

## 4.2 対話行為

役割設定を更新したことで，Apprentice と Wizard の対話行為ラベルの分布傾向が逆転した. 知識の想起・深化を伴う対話コーパスの各発話の対話行為と して Apprentice 役からは Information-seeking が高い 割合 $(90.4 \%)$ で使用されたことが分かった。また， Apprentice 役は過去の対話セッションに紐づけられ た Wikipedia の記事の情報を利用した発話を，全体 の $84.0 \%$ 行っていた. この結果から, 過去の経験に 基づく知識の想起・深化を活用した発話を含む対話収録として，おおむね適切な設定ができたと考えら れる. しかし, 今回用いた Wizard 役が知識の深堀 りに特に協力的であったことがこれらのスコアに大 きく影響を与えた可能性も考えられる. 雑談の中で 自然に知識の深堀りを行ってもらうために，今後は Wizard 役をもう少し自由な設定にして収集を行う必要がある.

## 4.3 使用記事

知識の想起を伴う対話コーパスの 1 対話あたりの 平均使用記事数は 2.6, 1 記事による最大持続ターン 平均は 12.2 であった. つまり, 20 ターンの対話に

表 3 各対話行為の割合 [\%] 1)

おいては多くの場合, 複数の話題が現れ, 話題の切 り替わりが生じるような対話データが収集された。

## 4.4 対話パターン

今回は話し始めを Wizard 役で固定していたため,同じような発話が多くなり，話の展開が Wizard 役主導になることが多いという問題があった. 発話の 多様性と Apprentice 役主導の展開の対話を収集する ため，話し始めが Apprentice 役の対話パターンも今後検討する必要がある.

さらに，Wizard 役の個性に関わらず雑談の中で自然に知識の深堀りを行う対話を収録する必要もあ る. そのため, Wizard 役に深堀りを行う設定を与え る場合と与えない場合についても比較の検討の余地 がある.

## 5 おわりに

本研究では，経験に基づいて知識を想起し，外部 データベースを用いて知識の深化を行い対話に活用する対話システムの開発を目的として，知識の想起・深化を伴う対話コーパスを構築した. 構築した コーパスを分析した結果，今回の対話収集設定はお おむね目的に沿った対話が収集可能であることが 確認できた．今後の方針としては，データ規模の拡大，構築した対話コーパスを活用した対話システム の構築に取り組む．具体的には，焦点を当てるべ き過去の対話セッションの発話・知識を検索する モデル, Wikipedia の記事から知識を深化するモデ ル，構築したコーパスで Finetuningを行った言語モ デル，以上を組み合わせた対話システムの構築に取 り組む。

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受 けた.

## 参考文献

[1] Guangtao Zeng, Wenmian Yang, Zeqian Ju, Yue Yang, Sicheng Wang, Ruisi Zhang, Meng Zhou, Jiaqi Zeng, Xiangyu Dong, Ruoyu Zhang, Hongchao Fang, Penghui Zhu, Shu Chen, and Pengtao Xie. MedDialog: Large-scale medical dialogue datasets. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9241-9250, Online, November 2020 .

[2] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, Los Angeles, September 2016.

[3] Eugene Agichtein, Yoelle Maarek, and Oleg Rokhlenko. Alexa prize taskbot challenge. In Alexa Prize TaskBot Challenge Proceedings, 2022.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019 .

[5] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8460-8478, Dublin, Ireland, May 2022.

[6] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 37843803, Punta Cana, Dominican Republic, November 2021.

[7] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022.

[8] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022.

[9] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022.

[10] Harry Bunt, Jan Alexandersson, Jean Carletta, Jae-Woong Choe, Alex Chengyu Fang, Koiti Hasida, Kiyong Lee, Volha Petukhova, Andrei Popescu-Belis, Laurent Romary, Claudia Soria, and David Traum. Towards an ISO standard for dialogue act annotation. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010.

[11] G. Herdan. Type-token Mathematics. Janua linguarum, Studia memoriae Nicolai van Wijk dedicata. Series maior, 4. Mouton, 1960.

[12] G. Herdan. Quantitative Linguistics. Butterworths, 1964.

## A 収集データの例2)

## A. 1 過去の対話セッション

表 4 過去の対話セッションの例

A. 2 知識の想起・深化を伴う対話コーパス

表 6 発話に使用された知識と焦点を当てた過去の対話セッションの発話の例

2) A : Apprentice 役 W: Wizard 役


# A Study on Subjectivity-oriented Polarity Classification

Na Dong Kiyoaki Shirai
Japan Advanced Institute of Science and Technology
\{s2010417,kshirai\}@jaist.ac.jp
}

\begin{abstract}
This paper presents two methods of document-level polarity classification that consider the subjectivity of sentences, which is based on the idea that subjective sentences in a document play a more important role than objective sentences. The first method determines the polarity of a document by weighted voting of the polarity of sentences in it, where the weights are defined as the intensity of the subjectivity. The second method utilizes pre-trained language models such as BERT and XLNet after objective sentences are filtered out. The effectiveness of these two methods is empirically evaluated on two datasets.
\end{abstract
## 1 Introduction

Polarity classification, which is a kind of sentiment analysis (SA), is a task to classify a given text into polarity, i.e. to judge whether a text expresses positive or negative opinions [1]. A text for polarity classification can be a document, sentence, or aspect, but this study focuses on document-level polarity classification. A typical example is the classification of the polarity of user reviews.

In general, there are two kinds of sentences in user reviews. One is a subjective sentence that expresses the writer's emotion or opinion, the other is an objective sentence that refers to objective facts. Intuitively, subjective sentences play a more important role than objective sentences in polarity classification. It would be helpful to filter out objective sentences or put more priority on subjective sentences in order to improve the performance of polarity classification. Subjectivity is also considered in past studies of SA, such as a subjectivity classification task, but it is not paid much attention in polarity classification.

The goal of this study is to propose two methods of document-level polarity classification that heavily considers the subjectivity of the sentences. One is an approach to determine the polarity of an overall document by vot- ing of the polarity of sentences in it where the polarity of the subjective sentences are highly weighted. The other is an approach to use pre-trained language models such as BERT[2] and XLNet[3] with filtering of the objective sentences.

## 2 Related work

The subjectivity of the sentences has been considered in polarity classification in a few previous studies. Pang and Lee proposed a method to extract only subjective sentences from a document by using a minimum cut framework, then classify the polarity of the extracted document by naive Bayes model [4]. Their results of experiments demonstrated that the document consisting of only subjective sentences was not only shorter but also more effective than the original document, namely the accuracy of the polarity classification was significantly improved. Sindhu et al. proposed a similar method consisting of subjectivity classification and polarity classification [5]. The subjectivity classification was performed to filter out objective sentences, then the polarity classification was carried out using only subjective sentences. The subjectivity was also considered in a wide variety of sentiment analysis, e.g. extraction of aspect and opinion words. Kamal proposed a method to extract pairs of features (aspects) and opinions by combining supervised machine learning and rule-based approaches [6]. The subjectivity of sentences in texts is classified first, then feature-opinion pairs are mined from only the subjective sentences by a rule-based method.

This study shared the basic idea with Pang's and Sindhu's methods: subjective sentences are more important in polarity classification. Although the objective sentences are just ignored in their methods, we suppose that the objective sentences have less but also useful information for polarity classification. Therefore, this study investigates the way to use both subjective and objective sentences with priority on the former.

Figure 1 Overview of subjectivity weighted voting

Recently, BERT has been applied for many tasks of natural language processing (NLP) and often achieved stateof-the-art results. Inspired by the success of pre-trained language models, Pota et al. proposed a two-step approach for polarity classification of tweets posted on Twitter [7]. First, tweets including special tokens of Twitter were converted into plain texts using a language-independent or easily adaptable process for different languages. Second, the polarity of the converted tweets was classified using the language model BERT. This paper also explores how to use pre-trained language models. Furthermore, we investigate how subjective and objective sentences can be handled to improve the performance of polarity classification by language models.

## 3 Proposed method

This section explains the details of two proposed subjectivity-oriented polarity classification methods.

## 3.1 Polarity Classification by Subjectivity Weighted Voting

Our first method classifies the polarity of a given document by voting of the polarity of each sentence where the subjective sentences are more heavily considered. The overview of this method is shown in Figure1. It is implemented by the following steps.

1. Data preprocessing. Tokenization, lemmatization, and removing stop words are performed as preprocessing.

2. Polarity classification of each sentence. For each sentence in a review, the polarity of it is classified by the supervised machine learning model.

3. Subjectivity classification of each sentence. For each sentence, a subjectivity score, i.e. intensity of the subjectivity, is calculated by the supervised machine learning model.
4. Voting. The polarity of the overall review is determined by the weighted voting of the polarity classes of the sentences, where the weight is defined as the subjectivity score of each sentence.

Since our goal is document-level polarity classification, we suppose that a collection of documents (reviews) annotated with their polarity is available as the training data. In the step 2, to train the sentence-level polarity classifier, we automatically assign the same polarity label for each sentence as that of the review. That is, all sentences in a positive (or negative) review are classified as positive (or negative) sentences. Then the sentence-level polarity classifier ("Pol-CL" in Figure 1) is trained from this dataset.

In the step 3, we suppose that a dataset of sentences annotated with the subjectivity labels ("subjective" or "objective") is available. The subjectivity classifier ("Sub-CL" in Figure 1) is trained from the subjectivity dataset. Then, the probability of the classification predicted by the classifier is used as the subjectivity score of the sentence.

An illustrative example of this method is shown in Figure 2. The example review, whose gold label is "positive", consists of five sentences. The simple voting wrongly classifies it as "negative", since the number of negative sentences is more than that of the positive sentences. On the other hand, the proposed method classifies it as "positive", since the sum of the subjectivity score for positive sentences is greater than that of negative sentences.

 & positive & 0.647 \\

everybody.

Simple voting:

Count $_{\text {pos }}=2<$ Count $_{\text {neg }}=3 \Rightarrow$ negative

Proposed method:

Score $_{\text {pos }}=1.429>$ Score $_{\text {neg }}=1.263 \Rightarrow$ positive

Figure 2 Example of polarity classification

## 3.2 Polarity Classification by Pre-trained Language Model with Subjectivity Filtering

Our second method mainly relies on the pre-trained language model. We use two common language models: BERT and XLNet. In addition, we incorporate a filtering mechanism to use only subjective sentences for polarity classification. The document-level polarity classifier is trained by the following steps.

1. Data preprocessing. It is the same as the one in Subsection 3.1.

2. Subjectivity filtering. Each sentence is classified whether it is subjective or objective. Then the objective sentences are discarded and only subjective sentences are retained. We call a set of remaining subjective sentences as "pseudo review".

3. Fine-tuning. Using the pseudo reviews as the training data, we fine-tune BERT or XLNet model. Although the pseudo review consists of several sentences, we treat it as a single sentence.

In the test phase, an input pseudo review is obtained by the same preprocessing and filtering, or the original review is just used as an input. Then, the polarity is classified by the fine-tuned BERT or XLNet.

## 4 Evaluation

This section reports several experiments for the evaluation of our proposed methods.

## 4.1 Dataset

The following two datasets are used for the experiments.

IMDB Review Dataset IMDB Review Dataset [8] is a collection of 50,000 movie reviews. Each review is annotated with binary polarity labels: positive or negative. In this experiment, $25 \mathrm{~K}$ reviews are used as the training data, while the rest of $25 \mathrm{~K}$ reviews are used as the test data.

Amazon review dataset Amazon review dataset [9] is a collection of user reviews posted to the EC website Amazon. There are 35 million reviews for 18 years, up to March 2013. Each data includes a product name, user information, a rating, and a user review as plain text. The reviews with rating 4 or 5 are used as positive reviews, while 1 or 2 as negative reviews. We use the same number of reviews as the IMDB dataset, i.e. we randomly choose $25 \mathrm{~K}$ reviews as the training data and another $25 \mathrm{~K}$ reviews as the test data.

Besides, the following dataset is used to train the subjectivity classifier.

Subjectivity datasets Subjectivity datasets [10] include 5,000 subjective sentences excerpted from the movie review website and 5,000 objective sentences excerpted from IMDB plot summaries. Each line in the file of this dataset corresponds to a single sentence or snippet, and all sentences or snippets are downcased. Only sentences or snippets containing at least 10 tokens were included. The subjectivity labels of the sentences and snippets were automatically assigned.

Note that the subjectivity classifier trained from this dataset is used for the polarity classification in the aforementioned two polarity datasets. The domain of the IMDB dataset is the same as the subjectivity dataset (i.e. the movie review), but that of the Amazon dataset is different. It may degrade the classification performance on the Amazon dataset.

## 4.2 Result

## 4.2.1 Result of Subjectivity Classification

First, we analyze the performance of subjectivity classification. Three classifiers are compared: Support Vector Machine (SVM) using bag-of-words features, BERT and XLNet. Table 1 shows the accuracy of these classifiers ${ }^{1)}$. It is found that XLNet performs the best and its accuracy is 0.96. In the rest of the experiments, this XLNet model is used as the subjectivity classifier.

Table 1 Accuracy of subjectivity classification

## 4.2.2 Results of Subjectivity Weighted Voting

We evaluate the method using the subjectivity weighted voting explained in Subsection 3.1. Our method "Weighted Voting" is compared with two baselines: "Sub. Only Voting" where the objective sentences are removed and the polarity is determined by voting of the polarity of the subjec-

tive sentences ${ }^{2}$, and "Simple Voting" where the polarity is determined by voting without considering the subjectivity scores. Table 2 reveals the accuracy on the IMDB dataset when BERT and XLNet are used as the base polarity classifier ${ }^{3)}$.

Table 2 Accuracy of polarity classification by subjectivity weighted voting (IMDB dataset)

"Sub. Only Voting" is obviously worse than other methods, indicating that it is not good to totally ignore objective sentences. Our method outperforms the "Simple Voting" baseline for both BERT and XLNet, however, the improvement of the BERT model is rather small. On the other hand, significant improvement is found for XLNet, and our method with XLNet achieves the highest accuracy 0.853 .

## 4.2.3 Results of Language Model with Sub. Filter- ing

We evaluate the proposed method using the pre-trained language models with the subjectivity filtering explained in Subsection 3.2. In this method, only the subjective sentences are used for training the polarity classification. For comparison, we also evaluate the method using all (both subjective and objective) sentences and only objective sentences in each training and test data. Table 3 shows the accuracy on the IMDB and Amazon datasets. The system using $\mathrm{S}+\mathrm{O}$ (subjective and objective sentences) as the training and test data is the baseline that simply applies BERT or XLNet without filtering ("BL" in Table 3), while the systems using $\mathrm{S}$ (subjective sentences) as the training data and $\mathrm{S}+\mathrm{O}$ or $\mathrm{S}$ as the test data are our proposed systems ("PRO1" or "PRO2"). The best system among ones trained from the same training data is indicated in bold.

As for the IMDB dataset, BERT always achieves better accuracy than XLNet. When the settings (S+O, $\mathrm{S}$, or $\mathrm{O}$ ) of the training and test data are the same, the accuracy becomes the highest. It seems reasonable because the classifiers are fine-tuned using the training data obtained

2) It is a similar approach of previous work $[4,5]$ that filtered out objective sentences.

3) We did not evaluate the methods using the Amazon dataset, since the accuracy was much worse than our second method as reported in 4.2.3.
Table 3 Accuracy of polarity classification by language models

by the same filtering strategy as the test data. The baseline achieves the best accuracy, 0.997 . Thus the filtering of the objective sentences is not effective in the IMDB dataset.

As for the Amazon dataset, BERT is slightly better than XLNet but they are almost comparable. Comparing the settings of the test data, the systems using subjective and objective sentences $(\mathrm{S}+\mathrm{O})$ are always the highest, following only $\mathrm{S}$ and only $\mathrm{O}$. In the test data, the subjective sentences seem more effective than the objective sentences, but the latter also includes some useful information. The best system is one of our proposed methods where $\mathrm{S}$ is the training data and $\mathrm{S}+\mathrm{O}$ is the test data. It indicates that the removal of the objective sentences from the training data is effective to improve the quality of the polarity classifier using BERT.

Finally, it is found that the methods using the pre-trained language model (Table 3) are much better than the voting methods (Table 2) on the IMDB dataset. Those results prove that the pre-trained language model is powerful and effective for the polarity classification as reported in many previous papers on various NLP tasks.

## 5 Conclusion

This paper presented the methods of document-level polarity classification that consider the subjectivity of the sentences. The experimental results demonstrated that the weighting or filtering of the subjectivity sentences could improve the performance in some cases. However, our method did not always achieve the best performance on the IMDB dataset. In the future, we will investigate the major reason for it and explore a robust subjectivity-oriented method that can be effective for any datasets.

## References

[1] Valerio Basile, Nicole Novielli, Danilo Croce, Francesco Barbieri, Malvina Nissim, and Viviana Patti. Sentiment polarity classification at evalita: Lessons learned and open challenges. IEEE Transactions on Affective Computing, Vol. 12, No. 2, pp. 466-478, 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[3] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R. Salakhutdinov, and Quoc V. Le. XLNet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[4] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. arXiv preprint cs/0409058, 2004.

[5] C Sindhu, Binoy Sasmal, Rahul Gupta, and J Prathipa. Subjectivity detection for sentiment analysis on Twitter data. In Artificial intelligence techniques for advanced computing applications, pp. 467-476. Springer, 2021.

[6] Ahmad Kamal. Subjectivity classification using machine learning techniques for mining feature-opinion pairs from web opinion sources. arXiv preprint arXiv:1312.6962, 2013.

[7] Marco Pota, Mirko Ventura, Rosario Catelli, and Massimo Esposito. An effective BERT-based pipeline for Twitter sentiment analysis: A case study in Italian. Sensors, Vol. 21, No. 1, p. 133, 2020.

[8] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pp. 142-150, 2011. https://ai.stanford.edu/ amaas/data/sentiment/index.html.

[9] Julian McAuley and Jure Leskovec. Hidden factors and hidden topics: Understanding rating dimensions with review text. In Proceedings of the 7th ACM Conference on Recommender Systems, pp. 165-172, 2013.

[10] Subjectivity datasets, (Accessed on Dec. 2022). https://www.cs.cornell. edu/people/pabo/ movie-review-data/.


# 発話の交換を考慮した 対話システムにおけるユーザ感情推定手法の検討

宮川由衣 ${ }^{1}$ 加藤大貴 ${ }^{2,1}$ 松平茅隼 ${ }^{1}$ 平山高嗣 3,1 駒水孝裕 1 井手一郎 ${ }^{1}$
1 名古屋大学 2 名城大学 3 人間環境大学
\{miyakaway, katoh, matsuhirac\}@cs.is.i.nagoya-u.ac.jp
t-hirayama@uhe.ac.jp
taka-coma@acm.org
ide@i.nagoya-u.ac.jp

## 概要

非タスク指向対話システムは目標が明確でないた め，システムの性能を評価することが難しい. シス テムの究極の目標はユーザの満足であるため, 対話 におけるユーザの感情遷移が重要な指針となる。 そ こで我々は，対話システムと人との対話の様子を収 めたマルチモーダルコーパスを使用し, システム発話に対するユーザの感情推定モデルを構築してい る. 本発表では，その際に 1 つの発話のみでなく, どれだけ過去の発話が重要であるか検討した結果を 報告する. 具体的には，心象アノテーションと発話 の書き起こしを用いて BERT モデルを Fine-tuning し た. 実験の結果，システム発話とユーザ発話との対 に加えて1つ過去のユーザ発話まで考慮すること で，最高 0.89 の F1 スコアを達成した.

## 1 はじめに

自然言語処理や音声認識の発達に伴い，Amazon 社の Alexa [1] や Apple 社の Siri [2] などの音声対話 システムが実用化されている.また，チャットボッ トやオープンドメイン対話システムなど、非タスク 指向の対話システムの開発にも大きな関心が寄せら れている. 非タスク指向対話システムの品質向上は ユーザの対話体験にとって重要であるが，タスクの 達成のような目標が明確でないため，システムの性能評価が難しい、ユーザが対話に満足しているか, システムとストレスなく対話できているかは，対話 システムの性能について考える際に重要な要素であ ることから，対話によるユーザの感情遷移を自動的 に推定することができれば，重要な指針となると考 えられる。
そこで本研究では，発話の書き起こしのみから， システム発話に対するユーザの感情を推定するモデ ルを提案する。一般に，対話においてはユーザの感情は 1 つの発話のみに明確に表れるとは限らず，そ れまでの対話の流れに影響される。そのため本研究 では，過去の発話も考慮したモデルを構築する. そ して，どれだけ過去の発話まで考慮した場合にユー ザの感情を最も良く推定できるかを実験的に明らか にする.

以降，まず 2 節で関連研究を，3 節で使用する コーパスを各々紹介する。次に 4 節でコーパスへの 感情ラベルの付与について，5 節で提案手法につい て各々述べる. 最後に 6 節で実験について報告し， 7 節で本論文をまとめ，今後の課題について述べる.

## 2 関連研究

Wei ら $[3,4]$ や Hirano ら [5] は, 対話システムと 人との対話の様子を収めたマルチモーダルコーパ ス $[6,7]$ を使用し，対話システムとの対話における ユーザの内的状態を推定している. Wei ら [3] は，音響特徴, 視覚特徴, 言語特徴を RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU（Gated Recurrent Unit）に入力し，システム対話 におけるユーザの満足度を認識するマルチモーダル モデルを提案している。さらに，対話全体における ユーザの感情と， 1 対の受け答え（以下，交換）に おけるユーザの感情の関係も分析している [4]. 一方 Hirano ら [5] は，弱教師付き学習とマルチタスク 学習を融合することで, 心象アノテーションの信頼性の低さやデータ数の少なさを解決している.

しかし，これらの研究では，過去の発話を考慮す ることによるユーザの感情の推定性能への影響は検
討されていない.

## 3 対話コーパス

本研究では，先行研究 $[3,4,5]$ で用いられている 対話コーパス (Hazumi）[6,7]に含まれる 3 つのデー タセット Hazumi1712, Hazumi1902, Hazumi1911を 使用する．以下，これらについて紹介する。

## 3.1 対話の収録

対話システムを模擬して，Wizard-of-Oz 方式によ り別室から人が操作 ${ }^{1)} し$, 実験参加者が対話システ ムと雑談する様子を 1 名あたり約 15 分間収録して いる. 各データセットは, ビデオカメラと Microsoft Kinect センサにより記録された参加者の行動や表情, さらにシステムと参加者の発話の書き起こしを 収録している。

使用するデータセットのうち, Hazumi1712では,事前にいくつかの話題に対する参加者の興味の有無 を調査した上で, 参加者の興味がある 3 話題と興味 がない 3 話題をとりあげて対話が行なわれている.話題の例としてはスポーツ，ドラマ，芸能人，ゲー 厶，電車などがある．参加者は 20 代から 50 代の男女29名（男性 14 名，女性 15 名）である.

一方, Hazumi1902 と Hazumi1911では, 参加者が 楽しんでいる時間が長くなるように話題を調整し ながら対話が行なわれている. Hazumi1712 との違 いは，参加者がある話題に興味を示さなかった場合 に，対話システムが別の話題に変えている点であ る. 参加者は 20 代から 70 代の男女 60 名（男性 25 名，女性 35 名）である.

## 3.2 心象アノテーション

これらのデータセットには，参加者とは別のアノ テータ 5 名により心象アノテーションが付与され ている.アノテーションの付与単位は発話における 1 交換（あるシステム発話開始時刻から次のシステ ム発話開始時刻まで）である.アノテータは対話の 様子を記録した映像を始めから順番に視聴しなが ら，参加者のシステム発話に対する感情について，各交換に対して 7 段階で付与している. ここで， 1 がネガティブ（楽しくない，話し続けたくない，不満, 困惑など), 7 がポジティブ (楽しい, 話し続け たい，満足など）である.

1）人間のオペレータが遠隔から，実験参加者の様子を見なが ら専用のインタフェースを通じて，システムの応答を選択.

図 1 付与されたユーザ感情ラベルの分布

## 4 ユーザ感情ラベルの付与

本研究では, ネガティブ, ニュートラル，ポジ ティブの3クラス分類を行なう．そのために，アノ テータ 5 名分の心象アノテーションを集約すること で得られる3クラスのラベルをユーザ感情ラベルと 定義する. 各交換に対してユーザ感情ラベルを付与 する際に，以下の 2 種類の方法を検討する。

平均ラベル法 アノテーションの平均をとる方法である. 5 名分の心象アノテーションの平均をと り, 先行研究 $[5,8]$ に倣い, 3.5 未満はネガティブ, 4.5 以上はポジティブ，その他はニュートラルに分類する.

多数決ラベル法 アノテーションの多数決をとる 方法である. 平均ラベル法でアノテーションがポジ ティブとネガティブに分かれた場合にニュートラル に分類されてしまう問題の解消を目的とする． 5 名分の心象アノテーション各々について, 3.5 未満は ネガティブ， 4.5 以上はポジティブ，その他はニュー トラルに分類した後， 3 つ以上一致したラベルに分類する.

7,743 交換に対して，平均ラベル法と多数決ラベ ル法各々によるユーザ感情ラベルの分布を図 1 に示 す. なお，多数決ラベル法で 3 つ以上一致するラべ ルがなかった交換は削除したため，同法については 合計 7,306 交換になった.

## 5 感情推定モデルの構築

感情推定モデルを構築する際に, 学習データ数 の少なさを考慮して，少数のデータでも高精度の 分類が期待できる事前学習済み BERT (Bidirectional Encoder Representations from Transformers) [9] の Fine-
表 1 学習データの例

 &  & ニュートラル & ポジティブ \\

図 2 Token type IDs の使用例

tuningを行なう.

ここでは，あるシステム（ユーザ）発話開始時刻 から次のユーザ（システム）発話開始時刻までを 1 発話と定義し，モデルへの入力単位は，連続する $N$発話を連結したものとする. $N=1$ のとき入力単位 は最後のユーザ発話のみとなり, 過去の発話を考慮 しない条件と等価である. システム発話とユーザ発話の間には文章の区切りを表す [SEP] トークンを挿入する. $N=3$ 以上の場合には最後の交換に付与さ れたユーザ感情ラベルを使用する. 表 1 は $N=2$ 及 び $N=4$ における学習データの例である.ここで， 3 列目の「sys」はシステム発話，「user」はユーザ発話を表す.

また，ユーザ感情ラベルには最後のユーザ発話の 影響が大きいという仮説のもと，最後のユーザ発話 を明確化することを目的とし，入力を Encode する 際に Token type IDs を付与する. 図 2 は表 1 におけ る連結数 $N=4$ の ID 2 に対する Token type IDsの例 である. 最後のユーザ発話に 1 を付与し，その他に は 0 を付与する。

## 6 実験

4 節の方法で，対話の様子を収録した映像を視聴 して付与された心象アノテーションに基づいて定義 したユーザ感情ラベルについて，発話の書き起こし のみから推定するという問題設定で，分類実験を行 なった.

## 6.1 実験条件

ユーザ感情ラベルを付与した書き起こしデータを $8: 1: 1$ の比率に分け, それぞれ学習データ，検証 データ，テストデータとした. この学習データと検証データを用いて, 日本語の感情分析データによっ て事前学習された BERT モデル [10] を Fine-tuning した.

発話の連結数 $N$ について, $N=1,2,3,4,6,10$ の 6 通り測定して，結果を比較した. 更に，直近の システム発話 1 発話のみを入力とした場合の結果も 比較した。

## 6.2 ベースラインモデル

ベースラインモデルとして，ML-Ask [11] を用い た. これは, 感情表現辞典 [12] に基づく2,100 の感情語によるパターンマッチングを行なうことで 10 種類の感情（怒，哀，怖，厭，昂，驚，恥，喜，好，安）を推定し，推定した感情に基づいて 3 クラス分類を行なうモデルである．具体的には，入力された テキストはネガティブ (怒，哀，怖，厭），ニュート ラル (昂，驚，恥)，ポジティブ（喜，好，安）の感情語の個数に応じて 3 クラスのいずれかに分類さ れる。

本実験では，感情語が存在しないために分類でき なかったものは全てニュートラルに分類した.

連結数 $N=1,2$ のテストデータに対してユーザ感情ラベルを推定し，その分類性能を評価した。
表 23 クラスの平均 $\mathrm{F} 1$ スコア

## 6.3 実験結果

実験結果として，3つの感情クラスの平均 F1 ス コアを表 2 に示す. 3 列目がユーザ感情ラベル付与 に平均ラベル法を採用した場合の F1 スコア， 4 列目が多数決ラベル法を採用した場合の F1 スコアで ある.また，「1 (sys)」はシステム発話のみを入力単位とした場合，「1 (user)」はユーザ発話のみを入力単位とした場合を表している。各方法で最高の F1 スコアを太字で示した. 平均ラベル法では $N=2$ と $N=3$ の場合のスコア（0.83）が，多数決ラベル法で は $N=3$ の場合のスコア（0.89）が最高であった.一方， $N=6$ 以上連結した場合や，ML-Ask モデルで 分類した場合には性能が低かった. また，平均ラべ ル法と比較して多数決ラベル法の方が総じて良い性能を得られた。

## 6.4 考察

ML-Ask モデルの性能が低かったのは，テスト データ中に感情語が存在しない発話が多かったた めと考えられる．1交換 $(N=2)$ において，感情語 が存在しない交換は平均ラベル法では 774 交換中 513 交換，多数決ラベル法では 731 交換中 482 交換 であった。辞書を使用する手法では，辞書に含まれ ない感情語を発している場合や明確にポジティブ／ ネガティブな単語を発していない場合の感情推定に 限界があるため，機械学習による手法より劣ると言 える。

また，平均ラベル法と比べて多数決ラベル法の方 が良い性能を得られた. これは，心象アノテーショ ンを閾値処理して得た感情ラベルが 3 つ以上一致し ないような，感情が明確でない交換が，多数決ラべ ルにおいて除外されたためであると考えられる.

また表 2 において，平均ラベル法と多数決ラベル 法どちらの場合でも「1 (sys)」よりも「1 (user)」の 方が性能が高くなった. このことから，ユーザ感情表 34 発話における感情クラス別の F1 スコア

ラベルにはシステム発話と比較してユーザ発話の影響が大きいことが分かる.

表 3 に提案手法において $N=4$ とした場合のクラ ス別の F1 スコアを示す. ポジティブやニュートラ ルと比較してネガティブの性能が低いことが分か る.この原因として，対話内で明確にネガティブな 言葉（嫌い，つまらないなど）がほぼ発されないた め，他クラスよりも推定が難しいことや，他クラス と比較してデータ数が少ないため，十分に学習でき ていないことなどが考えられる（図 1 参照）、ネガ ティブクラスに対する分類性能の向上は今後の課題 である.

## 7 おわりに

本研究では，システム発話に対するユーザの感情 を推定するモデルを提案した。

Hazumi データセットの心象アノテーションに基 づいて，2 種類の方法で 3 クラスのユーザ感情ラベ ルを付与し，このラベルと発話の書き起こしを用い て BERT モデルを Fine-tuning した. 入力単位とする 発話の連結数を変えてモデルをそれぞれ学習し，感情クラス分類の性能を比較した。

実験の結果，平均ラベル法では入力単位を 2 発話及び 3 発話とした場合，多数決ラベル法では 3 発話 とした場合に最高の F1 スコアが得られ，過去の発話を考慮することで分類性能が向上する可能性が示唆された。

分類性能向上のための今後の課題として，発話の 連結方法の改善が挙げられる. 例えば，Token type IDs の拡張による全ての発話の区切りの明確化や,最後の発話に対する重み付けが考えられる。

また，状況に応じた発話の連結数の切り替えも挙 げられる。例えば，話題が切り替わった際には過去 の発話を連結しない，発話が短い場合にのみ過去の 発話も連結する，などが考えられる。

更に，今後は画像，音声， 3 次元動作などのデー タも加えてマルチモーダルな分析を行なっていき たい.

## 謝辞

本研究の一部は，JSPS 科研費 JP22H03612 の助成 を受けたものである.

## 参考文献

[1] Amazon.com, Inc. Amazon Alexa, (2023-1-9 閲 覧). https://www . amazon.co.jp/b?node=10406417051.

[2] Apple Inc. Siri, (2023-1-9 閲覧). https://www.apple. com/jp/siri/.

[3] Wenqing Wei, Sixia Li, Shogo Okada, and Kazunori Komatani. Multimodal user satisfaction recognition for nontask oriented dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 586-594, 2021.

[4] Wenqing Wei, Sixia Li, and Shogo Okada. Investigating the relationship between dialogue and exchange-level impression. In Proceedings of the 2022 International Conference on Multimodal Interaction, pp. 359-367, 2022.

[5] Yuki Hirano, Shogo Okada, and Kazunori Komatani. Recognizing social signals with weakly supervised multitask learning for multimodal dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 141-149, 2021.

[6] 駒谷和範. マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, Vol. 78, No. 5, pp. 265-270, 2022.

[7] 大阪大学産業科学研究所. マルチモーダル対話コー パス (Hazumi),(2023-1-6 閲覧).https://www.nii. ac.jp/dsc/idr/rdata/Hazumi/.

[8] Yuki Kubo, Ryo Yanagimoto, Hayato Futase, Mikio Nakano, Zhaojie Luo, and Kazunori Komatani. Team OS's system for dialogue robot competition 2022. Computing Research Repository arXiv Preprint, arXiv:2210.09928, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, In Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[10] daigo. bert-base-japanese-sentiment, (2023-1-6 閲覧). https://huggingface.co/daigo/ bert-base-japanese-sentiment.

[11] Michal Ptaszynski, Pawel Dybala, Wenhan Shi, Rafal Rzepka, and Kenji Araki. A system for affect analysis of utterances in Japanese supported with Web mining. 知能 と情報, Vol. 21, No. 2, pp. 30-49, 2009.

[12] 中村明. 感情表現辞典. 東京堂出版, 1993.


# 発話とレビューに対する解釈文生成とトピック分類

林部祐太
株式会社リクルート Megagon Labs, Tokyo, Japan
hayashibe@megagon.ai

## 概要

我々は宿提案のための対話システムの構築に取り 組んでいる。そこでは，カスタマーの発話意図をレ ビューなどから抽出した宿に関する情報とマッチン グして，宿を提案する．それには，レビューやカス タマー発話内の文の意図を解釈する必要がある。そ こで，文の意図を簡潔に示す「解釈文」を生成する ことで意図解釈を行う。そして，それぞれのトピッ クに基づきマッチングする．本論文では，解釈文生成とトピック分類の従来手法の改善に取り組んだ.

## 1 はじめに

我々は宿提案のための対話システムの構築に取り 組んでいる。その対話システムは，単にカスタマー の入力した要望で検索するのではなく, 宿レビュー も参照しながら逆に質問して要望を詳細化していっ たり（詳細化），候補を絞るために異なる観点から 要望を訪ねたり（要望追加），ときには代替案を提案したり（代替提案）と，インタラクティブに宿提案することを目的としている [1].

そのためにはまず，レビューや発話内の文の意図 を解釈する必要がある. 例えば，システムが 2 択で 質問した後，「後者がいい」とカスタマーが発話し たとして，発話そのままでレビューなどを検索して も適切な結果は得られない. システムは「後者」が 指す事柄を理解する必要がある．また，「すごく楽 しめました。」というレビュー文では対象物が省略 されているので，文そのままを検索対象にするので はなく，文の意図を適切に表した上で検索対象にす る必要がある，そこで，文の意図を簡潔に表す「解釈文」にそれぞれ変換した上で，システム内で利用 することにする.

そして，宿トピックに関する知識を用いてマッチ ングする．具体的には解釈文を事前に整備した宿ト ピックに関するツリー構造で整理した「トピックッ リー」上に分類して，宿を提案する。例えば，『ト

図 1 解釈文生成とトピック分類による発話とレビューの マッチング例（作例）

ピックの子トピックに「バイキング」や「定食」と いった食事の形式に関するトピックがある』という 知識を用いてカスタマー発話の解釈文「おいしい食事が食べたい」とレビューの解釈文「バイキングを 楽しめた」に対して詳細化した宿を提案する。図 1 に解釈文生成とトピック分類に基づくマッチングの イメージを示す.

これまで，我々は発話に対する解釈文生成のため のコーパス構築とモデル学習 $[2,3]$ や, トピックッ リーの整備と分類 [1] について取り組んだ。本論文 では,

・宿レビューへの解釈文アノテーション

・解釈文の生成候補リランキングによる改善

・トピック分類のフィルタリングによる改善 についての取り組みについて報告する。

## 2 解釈文生成

## 2.1 解釈文コーパス

解釈文とは，発話理解の 1 つの形式で，対象の文 の意味を文脈を読まなくても理解できるように表現 した文 [3] である. ${ }^{11}$

例を表 1 と表 3 に示す. 対象の文の省略されてい る言葉を補ったり，照応詞を置き換えたりしてい る. また, 表 1 の(2) や表 3 の(B)のように複文を単文に分けて表現することで，複雑な要望を理解・処

1）[2]では「要約」,[3]では “Self-Contained Utterance Description” とよんでるが，本論文では「解釈文」とよぶ

 \\

表 1 発話と解釈文の例. 解釈対象の文とその解釈文は,同一番号で下線を引いている.

表 2 解釈文アノテーションの統計

理しやすくする.

本研究では，対話中の発話と，宿レビューの 2 種類を対象に解釈文コーパスを構築した.

## 2.1.1 発話の解釈文

架空の宿予約サービスにおけるカスタマーとオ ペレータの発話の作成を作業者に依頼し，対話を収集した。そして，各対話のカスタマーの発話の各文 に対して，1 人のアノテータが解釈文を作成した. コーパスの統計を表 2 に示す2).

## 2.1.2 宿レビューの解釈文

旅行情報サイト「じゃらん net $\rfloor^{3)}$ に投稿された宿 レビュー 475 件4）にも解釈文を作成した。例を表 3 に示す.また統計を表 2 に示す.(A) の解釈文は，対象文では省略されている「横浜スタジアムに」や 「ホテルから」を補い，文脈を見なくても対象の文 の意図を理解できるようになっている. (B) では，複数の事柄が 1 文で書かれているレビュー文が複数 の解釈文で表現され，システムの検索などで扱いや すくなっている.

## 2.2 解釈文生成モデルの構築

発話の解釈文を生成するモデルと，宿レビューの 解釈文を生成するモデルの 2 つを構築する. モデ

2）コーパスは [3] にて作成した 2 演者間の対話と “Additional Corpus”を含んでおり，一部を除き公開している: https: //github.com/megagonlabs/asdc

3) https://www.jalan.net/

4) Evidence-based Explanation Dataset として公開してい るレビューを用いた: https://github.com/megagonlabs/ ebe-dataset
ルは [3] での実験と同様に，日本語プレトレーニン グ済 Text-to-Text Transfer Transformer (T5) [4] モデル5) を fine-tuning することで学習する. 最適化アルゴリ ズムを Adafactor，学習率を $10^{-3}$, エポック数を 20 とし，開発データでの Cross Entropy Loss が最も低い モデルを用いる.

## 2.3 解釈文候補のリランキング

構築した生成モデルは誤った解釈文を生成する ことがありうる．例えば，表 4 では第 1 解釈文候補 には発話意図とは異なる数値が含まれており誤っ ている.このような正解との Cross Entropy Loss が 小さくても致命的な誤りは，Cross Entropy Loss の最適化で学習したモデルでは除外が難しい。 そこで，解釈文候補の正しさをスコア化するモデル（スコア ラー）を別途用意し，複数の解釈文候補の中から尤 もらしい候補を選ぶリランキングを行う.

スコアラーは日本語 RoBERTa モデル6)を finetuning することで構築し，正解らしさを 0 から 1 の 確率値で予測する． fine-tuning には解釈文候補に対 して正誤をアノテーションしたデータを用いる.

発話の解釈文候補のスコアラーは，学習に 7,769 件，開発に 3,821 件，評価に 775 件用いる. 正例は それぞれ 3,855 件，2,953 件，278 件含まれている. また，宿レビューの解釈文候補のスコアラーは，学習に 5,630 件，開発に 779 件，評価に 648 件用いる.正例はそれぞれ 1,998 件，283 件，213 件含まれて いる.

最適化アルゴリズムを AdamW，学習率を $10^{-3}$, エポック数を 20 とし, 開発データでの Cross Entropy Loss が最も低いモデルを用いる.

評価データでのスコアラーの性能は，スコア が 0.5 以上の事例を正解と予測したとすると，発話用が Precision $=0.7231$, Recall $=0.9676, \mathrm{~F} 1=0.8277$ で，レビュー用が Precision $=0.7034$, Recall $=0.7793$, F1=0.7394 だった.

## 2.4 リランキングの効果検証

2 つのモデルはビーム幅 5 で探索して 5 つの解釈文候補を生成させる。そして，その候補の第 1 候補 と，各候補にスコアラーが予測したスコアでリラン キングした後の第 1 候補を比較して，リランキング の効果を検証する．具体的には，発話の解釈文生成
 t5-base-japanese-web-8k

6) https://huggingface.co/rinna/japanese-roberta-base

(A)レビュー 横浜スタジアムの野球観戦で利用しました。徒歩で行けたので良かったです。...

解釈文【customer】が横浜スタジアムにホテルから徒歩で行ける。

(B) レビュー … 部屋からは海が見元、周辺は閑静で非日常的な空間を味わうことができました。…

解釈文【customer】が部屋から海が見える。周辺が閑静だ。【customer】が非日常的な空間を味わうことができる。

表 3 宿レビューと解釈文の例. 例示対象の文に下線を引いている.

解釈文候補 (1) 1 泊 1 室あたりの予算の上限は 199 円だ。

(2) 1 泊 1 室あたりの予算の上限は 19999 円 だ。

(3) 1 泊 1 室あたりの予算の上限は 20009 円だ。

表 4 第 1 候補が誤った解釈文となる例

評価データと，宿レビューの解釈文生成評価データ の中から，リランキング前とのスコアの差が最も大 きかった順にそれぞれ 35 事例を取り出し, 改善の 有無を人手で評価する. 表 5 に結果の例を示す.

まず，発話の解釈文生成のリランキングでは，改善 11 件，悪化 15 件，変わらず 9 件だった. 改善し た事例では，欠落している情報が増えた事例 8 件，不要な情報が消えた事例 3 件だった. 悪化した事例 では，6 件がインフォーマルな表現になってしまっ た事例，必要な情報が消えた事例 5 件, 不要な情報 を付加してしまった事例 4 件だった. また，宿レ ビューの解釈文生成のリランキングでは，改善 16 件, 悪化 4 件, 変わらず 15 件だった. 改善した事例の内訳は，欠落している情報が増えた事例 7 件,不要な情報が消えた事例 8 件, 流暢性が増した事例 1 件だった. 悪化した事例は，不要な情報が消えた 事例 3 件，不要な情報を付加してしまった事例 1 件 だった.

以上より，リランキングは生成の改善に一定の効果があることがわかった. しかし，十分な改善と はいえないため，さらなる改善を今後行う予定で ある。

なお，すべての出力に対してリランキングを行っ た場合の ROUGE ${ }^{7)}$ [5] スコアについて調べたとこ ろ，発話の解釈文生成では，リランキングで 0.867 から 0.790 に，宿レビューの解釈文生成では 0.775 から 0.749 に減少した. ROUGEでは致命的な解釈 の誤りを過小評価してしまうと考えられ，より適切 なリランキング方法や評価指標の選定も今後の調査

 \\

## 宿レビュー

解釈対象 とても清潔感がありキッズルーム、貸切風呂には たくさんのおもちゃがありました。

正解【宿】にとても清潔感がある。キッズルームにた くさんのおもちゃがある。貸切風呂にたくさんの おもちゃがある。

前清潔感がキッズルームにある。貸切風呂にたくさ んのおもちゃがある。

後清潔感がとてもある。キッズルームにたくさんの おもちゃがある。貸切風呂にたくさんのおもちゃ がある。（改善）

表 5 解釈文生成結果のリランキングの前後の例

課題である.

## 2.5 関連研究

解釈文生成のように後続の処理のため入力となる 文を書き換える手法として，[6] が提案されている. リランキングに異なる分類器を用いた研究には，含意関係認識器を要約候補のリランキングに用いる手法 [7] がある，候補生成自体の改善には，学習する 損失関数に負例も利用する手法 ${ }^{8)}$ [8] や重複表現の 生成を防ぐ手法 ${ }^{9}$ [9] などが提案されている.

8) https://github.com/aistairc/contrastive_data2text

9) https://github.com/yxuansu/SimCTG

表 6 宿トピックとトピック例文の例

## 3 解釈文のトピック分類

## 3.1 トピックツリーと分類モデル

[1] では，宿提案対話システムで用いる知識整備と して，ツリー構造での宿に関するトピックを整理し た. 本論文ではそれを微修正したトピックッリーを 実験に用いる. トピックッリーの例を表 6 に示す.

また，テキストのトピック分類には，同じく [1] で提案したトピック数が非常に多いが学習事例が非常に少ないという制約においても頑健に動く類似度 に基づく手法を用いる.

## 3.2 既存モデルの問題点とフィルタリング

前述のトピック分類モデルは類似度に基づくた め，類似はするが関係がないトピックを排除する のが難しい．例えば，「禁煙の部屋を希望する」と いう解釈文のトピックに「禁煙」のみならず「喫煙」も予測する，ということが起こりうる. また，「【customer】がパンを食べたい。」という解釈文のト ピックに「パン」のみならず「クロワッサン」とい うトピックも予測しうる.

そこで，分類結果の正しさをスコア化するモデル （スコアラー）を別途用意し，閾値未満のスコアを もつトピックをフィルタリングすることで，関係の ないトピックを排除する.

スコアラーはじゃらん net に掲載されている宿レ ビューを使って学習した BERT ${ }^{10)}$ を fine-tuning する ことで学習する. スコアラーはトピックを表す「ト ピック例文」と分類対象の解釈文のペアを入力とし て，正しさを 0 から 1 の確率值で予測する.なお， テキストのペアを入力とせずに，トピックごとに予測をする方法も考えられるが，トピック数が 1,051 と非常に多く, 学習データを用意するのが困難であ るため，その方法は用いない. 分類問題に文の対を 用いる手法としては， ゼロショットテキスト分類に

10）分類モデルの学習で用いた BERT と同一

 &  &  \\

表 7 トピック分類結果のフィルタリング前後の例

含意関係認識を用いる手法 [10] が提案されている. fine-tuning には発話の解釈文や宿レビューの解釈文のトピック分類結果に対して正誤をアノテーショ ンしたデータを用いる。学習には，31,232 件，開発 に 7,746 件，評価に 1,675 件用いる。このうち，正例はそれぞれ 20,722 件，5,859 件，241 件含まれて いる。

評価データでのスコアラーの性能は，スコアが 0.5 以上のトピックを正解と予測したとすると， Precision=0.6328, Recall=0.8797, F1=0.7394 だった.

## 3.3 フィルタリングの効果検証

既存モデルで評価用の解釈文にトピック分類モデ ルで 5 つ候補を類似度スコア付きで出力し，それ ぞれに対してスコアラーで「正しさスコア」を求め それが 0.5 未満のトピックを候補から消去してフィ ルタリングする。残る候補の中で類似度スコアが最 も高いトピックを新しい予測結果とする.

このフィルタリングによって，予測結果に変化が あった 139 事例中 35 事例に対して評価した. 内訳 は， 17 件が改善， 7 件が悪化， 11 件が改善とも悪化ともいえない，だった. 例を表 7 に示す. 以上よ り，多くの事例ではフィルタリングで改善できるこ とが分かった. 誤ったフィルタリングを減らすこと や1つではなく複数のトピックに分類するよう拡張 することなどが今後の課題である.

## 4 おわりに

本論文では解釈文生成とリランキングによる改善，およびトピック分類とフィルタリングによる改善について報告した. それぞれ改善する事例がある が，悪化する事例も少なくないため，さらなる手法 の洗練が今後の課題である.

謝辞アノテーションを行っていただき，多くの示
唆に富んだご意見をくださった山下華代氏に感謝し ます。また，有益な助言していただいた大阪大学の 荒瀬由紀准教授に感謝します。

## 参考文献

[1]林部祐太, Varga István. 宿トピックの整理と自動分類 の試み. 言語処理学会年次大会, 2022.

[2] 林部祐太. 要約付き宿検索対話コーパス. 言語処理学会年次大会, 2021 .

[3] Yuta Hayashibe. Self-contained utterance description corpus for Japanese dialog. In LREC, 2022.

[4] Colin Raffel, Noam Shazeer, et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, 2020 .

[5] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using $\mathrm{N}$-gram co-occurrence statistics. In NAACL, 2003.

[6] Zhiyu Chen, Jie Zhao, et al. Reinforced question rewriting for conversational question answering. In EMNLP, 2022.

[7] Tobias Falke, Leonardo F. R. Ribeiro, et al. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In ACL, 2019.

[8] Yui Uehara, Tatsuya Ishigaki, et al. Learning with contrastive examples for data-to-text generation. In COLING, 2020.

[9] Yixuan Su, Tian Lan, et al. A contrastive framework for neural text generation. In NeurIPS, 2022.

[10] Wenpeng Yin, Jamaal Hay, et al. Benchmarking zero-shot text classification: Datasets, evaluation and entailment approach. In EMNLP, 2019.


# 知識グラフに基づく応答文生成における 記号化されたエンティティの利用

籾井裕貴 1 滝口哲也 ${ }^{2}$ 有木康雄 ${ }^{2}$
1 神戸大学工学部情報知能工学科 2 神戸大学大学院システム情報学研究科
1935070t@gsuite.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

近年では，生成ベースの応答文生成において，対話履歴のみではなく, 外部のデータベースから検索 した外部知識を利用することによって，情報に富ん だ応答文生成が可能となることがわかっている。一方，既存の生成手法では，応答文生成モデルの学習 に知識を具体的な名称（エンティティ名）のまま用 いている. 外部から必要な知識を得るのであれば，具体的な知識を学習せず，知識の用い方のみを学習 すべきであると本研究では考え，具体的な名称を記号化し, 知識の用い方を学習しやすくする手法を 提案する. 実験により, 提案手法は, 既存手法より も，多くの知識を応答文に取り入れることが可能で あることがわかった.

## 1 はじめに

雑談対話システムの課題として，一般的な応答で はなく, 情報に富んだ応答生成が挙げられる. 生成 ベースの手法においては，学習時に対話履歴だけで はなく, 外部から検索した知識を組み込むことで，情報の多い応答文生成が可能となる [1]. しかし，既存の応答文生成モデルでは，参照すべき知識が与 えられているにも関わらず，知識を用いずに応答文 を生成してしまう現象，あるいは誤った使い方をし てしまう現象があることもわかっている [2].

この問題に対処する方法として，具体的に知識を 学習するのではなく, 知識の用い方，すなわち応答文中のどこに知識を含めるかを学習する方法が考え られる。 [3]では知識グラフを用いた場合を対象と して, Entity Name Constrained Decoding(ENCD) とい う手法が提案されている (3.1 節参照). しかし, こ の手法では，知識を具体的な名称のまま学習に用い ており, 具体的な知識が学習されてしまう. この結果，知識の用い方だけではなく，具体的な知識もパ
ラメータ中に保持されてしまい，学習できる用い方 が減少する問題が発生する。 その場合，与えられた 外部知識を利用できない可能性が増してしまう。

本研究では，ENCD におけるこの問題を解消する 手法として，参照している知識のエンティティ名を 記号化する手法を提案する. エンティティ名を特殊 トークンに置き換えることで，具体的な名称での学習を避け，知識の用い方のみを学習させることを目的とする. 自動評価による比較実験の結果，提案手法は, 既存の手法と比べて, 応答文としての適切性 を保ちつつ，より多くの知識を利用できることがわ かった.

## 2 関連研究

## 2.1 外部知識の利用

対話システムが参照する外部知識としては，文章 のような非構造的な知識から，テーブルデータベー スのような構造的な知識も存在している. 提案手法 では，外部知識として構造的な知識である知識グラ フを使用する．知識グラフは知識の追加や削除，更新が行いやすく，大規模な知識グラフとして，代表的なものに Wikidata[4] がある. 知識グラフの例を 図 1 に示す.

図 1 知識グラフの例

## 2.2 知識グラフに基づく応答文生成

知識グラフでは，知識はトリプル $(\mathrm{s}, \mathrm{r}, \mathrm{o})$ で表現さ れている. s,o がエンティティ, r が s,o の関係を表 すリレーションである．知識グラフに基づく対話例

を表 1 に示す。

知識グラフに基づいて，応答文生成を行う方法と して，いくつか提案されているものがある。一つ は，検索してきた知識トリプルを，あらかじめ作成したテンプレートに当てはめて生成するもので ある [5]. 別の方法は，知識グラフを GNNに，対話履歴を LSTM などのエンコーダに入力してそれぞ れの分散表現を獲得し, それらを結合して応答文生成モデルに入力する方法である [6]. さらに，対話履歴と知識トリプルを繋ぎ合わせて一つのテキ ストとして表現し, 生成モデルに入力して応答文 を生成する手法もある [7]. この場合は, 対話履歴 $D=\left(d_{1}, d_{2}, \ldots, d_{m}\right)$, 知識トリプル $T=\left(t_{1}, t_{2}, \ldots, t_{n}\right)$,応答文 $\mathrm{r}$ を用いて, 以下の式 1 のように表される. $\theta$ は学習パラメータである.

$
P_{\theta}(r \mid D, T)=P\left(r \mid d_{1}, d_{2}, \ldots, d_{m}, t_{1}, t_{2}, \ldots, t_{n}\right)
$

今回は，対話履歴と知識トリプルを繋ぎ合わせて，式1のようにモデルに入力する方式を用いる.

 \\

## 3 提案手法

## 3.1 Entity Name Constrained Decoding

提案手法のもとになった Entity Name Constrained Decoding(ENCD)[3] について述べる. これは, 応答文生成時，与えた知識を用いるよう，モデルに促 す手法である. ENCD は，学習時に適用されるエン ティティタグ付き学習と, 推論時に適用されるエ ンティティ名制約モジュール (ENCM:Entity Name Constraint Module)の 2 つの要素で構成される.

エンティティタグ付き学習 学習データの応答文 において，参照する知識トリプルに含まれるエン ティティ名の前後を” [ “,”]”のタグで囲う. 学習 の際は，タグを含めて生成を行うように学習する。 この学習により, 応答文生成モデルは, 知識を参照 し始めると” [ “を生成し，参照し終わると” ]”を 生成するようになり，与えられた知識を参照する夕 イミングを学習する. 表 1 の対話例に，タグ挿入を 行った例を表 2 に示す.

エンティティ名制約モジュール (ENCM) エン ティティタグ付き学習により, 知識を参照するタイ
ミングがわかるようになるので，推論時に知識を参照する際には，ENCM を用いて，参照する知識トリ プル中のエンティティ名のみを生成するよう，制約 を加える。全体図を図 $\mathrm{A}$ (付録)に示す。

ENCD では，知識の用い方（応答文中のどこに知識を含めるか）を学習できていると考えられる。し かし, 学習時にはエンティティ名は具体的なままで あることから，知識の用い方と具体的な知識内容が ともに学習されてしまうという問題がある。外部か ら知識を得るのであれば，具体的な知識内容の学習 は排除し，用い方のみの学習にすべきであると考 え，本研究では，エンティティを記号化することに より，ENCD を拡張する方法を提案する。

表 2 タグの挿入例

 \\

## 3.2 エンティティの記号化

本論文では，エンティティをSKA，SKB といった 特殊トークンに置換することで，エンティティを記号化する。具体例として，表 2 のタグ挿入を行った 対話例に記号化を行ったものを表 3 に，提案手法を 用いた応答文生成の全体図を図 2 に示す. 記号化に より, 具体的な知識内容の学習を回避しながら, 対話履歴，知識トリプル中のリレーションをもとにし て，応答文中のどこに知識を挿入するかを学習して いくことが可能となる.

なお，このエンティティ記号化は，学習時には対話履歴, 知識トリプル, 応答文に，推論時には対話履歴, 知識トリプルに対して行う. モデルが生成す る応答文は，SKA，SKB などを使ったものになるの で，元のエンティティに戻して最終的な生成文とす る.この際，記号化されたエンティティが元の知識 トリプルでどのエンティティであったかは，SKA， SKB 中の A，Bによって判断することができる。ま た，A，Bによって知識トリプル中での関係を学習 することも期待できる.

表 3 エンティティ記号化の例

 \\

## 記号化の逆処理

Generated response: Yes, [ SKA ] was written by [ SKB ]. Do you know him?

図 2 エンティティ記号化を利用した応答文生成

## 4 実験設定

## 4.1 データセット

学習と評価には，OpenDialKG[8] を用いた。これ は，各応答が知識グラフのどのトリプルを参照した かアノテーションされたマルチターンのデータセッ トである．知識グラフには，freebase[9]のサブセッ トが用いられている (freebase は現在では, Wikidata に統合されている).なお，知識を参照していない 応答もあるため，それらは前処理として除外し，学習データ 22589 文，検証データ 3535 文，評価データ 2832 文が得られた。

## 4.2 評価指標

[10] に倣い，F1，KF1を用いる．F1 は，モデルが 生成した応答文と正解の応答文とのユニグラム一致度を測るものである。一方，KF1 は生成した応答文 と参照している知識とのユニグラム一致度を測るも のである. 生成した応答文，正解の応答文のユニグ ラムのリストをそれぞれ $R_{g}, R_{t}$ とすると，F1 は以下の式 4-1，4-2，4-3 で計算される.

$
\begin{array}{r}
\text { Precision }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{g}\right)} \\
\text { Recall }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{t}\right)} \\
F 1=\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{array}
$

なお，KF1 は，知識トリプルをテキスト表現にし， これを $R_{t}$ として計算できる. F1 が高いほど正解の 応答文との類似度が高く，KF1 が高いほど参照して
いる知識をより多く取り入れたことを示す.

また，知識の用い方が学習できているかを評価す るため，推論時に参照する知識トリプル中のエン ティティを，ランダムに選択した別のエンティティ に置換した場合の評価も行う。全体の流れを図 3 に 示す. 用い方を学習できている場合，与える知識卜 リプル中のエンティティと該当する対話履歴中のエ ンティティを変更した場合，エンティティ部分のみ が異なる応答文が生成される。図 3 の例だと，通常 の場合は，「He wrote Les Fleurs de mal. Have you read it?」が生成され，ランダムなエンティティの場合で は，「He wrote Apocalypto. Have you read it?」が生成 される。そして，エンティティ部分を置換前のエン ティティに戻せば，通常の知識トリプルと対話履歴 を与えた場合と比較して，F1，KF1 が同じ値になる はずである．今回の実験では，通常の場合とランダ ムなエンティティに置換した場合で $\mathrm{F} 1$ ， KF1 がどれ だけ変化するかを確認する．なお，ランダムに置換 する際は，共通のリレーションを持つ他のトリプル を二つ選択し，それぞれから $\mathrm{s}$ ，oを抜き出して置換 した.

## 4.3 ベースライン

事前学習済み言語モデルである T5[11]の small モ デルに対して以下の 2 パターンでファインチュー ニングしたものを，ベースラインとして用いる。な お，入力には，2.2 節で述べた，対話履歴と知識トリ プルを繋ぎ合わせる入力方法を用いた.

Baseline-original 応答文をそのまま用いて学習 し，推論時は通常のデコーディングを行うもの.

Baseline-encd 3.1 節で述べた，エンティティタ グ付き学習を用いて学習をし，推論時は ENCM を 用いるもの.

エンティティをランダムに置換した知識トリプルを用いた評価の流れ

表 4 生成された文章の例

 \\

[ J.R.R. Tolkien ] also wrote [ The Return of the King ].

## 4.4 実装

実装は，[3] に倣い，ベースライン，提案手法と もに Python の OSS ライブラリ Transformersを用いて 実装を行った。最適化手法は AdamW[12], 学習率 1e-3，バッチサイズ 16 で学習を行い，推論時には ビーム幅 3 でビームサーチを行った (これらの設定 も [3]を参考にした).

## 5 実験結果

実験結果を表 5 に示す。通常，ランダムのいずれ の場合でも，KF1 は提案手法で最も高いことがわ かる。これから，具体的な知識を学習しなくなっ た分，知識の用い方を多く学習できたと考えら れる. 生成の例を表 4 に示す. Baseline-original と Baseline-encd では，与えられた知識トリプルのうち 一つしか参照できていない，提案手法では，どちら も用いることができ，作者が共通しているのでその 本を薦めているという内容の文が生成できている.

一方，表 5 の通常の場合，F1 については提案手法と Baseline-encd とでほとんど変化せず，Baselineoriginsl を上回った.この結果から，応答文として の適切性は変化してないことがわかる。これは，知識以外の単語生成については，参照するエンティ

ティ名ではなく，対話履歴やリレーションが大きく 影響しているからであると考えられる。この点は， ENCD の知識を参照するステップとそうでないタイ ミングを切り替えて学習できるという利点が，提案手法でも保たれているためであると考えられる.

また，ランダムなエンティティに知識を変更した 場合，ベースラインの 2 つでは $\mathrm{F} 1 \mathrm{~K} \mathrm{KF} 1$ のスコアが 低下したが，提案手法では変化しなかった.

## 6 終わりに

本論文では，知識グラフに基づく応答文生成にお いて，エンティティを記号化することにより，応答文としての適切性を保ちつつ，知識の用い方 (応答文中のどこに知識を含めるか) が学習できるように なることを示した．自動評価の結果，従来手法より も知識の用い方を多く学習できていることがわかっ た.これは，記号化により具体的な知識内容では学習を行わず，用い方といったメタな学習が可能に なったためであると考えられる。

## 謝辞

本研究の一部は，JSPS 科研費 JP21H00906 の支援

を受けたものである.

## 参考文献

[1] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. arXiv preprint arXiv:2107.07566, 2021

[2] Nouha Dziri, Andrea Madotto, Osmar Zaiane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding. arXiv preprint arXiv:2104.08455, 2021.

[3] 佐良和孝, 滝口哲也, 有木康雄. 事前学習済み言語生成モデルを用いた知識グラフ検索に基づく対話シス テム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 44-49. 一般社団法人人工知能学会, 2021.

[4] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[5] 曽傑, 中野有紀子. 知識と話題の埋め込み表現に基 づく質問生成と対話システムへの適用一料理嗜好 インタビューシステムに向けて一. 自然言語処理, Vol. 28, No. 2, pp. 598-631, 2021.

[6] Yueqing Sun, Qi Shi, Le Qi, and Yu Zhang. Jointlk: Joint reasoning with language models and knowledge graphs for commonsense question answering. arXiv preprint arXiv:2112.02732, 2021

[7] Yu Li, Baolin Peng, Yelong Shen, Yi Mao, Lars Liden, Zhou Yu, and Jianfeng Gao. Knowledge-grounded dialogue generation with a unified knowledge representation. arXiv preprint arXiv:2112.07924, 2021.

[8] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019.

[9] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, 2008.

[10] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567, 2021.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

## A Entity Name Constrained Decoding $の$ 全体図

図 A Entity Name Constrained Decoding $の$ 全体図