# Prompt-based Fine-tuning for Emotion Recognition in Conversation

Zikai Chen 鶴岡 慶雅
東京大学大学院
\{chen, tsuruoka\}@logos.t.u-tokyo.ac.jp
}

\begin{abstract}
Emotion Recognition in Conversation (ERC) is an important task in Natural Language Processing. However, few studies on ERC have fully exploited the knowledge within pre-trained language models (PLMs), or investigated ERC in low-resource settings. In this paper, we propose a Prompt-based fine-tuning method for ERC tasks (PERC), which leverages the knowledge of large PLMs to improve the performance of ERC in low-resource settings. We conduct experiments on four widely-used ERC benchmarks and show that our method outperforms or is comparable to current state-of-the-art (SOTA) methods. We also run experiments in the few-shot setting and demonstrate that our method greatly outperforms SOTA baselines.
\end{abstract
## 1 Introduction

Emotion Recognition in Conversation (ERC) is a task aiming at identifying the emotions of each utterance in a dialogue. ERC has garnered growing attention in recent years due to its potential applications in various fields, such as empathetic dialogue systems [1], opinion mining in social media [2], and healthcare [3].

In ERC, the emotions of an utterance are often influenced by the dialogue context. This distinguishes ERC from traditional emotion recognition techniques, which typically operate on individual sentences. Such dependencies can be further classified into two categories: the intra-speaker dependency and the inter-speaker dependency. The intraspeaker dependency refers to the emotion flow within a single speaker, where the current emotion of a speaker may be strongly influenced by his/her previous emotional states. In contrast, the inter-speaker dependency occurs when the emotions of one speaker are affected by other speakers within a conversation. An example of such dependencies can be seen in Figure 1, which shows a dialogue snippet from the MELD [4] dataset.

Figure 1 A dialogue snippet from MELD. Intra- and inter-speaker dependencies are represented by blue and orange arrows, respectively.

In previous literature, there has been significant research modeling both intra-speaker and inter-speaker dependencies in ERC with Recurrent Neural Networks (RNNs), Graph Neural Networks (GNNs), or Transformers $[5,6,7,8,9,10,11,12,13]$. However, there are two main limitations on such research. Firstly, many previous studies rely on Pre-trained Language Models (PLMs) to obtain the embeddings of utterances. Some of them directly use PLMs with frozen parameters, which limits the capability of these models. Others fine-tune PLMs during training, but as fine-tuning introduces extra layers on top of PLMs and has a different objective from the pre-training phase, such fine-tuning is prone to overfit the dataset, and knowledge learned during pre-training is not effectively utilized [14].

Secondly, despite the extensive research on ERC, few studies have focused on low-resource settings. This is a critical issue, as it can be challenging to obtain large
dialogue corpora with well-annotated emotion labels. The ability to perform ERC effectively in a low-resource setting is therefore of great importance.

Recently, prompt-based fine-tuning methods have been proposed for various Natural Language Processing (NLP) tasks $[15,16,17]$. In classification tasks, these methods transform the task into a blank-filling problem and predict the labels using a Masked Language Model (MLM) loss function. This aligns with the MLM pre-training objective of PLMs, allowing for better utilization of the knowledge within these models. Prompt-based fine-tuning methods have also shown excellent performance in few-shot learning settings.

We propose a Prompt-based fine-tuning method for ERC tasks (PERC). Our approach involves designing a template that focuses on both intra- and inter-dependencies in dialogues, and using a simple verbalizer to make the process easy to generalize to different ERC tasks.

We conduct experiments on four widely-used ERC datasets, and the results show that our method can achieve better or comparable performance to current state-of-theart (SOTA) methods. In addition, we evaluate our model in the few-shot setting, and find that it greatly outperforms SOTA baselines.

## 2 Related Works

## 2.1 Emotion Recognition in Conversation

ERC has been intensively studied in recent years. In the relatively early stages, techniques such as GRU and LSTM were commonly used to model dependencies between utterances in a dialogue. For example, Wang et al. [6] used general and personalized LSTMs to capture the dependencies within the dialogue. Ghosal et al. [7] employed GRU and common knowledge to update various types of states representing different aspects of the speakers in a conversation. Hu et al. [8] used different LSTMs to obtain the contextual information on each utterance, and then employed a recursive reasoning module to obtain the final representation.

More recently, GNNs and Transformer-based approaches have gained popularity in ERC. For example, Shen et al. [9] built an acyclic graph network to model dependencies among utterances, and fine-tuned a RoBERTalarge model on ERC datasets to obtain utterance representa- tions. Lee et al. [10] transformed ERC tasks into dialoguebased relation extraction (RE) tasks, and solved these RE tasks with a graph-based network. Liang et al. [11] applied different masks to the sentence-level attention of a Transformer to model various dependencies in a dialogue, and combined this approach with GNNs to model the distance between speakers. Li et al. [12] used a BART-based encoder and used sentence-level attention to model the dependencies. They also combined emotion prediction with contrastive learning and next sentence generation to facilitate training. Lee et al. [5] employed a RoBERTalarge model to encode the entire dialogue context while also maintained a GRU-based memory network for each speaker.

Other tactics that have been proposed for ERC include adding Conditional Random Fields (CRFs) on top of the model layers to faciliate the modeling of the transition of speakers' emotions [6,11], and using common knowledge from an external knowledge base [7, 13].

## 2.2 Prompt-based Fine-tuning

Since GPT-3 [18], prompt-based methods have achieved impressive results on a variety of NLP tasks, particularly in few-shot and even zero-shot settings. However, with no gradient updates, such methods require extremely large model sizes to work well, which is not practical in many real-world scenarios [16]. As an alternative, prompt-based fine-tuning has been proposed. By reformulating various tasks as cloze tasks and use an MLM loss function to finetune the language model (LM), this approach allows for a smooth transition between pre-training and fine-tuning. Additionally, prompt-based fine-tuning does not introduce any new parameters to the model, making it particularly effective in few-shot settings [15, 16, 17]. In this paper, we apply this approach to the task of emotion classification for each utterance in a dialogue.

## 3 Method

## 3.1 Task Definition

In ERC, the dataset $D$ consists of multiple conversations. Each conversation $C$ consists of $n$ utterances $\left.\{u_{1}, u_{2}, \ldots, u_{n}\right.\}$, where each utterance $u_{i}$ is spoken by speaker $s_{i}$ and annotated with an emotion label $y_{i}$ from a pre-defined label set $Y$. In this paper, we consider the

Figure 2 Our proposed prompt template $T$. $x_{i}$ and $u_{i}$ represent speaker $s_{i}$ 's index and utterance, respectively. In the Memory section, the past utterances of $s_{i}$ are denoted as $\left.\{u_{m_{1}}, u_{m_{2}}, \ldots, u_{m_{j}}\right.\}$, where $m_{1}<m_{2}<\cdots<m_{j}=i$.

real-time setting, in which the emotion of an utterance $u_{i}$ is predicted using only the preceding utterances $u_{\leq i}$ and their labels/predictions. This mirrors real-world scenarios, such as emotion prediction in a dialogue system. We only consider the text modal in this paper.

## 3.2 Prompt Template

We propose a Prompt-based fine-tuning approach for ERC tasks (PERC). First we manually design a template function $T$ that maps each utterance (along with its context information) to its corresponding prompt.

To ensure compatibility across datasets that may not include speaker names, we assign each speaker an index. If speaker $s_{i}$ is the $x$-th person to speak in the conversation, we define $x_{i}=x-1$. This always makes $x_{1}=0$. Then in the prompt, we simply refer to speaker $s_{i}$ as Speaker $x_{i}$.

As illustrated in Figure 2, our prompt template $T$ consists of three parts: Context, Memory and Question, separated by $[S E P]$ tokens. The Context section includes all the dialogue history up to the current utterance, $u_{i}$. For each past utterance $u_{k}$, we include Speaker $x_{k}: u_{k}$ in the prompt. We expect the LM to learn the inter-speaker dependencies through the Context section.

The Memory section has the same format as the Context section, but only includes the conversation of current speaker $s_{i}$. We expect the LM to learn intra-speaker de- pendencies through the Memory section.

The final part of the template is the Question section, where the LM is asked to predict the emotion of $s_{i}$ in the utterance $u_{i}$. The format of Question is How is Speaker $x_{i}$ ? [MASK]. Here, Speaker $x_{i}$ appears again to draw the model's attention to the information related to $s_{i}$, and we use a question mark to elicit the answer at the [MASK] position.

## 3.3 Prompt Answer

In the previous literature, researchers often use a verbalizer $V$ to map label categories to prompt answer words/phrases $[15,19]$. Instead of manually design the answer for each label in each dataset, we adopt a simple rule to automatically perform the mapping. For each category label $y$, we define $V(y)$ as the first sub-word in the tokenized, capitalized label. For example, using the RoBERTa-large language model, $V$ (anger) = Anger, while $V$ (sadness) $=$ Sad because "Sadness" is tokenized into Sad and \#\#ness. We capitalize the label word first because we place a question mark immediately before the [MASK] token, and we want the prompt to be more natural language-like.

## 3.4 Training Objective

To fine-tune the model for utterance $u_{i}$ with label $y_{i}$, we maximize the probability of $V\left(y_{i}\right)$ at the [MASK] position with a MLM loss. As there is only one masked position, the MLM loss reduces to a simple cross-entropy loss.

## 4 Full-shot Experiments

## 4.1 Datasets

We evaluate our proposed method on four widelyused benchmark datasets: MELD [4], IEMOCAP [20], EmoryNLP (EMORY) [21], and DailyDialog (DD) [22]. Details of these datasets are in Appendix A. Following previous studies, we report the micro-F1 score (ignoring the neutral label) on DailyDialog, and the weighted-F1 scores on the other datasets.

## 4.2 Results

We conduct full-shot experiments with PERC. Experiment details can be found in Appendix B.1. We compare our results with several SOTA baselines, includ-

Table 1 Full-shot results. Results for ablation studies can be found in the bottom of the table.

ing COSMIC [7], TODKAT [13], DAG-ERC [9], and CoMPM [5].

From Table 1, we see that PERC sets up new SOTA F1 scores on IEMOCAP, EmoryNLP, and DailyDialog. In particular, on IEMOCAP, our performance is 4 points higher than the highest baseline. On MELD, our score is also competitive with the current SOTA, CoMPM.

## 4.3 Ablation Studies

We also conduct ablation studies on our model. We modify the prompt template by removing the Context section (PERC w/o Context) or the Memory section (PERC w/o Memory). We also investigate the impact of model size by replacing the PLM with the RoBERTa-base model.

The result of ablation studies are shown in the bottom of Table 1. In all cases except for PERC w/o Memory on MELD, performances decrease when the corresponding component is removed. Removing the Context section significantly deteriorates the performance on IEMOCAP, indicating the importance of inter-speaker information in this dataset. Removing the Memory section also slightly hurts the performance on all datasets except MELD. The reason why the performance increases on MELD when the Memory section is removed may be that the MELD is taken from the script of the TV show Friends, and a conversation may contain multiple scenes, resulting in incoherence in the same speaker's utterances. As a result, adding the Memory section to the prompt may be ineffective for MELD. As to the model size, decreasing the model size from large to base consistently degrades the performance by 2 to 4 points on all datasets, indicating that the amount of knowledge in the PLM is critical and using a larger model is beneficial.

Table 2 Few-shot results for $K=16$.

## 5 Few-shot Experiments

## 5.1 Few-shot settings

To create a few-shot setting, following Gao et al. [17], we assume that for each class in the dataset, only $K$ instances are available in the train set and the development set, respectively. Each instance consists of an utterance with its speaker information and emotion label annotation, as well as its full context (all preceding utterances and speaker information), but the emotional labels for preceding utterances are not provided.

## 5.2 Results

We use the datasets described in Section 4.1. Experiment details can be found in Appendix B.2. We conduct few-shot experiments with DAG-ERC, CoMPM, and our PERC. The results for $K=16$ are presented in Table 2. Our method achieves significantly better results than the baselines on all datasets.

## 6 Conclusion

In this paper, we proposed a prompt-based fine-tuning method for Emotion Recognition in Conversation. By designing a template that focuses on both intra- and interspeaker dependencies and using a simple verbalizer to map emotional labels to prompt answers, our method is able to achieve better or comparable performance to current state-of-the-art methods on four widely-used datasets. In addition, our method also greatly outperforms baselines in the few-shot setting.

## References

[1] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

[2] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. SemEval-2019 task 3: EmoContext contextual emotion detection in text. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 39-48, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[3] Francisco A. Pujol, Higinio Mora, and Ana Martínez. Emotion recognition to improve e-healthcare systems in smart cities. In Anna Visvizi and Miltiadis D. Lytras, editors, Research \& Innovation Forum 2019, pp. 245-254, Cham, 2019. Springer International Publishing.

[4] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. MELD: A multimodal multi-party dataset for emotion recognition in conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 527-536, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Joosung Lee and Wooin Lee. CoMPM: Context Modeling with Speaker's Pre-trained Memory Tracking for Emotion Recognition in Conversation, April 2022. arXiv:2108.11626 [cs] version: 3.

[6] Yan Wang, Jiayu Zhang, Jun Ma, Shaojun Wang, and Jing Xiao. Contextualized Emotion Recognition in Conversation as Sequence Tagging. p. 10

[7] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion Identification in Conversations, October 2020. arXiv:2010.02795 [cs].

[8] Dou Hu, Lingwei Wei, and Xiaoyong Huai. DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations. arXiv:2106.01978 [cs], June 2021. arXiv: 2106.01978 .

[9] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed Acyclic Graph Network for Conversational Emotion Recognition. arXiv:2105.12907 [cs], September 2021. arXiv: 2105.12907.

[10] Bongseok Lee and Yong Suk Choi. Graph Based Network with Contextualized Representations of Turns in Dialogue. arXiv:2109.04008 [cs], September 2021. arXiv: 2109.04008

[11] Chen Liang, Chong Yang, Jing Xu, Juyang Huang, Yongliang Wang, and Yang Dong. S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation, December 2021. arXiv:2112.12389 [cs, eess].

[12] Shimin Li, Hang Yan, and Xipeng Qiu. Contrast and Generation Make BART a Good Dialogue Emotion Rec- ognizer, January 2022. arXiv:2112.11202 [cs] version: 2.

[13] Lixing Zhu, Gabriele Pergola, Lin Gui, Deyu Zhou, and Yulan He. Topic-Driven and KnowledgeAware Transformer for Dialogue Emotion Detection. arXiv:2106.01071 [cs], June 2021. arXiv: 2106.01071.

[14] Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi Tan, Fei Huang, Luo Si, and Huajun Chen. KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction. In Proceedings of the ACM Web Conference 2022, pp. 2778-2788, April 2022. arXiv:2104.07650 [cs].

[15] Timo Schick and Hinrich Schütze. Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, January 2021. arXiv:2001.07676 [cs].

[16] Timo Schick and Hinrich Schütze. It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners, April 2021. arXiv:2009.07118 [cs].

[17] Tianyu Gao, Adam Fisch, and Danqi Chen. Making Pretrained Language Models Better Few-shot Learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online, August 2021. Association for Computational Linguistics.

[18] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners, July 2020. arXiv:2005.14165 [cs].

[19] Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang. PPT: Pre-trained prompt tuning for few-shot learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8410-8423, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[20] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower Provost, Samuel Kim, Jeannette Chang, Sungbok Lee, and Shrikanth Narayanan. Iemocap: Interactive emotional dyadic motion capture database. Language Resources and Evaluation, Vol. 42, pp. 335-359, 122008.

[21] Sayyed M. Zahiri and Jinho D. Choi. Emotion detection on tv show transcripts with sequence-based convolutional neural networks, 2017.

[22] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. Dailydialog: A manually labelled multiturn dialogue dataset, 2017.

## A Dataset Details

Statistics of MELD, IEMOCAP, EmoryNLP (EMORY), and DailyDialog (DD) are shown in Table 3.

Table 3 Statistics of ERC datasets. Numbers of dialogues (\#Dlg) and utterances (\#Utt) in train/dev/test sets are listed.

MELD: The Multimodal EmotionLines Dataset is a multimodal dataset collected from the TV show Friends. In our experiments, we only use the text modality. 7 emotion labels are included: neutral, joy, surprise, sadness, anger, disgust, and fear.

IEMOCAP: The Interactive Emotional Dyadic Motion Capture is a multimodal dataset collected from a scripted dialogue between two actors. In our experiments, we only use the text modality. It contains 6 emotion labels: neutral, happiness, sadness, anger, frustration, and excitement.

EmoryNLP (EMORY): The EmoryNLP dataset is also collected from the TV show Friends, but it only includes the text modality. The dataset uses a different emotion set: mad, scared, neutral, joyful, sad, peaceful, and powerful.

DailyDialog (DD): The DailyDialog corpus consists of communications from English learners. This dataset includes 7 emotion labels: neutral, happiness, surprise, sadness, anger, disgust, and fear.

## B Experiment Details

## B. 1 Full-shot Experiments

In full-shot experiments, we use the RoBERTa-large as our PLM and $</ s></ s>$ as the [SEP] token accordingly. We use the AdamW optimizer and a linear learning rate schedule strategy, with the maximum learning rate set to 1e-5. We train for 2 to 5 epochs depending on the dataset size and convergence speed, with 1 epoch for warmup. The batch size is 8 , with gradient being accumulated every 4 steps, resulting in an equivalent batch size of 32 . We run the experiment on 3 random seeds and report the average scores.

## B. 2 Few-shot Experiments

For each dataset, we first sample $K$ instances for the train set and the development set for each class, and then run the same training process as in Section B.1. Finally, we evaluate our model on the full test set. Because few-shot training can be unstable, we repeat the sample, training, and evaluation process 5 times and report the average score.

## C Prompt Example

Figure 3 shows an example of the emotion recognition for $u_{4}$ in Figure 1.

Figure 3 A prompt example of the emotion recognition for $u_{4}$ in Figure 1.


# 公的なメールに対する BERT を用いたセンチメント分析

菊池理紗 1 大関洋平 1
1 東京大学大学院総合文化研究科
rs.kikuchi.11@gmail.com oseki@g.ecc.u-tokyo.ac.jp

## 概要

本研究は，公的な場面で書かれたメールを対象 に，読み手の抱く感情と，それに影響を与えるだろ う文章的特徴を明らかにすることを目的とした。は じめに，コーパスや心理実験から収集したメール を，WRIMEで再訓練した BERTを用いて，ネガティ ブ群・ニュートラル群・ポジティブ群に分類した.次に，各群のメールに対して形態素解析を行い，特徵量を算出した. 分析の結果，ネガティブ群は断り のメールが多く，他の 2 群よりも総文字数や名詞出現率，カタカナ形態素の出現率が低く, 動詞・助動詞の出現率，ひらがな形態素の出現率が高かった. また，ニュートラル群は，記号の出現率が高く，動詞出現率やひらがな形態素の出現率が低かった.

## 1 はじめに

日常生活において，文章は重要なコミュニケー ション手段の一つである。それは手書きのメモや 手紙に始まり，インターネットの発達を背景に開発された，電子メール（以下，メール）やTwitter， Facebook, Instagram, Slack といった様々なツールで も書かれている. これらのツールを媒介として産出 される文章は，文章を通して読み手とコミュニケー ションを行うことを目的としている.

文章は，書き手と読み手の相互作用の結果と捉え ることができる [1]. 特に，コミュニケーションを 前提とした文章では，書き手は，読み手の立場や自分と読み手の現在や未来の関係性，読み手の感情 に対する推測を理由に，文章表現を選択している $[2,3,4]$. 一方で，読み手は，略語の使用や言葉遣 い，文章から推測される書き手の感情などの影響を 受けて，様々な感情・印象を抱く [5, 6, 7]. すなわ ち，書き手と読み手の相互的な影響によって，文章 とそれに伴う感情が生み出されているといえる。

しかし，日本語の文章を対象としたこれまでの研究では，コミュニケーションを前提として産出され
た文章を対象とした研究は少なく, 読み手との関係性に着目した研究や読み手の抱く印象 - 感情と文章的特徵の関係を検討した研究はさらに限られる. そ こで，本研究では，コミュニケーションを前提とし た日本語の文章の中でも，公私共に用いることがで きるメールを対象に，読み手の抱く感情と，それに 影響を与える可能性のある文章的特徴を明らかに することを目的とする。なお，本研究においては，書き手と読み手の関係性は, 大学教員と学生, 大学事務職員と学生といった公的な関係性に限定する。 メールは大学の初年次教育でも取り上げられる媒体であり $[8,9]$, その一方で，大学生の書く公的な メールには不備があるという指摘もある $[10,11]$.本研究の成果は，今後の初年次教育における指導や メールの産出に対する一助となるだろう。

## 2 BERT によるセンチメント分析

## 2.1 カテゴリー個数の設定

センチメント分析とは，ある文章に含まれた感情極性を推測する分析手法であり，この場合，推測さ れるのは，書き手の感情と考えられる．しかし，あ る文章を読んだとき，読み手の感情は，その読み手 が書き手の感情だと推測したものと対応して生じる [6]. すなわち，文章に含まれる感情極性を分析する ことにより，それを読んだ際の読み手の感情を間接的に推測することが可能であるといえる.

英語においては，The Enron Email Dataset ${ }^{11}$ を 用いたメールのセンチメント分析が存在する $[12,13,14,15]$. これらの研究から，メールは，ネガ ティブ・ニュートラル・ポジティブの 3 種類に分類 できると明らかになった。したがって，本研究にお いても，感情極性が 3 種類であることを前提に分析 を行った。

## 2.2 分析のモデル

センチメント分析には，極性辞書を用いて単語 に感情極性を付与する [12,13]，TF-IDF 値をもとに k-means 法でグループ化する [14]，単語の極性をま とめたデータセットを用いて Support Vector Machine で分類する [15] といった様々な分析手法がある. し かし，極性辞書は単語の極性ラベルであり，文章全体を包括したラベルではない。 また，k-means 法を 用いた分類は，後続の研究 [15] でクラスタとラべ ルの間の関連が不明であるという指摘がある. そこ で，本研究では，文章の特徴量と極性ラベルの関係性を BERTに学習させ，それを用いてメールを分類 した. 具体的には，「WRIME：主観と客観の感情分析データセット ver.2 2 ㄱ $^{2}$ [16] を用いて事前学習済み BERT モデルを再訓練し，分類を行った。

WRIME は，日本語の文章の感情分析を行うため のデータセットであり，35,000 件の SNS の投稿につ いて，投稿者と 3 名の読み手が 8 種類の基本感情の 強度 $(0$ : 無〜 3 : 強の 4 段階) と感情極性 ( -2 : 強 いネガティブ〜 2 : 強いポジティブの 5 段階）のラ ベルを付与したものである. 本データセットを学習 データとして採用した理由は，ラベルが文章全体に 対して付与されており，かつ，SNS の投稿を使用し ているためである. SNS は，コミュニケーションを 目的として用いられるツールであり，「話し言葉の 要素を多く含む新しい書き言葉」[17] と定義される 「打ち言葉」を用いている点が, 本研究の分析対象 であるメールと共通している。加えて, 既に Twitter のセンチメント分析を行う際の学習データセットと して利用されている $[18,19]$. したがって, WRIME で再訓練を行うことで，より的確にセンチメント分析が行えると考えた。

また，読み手が付与したラベルを BERT に学習さ せた場合に，書き手の感情を最も正しく判断するこ とが指摘されているため [16], 本研究では, 3 名の 読み手が付与した感情極性の平均値をラベルとし て採用した. さらに，前節で述べたように，メール は 3 種類に分類できることから，5 段階の感情極性 のうち，強いネガティブと弱いネガティブは「ネガ ティブ」, 強いポジティブと弱いポジティブは「ポジ ティブ」としてまとめ，ニュートラルを含めた 3 段階のラベルとして扱うこととした．なお，ラベル数 は，ネガティブが 12,155 件，ニュートラルが 11,462件，ポジティブが 11,383 件である.

BERT モデルは，事前学習済みモデル bert-basejapanese-v2 ${ }^{3}$ )を用いた. BERT モデルの実装には， Hugging Face Transformers ${ }^{4}$ )を使用し, 先行研究を参考に，学習率やバッチサイズ，エポック数を検討し た. その中で最も accuracy が高かった設定を用い,学習率を $2 \mathrm{e}-5$ ，バッチサイズを 32 ，ドロップアウ 卜率を 01，最適化手法を AdamW [20] として， 3 エ ポックの訓練を行った $($ accuracy $=0.674)$.

## 2.3 分析対象

現在，日本では，The Enron Email Dataset のような 大規模なメールデータセットは存在しない。そのた め，2 種類のメールコーパスと第一著者が心理実験 [21,22]を通して収集したメール（計 358 通）を分析対象とした。使用したコーパスは，金澤（2014）の 「日本語教育のためのタスク別書き言葉コーパス」 [23] と東（2020）の「中国語・韓国語を母語とする 日本語学習者縦断的メール文コーパス」[24]であ る.これらのコーパスには，日本語母語話者と中国語母語話者，韓国語母語話者の作成したメールが収録されている. 本研究では，その中から日本語母語話者が産出したメールのみを使用した。

また，「日本語教育のためのタスク別書き言葉 コーパス」には，公的なメール以外の文章も含まれ ていたため，「メール」と明記され，かつ，読み手が 大学教員であるタスク 1 ，タスク 4，タスク 7，タス ク 10 のメール（計 120 通）のみを使用した。同様 に，「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」においても，読み手が教員 であるタスク 1 ，タスク 3 ，タスク 4，タスク 7 ，夕 スク8のメール（計 145 通）のみを使用した。

心理実験では, 計 93 名の参加者に対して, 同じ課題内容で 2 回メールを書かせた。これについては,上述の 2 種類のメールコーパスと条件を合わせるた め，1 回目に書かれたメール（93 通）のみを使用し た。なお，上述のコーパスを含めた各メールの読み 手と課題内容を表 1 に示した. 課題内容の「依頼」「断り」「意見」などの分類は，元のコーパスにおけ るタスク内容の説明から引用した。

2) https://github.com/ids-cv/wrime
表 1 各コーパスのタスク内容とセンチメント分析の結果

## 2.4 分析結果

358 通のメールは，45 通がネガティブ， 149 通が ニュートラル，164 通がポジティブに分類された (表 1 の「感情極性」を参照).メールの内訳を検討 したところ，ネガティブに分類されたメールが特定 のタスクに偏っている可能性が考えられた. そのた め, 同じ読み手に対して異なる内容のメールを書 いている東（2020）の「中国語・韓国語を母語とす る日本語学習者縦断的メール文コーパス」のタス ク 3，タスク 4，タスク 7，タスク 8 の計 116 通に ついて，対数線形モデルを適用して検討した. 読 み手との親踈 (親密, 疎遠), 課題内容 (依頼, 断 り)，感情極性（ネガティブ，ニュートラル，ポジ ティブ）という三つの要因が，各感情極性に分類 されたメールの通数に影響を及ぼすと仮定して分析を行った結果，課題内容と感情極性の 1 次の交互作用とそれぞれの主効果を含んだ飽和モデル が適切であった $\left(\mathrm{x}^{2}(4)=3.920, d f=6, p=.69\right)$. ま た, 交互作用のうち, 課題内容が「断り」の場合 に「ネガティブ」に分類されたメールが多かった（ $u=4.22, z=3.96, p<.01)$. したがって, 感情極性と メールの文章的特徵の関係を検討する際には，メー ルの内容も考慮に入れて考える必要がある.

## 3 各感情極性の文章的特徵量の算出

各感情極性に分類されたメールの特徴を検討する ため，件名を除いたメールの総文字数と下記の項目 を算出した (表 2 を参照).これらの特徴量は，テキ スト分類や著者推定，文章の難易度判定を行う際に 用いられることの多い指標であり $[25,26,27]$, ウェ
ブサイト「文体診断ロゴーン」5) でも診断の根拠と して算出されるものである.

(1-a) 平均文長 : 句点（総文字数 $\div$ 区点の数）

（1-b）平均文長 : 記号（総文字数 $\div$ 句点 - 疑問符 $\cdot$感嘆符・改行で区切られた回数）

(2) 平均句読点間隔（総文字数 $\div$ 句読点の数）

(3) 特殊語出現率（記号の数 $\div$ 総形態素数）

（4）名詞出現率（名詞の数 $\div$ 総形態素数）

（5）動詞出現率（動詞の数 $\div$ 総形態素数）

（6）助詞出現率（助詞の数 $\div$ 総形態素数）

(7) 助動詞出現率 (助動詞の数 $\div$ 総形態素数)

（8）ひらがな出現率（ひらがなのみで構成される 形態素の数 $\div$ 総形態素数)

（9）カタカナ出現率（カタカナのみで構成される 形態素の数 $\div$ 総形態素数 $)$

（10）異なり形態素比率（頻度 1 の形態素の数 $\div$総形態素数)

なお，平均文長は 2 種類を算出した.メールでは，宛名や署名が書かれることが多く, それらの末尾に は句点を使用しないためである. 本研究では, 宛名 や署名，メールアドレス，電話番号などは改行を基準に各 1 文と数え，かつ，疑問符や感嘆符が使用さ れた文も 1 文と数えた場合の平均文長も算出した.

算出した各特徴量について，感情極性を要因とし た 1 要因 3 水準の参加者間分散分析を行い，有意差 がみられた場合は，Shaffer 法を用いた多重比較を 行った. 分析の結果, 総文字数は, ネガティブ群が 他の群に比べて有意に少なく $(\mathrm{F}(2,355)=23.22, \mathrm{p}$ <.01), 平均文長は, 句点のみで計算した場合にの み，ネガティブ群が最も短く, ニュートラル群が 最も長いという結果がえられた $(\mathrm{F}(2,355)=13.60$,

4) https://huggingface.co/docs/transformers/index

5) http://logoon.org/
表 2 各感情極性に分類されたメールの文章的特徴量

注：表の数字は平均值. ( ) は標準偏差.

$\mathrm{p}<.01$ ） 記号や改行も含めて計算した場合の平均文長，また，平均句読点間隔では，群間に差はみら れなかった（平均文長：記号： $\mathrm{F}(2,355)=1.93$, n.s.,平均句読点間隔： $\mathrm{F}(2,355)=0.63$, n.s.). これらに加 えて, 特殊語出現率は, ネガティブ群が最も低く, ニュートラル群が最も高かった $(\mathrm{F}(2,355)=9.47, \mathrm{p}$ <.01). すなわち，ネガティブ群は，文章全体の長 さが短く, 句点で文を区切ることが多いと推察でき る. 一方で，ニュートラル群は，ポジティブ群と比較すると，より多くの記号を用いており，文の区切 りでも句点を使うことがより少ないと考えられる.

続いて，各形態素の出現率をみると，名詞出現率 は，ネガティブ群が他の 2 群よりも低く $(\mathrm{F}(2,355)=$ $13.79, \mathrm{p}<.01)$, 動詞出現率は, ニュートラル群が最 も低く，ネガティブ群が最も高かった $(\mathrm{F}(2,355)=$ $18.36, \mathrm{p}<.01$ ). 助詞出現率は, 有意差がみられな かった $(\mathrm{F}(2,355)=2.85$, n.s.). しかし, 助動詞出現率は, ポジティブ群が最も低く, ネガティブ群が最 も高かった $(\mathrm{F}(2,355)=26.30, \mathrm{p}<.01)$. 前章の対数線形モデルの結果をるまえると，ネガティブ群は断 りのメールが多かったために「〜できない」といっ た「動詞十助動詞：ない」といった組み合わせがみ られた可能性が推察される. 対照的に，ニュートラ ル群やポジティブ群には, 金澤（2014）の「日本語教育のためのタスク別書き言葉コーパス」のタスク 7 で書かれた，故郷の観光地や名物を説明するメー ルが含まれるため, 名詞の数が多くなったと考えら れる. この点については, 今後, 各群で使用されて いる語彙を詳しく検討することで確認したい。

最後に，表記については，ひらがな出現率は， ニュートラル群が最も低く, ネガティブ群が最も高 かった $(\mathrm{F}(2,355)=19.07, \mathrm{p}<.01)$. カタカナ出現率 は，ネガティブ群が他の 2 群より低かった（ $\mathrm{F}(2,355)$ $=3.59, \mathrm{p}<.01)$. 加えて, 頻度 1 の形態素の割合を 示す，異なり形態素比率は，ネガティブ群が他の 2群よりも高かった $(\mathrm{F}(2,355)=42.50, \mathrm{p}<.01)$. これ らについても，どのような語彙が使用されていたの かを中心に, 今後の研究で改めて検討したい.

## 4 おわりに

本研究で得られた結果からは，「断り」を目的と するメールがネガティブ群に多く分類されたことか ら，内容と感情極性の関係性が示唆された。また， ネガティブ群に分類されたメールは，他の 2 群とは 異なり，総文字数や句点のみを用いた平均文長が少 なく, 特殊語出現率, 名詞出現率, カタカナ出現率 が低く, 動詞出現率, 助動詞出現率, ひらがな出現率が高かった. 一方で，ニュートラル群に分類され たメールは, ポジティブ群と比較して, 句点のみを 用いた平均文長が長く, 特殊語出現率と助動詞出現率が高く, 動詞出現率とひらがな出現率が低かっ た. 今後, 具体的な使用語彙も加えて, 更なる検討 を行う必要があるが，感情極性と文章の特徴量との 関係について，一定の法則性を示すことができた。

先行研究では, 名詞出現率が高い文章は, 低い文章よりもわかりやすいという指摘がある [28]. ま た，語彙の選び方や，ひらがな出現率・カタカナ出現率は，文章の難易度判定にも用いられる指標であ る $[29,30]$ ことから, 今後の研究として, 文章難易度 と感情極性の関連を検討することもできるだろう。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 および JSPS 科研費 JP21H05061 の支援を受けたものです.

## 参考文献

[1] Martin Nystrand. A social-interactive model of writing. Written Communication, Vol. 6, No. 1, pp. 66-85, 1986.

[2] Lee Odell and Dixie Goswami. Writing in a non-academic setting. Research in the Teaching of English, Vol. 26, No. 3, pp. 201-223, 1982.

[3] 大浦理恵子, 安永悟. 読み手を特定することが文章産出におよぼす効果. 久留米大学心理学研究, Vol. 6, pp. 11-20, 2007.

[4] 菊池理紗. 好ましいメールの産出において考慮さ れる要因の関係. 読書科学, Vol. 62, No. 1, pp. 26-42, 2021.

[5] WGaray Lewandowski Jr. and Samantha Harrington. The influence of phonetic abbreviations on evaluation of student performance. Current Research in Social Psychology, Vol. 11, No. 15, pp. 215-226, 2006.

[6] 加藤尚吾加藤由樹, 杉村和枝, 赤堀㑆司. テキストコ ミュニケーションにおける受信者の感情面に及ぼ す感情特性の影響一電子メールを用いた実験によ る検討一. 日本教育工学会論文誌, Vol. 31, No. 4, pp. 403-414, 2008.

[7] 坂本真樹紺野倭人. メールの印象を考慮した文章提案システムの構築に関する研究. 人工知能学会第 31 回全国大会論文集, pp. 1-2, 2017.

[8] 高松正毅. 初年次教育におけるアカデミック・リテ ラシー教育の位置と大学教育の問題点. 高崎経済大学論集, Vol. 51, No. 3, pp. 51-65, 2008.

[9] 杉本あゆみ. 初年次教育におけるアクティブラー ニング実践報告ーグローバルキャンパスでの試行一. 千葉経済大学短期大学部研究紀要, Vol. 14, pp. 105-117, 2018.

[10] 布川博士佐藤究. リアリティのある環境の中に埋め 込んだ大学生のメールリテラシ教育の実験一研究室 の事例第 2 報 (2014 年度実験)一. 情報処理学会研究報告, Vol. 2015, pp. 26-42.

[11] 太田陽子. 依頼メール作成タスクに見る大学生のポ ライトネス意識. 相模国文, Vol. 42, pp. 125-136, 2015.

[12] Sudheendra Hangal and Monica S Lam. Sentiment analysis on personal email archives. Proceedings of the 24th annual ACM symposium on User interface software and technology, 2011.

[13] Saif M Mohammad and Wenda Tony Yang. Tracking sentiment in mail: How fgenders differ on emotional axes. Proceedings of the ACL 2011 Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 70-79, 2013.

[14] Sisi Liu and Ickjai Lee. Email sentiment analysis through k-means labeling and support vector machine classification. Cybernetics Systems, Vol. 49, No. 3, pp. 181-199, 2018 .

[15] Salah Hag Rayan Ali and Neamat El Gayer. Sentiment analysis using unlabeled email data. 2019 International Conference on Computational Intelligence and Knowledge Economy, pp. 328-333, 2019.

[16] Noriko Takemura Yuta Nakashima Tomoyuki Kajiwara, Chenhui Chu and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[17] 文化審議会国語分科会.(編). 分かり合うための言語 コミュニケーション（報告）

[18] Hidetsugu Nanba Satoshi Fukuda and Hiroko Shoji. Analysis of international public emotional responses toward the covid-19 vaccine. 2022 12th International Congress on Advanced Applied Informatics., 2022.

[19] Kongmeng Liew Eiji Aramaki Partick Ramos, Kiki Ferawati and Shoko Wakamiya. Emotion analysis of writers and readers of japanese tweet on vaccinations. Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 95-103, 2022

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[21]菊池理紗. 文章を用いたやり取りにおける好ましさ の解明一公的な電子メールを対象として一. 2021.

[22] 菊池理紗. 提示情報がメールの産出に与え る影響一好ましさと特徵語に着目して一。日本教育心理学会第 64 回総会発表論文集, 2022. https://www.jstage.jst.go.jp/article/ pamjaep/64/0/64_163/_article/-char/ja/.

[23] 金澤裕之. 日本語教育のためのタスク別書き言葉 コーパス. 2014.

[24] 東会娟. 中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス. 2020. http: //emailtest.sakura.ne.jp/data/.

[25] 浅石卓真. テキストの特徴を計量する指標の概観.日本図書館情報学会誌, Vol. 63, No. 3, pp. 159-169, 2017.

[26] 野松道子 久野高志 上田修一石田栄美. 文体からみた 学術的文献の特徴分析. 2004 年度三田図書館情報学会研究大会発表論文集, pp. 33-36, 2004.

[27] 亀田雅之. 石岡恒憲.コンピュータによる日本語小論文の自動採点システム. 日本計算機統計学会シンポ ジウム論文集, pp. 153-156, 2002.

[28] 蓮見陽子. 同一情報に基づく文章表現の印象・評価 の差異について. 学習院大学人文科学論集, Vol. 2, pp. 43-67, 1993.

[29] 山田尚勇建石由佳. 日本文の読みやすさの評価式.文書処理とヒューマンインターフェース, Vol. 18, pp. 1-8, 1988 .

[30] Suguru Matsuyosyi Satoshi Sato and Yohsuke Kondoh. Automatic assessment of japanese text readability based on a textbook corpus. Proceedings of the International Conference on Language Resources and Evaluation, Vol. 8, pp. 654-660, 2008.


# zero-shot cross-lingual transfer における言語の多様性の効果

佐藤 匠真 ${ }^{1}$ 新納 浩幸 ${ }^{2}$
1 茨城大学工学部情報工学部 2 茨城大学大学院理工学研究科情報科学領域
19t4035n@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

mBERT のような多言語の事前学習済みモデルで は，あるタスクに対して言語 A で学習したモデル が別の言語 X の同じタスクに対してそのまま利用 できる，いわゆる zero-shot cross-lingual transfer が可能である. 本論文では上記の言語 $\mathrm{A}$ に当たる部分 を複数の言語を組み合わせた場合の効果について 調査する.タスクは Amazon レビューの評判分析と し，モデルを学習する言語を英語，ドイツ語，フラ ンス語の各組み合わせとした。そしてテストデー タは日本語の Amazon レビューの 2000 文書とし, zero-shot cross-lingual transfer を行った. 実験の結果,訓練データに言語の多様性を含める効果があること が判明した。

## 1 はじめに

近年, mBERT[1], XLM[2], XLM-RoBERTa-XL[3] など多言語間の汎用的な特徴表現を学習する多言語 の事前学習済みモデルが提案されている.このよう なモデルの応用の一つとして zero-shot cross-lingual transfer がある. zero-shot cross-lingual transfer は，あ るタスクに対して言語 A で fine-tunining したモデル を別の言語 X の同じタスクに対してそのまま利用 する手法である [4]. 通常，言語 Aを英語などのメ ジャーな言語，言語 $\mathrm{X}$ をリースが少ない，あるい はないようなマイナーな言語に設定することで，低資源言語の学習の問題解決に利用される.

一方, zero-shot cross-lingual transfer を行う場合，も とのモデルは単言語のモデルであっても可能である ことが示されており [5], 多言語の言語モデルにお ける言語の多様性が zero-shot cross-lingual transfer に 影響を与えているのかどうかがはっきりしていな い. 本研究では評判分析をタスクに設定して，この 点に対する調査を行う.

zero-shot cross-lingual transfer を行う際に，言語 A の訓練データの他に, 言語 $\mathrm{B}$ や言語 $\mathrm{C}$ の訓練データも 利用することで言語に多様性のある訓練データから 学習する場合と，それと同サイズの言語 A(あるい は B やC)の言語に多様性のない訓練データから学習する場合とどちらが zero-shot cross-lingual transfer において効果があるのかを調べる。

実験ではタスクを Amazon レビューの評判分析と し，上記言語 $\mathrm{A}, \mathrm{B}, \mathrm{C}$ を英語，ドイツ語，フランス 語，言語 $\mathrm{X}$ を本語とした。つまりテストデータ は日本語の Amazon レビュー文書である. 実験の結果，訓練データに言語の多様性を含める効果がある ことが判明した。

## 2 関連研究

## 2.1 Multilingual BERT

mBERT(Multilingual BERT) は BERT と同じモデル アーキテクチャと学習方法を持っている多言語の事前学習済みモデルである [1]. mBERT が事前学習に 用いる Wikipedia のデータには 104 の言語が含まれ ている. mBERT では WordPiece モデリングにより， モデルが言語間で埋め込み表現を共有することが出来ている。語彙には様々な言語のキャラクタが入っ ており，語彙数は約 12 万 token ある. 日本語の漢字 は 1 文字で 2 文字の漢字単語はない. 日本語のの 2 文字以上の token は約 1000 個ほどで，「になってい る」，「となっていた」などの長いものもある.

cross-lingual な表現学習をしたモデルとして Goyal らの XLM-R がある [6]. XLM-R は様々なクロスリ ンガルベンチマークにおいて mBERT より大幅に 優れている。また，XLM-R は低リソース言語にお いて特に優れた性能を示している。従来の XLM モ デルと比較して XNLI の精度がスワヒリ語やウル ドゥー語で向上している。このような，結果を得る ためには

・正の伝達と容量の希薄化

・高リソース言語と低リソース言語のスケール

のトレードオフが性能に関係している。さらに， XLM-R は GLUE と XLNI において強力な単言語モ デルと非常に高い競争力を有している.

## 2.2 zero-shot cross-lingual transfer

zero-shot cross-lingual transfer $は$ single-source transfer とも呼ばれ，ソース言語 (多くの場合，高リソース 言語) でモデルを訓練し，その後ターゲット言語へ 直接転送する手法である [4].

近年の BERT 等の事前学習済みモデルは，言語を またいだ転移学習が可能であることが知られてい る. 例えば英語やフランス語などの間には, 似た語彙も多く, 英語で学習した知識がフランス語のタス クに有用なのは当然のことである. さらに，この転移学習は事前学習用の言語 (L1) と微調整用の言語 (L2) との間に，共通の語彙が全く無くても可能であ る.この結果から，言語をまたいだ転移学習には人間の言語の何らかの構造的特徴が関連していると考 えられている。

Li らの事前学習された言語モデルにおける新た な cross-lingual 構造 [7] によると, 多言語エンコー ダの最上層に共有パラメータが存在するため, 単言語コーパス間で共有する語彙がない場合やテキス トが非常に異なる領域のものであっても zero-shot cross-lingual transfer が可能であると示されている.

Artexte らの単言語表現の言語伝達可能性につい て [5] では, 言語 L1 で事前学習された単言語モデル を言語 L2コーパスを利用し新しいトークンの埋め 込みを学習することにより新しい言語 L2 転送し た (共有サブワードの概念がない) モデルは最先端の 多言語モデルと zero-shot cross-lingual transfer ベンチ マークで同等に機能した.これは，多言語モデルで は語彙の共有も共同事前トレーニングも必要ないこ とを示している.

## 3 訓練データの言語の多様性

図 1のように英語のデータ 3300 文から訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ 作りそれぞれ E1，E2，E3とした。 ドイツ語も同様 に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3つ作りそれぞれ D1，D2，D3 とした. フ ランス後も同様に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ作りそれぞれ F1，F2， F3 とした.

図 11100 文の訓練データ

図 2 言語の多様性を持たせた 3300 文の訓練データ

さらに，訓練データに言語の多様性の違いを持た せるために図 2のように，図 1で作成したデータを 3 つ合わせて訓練データ 3000 文, 検証データ 300 文の 新たな組を作った. 1 つの言語から構成される言語 の多様性を持っていない E1E2E3，D1D2D3，F1F2F3 の 3 組，2つの言語から構成される言語の多様性 を持っているE1E2F1, E1E2D1, D1D2E1, D1D2F1, F1F2E1，F1F2D1の 6 組, 3つの言語から構成される 最も言語の多様性を持っている E1D1F1，E2D2F2， E3D3F3 の 3 組, 計 12 組を作成した.

zero-shot cross-lingual transfer を行うため訓練デー タには日本語を含んでいない。

## 4 実験

Google が公開している mBERT を用いた文書分類タスクで zero-shot cross-lingual transfer を行うとき に，訓練データに言語の多様性を持たせた場合の識別精度と持たせなかった場合の識別精度を比較し，

図 3 実験結果の平均値のグラフ

訓練データに言語の多様性を持たせる効果を確認 した.

## 4.1 事前学習済みモデル

Google で公開されているモデル (BERT-Base, Multilingual Cased) を使用した。これは Hugging Face 社の Transformers ライブラリから，モデル名'bertbase-multilingual-cased' で利用できるモデルである. The lagest Wikipedias 内でトップ 104 の言語のデータ が事前学習コーパスに利用されている.

## 4.2 実験用データセット

実験には Webis-CLS-10 データセット1を用いた. このデータセットには日本語，英語，ドイツ語，フ ランス語が収録されている．ラベルはレビューの星 の数であり，1 から 5 までの 5 段階評価である. た だし，ラベルが 3 のデータは存在しない. 本実験で はラベルが 1，2 のデータを negative，4，5 のデータ を positive として評判分析 (2 值分類)を行った.

このデータセットには日本語, 英語, ドイツ語, フランス語それぞれに books，dvd， music の 3 つの 領域がある．各言語の各領域に訓練データ 2000 文, テストデータ 2000 文がある. 本実験ではすべて music の領域のデータを用いた.

## 4.3 文書分類器の作成

作成した訓練データ 3000 文，検証データ 300 文 の 12 組で BERT-Base, Multilingual Cased に対して 10epoch の fine-tuning を行った.

## 4.4 実験結果

訓練データの言語の多様性で作成した訓練データ を用いて fine-tuning を行ったモデルで評判分析を解 いた.すべて日本語のテストデータ 2000 で評価し た. 単言語の訓練データで fine-tuning を行い評価を 行った場合の結果を表 1 ，訓練データの言語比 $2: 1$ で fine-tuning を行い評価を行った場合の結果を表 2に，訓練データの言語比 $1: 1: 1$ で fine-tuning を日本語で評価を行った結果を表3に示す。また，実験結果の平均値のグラフを図3に示す.

表 1 単言語での学習

表 2 言語比 2:1 での学習

表 3 言語比 1:1:1 での学習

実験結果より， mBERT を用いて zero-shot crosslingual transferを行う場合の訓練データは言語の多様性を含ませた場合の結果が最も良く, 単言語の場合の結果が最も悪いことがわかった.

## 5 考察

3節で作成した訓練データ 1000 文，検証データ 100 文の組を用いて fine-tuning を行ったモデルで 4節同様に日本語のテストデータを用いた zero-shot cross-lingual transfer を行った. 結果を表4に示す.

表 4 単言語の訓練データ 1000 文訓練データ 日本語で評価

E1 0.6940

E2 $\quad 0.7315$

E3 $\quad 0.7000$

D1 0.7660

D2 0.7005

D3 0.7480

F1 $\quad 0.6625$

F2 $\quad 0.7080$

英語，ドイツ語，フランス語の中で最も精度が良 かった E2，D1，F3 を用いて新たな組を作り，その 組で fine-tuning を行ったモデルで実験した. 精度は 0.7490 だった. これは，精度が良い訓練データを合 わせても精度が向上するわけではないことを示して いる.

さらに， zero-shot cross-lingual transfer ではない日本語の訓練データを用いた評判分析を解く場合に言語の多様性を持たせる効果を確認するために実験を 行った. 日本語の訓練データ 1000 文，検証データ 100 文の組 $\mathrm{J} 1$ を作成した。そして，J1を用いて 4節 で使用したモデルに対して fine-tuning を行い日本語 のテストデータ 2000 文で評価した. 実験結果を表 5に示す.表 5 日本語 1000 文で fine-tuning

表5より日本語を含む訓練データで fine-tuning す る場合も zero-shot cross-lingual transfer $の$ 場合と同様 に訓練データに言語の多様性を含ませた結果が多様性を含ませなかった場合より良くなった。しか し，J1の 1000 文だけで fine-tuning した結果は $\mathbf{0 . 8 2 6 5}$ だった. この結果は訓練データに目的言語データ が含まれている場合 (つまり zero-shot cross-lingual transfer ではない場合) は，訓練データに別言語の データを含ませない方ががよいことを示している. この点についてはさらに調査をする必要がある.

## 6 おわりに

本研究では mBERT を用いた zero-shot cross-lingual transfer を行うときに，訓練データとして 3 種類の 言語を含むデータ 3 組と 2 種類の言語を含むデー タ 6 組と単言語のデータ 3 組を作成し，それぞれで fine-tuning を行い評判分析で精度を比較した. 言語 の多様性を最も持たせた場合の精度が最もよく，単言語の場合の精度が最も悪かった。

また，zero-shot cross-lingual transfer ではない場合 の訓練データに言語の多様性を含めることの効果に ついて調べることを今後の課題とする.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同

研究（22FC04）の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining, 2019.

[3] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling, 2021.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 46234637, Online, July 2020. Association for Computational Linguistics.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.


# 発話の交換を考慮した 対話システムにおけるユーザ感情推定手法の検討

宮川由衣 ${ }^{1}$ 加藤大貴 ${ }^{2,1}$ 松平茅隼 ${ }^{1}$ 平山高嗣 3,1 駒水孝裕 1 井手一郎 ${ }^{1}$
1 名古屋大学 2 名城大学 3 人間環境大学
\{miyakaway, katoh, matsuhirac\}@cs.is.i.nagoya-u.ac.jp
t-hirayama@uhe.ac.jp
taka-coma@acm.org
ide@i.nagoya-u.ac.jp

## 概要

非タスク指向対話システムは目標が明確でないた め，システムの性能を評価することが難しい. シス テムの究極の目標はユーザの満足であるため, 対話 におけるユーザの感情遷移が重要な指針となる。 そ こで我々は，対話システムと人との対話の様子を収 めたマルチモーダルコーパスを使用し, システム発話に対するユーザの感情推定モデルを構築してい る. 本発表では，その際に 1 つの発話のみでなく, どれだけ過去の発話が重要であるか検討した結果を 報告する. 具体的には，心象アノテーションと発話 の書き起こしを用いて BERT モデルを Fine-tuning し た. 実験の結果，システム発話とユーザ発話との対 に加えて1つ過去のユーザ発話まで考慮すること で，最高 0.89 の F1 スコアを達成した.

## 1 はじめに

自然言語処理や音声認識の発達に伴い，Amazon 社の Alexa [1] や Apple 社の Siri [2] などの音声対話 システムが実用化されている.また，チャットボッ トやオープンドメイン対話システムなど、非タスク 指向の対話システムの開発にも大きな関心が寄せら れている. 非タスク指向対話システムの品質向上は ユーザの対話体験にとって重要であるが，タスクの 達成のような目標が明確でないため，システムの性能評価が難しい、ユーザが対話に満足しているか, システムとストレスなく対話できているかは，対話 システムの性能について考える際に重要な要素であ ることから，対話によるユーザの感情遷移を自動的 に推定することができれば，重要な指針となると考 えられる。
そこで本研究では，発話の書き起こしのみから， システム発話に対するユーザの感情を推定するモデ ルを提案する。一般に，対話においてはユーザの感情は 1 つの発話のみに明確に表れるとは限らず，そ れまでの対話の流れに影響される。そのため本研究 では，過去の発話も考慮したモデルを構築する. そ して，どれだけ過去の発話まで考慮した場合にユー ザの感情を最も良く推定できるかを実験的に明らか にする.

以降，まず 2 節で関連研究を，3 節で使用する コーパスを各々紹介する。次に 4 節でコーパスへの 感情ラベルの付与について，5 節で提案手法につい て各々述べる. 最後に 6 節で実験について報告し， 7 節で本論文をまとめ，今後の課題について述べる.

## 2 関連研究

Wei ら $[3,4]$ や Hirano ら [5] は, 対話システムと 人との対話の様子を収めたマルチモーダルコーパ ス $[6,7]$ を使用し，対話システムとの対話における ユーザの内的状態を推定している. Wei ら [3] は，音響特徴, 視覚特徴, 言語特徴を RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU（Gated Recurrent Unit）に入力し，システム対話 におけるユーザの満足度を認識するマルチモーダル モデルを提案している。さらに，対話全体における ユーザの感情と， 1 対の受け答え（以下，交換）に おけるユーザの感情の関係も分析している [4]. 一方 Hirano ら [5] は，弱教師付き学習とマルチタスク 学習を融合することで, 心象アノテーションの信頼性の低さやデータ数の少なさを解決している.

しかし，これらの研究では，過去の発話を考慮す ることによるユーザの感情の推定性能への影響は検
討されていない.

## 3 対話コーパス

本研究では，先行研究 $[3,4,5]$ で用いられている 対話コーパス (Hazumi）[6,7]に含まれる 3 つのデー タセット Hazumi1712, Hazumi1902, Hazumi1911を 使用する．以下，これらについて紹介する。

## 3.1 対話の収録

対話システムを模擬して，Wizard-of-Oz 方式によ り別室から人が操作 ${ }^{1)} し$, 実験参加者が対話システ ムと雑談する様子を 1 名あたり約 15 分間収録して いる. 各データセットは, ビデオカメラと Microsoft Kinect センサにより記録された参加者の行動や表情, さらにシステムと参加者の発話の書き起こしを 収録している。

使用するデータセットのうち, Hazumi1712では,事前にいくつかの話題に対する参加者の興味の有無 を調査した上で, 参加者の興味がある 3 話題と興味 がない 3 話題をとりあげて対話が行なわれている.話題の例としてはスポーツ，ドラマ，芸能人，ゲー 厶，電車などがある．参加者は 20 代から 50 代の男女29名（男性 14 名，女性 15 名）である.

一方, Hazumi1902 と Hazumi1911では, 参加者が 楽しんでいる時間が長くなるように話題を調整し ながら対話が行なわれている. Hazumi1712 との違 いは，参加者がある話題に興味を示さなかった場合 に，対話システムが別の話題に変えている点であ る. 参加者は 20 代から 70 代の男女 60 名（男性 25 名，女性 35 名）である.

## 3.2 心象アノテーション

これらのデータセットには，参加者とは別のアノ テータ 5 名により心象アノテーションが付与され ている.アノテーションの付与単位は発話における 1 交換（あるシステム発話開始時刻から次のシステ ム発話開始時刻まで）である.アノテータは対話の 様子を記録した映像を始めから順番に視聴しなが ら，参加者のシステム発話に対する感情について，各交換に対して 7 段階で付与している. ここで， 1 がネガティブ（楽しくない，話し続けたくない，不満, 困惑など), 7 がポジティブ (楽しい, 話し続け たい，満足など）である.

1）人間のオペレータが遠隔から，実験参加者の様子を見なが ら専用のインタフェースを通じて，システムの応答を選択.

図 1 付与されたユーザ感情ラベルの分布

## 4 ユーザ感情ラベルの付与

本研究では, ネガティブ, ニュートラル，ポジ ティブの3クラス分類を行なう．そのために，アノ テータ 5 名分の心象アノテーションを集約すること で得られる3クラスのラベルをユーザ感情ラベルと 定義する. 各交換に対してユーザ感情ラベルを付与 する際に，以下の 2 種類の方法を検討する。

平均ラベル法 アノテーションの平均をとる方法である. 5 名分の心象アノテーションの平均をと り, 先行研究 $[5,8]$ に倣い, 3.5 未満はネガティブ, 4.5 以上はポジティブ，その他はニュートラルに分類する.

多数決ラベル法 アノテーションの多数決をとる 方法である. 平均ラベル法でアノテーションがポジ ティブとネガティブに分かれた場合にニュートラル に分類されてしまう問題の解消を目的とする． 5 名分の心象アノテーション各々について, 3.5 未満は ネガティブ， 4.5 以上はポジティブ，その他はニュー トラルに分類した後， 3 つ以上一致したラベルに分類する.

7,743 交換に対して，平均ラベル法と多数決ラベ ル法各々によるユーザ感情ラベルの分布を図 1 に示 す. なお，多数決ラベル法で 3 つ以上一致するラべ ルがなかった交換は削除したため，同法については 合計 7,306 交換になった.

## 5 感情推定モデルの構築

感情推定モデルを構築する際に, 学習データ数 の少なさを考慮して，少数のデータでも高精度の 分類が期待できる事前学習済み BERT (Bidirectional Encoder Representations from Transformers) [9] の Fine-
表 1 学習データの例

 &  & ニュートラル & ポジティブ \\

図 2 Token type IDs の使用例

tuningを行なう.

ここでは，あるシステム（ユーザ）発話開始時刻 から次のユーザ（システム）発話開始時刻までを 1 発話と定義し，モデルへの入力単位は，連続する $N$発話を連結したものとする. $N=1$ のとき入力単位 は最後のユーザ発話のみとなり, 過去の発話を考慮 しない条件と等価である. システム発話とユーザ発話の間には文章の区切りを表す [SEP] トークンを挿入する. $N=3$ 以上の場合には最後の交換に付与さ れたユーザ感情ラベルを使用する. 表 1 は $N=2$ 及 び $N=4$ における学習データの例である.ここで， 3 列目の「sys」はシステム発話，「user」はユーザ発話を表す.

また，ユーザ感情ラベルには最後のユーザ発話の 影響が大きいという仮説のもと，最後のユーザ発話 を明確化することを目的とし，入力を Encode する 際に Token type IDs を付与する. 図 2 は表 1 におけ る連結数 $N=4$ の ID 2 に対する Token type IDsの例 である. 最後のユーザ発話に 1 を付与し，その他に は 0 を付与する。

## 6 実験

4 節の方法で，対話の様子を収録した映像を視聴 して付与された心象アノテーションに基づいて定義 したユーザ感情ラベルについて，発話の書き起こし のみから推定するという問題設定で，分類実験を行 なった.

## 6.1 実験条件

ユーザ感情ラベルを付与した書き起こしデータを $8: 1: 1$ の比率に分け, それぞれ学習データ，検証 データ，テストデータとした. この学習データと検証データを用いて, 日本語の感情分析データによっ て事前学習された BERT モデル [10] を Fine-tuning した.

発話の連結数 $N$ について, $N=1,2,3,4,6,10$ の 6 通り測定して，結果を比較した. 更に，直近の システム発話 1 発話のみを入力とした場合の結果も 比較した。

## 6.2 ベースラインモデル

ベースラインモデルとして，ML-Ask [11] を用い た. これは, 感情表現辞典 [12] に基づく2,100 の感情語によるパターンマッチングを行なうことで 10 種類の感情（怒，哀，怖，厭，昂，驚，恥，喜，好，安）を推定し，推定した感情に基づいて 3 クラス分類を行なうモデルである．具体的には，入力された テキストはネガティブ (怒，哀，怖，厭），ニュート ラル (昂，驚，恥)，ポジティブ（喜，好，安）の感情語の個数に応じて 3 クラスのいずれかに分類さ れる。

本実験では，感情語が存在しないために分類でき なかったものは全てニュートラルに分類した.

連結数 $N=1,2$ のテストデータに対してユーザ感情ラベルを推定し，その分類性能を評価した。
表 23 クラスの平均 $\mathrm{F} 1$ スコア

## 6.3 実験結果

実験結果として，3つの感情クラスの平均 F1 ス コアを表 2 に示す. 3 列目がユーザ感情ラベル付与 に平均ラベル法を採用した場合の F1 スコア， 4 列目が多数決ラベル法を採用した場合の F1 スコアで ある.また，「1 (sys)」はシステム発話のみを入力単位とした場合，「1 (user)」はユーザ発話のみを入力単位とした場合を表している。各方法で最高の F1 スコアを太字で示した. 平均ラベル法では $N=2$ と $N=3$ の場合のスコア（0.83）が，多数決ラベル法で は $N=3$ の場合のスコア（0.89）が最高であった.一方， $N=6$ 以上連結した場合や，ML-Ask モデルで 分類した場合には性能が低かった. また，平均ラべ ル法と比較して多数決ラベル法の方が総じて良い性能を得られた。

## 6.4 考察

ML-Ask モデルの性能が低かったのは，テスト データ中に感情語が存在しない発話が多かったた めと考えられる．1交換 $(N=2)$ において，感情語 が存在しない交換は平均ラベル法では 774 交換中 513 交換，多数決ラベル法では 731 交換中 482 交換 であった。辞書を使用する手法では，辞書に含まれ ない感情語を発している場合や明確にポジティブ／ ネガティブな単語を発していない場合の感情推定に 限界があるため，機械学習による手法より劣ると言 える。

また，平均ラベル法と比べて多数決ラベル法の方 が良い性能を得られた. これは，心象アノテーショ ンを閾値処理して得た感情ラベルが 3 つ以上一致し ないような，感情が明確でない交換が，多数決ラべ ルにおいて除外されたためであると考えられる.

また表 2 において，平均ラベル法と多数決ラベル 法どちらの場合でも「1 (sys)」よりも「1 (user)」の 方が性能が高くなった. このことから，ユーザ感情表 34 発話における感情クラス別の F1 スコア

ラベルにはシステム発話と比較してユーザ発話の影響が大きいことが分かる.

表 3 に提案手法において $N=4$ とした場合のクラ ス別の F1 スコアを示す. ポジティブやニュートラ ルと比較してネガティブの性能が低いことが分か る.この原因として，対話内で明確にネガティブな 言葉（嫌い，つまらないなど）がほぼ発されないた め，他クラスよりも推定が難しいことや，他クラス と比較してデータ数が少ないため，十分に学習でき ていないことなどが考えられる（図 1 参照）、ネガ ティブクラスに対する分類性能の向上は今後の課題 である.

## 7 おわりに

本研究では，システム発話に対するユーザの感情 を推定するモデルを提案した。

Hazumi データセットの心象アノテーションに基 づいて，2 種類の方法で 3 クラスのユーザ感情ラベ ルを付与し，このラベルと発話の書き起こしを用い て BERT モデルを Fine-tuning した. 入力単位とする 発話の連結数を変えてモデルをそれぞれ学習し，感情クラス分類の性能を比較した。

実験の結果，平均ラベル法では入力単位を 2 発話及び 3 発話とした場合，多数決ラベル法では 3 発話 とした場合に最高の F1 スコアが得られ，過去の発話を考慮することで分類性能が向上する可能性が示唆された。

分類性能向上のための今後の課題として，発話の 連結方法の改善が挙げられる. 例えば，Token type IDs の拡張による全ての発話の区切りの明確化や,最後の発話に対する重み付けが考えられる。

また，状況に応じた発話の連結数の切り替えも挙 げられる。例えば，話題が切り替わった際には過去 の発話を連結しない，発話が短い場合にのみ過去の 発話も連結する，などが考えられる。

更に，今後は画像，音声， 3 次元動作などのデー タも加えてマルチモーダルな分析を行なっていき たい.

## 謝辞

本研究の一部は，JSPS 科研費 JP22H03612 の助成 を受けたものである.

## 参考文献

[1] Amazon.com, Inc. Amazon Alexa, (2023-1-9 閲 覧). https://www . amazon.co.jp/b?node=10406417051.

[2] Apple Inc. Siri, (2023-1-9 閲覧). https://www.apple. com/jp/siri/.

[3] Wenqing Wei, Sixia Li, Shogo Okada, and Kazunori Komatani. Multimodal user satisfaction recognition for nontask oriented dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 586-594, 2021.

[4] Wenqing Wei, Sixia Li, and Shogo Okada. Investigating the relationship between dialogue and exchange-level impression. In Proceedings of the 2022 International Conference on Multimodal Interaction, pp. 359-367, 2022.

[5] Yuki Hirano, Shogo Okada, and Kazunori Komatani. Recognizing social signals with weakly supervised multitask learning for multimodal dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 141-149, 2021.

[6] 駒谷和範. マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, Vol. 78, No. 5, pp. 265-270, 2022.

[7] 大阪大学産業科学研究所. マルチモーダル対話コー パス (Hazumi),(2023-1-6 閲覧).https://www.nii. ac.jp/dsc/idr/rdata/Hazumi/.

[8] Yuki Kubo, Ryo Yanagimoto, Hayato Futase, Mikio Nakano, Zhaojie Luo, and Kazunori Komatani. Team OS's system for dialogue robot competition 2022. Computing Research Repository arXiv Preprint, arXiv:2210.09928, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, In Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[10] daigo. bert-base-japanese-sentiment, (2023-1-6 閲覧). https://huggingface.co/daigo/ bert-base-japanese-sentiment.

[11] Michal Ptaszynski, Pawel Dybala, Wenhan Shi, Rafal Rzepka, and Kenji Araki. A system for affect analysis of utterances in Japanese supported with Web mining. 知能 と情報, Vol. 21, No. 2, pp. 30-49, 2009.

[12] 中村明. 感情表現辞典. 東京堂出版, 1993.


# A Study on Subjectivity-oriented Polarity Classification

Na Dong Kiyoaki Shirai
Japan Advanced Institute of Science and Technology
\{s2010417,kshirai\}@jaist.ac.jp
}

\begin{abstract}
This paper presents two methods of document-level polarity classification that consider the subjectivity of sentences, which is based on the idea that subjective sentences in a document play a more important role than objective sentences. The first method determines the polarity of a document by weighted voting of the polarity of sentences in it, where the weights are defined as the intensity of the subjectivity. The second method utilizes pre-trained language models such as BERT and XLNet after objective sentences are filtered out. The effectiveness of these two methods is empirically evaluated on two datasets.
\end{abstract
## 1 Introduction

Polarity classification, which is a kind of sentiment analysis (SA), is a task to classify a given text into polarity, i.e. to judge whether a text expresses positive or negative opinions [1]. A text for polarity classification can be a document, sentence, or aspect, but this study focuses on document-level polarity classification. A typical example is the classification of the polarity of user reviews.

In general, there are two kinds of sentences in user reviews. One is a subjective sentence that expresses the writer's emotion or opinion, the other is an objective sentence that refers to objective facts. Intuitively, subjective sentences play a more important role than objective sentences in polarity classification. It would be helpful to filter out objective sentences or put more priority on subjective sentences in order to improve the performance of polarity classification. Subjectivity is also considered in past studies of SA, such as a subjectivity classification task, but it is not paid much attention in polarity classification.

The goal of this study is to propose two methods of document-level polarity classification that heavily considers the subjectivity of the sentences. One is an approach to determine the polarity of an overall document by vot- ing of the polarity of sentences in it where the polarity of the subjective sentences are highly weighted. The other is an approach to use pre-trained language models such as BERT[2] and XLNet[3] with filtering of the objective sentences.

## 2 Related work

The subjectivity of the sentences has been considered in polarity classification in a few previous studies. Pang and Lee proposed a method to extract only subjective sentences from a document by using a minimum cut framework, then classify the polarity of the extracted document by naive Bayes model [4]. Their results of experiments demonstrated that the document consisting of only subjective sentences was not only shorter but also more effective than the original document, namely the accuracy of the polarity classification was significantly improved. Sindhu et al. proposed a similar method consisting of subjectivity classification and polarity classification [5]. The subjectivity classification was performed to filter out objective sentences, then the polarity classification was carried out using only subjective sentences. The subjectivity was also considered in a wide variety of sentiment analysis, e.g. extraction of aspect and opinion words. Kamal proposed a method to extract pairs of features (aspects) and opinions by combining supervised machine learning and rule-based approaches [6]. The subjectivity of sentences in texts is classified first, then feature-opinion pairs are mined from only the subjective sentences by a rule-based method.

This study shared the basic idea with Pang's and Sindhu's methods: subjective sentences are more important in polarity classification. Although the objective sentences are just ignored in their methods, we suppose that the objective sentences have less but also useful information for polarity classification. Therefore, this study investigates the way to use both subjective and objective sentences with priority on the former.

Figure 1 Overview of subjectivity weighted voting

Recently, BERT has been applied for many tasks of natural language processing (NLP) and often achieved stateof-the-art results. Inspired by the success of pre-trained language models, Pota et al. proposed a two-step approach for polarity classification of tweets posted on Twitter [7]. First, tweets including special tokens of Twitter were converted into plain texts using a language-independent or easily adaptable process for different languages. Second, the polarity of the converted tweets was classified using the language model BERT. This paper also explores how to use pre-trained language models. Furthermore, we investigate how subjective and objective sentences can be handled to improve the performance of polarity classification by language models.

## 3 Proposed method

This section explains the details of two proposed subjectivity-oriented polarity classification methods.

## 3.1 Polarity Classification by Subjectivity Weighted Voting

Our first method classifies the polarity of a given document by voting of the polarity of each sentence where the subjective sentences are more heavily considered. The overview of this method is shown in Figure1. It is implemented by the following steps.

1. Data preprocessing. Tokenization, lemmatization, and removing stop words are performed as preprocessing.

2. Polarity classification of each sentence. For each sentence in a review, the polarity of it is classified by the supervised machine learning model.

3. Subjectivity classification of each sentence. For each sentence, a subjectivity score, i.e. intensity of the subjectivity, is calculated by the supervised machine learning model.
4. Voting. The polarity of the overall review is determined by the weighted voting of the polarity classes of the sentences, where the weight is defined as the subjectivity score of each sentence.

Since our goal is document-level polarity classification, we suppose that a collection of documents (reviews) annotated with their polarity is available as the training data. In the step 2, to train the sentence-level polarity classifier, we automatically assign the same polarity label for each sentence as that of the review. That is, all sentences in a positive (or negative) review are classified as positive (or negative) sentences. Then the sentence-level polarity classifier ("Pol-CL" in Figure 1) is trained from this dataset.

In the step 3, we suppose that a dataset of sentences annotated with the subjectivity labels ("subjective" or "objective") is available. The subjectivity classifier ("Sub-CL" in Figure 1) is trained from the subjectivity dataset. Then, the probability of the classification predicted by the classifier is used as the subjectivity score of the sentence.

An illustrative example of this method is shown in Figure 2. The example review, whose gold label is "positive", consists of five sentences. The simple voting wrongly classifies it as "negative", since the number of negative sentences is more than that of the positive sentences. On the other hand, the proposed method classifies it as "positive", since the sum of the subjectivity score for positive sentences is greater than that of negative sentences.

 & positive & 0.647 \\

everybody.

Simple voting:

Count $_{\text {pos }}=2<$ Count $_{\text {neg }}=3 \Rightarrow$ negative

Proposed method:

Score $_{\text {pos }}=1.429>$ Score $_{\text {neg }}=1.263 \Rightarrow$ positive

Figure 2 Example of polarity classification

## 3.2 Polarity Classification by Pre-trained Language Model with Subjectivity Filtering

Our second method mainly relies on the pre-trained language model. We use two common language models: BERT and XLNet. In addition, we incorporate a filtering mechanism to use only subjective sentences for polarity classification. The document-level polarity classifier is trained by the following steps.

1. Data preprocessing. It is the same as the one in Subsection 3.1.

2. Subjectivity filtering. Each sentence is classified whether it is subjective or objective. Then the objective sentences are discarded and only subjective sentences are retained. We call a set of remaining subjective sentences as "pseudo review".

3. Fine-tuning. Using the pseudo reviews as the training data, we fine-tune BERT or XLNet model. Although the pseudo review consists of several sentences, we treat it as a single sentence.

In the test phase, an input pseudo review is obtained by the same preprocessing and filtering, or the original review is just used as an input. Then, the polarity is classified by the fine-tuned BERT or XLNet.

## 4 Evaluation

This section reports several experiments for the evaluation of our proposed methods.

## 4.1 Dataset

The following two datasets are used for the experiments.

IMDB Review Dataset IMDB Review Dataset [8] is a collection of 50,000 movie reviews. Each review is annotated with binary polarity labels: positive or negative. In this experiment, $25 \mathrm{~K}$ reviews are used as the training data, while the rest of $25 \mathrm{~K}$ reviews are used as the test data.

Amazon review dataset Amazon review dataset [9] is a collection of user reviews posted to the EC website Amazon. There are 35 million reviews for 18 years, up to March 2013. Each data includes a product name, user information, a rating, and a user review as plain text. The reviews with rating 4 or 5 are used as positive reviews, while 1 or 2 as negative reviews. We use the same number of reviews as the IMDB dataset, i.e. we randomly choose $25 \mathrm{~K}$ reviews as the training data and another $25 \mathrm{~K}$ reviews as the test data.

Besides, the following dataset is used to train the subjectivity classifier.

Subjectivity datasets Subjectivity datasets [10] include 5,000 subjective sentences excerpted from the movie review website and 5,000 objective sentences excerpted from IMDB plot summaries. Each line in the file of this dataset corresponds to a single sentence or snippet, and all sentences or snippets are downcased. Only sentences or snippets containing at least 10 tokens were included. The subjectivity labels of the sentences and snippets were automatically assigned.

Note that the subjectivity classifier trained from this dataset is used for the polarity classification in the aforementioned two polarity datasets. The domain of the IMDB dataset is the same as the subjectivity dataset (i.e. the movie review), but that of the Amazon dataset is different. It may degrade the classification performance on the Amazon dataset.

## 4.2 Result

## 4.2.1 Result of Subjectivity Classification

First, we analyze the performance of subjectivity classification. Three classifiers are compared: Support Vector Machine (SVM) using bag-of-words features, BERT and XLNet. Table 1 shows the accuracy of these classifiers ${ }^{1)}$. It is found that XLNet performs the best and its accuracy is 0.96. In the rest of the experiments, this XLNet model is used as the subjectivity classifier.

Table 1 Accuracy of subjectivity classification

## 4.2.2 Results of Subjectivity Weighted Voting

We evaluate the method using the subjectivity weighted voting explained in Subsection 3.1. Our method "Weighted Voting" is compared with two baselines: "Sub. Only Voting" where the objective sentences are removed and the polarity is determined by voting of the polarity of the subjec-

tive sentences ${ }^{2}$, and "Simple Voting" where the polarity is determined by voting without considering the subjectivity scores. Table 2 reveals the accuracy on the IMDB dataset when BERT and XLNet are used as the base polarity classifier ${ }^{3)}$.

Table 2 Accuracy of polarity classification by subjectivity weighted voting (IMDB dataset)

"Sub. Only Voting" is obviously worse than other methods, indicating that it is not good to totally ignore objective sentences. Our method outperforms the "Simple Voting" baseline for both BERT and XLNet, however, the improvement of the BERT model is rather small. On the other hand, significant improvement is found for XLNet, and our method with XLNet achieves the highest accuracy 0.853 .

## 4.2.3 Results of Language Model with Sub. Filter- ing

We evaluate the proposed method using the pre-trained language models with the subjectivity filtering explained in Subsection 3.2. In this method, only the subjective sentences are used for training the polarity classification. For comparison, we also evaluate the method using all (both subjective and objective) sentences and only objective sentences in each training and test data. Table 3 shows the accuracy on the IMDB and Amazon datasets. The system using $\mathrm{S}+\mathrm{O}$ (subjective and objective sentences) as the training and test data is the baseline that simply applies BERT or XLNet without filtering ("BL" in Table 3), while the systems using $\mathrm{S}$ (subjective sentences) as the training data and $\mathrm{S}+\mathrm{O}$ or $\mathrm{S}$ as the test data are our proposed systems ("PRO1" or "PRO2"). The best system among ones trained from the same training data is indicated in bold.

As for the IMDB dataset, BERT always achieves better accuracy than XLNet. When the settings (S+O, $\mathrm{S}$, or $\mathrm{O}$ ) of the training and test data are the same, the accuracy becomes the highest. It seems reasonable because the classifiers are fine-tuned using the training data obtained

2) It is a similar approach of previous work $[4,5]$ that filtered out objective sentences.

3) We did not evaluate the methods using the Amazon dataset, since the accuracy was much worse than our second method as reported in 4.2.3.
Table 3 Accuracy of polarity classification by language models

by the same filtering strategy as the test data. The baseline achieves the best accuracy, 0.997 . Thus the filtering of the objective sentences is not effective in the IMDB dataset.

As for the Amazon dataset, BERT is slightly better than XLNet but they are almost comparable. Comparing the settings of the test data, the systems using subjective and objective sentences $(\mathrm{S}+\mathrm{O})$ are always the highest, following only $\mathrm{S}$ and only $\mathrm{O}$. In the test data, the subjective sentences seem more effective than the objective sentences, but the latter also includes some useful information. The best system is one of our proposed methods where $\mathrm{S}$ is the training data and $\mathrm{S}+\mathrm{O}$ is the test data. It indicates that the removal of the objective sentences from the training data is effective to improve the quality of the polarity classifier using BERT.

Finally, it is found that the methods using the pre-trained language model (Table 3) are much better than the voting methods (Table 2) on the IMDB dataset. Those results prove that the pre-trained language model is powerful and effective for the polarity classification as reported in many previous papers on various NLP tasks.

## 5 Conclusion

This paper presented the methods of document-level polarity classification that consider the subjectivity of the sentences. The experimental results demonstrated that the weighting or filtering of the subjectivity sentences could improve the performance in some cases. However, our method did not always achieve the best performance on the IMDB dataset. In the future, we will investigate the major reason for it and explore a robust subjectivity-oriented method that can be effective for any datasets.

## References

[1] Valerio Basile, Nicole Novielli, Danilo Croce, Francesco Barbieri, Malvina Nissim, and Viviana Patti. Sentiment polarity classification at evalita: Lessons learned and open challenges. IEEE Transactions on Affective Computing, Vol. 12, No. 2, pp. 466-478, 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[3] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R. Salakhutdinov, and Quoc V. Le. XLNet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[4] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. arXiv preprint cs/0409058, 2004.

[5] C Sindhu, Binoy Sasmal, Rahul Gupta, and J Prathipa. Subjectivity detection for sentiment analysis on Twitter data. In Artificial intelligence techniques for advanced computing applications, pp. 467-476. Springer, 2021.

[6] Ahmad Kamal. Subjectivity classification using machine learning techniques for mining feature-opinion pairs from web opinion sources. arXiv preprint arXiv:1312.6962, 2013.

[7] Marco Pota, Mirko Ventura, Rosario Catelli, and Massimo Esposito. An effective BERT-based pipeline for Twitter sentiment analysis: A case study in Italian. Sensors, Vol. 21, No. 1, p. 133, 2020.

[8] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pp. 142-150, 2011. https://ai.stanford.edu/ amaas/data/sentiment/index.html.

[9] Julian McAuley and Jure Leskovec. Hidden factors and hidden topics: Understanding rating dimensions with review text. In Proceedings of the 7th ACM Conference on Recommender Systems, pp. 165-172, 2013.

[10] Subjectivity datasets, (Accessed on Dec. 2022). https://www.cs.cornell. edu/people/pabo/ movie-review-data/.


# 音声対話システムの対話破綻に対する ユーザの反応と個人特性との関連

坪倉和哉 1 武田拓也 ${ }^{2}$ 入部百合絵 2 北岡教英 3
1 愛知県立大学大学院 情報科学研究科 2 愛知県立大学 情報科学部
3 豊橋技術科学大学 情報 - 知能工学系
\{im212008,is191056\}@cis.aichi-pu.ac.jp
iribe@ist.aichi-pu.ac.jp kitaoka@tut.jp

## 概要

近年，対話システムが身近な存在になってきた が，同じ内容の質問を繰り返す，事実と異なる発言 をする，などの対話破綻が依然として生じている。 そのため, 対話破綻検出の研究が行われているが, ユーザの対話破綻に対する反応の個人差については 考慮されていない. そのような個人差は破綻検出精度を低下させる恐れがあるため, 生じる個人差を明 らかにし，その要因を追求することは重要である.破綻時には怒りや困惑などの感情変化を引き起こす 可能性があるため, 本研究では, 感情変化と関連の 考えられる個人特性に着目し，対話破綻時のユーザ の反応の個人差を分析した. 分析の結果, 開放性が 低い人は, 破綻時に怒りや嫌悪の表情を強く表出す るなど，破綻に対する反応の個人差がどの個人特性 に現れるかが明らかとなった。

## 1 はじめに

近年, 自然言語処理や音声認識の技術の発展によ り, 対話システムが身近なものとなった。しかし，現状の対話システムでは, 人間同士の対話と同じよ うに自然な対話ができているとは言い難い。特に， ユーザがシステムの発話に対して不適切な発話をし てしまう「対話破綻」が発生している [1]. 対話破綻はユーザの対話意欲を低下させ，システムに対す る信頼感を損う可能性があるため, 対話破綻を検出 することで, 破綻を事前に回避し, 修正する必要が ある.これまで，テキストチャットにおける対話破綻を検出することを目的とした「対話破綻検出チャ レンジ」[1] が開催され, 関連した研究が行われて いる. また, マルチモーダル情報を用いた対話破綻検出も研究されており, 対話破綻後のユーザのマル
チモーダル情報から，対話破綻か否かを識別してい る [2]. しかし, 従来のマルチモーダル情報を用い た対話破綻検出では, ユーザの個人差が考慮されて こなかった．先行研究において，対話破綻に対する 非言語特徵には個人差が存在すると報告されている $[3,4]$. マルチモーダル情報の表出が個人によって異 なれば破綻検出に大きな影響を及ぼす.

システムが破綻すると，ユーザは怒りや困惑の感情を示す可能性がある. そこで本研究では, 破綻に 対する感情変化と関連の考えられる個人特性に着目 し, 対話破綻に対するユーザの反応の個人差を分析 する.これまで我々は，非言語情報の個人差を性格特性に着目して分析を行ってきた [5]. 本研究では,非言語情報に加えて言語情報の個人差も分析した. また, 個人差の要因として, 性格特性以外にも感情変化と関連の考えられる, 性別と社会的スキルも含 めた。

以降，2 章では収集したデータについて述べる。次に, 3 章で収集したデータから, 対話破綻後の ユーザのマルチモーダル特徴量の抽出を行う. 4 章 では，マルチモーダル特徴量と個人特性との関連を 分析し, 5 章で本稿をまとめる.

## 2 収集デー夕

本章では, 収集した対話データについて述べる.対話実験の参加者は, 愛知県立大学の学生 33 名 (男性 19 名，女性 14 名）である。

対話実験では実験参加者 1 名につき 3 セッショ ン, 合計 99 セッションの対話を収録した。1 セッ ションにつき, 10 発話以上発話することを実験参加者に指示した．対話は雑談対話である．対話はシス テム発話から開始され, 実験参加者が対話を終了し たいと思ったタイミングで「さようなら」と発話す

図 1 構築した対話システム

ることで対話を終了した。なお，実験は，愛知県立大学の研究倫理審査委員会の承認を得て実施して いる.

## 2.1 実験に用いた対話システム

対話実験のために構築したシステムの概要を図 1 に示す. 本実験では, オンライン会議システムZoom を用いて遠隔で音声対話を行うため, 実験参加者 の Zoom の音声を入力とする．実験参加者の Zoom の音声を仮想ミキサーにより抽出し, Google Cloud Speech-to-Text API により音声認識を行う. 音声認識結果は対話応答生成モデルの入力となる. 応答生成 モデルには, 日本語 Transformer Encoder-decoder 対話 モデル「japanese-dialog-transformers」[6]を用いた.応答生成モデルにより応答候補を生成した後, 過去 と同じ応答の繰り返しを避けるため, フィルタリン グを行った. 具体的には, 応答候補に含まれる単語 の集合とそれ以前にシステムが行った発話のひとつ ひとつに含まれる単語の集合の Jaccard 係数を計算 し, それらの最大值の類似スコアが 0.20 以上となる 候補を除外した。閾值 0.20 は先行研究を参考にし た [7]. 以上のように生成された応答発話テキスト は対話エージェント（MMDAgent [8]）に送られ, 音声合成が出力される. Zoom では対話エージェント の動きと音声を画面共有により実験参加者に配信し ている.

## 2.2 対話の収録

対話実験では, Zoom の録画機能により, 実験参加者と対話システムとの対話を録画した。また，実験参加者の発話の音声認識結果とシステムの発話,
それらの発話時刻を対話ログとして記録した。さら に, 対話終了後に実験参加者本人がシステムの各発話に対して対話破綻か否かのラベルを付与した。ア ノテーションの基準は，システム発話に対して違和感や不適切さを感じた場合は「破綻」，それ以外は 「非破綻」と判断してもらった。

実験では, 1,085 発話のシステム発話とユーザ発話のペアを収集した。セッション毎の平均発話数は 11.0 発話であった。全体の破綻割合は, $24.3 \%$ (264 発話）であったが，個人毎の平均破綻割合は最小で $0.0 \%$, 最大で $63.0 \%$ あった。従って, 実験参加者毎の破綻割合に大きなばらつきがあることがわか $る^{11}$. どのシステム発話に対しても破綻と感じない 実験参加者や半数以上の発話に対して破綻と感じ る実験参加者がおり, 実験参加者によって破綻の起 こりやすさや破綻への感度が異なることが示唆さ れる.

## 2.3 個人特性に関するアンケート

3 セッションの対話が終了した後, 実験参加者の 個人特性に関するアンケートを行った。具体的に は, BigFive 性格特性と社会的スキルに関するアン ケートを行った。

## 2.3.1 BigFive 性格特性

BigFive $^{2)}$ [9] の 5 つの特性を 10 項目で測定する日本語版 Ten Item Personality Inventory（TIPI-J）[10] の

1) より詳しい分析を付録 $\mathrm{A}, \mathrm{B}$ に掲載した.

2） パーソナリティの全体的構造を外向性 (Extroversion), 協調性 (Agreeableness), 勤勉性 (Conscienciousness), 神経症傾向 (Neuroticism), 開放性 (Openness) の 5 つの次元で捉えるモデ ル.
質問文を利用した。このアンケートにより, BigFive の各項目に対して 2 から 14 点の得点が得られる.

## 2.3.2 社会的スキル

実験参加者の社会的スキルを測定するために， KiSS-18 (Kikuchi's Scale of Social Skill: 18 items) [11] を用いてアンケートを行った。このアンケートでは 18 項目のアンケートにより, 社会的スキルを測るこ とができる。

## 3 マルチモーダル特徵量の抽出

本章では，対話破綻に対する反応を分析するた め, 収集した対話データから, 対話破綻後の実験参加者のマルチモーダル特徴量の抽出を行う. マルチ モーダル特徴量として, 言語特徴量, 音響特徴量,画像特徴量を抽出する.

## 3.1 言語特徵量

破綻したシステム発話の直後のユーザ発話から 言語特徴量を抽出する. まず, 日本語形態素解析器 $\mathrm{MeCab}^{3}$ により, ユーザ発話を形態素に分解し, 品詞毎の割合を求める. 品詞には, 感動詞と接続詞を 選択した。これらの特徴量を選択した理由は, 対話破綻時にユーザが話題を切り替えようとしたときに 接続詞が増加したり, 破綻に対して感情を示す感動詞やフィラーが増加したりすると考えられるためで ある.

## 3.2 音響特徵量

対話システム発話終了後から次のシステム発話開始までの音声区間に対して音響特徵量を抽出した. 音響特徵量の抽出には OpenSMILE [12] を用いた。本研究では INTERSPEECH2009 Emotion Challenge feature set [13] で使用された音響特徴量 セットから, 音声の大きさに関する RMSenergy の平均，声の高さに関連する $\mathrm{F} 0$ の平均を用いる。これ らの特徴量により, 破綻に対してユーザが驚いたり 怒ったりしたときの韻律の変化を捉える.

## 3.3 画像特徵量

画像特徴量は, Zoom の機能により録画した動画 から抽出を行う，抽出区間は, システム発話開始か ら次のシステム発話開始までの区間である. 画像特徵量の抽出には OpenFace [14] を用い，フレーム毎

の ActionUnit 特徴量と頭の動きに関する特徴量を抽出した. ActionUnit（AU）は，顔の表情を記述する ための動作単位で, P. Ekman \& W.V. Friesenにより 提案された Facial Action Coding System（FACS）で採用されている特徴量である [15]. 本研究では, 先行研究 [16] で対話破綻検出に有効とされる AU2（眉の 外側を上げる)，AU4（眉を下げる），AU6（頬を上げ る), AU12（唇両端を上げる）を分析に用い，これら の $\mathrm{AU}$ の強度に対して, 全フレームの平均值を求め た. AU2 は驚き，AU4 は怒りや嫌悪, AU6 と AU12 は喜びの表出に関わる。また，頭の動きに関する特徵量には, 頭のピッチとヨーの全フレームの標準偏差偏差を求めた。これは, 頭の動きを用いて対話破綻検出を行っている先行研究 [4]を参考にした.

## 4 特徵量と個人特性との関連の分析

本章では対話破綻時の特徴量と個人特性との関連 を分析する. 本研究では，対話における反応の個人差が現れると考えられる, 性別, 性格特性, 社会的 スキルの 3 つを個人特性として扱う。

まず，非破綻時のデータを含む全データに対し て, 個人毎に標準化を行った。これは, 非破綻時 （すなわち，違和感のない通常の対話時）にも特徴量には個人差が含まれると考えられるが，この影響 を取り除き，破綻時における個人差を分析するため である。その後, 対話破綻時のマルチモーダル特徴量について各個人特性の得点上位群と下位群（性別 は男性群と女性群）に分け，マン=ホイットニーの U 検定を行った。

表 1 に，検定の結果を示す。また，検定の結果，有意差または有意な傾向が確認された特徴量につい て, 各特徴量の上位群と下位群（性別は男性群と女性群）の平均値を表 2 に示す. 社会的スキルについ ては，どの特徴量にも有意差が確認できなかったた め，表からは除外している。

言語特徴量では，接続詞において，開放性を除く 4 つ BigFive 性格特性の項目と性別との間に有意差 が認められた。接続詞は言い換えたり, 話題を切り 替えたりする役割を持つ。すなわち，システムが破綻したときに，実験参加者はシステムが前の実験参加者の発話を理解していないと考え，接続詞を用い ることで，言い換えたり別の話題に切り替えたので はないかと推察される.よって, この結果は, 実験参加者の性格によって，システムの破綻後に実験参加者が取る対話戦略が異なることを示唆するもので
表 1 対話破綻に対する反応の個人差（表の数値は $p$ 值である．なお， 0.00004 以下は 0.000 と表示している.）

表 2 有意差が確認された個人特性の上位群と下位群の平均値（個人特性が性別の場合は，女性群と男性群）

} &  \\

\cline { 2 - 4 } & 外向性 & 0.051 & 0.013 \\
\cline { 2 - 4 } & 協調性 & 0.021 & 0.050 \\
\cline { 2 - 4 } & 勤勉性 & -0.034 & 0.079 \\
\cline { 2 - 4 } & 神経症傾向 & 0.066 & -0.034 \\
\cline { 2 - 4 } & 性別 & 0.028 & 0.125 \\
\cline { 2 - 4 } & 協調性 & 0.065 & 0.134 \\
\cline { 2 - 4 } F0 & 開放性 & 0.109 & 0.074 \\

ある。また，感動詞では，性別, 協調性, 開放性に ついて有意差または有意傾向が確認された。性別で は男性が，協調性では下位群が，開放性では上位群 が破綻時に，より感動詞を用いる傾向にある。女性 や協調性が高い人は，破綻してしまったシステムに 対して気を使って感情的な言葉を使わない傾向にあ ると考えられる。また，開放性が高い人は好奇心が 高い可能性があるが，システムの破綻に対して感情的な語彙を用いて応答すると推察される.

音響特徵量では，声の高さを表す F0 と外向性の 間に有意傾向が確認された。外向性上位群の方が F0 の值が低くなっており，外向性が低い人は，シ ステムが破綻したときに声が上ずることが示唆さ れる.
ActionUnit 特徴量では，怒りや嫌悪を表す AU4 と 開放性との間に有意傾向が確認された。開放性上位群の方が AU4 の表出が小さいことから，好奇心の ある人は破綻に対して不快感を抱きにくいと考えら れる.また，喜びの表出にかかわる AU6 と性別と の間に有意差が確認された. システムの破綻時に，女性は男性より喜びの表出を強める傾向にある.

頭の動きに関する特徴量については，どの個人特性についても有意差が認められなかった。高齢者を 対象とした破綻検出において, 頭の動きの周波数に 個人差があることが報告されている [4]. 本研究で は大学生を対象としているが，本研究で対象とした 個人特性以外に実験参加者の年齢が破綻に対する反応の違いを引き起こす可能性がある.

## 5 おわりに

本研究では，対話破綻に対する実験参加者の反応 を個人特性の観点から分析を行った。まず，対話 データの収集を行い，収集したデータからマルチ モーダル特徴量を抽出した。マルチモーダル特徴量 と個人特性（性別, 性格特性, 社会的スキル）との 関連を分析した結果，破綻に対する反応の個人差が どの個人特性に現れるかが明らかとなった。今後 は，個人差の要因として，年齢や文化による違いに ついても新たにデータを収集し分析を行う。また，個人特性を考慮することで対話破綻検出精度の向上 を目指す。

## 参考文献

[1] Ryuichiro Higashinaka, Luis F. D' Haro, Bayan Abu Shawar, Rafael E. Banchs, Kotaro Funakoshi, Michi-
masa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and João Sedoc. Overview of the Dialogue Breakdown Detection Challenge 4. In Erik Marchi, Sabato Marco Siniscalchi, Sandro Cumani, Valerio Mario Salerno, and Haizhou Li, editors, Increasing Naturalness and Flexibility in Spoken Dialogue Interaction: 10th International Workshop on Spoken Dialogue Systems, Lecture Notes in Electrical Engineering, pp. 403-417. Springer, Singapore, 2021.

[2] Tsubokura Kazuya, Iribe Yurie, and Kitaoka Norihide. Dialog breakdown detection using multimodal features for non-task-oriented dialog systems,. In Proceedings of the IEEE GCCE 2022, October 2022.

[3] 阿部元樹, 栂井良太, 綱川隆司, 西田昌史, 西村雅史.個人差と対話行為を考慮した対話破綻検出に関する 検討. 第 16 回情報科学技術フォーラム, E-002, 2017.

[4] Ayaka Kawamoto, Kazuyoshi Wada, Tomohiko Kitamura, and Kaoto Kuroki. Preliminary Study on Detection of Behavioral Features at Conversation Breakdown in HumanRobot Interactions. In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 375-378, Paris, France, January 2019. IEEE.

[5] 坪倉和哉, 入部百合絵, 北岡教英. マルチモーダル対話システムにおける対話破綻時のユーザの個人差.日本音響学会第 148 回 (2022 年秋季) 研究発表会, 3-Q-13, 2022.

[6] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv:2109.05217, 2021.

[7] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮,宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. Ilys aoba bot:大規模ニューラル応答生成モデルとルールベースを 統合した雑談対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90, p. 25, 2020.

[8] Akinobu Lee, Keiichiro Oura, and Keiichi Tokuda. Mmdagent- a fully open-source toolkit for voice interaction systems. In 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 8382-8385. IEEE, 2013.

[9] Lewis R Goldberg. An alternative" description of personality": the big-five factor structure. Journal of personality and social psychology, Vol. 59, No. 6, p. 1216, 1990.

[10] 小塩真司, 阿部晋吾, Pino Cutrone. 日本語版 ten item personality inventory（tipi-j）作成の試み. パーソナリ ティ研究, Vol. 21, No. 1, pp. 40-52, 2012.

[11] 菊池章夫. 思いやりを科学する. 向社会的行動の心理とスキル, 1988.

[12] Florian Eyben, Martin Wöllmer, and Björn Schuller. Opensmile: The munich versatile and fast open-source audio feature extractor. In Proceedings of the 18th ACM International Conference on Multimedia, MM '10, p. 1459-1462, New York, NY, USA, 2010. Association for Computing Machinery.

[13] Björn Schuller, Stefan Steidl, and Anton Batliner. The INTERSPEECH 2009 emotion challenge. In Proc. Interspeech 2009, pp. 312-315, 2009.
[14] Tadas Baltrusaitis, Amir Zadeh, Yao Chong Lim, and Louis-Philippe Morency. Openface 2.0: Facial behavior analysis toolkit. In 2018 13th IEEE International Conference on Automatic Face \& Gesture Recognition (FG 2018), pp. 59-66, 2018.

[15] Paul Ekman and Wallace V Friesen. Facial action coding system. Environmental Psychology \& Nonverbal Behavior, 1978.

[16] Dimosthenis Kontogiorgos, Minh Tran, Joakim Gustafson, and Mohammad Soleymani. A Systematic Cross-Corpus Analysis of Human Reactions to Robot Conversational Failures. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 112-120, Montréal QC Canada, October 2021. ACM.

## A 個人毎の破綻割合

実験参加者毎の破綻割合を図 2 に示す. 図より，実験参加者毎の破綻割合に大きなばらつきがあることが わかる。また，破綻割合は最小で $0.0 \%$, 最大で $63.0 \%$ であった. どのシステム発話に対しても破綻と感じな い実験参加者や半数以上の発話に対して破綻と感じる実験参加者がおり, 実験参加者によって破綻の起こり やすさや破綻への感度が異なることが示唆される。

実験参加者ID

図 2 実験参加者每の破綻割合

## B破綻割合と個人特性との関連

個人特性毎に得点の上位群（性別の場合は女性），下位群（性別の場合は男性）の 2 群に実験参加者を分割 し，群毎の破綻割合を求めた（図 3). 図 3 の縦軸は破綻割合を表している. 各個人特性の左側（赤色）の箱 ひげ図は得点上位群（性別の場合は女性，右側（青色）の箱ひげ図は得点下位群（性別の場合は男性）であ る. 各個人特性に対して 2 群間でマン=ホイットニーの U 検定を行った結果，性別に対して有意な傾向がみ られた $(p=0.089)$. また, 神経症傾向に対して有意差が確認された $(p=0.012)$. 性別では, 男性の方が破綻割合が高い傾向にあることがわかった，神経症傾向では，神経症傾向が高いグループの方が統計的に有意 に破綻しやすいことがわかった。

図 3 破綻割合と個人特性の関係 $(\dagger: p<0.1, *: p<0.05)$


# 知識グラフに基づく応答文生成における 記号化されたエンティティの利用

籾井裕貴 1 滝口哲也 ${ }^{2}$ 有木康雄 ${ }^{2}$
1 神戸大学工学部情報知能工学科 2 神戸大学大学院システム情報学研究科
1935070t@gsuite.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

近年では，生成ベースの応答文生成において，対話履歴のみではなく, 外部のデータベースから検索 した外部知識を利用することによって，情報に富ん だ応答文生成が可能となることがわかっている。一方，既存の生成手法では，応答文生成モデルの学習 に知識を具体的な名称（エンティティ名）のまま用 いている. 外部から必要な知識を得るのであれば，具体的な知識を学習せず，知識の用い方のみを学習 すべきであると本研究では考え，具体的な名称を記号化し, 知識の用い方を学習しやすくする手法を 提案する. 実験により, 提案手法は, 既存手法より も，多くの知識を応答文に取り入れることが可能で あることがわかった.

## 1 はじめに

雑談対話システムの課題として，一般的な応答で はなく, 情報に富んだ応答生成が挙げられる. 生成 ベースの手法においては，学習時に対話履歴だけで はなく, 外部から検索した知識を組み込むことで，情報の多い応答文生成が可能となる [1]. しかし，既存の応答文生成モデルでは，参照すべき知識が与 えられているにも関わらず，知識を用いずに応答文 を生成してしまう現象，あるいは誤った使い方をし てしまう現象があることもわかっている [2].

この問題に対処する方法として，具体的に知識を 学習するのではなく, 知識の用い方，すなわち応答文中のどこに知識を含めるかを学習する方法が考え られる。 [3]では知識グラフを用いた場合を対象と して, Entity Name Constrained Decoding(ENCD) とい う手法が提案されている (3.1 節参照). しかし, こ の手法では，知識を具体的な名称のまま学習に用い ており, 具体的な知識が学習されてしまう. この結果，知識の用い方だけではなく，具体的な知識もパ
ラメータ中に保持されてしまい，学習できる用い方 が減少する問題が発生する。 その場合，与えられた 外部知識を利用できない可能性が増してしまう。

本研究では，ENCD におけるこの問題を解消する 手法として，参照している知識のエンティティ名を 記号化する手法を提案する. エンティティ名を特殊 トークンに置き換えることで，具体的な名称での学習を避け，知識の用い方のみを学習させることを目的とする. 自動評価による比較実験の結果，提案手法は, 既存の手法と比べて, 応答文としての適切性 を保ちつつ，より多くの知識を利用できることがわ かった.

## 2 関連研究

## 2.1 外部知識の利用

対話システムが参照する外部知識としては，文章 のような非構造的な知識から，テーブルデータベー スのような構造的な知識も存在している. 提案手法 では，外部知識として構造的な知識である知識グラ フを使用する．知識グラフは知識の追加や削除，更新が行いやすく，大規模な知識グラフとして，代表的なものに Wikidata[4] がある. 知識グラフの例を 図 1 に示す.

図 1 知識グラフの例

## 2.2 知識グラフに基づく応答文生成

知識グラフでは，知識はトリプル $(\mathrm{s}, \mathrm{r}, \mathrm{o})$ で表現さ れている. s,o がエンティティ, r が s,o の関係を表 すリレーションである．知識グラフに基づく対話例

を表 1 に示す。

知識グラフに基づいて，応答文生成を行う方法と して，いくつか提案されているものがある。一つ は，検索してきた知識トリプルを，あらかじめ作成したテンプレートに当てはめて生成するもので ある [5]. 別の方法は，知識グラフを GNNに，対話履歴を LSTM などのエンコーダに入力してそれぞ れの分散表現を獲得し, それらを結合して応答文生成モデルに入力する方法である [6]. さらに，対話履歴と知識トリプルを繋ぎ合わせて一つのテキ ストとして表現し, 生成モデルに入力して応答文 を生成する手法もある [7]. この場合は, 対話履歴 $D=\left(d_{1}, d_{2}, \ldots, d_{m}\right)$, 知識トリプル $T=\left(t_{1}, t_{2}, \ldots, t_{n}\right)$,応答文 $\mathrm{r}$ を用いて, 以下の式 1 のように表される. $\theta$ は学習パラメータである.

$
P_{\theta}(r \mid D, T)=P\left(r \mid d_{1}, d_{2}, \ldots, d_{m}, t_{1}, t_{2}, \ldots, t_{n}\right)
$

今回は，対話履歴と知識トリプルを繋ぎ合わせて，式1のようにモデルに入力する方式を用いる.

 \\

## 3 提案手法

## 3.1 Entity Name Constrained Decoding

提案手法のもとになった Entity Name Constrained Decoding(ENCD)[3] について述べる. これは, 応答文生成時，与えた知識を用いるよう，モデルに促 す手法である. ENCD は，学習時に適用されるエン ティティタグ付き学習と, 推論時に適用されるエ ンティティ名制約モジュール (ENCM:Entity Name Constraint Module)の 2 つの要素で構成される.

エンティティタグ付き学習 学習データの応答文 において，参照する知識トリプルに含まれるエン ティティ名の前後を” [ “,”]”のタグで囲う. 学習 の際は，タグを含めて生成を行うように学習する。 この学習により, 応答文生成モデルは, 知識を参照 し始めると” [ “を生成し，参照し終わると” ]”を 生成するようになり，与えられた知識を参照する夕 イミングを学習する. 表 1 の対話例に，タグ挿入を 行った例を表 2 に示す.

エンティティ名制約モジュール (ENCM) エン ティティタグ付き学習により, 知識を参照するタイ
ミングがわかるようになるので，推論時に知識を参照する際には，ENCM を用いて，参照する知識トリ プル中のエンティティ名のみを生成するよう，制約 を加える。全体図を図 $\mathrm{A}$ (付録)に示す。

ENCD では，知識の用い方（応答文中のどこに知識を含めるか）を学習できていると考えられる。し かし, 学習時にはエンティティ名は具体的なままで あることから，知識の用い方と具体的な知識内容が ともに学習されてしまうという問題がある。外部か ら知識を得るのであれば，具体的な知識内容の学習 は排除し，用い方のみの学習にすべきであると考 え，本研究では，エンティティを記号化することに より，ENCD を拡張する方法を提案する。

表 2 タグの挿入例

 \\

## 3.2 エンティティの記号化

本論文では，エンティティをSKA，SKB といった 特殊トークンに置換することで，エンティティを記号化する。具体例として，表 2 のタグ挿入を行った 対話例に記号化を行ったものを表 3 に，提案手法を 用いた応答文生成の全体図を図 2 に示す. 記号化に より, 具体的な知識内容の学習を回避しながら, 対話履歴，知識トリプル中のリレーションをもとにし て，応答文中のどこに知識を挿入するかを学習して いくことが可能となる.

なお，このエンティティ記号化は，学習時には対話履歴, 知識トリプル, 応答文に，推論時には対話履歴, 知識トリプルに対して行う. モデルが生成す る応答文は，SKA，SKB などを使ったものになるの で，元のエンティティに戻して最終的な生成文とす る.この際，記号化されたエンティティが元の知識 トリプルでどのエンティティであったかは，SKA， SKB 中の A，Bによって判断することができる。ま た，A，Bによって知識トリプル中での関係を学習 することも期待できる.

表 3 エンティティ記号化の例

 \\

## 記号化の逆処理

Generated response: Yes, [ SKA ] was written by [ SKB ]. Do you know him?

図 2 エンティティ記号化を利用した応答文生成

## 4 実験設定

## 4.1 データセット

学習と評価には，OpenDialKG[8] を用いた。これ は，各応答が知識グラフのどのトリプルを参照した かアノテーションされたマルチターンのデータセッ トである．知識グラフには，freebase[9]のサブセッ トが用いられている (freebase は現在では, Wikidata に統合されている).なお，知識を参照していない 応答もあるため，それらは前処理として除外し，学習データ 22589 文，検証データ 3535 文，評価データ 2832 文が得られた。

## 4.2 評価指標

[10] に倣い，F1，KF1を用いる．F1 は，モデルが 生成した応答文と正解の応答文とのユニグラム一致度を測るものである。一方，KF1 は生成した応答文 と参照している知識とのユニグラム一致度を測るも のである. 生成した応答文，正解の応答文のユニグ ラムのリストをそれぞれ $R_{g}, R_{t}$ とすると，F1 は以下の式 4-1，4-2，4-3 で計算される.

$
\begin{array}{r}
\text { Precision }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{g}\right)} \\
\text { Recall }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{t}\right)} \\
F 1=\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{array}
$

なお，KF1 は，知識トリプルをテキスト表現にし， これを $R_{t}$ として計算できる. F1 が高いほど正解の 応答文との類似度が高く，KF1 が高いほど参照して
いる知識をより多く取り入れたことを示す.

また，知識の用い方が学習できているかを評価す るため，推論時に参照する知識トリプル中のエン ティティを，ランダムに選択した別のエンティティ に置換した場合の評価も行う。全体の流れを図 3 に 示す. 用い方を学習できている場合，与える知識卜 リプル中のエンティティと該当する対話履歴中のエ ンティティを変更した場合，エンティティ部分のみ が異なる応答文が生成される。図 3 の例だと，通常 の場合は，「He wrote Les Fleurs de mal. Have you read it?」が生成され，ランダムなエンティティの場合で は，「He wrote Apocalypto. Have you read it?」が生成 される。そして，エンティティ部分を置換前のエン ティティに戻せば，通常の知識トリプルと対話履歴 を与えた場合と比較して，F1，KF1 が同じ値になる はずである．今回の実験では，通常の場合とランダ ムなエンティティに置換した場合で $\mathrm{F} 1$ ， KF1 がどれ だけ変化するかを確認する．なお，ランダムに置換 する際は，共通のリレーションを持つ他のトリプル を二つ選択し，それぞれから $\mathrm{s}$ ，oを抜き出して置換 した.

## 4.3 ベースライン

事前学習済み言語モデルである T5[11]の small モ デルに対して以下の 2 パターンでファインチュー ニングしたものを，ベースラインとして用いる。な お，入力には，2.2 節で述べた，対話履歴と知識トリ プルを繋ぎ合わせる入力方法を用いた.

Baseline-original 応答文をそのまま用いて学習 し，推論時は通常のデコーディングを行うもの.

Baseline-encd 3.1 節で述べた，エンティティタ グ付き学習を用いて学習をし，推論時は ENCM を 用いるもの.

エンティティをランダムに置換した知識トリプルを用いた評価の流れ

表 4 生成された文章の例

 \\

[ J.R.R. Tolkien ] also wrote [ The Return of the King ].

## 4.4 実装

実装は，[3] に倣い，ベースライン，提案手法と もに Python の OSS ライブラリ Transformersを用いて 実装を行った。最適化手法は AdamW[12], 学習率 1e-3，バッチサイズ 16 で学習を行い，推論時には ビーム幅 3 でビームサーチを行った (これらの設定 も [3]を参考にした).

## 5 実験結果

実験結果を表 5 に示す。通常，ランダムのいずれ の場合でも，KF1 は提案手法で最も高いことがわ かる。これから，具体的な知識を学習しなくなっ た分，知識の用い方を多く学習できたと考えら れる. 生成の例を表 4 に示す. Baseline-original と Baseline-encd では，与えられた知識トリプルのうち 一つしか参照できていない，提案手法では，どちら も用いることができ，作者が共通しているのでその 本を薦めているという内容の文が生成できている.

一方，表 5 の通常の場合，F1 については提案手法と Baseline-encd とでほとんど変化せず，Baselineoriginsl を上回った.この結果から，応答文として の適切性は変化してないことがわかる。これは，知識以外の単語生成については，参照するエンティ

ティ名ではなく，対話履歴やリレーションが大きく 影響しているからであると考えられる。この点は， ENCD の知識を参照するステップとそうでないタイ ミングを切り替えて学習できるという利点が，提案手法でも保たれているためであると考えられる.

また，ランダムなエンティティに知識を変更した 場合，ベースラインの 2 つでは $\mathrm{F} 1 \mathrm{~K} \mathrm{KF} 1$ のスコアが 低下したが，提案手法では変化しなかった.

## 6 終わりに

本論文では，知識グラフに基づく応答文生成にお いて，エンティティを記号化することにより，応答文としての適切性を保ちつつ，知識の用い方 (応答文中のどこに知識を含めるか) が学習できるように なることを示した．自動評価の結果，従来手法より も知識の用い方を多く学習できていることがわかっ た.これは，記号化により具体的な知識内容では学習を行わず，用い方といったメタな学習が可能に なったためであると考えられる。

## 謝辞

本研究の一部は，JSPS 科研費 JP21H00906 の支援

を受けたものである.

## 参考文献

[1] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. arXiv preprint arXiv:2107.07566, 2021

[2] Nouha Dziri, Andrea Madotto, Osmar Zaiane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding. arXiv preprint arXiv:2104.08455, 2021.

[3] 佐良和孝, 滝口哲也, 有木康雄. 事前学習済み言語生成モデルを用いた知識グラフ検索に基づく対話シス テム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 44-49. 一般社団法人人工知能学会, 2021.

[4] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[5] 曽傑, 中野有紀子. 知識と話題の埋め込み表現に基 づく質問生成と対話システムへの適用一料理嗜好 インタビューシステムに向けて一. 自然言語処理, Vol. 28, No. 2, pp. 598-631, 2021.

[6] Yueqing Sun, Qi Shi, Le Qi, and Yu Zhang. Jointlk: Joint reasoning with language models and knowledge graphs for commonsense question answering. arXiv preprint arXiv:2112.02732, 2021

[7] Yu Li, Baolin Peng, Yelong Shen, Yi Mao, Lars Liden, Zhou Yu, and Jianfeng Gao. Knowledge-grounded dialogue generation with a unified knowledge representation. arXiv preprint arXiv:2112.07924, 2021.

[8] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019.

[9] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, 2008.

[10] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567, 2021.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

## A Entity Name Constrained Decoding $の$ 全体図

図 A Entity Name Constrained Decoding $の$ 全体図


# 発話とレビューに対する解釈文生成とトピック分類

林部祐太
株式会社リクルート Megagon Labs, Tokyo, Japan
hayashibe@megagon.ai

## 概要

我々は宿提案のための対話システムの構築に取り 組んでいる。そこでは，カスタマーの発話意図をレ ビューなどから抽出した宿に関する情報とマッチン グして，宿を提案する．それには，レビューやカス タマー発話内の文の意図を解釈する必要がある。そ こで，文の意図を簡潔に示す「解釈文」を生成する ことで意図解釈を行う。そして，それぞれのトピッ クに基づきマッチングする．本論文では，解釈文生成とトピック分類の従来手法の改善に取り組んだ.

## 1 はじめに

我々は宿提案のための対話システムの構築に取り 組んでいる。その対話システムは，単にカスタマー の入力した要望で検索するのではなく, 宿レビュー も参照しながら逆に質問して要望を詳細化していっ たり（詳細化），候補を絞るために異なる観点から 要望を訪ねたり（要望追加），ときには代替案を提案したり（代替提案）と，インタラクティブに宿提案することを目的としている [1].

そのためにはまず，レビューや発話内の文の意図 を解釈する必要がある. 例えば，システムが 2 択で 質問した後，「後者がいい」とカスタマーが発話し たとして，発話そのままでレビューなどを検索して も適切な結果は得られない. システムは「後者」が 指す事柄を理解する必要がある．また，「すごく楽 しめました。」というレビュー文では対象物が省略 されているので，文そのままを検索対象にするので はなく，文の意図を適切に表した上で検索対象にす る必要がある，そこで，文の意図を簡潔に表す「解釈文」にそれぞれ変換した上で，システム内で利用 することにする.

そして，宿トピックに関する知識を用いてマッチ ングする．具体的には解釈文を事前に整備した宿ト ピックに関するツリー構造で整理した「トピックッ リー」上に分類して，宿を提案する。例えば，『ト

図 1 解釈文生成とトピック分類による発話とレビューの マッチング例（作例）

ピックの子トピックに「バイキング」や「定食」と いった食事の形式に関するトピックがある』という 知識を用いてカスタマー発話の解釈文「おいしい食事が食べたい」とレビューの解釈文「バイキングを 楽しめた」に対して詳細化した宿を提案する。図 1 に解釈文生成とトピック分類に基づくマッチングの イメージを示す.

これまで，我々は発話に対する解釈文生成のため のコーパス構築とモデル学習 $[2,3]$ や, トピックッ リーの整備と分類 [1] について取り組んだ。本論文 では,

・宿レビューへの解釈文アノテーション

・解釈文の生成候補リランキングによる改善

・トピック分類のフィルタリングによる改善 についての取り組みについて報告する。

## 2 解釈文生成

## 2.1 解釈文コーパス

解釈文とは，発話理解の 1 つの形式で，対象の文 の意味を文脈を読まなくても理解できるように表現 した文 [3] である. ${ }^{11}$

例を表 1 と表 3 に示す. 対象の文の省略されてい る言葉を補ったり，照応詞を置き換えたりしてい る. また, 表 1 の(2) や表 3 の(B)のように複文を単文に分けて表現することで，複雑な要望を理解・処

1）[2]では「要約」,[3]では “Self-Contained Utterance Description” とよんでるが，本論文では「解釈文」とよぶ

 \\

表 1 発話と解釈文の例. 解釈対象の文とその解釈文は,同一番号で下線を引いている.

表 2 解釈文アノテーションの統計

理しやすくする.

本研究では，対話中の発話と，宿レビューの 2 種類を対象に解釈文コーパスを構築した.

## 2.1.1 発話の解釈文

架空の宿予約サービスにおけるカスタマーとオ ペレータの発話の作成を作業者に依頼し，対話を収集した。そして，各対話のカスタマーの発話の各文 に対して，1 人のアノテータが解釈文を作成した. コーパスの統計を表 2 に示す2).

## 2.1.2 宿レビューの解釈文

旅行情報サイト「じゃらん net $\rfloor^{3)}$ に投稿された宿 レビュー 475 件4）にも解釈文を作成した。例を表 3 に示す.また統計を表 2 に示す.(A) の解釈文は，対象文では省略されている「横浜スタジアムに」や 「ホテルから」を補い，文脈を見なくても対象の文 の意図を理解できるようになっている. (B) では，複数の事柄が 1 文で書かれているレビュー文が複数 の解釈文で表現され，システムの検索などで扱いや すくなっている.

## 2.2 解釈文生成モデルの構築

発話の解釈文を生成するモデルと，宿レビューの 解釈文を生成するモデルの 2 つを構築する. モデ

2）コーパスは [3] にて作成した 2 演者間の対話と “Additional Corpus”を含んでおり，一部を除き公開している: https: //github.com/megagonlabs/asdc

3) https://www.jalan.net/

4) Evidence-based Explanation Dataset として公開してい るレビューを用いた: https://github.com/megagonlabs/ ebe-dataset
ルは [3] での実験と同様に，日本語プレトレーニン グ済 Text-to-Text Transfer Transformer (T5) [4] モデル5) を fine-tuning することで学習する. 最適化アルゴリ ズムを Adafactor，学習率を $10^{-3}$, エポック数を 20 とし，開発データでの Cross Entropy Loss が最も低い モデルを用いる.

## 2.3 解釈文候補のリランキング

構築した生成モデルは誤った解釈文を生成する ことがありうる．例えば，表 4 では第 1 解釈文候補 には発話意図とは異なる数値が含まれており誤っ ている.このような正解との Cross Entropy Loss が 小さくても致命的な誤りは，Cross Entropy Loss の最適化で学習したモデルでは除外が難しい。 そこで，解釈文候補の正しさをスコア化するモデル（スコア ラー）を別途用意し，複数の解釈文候補の中から尤 もらしい候補を選ぶリランキングを行う.

スコアラーは日本語 RoBERTa モデル6)を finetuning することで構築し，正解らしさを 0 から 1 の 確率値で予測する． fine-tuning には解釈文候補に対 して正誤をアノテーションしたデータを用いる.

発話の解釈文候補のスコアラーは，学習に 7,769 件，開発に 3,821 件，評価に 775 件用いる. 正例は それぞれ 3,855 件，2,953 件，278 件含まれている. また，宿レビューの解釈文候補のスコアラーは，学習に 5,630 件，開発に 779 件，評価に 648 件用いる.正例はそれぞれ 1,998 件，283 件，213 件含まれて いる.

最適化アルゴリズムを AdamW，学習率を $10^{-3}$, エポック数を 20 とし, 開発データでの Cross Entropy Loss が最も低いモデルを用いる.

評価データでのスコアラーの性能は，スコア が 0.5 以上の事例を正解と予測したとすると，発話用が Precision $=0.7231$, Recall $=0.9676, \mathrm{~F} 1=0.8277$ で，レビュー用が Precision $=0.7034$, Recall $=0.7793$, F1=0.7394 だった.

## 2.4 リランキングの効果検証

2 つのモデルはビーム幅 5 で探索して 5 つの解釈文候補を生成させる。そして，その候補の第 1 候補 と，各候補にスコアラーが予測したスコアでリラン キングした後の第 1 候補を比較して，リランキング の効果を検証する．具体的には，発話の解釈文生成
 t5-base-japanese-web-8k

6) https://huggingface.co/rinna/japanese-roberta-base

(A)レビュー 横浜スタジアムの野球観戦で利用しました。徒歩で行けたので良かったです。...

解釈文【customer】が横浜スタジアムにホテルから徒歩で行ける。

(B) レビュー … 部屋からは海が見元、周辺は閑静で非日常的な空間を味わうことができました。…

解釈文【customer】が部屋から海が見える。周辺が閑静だ。【customer】が非日常的な空間を味わうことができる。

表 3 宿レビューと解釈文の例. 例示対象の文に下線を引いている.

解釈文候補 (1) 1 泊 1 室あたりの予算の上限は 199 円だ。

(2) 1 泊 1 室あたりの予算の上限は 19999 円 だ。

(3) 1 泊 1 室あたりの予算の上限は 20009 円だ。

表 4 第 1 候補が誤った解釈文となる例

評価データと，宿レビューの解釈文生成評価データ の中から，リランキング前とのスコアの差が最も大 きかった順にそれぞれ 35 事例を取り出し, 改善の 有無を人手で評価する. 表 5 に結果の例を示す.

まず，発話の解釈文生成のリランキングでは，改善 11 件，悪化 15 件，変わらず 9 件だった. 改善し た事例では，欠落している情報が増えた事例 8 件，不要な情報が消えた事例 3 件だった. 悪化した事例 では，6 件がインフォーマルな表現になってしまっ た事例，必要な情報が消えた事例 5 件, 不要な情報 を付加してしまった事例 4 件だった. また，宿レ ビューの解釈文生成のリランキングでは，改善 16 件, 悪化 4 件, 変わらず 15 件だった. 改善した事例の内訳は，欠落している情報が増えた事例 7 件,不要な情報が消えた事例 8 件, 流暢性が増した事例 1 件だった. 悪化した事例は，不要な情報が消えた 事例 3 件，不要な情報を付加してしまった事例 1 件 だった.

以上より，リランキングは生成の改善に一定の効果があることがわかった. しかし，十分な改善と はいえないため，さらなる改善を今後行う予定で ある。

なお，すべての出力に対してリランキングを行っ た場合の ROUGE ${ }^{7)}$ [5] スコアについて調べたとこ ろ，発話の解釈文生成では，リランキングで 0.867 から 0.790 に，宿レビューの解釈文生成では 0.775 から 0.749 に減少した. ROUGEでは致命的な解釈 の誤りを過小評価してしまうと考えられ，より適切 なリランキング方法や評価指標の選定も今後の調査

 \\

## 宿レビュー

解釈対象 とても清潔感がありキッズルーム、貸切風呂には たくさんのおもちゃがありました。

正解【宿】にとても清潔感がある。キッズルームにた くさんのおもちゃがある。貸切風呂にたくさんの おもちゃがある。

前清潔感がキッズルームにある。貸切風呂にたくさ んのおもちゃがある。

後清潔感がとてもある。キッズルームにたくさんの おもちゃがある。貸切風呂にたくさんのおもちゃ がある。（改善）

表 5 解釈文生成結果のリランキングの前後の例

課題である.

## 2.5 関連研究

解釈文生成のように後続の処理のため入力となる 文を書き換える手法として，[6] が提案されている. リランキングに異なる分類器を用いた研究には，含意関係認識器を要約候補のリランキングに用いる手法 [7] がある，候補生成自体の改善には，学習する 損失関数に負例も利用する手法 ${ }^{8)}$ [8] や重複表現の 生成を防ぐ手法 ${ }^{9}$ [9] などが提案されている.

8) https://github.com/aistairc/contrastive_data2text

9) https://github.com/yxuansu/SimCTG

表 6 宿トピックとトピック例文の例

## 3 解釈文のトピック分類

## 3.1 トピックツリーと分類モデル

[1] では，宿提案対話システムで用いる知識整備と して，ツリー構造での宿に関するトピックを整理し た. 本論文ではそれを微修正したトピックッリーを 実験に用いる. トピックッリーの例を表 6 に示す.

また，テキストのトピック分類には，同じく [1] で提案したトピック数が非常に多いが学習事例が非常に少ないという制約においても頑健に動く類似度 に基づく手法を用いる.

## 3.2 既存モデルの問題点とフィルタリング

前述のトピック分類モデルは類似度に基づくた め，類似はするが関係がないトピックを排除する のが難しい．例えば，「禁煙の部屋を希望する」と いう解釈文のトピックに「禁煙」のみならず「喫煙」も予測する，ということが起こりうる. また，「【customer】がパンを食べたい。」という解釈文のト ピックに「パン」のみならず「クロワッサン」とい うトピックも予測しうる.

そこで，分類結果の正しさをスコア化するモデル （スコアラー）を別途用意し，閾値未満のスコアを もつトピックをフィルタリングすることで，関係の ないトピックを排除する.

スコアラーはじゃらん net に掲載されている宿レ ビューを使って学習した BERT ${ }^{10)}$ を fine-tuning する ことで学習する. スコアラーはトピックを表す「ト ピック例文」と分類対象の解釈文のペアを入力とし て，正しさを 0 から 1 の確率值で予測する.なお， テキストのペアを入力とせずに，トピックごとに予測をする方法も考えられるが，トピック数が 1,051 と非常に多く, 学習データを用意するのが困難であ るため，その方法は用いない. 分類問題に文の対を 用いる手法としては， ゼロショットテキスト分類に

10）分類モデルの学習で用いた BERT と同一

 &  &  \\

表 7 トピック分類結果のフィルタリング前後の例

含意関係認識を用いる手法 [10] が提案されている. fine-tuning には発話の解釈文や宿レビューの解釈文のトピック分類結果に対して正誤をアノテーショ ンしたデータを用いる。学習には，31,232 件，開発 に 7,746 件，評価に 1,675 件用いる。このうち，正例はそれぞれ 20,722 件，5,859 件，241 件含まれて いる。

評価データでのスコアラーの性能は，スコアが 0.5 以上のトピックを正解と予測したとすると， Precision=0.6328, Recall=0.8797, F1=0.7394 だった.

## 3.3 フィルタリングの効果検証

既存モデルで評価用の解釈文にトピック分類モデ ルで 5 つ候補を類似度スコア付きで出力し，それ ぞれに対してスコアラーで「正しさスコア」を求め それが 0.5 未満のトピックを候補から消去してフィ ルタリングする。残る候補の中で類似度スコアが最 も高いトピックを新しい予測結果とする.

このフィルタリングによって，予測結果に変化が あった 139 事例中 35 事例に対して評価した. 内訳 は， 17 件が改善， 7 件が悪化， 11 件が改善とも悪化ともいえない，だった. 例を表 7 に示す. 以上よ り，多くの事例ではフィルタリングで改善できるこ とが分かった. 誤ったフィルタリングを減らすこと や1つではなく複数のトピックに分類するよう拡張 することなどが今後の課題である.

## 4 おわりに

本論文では解釈文生成とリランキングによる改善，およびトピック分類とフィルタリングによる改善について報告した. それぞれ改善する事例がある が，悪化する事例も少なくないため，さらなる手法 の洗練が今後の課題である.

謝辞アノテーションを行っていただき，多くの示
唆に富んだご意見をくださった山下華代氏に感謝し ます。また，有益な助言していただいた大阪大学の 荒瀬由紀准教授に感謝します。

## 参考文献

[1]林部祐太, Varga István. 宿トピックの整理と自動分類 の試み. 言語処理学会年次大会, 2022.

[2] 林部祐太. 要約付き宿検索対話コーパス. 言語処理学会年次大会, 2021 .

[3] Yuta Hayashibe. Self-contained utterance description corpus for Japanese dialog. In LREC, 2022.

[4] Colin Raffel, Noam Shazeer, et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, 2020 .

[5] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using $\mathrm{N}$-gram co-occurrence statistics. In NAACL, 2003.

[6] Zhiyu Chen, Jie Zhao, et al. Reinforced question rewriting for conversational question answering. In EMNLP, 2022.

[7] Tobias Falke, Leonardo F. R. Ribeiro, et al. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In ACL, 2019.

[8] Yui Uehara, Tatsuya Ishigaki, et al. Learning with contrastive examples for data-to-text generation. In COLING, 2020.

[9] Yixuan Su, Tian Lan, et al. A contrastive framework for neural text generation. In NeurIPS, 2022.

[10] Wenpeng Yin, Jamaal Hay, et al. Benchmarking zero-shot text classification: Datasets, evaluation and entailment approach. In EMNLP, 2019.