# Improving Peer-Review Score Prediction with Semi-Supervised Learning and Denoising Networks

Panitan Muangkammuen ${ }^{1}$, Fumiyo Fukumoto ${ }^{2}$, Jiyi $\mathrm{Li}^{2}$, and Yoshimi Suzuki ${ }^{2}$
${ }^{1}$ Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences
${ }^{2}$ Interdisciplinary Graduate School
University of Yamanashi
\{g21dts04, fukumoto, jyli,ysuzuki\}@yamanashi.ac.jp
}

\begin{abstract}
Peer review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of academic peer review processes. However, the limited availability of labeled peer review data can pose a challenge for traditional supervised learning approaches. In this paper, we present a novel semi-supervised learning (SSL) method for PASP that leverages contextual features from unlabeled data to improve performance. Our approach incorporates the Long-Short Transformer (Transformer-LS), a transformer for long sequences with linear complexity, into the $\Gamma$-model, a variant of the Ladder network that utilizes a denoising autoencoder to reconstruct the input data from a corrupted version. By minimizing the reconstruction error of the auxiliary unlabeled data, it can help in training the classifier. We empirically demonstrate the superior performance of our system compared to the supervised and naive semi-supervised learning baselines on the PeerRead benchmark.
\end{abstract
## 1 Introduction

The increasing number of submissions to AI-related international conferences and journals has made the review process more challenging. Automatic peer-review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of the review process by providing reviewers and authors with a numeric score for different qualities of a paper, such as clarity and originality. The PeerRead dataset [1] is the first publicly available collection of scientific peer reviews for research purposes and has been used in a variety of applications, including paper acceptance classification $[2,3,4]$, review aspect score pre- diction [5, 6], citation recommendation [7], and citation count prediction [8].

Previous work on PASP has heavily relied on supervised learning techniques $[1,5]$. However, the available annotated datasets for this task are very restricted, which limits the overall performance of PASP models. To address this issue and improve PASP performance, we propose a semi-supervised learning (SSL) method that leverages contextual features from a larger, unlabeled dataset. Semisupervised learning has been widely used in various natural language processing (NLP) tasks, including classification $[9,10]$, sequence labeling [11, 12], and parsing [13, 14]. It has been shown to be effective in model learning by leveraging a large amount of unlabeled data to compensate for the lack of labeled data. Semi-supervised learning is particularly useful for PASP, as a vast number of scholarly papers are available online and can be easily obtained as unlabeled data.

Recently, transformers [15] have achieved state-of-theart results in a wide range of NLP tasks. However, transformer-based models are unable to process long sequences, such as academic papers, due to their selfattention operation, which scales quadratically with the sequence length. In this paper, we propose a semi-supervised learning technique for PASP that is capable of handling long sequences. Our approach is based on the combination of ladder networks (LNs) [16, 17] and the Long-short transformer (Transformer-LS) [18]. Ladder networks are a type of deep denoising autoencoder that incorporates skip connections and reconstruction targets at intermediate layers, while Transformer-LS is a transformer with a self-attention mechanism that is efficient for modeling long sequences with linear complexity. We propose the $\Gamma$ -

Figure $1 \Gamma$-TLS architecture. The corrupted path shown on the left-hand side shares the Transformer-LS's weights and mapping $f$ with the clean path on the right-hand side.

Transformer-LS ( $\Gamma$-TLS), which integrates a TransformerLS into the $\Gamma$-model [16], a variant of ladder networks. The unsupervised component of $\Gamma$-TLS utilizes a denoising autoencoder to help focus on relevant features derived from supervised learning.

To the best of our knowledge, our work is one of the first applications of SSL to the PASP task. Specifically, our contributions are as follows:

1. We propose $\Gamma$-TLS for PASP that incorporates a Transformer-LS into SSL by training the model using labeled and unlabeled data simultaneously.

2. The experimental results show that $\Gamma$-TLS outperforms the supervised learning baselines and naive SSL methods on the PeerRead benchmark.

## $2 \Gamma$-Transformer-LS ( $\Gamma$-TLS)

To overcome the limitation of the vanilla transformer [15] for long sequences, we adopt the Transformer-LS as the encoder of our framework. Transformer-LS is more memory and computationally efficient than the previous larger models, Longformer [19] and Transformer-XL [20]. For the SSL technique, we choose a denoising network called the $\Gamma$-model [16], which is a variant of ladder networks (LNs). The $\Gamma$-model eliminates most of the decoder, retaining only the top layer, which allows it to be easily integrated into any network without implementing a separate decoder. The encoder in the $\Gamma$-model still includes both the clean and corrupted paths, as in the full ladder network (LN).

Table 1 Statistics of the ACL Dataset.

Figure 1 illustrates the $\Gamma$-Transformer-LS ( $\Gamma$-TLS). Let $\mathbf{x}$ be the input and $y$ be the output with targets $t$. The supervised data of size $N$ consists of pairs $\{\mathbf{x}(n), t(n)\}$, where $1 \leq n \leq N$. The unsupervised data of size $M$ has only input $\mathbf{x}$ without the targets $t$, an $\mathbf{x}(n)$, where $N+1 \leq$ $n \leq N+M$. The network comprises two forward passes, the clean path, and the corrupted path. The clean path, illustrated on the right-hand side in Figure 1, produces clean representation $\mathbf{z}$ and clean output $\mathbf{y}$, given by:

$
\begin{aligned}
& \mathbf{z}=f(\mathbf{h})=N_{B}(\mathbf{W h}) \\
& \mathbf{y}=\phi(\gamma(\mathbf{z}+\beta)) \\
& \mathbf{h}=T L S(\mathbf{x})
\end{aligned}
$

where $\mathbf{h}$ denotes the hidden representation obtained from Transformer-LS $(T L S), \mathbf{W}$ is the weight matrix of the linear transformation $f$, and $N_{B}$ indicates a batch normalization. $\phi$ refers to an activation function, where $\beta$ and $\gamma$ are trainable scaling and bias parameters, respectively.

The corrupted representation $\tilde{\mathbf{z}}$ and corrupted output $\tilde{\mathbf{y}}$ are produced by adding Gaussian noise $\mathbf{n}$ in the corrupted path (left-hand side of Figure 1). The noise $\mathbf{n}$ is applied to the output of each layer of the Transformer-LS $(T L S)$ :

$
\begin{aligned}
& \tilde{\mathbf{z}}=f(\tilde{\mathbf{h}})+\mathbf{n} \\
& \tilde{\mathbf{y}}=\phi(\gamma(\tilde{\mathbf{z}}+\beta)) \\
& \tilde{\mathbf{h}}=T L S(x)+\mathbf{n} .
\end{aligned}
$

The supervised cost $C_{s}$ is the average negative $\log$ probability of the corrupted output $\tilde{\mathbf{y}}$ matching the target $t_{n}$ given the input $\mathbf{x}_{n}$ :

$
C_{s}=-\frac{1}{N} \sum_{n=1}^{N} \log P\left(\tilde{\mathbf{y}}=t_{n} \mid \mathbf{x}_{n}\right)
$

Given the corrupted $\tilde{\mathbf{z}}$ and prior information $\tilde{\mathbf{y}}$, the denoising function $g$ reconstructs the denoised $\hat{\mathbf{z}}$ :

Table 2 Experimental results. The best result is in bold, and the $2 \mathrm{nd}$ best is underlined.

$
\begin{aligned}
\hat{\mathbf{z}} & =g(\tilde{\mathbf{z}}, \mathbf{u}) \\
\mathbf{u} & =N_{B}(\tilde{\mathbf{y}}),
\end{aligned}
$

where $g$ is identical to the one of the $\mathrm{LN}$ [16] consisting of its own learnable parameters. The unsupervised denoising cost function is given by:

$
C_{d}=\frac{1}{N+M} \sum_{n=1}^{N+M} \frac{\lambda}{d}\left.\|\mathbf{z}_{n}-N_{B}\left(\hat{\mathbf{z}}_{n}\right)\right.\|
$

where $\lambda$ is a coefficient for unsupervised cost, and $d$ refers to the width of the output layer. The final cost $C$ is given by:

$
C=C_{s}+C_{d}
$

## 3 Experiments

## 3.1 Setup

Data The ACL 2017 dataset, included in PeerRead [1], is used as evaluation data for our PASP system. The ACL dataset consists of 7 different aspects of scores as listed in Table 1. These aspect scores were derived from a mean of multiple reviews and classified into two categories: positive (scores of 4 or higher) and negative (scores lower than 4). Although the PeerRead dataset contains both paper and review texts, we only used the papers to predict the aspect scores. We utilized the first 8,192 tokens of the paper as the input. We used SciVocab [21] WordPiece vocabulary for tokenization. For the unlabeled data, we used the ACL papers from ScisummNet Corpus ${ }^{1)}$ [22], which provides 999 papers in the ACL anthology.

To evaluate all systems, we employed a 5-fold crossvalidation strategy, in which the final result was calculated as the average of the five folds. As the evaluation metrics, we utilized both accuracy and Macro F1 score. This allows us to comprehensively assess the performance of our systems in terms of both the proportion of correct predictions and the balance between precision and recall.

Baseline models The competitor algorithms that are used as baselines for our model are the following:
- CNN - We implemented a CNN model similar to one in PeerRead [1]. The outputs from the CNN model are passed through a max pooling layer and finally through the final linear layer.
- VAT [9] - An SSL method that exploits information from unlabeled data by applying perturbations to the word embeddings in a neural network. The model utilizes LSTM to learn from sequential inputs.
- HAN [23] - A hierarchical attention network for document classification. The model consists of two levels of attention mechanisms at the word and sentence levels to construct the document representation.
- Multi-task [5] - A multi-task approach that automatically selects shared network structures and other review aspects as auxiliary resources. The model is based on the CNN text classification model.
- Transformer-LS [18] - A transformer for modeling long sequences with linear complexity. We used the

Figure 2 Accuracy against the number of labeled data on Overall recommendation score prediction. The number of unlabeled data is fixed to 999 for $\Gamma$-TLS.

output of the last layer of the [CLS] token as the document representation for the classifier.

The implementation details are shown in Appendix A Implementation details.

## 3.2 Results

The results are listed in Table 2. Our model, $\Gamma$-TLS, demonstrated superior performance in several aspects compared to the baseline models. When evaluated using the accuracy metric, $\Gamma$-TLS outperformed the baseline models on four aspects: Clarity, Soundness Correctness, Substance, and Overall Recommendation. Additionally, $\Gamma$-TLS outperformed the baseline models when evaluated using the Macro F1 score metric on two aspects: Subtance and Overall Recommendation. Overall, $\Gamma$-TLS performed the best out of all the models across an average of seven aspects on both metrics.

Additionally, we observe that the Transformer-LS outperforms the CNN by almost $5 \%$ in accuracy and $10 \%$ in Macro F1 score, which shows that the attention mechanism is relatively more effective for modeling the documents. By applying a hierarchical structure, SSL, or multi-task learning technique, the performance is also further improved.

## 3.3 Ablation study

In comparison to the Transformer-LS model, the incorporating of a denoising network (ladder network) into Transformer-LS resulted in improved performance in almost every aspect, except for Impact on the accuracy and Impact and Meaningful Comparison on Macro F1 score. On average, $\Gamma$-TLS outperformed Transformer-

Figure 3 Accuracy against the number of unlabeled data on Overall recommendation score prediction.

LS by $2.3 \%$ in accuracy and $3.4 \%$ in terms of Macro F1 score metric. This indicates that our assumption, leveraging contextual features from unlabeled data, helps to improve performance.

We also investigated how the number of labeled data used for training affects the overall performance. As shown in Figure 2, increasing the number of labeled data tends to improve the performance of both $\Gamma$-TLS and TransformerLS, with the exception of a labeled data count of 50, where the results were not significantly different. Overall, $\Gamma$-TLS consistently outperformed Transformer-LS, which shows that our proposed SSL method is stably effective on small training data. In addition, the effect of the number of unlabeled data on model performance was examined, as shown in Figure 3. The results indicate that $\Gamma$-TLS's performance improved when the number of unlabeled data was increased from 100 to 400 , but saw no further improvement beyond that point. Our model, $\Gamma$-TLS, still outperforms the Transformer-LS by using only 100 unlabeled data.

## 4 Conclusion

In this paper, we focused on the task of automated peer review aspect score prediction (PASP) and proposed a novel method called $\Gamma$-TLS. The method integrates the Transformer-LS model with the denoising network, the $\Gamma$-model of ladder networks. Our experimental results showed that $\Gamma$-TLS outperformed the baseline models on average accuracy and F1 score. In future research, we plan to investigate ways to leverage related information between aspects for our model, as well as to generate more knowledgeable and explainable review comments.

## Acknowledgement

This work was supported by JKA and JST SPRING, Grant Number JPMJSP2133.

## References

[1] Dongyeop Kang, Waleed Ammar, Bhavana Dalvi, Madeleine van Zuylen, Sebastian Kohlmeier, Eduard Hovy, and Roy Schwartz. A dataset of peer reviews (PeerRead): Collection, insights and NLP applications. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1647-1661, 2018.

[2] Tirthankar Ghosal, Rajeev Verma, Asif Ekbal, and Pushpak Bhattacharyya. DeepSentiPeer: Harnessing sentiment in review texts to recommend peer review decisions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1120-1130, 2019.

[3] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. $158-167,2020$.

[4] Panagiotis Fytas, Georgios Rizos, and Lucia Specia. What makes a scientific paper be accepted for publication? In Proceedings of the First Workshop on Causal Inference and NLP, pp. 44-60, 2021.

[5] Jiyi Li, Ayaka Sato, Kazuya Shimura, and Fumiyo Fukumoto. Multi-task peer-review score prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 121-126, 2020

[6] Qingyun Wang, Qi Zeng, Lifu Huang, Kevin Knight, Heng Ji, and Nazneen Fatema Rajani. ReviewRobot: Explainable paper review generation based on knowledge synthesis. In Proceedings of the 13th International Conference on Natural Language Generation, pp. 384-397, 2020.

[7] Chanwoo Jeong, Sion Jang, Hyuna Shin, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks, 2019.

[8] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 148-157, 2020

[9] Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification, 2016.

[10] Changchun Li, Ximing Li, and Jihong Ouyang. Semi-supervised text classification with balanced deep representation distributions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5044-5053, 2021.

[11] Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. Robust multilingual part-of-speech tagging via adversarial training. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 976-986, 2018.

[12] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. SeqVAT: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8801-8811, 2020.
[13] Xiao Zhang and Dan Goldwasser. Semi-supervised parsing with a variational autoencoding parser. In Proceedings of the 16th International Conference on Parsing Technologies and the IWPT 2020 Shared Task on Parsing into Enhanced Universal Dependencies, pp. 40-47, 2020.

[14] Kyungtae Lim, Jay Yoon Lee, Jaime G. Carbonell, and Thierry Poibeau. Semi-supervised learning on meta structure: Multi-task tagging and parsing in low-resource scenarios. In The ThirtyFourth AAAI Conference on Artificial Intelligence, AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI, pp. 8344-8351. AAAI Press, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[16] Antti Rasmus, Harri Valpola, Mikko Honkala, Mathias Berglund, and Tapani Raiko. Semi-supervised learning with ladder networks, 2015.

[17] Harri Valpola. From neural pca to deep unsupervised learning, 2014.

[18] Chen Zhu, Wei Ping, Chaowei Xiao, Mohammad Shoeybi, Tom Goldstein, Anima Anandkumar, and Bryan Catanzaro. Long-short transformer: Efficient transformers for language and vision, 2021.

[19] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[20] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-XL: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, 2019.

[21] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[22] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R. Fabbri, Irene Li, Dan Friedman, and Dragomir R. Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks, 2019.

[23] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489, 2016.

## A Implementation details

## A. 1 CNN

We used a simple MLP with a single hidden layer of 128 neurons with the max pooling of a single 1D-CNN layer of 128 filters and window width 5 . We used a random initialization for the word embeddings size of 128 and trained it with the model. We trained the model using AdamW optimizer on a linear scheduler, a learning rate of 1e-4 with a batch size of 8 .

## A. 2 HAN

We set the max sentence length to 100 tokens and the max number of sentences to 600 . We used a bidirectional single-layer GRU size of 100 with an attention mechanism to aggregate the representation on both word and sentence levels. we also used a random initialization for the word embeddings size of 300. The model was trained on AdamW optimizer, learning rate of $5 \mathrm{e}-5$, and batch size of 8 .

## A. 3 VAT

## A.3.1 Recurrent LM Pre-training

We used a unidirectional single-layer LSTM with 128 hidden units. The dimension of word embedding was 128 . For the optimization, we used the Adam optimizer with a batch size of 32, an initial learning rate of 0.001 , and a 0.9999 learning rate decay factor. We trained for 50 epochs. We applied gradient clipping with norm set to 5.0. We used dropout on the word embedding layer and an output layer with a 0.5 dropout rate.

## A.3.2 Model Training

We added a hidden layer between the softmax layer for the target and the final output of the LSTM. The dimension is set to 30. For optimization, we also used the Adam optimizer, with a 0.001 initial learning rate and 0.9998 exponential decay. Batch sizes are set to 32 and 96 for calculating the loss of virtual adversarial training. We trained for 30 epochs. applied gradient clipping with the norm as 5.0 .

## A. 4 Multi-task

We modified the model from performing a regression task to a classification task by changing the output layer. We used CNN with 64 filters and filter width of 2 . We used fastText as initial word embeddings. The hidden dimension was 1024. We trained the model using Adam optimizer with learning rate 0.001 and batch size of 8 . We trained all of the candidate multi-task models for two auxiliary tasks to find the best one.

## A. 5 Transformer-LS

We used two layers of transformer-ls size 256 with 4 attention heads. The local window attention was set to 128. A [CLS] token was used as a global token. We used dropout and attention dropout of 0.1 . We trained the model using AdamW optimizer on a linear scheduler with batch size 8 . We tuned the learning rate in the range of $\{1 \mathrm{e}-2$, $1 \mathrm{e}-3,1 \mathrm{e}-4\}$

## A. 6 Г-TLS

We used the same architecture as the Transformer-LS (A.5). The denoising cost multipliers $\lambda$ is set to 1 . We tuned the std of the Gaussian corruption noise in the range of $\{0.1,0.2,0.3\}$. We also tuned the learning rate in the range of $\{1 e-2,1 e-3,1 e-4\}$. Batch size is set to 8 for both labeled and unlabeled data, 16 in total.


# 日本語意見分析コーパスの構築に向けた アスペクト情報の特徵分析

村上浩司 ${ }^{1,2}$ 中山 祐輝 ${ }^{2}$ Ikuko Hardaway ${ }^{1}$
${ }^{1}$ Rakuten Institute of Technology, Rakuten USA
2 楽天技術研究所 楽天グループ株式会社
\{koji .murakami , yuki.b. , ikuko. hardaway\}@rakuten.com

## 概要

我々はアスペクト情報を考慮した日本語意見分析 コーパスを構築してきた. 文中に存在するアスペク 卜表現を抽出するため，それらの認定に関してはそ の範囲の決定や対象表現の選別など，作業を進める 上で考慮すべき点が多数ある．本論文ではアスペク ト表現と評価表現について定義を行い，実際の小規模のアノテーション作業で明らかになった課題につ いて整理すると共に，現状のコーパスを利用したア スペクト表現抽出の予備実験を行った。

## 1 はじめに

近年，製品に対するカスタマーレビューやツイー トなどの意見を表現するテキストの分析の重要性 が増している．文を対象とした肯定・否定の極性判定だけではなく，さらに具体的な情報を利用するこ とで顧客の意図や要望を特定し利用することが求 められている。例えばあるホテルの朝食について，「朝食の味噌汁は冷めていた」から「評価対象＝朝食, 属性 $=$ 品質, 評価表現 $($ 極性 $)=$ 冷めていた（否定)」のような情報を抽出することで，文全体が否定であるという文の極性判定だけでは見えてこない 業務の問題点などが明確化する.

そのためには評価極性だけではなく，評価対象，属性といったアスペクト情報を考慮した意見分析 (Aspect-Based Sentiment Analysis: ABSA) が重要 であり $[1,2,3,4,5]$ ，タスクを進める上でそれらの 情報が付与されたコーパスが必須である. 英語の データセットはこれまでに多く開発され，そのう ち SemEvalで行われた ABSA タスクの評価コーパス $[6,7,8]$ や MAMS[2] などが幅広く使われている.日本語では NTCIR 多言語意見分析コーパス ${ }^{11}$ や

TSUKUBAコーパス2)などウェブ上で入手できるも のがいくつかあるが，これらはアスペクト情報を考慮しない意見分析に特化している $[9,10,11,12]$.

新里ら [1] は，楽天市場の店舗レビューを“配送”, “梱包”などのアスペクトカテゴリとその極性カテゴ リに分類する手法を提案したが，実験で用いられた コーパスは非公開である。栗原ら [13] は，ドメイン を限定しない Twitterによる評判分析を目的とした 評価対象と評価表現を抽出するための日本語 ABSA データセット3)を構築した。論文化されてはいない ものの，アスペクトカテゴリとその極性の評価に対応しているコーパスとして，上場企業の決算報告書 をドメインとした chABSA-dataset ${ }^{4}$ がある.

意見分析タスクは文の評価対象などのアスペクト 情報などを扱う方向性とは別に，極性の強さや感情 の種類，意見の立場なども注目されており，近年こ うした種類の情報を付与したコーパスも構築されて いる $[14,15]$.

我々はアスペクト情報を考慮した日本語意見分析 コーパスを構築してきた $[17,16]$. このコーパスは 楽天トラベル5)の施設に対するユーザレビュー中の 各文に対しアスペクトカテゴリ及びその評価極性 の付与作業を行ったものである．本論文では現状の コーパスを拡張しアスペクト表現および評価表現を 付与を目的として，そのために必要なコーパス設計 と事例分析について述べる。具体的には抽出する情報の定義を行い，“朝食”が対象になる文を対象に先行して行ったアノテーション作業から，議論が必要 な事例の分析と作業の方針を策定する。また，作業済みの文を対象にした 2 種類の ABSA 手法による予備抽出実験を行い，その結果から事例の特徵を分析

表 1 アスペクト表現と評価極性に関しての SemEval との比較

することでコーパスの性質について考察する.

## 2 コーパスの設計と構築

これまでに構築した日本語意見分析コーパス $[17,16]$ を拡張し，アスペクト表現と評価表現を付与する。ここではアスペクト表現，評価表現の扱い と定義，作業方針について述べる。

## 2.1 アスペクト表現・評価表現の取り扱い

アスペクト表現は 2014 年の SemEval サブタスク (1)[6] において認識対象とされた. 固有名詞，一般名詞，それらの複合名詞が認識すべきアスペクト 表現となった。またアスペクト表現のクラス（レ ストランドメインでは，“食べ物”，“サービス”，“值段”などを予め定義）をアスペクトカテゴリとし た. 2015 年，2016 年においてはアスペクト表現は 直接の抽出対象とはなっておらず，アスペクトカテ ゴリの定義が変更された. 新しいアスペクトカテゴ リはエンティティ (E) とその属性 (A) の組み合わせ “E\#A"で定義され，このアスペクトカテゴリとその 極性認識がタスクとなった．EとＡは予め定義され たエンティティタイプおよび属性ラベルからそれぞ れ選択される。そしてさらに，エンティティの実体 を指す表現 (OTE:Opinion Target Expressions) の抽出 もタスクとなっている。また，SemEval においては 一貫して評価表現の抽出については行っておらず， アスペクトカテゴリを同定する上で間接的に評価表現やその極性が利用されていると考えられる。

しかしながらこうした SemEval のタスク設定で は，書き手が「どんな種類のことについてどういう 態度で言及したか」は判定できるものの，具体的に 何についてどんな表現で満足・不満足を示している かわからないことから，さらに我々は記載される実際のアスペクトを示す表現と評価表現の抽出を考 える必要がある. SemEval で抽出対象となった情報 と，我々が抽出したい情報の比較を表 1 に示す。抽出したい情報の種類も異なるが，我々はアスペクト 表現に関しては SemEval のように名詞に限定しない ことも違いである.

## 2.2 エンティティと属性，評価表現の定義

SemEval で取り扱うエンティティ (E) と属性 (A) は，小林ら [18] の意見分析抽出で用いられている 3 つ組〈対象，属性，評価値〉のうちの “対象”と “属性”と同様である．小林らの定義では，対象は「対象となっている商品名，サービス名」，属性は「意見 で述べられる対象の部分や性質」，評価表現は「対象もしくは属性の質や量についての評価者の好悪を 示す態度」となっている。

我々は対象 (=エンティティ)を，これまで扱って きた 7 種類のアスペクトのトピック（朝食，夕食,立地，サービス，風呂，部屋，設備・アメニティ） を示す表現と定義する。朝食の場合であれば朝食を 示す “朝飯”，“ブレックファスト”などの表現，もし くは具体的なメニューである “フレンチトースト” や“クロワッサン”などである．また，属性と評価表現は小林らの定義をそのまま利用する。

## 2.3 アノテーションの基本方針

作業を行うデータには，上で述べたアスペクトの トピックと評価極性が付与されてあることから，こ れら 2 つの情報が付与してある文を対象に，象 $(\mathrm{E})$ ，属性 $(\mathrm{A})$ ，評価表現 $(\mathrm{P})>$ の 3 つ組の同定を 行う．具体例を示す.

・朝ごはんは美味しかった.〈朝ごはん，NULL，美味しかった〉

・朝ごはんで食べた味噌汁の風味は最高でした。〈味噌汁，風味，最高〉

対象と属性は，レビュー内で明示的に書かれない 場合がありその時は “NULL”とする。また，評価表現が属性を含む場合がある．例えば“美味しい”と いえば味，“高い”といえば値段といった属性を示 すが，文中には存在しないため属性は NULL のま まにする。また，着目する文中の対象または属性が NULL の場合に，レビュー内の着目文の前文に指し 示す表現がある場合，ゼロ照応問題として，“NULL （実体）”という形式で記述することとする.

## 2.4 アノテーションの課題

実際に“朝食”に関してのレビュー文へのアノ テーション作業を全体 [16] の 5 \%程度に対し先行し て行った. 前節で定義した対象，属性，評価表現は 全ての文で容易に作業できる形で出現するとは限ら ない. 作業した 789 文には肯定評価が 694 文，否定評価は 115 文， 20 文に肯定否定の両方の極性が含ま れていた。そのうち肯定評価文には 58 文，否定評価文には 14 文，それぞれ作業が難しい事例が含ま れていた. これらの作業の難しい文を分析すること でいくかの課題に分類された. 代表的な課題につい て事例とともに説明する。

## 2.4.1 属性相当を表現する節

属性は“（対象）の（属性）”という形で出現す るのが典型的なパタンである。例えば“（朝食）の (地元食材)"といった形式である. しかしながら， “地元食材で作られた朝食” のような連体節で出現す る場合や，上の例のような節を伴って出現する場合 もある。また，節は下の例のように理由節が出現す ることあるが，属性を含む場合とそうでない場合が ある. アノテーションでは, 属性の有無に着目して 作業する必要がある. 属性の種類は予め決めること ができないので作業に伴い拡充することになる.
- 朝食も，地元の食材を使ってあり，美味しく頂 きました.
- 朝食の量も自分に合わせて食べられるので良 かったです.

・食事は郷土料理が出てきたので, 凄く良かった.

## 2.4.2 特殊な評価表現

評価者の態度を示す評価表現は評価極性を持つ述語で示されることが多いが，記号や数字で表現され る場合がある。こうした数字や記号は述語ではない ものの, 評価者の態度を示すことから評価表現とし て扱うこととする.

また，極性を持たない名詞に存在を表す動詞 “あ る・いる”もしくは形容詞 “ない”が続く場合に評価表現と考えられる場合があった. 存在を表す動詞 は，評価表現の定義である “評価者の態度” を直接表さないものの，属性の表現との組み合わせの場合 は評価表現として扱う。

・朝食はさすが！の一言です.
・しかし，料理の味は2でした。

・特に朝食は力を入れているだけあって.

・少量といいつつ，しっかりと量がありました!

## 2.4.3 間接評価, 比較評価

ユーザの意見は必ずしも対象の属性について述べ られずに，間接的な表現や他者との比較で肯定，否定を表す事例があった。これらは 3 つ組で捉えられ ないため，例外として考慮する必要がある。

・朝食は，無料のレベルではない.

・もうけがないのではないかと心配したくらい です.

・朝食は，あれで 1500 円以上払う気はしないで すねい.

・朝食のバイキングは温泉旅館のものより数段上.

## 2.4.4 願望・提案・条件

レビュー文の中には，対象，属性，評価表現を含 むものの，それらが条件付きであったり，「〜はず だった」のような事実に対する意見ではない表現が ある.ここではこうした文には作業を行わないこと とする.

・あれもこれも食べればよかったと後悔してい ます。

・トマトジュースがあればもっと嬉しかった かな.

・ホントに美味しいものを少しずつ楽しみたい世代には至高の幸せです.

表 2 実験結果

## 3 予備実験

アスペクト表現の抽出タスクを BIO チャンキン グとして定式化し, 評価コーパスの性質を実験に よって分析した. 2.3 節で説明した作業方針を踏襲 し，6,012 文に対して追加のアノテーションを行い, 4,761 文を学習データ，1,251 文をテストデータとし て用いた. 抽出手法として，固有表現抽出タスクで 近年頻繁に使用されている BERT-CRF [19] を用い
表 3 出力結果の例

 & & 生きたアワビの酒蒸し\} \\

た.また，アスペクト表現抽出の既存手法からは， コードが公開されているかつ 2021 年 11 月現在で最高値を達成した DILBERT [20]を選択した. 各手法 の詳細を以下に示す。

BERT-CRF アスペクトカテゴリなどのアスペク ト情報は入力として与えず，トークナイズした入力系列を [CLS] トークンと [SEP] トークンで挟んだ 系列をモデルの入力とした. BERTの事前学習モデ ルは, 東北大学が提供している BERT-base ${ }^{6)}$ (以降, BERT $_{B}$-CRF) と BERT-large ${ }^{7}$ (以降， BERT ${ }_{L}$-CRF) の 2 種類を用いた.

DILBERT DILBERT は，ドメイン適応のための 事前学習手法であり，アスペクトカテゴリベースの マスク言語モデルタスク（以下，CMLM）とアスペ クトカテゴリ予測タスクの二つからなる。標準的な マスク言語モデルは，マスクされる語がランダムに 選択されるのに対して，CMLM はアスペクトカテ ゴリに類似した語にマスクするという特徴がある。 これにより，アスペクトと思われる表現に注意が向 けられることで，標準的な事前学習手法よりもアス ペクト抽出タスクにおいて優れた結果を達成したと いう報告がある. 本実験では， Nakayama ら [16] の7 種類のアスペクトのトピックを DILBERT の事前学習に用いた。

表 2 に各手法の実験結果を示す. DILBERT が BERT-CRF とくらべて，優れた F1 スコアを達成し た。両手法における成功事例と失敗事例を分析する ことで，各手法の特長を分析するともに本コーパス を用いた抽出タスクの難しさを調査した。表 3 に DILBERT と BERT $_{L}$-CRF との出力例を示す. (a), (b), (c)は，DILBERT が全てのアスペクト表現の抽出に 成功したのに対して, BERT $_{L}$-CRF は一部のアスペ クト表現を取りこぼした事例である. DILBERT と $\mathrm{BERT}_{L}-\mathrm{CRF}$ 両方とも，抽出対象が「食事」や「接客」といったレビュー中に頻出する単一名詞の 表現は高確率で抽出できていた．DILBERTでは， $\mathrm{BERT}_{L}-\mathrm{CRF}$ とくらべて「ホスピタリティ」や「接客」のような「サービス」の類義語をより獲得でき る手法であることがわかった．また，DILBERT は 「蟹満喫プラン」や「生きたアワビの酒蒸し」のよう な長い系列で表現される料理名や食事プランを抽出 できるという傾向も見られた。これらは，レビュー 中の語とアスペクトカテゴリ間のベクトルの類似性 を事前学習時に考慮するため，アスペクトカテゴリ に関連する語を積極的に抽出する傾向にあったため だと考えられる。一方 (d)では，両手法とも「ぷっ くりしたホタルイカ」というアスペクト表現を抽出 できなかった。事例 (a) と (b) にそれぞれある「蟹」 や「アワビ」は学習データに含まれていたのに対し て，「ホタルイカ」は学習データに含まれず対処で きなかったことが原因だと考えられる。

## 4 おわりに

我々はこれまで，宿泊施設レビューに記述される アスペクトカテゴリと評価極性を付与した日本語 ABSA コーパスを構築してきてきた。本論文ではこ のコーパスをもとに，更に具体的なアスペクト表現 となる対象（エンティティ）とその属性および評価表現を追加付与するため，それぞれの要素の定義を 行い，アノテーションの基本方針について議論と，実データが示す課題について述べた。

また BERT-CRF および DILBERT ベースの分類器 により予備分類実験を行い，その結果からそれぞれ の分類器の処理傾向を考察して今後の課題を検討し た. 定義に従ってコーパス全体にアノテーションを 行いリリースすることが今後の課題である．構築す るコーパスは, 国立情報学研究所の情報学研究デー タレポジトリ8）（IDR）にて追加公開の予定である.

8) https://www.nii.ac.jp/dsc/idr/rakuten/

## 参考文献

[1] 新里圭司, 小山田由紀. 店舗レビューには何が書かれ ているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[2] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[3] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504515, 2019.

[4] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020

[5] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 69896999, 2020.

[6] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[7] Maria Pontiki, Dimitrios Galanis, Haris Papageorgiou, Suresh Manandhar, and Ion Androutsopoulos. SemEval2015 task 12: Aspect based sentiment analysis. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 486-495, 2015.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016

[9] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010

[10] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013 .

[11] 藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に向けた検討」. 言語処理学会第 21 回年次大会ワーク ショップ：自然言語処理におけるエラー分析, 2015.

[12] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一 エラー分析プロジェクトを通して一: 3.11 レビュー 解析 一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[13] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[14] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A japanese dataset for subjective and objective sentiment polarity classification in micro blog domain. In Proc. of the 13th Conference on Language Resources and Evaluation (LREC 2022), pp. 7022-7028, 2022.

[15] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proc. of 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[16] A Large-Scale Japanese Dataset for Aspect-based Sentiment Analysis, 2022.

[17] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会発表論文集, pp. 375-380, 2021.

[18] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[19] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. https://arxiv.org/abs/1909.10649, 2019.

[20] Entony Lekhtman, Yftah Ziser, and Roi Reichart. DILBERT: Customized pre-training for domain adaptation with category shift, with an application to aspect extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 219-230. Association for Computational Linguistics, Nov 2021 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 「ェモい」という感情に関する考察

青山凌大 ${ }^{1}$ 西口純代 ${ }^{2}$
1 小樽商科大学 商学部
2 小樽商科大学 言語センター
ra2000a@icloud.com
nishiguchi@res. otaru-uc. ac. jp

## 概要

本論文は、若者の消費者心理を解き明かす切り口と して「エモい」という感情表現に着目している。未だ漠然とした定義しかされていない「エモい」と いう心理状態が表す本質的な意味と、「エモい」と いう感情に至るプロセスについて主張を述べる。

## 1 はじめに

## 1.1 研究の背景

経済の好循環には、消費の拡大が不可欠であるが、

「若者が消費に消極的」という言葉をニュース等で 見聞きすることが多くなっている。実際、消費者庁 が 2017 年に刊行したホワイトペーパーでは次のよ うに述べられている。

「総務省が実施している「家計調査」によれば、世帯人数が 2 人以上の勤労者世帯のうち、世帯主が 39 歳以下の世帯では、可処分所得が 緩やかに増加 する中でも消費支出はほとんど伸びておらず、節約志向が強まっているとされています。全体的に消費意欲が低下しているなかで、特に若者か消費に慎重 であることかがえる。（注 1）」（消費者庁 2017） さらに少子高齢化の進行により、この若者と呼ばれ る人口は減少傾向で、総人口に対して若者世代が占 める割合は小さいものであるにも関わらず、若者世代の消費行動がマーケットに大きな影響を及ぼす一大トレンドのキーとなっているのは、近年の動向か ら自明である。この仮説を念頭に置いたとき、今後、日本経済の発展には、「人口比率としては減少 している若者世代の消費をいかに増やすか」という 問いを、一つの命題として設定することができる。 さらにこの命題を解くための鍵として、「若者の消費者心理」を理解することがネックになると考えら
れる。この「若者の消費者心理」を考える上で、 2017 年に株式会社ネオマーケティング

（https://neo-m. jp）が実施した「若者の消費トレ ンドに関する調査」の調査結果に着目する。同調査 が 18 29 歳の男女 1000 人の若者を対象に行った

「あなたが、今後、積極的にお金を使いたいと思う

ことは何ですか。（複数回答）」という質問に対す る上位 10 項目のデータ以下に示す。

図1(注 2)

（株式会社ネオマーケティング2017）

図 1 によると、ライブイベントや旅行などの「感動体験」及び「思い出に残る体験」といった、エモ一 ショナルな体験に対する消費に関して最も積極的で あるという。そこで本論文では「若者はエモーショ ナルな感情に浸ることを求めている」と仮定し、そ の上で、若者とエモーショナルな感情、所謂「エモ さ」という概念との関係について考察していく。

## 1.2 研究の目的

前項で記述した時代的背景より、若者の消費意識に 着目に着目し、その意識を解明することが近年停滞気味の日本経済を動かすキーの一つになり得ると考 えている。また、前項で指摘した、「若者はエモ体験を求めている」という仮定を鑑みると、「エモ さ」に焦点を当て、若者の感性を分析することで、若者を消費に積極的にさせる仕組みを解明していき

たいと考えている。そこで本論文では、「若者に刺 さる仕組み」に解明する切り口として、以下 2 つの 論点に調査・研究を行うことで若者の消費意識にア プローチしていく。

(1)若者が感じる「エモい」とは具体的にどのような 心理的、感情的動きを表すのか

(2)エモい」を作り出す要因はどんなものか

## 2 研究準備

## 2. 1 研究の目的

ここで、一般的に言われる「エモい」という言葉の 定義について紹介しておく。

「エモい」は『三省堂 辞書を編む人が選ぶ「今年 の新語 2016」』（注 3）にて2 位に選出されてお

り、その際の選評によると、「漠然としたいろいろ な感情表現に使われる」とされている。また、言葉 としては 2006 年から存在はしているものの、現在 のように広く一般に使われるものではなく、日常生活の会話で使われるようになったのは近年からのよ うだ。つまり、「エモい」という言葉は、まだ世に 出て間もない、定義が曖昧な感情表現であると言え る。この「エモい」という表現が持つ意味を考察す る上で、「エモい」に関する先行研究として、一般社団法人日本広告業協会による第 49 回懸賞論文『私の言いたいこと』新人部門において受賞した、株式会社メトロアドエージェンシー営業本部第 3 営業局営業 7 部・塩見ありさ氏の『“エモい、を解き 明か寸〜文脈理解と物語構築の重要性〜』（注 4) を参考に仮説を定義していく。

この論文で塩見氏は、「エモい」が内包する意味に ついてSNS のハッシュタグ利用した分析を行ってお り、次の通りに考察がまとめられている。以下、関連する主張部分を拔粋して引用する。

「学生の場合は体育祭・文化祭など学校におけるイ ベントの際の投稿。時節に触れた話題をはじめ、天気や空気感に言及する投稿も多くみられた。また、

「青春」やノスタルジーを感じる写真を添付した投稿も多く見られた。フィルムカメラで撮影された様 な味わいがあり、想像の余地のある写真が多数を占 める。キラキラした加工が施された「インスタ映 え」とは異なる自然体な写真が主であった。（注

4)」(塩見 2019)

「登場人物との関係性やコンテンツを通して沸き上 がった感情が吐露されている。過去との対比構造が多い。音楽や映像の「エモい」場面を切り取った 内容の割合も高かった。（注 4）」（塩見 2019）「車や文具、唐揚げまで、有機物/無機物関わら ず、様々な事象に対して広い用途が存在。

SNS によっても違いがある。Twitter は文ベースの コミュニケーションが主流のため、物語調や説明的 な表現が多くみられた。一方で、Instagramでは 短文、あるいは写真のみで「エモさ」を訴えかけ る投稿が主であった。ただし、いずれも感情の高ま りや心が動いた際にこの言葉が使われている。そこ には、懐かしさや切なさ、感傷的な気分や感慨深さ も伺える。そして、個人の主観的な思い入れや過去体験が投影されている。（注 4）」（塩見 2019）

“「エモい」とは、対象者が「ある事物」を観測し た時に、過去に自身が実際に体験した経験が想起さ れ、その際に溢れた様々な感情を「代替した言葉」”であると定義できる。

以降、本論文では対象人物が「観測する事物」、そ れに対して「どんな感情を抱いたか」という 2 つの 要素に分けて仮説を設定し、「エモさ」が内包する 意味について明らかにしていく。

まず、「観測する事物」ついて、塩見氏による分析 を参考に以下のように検証項目を設定する。

検証項目(1)生で見る風景

検証項目(2)写真や動画（インスタ映えのようなキラ キラ加工がついたもの)

検証項目 (3)写真や動画（加工が控えめの自然体なも の)

検証項目(4)セリフや文章 検証項目(5)音楽（歌詞)

検証項目(6)音楽（リズム・音程・楽器）

検証項目(7)人物同士の関係（フィクション作品を含 む)

これらの検証項目をそれぞれ現段階での「エモさ」 を醸し出す事物としての仮説とする。

同様に、「エモい」という言葉がどんな感情を代替 するのかという点について検証項目を考えていく。検証項目(1) 懷かしい 検証項目(2)ノスタルジー・検証項目 (3) 美しい・綺麗 検証項目 (4) 嬉しい 検証項目 (5) 悲しい 検証項目 (6) 虚しい 検証項目(7) 寂しい 検証項目 (8) 沪が出そう これらの検証項目をそれぞれ現段階での「エモい」 が代替する感情表現の仮説とする。

## 2. 2 検証方法

若者世代にアンケート調查を行う。
対象人物が「観測する事物」については質問(1)「あ なたは今までにどんな事物に対して「エモい」とい う感想を持ちましたか?」とし、検証項目(1)（7)そ れぞれを回答の候補として当てはまる候補にチェッ クをつけてもらう。次に、「エモい」がどんな感情 を代替しているのか、について設問(2)「あなたは 「エモい」をどんな意味で解釈していますか? 近い ものを 3 つ選んでください。」とし、上記と同様に 検証項目(1)～(8)を明示し最も当てはまると感じるも の 3 つを選んでもらう。

## 3 調査・検証結果報告

設問(1)、設問(2)に対する回答の集計グラフはそれぞ れ図2、図3のようになった。

図 2

図 3

## 4 分析 $\cdot$ 考察

・対象者が「観測する事物」に関して

本論点に関する設問(1)では、最も多く選択された検証項目は(1)「生で見る風景」、3 番目は(3)「写真や 動画（加工等が控えめの自然体なもの）」であり、 これら 2 つの事物に共通するのが、「視覚」を通し て認識する事物ということである。心理学におい て、一説では「視覚は人間の情報入力の $80 \% 」 と$言われることもあり、「視覚情報の優位性」という 概念として度々論点に挙げられ研究されている。視覚が他の感覚より重要な役割を果たしているとい う主張を支持している文献では、その他の感覚、特 に五感の中でも視覚の特性について以下のように論 じられている。

「視覚は他の感覚との協調、また経験や行動履歴に 関する知識などにより、整合的な外界を仮定するこ とでなにが起こっているかについて多くの場合正し
く推定することができます。この点に関して他の感覚と比較した視覚の優位性は明らかです。触覚は自身の行動に依存することが多く, 得られる情報には 自身の行動の結果と外界の属性が混在することにな ります。対象が静止している場合, 能動的な行動に よってのみその対象に関する情報が得られますが、 それが自身の行動の結果であるか、それと独立した 対象に起因するものであるかの判断は困難です。ま た嗅覚から安定した外界を推定することは難しいで すし，味覚は直接的に 外界に関する手掛かりを与 えてくれるとは考えられません。聴覚に関しては音源が必要であり、世界にあふれる光の反射を利用す る視覚と比べると大きな限界があるといえるでしょ う。（注 5)」（塩入 2021）

また、心理学における視覚研究の重要性については 以下のように論じられている文献も見られた。「視覚を媒介とした自己認識、世界認識の形成は 「心」の理解のうえでも最重要課題の一つであり、心理学における根本問題だということもできるだろ う。この意味で、視覚研究は「心」の本質を捉える うえで重要な切り口となる。（注 6) 」（佐藤 2021)

これらを踏まえると、視覚を通して認識される事物 である風景や写真が「エモい」という感情の動きを 観測者に与えるものとして最も多く該当するという 結果は妥当であると言える。視覚は観測者の置かれ た状況にかかわらず、ほとんどの場合において他の 事象の制約を受けない最も自然な外部情報を仕入れ ることができるのだ。その結果、視覚情報は、他の 感覚によって認知される事物よりも、認知できる情報の量が多いために、「エモい」と感じることも多 いのではないかと考えられる。一方で、検証項目(2) の「写真や動画 (インスタ映えのようなキラキラ加工がついたもの）」については、同じく視覚によっ て情報を伝える事物であるが、集計結果の通り、こ ちらは「エモさ」を醸し出す事物として当てはまる とはあまり考えられていない。おなじ写真・動画と ういうコンテンツである検証項目 (3)「写真や動画 （加工等が控えめの自然なもの）」と大きく差がつ いた要因としては、その写真や動画の撮影後に後か らつけることになる、画像加工や編集の違いである ことは間違いないだろう。一般的には、「エモさ」 を醸し出すには、派手で煌びやかな加工ではなく、 なるべく自然体となるよう加工が控えめなものの方 が適しているようだ。この点については、塩見あり

さ氏の先行研究における SNS 投稿を用いた分析から 得られた示唆の通りであった。加えて、設問(1)で最 も多く選択されたものが検証項目 (1)「生で見る風景」であることを考慮すると「エモさ」を醸し出す にはそもそも加工・編集といった「演出」は不要で あり、写真や動画の場合は、いかに肉眼で見たもの を再現するかという「自然さ」が大きな要因となっ ていると推測できる。

・「エモい」という言葉が代替する感情に関して

本論点に関しては設問(2)の集計結果を参考に考察を していく。

最も多く選択されたのは検証項目(3)の「美しい・綺麗」であった。この「美しい」や「綺麗」という感情は、対象物に対して快い感覚を抱いている様であ る。「あの花は美しい」「綺麗な音色だ」「あの人 の心は綺麗だ」など、様々な事物に対して、自身が 好感を持った際に抱く感情を表している。

ここで、分析を進めていくための切り口として、形容表現を「対象物に対しての感想としての感情の動 き」と「自分自身の感情の動き」の二つに分類して 考えてみる。それぞれをより具体的に例を出して考 えてみる。

前者に該当する形容表現は、まさに今話題に挙げて いた「美しい」や「綺麗」などだ。これらはある人物が観測した事物に対して、「“これは” 〜だ」と いう、その事物の状態を、観測した人物の主観で判断したものである。「あの花は美しい」を例にして みると、「（私から見た）あの花 “は”（私にとっ て）美しい（と思う）」という構成になり、“美し い”という経由表現の対象は、“あの花”となる。対して後者に該当する形容表現は、嬉しい」などが だ。事物ではなく、“ある人物そのもの” の状態を 表している。例えば「あの映画を見れて私は嬉し

い」というフレーズで考えてみると、“嬉しい”と いう形容表現は、“あの映画”という事物を観測し た “私”という人物を対象としている。つまり、単純に自分の感情や心理状態がどういった状態である かという意味合いを持っているのだ。この表現の分類の仕方を念頭に置き、改めて集計結果を分析して みると上位 3 つ、順番に検証項目 (3)「美しい・綺麗」、検証項目(1)「懐かしい」、検証項目(2)「ノス タルジー」はどれも「対象物に対する感想としての 感情の動き」に該当しているだろう。「懷かしい」 に関しては、例えば「あの写真は懐かしいね」や 「懐かしい写真だね」とはいう写真という“事物”
を形容の対象にするフレーズは自然だが、「その写真を見て私は懷かしい」といった、写真という事物 を観測した“私という人物”を形容の対象とした文章には違和感がある。「ノスタルジー」も同様だ。 これらの結果から、「エモい」は、単純に自分の感情を表すのではなく、何かの事物への感想としての 感情の動きに近いようだ。また、検証項目(4)（8)の 「嬉しい」、「悲しい」、「虚しい」、「寂しい」「涙が出そう」については「自分自身の感情の動 き」に該当し、単純に自分の感情や心理状態がどう いった状態であるかを表している形容表現に分類で きる。それぞれ選択された数としては差が大きく開 いている。これらの中でも特に、検証項目(4)の「嬉 しい」と検証項目(5)「悲しい」は極端に選択数が少 ない。一方で検証項目 (8)「涙が出そう」に関して は、3番目に多くの選択がされた検証項目(2)「ノス タルジー」とほぼ同数の選択数を獲得している。こ れらの結果はどのような点が要因となっているのだ 万うか。考えらえる点として、表現が内包する意味 の複雑さが挙げられる。「嬉しい」や「悲しい」は 単純にポジティブな気持ちかネガティブな気持ちと いう情報 “だけ”を含んでいる、ストレートで素直 な表現であるのに対し、「涙が出そう」は、嬉しい 意味での涙か、悲しい意味での涙か、またはその両方を含んだのか等、その一言から複数の感情が読み 取れる。つまり「エモい」とは、いくつもの感情が 重なった「なんとも言えない気持ち」に近いとも考 えられるだろう。

## 5 おわりに

本研究では、若者世代の間で浸透し広く使われるよ うになった「エモい」という表現に着目し、その表現が内包する意味と、「エモい」という心理に至る までのメカニズムを理解することを目標として調查 を行った。本研究で行った若者世代に対するアンケ 一トを利用した実態調査、関連文献をもとにした考察により、研究対象とされながらも、未だに漠然と していた「エモい」という感情表現について、具体的な定義の一つの侯補と、その心理状態を作り出す 要因やパターンを示唆できたことは、若者の感性や 心理にアプローチし、新たな流行やヒットトレンド を作り出すヒントに迫れたと言えるだろう。本研究 が今後の消費者心理に関する課題を解決する一助と なること願う。

## 参考文献

（注 1）消費者庁「平成 29 年版 消費者白書 第 1 部第 3 章【特集】若者の消費」，2017 https://www. caa. go. jp/policies/policy/consumer _research/white_paper/pdf/2017_whitepaper_0004 . pdf

（注 2）株式会社ネオマーケティング「若者の消費トレンドに関する調査」，2017 https://neom. jp/investigation/134/

（注 3）三省堂「三省堂 辞書を編む人が選ぶ 「今年の 新語 $2016 」 」$ 」, 2016 https://dictionary. sanseidopub1. co.jp/topic/shingo2016/2016Best10. htm1 （注 4）塩見ありさ「『“エモい、を解き明かす 〜文脈理解と物語構築の重要性〜』」, JAAA レポー卜臨時増刊号『第 49 回懸賞論文 入賞-入選作品集』, 2020

https://www. jaaa. ne. jp/wp-

content/uploads/2020/03/49award_08.pdf

(注 5）塩入諭「そもそも視覚の研究はなぜ必要?」,『VSION』(日本視覚学会) 巻 3 号, 152-154, 2021

https://www. jstage. jst. go. jp/article/vision/33 /3/33_152/_pdf/-char/ja

（注 6）佐藤隆夫「そもそも視覚の研究はなぜ必要?」『VSION』 (日本視覚学会) 巻 3 号, 179-181, 2021

https://www. jstage. jst. go. jp/article/vision/33 /4/33_179/_pdf/-char/ja


# 感情カテゴリを考慮した単語極性の推定

市村真衣久野雅樹
電気通信大学大学院 情報理工学研究科情報学専攻
i2230018@edu.cc. uec.ac.jp, hisano@uec.ac.jp

## 概要

工学分野の感情推定タスクには, 感情をカテゴラ イズする「感情空間による感情推定」とポジティ ブ〜ネガティブ軸を用いる「感情極性推定」との 2 種あるが, 心理学分野の感情理論「基本感情理論」と 「次元論」に対応しており, 2 つの感情推定には一定 の互換性があると考えられる。本稿では, 先行研究 における感情カテゴリと単語極性の関連を分析した ところ, 感情カテゴリと極性の間に相関関係が認め られ, ロジスティック回帰分析で感情カテゴリによ る単語の極性分類ができることを示した. また,ロジ スティック回帰分析で算出した新たな単語極性を用 いることで, 文書極性の分類性能が向上することも 確認できた。

## 1 はじめに

感情は, 事象によって可変であり, 判断材料やコ ミュニケーション手段になる. 学術および社会では 感情推定を通して, 物事の構造解析・人への思いや りのある機械の開発に取り組んでいる. 感情推定夕 スクは大まかに分けて「感情空間による感情推定」 と「感情極性推定」の2 種が存在する [1]. 前者は, 特定の感情モデルにあてはめて包含する感情を判定す るタスクであり, 感情語の登場回数から特定感情の 興奮・冷静情報を得ている. 対して後者は, 文章や語 などの持つ印象を極性（ポジティブ〜ネガティブの 1 軸）で判定するタスクであり, 文構造や共起関係か ら感情極性情報を得ている. 実際, 両タスクの境界線 は薄く, 各分析者が思考を凝らして手法を生み出し，感情推定をしている.

感情の定義ならびに感情に関する用語（情動,気分, 選好) は厳密に定められているわけではなく, 研究領域や個々の研究によって意味が微妙に異なるこ とも少なくない [2]. 心理学分野では感情研究を古 くから行っている. エクマンとフリーセン (Ekman \& Friesen, 1975 [3]）,イザード（Izard, 1977 [4]）, プ
ルチック (Plutchik, 1980 [5]）は, 感情には通文化的普遍性があると考える基本感情理論を支持してお り, 喜び・悲しみ・怒り・驚き・嫌悪・恐怖（エクマ ンが主張する基本感情）のように感情をカテゴリ に分けて（=離散値で）説明する. 対して,ラッセル (Russell, 1980 [6]）,ワトソンとテレゲン（Watson \& Tellegen, 1985 [7]）,ラッセルとフェルドマン=バレッ ト（Russell \& Feldman-Barrett, 1999 [8]）は, 快感・不快感という知的判断に伴う感情体験を直交座標上 にすべて配置可能だと考える次元論を支持してお り,「快-不快」次元と「覚醒-睡眠」次元（ラッセル が主張）のように感情を少数次元で（=連続値で）説明する。

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応すると考える. 両者間 に優劣はなく, 同じ対象「感情」を異なる着眼点と アプローチで調べているものであり,2つの感情推定には一定の互換性があると考えられる. 本研究で は, 先行研究における感情カテゴリと単語極性との つながりを相関分析により調べ, 感情カテゴリから 単語極性を説明できることをロジスティック回帰分析により示した.また, ロジスティック回帰で算出し た予測値を新たな単語極性にすることで, 文書極性 （ポジティブ文書/ネガティブ文書）の分類性能が向上するのかも検証した. 2 つの感情推定の橋渡しに なれば幸いである.

## 2 感情カテゴリと単語極性との関係

## 2.1 前処理

「感情空間による感情推定」では感情カテゴリを，「感情極性推定」ではテキスト（単語, 文, 文書）と 極性をセットにした一覧表である極性辞書を使用す る.今回は, 日本語の感情カテゴリを示す『感情表現辞典』と,公開している数少ない日本語用の極性辞書 3 つを対象にし，それぞれに前処理を施した。
表 1 分析による変数抬張の概要

 \\

$\cdot$「感情表現辞典」[9]（2,308 語）

$\cdot$「単語感情極性対応表」[10]（39,167 語）
- 「日本語評価極性辞書」[11][12]（10,326 語）

また, 先の 2.2 節と 2.3 節との分析にて, 変数を追加する.リストの概要を表 1 に記す.

## 2.1.1 感情カテゴリ

中村は, 言語表現面を反映した感情のあつかい として, 実際の表現例から計 10 類の感情カテゴリ （喜・怒・哀・怖・恥・好・厭・昂・安・驚）を立項 し, 単語を分類している. また, 辞典としての引きや すさを重視し, 感情が混じり合った, あるいは中間的 な意味合いを持つ感情語は, 複数の感情カテゴリに 配列している [9]. 語句編の収録語（2,308 語）それ ぞれに, 本にもとづいて感情カテゴリ 10 種のラベル を 1つずつ付与した. 以下，これを「中村カテゴリ辞書」と表記する。

## 2.1.2 単語極性

単語極性とは, 単語の持つ印象をポジティブ〜ネ ガティブの 1 軸で表現した値である.

高村らは, 電子のスピン系を導入して, 関連する単語ペア（ある単語とその語釈文中の単語,シソーラ スでの類義語ペア, 反義語ぺア, 上位語下位語ぺア, コーパス中に接続詞で連なる形容詞ぺアなど）を結合することにより語彙ネットワーク（約 88,000 単語）としてモデル化し，単語極性を決定する手法を 提案している. 大きなコーパス（約 $1 \times 10^{11}$ 単語）を 用いたターニーら（2003）の手法と同等の性能が出 たとしている [10]. 極性は, 1.0〜-1.0 内の連続値で提供している. 表記と読みが一致し, かつ, 日本語学習済夕モデル [13] に存在する語を抽出した. 以下，こ れを「高村極性辞書」と表記する。

小林らは，＜評価対象表現+属性表現+評価表現＞ の共起情報から作成した 52 個のルールを語釈文に 繰り返し適用し, 半自動的に単語極性を決定する手法を提案している. 評価表現の収集と感情極性の決定の双方を人手に委ねるより, 効率がよいと述べて いる [11]. 東山らは, 収集した $<$ 名詞 $>と<$ 格助詞 +述語＞を共起ベクトルに変換し，名詞の感情極性を 自動獲得する教師あり機械学習による手法を提案し ている. 上記の高村らの手法と比較して,ネガティブ な名詞に関しては劇的に分類性能が向上したと主張 している [12]. 小林らの辞書と東山らの辞書を結合 し，重複データおよび欠損値を含むデー夕を削除し た. 小林らの辞書も東山らの辞書も極性はラベルで 表記しており,ポジティブを示す “ポジ”と“p”,ネガ ティブを示す “ネガ”と “n”, ポジティブとネガティ ブの間のニュートラルを示す “e”（順序分類尺度の データ）である語, かつ, 日本語学習済みモデル [13] に存在する語を抽出した. 以下,これを「小林東山極性辞書」と表記する。

## 2.2 分析 1：相関関係

まず, 小林東山極性辞書の極性情報はラベル表記であるため，“ポジ”と“p”を 1.0 , “ネガ”と“n”を -1.0, “e”を 0.0 として元極性を設定した. そして, 両極性辞書すべての語に対して, 各感情の含有率を計算した。具体的には，「両極性辞書の内の“とある 語”」と「中村辞書の各語」との類似度を日本語学習済みモデル [13] によって算出し, 感情カテゴリご との類似総和を全体の類似総和で割った値を各感情 の含有率とする，という工程を繰り返した。その後,両極性辞書に変数「各感情の含有率」を追加した。 （分析による変数拡張の概要は, 表 1 を参照.) 両極性辞書について,「各感情の含有率」と「元極性」と における相関関係を調べた。

表 2 高村極性辞書の「各感情の含有率」と「元極性」と の相関係数

表 2 と表 3 より，「喜・好・安」はポジティブな感情に，「厭・怒・哀・怖」はネガティブな感情に関連 するといえる. 各感情の含有率に $0 \%$ 多く含むた め相関が小さく出ており, 算出方法に改善の余地が
表 3 小林東山極性辞書の「各感情の含有率」と「元極性」との相関係数

ある.

## 2.3 分析 2 ：ロジスティック回帰

小林東山極性辞書における「各感情の含有率」を 独立変数, 「元極性」を従属変数に設定し, 6 割を学習データとしてロジスティック回帰分析を実施し た.ただし，極性情報のラベルが“e”の単語は除き， “ポジ”と“p”を 1 ，“ネガ”と“n”を 0 として元極性に 設定した. 結果は, 表 4 のとおりである.

表 4 ロジスティック回帰分析における学習評価

表 4 より, 極性情報であるポジティブ/ネガティブ 分類としての学習はできていると判断できる.

回帰式から得た出現確率をポジティブ〜ネガティ ブの範囲 1.0〜-1.0 に変更して, 予測値を算出した.両極性辞書へ変数「各感情含有率から予測した極性」を追加し, 標準化の処理をした。（分析による変数拡張の概要は, 表 1 を参照.) また, 小林東山極性辞書における「元極性」を，極性情報のラベルが“ポ ジ”と“p”を 1.0, “ネガ”と“n”を-1.0, “e”を 0.0 とし て設定した。

## 3 感情カテゴリによる単語極性の性能評価

2.2 節と 2.3 節の分析より, 感情カテゴリと単語極性には一定の互換性があることを示した. 両極性辞書の「元極性」と比べ, 「カテゴリによる極性」は 感情カテゴリの情報を追加で考慮している. よって，文書内にあるポジティブ語・ネガティブ語によって 文書の感情極性が推定できるという報告 [14]に従 い, 文書の感情推定の性能が向上していると予想さ れる.このことを分析的に示す.

## 3.1 データセット

“Amazon Customer Reviews Dataset”[15] より, マー ケットプレイスを日本に限定し, 星評価（星 1 5: 5 に近いほど高評価, 1 に近いほど低評価）にもとづ いて under-sampling したのち, 層化抽出をして 5,250件を性能評価に使用した。年代は 2000～2015 年で ある.

## 3.2 性能評価

ポジティブな文書/ネガティブな文書への分類性能をみるため, 各極性辞書が付与する「レビュー平均極性値」について, 正解ラベルが「星 1 のレビュー 群」と「星 5 のレビュー群」との差を性能評価の 指標とした。まず，両極性辞書の「元極性」および 「カテゴリによる極性」それぞれを用いて, Amazon レビューの各単語に極性值を付与した。そして,レ ビューの極性値としてレビュー内の単語の極性値の 平均を計算して, 標準化の処理をして, 正解ラベルが 「星 1 のレビュー群」と「星 5 のレビュー群」との平均極性値の差（表 5）を算出した。

また, 予測したレビューの極性值を縦軸, レビュー 文の年月日を横軸, マーカーを正解ラベル (星評価) として, 分布図（図 1）も作成した。なお, 横軸はプ ロットの見やすさを重視したため, 伸縮が生じて いる.

表 5 極性辞書による星 1 と星 5 のレビュー平均極性値 の差

表 5 から, 両極性辞書ともに「元極性」より「カテ ゴリによる極性」を付与したほうが, 差の広がりを 確認できる. すなわち, 両極性辞書の「元極性」をそ のまま使用する場合と比較して, ロジスティック回帰分析による予測値（=感情カテゴリの情報を考慮 した単語極性）である「カテゴリによる極性」のほ うが, 単語極性を利用したポジティブ文書/ネガティ ブ文書の分類性能を向上しているといえる。ロジス ティック回帰の学習に用いた 小林東山極性辞書 の 元極性は, 感情カテゴリではなく構文情報を利用し て単語極性を決定している. よって今回の結果は, 構文情報から得た単語極性とほぼ同等の法則性を, 感情カテゴリにあたる「各感情の含有率」, および, そ の組み合わせによっても再現できることを意味して いる.

また, 図 1 は, 5,250 件のレビューをプロットした ものであり, マーカーは正解ラベル (星評価: 5 に近 いほど高評価, 1 に近いほど低評価）,プロット場所 は予測したレビュー極性のスコア（縦軸方向に, 正方向ほど高評価, 負方向ほど低評価）を示している.

年月日

図 1 小林東山極性辞書によってレビュー極性を付与した様子 (上：元極性,下：カテゴリによる極性)

星 5 のレビューはスコアがより正方向にあり, 星 1 のレビューはスコアがより負方向にあり,星 2〜 4 は 星 1 と 5 の間に段階的に分布することが望ましい.小林東山極性辞書の「元極性」も「カテゴリによる 極性」も,図 1 を横切る「星 1 5 のレビュー平均極性値」は縦軸方向に段階的な値であり, 期待した結果である.一方で, プロットをみると星評価間で分布範囲が被っているため, 文書ごとの極性決定には改善の余地がある. 高村極性辞書の両者も同様である.

## 4 おわりに

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応していて, 両者が調べ
たい対象「感情」は同じであるという考え方にもと づいて, 感情カテゴリと単語極性とに関連があるこ とを相関分析で, 感情カテゴリから単語極性を説明 できることをロジスティック回帰分析で, 認めるこ とができた. また, カテゴリによる極性（=感情カテ ゴリを考慮した単語極性）を用いると,元極性と比 べて, 文書極性の分類性能を向上することも示した.

今回は日本語学習済みモデル [13]を用いて単語同士の類似度計算をしているため, 形態素が 1 つの単語のみを分析対象にしている. 今後は, 複数の形態素 からなる単語を分析対象に含めることで, より広範囲な感情表現がもつ各々の特徴を調査したい.

## 参考文献

[1] 江間勇希, 鳥海不二夫. 映画脚本デー夕における感情分析. 人工知能学会全国大会論文集 第 34 回, 2020.

[2] 大平英樹 (編). 感情心理学・入門. 有斐閣アルマ, 2010.

[3] Ekman, P., \& Friesen, W.V. Unmasking the face. Prentice Hall, 1975.

[4] Izard, C. E. Human emotions. Plenum Press, 1977.

[5] Plutchik, R. Emotion. Harper \& Row, 1980.

[6] Russell, J. A. A circumplex model of affect. Journal of Personality and Social Psychology, Vol. 39, No. 6, pp. 1161-1178, 1980

[7] Watson, D., \& Tellegen, A. Toward a consensual structure of mood. Psychological Bulletin, Vol. 98, No. 3, pp. 219-235, 1985.

[8] Russell, J. A., \& Feldman-Barrett, L. Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant. Journal of Personality and Social Psychology, Vol. 76, No. 5, pp. 805-819, 1999.

[9] 中村明. 感情表現辞典. 東京堂出版, 1993.

[10] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語 の感情極性抽出. 情報処理学会論文誌ジャーナル, Vol. 47, No. 02, pp. 627-637, 2006.

[11] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 03, pp. 203-222, 2005.

[12] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に 着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会論文集, pp. 584-587, 2008.

[13] facebookresearch. fastText. https://github.com/ facebookresearch/fastText. 最終閲覧日：2021 年 12 月 7 日。

[14] $\mathrm{Hu}, \mathrm{M}$. and Liu, B. Mining and summarizing customer reviews. Proc. 2004 ACM SIGKDD international conference on Knowledge discovery and data mining (KDD-2004), pp. 168-177, 2004.

[15] Amazon.com, Inc. Amazon Customer Reviews Dataset. https://s3. amazonaws. com/amazon-reviews-pds/ readme.html. 最終閲覧日：2021 年 12 月 10 日.


# 日本語レビューに対するレーティング予測の精度比較

森廣 勇樹 1 南條 浩輝 2 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m005@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文から評価点（レーティン グ）がどの程度正確に予測できるかを調査した。 BERT と RoBERTa に対し合計 360 通りのハイパー パラメータの組み合わせでグリッドサーチを行っ た. 得られたハイパーパラメータで予測を行うと， BERT より RoBERTa の方が精度がよいことがわかっ た. 英語レビューへのレーティング予測の関連研究 の結果に比べ，精度があまり高くはないがレーティ ング予測の傾向自体の学習はできていると考える.

## 1 はじめに

本稿では，日本語の商品レビュー文に対し星数の ような評価点（レーティング）がどの程度正確に予測できるかの調査について述べる.

商品レビューは消費者の正直な感想であるため 広告より信頼性が高いが，ヤラセ・サクラなど，レ ビューの悪用や利用者増加に伴う役に立たないレ ビューの増加で，真に有用なレビューが埋もれてい る. 推薦・推薦文においてこのようなレビュー等が 主に使われており，それらの結果に疑問が残るので はないかと考える. それに比べ, Twitter のツイート などの生の声は，レビュー文よりも実際の気持ちを 表していると予想される.

本研究では Twitter のツイートデータを用いた推薦文（及びその根拠文）の生成することを目標とし ている. 第一歩として, Twitter のツイートなどレ ビューそのものを目的としていない生のユーザの声 （テキスト）が，商品に対してどの程度のお勧め度 を表しているか (レーティング)を予測する必要が ある.しかしながら，ツイートデータには正解が付 いていないため学習に用いるのが困難である. 多言語 amazon レビューコーパスに正解データが付いて
おり，最終的にツイートデータに対するレーティン グ予測を行うとしても，その予測に用いる機械学習 の学習データとしては使えると考える。 そこで本研究ではまず，多言語 amazonレビューコーパスを用 い，日本語でのレビューのレーティング予測を調査 した.

## 2 関連研究

Liu [1] は英語レビューのレーティング予測を機械学習と深層学習を用いて行っている.コーパ スはレビュー文と星数のラベルのペアとなって おり，レビュー文に対してのレーティング（整数値）を予測するタスクとなっている. この研究で は, Naive Bayes, Logistic Regression, Random Forest, Linear Support Vector Machine の 4 つの機械学習モデ ルと BERT, DistilBERT, RoBERTa, XLNet 94 つの transformer ベースの深層学習モデルを使用し，モデ ル間での精度の比較やモデルの学習時間の比較も 行っている。一方, 日本語レビューのレーティング 予測についての研究は見当たらない.

## 3 手法

Liu の研究では， 4 つの機械学習モデルと 4 つの transformer ベースの深層学習モデルを使用してい る. その実験結果から機械学習モデルの予測精度が 低いことがわかったため, 本研究では 4 つの深層学習モデルのうち，まずBERT [2] と RoBERTa [3]を用 いることにした.

BERT のモデルとして, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル (cltohoku/bert-base-japanese-v2) [4] を使用した. BERT による分類モデルの入出力例を図 1 に示す.

図 1 のように文 (文章) を入力し, 出力 $\mathrm{C}$ トーク ンから全結合層の分類器 1 層（classifier）を通して 5 クラス分類を行う.
表 1 データセットの星評価の内訳

## Prediction

図 1 BERTによる分類モデルの入出力例

RoBERTa のモデルは, xlm-roberta-base を Language Identification データセットに基づいて fine-tuning した RoBERTa モデル (papluca/xlm-roberta-base-languagedetection）[5]を使用した.

## 4 実験

## 4.1 データセット

多言語 amazon レビューコーパス [6] と呼ばれる データセットを用いて実験を行った. データセッ 卜には，英語，日本語，ドイツ語，フランス語，中国語，スペイン語の合計 6 言語のレビューが含ま れておりその中で日本語のみのレビューを使用し た. データセットの各レコードには，レビューテ キスト, レビュータイトル, 星評価, 匿名のレビュ アーが含まれている. 各言語ごとに合計 210,000 の レコードがあり，185,000を学習データ，20,000を 検証データ，5,000をテストデータとした。すべて のレビューは 2,000 文字を超えると切り捨てられ，表 2 モデルのハイパーパラメータ

すべてのレビューは少なくとも 20 文字の長さであ る. 本研究で使用するデータセットの星評価の内訳 を表 1 に示す.

表 1 よりコーパスは星評価（星 1～星 5）でバラン スが取れているため, 各星評価は各言語のレビュー の $20 \%$ で構成されている.

## 4.2 ハイパーパラメータの決定

各モデルに対して適切なハイパーパラメータを決定するためにグリッドサーチを行った. ハイパーパ ラメータとして最適化アルゴリズム, 学習率, バッ チサイズ，エポック数の 4 つのパラメータを可変と しグリッドサーチを行った. 最適化アルゴリズム は, AdamW, SGD, RMSProp の 3 種類, 学習率は各 モデル，各最適化アルゴリズムによって変わるが 3 種類ずつ行い, バッチサイズは $32,16,8,4$ の 4 種類, エポック数は 1 から 10 の 10 種類, 合計 360 通りの ハイパーパラメータの組み合わせでグリッドサーチ を行った．検証データはハイパーパラメータを決定 するために使用し, 決定後は学習データと合わせて 実験の学習に使用する.この組み合わせの中で最も 検証データでの正答率が高いパラメータを最適なも のとしハイパーパラメータを決定した. 得られた八 イパーパラメータと RoBERTa でのグリッドサーチ の結果の一部を表 2 , 表 3 に示す.

表 2 の条件の通り BERT の最適化アルゴリズム は RMSProp, 学習率は 1e-05, バッチサイズは 8, エポック数は 2 としたとき検証データでの精度
表 3 RoBERTa のグリッドサーチの結果（一部）

(Accuracy) が 0.5531 と 360 通りのパラメータの中 で一番高い結果であったためこのハイパーパラ メータで決定し, RoBERTa の最適化アルゴリズム は RMSProp，学習率は 5e-06，バッチサイズは 16 , エポック数は 3 としたとき検証データでの精度 (Accuracy) が 0.5852 と一番高い結果であったため このハイパーパラメータで決定した.

表 3 は RoBERTa の最適化アルゴリズムが RMSProp，バッチサイズが 16 のときのグリッドサーチ の結果である. グリッドサーチを行って気づいたこ ととして，よりよいパラメータは学習率の值が小さ いときエポック数が大きくなり，学習率の值が大き いときエポック数が小さくなる傾向にあった.

## 4.3 実験結果

4.2 節で可変にしたパラメータ以外を固定にして 精度比較を行った. データセットは多言語 amazon レビューコーパスを使用し，205,000を学習データ， 5,000をテストデータとし精度の算出を行った. そ の条件をもとに学習を行った際のテストデータでの 精度を表 4 に示す.

表 4 の各モデルの精度を比較すると BERT では Accuracy が $0.5624, \mathrm{~F}$ score が 0.5612 に対し RoBERTa では Accuracy が 0.5956 , F score が 0.5893 となり RoBERTa の方がより精度がよいことがわかる. 各 モデルの Confusion Matrix（混同行列）を表 5 と表 6 に示す.

表 4 の精度は Liu の英語に関する先行研究の 0.6-0.7 より低かったが，レーティング予測は人手評価からそれほどかけ離れていないことが表 5 と表 6 の Confusion Matrix からわかる。すなわち，レー表 4 各モデルの Accuracy と F score

表 5 BERT の Confusion Matrix レーティング予測クラス

表 6 RoBERTa の Confusion Matrix レーティング予測クラス

ティング予測の傾向自体の学習はある程度できてい ると考える。

## 5 おわりに

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文に対しレーティングがど の程度正確に予測できるかを調査した. BERT と RoBERTa に対し合計 360 通りのハイパーパラメー タの組み合わせでグリッドサーチを行った.グリッ ドサーチを行った結果，BERT のハイパーパラメー 夕は，最適化アルゴリズムが RMSProp，学習率が 1e-05, バッチサイズが 8, エポック数が 2 で決定 し， RoBERTaのハイパーパラメータは，最適化アル ゴリズムが RMSProp，学習率が 5e-06，バッチサイ ズが 16 , エポック数が 3 で決定した. これらの八イ パーパラメータでレーティング予測を行った結果， BERT では Accuracy が 0.5624 , F score が 0.5612 に 対し, RoBERTa では Accuracy が 0.5956, F score が 0.5893 となり，RoBERTa の方がより精度がよいこと がわかった. 精度は Liu の英語レビューに関する先行研究の 0.6-0.7 より低かったが，レーティング予測が人手評価からそれほどかけ離れていないことか

ら，レーティング予測の傾向自体の学習はある程度

できていると考える.

次のステップとして, amazon の日本語レビュー コーパスで学習した BERT と RoBERTaを用い，ツ イートデータのレーティング予測を行う予定で ある.

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたも のです.

## 参考文献

[1] Zefang Liu. Yelp review rating prediction: Machine learning and deep learning models. arXiv, 2020. https: //arxiv.org/abs/2012.06690.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018. http: //arxiv.org/abs/1810.04805.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, 2019. http: //arxiv.org/abs/1907.11692.

[4] 東北大学乾・鈴木研究室 bert モデル. cltohoku/bert-base-japanese-v2. https://huggingface. $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.

[5] RoBERTa モデル. papluca/xlm-roberta-base-languagedetection. https://huggingface.co/papluca/ xlm-roberta-base-language-detection.

[6] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.


# 属性に対する極性判定を対象とした領域適応

LU Binghan 白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110196,kshirai\}@jaist.ac.jp

## 概要

属性に対する極性判定は教師あり機械学習に基づ く手法が主流だが，属性によって有効な素性は異な ると考えられる。本論文では，属性をドメインとみ なし，ある属性に関する(ソースドメインの) ラベル 付きデータから別の属性の (ターゲットドメインの)極性判定のモデルを学習する領域適応の手法を提案する. ターゲットドメインのラベル付きデータを 自動構築するために，ソースドメインのデータから 学習した BERTを用いて自動ラベル付けを行う手法 と, ソースドメインの文に出現する感情語や特徴語 をターゲットドメインのそれに置換する手法を組み 合わせて用いる。

## 1 はじめに

属性に対する感情分析 (極性判定) は，製品などの 評価対象の属性に対して表明された意見が肯定的か 否定的かを判定するタスクである。教師あり機械学習の手法が用いられることが多いが，訓練データと テストデータでドメインが異なると極性判定の性能 が低下する問題が知られている。ドメインとは一般 にテキストのジャンルや媒体を指すが，属性に対す る極性判定では異なる属性に対して同様の問題が 起こりうる．例えば，レストランの属性として「料理」と「価格」があり「「料理」に対するラベル付き データしか存在しないとき, これから学習した分類器を「価格」に対する極性判定に適用しても高い正解率が得られない.

領域適応は，十分なラベル付きデータが存在する ソースドメイン (訓練データのドメイン) から得られ た知識を，ラベル付きデータが全くあるいは少量し か存在しないターゲットドメイン (テストデータの ドメイン)の分類器の学習に転移する技術である。本研究では, ドメインを属性とみなし, ある属性の ラベル付きデータを利用して別の属性の極性を判定
することを目的とする．そのため，ソースドメイン のラベル付きデータから夕ーゲットドメインのラベ ル付きデー夕を自動的に生成する手法を提案する.

## 2 関連研究

感情分析を対象とした領域適応の手法は多くの先行研究がある. Rietzler らは，ソースドメインのラ ベル付きデータでBERT[1]を fine-tuning する前に, ターゲットドメインのラベルなしテキストを用い て BERT の事前学習を再度行うことで領域適応を行 う手法を提案した [2]. 白らは, BERTの最上位層の 埋め込み表現ではなく，一つ下の層の埋め込み表現 をドメインに特化されていない単語の特徴べクト ルとみなし, この平均ベクトルを入力とする 3 層の ニューラルネットワークを学習することで領域適応を行う手法を提案した [3]. Yu らは, Cross-Domain Review Generation(CDRG) という手法を提案した [4]. ソースドメインにおけるラベル付きレビューの属性語・感情語をターゲットドメインのそれに変換 することで，夕ーゲットドメインのラベル付きレ ビュー文を自動生成し，これを BERT の fine-tuning に用いた。

上記の先行研究ではレビューのジャンルをドメイ ンとした領域適応の手法が提案されていたが，本研究では属性をドメインとした領域適応を扱う。

## 3 提案手法

## 3.1 概要

提案手法の概要を図 1 に示す.ラベル付きデー夕 が存在する属性をソースドメイン, 存在しない属性 をターゲットドメインとする。図中の (S),(T) はそ れぞれソースドメイン，夕ーゲットドメインのデー 夕を表す。

ターゲットドメインのラベル付きデータを $2 \supset$ の手法で自動生成する。ひとつは自動ラベル付け

図 1 提案手法の概要

による手法 (図 1 (A))である。詳細は 3.2 項で述べ る。もうひとつは, $\mathrm{CDRG}[4]$ を拡張し，ソースド メインのレビュー文から新たにターゲットドメイ ンのラベル付きデー夕を自動生成する手法 (図 1 (B)) である. 本研究ではこれを Cross-Aspect Review Generation (CARG) と呼び，その詳細を 3.3 項で述べ る. 最後にターゲットドメインの極性判定モデルを 学習する。詳細は 3.4 項で述べる.

## 3.2 自動ラベル付けによる訓練データ構築

ソースドメインの訓練データから事前学習済み の BERT を fine-tuning し, 極性判定の分類器 (図 1 の $\operatorname{BERT}(\mathrm{S})$ )を得る。次に，これを用いてターゲットド メインの文の極性を判定し，ラベルを付与する。こ の際, 極性の予測確率が $T_{p}$ 以下のレビュー文は除外する。

## 3.3 Cross-Aspect Review Generation

## 3.3.1 感情語と特徵語の抽出

ソースドメインとターゲットドメインのそれぞれ について，そのドメイン (属性) のレビューで使われ る感情語を抽出する。感情語とは “excellent”, “bad” など書き手の感情や評価を表す単語である. 感情語 の抽出には SentiWordNet[5] を用いる. SentiWordNet は，単語のそれぞれの語義について，肯定のスコア と否定のスコア (ともに 0 1 の値) が付与されてい る. また, 語義は出現頻度の順にランク付けされて いる。単語 $w$ の感情語スコア $S S(w)$ を式 (1) のよう に定義する。

$
S S(w)=\sum_{i=1}^{n} \frac{1}{n} \cdot|\operatorname{pos}(w, i)-n e g(w, i)|
$

$i$ は語義の出現頻度のランク, $\operatorname{pos}(w, i)$ と $n e g(w, i)$ はそれぞれ単語 $w$ の $i$ 番目の語義の肯定と否定のス
コア, $n$ は単語 $w$ の語義の総数を表す. $S S(w)$ が閾値 $T_{s}$ 以上の単語をドメイン固有の感情語として抽出する.

次に，特定のドメインだけによく使われる単語 を「特徵語」と定義し，これを抽出する，例えばド メイン (属性)が food のときには “dinner” や“dessert” などが， serviceのときは “staff” ゃ “waiter”などがそ のドメインの特徴語となる。いま，いくつかの属性 について，その属性について言及されたレビュー集合があると仮定する，各属性のレビュー集合を仮想的にひとつの文書とみなし, 属性 $a$ における単語 $w$ の TF-IDF を計算する．あるドメイン $a$ のレビュー 集合のみに出現し, かつ TF-IDF の上位 $T_{d}$ 件の単語 をドメインの特徴語として抽出する。

## 3.3.2 レビュー文の生成

ソースドメインのラベル付きデータにおける感情語もしくは特徵語をターゲットドメインの感情語 もしくは特徵語に置き換えることにより，ターゲッ トドメインのラベル付き文を新たに生成する．単語の置き換えには BERT の Masked Language Model (MLM) を利用する。あらかじめ, 事前学習済みの BERT の MLM を初期のパラメ夕とし，大量のラべ ルなしレビュー文の集合を用いて MLM を再学習 する。

レビュー文生成の手続きを以下に示す.

1. ラベル付きのソースドメインの文について，そ の中にソースドメインの感情語と特徴語が出現 していれば，それを [MASK]に置換する。

2. [MASK] に対して左から順に以下の処理を実行 する。

(a) MLM によって [MASK] によって埋めるべ き単語を予測する。元の単語が感情語な らターゲットドメインの感情語, 特徴語 ならターゲットドメインの特徴語のうち， MLM による予測確率が大きい $T_{k}$ 個の単語 を得る。 [MASK] をその単語に置換し， $T_{k}$個の新しい文を得る。

(b) 文の数が組み合わせ的に増大することを避 けるため，2 個目以降の [MASK] を置換す るときは， $T_{k} \times T_{k}$ 個の文のうちスコア ${ }^{1)}$ が 高い $T_{k}$ 個の文を選択し，次の [MASK] の 処理に移る。この処理は最後の [MASK] の

1）文のスコアは，複数箇所の [MASK] を置換した単語の MLM による予測確率の和とする。

ときには行わず, 最終的に最大で $T_{k} \times T_{k}$ 個 の文を得る。

上記の文生成手法は CDRG[4] を元にしているが， CDRG では属性語を置換するのに対し, 本研究では 特徴語を置換する点, CDRG では 1 つの文からター ゲットドメインの文を 1 つ生成するのに対し本研究 では最大で $T_{k} \times T_{k}$ 個の文を生成する点が異なる.

## 3.3.3 生成文のフィルタリング

生成された文の自然さを擬似対数尤度スコ ア PLL(pseudo-log-likelihood score)[6] によって測る. PLL は, 文中の各単語 $w_{t}$ を BERT の MLM で予測 した確率の対数尤度の和である。

$
\log P_{M L M}(W)=\sum_{t=1}^{|W|} \log P_{M L M}\left(w_{t} \mid W_{\backslash t}\right)
$

自動生成されたレビュー文のうち, $\log P_{M L M}(W)$ が 閾値 $T_{f}$ より小さい文を削除する.

## 3.4 極性判定モデルの学習

3.2 項と 3.3 項で生成したラベル付きレビューを用 いて BERT を fine-tuning し， ターゲットドメインの 極性判定モデル (図 1 の BERT(T))を得る.

後述する実験で用いるデータセットには，極性ラ ベルの分布に偏りが見られる。この問題に対処する ため, 本研究では Focal Loss[7] を損失関数として使用する。二値分類のときの Focal Loss の定義を式 (3) に示す.

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \cdot \log \left(p_{t}\right)
$

ここで $\gamma$ はハイパーパラメタである. データセット の中で小さな割合しか占めないデータのクラスは, その予測確率 $p_{t}$ は小さくなる傾向がある。通常の cross entropy の式に $\left(1-p_{t}\right)^{\gamma}$ を加えることにより，少数の極性クラスについては損失が大きく見積もら れ，その分類エラーが大きく評価される。

## 4 評価実験

## 4.1 実験設定

評価実験には 2 つのデータセットを使用する。 ひとつは SemEval-2014 Task 4 Aspect Based Sentiment Analysis のレストランのデータセット [8] である. レストランに関するレビュー文に対し, 属性の カテゴリとそれに対する極性クラスが付与され ている。属性は “service", "food”, "price”, “ambience”, “anecdotes” の 5 つであり, 本実験ではこれをド メインとする。極性クラスは “positive”, “negative”, "conflict", "neutral" の4つである. データセットの詳細を表 1 に示す. positiveのレビューが多く, conflict や neutral (ただし “anecdotes”を除く) は少ない.

表 1 レストラン・データセットの詳細

もう一つは Laptop ACOS(Aspect-Category-OpinionSentiment) のデータセット [9] である. Amazon に投稿されたラップトップパソコンに関するレビューに 対し, 評価対象の属性と極性が付与されている。極性カテゴリは “postive”, "negative”, "neutral” の 3 つで ある. 本実験では，付与されている属性を “general”, “design”, "performance", “quality” の 4 つに人手で分類 し，これを属性のドメインとみなした。データセッ トの詳細を表 2 に示す。このデータも neutral のレ ビューが極端に少ないという極性クラスの偏りが見 られる。

表 2 ラップトップ・データセットの詳細

全ての属性の組について，一方をソースドメイ ン，もう一方をターゲットドメインとして，後者の データセットに対する極性判定の正解率を測る．以下の 5 つの手法を比較する。

ベースライン 1 (BL1) ソースドメインのラベル付 きデータを用いて BERTを fine-tuning する手法. 領域適用をしない手法である.

ベースライン 1 (BL2) 3.2 項で述べた手法で得られ たターゲットドメインの擬似ラベルを用いて BERT を fine-tuning する手法.

CARG1 BL2 の擬似ラベル文と CARGによって生成されたレビュー文を訓練データとして BERT を fine-tuningする手法.

CARG2 CARG1 に加え, 3.3.3で述べた生成文の フィリタリングを行う手法。

CARG3 CARG2に加え， 3.4 で述べた Focal Loss を 使って BERT を fine-tuning する手法.
表 3 レストラン・データセットにおける極性判定の正解率

S: service, F: food, P: price, Am: ambience, An: anecdotes.

*,+は，それぞれ BL1, BL2 と比べて，マクネマー検定によって $p<0.05$ で有意差があることを表す.

表 4 ラップトップ・データセットにおける極性判定の正解率

G: general, Q: quality, P: performance, D: design *,+は表 3 と同じ.

レストラン・データセットについては，CARGを 用いる際, BERT の MLM を再学習するために 3 万件の Yelp のレストランレビュー[10]を使用した。 ラップトップ・データセットについては事前学習済 みの BERT の MLMをそのまま用いた。実験パラメ 夕の詳細を付録 A に示す。

## 4.2 実験結果と考察

レストラン・データセットの実験結果を表 3 に 示す.太字はそれぞれのドメインの組において正解率が最も高いことを表す。ベースライン手法 (BL1,BL2) と提案手法 (CARG1 3) を比較すると, 20 のドメインの組のうち 17 組について, 提案手法の 方が優れている。このことから，夕ーゲットドメイ ンのラベル付きデータを自動生成する CARG の有効性が確認できる. CARG1 と CARG2 を比較すると，全 20 組のうち 12 組について CARG2 の正解率が高 いことから, 自動生成された文のうち生成確率の低 い文をフィルタリングする手法はある程度有効であ ると言える. CARG2 と CARG3を比較すると, 全 20 組のうち 15 組については $\mathrm{CARG} 3$ の正解率が同じも しくは高い. 今回の実験では Focal Loss の導入が効果的であった。

ラップトップ・データセットの実験結果を表 4 に 示す.レストラン・データセットの結果と同様に, ベースラインよりも提案手法の方が優れている。た
だし，統計的に有意差があるドメインの組はレスト ラン・データセットに比べて少ない. レストランの 実験では Yelp のレビューを用いて MLM を再学習し たのに対し，ラップトップでは事前学習した MLM をそのまま用いたことが原因のひとつとして考え られる。また, CARG1 よりも CARG2 の方が正解率 が高い傾向にあることが確認できるが，CARG3 は CARG2 と比べて同等もしくはやや劣る. 2 つ異な るデータセットでおおよそ同様の結果が得られたこ とから, 提案手法がどのようなジャンルのレビュー にも適用できるという意味での汎用性を有すること が示唆される。

CARG による文生成の例を付録 B に示す。

## 5 おわりに

本論文は，属性に対する極性判定において，異な る属性のラベル付きデータを利用して極性判定の 分類器を学習する領域適応の手法を提案した。評価実験では, 全体的には提案手法はべースラインを上回ったが，属性の組によっては極性判定の正解率が 向上しなかった.今後の課題として, この原因を精査し, 任意のドメインの組において自動生成する文 の品質を向上させる手法を探究したい. 例えば, 属性に関連する語として特徴語を抽出しているが，属性の特徴を明示的に示す単語だけでなく暗黙的に示 す語も抽出することを検討する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), pp. 4933-4941, 2020.

[3] 白静, 田中裕隆, 曹類, 馬ブン, 新納浩幸. Bert の下位階層の単語埋め込み表現列を用いた感情分析 の教師なし領域適応. 情報処理学会研究報告, Vol. 2019-NL-240, No. 17, pp. 1-6, 2019.

[4] Jianfei Yu, Chenggong Gong, and Rui Xia. Cross-domain review generation for aspect-based sentiment analysis. In Findings of the Association for Computational Linguistics, pp. 4767-4777, 2021.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. SentiWordNet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), pp. 2200-2204, 2010.

[6] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[7] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. arXiv:1708.02002, 2017.

[8] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. Association for Computational Linguistics, Vol. Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 27-35, 2014.

[9] Hongjie Cai, Rui Xia, and Jianfei Yu. Aspect-categoryopinion-sentiment quadruple extraction with implicit aspects and opinions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 340-350, 2021.

[10] Yelp dataset, (2022 年 12 月閲覧). https://www.yelp. com/dataset.

## A 実験時のパラメタ

実験時に設定したパラメ夕は以下の通りである。
- 自動ラベル付けにおける予測確率の閾値 $T_{p}$ を 0.8(レストラン)または 0.5 (ラップトップ) に設定した。
- 感情語抽出の極性スコアの間値 $T_{s}$ を 0.3 に設定 した。

・特徵語抽出の際の件数 $T_{d}$ を 100 に設定した.
- CARG における文生成数のパラメ夕 $T_{k}$ を 100 に設定した。

・生成文のフィルタリングの閾値 $T_{f}$ を -30 に設定した。

・ Focal Loss のハイパーパラメ夕 $\gamma$ を 2 に設定 した.

## B CARG による文生成の例

CARGによって生成された文の例を表 5 に示す。下線は置換された単語を表す。評価語が“good” や “great”など food の評価に良く使われるものに置換 され，また“service”が “food”に置換されており， ターゲットドメイン (food) のレビューらしい文が生成されている.

表 5 CARGによる生成文の例

 &  \\


# Subspace representation for text classification with limited training data

Erica K. Shimomoto ${ }^{1}$, Edison Marrese-Taylor ${ }^{1}$, Hiroya Takamura ${ }^{1}$ Ichiro Kobayashi $^{1,2}{ }^{1,}$ Yusuke Miyao $^{1,3}$
National Institute of Advanced Industrial Science and Technology ${ }^{1}$
Ochanomizu University $^{2}$, The University of Tokyo ${ }^{3}$
\{kidoshimomoto.e, edison.marrese, takamura.hiroya\}@aist.go.jp
koba@is.ocha.ac.jp, yusuke@is.s.u-tokyo.ac.jp
}

\begin{abstract}
Using large pre-trained language models (PLM), such as BERT, to tackle natural language processing downstream tasks has become a common practice, where it is often necessary to fine-tune the PLM to achieve the best results. However, these PLMs require large training data to fine-tune the desired task properly. To solve this problem, we propose using subspace-based methods to explore the geometrical structure of embeddings extracted from a PLM, effectively performing text classification when limited training data is available. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. While our results are limited to sentiment analysis, they showcase a less data-hungry strategy that could be applied in other limited resource contexts.
\end{abstract
## 1 Introduction

With the development of the transformer architecture [1], it has become a common practice to use pretrained large language models (PLM), such as BERT [2] and GPT3 [3], to tackle downstream tasks in natural language processing.

While there are strategies to use these PLMs without further training, through prompting, and/or training in a parameter-efficient manner by using adapters, fine-tuning these models for the desired task by adding a simple head to the language model is still a standard strategy.

Fine-tuning language models have been shown to lead state-of-the-art results in several downstream tasks in NLP, but struggle to deliver good performance when there is lim- ited training data. Nevertheless, fine-tuning can be tricky as results can highly vary depending on the choice of random seed for hyper-parameter initialization and training data order [4].

In light of this issue, in this paper, we offer a simple alternative to PLM fine-tuning, based on the subspace representation, and demonstrate its effectiveness when there is limited training data in the task of text classification.

Such representation comes from computer vision, based on the empirical evidence that patterns of the same entity (e.g., pictures of the same person) tend to cluster in highdimensional space [5, 6]. Moreover, it has been shown to hold also for traditional word embeddings of texts, being extensively explored in several NLP downstream tasks, such as word compositionality [7], word polysemy [8], text summarization [9], and text classification [10].

In this setting, each text input is represented as a set of embeddings, which are modeled as low-dimensional linear subspaces in a high-dimensional embedding space. When modeled using the principal components analysis (PCA), the subspace compactly represents the distribution of the features in a set based on the directions of the highest variance. This subspace discards irrelevant information, such as noise, while effectively representing variations, making it a powerful tool when there is limited training data.

We extend these studies to showcase the capabilities of the subspace representation when limited training data is available to fine-tune a PLM. We specifically target the task of sentiment analysis, performing tests on the Movie Review and IMDB datasets. We chose these two datasets as they contain samples from the same domain but significantly differ in size. We compared the subspace-based methods' performance to a standard classifier built on top

Figure 1: Process of modeling a text as a subspace. Words from the text are extracted and then translated to word vectors by using a word embedding model. Then, the set of word vectors is modeled as a word subspace by using PCA

of BERT, and our results show that the subspace-based methods using pre-trained BERT embeddings can outperform fine-tuned BERT in a low training data regime.

## 2 Subspace theory overview

In this section, we lay down the foundations of subspace representation and how it is applied to textual data. Then, we discuss the main subspace-based methods used to tackle the text classification task.

## 2.1 Subspace representation for texts

In this formulation, each text is represented by a set of $n$ embedding vectors organized as the columns in an embedding matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of the embedding vectors. This set of vectors is then modeled as a set of basis vectors spanning a linear subspace. To obtain a consistent subspace representation that can be applied to sets of different numbers of embedding vectors, we apply the principal components analysis (PCA) without data-centering.

This representation retains most of the variability of the original embeddings in the set [11,12], and, consequently, can effectively and compactly represent the context of the corresponding text. Each direction given by the basis vectors of this subspace represents the directions with the highest variance of the text embeddings and can be regarded as the main semantic meanings [9].

Figure 1 shows our approach to model a subspace from a text. To model the word subspace for this set of embeddings, we first need to compute the following autocorrelation matrix, $\boldsymbol{R}=\boldsymbol{X} \boldsymbol{X}^{\top}$. The orthonormal basis vectors of the $m$-dimensional subspace $\mathcal{Y}$ are obtained as the eigenvectors with the $m$ largest eigenvalues $\left.\{\lambda_{l}\right.\}_{l=1}^{m}$ of the matrix $\boldsymbol{R}$. The subspace $\mathcal{Y}$ is then represented by the matrix $\boldsymbol{Y} \in \mathbb{R}^{p \times m}$, which has the corresponding orthonormal basis vectors as its column vectors.
For details on choosing the subspace dimension $m$, we refer the readers to the Appendix A. In addition, we will refer to the subspaces by their basis vectors' matrices for simplicity.

## 2.2 Subspace-based methods for text classification

This section discusses the main subspace-based methods used for text classification, specifically for sentiment analysis. We formulate our problem as a single-label classification problem. Given a set of training texts and their respective labels denoted as $\left.\{\left(\boldsymbol{X}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$, where $\boldsymbol{X}_{i} \in \mathbb{R}^{p \times n_{i}}$ are the text's embeddings, $l_{i} \in(1,2)$ is its class label, and $d$ is the number of texts in the dataset; we wish to classify an input text $\boldsymbol{X}_{i n}$ into one of the classes. In the case of sentiment analysis, we consider only two different classes, i.e., positive and negative sentiment.

## 2.2.1 MSM

The application of mutual subspace method (MSM) [13] to text classification comes from the observation that a subspace spanned by important words representing a class, i.e., class subspace, can also be derived from a single text or a combination of all texts in the class. Furthermore, a subspace modeled from a text, i.e., text subspace, that also belongs to this class should be almost the same as the class subspace [10].

Given an input text subspace $\boldsymbol{Y}_{\text {in }} \in \mathbb{R}^{p \times m_{i n}}$ and the $c$-th class subspace $\boldsymbol{Y}_{c} \in \mathbb{R}^{p \times m_{i}}$, we measure their similarity based on their canonical angles [14], computed using the singular value decomposition (SVD) [15].

We first calculate the SVD, $\boldsymbol{Y}_{i n}^{\top} \boldsymbol{Y}_{c}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\top}$, where $\boldsymbol{\Sigma}=$ $\operatorname{diag}\left(\kappa_{1}, \ldots, \kappa_{m_{i n}}\right),\left.\{\kappa_{j}\right.\}_{j=1}^{m_{i n}}$ represents the set of singular values, and $\left(\kappa_{1} \geq \ldots \geq \kappa_{m_{i n}}\right)$. The similarity can then be calculated as $S^{i n, c}(t)=\frac{1}{t} \sum_{j=1}^{t} \kappa_{j}^{2}$, where $1 \leq t \leq m_{i n}$, and is equivalent to taking the average of the squared cosine of $t$ canonical angles. Finally, the input text is assigned to the class with the highest similarity.

## 2.2.2 GSM

The Grassmann Subspace Method (GSM) increases the abstraction level by representing each text subspace $\boldsymbol{Y}$ as a point $\boldsymbol{y}$ on the Grassmann manifold, where each sentiment class can then be modeled by the distribution of the subspaces it contains. Classification is performed by comparing a set of reference points on the Grassmann manifold,

Figure 2: Subspace representation on a Grassmann manifold

modeled as a subspace $\boldsymbol{S}_{c}$, with an input point $\boldsymbol{y}_{i n}$.

The Grassmann manifold $\mathcal{G}(m, p)$ is defined as a set of $m$-dimensional linear subspaces of $\mathbb{R}^{p}[16]$. This manifold can be embedded in a reproducing kernel Hilbert space by using a Grassmann kernel [17]. In this work, we use the projection kernel, $k_{p}\left(\boldsymbol{Y}_{1}, \boldsymbol{Y}_{2}\right)=\frac{1}{m} \sum_{j=1}^{m} \cos ^{2} \theta_{j}$, which is homologous to the subspace similarity.

Then, a text subspace $\boldsymbol{Y}$ can be represented as a point on the Grassmann manifold with regards to a reference subspace dictionary $\left.\{\boldsymbol{Y}_{q}\right.\}_{q=1}^{N}$ as:

$
\begin{aligned}
\boldsymbol{y} & =k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{q}\right) \\
& =\left[k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{1}\right), k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{2}\right), \ldots, k_{p}\left(\boldsymbol{Y}, \boldsymbol{Y}_{N}\right)\right] \in \mathbb{R}^{N}
\end{aligned}
$

Figure 2 shows a conceptual diagram of the subspace representation on a Grassmann manifold. Consider the set of training subspaces $T=\left.\{\left(\boldsymbol{Y}_{i}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to the texts in the training set. We obtain a set of points $\left.\{\left(\boldsymbol{y}, l_{i}\right)\right.\}_{i=1}^{d}$ corresponding to each training text subspace by using equation 1 with respect to $T$. Through the kernel trick using the projection kernel, we now have a set of points on the Grassmann manifold corresponding to each sentiment class. GSM models the sentiment class subspaces $S_{c}$ based on the set of points corresponding to each class.

We measure the similarity between a sentiment class subspace $\boldsymbol{S}_{c}$ and an input point $\boldsymbol{y}_{i n}$ by $S^{i n, c}=\boldsymbol{y}^{\top} \boldsymbol{P}_{c} \boldsymbol{y}$, where $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$ is the projection matrix onto the subspace $S_{c}$.

Although this method is not suitable for tasks with a large number of training samples, due to the kernel matrix calculation, it is very effective to generalize the local distribution of subspaces on the Grassmann manifold when there is limited training data.

## 2.2.3 GOSM

Word embeddings extracted from models trained based on the co-occurrence of words do not necessarily carry sentiment information, i.e., opposite sentiment words might have very close embedding representations because they often occur in the same context. Based on this observation, previous work [10] has shown that using discriminative versions of the subspace-based methods, such as the Grassmann Orthogonal Subspace Method (GOSM), to be effective in solving sentiment analysis.

GOSM applies the whitening process to the sentiment class subspaces $S_{c}$ on the Grassmann manifold, maximizing the distance between them, and alleviating the lack of sentiment information, i.e., it increases the distance between opposite sentiment word embeddings.

First, we need to calculate the whitening matrix $\boldsymbol{O}$. We define their projection matrices as $\boldsymbol{P}_{c}=\boldsymbol{S}_{c} \boldsymbol{S}_{c}^{\top}$, and then calculate the total projection matrix, $\boldsymbol{G}=\sum_{c=1}^{|C|} \boldsymbol{P}_{c}$, where $|C|$ is the number of classes.

The whitening matrix $\boldsymbol{O}$ can be obtained based on the eigenvalues and eigenvectors of the matrix $\boldsymbol{G} \in \mathbb{R}^{v \times p}$ as $\boldsymbol{O}=\mathbf{\Lambda}^{-1 / 2} \boldsymbol{E}^{\top}$, where $v=|C| \times m, \boldsymbol{\Lambda} \in \mathbb{R}^{v \times v}$ is the diagonal matrix with the $j$-th highest eigenvalue of the matrix $G$ as the $j$-th diagonal component, and $\boldsymbol{E} \in \mathbb{R}^{p \times v}$ is a matrix whose $j$-th column vector is the eigenvector of $\boldsymbol{G}$ corresponding to the $j$-th highest eigenvalue.

Classification under this framework is very similar to GSM; however, we compute a whitening transformation matrix during the training stage. In the classification stage, we first apply this whitening transformation to all reference subspaces $\boldsymbol{S}_{c}$ and input point $\boldsymbol{y}_{\text {in }}$ following:

$
\begin{aligned}
S_{c}^{o} & =O S_{c} \\
\boldsymbol{y}_{i n}^{o} & =O \boldsymbol{y}_{i n}
\end{aligned}
$

Then, classification follows as described in GSM.

## 3 Experiments and Results

In this section, we describe the experiments performed to assess the effectiveness of the discussed subspace-based methods in low training data regimes and compare them against a transformer-based language model using full finetuning. More specifically, we compare against BERT [2], using the HuggingFace library [18] implementation and the "bert-base-uncased" pre-trained model.

In our experiments, we used two different datasets:
- Movie review (MR) dataset $\mathbf{\text { 2.0 }}{ }^{1)}$, proposed by [19], containing 2000 reviews extracted from the IMDB website, with 1000 positive sentiment review, and 1000 negative sentiment reviews.
- IMDB dataset ${ }^{2)}$, proposed by [20], containing 50000 reviews also extracted from the IMDB website, where half of the reviews express positive sentiment, and half express negative sentiment.

We specifically chose these two datasets because they contain samples from the same domain but significantly differ in size. For both datasets, we used the standard traintest sets.

Classification using subspaces followed the methods explained in Section 2.2. When using BERT, we added a classification head that consists of a linear layer on top of the pooled output. We will refer to this method as "standard" as this is one of the standard ways to perform classification when using BERT ${ }^{3}$.

While there are several ways to extract embeddings from BERT, in our experiments, we considered the following: Given a text $t$ with $n$ tokens ${ }^{4}$, we extracted $n$ embeddings. For each token, we considered the sum of the token's representation taken from the last four layers in BERT. Therefore, each text can be represented as a matrix $X \in \mathbb{R}^{p \times n}$, where $p$ is the size of BERT's hidden layers (i.e., 768).

We first compared their performances on the larger IMDB dataset. Due to this dataset's size, we did not test the Grassmann variations of the subspace-based methods.

Results are shown in Table 1. When using the pretrained BERT, we can see that although the standard classifier can perform relatively well, MSM could outperform it. However, once we fine-tune BERT, the standard classifier achieves the best performance, although the difference with MSM is smaller than with pre-trained BERT. These results indicate that the subspace-based methods can be helpful when fine-tuning is not feasible.

We then assessed their performance in the smaller MR dataset. Results are shown in Table 2. We can see that without fine-tuning, the standard classifier performs poorly. On the other hand, MSM shows a performance consistent with the IMDB dataset. Furthermore, we can see results further

Table 1: Results on the IMDB dataset, comparing the MSM with standard classifier when using pre-trained BERT and fine-tuned BERT on the IMDB training set

Table 2: Results on the Movie Review dataset, comparing the subspace-based methods with the standard classifier when using pre-trained BERT and fine-tuned BERT on the MR and IMDB training set

improve with GSM and GOSM.

In addition, we can observe that when we fine-tune BERT on the MR dataset, the standard classifier's performance significantly improves; However, we can see it achieves about the same performance as GSM with pretrained BERT embeddings. Fine-tuning BERT on IMDB helps improve its performance on the MR dataset, but it is still far below the performance it achieved for IMDB.

## 4 Conclusions

We presented a subspace-based alternative for finetuning large transformer language models when there is limited training data for text classification. When modeled using PCA, the subspace representation can compactly represent the distribution of the features in a set, making it a powerful tool in low training data regimes. Our results on the IMDB and Movie Review datasets show that using the appropriate subspace-based method with pre-trained BERT embeddings can outperform fine-tuned BERT when limited training data is available. Although limited, our results show that subspace-based methods can offer an effective alternative for fine-tuning in text classification.

## Acknowledgments

This paper is based on results obtained from the project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998-6008, 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877-1901, 2020.

[4] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020.

[5] Satosi Watanabe and Nikhil Pakvasa. Subspace method of pattern recognition. In Proc. 1st. IJCPR, pages 25-32, 1973.

[6] Taizo Iijima, Hiroshi Genchi, and Ken-ichi Mori. A theory of character recognition by pattern matching method. In Learning systems and intelligent robots, pages 437-450. Springer, 1974.

[7] Hongyu Gong, Suma Bhat, and Pramod Viswanath. Geometry of compositionality. In Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[8] Jiaqi Mu, Suma Pallathadka Bhat, and Pramod Viswanath. Geometry of polysemy. In 5th International Conference on Learning Representations, ICLR 2017, 2019.

[9] Hongyu Gong, Tarek Sakakini, Suma Bhat, and JinJun Xiong. Document similarity for texts of varying lengths via hidden topics. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2341-2351, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Erica K Shimomoto, François Portet, and Kazuhiro Fukui. Text classification based on the word subspace representation. Pattern Analysis and Applications, 24(3):1075-1093, 2021.

[11] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Represent- ing sentences as low-rank subspaces. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 629-634, 2017.

[12] Erica K Shimomoto, Lincon S Souza, Bernardo B Gatto, and Kazuhiro Fukui. Text classification based on word subspace with term-frequency. In 2018 International Joint Conference on Neural Networks (IJCNN), pages 1-8. IEEE, 2018.

[13] Kazuhiro Fukui and Atsuto Maki. Difference subspace and its generalization for subspace-based methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(11):2164-2177, 2015.

[14] Françoise Chatelin. Eigenvalues of Matrices: Revised Edition. SIAM, 2012.

[15] Kazuhiro Fukui and Osamu Yamaguchi. Face recognition using multi-viewpoint patterns for robot vision. Robotics Research, The Eleventh International Symposium, ISRR, pages 192-201, 2005.

[16] Yasuko Chikuse. Statistics on special manifolds. Springer, Lecture. Notes in Statistics, 174, 2013.

[17] Jihun Hamm and Daniel D Lee. Grassmann discriminant analysis: a unifying view on subspace-based learning. In Proceedings of the 25th international conference on Machine learning, pages 376-383. ACM, 2008.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pages 38-45, 2020.

[19] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. In Proceedings of the 42nd annual meeting on Association for Computational Linguistics, page 271. Association for Computational Linguistics, 2004.

[20] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pages 142-150, 2011.

## A Subspace dimension

In general, the dimension $m$ of each subspace is empirically determined. For sentences, about four dimensions should suffice to retain most of the sentence embeddings' variance [11]. However, for texts or sets of texts, more dimensions will likely be necessary. The amount of variance retained by the basis vectors of the subspace can be determined by using the cumulative contribution rate $\mu(m)$. Considering that we want to keep a minimum of $\mu_{\text {min }}$ of the text variance, we can determine $m$ by ensuring that $\mu(m)_{d} \geq \mu_{\text {min }}$, where:

$
\mu(m)_{d}=\frac{\sum_{l=1}^{m}\left(\lambda_{l}\right)}{\sum_{l=1}^{p}\left(\lambda_{l}\right)} .
$