# Improving Peer-Review Score Prediction with Semi-Supervised Learning and Denoising Networks

Panitan Muangkammuen ${ }^{1}$, Fumiyo Fukumoto ${ }^{2}$, Jiyi $\mathrm{Li}^{2}$, and Yoshimi Suzuki ${ }^{2}$
${ }^{1}$ Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences
${ }^{2}$ Interdisciplinary Graduate School
University of Yamanashi
\{g21dts04, fukumoto, jyli,ysuzuki\}@yamanashi.ac.jp
}

\begin{abstract}
Peer review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of academic peer review processes. However, the limited availability of labeled peer review data can pose a challenge for traditional supervised learning approaches. In this paper, we present a novel semi-supervised learning (SSL) method for PASP that leverages contextual features from unlabeled data to improve performance. Our approach incorporates the Long-Short Transformer (Transformer-LS), a transformer for long sequences with linear complexity, into the $\Gamma$-model, a variant of the Ladder network that utilizes a denoising autoencoder to reconstruct the input data from a corrupted version. By minimizing the reconstruction error of the auxiliary unlabeled data, it can help in training the classifier. We empirically demonstrate the superior performance of our system compared to the supervised and naive semi-supervised learning baselines on the PeerRead benchmark.
\end{abstract
## 1 Introduction

The increasing number of submissions to AI-related international conferences and journals has made the review process more challenging. Automatic peer-review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of the review process by providing reviewers and authors with a numeric score for different qualities of a paper, such as clarity and originality. The PeerRead dataset [1] is the first publicly available collection of scientific peer reviews for research purposes and has been used in a variety of applications, including paper acceptance classification $[2,3,4]$, review aspect score pre- diction [5, 6], citation recommendation [7], and citation count prediction [8].

Previous work on PASP has heavily relied on supervised learning techniques $[1,5]$. However, the available annotated datasets for this task are very restricted, which limits the overall performance of PASP models. To address this issue and improve PASP performance, we propose a semi-supervised learning (SSL) method that leverages contextual features from a larger, unlabeled dataset. Semisupervised learning has been widely used in various natural language processing (NLP) tasks, including classification $[9,10]$, sequence labeling [11, 12], and parsing [13, 14]. It has been shown to be effective in model learning by leveraging a large amount of unlabeled data to compensate for the lack of labeled data. Semi-supervised learning is particularly useful for PASP, as a vast number of scholarly papers are available online and can be easily obtained as unlabeled data.

Recently, transformers [15] have achieved state-of-theart results in a wide range of NLP tasks. However, transformer-based models are unable to process long sequences, such as academic papers, due to their selfattention operation, which scales quadratically with the sequence length. In this paper, we propose a semi-supervised learning technique for PASP that is capable of handling long sequences. Our approach is based on the combination of ladder networks (LNs) [16, 17] and the Long-short transformer (Transformer-LS) [18]. Ladder networks are a type of deep denoising autoencoder that incorporates skip connections and reconstruction targets at intermediate layers, while Transformer-LS is a transformer with a self-attention mechanism that is efficient for modeling long sequences with linear complexity. We propose the $\Gamma$ -

Figure $1 \Gamma$-TLS architecture. The corrupted path shown on the left-hand side shares the Transformer-LS's weights and mapping $f$ with the clean path on the right-hand side.

Transformer-LS ( $\Gamma$-TLS), which integrates a TransformerLS into the $\Gamma$-model [16], a variant of ladder networks. The unsupervised component of $\Gamma$-TLS utilizes a denoising autoencoder to help focus on relevant features derived from supervised learning.

To the best of our knowledge, our work is one of the first applications of SSL to the PASP task. Specifically, our contributions are as follows:

1. We propose $\Gamma$-TLS for PASP that incorporates a Transformer-LS into SSL by training the model using labeled and unlabeled data simultaneously.

2. The experimental results show that $\Gamma$-TLS outperforms the supervised learning baselines and naive SSL methods on the PeerRead benchmark.

## $2 \Gamma$-Transformer-LS ( $\Gamma$-TLS)

To overcome the limitation of the vanilla transformer [15] for long sequences, we adopt the Transformer-LS as the encoder of our framework. Transformer-LS is more memory and computationally efficient than the previous larger models, Longformer [19] and Transformer-XL [20]. For the SSL technique, we choose a denoising network called the $\Gamma$-model [16], which is a variant of ladder networks (LNs). The $\Gamma$-model eliminates most of the decoder, retaining only the top layer, which allows it to be easily integrated into any network without implementing a separate decoder. The encoder in the $\Gamma$-model still includes both the clean and corrupted paths, as in the full ladder network (LN).

Table 1 Statistics of the ACL Dataset.

Figure 1 illustrates the $\Gamma$-Transformer-LS ( $\Gamma$-TLS). Let $\mathbf{x}$ be the input and $y$ be the output with targets $t$. The supervised data of size $N$ consists of pairs $\{\mathbf{x}(n), t(n)\}$, where $1 \leq n \leq N$. The unsupervised data of size $M$ has only input $\mathbf{x}$ without the targets $t$, an $\mathbf{x}(n)$, where $N+1 \leq$ $n \leq N+M$. The network comprises two forward passes, the clean path, and the corrupted path. The clean path, illustrated on the right-hand side in Figure 1, produces clean representation $\mathbf{z}$ and clean output $\mathbf{y}$, given by:

$
\begin{aligned}
& \mathbf{z}=f(\mathbf{h})=N_{B}(\mathbf{W h}) \\
& \mathbf{y}=\phi(\gamma(\mathbf{z}+\beta)) \\
& \mathbf{h}=T L S(\mathbf{x})
\end{aligned}
$

where $\mathbf{h}$ denotes the hidden representation obtained from Transformer-LS $(T L S), \mathbf{W}$ is the weight matrix of the linear transformation $f$, and $N_{B}$ indicates a batch normalization. $\phi$ refers to an activation function, where $\beta$ and $\gamma$ are trainable scaling and bias parameters, respectively.

The corrupted representation $\tilde{\mathbf{z}}$ and corrupted output $\tilde{\mathbf{y}}$ are produced by adding Gaussian noise $\mathbf{n}$ in the corrupted path (left-hand side of Figure 1). The noise $\mathbf{n}$ is applied to the output of each layer of the Transformer-LS $(T L S)$ :

$
\begin{aligned}
& \tilde{\mathbf{z}}=f(\tilde{\mathbf{h}})+\mathbf{n} \\
& \tilde{\mathbf{y}}=\phi(\gamma(\tilde{\mathbf{z}}+\beta)) \\
& \tilde{\mathbf{h}}=T L S(x)+\mathbf{n} .
\end{aligned}
$

The supervised cost $C_{s}$ is the average negative $\log$ probability of the corrupted output $\tilde{\mathbf{y}}$ matching the target $t_{n}$ given the input $\mathbf{x}_{n}$ :

$
C_{s}=-\frac{1}{N} \sum_{n=1}^{N} \log P\left(\tilde{\mathbf{y}}=t_{n} \mid \mathbf{x}_{n}\right)
$

Given the corrupted $\tilde{\mathbf{z}}$ and prior information $\tilde{\mathbf{y}}$, the denoising function $g$ reconstructs the denoised $\hat{\mathbf{z}}$ :

Table 2 Experimental results. The best result is in bold, and the $2 \mathrm{nd}$ best is underlined.

$
\begin{aligned}
\hat{\mathbf{z}} & =g(\tilde{\mathbf{z}}, \mathbf{u}) \\
\mathbf{u} & =N_{B}(\tilde{\mathbf{y}}),
\end{aligned}
$

where $g$ is identical to the one of the $\mathrm{LN}$ [16] consisting of its own learnable parameters. The unsupervised denoising cost function is given by:

$
C_{d}=\frac{1}{N+M} \sum_{n=1}^{N+M} \frac{\lambda}{d}\left.\|\mathbf{z}_{n}-N_{B}\left(\hat{\mathbf{z}}_{n}\right)\right.\|
$

where $\lambda$ is a coefficient for unsupervised cost, and $d$ refers to the width of the output layer. The final cost $C$ is given by:

$
C=C_{s}+C_{d}
$

## 3 Experiments

## 3.1 Setup

Data The ACL 2017 dataset, included in PeerRead [1], is used as evaluation data for our PASP system. The ACL dataset consists of 7 different aspects of scores as listed in Table 1. These aspect scores were derived from a mean of multiple reviews and classified into two categories: positive (scores of 4 or higher) and negative (scores lower than 4). Although the PeerRead dataset contains both paper and review texts, we only used the papers to predict the aspect scores. We utilized the first 8,192 tokens of the paper as the input. We used SciVocab [21] WordPiece vocabulary for tokenization. For the unlabeled data, we used the ACL papers from ScisummNet Corpus ${ }^{1)}$ [22], which provides 999 papers in the ACL anthology.

To evaluate all systems, we employed a 5-fold crossvalidation strategy, in which the final result was calculated as the average of the five folds. As the evaluation metrics, we utilized both accuracy and Macro F1 score. This allows us to comprehensively assess the performance of our systems in terms of both the proportion of correct predictions and the balance between precision and recall.

Baseline models The competitor algorithms that are used as baselines for our model are the following:
- CNN - We implemented a CNN model similar to one in PeerRead [1]. The outputs from the CNN model are passed through a max pooling layer and finally through the final linear layer.
- VAT [9] - An SSL method that exploits information from unlabeled data by applying perturbations to the word embeddings in a neural network. The model utilizes LSTM to learn from sequential inputs.
- HAN [23] - A hierarchical attention network for document classification. The model consists of two levels of attention mechanisms at the word and sentence levels to construct the document representation.
- Multi-task [5] - A multi-task approach that automatically selects shared network structures and other review aspects as auxiliary resources. The model is based on the CNN text classification model.
- Transformer-LS [18] - A transformer for modeling long sequences with linear complexity. We used the

Figure 2 Accuracy against the number of labeled data on Overall recommendation score prediction. The number of unlabeled data is fixed to 999 for $\Gamma$-TLS.

output of the last layer of the [CLS] token as the document representation for the classifier.

The implementation details are shown in Appendix A Implementation details.

## 3.2 Results

The results are listed in Table 2. Our model, $\Gamma$-TLS, demonstrated superior performance in several aspects compared to the baseline models. When evaluated using the accuracy metric, $\Gamma$-TLS outperformed the baseline models on four aspects: Clarity, Soundness Correctness, Substance, and Overall Recommendation. Additionally, $\Gamma$-TLS outperformed the baseline models when evaluated using the Macro F1 score metric on two aspects: Subtance and Overall Recommendation. Overall, $\Gamma$-TLS performed the best out of all the models across an average of seven aspects on both metrics.

Additionally, we observe that the Transformer-LS outperforms the CNN by almost $5 \%$ in accuracy and $10 \%$ in Macro F1 score, which shows that the attention mechanism is relatively more effective for modeling the documents. By applying a hierarchical structure, SSL, or multi-task learning technique, the performance is also further improved.

## 3.3 Ablation study

In comparison to the Transformer-LS model, the incorporating of a denoising network (ladder network) into Transformer-LS resulted in improved performance in almost every aspect, except for Impact on the accuracy and Impact and Meaningful Comparison on Macro F1 score. On average, $\Gamma$-TLS outperformed Transformer-

Figure 3 Accuracy against the number of unlabeled data on Overall recommendation score prediction.

LS by $2.3 \%$ in accuracy and $3.4 \%$ in terms of Macro F1 score metric. This indicates that our assumption, leveraging contextual features from unlabeled data, helps to improve performance.

We also investigated how the number of labeled data used for training affects the overall performance. As shown in Figure 2, increasing the number of labeled data tends to improve the performance of both $\Gamma$-TLS and TransformerLS, with the exception of a labeled data count of 50, where the results were not significantly different. Overall, $\Gamma$-TLS consistently outperformed Transformer-LS, which shows that our proposed SSL method is stably effective on small training data. In addition, the effect of the number of unlabeled data on model performance was examined, as shown in Figure 3. The results indicate that $\Gamma$-TLS's performance improved when the number of unlabeled data was increased from 100 to 400 , but saw no further improvement beyond that point. Our model, $\Gamma$-TLS, still outperforms the Transformer-LS by using only 100 unlabeled data.

## 4 Conclusion

In this paper, we focused on the task of automated peer review aspect score prediction (PASP) and proposed a novel method called $\Gamma$-TLS. The method integrates the Transformer-LS model with the denoising network, the $\Gamma$-model of ladder networks. Our experimental results showed that $\Gamma$-TLS outperformed the baseline models on average accuracy and F1 score. In future research, we plan to investigate ways to leverage related information between aspects for our model, as well as to generate more knowledgeable and explainable review comments.

## Acknowledgement

This work was supported by JKA and JST SPRING, Grant Number JPMJSP2133.

## References

[1] Dongyeop Kang, Waleed Ammar, Bhavana Dalvi, Madeleine van Zuylen, Sebastian Kohlmeier, Eduard Hovy, and Roy Schwartz. A dataset of peer reviews (PeerRead): Collection, insights and NLP applications. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1647-1661, 2018.

[2] Tirthankar Ghosal, Rajeev Verma, Asif Ekbal, and Pushpak Bhattacharyya. DeepSentiPeer: Harnessing sentiment in review texts to recommend peer review decisions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1120-1130, 2019.

[3] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. $158-167,2020$.

[4] Panagiotis Fytas, Georgios Rizos, and Lucia Specia. What makes a scientific paper be accepted for publication? In Proceedings of the First Workshop on Causal Inference and NLP, pp. 44-60, 2021.

[5] Jiyi Li, Ayaka Sato, Kazuya Shimura, and Fumiyo Fukumoto. Multi-task peer-review score prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 121-126, 2020

[6] Qingyun Wang, Qi Zeng, Lifu Huang, Kevin Knight, Heng Ji, and Nazneen Fatema Rajani. ReviewRobot: Explainable paper review generation based on knowledge synthesis. In Proceedings of the 13th International Conference on Natural Language Generation, pp. 384-397, 2020.

[7] Chanwoo Jeong, Sion Jang, Hyuna Shin, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks, 2019.

[8] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 148-157, 2020

[9] Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification, 2016.

[10] Changchun Li, Ximing Li, and Jihong Ouyang. Semi-supervised text classification with balanced deep representation distributions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5044-5053, 2021.

[11] Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. Robust multilingual part-of-speech tagging via adversarial training. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 976-986, 2018.

[12] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. SeqVAT: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8801-8811, 2020.
[13] Xiao Zhang and Dan Goldwasser. Semi-supervised parsing with a variational autoencoding parser. In Proceedings of the 16th International Conference on Parsing Technologies and the IWPT 2020 Shared Task on Parsing into Enhanced Universal Dependencies, pp. 40-47, 2020.

[14] Kyungtae Lim, Jay Yoon Lee, Jaime G. Carbonell, and Thierry Poibeau. Semi-supervised learning on meta structure: Multi-task tagging and parsing in low-resource scenarios. In The ThirtyFourth AAAI Conference on Artificial Intelligence, AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI, pp. 8344-8351. AAAI Press, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[16] Antti Rasmus, Harri Valpola, Mikko Honkala, Mathias Berglund, and Tapani Raiko. Semi-supervised learning with ladder networks, 2015.

[17] Harri Valpola. From neural pca to deep unsupervised learning, 2014.

[18] Chen Zhu, Wei Ping, Chaowei Xiao, Mohammad Shoeybi, Tom Goldstein, Anima Anandkumar, and Bryan Catanzaro. Long-short transformer: Efficient transformers for language and vision, 2021.

[19] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[20] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-XL: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, 2019.

[21] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[22] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R. Fabbri, Irene Li, Dan Friedman, and Dragomir R. Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks, 2019.

[23] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489, 2016.

## A Implementation details

## A. 1 CNN

We used a simple MLP with a single hidden layer of 128 neurons with the max pooling of a single 1D-CNN layer of 128 filters and window width 5 . We used a random initialization for the word embeddings size of 128 and trained it with the model. We trained the model using AdamW optimizer on a linear scheduler, a learning rate of 1e-4 with a batch size of 8 .

## A. 2 HAN

We set the max sentence length to 100 tokens and the max number of sentences to 600 . We used a bidirectional single-layer GRU size of 100 with an attention mechanism to aggregate the representation on both word and sentence levels. we also used a random initialization for the word embeddings size of 300. The model was trained on AdamW optimizer, learning rate of $5 \mathrm{e}-5$, and batch size of 8 .

## A. 3 VAT

## A.3.1 Recurrent LM Pre-training

We used a unidirectional single-layer LSTM with 128 hidden units. The dimension of word embedding was 128 . For the optimization, we used the Adam optimizer with a batch size of 32, an initial learning rate of 0.001 , and a 0.9999 learning rate decay factor. We trained for 50 epochs. We applied gradient clipping with norm set to 5.0. We used dropout on the word embedding layer and an output layer with a 0.5 dropout rate.

## A.3.2 Model Training

We added a hidden layer between the softmax layer for the target and the final output of the LSTM. The dimension is set to 30. For optimization, we also used the Adam optimizer, with a 0.001 initial learning rate and 0.9998 exponential decay. Batch sizes are set to 32 and 96 for calculating the loss of virtual adversarial training. We trained for 30 epochs. applied gradient clipping with the norm as 5.0 .

## A. 4 Multi-task

We modified the model from performing a regression task to a classification task by changing the output layer. We used CNN with 64 filters and filter width of 2 . We used fastText as initial word embeddings. The hidden dimension was 1024. We trained the model using Adam optimizer with learning rate 0.001 and batch size of 8 . We trained all of the candidate multi-task models for two auxiliary tasks to find the best one.

## A. 5 Transformer-LS

We used two layers of transformer-ls size 256 with 4 attention heads. The local window attention was set to 128. A [CLS] token was used as a global token. We used dropout and attention dropout of 0.1 . We trained the model using AdamW optimizer on a linear scheduler with batch size 8 . We tuned the learning rate in the range of $\{1 \mathrm{e}-2$, $1 \mathrm{e}-3,1 \mathrm{e}-4\}$

## A. 6 Г-TLS

We used the same architecture as the Transformer-LS (A.5). The denoising cost multipliers $\lambda$ is set to 1 . We tuned the std of the Gaussian corruption noise in the range of $\{0.1,0.2,0.3\}$. We also tuned the learning rate in the range of $\{1 e-2,1 e-3,1 e-4\}$. Batch size is set to 8 for both labeled and unlabeled data, 16 in total.


# 論文の階層構造を活用した被引用数予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

日々，大量に発表される論文の中から，重要な論文を自動推薦するため, 論文の将来的な被引用数を 予測する技術の重要性は増している. 被引用数の予測性能の向上に, 論文本文の活用は重要な要素だと 考えられるが，論文本文は一般に記述量の多さから 扱いが難しく, 先行研究においても活用法は十分に 探索されていない. そこで, 本研究では, 被引用数予測において，本文を有効に活用することを目指 し, 論文の階層構造を活用した新たな被引用数予測手法を提案する. さらに, 既存手法を含めた, 複数 の手法との広範囲な比較実験を行い，被引用数予測 における提案手法の有効性を示す.

## 1 はじめに

近年，人工知能分野など様々な分野において論文 の発表数が急激に増加している. これに伴い，重要 な論文を推薦するため，論文の質を予測する技術 の重要性が高まっている. そのため, 本研究では,論文の質を近似する指標として被引用数を採用し $[1,2]$, 論文の将来的な被引用数を予測するタスクに 取り組む。

被引用数を予測する上で，論文本文の活用は重要 な要素であると考えられる. しかしながら, 既存の 被引用数予測の研究 $[3,4]$ では, 論文のテキスト情報としてアブストラクトを用いることが多く，論文 の本文はほとんど活用されていない，その原因は，本文が非常に長く，扱いが難しいことだと考えられ る. 特に，近年盛んに利用されている BERT [5] な どの Transformer [6] ベースのモデルは, 計算量が入力長の 2 乗に比例するため, 非常に長いトークン列 を入力すると，計算量は極めて大きなものとなる。 この問題を解決するため, Transformer の構造自体を 改善するアプローチ $[7,8]$ や，入力文を分割して扱 うアプローチ $[9,10]$ などが提案されているが，被引用数予測における有効性は不明である.
そこで, 本研究では, 被引用数予測において, 本文を有効に活用することを目指し，論文の階層構造 を活用した新たな被引用数予測手法を提案する.こ の手法では，BERTを用いて論文の各節をエンコー ドし，そのセクション表現を集約することで被引用数の予測を行う。また, arXiv と bioRxiv から収集し た論文を用いて，既存手法を含めた複数手法との広範囲な比較実験を行い，提案手法の有効性を示す.

## 2 関連研究

## 2.1 被引用数予測

被引用数予測の既存手法は、テキスト情報を利用 しない手法と利用する手法に大別することができ る.このうちテキスト情報を利用しない手法として は，論文の引用関係をグラフで表現した引用グラフ を用いる手法 $[11,12,13]$ や，RNN を用いて短い期間の被引用数の推移から長い期間の被引用数を予測 する手法 [14] などが挙げられる.

テキスト情報を利用する手法として初期の 研究で提案された手法には，アブストラクトの Bag-of-Words を利用する手法 [3] や頻度べースの重 み付けを利用する手法 [15], LDA より推定されたト ピックを利用する手法 $[16,17]$ などがある. 近年で は，深層学習を用いて論文のテキストの意味的特徵量を捉える手法も研究されており，タイトルとアブ ストラクトをDoc $2 \mathrm{Vec}$ でエンコードして利用する手法 [4] や，事前学習済みモデルを利用して論文の本文全てを活用する手法 [18] も提案されている.

## 2.2 長い系列を扱う手法

Transformer ベースのモデルは，近年の自然言語処理において盛んに利用される一方で，計算コストが 入力長の 2 乗に比例するという問題点があり, 長い 系列を扱うことは難しい。この問題を解決するため に，大きく 2 つのアプローチで研究が行われてい る. 1 つ目は, Transformer の構造自体を改善し，よ

(a) SChuBERT

(b) Longformer (先頭)

(c) 階層構造(先頭)

(d) 階層構造(分割)

図 1 本研究で比較する本文を活用した被引用数予測手法の概要図

り効率的に長い系列を扱うアプローチ $[7,8,19]$ であ る.これらの手法では，主に Self-Attention を改良す ることで，計算量の改善を目指している．2つ目は，入力する長い系列を分割して処理することで，計算量の増加を抑えるアプローチである。これらの手法 には，分割したテキストをBERT でエンコードし， Attention や RNN など比較的単純な手法で集約する 手法 $[9,18]$ や，BERT でエンコードした表現を更に Transformerに入力する階層的な手法 $[10,20]$ がある.

## 3 本文を活用した被引用数予測手法

## 3.1 既存手法: SChuBERT

論文本文から被引用数を予測する手法として， SChuBERT [18] が挙げられる。この手法では, 図 1 の (a) で示すように本文をオーバーラップさせなが らチャンクに分割し，それぞれを BERT でエンコー ドして，GRU [21]を用いて集約することで，被引用数を予測する. SChuBERT は BERT の fine-tuning を 行わないため，比較的小さな計算コストで，全ての 本文を活用することができる．ただし，本文は固定 の文字数で分割しており，節の途中で分割されるこ ともあるため，その場合は論文の構造を捉えること ができない.

## 3.2 本文の先頭部分を利用する手法

長い系列を扱うモデルである Longformer [8] を用 いて，本文の先頭部分から被引用数の予測を行う手法である Longformer (先頭) の概要を図 1 の (b) に示 す.この手法では，Longformer の最大入力長である 4096 に収まるように，論文本文の後半部分を切り捨 て, 残った前半部分の本文から，被引用数の予測を 行う. 入力テキストが長い場合に，一部を切り捨て る手法は一般的に採用される $[8,22]$ 一方で，本文と
いう非常に長いテキストを扱う場合は，多くのテキ ストが切り捨てられてしまい，論文全体をバランス 良く考慮することができない場合が多い. 例えば，本実験で使用するデータセット (4.2 節を参照) にお いて, Longformer (先頭) では，平均で本文の約 $46 \%$ のテキストが切り捨てて入力される.

## 3.3 階層構造を利用する手法

本研究では，新たに本文の階層構造を活用した 2 つの被引用数予測手法を提案する.これらの手法は どちらも，各節をそれぞれパラメータを共有した BERTを用いてエンコードすることでセクション表現を生成し，各セクション表現をプーリングにより 集約することで，被引用数を予測する．ただし， 2 つの手法は，各節の先頭部分のみを活用するか，各節を分割し，より多くのテキストを活用するかで異 なる．各節の先頭部分を活用する手法である階層構造 (先頭) の概要を, 図 1 の (c) に示す. この手法 では，各節の見出しを 1 文目，内容を 2 文目とし て BERT に入力することで，セクション表現を生成 し，そこから被引用数を予測する. ただし， 2 文目 として入力する内容は，BERT の最大大力長である 512 を超えないように，後半を切り捨てる. この手法は，計算コストの増加を抑えることができる一方 で，入力できる内容は限定的である.

次に，各節を分割して活用する手法である階層構造 (分割) の概要を, 図 1 の (d) に示す. この手法 では，まず各節の内容を 50 トークンずつオーバー ラップさせながらチャンクに分割し $[10,18]$, それ ぞれを BERTを用いてエンコードする。そして，そ れらのチャンク表現を Mean プーリングすること で，セクション表現を生成し，そこから被引用数を 予測する。また，各チャンクをエンコードする際 は，全ての場合で 1 文目に見出し， 2 文目にチャン

クを入力する.これは，2つ目以降のチャンクを入力する際に，チャンクのみを入力すると，BERTが パラメータを共有していることから，どの節のチャ ンクかを BERT が捉えることができないためであ る.この手法は, 階層構造 (先頭) と比べ，より多く の内容を扱うことができる一方で，計算コストは増加する. また, 計算コストの都合上, 各セクション の内容は最大で 8 つのチャンクに分割し, 残りのテ キストは切り捨てる.

これらの 2 つの手法では，各セクション表現を プーリングにより集約することで被引用数を予測す る.プーリング手法としては，単純な Mean に加え， Transformer を用いたより表現力が高い手法を採用す る. Transformerによるプーリングでは, 各セクショ ン表現を系列として 1 層の Transformer に入力し，そ の出力の平均を取ることでべクトルを集約する.

## 4 実験

## 4.1 タスク設定

本研究では，論文の本文から，その論文の発表か ら 1 年後の被引用数を予測するタスクに取り組む. ただし, 被引用数 $c$ に対し, $\log (c+1)$ を予測対象と する [18]. さらに本研究では, 先行研究 [23] で提案 された，現実的な被引用数予測の設定を採用する. これは，学習データとして利用する論文の被引用数 の情報を，評価用論文の発表時点に取得できるもの に限定する設定であり，この設定を採用すること で，より現実に即したモデルの評価が可能となる. この設定では，例えば評価用論文の 6 ヶ月前に発表 された学習用論文は，発表から 6 ヶ月後の被引用数 しか取得できない. すなわち, 発表から 1 年未満の 学習用論文は発表から 1 年後の被引用数が取得でき ないため, 先行研究で提案された手法 [23]を用いて 被引用数を補完し，学習データとして利用する.

## 4.2 データセット

本研究では, 計算言語学分野の論文から CLデー タセット, 生物学分野の論文から Bio データセット を構築し，実験を行う。

CL データセットは, 2014 年 6 月から 2020 年 6 月

構築しており, 被引用数を計算するための引用情報

1) https://arxiv.org/
は Semantic Scholar2) から取得する。論文の本文につ いては，論文の HTML 版3)をパースすることで収集 し，HTML 版の収集とパースができない論文につ いては，データセットから除外する。 また, 先行研究 [23] に倣い, 本研究ではデータセットから 13 個 のサブセットを作成し, 学習と評価を行う. 具体的 には, 2019 年 6 月から 2020 年 6 月のうちのある月 を起点として、そこから過去 5 年間に投稿された論文で起点別に 13 個のサブセットを作成し，それぞ れのサブセットの最新月に投稿された論文を評価用論文，残りの論文を学習用論文とする．これらのサ ブセットのうち，2019年 6 月に発表された論文を評価用論文とするサブセットは, 開発セットとして用 い，残りのサブセットは評価値の算出に用いる. ま た, サブセットの平均学習用論文数は 11383 , 平均評価用論文数は 449 であった.

Bio データセットは, 2015 年 4 月から 2021 年 4 月 の間に bioRxiv4) の 3 つのカテゴリ ${ }^{5}$ に投稿された論文で構築し， bioRxivで公開されている HTML 版を パースすることで本文を収集する。また，CL デー タセットと同様に, Bio データセットから 2020 年 4 月から 2021 年 4 月に投稿された論文を評価用論文 とする 13 個のサブセットを作成し，評価用論文が 最も古いサブセットは, 開発セットとして用いる. これらのサブセットの平均学習用論文数は 5737, 平均評価用論文数は 256 であった.

## 4.3 評価方法

評価指標には，スピアマンの順位相関係数 $(\rho)$,平均二乗誤差 (MSE), 実際の上位 $n \%$ 論文が予測値 の上位 $\mathrm{k} \%$ 論文に含まれる割合 $(\mathrm{n} \% @ \mathrm{k} \%)$ を用いる。 また，評価値は，各サブセットでそれぞれモデルの 学習，評価用論文に対する予測を行い，全 12 ヶ月分の予測値を合わせて算出する．全ての設定におい て，異なるランダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する。

また，実験において一部の手法の予測値の平均 が，正解值の平均と離れてしまい，MSEでの性能評価に悪影響があることが判明したため，開発セット における予測値の平均と正解值の平均の差を補正值 とし, 評価時の予測値から補正値を引いた値に対し MSEを算出する MSE*も評価指標に加える。

2) https://www.semanticscholar.org/

3) https://ar5iv.labs.arxiv.org/

4) https://www.biorxiv.org/

5) Biochemistry, Plant Biology, Pharmacology and Toxicology
表 1 比較実験の結果. 階層構造の括弧内の 2 つ目の要素はプーリング手法を示す. (MSE, MSE*以外の評価値 $\times 100$ )

## 4.4 比較手法

本実験では，3 節で述べた手法に加え，BERT を用いた 2 つの手法を比較する. 1 つ目の BERT (title+abst) は，BERT にタイトルを 1 文目，アブス トラクトを 2 文目として入力し，被引用数を予測す る手法である. 2 つ目の BERT (先頭) は, Longformer (先頭) と同様に，本文の先頭部分を BERT に入力す ることで被引用数を予測する手法である.

## 4.5 実験設定

既存手法である SChuBERT は，ハイパーパラメー 夕の探索範囲を除き, 先行研究 [18] と同様の設定 で実験を行う. その他の全ての手法では，BERT と Longformer の出力として, [CLS]トークンに対応す るベクトル表現を利用し, モデルが最終的に出力し たベクトルを全結合層に入力し, 線形変換を行うこ とで，予測值を出力する. また，予測値と正解值の MSE を損失として学習し, 学習中には, 最終的に出力したべクトルに Dropout [24]を適用する6).

## 4.6 結果

実験結果を表 1 に示す. 既存手法である SChuBERT を除き、論文の本文を活用した手法は，両方 のデータセットにおいて BERT(title+abst)を上回っ ており，被引用数予測において，本文を活用する ことの有用性が確認できた。また，本文を活用す る手法の中では, 本研究で提案した階層構造を利用する手法が最も高い性能を達成した. 提案手法

6）詳細な学習設定は付録 $\mathrm{A}$ を参照.
は，順位相関係数において，その他の全ての比較手法と比べ，CL データセットでは 5.1 ポイント以上, Bio データセットでは 1.8 ポイント以上上回ってい る. MSE や MSE*, $\mathrm{n} \% @ \mathrm{k} \%$ においても，ほとんど の場合で比較手法を上回っており，提案手法が CL と Bio という異なる分野の論文集合に汎用的に有用性を持つことを確認した．次に，提案手法におい $\tau$, 階層構造 (先頭) は, 階層構造 (分割) と同等以上の性能を示しており，各節の先頭部分のみを利用 することで，計算コストの増加を抑えながら，高い 予測性能が達成できることが判明した。また，セ クション表現のプーリング手法においても，Mean より Transformer の方が全体的に高い性能を示すこ とを確認した．既存手法である SChuBERT は，CL データセットに対する MSE，MSE*は向上したもの の, 他の場合では BERT (title+abst) と比べて, 同等以下の結果となった。これは，SChuBERT が本文全文を入力するために，BERT の fine-tuning を行わな いことが原因であると考えられる [10].

## 5 おわりに

本研究では, 論文の階層構造を活用した被引用数予測手法を提案し，既存手法である SChuBERT や Longformer を利用した手法など複数の手法との比較実験を行い，提案手法の有効性を示した. 特に，提案手法において，各節の先頭部分のテキストのみを 利用することで，計算コストの増加を抑えつつ，高 い性能を達成できることを確認した. 今後の展望と しては，引用グラフなど論文のテキスト以外の情報 も同時に扱うモデルの構築をしたいと考えている.

## 謝辞

本研究の一部は, JST ムーンショット型研究開発事業 JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Daryl E. Chubin and Eugene Garfield. Is citation analysis a legitimate evaluation tool? Scientometrics, Vol. 2, pp. 91-94, 1979.

[2] Dagfinn W. Aksnes. Citation rates and perceptions of scientific contribution. J. Assoc. Inf. Sci. Technol., Vol. 57, pp. 169-185, 2006.

[3] Alfonso Ibáñez, Pedro Larrañaga, and Concha Bielza. Predicting citation count of bioinformatics papers within four years of publication. Bioinformatics, Vol. 25 24, pp. 3303-9, 2009.

[4] Anqi Ma, Yu Liu, Xiujuan Xu, and Tao Dong. A deeplearning based citation count prediction model with paper metadata semantic features. Scientometrics, Vol. 126, pp. 6803 - 6823, 2021

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.

[7] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. In ICLR, 2020.

[8] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv, Vol. abs/2004.05150, , 2020.

[9] Arash Afkanpour, Shabir Adeel, Hansenclever de F. Bassani, Arkady Epshteyn, Hongbo Fan, Isaac Jones, Mahan Malihi, Adrian Nauth, Raj Sinha, Sanjana Woonna, Shiva Zamani, Elli Kanal, Mikhail Fomitchev, and Donny Cheung. Bert for long documents: A case study of automated icd coding. arXiv, Vol. abs/2211.02519, , 2022.

[10] R. Pappagari, Piotr Żelasko, Jesús Villalba, Yishay Carmiel, and Najim Dehak. Hierarchical transformers for long document classification. ASRU, pp. 838-844, 2019.

[11] Carlos Castillo, Debora Donato, and A. Gionis. Estimating number of citations using author reputation. In SPIRE, 2007.

[12] Feruz Davletov, Ali Aydin, and Ali Cakmak. High impact academic paper prediction using temporal and topological features. 112014.

[13] Nataliia Pobiedina and Ryutaro Ichise. Citation count prediction as a link prediction problem. Applied Intelligence, Vol. 44, pp. 252 - 268, 2015.

[14] Alireza Abrishami and Sadegh Aliakbary. Predicting citation counts based on deep neural network learning techniques. J. Informetrics, Vol. 13, pp. 485-499, 2018.

[15] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical ar- ticles. AMIA, pp. 222-6, 2008

[16] Rui Yan, Jie Tang, Xiaobing Liu, Dongdong Shan, and Xiaoming Li. Citation count prediction: learning to estimate future citations for literature. In CIKM, 2011.

[17] Tanmoy Chakraborty, Suhansanu Kumar, Pawan Goyal, Niloy Ganguly, and Animesh Mukherjee. Towards a stratified learning approach to predict future citation counts. IEEE/ACM Joint Conference on Digital Libraries, pp. 351-360, 2014.

[18] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambertus Schomaker. SChuBERT: Scholarly document chunks with bert-encoding boost citation count prediction. In SDP, 2020.

[19] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big Bird: Transformers for longer sequences. arXiv, Vol. abs/2007.14062, , 2020.

[20] Jin Xue, Xiaoyi Tang, and Liyan Zheng. A hierarchical bert-based transfer learning approach for multidimensional essay scoring. IEEE Access, Vol. 9, pp. 125403-125415, 2021.

[21] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[22] Qizhe Xie, Zihang Dai, Eduard Hovy, Thang Luong, and Quoc Le. Unsupervised data augmentation for consistency training. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 62566268. Curran Associates, Inc., 2020.

[23] 平子潤, 笹野遼平, 武田浩一. 直近 1 年の動向を考慮 した最新論文のインパクト予測. 言語処理学会 第 25 回年次大会 発表論文集, pp. 1262-1267, 2022.

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. JMLR, Vol. 15, No. 56, pp. 1929-1958, 2014.

[25] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020 .

## A 詳細な学習設定

本研究では，BERT の初期重みとして，Transformers [25] で公開されている bert-base-uncased を, Longformer の初期重みとして, allenai/ longformer-base-4096を利用した．また，Transformer プーリングで用いた 1 層の Transformer は, BERTの最終層の重みを用いて初期化した。

既存手法である SChuBERT 以外の手法の学習で は，バッチサイズは 32，最適化関数は AdamW を用 い，全体の学習ステップの $10 \%$ で warm-up し, 残り のステップで線形に減衰する学習率スケジューリ ングを行った. また，エポック数は $\{3,4\}$, 学習率 は $\{2 \mathrm{e}-5 ， 3 \mathrm{e}-5 ， 5 \mathrm{e}-5\}$ でグリッドサーチを行い，開発セットにおいて最も順位相関係数が高くなった值 を利用した. SChuBERT では，エポック数のみハイ パーパラメータ探索を行い，残りの設定については 先行研究と同様に学習を行った. また，エポック数 の探索範囲は，先行研究の值に基づき $\{20 ， 30 ， 40\}$ とした.


# 属性に対する極性判定を対象とした領域適応

LU Binghan 白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110196,kshirai\}@jaist.ac.jp

## 概要

属性に対する極性判定は教師あり機械学習に基づ く手法が主流だが，属性によって有効な素性は異な ると考えられる。本論文では，属性をドメインとみ なし，ある属性に関する(ソースドメインの) ラベル 付きデータから別の属性の (ターゲットドメインの)極性判定のモデルを学習する領域適応の手法を提案する. ターゲットドメインのラベル付きデータを 自動構築するために，ソースドメインのデータから 学習した BERTを用いて自動ラベル付けを行う手法 と, ソースドメインの文に出現する感情語や特徴語 をターゲットドメインのそれに置換する手法を組み 合わせて用いる。

## 1 はじめに

属性に対する感情分析 (極性判定) は，製品などの 評価対象の属性に対して表明された意見が肯定的か 否定的かを判定するタスクである。教師あり機械学習の手法が用いられることが多いが，訓練データと テストデータでドメインが異なると極性判定の性能 が低下する問題が知られている。ドメインとは一般 にテキストのジャンルや媒体を指すが，属性に対す る極性判定では異なる属性に対して同様の問題が 起こりうる．例えば，レストランの属性として「料理」と「価格」があり「「料理」に対するラベル付き データしか存在しないとき, これから学習した分類器を「価格」に対する極性判定に適用しても高い正解率が得られない.

領域適応は，十分なラベル付きデータが存在する ソースドメイン (訓練データのドメイン) から得られ た知識を，ラベル付きデータが全くあるいは少量し か存在しないターゲットドメイン (テストデータの ドメイン)の分類器の学習に転移する技術である。本研究では, ドメインを属性とみなし, ある属性の ラベル付きデータを利用して別の属性の極性を判定
することを目的とする．そのため，ソースドメイン のラベル付きデータから夕ーゲットドメインのラベ ル付きデー夕を自動的に生成する手法を提案する.

## 2 関連研究

感情分析を対象とした領域適応の手法は多くの先行研究がある. Rietzler らは，ソースドメインのラ ベル付きデータでBERT[1]を fine-tuning する前に, ターゲットドメインのラベルなしテキストを用い て BERT の事前学習を再度行うことで領域適応を行 う手法を提案した [2]. 白らは, BERTの最上位層の 埋め込み表現ではなく，一つ下の層の埋め込み表現 をドメインに特化されていない単語の特徴べクト ルとみなし, この平均ベクトルを入力とする 3 層の ニューラルネットワークを学習することで領域適応を行う手法を提案した [3]. Yu らは, Cross-Domain Review Generation(CDRG) という手法を提案した [4]. ソースドメインにおけるラベル付きレビューの属性語・感情語をターゲットドメインのそれに変換 することで，夕ーゲットドメインのラベル付きレ ビュー文を自動生成し，これを BERT の fine-tuning に用いた。

上記の先行研究ではレビューのジャンルをドメイ ンとした領域適応の手法が提案されていたが，本研究では属性をドメインとした領域適応を扱う。

## 3 提案手法

## 3.1 概要

提案手法の概要を図 1 に示す.ラベル付きデー夕 が存在する属性をソースドメイン, 存在しない属性 をターゲットドメインとする。図中の (S),(T) はそ れぞれソースドメイン，夕ーゲットドメインのデー 夕を表す。

ターゲットドメインのラベル付きデータを $2 \supset$ の手法で自動生成する。ひとつは自動ラベル付け

図 1 提案手法の概要

による手法 (図 1 (A))である。詳細は 3.2 項で述べ る。もうひとつは, $\mathrm{CDRG}[4]$ を拡張し，ソースド メインのレビュー文から新たにターゲットドメイ ンのラベル付きデー夕を自動生成する手法 (図 1 (B)) である. 本研究ではこれを Cross-Aspect Review Generation (CARG) と呼び，その詳細を 3.3 項で述べ る. 最後にターゲットドメインの極性判定モデルを 学習する。詳細は 3.4 項で述べる.

## 3.2 自動ラベル付けによる訓練データ構築

ソースドメインの訓練データから事前学習済み の BERT を fine-tuning し, 極性判定の分類器 (図 1 の $\operatorname{BERT}(\mathrm{S})$ )を得る。次に，これを用いてターゲットド メインの文の極性を判定し，ラベルを付与する。こ の際, 極性の予測確率が $T_{p}$ 以下のレビュー文は除外する。

## 3.3 Cross-Aspect Review Generation

## 3.3.1 感情語と特徵語の抽出

ソースドメインとターゲットドメインのそれぞれ について，そのドメイン (属性) のレビューで使われ る感情語を抽出する。感情語とは “excellent”, “bad” など書き手の感情や評価を表す単語である. 感情語 の抽出には SentiWordNet[5] を用いる. SentiWordNet は，単語のそれぞれの語義について，肯定のスコア と否定のスコア (ともに 0 1 の値) が付与されてい る. また, 語義は出現頻度の順にランク付けされて いる。単語 $w$ の感情語スコア $S S(w)$ を式 (1) のよう に定義する。

$
S S(w)=\sum_{i=1}^{n} \frac{1}{n} \cdot|\operatorname{pos}(w, i)-n e g(w, i)|
$

$i$ は語義の出現頻度のランク, $\operatorname{pos}(w, i)$ と $n e g(w, i)$ はそれぞれ単語 $w$ の $i$ 番目の語義の肯定と否定のス
コア, $n$ は単語 $w$ の語義の総数を表す. $S S(w)$ が閾値 $T_{s}$ 以上の単語をドメイン固有の感情語として抽出する.

次に，特定のドメインだけによく使われる単語 を「特徵語」と定義し，これを抽出する，例えばド メイン (属性)が food のときには “dinner” や“dessert” などが， serviceのときは “staff” ゃ “waiter”などがそ のドメインの特徴語となる。いま，いくつかの属性 について，その属性について言及されたレビュー集合があると仮定する，各属性のレビュー集合を仮想的にひとつの文書とみなし, 属性 $a$ における単語 $w$ の TF-IDF を計算する．あるドメイン $a$ のレビュー 集合のみに出現し, かつ TF-IDF の上位 $T_{d}$ 件の単語 をドメインの特徴語として抽出する。

## 3.3.2 レビュー文の生成

ソースドメインのラベル付きデータにおける感情語もしくは特徵語をターゲットドメインの感情語 もしくは特徵語に置き換えることにより，ターゲッ トドメインのラベル付き文を新たに生成する．単語の置き換えには BERT の Masked Language Model (MLM) を利用する。あらかじめ, 事前学習済みの BERT の MLM を初期のパラメ夕とし，大量のラべ ルなしレビュー文の集合を用いて MLM を再学習 する。

レビュー文生成の手続きを以下に示す.

1. ラベル付きのソースドメインの文について，そ の中にソースドメインの感情語と特徴語が出現 していれば，それを [MASK]に置換する。

2. [MASK] に対して左から順に以下の処理を実行 する。

(a) MLM によって [MASK] によって埋めるべ き単語を予測する。元の単語が感情語な らターゲットドメインの感情語, 特徴語 ならターゲットドメインの特徴語のうち， MLM による予測確率が大きい $T_{k}$ 個の単語 を得る。 [MASK] をその単語に置換し， $T_{k}$個の新しい文を得る。

(b) 文の数が組み合わせ的に増大することを避 けるため，2 個目以降の [MASK] を置換す るときは， $T_{k} \times T_{k}$ 個の文のうちスコア ${ }^{1)}$ が 高い $T_{k}$ 個の文を選択し，次の [MASK] の 処理に移る。この処理は最後の [MASK] の

1）文のスコアは，複数箇所の [MASK] を置換した単語の MLM による予測確率の和とする。

ときには行わず, 最終的に最大で $T_{k} \times T_{k}$ 個 の文を得る。

上記の文生成手法は CDRG[4] を元にしているが， CDRG では属性語を置換するのに対し, 本研究では 特徴語を置換する点, CDRG では 1 つの文からター ゲットドメインの文を 1 つ生成するのに対し本研究 では最大で $T_{k} \times T_{k}$ 個の文を生成する点が異なる.

## 3.3.3 生成文のフィルタリング

生成された文の自然さを擬似対数尤度スコ ア PLL(pseudo-log-likelihood score)[6] によって測る. PLL は, 文中の各単語 $w_{t}$ を BERT の MLM で予測 した確率の対数尤度の和である。

$
\log P_{M L M}(W)=\sum_{t=1}^{|W|} \log P_{M L M}\left(w_{t} \mid W_{\backslash t}\right)
$

自動生成されたレビュー文のうち, $\log P_{M L M}(W)$ が 閾値 $T_{f}$ より小さい文を削除する.

## 3.4 極性判定モデルの学習

3.2 項と 3.3 項で生成したラベル付きレビューを用 いて BERT を fine-tuning し， ターゲットドメインの 極性判定モデル (図 1 の BERT(T))を得る.

後述する実験で用いるデータセットには，極性ラ ベルの分布に偏りが見られる。この問題に対処する ため, 本研究では Focal Loss[7] を損失関数として使用する。二値分類のときの Focal Loss の定義を式 (3) に示す.

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \cdot \log \left(p_{t}\right)
$

ここで $\gamma$ はハイパーパラメタである. データセット の中で小さな割合しか占めないデータのクラスは, その予測確率 $p_{t}$ は小さくなる傾向がある。通常の cross entropy の式に $\left(1-p_{t}\right)^{\gamma}$ を加えることにより，少数の極性クラスについては損失が大きく見積もら れ，その分類エラーが大きく評価される。

## 4 評価実験

## 4.1 実験設定

評価実験には 2 つのデータセットを使用する。 ひとつは SemEval-2014 Task 4 Aspect Based Sentiment Analysis のレストランのデータセット [8] である. レストランに関するレビュー文に対し, 属性の カテゴリとそれに対する極性クラスが付与され ている。属性は “service", "food”, "price”, “ambience”, “anecdotes” の 5 つであり, 本実験ではこれをド メインとする。極性クラスは “positive”, “negative”, "conflict", "neutral" の4つである. データセットの詳細を表 1 に示す. positiveのレビューが多く, conflict や neutral (ただし “anecdotes”を除く) は少ない.

表 1 レストラン・データセットの詳細

もう一つは Laptop ACOS(Aspect-Category-OpinionSentiment) のデータセット [9] である. Amazon に投稿されたラップトップパソコンに関するレビューに 対し, 評価対象の属性と極性が付与されている。極性カテゴリは “postive”, "negative”, "neutral” の 3 つで ある. 本実験では，付与されている属性を “general”, “design”, "performance", “quality” の 4 つに人手で分類 し，これを属性のドメインとみなした。データセッ トの詳細を表 2 に示す。このデータも neutral のレ ビューが極端に少ないという極性クラスの偏りが見 られる。

表 2 ラップトップ・データセットの詳細

全ての属性の組について，一方をソースドメイ ン，もう一方をターゲットドメインとして，後者の データセットに対する極性判定の正解率を測る．以下の 5 つの手法を比較する。

ベースライン 1 (BL1) ソースドメインのラベル付 きデータを用いて BERTを fine-tuning する手法. 領域適用をしない手法である.

ベースライン 1 (BL2) 3.2 項で述べた手法で得られ たターゲットドメインの擬似ラベルを用いて BERT を fine-tuning する手法.

CARG1 BL2 の擬似ラベル文と CARGによって生成されたレビュー文を訓練データとして BERT を fine-tuningする手法.

CARG2 CARG1 に加え, 3.3.3で述べた生成文の フィリタリングを行う手法。

CARG3 CARG2に加え， 3.4 で述べた Focal Loss を 使って BERT を fine-tuning する手法.
表 3 レストラン・データセットにおける極性判定の正解率

} & \multicolumn{3}{|c|}{$S$} & \multicolumn{4}{|c|}{ F } & \multicolumn{4}{|c|}{1} & \multicolumn{4}{|c|}{$\mathrm{Am}$} & \multicolumn{4}{|c|}{ An } & \multirow[t]{2}{*}{ 平均 } \\

S: service, F: food, P: price, Am: ambience, An: anecdotes.

*,+は，それぞれ BL1, BL2 と比べて，マクネマー検定によって $p<0.05$ で有意差があることを表す.

表 4 ラップトップ・データセットにおける極性判定の正解率

} & \multicolumn{3}{|c|}{ G } & \multicolumn{3}{|c|}{ Q } & \multicolumn{3}{|c|}{$\mathrm{P}$} & \multicolumn{3}{|c|}{$\mathrm{D}$} & \multirow[t]{2}{*}{ 平均 } \\

G: general, Q: quality, P: performance, D: design *,+は表 3 と同じ.

レストラン・データセットについては，CARGを 用いる際, BERT の MLM を再学習するために 3 万件の Yelp のレストランレビュー[10]を使用した。 ラップトップ・データセットについては事前学習済 みの BERT の MLMをそのまま用いた。実験パラメ 夕の詳細を付録 A に示す。

## 4.2 実験結果と考察

レストラン・データセットの実験結果を表 3 に 示す.太字はそれぞれのドメインの組において正解率が最も高いことを表す。ベースライン手法 (BL1,BL2) と提案手法 (CARG1 3) を比較すると, 20 のドメインの組のうち 17 組について, 提案手法の 方が優れている。このことから，夕ーゲットドメイ ンのラベル付きデータを自動生成する CARG の有効性が確認できる. CARG1 と CARG2 を比較すると，全 20 組のうち 12 組について CARG2 の正解率が高 いことから, 自動生成された文のうち生成確率の低 い文をフィルタリングする手法はある程度有効であ ると言える. CARG2 と CARG3を比較すると, 全 20 組のうち 15 組については $\mathrm{CARG} 3$ の正解率が同じも しくは高い. 今回の実験では Focal Loss の導入が効果的であった。

ラップトップ・データセットの実験結果を表 4 に 示す.レストラン・データセットの結果と同様に, ベースラインよりも提案手法の方が優れている。た
だし，統計的に有意差があるドメインの組はレスト ラン・データセットに比べて少ない. レストランの 実験では Yelp のレビューを用いて MLM を再学習し たのに対し，ラップトップでは事前学習した MLM をそのまま用いたことが原因のひとつとして考え られる。また, CARG1 よりも CARG2 の方が正解率 が高い傾向にあることが確認できるが，CARG3 は CARG2 と比べて同等もしくはやや劣る. 2 つ異な るデータセットでおおよそ同様の結果が得られたこ とから, 提案手法がどのようなジャンルのレビュー にも適用できるという意味での汎用性を有すること が示唆される。

CARG による文生成の例を付録 B に示す。

## 5 おわりに

本論文は，属性に対する極性判定において，異な る属性のラベル付きデータを利用して極性判定の 分類器を学習する領域適応の手法を提案した。評価実験では, 全体的には提案手法はべースラインを上回ったが，属性の組によっては極性判定の正解率が 向上しなかった.今後の課題として, この原因を精査し, 任意のドメインの組において自動生成する文 の品質を向上させる手法を探究したい. 例えば, 属性に関連する語として特徴語を抽出しているが，属性の特徴を明示的に示す単語だけでなく暗黙的に示 す語も抽出することを検討する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), pp. 4933-4941, 2020.

[3] 白静, 田中裕隆, 曹類, 馬ブン, 新納浩幸. Bert の下位階層の単語埋め込み表現列を用いた感情分析 の教師なし領域適応. 情報処理学会研究報告, Vol. 2019-NL-240, No. 17, pp. 1-6, 2019.

[4] Jianfei Yu, Chenggong Gong, and Rui Xia. Cross-domain review generation for aspect-based sentiment analysis. In Findings of the Association for Computational Linguistics, pp. 4767-4777, 2021.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. SentiWordNet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), pp. 2200-2204, 2010.

[6] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[7] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. arXiv:1708.02002, 2017.

[8] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. Association for Computational Linguistics, Vol. Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 27-35, 2014.

[9] Hongjie Cai, Rui Xia, and Jianfei Yu. Aspect-categoryopinion-sentiment quadruple extraction with implicit aspects and opinions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 340-350, 2021.

[10] Yelp dataset, (2022 年 12 月閲覧). https://www.yelp. com/dataset.

## A 実験時のパラメタ

実験時に設定したパラメ夕は以下の通りである。
- 自動ラベル付けにおける予測確率の閾値 $T_{p}$ を 0.8(レストラン)または 0.5 (ラップトップ) に設定した。
- 感情語抽出の極性スコアの間値 $T_{s}$ を 0.3 に設定 した。

・特徵語抽出の際の件数 $T_{d}$ を 100 に設定した.
- CARG における文生成数のパラメ夕 $T_{k}$ を 100 に設定した。

・生成文のフィルタリングの閾値 $T_{f}$ を -30 に設定した。

・ Focal Loss のハイパーパラメ夕 $\gamma$ を 2 に設定 した.

## B CARG による文生成の例

CARGによって生成された文の例を表 5 に示す。下線は置換された単語を表す。評価語が“good” や “great”など food の評価に良く使われるものに置換 され，また“service”が “food”に置換されており， ターゲットドメイン (food) のレビューらしい文が生成されている.

表 5 CARGによる生成文の例

 &  \\


# 日本語レビューに対するレーティング予測の精度比較

森廣 勇樹 1 南條 浩輝 2 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m005@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文から評価点（レーティン グ）がどの程度正確に予測できるかを調査した。 BERT と RoBERTa に対し合計 360 通りのハイパー パラメータの組み合わせでグリッドサーチを行っ た. 得られたハイパーパラメータで予測を行うと， BERT より RoBERTa の方が精度がよいことがわかっ た. 英語レビューへのレーティング予測の関連研究 の結果に比べ，精度があまり高くはないがレーティ ング予測の傾向自体の学習はできていると考える.

## 1 はじめに

本稿では，日本語の商品レビュー文に対し星数の ような評価点（レーティング）がどの程度正確に予測できるかの調査について述べる.

商品レビューは消費者の正直な感想であるため 広告より信頼性が高いが，ヤラセ・サクラなど，レ ビューの悪用や利用者増加に伴う役に立たないレ ビューの増加で，真に有用なレビューが埋もれてい る. 推薦・推薦文においてこのようなレビュー等が 主に使われており，それらの結果に疑問が残るので はないかと考える. それに比べ, Twitter のツイート などの生の声は，レビュー文よりも実際の気持ちを 表していると予想される.

本研究では Twitter のツイートデータを用いた推薦文（及びその根拠文）の生成することを目標とし ている. 第一歩として, Twitter のツイートなどレ ビューそのものを目的としていない生のユーザの声 （テキスト）が，商品に対してどの程度のお勧め度 を表しているか (レーティング)を予測する必要が ある.しかしながら，ツイートデータには正解が付 いていないため学習に用いるのが困難である. 多言語 amazon レビューコーパスに正解データが付いて
おり，最終的にツイートデータに対するレーティン グ予測を行うとしても，その予測に用いる機械学習 の学習データとしては使えると考える。 そこで本研究ではまず，多言語 amazonレビューコーパスを用 い，日本語でのレビューのレーティング予測を調査 した.

## 2 関連研究

Liu [1] は英語レビューのレーティング予測を機械学習と深層学習を用いて行っている.コーパ スはレビュー文と星数のラベルのペアとなって おり，レビュー文に対してのレーティング（整数値）を予測するタスクとなっている. この研究で は, Naive Bayes, Logistic Regression, Random Forest, Linear Support Vector Machine の 4 つの機械学習モデ ルと BERT, DistilBERT, RoBERTa, XLNet 94 つの transformer ベースの深層学習モデルを使用し，モデ ル間での精度の比較やモデルの学習時間の比較も 行っている。一方, 日本語レビューのレーティング 予測についての研究は見当たらない.

## 3 手法

Liu の研究では， 4 つの機械学習モデルと 4 つの transformer ベースの深層学習モデルを使用してい る. その実験結果から機械学習モデルの予測精度が 低いことがわかったため, 本研究では 4 つの深層学習モデルのうち，まずBERT [2] と RoBERTa [3]を用 いることにした.

BERT のモデルとして, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル (cltohoku/bert-base-japanese-v2) [4] を使用した. BERT による分類モデルの入出力例を図 1 に示す.

図 1 のように文 (文章) を入力し, 出力 $\mathrm{C}$ トーク ンから全結合層の分類器 1 層（classifier）を通して 5 クラス分類を行う.
表 1 データセットの星評価の内訳

## Prediction

図 1 BERTによる分類モデルの入出力例

RoBERTa のモデルは, xlm-roberta-base を Language Identification データセットに基づいて fine-tuning した RoBERTa モデル (papluca/xlm-roberta-base-languagedetection）[5]を使用した.

## 4 実験

## 4.1 データセット

多言語 amazon レビューコーパス [6] と呼ばれる データセットを用いて実験を行った. データセッ 卜には，英語，日本語，ドイツ語，フランス語，中国語，スペイン語の合計 6 言語のレビューが含ま れておりその中で日本語のみのレビューを使用し た. データセットの各レコードには，レビューテ キスト, レビュータイトル, 星評価, 匿名のレビュ アーが含まれている. 各言語ごとに合計 210,000 の レコードがあり，185,000を学習データ，20,000を 検証データ，5,000をテストデータとした。すべて のレビューは 2,000 文字を超えると切り捨てられ，表 2 モデルのハイパーパラメータ

すべてのレビューは少なくとも 20 文字の長さであ る. 本研究で使用するデータセットの星評価の内訳 を表 1 に示す.

表 1 よりコーパスは星評価（星 1～星 5）でバラン スが取れているため, 各星評価は各言語のレビュー の $20 \%$ で構成されている.

## 4.2 ハイパーパラメータの決定

各モデルに対して適切なハイパーパラメータを決定するためにグリッドサーチを行った. ハイパーパ ラメータとして最適化アルゴリズム, 学習率, バッ チサイズ，エポック数の 4 つのパラメータを可変と しグリッドサーチを行った. 最適化アルゴリズム は, AdamW, SGD, RMSProp の 3 種類, 学習率は各 モデル，各最適化アルゴリズムによって変わるが 3 種類ずつ行い, バッチサイズは $32,16,8,4$ の 4 種類, エポック数は 1 から 10 の 10 種類, 合計 360 通りの ハイパーパラメータの組み合わせでグリッドサーチ を行った．検証データはハイパーパラメータを決定 するために使用し, 決定後は学習データと合わせて 実験の学習に使用する.この組み合わせの中で最も 検証データでの正答率が高いパラメータを最適なも のとしハイパーパラメータを決定した. 得られた八 イパーパラメータと RoBERTa でのグリッドサーチ の結果の一部を表 2 , 表 3 に示す.

表 2 の条件の通り BERT の最適化アルゴリズム は RMSProp, 学習率は 1e-05, バッチサイズは 8, エポック数は 2 としたとき検証データでの精度
表 3 RoBERTa のグリッドサーチの結果（一部）

(Accuracy) が 0.5531 と 360 通りのパラメータの中 で一番高い結果であったためこのハイパーパラ メータで決定し, RoBERTa の最適化アルゴリズム は RMSProp，学習率は 5e-06，バッチサイズは 16 , エポック数は 3 としたとき検証データでの精度 (Accuracy) が 0.5852 と一番高い結果であったため このハイパーパラメータで決定した.

表 3 は RoBERTa の最適化アルゴリズムが RMSProp，バッチサイズが 16 のときのグリッドサーチ の結果である. グリッドサーチを行って気づいたこ ととして，よりよいパラメータは学習率の值が小さ いときエポック数が大きくなり，学習率の值が大き いときエポック数が小さくなる傾向にあった.

## 4.3 実験結果

4.2 節で可変にしたパラメータ以外を固定にして 精度比較を行った. データセットは多言語 amazon レビューコーパスを使用し，205,000を学習データ， 5,000をテストデータとし精度の算出を行った. そ の条件をもとに学習を行った際のテストデータでの 精度を表 4 に示す.

表 4 の各モデルの精度を比較すると BERT では Accuracy が $0.5624, \mathrm{~F}$ score が 0.5612 に対し RoBERTa では Accuracy が 0.5956 , F score が 0.5893 となり RoBERTa の方がより精度がよいことがわかる. 各 モデルの Confusion Matrix（混同行列）を表 5 と表 6 に示す.

表 4 の精度は Liu の英語に関する先行研究の 0.6-0.7 より低かったが，レーティング予測は人手評価からそれほどかけ離れていないことが表 5 と表 6 の Confusion Matrix からわかる。すなわち，レー表 4 各モデルの Accuracy と F score

表 5 BERT の Confusion Matrix レーティング予測クラス

表 6 RoBERTa の Confusion Matrix レーティング予測クラス

ティング予測の傾向自体の学習はある程度できてい ると考える。

## 5 おわりに

本研究では多言語 amazon レビューコーパスを用 い，日本語のレビュー文に対しレーティングがど の程度正確に予測できるかを調査した. BERT と RoBERTa に対し合計 360 通りのハイパーパラメー タの組み合わせでグリッドサーチを行った.グリッ ドサーチを行った結果，BERT のハイパーパラメー 夕は，最適化アルゴリズムが RMSProp，学習率が 1e-05, バッチサイズが 8, エポック数が 2 で決定 し， RoBERTaのハイパーパラメータは，最適化アル ゴリズムが RMSProp，学習率が 5e-06，バッチサイ ズが 16 , エポック数が 3 で決定した. これらの八イ パーパラメータでレーティング予測を行った結果， BERT では Accuracy が 0.5624 , F score が 0.5612 に 対し, RoBERTa では Accuracy が 0.5956, F score が 0.5893 となり，RoBERTa の方がより精度がよいこと がわかった. 精度は Liu の英語レビューに関する先行研究の 0.6-0.7 より低かったが，レーティング予測が人手評価からそれほどかけ離れていないことか

ら，レーティング予測の傾向自体の学習はある程度

できていると考える.

次のステップとして, amazon の日本語レビュー コーパスで学習した BERT と RoBERTaを用い，ツ イートデータのレーティング予測を行う予定で ある.

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたも のです.

## 参考文献

[1] Zefang Liu. Yelp review rating prediction: Machine learning and deep learning models. arXiv, 2020. https: //arxiv.org/abs/2012.06690.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv, 2018. http: //arxiv.org/abs/1810.04805.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, 2019. http: //arxiv.org/abs/1907.11692.

[4] 東北大学乾・鈴木研究室 bert モデル. cltohoku/bert-base-japanese-v2. https://huggingface. $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.

[5] RoBERTa モデル. papluca/xlm-roberta-base-languagedetection. https://huggingface.co/papluca/ xlm-roberta-base-language-detection.

[6] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.


# 「ェモい」という感情に関する考察

青山凌大 ${ }^{1}$ 西口純代 ${ }^{2}$
1 小樽商科大学 商学部
2 小樽商科大学 言語センター
ra2000a@icloud.com
nishiguchi@res. otaru-uc. ac. jp

## 概要

本論文は、若者の消費者心理を解き明かす切り口と して「エモい」という感情表現に着目している。未だ漠然とした定義しかされていない「エモい」と いう心理状態が表す本質的な意味と、「エモい」と いう感情に至るプロセスについて主張を述べる。

## 1 はじめに

## 1.1 研究の背景

経済の好循環には、消費の拡大が不可欠であるが、

「若者が消費に消極的」という言葉をニュース等で 見聞きすることが多くなっている。実際、消費者庁 が 2017 年に刊行したホワイトペーパーでは次のよ うに述べられている。

「総務省が実施している「家計調査」によれば、世帯人数が 2 人以上の勤労者世帯のうち、世帯主が 39 歳以下の世帯では、可処分所得が 緩やかに増加 する中でも消費支出はほとんど伸びておらず、節約志向が強まっているとされています。全体的に消費意欲が低下しているなかで、特に若者か消費に慎重 であることかがえる。（注 1）」（消費者庁 2017） さらに少子高齢化の進行により、この若者と呼ばれ る人口は減少傾向で、総人口に対して若者世代が占 める割合は小さいものであるにも関わらず、若者世代の消費行動がマーケットに大きな影響を及ぼす一大トレンドのキーとなっているのは、近年の動向か ら自明である。この仮説を念頭に置いたとき、今後、日本経済の発展には、「人口比率としては減少 している若者世代の消費をいかに増やすか」という 問いを、一つの命題として設定することができる。 さらにこの命題を解くための鍵として、「若者の消費者心理」を理解することがネックになると考えら
れる。この「若者の消費者心理」を考える上で、 2017 年に株式会社ネオマーケティング

（https://neo-m. jp）が実施した「若者の消費トレ ンドに関する調査」の調査結果に着目する。同調査 が 18 29 歳の男女 1000 人の若者を対象に行った

「あなたが、今後、積極的にお金を使いたいと思う

ことは何ですか。（複数回答）」という質問に対す る上位 10 項目のデータ以下に示す。

図1(注 2)

（株式会社ネオマーケティング2017）

図 1 によると、ライブイベントや旅行などの「感動体験」及び「思い出に残る体験」といった、エモ一 ショナルな体験に対する消費に関して最も積極的で あるという。そこで本論文では「若者はエモーショ ナルな感情に浸ることを求めている」と仮定し、そ の上で、若者とエモーショナルな感情、所謂「エモ さ」という概念との関係について考察していく。

## 1.2 研究の目的

前項で記述した時代的背景より、若者の消費意識に 着目に着目し、その意識を解明することが近年停滞気味の日本経済を動かすキーの一つになり得ると考 えている。また、前項で指摘した、「若者はエモ体験を求めている」という仮定を鑑みると、「エモ さ」に焦点を当て、若者の感性を分析することで、若者を消費に積極的にさせる仕組みを解明していき

たいと考えている。そこで本論文では、「若者に刺 さる仕組み」に解明する切り口として、以下 2 つの 論点に調査・研究を行うことで若者の消費意識にア プローチしていく。

(1)若者が感じる「エモい」とは具体的にどのような 心理的、感情的動きを表すのか

(2)エモい」を作り出す要因はどんなものか

## 2 研究準備

## 2. 1 研究の目的

ここで、一般的に言われる「エモい」という言葉の 定義について紹介しておく。

「エモい」は『三省堂 辞書を編む人が選ぶ「今年 の新語 2016」』（注 3）にて2 位に選出されてお

り、その際の選評によると、「漠然としたいろいろ な感情表現に使われる」とされている。また、言葉 としては 2006 年から存在はしているものの、現在 のように広く一般に使われるものではなく、日常生活の会話で使われるようになったのは近年からのよ うだ。つまり、「エモい」という言葉は、まだ世に 出て間もない、定義が曖昧な感情表現であると言え る。この「エモい」という表現が持つ意味を考察す る上で、「エモい」に関する先行研究として、一般社団法人日本広告業協会による第 49 回懸賞論文『私の言いたいこと』新人部門において受賞した、株式会社メトロアドエージェンシー営業本部第 3 営業局営業 7 部・塩見ありさ氏の『“エモい、を解き 明か寸〜文脈理解と物語構築の重要性〜』（注 4) を参考に仮説を定義していく。

この論文で塩見氏は、「エモい」が内包する意味に ついてSNS のハッシュタグ利用した分析を行ってお り、次の通りに考察がまとめられている。以下、関連する主張部分を拔粋して引用する。

「学生の場合は体育祭・文化祭など学校におけるイ ベントの際の投稿。時節に触れた話題をはじめ、天気や空気感に言及する投稿も多くみられた。また、

「青春」やノスタルジーを感じる写真を添付した投稿も多く見られた。フィルムカメラで撮影された様 な味わいがあり、想像の余地のある写真が多数を占 める。キラキラした加工が施された「インスタ映 え」とは異なる自然体な写真が主であった。（注

4)」(塩見 2019)

「登場人物との関係性やコンテンツを通して沸き上 がった感情が吐露されている。過去との対比構造が多い。音楽や映像の「エモい」場面を切り取った 内容の割合も高かった。（注 4）」（塩見 2019）「車や文具、唐揚げまで、有機物/無機物関わら ず、様々な事象に対して広い用途が存在。

SNS によっても違いがある。Twitter は文ベースの コミュニケーションが主流のため、物語調や説明的 な表現が多くみられた。一方で、Instagramでは 短文、あるいは写真のみで「エモさ」を訴えかけ る投稿が主であった。ただし、いずれも感情の高ま りや心が動いた際にこの言葉が使われている。そこ には、懐かしさや切なさ、感傷的な気分や感慨深さ も伺える。そして、個人の主観的な思い入れや過去体験が投影されている。（注 4）」（塩見 2019）

“「エモい」とは、対象者が「ある事物」を観測し た時に、過去に自身が実際に体験した経験が想起さ れ、その際に溢れた様々な感情を「代替した言葉」”であると定義できる。

以降、本論文では対象人物が「観測する事物」、そ れに対して「どんな感情を抱いたか」という 2 つの 要素に分けて仮説を設定し、「エモさ」が内包する 意味について明らかにしていく。

まず、「観測する事物」ついて、塩見氏による分析 を参考に以下のように検証項目を設定する。

検証項目(1)生で見る風景

検証項目(2)写真や動画（インスタ映えのようなキラ キラ加工がついたもの)

検証項目 (3)写真や動画（加工が控えめの自然体なも の)

検証項目(4)セリフや文章 検証項目(5)音楽（歌詞)

検証項目(6)音楽（リズム・音程・楽器）

検証項目(7)人物同士の関係（フィクション作品を含 む)

これらの検証項目をそれぞれ現段階での「エモさ」 を醸し出す事物としての仮説とする。

同様に、「エモい」という言葉がどんな感情を代替 するのかという点について検証項目を考えていく。検証項目(1) 懷かしい 検証項目(2)ノスタルジー・検証項目 (3) 美しい・綺麗 検証項目 (4) 嬉しい 検証項目 (5) 悲しい 検証項目 (6) 虚しい 検証項目(7) 寂しい 検証項目 (8) 沪が出そう これらの検証項目をそれぞれ現段階での「エモい」 が代替する感情表現の仮説とする。

## 2. 2 検証方法

若者世代にアンケート調查を行う。
対象人物が「観測する事物」については質問(1)「あ なたは今までにどんな事物に対して「エモい」とい う感想を持ちましたか?」とし、検証項目(1)（7)そ れぞれを回答の候補として当てはまる候補にチェッ クをつけてもらう。次に、「エモい」がどんな感情 を代替しているのか、について設問(2)「あなたは 「エモい」をどんな意味で解釈していますか? 近い ものを 3 つ選んでください。」とし、上記と同様に 検証項目(1)～(8)を明示し最も当てはまると感じるも の 3 つを選んでもらう。

## 3 調査・検証結果報告

設問(1)、設問(2)に対する回答の集計グラフはそれぞ れ図2、図3のようになった。

図 2

図 3

## 4 分析 $\cdot$ 考察

・対象者が「観測する事物」に関して

本論点に関する設問(1)では、最も多く選択された検証項目は(1)「生で見る風景」、3 番目は(3)「写真や 動画（加工等が控えめの自然体なもの）」であり、 これら 2 つの事物に共通するのが、「視覚」を通し て認識する事物ということである。心理学におい て、一説では「視覚は人間の情報入力の $80 \% 」 と$言われることもあり、「視覚情報の優位性」という 概念として度々論点に挙げられ研究されている。視覚が他の感覚より重要な役割を果たしているとい う主張を支持している文献では、その他の感覚、特 に五感の中でも視覚の特性について以下のように論 じられている。

「視覚は他の感覚との協調、また経験や行動履歴に 関する知識などにより、整合的な外界を仮定するこ とでなにが起こっているかについて多くの場合正し
く推定することができます。この点に関して他の感覚と比較した視覚の優位性は明らかです。触覚は自身の行動に依存することが多く, 得られる情報には 自身の行動の結果と外界の属性が混在することにな ります。対象が静止している場合, 能動的な行動に よってのみその対象に関する情報が得られますが、 それが自身の行動の結果であるか、それと独立した 対象に起因するものであるかの判断は困難です。ま た嗅覚から安定した外界を推定することは難しいで すし，味覚は直接的に 外界に関する手掛かりを与 えてくれるとは考えられません。聴覚に関しては音源が必要であり、世界にあふれる光の反射を利用す る視覚と比べると大きな限界があるといえるでしょ う。（注 5)」（塩入 2021）

また、心理学における視覚研究の重要性については 以下のように論じられている文献も見られた。「視覚を媒介とした自己認識、世界認識の形成は 「心」の理解のうえでも最重要課題の一つであり、心理学における根本問題だということもできるだろ う。この意味で、視覚研究は「心」の本質を捉える うえで重要な切り口となる。（注 6) 」（佐藤 2021)

これらを踏まえると、視覚を通して認識される事物 である風景や写真が「エモい」という感情の動きを 観測者に与えるものとして最も多く該当するという 結果は妥当であると言える。視覚は観測者の置かれ た状況にかかわらず、ほとんどの場合において他の 事象の制約を受けない最も自然な外部情報を仕入れ ることができるのだ。その結果、視覚情報は、他の 感覚によって認知される事物よりも、認知できる情報の量が多いために、「エモい」と感じることも多 いのではないかと考えられる。一方で、検証項目(2) の「写真や動画 (インスタ映えのようなキラキラ加工がついたもの）」については、同じく視覚によっ て情報を伝える事物であるが、集計結果の通り、こ ちらは「エモさ」を醸し出す事物として当てはまる とはあまり考えられていない。おなじ写真・動画と ういうコンテンツである検証項目 (3)「写真や動画 （加工等が控えめの自然なもの）」と大きく差がつ いた要因としては、その写真や動画の撮影後に後か らつけることになる、画像加工や編集の違いである ことは間違いないだろう。一般的には、「エモさ」 を醸し出すには、派手で煌びやかな加工ではなく、 なるべく自然体となるよう加工が控えめなものの方 が適しているようだ。この点については、塩見あり

さ氏の先行研究における SNS 投稿を用いた分析から 得られた示唆の通りであった。加えて、設問(1)で最 も多く選択されたものが検証項目 (1)「生で見る風景」であることを考慮すると「エモさ」を醸し出す にはそもそも加工・編集といった「演出」は不要で あり、写真や動画の場合は、いかに肉眼で見たもの を再現するかという「自然さ」が大きな要因となっ ていると推測できる。

・「エモい」という言葉が代替する感情に関して

本論点に関しては設問(2)の集計結果を参考に考察を していく。

最も多く選択されたのは検証項目(3)の「美しい・綺麗」であった。この「美しい」や「綺麗」という感情は、対象物に対して快い感覚を抱いている様であ る。「あの花は美しい」「綺麗な音色だ」「あの人 の心は綺麗だ」など、様々な事物に対して、自身が 好感を持った際に抱く感情を表している。

ここで、分析を進めていくための切り口として、形容表現を「対象物に対しての感想としての感情の動 き」と「自分自身の感情の動き」の二つに分類して 考えてみる。それぞれをより具体的に例を出して考 えてみる。

前者に該当する形容表現は、まさに今話題に挙げて いた「美しい」や「綺麗」などだ。これらはある人物が観測した事物に対して、「“これは” 〜だ」と いう、その事物の状態を、観測した人物の主観で判断したものである。「あの花は美しい」を例にして みると、「（私から見た）あの花 “は”（私にとっ て）美しい（と思う）」という構成になり、“美し い”という経由表現の対象は、“あの花”となる。対して後者に該当する形容表現は、嬉しい」などが だ。事物ではなく、“ある人物そのもの” の状態を 表している。例えば「あの映画を見れて私は嬉し

い」というフレーズで考えてみると、“嬉しい”と いう形容表現は、“あの映画”という事物を観測し た “私”という人物を対象としている。つまり、単純に自分の感情や心理状態がどういった状態である かという意味合いを持っているのだ。この表現の分類の仕方を念頭に置き、改めて集計結果を分析して みると上位 3 つ、順番に検証項目 (3)「美しい・綺麗」、検証項目(1)「懐かしい」、検証項目(2)「ノス タルジー」はどれも「対象物に対する感想としての 感情の動き」に該当しているだろう。「懷かしい」 に関しては、例えば「あの写真は懐かしいね」や 「懐かしい写真だね」とはいう写真という“事物”
を形容の対象にするフレーズは自然だが、「その写真を見て私は懷かしい」といった、写真という事物 を観測した“私という人物”を形容の対象とした文章には違和感がある。「ノスタルジー」も同様だ。 これらの結果から、「エモい」は、単純に自分の感情を表すのではなく、何かの事物への感想としての 感情の動きに近いようだ。また、検証項目(4)（8)の 「嬉しい」、「悲しい」、「虚しい」、「寂しい」「涙が出そう」については「自分自身の感情の動 き」に該当し、単純に自分の感情や心理状態がどう いった状態であるかを表している形容表現に分類で きる。それぞれ選択された数としては差が大きく開 いている。これらの中でも特に、検証項目(4)の「嬉 しい」と検証項目(5)「悲しい」は極端に選択数が少 ない。一方で検証項目 (8)「涙が出そう」に関して は、3番目に多くの選択がされた検証項目(2)「ノス タルジー」とほぼ同数の選択数を獲得している。こ れらの結果はどのような点が要因となっているのだ 万うか。考えらえる点として、表現が内包する意味 の複雑さが挙げられる。「嬉しい」や「悲しい」は 単純にポジティブな気持ちかネガティブな気持ちと いう情報 “だけ”を含んでいる、ストレートで素直 な表現であるのに対し、「涙が出そう」は、嬉しい 意味での涙か、悲しい意味での涙か、またはその両方を含んだのか等、その一言から複数の感情が読み 取れる。つまり「エモい」とは、いくつもの感情が 重なった「なんとも言えない気持ち」に近いとも考 えられるだろう。

## 5 おわりに

本研究では、若者世代の間で浸透し広く使われるよ うになった「エモい」という表現に着目し、その表現が内包する意味と、「エモい」という心理に至る までのメカニズムを理解することを目標として調查 を行った。本研究で行った若者世代に対するアンケ 一トを利用した実態調査、関連文献をもとにした考察により、研究対象とされながらも、未だに漠然と していた「エモい」という感情表現について、具体的な定義の一つの侯補と、その心理状態を作り出す 要因やパターンを示唆できたことは、若者の感性や 心理にアプローチし、新たな流行やヒットトレンド を作り出すヒントに迫れたと言えるだろう。本研究 が今後の消費者心理に関する課題を解決する一助と なること願う。

## 参考文献

（注 1）消費者庁「平成 29 年版 消費者白書 第 1 部第 3 章【特集】若者の消費」，2017 https://www. caa. go. jp/policies/policy/consumer _research/white_paper/pdf/2017_whitepaper_0004 . pdf

（注 2）株式会社ネオマーケティング「若者の消費トレンドに関する調査」，2017 https://neom. jp/investigation/134/

（注 3）三省堂「三省堂 辞書を編む人が選ぶ 「今年の 新語 $2016 」 」$ 」, 2016 https://dictionary. sanseidopub1. co.jp/topic/shingo2016/2016Best10. htm1 （注 4）塩見ありさ「『“エモい、を解き明かす 〜文脈理解と物語構築の重要性〜』」, JAAA レポー卜臨時増刊号『第 49 回懸賞論文 入賞-入選作品集』, 2020

https://www. jaaa. ne. jp/wp-

content/uploads/2020/03/49award_08.pdf

(注 5）塩入諭「そもそも視覚の研究はなぜ必要?」,『VSION』(日本視覚学会) 巻 3 号, 152-154, 2021

https://www. jstage. jst. go. jp/article/vision/33 /3/33_152/_pdf/-char/ja

（注 6）佐藤隆夫「そもそも視覚の研究はなぜ必要?」『VSION』 (日本視覚学会) 巻 3 号, 179-181, 2021

https://www. jstage. jst. go. jp/article/vision/33 /4/33_179/_pdf/-char/ja


# zero-shot cross-lingual transfer における言語の多様性の効果

佐藤 匠真 ${ }^{1}$ 新納 浩幸 ${ }^{2}$
1 茨城大学工学部情報工学部 2 茨城大学大学院理工学研究科情報科学領域
19t4035n@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

mBERT のような多言語の事前学習済みモデルで は，あるタスクに対して言語 A で学習したモデル が別の言語 X の同じタスクに対してそのまま利用 できる，いわゆる zero-shot cross-lingual transfer が可能である. 本論文では上記の言語 $\mathrm{A}$ に当たる部分 を複数の言語を組み合わせた場合の効果について 調査する.タスクは Amazon レビューの評判分析と し，モデルを学習する言語を英語，ドイツ語，フラ ンス語の各組み合わせとした。そしてテストデー タは日本語の Amazon レビューの 2000 文書とし, zero-shot cross-lingual transfer を行った. 実験の結果,訓練データに言語の多様性を含める効果があること が判明した。

## 1 はじめに

近年, mBERT[1], XLM[2], XLM-RoBERTa-XL[3] など多言語間の汎用的な特徴表現を学習する多言語 の事前学習済みモデルが提案されている.このよう なモデルの応用の一つとして zero-shot cross-lingual transfer がある. zero-shot cross-lingual transfer は，あ るタスクに対して言語 A で fine-tunining したモデル を別の言語 X の同じタスクに対してそのまま利用 する手法である [4]. 通常，言語 Aを英語などのメ ジャーな言語，言語 $\mathrm{X}$ をリースが少ない，あるい はないようなマイナーな言語に設定することで，低資源言語の学習の問題解決に利用される.

一方, zero-shot cross-lingual transfer を行う場合，も とのモデルは単言語のモデルであっても可能である ことが示されており [5], 多言語の言語モデルにお ける言語の多様性が zero-shot cross-lingual transfer に 影響を与えているのかどうかがはっきりしていな い. 本研究では評判分析をタスクに設定して，この 点に対する調査を行う.

zero-shot cross-lingual transfer を行う際に，言語 A の訓練データの他に, 言語 $\mathrm{B}$ や言語 $\mathrm{C}$ の訓練データも 利用することで言語に多様性のある訓練データから 学習する場合と，それと同サイズの言語 A(あるい は B やC)の言語に多様性のない訓練データから学習する場合とどちらが zero-shot cross-lingual transfer において効果があるのかを調べる。

実験ではタスクを Amazon レビューの評判分析と し，上記言語 $\mathrm{A}, \mathrm{B}, \mathrm{C}$ を英語，ドイツ語，フランス 語，言語 $\mathrm{X}$ を本語とした。つまりテストデータ は日本語の Amazon レビュー文書である. 実験の結果，訓練データに言語の多様性を含める効果がある ことが判明した。

## 2 関連研究

## 2.1 Multilingual BERT

mBERT(Multilingual BERT) は BERT と同じモデル アーキテクチャと学習方法を持っている多言語の事前学習済みモデルである [1]. mBERT が事前学習に 用いる Wikipedia のデータには 104 の言語が含まれ ている. mBERT では WordPiece モデリングにより， モデルが言語間で埋め込み表現を共有することが出来ている。語彙には様々な言語のキャラクタが入っ ており，語彙数は約 12 万 token ある. 日本語の漢字 は 1 文字で 2 文字の漢字単語はない. 日本語のの 2 文字以上の token は約 1000 個ほどで，「になってい る」，「となっていた」などの長いものもある.

cross-lingual な表現学習をしたモデルとして Goyal らの XLM-R がある [6]. XLM-R は様々なクロスリ ンガルベンチマークにおいて mBERT より大幅に 優れている。また，XLM-R は低リソース言語にお いて特に優れた性能を示している。従来の XLM モ デルと比較して XNLI の精度がスワヒリ語やウル ドゥー語で向上している。このような，結果を得る ためには

・正の伝達と容量の希薄化

・高リソース言語と低リソース言語のスケール

のトレードオフが性能に関係している。さらに， XLM-R は GLUE と XLNI において強力な単言語モ デルと非常に高い競争力を有している.

## 2.2 zero-shot cross-lingual transfer

zero-shot cross-lingual transfer $は$ single-source transfer とも呼ばれ，ソース言語 (多くの場合，高リソース 言語) でモデルを訓練し，その後ターゲット言語へ 直接転送する手法である [4].

近年の BERT 等の事前学習済みモデルは，言語を またいだ転移学習が可能であることが知られてい る. 例えば英語やフランス語などの間には, 似た語彙も多く, 英語で学習した知識がフランス語のタス クに有用なのは当然のことである. さらに，この転移学習は事前学習用の言語 (L1) と微調整用の言語 (L2) との間に，共通の語彙が全く無くても可能であ る.この結果から，言語をまたいだ転移学習には人間の言語の何らかの構造的特徴が関連していると考 えられている。

Li らの事前学習された言語モデルにおける新た な cross-lingual 構造 [7] によると, 多言語エンコー ダの最上層に共有パラメータが存在するため, 単言語コーパス間で共有する語彙がない場合やテキス トが非常に異なる領域のものであっても zero-shot cross-lingual transfer が可能であると示されている.

Artexte らの単言語表現の言語伝達可能性につい て [5] では, 言語 L1 で事前学習された単言語モデル を言語 L2コーパスを利用し新しいトークンの埋め 込みを学習することにより新しい言語 L2 転送し た (共有サブワードの概念がない) モデルは最先端の 多言語モデルと zero-shot cross-lingual transfer ベンチ マークで同等に機能した.これは，多言語モデルで は語彙の共有も共同事前トレーニングも必要ないこ とを示している.

## 3 訓練データの言語の多様性

図 1のように英語のデータ 3300 文から訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ 作りそれぞれ E1，E2，E3とした。 ドイツ語も同様 に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3つ作りそれぞれ D1，D2，D3 とした. フ ランス後も同様に訓練データ 1000 文，検証データ 100 文，計 1100 文の組を 3 つ作りそれぞれ F1，F2， F3 とした.

図 11100 文の訓練データ

図 2 言語の多様性を持たせた 3300 文の訓練データ

さらに，訓練データに言語の多様性の違いを持た せるために図 2のように，図 1で作成したデータを 3 つ合わせて訓練データ 3000 文, 検証データ 300 文の 新たな組を作った. 1 つの言語から構成される言語 の多様性を持っていない E1E2E3，D1D2D3，F1F2F3 の 3 組，2つの言語から構成される言語の多様性 を持っているE1E2F1, E1E2D1, D1D2E1, D1D2F1, F1F2E1，F1F2D1の 6 組, 3つの言語から構成される 最も言語の多様性を持っている E1D1F1，E2D2F2， E3D3F3 の 3 組, 計 12 組を作成した.

zero-shot cross-lingual transfer を行うため訓練デー タには日本語を含んでいない。

## 4 実験

Google が公開している mBERT を用いた文書分類タスクで zero-shot cross-lingual transfer を行うとき に，訓練データに言語の多様性を持たせた場合の識別精度と持たせなかった場合の識別精度を比較し，

図 3 実験結果の平均値のグラフ

訓練データに言語の多様性を持たせる効果を確認 した.

## 4.1 事前学習済みモデル

Google で公開されているモデル (BERT-Base, Multilingual Cased) を使用した。これは Hugging Face 社の Transformers ライブラリから，モデル名'bertbase-multilingual-cased' で利用できるモデルである. The lagest Wikipedias 内でトップ 104 の言語のデータ が事前学習コーパスに利用されている.

## 4.2 実験用データセット

実験には Webis-CLS-10 データセット1を用いた. このデータセットには日本語，英語，ドイツ語，フ ランス語が収録されている．ラベルはレビューの星 の数であり，1 から 5 までの 5 段階評価である. た だし，ラベルが 3 のデータは存在しない. 本実験で はラベルが 1，2 のデータを negative，4，5 のデータ を positive として評判分析 (2 值分類)を行った.

このデータセットには日本語, 英語, ドイツ語, フランス語それぞれに books，dvd， music の 3 つの 領域がある．各言語の各領域に訓練データ 2000 文, テストデータ 2000 文がある. 本実験ではすべて music の領域のデータを用いた.

## 4.3 文書分類器の作成

作成した訓練データ 3000 文，検証データ 300 文 の 12 組で BERT-Base, Multilingual Cased に対して 10epoch の fine-tuning を行った.

## 4.4 実験結果

訓練データの言語の多様性で作成した訓練データ を用いて fine-tuning を行ったモデルで評判分析を解 いた.すべて日本語のテストデータ 2000 で評価し た. 単言語の訓練データで fine-tuning を行い評価を 行った場合の結果を表 1 ，訓練データの言語比 $2: 1$ で fine-tuning を行い評価を行った場合の結果を表 2に，訓練データの言語比 $1: 1: 1$ で fine-tuning を日本語で評価を行った結果を表3に示す。また，実験結果の平均値のグラフを図3に示す.

表 1 単言語での学習

表 2 言語比 2:1 での学習

表 3 言語比 1:1:1 での学習

実験結果より， mBERT を用いて zero-shot crosslingual transferを行う場合の訓練データは言語の多様性を含ませた場合の結果が最も良く, 単言語の場合の結果が最も悪いことがわかった.

## 5 考察

3節で作成した訓練データ 1000 文，検証データ 100 文の組を用いて fine-tuning を行ったモデルで 4節同様に日本語のテストデータを用いた zero-shot cross-lingual transfer を行った. 結果を表4に示す.

表 4 単言語の訓練データ 1000 文訓練データ 日本語で評価

E1 0.6940

E2 $\quad 0.7315$

E3 $\quad 0.7000$

D1 0.7660

D2 0.7005

D3 0.7480

F1 $\quad 0.6625$

F2 $\quad 0.7080$

英語，ドイツ語，フランス語の中で最も精度が良 かった E2，D1，F3 を用いて新たな組を作り，その 組で fine-tuning を行ったモデルで実験した. 精度は 0.7490 だった. これは，精度が良い訓練データを合 わせても精度が向上するわけではないことを示して いる.

さらに， zero-shot cross-lingual transfer ではない日本語の訓練データを用いた評判分析を解く場合に言語の多様性を持たせる効果を確認するために実験を 行った. 日本語の訓練データ 1000 文，検証データ 100 文の組 $\mathrm{J} 1$ を作成した。そして，J1を用いて 4節 で使用したモデルに対して fine-tuning を行い日本語 のテストデータ 2000 文で評価した. 実験結果を表 5に示す.表 5 日本語 1000 文で fine-tuning

表5より日本語を含む訓練データで fine-tuning す る場合も zero-shot cross-lingual transfer $の$ 場合と同様 に訓練データに言語の多様性を含ませた結果が多様性を含ませなかった場合より良くなった。しか し，J1の 1000 文だけで fine-tuning した結果は $\mathbf{0 . 8 2 6 5}$ だった. この結果は訓練データに目的言語データ が含まれている場合 (つまり zero-shot cross-lingual transfer ではない場合) は，訓練データに別言語の データを含ませない方ががよいことを示している. この点についてはさらに調査をする必要がある.

## 6 おわりに

本研究では mBERT を用いた zero-shot cross-lingual transfer を行うときに，訓練データとして 3 種類の 言語を含むデータ 3 組と 2 種類の言語を含むデー タ 6 組と単言語のデータ 3 組を作成し，それぞれで fine-tuning を行い評判分析で精度を比較した. 言語 の多様性を最も持たせた場合の精度が最もよく，単言語の場合の精度が最も悪かった。

また，zero-shot cross-lingual transfer ではない場合 の訓練データに言語の多様性を含めることの効果に ついて調べることを今後の課題とする.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同

研究（22FC04）の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining, 2019.

[3] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling, 2021.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 46234637, Online, July 2020. Association for Computational Linguistics.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.


# 公的なメールに対する BERT を用いたセンチメント分析

菊池理紗 1 大関洋平 1
1 東京大学大学院総合文化研究科
rs.kikuchi.11@gmail.com oseki@g.ecc.u-tokyo.ac.jp

## 概要

本研究は，公的な場面で書かれたメールを対象 に，読み手の抱く感情と，それに影響を与えるだろ う文章的特徴を明らかにすることを目的とした。は じめに，コーパスや心理実験から収集したメール を，WRIMEで再訓練した BERTを用いて，ネガティ ブ群・ニュートラル群・ポジティブ群に分類した.次に，各群のメールに対して形態素解析を行い，特徵量を算出した. 分析の結果，ネガティブ群は断り のメールが多く，他の 2 群よりも総文字数や名詞出現率，カタカナ形態素の出現率が低く, 動詞・助動詞の出現率，ひらがな形態素の出現率が高かった. また，ニュートラル群は，記号の出現率が高く，動詞出現率やひらがな形態素の出現率が低かった.

## 1 はじめに

日常生活において，文章は重要なコミュニケー ション手段の一つである。それは手書きのメモや 手紙に始まり，インターネットの発達を背景に開発された，電子メール（以下，メール）やTwitter， Facebook, Instagram, Slack といった様々なツールで も書かれている. これらのツールを媒介として産出 される文章は，文章を通して読み手とコミュニケー ションを行うことを目的としている.

文章は，書き手と読み手の相互作用の結果と捉え ることができる [1]. 特に，コミュニケーションを 前提とした文章では，書き手は，読み手の立場や自分と読み手の現在や未来の関係性，読み手の感情 に対する推測を理由に，文章表現を選択している $[2,3,4]$. 一方で，読み手は，略語の使用や言葉遣 い，文章から推測される書き手の感情などの影響を 受けて，様々な感情・印象を抱く [5, 6, 7]. すなわ ち，書き手と読み手の相互的な影響によって，文章 とそれに伴う感情が生み出されているといえる。

しかし，日本語の文章を対象としたこれまでの研究では，コミュニケーションを前提として産出され
た文章を対象とした研究は少なく, 読み手との関係性に着目した研究や読み手の抱く印象 - 感情と文章的特徵の関係を検討した研究はさらに限られる. そ こで，本研究では，コミュニケーションを前提とし た日本語の文章の中でも，公私共に用いることがで きるメールを対象に，読み手の抱く感情と，それに 影響を与える可能性のある文章的特徴を明らかに することを目的とする。なお，本研究においては，書き手と読み手の関係性は, 大学教員と学生, 大学事務職員と学生といった公的な関係性に限定する。 メールは大学の初年次教育でも取り上げられる媒体であり $[8,9]$, その一方で，大学生の書く公的な メールには不備があるという指摘もある $[10,11]$.本研究の成果は，今後の初年次教育における指導や メールの産出に対する一助となるだろう。

## 2 BERT によるセンチメント分析

## 2.1 カテゴリー個数の設定

センチメント分析とは，ある文章に含まれた感情極性を推測する分析手法であり，この場合，推測さ れるのは，書き手の感情と考えられる．しかし，あ る文章を読んだとき，読み手の感情は，その読み手 が書き手の感情だと推測したものと対応して生じる [6]. すなわち，文章に含まれる感情極性を分析する ことにより，それを読んだ際の読み手の感情を間接的に推測することが可能であるといえる.

英語においては，The Enron Email Dataset ${ }^{11}$ を 用いたメールのセンチメント分析が存在する $[12,13,14,15]$. これらの研究から，メールは，ネガ ティブ・ニュートラル・ポジティブの 3 種類に分類 できると明らかになった。したがって，本研究にお いても，感情極性が 3 種類であることを前提に分析 を行った。

## 2.2 分析のモデル

センチメント分析には，極性辞書を用いて単語 に感情極性を付与する [12,13]，TF-IDF 値をもとに k-means 法でグループ化する [14]，単語の極性をま とめたデータセットを用いて Support Vector Machine で分類する [15] といった様々な分析手法がある. し かし，極性辞書は単語の極性ラベルであり，文章全体を包括したラベルではない。 また，k-means 法を 用いた分類は，後続の研究 [15] でクラスタとラべ ルの間の関連が不明であるという指摘がある. そこ で，本研究では，文章の特徴量と極性ラベルの関係性を BERTに学習させ，それを用いてメールを分類 した. 具体的には，「WRIME：主観と客観の感情分析データセット ver.2 2 ㄱ $^{2}$ [16] を用いて事前学習済み BERT モデルを再訓練し，分類を行った。

WRIME は，日本語の文章の感情分析を行うため のデータセットであり，35,000 件の SNS の投稿につ いて，投稿者と 3 名の読み手が 8 種類の基本感情の 強度 $(0$ : 無〜 3 : 強の 4 段階) と感情極性 ( -2 : 強 いネガティブ〜 2 : 強いポジティブの 5 段階）のラ ベルを付与したものである. 本データセットを学習 データとして採用した理由は，ラベルが文章全体に 対して付与されており，かつ，SNS の投稿を使用し ているためである. SNS は，コミュニケーションを 目的として用いられるツールであり，「話し言葉の 要素を多く含む新しい書き言葉」[17] と定義される 「打ち言葉」を用いている点が, 本研究の分析対象 であるメールと共通している。加えて, 既に Twitter のセンチメント分析を行う際の学習データセットと して利用されている $[18,19]$. したがって, WRIME で再訓練を行うことで，より的確にセンチメント分析が行えると考えた。

また，読み手が付与したラベルを BERT に学習さ せた場合に，書き手の感情を最も正しく判断するこ とが指摘されているため [16], 本研究では, 3 名の 読み手が付与した感情極性の平均値をラベルとし て採用した. さらに，前節で述べたように，メール は 3 種類に分類できることから，5 段階の感情極性 のうち，強いネガティブと弱いネガティブは「ネガ ティブ」, 強いポジティブと弱いポジティブは「ポジ ティブ」としてまとめ，ニュートラルを含めた 3 段階のラベルとして扱うこととした．なお，ラベル数 は，ネガティブが 12,155 件，ニュートラルが 11,462件，ポジティブが 11,383 件である.

BERT モデルは，事前学習済みモデル bert-basejapanese-v2 ${ }^{3}$ )を用いた. BERT モデルの実装には， Hugging Face Transformers ${ }^{4}$ )を使用し, 先行研究を参考に，学習率やバッチサイズ，エポック数を検討し た. その中で最も accuracy が高かった設定を用い,学習率を $2 \mathrm{e}-5$ ，バッチサイズを 32 ，ドロップアウ 卜率を 01，最適化手法を AdamW [20] として， 3 エ ポックの訓練を行った $($ accuracy $=0.674)$.

## 2.3 分析対象

現在，日本では，The Enron Email Dataset のような 大規模なメールデータセットは存在しない。そのた め，2 種類のメールコーパスと第一著者が心理実験 [21,22]を通して収集したメール（計 358 通）を分析対象とした。使用したコーパスは，金澤（2014）の 「日本語教育のためのタスク別書き言葉コーパス」 [23] と東（2020）の「中国語・韓国語を母語とする 日本語学習者縦断的メール文コーパス」[24]であ る.これらのコーパスには，日本語母語話者と中国語母語話者，韓国語母語話者の作成したメールが収録されている. 本研究では，その中から日本語母語話者が産出したメールのみを使用した。

また，「日本語教育のためのタスク別書き言葉 コーパス」には，公的なメール以外の文章も含まれ ていたため，「メール」と明記され，かつ，読み手が 大学教員であるタスク 1 ，タスク 4，タスク 7，タス ク 10 のメール（計 120 通）のみを使用した。同様 に，「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」においても，読み手が教員 であるタスク 1 ，タスク 3 ，タスク 4，タスク 7 ，夕 スク8のメール（計 145 通）のみを使用した。

心理実験では, 計 93 名の参加者に対して, 同じ課題内容で 2 回メールを書かせた。これについては,上述の 2 種類のメールコーパスと条件を合わせるた め，1 回目に書かれたメール（93 通）のみを使用し た。なお，上述のコーパスを含めた各メールの読み 手と課題内容を表 1 に示した. 課題内容の「依頼」「断り」「意見」などの分類は，元のコーパスにおけ るタスク内容の説明から引用した。

2) https://github.com/ids-cv/wrime
表 1 各コーパスのタスク内容とセンチメント分析の結果

## 2.4 分析結果

358 通のメールは，45 通がネガティブ， 149 通が ニュートラル，164 通がポジティブに分類された (表 1 の「感情極性」を参照).メールの内訳を検討 したところ，ネガティブに分類されたメールが特定 のタスクに偏っている可能性が考えられた. そのた め, 同じ読み手に対して異なる内容のメールを書 いている東（2020）の「中国語・韓国語を母語とす る日本語学習者縦断的メール文コーパス」のタス ク 3，タスク 4，タスク 7，タスク 8 の計 116 通に ついて，対数線形モデルを適用して検討した. 読 み手との親踈 (親密, 疎遠), 課題内容 (依頼, 断 り)，感情極性（ネガティブ，ニュートラル，ポジ ティブ）という三つの要因が，各感情極性に分類 されたメールの通数に影響を及ぼすと仮定して分析を行った結果，課題内容と感情極性の 1 次の交互作用とそれぞれの主効果を含んだ飽和モデル が適切であった $\left(\mathrm{x}^{2}(4)=3.920, d f=6, p=.69\right)$. ま た, 交互作用のうち, 課題内容が「断り」の場合 に「ネガティブ」に分類されたメールが多かった（ $u=4.22, z=3.96, p<.01)$. したがって, 感情極性と メールの文章的特徵の関係を検討する際には，メー ルの内容も考慮に入れて考える必要がある.

## 3 各感情極性の文章的特徵量の算出

各感情極性に分類されたメールの特徴を検討する ため，件名を除いたメールの総文字数と下記の項目 を算出した (表 2 を参照).これらの特徴量は，テキ スト分類や著者推定，文章の難易度判定を行う際に 用いられることの多い指標であり $[25,26,27]$, ウェ
ブサイト「文体診断ロゴーン」5) でも診断の根拠と して算出されるものである.

(1-a) 平均文長 : 句点（総文字数 $\div$ 区点の数）

（1-b）平均文長 : 記号（総文字数 $\div$ 句点 - 疑問符 $\cdot$感嘆符・改行で区切られた回数）

(2) 平均句読点間隔（総文字数 $\div$ 句読点の数）

(3) 特殊語出現率（記号の数 $\div$ 総形態素数）

（4）名詞出現率（名詞の数 $\div$ 総形態素数）

（5）動詞出現率（動詞の数 $\div$ 総形態素数）

（6）助詞出現率（助詞の数 $\div$ 総形態素数）

(7) 助動詞出現率 (助動詞の数 $\div$ 総形態素数)

（8）ひらがな出現率（ひらがなのみで構成される 形態素の数 $\div$ 総形態素数)

（9）カタカナ出現率（カタカナのみで構成される 形態素の数 $\div$ 総形態素数 $)$

（10）異なり形態素比率（頻度 1 の形態素の数 $\div$総形態素数)

なお，平均文長は 2 種類を算出した.メールでは，宛名や署名が書かれることが多く, それらの末尾に は句点を使用しないためである. 本研究では, 宛名 や署名，メールアドレス，電話番号などは改行を基準に各 1 文と数え，かつ，疑問符や感嘆符が使用さ れた文も 1 文と数えた場合の平均文長も算出した.

算出した各特徴量について，感情極性を要因とし た 1 要因 3 水準の参加者間分散分析を行い，有意差 がみられた場合は，Shaffer 法を用いた多重比較を 行った. 分析の結果, 総文字数は, ネガティブ群が 他の群に比べて有意に少なく $(\mathrm{F}(2,355)=23.22, \mathrm{p}$ <.01), 平均文長は, 句点のみで計算した場合にの み，ネガティブ群が最も短く, ニュートラル群が 最も長いという結果がえられた $(\mathrm{F}(2,355)=13.60$,

4) https://huggingface.co/docs/transformers/index

5) http://logoon.org/
表 2 各感情極性に分類されたメールの文章的特徴量

注：表の数字は平均值. ( ) は標準偏差.

$\mathrm{p}<.01$ ） 記号や改行も含めて計算した場合の平均文長，また，平均句読点間隔では，群間に差はみら れなかった（平均文長：記号： $\mathrm{F}(2,355)=1.93$, n.s.,平均句読点間隔： $\mathrm{F}(2,355)=0.63$, n.s.). これらに加 えて, 特殊語出現率は, ネガティブ群が最も低く, ニュートラル群が最も高かった $(\mathrm{F}(2,355)=9.47, \mathrm{p}$ <.01). すなわち，ネガティブ群は，文章全体の長 さが短く, 句点で文を区切ることが多いと推察でき る. 一方で，ニュートラル群は，ポジティブ群と比較すると，より多くの記号を用いており，文の区切 りでも句点を使うことがより少ないと考えられる.

続いて，各形態素の出現率をみると，名詞出現率 は，ネガティブ群が他の 2 群よりも低く $(\mathrm{F}(2,355)=$ $13.79, \mathrm{p}<.01)$, 動詞出現率は, ニュートラル群が最 も低く，ネガティブ群が最も高かった $(\mathrm{F}(2,355)=$ $18.36, \mathrm{p}<.01$ ). 助詞出現率は, 有意差がみられな かった $(\mathrm{F}(2,355)=2.85$, n.s.). しかし, 助動詞出現率は, ポジティブ群が最も低く, ネガティブ群が最 も高かった $(\mathrm{F}(2,355)=26.30, \mathrm{p}<.01)$. 前章の対数線形モデルの結果をるまえると，ネガティブ群は断 りのメールが多かったために「〜できない」といっ た「動詞十助動詞：ない」といった組み合わせがみ られた可能性が推察される. 対照的に，ニュートラ ル群やポジティブ群には, 金澤（2014）の「日本語教育のためのタスク別書き言葉コーパス」のタスク 7 で書かれた，故郷の観光地や名物を説明するメー ルが含まれるため, 名詞の数が多くなったと考えら れる. この点については, 今後, 各群で使用されて いる語彙を詳しく検討することで確認したい。

最後に，表記については，ひらがな出現率は， ニュートラル群が最も低く, ネガティブ群が最も高 かった $(\mathrm{F}(2,355)=19.07, \mathrm{p}<.01)$. カタカナ出現率 は，ネガティブ群が他の 2 群より低かった（ $\mathrm{F}(2,355)$ $=3.59, \mathrm{p}<.01)$. 加えて, 頻度 1 の形態素の割合を 示す，異なり形態素比率は，ネガティブ群が他の 2群よりも高かった $(\mathrm{F}(2,355)=42.50, \mathrm{p}<.01)$. これ らについても，どのような語彙が使用されていたの かを中心に, 今後の研究で改めて検討したい.

## 4 おわりに

本研究で得られた結果からは，「断り」を目的と するメールがネガティブ群に多く分類されたことか ら，内容と感情極性の関係性が示唆された。また， ネガティブ群に分類されたメールは，他の 2 群とは 異なり，総文字数や句点のみを用いた平均文長が少 なく, 特殊語出現率, 名詞出現率, カタカナ出現率 が低く, 動詞出現率, 助動詞出現率, ひらがな出現率が高かった. 一方で，ニュートラル群に分類され たメールは, ポジティブ群と比較して, 句点のみを 用いた平均文長が長く, 特殊語出現率と助動詞出現率が高く, 動詞出現率とひらがな出現率が低かっ た. 今後, 具体的な使用語彙も加えて, 更なる検討 を行う必要があるが，感情極性と文章の特徴量との 関係について，一定の法則性を示すことができた。

先行研究では, 名詞出現率が高い文章は, 低い文章よりもわかりやすいという指摘がある [28]. ま た，語彙の選び方や，ひらがな出現率・カタカナ出現率は，文章の難易度判定にも用いられる指標であ る $[29,30]$ ことから, 今後の研究として, 文章難易度 と感情極性の関連を検討することもできるだろう。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 および JSPS 科研費 JP21H05061 の支援を受けたものです.

## 参考文献

[1] Martin Nystrand. A social-interactive model of writing. Written Communication, Vol. 6, No. 1, pp. 66-85, 1986.

[2] Lee Odell and Dixie Goswami. Writing in a non-academic setting. Research in the Teaching of English, Vol. 26, No. 3, pp. 201-223, 1982.

[3] 大浦理恵子, 安永悟. 読み手を特定することが文章産出におよぼす効果. 久留米大学心理学研究, Vol. 6, pp. 11-20, 2007.

[4] 菊池理紗. 好ましいメールの産出において考慮さ れる要因の関係. 読書科学, Vol. 62, No. 1, pp. 26-42, 2021.

[5] WGaray Lewandowski Jr. and Samantha Harrington. The influence of phonetic abbreviations on evaluation of student performance. Current Research in Social Psychology, Vol. 11, No. 15, pp. 215-226, 2006.

[6] 加藤尚吾加藤由樹, 杉村和枝, 赤堀㑆司. テキストコ ミュニケーションにおける受信者の感情面に及ぼ す感情特性の影響一電子メールを用いた実験によ る検討一. 日本教育工学会論文誌, Vol. 31, No. 4, pp. 403-414, 2008.

[7] 坂本真樹紺野倭人. メールの印象を考慮した文章提案システムの構築に関する研究. 人工知能学会第 31 回全国大会論文集, pp. 1-2, 2017.

[8] 高松正毅. 初年次教育におけるアカデミック・リテ ラシー教育の位置と大学教育の問題点. 高崎経済大学論集, Vol. 51, No. 3, pp. 51-65, 2008.

[9] 杉本あゆみ. 初年次教育におけるアクティブラー ニング実践報告ーグローバルキャンパスでの試行一. 千葉経済大学短期大学部研究紀要, Vol. 14, pp. 105-117, 2018.

[10] 布川博士佐藤究. リアリティのある環境の中に埋め 込んだ大学生のメールリテラシ教育の実験一研究室 の事例第 2 報 (2014 年度実験)一. 情報処理学会研究報告, Vol. 2015, pp. 26-42.

[11] 太田陽子. 依頼メール作成タスクに見る大学生のポ ライトネス意識. 相模国文, Vol. 42, pp. 125-136, 2015.

[12] Sudheendra Hangal and Monica S Lam. Sentiment analysis on personal email archives. Proceedings of the 24th annual ACM symposium on User interface software and technology, 2011.

[13] Saif M Mohammad and Wenda Tony Yang. Tracking sentiment in mail: How fgenders differ on emotional axes. Proceedings of the ACL 2011 Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 70-79, 2013.

[14] Sisi Liu and Ickjai Lee. Email sentiment analysis through k-means labeling and support vector machine classification. Cybernetics Systems, Vol. 49, No. 3, pp. 181-199, 2018 .

[15] Salah Hag Rayan Ali and Neamat El Gayer. Sentiment analysis using unlabeled email data. 2019 International Conference on Computational Intelligence and Knowledge Economy, pp. 328-333, 2019.

[16] Noriko Takemura Yuta Nakashima Tomoyuki Kajiwara, Chenhui Chu and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[17] 文化審議会国語分科会.(編). 分かり合うための言語 コミュニケーション（報告）

[18] Hidetsugu Nanba Satoshi Fukuda and Hiroko Shoji. Analysis of international public emotional responses toward the covid-19 vaccine. 2022 12th International Congress on Advanced Applied Informatics., 2022.

[19] Kongmeng Liew Eiji Aramaki Partick Ramos, Kiki Ferawati and Shoko Wakamiya. Emotion analysis of writers and readers of japanese tweet on vaccinations. Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 95-103, 2022

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[21]菊池理紗. 文章を用いたやり取りにおける好ましさ の解明一公的な電子メールを対象として一. 2021.

[22] 菊池理紗. 提示情報がメールの産出に与え る影響一好ましさと特徵語に着目して一。日本教育心理学会第 64 回総会発表論文集, 2022. https://www.jstage.jst.go.jp/article/ pamjaep/64/0/64_163/_article/-char/ja/.

[23] 金澤裕之. 日本語教育のためのタスク別書き言葉 コーパス. 2014.

[24] 東会娟. 中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス. 2020. http: //emailtest.sakura.ne.jp/data/.

[25] 浅石卓真. テキストの特徴を計量する指標の概観.日本図書館情報学会誌, Vol. 63, No. 3, pp. 159-169, 2017.

[26] 野松道子 久野高志 上田修一石田栄美. 文体からみた 学術的文献の特徴分析. 2004 年度三田図書館情報学会研究大会発表論文集, pp. 33-36, 2004.

[27] 亀田雅之. 石岡恒憲.コンピュータによる日本語小論文の自動採点システム. 日本計算機統計学会シンポ ジウム論文集, pp. 153-156, 2002.

[28] 蓮見陽子. 同一情報に基づく文章表現の印象・評価 の差異について. 学習院大学人文科学論集, Vol. 2, pp. 43-67, 1993.

[29] 山田尚勇建石由佳. 日本文の読みやすさの評価式.文書処理とヒューマンインターフェース, Vol. 18, pp. 1-8, 1988 .

[30] Suguru Matsuyosyi Satoshi Sato and Yohsuke Kondoh. Automatic assessment of japanese text readability based on a textbook corpus. Proceedings of the International Conference on Language Resources and Evaluation, Vol. 8, pp. 654-660, 2008.