# An Experimental Evaluation of Japanese Tokenizers for Sentiment-Based Text Classification

Andre Rusli Makoto Shishido
Graduate School of Advanced Science and Technology
Tokyo Denki University
\{20udc91@ms.,shishido@mail.\}dendai.ac.jp

## 1 Introduction

One popular utilization of machine learning text classification in the industry is sentiment-based classification. While there has been significant progress in sentiment analysis for high-resource languages, such as English, not much effort has been invested in analyzing Japanese due to its sparse nature and the dependency on large datasets required by deep learning [1]. In many languages, words are often considered as the basic unit of texts. Several works of research also show that when using n-gram language models, word n-grams are relatively better than character n-grams to convert texts into tokens when building a text classification model [2, 3].

Japanese texts pose different challenges for a machine learning algorithm to perform well. Sentences in Japanese contain no whitespace between words, so the common preprocessing phase to explicitly split words based on whitespaces could not be easily conducted. In addition, the combination of characters in a sentence could vary and may be ambiguous as they could have different meanings depending on the combinations. Many works of research have developed morphological analysis tools for Japanese language. Some of the popular tools for morphological analysis tools for Japanese are including MeCab [4, 5], Sudachi [6], and SentencePiece [7].

In this article, we focus on utilizing one of the many features provided by the previously mentioned tools which is the tokenizer for segmenting Japanese texts by words or subwords. Furthermore, this research then implements the tokenizer as a preprocessing step towards building supervised sentiment-based text classification models with Term Frequency-Inverse Document
Frequency (TF-IDF) vectorization. We use Multinomial Naïve Bayes and Logistic Regression to build the classification model and to provide comparison between two popular traditional machine learning algorithms which are often used as baseline classifiers. Moreover, relatively low model complexity and higher level of interpretability [8], when compared to advanced deep learning algorithms, are also preferable.

## 2 Related Works

MeCab, Sudachi, and SentencePiece as morphological analysis tools have been used in many works of research in natural language processing. Although it is not exactly a newly proposed tool (the last update on its GitHub repository is version 0.996 in February 2013 [4]), MeCab is still used extensively as a word segmentation tool for preprocessing Japanese text in recent years. One example is the work by Zhang and LeCun [9], in which MeCab is used to segment texts in Japanese and Korean (with additional model in Korean language). Sudachi is another tool that mainly emphasizes the focus on continuous maintenance and feature richness, as it aims to support business use. It is also currently used by spaCy [10], a well-known library in NLP, as a tool for their pretrained statistical model for Japanese.

SentencePiece, on the other hand, is a tool for subword segmentation that uses a different approach. The authors describe SentencePiece as a language-independent subword tokenizer and detokenizer designed for Neuralbased text processing [7]. While using a different approach with focus on providing a method to support language-independent multilingual text processing, its performance is shown to be effective for various tasks, such as English-Japanese neural machine translation [7],

Japanese news text classification [11], and sentiment analysis in Japanese [1]. However, even though many articles have shown the ability of each tools to be utilized for various tasks in natural language processing, works that provide a hand-in-hand comparison between the features provided by the tools in the same environment and configurations are still hard to find.

Regarding text classification tasks for Japanese texts, many recent works experiment with complex models using various deep learning approaches such as BERT [1, 11], Bidirectional LSTM-RNN [12], and Quasi-RNN and Transformer model [13], most are competing to achieve state-of-the-art performance. In our early work presented in this article, we aim to experiment with and report text classification results on baseline traditional algorithms with less computational cost and more interpretability.

Two classifiers used in our work are the Multinomial Naïve Bayes and Logistic Regression. Logistic Regression, which used to be the default choice for text classification, can be found used as a baseline linear model for Japanese text classification such as in $[1,9,14]$. Many researchers are also still exploring the potential and possibility of enhancing Multinomial Naïve Bayes' ability as a classification method, such as in [15]. By using these two methods, we emphasize more on the tokenization tools, rather than the classification algorithms. In addition, to also provide reports on the performance of traditional machine learning algorithms which with its limitations could still perform well. The goals of our current study are summarized as follows:
- Experiment with tokenizers provided by MeCab, Sudachi, and SentencePiece, then use the tokenization results to build models for binary sentiment-based text classification using TF-IDF with Multinomial Naïve Bayes and Logistic Regression.
- Compare and report the performance results in terms of time and error percentages.

## 3 Experimental Setup

## 3.1 Dataset

Our study is based on the Japanese Rakuten product review binary sentiment dataset provided in [9]. The datasets (both train and test set), which are available as
CSV files, consist of three columns supposedly the binary sentiment label, review title, and review text, with examples such as the followings:
- Label: 1 (negative)

Review title: 臭い

Review text: 余りにも、匂いがきつく安物み たいです。いn安いから仕方ないかな？
- Label: 2 (positive)

Review title: 早いし安い

Review text: 毎回利用しています。納品が早 いし何よりお安く大変便利です。また利用し ます。

We use the binary sentiment label and review text and we randomly sampled $10 \%$ of the provided training and testing data and only used the sampled $10 \%$ of the total data in our experiments, that is 340,000 reviews for training and 40,000 reviews for testing as we aim to experiment with many configurations in a limited setting.

## 3.2 System Specifications

The experiments are conducted by using Python 3.7 and Jupyter Notebook, running on an Ubuntu virtual machine provided by Google Compute Engine, using a machine type c2-standard-4 with 4 vCPUs and 16 GB memory. However, it is also possible to run all of the experiments on Google Colaboratory. For the tokenization tools, we use the available MeCab (mecabpython3 1.0.3), Sudachi (SudachiPy 0.5.1), and SentencePiece (sentencepiece 0.1.94) packages available via the Python Package Index (PyPI) [16]. As for the TFIDF vectorizer, Multinomial Naïve Bayes classifier, and Logistic Regression classifier, we used packages provided by Scikit-learn $[17,18]$.

## 3.3 Methods

After preparing our environment specifications as previously described, we could then proceed to conduct our experiments. The overall flow of our experiments can be seen in Fig. 1. After the original Rakuten binary dataset is downloaded, firstly, we randomly sampled ten percent of the provided train and test data, resulting in a total of 340,000 train data and 40,000 test data.

We then proceed to train a SentencePiece (SP) model based on the sampled train data, setting the vocab_size parameter as 32,000 . We initially chose 32,000 based on the result shown in experiments in a previous work by

Yohei Kikuta [11].

Fig. 1. Flow of the experiments conducted in our study

Unlike SentencePiece, Sudachi has its own dictionary with different sizes and MeCab can be integrated with various existing dictionaries in order to perform tokenization, so there is no need for more pre-training. We use Sudachi's core dictionary for surface-form tokenization using Sudachi, and we use the unidic-lite dictionary for tokenization with MeCab. Furthermore, before building our classification model, we experimented with few randomly selected reviews to get a glimpse of the tokenization results by the three different tokenizers.

After that, using each tokenizer, we vectorize all the reviews in the training set to create matrices of TF-IDF values which will then be used to build our classification model. In this process, we also calculated the time spent by each tokenizer to process various number of train data into their TF-IDF values. We then use the vectorized data to build two classification models for each tokenizer, one using the Multinomial Naïve Bayes (MNB) classifier, and another one using the Logistic Regression (LR) classifier. Finally, we test our models to classify reviews in the test set and evaluate the error percentages.

## 4 Results and Analysis

## 4.1 Tokenization Result

We selected several review texts from the train and test set, then try to segment the words or subwords in order to experiment with each tokenizer. Vocab_size $=32,000$ is used for the SentencePiece model. Some parts of review texts along with their tokenization results are as follows.

1. Review text: “自転車通勤用に購入。サックス を選びましたが、..."

a. MeCab: ['自転', '車', '通勤', '用', 'に', '購入', '。 ', 'サックス', 'を', '選び', 'まし', 'た', 'が', ...]

b. Sudachi: ['自転車', '通勤用', 'に', '購入', '。', ' サックス', 'を', '選び', 'まし', 'た', 'が', ...]

c. SentencePiece: ['-','自転車通勤', '用に購入', '。', 'サックス', 'を選びましたが', ...]

2. Review text: “かわいいです $(* \wedge 。 \wedge *) \backslash n$ パソコ >..."

a. MeCab: ['かわいい', 'です', '(', '*^。^*)リ', 'n', 'パソコン', ...]

b. Sudachi: ['かわいい', 'です', '(*^。^*)', 'ไ', 'n', 'パソコン', ...]

c. SentencePiece: ['-', 'かわいいです', '(*^。 ^*)', '》', 'n', 'パソコン', ...]

The examples provided above are randomly selected and might not be fully representative to showcase the full capabilities of each tokenizer, however, some general similarities and differences can be observed. Compared to MeCab and Sudachi, tokens generated by SentencePiece are not based on any formal dictionary, so there are words or subwords that does not match formal Japanese dictionary, for example the token “便利ですね” ("benridesune") which is usually segmented into three words ("benri", "desu", and "ne") but treated as one token. Moreover, although tokens generated by MeCab and Sudachi are generally similar, there are some characters that are treated different depending on the context they are in. For example, the words “自転車通勤用” and the combination of characters comprising the emoji " $(* \wedge$ 。 $\wedge *$ )", are segmented differently in $\mathrm{MeCab}$ and Sudachi. Sudachi could divide the characters into [“自転車”(bicycle), “通勤用”(for commuting)] and treat the whole emoji as one union, while MeCab further separate the combination into [“自転”, “車”, “通勤”, “用”] and
$\left[“\left(", " * \wedge_{\circ} \wedge *\right) \backslash \backslash\right]$.

## 4.2 TF-IDF Vectorization

We then proceed to use each tokenizer to vectorize the all texts in our train data (340,000 review texts) using TFIDF and calculate the time elapsed. As can be seen in Table 1, SentencePiece is the fastest while MeCab is only slightly slower, and Sudachi needs the longest time. This might be caused by Sudachi's focus in providing high quality segmentation based on its continuously updated rules and dictionary that enable it to divide words as can be seen in the previous paragraph.

Table 1. Elapsed time to vectorize TF-IDF values

## 4.3 Text Classification Models

After observing the tokens generated by each tokenizer and calculated the time elapsed to vectorize TF-IDF values, we proceed to use the TF-IDF values generated by each tokenizer and train two models using Logistic Regression (LR) and Multinomial Naïve Bayes (MNB). We could observe the effect of each tokenizer, with varying tokenization approaches and time elapsed to generate the TF-IDF values, on the classification performances in Table 2.

Table 2. Classification error percentages

 &  \\

In our experiment using linear model such as Logistic Regression, and also Multinomial Naïve Bayes, with TFIDF vectorizer, the combination of SentencePiece with Logistic Regression outperforms the others with 6.54 error percentage on the training set and 8.02 error percentage on the testing set. We can see that even though the segmentation results by SentencePiece are quite different with the other tokenizers' results, it seems to work well on a linear classifier to solve binary classification problem. Another finding is that in our task, even though Sudachi, with its 'surface form' tokenization, could perform relatively better word segmentation, the resulting classification model could perform only slightly better than $\mathrm{MeCab}$, despite taking the longest elapsed time in the vectorization phase.

Furthermore, using the best performing model in Table 2 (Logistic Regression with SentencePiece), we then perform a hyperparameter tuning process for Logistic Regression using grid search and repeated stratified k-fold cross validator from Scikit-learn. Table 3 shows the error percentages of our final model (train error: 6.54, test error: 8.02) using the following hyperparameters on the Logistic Regression classifier: $\mathrm{C}=10$, penalty=' 12 ', solver='lbfgs'.

Table 3. Error percentages after hyperparameter tuning

## 5 Conclusion and Future Work

Our experiments showed the results of an experimental evaluation of three popular tokenization tools, MeCab, Sudachi, and SentencePiece, for processing Japanese texts. The resulting tokens are then used to train text classification models using TF-IDF with Logistic Regression and Multinomial Naïve Bayes. We found that the generated tokens from Sudachi are more likely to match dictionary results and common words understood by human, however, MeCab and SentencePiece are significantly faster. Moreover, even though tokens generated by SentencePiece are limited to its training data and might not match common dictionary results, they perform better for our dataset, which is a binary sentiment-based text classification task. Finally, the combination of SentencePiece, TF-IDF, and Logistic Regression achieved the best performance with 5.56 training error percentage and 7.78 testing error percentage.

This article reported the result of an ongoing research work. Some future research steps include experimenting with various n-gram configurations and other hyperparameters, using multi-class and bigger datasets, training multi-lingual models, and experimenting with various shallow and deep learning approaches.

## References

[1] E. Bataa and J. Wu, "An Investigation of Transfer Learning-Based Sentiment Analysis in Japanese,"
in 57th Annual Meeting of the Association for Computational Linguistics, Florence, 2019.

[2] A. H. A. M. Siagian and M. Aritsugi, "Robustness of Word and Character N-gram Combinations in Detecting Deceptive and Truthful Opinions," ACM Journal of Data and Information Quality, vol. 12, no. 1, pp. 5:1-5:24, 2020.

[3] N. Y. Hassan, W. H. Gomaa, G. A. Khoriba and M. H. Haggaq, "Credibility Detection in Twitter Using Word N-gram Analysis and Supervised Machine Learning Techniques," International Journal of Intelligent Engineering and Systems, vol. 13, no. 1, pp. 291-300, 2020.

[4] "MeCab: Yet Another Part-of-Speech and Morphological Analyzer," 18 February 2013. [Online]. Available:

http://taku910.github.io/mecab/. [Accessed 11 December 2020].

[5] T. Kudo, K. Yamamoto and Y. Matsumoto, "Applying Conditional Random Fields to Japanese Morphological Analysis," in Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, Barcelona, 2004.

[6] K. Takaoka, S. Hisamoto, N. Kawahara, M. Sakamoto, Y. Uchida and Y. Matsumoto, "Sudachi: a Japanese Tokenizer for Business," in Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, 2018.

[7] T. Kudo and J. Richardson, "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing," in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, Brussels, 2018.

[8] K. Kowsari, K. J. Meimandi, M. Heidarysafa, S. Mendu, L. Barnes and D. Brown, "Text Classification Algorithms: A Survey," Information, vol. 10, no. 4, p. 150, 2019.

[9] X. Zhang and Y. LeCun, "Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?," arXiv:1708.02657v2 [cs.CL], 2017.

[10] Explosion AI, "spaCy.io," Explosion AI, 1 July 2020. [Online]. Available: https://spacy.io/models/ja. [Accessed 17 December 2020].

[11] Y. Kikuta, "Bert pretrained model trained on japanese wikipedia articles," GitHub, 2019. [Online]. Available: https://github.com/yoheikikuta/bert-japanese. [Accessed 17 December 2020].

[12] L. Nio and K. Murakami, "Japanese Sentiment Classification Using Bidirectional Long Short-
Term Memory Recurrent Neural Network," in Proceedings of the 24th Annual Meetings of the Association for Natural Language Processing, Okayama, 2018.

[13] Y. Ke and M. Hagiwara, "Subcharacter Embeddings' Preference on Neural Networks," in Proceedings of the 25th Annual Meeting of the Association of Natural Language Processing, Nagoya, 2019.

[14] B. Sun, L. Yang, P. Dong, W. Zhang, J. Dong and C. Young, "Super Characters: A Conversion from Sentiment Classification to Image Classification," in Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, Brussels, 2018.

[15] Z. Qu, X. Song, S. Zheng, X. Wang, X. Song and Z. Li, "Improved Bayes Method Based on TF-IDF Feature and Grade Factor Feature for Chinese Information Classification," in 2018 IEEE International Conference on Big Data and Smart Computing, Shanghai, 2018.

[16] The Python Package Index, "The Python Package Index," Python Software Foundation, 2021. [Online]. Available: https://pypi.org. [Accessed 4 January 2021].

[17] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher and P, "Scikit-learn: Machine Learning in Python," Journal of Machine Learning Research, vol. 12, pp. 2825-2830, 2011.

[18] Scikit-learn, "Scikit-learn," 2020. [Online]. Available: http://scikit-learn.org. [Accessed 4 January 2021].


# 後段モデルの損失値を用いた単語分割のタスクへの最適化

平岡達也 ${ }^{\dagger}$, 高瀬翔 $\dagger$, 内海慶 ${ }^{\ddagger}$, 欅惇志 $\ddagger$, 岡崎直観 $\dagger$
†東京工業大学‡デンソーアイティーラボラトリ
\{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp
\{kuchiumi, akeyaki\}@d-itlab.co.jp

## 1 はじめに

単語分割は自然言語処理の性能に影響を与える 重要な処理である．単語分割にはルールベースの手法 [1] や辞書を用いた手法 [2]，教師なしの手法 [3,4] が用いられており，単語分割の違いが後段タスクの 性能の差に繋がることがわかっている $[5,6,7,8]$. しかし，ある単語分割が後段タスクに適切かどうか は，実際に分割済みのコーパスで後段モデルを学習 し性能を評価するまで分からないため，適切な単語分割を人手で選択することは難しい。

近年では，後段タスクに応じて単語分割を自動 で最適化する手法が研究されている. IncrementalBPE [9] やDPE [10] は, 機械翻訳タスクの性能向上に 繋がるような単語分割を求める手法である。また， OpTok [11] は文書分類タスクにおいて，End-to-End に単語分割を最適化する手法である。しかし，これ までの研究は機械翻訳や文書分類のように想定タス クが限定されており，あらゆる後段タスクに適用可能な単語分割の最適化手法は存在していない.

そこで本稿では，ニューラルネットワークを用い たさまざまな後段タスクに適用可能な単語分割の最適化手法を提案する. 提案手法は後段タスクの学習 に用いるモデル (後段モデル) に単語分割器を組み 合わせ，両者を同時に学習する。これにより，提案手法は学習コーパスや単語分散表現，モデルのパラ メータなどのタスクに関わるあらゆる要素を考慮し た単語分割の Emd-to-End な学習が可能である.

本稿では 3 言語での文書分類タスクにおける実験 を通して，提案手法が既存手法である OpTokを上回 る性能であることを確かめた。 また，複数言語対で の機械翻訳タスクにおける実験でも，提案手法は既存手法のDPE を上回る性能であり，提案手法が複数の後段タスクに適用可能な単語分割の最適化手法 であることが確かめられた。

## 很好吃

図 1: 提案手法による NULM と後段モデルの学習の 概要. 実線矢印は誤差逆伝播を行うパスを示す.

## 2 提案手法

提案手法の単語分割では，ニューラルユニグラム 言語モデル (NULM) によって計算した単語のユニグ ラム確率 $p(w)$ を用いて，文 $s$ を語彙 $V$ に含まれる 単語 $w$ の系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する。 $p(w)$ をも とに求めた $N$-best $の$ 単語分割候補 $s_{1}^{\prime}, \ldots, s_{N}^{\prime}$ を後段 モデルに入力し，それぞれの出力に対応する損失值 に単語分割の確率を掛け合わせることで損失値の 重み付き和を計算する。この損失值に対して誤差逆伝播法を用いることで，損失值が低くなるような単語分割の確率が高くなるように NULM のパラメー タを更新する．また，後段モデルの学習には NULM をもとに単語分割を一つサンプリングして用いるこ とで，サブワード正則化による学習を行う．手法の 概要を図 1 に示した.

## $2.1 N$-best 単語分割による NULM の更新

提案手法の NULM では，以下のように単語分散表現 $\boldsymbol{v}_{w}$ を用いて単語のユニグラム確率を計算する。

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)} .
\end{aligned}
$

入力文 $s$ に含まれるあらゆる単語の確率 $p(w)$ に対して Forward-DP Backward-A*アルゴリズム [12] を適用し, 入力文の $N$-best $の$ 単語分割候補を求 める. さらに，それぞれの単語分割候補の確率 $p\left(s_{n}^{\prime}\right)=\prod_{w \in s_{n}^{\prime}} p(w)$ を用いて, 各単語分割候補に対応する後段モデルの損失值 $\mathscr{L}_{s_{1}^{\prime}}, \ldots, \mathscr{L}_{s_{N}^{\prime}}$ を以下のよ うに重み付ける。

$
\begin{aligned}
\mathscr{L}_{s_{n}^{\prime}} & =q\left(f\left(s_{n}^{\prime}\right), z\right), \\
a_{n} & =\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)}, \\
\mathscr{L}_{s} & =\sum_{n=1}^{N} a_{n} \mathscr{L}_{s_{n}^{\prime}} .
\end{aligned}
$

ここで $f(\cdot)$ は単語分割済みの文を入力とし，後段タ スクに応じた出力を計算する後段モデルである。ま た, $q(\cdot)$ は後段モデルの出力と教師信号 $z$ を用いて 損失値を計算する損失関数である。後段タスクが文書分類であれば， $f(\cdot)$ は各文書ラベルに対応する確率分布を出力し, $q(\cdot)$ は正解ラベルとの交差エント ロピー損失を出力する.このような損失値の重み付 き和に対して誤差逆伝播法を適用することで，その 時点で損失值が最も低い単語分割の確率が向上する ように NULM の更新が行われる。

式 (3) に用いる $q(f(\cdot), \cdot)$ は, 単語の系列と教師信号を入力として損失値を出力するモデルであればよ いので，提案手法は文書分類や機械翻訳などの様々 な後段タスクに適用可能である。また，学習済みの NULM を用いてビタビアルゴリズム [13] による単語分割を行うことで，推論時には後段タスクに適切 な単語分割を使用することができる.

## 2.2 後段モデルの更新

式 (5) で計算した $\mathscr{L}_{s}$ に対して単純に誤差逆伝播法を適用すると，後段モデルを計算グラフを繋いだ 状態で $N$ 個同時に計算することになり，メモリ使用量が莫大になる. そこで図 1 に示すように， $\mathscr{L}_{s}$ を用いた後段モデルのパラメータ更新は行わず，新 たに単語分割 $\tilde{s}^{\prime}$ をひとつサンプリングして後段モ
デルの学習に用いる. 具体的には， $\mathscr{L}_{\tilde{s}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), z\right)$ に対して誤差逆伝播法を適用することで，後段モデ ルの更新を行う。これにより，提案手法では学習途中の NULM のパラメータを用いたサブワード正則化 $[14,15]$ による後段モデルの学習を行う.

単語分割 $\tilde{s}^{\prime}$ を選択するために，NULM による単語のユニグラム確率を用いて $p\left(\tilde{s}^{\prime}\right)^{\alpha} / \sum_{k=1}^{K} p\left(s_{k}^{\prime}\right)^{\alpha}$ か らサンプリングを行う [14]. ここで $\alpha$ は分割の多様性を制御するハイパーパラメータであり， $\alpha$ が小さ いほど一様な分布から単語分割をサンプリングする 事になる。また，Kはサンプリングの対象となる単

Filtering Backward Sampling (FFBS) [16, 17] を用いた サンプリングを行う.

## 2.3 複数文の入力を用いた学習

機械翻訳タスクのソース側文とターゲット側文の ように入力が複数となる場合には，一方の $N$-best 単語分割候補と他方のサプリングされた単語分割候補 を組み合わせることで，NULM を更新するための 損失値を計算する。つまり，複数入力のうち 1 つは $N$ 個の候補を用い，その他はサンプリングした 1 つ の候補を用いて計算する。具体的にソース側文 $s$ と ターゲット側文 $t$, それぞれの単語分割済み文を $s^{\prime}$, $t^{\prime}$ としたとき, $\mathscr{L}_{s_{n}^{\prime}}=q\left(f\left(s_{n}^{\prime}\right), \tilde{t}^{\prime}\right)$ と $\mathscr{L}_{t_{n}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), t_{n}^{\prime}\right)$ によってソース側とターゲット側の NULM を更新 する。また，後段モデルである機械翻訳モデルの学習には $\mathscr{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), \tilde{t}^{\prime}\right)$ を用いる.

## 3 実験

## 3.1 文書分類

提案手法の有効性を確かめるために複数言語の文書分類タスクで実験を行い，その結果を表 1 に示し た. Weibo(Zh) $)^{1)}, \operatorname{Twitter}(\mathrm{Ja})^{2}$ ， Twitter(En) ${ }^{3}$ はそれぞ れ中国語，日本語，英語の SNS コーパスを用いた 感情分析タスクである。また, Genre, Rating タスク は中国語 [18] ${ }^{4}$ ，日本語 [19]，英語 [20] ${ }^{5}$ の各言語の EC サイトのレビューデータから作成したジャンル 予測とレート予測のタスクである。さらに複数文を

表 1: 文書分類タスクでの実験結果 (F1 値).

入力とするタスクとして，SNLI データセット [21] での実験を行なった。

文書分類タスクでの実験設定は既存研究 [11] と揃 え6，BiLSTM エンコーダーによる文書分類器をサ ブワード正則化を用いて学習した。単語分散表現は 各コーパスの訓練データで事前学習し, 文書分類の 学習時には固定した。また，比較手法である OpTok と提案手法の語彙の初期化には, SentencePiece によ る同じ単語分割を使用し，単語分割の最適化につい てのハイパーパラメータは $N=3$ とした.

表 1 の実験結果より提案手法はほとんどのデータ セットで OpTokを上回っており, 既存手法に比べて 性能が同等かそれ以上であることが確かめられた。 この性能の差は, OpTok と提案手法における後段 モデルの学習方法の違いに起因すると考えられる。 OpTok は $N$-best の単語分割候補を用いて後段モデル を学習するが，推論時には 1-best の単語分割が後段 モデルに入力されるため，学習と推論でギャップが 生じてしまう。一方で提案手法による後段モデルの 学習ではサンプリングされたひとつの単語分割候補 のみを用いているため，学習と推論に差が生まれず 性能の向上に繋がっていると考えられる.

## 3.2 機械翻訳

提案手法の機械翻訳タスクでの有効性を確かめ るために IWSLT と WMT コーパスを用いた実験を 行い，その結果を表 2 に示した. IWSLT コーパス での実験には Transformer(small) [22]を使用し，全て の言語の語彙の規模を $16 \mathrm{~K}$ として SentencePiece で 単語分割を行なった. WMT コーパスでの実験では Transformer(base) を使用し，語彙の規模を $32 \mathrm{~K}$ とし た. サブワード正則化に関するハイパーパラメータ

6）実験に使用したデータセットの詳細と，単語分散表現， SentencePiece の学習済みモデルを以下で公開している. https://github.com/tatHi/optok表 2: IWSLT(I) と WMT(W) コーパスを用いた機械翻訳タスクでの実験結果 (BLEU4)．エンコーダーとデ コーダーで使用した単語分割手法をそれぞれ Enc， Decとして示した.また，SPは SentencePiece，R は サブワード正則化を示す.

は $k=\infty ， \alpha$ は IWSLT:0.2，WMT:0.5 とした.また，提案手法で用いる単語分割の候補数 $N$ は, IWSLT: 8, WMT: 3 とした. 比較手法としてターゲット側言語の単語分割を最適化する DPE [10] を用いる。DPE による単語分割の学習には SentencePiece による単語分割を初期状態として用い，機械翻訳はソース側言語でサブワード正則化を用いた学習を行なった. また，提案手法の語彙の初期化にも SentencePiece に よる単語分割を使用した。コーパスは Moses）（中国語のみ jieba ${ }^{8)}$ ) で事前に単語分割を施してから SentencePiece の学習を行った。機械翻訳の評価には デトークナイズ後の BLEU4 值を用いた.

表 2 の結果より，多くの言語対での実験において 提案手法を用いた学習の性能が既存手法を上回る ことが確認され，提案手法の有効性が示された．特 に，デコーダーのみに提案手法を適用した設定が多 くの場合でもっとも性能が高く，ほとんどの言語で エンコーダーとデコーダーの双方に提案手法を用い たときの性能が低くなっている。ここから，ソース 側言語とターゲット側言語の単語分割の最適化を同時に行うことが難しく，性能の低下につながってい ると考えられる。両側の単語分割を同時に最適化す る方策についての追加実験を付録 A に掲載した。

## 4 分析

機械翻訳タスクで得られた提案手法の単語分割に ついて分析を行う. 英中対訳ぺアのうち中国語側を SentencePiece，英語側を提案手法で学習し，提案手法によって得られた単語分割を表 3 に示した.

提案手法によるソース側言語の単語分割 (表 3a) では, “hav-e” や “hour-s” のようにトークンの形態素 や接尾辞を細かく分割していることが確認される。 また，ターゲット側の単語分割（表 3b）では既存手法の DPE と同様に，動詞の接尾辞“-ed” を分割す る傾向が見られる。一方で DPE や提案手法による ソース側言語の単語分割とは異なり，ターゲット側言語を細かく分割する傾向は見られなかった.

IWSLTコーパスにおいて各手法で得られた単語分割と，初期状態である SentencePiece の単語分割と の学習データにおけるトークン数の割合を表 4 に 示した. 表において，1を超える値は SentencePiece に比べてトークン数が増加していることを表す. 結果より，提案手法でソース側言語の単語分割を学習 した場合は初期状態に比べてトークン数が増大し ており，提案手法がソース側言語を細かい単位で分割していることがわかる。これは，エンコーダーの ニューラルネットワークの表現力が豊かであるため に, 細かい単位で入力しても機械翻訳の性能が低下 しないことを示唆する. この傾向は, エンコーダー の入力を文字レベルにすることで性能向上が得られ るという既存研究の結果と合致する $[23,24]$.

また，英中翻訳以外の全ての言語対で，提案手法 によるターゲット側の単語分割は初期状態と比べて トークン数がわずかに少なくなっている。これは，提案手法が言語モデルベースの SentencePiece によ る単語分割の粒度を維持しつつ, デコードしやすい 単位に分割し直した結果であると考えられる. 英中翻訳ではターゲット側であっても，トークン数が大 きく増加している.これは中国語の 1 文字が持つ情報が他の言語に比べて多く, エンコーダー側の単語 の粒度と合わせるために細かく分割したと考えられ る. 比較手法である DPE は言語対ごとにターゲッ ト側のトークン数が変化しており, 提案手法との差 が見られる. DPE はソース側の単語分割を用いて ターゲット側の単語分割を決定するが，提案手法は ターゲット側の学習済みユニグラム言語モデルのみ を用いて単語分割を行うために単語分割の自由度が 低く, このような差が生まれていると考えられる。表 3: 英中ペアにて英語側の単語分割を最適化した 時の SentencePiece(SP) と DPE，提案手法の比較.

(a) 英中翻訳のソース言語の単語分割

(b) 中英翻訳のターゲット言語の単語分割

表 4: 学習データ全体で, 各手法で学習された単語分割のトークン数の初期状態に対する割合. 初期状態の単語分割は SentencePiece によるものである.

 &  &  &  \\

& En-De & 1.3809 & 0.9996 & 0.9923 \\

& En-Vi & 1.4650 & 0.9999 & 0.9923 \\
& Zh-En & 1.5175 & 0.9994 & 0.9907 \\
& En-Zh & 1.3516 & 1.4713 & 1.0346 \\

& En-Ar & 1.4765 & 0.9994 & 0.9945 \\
& Fr-En & 1.7194 & 0.9996 & 1.0001 \\
& En-Fr & 1.5996 & 0.9997 & 0.9935 \\

これらの分析から，提案手法は言語や後段モデル などの後段タスクの情報に応じて異なる単語分割を 学習していることが示唆される.

## 5 おわりに

本稿では，単語分割をタスクに応じて最適化する 手法を提案した. 提案手法では単語分割器を後段モ デルの学習に組み込むことで，タスクやモデルに応 じて単語分割を更新する．実験結果より，提案手法 は文書分類と機械翻訳の複数データセットで既存手法を上回る性能であり，その有効性を確認した．提案手法は損失値を用いて単語分割の更新を行うた め, 応用先はこれらのタスクに限らない. 今後は文法誤り訂正やスタイル変換などのタスクに提案手法 が有効であるかを検証する。

謝辞 本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化の ためのディープラーニング技術の研究開発」により 得られたものです.

## 参考文献

[1]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, et al. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th annual meeting of the ACL on interactive poster and demonstration sessions, pp. 177-180. Association for Computational Linguistics, 2007.

[2]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[3]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. P1715-1725, 2016.

[4]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[5]Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1, pp. 1017-1024. Association for Computational Linguistics, 2008.

[6]Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[7]ThuyLinh Nguyen, Stephan Vogel, and Noah A Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823. Association for Computational Linguistics, 2010.

[8]Miguel Domingo, Mercedes Garcia-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation? arXiv preprint arXiv:1812.08621, 2018.

[9]Elizabeth Salesky, Andrew Runge, Alex Coda, Jan Niehues, and Graham Neubig. Optimizing segmentation granularity for neural machine translation. Machine Translation, pp. 119, 2020.

[10]Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[11]Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Coтputational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[12]Masaaki Nagata. A stochastic japanese morphological analyzer using a forward-dp backward-a* n-best search algorithm. In Proceedings of the 15th conference on Compu- tational linguistics-Volume 1, pp. 201-207. Association for Computational Linguistics, 1994.

[13]Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, Vol. 13, No. 2, pp. 260-269, 1967.

[14]Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $66-75,2018$.

[15]Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[16]Steven L Scott. Bayesian methods for hidden markov models: Recursive computing in the 21 st century. Journal of the American Statistical Association, Vol. 97, No. 457, pp. $337-$ 351, 2002.

[17]Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested pitman-yor language modeling. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1, pp. 100-108. Association for Computational Linguistics, 2009.

[18]Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Daily-aware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on world wide web, pp. 1373-1383, 2015.

[19]Rakuten Inc. Rakuten dataset. Informatics Research Data Repository, National Institute of informatics. (dataset)., 2014.

[20]Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25th international conference on world wide web, pp. 507-517, 2016.

[21]Samuel Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, 2015.

[22]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[23]Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves, and Koray Kavukcuoglu. Neural machine translation in linear time. arXiv preprint arXiv:1610.10099, 2016.

[24]Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 365-378, 2017.

## A 複数入力に対する同時最適化

3.2 節では，エンコーダー側とデコーダー側の両方の単語分割を提案手法で同時に最適化すること が性能の低下に繋がると説明した.これはエンコー ダー側とターゲット側で単語分割の方策に差があり (4 章), 単語分割の最適化が安定しないためだと考 えられる. そこで, 双方の単語分割の最適化を段階的に行うことで，両方の単語分割を最適化しつつ性能の低下を防ぐ方法を考える. 本研究の実験におけ る 100 エポックの学習の中で，1) エンコーダー側の 単語分割のみを前半 50 エポックで学習し, 後半は エンコーダー側の単語分割を固定してデコーダー側 の単語分割のみを学習する，2) 前半にデコーダー側 の単語分割を学習し, 後半でエンコーダー側を学習 する，3) 各ミニバッチ学習ごとにランダムにエン コーダー側とデコーダー側を選択して片方のみの単語分割を学習する，の3つの方策を実験する.

表 5 に示した実験結果より，1) エンコーダー側の 単語分割を先に学習し, その後デコーダー側の単語分割を学習する方策がもっとも高い性能であること が分かった. 特に Vi-En，En-Vi，Zh-En では表 2 の 数値を含めても最高性能に達しており, 方策 1 が優 れていることがわかる. また，表 4 で示したように エンコーダー側の単語分割は粒度が細かくなる傾向 があるため, 学習の後半で分割が大きく変わる方策 2 では性能が低下することが分かった。

表 5: 両側の単語分割を同時に最適化するための 各方策による，IWSLT15 での性能の差 (BLEU4). Both は表 2 の Ours-Ours の值を引用.

## B ハイパーパラメータの影響

提案手法では $N$ 個の単語分割候補を用いて NULM の最適化を行う。このハイパーパラメータ $N$ について，文書分類タスクと機械翻訳タスクの性能 に与える影響をそれぞれ図 2 と図 3 に示した. 図で は， 3 章での実験に用いた $N$ の値で得られた後段モ デルの性能との差を示す.

文書分類タスクでの実験では，Twitter と Weibo の 感情分析タスクを用いた性能の差を検証した．実験
より，文書分類タスクでは提案手法の $N$ の値による 大きな性能の差は見られなかった. 同様の実験を提案手法がベースとしている OpTok [11] で行った結果 と比較すると, 提案手法はハイパーパラメータ $N$ が大きくなっても，性能が落ちないことが確認され る. OpTok が $N$ 個の単語分割候補に対応する文べ クトルの重み付き和で後段モデルの学習を行うのに 対して，提案手法は $N$ の值にかかわらず 1 つの単語分割候補のみを用いて後段モデルの学習を行うため に，Nの影響を受けにくいと考えられる。

機械翻訳タスクでの実験では，IWSLT15 の越英翻訳ペアを用いて $N$ の影響を確認した．結果より， ターゲット側言語のみに提案手法を適用した場合は $N$ の值による性能の大きな差はなく，ソース側言語 のみに提案手法を用いた場合は $N$ を大きく取るこ とで性能が向上していることが確認された。これは 4 章での分析で述べたように，エンコーダーの表現力の高さのために初期状態から離れた単語分割候補 を用いることが性能向上に繋がり得ることに起因す ると考えられる。一方で，ソース側言語とターゲッ 卜側言語の双方に提案手法を適用する場合は $N$ を 大きくすることで若干の性能低下が見られる．性能低下の程度は小さいが，両側の言語の単語分割を同時に更新する場合は $N$ が大きくなることで学習が 不安定になると考えられる。

図 2: Nによる文書分類タスクの性能の差

図 3: Nによる機械翻訳タスクの性能の差


# 名詞句の処理に頑健な構文解析器

金山博* 岩本蘭 $\dagger$ 村岡 雅康* 大湖卓也* 宮本 晃太郎*
* 日本アイ・ビー・エム株式会社 東京基礎研究所†慶應義塾大学 理工学研究科
* \{hkana, mmuraoka, ohkot, kmiya\}@jp.ibm.com †r.iwamoto@keio.jp

## 1 はじめに

レビューの分析や契約文書の処理など応用の局面において、意味解析や情報抽出を目的とした実文書の正確な構文解析が求められている。近年は多言語の Universal Dependencies (UD)[4, 5] のコーパスが 利用しやすくなっており、構文解析器 (品詞タグ付 け・依存構造解析）の訓練に用いられている。

しかし、実世界の文書に対する UD で訓練された 解析器の出力を見ると、英語 (1) ・ドイツ語 (2) ${ }^{1)}$ の 例のような誤解析が目立つ ${ }^{2)}$ 。

(1)

(2) ADV ADJ *PUNCT

いずれも入力したテキストは短い名詞句である が、(1)では命令法の文であるかのように 1 語目が 動詞としてタグ付けされ、 4 語目との間の関係ラべ ルも誤っている。(2) は名詞が大文字で書かれてい ないせいか、 3 語目の品詞が句読点であると認識さ れてしまっている。これらは、UD の shared task[12] で高い精度を示している Stanza [8] の出力における 例であるが、UDPipe[11] や Spacy[2] など、他の構文解析器においても同様の事象が見られた。

訓練データの多くが定動詞を含む文であって、名詞句となっているものが少ないとしたら、(1)(2)の ような名詞句に対する品詞タグ付けや構文解析の誤 りは多くなるであろう。また、(2) の異常にも見え る誤解析は、訓練データのほとんどがピリオドで終 わる文であるためにその傾向が強く学習されてい るためだと推測される。すなわち、これらの誤解析

は、訓練データと解析対象のテキストの傾向の違い の問題と捉えることができる。

本稿では、これらの点、すなわち名詞句と文末の ピリオドに注目し、UDのコーパスと実世界の入力 における傾向の違いや解析時の影響を調べるととも に、新たに人手でアノテーションを加えることなく 既存のコーパスを拡充して解析器を頑健化する方法 を提案し、構文解析器やその後段のアプリケーショ ンにおける変化を観察する。

## 2 定義

本稿で扱うデータや言語現象に関する用語につい て定義しておく。

処理単位コーパス中で一文とみなされるテキス ト3)、または品詞タグ付けや依存構造解析の際に （しばしば文区切りの処理を施した後の）入力の 単位となるもの。後述の「文」と区別するために このように呼ぶ。

文 定動詞を含むなど、句構造文法において非終端記号 S (Sentence) を構成するような処理単位また はその部分。本稿ではその厳密な議論はしない が、後述の「名詞句」は「文」ではない典型例で ある。

名詞句 処理単位の全体または部分において、その 主辞の品詞タグが名詞（NOUN）または固有名詞 （PROPN）であり、かつその主辞に be 動詞などの コピュラ（依存関係ラベルが cop であるもの）が 係っていないもの4)。

句点 処理単位の最後のピリオドを、簡単のため句点と呼ぶ5)。

句点無 処理単位の最後の語が ‘? $\cdot$ ‘!’ $\cdot$ ‘?’などの 約物でない場合。すなわち、最後の語の品詞タグ が PUNCT 以外である場合。

3）UD で用いられる CoNLL-U フォーマットで“\# text =”の メタデータとなる、通常は sentence と呼ばれる単位。

4）内容語主導のUD の構文構造では、この考慮が必要となる。

5） 日本語等の「。」を含む。'Mr.'などのピリオドは含まない。
表 1 観察したデータと、名詞句・句点無の割合 (\%)

## 3 予備実験

表 1 は、UD とレビュー文のコーパスについて、処理単位が名詞句および句点無であるものの割合 を 4 言語で調べたものである。UD は version 2.6 の 訓練用セットのアノテーションから自動判定し、レ ビュー文はアスペクトベースの評判分析の shared task のデータ $[7,9]$ から各言語 100 例ずつを抽出し て人手で検証した。

特にドイツ語 (de)・フランス語 (fr)・スペイン語 (es)の UDコーパスにおいて、名詞句や句点無の割合が非常に低く、コーパス作成時に処理単位とし て標準的な文が好んで選択されていることがわか る。英語 (en) の EWT コーパスは web 上のテキスト が基となっているため、名詞句や句点無の割合が比較的高くなっている。レビューのデータでは名詞句 や句点無の入力が多くなる傾向があるが、SemEval のデータセット（特に英語）はアスペクトの取得を する目的からも、ほとんどの文が句点で終わるな ど、現実の入力よりは統制が取れたセットになって いた。

以上の結果より、言語やデータセットに依存する ものの、UD とレビューのコーパスの間でも現象の 分布が大きく異なることが確認できた。実世界の データではさらに異なる傾向があると考えられる。

## 4 コーパスの拡張

本節では、3 節で確認したコーパスの分布の違い の問題を解決すべく、構文解析器の訓練コーパスを 拡張する方法を示す。すなわち、訓練時における UD コーパスへのバイアスを減らして、実応用の際 にも有用なモデルを作ることを目指す。

## 4.1 句点の除去

最も簡単な方法は、コーパス中の処理単位の末尾 の句点を一定の割合で除去することである。これに より、句点の有無によって構文の構造が変わった

図 1 文から名詞句の部分木（枠内）を抽出する例

り、通常の語に PUNCT の品詞タグが付与されたり する現象を防ぐことができると考えられる。

ほとんどの句点はそれに係る修飾語を持たないの で、単純に句点を除去するだけで正しい構文構造を 保てるが、UD_English-EWT のデータの中には例外的な事象6) があるので、修飾語を持つ場合には除去 の対象としないようにする。

## 4.2 名詞句の追加

定動詞を主辞とするような典型的な文に加えて、名詞句で完結する処理単位の割合を増やすために、元のコーパスから名詞句である部分木を抽出して コーパスに加える処理を行う。その手順は以下の通 りである。

・処理単位の中から、主辞でない部分にある名詞句を検出する。名詞句の同定の方法は 2 節の定義に従う。

・そのうち、 4 語未満からなるものは構文構造の 学習に適さないため除外する。
- UD の内容語重視の依存構造では、名詞句の部分木の中に前置詞などの機能語が含まれうる ため、名詞句の主辞に case, punct のラベルで 係る語がある場合には、その部分を除外する。図 1 の例のように、'city’ の部分木から 'in'を除 いた部分を名詞句とする。

・こうして抽出した名詞句をプールして、元の文数に対して一定の割合でランダムに選択して訓練コーパスに追加する（元からのデータはその まま保つ)。

## 5 実験

## 5.1 実験設定

拡張コーパスを使った訓練に基づく品詞タグ付け と依存構造解析の変化を観察するために、4つの言語の名詞句を集めたデータを以下の手法により作成 した。

6）UD_English-EWT の訓練データ中に、接続詞 'and' が文末の ピリオドに係る場合などがあった。
表 2 Wikipedia セクション名のデータの例

 \\

- Wikipedia の各言語版のセクション名7）の文字列 のうち、3 語以上からなるものを列挙

・句点などの記号が含まれるものを除外

・言語判定で他の言語と推定されたものを除外

・ドイツ語以外は先頭の文字を小文字化
- 先頭の 1 語が重複するものが 3 個以上は無いよ うにして、各言語 1500 個をランダムに取得

こうして得られる文字列のほとんどは名詞句であ ると推定できる。表 2 に 4 言語における例を示す。 これらを解析して、その主辞（root）となる語が名詞となる割合（NP 検出率）と、最後の語の品詞が PUNCT、または依存関係ラベルが punct となるよう な誤解析の数（誤句点数）を調べる。

さらに、構文解析の intrinsic な評価として、UDの テストコーパスでの依存構造解析の精度 (LAS) を測定する。訓練データとテストデータの分布に差が出 ることにより、その值は理論的には低下するため、 その減少幅が最小限であれば成功といって良い。

また、extrinsic な評価として、構文解析の結果を 使った評価表現抽出 $[3,14]$ を行う。解析対象のデー タは 3 節で観察した、SemEval 等の shared task の データ $[7,9]$ の約 500 文である。評価表現の指標で ある適合率・再現率のうち、適合率は辞書の性質や 否定等の扱い方の正しさに依存する傾向があり、再現率は辞書の充実の度合いのほか、主辞の同定の正確さに左右される。今回の実験では適合率を変化さ せる要因は少ないので、名詞句関連の構文構造の影響を受ける再現率を、評価指標として用いる。

## 5.2 結果と考察

ドイツ語・フランス語・スペイン語・英語の UD コーパスの訓練データに対して、4 節に示した 2 つの改変を施した拡張コーパスを用いて、Stanza

7）記事のタイトルは固有名詞がほとんどなのでテストに不適 であった。
[8] の再学習を行った。いずれの場合も、tokenize, mwe, lemmatize のモデルは標準のまま固定し、pos と depparse のモデルを max step=5000 の設定で学習 させている。

コーパスを拡張する際に、 $m \%$ の割合で文末の句点を除去、 $n \%$ の名詞句を追加する。 $m=0, n=0$ は 元のUDコーパスをそのまま使って訓練する場合 であり、各言語のベースラインとなる。 $m, n$ の值を 変えて訓練したモデルで、Wikipedia のセクション 名のデータにおける NP 検出率と誤句点数、UD の データでの LAS と、評価表現抽出（SA）の再現率 を測定する。Stanza の学習ではランダムの要素があ り、試行ごとに精度が異なるため、 $m=0, n=0$ の場合のみ 10 回の訓練を行って、それぞれのモデルで 測定した際の平均値と標準偏差を示す。これらの結果が表 3 である。

4 言語すべてにおいて、 $m=0, n>0$ のすべての場合で NP 検出率に改良が見られ、また $n$ の値を増や すと NP 検出率がほぼ漸増する。このことから、名詞句の性質は異なっていても8)、名詞句である処理単位の追加によって名詞句の解析結果を改善できる ことがわかる。 $n=100$ としても名詞句として解析 されないものの中には、そもそも動詞句であるもの も含まれていた。

誤句点数の減少を見ると、どの言語でも、少量の 改変によって PUNCT に関連する誤りをほぼ防げる ようになった。文末の句点を除去した場合 $(m>0)$ だけでなく、名詞句の追加 $(n>0)$ によっても誤句点数を減らせているのは、追加した名詞句に句点が 基本的に含まれていないことによる効果である。

以上は Wikipediaのセクション名における観察の 結果である。処理単位が名詞句である場合の解析結果を改善したことにより、一般的な文の解析の性能 が低下することが懸念されるが、UD のテストデー タの LAS の值を見ると、ベースラインより標準偏差を超えて下がっているケースは、 $m$ や $n$ が大きす ぎる場合に限られており、LAS がほぼ不変であっ たり、むしろ向上している場合も見られる。なお、 $m=100$ とした場合には、すべての文末の句点を除去して訓練をすることになるが、テストデータには 文末の句点が存在するため、LAS が大きく下がるの は想定通りである。

評価の方法が難しいものの、最も重視したいの

8）UD コーパスの部分木と Wikipedia セクション名のデータは 完全に独立である。
表 34 言語で、UD の訓練コーパスに対して文末の句点を $m \%$ 除去、名詞句を $n \%$ 追加して構文解析器を再訓練をした 際の、各データ上での構文解析および評価表現抽出の結果（指標は誤句点数を除いて％表記。）。 $m=0, n=0$ (ベースラ イン）のみ 10 試行の平均值と標準偏差を示す。太字はベースラインに対して標準偏差を超える改善が見られた場合。

} & \multirow{2}{*}{} \\

が、応用時における解析器の頑健性を測るための、評価表現抽出の再現率である。言語により最適とな る $m, n$ の值は異なっており、表 1 に示した各言語の コーパスにおける分布からその值を自動的に推定す るには至っていないが、フランス語・ドイツ語・ス ペイン語においては $m, n$ を 10～20\% 程度にするこ とにより、SA の再現率を上げられることがわかっ た。英語においては有意な差で再現率が向上した ケースは無いが、これは 3 節の予備実験で見た通 り、UD_English-EWT データ自体に適量のノイズが 含まれていることと、SemEval のテストデータが逆 に統制が取れた文が多いことから、名詞句の追加や 句点の除去の効果が得づらいためだと考えられる。

} & \multirow{2}{*}{} \\

## 6 まとめ

本研究では、名詞句と文末の句点に着目し、品詞 タグ付けや依存構造解析における訓練コーパスの 偏りを補正して、解析器を実応用に対して頑健化す る実験を行った。句点の除去は非常に簡単な処理で あり、句読点が構文解析に及ぼす影響は他の研究に よっても指摘されている $[10,6,13]$ が、名詞句を処理単位とした解析については、今後も追求する余地 がある。今回は欧米言語のみを扱ったが、日本語な どの言語においては、UDの構文を用いた名詞句の 定義や抽出はより複雑であるため、さらなる調査や 工夫が必要となろう。そして、UDコーパスに加え て生の文から訓練データを拡張する手法 [1] も合わ せて、実用的な解析器の実現を進めていきたい。

## 参考文献

[1] Yousef El-Kurdi, Hiroshi Kanayama, Efsun Sarioglu Kayi, Vittorio Castelli, Todd Ward, and Radu Florian. Scalable cross-lingual treebank synthesis for improved production dependency parsers. In Proceedings of the 28th International Conference on Computational Linguistics: Industry Track, pp. 172-178, Online, December 2020. International Committee on Computational Linguistics.

[2] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrialstrength Natural Language Processing in Python, 2020.

[3] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[4] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016.

[5] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[6] Joakim Nivre and Chiao-Ting Fang. Universal Dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies (UDW 2017), pp. 86-95, Gothenburg, Sweden, May 2017. Association for Computational Linguistics.

[7] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, ALSmadi Mohammad, Mahmoud Al-Ayyoub, Yanyan
Zhao, Bing Qin, Orphée De Clercq, et al. Semeval2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th international workshop on semantic evaluation (SemEval-2016), pp. 19-30, 2016.

[8] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[9] Josef Ruppenhofer, Roman Klinger, Julia Maria Struß, Jonathan Sonntag, and Michael Wiegand. IGGSA shared tasks on German sentiment analysis (GESTALT). In Gertrud Faaßand Josef Ruppenhofer, editors, Workshop Proceedings of the 12th Edition of the KONVENS Conference, pp. 164-173, Hildesheim, Germany, October 2014. Universität Heidelberg.

[10] Anders Søgaard, Miryam de Lhoneux, and Isabelle Augenstein. Nightmare at test time: How punctuation prevents parsers from generalizing. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 25-29, 2018.

[11] Milan Straka. UDPipe 2.0 prototype at CoNLL 2018 UD shared task. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 197-207, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Daniel Zeman, Filip Ginter, Jan Hajič, Joakim Nivre, Martin Popel, and Milan Straka. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Brussels, Belgium, 2018.

[13] 金山博. 読点に頼らない統計的構文解析. 情報処理学会 170 回自然言語処理研究会, 2005.

[14] 岩本蘭, 金山博. 多言語極性辞書の構築とその 包括的評価. 言語処理学会第 26 回年次大会予稿集, March 2020.


# 事例ベース依存構造解析のための依存関係表現学習

大内 啓樹 1 鈴木潤 2,1 小林颯介 ${ }^{2,3}$ 横井祥 ${ }^{2,1}$ 栗林 樹生 ${ }^{2,4}$ 吉川将司 ${ }^{2,1}$ 乾健太郎 2,1

1 理化学研究所 2 東北大学 3 株式会社 Preferred Networks ${ }^{4}$ Langsmith 株式会社

hiroki.ouchi@riken.jp, yoshikawa@tohoku.ac.jp,

\{jun.suzuki, sosk, yokoi, kuribayashi, inui\}@ecei.tohoku.ac.jp
## 1 はじめに

過去に観測した類似事例にもとづき，新たな事例 に関する推論を行うことを事例ベース推論と呼ぶ。近年の深層学習の隆盛にともなって, 「モデルの予測過程の説明性」の観点から注目を集めている. ニューラルネットワークを用いた一般的なモデルで は，予測根拠の解釈が困難であることが指摘されて いる [1]. 一方で, $\mathrm{k}$ 近傍法などの事例ベース推論手法では，学習事例を直接的に予測に使用し，それら を予測根拠として予測への貢献度とともに取り出す ことが容易である．予測に大きく貢献した学習事例 をユーザに提示することは，「なぜモデルはそのよ うな予測をしたのか？」という疑問への一種の説明 の役割を果たす.この種の説明は事例ベース説明と 呼ばれる。機械学習の専門知識を持たないユーザに とっても直感的である場合が多く, モデルの予測に 対するユーザの理解を促進し，より自信を持った意思決定につながるとの報告がある $[2,3,4,5]$.

このような利点がある一方, 予測性能の高い事例 ベースモデルの構築は容易ではない $[6,7]$. 高い予測性能を保つ鍵は特徵空間の効果的な学習にある. いかにして「同じクラスの事例同士を特徴空間上で 近づけ，異なるクラスの事例同士は遠ざけるか」を 考えなければならない。この指針のもと, Wiseman ら [6] や Ouchi ら [7] は言語の系列データのための特徵表現学習手法を提案し，一般的なモデルと同等の 予測性能を保ちつつ, 説明性の優れる事例ベースモ デルが構築可能となったことを報告している.

本稿では, 系列データからの自然な展開として,言語的な関係に着目する. 具体的には, 依存構造解析で定義される依存関係（エッジ）に焦点を絞り，事例ベース依存構造解析のための表現学習手法を提案する。実験を通して，一般的な解析システムと同等の性能を保ちつつ, 説明性に優れるシステムが構築可能であることを示す。さらに，説明性を大きく 損なう可能性のある, ハブと呼ばれる事例の出現に 関する分析結果も報告する.

## 2 手法

一般的な解析手法は推論時に学習データを参照し ない。本稿の事例べース解析手法は, 推論時にも学習データを参照しながら解析を行う点が特徴で, 予測根拠を学習事例に求められるという利点がある.

## 2.1 問題設定

本稿ではラベルなし依存構造解析 ${ }^{1)}$ に取り組む.具体的には主辞選択 (head selection) 問題 $[8,9,10]$ と して解く。これは簡潔な問題形式であり，GPUを用 いた計算にもやさしいという理由から採用する。

トークナイズした入力文を $X=\left(x_{0}, x_{1}, \ldots, x_{T}\right)$ と表す。 $x_{0}$ は特殊トークンである ROOTを表し， $x_{1}, \ldots, x_{T}$ は原文の $T$ トークンを表す．各トークン $x_{i}$ の主辞が $x_{j}$ である確率を以下のように定義する.

$
P\left(x_{j} \mid x_{i}\right)=\frac{\exp \left(\operatorname{score}\left(x_{j}, x_{i}\right)\right)}{\sum_{k=0}^{T} \exp \left(\operatorname{score}\left(x_{k}, x_{i}\right)\right)} .
$

スコア関数 $\operatorname{score}\left(x_{j}, x_{i}\right)$ は実数を返す任意の関数と して定義可能である (2.2 節参照).

推論時は, 入力文の各トークン $x_{i}$ に対して最大確率のトークンを主辞として選択する。

$
\hat{y}_{i}=\underset{x_{k}: 0 \leq k \leq T}{\arg \max } P\left(x_{k} \mid x_{i}\right) .
$

学習時は負の対数尤度を最小化することによっ て，正解主辞の確率が高くなるように学習する.

$
L=-\sum_{n=1}^{|D|} \sum_{i=1}^{T^{(n)}} \log P\left(y_{i}^{(n)} \mid x_{i}^{(n)}\right)
$

$D=\left.\{X^{(n)}, Y^{(n)}\right.\}_{n=1}^{|D|}$ は学習データ, $y_{i}^{(n)} \in Y^{(n)}$ は入力文の各トークン $x_{i}^{(n)} \in X^{(n)}$ の正解主辞である.

1）ラベルあり依存構造解析も行ったが，紙面（分量）の都合上，本稿ではラベルなし依存構造解析に絞って議論する。

## 2.2 事例間の類似度に基づくスコア

式 1 中のスコア関数として, 学習事例との類似度 に基づくスコア（事例ベーススコア）を提案する.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \operatorname{sim}\left(\boldsymbol{h}_{\langle\ell, k\rangle}, \boldsymbol{h}_{\langle j, i\rangle}\right)
$

ここで, $\boldsymbol{h}_{\langle j, i\rangle} \in \mathbb{R}^{d}$ はエッジ〈主辞 $x_{j}$, 従属部 $\left.x_{i}\right.\rangle$ の $d$ 次元特徴ベクトル, $\operatorname{sim}$ は類似度関数を表す. 本研究ではベクトル間の内積 $\operatorname{sim}_{\mathrm{dot}}(\boldsymbol{a}, \boldsymbol{b})=\boldsymbol{a}^{\top} \boldsymbol{b}$ とコサ イン類似度 $\operatorname{sim}_{\cos }(\boldsymbol{a}, \boldsymbol{b})=\frac{\boldsymbol{a}^{\top} \boldsymbol{b}}{\|\boldsymbol{a}\|\|\boldsymbol{b}\|}$ を用いる. $A_{D}$ は学習データ $D$ 中の正解エッジからなる集合である.

$
A_{D}=\left.\{\left.\langle y_{i}, x_{i}\right.\rangle \mid x_{i} \in X, y_{i} \in Y,(X, Y) \in D\right.\} .
$

$y_{i} \in Y$ はトークン $x_{i} \in X$ に対する正解主辞トーク ンを表す。つまり, 式 2 では学習データ中のエッジ との類似度の総和をスコアとしている. 各類似度を 予測スコアに対する貢献（寄与）度と見ることがで き,「各学習事例が予測にどの程度貢献しているか」 を人間が理解しやすい形式で示すことができる。

【効率的な計算方法. Tトークンからなる入力文の 各トークン $x_{i}(i=1, \ldots, T)$ に対して,$T+1$ 個のトー クン $x_{j}(j=0, \ldots, T)$ から主辞を選ぶ場合, $d$ 次元 の特徴ベクトルを用いるスコア計算には $O\left(T^{2} d\right)$ の 計算量2) がかかる。一般的な事例べース手法では, スコア計算が学習データ $D$ の特徴ベクトルにも依存するため, $O\left(T^{2} d|D| d\right)=O\left(T^{2} d^{2}|D|\right)$ の計算量が かかる。一方, 我々の事例ベース手法では学習時の 計算量を小さく抑えられる。類似度関数 $\operatorname{sim}$ として 内積を使う場合 ${ }^{3}$ ，式 2 は以下のように書ける.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \boldsymbol{h}_{\langle\ell, k\rangle}^{\top} \boldsymbol{h}_{\langle j, i\rangle}=\boldsymbol{h}_{\langle j, i\rangle}^{\top} \sum_{\left.\langle x_{\ell}, x_{k}\right.\rangle \in A_{D}} \boldsymbol{h}_{\langle\ell, k\rangle} .
$

つまり，学習データ中のすべてのベクトルを足し込 んでから, 当該エッジベクトル $\boldsymbol{h}_{\langle j, i\rangle}$ との内積を計算すればよい。学習データ中のベクトルの足し算は $O(|D| d)$ であり，一度計算してしまえば当該エッジ ベクトル $\boldsymbol{h}_{\langle j, i\rangle}$ の本数に乗法的に依存しない. よっ て, 通常の手法なら計算量 $O\left(T^{2} d^{2}|D|\right)$ であるとこ 万を, $O\left(T^{2} d+|D| d\right)$ に抑えられる. さらに, 先行研究 [7] に倣い，学習データからランダムに $M$ 文をサ ンプリングしたサブセット $D^{\prime}=\left.\{\left(X_{m}^{\prime}, Y_{m}^{\prime}\right)\right.\}_{m=1}^{M}$ を用 いることにより, 学習はシングル $\left.\mathrm{GPU}^{4}\right)$ で 24 時間以内に完了できるようになった。

2） $d$ 次元ベクトル間の内積計算・加減算は $O(d)$ とする.

3）コサイン類似度を使用する際も同様に書き換えられる。

4) NVIDIA DGX-1 with Tesla V100.
■最も関連する既存手法. Neighbourhood Components Analysis (NCA) [11,6,7] では, 事例 $a$ の近傍に学習事例 $b \in D$ がくる確率を $P(b \mid a)=\frac{\exp (\operatorname{sim}(b, a))}{\sum_{b^{\prime} \in D} \exp \left(\operatorname{sim}\left(b^{\prime}, a\right)\right)}$ と定義し, 同一クラスの事例同士の確率が高くなる

め, 類似度が高い一部の事例に確率值が大きく左右 される。我々の手法は類似度を単純に足し合わせる ため, そのような敏感さを伴わない. 両手法の性能比較は今後の課題だが5), 学習時の計算量の面では, NCA が $O\left(T^{2} d^{2}|D|\right)$ であるのに対し，我々の手法は $O\left(T^{2} d+|D| d\right)$ であるため有利であると言える.

【一般的な手法との関連. 重みパラメータベクトル $w \in \mathbb{R}^{d}$ を用いた以下のスコア関数は, 通常のニュー ラルモデルの出力層のスコア関数に該当する.

$
\operatorname{score}\left(x_{j}, x_{i}\right)=\operatorname{sim}\left(\boldsymbol{w}, \boldsymbol{h}_{\langle j, i\rangle}\right) .
$

この重みベーススコアに基づいて特徴空間を学習 し，推論時はその学習済み特徴空間を事例ベースス コア計算のために使用するといったように併用する こともできる．近年の画像認識分野においても，重 みパラメータに基づく特徵表現学習と事例に基づく 推論 ( $\mathrm{k}$ 近傍法) を組み合わせた手法が提案され，そ の有用性が報告されている $[12,13,14,15]$. 依存構造解析においてそのような試みは未だないが，有望 な手法のひとつであると考えられるため, 本研究で もこれらの組み合わせに関する検証を行う（3 節）.

ロエッジ特徴ベクトル. 各エッジ $\left.\langle x_{j}, x_{i}\right.\rangle$ の特徴ベ クトルを以下のように定義する。

$
\boldsymbol{h}_{\langle j, i\rangle}=g\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right) .
$

$\boldsymbol{h}^{\text {dep }}, \boldsymbol{h}^{\text {head }} \in \mathbb{R}^{d}$ はそれぞれ従属部（dependent）と主辞 (head) の $d$ 次元ベクトルであり, ニューラルエ ンコーダ6)を通して得られる. 関数 $g$ として, 2 本 のベクトルの相互作用を効果的にとらえられる演算 が望ましい，本稿では知識ベースにおける関係の表現学習の知見 $[16,17,18]$ から, 主要な手法のひとつ である乗法的（multiplicative）合成を採用する. ${ }^{7)}$

$
\boldsymbol{g}_{\text {mul }}\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right)=\boldsymbol{W}\left(\boldsymbol{h}_{i}^{\text {dep }} \odot \boldsymbol{h}_{j}^{\text {head }}\right)
$

ここで, ベクトルの要素積（๑）によって相互作用 を考慮し，パラメータ行列 $\boldsymbol{W} \in \mathbb{R}^{d \times d}$ を用いた線形変換によってべクトルを合成する.

5）シングル GPU を用いた事前実験では，NCA で長い文を学習する際にメモリオーバーになり，実験が完了できなかった。

6）付録 A. 2 を参照.

7）もうひとつの主要な手法である加法的（additive）合成も試 したが，事前実験において予測性能が乗法的合成と比べて大幅に劣る結果となった。

表 1: 各テストデータにおけるラベルなし正解率.

## 3 実験と考察

■データセット．標準的なベンチマークデータ である英語の PennTreebank (PTB) [19] と Universal Dependencies (UD) [20] に含まれる多言語データセッ 卜を使用する. 特に UD では, 先行研究 [21] に従 い，語族やデータ量などの多様性を考慮した 13 言語のデータセットを使用する.8)

ロエンコーダ. BERT [22] を用いて計算した各トー クンの特徴表現を双方向 LSTM [23] に入力し, その 隠れ層から式 4 中の $\boldsymbol{h}^{\text {dep }}$ と $\boldsymbol{h}^{\text {head }}$ を計算する。これ は，実験に用いる全システムに共通である. ${ }^{9)}$

【正解率の比較. 表 1 は 6 つのシステムの正解率 (unlabeled attachment score) ${ }^{10)}$ を表している. システ ム $(\alpha)$ と $(\beta)$ は学習・推論時ともに重みベーススコ 了（式 3）を用いた一般的な解析システムである. これらのシステム間で類似度関数の違いによる正解率の差は見られなかった. システム (a) と (b) は, 学習時は重みベーススコア（式 3）を用い，推論時は 事例ベーススコア（式2）を用いている．内積（dot） を類似度関数として用いた (a) は，通常のシステム $(\alpha)$ と $(\beta)$ と同等の正解率を保つことに成功してい る. 対照的に，コサイン類似度（cos）を用いた (b) では正解率が大きく劣化している. システム (c) と (d) は，学習・推論時ともに事例べーススコア（式 2) を用いている。これらのシステムも，一般的な解析 システム $(\alpha)$ と $(\beta)$ と同等の正解率を保っている. また，事例ベーススコアを学習・推論時に一貫して 使用する場合は，類似度関数の違いが大きな正解率 の差を生むわけではないこともわかった。これらの 予測性能を見ると，事例ベース推論を採用したシス テムとして (a)と (c) と (d) が良いように思われる.以降で，各システムの挙動をより詳細に分析する。

8）各言語のデータセットの詳細は付録 A. 1 の表 5 を参照.

9）モデルやハイパーパラメータ，実験設定の詳細については 付録 A. 2 を参照

10）UD (avg.) は，全テストデータの正解率のマクロ平均であ る. 各テストデータの正解率は付録 A. 3 の表 7 を参照.

 &  \\

表 2: 各システムにおける $N_{10}$ 上位 3 件の実例.

図 1: $N_{10}$ の上位 100 事例のプロット.

近傍に出現する学習事例の偏り。事例ベース推論 を取り入れたシステム (a)〜 (d) において，実際に予測に使われた近傍事例を分析する。具体的には，各学習事例 $\left.\langle x_{b}, x_{a}\right.\rangle$ が開発データの各事例 $\left.\langle w_{j}, w_{i}\right.\rangle$ の 類似度上位 $k$ 位以内に選出された回数（近傍選出回数） $N_{k}\left(\left.\langle x_{b}, x_{a}\right.\rangle\right)[24,25]$ を分析する.この近傍選出回数が極端に高い学習事例をハブと呼ぶ [24]. 本稿では，どのような学習事例がハブとなり，それら の事例は説明性（特に人間の納得度 plausibility [26]） の観点から見た時に有用であるかを調べる.

分析には UD-English データを用いた. 表 2 は $N_{10}$上位 3 件の学習事例を示している. システム (a)で は，ROOT を主辞とする学習事例ばかりが開発デー タの近傍事例として選出され, システム (c)では, instead of や due to, because of のような定型表現が頻繁に選出される傾向が見られた。このような一部の 学習事例が，開発データ内の大多数の事例の説明と して人間にとって納得のいくように機能するとは言 い難い。これは，事例ベース推論がいつでも有益な 説明を与えるというわけではないことを示唆する.

表 3: Zero-shot ラベルあり依存構造解析の正解率.

対照的に，コサイン類似度を採用したシステム (b) と (d) では，一定の事例に極端な偏りは見られない.図 1 は， $N_{10}$ の高い学習事例上位 100 事例を $\log _{10}$ ス ケールで降順にプロットしたものである．類似度関数として内積を用いたシステム (a)と (c)の場合, 近傍選出回数に大きな偏りがあり, ハブが出現してい ることがわかる.

偏りの原因のひとつとして, 学習事例の特徵べク トルの長さ（L2ノルム）が挙げられる. たとえば,表 2 中の $\langle$ ROOT, find $\rangle$ のノルムは 180.4 であるのに 対し， $N_{10}$ 順位 100 位の〈horse, a〉は 75.5 であった. このように, $N_{k}$ 順位上位の一部の事例は, その他 の事例よりもノルムが大きくなるという傾向が見ら れた。コサイン類似度を用いる場合，ノルムを正規化しているため, $N_{k}$ の偏りは観測されなかった.

ロクエリ事例と近傍事例の類似性. 類似性を議論す る上で重要なのは, 「どのような観点で類似してい るか」である. 多様な観点があり得るが, 本研究で は，依存構造の関係ラベルの観点でクエリ事例と近傍事例が類似しているかを調査する。データセット 中の各エッジ $\left.\langle w_{j}, w_{i}\right.\rangle$ には, 人間が定義した関係ラ ベルセットのうちのひとつ $r \in R$ が付与されてい る.したがって，同一の関係ラベルを付与されてい るエッジ同士は，異なるラベルを付与されている エッジ同士よりも，各関係ラベルの定義やラベル セットの設計思想の観点から人間が見れば類似して いる（より多くの特徵を共有している）と言える. そこで，クエリ事例と近傍事例の持つ関係ラベルの 一致率を測定し，それらの事例が人間にとっても類似していると言えるかを近似的に評価する.11)

まず，構築した各システムを用いて開発データ内 の文を解析する．次に，得られたエッジ（クエリ事例）と最も類似度の高い学習事例（最近傍事例）を 選出する. 最後に, クエリ事例と最近傍事例に付与 されている関係ラベルが同じなら正解12) とみなす.

11）実際に人間の感じる類似性とどの程度相関するかを調査す ることは今後の課題とする。

12）そもそも同定したエッジが不正解であった場合は，そのま ま不正解とみなす。

表 4: システム (d) によるエッジ検索の実例.

この設定は，関係ラベルを学習に用いないため,「Zero-shot ラベルあり依存構造解析」とみなせる.

表 3 に関係ラベルの正解率 (labeled attachment score）を記す。関係ラベルを学習に用いていないに も関わらず，コサイン類似度を採用したシステム (b) と (d) は，多くのクエリ事例に対して同一の関係 ラベルを持つ学習事例を最近傍事例として選出して いる. 特にシステム (d) は PTB において $70 \%$ を超え る正解率を達成している。これらの結果から，コサ イン類似度に基づいて選出した事例は, 関係ラベル セットの観点から見た時，クエリ事例と類似してい ることが示唆された。

最後に，これまでの分析を踏まえると最良である システム (d) の最近傍事例を表 4 に示す。一行目の 例のように，クエリ事例の主辞または従属部が機能語（この例では If）である場合に，同一の関係ラべ ルを持つ事例を正しく検索できている傾向が見られ た。また，二行目の例のように，クエリ事例の主辞 が名詞（この例では appeal）である場合, 関係ラべ ルに関わらず，名詞を主辞（この例では staff）とす るような事例が近傍にくる傾向が見られた.

評価 ・分析のまとめ. 次の知見を得た: (i) 提案し た事例ベースシステムは一般的なシステムと同等の 性能を保つことができる, (ii) 類似度関数に内積を 使うと, 説明性（人間の納得度）の観点で望ましく ないハブが出現する, (iii) コサイン類似度に基づい て学習・検索した場合, 関係ラベルの観点で類似し ている事例が近傍に出現する傾向がある.

今後の展開. 本研究のエッジ特徴ベクトルを用い ることによって，単語レベルの類似度に基づく検索 を超えた，依存関係レベルの類似度に基づく検索が 可能になる. 同様に, 2 文間の依存構造のソフトな マッチングが可能であるため，同義文判定や文書検索などの下流タスクへの応用も考えられる.

謝辞. 本研究は JSPS 科研費 19K20351, 19H04162 の 助成を受けたものです.

## 参考文献

[1] Tao Lei, Regina Barzilay, and Tommi Jaakkola. Rationalizing neural predictions. In Proceedings of EMNLP, pp. 107-117, 2016.

[2] Janet L Kolodneer. Improving human decision making through case-based decision aiding. AI magazine, Vol. 12, No. 2, pp. 52-52, 1991

[3] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of KDD, pp. 1135-1144, 2016.

[4] Scott M Lundberg and Su-In Lee. A unified approach to interpreting model predictions. In Proceedings of NIPS, pp. 4765-4774, 2017.

[5] Christoph Molnar. Interpretable Machine Learning. 2019. https://christophm.github.io/ interpretable-ml-book/.

[6] Sam Wiseman and Karl Stratos. Label-agnostic sequence labeling by copying nearest neighbors. In Proceedings of $A C L$, pp. 5363-5369, July 2019.

[7] Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, and Kentaro Inui. Instance-based learning of span representations: A case study through named entity recognition. In Proceedings of $A C L$, pp. 6452-6459, Online, July 2020. Association for Computational Linguistics.

[8] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In Proceedings of EACL, pp. 665-676, April 2017.

[9] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. In Proceedings of ICLR, 2017.

[10] Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, and Richard Socher. A joint many-task model: Growing a neural network for multiple NLP tasks. In Proceedings of EMNLP, pp. 1923-1933. Association for Computational Linguistics, September 2017.

[11] Jacob Goldberger, Geoffrey E Hinton, Sam T Roweis, and Ruslan R Salakhutdinov. Neighbourhood components analysis. In Proceedings of NIPS, pp. 513-520, 2005.

[12] Rajeev Ranjan, Carlos D Castillo, and Rama Chellappa. L2-constrained softmax loss for discriminative face verification. arXiv preprint arXiv:1703.09507, 2017.

[13] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song. Sphereface: Deep hypersphere embedding for face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 212-220, 2017.

[14] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. Cosface: Large margin cosine loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5265-5274, 2018.

[15] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 46904699, 2019.
[16] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, pp. 27872795, 2013.

[17] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. 2015.

[18] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[19] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[20] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of ACL, pp. 92-97, 2013.

[21] Artur Kulmizev, Miryam de Lhoneux, Johannes Gontrum, Elena Fano, and Joakim Nivre. Deep contextualized word embeddings in transition-based and graph-based dependency parsing - a tale of two parsers revisited. In Proceedings of EMNLP-IJCNLP, pp. 2755-2768, November 2019.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[23] Alan Graves, Navdeep Jaitly, and Abdel-rahman Mohamed. Hybrid speech recognition with deep bidirectional LSTM. In Proceedings of Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop, 2013.

[24] Milos Radovanovic, Alexandros Nanopoulos, and Mirjana Ivanovic. Hubs in space: Popular nearest neighbors in high-dimensional data. Journal of Machine Learning Research, Vol. 11, No. sept, pp. 2487-2531, 2010.

[25] Yutaro Shigeto, Ikumi Suzuki, Kazuo Hara, Masashi Shimbo, and Yuji Matsumoto. Ridge regression, hubness, and zero-shot learning. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. 135-151. Springer, 2015.

[26] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of ACL, pp. 4198-4205, July 2020.

[27] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[28] D.P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

## A 付録

## A. 1 データセットの詳細

表 5: 実験に使用した各言語のUD データセット。「語族」の列の IE は Indo-European を表す。「語順」 の列は各言語における一般的な語順を示す.「学習 データ」は文数を千単位（k）で表す.

Universal Dependencies (UD) の最新バージョン $2.7^{13)}$ を用いた. 表 5 に各データの統計情報を記す。

## A. 2 モデルと実験設定の詳細

表 6: 実験に使用したハイパーパラメータ。

式 4 を再喝する: $\boldsymbol{h}_{\langle j, i\rangle}=g\left(\boldsymbol{h}_{i}^{\text {dep }}, \boldsymbol{h}_{j}^{\text {head }}\right)$. 文を入力したところから，この式中の $\boldsymbol{h}^{\mathrm{dep}}$ と $\boldsymbol{h}^{\text {head }}$ を作 るまでの流れを記述する。まず，入力文の系列 $X=\left(x_{0}, x_{1}, \ldots, x_{T}\right)^{14)}$ を, 単語埋め込み, 文字畳み 込みニューラルネットワーク (CNN), BERT [22] を用いてベクトル表現の系列に変換する。各トー クンに単語埋め込み表現15)を割り当てた系列を

$\boldsymbol{w}_{0: T}=\left(\boldsymbol{w}_{0}, \boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{T}\right)$ と表す. 各トークンを文字 $\mathrm{CNN}$ で変換した系列を $\boldsymbol{c}_{0: T}=\left(\boldsymbol{c}_{0}, \boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{T}\right)$ と表 す。各トークンに BERT の表現を割り当てた系列 を $\boldsymbol{b}_{0: T}=\left(\boldsymbol{b}_{0}, \boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{T}\right)$ と表す16). これらの表現 を各トークン $x_{t}$ ごとに結合して，トークン表現 $\boldsymbol{x}_{t}=\left[\boldsymbol{w}_{t} ; \boldsymbol{c}_{t} ; \boldsymbol{b}_{t}\right]$ を得る.

次に, トークン表現系列 $\boldsymbol{x}_{0: T}=\left(\boldsymbol{x}_{0}, \boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{T}\right)$ を双方向 LSTM に入力し, その隠れ層のベクト ル表現の系列 $\overrightarrow{\boldsymbol{h}}_{0: T}=\left(\overrightarrow{\boldsymbol{h}}_{0}, \overrightarrow{\boldsymbol{h}}_{1}, \ldots, \overrightarrow{\boldsymbol{h}}_{T}\right)$ と $\overleftarrow{\boldsymbol{h}}_{0: T}=$

$\mathbb{R}^{d}$ はそれぞれ $d$ 次元の前向きと後向きの LSTM の 隠れ層を表す。これらの表現を結合して，各トーク ンの表現 $\boldsymbol{h}_{t}^{\text {lstm }}=\left[\overrightarrow{\boldsymbol{h}}_{t} ; \overleftarrow{\boldsymbol{h}}_{t}\right] \in \mathbb{R}^{2 d}$ を得る.

最後に, ベクトル系列 $\boldsymbol{h}_{0: T}^{\text {lstm }}=\left(\boldsymbol{h}_{0}^{\text {lstm }}, \boldsymbol{h}_{1}^{\text {lstm }}, \ldots, \boldsymbol{h}_{T}^{\text {lstm }}\right)$ の各ベクトルを変換し, 式 4 中の表現 $\boldsymbol{h}_{t}^{\mathrm{dep}}=$ $\boldsymbol{W}^{\text {dep }} \boldsymbol{h}_{t}^{\text {lstm }}$ と $\boldsymbol{h}_{t}^{\text {head }}=\boldsymbol{W}^{\text {head }} \boldsymbol{h}_{t}^{\text {lstm }}$ を得る. ここで， $\boldsymbol{W}^{\mathrm{dep}} \in \mathbb{R}^{d \times 2 d}$ と $\boldsymbol{W}^{\text {head }} \in \mathbb{R}^{d \times 2 d}$ はそれぞれ, $\boldsymbol{h}_{t}^{\mathrm{dep}} \in \mathbb{R}^{d}$ と $\boldsymbol{h}_{t}^{\text {head }} \in \mathbb{R}^{d}$ に変換するための重み行列である. 実験に使用したハイパーパラメータは表 6 に記す.

## A. 3 結果の詳細

} & \multicolumn{2}{|c|}{ 重み } & \multicolumn{2}{|c}{ 事例 } & \multicolumn{2}{|c}{ 事例 } \\
類似度 & dot & $\cos$ & dot & cos & dot & cos \\

UD-Basque & 85.1 & 85.4 & 85.1 & 80.2 & 85.3 & 85.0 \\
UD-Chinese & 85.9 & 85.5 & 85.9 & 79.3 & 86.1 & 85.7 \\
UD-English & 90.8 & 90.9 & 90.8 & 85.8 & 91.1 & 90.8 \\
UD-Finnish & 89.4 & 89.3 & 89.4 & 84.2 & 89.5 & 89.5 \\
UD-Hebrew & 89.7 & 89.4 & 89.7 & 82.6 & 89.9 & 89.5 \\
UD-Hindi & 94.8 & 94.9 & 94.8 & 90.0 & 94.9 & 94.8 \\
UD-Italian & 94.3 & 94.0 & 94.3 & 86.5 & 94.3 & 94.2 \\
UD-Japanese & 94.3 & 94.4 & 94.3 & 91.0 & 94.6 & 94.5 \\
UD-Korean & 87.9 & 88.0 & 88.0 & 85.1 & 88.2 & 88.2 \\
UD-Russian & 94.2 & 94.2 & 94.2 & 54.6 & 94.3 & 94.1 \\
UD-Swedish & 90.3 & 90.3 & 90.3 & 87.8 & 90.6 & 90.2 \\
UD-Turkish & 73.1 & 73.5 & 73.1 & 70.7 & 73.7 & 73.6 \\
UD (avg.) & 89.1 & 89.0 & 89.1 & 81.2 & 89.3 & 89.1 \\

表 7: 各テストデータにおける正解率.

表 7 に全テストデータの正解率を記す。各正解率 は，異なるランダムシードを用いて独立に学習した 3 つのモデルの平均正解率である.
 \in X$ をサブワード分割してから BERT でエ ンコードする. ここで，各トークン $x_{t}$ の先頭のサブワードに 対するべクトル表現（BERTの最終層の表現）を $\boldsymbol{b}_{t}$ とする. この表現は学習時に更新せず，固定のものを使用する.
}


# 仮想的な誤りタイプの割り当てによる解説文生成の性能向上

永田 亮
甲南大学/JST さきがけ
nagata-nlp2021 @ ml.hyogo-u.ac.jp.
}

塙 一晃
理研 AIP/東北大学
kazuaki.hanawa@riken.jp

## 1 はじめに

本稿では，解説箇所を精緻に認識することで解説文生成の性能を改善する汎用的な手法について述 べる. 解説文生成とは，与えられた文章に対して解説する箇所を決定し，ライティングに関する解説 を生成するタスクである [8]. 例えば，図 1 であれ ば，解説対象文 $(\mathrm{S} 1) \sim(\mathrm{S} 3)$ の赤い下線部が解説箇所， (C1) (C5) が対応する解説文である. 解説文生成の 性能は，解説箇所の推定精度に大きく左右される。 5 で示すように，推定した解説箇所とオラクルの解説箇所とでは, 生成性能に大きな差が生まれる.こ のことは，解説箇所推定に成功すると，解説文の生成にも成功する傾向にあることを示唆する。また，解説すべきでない箇所に対しては，どのような解説文を生成しても誤生成となることは明らかである.

解説箇所推定の改善法として，文法誤り情報付き コーパス $[11,13,12]$ や疑似誤り生成 [17] を流用す ることが考えられるが，訓練データの不一致という 問題が生じる. 訓練データの不一致とは，解説箇所 の訓練事例は存在するが対応する解説文が訓練デー タとして存在しないことをいう。例えば，疑似誤り 生成で，『make+人 $+t o$ 不定詞』のような使役動詞に 関する誤り箇所が大量に得られたとしても，(C1) や (C2) のような関連した解説文が訓練データになけれ ば，適切な解説文を生成することは困難である. そ のような場合に無理に生成を行うと，無関係な解説文が生成されることは容易に想像できる. 解説文生成においては，類似解説文が訓練データに存在する （言い換えれば，解説が可能な）ときのみ，解説箇所 として同定することが重要となる.

そこで，本稿では，与えられた訓練データのみを 用いて解説箇所推定の性能を向上させる手法を提案する（図 1 に基本アイデアを示す)。提案手法は,「同じ誤りタイプに分類される解説箇所は表層上類似した解説がなされる.」という仮説に基づく. 例 えば，図 1 では，(C1) と (C2) および (C3) と (C4) は同じタイプの誤り箇所に対する解説文であり, 表層上類似している。この仮説が正しければ，解説文間 の類似度を手掛かりにして，解説箇所を誤りタイプ ごとにまとめ上げることができるはずである．複数 の解説箇所を同一の誤りタイプとすることにより,「『使役動詞 + 人 $+t o$ 不定詞』は解説箇所である」のよ うな規則の獲得が促進されると期待できる。具体的 な処理として，表層類似度に基づいて解説文をクラ スタリングし，その結果得られたクラスタに仮想的 な誤りタイプを割り当てる。得られた仮想誤りタイ プを，訓練時に，解説箇所のラベルとして利用する.

ここで強調しておきたいのは，あくまでも用いる のは仮想的な誤りタイプであるという点である．誤 りの分類を人手で行う必要はないし，そもそも，な んらかの誤りの分類体系を仮定する必要もない，必要なのは，解説文が付与された英文データのみであ る.そのため，提案手法は幅広い機械学習アルゴリ ズムに汎用的に適用可能である.

本研究の貢献は次の三点である. 第一に，仮想的 な誤りタイプを自動的に決定し，解説箇所推定の性能を向上させる手法を提案する．基本的には解説文 のクラスタリングというシンプルなアイデアに基づ くが，解説文の言語的特徴を考慮した手法としてい る. 第二に，提案手法が解説箇所推定と解説文の生成の両方に有意に効果があることを示す. 第三に，実験結果の分析を通じて，仮想誤りタイプにより性能が向上する理由を明らかにする。

## 2 関連研究

解説文付きコーパスが利用可能になりつつある.文献 $[8,9]$ では，既存の学習者コーパスに対して，解説箇所と解説文の付与が行われている. 文献 [14] では， linking word の用法に着目した解説文を含む学習者コーパスを構築している。

コーパスの公開と共に，解説文生成手法も増えつ つある.ルールに基づいた手法 $[5,10]$ ，テンプレー 卜に基づいた手法 [7]，検索に基づいた手法 [8] など

解説対象文 (S1) It makes students to study. (S2) They let their child to go college. (S3) They came the place by foot.

図 1 提案手法の基本アイデア：同じ色の解説文は表層類似度が高く，同じクラスタに分類されることを意味する.

が知られている。より一般的には，解説文生成は，解説対象文と解説箇所を入力とした言語生成問題と 捉えることができる. したがって，各種のニューラ ル言語生成モデルが本タスクに適用可能である。そ のような研究に文献 [19] がある.

## 3 解説箇所推定手法

提案手法は，次の 5 ステップからなる：

Step (1) 解説文間距離の算出

Step (2) 仮想誤りタイプの同定

Step (3) 仮想誤りタイプの訓練データへの反映

Step (4) 解説箇所推定モデルの訓練

Step (5) 解説箇所の推定

なお，5 の実験で用いるデータセットを踏まえ，以降は, 解説対象文と解説文はそれぞれ英語と日本語 であるとする．ただし，提案手法は解説対象文，解説文とも言語を選ばない汎用的な手法である.

Step (1) では，訓練データとして与えられた解説文の全ての組み合わせに対して距離を計算する。1 で述べたように，表層上類似した解説文をまとめ上 げたいので，編集距離1)を距離の基礎とする．ただ し, 解説文の言語的特徵を考慮するため, 次の二つ の工夫を行う.

まず，解説文中の英単語列を特殊トークン（例： E1）に置換する2). 表層が同じ英単語列は同じ特殊 トークンに置換する。例えば，図 1 の (C2)は，「使役動詞 $E 1$ を使った使役構文は $E 1+E 2+$ 動詞原形の 形になります。」のようになる．この処理には，参照している英単語は異なるが内容は類似する解説文間の編集距離を小さくする効果がある.

二つ目の工夫として，文間のアライメントをとり 距離を求める.この処理は，文数が異なる解説文間 の編集距離が必要以上に大きくなるのを避けるため

に行う. 例えば，図 $1(\mathrm{C} 1)$ と (C2) は同種の誤りに対 する解説文であるが，前者は二文からなるため，そ の分，編集距離は大きくなる．しかしながら，一文目のみに注目すると編集距離はずっと小さい。この 問題を解決するために，編集距離が小さい文の組か ら順にアライメントする。ただし，一つの文は最大 でも一つの文にしかアライメントできないとする. (C1)，(C2)では，一文目同士がアライメントされ， (C1) の二文目はアライメントされない. 最終的な距離は，アライメントされた文間の編集距離の平均と する.したがって，(C1)，(C2)では，一文目のみで 距離が決定されることになる.

Step (2) では，算出した距離を用いて解説文をク ラスタリングする。クラスタリングの結果得られる 各クラスタに，仮想的な誤りタイプ（例えば連番） を割り当てる。ただし，メンバ数が一定数以下のク ラスタについては，解説箇所の推定が困難になるこ とが予想されるため，まとめて一つの誤りタイプと する（以降，デフォルト誤りタイプと表記）クラ スタリングには，階層型クラスタリングの一種であ る single linkage clustering [3] を用いる。クラスタ間 の距離に single linkage を用いるのは，同一内容の解説文でも様々な表層になりえることを考慮してのこ とである。すなわち，クラスタ内に一つでも類似し た解説文が存在すれば，同じタイプの誤りとして認 めるという方針である．クラスタリングの終了条件 は，全てのクラスタ間の距離が閾値以上となったと きとする.

Step (3) では, Step (2) で得られた仮想誤りタイプ の情報を訓練データの解説箇所に反映する．単純 に，仮想誤りタイプを訓練データ中の対応する解説箇所にラベルとして付与する.

Step (4) では，上述の訓練データを用いて解説箇所推定モデルの訓練を行う．解説箇所推定モデルと して，任意の分類（もしくは系列ラベリング）のた めの機械学習アルゴリズムを用いることができる.
本稿では，BiLSTM を用いた誤り検出手法 [6] を採用する. ネットワークの構成とハイパパラメータは 付録 B に示すとおりである.

最終的に Step (5) で，解説箇所の推定を行う. 特別な処理はなく，通常の推論を行うだけである.

## 4 解説文生成手法

3 で提案した手法を用いると，解説すべきかどう かの情報だけでなく，（仮想的な）誤りタイプの情報も得られる。この情報は，解説文生成にも有益で あると予想される．幸いなことに，ニューラル言語生成モデルであれば，仮想誤りタイプの利用は容易 である。本稿では，仮想誤りタイプの情報を分散表現としてデコーダへ入力する方法を採る.

ニューラル言語生成モデルとして，解説文生成の従来手法 [19] を参考にして, pointer-generator network [15] を利用する. ただし, 解説文生成用に 次の二つの変更を加える（ネットワークの構成は付録 B の図 2 に示す). 解説箇所を考慮して解説文を 生成するように, 解説箇所に対応するエンコーダの 隠れ状態3)をデコーダの初期状態とする。 また，仮想誤りタイプもデコーダの初期状態とする.

## 5 評価実験

二つの観点（解説箇所推定と解説文の生成）で提案手法を評価した. 両評価とも, 前置詞解説文デー タセット [9]を用いた. 同データは，トピック「ア ルバイト」（英文数 14,334 ; 解説箇所 2,906 ）と「喫煙」（英文数 14,495; 解説箇所 2,785）について書か れたエッセイを収録する.このデータをエッセイ単位で，85\%，7.5\%，7.5\%の割合で分割し，それぞれ 訓練，開発，評価データとした（詳細は付録 $\mathrm{A}$ に示 す). 前置詞解説文では, 1 単語からなる解説箇所が 大部分を占める. 解説箇所が複数単語にわたる場合 は，中央の単語4)を解説箇所とし，常に解説箇所が 1 単語となるようにした。

各モデルの訓練はトピックごとに行った. 仮想誤 りタイプを得るためのクラスタリングでは，クラス タ間距離の閾値 0.10 と 0.15 , 最小クラスタメンバ数 3 と 5 を用いて, 開発データで解説箇所推定の $F_{1.0}$值が最大となる組み合わせを選択した. ネットワー クのハイパパラメータの値も同様に決定した（詳細 を付録 B に示す)。

3）解説箇所が複数単語からなる場合は平均ベクトルとする.

4）解説箇所の単語数が偶数となる場合は中央左側の単語を解説箇所とした.比較のため，仮想誤りタイプを用いない手法の性能も評価した. 仮想誤りタイプ以外は提案手法と同一とした. 以降では，表記を簡潔にするため，この 手法を便宜的に従来手法と呼ぶことにする。

評価尺度として recall, precision, $F_{1.0}$ を用いた。解説箇所推定については，仮想誤りタイプの一致ま では見ず，解説箇所かどうかの 2 值分類として評価 した. 解説文の生成については, 第一著者と第二著者が，正解の解説文を参照しながら適切な解説文か どうかを独立に判定した. 不一致箇所は相談の上,最終的な評価を決定した。

表 1 に「アルバイト」と「喫煙」に対する出力を まとめてから性能值を求めた結果を示す（個別の評価結果は付録 C に示す)。この表から，仮想誤りタ イプにより, recall, precisionともに改善することが わかる. 実際， $F_{1.0}$ の差は，どちらのタスクにおい ても有意であった (permutation test ; $p=0.002$ (解説箇所推定), $p=0.041$ (解説文生成)).

参考として，オラクルの解説箇所に対する従来手法の生成性能を評価したところ， $F_{1.0}=0.43$ となり,推定した場合とでは大きな差があることが明らと なった.この值は，ある意味での性能限界と捉える ことができる. 提案手法は, 従来手法と同一の訓練 データを使用しているにもかかわらず，従来手法の 性能と性能限界の中間地点付近まで性能を改善して いると解釈することもできる.

## 6 考察

実駼結果を分析したところ，提案手法で解説箇所推定に成功し, かつ, 仮想誤りタイプが出力できた のは 72 箇所であった. その内 62 箇所については従来手法でも推定に成功した. したがって，仮想誤り タイプが出力できる箇所は, 従来手法でも解説箇所推定に成功する傾向にあるといえる。デフォルト誤 りタイプでなく仮想誤りタイプが出力されるという ことは，同種の誤り事例がそれなりの数，訓練デー タに存在することを意味する。なぜなら，メンバ数 が一定以のクラスタのみを仮想誤りタイプとして採択するからである. 訓練事例が一定数ある誤りを解

表 1 性能評価結 ( $R$ : Recall, $P$ : Precision).

説箇所として認識するのは比較的容易であろう。

では，なぜ提案手法の性能は良いのであろう．実 は，上述の理由が従来手法における precision の低下 も説明する。一定数事例がある場合，規則の過剩一般化を引き起こすこともある．最悪の場合，解説箇所周辺の数単語を誤って規則としてしまう. 実験結果からは，そのような傾向が確認された. 例えば， “concentrating our attention on studying" のような誤検出が確認できた．訓練データに“attention on” という 誤りが多数5)あるため，この単語列を規則とした可能性が高い6).一方，仮想誤りタイプを利用すると，複数の事例を一つの誤りタイプとして認識できるた め, 解説箇所とそうでない箇所の相違がより明確に なる. 例えば, "pay attention on" や "pay attention for" などが同じ誤りタイプと認識されたため，この種 の誤りが成立する必要条件に on は含まないと学習 される可能性が高い（相対的に, payが含まれる可能性が高くなる). 同様な例として, 従来手法では, “We can just set a smoking place." を誤検出した (『助動詞 $+t$ 不定詞』を過剩に一般化した結果であると 分析できる)。一方，提案手法では，“can/must/will to 不定詞” など，必ず $t o$ を含んだ解説箇所が仮想誤り タイプのメンバとなったため, 事例間の共通点を学習するのがより容易である.

仮想誤りタイプにより recall が向上する例も確認 できた (例: “smoking is banned at anywhere", “must to $s e t "$ ”).こちらも上と同様に説明できる. 例え ば，前者の場合は，訓練データに，"banned at all the restaurants”を含む文が 463 もあるため ${ }^{7)}$, 従来手法 では，単語列 “banned at”は正しいと判定する規則が 獲得された可能性が高い。一方，提案手法では仮想誤りタイプにより，“at/in anywhere/somewhere”など が同じ誤りタイプにまとめられたため，適切な規則『前置詞+anywhere のような単語』が獲得されたと分析できる.

仮想誤りタイプと同様な効果がマルチタスク学習 により得られる可能性がある。すなわち，解説箇所推定と生成を同時に行うネットワークである. 実際 に，従来手法の二つのネットワークを組み合わせた 手法を評価したところ，解説箇所推定で $F_{1.0}=0.41$

5）例えば，「アルバイト」では少なくとも 8 例確認できる.

6）ニューラルネットを用いているので，実際にこのような ハードな規則が獲得されているわけではないが，出力を分析 するとそのような振る舞いが観測される。

7）トピック「喫煙」は，正確には “Smoking should be completely banned at all the restaurants in the country." という英文で与えら れる.そのため，書き手は同様な表現を頻繁に使用している.
となり，従来手法の性能すら超えられなかった。解説文は表層のバリエーションが多く（図 1(C1) のよ うにオプショナルな情報を含むもの多い)，訓練事例が独立に与えられるマルチタスク学習の設定で は，解説文間の類似性を正確に把握するのはより難 しい，言い換えれば，提案手法のように，文間のア ライメントをとり直接的に類似度を算出することが 重要となる. 更に，限られた訓練データで，より複雑なネットワークの訓練を行うことの難しさも理由 として挙げられる.

解説文の生成における仮想誤りタイプの効果も 顕著である. 仮想誤りタイプが出力された箇所とデ フォルト誤りタイプが出力された箇所の生成正解率 は，それぞれ $71.8 \%$ と1.7\%であり，大きく異なる. ただし，上述のとおり，仮想誤りタイプは一定数以上の訓練事例があることを意味するので，（頻度と いう意味で）比較的生成が容易な事例であることに 注意する必要がある. すくなくとも，仮想誤りタイ プが推定できた場合は，解説文の生成にも正解する 可能性が高いということはいえる.このことは，1 で述べた解説文生成における要件「解説可能なとき のみ解説箇所として同定することが重要」を満たす という点で好ましい特性である。

一方で，仮想誤りタイプ内の事例が同一の解説文 に偏ったため生成の柔軟性が失われる傾向も確認し た. 例えば，「most of の後ろにはある特定の集団が 入ります。単に学生一般を指す場合は、mostを名詞 ではなく形容詞として使いましょう。」という解説文の数が非常に多く, 同種の別の誤り (例 : most of people）に対しても，「学生一般」という表現を生成 してしまっていた (本来は，「人々一般」などを生成しなければならない). この例のように，少し書 き換えると適切になる解説文も正しいと認めると 生成正解率が $71.8 \%$ から $80.0 \%$ まで向上した。一方， デフォルト誤りタイプが出力された箇所の正解率は $41.7 \%$ から $45.5 \%$ となり変化が少ない.このことか らも，上述の傾向が確認できる。

## 7 おわりに

本稿では, 解説文の言語的特徴を利用して仮想誤 りタイプを割り当て, 解説箇所推定と解説文生成の 性能を向上させる手法を提案した. 提案手法は, シ ンプルかつ汎用的な手法にもかかわらず，両タスク の性能を有意に改善することを示した．また，実験結果の分析により, 性能改善の理由を示した.

## 参考文献

[1] Bies, Ann, et al. English web treebank LDC2012T13. Web Download, 2012.

[2] Daniel Blanchard et al. ETS corpus of non-native written English, ldc2014t06. web download, 2014.

[3] J.C. Gower and G.J.S. Ross. Minimum spanning trees and single linkage cluster analysis. Journal of the Royal Statistical Society. Series C (Applied Statistics), Vol. 18, No. 1, pp. 54-64, 1969.

[4] Sylviane Granger. The international corpus of learner English. In English language corpora: Design, analysis and exploitation, pp. 57-69. Rodopi, 1993

[5] Jun'ichi Kakegawa, Hisayuki Kanda, Eitaro Fujioka, Makoto Itami, and Kohji Itoh. Diagnostic processing of Japanese for computer-assisted second language learning. In Proc. of 38th Annual Meeting of the Association for Computational Linguistics, pp. 537-546, 2000.

[6] Masahiro Kaneko, Yuya Sakaizawa, and Mamoru Komachi. Grammatical error detection using error- and grammaticality-specific word embeddings. In Proc. of 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 40-48, 2017.

[7] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to explain corrective feedback for second language learners. In Proc. of 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 235-240, 2019.

[8] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proc. of 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3197-3206, 2019.

[9] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[10] Ryo Nagata, Mikko Vilenius, and Edward Whittaker. Correcting preposition errors in learner English using error case frames and feedback messages. In Proc. of 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 754-764, 2014.

[11] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

[12] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. 18th Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[13] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.
[14] Ildiko Pilan, John Lee, Chak Yan Yeung, and Jonathan Webster. A Dataset for Investigating the Impact of Feedback on Student Revision Outcome. In Proc. of 12th Language Resources and Evaluation Conference, pp.332-339, 2020.

[15] Abigail See, Peter J Liu, and Christopher D Manning. Get To The Point: Summarization with Pointer-Generator Networks. In Proc. of 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083, 2017.

[16] Masatoshi Sugiura, Masumi Narita, Tomomi Ishida, Tatsuya Sakaue, Remi Murao, and Kyoko Muraki. A discriminant analysis of non-native speakers and native speakers of English. In Proc. of Corpus Linguistics Conference CL2007, pp. 84-89, 2007.

[17] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proc. of 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619628, 2018.

[18] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[19] 塙一晃, 永田亮, 乾健太郎. 高信頼度な文法誤り解説生成のための生成制御手法. 人工知能学会全国大会論文集, pp. 2D1GS903-2D1GS903, 2020.

## A 評価実験に用いた前置詞解説文 データセットの詳細

表 2 に，評価実験に用いた前置詞解説文データ セットの詳細を示す. 基本的には, 文献 [9] の前置詞解説文データセットであるが，未公開のデータも 使用した。これらのデータも公開予定である.

## B ネットワークの構成とハイパパ ラメータの設定

## B. 1 解説箇所推定モデル

BiLSTM の層数は 2 に固定し，隠れ状態の次元 200，600，800をサーチした。それ以外は次のよう に固定した: バッチサイズ 32 ; early stopping (エポッ ク数 100 , patience 10) ; ドロップアウトレート 0.5.訓練は 5 回行い, 各訓練結果から得られる出力 (確率）の平均値により最終的な判定を決定した.

最終的に決定されたハイパパラメータは，次のと おりである.トピック「アルバイト」については， BiLSTM の隠れ状態の次元 600 , 仮想誤りタイプを 割り当てるクラスタの最小メンバ数 5 , クラスタ間距離の間値 0.15 となった. 同様に，「喫煙」では，同じ順で，800，3，0.15 となった. 更に, 従来手法 では，BiLSTM の隠れ状態の次元は，800 (「アルバ イト」）と 600 (「喫煙」）となった。

## B. 2 解説文生成モデル

図 2 に, pointer-generator に基づいた解説文生成モ デルの概要を示す. 濃い赤で示された部分が，オリ ジナルの pointer-generator からの変更点である.

ネットワークのハイパパラメータは文献 [19]を 参考にして次のように設定した. エンコーダは BiLSTM（層数 1 ，隠れ状態の次元 300）とした. デ コーダは，LSTM（総数 1，隠れ状態の次元 300）と した. バッチサイズ 32 , エポック数 50 , ドロップ アウトレート 0.5. 訓練は 5 回行い，開発データ中 の正解解説文との BLEU の平均値が最大となる訓練結果を採択した。

## B. 3 両モデルに共通する設定

英単語の分散表現は，アルゴリズムを CBOW， サイズを 200 次元に固定し, 次のコーパスから得 た: 評価実験で用いた訓練, 開発データの解説対象英文, CEEJUS $^{8}$, CLC FCE [18], ETS [2], ICLE [4],

NICE [16]（以上，学習者コーパス), EWT [1] (母語話者コーパス). この分散表現を解説対象文の英単語の分散表現とした. また，解説文中に出現する英単語の分散表現としても使用した. その他の日本語単語については，ランダムな値で初期化した. 日本語の形態素解析器として $\mathrm{MeCab}^{9}$ )を用いた.

各モデルの最適化アルゴリズムは Adam（step size: 0.001, first/second moment: 0.9/0.999）とした.

## C 付録：詳細な評価結果

表 3 と表 4 に，トピック「アルバイト」と「喫煙」 を別々にして評価した性能を示す.

図 2 解説文生成モデルの構成.

表 2 評価実験に用いたデータの統計量.

表 3 トピック別の解説箇所推定性能.

表 4 トピック別の解説文の生成性能.

9) http://taku910.github.io/mecab/


# Incorporating Rubrics to Short Answer Grading

Tianqi Wang ${ }^{1,2}$ Hiroaki Funayama $^{1,2}$ Hiroki Ouchi $^{2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN Center for Advanced Intelligence Project
\{outenki,hiroaki,inui\}@ecei.tohoku.ac.jp \{hiroki.ouchi\}@riken.jp

## 1 Introduction

Assignments are crucial for assessing students' knowledge in a pedagogical setting, where students are generally required to answer questions in relatively short texts. Figure 1 shows a typical example where students are asked to explain a sentence appearing in an essay to test their reading comprehension. A reference answer and rubrics are provided to show the rules for grading assignments.

Due to the diversity of open-ended questions in answer scoring, educators' workload can be excruciatingly timeconsuming. The task of Short Answer Grading (SAG) has been proposed to assist educators with grading. SAG is the task of estimating scores of short-text answers written as a response to a given prompt. The task has been studied mainly with machine learning-based approaches, focusing on exploring better representations of answers. The recently proposed neural models have been yielding strong results $[1,2]$.

SAG is generally a low-resource task, suffering from the scarcity of training data. Thus, it is difficult to train SAG models from answers only, leading to a poor performance. To improve the performance of SAG models especially for low-resource settings when the available training data is limited, it is easy to have the idea to incorporate rubrics to help train SAG models. However, the question is still unclear how to incorporate rubrics into neural SAG models.

In this paper, we explore two approaches to introduce rubrics to SAG models. We first augment training data with rubrics. We extract keyphrases that are highly related to the scores of answers from rubrics, and calculate the weights of words in answers based on span-wise alignments between answers and the extracted keyphrases. Highly weighed words are used as pseudo cues for scoring. Another approach to incorporate rubrics is rule-based models, scoring answers following rules defined by rubrics[3].
Thus we also explore some simple rule-based methods for comparison. The experimental results demonstrate that the performance is improved by the augmented data, especially in a low-resource setting.

## 2 Task and evaluation

We evaluate the SAG models on two analytical assessment tasks formalized by Mizumoto et al. [2]: i) analytic score prediction and ii) justification identification.

Analytic score prediction is the task of predicting the score of a given answer for a prompt. Given a number of answer texts, an SAG model is expected to output either scores [4] or labels. [5]. Given a student answer that consists of $n$ tokens, $t_{1: n}^{a n s}=\left(t_{1}^{a n s}, t_{2}^{a n s}, \ldots, t_{n}^{a n s}\right)$, the goal is to predict the analytic score $s \in \mathbb{R}$. As shown in Figure 1, an answer gains analytic scores for each item (e.g. (A) (D)) following corresponding analytic criterion (Try one's best for 3 points, e.g.). To evaluate the precision of analytic score prediction, we use quadratic weighted kappa (QWK) [6], which is commonly used in the SAG literature.

Justification identification involves identifying a justification cue in a given student answer for each item as interpretation to the prediction of the analytic score. A justification cue is a segment of an answer that contributes to the number of points of the analytic score. An example of a justification cues for item $D$ is shown in Figure 1. As manually annotated justification cues, the phrase 西洋では in the answer refers to 西洋 (では), and 言葉を尽くして refers to 言葉を尽くして in the rubric. Formally, given a student answer $t_{1: n}^{a n s}=\left(t_{1}^{a n s}, t_{2}^{a n s}, \ldots, t_{n}^{a n s}\right)$, the goal is to identify the segment $p_{a: b}=\left(t_{a}^{a n s}, t_{a+1}^{a n s}, \ldots, t_{b}^{a n s}\right)$, where $1 \leq a \leq b \leq n$. In this paper we evaluate the performance on justification identification with F1 score, following the method used by Mizumoto et al [2] for evaluation.

## 3 Proposed method

## 3.1 Key idea

Figure 1: A typical example of a prompt to a provided essay to test the reading comprehension of students. A reference answer and rubrics for scoring are also shown. Texts in green are manually annotated justification cues.

To clarify our key idea, we first introduce attention unsupervised baseline model (ATT-UNSUP) [1] and an attention supervised model (ATT-SUP) [2] for comparison. As illustrated in Figure 2(a), the ATT-UNSUP model encodes student answers with an embedding layer and a Bi-LSTM layer. Then the weighted sum of hidden states is input to a regression layer for prediction of score. The weights are learned by a attention layer on top of the Bi-LSTM layer. We take the ATT-UNSUP model as the baseline in this paper. With additional annotation on justification cues, the ATT-SUP model is trained with gold attention supervisory signals, as is shown in Figure 2(b). Attention to tokens of justification cues is set to 1 , and attention to other tokens is set to 0 . It is reported that the performance is improved by attention supervision [2]. In this paper we list the performance of ATT-SUP model for reference.

Rubrics define key elements with keywords or keyphrases as examples. Key elements are concepts or information defined by the rubrics, that an answer needs to contain in order to receive points. As is shown in Figure 1 , the phrase 西洋では is a keyphrases to define key element for item A, so answers will receive 2 points if they contain a similar phrase. Our key idea is illustrated in Figure 2(c). Instead of manually supervising justification cue signals, we consider using the rubrics to automatically identify which span of a given answer should be attended.

(a) baseline model (b) Attention-supervised model

(c) Proposed model

$
\longrightarrow \text { Inference } \longrightarrow \text { Backpropagation of score }
$

Figure 2: The architecture of baseline model, attention supervised model and proposed method.

If a span that is likely to be a justification cue is identified in a training instance, we then use it as a pseudo supervisory signal to train the attention prediction component. Otherwise we do not use that instance for supervising attention prediction, but use only its gold score to train the model. The output of regression layer is the predicted score, and the output of attention layer is considered as prediction of justification cues.

## 3.2 Data augmentation

We generate pseudo attention supervisory signals based on span-wise matching to rubrics. A concrete example is given in Figure 3. Answers and rubrics are tokenized by MeCab [7], and keyphrases such as（他人を）説得す $る$ are extracted from the given rubrics. We then identify justification cues in a given answer by matching spans to the keyphrases.

Figure 3: Match justification cues.

Given an answer consisting of $n$ tokens $t_{1: n}^{a n s}=$ $\left(t_{1}^{a n s}, \ldots, t_{n}^{a n s}\right)$, we first enumerate all possible spans: $\mathscr{P}=\{a: b \mid 1 \leq a \leq b \leq n\}$, where each span $p_{a: b}=$ $\left(t_{a}^{a n s}, \ldots, t_{b}^{a n s}\right)$ is a subsequence of the tokens in the answer. Each keyphrase is a sequence of $m$ tokens:
$t_{1: m}^{k}=\left(t_{1}^{k}, \ldots, t_{m}^{k}\right)$. The similarity score $w_{a: b}$ between a keyphrase $t_{1: m}^{k}$ and each span $p_{a: b}$ is calculated $w_{a: b}=\operatorname{sim}\left(t_{1: m}^{k}, p_{a: b}\right)$. Based on the similarities, we define the matching score $w^{k}$, how well the keyphrase $t_{1: m}^{k}$ matches (or is entailed in) the answer, and extract the span with the highest similarity as the pseudo justification cue: $p^{k}=\operatorname{argmax}_{p_{a: b} \in \mathscr{P}} w_{a: b}$.

Based on the pseudo justification cues (spans) $p^{k}$, we define a pseudo supervisory signal $\alpha_{i}^{\text {pseudo }}$ of each token $t_{i}^{\text {ans }}$ in an answer $t_{1: n}^{a n s}$ to learn the attention mechanism, instead of the ground-truth one. Specifically, if a token $t_{i}^{\text {ans }}$ is contained in a pseudo justification cue $p^{k}=\left(t_{a}^{k}, \ldots, t_{b}^{k}\right)$, we use the similarity score $w^{k}$ as the pseudo supervisory signal. We pick up the highest one of the similarities if a token is contained in multiple extracted spans.

## 3.3 Attention semi-supervised learning

We propose an attention semi-supervised method to train the SAG model. Because not all of the pseudo justification cues are reliable, only high enough attention values to justification cues will be used as pseudo signals for attention supervising. To filter out the unreliable pseudo justification cues, a binary label $\eta_{j}$ is attached to each answer $a_{j}$. The value of $\eta_{j}$ is set to 1 if $\max \left(\alpha_{j}^{\text {pseudo }}\right) \geq T$, otherwise the value is set to 0 . The threshold $T$ is a hyperparameter. The answer $a_{j}$ is considered as matched to justification cues only when $\eta_{j}=1$. Besides, in order to enhance the effectiveness of attention supervision, we binarize the labeled attention $\boldsymbol{\alpha}^{\text {pseudo }}$ to $\boldsymbol{\beta}^{\text {pseudo }}$. For the $i^{t h}$ token of answer $a_{j}$, the attention value $\beta_{j, i}^{\text {pseudo }}$ is set to 1 if $\alpha_{j, i}^{\text {pseudo }}>T$, and is set to 0 otherwise.

The loss function is designed as follows:

$l=\frac{1}{N} \sum_{j=1}^{N}\left(s_{j}^{\text {gold }}-s_{j}\right)^{2}+\frac{1}{N n} \sum_{j=1}^{N} \sum_{i=1}^{n}\left(\eta_{j} \beta_{j, i}^{\text {pseudo }}-\eta_{j} \alpha_{j, i}\right)^{2}$ where $N$ is the number of answers, and $n$ is the number of tokens in each answers. Note that answer $a_{j}$ is considered containing no justification cues if $\eta_{j}=0$, and the corresponding loss of attention is always 0 . In this way, only answers with a significant match to keyphrases are used for attention-supervised learning.

## 3.4 Rule-based models

Another approach to incorporate rubrics to SAG is rulebased methods. As described in Figure 1, an answer is scored by steps (D(1) and D(2) for item D). On each step, corresponding points are assigned to the answer if any keywords are contained by the answer, and the sum of scores assigned in each step is output as the final score for the answer. We proposed two simple rule-based models that score answers the rules.

Rule-based model on top of regexp matching (RGEXPRULE): We create regular expressions for keyphrases for each step based on the rubrics. Then we identify keyphrases in a given answer by regexp matching for each step, and assign points to the answer for each matched keyphrases. The sum of corresponding scores of matched keyphrases in each step is output as the prediction of answer score. Only the keyphrases with the highest score will be selected if multiple keyphrases are matched in one step.

Rule-based model on top of span-wise matching (SPANRULE): This method works similarly to RGEXP-RULE introduced above, but the span-wise matching introduced in Section 3.2 is used instead of regexp matching. We apply different values of $T$ from 0.1 to 1.0 , and take the value leading to the best performance over all prompts.

## 4 Experiments

We apply our proposed method on the dataset provided by Mizumoto et al. [2] ${ }^{1)}$. The dataset includes 6 prompts (Q1 Q6), with 1600 answers as training data, 250 answers as development data, and 250 answers as test data for each prompt. To focus on the performance in low-settings, we train the models on various sizes of training data, ranging from 50 to 200 , and randomly select 30 develop data.

The embedding layer is initialized wiyh a $100-$ dimensional Word2Vec word embeddings [8] pre-trained on Japanese Wikipedia data. We freeze the embedding layer during the training phase to reduce the number of parameters to learn. The dimension of the Bi-LSTM layer is set to $d^{l s t m}=250$, and the dropout probability is set to 0.5. The parameter $d$ for $\boldsymbol{W}$ and $\boldsymbol{m}$ of the attention layer is set to 100 . $\boldsymbol{W}$ and $\boldsymbol{m}$ are initialized randomly from the normal distribution, with the standard deviation set to 0.01 .

To generate pseudo attention supervisory signals, Levenshtein edit distance [9] is used to match answer spans to keyphrases. The hyperparameter $T$ is selected based on develope dataset. In this paper, we train our model on each item (21 items in total). The parameters are optimized with the Adam [10] optimizer, with learning rate of 0.001 .

Experiments are repeated for 5 times with different random seed from 0 to 4 for initialization, and the average results over all random seeds are used as the final results.

## 5 Results and discussion

Table 1: QWK on analytica score prediction.

Figure 4: QWK analytic score prediction on each prompt. The size of training data for OUR model is 50 .

The experimental results are listed in Table 1 and Table 2, corresponding to QWK for analytic score prediction and F1 score for justification identification. Again, the ATT-UNSUP model is the baseline model, and ATT-SUP with manually annotation on justification cues as attention supervisory signals is for reference.

The performance of rule-based models is very limited, as is shown in Table 1. To figure the reason, we show the performance on each prompt in Figure 4. Note that the rule-based models performance well for some specific prompts, where the justification cues are easy to match, and the rules for scoring is simple. However, for prompts where the rubrics are complicated, it is more challenging to identify justification cues, leading to a extremely low performance. The span-wise matching method performs better than regexp matching, and OUR neural model outperforms the rule-based models overall. This demonstrates that a well designed matching method is necessary for rule- based method to incorporate rubrics to SAG models, and the neural network helps make a stable model, especially on prompts with complicated rubrics. We will explore this problem further in our future work.

Table 1 also indicates that compared to the ATT-UNSUP model, the performance on analytic score prediction is improved by data augmentation. The performance of OUR model is comparable to the ATT-SUP model trained with manually annotated justification cues, but no additional annotation data is required by our model. It is also important to mention that we achieved comparable performance to the baseline with a larger size of training data, indicating that our proposed semi-supervised method does not harm the performance when a large amount of training data is available. The F1 score for justification identification is also improved through various training sizes, as shown in Table 2, indicating better interpretability on the scoring results. However there is still a gap between OUR model and ATT-SUP model. That indicates that there is still much room for improvement with a more carefully designed method to generate pseudo justification cues.

Table 2: F1 score on justification identification.

## 6 Conclusion

Short Answer Grading task plays an important role in education context. However it suffers from the scarcity of training data, making its application limited. To improve the performance of SAG models, we explored approaches to incorporate rubrics to the SAG task. The rule-based models work well on simple prompts, but the performance is limited for prompts with complicated rubrics. The data augmentation with rubrics improves the performance on both analytic score prediction and justification identification compared to the attention unsupervised baseline model, especially in low-resource settings. Considering the pseudo justification cues are generated by a simple span-wise matching method, a more carefully constructed method can lead to further benefits. We will explore this issue in our future work.

## References

[1] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, 2017.

[2] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, 2019.

[3] Lakshmi Ramachandran, Jian Cheng, and Peter Foltz. Identifying patterns for short answer scoring using graphbased lexico-semantic text matching. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 97-106, 2015.

[4] Michael Mohler, Razvan Bunescu, and Rada Mihalcea. Learning to grade short answer questions using semantic similarity measures and dependency graph alignments. In Proceedings of the ACL, pp. 752-762. Association for Computational Linguistics, 2011.

[5] Myroslava O Dzikovska, Rodney D Nielsen, Chris Brew, Claudia Leacock, Danilo Giampiccolo, Luisa Bentivogli, Peter Clark, Ido Dagan, and Hoa T Dang. Semeval-2013 task 7: The joint student response analysis and 8th recognizing textual entailment challenge. Technical report, NORTH TEXAS STATE UNIV DENTON, 2013.

[6] Jacob Cohen. Weighted kappa: nominal scale agreement provision for scaled disagreement or partial credit. Psychological bulletin, Vol. 70, No. 4, p. 213, 1968.

[7] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, pp. 3111-3119, 2013.

[9] Vladimir I Levenshtein. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710, 1966.

[10] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.