# What can Short Answer Scoring Models Learn from Cross-prompt Training Data?

Hiroaki Funayama ${ }^{1,2}$ Yuya Asazuma ${ }^{1,2}$
Yuichiroh Matsubayashi $^{1,2}$ Tomoya Mizumoto ${ }^{2}$ Kentaro Inui ${ }^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
$\{$ h. funa, asazuma.yuya.r7 $\}$ dc. tohoku.ac.jp
$\{y . m$, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp
}

\begin{abstract}
For the task of Automatic Short Answer Scoring (ASAS), both rubrics and reference answers differ for every single prompt which requires a need to annotate answers for each in order to construct a highly-effective scoring model. Such need to annotate answers for every prompt is costly, especially in the context of school education and online courses where only a few answers to prompts exist. In this work, we attempt to reduce this burden by first training a model for predicting scores given rubrics and answers of already annotated prompts (adaptive-pretraining). We then fine-tune the model on a small amount of data for each new prompt to be graded. Our experimental results show that adaptive-pretraining with rubrics significantly improve scoring accuracy, especially when the training data is scarce.
\end{abstract
## 1 Introduction

Automatic Short Answer Scoring (ASAS) is the task of automatically scoring a given input (e.g., essays) to a prompt based on existing rubrics and reference answers $[1,2,3,4]$. ASAS has been extensively studied as a means to reduce the burden of manually scoring student answers in both school education and large-scale examinations. Recently, the practical application of ASAS systems has gained much attention, both in school education and e-learning [5, 6, 7]. However, the annotation cost is limited in school education and online courses, making it challenging to obtain sufficient training data for developing ASAS models [8]. The data to train ASAS models must be prepared for each prompt independently, as the rubrics and reference answers are different for each prompt [9]. Those facts are a considerable barrier to the practical application of ASAS systems in these situations. However, whether cross-prompt training of ASAS models can reduce annotation costs is one of the biggest open issues in this field, and few studies have addressed it [10].

Towards answering this question, given that annotated data from other prompts cannot be used directly for training an ASAS model for a specific prompt since the rubrics and reference answers for each prompt are entirely different, we focus on the relationship between the rubrics and the answers. ASAS is a task that assigns a score when an answer implicates an expression described in the rubric. Thus, we can view ASAS as determining implication relations by flexibly matching the semantics between the rubrics and answers. We leverage already annotated prompts to make the model recognize such implication relationships flexibly. Inspired by this idea, we attempt to make a model (i.e., BERT) learn the relationship between rubrics and answers using already annotated prompts (see fig.1). We can't use them directly to train the model because the rubrics contain various information for grading answers. Therefore, we utilize key phrases $[11,12]$, representative examples of expressions that an answer should include to gain scores.

We train BERT on already graded prompts as predicting scores by inputting key phrase/answer pairs (name it adaptive-pretraining). Thorough the adaptive-pretraining, we expect the model will learn the relationship between the key phrase and the expressions in the answers. We then finetune BERT on the prompts to be graded. With adaptivepretraining, we expect to build ASAS models that are more robust against expression variation, especially when the training data is scarce.

In our experiment, we examine the effectiveness of

Figure 1 Overview of our proposed method. We input a key phrase, reference expressions, with an answer. We first adaptive-pretrain the ASAS model on already annotated prompts and then finetune the model on a prompt to be graded.

adaptive-pretrain with key phrases. Our experimental results show that the model performance improves by 0.17 at maximum in Quadratic Weighted Kappa (QWK) by adaptive-pretraining with key phrases.

In addition to our experiments, towards effective ASAS modeling which requires a significant amount of prompts and answers, we contribute 1,0000 new data annotations (20 prompts with 500 answers each) to the RIKEN dataset [11], the only Japanese dataset available for ASAS. We make our data annotations publicly available for academic purposes.

## 2 Method

As mentioned a priori, in this study, we attempt to train ASAS models in a cross-prompt manner in order to reduce the data required to train a model for a new prompt to be graded automatically by leveraging data from already annotated prompts. Specifically, we first train a BERT model to predict scores from pairs of answers and key phrases of the already annotated prompts (adaptive pretrain). Next, we further fine-tune BERT with the small amount of data from the prompt to be graded automatically.

## 2.1 Task definition

In this study, we assume that fully annotated prompts are available. We consider utilizing those annotated prompts to train models for the newly obtained prompts to be graded automatically. Let $P_{\text {known }}$ denote the already annotated prompts and $P_{\text {target }}$ denote the newly obtained prompts to be graded. Suppose $X_{p}$ represents a set of all possible student's answers of a given prompt $p \in P$, and $\mathbf{x} \in X_{p}$ is an answer. The prompt has an integer score range from
0 to $N$, which is basically defined in rubrics. Namely, the score for each answer is selected from one of the integer set $S=\{0, \ldots, N\}$. Therefore, we can define the ASAS task as assigning one of the scores $s \in S$ for each given input $\mathbf{x} \in X_{p}$. Moreover, to construct an ASAS model means to construct a regression function $m$ from every input of student answer $\mathbf{x} \in X$ to a score $s \in S$, that is, $m: X \rightarrow S$.

## 2.2 Scoring model

A typical, recent approach to constructing a mapping function $m$ is the use of newly developed deep neural networks (DNNs). As discussed a priori, the set of scores $S$ consists of several consecutive integers $\{0, \ldots, N\}$. Suppose $D$ is training data that consist of a set of actually obtained student's answers $\mathbf{x}$ and its corresponding human annotated score $s$ pairs, that is, $D=\left(\left(\mathbf{x}_{i}, s_{i}\right)\right)_{i=1}^{I}$, where $I$ is the number of training data. To train the model $m$, we try to minimize the Mean Squared Error (MSE) loss on training data $L_{m}(D)$ calculated using model $m$. Therefore, we can write the training process of the SAS model as the following minimization problem:

$m=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}(D)\right.\}, \quad L_{m}(D)=\frac{1}{|D|} \sum_{(\mathbf{x}, s) \in D}(s-m(\mathbf{x}))^{2}$,

where $m(\mathbf{x})$ represents the calculated prediction of model $m$ given input $\mathbf{x}$. Once $m$ is obtained, we can predict the score $\widehat{s}$ of any input (student answer) by using trained model $m$ as $\widehat{s}=m(\mathbf{x})$.

## 2.3 Adaptive-pretrain with rubrics

## 2.3.1 Key phrase

A key phrase is a representative example of the expressions that an answer must contain in order to gain scores. In general, rubrics are difficult to utilize directly because they detail the information and properties that an answer must contain in order to score. In general, it is difficult to use rubrics for training models directly because they detail the information and expressions that an answer must contain to gain scores. Therefore, we utilize key phrases such as those shown in Figure 2.

## 2.3.2 Adaptive-pretrain

As described in Section 2.1, we utilize data from already annotated prompts $P_{\text {known }}$ to train models for prompts $P_{\text {target }}$ to be graded. For each prompt $p \in P$, there exists a key phrase $k_{p}$.We separate the key phrase $k_{p}$ of prompt $p$ and the i-th answer $x_{p, i}$ of prompt $p$ by [SEP] as the sequence $t_{p, i}=\left.\{k_{p},[S E P], \mathbf{x}_{\mathbf{p}, \mathbf{i}}\right.\}$. Then, we construct data for adaptive-pretraining as:

$
D_{\text {adap }}=\left.\{\left(t_{p, i}, s_{p, i}\right) \mid p \in=P_{\text {known }}\right.\}_{i=1}^{I}
$

We train the BERT-based regression model on this dataset $\mathscr{D}_{\text {adap }}$ to obtain model $m_{\text {adap }}$ :

$
m_{\text {adap }}=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}\left(D_{\text {adap }}\right)\right.\}
$

We refer to models trained on existing graded prompts as adaptive-pretraining.

Next, we further fine-tune the adaptive-pretrained model on $p \in P_{\text {target }}$ to obtain a model $m_{p}$ for prompt $p$.

$
m_{p}=\underset{m^{\prime}}{\operatorname{argmin}}\left.\{L_{m^{\prime}}\left(D_{p}\right.\},\right.
$

## 3 Experiment

## 3.1 Dataset

We use the RIKEN dataset, the only publicly available Japanese SAS dataset ${ }^{1)}$ provided in [11]. As mentioned in Section.1, we extend the dataset to conduct this research. Each prompt in the RIKEN dataset has several scoring rubrics (i.e., analytic criterion [11]), and an answer is manually graded based on each analytic criterion independently

Figure 2 Example of a prompt, scoring rubric, and student's answers excerpted from RIKEN dataset [11] and translated from Japanese to English. For space reasons, some parts of the rubrics and answers are omitted.

(i.e., analytic score). Thus, following [13], we treat this analytic criterion as an individual scoring task. For simplicity, we refer to each analytic criterion as a single prompt in this paper. In this way, we consider that there are a total of 109 prompts in this dataset.

In our experiment, we used 21 prompts as $P_{\text {target }}$ to evaluate the effectiveness of adaptive-pretraining (see Appendix for detailed information regarding 3 ). For adaptivepretraining, we used all remaining 88 prompts consisting of 480 answers per prompt for training the model and 20 answers per prompt as devset.

## 3.2 Setting

As described in Section 2.2, we used pretrained BERT [14] as the encoder for the automatic scoring model and use the vectors of CLS tokens as feature vectors for predicting answers ${ }^{2}$

Similar to previous studies $[11,15,2]$, we use a Quadratic Weighted Kappa (QWK) [16], a de facto standard evaluation metric in ASAS, in the evaluation of our models. The scores were normalized to a range from 0 to 1 according to previous studies [15,11]. QWK was measured by re-scaling when evaluated on the test set. We train a model for 5 epochs in the adaptive-pretraining process. We then fine-tune the adaptive-pretrained model for 10 epochs. In the setting without adaptive-pretraining process, we fine-tune the model for 30 epochs. We computed the QWK of the dev set at the end of each epoch

Table 1 QWK and standard deviation of four settings; with and without adaptive-pretraining, and with and without rubrics (keyphrase). In the adaptive-pretraining phase, we use 88 prompts, 480 answers per prompt. We change the amount of data for finetuning as 25,50 , 100 , and 200 .

} & \multicolumn{2}{c}{ w/ Adaptive-pretraining } & \multicolumn{2}{c}{ w/o Adaptive-pretraining } \\
\cline { 2 - 5 } & w/ rubric & w/o rubric & w/ rubric & w/o rubric \\

50 & $0.74 \pm 0.01$ & $0.62 \pm 0.02$ & $0.64 \pm 0.02$ & $0.64 \pm 0.01$ \\
100 & $0.78 \pm 0.01$ & $0.70 \pm 0.02$ & $0.73 \pm 0.02$ & $0.73 \pm 0.01$ \\
200 & $0.81 \pm 0.01$ & $0.77 \pm 0.01$ & $0.80 \pm 0.01$ & $0.79 \pm 0.01$ \\

in fine-tuning process and evaluated the test set using the parameters with the maximum QWK.

## 3.3 Results

Table 2 QWK and standard deviation when the total number of answers used for adaptive-pretrain is fixed at 1,600 and the number of questions used is varied from $5,10,20,40,80.50$ training data were used for finetuning.

 & QWK \\

10 & 160 & $0.68 \pm 0.02$ \\
20 & 80 & $0.74 \pm 0.01$ \\
40 & 40 & $0.74 \pm 0.01$ \\
80 & 20 & $0.74 \pm 0.00$ \\

We first compared the performance with and without adaptive pretraining and with and without scoring criteria. Here, similar to [11], we experimented with 25 , 50, 100, and 200 training data instances in the fine-tuning phase. The results are shown in Table 1. First, we can see that adaptive pretraining without key phrases does not improve the model performance. Similarly, using only key phrases without adaptive pretraining does not improve scoring accuracy. QWK improves significantly only when key phrases are used and when adaptive-pretrain is performed. The gain was notably large when the training data was scarce, with a maximum improvement of about 0.17 in QWK when using 25 answers for fine-tuning. On the other hand, the performance did not improve when we used 200 answers in training, which indicates that adaptivepretraining does not benefit when sufficient training data is available. Furthermore, it is also suggested that the adaptive pretraining with key phrases can reduce the required training data by half while maintaining the same perfor- mance. Note that the results without adaptive-pretrain are comparable to the results of the baseline model shown in [11].

Impact of the number of prompts used for adaptive-pretraining Next, we examined how changes in the number of prompts affect adaptive-pretrain: we fixed the total number of answers used for the adaptive-pretrain at 1,600 and varied the number of prompts between 5, 10, 20,40 , and 80 . We performed fine-tuning using 50 answers for each prompt. The results are shown in Table 2. The QWK is 0.68 when the number of prompts is 5 or 10 , indicating that the effectiveness of adaptive-pretraining is inferior when the number of prompts is less than 20 . This suggests that a sufficient number of prompts are required for effective adaptive-pretraining. It also suggests that increasing the number of prompts is more effective for adaptive-pretraining than increasing the number of answers per prompts.

## 4 Conclusion

The limited cost of annotation for data has been a major obstacle in deploying ASAS systems into school education and online learning courses. To tackle this problem, we considered utilizing already annotated prompts. Specifically, we first performed adaptive-pretraining for a BERTbased regression model using the answers and key phrases of the annotated questions. We then further fine-tuned the BERT model with a small amount of data on the prompt we want to grade automatically.

Experimental results showed that adaptive-pretraining with key phrases greatly improves the performance of the model, especially when the training data is scarce. We also discovered that adaptive-pretraining can reduce the amount of required training data by half while maintaining the same performance.

## Acknowledgement

We are grateful to Dr. Paul Reisert for their writing and editing assistance. This work was supported by JSPS KAKENHI Grant Number 22H00524, JP19K12112, JST SPRING, Grant Number JPMJSP2114. We also appreciate Takamiya Gakuen Yoyogi Seminar for providing the valuable data.

## References

[1] Claudia Leacock and Martin Chodorow. C-rater: Automated Scoring of Short-Answer Questions. Computers and the Humanities, Vol. 37, No. 4, pp. 389-405, 2003.

[2] Michael Mohler, Razvan Bunescu, and Rada Mihalcea. Learning to Grade Short Answer Questions using Semantic Similarity Measures and Dependency Graph Alignments. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: $\mathrm{Hu}$ man Language Technologies, pp. 752-762, 2011.

[3] Md Arafat Sultan, Cristobal Salazar, and Tamara Sumner. Fast and easy short answer grading with high accuracy. In NAACL-HLT, pp. 1070-1075, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Surya Krishnamurthy, Ekansh Gayakwad, and Nallakaruppan Kailasanathan. Deep learning for short answer scoring. International Journal of Recent Technology and Engineering, Vol. 7, pp. 1712-1715, 032019.

[5] Yaman Kumar, Swati Aggarwal, Debanjan Mahata, Rajiv Ratn Shah, Ponnurangam Kumaraguru, and Roger Zimmermann. Get it scored using autosas - an automated system for scoring short answers. In AAAI/IAAI/EAAI. AAAI Press, 2019.

[6] Shourya Roy, Sandipan Dandapat, Ajay Nagesh, and Y. Narahari. Wisdom of students: A consistent automatic short answer grading technique. In Proceedings of the 13th International Conference on Natural Language Processing, pp. 178-187, Varanasi, India, December 2016. NLP Association of India.

[7] Xiaoming Zhai. Practices and theories: How can machine learning assist in innovative assessment practices in science education. Journal of Science Education and Technology, Vol. 30, No. 2, pp. 139-149, Apr 2021.

[8] Torsten Zesch, Michael Heilman, and Aoife Cahill. Reducing annotation efforts in supervised short answer scoring. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 124-132, Denver, Colorado, June 2015. Association for Computational Linguistics.

[9] Steven Burrows, Iryna Gurevych, and Benno Stein. The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education, Vol. 25, No. 1, pp. 60-117, 2015.

[10] Stefan Haller, Adina Aldea, Christin Seifert, and Nicola Strisciuglio. Survey on automated short answer grading with deep learning: from word embeddings to transformers, 2022.
[11] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In BEA, pp. 316-325, 2019.

[12] Tianqi Wang, Hiroaki Funayama, Hiroki Ouchi, and Kentaro Inui. Data augmentation by rubrics for short answer grading. Journal of Natural Language Processing, Vol. 28, No. 1, pp. 183-205, 2021.

[13] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of human-in-theloop frameworks for automated short answer scoring. In Maria Mercedes Rodrigo, Noburu Matsuda, Alexandra I. Cristea, and Vania Dimitrova, editors, Artificial Intelligence in Education, pp. 465-476, Cham, 2022. Springer International Publishing.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACLHLT, pp. 4171-4186, June 2019

[15] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In BEA, pp. 159-168, 2017.

[16] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or Partial Credit. Psychological bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

## A List of prompts used in the evaluation

In this study, we considered the use of already annotated prompts for constructing ASAS models for new prompts to be graded. Therefore, in the experiments, we divided all prompts into two categories, prompts used for adaptive pretraining (already annotated prompts) and prompts used for the evaluation (prompts to be graded). We shows the list of prompts used for the evaluation in table 3 . We used all prompts except those in this table for adaptive-pretrain.

Table 3 List of the prompts and analytic criterion used for the evaluation.


# 論述構造解析技術を用いたニューラル小論文自動採点手法

山浦美里 ${ }^{1}$ 福田樹 1 宇都雅輝 1
1 電気通信大学大学院
\{yamaura, fukuda,uto\}@ai. lab.uec.ac.jp

## 概要

近年，深層学習を用いた小論文自動採点モデルが 高精度を達成しつつあるが，従来の深層学習自動採点モデルは文章の論理構造を明示的には考慮できな い. 本研究では, 論述構造解析技術を用いて推定さ れる文章の論理構造を考慮できる新たな深層学習自動採点モデルを提案する。

## 1 はじめに

論理的思考力や表現力が新しい時代に求められ る資質として注目される中，そのような能力の評価法の一つとして小論文試験が広く活用されている $[1,2,3]$. しかし，小論文試験には，採点の公平性担保の困難さや人手採点に伴うコストの増大などの懸念がある [4]. これらの問題を解決する手段の一つ として自動採点技術が近年注目されている $[5,6]$.

既存の小論文自動採点手法は大きく2つに分類で きる [6,7]. 一つは人手で設計した特徴量を用いる 手法であり, 文章から抽出した特徴量（総単語数や 接続詞数，文法エラー率など）を線形回帰モデルや 決定木などの機械学習モデルに入力して得点を予測 する $[5,8]$. 二つ目は深層学習を用いる手法であり,入力が小論文の単語系列, 出力が得点となる深層学習モデルを構築して自動採点を実現する [6,9]. 近年では, BERT（Bidirectional Encoder Representations from Transformers）[10] などを用いた深層学習自動採点モデルが高精度を達成している [11,12].

従来の深層学習自動採点モデルでは，単語の意味 や単語間の関係性は考慮できるが，文章の論理構造 は直接的には考慮できない [13, 14]. 論理構造は小論文の質に関わる本質的な要素の一つであるため,論理構造をモデルに明示的に与えることができれ ば，更なる自動採点の精度向上が期待できる。この ような背景から, Nguyen \& Litman[15] は, 論理構造 を考慮できる小論文自動採点手法を提案している. この手法では，自然言語処理分野において近年高精度化が進む論述構造解析技術 (Argument Mining) $[16,17,18,19,20,21]$ を用いて文章の論理構造を推定し, 得られた論理構造から特徵量（論理構造の構成要素数やそれらの要素間のエッジの数，各要素中 の単語数など）を抽出して特徴量ベースの自動採点手法を構築している. しかし，実験の結果，論理構造に関する特徵量の追加による自動採点精度の改善 は限定的であったことを報告している。 この要因と しては, 論理構造の情報を表層的な特徵量に縮約し てしまったため，論理構造の情報を十分に活用でき なかったことが考えられる。

そこで本研究では, 論述構造解析で求めた論理構造を人手で設計した特徵量に変換せずに処理でき る深層学習手法を開発し，その手法を組み込んだ新 たな深層学習自動採点手法を提案する. 具体的に は，BERT モデルの Self-Attention 機構を拡張するこ とで，論理構造を考慮できる深層学習モデルを構築 し，その処理結果を従来の深層学習自動採点モデル に統合する方法を開発する。 さらに，ベンチマーク データを用いた実験を通して提案手法の有効性を 示す.

## 2 提案手法

## 2.1 論述構造解析による論理構造推定

提案手法では, Nguyen \& Litman [15] と同様に, 論理構造の推定に論述構造解析技術を用いる. 論述構造解析では, 図 1 のように，まず文章中から論理構造のノードに対応する文や文節（論理要素と呼ぶ）

図 1 論述構造解析の概念図

を抽出し, それらの論理要素間の論理関係を木構造制約を満たすように推定することで，文章の論理構造を推定する [18]. 本研究では, 近年高精度を達成 している深層学習べースの論述構造解析手法の一つ である Eger et al.[19] の手法を用いる.

## 2.2 論理構造を処理する深層学習モデル

提案手法では，論理構造を処理する深層学習モ デルの基礎モデルとして BERTを用いる. BERT は，Self-Attention 機構をコアとする Transformer と 呼ばれる構造を 12 層重ねた深層学習モデルであ る. 本研究では, BERTへの入力として, 採点対象文の先頭に [CLS] という特殊タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ （ただし， $w_{0}$ は [CLS] タグ， $w_{t}$ $(t>1)$ は対象文の $t$ 番目の単語, $T$ は対象文の単語数を表す）を考え，[CLS] タグに対応する出力べク トルを入力文に対する分散表現ベクトルとみなす。 このとき，BERT の $l$ 層目の Self-Attention は次式で 求められる.

$
\mathbf{H}_{l}=\mathbf{A}_{l} \cdot \mathbf{V}_{l}
$

ここで， $\mathbf{H}_{l}$ は $l$ 層目の Self-Attention 層の出力であ り, $(T+1) \times D$ の行列（ただし， $D$ は BERT の潜在変数ベクトルの次元数を表す) である。なお， $\mathbf{H}_{l}$ の行数が対象文中の単語数 $T$ ではなく $(T+1)$ と なっているのは，上記の通り，BERTへの入力の先頭に特殊タグ [CLS] を付与しているためである. また, $\mathbf{V}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づいて計算される $(T+1) \times D$ の行列である. さらに， $\mathbf{A}_{l}$ は $(T+1) \times(T+1)$ のアテンション重みを表す行列であ り，通常の BERTでは，次式で求められる。

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}\right)
$

ここで， $\mathbf{Q}_{l}$ と $\mathbf{K}_{l}$ は一つ前の層の出力 $\mathbf{H}_{l-1}$ に基づい て計算される $(T+1) \times D$ の行列であり,$d$ は調整係数である.

アテンション重み行列 $\mathbf{A}_{l}$ は，文章中のある単語 の分散表現ベクトルを計算するために，その他の単語の情報をどれだけ参照するかをコントロールす る機能を持つ. 例えば， $\mathbf{A}_{l}$ の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ は単語 $w_{t}$ の分散表現ベクトルを計算する際に， $w_{t^{\prime}}$ の情報をどれだけ重み付けして加算するかを表現 する. 本研究では，このアテンション重みを調整す ることで，論理構造を明示的に反映することを目指 す. 具体的には, 論理関係のある論理要素間では単語間の情報参照を許可し，論理関係がない論理要素間では単語間での情報参照を行わせないようにする ために, Visible Matrix と呼ぶ $(T+1) \times(T+1)$ の行列 $\mathbf{M}=\left.\{m_{t t^{\prime}} \mid t, t^{\prime} \in\{0, \ldots, T\}\right.\}$ を導入し，アテンショ ン重み行列 $\mathbf{A}_{l}$ を次のように計算する.

$
\mathbf{A}_{l}=\operatorname{softmax}\left(\frac{\mathbf{Q}_{l} \cdot \mathbf{K}_{l}^{\top}}{\sqrt{d}}+\mathbf{M}\right)
$

この式では, Visible Matrix $\mathbf{M} の t$ 行 $t^{\prime}$ 列目の要素 $m_{t t^{\prime}}$ が - になると，Softmax 関数により，アテン ション行列の $t$ 行 $t^{\prime}$ 列目の要素 $a_{l t t^{\prime}}$ が 0 となるた め, 式 (1) の Self-Attention の計算において $t$ 番目 の単語の分散表現ベクトルの計算時に $t^{\prime}$ 番目の単語の情報を無視させることができる．そこで，本研究では，論理関係がない単語間について $m_{t t^{\prime}}=-\infty$,論理関係がある単語間について $m_{t t^{\prime}}=0$ になるよう に，次のように Visible matrix を構築する。

今，採点対象文に論述構造解析を適用した結果， $P$ 個の論理要素が得られたとする. ここで, $p$ 番目 の論理要素を $\mathbf{C}_{p}$ （ただし， $p=\{1, \ldots, P\}$ ）とし， $\mathbf{C}_{p}$ はその論理要素に含まれる連続する単語の集合 として $\left.\{w_{i}, w_{i+1}, \ldots, w_{I_{p}}\right.\}$ で表すとする. ただし， $i$ は対象文中における論理要素 $\mathbf{C}_{p}$ の開始位置, $I_{p}$ は $\mathbf{C}_{p}$ に含まれる単語数とする。また，論理要素間の 関係は $P \times P$ の対称行列 $\mathbf{R}=\left.\{r_{u v} \mid u, v \in\{1, \ldots, P\}\right.\}$ で表し, $u$ 番目の論理要素 $\mathbf{C}_{u}$ と $v$ 番目の論理要素 $\mathbf{C}_{v}$ に論理関係があるとき $r_{u v}=r_{v u}=1$, そうでない ときに $r_{u v}=r_{v u}=0$ とする. 以上の定義のもとで，本研究では, 以下の 2 条件を満たすときに $m_{t t^{\prime}}=0$, そうでないときに $m_{t t^{\prime}}=-\infty$ となるように, Visible matrix Mを作成する.
1. $w_{t}$ を要素に持つ論理要素 $\mathbf{C}_{p}$ と $w_{t^{\prime}}$ を要素に持 つ論理要素 $\mathbf{C}_{p^{\prime}}$ が存在する。
2. $\mathbf{C}_{p}$ と $\mathbf{C}_{p^{\prime}}$ に論理関係が存在する. すなわち $r_{p p^{\prime}}=1$ である.

なお, 個々の論理要素について, 論理要素内の単語同士では情報の参照ができるように, $r_{p p}=1 ; \forall p$ とする. また, 本研究では, [CLS] に対応する出力 を論理構造を考慮した全体の分散表現べクトルと することを想定しているため，Visible Matrix M の 0 行目の要素は 0 , すなわち $m_{0 t}=0 ; \forall t$ とし, 全体 の情報が [CLS] に集約されるようにする. 反対に， [CLS] タグに集約される情報を各単語が参照できて はいけないため，M の 0 列目の要素は 0 行目を除 いて全て $-\infty$ とする. 本研究では，以上のように作

図 2 Visible Matrix 適用の概念図

成した Visible Matrix を用いて，論理構造の情報を 反映できるように Self-Attention を拡張した BERT を 「BERT-LS」と呼ぶ.

図 2 に Visible Matrix の作成と BERT-LS における Self-Attention の概念図を示す. 図 2 の下部で図示し ているように，BERT-LS の Self-Attention では，各単語の分散表現ベクトルを計算する際に，その単語 と論理的に関係がある論理要素の情報のみが考慮 され，論理関係がない論理要素間では単語間の情報参照がおこらないようになっている. そのため,全単語間の関係を考慮する通常の BERT と比べて, BERT-LS では論理構造を強調した情報処理が実現で きると考えられる。また，図からもわかるように， BERT-LS では，[CLS] タグに対応する分散表現べク トルに全体の情報が縮約されている。よって，本研究では，BERT-LS の最終層の [CLS] タグに対応する 出力ベクトル $x_{0}^{\prime}$ を論理構造を考慮した分散表現べ クトルとして採用する.

## 2.3 論理構造を考慮した深層学習自動採点手法

ここでは，BERT-LS を用いて処理した論理構造情報を，従来の深層学習自動採点モデルに加味させる 手法を提案する. 従来の深層学習自動採点モデルと しては，様々なモデルが利用できるが，ここでは，近年ベースラインとして広く利用される BERT を用 いた深層学習自動採点モデルを基礎モデルとして利

図 3 BERT による自動採点モデルの概念図用する.

BERTを用いた自動採点モデルの概念図を図 3 に示す. モデルへの入力は，BERT-LS と同様に，小論文の先頭に [CLS] タグを挿入した単語系列 $\left.\{w_{0}, w_{1}, \ldots, w_{T}\right.\}$ である. BERTを用いた自動採点モ デルでは， [CLS] タグに対応する BERT の出力べク トル $x_{0}$ に対して，次式で与えられる Linear Layer with Sigmoid Activation を適用することで，予測得点 $s$ を求める。

$
s=\sigma\left(\boldsymbol{W} \boldsymbol{x}_{0}+b\right)
$

ここで， $\sigma$ は Sigmoid 関数を表し， $\boldsymbol{W}$ と $b$ は重みべ クトルとバイアスを表すパラメータである. なお， $s$ は 0 から 1 の値を取るため，得点尺度がこれと 異なる場合には， $s$ を一次変換し，実際の得点尺度 に合わせる. 例えば， $1 \sim K$ の $K$ 段階得点の場合， $K s+1$ と変換する.

提案手法では，図 4 に示すように，BERT-LS で得 られる分散表現ベクトル $\boldsymbol{x}_{0}^{\prime}$ ([CLS] に対応する最終

図 4 提案モデルの概念図
表 1 実験結果

層の出力ベクトル）を，従来の深層学習自動採点 モデルで得られる分散表現ベクトル $x_{0}$ と結合した ベクトル $\left[x_{0} ; x_{0}^{\prime}\right]$ を作成し, それを Linear Layer with Sigmoid Activation に入力して予測得点を算出する.

モデル学習は, 次式の平均二乗誤差 (mean squared error：MSE）を損失関数として誤差逆伝搬法で行う。

$
\frac{1}{N} \sum_{n=1}^{N}\left(s_{n}-s_{n}^{*}\right)^{2}
$

ここで， $s_{n}$ は小論文 $n$ の予測得点， $s_{n}^{*}$ は真の得点 を表し， $N$ は訓練データ中の小論文の数を表す. な お，出力層に Sigmoid 関数を採用しているため，真 の得点は 0 から 1 の値に線形変換する必要がある.

## 3 実験

提案手法の有効性を確認するために，ベンチマー クデータを用いた評価実験を行う．実験には，自動採点研究のベンチマークデータとして広く利用さ れている Automated Student Assessment Prize (ASAP) を用いた. ASAP は，8つの異なる小論文課題に対 して，英語を母語とする米国の学生が英語で解答し た小論文と，それに対する得点で構成されるデータ セットである. 予測精度の評価実験は，8つの課題別に 5 分割交差検証法で行い，精度評価指標には 2 次重み付きカッパ係数 (QWK; quadratic weighted kappa）を用いた.

ベースとする深層学習自動採点モデル（図 4 の右側のモデル）には，BERT，RoBERTa[22], ALBERT[23], DistilBERT[24], DeBERTa[25], LSTM （Long short term memory）を中心としたモデル [26] を用い，それぞれのモデルに対して，BERT-LS を統合した提案手法と BERT-LS を使用しない従来手法 について予測精度を求めた. さらに，BERT-LS 単体
についても同様の実験を行なった.

実験結果を表 1 に示す. 太字は提案手法と従来手法で精度の高い方を示している。また， $\mathrm{p}$ 值列は，同一のベースモデルにおける提案手法と従来手法の 平均精度について，対応のある $\mathrm{t}$ 検定を行なった結果を示している。表 1 より，概ね全てのべースモデ ルで提案手法の平均精度が従来手法より高いこと, また，BERT-LS を単体で使用した場合と比べても，提案手法の精度が高いことが確認できる。

従来手法と比べた提案手法の精度改善は, 課題 1 , 2，8 において大きい傾向が確認できる. ASAP デー タセットには，自身の意見を論証するタイプの課題 (課題 1，2，7，8）と，与えられた長文に対してや や短めの文章で回答する形式の課題（課題 $3 ， 4 ， 5$, 6）が含まれており，精度改善が大きかった課題 1 , 2，8 は論証タイプの課題である. このことから，提案手法は, 論理的な文章構成が必要とされるタイプ の小論文課題において，有効性が高い傾向があると 考えられる。

## 4 まとめ

本研究では, 論述構造解析を用いて小論文の論理構造を推定し，その情報を深層学習で解析する手法 を開発するとともに，その手法を組み込んだ新たな 深層学習自動採点モデルを提案した. 実データ実験 により，提案モデルによって小論文の論理構造を明示的に深層学習モデルに組み込むことが，自動採点 の精度改善に有効であることが示された. 論理構造 を活用した自動採点の先行研究 [15] では, 論理構造 に基づく特徴量組み込みの有効性は示されなかった が，本研究で提案した方法で組み込みを行えば精度 が改善されることが示された.

## 参考文献

[1] Yousef Abosalem. Assessment techniques and students' higher-order thinking skills. International Journal of Secondary Education, Vol. 4, pp. 1-11, 012016.

[2] Emily R Lai. Critical thinking: A literature review. Pearson's Research Reports, Vol. 6, No. 1, pp. 40-41, 2011.

[3] Ou Lydia Liu, Lois Frankel, and Katrina Crotts Roohr. Assessing critical thinking in higher education: Current state and directions for next-generation assessment. ETS Research Report Series, Vol. 2014, No. 1, pp. 1-23, 2014.

[4] Masaki Uto and Masashi Okano. Learning Automated Essay Scoring Models Using Item-Response-Theory-Based Scores to Decrease Effects of Rater Biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.

[5] Zixuan Ke and Vincent Ng. Automated Essay Scoring: A Survey of the State of the Art. In Proc. International Joint Conferences on Artificial Intelligence Organization, Vol. 19, pp. 6300-6308, 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[7] Takumi Shibata and Masaki Uto. Analytic Automated Essay Scoring Based on Deep Neural Networks Integrating Multidimensional Item Response Theory. In Proc. International Conference on Computational Linguistics, pp. 2917-2926, Gyeongju, Republic of Korea, October 2022.

[8] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible Domain Adaptation for Automated Essay Scoring Using Correlated Linear Regression. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[9] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated Essay Scoring with Discourse-Aware Neural Models. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019.

[11] Christian Stab, Tristan Miller, Benjamin Schiller, Pranav Rai, and Iryna Gurevych. Cross-topic argument mining from heterogeneous sources. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 3664-3674, 2018.

[12] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural Automated Essay Scoring Incorporating Handcrafted Features. In Proc. International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[13] Harneet Kaur Janda, Atish Pawar, Shan Du, and Vijay Mago. Syntactic, semantic and sentiment analysis: The joint effect on automated essay evaluation. IEEE Access, Vol. 7, pp. 108486-108503, 2019.
[14] Patrick Hohenecker and Thomas Lukasiewicz. Ontology reasoning with deep neural networks. Journal of Artificial Intelligence Research, Vol. 68, pp. 503-540, 2020.

[15] Huy Nguyen and Diane Litman. Argument Mining for Improving the Automated Scoring of Persuasive Essays. Proc. Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Vol. 32, No. 1, 2018.

[16] Raquel Mochales Palau and Marie-Francine Moens. Argumentation Mining: The Detection, Classification and Structure of Arguments in Text. In Proc. International Conference on Artificial Intelligence and Law, pp. 98-107, 2009.

[17] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show Me Your Evidence - an Automatic Method for Context Dependent Evidence Detection. In Proc. Conference on Empirical Methods in Natural Language Processing, pp. 440-450, 2015.

[18] Christian Stab and Iryna Gurevych. Parsing Argumentation Structures in Persuasive Essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, 2017.

[19] Steffen Eger, Johannes Daxenberger, and Iryna Gurevych. Neural End-to-End Learning for Computational Argumentation Mining. In Proc. Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11-22, 2017.

[20] John Lawrence and Chris Reed. Argument Mining: A Survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, 2020.

[21] Yuxiao Ye and Simone Teufel. End-to-End Argument Mining as Biaffine Dependency Parsing. In Proc. Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 669-678, 2021.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations. International Conference on Learning Representations, 2020.

[24] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[25] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv preprint arXiv:2006.03654, 2020.

[26] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proc. Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.


# 学習者回答予測モデルからの設問の正答者数予測分布推定

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

本稿では，問題文から問題文の難しさを考慮して 学習者が正答できるかを判定する学習者回答予測夕 スクを扱う．BERTなどの大規模言語モデルを用い る場合，学習者ごとに異なった結果を出す判別がで きない問題があり，学習者を表すトークンを問題文 に付与してこの問題を解決する手法を筆者が 2022 年に提案した. 本稿では，この手法をさらに拡張 し, 個人化判別対応の微調整済み言語モデルから，問題の難しさ等の性質を「正答者数予測分布」とし て抽出する手法を提案する。

## 1 はじめに

学習支援システムにおいて，学習者が項目に回答 できるかどうかを予測する事は，学習者に合った水準の項目（設問）の提示など，適応的学習支援を行 うための基本的なタスクである．学習者が項目に回答した履歴のデータがあれば，教育心理学などで 能力や難しさのモデル化に多用される項目反応理論 (Item Response Theory，以下 IRT) [1] を用いるこ とで, 学習者の能力と項目の難しさを推定し, 学習者の反応予測を行う事ができる。しかし，IRTに基 づくモデルは通常, 学習者の回答パターンにのみ 依存し，項目（設問）が自然文で書かれていても文意を理解しない，自然言語処理においては，近年， Transformer モデルに代表される深層言語モデルが自然文理解で高い性能を示している [2]ため，設問文 の理解に，これらの深層言語モデルを用いたい．し かし，これらの言語モデルは，通常，言語のみをモ デル化するため, 学習者ごとに異なった判定を行う ことができず，学習者反応の予測に用いることが難 しい問題があった.

この問題に対し, 筆者は, 設問文を考慮した学習者反応の予測問題に適用する簡便な方法を提案し た [3]. この手法では，事前学習済の深層言語モデ ル Bidirectional Encoder Representation of Tranformers
(BERT)[2] に，学習者 IDを表す語を新語として追加 し，設問文の文頭に学習者 ID を表す語を置くこと で，「この学習者 ID の被験者が次の設問文で表され る問題に正答できるか否か」を予測するように，テ スト結果データセット上で, 微調整 (fine-tune) して いる。この手法は，自然文で記述されている設問に 対して, 複数の学習者が正答/誤答が明瞭にわかる形式（多肢選択式など）で回答する試験結果データで あれば，幅広く適用することが原理的に可能である ため，汎用性が高い. 教育の目的では，さらに，予測だけでなく，設問の難しさ（困難度）や，設問が 良問である度合い（識別力）も微調整済モデルから 取得したい.こうした設問に関する値を既に学習者 の回答がわかっている設定で取得できる統計的手法 としては, 項目反応理論 (Item Response Theory, IRT) の 2 パラメータモデルが知られている. しかし，一部の学習者の回答結果が不明であり予測しなければ ならない設定で，予測性能が高いだけでなく，さら に，こうした設問文の解釈に重要な値を深層言語モ デルから取得する手法はわかっていなかった。

本稿では，微調整済の BERT による学習者回答予測モデルで，高い予測精度を持ったうえ，設問の難 しさなど教育上重要な情報を取得できる正答者数分布を推定する手法を提案する. 提案手法から抽出し た設問の性質は，評価データ中の学習者の回答を与 えた設定で IRT を用いて推定した設問の困難度・識別力と統計的有意に相関した. 提案手法により，高 い予測性能に加え，IRT のような高い解釈性を持つ 微調整済 BERTを構築できることが示された。

## 2 関連研究

本研究で扱うのはテストなどの設問文とその回答 データであり，学習者が限られた時間で回答できる ものである. 一方, 長期にわたり, どの学習者がど の設問に正答/誤答しそうかという時系列回答デー タから，問題の難しさに関する埋め込みを作成する タスクは知識追跡（Knowledge Tracing）という名前

図 1 学習者トークンの導入.

図 2 実験設定. 青く塗られた部分がパラメタ推定に使わ れる訓練データ。斜線部が性能比較に用いられるテスト データ.

で知られており，データマイニング分野などで研究 されている $[4,5,6,7]$. しかし，これらの中では，設問文のテキスト情報は利用されていない。 その理由 は，知識追跡タスクの評価に標準的に用いられてい るデータセットが数学などいわゆる理系分野の問題 であるため，設問文の言語的知識よりも，過去の回答データの方が設問の難しさを推定するのに有効な 設定であるためと推察される．設問文のテキスト情報を設問間関係に変換して知識追跡に利用する研究 はあるものの [8], 知識追跡は, 長期の時系列回答 データが対象であるため，本研究とは設定も目的も 異なる. そのほか，近年，BERT を用いた教育応用 が提案されているが $[9,10,11]$, これらの研究では 学習者回答予測については扱われていない.

## 3 予測性能評価

本研究は，設問文から直接，設問の難しさを推定 する研究であるため，1）一文程度の短い分量で， 2 ）文中の語の意味を捉えることが回答の正誤に大 きくかかわるデータセットで評価することが，結果 がわかりやすく望ましい. このため, 頻出英単語の 典型的な語義と, 意外な語義の設問に，それぞれ多肢選択式で答えてもらったデータセット [3] を用い て性能評価を行った. [3] のデータセットでは，英語母語話者に問題として成立していることを確認 してもらったうえで，クラウドソーシングサービス Lancers $^{1)}$ から，2021 年 1 月に収集した. より詳細は [3] を参照されたい.

これにより，対応する問題は 12 問となる.

表 1 図 2 斜線部の予測精度 (accuracy).

Transformer モデルを個人化判別に対応させる手法 は，自然言語処理の言語教育応用の目的では著者の 知る限り知られていない. ただし, Transformer モデ ルに特殊なトークン（語）を加えて微調整を行い，様々な問題設定に対応させる手法は知られており, ライブラリ上で特殊なトークンを加える機能が用意 されている. 本研究では，この機能を利用すること で，学習者に対応するトークン（学習者トークン） を作り，これを入力系列の最初に置くことによって 判別を行う手法を提案する（図 1). 例えば，学習者 ID が 3 番の学習者を表すトークン “[USR3]”を導入し, “[USR3] It was a difficult period.” が入力であれ ば，3 番の学習者が “It was a difficult period.” という 文から成る設問に正答するか否かを予測する問題に 帰着させる，入力文はそのままで，入力文の前に，単純に学習者トークンが挿入されている点に注意さ れたい，導入するトークン数は学習者数と同数であ る. Transformer では各トークンに対して，その語と しての機能を表現する単語埋め迄みベクトルがある ので，学習者トークンに対しても埋め込みベクトル が作られる。

重要な点として，提案手法では，文中のどの語に ついての設問であるかという情報や，誤答選択肢の 情報は与えていない. すなわち，提案手法の判別器は, 表 2 のどの単語に下線が引かれているかや,表 2 や表 3 の正答以外の選択肢の情報を用いない.提案手法は，単純に正解となる文を入力とし，これ を学習者が理解できるか否かを判別する判別器を 構成している，と解釈できる。これにより，提案手法は，表 2 と表 3 という仔細の異なる 2 種類の多肢選択式の問題に対応できる.このように，提案手法 の適用範囲を広くとることができる. 今回の設定で は，入力文が短文であり，学習者が 1 語でもわから なければ正答できない設問で構成されているため，語義を知っている事と正解となる文を理解できるか 否かは，同一視できる.

Transformer モデルのその他の実験設定については 多用される設定とした。判別には， transformers ラ

イブラリの AutoModelForSequenceClassification を 用いた。微調整の訓練には Adam 法 [12] を用い, バッチサイズは 32 とした.

Transformer モデルを用いた結果を，表 1 に示す。* は IRT の最高性能と比較して Wilcoxon 検定で統計的有意であることを表し，**は $p<0.01 ， * は ~ p<0.05$ を表す。また提案手法の（）内は用いた事前学習済 モデル名である．表 1 では，まず，学習者トークン を導入した提案手法が，IRT を用いた従来手法より 高い性能を達成していることが分かる. この実験結果は，設問文の意味を考慮する事で，IRT より高精度な判別が行えることを示している。

## 4 設問の難しさや識別力の抽出法

ここまでは微調整済の BERT モデルから学習者の 能力值を抽出する方法であったが，さらに，設問の 難しさや識別力に相当する値を抽出する方法を提案 する. 方法の概略を示す. BERT は被験者が設問文 が指定されれば，その被験者がその設問に正答でき るかどうかだけでなく, その確率值も予測として出力できる. ある設問に着目し, 全被験者がその設問 を解いた時の正答できる確率を BERT に出力させ， ここからその設問の正答者数の確率分布を計算す る．被験者間の独立性を仮定すると，数学的には，成功確率が互いに異なる独立なベルヌーイ分布の和 の分布であるポアソン 2 項分布を計算する事に相当 する. この時, その設問の正答者数の確率分布の平均を設問の難易度，分散を識別力のような設問の良 さと解釈する事が可能になる。

ここでは，被験者数を $N$ 人とし，学習者の添字を $n$ とする（厳密には，被験者の中から特定の被験者 を選び $N$ と $J$ が異なる設定もあり得るので，違う 文字でおいた). 項目数を $I$ 個とし，項目の添字を $i$ とする. 学習データ上で予測器を微調整した後,予測器は学習者 $n$ が項目 $i$ に正しく回答する確率を 出力することができる. この確率を BERTProb $(n, i)$ と表記する. 簡単のために, ここからは設問 $i$ に 焦点を当てる. $B E R T \operatorname{Prob}(n, i)$ を使って， $\mathrm{N}$ 人の うち，質問 $i$ に正答する者の確率分布を求めたい. そこで BERTProb $(n, i)$ の確率で 1 , そうでなけれ ば 0 となるベルヌーイ分布に従う確率変数 $A_{n}$ を $A_{n} \sim \operatorname{Bernoulli}(B E R T P r o b(n, i))$ と定義する. ここ で，簡単のため，これらの確率変数 $\left.\{A_{1}, \ldots, A_{n}\right.\}$ は 互いに独立であると仮定する．学習者について和を とり, 項目 $i$ の全 $N$ 人の中での正答者数の確率分布
は次のように書ける。

$
A_{i}=\sum_{n=1}^{N} A_{n}
$

式 1 は互いに独立なベルヌーイ分布の和であり， ポアソン 2 項分布と呼ばれる ${ }^{2}$. この分布の計算 は，動的計画法を用いて計算可能である。 [13,14] ではポアソン 2 項分布の計算を全く違うタスクに対 して行う中で詳述しているので，計算アルゴリズム の詳細はこちらを参照されたい。

$A_{i}$ は確率分布なので，平均と分散を計算できる. $A_{i}$ は，全 $N$ 人のうち, 項目 $i$ の正答者数である事 に注意すると， $A_{i}$ の平均は，問題 $i$ の難易度を表し ていると解釈できる。また， $A_{i}$ の分散は，問題 $i$ の 正解者数を予測のためのエラーバーと解釈できる.同じような難しさの設問の中では，分散が最も小さ い，つまり，正答者数の予測がつきやすい問題が良問と考えられる． $A_{i}$ の分散は，項目反応理論におけ る「識別力」に似た性質を持つ指標である。項目反応理論の識別力は，項目が能力の高い被験者と低い 被験者を識別する力を表す．直感的には，能力が本当は高い被験者が間違えてしまうような確率の少な い「良問」である度合いを表す. $A_{i}$ の分散も，項目反応理論の識別力のように良問である度合を表す が，項目反応理論はモデルが固定されているのに対 し, $A_{i}$ の分散は予測器 $B E R T \operatorname{Prob}(n, i)$ の確率值さ えわかればどのような予測器を用いても計算できる ので，深層転移学習のような複雑な手法を用いた場合でも計算できる.

横軸に $A_{i}$ の分散，縦軸に $A_{i}$ の平均值をとること でリスク・リターンプロットを作成できる。まず， どの程度の難しさの設問を選びたいかを決めて縦軸 の値に注目し，次に同程度の難しさの問題の中で横軸の值が最も小さいもの（最も左にあるもの）を選 ぶことで，特定の難易度の良問を選択可能である. この最も左にある点を結んだ線を「効率的フロン ティア」という [14].

図 3 と図 4 に，ある項目（設問） $i$ について，受験者数がそれぞれ 5 人， 235 人である場合の分布を 描いた。（5人については，ランダムに受験者を選 んだ）図 3 から，受験者数が少ないときでも，非対称な分布の形が計算できている事が分かる。また，図 6 に，リスク-リターンプロットを描いた. 各点 は前述の 12 問の設問であり，破線は効率的フロン

図 3 ある項目で，受験者数が 5 人のときに予測される正答者数の分布.

図 4 図 3 と同じ項目で，受験者数が 235 人であるときに 予測される正答者数の分布.

図 5 受験者数が 235 人で 2 問の予測される正答者数の分布を重ねたもの.

ティアである．全 12 問のうち，効率的フロンティ ア上の問題を選ぶことで，3問の「良問」をさらに 選び出せている事が分かる．また，図 5 に，難しい 問題（正答者数が少ない問題）と易しい問題のグラ フを重ねた。わずかではあるが，難しい問題では，釣り鐘型の横幅（分散）が大きいことが見て取れる.

今回，提案手法は予測される正答者数の分布の平均を設問の難しさとして，標準偏差を設問の良問度合い（設問の難しさ推定のしやすさ）として出力で きる. こうした值は，IRT においても，それぞれ，困難度，識別力という名前で知られている。図 7,図 8 に，提案手法による値と，テストデータ中の値 を与えたうえで IRT が推定した困難度・識別力の 値の（簡単のため）負値を図示する。相関係数は，図 7 では $0.78(p<0.01)$, 図 8 では $0.62(p<0.05)$ で あり，どちらも統計的有意な相関がみられた.

## 5 おわりに

本研究では，設問文を考慮して，学習者が所与の 設問に正答/誤答するかを予測する学習者回答予測 のタスクにおいて，高い予測性能を保ちつつ，設問 の難しさや良問度合いなどの教育上重要な情報を取得できる手法を提案した. 具体的には，深層言語モ

図 6 各設問について，受験者の総数が 235 である場合の リスク（横軸，各設問の予測される正解者数の分布の分散）とリターン（縦軸，各設問の予測される正解者数の分布の平均）をプロットしたものである．各点は設問を表 し，各点の番号は設問番号である。縦軸が同程度の值で あれば，分散が小さい設問（図中左側の設問）が良問で ある.

-(IRTの難しさ)

図 7 正答者数予測分布の平均と-(IRT の困難度).

-(IRTの識別力パラメタ)

図 8 正答者数予測分布の標準偏差と-(IRT の識別力).

デル BERT の微調整段階で，学習者を表す単語を導入することにより学習者ごとに異なる出力を行う 既存手法 [3] を拡張し，微調整済 BERT の予測確率値から，予測される正答者数分布を求める手法を提案した。これにより，平均を各設問の難易度とみな せ，その分散を各設問の良問度合いとみなせる事を 示した。 [3] により，微調整済 BERT の学習者を表す 単語の埋め込みベクトルから学習者の能力値を取り 出す方法も提案している. 本研究により, IRT と同様，微調整済 BERT から学習者の能力値と設問の難易度の両方の情報を解釈することが可能になった。

今後の課題としては，設問の文ベクトルと難易度 や識別力の関係性を求めることなどがあげられる。

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006) の支援を受けた.

## 参考文献

[1] Frank B. Baker. Item Response Theory : Parameter Estimation Techniques, Second Edition. CRC Press, July 2004.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, 2019.

[3] Yo Ehara. No meaning left unlearned: Predicting learners' knowledge of atypical meanings of words from vocabulary tests for their typical meanings. In Proc. of Educational Data Mining (short paper), 2022.

[4] Aritra Ghosh, Neil Heffernan, and Andrew S. Lan. Context-Aware Attentive Knowledge Tracing. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 2330-2339, New York, NY, USA, 2020. Association for Computing Machinery.

[5] Shuanghong Shen, Qi Liu, Enhong Chen, Zhenya Huang, Wei Huang, Yu Yin, Yu Su, and Shijin Wang. Learning Process-consistent Knowledge Tracing. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery \& Data Mining, KDD ’21, pp. 1452-1460, New York, NY, USA, 2021. Association for Computing Machinery.

[6] Shuanghong Shen, Zhenya Huang, Qi Liu, Yu Su, Shijin Wang, and Enhong Chen. Assessing Student's Dynamic Knowledge State by Exploring the Question Difficulty Effect. In Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '22, pp. 427-437, New York, NY, USA, 2022. Association for Computing Machinery.

[7] Ghodai Abdelrahman and Qing Wang. Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing. IEEE Transactions on Knowledge and Data Engineering, pp. 1-13, 2022. Conference Name: IEEE Transactions on Knowledge and Data Engineering.

[8] Shalini Pandey and Jaideep Srivastava. RKT: RelationAware Self-Attention for Knowledge Tracing. In Proceedings of the 29th ACM International Conference on Information \& Knowledge Management, CIKM '20, pp. 1205-1214, New York, NY, USA, 2020. Association for Computing Machinery.

[9] Jia Tracy Shen, Michiharu Yamashita, Ethan Prihar, Neil Heffernan, Xintao Wu, Sean McGrew, and Dongwon Lee. Classifying math knowledge components via task-adaptive pre-trained bert. In Proc. of AIED, pp. 408-419, 2021.

[10] Lele Sha, Mladen Rakovic, Alexander WhitelockWainwright, David Carroll, Victoria M Yew, Dragan Gasevic, and Guanliang Chen. Assessing algorithmic fairness in automatic classifiers of educational forum posts. In
Proc. of AIED, pp. 381-394, 2021.

[11] Shiting Xu, Guowei Xu, Peilei Jia, Wenbiao Ding, Zhongqin Wu, and Zitao Liu. Automatic task requirements writing evaluation via machine reading comprehension. In Proc. of AIED, pp. 446-458. Springer, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. of ICLR, 2015.

[13] Yo Ehara. Lurat: a lightweight unsupervised automatic readability assessment toolkit for second language learners. In Proc. of ICTAI, pp. 806-814, 2021.

[14] Yo Ehara. Selecting reading texts suitable for incidental vocabulary learning by considering the estimated distribution of acquired vocabulary. In Proc. of Educational Data Mining (poster paper), 2022.
表 2 実際の設問例.

It was a difficult period.

a) question

b) time

c) thing to do

d) book

表 3 意外な意味を問う設問例.

She had a missed

a) time

b) period

c) hour

d) duration

## A データセットの詳細 [3]

[3] で用いたデータセットについて詳述する.

この 2 つの工夫を施した実際の設問例が表 3 であ

る. “period”には通常の「期間」の他に「生理」とい う意味があり，これを問うている．学習者は，70問 の通常の用例の語彙テストの前に，表 3 のような設問を 13 問解くように求められる. ただし, 先に解 く表 3 の形式の選択肢が，表 2 の形式の問題に影響 していないかどうかを後で確認できるよう，意外な 語義ではあるが，通常の語義の設問群の側に対応す る設問がない設問を 1 問設けた。

## B IRT による学習者回答予測

語の意外と思われる語義の難しさを典型的な語義 の難しさで代替してしまうと，学習者が設問に正答/誤答するかを IRT で予測する際，どの程度の悪影響 があるのだろうか？これを調べるために，次の実験 を行った.まず， 235 人の学習者を 135 人と 100 人 に分ける (図 2). 意外と思われる語義の設問群 (12 問）のパラメタについては前者の 135 人の学習者反応だけから，典型的な語義の設問群（70問）のパラ メタについては 235 人全員の学習者反応で推定す る. この推定の際には，後者の 100 人 $\times 12$ 問，計 1,200 件の回答データは用いていないことに注意さ れたい. 項目反応理論では, 推定された学習者 $\theta_{j}$ の能力値 $\theta_{j}$, 語義の困難度 $d_{i}$ を用い, $\theta_{j}>d_{i}$ であ れば学習者 $j$ が設問 $i$ に正答，そうでなければ誤答 と判定する. 設問 $i$ の困難度パラメタとして，意外 と思われる語義の 12 問の困難度パラメタを直接用 いた場合と, 対応する語の典型的な語義の困難度パ ラメタで代替した場合で，この 1,200 件の回答デー タの予測精度を比較した. 予測精度 (accuracy) の結果を表 1 に記す. その結果，直接用いた場合の予測

図 9 IRT の能力パラメタ（横軸，pyirt によって算出）と，学習者トークンの単語埋め込みベクトルの第一主成分得点（縦軸）。

精度は $64.4 \%$ ，典型的な語義の困難度で代替した場合は $54.4 \%$ と, 10 ポイントの差が出た. この差は, Wilcoxon 検定で $p<0.01$ で有意であった. この結果 から，学習者反応の予測における，語の語義ごとに 困難度を推定することの重要性がわかる．より直接的に言い換えれば，この結果は，語の意外な用例の 難しさを，語の典型的な用例の難しさで置き換える と，学習者回答予測の精度が著しく低下することを 示唆している.

## C 能力值抽出

[3] では，次の手順で微調整済モデルからの能力値抽出に成功している. 微調整後の bert-large-cased の場合の学習者トークンに対する単語埋め込みべク トルのみを集めた. すなわち，学習者の人数分の単語埋め込みベクトルの集合がある。このベクトル集合に対して主成分分析を行い，その第一主成分得点 と IRT の能力値パラメタを比較した（図 9）．各点は 学習者を表す. IRT の能力値パラメタの算出には, Python の pyirt ライブラリを用いた. 両者は相関係数 0.72 という強い相関を示した $(p<0.01)$. これ により，提案手法を用いた場合でも，能力値は学習者トークンの第一主成分得点として容易に抽出でき ることが分かった。これにより，提案手法は文意を 考慮することにより IRT より高い精度を達成しなが ら，IRT と同様に「能力值を取り出せる」という高 い解釈性を持つことが示された.

図 9 では，縦に筋が入っているように見える部分 がある。これは，pyirt の内部で使われている IRT の パラメタ推定アルゴリズムの性質で，横軸の学習者 の能力値パラメタの推定の際，能力に大きな差がな い能力值パラメタは 1 つの值にまとめられる性質が あるため，横軸が同じ値を取る学習者が存在するた めである.


# 項目反応理論に基づく難易度調節可能な読解問題自動生成手法

鈴木彩香 1 宇都雅輝 1
1 電気通信大学大学院
\{suzuki_ayaka,uto\}@ai.lab.uec.ac.jp

## 概要

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術である。近年では,深層学習を用いた手法により, 柔軟で高品質な問題生成が実現されている.しかし, 従来手法には, 次 の課題がある. 1）問題に対応する答えを生成でき ない.2）学習者の能力に合わせた難易度の問題を 生成できない。これらの問題を解決するために, 本研究では, 項目反応理論を用いて推定される難易度 を考慮して，問題と答えのぺアを生成する手法を提案する。提案手法は事前学習済み深層学習モデル （BERT とGPT-2）を拡張することで実現する。

## 1 はじめに

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術であり, 教育分野に おいて読解力の育成・評価を支援する技術の一つと して活用が期待されている。

従来の読解問題自動生成手法は, 人手で設計し たルールやテンプレートを利用する手法が主流で あったが, 適切なルールやテンプレートの作成に は大きなコストを要する $[1,2,3]$. この問題に対 し, 近年では, 深層学習を用いた end-to-end の手法 が多数提案されている $[4,5,6,7,8,9]$. 初期の手法としては, リカレントニューラルネットワーク (Recurrent Neural Networks : RNN) やアテンション に基づく sequence-to-sequence（seq2seq）モデル [6] が提案されてきた。一方で, 近年では, 事前学習済 みの Transformerに基づく手法が多数提案され, 読解対象文に対応した流暢な問題生成を実現している $[5,10,11,12,13]$.

一方で, 問題生成技術を読解力を育成する学習支援として活用する場合, 学習者の能力に合わせた適切な難易度の問題を出題することが効果的である. このような背景から, 近年, 難易度調整可能な問題生成技術がいくつか提案されている $[10,14,15,16]$. しかし，既存手法には次の問題点がある.
1. 読解対象文と答えを与えて問題を生成するた め, 問題とそれに対応した答えの両方を生成す ることはできない.

2. 問題の難易度と学習者の能力の関係を無視して いるため, 学習者の能力にあった適切な難易度 の問題生成を行うことができない.

これらの問題を解決するために, 本研究では, 項目反応理論（Item response theory：IRT）[17]を用い て定量化される難易度値を与えて，問題と答えのぺ アを生成する新たな読解問題自動生成手法を提案す る. 提案手法は, BERT と GPT- 2 に基づく, 2 つの 事前学習済み深層学習モデルを用いて構成する.

## 2 提案手法

本研究では, 読解対象文 $\boldsymbol{w}_{i}=\left.\{w_{i m} \mid m \in\right.$ $\left.\left.\{1, \ldots, M_{i}\right.\}\right.\}$ とそれに関連する問題文 $\boldsymbol{q}_{i}=\left.\{q_{i n} \mid n \in\right.$ $\left.\left.\{1, \ldots, N_{i}\right.\}\right.\}$, およびその問題に対応する答え $\boldsymbol{a}_{i}=\left.\{a_{i o} \mid o \in\left.\{1, \ldots, O_{i}\right.\}\right.\}$ で構成されるデータ セット $\boldsymbol{C}=\left.\{\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i} \mid i \in\{1, \ldots, I\}\right.\}$ が与えられてい る場合を考える。ここで， $w_{i m}, q_{i n}, a_{i o}$ はそれぞれ $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の $m, n, o$ 番目の単語を表し, $M_{i}, N_{i}$, $O_{i}$ は $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の単語数を表す. また, $I$ はデータ 数を表す. 本研究では, このデータセットに各問題 の難易度を加えたデータセットを次のように作成 し，次節で説明する提案手法の訓練データとする。

1. 各問題に対する正誤反応データの収集: データ セット $C$ に含まれる各問題 $\boldsymbol{q}_{i}$ に対する解答者 の正誤反応データを収集する.ただし，本研究 では人間の解答者を QA (Question Answering) システムで代用する， QA システムとは，読解対象文と問題文を入力して答えを予測するシス テムであり，ここでは $\mathrm{QA}$ システムによる解答 と答え $a_{i}$ の完全一致により正誤判定を行う.

2. IRTを用いた難易度推定: 本研究では問題 の難易度推定に IRTを使用する. IRT は，数理モデルを用いたテスト理論の一つであり，
様々なハイステークス試験で活用されている $[18,19,20]$. IRT では, 学習者の能力と問題の 難易度を関連づけて推定でき, 学習者の能力に あった適切な難易度値の選定が可能である.こ こでは, 最も単純な IRT モデルである次式の ラッシュモデルを利用して, 正誤反応データか ら各問題の難易度値を推定する。

$
p_{i j}=\frac{\exp \left(\theta_{j}-b_{i}\right)}{1+\exp \left(\theta_{j}-b_{i}\right)}
$

ここで, $p_{i j}$ は $i$ 番目の問題における $j$ 番目の解答者の正答確率を表し, $b_{i}$ は $i$ 番目の問題の難易度値, $\theta_{j}$ は $j$ 番目の解答者の能力值を表す. ラッシュモデルでは, $\theta_{j}=b_{i}$ のときに正答確率 が 0.5 となる. 適応的学習では, 一般に正答確率が 0.5 となる問題を与えることが有効とされ ているため, $b_{i}=\theta_{j}$ を難易度値として指定し て，問題を生成することが望ましいといえる。

3. 難易度を含んだデータセットの作成: データ セット $\boldsymbol{C}$ に IRT で推定された難易度値を加えた 新しいデータセット $\boldsymbol{C}^{\prime}$ を作成する。 $\boldsymbol{C}^{\prime}$ は, 読解対象文 $\boldsymbol{w}_{i}$, 問題文 $\boldsymbol{q}_{\boldsymbol{i}}$, 答え $\boldsymbol{a}_{\boldsymbol{i}}$, 難易度値 $b_{i}$ の集合として，以下のように表記できる。

$
\boldsymbol{C}^{\prime}=\left.\{\left(\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \mid i \in\{1, \ldots, I\}\right.\}
$

このデータセット $\boldsymbol{C}^{\prime}$ をい用いて，提案手法では，1）読解対象文と指定した難易度值から答えを抽出する モデルと，2）抽出された答えと読解対象文, 難易度値から問題文を生成するモデル，の２段階で問題生成を実現する．以降で各モデルの詳細を説明する。

## 2.1 難易度調整可能な答え抽出モデル

難易度調整可能な答え抽出モデルでは基礎モデ ルに BERT (Bidirectional Encoder Representations from Transformers）[21]を用いる．BERT は， 1 億以上の パラメータを持つ Transformer ベースの深層学習モ デルを, 33 億語以上の単語を含む文章データセット で事前学習したモデルである. 事前学習は, Masked Language Model と Next Sentence Prediction の二つの 教師なし学習で実現されている. BERT は, 文書の 分類や回帰タスクをはじめとして，系列ラベリング や抽出型文章要約のような文章からの要素抽出タス クにも広く利用されている [22].

本研究では, BERTを基礎モデルとして, 読解対象文と指定した難易度值から答えを抽出するモデルを 構築する. 具体的には, 読解対象文 $w_{i}$ と難易度值 $b_{i}$ を特殊トークンで連結したデータ $[\mathrm{CLS}] b_{i}[\mathrm{SEP}] \boldsymbol{w}_{i}$
を入力として受け取り，読解対象文における答えの 開始位置と終了位置を出力するように BERT の出力層を設計してファインチューニング（追加学習）す る.ここで，ファインチューニングの損失関数は以下で定義する。

$
-\sum_{i=1}^{I} \sum_{m=1}^{M_{i}}\left.\{Z_{i m}^{(s)} \log P_{i m}^{(s)}+Z_{i m}^{(e)} \log P_{i m}^{(e)}\right.\}
$

ここで, $Z_{i m}^{(s)}$ と $Z_{i m}^{(e)}$ は読解対象文 $\boldsymbol{w}_{i}$ 中の $m$ 番目の 単語が答えの開始位置と終了位置である場合にそれ ぞれ 1 を取るダミー変数である. また, $P_{i m}^{(s)}$ と $P_{i m}^{(e)}$ は次式で定義される。

$
\begin{aligned}
& P_{i m}^{(s)}=\operatorname{softmax}\left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m^{\prime}}\right)} \\
& P_{i m}^{(e)}=\operatorname{softmax}\left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m^{\prime}}\right)}
\end{aligned}
$

ここで， $\boldsymbol{T}_{i m}$ は読解対象文 $\boldsymbol{w}_{i}$ における $m$ 番目の単語に対応する BERT の出力ベクトルを表し, $S$ と $\boldsymbol{E}$ は学習される重みベクトルを表す.

このようにファインチューニングした BERT を用 いた答えの抽出は, 答えの開始位置 $\hat{s}$ と終了位置 $\hat{e}$ を次式で求め，その区間の単語列を読解対象文から 抽出することで行う。

$
\hat{s}=\arg \max _{m} P_{i m}^{(s)}, \hat{e}=\arg \max _{m} P_{i m}^{(e)}
$

## 2.2 難易度調整可能な問題生成モデル

難易度調整可能な問題生成モデルでは基礎モデ ルに GPT-2 (Generative Pre-trained Transformer 2) [23] を用いる。GPT-2 は， 15 億以上のパラメータを持つ Transformer ベースの深層学習モデルを， 800 万以上 の文書データで事前学習した言語モデルである．事前学習は, 現時点までに入力された単語列から次に 出現する単語を逐次的に予測させる Language Model と呼ばれる教師なし学習で実現されている. GPT-2 は, 問題生成タスクを含む様々な文章生成タスクで 広く利用されている。

本研究では，GPT-2 を基礎モデルとした問題自動生成手法 [24] を, 問題の難易度を調整できるよう に拡張する. 具体的には, 読解対象文 $\boldsymbol{w}_{i}$ と答え $\boldsymbol{a}_{i}$,問題文 $\boldsymbol{q}_{i}$, 難易度値 $b_{i}$ を特殊トークンで連結した 以下のデータを学習に用いる.

$
b_{i}<\mathrm{QU}>\boldsymbol{W}_{i}<\mathrm{AN}>\boldsymbol{a}_{i}<\mathrm{AN}>\boldsymbol{W}_{i}^{\prime}<\mathrm{G}>\boldsymbol{q}_{i}
$

ただし， $\boldsymbol{W}_{i}$ と $\boldsymbol{W}_{i}^{\prime}$ はそれぞれ読解対象文 $\boldsymbol{w}_{i}$ 中の答 え $\boldsymbol{a}_{i}$ 以前と以降の単語列を表し，<AN>は答えの開始と終了を表す特殊トークンである．また，〈QU>

とくG>は読解対象文と問題文の開始を表す特殊トー クンである.このデータを用いた GPT-2 のファイ ンチューニングは, 以下の損失関数の最小化により 行う.

$
-\sum_{i=1}^{I} \sum_{n=1}^{N_{i}} \log \left.\{P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right)\right.\}
$

ここで,

$
\begin{array}{r}
P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
=\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right) \\
\quad=\frac{\exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}{\sum_{v^{\prime}}^{V^{\prime}} \exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}
\end{array}
$

であり, $V^{\prime}$ は GPT-2 が扱う語彙の総数, $\boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}$ は単語列 $\boldsymbol{q}_{i(n-1)}=\left(q_{i 1}, \ldots, q_{i(n-1)}\right)$ に続いて単語 $q_{i n}$ を入力した場合の GPT-2 の出力ベクトル, $\boldsymbol{G}$ は学習され る重みベクトルである.

ファインチューニングされたモデルを用いた問題文の生成は, <G>までのデータを入力として与え,次式に従って一単語ずつ生成することで行う.

$
\begin{aligned}
\hat{q}_{i n} & =\arg \max _{v} P\left(v \mid \hat{q}_{i 1}, \ldots, \hat{q}_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
& =\arg \max _{v}\left(\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}^{v}}^{v}\right)\right)
\end{aligned}
$

## 3 提案手法の有効性評価実験

提案手法の有効性を評価するために，質問応答$\cdot$問題生成タスクで広く利用される SQuAD データ セット [25]を用いて実験を行った. SQuADとは, Wikipedia の様々な記事（読解対象文に対応）に基 づいて作成された 98,169 個の問題とそれに対応す る答えで構成されるデータセットである. このデー タはあらかじめ, 訓練データ $(90 \%)$, テストデータ （10\%）に分割されている．SQuAD データセットを 用いた実験手順は以下の通りである。

1. SQuAD の訓練データを用いて, 精度の異なる 5 つの $\mathrm{QA}$ システム $[21,26,25,27]$ を構築した.
2. 5 つの $\mathrm{QA}$ システムに SQuAD のテストデータ 中の各問題を解答させ, 正誤反応データを収集 した。

3. 得られた正誤反応データを用いて, 式(1)のラッ シュモデルで各問題の難易度値を推定した. 得 られた難易度値は, 6 值 (-3.96, -1.82, - - . 26, $0.88,2.00,3.60)$ であり, 值が小さいほど簡単 な問題であることを意味する.モデルが数值入力を理解しやすいように, 実数值で推定した 難易度値 $(-3.96,-1.82,-0.26,0.88,2.01,3.60)$

図 1 難易度別の正答率

を正の整数值 $(1,29,49,64,79,100 ）$ に線形変換を行なった。

4. 得られた難易度值と SQuAD のテストデータを 統合して，難易度值を加えたデータセットを作成した.このデータセットを $90 \%$ と $10 \%$ に分割 し，90\%を提案手法の訓練データ，10\%を評価用データとした.

5. SQuAD の訓練データを用いて, 難易度を考慮 せずに答え抽出モデルと問題生成モデルを一度 ファインチューニングしたのち, 手順 4 で作成 した提案手法のための訓練データで難易度を考慮したファインチューニングを行なった.

6. 所望の難易度に応じた出力が行えたかを評価す るために，10\%の評価用データ中の読解対象文 に対して，6 パタンの難易度值をそれぞれ与え て生成した問題と答えを用いて，機械による評価と人間による評価を実施した。

## 3.1 機械による評価

上記の実験手順 6 における機械による評価は, 以下の 2 つの観点で行なった。
- 生成された問題の難易度別正答率
- 抽出された答えの難易度別平均単語数 ただし, 正答率の評価には 2 つの $\mathrm{QA}$ システム $[21,26]$ を使用し, 先行研究 $[10]$ と同様に 2 つの $\mathrm{QA}$ システムが正解した場合のみを正答として扱った。

まず，生成された問題の難易度別正答率を図 1 に 示す. 図から, 難易度が高いほど生成された問題に 対する QA システムの正答率が減少する傾向が確認 できる.このことから, 提案した問題生成手法が,指定した難易度を反映した問題生成を行っているこ とが示唆される。

次に，答えの難易度別単語数を図 2 に示す. 図か ら, 難易度が高いほど抽出された答えの平均単語数 が増加する傾向が確認できる。一般に答えの単語数

図 2 難易度別の単語数

表 1 出力された問題と答えの例

読解対象文 Deacons are called by God, affirmed by the church, and ordained by a bishop to servant leadership within the church. They are ordained to ministries of word, service, compassion, and justice. They may be appointed to ministry within the local church or to an extension ministry that supports the mission of the church. ... Deacons serve supports the mission of the church. ... Deacons serve a term of $2-3$ years as provisional deacons prior to their ordination.難易度値 1

問題 Who ordained deacons?

答え bishop

難易度値 100

が多くなるほど難しい問題であると予測できること から，提案手法が指定した難易度を反映した答え抽出を行っていることが示唆される.

また, 出力された問題と答えの例を表 1 に示す.表から，難易度を低く指定すると，単一の用語を答 えとする比較的簡単な問題が生成されたのに対し,難易度を高く指定すると，長めの文章を答えとする 比較的難しい問題が生成されたことがわかる.

## 3.2 人間による評価

人間による評価では, 評価用データからランダム に選択した 10 個の読解対象文について 6 段階の難易度別に生成された答えと問題（合計 60 ペア）を 以下の 4 つの観点に基づいて， 4 人の評定者で採点 した。
- 流暢性 : 文法的な正しさや流暢さの評価. 適当, 不適当, 許容範囲の 3 段階で評価した。
- 内容関連性 : 生成された問題が読解対象文の内容と関連しているかの評価. 適当, 不適当の 2 段階で評価した。
- 解答可能性 : 抽出された答えが生成された問題 の正しい答えとなっているかの評価. 適当, 不適当, 不十分, 過剩の 4 段階で評価した. 不十分は答えを部分的に含むが不足している場合を 表し, 過剰は抽出された答えに余分な部分が含 まれていることを表す.
- 難易度 : 生成された問題の難易度の評価. 1 か

図 3 人間による難易度評価

ら 5 の 5 段階で評価した. 1 が最も簡単な問題 を意味し， 5 が最も難しい問題を意味する.

流暢性, 内容関連性, 解答可能性の結果を表 2 に 示す.なお，表中の「解答可能性」行に記載された 「内容関連」と「内容非関連」の列は, 解答可能性 で不適当と判定された問題のうち，内容関連性が適当/不適当であったものの割合をそれぞれ表す.表 から， 7 割以上の問題が流暢な文法で生成されてお り, 約 9 割の問題が適切に読解対象文の内容を反映 していることがわかる。さらに，約 7 割のケースで 解答可能な問題と答えのペアが生成できており, 不十分/過剩を含めると 8 割以上のケースで少なくと も部分的には対応した問題と答えのペアが生成でき たことがわかる。一方で，解答不適当と判定された 残りの 1.5 割については, 生成された問題と本文の 内容が関連していないことが主要因であった。

次に，難易度の評価結果を図 3 に示す。図から，難易度を高く指定して生成した問題ほど人間評価者 が難しいと判断したことがわかり，人間の主観的難易度にあった問題が生成できたことがわかる。

## 4 おわりに

本研究では, 任意の難易度の問題と答えを自動生成する手法を提案し, 実験から提案手法の有効性を 示した. 今後は，人間を対象にしたデータ収集を行 ない，より厳密な評価実験を行う。

## 参考文献

[1] David Lindberg, Fred Popowich, John Nesbit, and Phil Winne. Generating Natural Language Questions to Support Learning On-Line. In Proc. Natural Language Generation, pp. 105-114, 2013.

[2] Igor Labutov, Sumit Basu, and Lucy Vanderwende. Deep Questions without Deep Understanding. In Proc. the Association for Computational Linguistics and Natural Language Processing, pp. 889-898, 2015.

[3] Michael Heilman and Noah A. Smith. Good Question! Statistical Ranking for Question Generation. In Proc. the North American Chapter of the Association for Computational Linguistics, pp. 609-617, 2010.

[4] Ruqing Zhang, Jiafeng Guo, Lu Chen, Yixing Fan, and Xueqi Cheng. A Review on Question Generation from Natural Language Text. ACM Transactions on Information Systems, 2021.

[5] Ying-Hong Chan and Yao-Chung Fan. A Recurrent BERTbased Model for Question Generation. In Proc. Workshop on Machine Reading for Question Answering, pp. 154162, 2019.

[6] Xinya Du, Junru Shao, and Cardie Cardie. Learning to Ask: Neural Question Generation for Reading Comprehension. In Proc. Annual Meeting of the Association for Computational Linguistics, 2017.

[7] Sandeep Subramanian, Tong Wang, Xingdi Yuan, Saizheng Zhang, Yoshua Bengio, and Adam Trischler. Neural Models for Key Phrase Extraction and Question Generation. In Proc. Machine Reading for Question Answering,, pp. 78-88, 2018.

[8] Yanghoon Kim, Hwanhee Lee, Joongbo Shin, and Kyomin Jung. Improving Neural Question Generation Using Answer Separation. In Proc. the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6602-6609, 2019.

[9] Xingwu Sun, Jing Liu, Yajuan Lyu, Wei He, Yanjun Ma, and Shi Wang. Answer-focused and Position-aware Neural Question Generation. In Proc. Empirical Methods in Natural Language Processing, pp. 3930-3939, 2018.

[10] Yifan Gao, Lidong Bing, Wang Chen, Michael Lyu, and Irwin King. Difficulty Controllable Generation of Reading Comprehension Questions. In Proc. International Joint Conference on Artificial Intelligence, 2019.

[11] Seungyeon Lee and Minho Lee. Type-dependent Prompt CycleQAG : Cycle Consistency for Multi-hop Question Generation. In Proc. International Conference on Computational Linguistics, 2022.

[12] Manav Rathod, Tony Tu, and Katherine Stasaski. Educational Multi-Question Generation for Reading Comprehension. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, 2022.

[13] Asahi Ushio, Fernando Alva-Manchego, and Jose Camacho-Collados. Generative Language Models for Paragraph-Level Question Generation. In Proc. Conference on Empirical Methods in Natural Language Processing, 2022.

[14] Yi Cheng, Siyao Li, Bang Liu, Ruihui Zhao, Sujian Li, Chenghua Lin, and Yefeng Zheng. Guiding the growth:
Difficulty-controllable question generation through stepby-step rewriting. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, 2021.

[15] Ghader Kurdi, Jared Leo, Bijan Parsia, Uli Sattler, and Salam AI-Emari. A Systematic Review of Automatic Question Generation for Educational Purposes. International Journal of Artificial Intelligence in Education, Vol. 30, pp. 121-204, 2019.

[16] Tahani Alsubait, Bijan Parsia, and Ulrike Sattler. A similarity-based theory of controlling MCQ difficulty. In Proc. International Conference on E-Learning and ETechnologies in Education, pp. 283-288, 2013.

[17] Frederic M Lord. Applications of item response theory to practical testing problems. Routledge, 2012.

[18] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}-$ liyon, Vol. 4, No. 5, pp. 1-32, 2018.

[19] Masaki Uto. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Behavior Research Methods, 2022.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[22] Anirudh Srikanth, Ashwin Shankar Umasankar, Saravanan Thanu, and S. Jaya Nirmala. Extractive Text Summarization using Dynamic Clustering and Co-Reference on BERT. In Proc. International Conference on Computing, Communication and Security, pp. 1-5, 2020.

[23] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI, 2019.

[24] Megha Srivastava and Noah Goodman. Question Generation for Adaptive Education. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 692-701, 2021.

[25] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[26] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. In Proc. International Conference on Learning Representations, 2020.

[27] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A Challenge Dataset for the OpenDomain Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 193203, 2013


# DRS 意味解析における出現位置を利用した語彙数削減

黒澤 友哉 谷中瞳
東京大学
\{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

高度な意味解析タスクの一つとして、文を入力と して談話表示構造 (Discourse Representation Structure, DRS）を出力する DRS 意味解析がある。DRS 意味解析器のうち、高精度を達成した van Noord et al. (2020) [1] のエンコーダ・デコーダモデルは 2 つの 独立したエンコーダを用いている。一方は文中の単語とその意味タグを交互に並べて入力とし、他方は 文を文字単位で分割し入力とすることで、文の意味情報を学習しようと試みている。しかしこの手法で は、文中のトークンが DRS トークンに含まれるた め、モデルの語彙数が非常に大きくなり、デコーダ の計算量が増大し予測精度の低下につながる可能性 がある。本研究では、DRS に含まれるトークンの うち解析対象の文にも含まれるトークンを、文にお ける出現位置に置き換えるという手法を提案する。 これにより、モデルの出力語彙数が $90 \%$ 以上減少 し、エンコーダ・デコーダモデルがより正確に DRS トークンを予測できる。実験により、既存手法と比較して精度の上昇を示したと同時に、学習時間の短縮とメモリ量の低下も達成した。

## 1 はじめに

意味解析は自然言語文を意味関係を構造化した 意味表現に変換する、自然言語処理において最も 基礎的なタスクの一つである。意味表現の形式は 数多く存在するが、本研究では理論言語学の分析 に基づく高度な意味表現形式 [2] である談話表示構造 (DRS) に着目する。図 1 は I was born on the 31st of May in 1940 を表現する DRS である。談話指示子の 集合 (例: t1, e1 など) と条件の集合（例: $\mathbf{t} 1<"$ "now" など）の組を「箱」と呼び、これらを用いて表現し たDRSを箱形式 DRS と呼ぶ。

図 2 は図 1 と等価であるが、表現方法が異なる。図2 のようなDRS を句形式DRS と呼ぶ。句形式

図 1 I was born on the 31st of May in 1940 を表す箱形式 DRS。

図 2 図 1 と等価な句形式 DRS。DOM, MOY, YOC は それぞれ DayOfMonth, MonthOfYear, YearOfCentury の略で ある。

DRS は箱形式 DRS に対し、エンコーダ・デコーダ モデルで扱う表現方法として適しており、[1,3] な どで用いられている。

特に [1] が提案した意味解析器は、複数のエン コーダを用いたエンコーダ・デコーダモデルで、入力のトークン列のみならず、その文字の系列や様々 な言語情報を与えて学習させている。彼らは様々な 組み合わせで実験を行なっているが、そのうち、2 つのエンコーダを用い、一方には入力のトークン列 とその意味タグを、他方には文字の系列を与える手法が最も良い精度を達成した。

しかし、句形式 DRS の一部のトークンは、モデル が予測すべき語彙の数を大きく増加させる要因とな りうる。一つ目は図 2 の 6 行目のように、文に出現 する単語が第 2 トークンに挿入されることがある。二つ目は図 2 の 7, 9, 10 行目のように、文に出現す る単語の表す値が第 4 トークンに挿入されることが ある。いずれについても任意の単語や値が挿入され うるため、エンコーダ・デコーダモデルはより膨大 な語彙を有する必要があり、結果として予測精度が 落ちている可能性がある。さらに、学習時に観測し なかった未知語も扱わなければならない。
表 1 PMB 3.0.0 と 4.0.0 の英語におけるドキュメント数の 一覧。

} & \multicolumn{1}{c}{ Test } & \multicolumn{1}{c}{} & \multicolumn{1}{c}{} \\

4.0 .0 & 7,668 & 1,169 & 1,048 & 127,303 & 151,493 \\

そこで本研究では、上述したトークンを可能な限 り減少させることにより、エンコーダ・デコーダモ デルによる予測の精度と頑健性の向上を狙う。そ れを可能にするために、文と DRS の両方に現れる トークンは、該当の DRS トークンを文中の出現位置を明示的に示すトークンに書き換えたデータで学習し、予測をする。出現位置に置き換えたデータで 学習したエンコーダ・デコーダモデルは予測の際に も出現位置トークンとして出力し、出現位置トーク ンが示す文中の単語に書き換えることで最終的な予測とする。

## 2 関連研究

## 2.1 Parallel Meaning Bank

Parallel Meaning Bank (PMB) [4] は大規模な DRS コーパスの一種であり、英語、ドイツ語、イタリア 語、オランダ語の 4 言語のデータがデータセットと して提供されている。データは文と DRS 以外にも、各トークンの品詞や意味タグなど多くの言語情報が 付与されている。2023 年 1 月現在、4.0.0 までが利用可能である1)。各言語のデータは Gold, Silver, Bronze の3つに分割されており、Gold は完全に人手でアノ テーションされたもの、Silver は一部が人手による アノテーションが付与されたもの、Bronze は人手に よるアノテーションを用いて学習したモデルが自動 でアノテーションを付与したものがそれぞれ割り当 てられている。表 1 に PMB 3.0.0 と 4.0.0のうち、英語のデータセットの詳細を示す。

日本語 PMB データについてはデータセットして 提供されていないものの、[5] の貢献により PMB Explorer $^{2}$ では利用可能である。

## 2.2 DRS 意味解析

DRS は 80 年代に導入された談話表示理論 (Discourse Representation Theory) [2] に基づく意味表現形式であり、様々な DRS 意味解析手法が提案さ

1) https://pmb.let.rug.nl/data.php

2) https://pmb.let.rug.nl/explorer/explore.php

図 3 図 2 を、箱変数と個体変数をそれぞれ相対的に変換 した相対句形式 $\mathrm{DRS}$ 。見やすさのために開業している。 なお、エンコーダへの入力では改行は***と表される。

図 4 図 3 に、文中に現れるトークンをその出現位置で置 き換えた相対句形式 DRS（提案手法）。

れている [6, 7]。近年は深層学習のモデルを用い た研究が多く、[3] は双方向 long short-term memory (bi-LSTM) [8] を用いている。[9] も深層学習のモデ ルを手法に組み入れているが、DRS は句形式ではな くグラフ形式を採用している。また [10] もグラフ形式を採用しており、いずれの研究も少量の学習デー タで比較的高い精度を達成している。

なお、本研究に最も近い研究は [11] である。この 研究は我々が語彙数の増加の原因として着目してい るトークンをダミー化し、これらをエンコーダ・デ コーダモデルに予測させるもしくは後処理で埋める 手法をとっている。語彙数の減少に注視する点は共通するが、本研究では完全にダミー化するのではな く、意味タグとトークンの出現位置との組み合わせ によって精度上昇を狙う。

## 3 提案手法

出力する語彙数を抑制し、効果的にDRS トークン を予測する方法として以下の手法を提案する。学習 の前処理として、句形式 DRS に含まれるトークン のうち、それらが文中にも出現する場合、文中にお ける出現位置に書き換える。先行研究 [1] において、図 2 の句形式 DRS は、図 3 の相対句形式 DRS [3] に 変換してエンコーダに入力する。相対句形式 DRS において、箱変数 \$と個体変数 @ はそれぞれの導入 との相対位置で記述される。例えば、6行目の第 4 トークン@0は最新の個体変数 $(5$ 行目の REF = e1) を指し、 7 行目の第 3 トークン @-1 は最新から一つ 前の個体変数（3 行目のREF = $t 1$ ）を指す。

提案手法は、図 3 の相対句形式 DRS をさらに図 4 に変換する。表 2 は句形式 DRS の行を分類したも
表 2 句形式 DRS の各行のフォーマット。ここで箱変数（b1 など）を\$で、個体変数（t1, $\mathrm{e} 1$ など）を @で表している。

のであるが、書き換えられるトークンは大きく分け て 2 種類あり、タイプC（6 行目）の第 2 トークン と、タイプD $(7,9,10$ 行目) の第4トークンである。

## 3.1 タイプＣの書き換え

タイプ $\mathrm{C}$ の第 3 トークンにおいて第 2 トークンの 語義 (synset) が WordNet [12] 形式で与えられるため、 その品詞情報を用いて文中の単語を原形に変換す る。この原形が第 2 トークンと同等の場合、\#に続 いて、その単語の出現位置を付与する。例えば、図 3 の 6 行目の bear は、文中に（0 始まりで）2 番目 に出現する動詞 born の原形であるので、 \#2 に書き 換えられる。

第 2 トークンが_（アンダースコア）繋がりで与 えられる場合、そのトークンが複合名詞 (mobile_ phonesなど）のものと句動詞（get_up など）のもの がある。複合名詞の場合、文中において～（チル ダ）繋がりで与えられているため、それらを空白と して扱い、原形へ変換した上で一致するか否かで書 き換えの有無を決定する。一方で句動詞の場合、構成する単語の間に別の単語が挟まる場合がある。例 えば、The boy has taken the toy away from his little sister には句動詞 take away が存在するが、それを構成す る単語は隣接していない。そのため句動詞について は、それを構成する2番目以降の単語の出現位置を、直前の単語からの相対位置として扱う。例えば、先述の文の相対句動詞 DRS に含まれる take_away は、文中で take は 3 番目 (taken の原形)、away は 6 番目に現れるので\#3_3に書き換えられる。

なお、以上の一連の判定で第 2 トークンが文中の 単語と同等にならない場合、そのトークンは書き換 えない。

## 3.2 タイプDの書き換え

タイプD で第 4 トークンが値の場合、そのトーク ンは図 2 の 6 行目の brown (名前)、17 行目の 4 (数量）の他にも、okinawa（地名）やyen（単位）など が存在する。それらを完全に網羅することは困難で あるため、以下の手法をとり文中に出現する単語と同じかを判定する。

まず、第 4 トークンの値と一致する単語が文中に 存在すればその出現位置に書き換える。この規則 により役割（第 2 トークンのことを表す）が Name (名称) や YearOfCentury（年）の値について対応可能になる。Unit（単位）についても、単数形に変換 することにより一致すれば書き換えの対象になる。

次に、第 4 トークンの値に対応する単語が文中に 存在すればその出現位置に書き換える。例えば、図 3 の 7 行目の 31 は文中では $31 s t$ であり、これらが 同等なので図 4 においてその出現位置に書き換え られている。この対応関係は人手で判定することは 困難なため、学習データの対応関係から作成した辞書を用いて同等かを判定する。これにより Quantity (数量)、DayOfMonth（日にち）、ClockTime（時刻) など、数に関係するほとんどの役割について対応可能になる。

## 3.3 出現位置を基にした復元方法

タイプ $\mathrm{C}$ に関しては、出現位置の指す単語を品詞情報を用いて原形に変換し、出現位置トーク ンを書き換える。タイプDに関しては、出現位置 トークンへ変換する際に構成した辞書を用いて復元する。このときに、出現位置トークンの指す単語が辞書に含まれていないなどのエラーが発生 した場合はダミーのトークンで書き換える。例え ば \$n DayofMonth @m "\#2" に対し文トークンの 2 番目に日にちを表す単語が存在しなかった場合、 \$n DayOfMonth @m "00" とする。

## 4 実験

## 4.1 実験設定

3.1 節と 3.2 節で説明した手法により PMB 3.0.0 の 英語の Gold データと Silver データを書き換える。書き換えを行なった各セットを用い、van Noord et al. (2020) [1] で最も精度が良かった実験設定である、 bi-LSTM エンコーダを 2 つ導入したエンコーダ・デ コーダモデルを用いる。2つのエンコーダのうち一
表 3 実験結果。[11]では ill-formed 数の報告がなかった。「ータイプ $\mathrm{C} 」$ は提案手法」において、タイプ $\mathrm{C}$ の復元 をしなかった場合の値を表す。

方は PMB で与えられたトークナイズされたトーク ン列と意味タグ [13] を交互に並べてエンコーダへ入力し、他方はトークン列を文字ごとに区切って入力 する。

事前学習では Gold Train データと Silver Train デー タを合わせて用い、Gold Dev データでバリデーショ ンを行なう。ファインチューニングでは Gold Train データと Gold Dev データを用いて学習・バリデー ションを行ない、Gold Test データで評価する。一度 の事前学習に対して 5 回のファインチューニングを 施し、それらから得られた値の平均値を結果として 採用する。

評価指標 各実験結果は Counter [14] を用いて得 られる。この評価ツールは出力された句構造 DRS と正解とを比較して、行を単位とする F-scoreなど の評価値を出力する。テストデータ全体の精度は ミクロF-score として求められる。例えば、句構造 DRS が 5 行からなる A と 20 行からなる B があると する。ある DRS 意味解析器が A に対しては正解と まったく同じ出力をしたのに対し、Bに対しては何 らかのエラーにより一切の出力がなかった。このと き、Counter が出力する値は各々の F-score の平均值 $(1+0) / 2=0.5$ ではなく、行数によって重み付けさ れて計算された F-score である $(5+0) /(5+20)=0.2$ である。

## 4.2 結果と分析

表 3 に結果を示す。[1] が報告した値 89.3 と比較 し、我々の手法を用いることでより高い精度であ る89.9を達成した。一方で、出力された相対句形式 DRS が ill-formed であったものの数は [1] と比較し て増加した。ここで相対句形式 DRS が ill-formed で あるとは、表 2 のいずれにも当てはまらない行が存在したり、変数の相対参照に失敗したりするなどで 正しい句形式 DRS に変換できないことを表す。表 4 事前学習時間、消費 GPUメモリ、語彙数の比較。先行研究の各值は再現実験で得られた値である。

 &  & 語彙数 \\

提案手法 & $\mathbf{1 8 6}$ & $\mathbf{8 . 9 8}$ & $\mathbf{1 , 0 8 1}$ \\
差異の割合 & $21.5 \%$ & $41.3 \%$ & $90.5 \%$ \\

アブレーション実験 表 3 の下 2 行はアブレー ション実験の結果を示している。これはタイプ C （3.1 節）とタイプ D（3.2 節）の書き換えそれぞれが どの程度精度上昇に寄与したかを示すものである。表 3 によると、タイプ C の書き換えは約 15\%、タ イプD は約 5\% の精度上昇をもたらしたことが観察 できる。

事前学習時間、消費 GPU メモリ、語彙数の比較表 4 に実験を行なった際の各指標を示す。我々の提案手法は精度上昇のみならず、事前学習時間を約 $20 \%$ 以上減、GPUメモリの消費量を約 $40 \%$ 以上減 し、特に語彙数は $90 \%$ 以上減を達成した。

未知語に関する分析 [1] と提案手法の 5 回の予測のうちそれぞれ一つを抽出し比較したところ、[1] で未知語であることを示す @@UNKNOWN@@ トークンは 250 個出力されていたが、そのうち提案手法におい て正しく予測されたトークンは 233 個であった。

ill-formed 数に関する分析 ill-formed になった ケースは量化や否定など、学習データが不十分な言語現象を含むものが多くを占めた。特に、一度でも ill-formed になった 31 ケースのうち、接続や量化を 示す意味タグ ANDをもつものは 10 ケース存在して いた。

## 5 おわりに

本研究ではDRS の意味解析に着目し、句形式 DRS において文と共通する DRS トークンを出現位置トークンに置き換える手法を試みた。実験の結果、出力語彙数が大幅に減少したことにより、既存手法と比較し有意な精度上昇が見られ、さらに事前学習時間とGPUメモリの消費量も減少した。

今後は、PMBに含まれる英語以外の言語に対し て、語彙数を抑制するアプローチを試みる予定であ る。また、DRS 意味解析以外の意味解析タスクへの 応用なども考えられる。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受け たものである。

## 参考文献

[1] Rik van Noord, Antonio Toral, and Johan Bos. Characterlevel representations improve DRS-based semantic parsing even in the age of BERT. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4587-4603, Online, 2020. Association for Computational Linguistics.

[2] Hans Kamp and Uwe Reyle. From Discourse to Logic. Springer, Dordrecht, 1993.

[3] Rik van Noord, Lasha Abzianidze, Antonio Toral, and Johan Bos. Exploring neural methods for parsing discourse representation structures. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 619633, 2018.

[4] Lasha Abzianidze, Johannes Bjerva, Kilian Evang, Hessel Haagsma, Rik van Noord, Pierre Ludmann, Duc-Duy Nguyen, and Johan Bos. The Parallel Meaning Bank: Towards a multilingual corpus of translations annotated with compositional meaning representations. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 242-247, Valencia, Spain, 2017. Association for Computational Linguistics.

[5] 谷中瞳, 峯島宏次, 山田彬克, 山口悠, 窪田悠介, Lasha Abzianidze, Johan Bos. 多言語統語・意味情報コーパ ス Parallel Meaning Bank 日本語版の構築. 言語処理学会 第 26 回年次大会. 言語処理学会年次大会発表論文集, 2020 .

[6] Hajime Wada and Nicholas Asher. BUILDRS: An implementation of DR theory and LFG. In Proceedings of Coling 1986 Volume 1: The 11th International Conference on Computational Linguistics, 1986.

[7] Johan Bos. Wide-coverage semantic analysis with Boxer. In Proceedings of Semantics in Text Processing. STEP 2008 Conference, pp. 277-286. College Publications, 2008.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, pp. 1735-80, 1997.

[9] Federico Fancellu, Sorcha Gilroy, Adam Lopez, and Mirella Lapata. Semantic graph parsing with recurrent neural network DAG grammars. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2769-2778, Hong Kong, China, 2019. Association for Computational Linguistics.

[10] Wessel Poelman, Rik van Noord, and Johan Bos. Transparent semantic parsing with Universal Dependencies using graph transformations. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4186-4192, Gyeongju, Republic of Korea, 2022.
International Committee on Computational Linguistics.

[11] Minxing Shen and Kilian Evang. DRS parsing as sequence labeling. In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics, pp. 213225, Seattle, Washington, 2022. Association for Computational Linguistics.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, 1995.

[13] Lasha Abzianidze and Johan Bos. Towards universal semantic tagging. In Proceedings of the 12th International Conference on Computational Semantics, 2017.

[14] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).


# ニつの動作を含む重文型命令文を受理するためのサービス指向発話文解析の拡張

但田聖 徳久雅人 木村周平
鳥取大学 工学部
b19t2060u@edu.tottori-u.ac.jp
\{tokuhisa,kimura\}@tottori-u.ac.jp

## 概要

本稿では，2つの動作を一度に命令する発話文を受理 してサービスの提供を行う手法について述べる。スマー トフォンや家電に音声認識を使ったサービス要求の命令 が可能である. 1 つの動作を命令する発話文は受理可能 である.しかし，2つの動作を命令するためには 2 回の 発話が必要となる.

本稿では，車載器に用いられるサービス指向発話文解析器（従来手法）に対して，文分割，分割評価および命令合成を追加することで，2つの動作を含む命令文であっ ても適切にサービスの提供が実現できることを示す.

## 1 はじめに

近年，音声認識を用いた技術が普及している．スマー トフォンや家電に，音声認識を使ったサービス要求の命令が可能になっている.

本研究室では音声命令によって操作可能な車載器の開発を進めている [1].この車載器では，1つの動作のため の命令文しか実行することができない. よって，この車載器に 2 つの動作を命令したい時は，1つずつ動作を命令しなければならず，時間と手間がかかってしまう.

そこで，本稿では車載器で 2 つの動作を含む重文型命令文が実行できるようにすることを目的とする.

## 2 先行研究

文分割についての先行研究，発話文解析についての先行研究，および本稿の位置づけについて述べる.

## 2.1 文分割についての先行研究

先行研究 [2] は, 複雑な文の可読性の向上や解析処理 を目的とした研究である．WEBSPLIT という単純な文 と複雑な文をぺアとするデータセットを提案し，文分割 を可能にしたが，実際に複雑な文の解析に適用できるか の確認は行われなかった。

## 2.2 発話文解析についての先行研究

先行研究 [1] では, ユーザからのサービス要求型発話 を受け取ると，発話文の意図するサービスとメソッドを 発話文解析によって推定し，小型計算機上でサービス結果を出力する研究が行われた. 発話文解析の流れと先行研究の問題点について述べる.

## 2.2.1 発話文解析の流れ

発話文解析の流れを図 1 に示す.

図 1 発話文解析の流れ

発話文解析器がユーザから発話文を受け取ると，パー ジングが行われる． パージングではサービス別に用意さ れた辞書を用いて各語句にタグ付けを行い，「サービス 別タグ付き文」を出力する．次に，意図解析では，オリ ジナルコーパスの事例と「サービス別タグ付き文」の比較を行い，意図クラスを求める．オリジナルコーパスは，「発話文，サービス名，メソッド名・引数」という事例で 構成され，サービス名とメソッド名・引数の組を意図ク ラスとする．比較の際，事例 $i$ とサービス別タグ付き 文」との近さ $d_{1}$ を次式で求めて利用する.

$
d_{1}\left(U, T_{i}\right)=\frac{2\left|U \cap T_{i}\right|}{|U|+\left|T_{i}\right|+\beta}
$

ここで， $U$ はタグ付き文のタグの集合， $T_{i}$ は意図解析用事例 $i$ のタグの集合， $\beta$ は偏りを持たせるパラメータで ある.

近さの降順で意図クラスが得られ，解候補として複数 が出力される.

次に，スロットフィリングでは，得られた解候補の引数に対して代入を行い，得られたスロット值（引数と代入語句の対）を解候補に加えて出力する.

最後に，選択では，解候補のタグの一致率およびス ロットの代入率からスコア $d_{2}$ を次式で求めて利用する.

$
d_{2}\left(U, T_{i}, b, s\right)=\frac{2\left|U \cap T_{i}\right|+b}{|U|+\left|T_{i}\right|+s+\beta}
$

ここで，bはスロットフィリングにおいて代入されたス ロット数であり，s はスロットフィリングにおいて代入 されるべきスロット数である。なお， $U, T_{i}$ おび $\beta$ は 式 (1)と同じである.

スコアの降順で意図クラスおよび引数の具体值が得ら れ, 最高スコアの命令 (サービス名・メソッド名・スロッ 卜値）が選ばれる。命令はサービスの実行部に送られて， ユーザにサービスの提供が行われる．以上の流れで発話文解析を行う。
以下に発話文解析の例を示す.

発話文：鳥取の地図を表示してください

意図クラス：serviceMap.comShow(loc)

解候補のスロット値 : $\mathrm{loc}=$ 鳥取

命令：serviceMap.comShow(loc=鳥取)

## 2.2.2 先行研究の問題点

2 つ動作を含む重文型命令文を先行研究の手法に入力すると， 1 事例につき 1 意図クラスしかオリジナル コーパスに登録されてないため，1つの命令しか実行さ れない． 2 つの動作を含む命令を実行させるには，オリ ジナルコーパスの発話文を組み合わせて命令文を作り， その 1 つの命令文につき動作を 2 つ登録するというア イデアが考えられる。しかし，オリジナルコーパスに登録されている発話文は約 3 千文であり，その組み合わせ は最大で約 9 百万文となる。これではコストが大きす ぎる.

## 2.3 本稿の位置づけ

本稿では，コストを抑えるために，コーパスへの文の 追加ではなく, 車載器の発話文解析器の拡張という手段 をとる。すなわち，文分割を発話文解析の前に行うこと で，2つの動作を含む文を 1 つの動作を含む 2 つの文と し，得られる命令を適切に実行することを試みる。ただ し，本稿では，2つの動作を含む表現を重文型命令文に 限定する。

## 3 提案手法

提案手法は，従来手法 (2.2 節) に対し，「文分割」，「分割評価」および「命令合成」を追加した拡張手法である （図 2)。拡張のねらいは次のとおりである.
- 文分割 $: 1$ 文 1 命令となるように文を分割
- 分割評価：分割/非分割のどちらが意味を波み 取ったかを評価
- 命令合成：単機能な複数命令か，高機能な単一命令かの選択

図 2 拡張された発話文解析器

以下に提案手法における処理の要点を例示する。

重文型命令文に対する文分割の結果を示す.

重文型命令文：地図を表示して音楽をかけてくだ さい

分割後の文 $1:$ 地図を表示してください

分割後の文 2 : 音楽をかけてください

分割評価では，重文型命令文を従来手法で解析した結果，および分割後の文 1 ，文 2 をそれぞれ解析した結果 という 3 つの結果を扱う。地図サービスと仮定すると「音楽」の意味が汲み取られず，音楽サービスを仮定する と「地図」の意味が汲み取られない。一方で分割後では それぞれで意味が汲み取られるため，分割が適切と判定 される.

命令合成については，別の例文で説明する．たとえば，「初音ミクをかけてから鏡音リンをかけてください」と いう場合，命令合成には 2 つの命令が入力され，代替命令が出力される.

命令 1 : serviceMusic.comSearch $(\mathrm{obj}=$ 初音ミク)

命令 2 : serviceMusic.comSearch(obj=鏡音リン)

代替命令：serviceMusic.compPlayList(obj1=初音

ミク，obj2=鏡音リン)

検索再生の命令 2 つよりも，プレイリストの命令 1 つ の方が容易にサービスの実行が行える.

本節では，文分割，分割評価および命令合成について 詳しく述べる。

## 3.1 文分割

文分割は，発話文に特定のワードが含まれている時，特定のワードの前後で単文に分割する．特定のワードの 決定方法，特定のワードの判別方法および文末処理につ いて示す.

## 3.1.1 特定のワードの決定方法

鳥バンクという日本語と英語の意味類型パターン辞書 がある [3].この中では，節間キーワードという主節と従属節をつなぐワードが定義されている．節間キーワード の出現頻度上位 30 件の内，重文型命令文に含まれると 想定されるものを特定のワードとして選出する.

節間キーワードの出現頻度上位 30 件は表 1 の通りと なった.

表 1 中の，「て」，「てから」，「たら」，「ながら」の 4 つ の節間キーワードを特定のワードとして選出した。

## 3.1 .2 特定のワードの判別方法

文分割の判断には，特定のワードの品詞，字面および その前後の単語の品詞で定義される条件を用いる (表 2 ).

発話文を MeCab で形態素解析し，得られた解析結果 と表 2 を比較して文を分割するか判断する。

## 3.1.3 文末処理

文を分割した際，分割後の 1 文目の文末が不完全にな る.その対応として，分割前の文末表現を，分割後の 1 文目の文末に追加するという文末処理を行う．以下に，文末表現が「てください」の時の処理の例を示す.

処理前の分割後の文 1 : 音楽をかけ

処理後の分割後の文 $2:$ 音楽をかけてください 対象となる文末表現は以下のとおりである。

・〜てください|〜でください

・〜ます

・〜です

ここで，「ます/です」による命令文は，ユーザの行動を 車載器に受理させる際に使われる。たとえば，「今から 鳥取駅に行きます」や「10 時に出発です」のように予定 を登録する発話に用いられる。

## 3.2 分割評価

車載器のオリジナルコーパス (先行研究のコーパス) には既に重文型命令文が登録されている。たとえば，「シャッフルして音楽をかけてください」という文があ る.これは音楽の再生モードを変更するという，1 動作 を命令する重文型命令文である．発話文に対して毎回分割を行うと，過剩な分割となる恐れがある。この問題を 分割評価によって防ぐ.

非分割文と分割文のスコアを比較する．非分割文のス コアは $d_{2}$ を用いて求める. 分割文のスコア $d_{3}$ は，分割文の文 1 と文 2 のスコアを転用した值であり，次式を用 いて求める.

$
\begin{aligned}
& d_{3}\left(U_{1}, U_{2}, T_{1}, T_{2}, b_{1}, b_{2}, s_{1}, s_{2}\right)= \\
& \quad \frac{2\left(\left|U_{1} \cap T_{1}\right|-t\right)+2\left|U_{2} \cap T_{2}\right|+b_{1}+b_{2}}{\left|U_{1}\right|-t+\left|U_{2}\right|+\left|T_{1}\right|-t+\left|T_{2}\right|+s_{1}+s_{2}+\beta}
\end{aligned}
$

ここで, $U_{1}, T_{1}, b_{1}, s_{1}$ および $U_{2}, T_{2}, b_{2}, s_{2}$ は式 $(2)$ と同様であり，それぞれ分割後の文 1 および文 2 の值で ある. $\beta$ も同様である. $t$ は文末処理によって追加され た文末表現に対するタグ数である.

もし， $d_{2} \geqq d_{3}$ ならば非分割を採用し，そうでなけれ ば分割を採用する.

## 3.3 命令合成

命令合成の対象となる 2 つの命令の例を以下に示す.命令 1 : serviceMusic.comSearch( $\mathrm{obj}=$ 初音ミク)

命令 $2:$ serviceMusic.comSearch $(\mathrm{obj}=$ 鏡音リン) この 2 つの命令を連続で実行すると 1 曲目の再生が中断 され，2 曲目のみが再生されてしまう。

命令合成では，2つの命令が以下の条件を満たすとき，代替命令を出力する．代替命令は 2 つの命令の動作を含 む高機能な単一命令である.
- 1 つ目の命令が並列処理を行う，かつ

・ 2 つの命令間でリソースの競合がおこる

知識ベースとの照合によって，2つの命令が条件を満 たすか判断する。条件を満たす 2 つの命令と代替命令を 知識べースにまとめた（表 3)，代替命令を用意できない 場合はエラーとする. エラー時は 1 つ目の命令のみを出力するという運用にする.

## 4 実験

追加した処理部の動作の妥当性を確認する. 評価項目 を，命令文の害行誤り率および命令実行の応答時間と する.

## 4.1 実験準備

実験で用いるテストセットとして，テストセット 1～ 4 を用意した．テストセット $1 \sim 3$ をそれぞれ表 $4 \sim 6$ に 示す.

テストセット 1 は，実際に車載器を利用した際に得ら れた発話ログ 1,441 件の中から，組み合わせると重文型命令文となる，連続している 2 つの発話を抜粋したもの である (表 4).

テストセット 2 は，テストセット 1 の 2 つの発話を 3 または 4 つの特定のワードで組み合わせて作った重文型命令文である．各テスト文中にある（）内の|で区切ら れている単語は，それぞれの単語だけを含む文に展開す るという意味で，（）内に 4 つ単語を含む場合は，4つの 重文型命令文が得られる (表 5 ).

テストセット 3 は，並列処理を行う命令文のぺアを組 み合わせた重文型命令文である (表 6).

テストセット 4 は，従来の車載器のオリジナルコーパ スである (表なし, 総文数 3,519 文).

## 4.2 誤り率についての実験

テストセット 2 および 3 を用いることで 2 つの動作を 含む重文型命令文の実行確認を行う．テストセット 4 を 用いることで，元々実行できていたオリジナルコーパス の命令文 (1 動作の文) が実行できること，すなわち，提

案手法に拡張前との互換性があることを確認する。車載器 1 4を用意し, それぞれの車載器で誤り率を 求めた. 車載器 1 は従来の車載器, 車載器 2 は従来の車載器に文分割を追加した車載器, 車載器 3 は文分割・分割評価を追加した車載器, 車載器 4 は文分割・分割評価・命令合成を追加した車載器である. 誤り率は表 7 の通り になった.

テストセット 2 の誤り率は, 車載器 1 では 1.00 とな り, 車載器 $2 \sim 4$ では 0.00 となった. 文分割を追加する ことで重文型命令文を実行できることが確認できた。

なり, 車載器 4 では 0.00 となった. 命令合成を追加す ることによって，並列動作を起こす重文型命令文を適切 に実行できることが確認できた.

テストセット 4 の誤り率は, 車載器 2 では 0.39 とな り, 車載器 $1 ， 3$ および 4 では 0.00 となった. 文分割を 追加することで過剰分割がおきていることが確認できた が，分割評価を追加することで過剩分割が抑えられてい ることが確認できた.

過剩な分割が抑制された命令文を表 8 亿示す. 予定登録の命令や，元々登録されていた重文型命令が分割され ずに車載器 4 で処理できた. なお，車載器 2 で実際に表
8 の文を実行すると求めていないサービスが実行された.

## 4.3 応答時間についての実験

2 つの動作を， 1 つずつ命令した時と，重文型命令に よって一度に命令した時の応答時間を比較するために， テストセット 1 および 2 の平均応答時間を求めた. 結果 は表 9 の通りになった.

テストセット 2 の平均応答時間は, テストセット 1 の 平均応答時間に比べて約 4 秒の短縮が確認できた. 自動車内において操作にかかる時間が 4 秒短縮されることは 有益であると考える。

## 5 おわりに

本稿では, 車載器上で 2 つの動作を含む重文型の命令 に対して実行を可能にした. 手法としては，従来の車載器の発話文解析器に文分割・分割評価・命令合成の 3 つ の処理を追加した. 文分割では, 重文型命令文を分割し,解析可能とした. 分割評価および命令合成では, 文分割 に伴う実装上の問題に対応した．以上より文分割は複雑 な文の解析に有用であることが分かった. さらに，既存 の 1 動作のための解析器が流用できる点も利点である.

本稿では複雑な文を重文型の言い方に限定したが，複雑な文には重文型以外の言い回しも多くある. 今後は重文型の言い方以外の複雑な文にも文分割が有用である か，研究を進めて確認していきたい。

## 謝辞

本研究は JSPS 科研費 JP19K12548 の助成を受けた ものです.

## 参考文献

[1] 徳久 雅人, 木村 周平: 小型計算機におけるサービス指向発話文解析, 自然言語処理, 26(3), pp.545-578, 2019.

[2] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorin: Split and Rephrase. Natural Language Processing(EMNLP), pp. 606-616, 2017.

[3] 池原悟, 阿部 さつき, 徳久 雅人, 村上 仁一: 非線形な表現構造 に着手した重文と複文の日英パターン化, 自然言語処理, 11(3), pp.69-95, 2004.


# Neural DTS に対する型検査アルゴリズムの実装の試み

飯沼瑞稀 高橋優太 田上青空 戸次大介
お茶の水女子大学
\{g1920504, takahashi.yuta, tagami.sora, bekki\}@is.ocha.ac.jp

## 概要

現代的な記号推論システムである依存型理論の応用の一つに，自然言語の意味論がある．依存型理論 による自然言語意味論は含意関係認識タスクに応用 されており，その含意関係認識システムの基礎には 型検査アルゴリズムがある．こうした型検査アルゴ リズムは，型理論のような記号推論からなるシステ ムに与えられてきたものであるが，近年，依存型理論による自然言語意味論にはニューラルネットを埋 め込んだシステムが提案されている. 本研究では第一に，そうしたシステムの一つである Neural DTS に 対して型検査アルゴリズムを定式化する. 第二に， WordNet から抽出したデータセットを用いて，埋め 込まれたニューラルネットの精度を型検査の出力を 参照して調べる.

## 1 はじめに

記号推論は，ニューラルネットによる推論・予測 としばしば対比されるが，そうした記号推論を行う ための現代的なシステムの一つとして型理論 (type theory) と呼ばれる論理システムがある. 型理論はも ともと，数学の証明を厳密に表現すること，言い換 えれば数学を形式化することを目的として考案され た [1]. その一方で，命題と型の同型性および証明 とプログラムの同型性を示すカリー・ハワード対応 (Curry-Howard correspondence)を背景に，現代的な型理論はそれが考案された当初からプログラミング言語とも見なされている.

型理論は計算機科学と論理学の共通部分として 研究されてきたが, 型理論の中でも特に依存型理論 (dependent type theory) は, 一般化量化子や照応と いった自然言語の意味論に早くから応用されてきた [2]. 上述のように, 依存型理論は論理システムとも プログラミング言語とも見なすことができる. その ため，自然言語の文がもつ複雑な意味構造を解釈で きる論理システムとして依存型理論を用いるだけで
なく，その計算論的性質もまた自然言語の意味論へ と応用されてきた.

こうして依存型理論は自然言語の意味論に おける理論的選択肢の一つとなり，現在におけ る主要なアプローチとしては，例えば依存型意味論 (Dependent Type Semantics, DTS) [3], the formal semantics using Modern Type Theories [4], Type Theory with Records (TTR) [5] が挙げられる. さらに，依存型理論による自然言語意味論に対する実装も与え られ，こうした実装は，含意関係認識タスクへの 手法を提供している $[6,7,8,9,10]$. ここでの実装に おいて重要になるのは, 型検査アルゴリズム (type checking algorithm) という，プログラム $t$ および型 $A$ が与えられたときに $t$ が型 $A$ をもつかどうかを判定 するアルゴリズムである. カリー・ハワード対応を 踏まえると, このアルゴリズムは, 証明 $t$ と命題 $A$ が与えられたときに $t$ が $A$ の証明であるかどうかを 判定するアルゴリズムともいえる．上述の含意関係認識の手法においては含意判定の場合にその証明が 構成されるため，含意関係認識システムがつくった 証明が，求めている命題の証明になっているかどう か検査する必要がある．この点で, 型検査アルゴリ ズムは含意関係認識システムの基礎になっている.

以上のように，型検査アルゴリズムは，依存型理論を用いた自然言語意味論の基盤であるといえる.従来このアルゴリズムは，もっぱら記号推論システ ムであるような型理論に対して与えられてきた。 そ の一方で，依存型理論を用いた自然言語意味論に は，ニューラルネットを埋め込んだシステムが考案 されている [11,12]. その中でも， [13,14] において 基本構想が説明された Neural DTS は, 自然言語の複雑な意味現象を説明できる従来の DTS の記号推論 を維持しつつ，「犬である」といった述語をニュー ラル分類器に置き換えることによって, ニューラル ネットによる予測を併用する。

本研究では Neural DTS の実装に向けた一歩とし て，まず，DTS の語彙が含む述語を多層パーセプト

ロン (MLP) による分類器で置き換え，得られたシス テムに対する型検査アルゴリズムを実装する．前者 および後者の実装にはともに Haskell を用い，特に MLP の実装には PyTorch の Haskell バインディング である hasktorchを用いる。次に，WordNetから抽出 したデータセットを用いて, 型検査アルゴリズムに 埋め込むニューラルネットの精度を型検査の出力を 参照して調べる.

## 2 先行研究

Type theory with records (TTR) は, DTS と同じく依存型理論による自然言語意味論のフレームワークで あるが，TTR の中にニューラルネットを埋め込んだ システムがすでに考案されている [11,12]. Cooper [11] は, 外界の出来事 (events) や対象を分類するた めにエージェントが学習するような型を TTR が提供できることを示すために，TTR に属する型から ニューラルネット上の出来事の型への写像を与え ている. さらに，ここでの写像に対する Python に よる実装も与えられている. その一方で，こうした ニューラルネット上の出来事の型とニューラル分類器の接続は示唆にとどまっており, 本研究が扱うよ うな学習済み分類器をTTRへ埋め込むことは行わ れていない.

Larsson [12] は，知覚データに関する学習可能な 分類器が埋め込まれた TTR を提案している.ここ での知覚データに関する分類は, DTS における命題 $P_{i}\left(e_{j}\right)$ における分類に対応しており, このバージョ ンの TTR は Neural DTS と共通点を多くもつ. しか し, [12] の目的は，こうした TTR の実装というょり はそれの自然言語の意味論への応用であり, 型検査 アルゴリズムをどう定式化するかという問題につい ては論じられていない.

## 3 提案手法

本研究が提案する手法は, ニューラル分類器をパ ラメータとする型検査アルゴリズムを定義してお き, 型検査を行う際には, 学習済みの分類器をその アルゴリズムに渡すというものである. 以下ではま ず，ニューラル分類器をパラメータとする型検査ア ルゴリズムを定義する (§3.1). 次に, 本研究の型検査アルゴリズムに埋め达まれる MLPを hasktorch に より実装する (§3.2). そして, 以上を組み合わせて, MLP による分類器を呼び出すことのできる，Neural DTS の型検査アルゴリズムを定義する (§3.3).

## 3.1 ニューラル分類器をパラメータとする 型検査アルゴリズム

ニューラル分類器をパラメータとする型検査アル ゴリズムを定義するために，[15] において Haskell によって実装された依存型理論の型検査アルゴリズ ムを，以下の 2 点で改訂する。簡潔さのために，以下ではDTS の語彙に含まれる述語（すなわち 1 項関係）を例にとって説明するが，§4で見るように 2 項関係（および任意の $n$ 項関係）をとることもでき ることに注意されたい.

(i) DTS の語彙に含まれる述語 $P_{i}$ および名前 $e_{j}$ か ら成る型 $P_{i}\left(e_{j}\right)$ へとアルゴリズムを拡張する.

(ii) 型検査アルゴリズムを与える関数 typeChk に, ニューラル分類器をパラメータとして与えて再定義する

まず (i)について説明する. DTS の語彙には述語 と名前が含まれ，名前の型は entity であり，述語 の型は entity $\rightarrow$ type である. DTS では命題の型は type として表されるため, 述語の型は, 名前から命題への関数ということになる。そして, Neural DTS に対する型検査には，述語を名前に適用して得られ る命題 $P_{i}\left(e_{j}\right)$ についての型検査が新たなケースとし て加わる. 例えば，述語が $\operatorname{dog}$ で名前が john のと き，得られる命題は $\operatorname{dog}($ john $)$ となり，これは「John は大である」という命題に対応する. Neural DTS の 型検査に $P_{i}\left(e_{j}\right)$ といった命題のケースを加えるの は, 典型的にはこうした命題がニューラル分類器に よる予測の表現になるからである.

命題 $P_{i}\left(e_{j}\right)$ についての型検査では，大まかに言

題 $P_{i}\left(e_{j}\right)$ が与えられたとき, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうか（つまり，Гのもとで $w_{i j}$ が型 $P_{i}\left(e_{j}\right)$ をもつかどうか）が判定される. た だし， $w_{i j}$ は命題 $P_{i}\left(e_{j}\right)$ のために用意する定項であ る. 以下では, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうかという問いを次のように記号化 する：

$
\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right) ?
$

次に (ii) について説明する. ニューラル分類器に よって述語を置き換えるという Neural DTS の基本構想に基づき, 命題 $P_{i}\left(e_{j}\right)$ についての型検査は, 述語 $P_{i}$ と名前 $e_{j}$ の one-hot 表現をそれぞれニューラ ル分類器に入力した結果を用いて行う．結果となる 出力が閾値を超えれば名前 $e_{j}$ は述語 $P_{i}$ をみたす

といえるから, 命題 $P_{i}\left(e_{j}\right)$ は証明 $w_{i j}$ をもつとみ なし， $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? という問いには YES と答え る. 閾值を超えなければ $e_{j}$ は $P_{i}$ をみたさないとい うことであるから，命題 $P_{i}\left(e_{j}\right)$ はそもそも証明をも たず，それゆえこの問いには NO と答える。

以上の説明が示すように，本研究が提案する Neural DTS の型検査では，その途中でニューラル分類器が呼び出される。このことを可能にするため， もともとの型検査関数 typeChk にニューラル分類器 をパラメータとして与える.

ここでの分類器は, 述語の one-hot 表現と名前の one-hot 表現を入力としてとる分類器であるため, パ ラメータの型は以下のようになっている：

$
\text { Tensor }->\text { Tensor }->\text { Tensor }
$

そして, 上でインフォーマルに述べた, 型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? 答えを与えるためのアルゴリズ ムを，typeChk のパターンマッチングによる定義の 中で新たに設けるケースにて実装する。

このようにして，[15] の型検査アルゴリズムを 命題 $P_{i}\left(e_{j}\right)$ のケースまで拡張しつつ, 型検査関数 typeChk にニューラル分類器のパラメータを加える ことで，MLPを埋め込める型検査アルゴリズムを定義する.

## 3.2 hasktorch による MLP の実装

§ 3.1 で定義した型検査アルゴリズムと組み合わ せるために, 単純な MLP によるニューラル分類器 を実装する。ここでの実装には， hasktorch の Github リポジトリにある，MLPによる排他的論理和の実装 を参考にしている [16].

本研究において実装する MLP は以下の標準的な 構造をもつ：

埋め込み層 述語の one-hot 表現および名前の onehot 表現をそれぞれ線形層でベクトル空間へ埋 め込み，得られた分散表現を結合する。

隠れ層 結合した分散表現を入力としてとる線形層 を中間層として一つ用意する。

出力層 分類器の出力とするために次元を調整した 線形層を出力層とする。

活性化関数としてはシグモイド関数を用いる。ま た，損失関数としてはバイナリ交差エントロピー誤差を用いる.

以上の構造をもつ MLPを，微分可能プログラム を提供する hasktorch の Parameterized 型クラスを 用いて実装する. また，次節において説明する，こ の MLP による分類器の学習には，初期化関数を提供する Randomizable型クラスを用いている.

## 3.3 型検査アルゴリズムへの MLP の埋め 込み

本研究による提案手法の最後のステップとして, § 3.1 で定義した型検査関数 typeChkに，§3.2 で構成 した MLPを埋め込むことで，目標となる型検査ア ルゴリズムを与える関数 neuralTC を定義する. こ の関数の型は以下のようになる：

neuralTC :: Context $\rightarrow$ TermChk $\rightarrow$ Type $\rightarrow$ IO ()

関数 neuralTC は, 文脈 $\Gamma$, プログラム $t$ そして型 $A$ が与えられると，Гのもとで $t$ が $A$ を型としてもつ かどうかを判定する.この点は, 依存型理論に対す る通常の型検査アルゴリズムと変わらないが，型検査の途中でニューラル分類器を呼び出して, その出力を用いて型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ?を判定する点で 通常のものとは異なっている.

文脈 $\Gamma$, プログラム $t$ そして型 $A$ を入力として neuralTC に与えると，その計算は次のように進む。

学習フェーズ 以下の手順を1イテレーションと する.

1. データセットの読み込み：数値のリストと して表現されたデータセットから，指定さ れた数だけランダムに要素を選び出す. 次 に，それをテンソルに変換してミニバッチ を構成し，教師データおよび訓練データを 作成する.

2. モデルの更新：訓練データに対する出力と なる予測値と，教師データの正解ラベル の間の誤差を計算し，hasktorch が提供する 関数 runStep により分類器モデルを更新す る. 本研究における分類器は命題 $P_{i}\left(e_{j}\right)$ が 成り立つかどうかを判定するものであるた め，ここでの分類は 2 值分類となり，正解 ラベルは 1 もしくは 0 である.

指定された回数の学習を繰り返したら，変数 trainedに学習済みの分類器モデルを格納する。

型検査フェーズ この段階ではまず，先のフェーズ において得られた学習済みモデル trainedを，型 Tensor -> Tensor -> Tensorをもつニュー

ラル分類器 cls に変換する. そして，入力とし て与えられている文脈 $\Gamma$, プログラム $t$ および 型 $A$ とともにこのclsを，§3.1において定義し た関数 typeChk に与えて，型検査を行う。

以上が，本研究において実装する Neural DTS のため の型検査アルゴリズム neuralTC の概略である.

## 4 実験

WordNet のデータベースを用いて，2つの entity の 間にある関係が成立するかどうかを，それ以外の データから予測する実験を行った。これは例えば 「猫には尻尾がある」といった既知の事実に対する 常識的推論や，関係ネットワークにおけるリンク予測として見ることができる. データセットとして， WordNet から抽出した 40,943 個の entity と 18 個の relation に関する 141,442 個の学習用関係トリプレッ ト，5,000 個のテスト用関係トリプレット，5,000 個 の検証用関係トリプレットを用いた。このデータ セットは [17] において作成されたものである ${ }^{1)}$. 例 えば, (drill, has part, chuck) などのトリプレットが学習データに含まれており，これらを正解データとし て使用した. 不正解データとして, 正解データと同 じ数だけ，正解データに含まれない関係トリプレッ トをランダムに作成した. 実験として, 作成した neuralTC がトリプレット上の関係を正しく予測で きるかという 2 值分類を行った. typeChk では，

1. スコアが閾値以上で，かつ型検査が正常な場合：2つの entityが関係を満たしている

2. スコアが閾値未満で，かつ型検査が正常な場合：関係を満たしていない

3. 型の不整合

の 3 種の返り値があり，このうち1.を正解の予測データ，2. を不正解の予測データとして扱っ た. 学習反復数 50,2 值分類の間値が 0.7 のとき, accuracy $=0.7536$, precision $=0.8064282$, recall $=0.6674$, $\mathrm{f} 1=0.73035675$ となった. 学習反復数を増やした り, 学習パラメータを最適化させたりすることで， より精度は上がると考えられる。

## 5 おわりに

本研究ではまず，Neural DTS に対する型検査アル ゴリズムを定式化した. 次に，このアルゴリズムの

1）[17] は次の French ANR grant の支援を受けたものである： https://www.hds.utc.fr/everest/doku.php?id=en:smemlj12中で呼び出されるニューラル分類器となる MLPを 実装した. 今後は，学習反復数の増加やパラメー タの最適化によって精度の向上を図るとともに, parser と接続し，DTS の基本述語の集合を入力とし てニューラル分類器の学習を行えるようにすること で，Neural DTS の実装を目指す。

## 謝辞

本研究は，JST CREST JPMJCR20D2 の支援を受け たものである.

## 参考文献

[1] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998.

[2] G. Sundholm. Constructive generalized quantifiers. Synthese, Vol. 79, pp. 1-12, 1989.

[3] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 1141. Springer International Publishing, Cham, 2017.

[4] Stergios Chatzikyriakidis and Zhaohui Luo. On the interpretation of common nouns: Types versus predicates. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 43-70. Springer International Publishing, Cham, 2017.

[5] Robin Cooper. Adapting type theory with records for natural language semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in TypeTheoretical Semantics, pp. 71-94. Springer International Publishing, Cham, 2017.

[6] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[7] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. CallisonBurch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[8] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference sys-
tem for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[10] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A wide-coverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019.

[11] Robin Cooper. Representing types as neural events. J. Log. Lang. Inf., Vol. 28, No. 2, pp. 131-155, 2019.

[12] Staffan Larsson. Discrete and probabilistic classifierbased semantics. In Proceedings of the Probability and Meaning Conference (PaM 2020), pp. 62-68, Gothenburg, June 2020. Association for Computational Linguistics.

[13] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Learning knowledge with neural DTS. In Proceedings of the 3rd Natural Logic Meets Machine Learning Workshop (NALOMA III), pp. 17-25, Galway, Ireland, August 2022. Association for Computational Linguistics.

[14] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Integrating Deep Neural Networks with Dependent Type Semantics. In Roussanka Loukanova, Peter LeFanu Lumsdaine, and Reinhard Muskens, editors, Logic and Algorithms in Computational Linguistics 2021 (LACompLing2021). Springer Cham, to appear.

[15] Andres Löh, Conor McBride, and Wouter Swierstra. A tutorial implementation of a dependently typed lambda calculus. Fundam. Informaticae, Vol. 102, No. 2, pp. 177-207, 2010.

[16] hasktorch: MLP implementation of logical XOR. Accessed Jan. 11, 2023. https://github. com/hasktorch/ hasktorch/tree/master/examples/xor-mlp.

[17] Antoine Bordes, Xavier Glorot, Jason Weston, and Yoshua Bengio. A semantic matching energy function for learning with multi-relational data - Application to word-sense disambiguation. Mach. Learn., Vol. 94, No. 2, pp. 233-259, 2014.