# None the wiser? Adding "None" Mitigates Superficial Cues in Multiple-Choice Benchmarks

Pride Kavumba ${ }^{1,2}$
Ana Brassard ${ }^{2,1}$
Benjamin Heinzerling ${ }^{2,1}$
Naoya Inoue ${ }^{1,2,} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN Center for Advanced Intelligence Project (AIP)
\{pkavumba, naoya-i, inui\} @ecei.tohoku.ac.jp
\{ana.brassard, benjamin.heinzerling\} ariken.jp

## 1 Introduction

It is now established that many benchmarks of natural language understanding contain superficial cues, which enable models to solve the task using shortcuts that do not generalize to datasets without these shortcuts $[3,13,7,8$, $14,4]$.

Previous works have employed two main approaches to mitigate superficial cues. The first approach is to discard instances that contain superficial cues using language models (LMs). For example, Zellers et al. [15] create SWAG using adversarial filtering which removes instances that can be easily solved by existing finetuned LMs. Zellers et al. [16] then created HellaSwag, a more challenging dataset than SWAG [15], using adversarial filtering with BERT [2]. However, this approach may reduce question diversity, as Gururangan et al. [3] notes on SNLI, and creates distributional bias [16] that can be exploited by other models not used in the filtering process. SWAG has been shown to contain superficial cues [14], and our analysis reveals superficial cues in HellaSwag: ALBERT [5] trained on only the answers achieved 76.2\% accuracy.

The second approach is to efficiently reuse existing benchmarks and to change the training process of models. For example, Poliak et al. [9] use adversarial training to unlearn hypothesis-only bias on SNLI [1] and Stacey et al. [12] extends this approach by using an ensemble of adversaries. Schuster et al. [11] propose to weigh training instances based on the difficulty in the training objective. However, this approach requires solving additional optimization problems.

Here, we introduce AddNone-an automatic method that reuses the full existing dataset, does not rely on LMs, and does not change the training process-for mitigating superficial cues in multiple-choice benchmarks. Specifically, for each multiple-choice question, consisting of a context and multiple choices (Fig. 1, A), we introduce "None of the above" (Fig. 1, B, Q1). We then duplicate

A) Original question

B) Add "none of the above"

Figure 1: A question containing a superficial cue (highlighted) that allows models to easily pick the correct answer (bold) (A). AddNone adds None of the above (B, Q1) and automatically generates a twin question with the same choices but a different context that makes None of the above the correct answer (B, Q2). The superficial cue is now less effective since it appears both as correct and incorrect.

the question and change the correct answer to "None of the above" by replacing the context (Fig. 1, B, Q2). This creates twin questions with the same choices but different contexts and correct answer, forcing models to consider the context while solving them. Our approach does not discard any instances, and modifying the data is computationally cheap and fully automated. Additionally, we do not have to modify the models and their training process except having the extra choice.

In summary, our contributions are as follows:

- We show that the answers in Commonsense-Explanation (Cs-Ex), HellaSwag and SWAG, commonly used commonsense benchmarks, contain superficial cues ( $\$ 2$ ), and that training on these datasets leads to poor generalization on datasets without superficial cues ( $\S 4$ );

- We present AddNone, a method for mitigating superficial cues in multiple-choice benchmarks, and apply it to these benchmarks ( $\S 3)$;

- We empirically show that training on AddNone-modified datasets encourages models to assess the association be-
tween a context and its choices, leading to better generalization on dataset without superficial cues (§4).

## 2 Cues in Cs-Ex, HellaSwag, and SWAG

In this section, we show that commonly used commonsense datasets, Cs-Ex, HellaSwag and SWAG, contain easy-to-exploit superficial cues. ${ }^{1}$ All three benchmarks are multiple-choice tasks in which the model is required to choose the correct ending for a given incomplete sentence (SWAG, HellaSwag) or the reason why a given statement is false (Cs-Ex). The authors of Cs-Ex aimed to mitigate superficial cues by employing strict guidelines for crowd workers, while the authors of SWAG and HellaSwag made use of LM-based adversarial filtering. SWAG and HellaSwag should not be solvable by an LM in an answer-only setting, namely, by an LSTM-LM trained on the Book Corpus for SWAG, and by BERT for HellaSwag.

## 2.1 Input Ablation

We first ablate the input, i.e., we provide models with contextless questions (answers only). This setup follows similar ablations by Gururangan et al. [3], McCoy et al. [7] and is designed to reveal whether the answers contain superficial cues that allow models to solve the task by taking shortcuts, such as relying on different token distributions in correct and wrong answers.

We finetune BERT, RoBERTa [6], and ALBERT in this contextless setting. The high accuracy of BERT (87.8\%), RoBERTa (85.3\%) and ALBERT (85.7\%) on Cs-Ex shows that the strict crowdsourcing protocol for creating this dataset was not effective, since even without the context, models are still able to identify the correct answer considerably above random chance (Table 1). On SWAG, model accuracies are similarly high, while on HellaSwag, the effect of using BERT for adversarial filtering is clearly visible in BERT's accuracy (37.0\%). However, this filtering is not effective for RoBERTa (70.5\%) and ALBERT $(76.2 \%){ }^{2}$ These results show that the answers of Cs-Ex, HellaSwag, and SWAG all contain exploitable superficial cues.
^{1}$ Trichelair et al. [14] showed, using a different analysis method than the one presented here, that SWAG contains superficial cues. We include this dataset for completeness.

 }^{2}$ When creating HellaSwag, the authors envisioned a co-evolution of models and datasets, in which increasingly stronger models are used as filters to create increasingly harder datasets, which, in turn, are used to train increasingly stronger models. However, given RoBERTa's worse accuracy on Cs-Ex, the question arises whether RoBERTa's strong results on answers-only HellaSwag are due to being stronger than the filter (i.e., BERT) or merely different than the filter.

Table 1: Average accuracy with standard deviation (subscript) of models trained on the answers only.

## 2.2 Token-based Superficial Cues

To identify the actual superficial cues models may exploit, we collect unigrams that are predictive of the answer, using the productivity measure introduced by Niven and Kao $[8$, see definition in ]. Intuitively, the productivity of a token expresses how precise a model is if it predicts only based on the presence of this token in a candidate answer. We found that not is highly predictive of the correct answer on Cs-Ex, followed by to. On SWAG and HellaSwag, unigram token productivity is below 20 , suggesting that RoBERTa exploits different signals to achieve high accuracy in the answers-only setting. Bigram token productivity was much lower.

To further investigate the exploitability of unigram cues, we train a binary bag-of-word classifier to predict if a given choice is a correct or wrong answer. On CsEx, this classifier achieved $89.5 \%$ accuracy, showing that correct and wrong answers are clearly distinguishable and confirming that the task is solvable with token-level cues. On SWAG and HellaSwag, the classifier fails to reach majority accuracy. This further confirms that superficial cues in SWAG and HellaSwag are not token-based.

## 3 AddNone to Mitigate Superficial Cues

To mitigate superficial cues in the answers, we ensure that each correct answer appears at least once as a wrong answer. This breaks the direct link between the cues and the correctness of the answer, since they now also point to the wrong answer at least once. To achieve this, one can duplicate each question and manually modify it so that an alternative choice becomes correct (henceforth, twin question) [8, 4], however, this does not scale to larger datasets.

As a scalable alternative, we propose creating twin questions by adding none of the above as an additional choice in all questions, then automatically replacing one of the contexts so that the added choice becomes the correct answer. This is similar to previous methods [8, 4], however, creating a context that does not fit any answer can be automated while curating one that specifically leads to an alternative answer requires creativity, i.e., a manual effort.

For example, consider the following question from CsEx with the additional choice included.

Table 2: Number of Easy and Hard instances

Context: she danced to the piano a) piano can not be danced to

b) piano can produce beautiful sounds

c) some people are born to dance

+d) None of the above

This question stays unchanged, with only an added choice that is not correct in this case. Its twin, shown below, has its context replaced by a similar context that renders the correct answer (in bold above) incorrect.

Context: he types using a piano

a) piano can not be danced to

b) piano can produce beautiful sounds

c) some people are born to dance

## +d) None of the above

The replacement context is extracted from the set of all training contexts in the dataset. Candidate contexts should be similar enough to the original context to avoid trivial solving by (dis)similarity. In our experiments, we calculated the cosine similarity between TF-IDF vectors of all training contexts and the context to be replaced, and picked the most similar context, allowing the similarity to be 0.97 or below. Theoretically, it is possible that the replacement context is a paraphrase of the original context, however, in practice, we did not find this to be a problem. We used $90 \%$ of the original questions to create twin questions.

## 4 Experiments

## 4.1 Evaluation on Hard and Easy Subsets

To investigate if ALBERT, RoBERTa, and BERT learn to rely on superficial cues when trained on the original CsEx, HellaSwag, and SWAG dataset, we split the evaluation set into (i) questions with superficial cues, Easy subset, and (ii) questions without superficial cues, Hard subset. The Easy subset consists of instances that are correctly solved by ALBERT or RoBERTa over three random seeds without being provided the context, ${ }^{3}$ and the Hard subset consists of the remaining instances. The statistics of each subset are shown in Table 2.

The models trained on the original dataset perform badly on the Hard subset, while they perform much better on the Easy subset (Fig. 2). This indicates that the models strongly rely on superficial cues and the reported accuracy
^{3}$ We do not use BERT because it was used for adversarial filtering of HellaSwag.
}

Figure 2: Average accuracy and standard deviation of models on Easy questions with superficial cues and Hard questions without superficial cues. On Hard questions, models trained on AddNone, and AddNone-eq (which is equal in size to the original dataset) perform better.

on these datasets may be inflated.

## 4.2 Evaluation of AddNone

How effective is AddNone in removing superficial cues, and how does it translate to model performance? We train ALBERT, RoBERTa, and BERT on the AddNonemodified Cs-Ex, HellaSwag, and SWAG (AddNone models), and evaluate them on the original Hard and Easy subsets.

As expected, training on the AddNone-modified datasets degraded the accuracy on the Easy subset containing superficial cues across all models and benchmarks (Fig. 2). This indicates that the models were discouraged from exploiting superficial cues.

On the other hand, AddNone-modified datasets improved the accuracy on the Hard subset lacking superficial cues. This suggests that the models were encouraged to learn more task-related cues, which lead to better generalization resulting in higher performance on the test set.

To control for data size, we repeated the experiments on AddNone-modified datasets that are equal in size to their originals (AddNone-eq) and found that the results still support the effectiveness of AddNone (Fig. 2). Rajpurkar et al. [10] proposed crowdsourcing unanswerable questions instead of generating them automatically, however, here we found that creating these automatically improves the model generalization.

Table 3: Overall average accuracy of full-input models evaluated on context (C) and contextless (NC) setting. The larger drop of accuracy in AddNone-modified datasets indicates that models trained on original dataset rely more on superficial cues in the answers.

## 4.3 Model Sensitivity to Context

Are the models trained on AddNone-modified datasets more sensitive to given contexts? We compare AddNone models with the models trained on the original datasets (original models) on the test set with context (C) and no context (NC). Here, we use the same models whose results are shown in Fig. 2. AddNone models are more sensitive to the context than the original models across all datasets, indicating that AddNone models' predictions depended more on the connection between the context and the choices (Table 3).

## 5 Conclusions

We introduced AddNone, a simple and LM-independent method for mitigating superficial cues in multiple-choice benchmarks. AddNone can reuse existing benchmarks, allowing researchers to make more efficient use of the existing benchmarks instead of creating new ones. Our experiments demonstrated that training on AddNone-modified datasets encourages models to assess the association between a context and its choices, leading to better generalization on datasets without superficial cues.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP19H04425.

## References

[1] S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 632-642, Lisbon, Portugal, Sept. 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL https: //www.aclweb.org/anthology/D15-1075.

[2] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume
1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. doi: 10.18653/v1/ N19-1423. URL https://www.aclweb.org/anthology/N19-1423.

[3] S. Gururangan, S. Swayamdipta, O. Levy, R. Schwartz, S. Bowman, and N. A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-2017. URL https://www.aclweb.org/anthology/N18-2017.

[4] P. Kavumba, N. Inoue, B. Heinzerling, K. Singh, P. Reisert, and K. Inui. When choosing plausible alternatives, clever hans can be clever. In Proceedings of the First Workshop on Commonsense Inference in Natural Language Processing, pages 33-42, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-6004. URL https://www.aclweb.org/anthology/D19-6004.

[5] Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma, and R. Soricut. Albert: A lite bert for self-supervised learning of language representations, 2019.

[6] Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692, 2019. URL http://arxiv. org/abs/1907. 11692 .

[7] T. McCoy, E. Pavlick, and T. Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics. URL https://www.aclweb.org/anthology/P19-1334.

[8] T. Niven and H.-Y. Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics. URL https://www.aclweb.org/anthology/P19-1459.

[9] A. Poliak, J. Naradowsky, A. Haldar, R. Rudinger, and B. Van Durme. Hypothesis only baselines in natural language inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pages 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics. doi: 10.18653/v1/S18-2023. URL https://www.aclweb.org/anthology/S18-2023.

[10] P. Rajpurkar, R. Jia, and P. Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics. doi: 10.18653/v1/P18-2124. URL https://www.aclweb. org/anthology/P18-2124.

[11] T. Schuster, D. Shah, Y. J. S. Yeo, D. Roberto Filizzola Ortiz, E. Santus, and R. Barzilay. Towards debiasing fact verification models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3410-3416, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-1341. URL https://www.aclweb.org/anthology/D19-1341.

[12] J. Stacey, P. Minervini, H. Dubossarsky, S. Riedel, and T. Rocktäschel. There is strength in numbers: Avoiding the hypothesis-only bias in natural language inference via ensemble adversarial training, 2020.

[13] S. Sugawara, K. Inui, S. Sekine, and A. Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4208-4219, Brussels, Belgium, Oct.-Nov. 2018. Association for Computational Linguistics. doi: 10.18653/v1/D18-1453. URL https://www.aclweb.org/ anthology/D18-1453.

[14] P. Trichelair, A. Emami, A. Trischler, K. Suleman, and J. C. K. Cheung. How reasonable are common-sense reasoning tasks: A case-study on the Winograd schema challenge and SWAG. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3373-3378, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-1335. URL https://www.aclweb.org/anthology/D19-1335.

[15] R. Zellers, Y. Bisk, R. Schwartz, and Y. Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 93-104, Brussels, Belgium, Oct.-Nov. 2018. Association for Computational Linguistics. doi: 10.18653/v1/D18-1009. URL https://www.aclweb.org/anthology/D18-1009.

[16] R. Zellers, A. Holtzman, Y. Bisk, A. Farhadi, and Y. Choi. HellaSwag: Can a machine really finish your sentence? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4791-4800, Florence, Italy, July 2019. Association for Computational Linguistics. doi 10.18653/v1/P19-1472. URL https://www.aclweb.org/anthology/ P19-1472.


# 日本語文法誤り訂正におけるデータ増強および評価データ構築

加藤秀佳 岡部格明 北野道春 宿久洋
同志社大学
}

\{khideyoshi2,mokab.0328,kitano.michiharu\}@gmail.com, hyadohis@mail.doshisha.ac.jp
## 1 はじめに

文法誤り訂正 (Grammatical Error Correction: GEC) とは，入力したテキストの誤りを自動で検出して訂正することを目的とした自然言語処理タスクの 1 つ である [1]. 近年，校正業務におけるコスト削減が 期待できることからビジネス分野での需要も高ま り，そのための文章校正システムの開発が求められ ている. しかし, 既存の文章校正システムは助詞の 誤字，脱字，衍字などの誤り箇所の検出 (detect)の みに焦点が当てられており, 文章の誤りを検出し,訂正 (correct) まで行う日本語 GEC システムはほと んど提案されていない. 日本語 GEC 研究は英語や 中国語といった他言語の GEC 研究と比較すると取 り組みが少なく, それは日本語 GEC 研究の性質や 環境などに様々な課題が存在することに起因する。 そこで本研究では, 日本語 GEC 研究が抱える課題 1 学習に利用できるデータ不足および課題 2 評価デー タの不十分性という 2 つの課題に対処することで GEC モデルの精度向上と頑健な評価に取り組む.

課題 1 について，近年の GEC 研究は文法的に誤 りを含む文 $(\mathrm{src})$ から文法的に正しい文 $(\mathrm{tgt})$ への翻訳タスクとして取り組むことが一般的であり，その 際に， src と tgt がペアとなった大量のデータ (対訳 データ) が必要とされる [2]. 英語 GEC 研究において 利用できる大規模な対訳データは, EFCAMDAT(約 250 万文)[3] など，合計して 450 万文以上用意され ている一方で, 日本語 GEC 研究において利用でき る対訳データは, Lang8 コーパス [4] の約 160 万文 のみであり，量および種類の観点からも対訳デー タが少ないことが問題視されている. この問題に 対して，既存研究では用意したコーパスから $\mathrm{src}$ を 生成し擬似的に対訳データを生成するデータ増強 (Data Augmentation: DA) が提案されている [5,6]. し かし, 新たな生成元コーパスを大量に準備するこ とができない，または使用できるドメインのデー 夕量が限られている状況においては $\operatorname{src}$ を生成する既存研究では対応できない，そこで，本研究では $\operatorname{src}$ の生成だけではなく, $\operatorname{tgt}$ の生成も考慮に入れた DA(BERT-DA-tgt) を提案することで課題 $\mathbf{1}$ に対処す ることを考える。

課題 2 について，英語の GEC 研究において，モデ ルを評価するために (1) 誤りタイプごとの評価と (2)複数ドメインごとの評価の 2 つの観点から行う研究やワークショップが数多く行われている $[7,8,9]$. (1)については，提案された GEC モデルが有効に作用する，または作用しないような誤りの性質を明ら かにし, GEC システムを構築する際に, 特定の誤り 種類と相性の良いモデルを採用したいという意図が ある [10]. (2) については，特定のドメインで高い性能を示すモデルが，異なるドメインで低い性能を示 すような状況が生じた場合，構築されたモデルを正 しく評価できたとは言えず，複数ドメインでの評価 をしたいという意図がある [11]. 近年の日本語 GEC モデルを評価するために広く使われているデータ セットとして，NIST 誤用コーパス (NIL) [12, 13] と 日本語学習者の文法誤り訂正システムのための評価用マルチリファレンスコーパス (TEC_JL) [14, 15] が あるが，日本語 GEC 研究において GEC モデルを英語のように上記の 2 つの観点両方で評価した研究は ない. そこで，本研究では (1)，(2) 両方の観点から 評価できるような新たなデータセット (JGECM) の 構築および構築方法の提案を行うことで，課題 2 に 対処し，さらに構築したデータを公開1)する。

## 2 BERT-DA-tgt

DA を使用しない GEC 手法は，図 1 における対訳データ $D=\left.\{\left(\boldsymbol{x}_{i}, \boldsymbol{y}_{i}\right) \mid i=1,2, \ldots, n\right.\}$ のみを用いてモ デルを学習する. このとき， $D$ は $\operatorname{src}$ の集合 $X=$ $\left.\{\boldsymbol{x}_{i} \mid i=1,2, \ldots, n\right.\}$ と, $\operatorname{tgt}$ の集合 $y=\left.\{\boldsymbol{y}_{i} \mid i=1,2, \ldots, n\right.\}$ の組から構成される.ここで, 既存の DA は, 図 1 における対訳データ $D$ とは別の疑似データ $\mathscr{D}^{a}$ を生成し，モデルの学習に利用するデータ量を

1) https://github.com/hideyoshikato/JGECM
増やす手法のことである [2].このとき， $D^{a}$ は $\operatorname{tgt}$ の集合 $y^{a}=\left.\{\boldsymbol{y}_{j}^{a} \mid j=1,2, \ldots, m\right.\}$ から， $\operatorname{src}$ の集合 $X^{a}=\left.\{\boldsymbol{x}_{j}^{a} \mid j=1,2, \ldots, m\right.\}$ を Direct Noise[16] などの手法によって生成される。

一方で，BERT-DA-tgtは，図 2 に示すとおり，対訳 データ $D ，$ 疑似データ $\mathscr{D}^{a}$ のどちらとも異なる新た な疑似データ $\mathscr{D}^{a^{\prime}}=\left.\{\left(\boldsymbol{x}_{k}^{a^{\prime}}, \boldsymbol{y}_{k}^{a^{\prime}}\right) \mid k=1,2, \ldots, S \times L\right.\}$ を生成する DA であり, 大きく「 $\boldsymbol{y}_{k}^{a^{\prime}}$ の生成 (generate $\boldsymbol{y}_{k}^{a^{\prime}}$ ) 」 と「 $\boldsymbol{x}_{k}^{a^{\prime}}$ の生成 (generate $\boldsymbol{x}_{k}^{a^{\prime}}$ )」という 2 つのアルゴリ ズムによって疑似データが生成される (Algotithm1). $S$ は ya からサンプリングする文の数を表すパラ メータ, Lは, BERTの Masked Language Model(Masked LM) における予測確率の順位を表し，DA を行う際 のデータ量を調整するパラメータである. 表 1 に生成した $\mathscr{D}^{a^{\prime}}$ の具体例を示す. また, BERT-DA-tgt は 様々な NLP タスクにおいてDA の有効性が示されて いる BERT の Masked LM を用いているため，以下の 3 つのメリットを得る.

1. BERT は文脈を考慮できるため，生成されたテ キストは文法的 / 意味的な整合性を持つ特徴を 得ることができる。
2. $L$ の数を分析者が指定することで，学習に利用 するデータ量を調整できる。

3. 豊富な語彙, 多様な言い回しにより使用できる ドメインや生成元コーパスの量が限られた状況 での精度向上が期待できる.

表 1 BERT-DA-tgt の疑似データの具体例

図 1 既存の DA

図 2 BERT-DA-tgt

## 3 JGECM

本節では，複数誤りタイプをもつ日本語文法誤り 訂正のための評価用コーパス (JGECM) の構築手順 および分析を行う.

## 3.1 構築手順

評価データは以下の 5 つの手順により構築する.

## 手順 1 BCCWJ [17]の 'C-XML/VARIABLE/PN''

に含まれる 'xml' ファイルから sentence タ グで囲まれたテキストをクローリング

手順 219 文字以上 50 文字未満の文を抽出

手順 3 「句点を含む文」を抽出

手順 4 ランダムに 500 文抽出

手順 5 指示書に基づき 10 名のアノテータが 1 文 に対して8 種類の誤りを付与

手順 1 では，本研究では校正者が文法的な正し さが担保されていると考えられる新聞 (PN) レジス ターを評価データとして設定し， sentence タグで囲 まれた合計 51,977 文が抽出された. 手順 2 では，機械翻訳では構文の曖昧さから，長い文を翻訳するこ とへの問題点が挙げられている [18]. また，長すぎ る文は読点や区切り文字などであらかじめ分割し ておくことで，問題に対処することができることか ら，本研究では，評価データの文字数を 19 文字以上 50 文字未満と設定し，合計 17,446 文が抽出され た. 手順 3 では，評価対象を文とするために，句点 を含まないタイトルや見出しなどを省くための手順 である. その結果，合計 15,236 文が抽出された. 手順 4 では，訂正性能を評価するために一定のデータ 数が必要であると判断したため，[4]を参考にラン

ダムに 500 文用意した. 手順 $\mathbf{5}$ では，今回，[13]を 参考に削除 (助詞), 挿入 (助詞), 置換 (助詞), 語彙選択，表記，動詞，削除 (助詞 - 動詞以外), 挿入 (助詞・動詞以外) という 8 種類の誤りを付与した.ま た，誤り箇所を明確にするために，誤りを付与した 箇所を"["と"]"で挟むように指示を行った. 実際に 用いた指示書および構築された JGECM の具体例に ついては，付録 A，Bに示す。

## 3.2 分析

構築した評価データの欠損値の数については表 2 に示す. データに欠損値が含まれる理由は，誤りを 付与する対象となる品詞の中に助詞や動詞が存在し ない場合，セルの中身を空になるようにアノテータ に指示しているためである. 評価データの文字数の 分布は図 3 の通りである.

図 3 評価データの文字数の分布

## 4 実験

実験は，(i) 既存モデル (SMT に基づく手法および NMT に基づく手法) と提案モデル (BERT-DA-tgt を 行った GEC モデル) の性能を比較し提案モデルの 有効性を示すこと, (ii) 要素 (1) データ生成元, 要素 (2) データ生成量に関する比較実験を行い，提案し た DA 手法 (BERT-DA-tgt) がより効果的に作用する 知見を見つけ出すこと，の2つを目的として行う. ハイパーパラメータ，最適化，分割単位に関しては [5] の設定を用いる.

## 4.1 実験設定

データセット 学習データ, 開発データには Lang8コーパスを利用する．評価データには， NIL，
TEC_JL，第 3 節で構築した JGECM の 3 種類を用 いる. DA の生成元コーパスとして, BCCWJ [17] か らクローリングした一般書籍 (BCCWJ-PB), 図書書籍 (BCCWJ-LB), Yahoo!知恵袋 (BCCWJ-OC) という 3 種類の異なるドメインのデータを使用する. それ ぞれのデータの詳細については表 3 に示す.

表 3 各データの概要

モデル既存の Encoder-Decoder モデルである Transformerに, Copy 機構を組むことで提案された TransformerCopy [16] を採用して実験を行う.

比較手法比較手法には統計的機械翻訳 (SMT) ベースの GEC 手法として Moses [14, 19], ニューラ ル機械翻訳 (NMT) ベースの GEC 手法として CNN [14, 20], Bi-LSTM [21], そして, 最後に疑似データ を考慮しない通常の TransfomerCopy $[5,16]$ をべース ラインとする。

評価指標 GEC システムの評価には，出力文と $\operatorname{src} と \operatorname{tgt}$ の 3 つを用いて行う参照有り評価手法と $\operatorname{tg}$ を用いない参照無し評価手法が存在する [22]. 本研究では, 英語 Shared Taskにおいて最も用いられてい る前者の $M^{2}$ scorer [23] と GLEU [24] の結果を示す.

## 4.2 要素 (1): 生成元コーパス

生成元コーパスとして, 出版書籍 (PB), 図書館書籍 (LB)，Yahoo!知恵袋 (OC) を用いた場合のモデ ルの性能を比較する。ベースラインは，通常の DA および事前学習を行わない TransformerCopy である. また，今回データ量の違いが性能に影響を与えるこ とを防ぐために，それぞれのレジスターからランダ ムに 300,000 文を取得し，BERT-DA-tgt によりDA し たデータ量 $\left|\mathscr{D}^{a} \cup \mathscr{D}^{a^{\prime}}\right|=600,000$ に設定している. $\mathscr{D}^{a} \cup \mathscr{D}^{a^{\prime}}$ は既存手法で用意できる $\mathscr{D}^{a}$ と提案手法で 用意した $\mathscr{D}^{a^{\prime}}$ を結合した事前学習に用いるデータで ある. 各生成データごとのモデル性能比較に関する 実験結果を表 4 に示す. 実験の結果，TEC_JL は OC で，NIL，WGECM は PB で事前学習したモデルが最 も性能で優れた。つまり, 評価用データと近い性質 を持つコーパスで事前学習を行うことで，精度向上 が期待できる可能性を示唆している.
表 4 生成元コーパスごとの GLEU による性能比較

## 4.3 要素 (2)：疑似データ生成量

疑似データ生成量の違いによりモデル性能への 影響について検証する. 今回， $K=300,000$ として 生成元コーパスからサンプリングし， $L=0,1,2,3,4$ の場合を報告している. $L=0$ は DAを行わないモ デルを表している．実験結果を表 5 に示す. $F_{0.5}$ ， GLEU は全ての評価データにおいて $L=2$ のときに 最も優れていたことが確認できる. これは， $L$ の数 を増やすほど予測確率が低いトークンに置換された 文が生成されるため， $\operatorname{tg}$ の文構造の崩壊を招きやす くなり性能が下がる可能性が示唆される.

表 5 データ生成量の違いによる性能比較

## 4.4 既存システムとの性能比較

要素 (1),(2) で得られた知見の下，BERT-DA-tgt の生成元コーパスを BCCWJ-PB， $L=2$ とした設定により構築したモデル (Trans+BERT_PB) と比較手法の性能比較を行う. DAを行わない通常の TransofrmerCopy によるモデル (ベースライン), 事前学習とファインチューニングを Lang8 で行う モデル (Trans+BERT_lang8)を比較手法とした結果 についても記載する。実験結果を表 6 に示す. Trans+BERT_PB は，すべての評価データにおいて既存システムよりも性能で上回っている．加えて，提案手法を用いた結果，TEC_JL では 1,835 文のうち 541 文，NIL では 6,672 文のうち 1,605 文の訂正が行 われた．また，疑似データを考慮したことで多様な 語彙や言い回しに対応でき，TransfomerCopy では訂正ができなかった誤りに対しても訂正されている。 また，Bi-LSTM のように誤り種類を特定して訂正を 行う手法と比較しても，不適切な助詞の誤りや文字 の挿入に対応することができ，誤りの種類を特定せ
ずに訂正が行われていることも確認できた.

表 6 既存システムとの GLEUによる性能比較

図 4 JGECM における誤りタイプごとの評価2)

## 5 おわりに

日本語 GEC 研究が抱える 2 の課題に対して, $\operatorname{tgt}$ の生成も考慮に入れた DA(BERT-DA-tgt) を提案し， 2 つ要素について性能比較を行った. その結果, (1) 生成元コーパスは $\mathrm{PB}$ (出版書籍ドメイン)を用い る. (2) BERT の Masked LM における候補は 2 番目 まで増やす. という 2 つ知見を獲得した。これら の設定に基づき，事前学習された TransformerCopy によって GEC モデルを構築し性能比較を行った結果, 複数ドメインの評価データにおいて既存の GEC システムを上回る性能を達成し，BERT-DA-tgt の有効性を示した. 今後の課題として，学習データを逐次的に収集し，モデルを再学習できる GEC システ ムの構築，入力に用いる分割単位に違いによる性能比較, 開発 (valid) データの違いによる性能比較など が挙げられる.

2) 'hyoki', 'goi', 'insert_joshi', 'doshi', 'insert', 'delete_joshi', 'replace_joshi'，'delete'，はそれぞれ表記，語彙選択，挿入 (助詞), 動詞，插入 (助詞 - 動詞以外), 削除 (助詞), 置換 (助詞),削除 (助詞・動詞以外)を表す.

## 参考文献

[1] Yu Wang, Yuelin Wang, Jie Liu, and Zhuo Liu. A comprehensive survey of grammar error correction. arXiv preprint arXiv:2005.06600, 2020.

[2] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. pp. 1236-1242. Association for Computational Linguistics, November 2019

[3] Jeroen Geertzen, Theodora Alexopoulou, and Anna Korhonen. Automatic linguistic annotation of large scale 12 databases: The ef-cambridge open language database (efcamdat). In Proceedings of the 31st Second Language Research Forum. Somerville, MA: Cascadilla Proceedings Project, pp. 240-254, 2013.

[4] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[5] 小川耀一朗, 山本和英. 日本語文法誤り訂正における 誤り傾向を考慮した擬似誤り生成. 2020.

[6] 白井稔久, 萩行正嗣, 小町守. 擬似誤りコーパスを用 いた天気予報原稿のニューラル誤り検出. 人工知能学会全国大会論文集一般社団法人 人工知能学会, pp. 3Rin242-3Rin242. 一般社団法人人工知能学会, 2019.

[7] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[9] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] 清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎. 大規模疑似データを用いた高性能文法誤り訂正モデルの 構築. 2020.

[11] 三田雅人, 水本智也, 金子正弘, 永田亮, 乾健太郎. 文法誤り訂正のコーパス横断評価:単一コーパス評価 で十分か？2020

[12] Hiromi Oyama, Mamoru Komachi, and Yuji Matsumoto. Towards automatic error type classification of japanese language learners' writings. In Proceedings of the 27th Pacific Asia Conference on Language, Information, and
Computation (PACLIC 27), pp. 163-172, 2013

[13] 大山浩美, 小町守, 松本裕治. 日本語学習者の作文に おける誤用タイプの階層的アノテーションに基づ く機械学習による自動分類. 自然言語処理, Vol. 23, No. 2, pp. 195-225, 2016.

[14] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an evaluation corpus for grammatical error correction for learners of Japanese as a second language. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 204211, Marseille, France, May 2020. European Language Resources Association.

[15] 小山碧海, 喜友名朝視顕, 小林賢治, 新井美桜, 小町守. 日本語学習者の文法誤り訂正のための評価コー パス構築. 2020.

[16] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data.

[17] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[18] Yoon-Hyung Roh, Young-Ae Seo, Ki-Young Lee, and Sung-Kwon Choi. Long sentence partitioning using structure analysis for machine translation. In NLPRS, 2001.

[19] Philipp Koehn, Franz J Och, and Daniel Marcu. Statistical phrase-based translation. Technical report, UNIVERSITY OF SOUTHERN CALIFORNIA MARINA DEL REY INFORMATION SCIENCES INST, 2003.

[20] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network for grammatical error correction. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, February 2018.

[21]高橋諒, 䒾田和麻, 多田明宽, 石川信行. Bidirectional LSTM を用いた誤字脱字検出システム. 人工知能学会全国大会論文集 一般社団法人 人工知能学会, pp. 3C4J903-3C4J903. 一般社団法人 人工知能学会, 2019.

[22] 浅野広樹, 水本智也, 乾健太郎. 文法性 - 流暢性 ・意味保存性に基づく文法誤り訂正の参照無し評価. 自然言語処理, Vol. 25, No. 5, pp. 555-576, 2018.

[23] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[24] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

## A 評価データ構築におけるアノテータに対する指示書

下記の誤りの種類に対する作業指示に従って誤りを付与してください。

[削除 (助詞)]

B JGECM の具体例および既存システムと提案モデルの出力例の比較

表 8 既存システムと提案モデルの出力例の比較


# スピーキング 3 秒採点と赤ペン添削システム開発とオンライン授業人手による主観評価から機械（AI）による客観評価へ

田淵龍二
ミント音声教育研究所
tabuchiryuji@nifty.ne.jp
}

Ryan Spring
東北大学
spring.ryan.edward.c4@tohoku.ac.jp

## 1 はじめに

言語能力 4 技能「読む，聞く，書く，話す」にお いて「話す」能力測定には難点が多く, 入学試験へ の導入が進まない．とりわけ採点者を複数用意する ことが困難であり，時間と経費が膨大になってしま う。根本的な問題はスピーキング学習法・教授法の 遅れにある。他教科の勉強と比べて見よう。

たとえば受験生は過去問を解いたとき必ず答え合 わせをし，不正解なら解説を見て間違いを正すこと で自己研鑽する. しかしスピーキングでは答え合わ せができない。たとえ模範解答の音声があったとし ても自分の発音の修正点は自明ではない. 横に英語母語話者がいればと思うだろう。つまり現状のスピ ーキング学習法には自習環境が欠けている。

もう一つの問題は指導者と生徒の間で, 生徒の発音のどこがどのように間違っているのかを共有する ことが難しいことだ. たとえ波形や発音記号や口形 を見せられても腑に落ちるとは限らない。また厳密 な採点に複数の専門家が必要なことも, 課題解決の 困難さを増大させている.

現在のスピーキング学習と指導には持続可能な発展（SD: Sustainable Development）に久けている。こ うした難点を解決するために，自動採点システムの 研究開発も進んでいて，あと一息である[1][2][3][4]. そこで筆者らは AI 音声認識技術 (ASR: Automatic Speaking Recognition）に即時採点を可能にする自動赤ペン添削 (ASCwRP: Automatic Speaking Correction with Red Pen）を加えたサービス（ASCA: Automatic Speaking Correction Application）の開発と授業実践に 取り組んだ. ASCA の設計思想を具体化したオープ ンサイト NatTos の 公開を受けて, 音声指導授業を実施した. 結果は思 った以上に良好で, 従来の難点とされた透明性, 客観性, 機会均等性, 即時性で効果が確認された。ま た学習性, 説明性, 納得性, 共有性, 指導性を解決
する方向性が見えてきた．特にオンライン授業の受講者の多くが積極的に参加し，満点を取る（通じる） まで何度も自ら工夫しながら，授業時間終了後にも 挑戦する様子が見受けられた。

以下に詳しく述べる。

## 2 ASCA を具体化した NatTos の概要

スピーキング自動赤ペン添削（ASCwRP）の仕組 みはシンプルで, $\mathrm{AI}$ 音声認識技術 (ASR) が出力し たテキスト（書き起こし文）を課題テキストと比較 し, 双方で一致しないところを抽出する流れである.赤ペン添削の様子を図 1 に示す.

## At those times ${ ^{k}$ I would} think in silence

図 1 赤ペン添削の様子

上段の英文が読み上げ用の文（課題文）で，下段 が受験者の音声を ASR で書き起こしたテキスト（解答文）である．赤字の文字が一致しない部分を示し ている.この例からは発音上の 3 つの弱点が指摘で きる.

1. 言い出しの At が弱すぎたのだろう

2. 音素 $\mathrm{TH}$ が $\mathrm{S}$ と聞き取られている

3. 音素 $\mathrm{L}$ が $\mathrm{R}$ と聞き取られている 結果として“沈思”が “魅惑的？に歌う”になった ことがわかる．採点と添削は直感性が高いので無用 かもしれないが念のため, 図 1 を参考に採点と添削 と学習指導について説明する。

採点は「正しさ」と「なめらかさ」で評価してい る.「正しさ」は赤文字の比率を基礎にした 10 段階
評価で, 満点が 10 , 最低が 1 となる. 図 1 の例では 前半ができたが後半が全滅したので 3 点となった.

「なめらかさ」は発声単語数を発声時間（秒）で割 ったもので，単位は wps (words per second). 最大は 3.1, 有効行数は小数点第 1 位で抑えてある.添削結果は課題文と解答文に赤字で示してある.課題文の赤字は解答文にない文字 (文字列) で, 解答文の赤字は課題文にないことを示している．双方 を照らし合わせることで「言い間違い」や「欠落」 や「余分」を知ることができる.

総評は右下にあるアイコンである.ここでは通じ なかったので,「ウッ」との顔文字になっている. 満点（正しく通じた）では○が表示される.

指導は受験者の個人差が出やすいが，アルファべ ットと音声（音素）の区別がつく初級以上であれば 理解できるだろう.このあたりは学力（学年）に合 わせた指導法の研究が待たれる. 今回の授業対象は 大学初級で, 説明抜きで理解されたようだ.

## 3 NatTos による発声練習の仕組み

ここでは課題文の提示から，発声・添削までの流 れを述べる。

開始ボタンをタップすると課題文が提示される. と同時に模範音声が流れる.その様子を図 2 に示す.

図 2 課題文提示の様子

模範音声を聞いたあとで録音ボタン（赤丸）を夕 ップする。録音が始まるので課題文を読み上げる。読み上げを終えるか無音期間が長く続くと録音状態 が自動的に解除され, 添削が開始される。 3 秒しな いうちに先に示した図 1 のような結果が示される.

入学試験や資格試験であれば次の課題に進むこと になる.しかしウェブアプリ NatTos は発声練習用と して開発されている. 練習用と受験用で大きく異な る点は反復性であろう.受験の解答は 1 回限りだが，練習では何度でも正解するまで挑戦することができ る. 工夫しながら発声・採点・添削を繰り返すこと が成長につながるからである. NatTos では最大 5 回 まで挑戦できる。 さて，赤ペンのついた部分を注意 すれば良い事がわかっても，どのように発声すれば 良いのかわからない，そこで模範音声を再生できる ようになっている. それがスピーカマークである. また何度か続けて聞いて確かめたいこともある。そ れが図 2 の右上にある「繰り返す」ボタンだ。最大 5 回まで連続再生できる. 模範音声を聞きながら重 ねて音を合わせるように（シャドーイング）するの が上達のコツである. また人の一息の発声と聴覚作動記憶 (音韻ループ) の時間幅はともに $2 \sim 3$ 秒 [5][6] なので，模範音声をフレーズに分けてシャドーイン グできるようにしてある。 それが図 1 上段の背景色 （薄い青と緑）で区切られたブロックである.

## 4 赤ペン添削による学習履歴

発声と添削の様子は克明に記録され，先生も生徒 もリアルタイムで授業中に閲覧できる。採点の生徒 への即時フィードバックは学習を促す。他方，視覚化された学習履歴の統計処理結果は教員の形成的評価（Formative Assessment）として即時指導に利用で きる.そのフィードバック機能をいくつか紹介する.

## 4.1 クラス履歴

データマイニングによるスピーキングテストの履歴俯瞰では，正しく発音できなかった課題文や表現 が一望できる（図 3).

図 3 課題文提示の様子 (抜粋)

右端のコインと小判のアイコンがそれぞれ正しさ となめらかさの度合いを示す. 左端の赤と緑のバー が出来具合を示す. 赤が多いほど不出来だったこと を示す. 濃淡のある青い背景色を持つ文字列は課題文で，色の濃いところほど正しい発音にならなかつ たことを示している. 付録 $\mathrm{A}$ にテスト課題全文と履
歴全体図を掲載した。

テキストマイニングによる語彙クラウドでは，生徒が頻繁に失敗した語彙がひと目でわかる（図 4).

図 4 語彙クラウド例

発声に何度も失敗した語彙が太字で大きく表示さ れる.たとえば中断左端の pray を選ぶと, 図 5 のよ うに表示が変わる。 pray 344 回（背景赤と緑）の 発声があり，通じたのは $28 \%$ （緑字）だとわかる。

図 5 失敗パターンチャート例

さらにその下には対象語 pray の発音間違い (話者 の意図と異なる ASR の聞き取り)が多かった失敗例 が 2 つ示されている (破線内拡大図)。音素 $\mathrm{R}$ を $\mathrm{L}$ と発声した例が $28 \%$ に及んでいたことがわかる. また語頭子音の曖昧さも一定量見て取れる.

## 4.2 生徒履歴

受験者の個別履歴を図 6 に示す. 受験者 1 は 1 回目のテストで失敗し, 2 回目のテストの 3 回目の発声で成功している. 受験者 2 は 1 回目のテストの 2 回目の挑戦で成功し, 2 回目テストでは一発で成功
させている。学力差だと片付けられない情報がこの 履歴には隠されている. それが赤い小さな点である.

小さな赤い点の数を比べると, 受験者 1 には 2 個,

受験者 2 には 5 個見つかる. 赤い点の数は補助音声再生の回数を表している. 行頭の赤い点は自動再生 で，それ以外は受験者の手動再生である。受験者 2 は 1 回目のテストで最初に失敗したあと補助音声を 3 度再生し, その後の発声で成功させていたことが わかる。 母語話者の音声を参照しそれを真似て発話 しようとの意志がうかがえる. それに対し受験者 1 は自らの記憶にある音声と発声知識だけを参照して 失敗を繰り返したと推察される。

受験者 1

受験者2

図 6 受験者ごとの発声履歴

凡例: 1 回分の発声. " 補助音声再生. 91 列分が 1 回分のテスト. 盛の 成功. X 失敗. アイ コンは左から右，上から下への時系列。

## 5 オンラインテストと指導の様子

約 100 人 (3クラス, CEFR A2 B2: 初級〜準上級) のオンライン授業で NatTos を発音練習ツールとし て利用した。発音の講義（週 1 レッスンを 5 週）の 各テーマは子音, 母音, ストレス, 連結・脱落, リ ズムであった。毎回，授業の前後に教員が自分で NatTos 上に作成した発音テストを実施した。毎回の 発音テストはレッスンテーマに沿った物であり，学習履歴を形成的評価として利用した. レッスン冒頭 の発音テスト（前テスト）の結果を確認し，多くの 学生が困ったポイントに指導を集中した. 例えば, CEFR B2 のクラスはLの音が最初からできたがRの 音ができなかったため, そのクラスでは $\mathrm{R}$ に集中的 に指導して，練習させた。一方, CEFR A2 のクラス は $\mathrm{L}$ と $の$ 音を両方できなかったため, 両方を平等 に指導し，その区別に焦点をおいて指導した。

また，発音の指導を実施した後，NatTosで作成し た別の練習課題を学生に与え, 学習履歴を確認し,
最も多い間違いを参照しながらクラスごとに助言を した. 例えば， CEFR B1 のクラスでは Rを発音する 際に W として認識された件が多かったため, 多くの 学生が R を発音する場合, 唇を前に出していたとい うことが特定できたため, 唇を後ろに引っ張るよう に指導ができ，発音の改善を図れた．クラスによっ て発音によるミスが異なることから, 学習履歴でク ラス固有の弱点を即時に確認することで, 教育の改善が適切にできたと考えられる。 その例として， 3 クラス全体の前後テストの分析結果を表 1 に示す.第 1 回（子音）と第 2 回（母音）の発音テストの正確さを対応あり $\mathrm{t}$ 検定で比較した場合, 上達してい ることが明らかになった。

表 1 前後テストでの正確さの比較 $N=\mathbf{7 8}$

前テストは授業冒頭, 後テストは授業の締めくくりにそれぞれ 20 分ほど実施. 值は平均值 (10 点満点).カッコ内は標準偏差.前後テストのどちらか一方だけのデータは除いた.

教員として，発音の形成的評価が即時に数多くの 学生にできることが非常に好ましい状態であり, 発音の指導をより良好にできる. 従来の発音指導法で は，全ての学生の発音を聞いて，個人アドバイスす るのが大変困難である. 対面式の場合でも， 10 人以下の少人数クラスでもない限り, 教員は全員の発音 を認識するのは困難であり，コロナ渦で急にオンラ イン化された授業では尚更できない。また, 対面式 で一人一人に発音指導をすると, 他の学生の練習が 止まり, 先生の助言が来るまで待っている時間が多 い.そのため, NatTos を授業に取り入れることによ り, 学生の練習時間が多くなり, 学生が ASR による フィードバックを即時に確認ができ, また ASCwRP 履歴マイニングに基づいたフィードバックが教員か ら来るため, 学生には練習時間とフィードバックの 量が増えることになった。

今後の研究課題として, どのような練習文を使え ば, 最も発音トレーニングのためになるかを調査し， どのような発音レッスンを実施すれば，最も発音が 上達するかを調查したいと考える.

## 6 おわりに

英語スピーキングテストを全自動 3 秒で採点と添削をして返すアプリは他に例がないようであったが， ASR と ASCwRP を組み込んだ ASCA で設計したア プリ NatTos が 3 クラス 100 人規模の授業で結果を出 したことで, 成果と課題が浮き彫りになった.

成果は，発声・採点・添削・指導のサイクルを 1 コマの授業内で可能にしたことで，通常授業でスピ ーキング課題をもっと頻繁に行えるようになるだけ でなく, 学期試験や入学試験への応用可能性も示唆 された.

特に，スピーキング学習にあっては「他者とのコ ミュニケーションを妨げる発音誤りを認識する必要」[4]があることから， ASCA はその課題をクリア したと判断できた.

次に ASCA の課題を列挙する。

(1) 評価の妥当性については, 人手による主観的評価 との比較研究を準備中である。

(2) 学習効果については, 今回のパイロット研究をべ 一スに来年度に精度高く検証予定である。

(3) Chrome と SafariによるASR で同等の出力が期待 できるかの検証が必要である.

(4) 読み上げ問題には対応している一方で, 自由発話問題や文生成問題 $[1]$ の対応にはキーワード生成や文法チェックなどの技術導入が必要となる だろう.

(5) 発音評価指標とされる intelligibility（音韻的正確性; 了解性）と comprehensibility（理解可能性 ;可解性）[4]に従えば，ASR は後者の comprehen sibility に重きをおいていると考えられることか ら，ASRの選定（どの ASRを使うか，あるいは 複数の ASR が必要か) などの検討も視野に入れ る必要がある。

(6) ASCA が出力する各種履歴データに支援された 教授法の考案と, 授業中の指導に結びつく出力デ 一タの最適化が望まれる。

(7) 課題文の作成にあっては, 単語と短文と長文で語彙や文構造による学習効果度合や難易度（ASR の特性）を調べる必要がある。

(8) 特に単語については ASR の成否が採点結果に大 きく影響する[1]ことから親密度や出現頻度や同音異語などへの対処が求められる。

これらの課題を解決するには該当する分野の技術 と専門家及び指導者（教員）の協力が必要となる.

関心のある研究者や教育者及びその団体の参加を強 く期待している.

## 参考文献

1. 今井新悟（筑波大学）, 赤木爾生 (山口大学), 石塚賢吉（株式会社ドワンゴ），伊東祐郎（東京外国語大学) , 菊地賢一 (東邦大学), 篠崎隆宏 (東京工業大学), 中園博美 (島根大学), 中村洋一 (清泉女学院短期大学), 西村隆一 (和歌山大学), 本田明子（立命館アジア太平洋大学）, 家根橋伸子 (東亜大学), 山田武志 (筑波大学)。「自動採点 スピーキングテスト SJ-CAT の能力推定の検証」言語処理学会 第 23 回年次大会 発表論文集 (2017 年 3 月), 835-838.

2. 中西のりこ, タム・ショウイン, 海老原由貴 (201 9）.「ICT 教室の特性と音声認識ソフトを活かし た英語リスニング・スピーキング活動の可視化」.私立大学情報教育協会 2019 年度 ICT 利用によ る教育改善研究発表会 http://juce.jp/archives/ronbu n_2019/02.pdf

3. Spring, R. (2020). Using Multimedia Tools to Obj ectively Rate the Pronunciation of L1 Japanese EF L Learners. ATEM Journal: Teaching English thro ugh Multimedia, 25, 113-124.

4. 井上雄介，椛島優，齋藤大輔，峯松信明（2018）.「母語話者シャドーイングに基づく可解性自動計測と回帰分析による高精度化」情報処理学会

第 125 回 SLP 研究発表会. https://www.gavo.t.u-tok yo.ac.jp/ mine/CALL/ILS/Inoue_asj.pdf

5. 湯舟英一, 田淵龍二 (2013).「映画音声コーパス を利用した Breath Group 長の分析」 Language Education \& Technology, 50, 23-41.: https://www. mintap.com/news/pic/2013_7_bg.pdf.

6. 田淵龍二 (2018).「テキストアナリティクスと音声解析と認知科学と検索エンジン」. 電子情報通信学会 言語理解とコミュニケーション研究会 第 13 回 テキストアナリティクス・シンポジウム. https://www.mintap.com/news/pic/2018_nlc13.pdf

## 付録

A テスト履歴俯瞰図と課題文全文

1 crime

2 climb
3 bat

4 vat

5 some

6 thumb

7 laze

8 lathe

9 When I was a child, I often visited the shrine near my house.

10 of course, I went there to pray with my family on special occasions.

11 But I also went on my own.

12 That's because there were very few places to play in my neighborhood.

13 However, there would sometimes be a ban on entry for preparations or other things.

14 At those times, I would think in silence.

15 Eventually, I would get an idea and head elsewhere.

16 But it wasn't without a heavy heart.

(履歴と課題文は 5 回の授業のうちの初回のもの)

## B NatTos の動作環境など

必須媒体

サービス

アクセス

動作確認

機能
テスト課題

公開

クラス管理開発中/2021 年春公開予定/有料

開発 ミント音声教育研究所（田淵龍二）

## C 受験者（生徒）の動作環境

Chrome

28 人

Safari

80 人自動採点，自動赤ペン添削

・自前文によるテスト作成

- 作成テスト公開 (登録が必要/無料)


# 日本語学習者の単語表記の自動評価に向けて

Dolça Tellols $^{1}$ 徳永 健伸 ${ }^{1}$ 横野 光 ${ }^{2}$
1 東京工業大学 情報理工学院 2 株式会社富士通研究所
\{tellols.d.aa@m, take@c\}.titech.ac.jp yokono.hikaru@fujitsu.com

## 1 はじめに

言語学習者の増加にともない，コンピュータ を使った言語学習支援 (Computer Assisted Language Learning) システムの研究が関心を集めている [1]. また，学習支援と同時に学習者の言語知識や言語能力を自動的に評定することも重要な研究課題であ る. 文法や語彙の全体的な知識だけではなく，より 詳細な要素を測る尺度があれば学習者の言語能力の 長所と短所を正確に把握することができる. その結果を元に学習者はより効率的に勉強でき, 教員も学習者のニーズに合わせた教え方ができる.

本研究は言語学習者の言語能力を構成する一つ の次元である語彙に注目する。語彙は読んだり聞 いたりする時に使う理解語彙と書いたり話したり する時に使う使用語彙に分けられると言われてい る $[2,3,4,5,6]$. 従来，選択肢問題を使って理解語彙を評定する研究は盛んにおこなわれているが [7],使用語彙を評定する研究は少ない。その理由のひと つとして，評定対象の語を学習者に使用させる文脈 を用意することは難しいことがあげられる.

これまでにも，使用語彙のサイズを予測する テストや尺度がいくつか提案されている. 例え ば，文を完成させる Productive Vocabulary Levels Test (PVLT) [2], 語彙頻度リストを使って作文に出てくる 語彙の分布を測る Lexical Frequency Profile (LFP) [8],刺激単語から連想する単語を書かせ，その単語の難易度によってスコアを計算する Lex30テスト [9] な どがある. 本研究では語彙サイズではなく，単語表記の正確さに着目する. 話し言葉の場合，単語表記 の正確さを評価するために発音に注目するべきだ が，書き言葉の場合，言語の特徵によって注目する べき点が異なる．英語のように一つの表記体系しか 使わない言語はこの次元を評価するためにスペルミ スに注目することになる. しかし, 日本語のように 複数の表記体系を持つ言語では，誤字 (スペルミス を含む) だけではなく, 使われている表記体系の適切さも考慮するべきである。本稿では，書き言葉に おいて日本語学習者の単語表記の正確さに関する評価次元を定義し，自動評価に向けて解決すべき課題 について議論する。

## 2 関連研究

本研究は日本語学習者の単語表記の正確さを測 るために誤字と表記体系の適切さを考慮する. 自動評価を目指しているため，キーボード入力を仮定する。キーボード入力における自動タイポ修正 を目指している研究はいくつか存在する. Hagiwara ら [10] は Github ${ }^{1)}$ データを用いて自動的に多言語ス ペルミス・コーパス2)を構築した. Tanaka ら [11] は Wikipedia ${ }^{3}$ の編集履歴を用いて日本語タイポ・デー タセット4)を構築し，タイプ修正のためにエンコー ダーデコーダーモデルを学習した。高橋ら [12] は株式会社リクルートテクノロジーズのデータを使って BLSTM に基づく誤字脱字検出システムを構築した。 そして，Komatsu ら [13] は日本語タイポを分類する ためにアテンション付き LSTM モデルを学習した. これらの関連研究の多くは母語話者のデータを基に している. しかし，日本語学習者の誤り傾向は母語話者と違う可能性があるため, 実際の学習者から得 られたデータも調べる必要がある.

以下，言語学習者データを利用した関連研究を 紹介する. Mizumoto ら [14] は母語話者が修正した 学習者の Lang- $8^{5}$ データを用いて日本語自動誤字修正のための Lang-8 コーパス)を構築した. その後, Koyama ら [15] はこのコーパスの一部にアノテー ションを行なって，エラー修正モデルの評価のため に新たなコーパス7)を構築し，それを用いて Lang-8

コーパスで学習したニューラル機械翻訳と統計機械翻訳モデルを評価した. 同じデータを用いて， Homma ら [16] \& NAR(non-autoregressive) ニューラ ル機械翻訳モデルを学習し評価している。これらの 研究は語彙・文法を併せて修正するモデルを構築し ているが，本研究では語彙，特に単語の表記に注目 する。

誤字に関する研究が多い一方で，表記体系の使い 方を調査した研究は少ない. 高校教科書に出てくる 字の表記体系の割合を示している研究 [17] や時間経過とともに漢字と仮名の使用率がどう変わるかを調査した研究がある $[18,19]$. しかし, その使用率と 学習者の習熟レベルとの関係を調査している研究は 見あたらない。

Takaoka ら [20] は，日本語の表記体系が複雑で正書法が厳密でないため，表記摇れが日本語形態素解析の課題となっていることを議論している.

## 3 単語表記の正確さの定義

本研究では日本語の単語表記の正確さを定義する ため，入力された語が以下の三つのクラスのいずれ かに分類されることを仮定する。

(A) 正解

誤字を含まず適切な表記体系で書いてある 場合.

(B) 不適切な表記体系

漢字表記が適切だと考えられるのに仮名表記さ れているなど，使われている表記体系が不適切 な場合.

(C) 誤字

スペルミス，変換ミスなどのように単語として 成立していない場合.

例えば，「今日は共だちとコンサトにいきたいで す.」の正しい表記は「今日は友だちとコンサート に行きたいです.」である.この中で「今日」は正し いので (A)，「共だち」は「友だち」の誤字 (変換ミ ス)なので (C)，「コンサト」は「コンサート」の誤字 (スペルミス)なので (C),「いきたい」は「行きたい」 と書く方が適切なので (B) にそれぞれ分類できる。

## 4 自動評価に向けての調査

本節では, 単語表記の自動評価に向けて日本語学習者と母語話者のデータを分析し，そのデータを分類するモデルを試作し，分類における問題の分析を行った.

## 4.1 データ

今回分析したデータは東京工業大学に所属して いる 14 人の日本語学習者と 2 人の日本語母語話者 から得られたテキストデータである．学習者集合は 様々なレベル (初級者 4 人, 中級者 5 人，上級者 3 人，超上級者 2 人)，様々な国籍 (中国 4 人，インド ネシア 3 人，台湾 2 人，英国 1 人，サウジアラビア 1 人，米国 1 人，ネパール 1 人，シンガポール 1 人) で構成されている. 学習者のレベルは日本語授業の クラス分けテストの結果を基に分類した.

頭に浮かんだ単語：
1. かさ
6. コート
2. 雨
7. 街
3. $<8 り$
8. 持つ
4. かばん
9. 黒
5. 歩<
10. (無解答)

画像の説明 :

雨が降って色々な人が傘とかばんを持ち、街 の中を歩いている。

図 1 データ収集タスクの例

データは STAIR キャプションデータセット [21] を用いて生成した画像セットについて記述するタス ク (図 1) から得た. 各画像セットの被写体は共通点 を持っており，学習者がテキストを書くための刺激 になる. 学習者には画像セットごとに 3 分以内に頭 に浮かんだ 10 語と画像の説明 (可能な限り 20 字以上)を書かせた. 図 1 中で青字の部分が学習者の入力に相当する. 今回は，10 個の画像セットを使って 得られた合計 144 の応答を使っている. このデータ は Django ${ }^{8)}$ で作り, Heroku ${ }^{9}$ )でデプロイした Web ア プリケーションを通して収集した. アプリ内でブラ ウザーのスペルチェックオートコンプリートとオー トコレクト機能を使えないように設定した。

## 4.2 単語表記分類モデルの試作

本研究では Python(バージョン 3.6.0) と以下のラ イブラリーや APIを使って単語表記の分類を実装 した.

1. pykakasi ${ }^{10)}$, バージョン 1.2.

2. Google CGI API for Japanese Input ${ }^{11)}$.

3. mecab-python ${ }^{12)}$, バージョン 0.996.2(デフォル 卜辞書).

pykakasi は平仮名と片仮名への変換のために使い, Google の API はかな漢字変換のために使った. 日本語では単語の間に区切りがないため，MeCabを用 いて単語分割とフィルタリング (名詞-固有名詞と数以外-，自立動詞，形容詞と副詞だけを考慮する)を 行った.

試作した分類モデルの入力は，図 1 の課題に対 して入力された「頭に浮かんだ単語」と「画像の説明」である. 使っている画像と STAIR キャプショ ンデータセットにある対応しているキャプション (母語話者が書いた)を文脈として扱う。 さらに，語 として成立するかどうかを判断するために『現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ}) 』 の$ 語彙表 (BCCWJ 長単位語彙表 $)^{13}$ を使った.

学習者の入力を 3 節で述べた単語表記のクラスに 分類する処理を以下に示す. 前処理として，入力か ら空白と改行を削除する。

(1) 入力を Google の API によって変換する.

(2) 4.3.3 節の分析に基づき，文脈を参照し，変換結果に以下の後処理を行う：

－漢字一文字とその次の部分の変換結果を修正する.

一平仮名一文字と漢字一文字の変換を修正 する。

一ある単語の変換結果が複数ある場合，その 中に文脈に表れるものがあればそれを採用 する.

(3) MeCabを使って (2) の結果に単語分割とフィル タリングを行い，単語集合を得る。

(4) 元の入力とそれを平仮名に変換したものを参照 し，(3) で抽出された各単語を次のように分類 する：

10) https://github.com/miurahr/pykakasi/

11) https://www.google.co.jp/ime/cgiapi.html

12) https://taku910.github.io/mecab/

13) https://pj.ninjal.ac.jp/corpus_center/bccwj/
- 単語にローマ字が含まれている場合か，変換ミスと認識された場合か，語彙表に存在 していない場合は (C) に分類する.

一誤字が含まれなくて入力に対して処理され た単語の表記体系に変化があった場合は (B) に分類する.
- それ以外の単語は (A) に分類する.

例えば，入力として「きれいなそらで たこを あそびに そとへいきます。」を与えると，(1)〜 (3) の処理の結果として次の単語集合が抽出できる：「きれい」,「空」，「たこ」，「遊び」，「外」，「行き」，各単語に対して，(4) の処理で「きれい」と「たこ」は クラス (A) に分類され，「空」，「遊び」，「外」と「行 き」はクラス $(\mathrm{B})$ に分類される.

## 4.3 議論

今回の実験は規模も小さく，手法も暫定的なもの なので，これまでにわかった問題点について定性的 な分析を述べる.

## 4.3.1 誤字判断の難しさ

学習者の入力を人手で確認した際，誤字かどうか の判断が困難な事例が見られた。例えば，「じゅ」の ように平仮名で書かれてあるものは学習者が何につ いて言及したかったのかを推測することが難しく，定義したクラスのどれに該当するかを判断すること ができない，誤字かどうかを判断するためには文脈 を考慮することが重要である．例えば，電車の写真 が提示された問題に対してある学習者が「記者」と 書いたとする。これ自体は単語として存在している ため，正確さには問題ないと判断してしまう。しか し，文脈を考慮すると恐らく学習者は「汽車」と書 きたかったのだろうが，かな変換の誤りで「記者」 としてしまったと推測することができる。

また，語彙の誤りなのか文法の誤りなのかの判断 が難しい事例もある．例えば，「飛びる」のような 入力に対して，学習者は「飛ぶ」か「飛べる」を書 きたかったと推測するとこの入力を活用の誤りだと みなして，語彙の正確さに関しては問題がないと判断することもできる。しかし，本来は存在しない単語である「飛びる」を書いたと推測するとこの入力 は語彙に関する誤りとして単語表記の正確さの評価 の際に考慮する必要がある.

「シャレオツ」のような俗語も学習者は入力して おり，このような語を誤字とすべきか，正確な語と

して扱うべきかを決めなければならない。

試作のモデルでは判断が難しかった誤字もいく つかあった。例えば，「たくらん」(学習者は「たく さん」を書きたかったと推測される) が処理の後に 「托，卵」になり誤字として扱えなかった。また，単語分割や変換の問題で判断できなかった誤字には 「レフォーム」(「リフォーム」)，「みなあさん」(「み んなさん」)，「どこ度も」(「どこでも」)，「おとも」 (「とても」)などがあった.

誤字を正確に認識するためにはどの文字列が誤字 であるかがアノテーションされたデータが必要だと 考える。そのデータを用いることで単語分割モデル を改良し，誤字を含む単語の認識率を上げることが できると考えられる。

## 4.3.2 表記体系の適切さの判断の困難性

日本語の表記には平仮名，片仮名と漢字があり，日本語話者は状況に応じてそれらを使い分ける．漢字で書ける語彙は漢字で書く場合が多いが，その表現を柔らかくするため平仮名で書いたり，強調する ために片仮名で書いたりすることもある．それに加 えて，読み手を考えて，文章を読みやすくするため に表記体系を調整することもありえる。例を挙げる

は(母)」，「ひも(紐)」，「わかりません (分かりませ ん)」,「ごみ(ゴミ)」などがある.

単語表記を (B) として判定する際に，その単語単独で判断するのではなく, 入力全体の表記のバラン スも考慮して判定することも考えられる。

## 4.3.3 Google の API の問題点

API から得られる出力が正しい変換結果でない場合がある．例えば，木が写っている画像に対する単語として入力された「き」が「木」ではなく「気」 になり，「むら」が「村」ではなく「ムラ」になり，「よる」は「夜」ではなく「よる」のまま残る，とい うことが起きる。また，文脈によって API の変換結果も異なる場合がある．例を挙げると，「うち」は そのまま入力すると「家」にならないが「うちもき れいとおもいます.」のような入力においては「家」 と変換される.

Google の API が行う単語分割において誤りが発生 することもある．例えば，「この動物は白いと黒い 線があります.」の入力において，「白いと」は「白，糸」になり，「黒い」は「黒，位」になる．また，「楽
しむ活動」は「楽し無活動」になり，「奪うために」 は「奪うた目に」になるといった問題もある。この 問題に対しては，APIの入力に文節区切りの位置を 指定することができるため，別の自動単語分割シス テムの結果に従い，区切りを決めたら API から得ら れる出力が改良できると考えられる。

## 4.3.4 MeCab の単語分割の問題点

平仮名の入力に対しては，単語分割が誤る場合 がある．例えば，「たべもの」(食べ物) は「たべ，も の」になり，「かぞく」(家族) は「か，ぞ，く」にな り，「そと」(外)は「そ，と」になる。

それに加えて，入力に誤字が含まれている場合 も，その誤字の影響で単語分割が誤ることがある.例を挙げると，「りょきょうのためにじゅんびしま す.」(今日のために準備します) という文章を入力 すると「りょ」という誤字のために「り，ょきょう のためにじゅんびします,.」という単語分割を得 る.これを解決するために現在の試作でかな変換を 行なった後で単語分割することを検討している。し かし，今使っているかな変換 API からまだ理想的 な出力は得られない. 別の解決方法としては，アノ テーションされたデータを使い，平仮名で書いてあ る単語と誤字を含む単語を考慮する辞書を準備し,単語分割システムがその辞書を使うようにすること が考えられる。

## 5 おわりに

本稿では，日本語学習者と言語教育関係者を支援 するために，単語表記の正確さを定義し，自動評価 に向けて調査した．単語表記の正確さの定義におい て誤字と表記体系の適切さに注目し，ルールベース での単語表記分類モデルを試作した. 実際に学習者 が作成したデータを用いて評価を行うことで，解決 すべき課題や問題点が明らかになった. 特に，試作 したモデルでは用いたかな変換と単語分割システム の誤りが問題となる.

単語表記の正確さの自動評価に向けて, 今後の課題はスコアの決定，試作した分類モデルの改良とア ノテーションガイドラインの作成である.

## 参考文献

[1] Detmar Meurers and Markus Dickinson. Evidence and interpretation in language learning research: Opportunities for collaboration with computational linguistics. Language Learning, Vol. 67, No. S1, pp. 66-95, 2017.

[2] Batia Laufer and Paul Nation. A vocabulary-size test of controlled productive ability. Language testing, Vol. 16, No. 1, pp. 33-51, 1999.

[3] Stuart Webb. Receptive and productive vocabulary sizes of 12 learners. Studies in Second language acquisition, Vol. 30, No. 1, pp. 79-95, 2008.

[4] Birgit Henriksen. Three dimensions of vocabulary development. Studies in second language acquisition, Vol. 21, No. 2, pp. 303-317, 1999.

[5] Paul Nation. Learning vocabulary in another language. Cambridge University Press, 2001.

[6] John Read. Assessing Vocabulary. Cambridge University Press, 2000.

[7] David Beglar and Paul Nation. A vocabulary size test. The language teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[8] Batia Laufer and Paul Nation. Vocabulary size and use: Lexical richness in L2 written production. Applied linguistics, Vol. 16, No. 3, pp. 307-322, 1995.

[9] Paul Meara and Tess Fitzpatrick. Lex30: An improved method of assessing productive vocabulary in an L2. System, Vol. 28, No. 1, pp. 19-30, 2000.

[10] Masato Hagiwara and Masato Mita. Github typo corpus: A large-scale multilingual dataset of misspellings and grammatical errors. arXiv preprint arXiv:1911.12893, 2019.

[11] Yu Tanaka, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Building a Japanese typo dataset from wikipedia' s revision history. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, 2020.

[12] 高橋諒, 䒾田和麻, 多田明寛, 石川信行. Bidirectional $1 \mathrm{stm}$ を用いた誤字脱字検出システム. 人工知能学会全国大会論文集一般社団法人 人工知能学会, pp. 3C4J903-3C4J903. 一般社団法人 人工知能学会, 2019.

[13] Ryuki Komatsu, Rin Hirakawa, Hideaki Kawano, Kenichi Nakashi, and Yoshihisa Nakatoh. Study on mistype correction support using attention in Japanese input. In 2020 IEEE International Conference on Consumer Electronics (ICCE), pp. 1-2. IEEE, 2020.

[14] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[15] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an evaluation corpus for grammatical error correction for learners of Japanese as a second language. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 204-211, 2020.

[16] Hiroki Homma and Mamoru Komachi. Nonautoregressive grammatical error correction toward a writing support system. In Proceedings of the 6th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 1-10, 2020.

[17] Takushi Tanaka. Statistical analysis of Japanese characters. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[18] Dilhara Darshana Premaratne. Is the use of kanji increasing in the Japanese writing system? Electronic Journal of Contemporary Japanese Studies, 2012.

[19] Yuko Igarashi. The changing role of katakana in the Japanese writing system. PhD thesis, 2007.

[20] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[21] Stair captions: Constructing a large-scale Japanese image caption dataset. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 417-421, Vancouver, Canada, July 2017. Association for Computational Linguistics.


# 多言語モデルの転移学習による日本人英語音声認識

森 滉介HOU, Wenxin篠崎 隆宏

東京工業大学 工学院 情報通信系

www.ts.ip.titech.ac.jp
## 1 はじめに

近年，end-to-end アプローチにより，DNN ベース の単一モデルによる自動音声認識が可能となっ た $[1,2,3]$. 広範なコーパスを学習させたモデルは，人間と同等かそれ以上の音声認識性能を示す。一方，少量の音声データでは，高い認識性能を示すモ デルの学習は難しい. 非ネイティブ話者の発音は母国語の影響を受けやすいため，非ネイティブ音声認識では，同じ母国語を持つ話者の音声をモデルに学習させることが望ましい. それに伴ってモデルに学習させる非ネイティブ話者の音声データが必要と なるが，非ネイティブ話者の数は少ない上に，音声 には不自然な発音が多い。非ネイティブ音声の収集 とラベル付けは，ネイティブ音声に比べて困難であ る [4].

音声データが少ない言語における音声認識手法と して転移学習がある。主流となっている手法では，学習データが豊富な言語の音声をモデルに事前学習させ，認識対象言語の音声でモデルを再学習させ る $[5,6]$. モデルの隠れ層を言語間で共有させるこ とで，言語に依存しない普遍的な音声表現の抽出が 可能となる $[7,8]$. さらに最近では，適応させる言語知識の範囲を拡大し，多言語の音声を end-to-end ネットワークに事前学習させ，低資源言語に対する 音声認識性能を高めている $[9,10]$.

非ネイティブ音声を一種の低資源言語と捉え，転移学習を用いて他の言語知識を適応させる手法が提案されている [11,12]. しかし, これまでの研究で は，非ネイティブ音声認識に適応させる知識は 2 , 3 言語に限られている。そこで本稿では，高精度の 日本人英語音声認識を目的とし，適応させる知識を 多言語に拡張した転移学習アプローチを提案する。

## 2 関連研究

## 2.1 低資源言語音声認識

低資源言語における音声認識手法の一つが転移学習である。 Bukhar らは，事前学習させた多言語モデ ルの最終層を転移先言語で再学習させ，ウイグル語 やベトナム語などの低資源言語に対する WER を改善した [13]. Cho らは，公開コーパスである BABEL から 10 言語の音声を用いて sequence-to-sequence モ デルを学習させ，他の 4 言語に適応させた [8]. Kannan らは，インドにおける 9 言語の音声で学習 させたストリーミング多言語 end-to-end モデルを用 いて，低資源言語であるカンナダ語とウルドゥー語 に対するWERを改善した [14]. Hou らは，42 言語 で大規模な多言語 end-to-end モデルを学習させ， 14 の低資源言語に転移学習させた [10]. そして，多数 の言語を学習させたモデルの適応は，低資源言語の 音声認識に対して優れた性能を発揮することを示し た. 同様に，多言語モデルの活用による低資源言語音声認識の性能改善が報告されている $[15,16,17]$.

## 2.2 非ネイティブ音声認識

非ネイティブ音声認識は，言語学習者が持つス ピーキング能力の自動評価を実現するために必要不可欠である [18]. また，非ネイティブ音声認識は日常業務の中でさまざまな用途で利用されるように なった。国際化した今日の世界では，非ネイティブ 音声の認識技術は重要になっている.

非ネイティブ音声認識では，転移学習によって複数言語間で知識を共有させる。 Duan らは，共通の 隠れ層と独立した出力層からなる DNN にネイティ ブの英語と日本語を学習させて言語横断的な音響 モデルを構築し，日本人英語の音声認識における WER を低減させた [11]. Matassoni らは，イタリア 語，ドイツ語，英語のネイティブ音声で学習させた DNN-HMM 音響モデルを，イタリア人ドイツ語，イ タリア人英語，ドイツ人英語の非ネイティブ音声に

Fine-tuning

図 1 提案手法の概念図. 多数の言語で end-to-end 音声認識モデルを事前学習させ,日本人英語の音声データで fine-tuning する.

転移学習を用いて適応させた [12]. そして，結果と して得られた非ネイティブモデルが，非ネイティブ 音声を直接学習させたモデルの性能を改善すること を示した。

## 3 提案手法

日本人英語の高精度音声認識を目的として，多数 の言語から転移学習させた end-to-end 音声認識モデ ルを採用し，適応させる言語知識を拡張する. 提案手法の概要を図 1 に示す.

## 3.1 多言語音声認識モデル

多言語音声認識モデルには, end-to-end 音声認識 に有効である Conformer [19] と Transformer [20] を 用いる. モデルのエンコーダを 12 個の Conformer ブロックで構築し，デコーダを 6 個の Transformer ブロックで構成する. Conformer と Transformer に よる各ブロックは，256 次元の注意機構ヘッドを 4 つ含み, 2048 次元のフィードフォーワードネッ トワークを持つ. モデルは, Connectionist Temporal Classification (CTC) と注意機構を同時に用いて予測文字をデコードする $[21,9]$. デコードするシンボル のセットは，モデルに事前学習させる全ての言語に 現れる文字セットを含むよう拡張する。これによ り，エンコーダとデコーダのパラメータが全ての言語で共有される多言語モデルの学習が可能となる. モデルは，入力からデコードすべき言語を自動で認識し，予測したテキストを適切な文字セットで出力 する.

## 3.2 日本人英語への転移学習

多言語モデルを日本人英語音声で fine-tuning す る. まず，多言語モデルの学習済みパラメータで日本人英語モデルの全パラメータを初期化する。次 に, 日本人英語音声モデルの出力層に対して, 出力次元数を日本人英語音声のシンボル数に変更し, パ ラメータを乱数で初期化する。 そして, 日本人英語音声をモデルに学習させる. 実験では， 10 言語と 42 言語を学習させた 2 種類の多言語モデルを日本人英語音声認識に適応させ, 日本人英語音声認識に対 して事前学習させる言語数の有効性を調べる。

## 4 実験

## 4.1 データセット

10 言語と 42 言語の多言語モデル学習には， 11 の 公開コーパスを使用した。使用した公開コーパス は, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23], Corpus of Spontaneous Japanese (CSJ) [24], Fisher SwitchBoard, Fisher Callhome Spanish, HKUST [25], WSJ, Voxforgeである. 10 言語モデルの学習に は Watanabe らが用いた言語を使用した [9]. また, 42 言語モデルには Hou らが用いた言語を学習させ た [10]. 各多言語モデルの学習に用いた言語を表 1 に示す. また，学習データにおける各言語の発話数 を図 2 に示す。

日本人英語音声認識には King-ASR-048 データを 用いた. King-ASR-048 は， Android と iOS の携帯電話を同時に用いて収集した 2 チャンネルの日本人英

図 2 学習データに含まれている言語と発話数。学習データには, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23]，Corpus of Spontaneous Japanese (CSJ) [24]，Fisher SwitchBoard，Fisher Callhome Spanish， HKUST [25]，WSJ, Voxforge の 11 公開コーパスを用いた.

表 1 多言語モデルに学習させた言語. 10 言語モデルの 学習には Watanabe らが用いた言語 [9]を使用し，42 言語 モデルの学習には Hou らが用いた言語 [10] 使用した.

de, en, es, fr, it, ja, nl, pt, ru, zh_ch, am, as, eu, bn, yue, ca, ceb, luo, ka, gn,

42-lingual ht, ig, jv, kab, kk, ku, lo, lt, zh_tw, mn, ps, fa, sw, tl, ta, tt, te, tpi, tr, vi, $\mathrm{cy}, \mathrm{zu}$

語音声データベースである. 静かな屋内で 40 人の 日本人から収集した 10,983 発話が収録されている.収録されている音声データのサンプリング周波数は $16 \mathrm{kHz}$ であり，1 チャンネルあたりの全録音時間は 約 17.9 時間である. 実験では，Android で収集した チャンネルを使用した. 話者が重複しないようデー タを 3 つに分割し，80\%を学習，10\%を検証，10\%を テストに使用した。

## 4.2 詳細設定

モデルの入力には 83 次元の特徴量を用いた. 83 次元特徴量の構成は, 80 次元の MFCC フィルタバ ンクと 3 次元のピッチ特徴量である. 特徴量は， 25 $\mathrm{ms}$ の言を $10 \mathrm{~ms}$ ずつシフトさせて生の音声から抽出した。

モデル学習の最適化アルゴリズムには Adam を 使用した. Adam における学習率 $\operatorname{lr}$ は，学習率パラ メータ $k$, 注意機構の出力次元 $d_{\text {model }}$, 学習ステップ 数 step，ウォームアップパラメータ warmup_step を表 2 多言語モデルの事前学習と fine-tuning におけるパラ メータ設定. 学習とデコードには ESPnetツールキット [26]を使用した。

用いて， $l r=k \cdot d_{\text {model }}^{-0.5} \cdot \min \left(\right.$ step $^{-0.5}$, step $\cdot$ warmup_step $\left.^{-1.5}\right)$

で表される。

学習を高速化するため，多言語モデルの学習に は TSUBAME 3.0 スーパーコンピュータ1)を用いた.学習の並列処理に Pytorch のパッケージ2)を使用し,合計 40 基の NVIDIA TESLA P100 GPU を搭載した 10 台の計算ノード上で多言語モデルを学習させた。多言語モデルの事前学習と fine-tuning におけるパラ メータ設定を表 2 に示す. 多言語モデルや日本人英語モデルの学習とデコードには ESPnet ツールキッ ト [26]を使用した。

1) https://www.gsic.titech.ac.jp/en/tsubame

2) https://pytorch.org/docs/stable/distributed.html
表 3 日本人英語音声を直接学習させたモデル (Directly trained), 英語を事前学習させたモデル (Monolingual), 英語と日本語を事前学習させたモデル (Bilingual), 多言語を事前学習させたモデル (10-lingual/42-lingual) の各話者における性能比較.

表 4 検証セット (dev) とテストセット (test) 全体で算出 した CER と WER の比較.

## 4.3 性能評価

提案手法の有効性を検証するため，日本人英語を 直接学習させたモデル，英語を事前学習させたモデ ル，英語と日本語を事前学習させたモデルと性能を 比較した．英語や日本語を用いた事前学習には，多言語モデル学習データにおける英語と日本語のサブ セットを用いた. モデル性能の評価指標は CER と WER である.

## 5 結果

日本人英語音声を直接学習させたモデル，英語を 事前学習させたモデル, 英語と日本語を事前学習 させたモデル，提案手法の各話者に対する CER と WERを表 3 に示す. また，検証セットとテストセッ ト全体における CER と WER の比較を表 4 に示す.事前学習は, 日本人英語音声認識におけるモデルの 性能を大幅に改善した. 日本人英語音声を直接学習 させたモデル，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルのテストセット における CERはそれぞれ 33.5，11.2，10.7であった。

また, 事前学習させたモデルの中で, 多言語を学習させた 10 言語モデルと 42 言語モデルは，英語や日本語で事前学習させたモデルの性能をさらに上回った.これにより, 多言語から学習した広範な音声表現知識の適応が, 日本人英語音声認識に有効で あることが分かった。

さらに, 10 言語モデルと 42 言語モデルを比較し たところ, 10 言語モデルが高い認識性能を示した. 42 言語モデルが学習した音声表現は，モデルのパラ メータ数に対して広範であり，対象言語の音声認識能力を損ねた可能性がある.

## 6 おわりに

本稿では, 多言語モデルを日本人英語音声認識に適応させる転移学習アプローチを提案した. Conformer と Transformer を用いて構築した end-toend 音声認識モデルに多数言語の音声を事前学習さ せ，日本人英語音声で fine-tuning した. 有効性検証 のため, 日本人英語を直接学習させたモデル，英語 を事前学習させたモデル，英語と日本語を事前学習 させたモデルと性能を比較した. その結果，多数の 言語を事前学習させたモデルは，日本人英語音声を 直接学習させたモデルの性能を大幅に改善した. ま た，提案手法は，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルの性能を押し 並べて上回った.これらの結果より, 多数の言語か ら学習させた音声表現の適応が, 日本人英語音声認識に有効であることが分かった．今後は，多種類の 言語が持つ特性を構造化し, 日本人英語音声認識に 対して効果的に活用する方法を検討する。

## 謝辞

本研究は，JSPS 科研費 $20 \mathrm{H} 00095$ の助成を受けた ものである.

## 参考文献

[1] T. Hori, S. Watanabe, Y. Zhang, and W. Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Proceedings of Interspeech, pp. 949-953, 2017.

[2] A. Zeyer, K. Irie, R. Schlüter, and H. Ney. Improved training of end-to-end attention models for speech recognition. In Proceedings of Interspeech, pp. 7-11, 2018.

[3] C. Chiu, T. N. Sainath, Y. Wu, R. Prabhavalkar, P. Nguyen, Z. Chen, A. Kannan, R. J. Weiss, K. Rao, E. Gonina, N. Jaitly, B. Li, J. Chorowski, and M. Bacchiani. State-of-the-art speech recognition with sequence-to-sequence models. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4774-4778, 2018.

[4] N. F. Chen, D. Wee, R. Tong, B. Ma, and H. Li. Large-scale characterization of non-native mandarin chinese spoken by speakers of european origin: Analysis on icall. Speech Communication, Vol. 84, pp. 46-56, 2016.

[5] N. T. Vu, D. Imseng, D. Povey, P. Motlicek, T. Schultz, and H. Bourlard. Multilingual deep neural network based acoustic modeling for rapid language adaptation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7639-7643, 2014.

[6] S. Tong, P. N. Garner, and H. Bourlard. An investigation of deep neural networks for multilingual speech recognition training and adaptation. In Proceedings of Interspeech, pp. 714-718, 2017.

[7] S. Dalmia, R. Sanabria, F. Metze, and A. W. Black. Sequencebased multi-lingual low resource speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4909-4913, 2018.

[8] J. Cho, M. K. Baskar, R. Li, M. Wiesner, S. H. Mallidi, N. Yalta, M. Karafiát, S. Watanabe, and T. Hori. Multilingual sequenceto-sequence speech recognition: Architecture, transfer learning, and language modeling. In IEEE Spoken Language Technology Workshop (SLT), pp. 521-527, 2018.

[9] S. Watanabe, T. Hori, and J. R. Hershey. Language independent end-to-end architecture for joint language identification and speech recognition. In IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 265-271, 2017.

[10] W. Hou, Y. Dong, B. Zhuang, L. Yang, J. Shi, and T. Shinozaki. Large-scale end-to-end multilingual speech recognition and language identification with multi-task learning. In Proceedings of Interspeech, pp. 1037-1041, 2020.

[11] R. Duan, T. Kawahara, M. Dantsuji, and H. Nanjo. Cross-lingual transfer learning of non-native acoustic modeling for pronunciation error detection and diagnosis. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 391-401, 2020.

[12] M. Matassoni, R. Gretter, D. Falavigna, and D. Giuliani. Nonnative children speech recognition through transfer learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6229-6233, 2018.

[13] D. Bukhari, Y. Wang, and H. Wang. Multilingual convolutional, long short-term memory, deep neural networks for low resource speech recognition. Procedia Computer Science, Vol. 107, pp. 842-847, 2017.

[14] A. Kannan, A. Datta, T. N. Sainath, E. Weinstein, B. Ramabhadran, Y. Wu, A. Bapna, Z. Chen, and S. Lee. Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model. In Proceedings of Interspeech, pp. 2130-2134, 2019.

[15] T. Sercu, G. Saon, J. Cui, X. Cui, B. Ramabhadran, B. Kingsbury, and A. Sethy. Network architectures for multilingual speech representation learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5295-5299, 2017.

[16] S. Toshniwal, T. N. Sainath, R. J. Weiss, B. Li, P. Moreno, E. Weinstein, and K. Rao. Multilingual speech recognition with a single end-to-end model. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4904-4908, 2018.

[17] A. Datta, B. Ramabhadran, J. Emond, A. Kannan, and B. Roark. Language-agnostic multilingual modeling. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 8239-8243, 2020.

[18] K. Knill, M. Gales, K. Kyriakopoulos, A. Malinin, A. Ragni, Y. Wang, and A. Caines. Impact of asr performance on free speaking language assessment. In Proceedings of Interspeech, pp. 1641-1645, 2018.

[19] A. Gulati, J. Qin, C. Chiu, N. Parmar, Y. Zhang, J. Yu, W. Han, S. Wang, Z. Zhang, Y. Wu, and R. Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Proceedings of Interspeech, pp. 5036-5040, 2020.

[20] L. Dong, S. Xu, and B. Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5884-5888, 2018.

[21] S. Kim, T. Hori, and S. Watanabe. Joint ctc-attention based end-toend speech recognition using multi-task learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4835-4839, 2017

[22] H. Bu, J. Du, X. Na, B. Wu, and H. Zheng. Aishell-1: An opensource Mandarin speech corpus and a speech recognition baseline. In 2017 20th Conference of the Oriental Chapter of the International Coordinating Committee on Speech Databases and Speech I/O Systems and Assessment (O-COCOSDA), pp. 1-5, 2017.

[23] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4218-4222, 2020

[24] K. Maekawa. Corpus of spontaneous Japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[25] Y. Liu, P. Fung, Y. Yang, C. Cieri, S. Huang, and D. Graff. Hkust/mts: A very large scale Mandarin telephone speech corpus. In International Symposium on Chinese Spoken Language Processing, pp. 724-735, 2006.

[26] S. Watanabe, T. Hori, S. Karita, T. Hayashi, J. Nishitoba, Y. Unno, N. Enrique Yalta Soplin, J. Heymann, M. Wiesner, N. Chen, A. Renduchintala, and T. Ochiai. ESPnet: End-to-End Speech Processing Toolkit. In Proceedings of Interspeech, pp. 2207-2211, 2018 .


# BERT を利用した日本語小論文採点支援システムの検討

江島知優
岡山大学工学部
chihiro.100522@s.okayama-u.ac.jp
堀江遼河
岡山大学大学院自然科学研究科
ptmnøudx@s. okayama-u.ac.jp
竹内孔一
岡山大学大学院自然科学研究科
takeuc-k@okayama-u.ac.jp

## 1 はじめに

記述式問題に対する自動採点は近年の大学入試改革等で需要が高まっているのに伴い，様々な手法 が提案されている．英語の文章や外国人が書いた日本語の文章を対象とした研究としては佐藤 [1] のト ランズダクティブ学習や平尾ら [2] の作文自動評価 システムがある. 佐藤は記述式答案の自動採点は学習の過程で評価データの情報を明示的に利用する トランズダクティブ学習を用いることが適切であ ると主張し, 英語で書かれた記述式答案のデータ セットである ASAP-SAS を用いてクラスタリングを したモデルとクラスタリングをしていないモデル およびランダムのモデルとの比較を行い，クラス タリングをしたモデルの精度が最も高いことを示 した. 平尾らは外国人の日本語学習者が書いた作文を集めた GoodWriting データセットを利用して全体・内容・構成・言語の 4 観点で BERT (Bidirectional Encoder Representations from Transformers) [3] を用い た手法と従来の素性を用いた手法との比較を行い， BERTを用いた手法が構成以外の 3 観点で精度が高 いことを示した.

日本人が書いた日本語文章を対象とした研究と しては船山 [4] の確信度推計手法による研究, 内田 ら [5] の項目反応理論に基づく能力推定値を活用し た手法などが挙げられる。船山は代々木ゼミナール の国語長文読解問題データセットを用いて事後確率を用いた確信度推定手法と TrustScore を用いた確信度推定手法を検証し，TrustScore を用いた手法の ほうが精度が高く，また、学習に利用するデータ数 を減らした場合でも TrustScore を用いた手法の精度 が維持されることを示した. 内田らは項目反応理論 （IRT）を用いて客観式問題から求められる受験者の能力推定値を組み込んだ新たな深層学習自動採点モ デルを提案し $\mathrm{t}$ 検定の結果提案手法が従来手法より 有意水準 5\%で高い精度を示したことを確認した。他にも，清野ら [6] による Neural Attention モデルや，大野ら [7] による IDF の評価手法がある。

このように記述式問題の自動採点に対しては多く の研究が行われているがその多くは 100 文字以下の いわゆる短答式記述問題と呼ばれるものを対象と している. 本研究では， 100 文字を超える小論文を ターゲットとして BERT を用いたモデルを作成し，性能の分析を行った。

## 2 小論文自動採点システム

本研究では 1 点から 5 点の各整数値の値をクラス としたクラス分類問題に取り組んだ。図 1 に作成し た BERT モデルの構造を示す. BERT モデルでは，小論文を符号化し冒頭に [CLS] トークンを，末尾に [SEP] トークンを挿入したものが入力として与えら れる. 符号化された本文の長さがモデルが読み取れ る系列長を超えた場合，本文の最大系列長を超えた 部分は削除される。図中の $\mathrm{E}$ は大力の埋め込み表現，を，C [CLS]トークンの隠れべクトルを，Ti は i 番目のトークンの隠れべクトルをそれぞれ表して いる. 今回のモデルでは BERT の最終層の出力は各 クラスに対するべクトルであり，最大のものを推定 した点数としている.

## 3 評価実験

本章では評価実験に使用した小論文やその設問内容，実験結果を説明する。

図 1 BERT を利用した小論文自動採点システム

## 3.1 小論文データ

小論文データとして講義の受講者の解答データを 用いている. 講義は「グローバリゼーションの光と 影」,「自然科学の構成と科学教育」,「東アジア経済 の現状」，「批判的思考とエセ科学」の 4 種類である. これらの答案は人手で 1 点から 5 点までの 5 段階で 採点されており，その点数を正解データとする.

## 3.2 小論文の設問内容

本節では今回の実験に利用した小論文の設問内容 を示す.

講義名 : 「グローバリゼーションの光と影」

問 1 「グローバリゼーションは、世界、または 各国の所得格差をどのように変化させましたか。ま た、なぜ所得格差拡大、または縮小の現象が現れた と考えますか。300 字以内で答えなさい。」

問 2 「多国籍企業は、グローバリゼーションの 進展の中でどのような役割を果たしましたか。多国籍企業の具体例をあげて、250 字以内で答えな さい。」

問 3 「文化のグローバリゼーションは、私たち の生活にどのような影響を与えましたか。また、あ なたはそれをどのように評価しますか。具体例をあ げて、300 字以内で答えなさい。」

講義名：「自然科学の構成と科学教育」

問 1 「科学的」とはどのような条件をみたす必要があるのか 100 字以内で答えよ。」

問 2 「講義で解説した自然科学の二つの側面を 参考に、自然科学が果たす役割について 400 字以内 で論ぜよ。」

問 $3\lceil\lceil$ Scientific and Technological Literacy for All」 の狙いを考慮し、これからの科学教育はどうあるべ
きか 500 字以上 800 字以内で論ぜよ。」

講義名：「東アジア経済の現状」

問 1 「日中韓の相互依存の強さを、データを示 して簡潔に述べなさい。また、相互依存を示す経済協力・協業の具体例をあげ、合わせて 300 字以内で 答えなさい。」

問 2 「「中所得国の罠」の概略を説明し、どうし たらそれを乗り越えることができるか 250 字以内で 説明しなさい。」

問 3 「日中韓には少子化や環境問題など 3 国に 共通する経済問題がある一方、それぞれの国に特有 の課題も多くあります。それぞれの国が抱えている 特徴的な経済問題をあげ、東アジアにおける協調と 対立の構造を 300 字以内で説明しなさい。」

講義名：「批判的思考とエセ科学」

問 1 「「批判的思考」の定義に関連して、「批判的思考」に関する研究で共通に見出される「批判的思考」の 3 つの観点を述べなさい。 100 文字。」

問 2 「講義で紹介した右のグラフを根拠に「長生きするためにはカラーテレビを多く所有すれば良 い」と主張することが妥当ではない理由を 400 字以内で述べなさい。ただし、このようなグラフが形成 される理由の説明を加えること。」

問 3 「各自で「ニセ科学」の可能性があると思 う実例を挙げ、その実例が「ニセ科学」であること を証明するためには、どのような方法で、どのよう な証拠を得て、どのように説明する必要があるのか を論じなさい。また、その実例がニセ科学でも信じ てしまいやすい要因は何かについても考察し、説明 しなさい。ただし、講義で扱った事例以外のものを 挙げること。 500 字以上 800 字以内。」

## 3.3 実験設定

BERT の言語モデルは Mecabを利用した日本語訓練済みの HuggingFaceBERT ${ }^{1}$ を使用した。このモデ ルの語彙サイズは 32,000 である. 今回の害験では 最大シーケンス長とバッチサイズの組み合わせを 2 つ用いた. 1 つは最大シーケンス長が 512 , バッ チサイズが 16 であり，もう 1 つは最大シーケンス 長が 400 ，バッチサイズが 32 である．また，小論文 データの数は「グローバリゼーションの光と影」が 328,「自然科学の構成と科学教育」が 327 , 「東アジ

1) https://github.com/huggingface/transformers

ア経済の現状」および「批判的思考とエセ科学」が 290 であり，そのうち 50 をテストデータ，残りを 訓練データとして利用している. 訓練データのうち 50 個をValidation_dataとしている.

## 3.4 評価尺度

本節では今回作成したシステムの精度を測る方法を示す. 人手で採点した結果と採点支援システ ムの出力した結果を入力とし, Accuracy および重 み付きカッパ係数 (QWK: Quadratic Weighted Kappa) での評価を行う. Accuracy の計算式を式 (1)(2) に 示す.

$
\begin{aligned}
e q(a, b) & = \begin{cases}1 & (a=b) \\
0 & (a \neq b)\end{cases} \\
\text { Accuracy } & =\frac{\sum_{i=1}^{n} e q\left(A_{i}, B_{i}\right)}{n}
\end{aligned}
$

$n$ は小論文のデータ数であり $A_{i}, B_{i}$ は $i$ 番目の点数 データである. Accuracy が 1 に近いほど一致率が 高いと言える。

## 3.5 実験結果

小論文の各設問に対してValidation_Accuracy (Val_Acc) とTest_Accuracy (Test_Acc) および QWK をそれぞれ算出した. 表 1 には最大シーケンス長 512，バッチサイズ 16 で実験した結果を，表 2 には 最大シーケンス長 400 , バッチサイズ 32 で実験を 行った結果を示している. 表中では各講義名につい て「グローバリゼーションの光と影」を「グローバ ル」,「自然科学の構成と科学教育」を「自然科学」,「東アジア経済の現状」を「東アジア」，「批判的思考 とエセ科学」を「批判的思考」とそれぞれ表現して いる

表 1 バッチサイズ 16 でのシステムの評価

表 2 バッチサイズ 32 でのシステムの評価

## 3.6 分析

Accuracy の結果から BERT は従来研究されてい た短答式記述問題に加え, 500 字以上 800 字以下と いった長文記述問題に対しても 5 クラス分類の期待値である 0.2 より高い精度で推定できている. し かし， QWK の値を確認すると特にバッチサイズ 16 の場合に 0.000 といった值が多く見られる. これは BERT の推定値がすべて同じ值になったことを示 す. BERT の問題点として 1 点などの極端な点数を 推定することが難しく, 平均値や最頻値に近い値を 予測する傾向が強いことが挙げられ，この問題点に よりバッチサイズ 16 の QWK が低くなってしまっ たと考えられる. バッチサイズを 32 に変更するこ とで「東アジア経済の現状」や「批判的思考とエセ 科学」のQWK の値には改善がみられる一方で，「自然科学の構成と科学教育」等の QWK 値は低いまま である.このようにバッチサイズの変更によって推定の精度は大きく変動するため今後も検討が必要で ある。

## 4 おわりに

本研究では, HuggingFaceBERT を用いた小論文自動採点システムを作成しAccuracy および QWK に よる性能評価を行った. 平均値に近い値を予測して しまうといった BERT の特性上，推測値がすべて同 じ値になってしまうという問題点も見られたがバッ チサイズを大きくする等の工夫によって精度を改善 することが可能であり，BERT が小論文自動採点に 有効であることを示した.

## 謝辞

本研究の遂行にあたって岡山大学運営費交付金機能強化経費「小論文、エッセイ等による入学試験で の学力の三要素を評価するための採点評価支援シス テムの開発導入」の助成を受けた.

## 参考文献

[1] 佐藤俊. 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習. 言語処理学会第 26 回年次大会発表論文集, 2020.

[2] 平尾礼央, 新井美桜, 嶋中宏希, 勝又智, 小町守. 複数項目の採点を行う日本語学習者の作文自動評価シス テム. 言語処理学会第 26 回年次大会発表論文集, pp. 1181-1184, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] 舟山弘晃. 記述式答案自動採点のための確信度推定手法の検討. 言語処理学会第 26 回年次大会発表論文集, 2020.

[5] 内田優斗, 宇都雅輝. 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[6] 清野光雄竹内孔一.ニューラルネットワークを利用し た日本語小論文の自動採点の検討. FIT2019 講演論文集, 2019.

[7] 大野雅幸, 泉仁宏太, 竹内孔一, 小畑友也, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 小論文自動採点 データ構築と理解力および妥当性評価手法の構築. 言語処理学会第 24 回年次大会, pp. 368-371, 2018.


# 修得語彙量の分布の考慮による付随的語彙学習に適した 読解用テキストの選択

江原遥
静岡理工科大学 情報学部
i@yoehara.com

## 1 はじめに

応用言語学分野において，外国語の語彙獲得にお ける付随的学習 (incidental learning) とは, 「語彙習得 が主目的ではない活動の中で，偶発的に語彙が習得 されること」([1]，p.21）である．例えば，テキスト 中に出てきた分からない単語の意味を推測しながら 外国語の語彙を学習する手法がこれにあたる．付随的学習に対して，「語彙習得を主目的とする活動の 中で，語彙を学習すること」([1]，p.21）を「意図的学習」(intentional learning) と呼ぶ. 例えば，いわゆ る単語帳を利用する方法など，単語リストを記憶す ることで外国語の語彙を獲得する方法がこれにあた る. 付随的学習は意図的学習に比べ，外国語の語彙量を増加させるには非効率である一方，文脈の中の 語の使われ方など深い理解を促すとされている.

効率的な付随的学習のためには，学習者にあった テキストを用いることが重要である。既習語のみか らなるテキストでは，新たな語彙修得は起こらな い。一方，理解できない単語が多すぎれば，テキス トの読解そのものに失敗するリスクが高く，付随的学習そのものが起こりづらい. [1] では [2]を参考 に，「目安として、テキスト中の単語のうち、95\%〜 98\%が既知語であれば、文脈から自然に語彙を学習 することが可能になると言われています」と報告 されている（p.22）。言い換えれば，既知語比率が 95\%〜98\%に入っていれば，テキスト中の既知語以外の語（未習語）を効率的に付随的学習できること が応用言語学分野における知見として示されてい る. この結果は, 自然言語処理分野で応用言語学分野の成果として引用されることの [3] ことの多い 「既知語比率がこの範囲に入っていればテキストが 読解できる」[4]という結果よりも，さらに踏み込ん だ語彙修得に直結する結果である.

応用言語学分野でのこの結果は，効率的な付随的学習のためのテキスト選択が投機的な性質を持つ問題である事を示している. 既知語比率の小さいテキ ストを選べば付随的学習による修得語彙量は増える だろうが，既知語比率が間値を下回ると，学習者が テキストを読み進めることができず，付随的学習が 起こらず，修得語彙量が著しく低くなる. 従って，戦略としては，学習者が読解に失敗するリスクを一定に抑えながら，その中で，修得語彙量が最も多そ うなテキストを選択する事が求められる。

応用言語学分野では, この戦略を, 学習者やテキ ストの全体的な傾向に基づいて実現している：具体的には，「学習者は均衡コーパスでの単語頻度の高 い順に語を知っている」という仮定を置くことに よって，学習者やテキストをレベル分けし，学習者 に合ったテキストを選択している。こうした手法は 全体的な傾向はつかめてはいるものの，個々の学習者やテキストの特性を考慮できない。また，修得語彙量がどの程度になるかの予測もできない.

一方，自然言語処理分野やデータマイニング分野 では，こうしたテキスト選択の問題はあまり扱われ ていない. しかし, 語学学習者の既知語判定の問題 については，読解支援やテキスト簡単化の観点か ら，「レベル」という一次元的な尺度に頼らず，個々 の学習者の特性を考慮した精緻な数理モデル化がな されている $[5,6,7,8,9]$. 例えば，どの学習者がどの 単語をどの程度の確率で知っているかを，個々の学習者の得意分野, 単語の意味, 人間の記憶の長さ, といった様々な点を考慮して，かなり正確に予測で きるようになってきている $[10,11,12,13]$.

本稿では，前述の戦略を機械学習の観点から数理的に定式化し，ある学習者があるテキストを読んだ ときの付随的学習による修得語彙量の確率分布を求 める手法を提案する. これにより, 学習者の特性や テキストの特性を考慮し得る，付随的学習のための テキスト選択手法を可能にする。

## 2 問題の例

動機づけのため，例を挙げることで，できるだけ 平易に解こうとしている問題を説明する. [a,b,c,d] の 4 種の単語からなるテキストを考える。頻度は， それぞれ $[93,3,3,1]$ とする. また，今，ある学習者 に注目して, この学習者に対する過去の成績情報な どから，[a,b,c,d] の各単語を知っている確率を機械学習などを使って予測し，入手できるものとし，そ れぞれ $[0.9,0.6,0.5,0.2]$ とする.

この時，応用言語学のテキストカバー率の考え方 によれば，テキスト中の $95 \%$ 以上の単語を知って いれば，テキストを読むことで知らない単語を学習することができる．具体的に，テキストカバー 率が $95 \%$ を超える場合を列挙してみよう．この 例では，単語 a が圧倒的に多いが，単語 a だけで 95\%を超えることはできない，閾値を超えるのは，例えば， $\{\mathrm{a}, \mathrm{b}\} を$ 知っていて，\{c,d\}を知らない場合 があげられる。知っている単語をだけに注目して 書くと，閾値を超える場合は，\{a,b\},\{a,c\}，\{a,b,d\}， $\{a, c, d\},\{a, b, c, d\} の$ 場合である.

さて，この学習者が知っている単語が $\{a, b\}$ にな

考えていることに注意すると，\{a,b\}になる確率は， $0.9 \times 0.6 \times(1-0.5) \times(1-0.2)$ と計算できる. この時，前述の応用言語学の知見 $[1,2]$ は, この学習者がこ のテキストを読むことで，知らない単語 $\{c, d\}$ を自然に修得できるということを示している．したがっ て，知らない側の単語に注目していけば，このテキ ストを読むことで, この学習者が単語 $\{c, d\}$ を新たに 修得できる確率が， $0.9 \times 0.6 \times(1-0.5) \times(1-0.2)$ で あるとも考えることができる．他の場合についても 同様に考えられる．学習者が知っている単語が $\{\mathrm{a}, \mathrm{c}\}$ である確率は，学習者がこのテキストを読むことに よって新たに修得できる単語が $\{\mathrm{b}, \mathrm{d}\}$ である確率と も読み替えられる。

こうして,すべての場合について考え,この学習者 がこのテキストを読むことで $[\mathrm{a}, \mathrm{b}, \mathrm{c}, \mathrm{d}]$ の各単語を修得できる確率を集計していくと， [0,0.18,0.27,0.576] になる。このうち，単語 aについては修得できる確率が 0 になっているが，これは，単語 $\mathrm{a}$ を知らなけ ればそもそもテキストが読めず付随的学習が起こら ないので，付随的学習によって単語 a が修得できる ことはあり得ないことを示している。

さらに，この集計した確率値から，この学習者が
このテキストを読むことで修得できる語数の分布 も求めることができる. 例えば，3単語を修得でき

から， $0.18 \times 0.27 \times 0.576$ のように計算できる. こう して修得できる語数の分布が求められれば，そこか ら，修得できる語数のブレ（分散）も計算できる.修得できる語数のブレが大きいということは，確率的には修得できる語数が少なくなることがあり得る ということである. すなわち, 同程度の語数が修得 できるテキストなら，より修得できる語数のブレが 少ないもの（分散が小さいもの）を選ぶ方が，確実 に語数を増やせる分，学習者にとっては得になる. すなわち，修得できる語数の分布における分散の值 は，学習者にとっての「リスク」と考えることがで きる. このように，修得できる語数の分布が求まれ ば，修得できる語数の平均值のみならず，分散を考慮することで，確実に修得できる語数を増やせるよ うに「リスク」を考慮したテキスト選択が可能と なる.

## 3 提案する定式化

前節の内容を定式化する．今， $I$ 種類の語彙 $\left.\{v_{1}, \ldots, v_{I}\right.\}$ を考え，注目しているテキスト中の $v_{i}$ の個数を $n_{i}$ とする. また, 注目している学習者が $v_{i}$ を知っている確率を $p_{i}$ で表す.この時，テキストカ バー率の間値を $\tau$ とする（前節の例では $\tau=0.95 ）$. この時，テキストカバー率が閾值を超える確率は,次のように表せる。まず，テキスト中の総単語数は $N=\sum_{i=1}^{I} n_{i}$ と表せる. また, 学習者が単語 $v_{i}$ を知っ ている場合に 1 ，そうでなければ 0 になる次の確率変数を考える．ただし， $\left.\{Z_{1}, \ldots, Z_{I}\right.\}$ は互いに独立 とする。

$
Z_{i} \sim \operatorname{Bernoulli}\left(p_{i}\right)
$

この時, 学習者が知っている単語のテキスト中の出現数は $\sum_{i=1}^{I} Z_{i} n_{i}$ であるから，テキストカバー率は $\frac{\sum_{i=1}^{I} Z_{i} n_{i}}{N}$ と表せる. したがって，テキストカバー率 が閾値を超える確率は $P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ と表せる.

学習者がテキストを読む付属的学習により語 $v_{i}$ を新たに修得する確率は，次のように定式化でき る.テキストを読む付属的学習が起こるためには， テキストが読める必要があるので，テキストカバー 率が間値を超えていなければならない，さらに，語 $v_{i}$ が新たに修得されるためには，学習者は語 $v_{i}$ を 知らないことが必要である．したがって，この確率

は, $P\left(Z_{i}=0, \sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ と表せる. この確率を $q_{i}$ とおく.

さらに，このテキストからの付属的学習による修得語数の分布を求めたい.

$
A_{i} \sim \operatorname{Bernoulli}\left(q_{i}\right)
$

とすると, 修得語数の確率変数 $A$ は, $A=\sum_{i=1}^{I} A_{i}$ と 表せる.したがって，A の確率分布を求めれば，修得語数の分布も求まる. ただし, $\left.\{A_{1}, \ldots, A_{I}\right.\}$ は互 いに独立とする。

## 4 解法

前節において，テキストカバー率が閾値を超 える確率 $P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ や, 修得語数の分布 $A=\sum_{i=1}^{I} A_{i}$ を求めるためには, 異なる成功確率を 持った互いに独立な二項分布の和からなる確率変数 の分布を求める必要がある. 成功確率が等しければ 二項分布の和は再生性を持つが，成功確率が異なる ため，この和は二項分布にはならない。こうした分布は，ポアソンニ項分布と呼ばれる.

$P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ については，動的計画法を解く ことで求める方法を過去に提案した $[3,14]$. 簡潔 に言えば， $\sum_{i=1}^{I} Z_{i} n_{i}$ が整数であることを利用して， $N \tau$ 以上という条件を，「\{n $\left.n_{1}, \ldots, n_{I}\right.\}$ の部分和が丁度いくつ」という部分和問題に帰着させる. この 部分和問題を, $\left.\ulcorner\left.\{n_{1}, \ldots, n_{i}\right.\}\right.$ までの数で丁度いくつ になるものを作れる確率」からなる DPテーブルに よる動的計画法で解ける. 今回は，それに加えて， $P\left(Z_{i}=0, \sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ を求める必要がある. こ ちらは, 動的計画法の DP テーブルの各セルに, そ のセル時点での $\left.\{Z_{1}, \ldots, Z_{I}\right.\}$ の確率値の集計値を記録する拡張を施すことで計算した。なお，ポアソ ン二項分布は，平均と分散を求めるだけであれば， $\sum_{i=1}^{I} p_{i}$ が平均, $\sum_{i=1}^{I} p_{i}\left(1-p_{i}\right)$ が分散となる. 後述 の図 2 を書く際には，この性質を用いて平均と分散 を求めた。

## 5 実験

学習者が知っている単語については，著者がクラ ウドソーシングを用いて過去に公開したデータが ある [11]. 具体的には, クラウドソーシング上の学習者（TOEIC の受験経験があるものに限定）100人 に, 100 問からなる語彙サイズ計測用の単語テスト Vocabulary Size Test(VST) (VST)[15]を受けてもらっ た結果のデータセットである. VST は多肢選択型の

図 1 予測される修得語彙量の分布の例.

テストであり，英文中に埋め込まれた単語の言い換 えとして適切な選択肢を 4 つの選択肢の中から選択 するテストである。語形などから答えが分かってし まわないように，選択肢はすべて文中の文字列をそ のまま選択肢に置き換えても文法的には問題がない 選択肢になるように工夫されている。

単語テストの結果を使って, 各学習者が所与の単語を知っているかどうかを判別する確率的識別器を 作成し, この確率値を式 1 における $p_{i}$ として用い た. 二值判別問題であるため, ニューラルな識別器 を用いることもできるが，今回は識別性能を向上さ せることが目的ではないので，単純なロジスティッ ク回帰を用いて識別器を構成した. 素性としては, COCAコーパスの頻度, British National Corpus (BNC) コーパスの頻度を用いた. ただし，頻度は $-\log ($ 頻度) の形に直して素性として用いた。テキストとし ては，Brown Corpusを用いた。テキスト長さが実験結果に影響しないように, Brown Corpus の 500 件の 各テキストのうち，先頭から 300 語を切り出し，実験に用いた.この 500 件のテキストから, ある学習者の付属的学習に適したテキストを選択すること が，我々の目的である.

付随的学習はテキストを読める必要があるので,好成績の学習者に起こりやすい。まずは, 最も成績 の良かった学習者 (VSTで 96 問正解)を対象に実験 を行った. 図 1 にこの学習者があるテキストを読ん だ時の修得語彙量の分布を 1 つ示す. 図 1 より, 修得語彙量の分布には幅があり，単純に期待値が高い テキストを選べばよいわけではないことがわかる.

各テキストを読む際に予測される修得語彙量の期待値と分散を同時に考慮するため図 2 に図示した.各点は Brown Corpus の各テキストである. 修得語

図 2 各テキストの修得語彙量分布の期待値と分散.

彙量を学習者にとっての利得と考えると, 修得語彙量の期待値が同じであれば，できるだけ修得語彙量 の分散が少ないテキストを選択する方が，確実に語彙を増やせるので，学習者にとっては得となる。す なわち, 図 2 の左上部分が, この学習者にとって最 も効率的に付随的学習を行える文書群である. この ように, 図 2 の縦軸は利得, 横軸の修得語彙量の分散はリスクとみなせ，図 2 は，経済分野で多用され るリスクとリターンの関係図とみなせる。

図 2 のようなリスクとリターンの関係図におい ては, 左上部分が最も低リスクで利得を増やせる選択であり，この部分を効率的フロンティアという.図 2 では，500 件あった選択肢の中から，凸包を用 いて効率的フロンティアに属するテキスト 5 件が選択された. すなわち, 学習者の付随的学習に適した テキストを $1 / 100$ に絞ることができた。この 5 件の 中でどのテキストを選択するかは，学習者がどの程度のリスクをとって語彙量を増やしたいかによって 変わるので学習者に任せる方法が一案である。

効率的フロンティアに含まれるテキストは学習者によってどの程度変わるのだろうか？100 人のう ち, 成績の良い 30 人に対して, 同様に各学習者が 各テキストを読んだ場合に予測される修得語彙量の 分布から効率的フロンティアを求めた. その結果, 10 人以上で，効率的フロンティアに選ばれたテキス トが 7 件あり, 最も多いもので 14 人の効率的フロ ンティアに含まれたテキストがあった. この結果か ら，効率的フロンティアに含まれるテキストは比較的安定していることが見て取れる.

## 6 関連研究と展望

学習者が各単語を知っている確率 $p_{i}$ については,本稿では単語テストを用いて推測する方法を用いた が，スマートフォンの語彙学習アプリなどからも推測することが可能である．例えば，語彙学習と関係 が深い忘却曲線を考慮して，時間によって忘却する 度合いをもモデル化する研究が近年複数なされてい る $[12,13]$. こうした研究では，例えば最後に単語 を学習してからの時間などを $p_{i}$ のモデルに組み入 れ，時間がたつと $p_{i}$ が低くなるようにモデル化し ており，実データとうまくフィットしたという報告 もなされている。こうした手法を組み入れれば，語彙学習アプリのログから直接学習途中の各単語に対 して，各単語を知っている確率 $p_{i}$ が算出できる.

また，今回の文書選択では，「次に付随的学習に 用いるテキスト」を選択したが，将来的な利得の総和を考慮するアプローチも考えられる。このアプ ローチは強化学習でうまく記述できる. 今回のよう なリスクを考慮した選択も，累積報酬の期待值だけ ではなく分布全体の形を考慮して強化学習を行う分布強化学習の理論面で研究されている [16,17].

## 7 おわりに

本研究では，付随的学習による語彙修得に適した テキストを選択するため，応用言語学の知見に基づ き，個々の学習者・個々のテキストに対して付随的学習によって修得される語彙量の推定値を算出する 手法を提案した. 修得語彙量を学習者にとっての利得と考えることで，金融工学などで使われる効率的 フロンティアの考え方を語彙学習支援の研究に導入 した. さらに，多くの学習者の効率的フロンティア に含まれる，付随的学習に適した「お得」なテキス トが存在することを実験的に示した.

今後の課題としては，単語修得アプリのログなど を用いた経時的な評価実験，将来的な利得分布を考慮できる分布強化学習の導入, 単語埋め込みべクト ル空間上の領域の考慮した多義語対応，一度に複数 のテキストを読む場合の複数テキストの選択を現代 ポートフォリオ理論 [18] や整数計画問題を絡めて行 うことなどが挙げられる。

## 謝辞

本研究は JST 戦略的創造研究推進事業 ACT-X （JPMJAX2006）の支援を受けた。

## 参考文献

[1] 中田達也. 英単語学習の科学. 研究社, 2019.

[2] Paul Nation. How much input do you need to learn the most frequent 9,000 words? 2014. Publisher: University of Hawaii National Foreign Language Resource Center.

[3] Yo Ehara. テキストカバー率の確率的拡張に基づく 語彙テストのみからの個人化読解判定. 2019.

[4] I. Nation. How Large a Vocabulary is Needed For Reading and Listening? Canadian Modern Language Review, Vol. 63, No. 1, pp. 59-82, October 2006.

[5] Yo Ehara, Issei Sato, Hidekazu Oiwa, and Hiroshi Nakagawa. Mining Words in the Minds of Second Language Learners for Learner-specific Word Difficulty. Journal of Information Processing, Vol. 26, pp. 267-275, 2018.

[6] John Lee and Chak Yan Yeung. Personalizing Lexical Simplification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 224-232, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[7] Chak Yan Yeung and John Lee. Personalized Text Retrieval for Learners of Chinese as a Foreign Language. In Proc. of COLING, pp. 3448-3455, August 2018.

[8] John Lee and Chak Yan Yeung. Personalized Substitution Ranking for Lexical Simplification. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 258-267, Tokyo, Japan, October 2019. Association for Computational Linguistics.

[9] John Lee and Chak Yan Yeung. Automatic prediction of vocabulary knowledge for learners of Chinese as a foreign language. In 2018 2nd International Conference on Natural Language and Speech Processing (ICNLSP), pp. 1-4, April 2018.

[10] Yo Ehara, Yusuke Miyao, Hidekazu Oiwa, Issei Sato, and Hiroshi Nakagawa. Formalizing Word Sampling for Vocabulary Prediction as Graph-based Active Learning. In Proc. of EMNLP, pp. 1374-1384, 2014.

[11] Yo Ehara. Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language Learners Using Crowdsourcing. In Proc. of LREC, May 2018.

[12] Burr Settles and Brendan Meeder. A Trainable Spaced Repetition Model for Language Learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1848-1858, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] Siddharth Reddy, Sergey Levine, and Anca Dragan. Accelerating human learning with deep reinforcement learning. In NIPS workshop: teaching machines, robots, and humans, 2017.

[14] Yo Ehara. Uncertainty-Aware Personalized Readability Assessments for Second Language Learners. In 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA), pp. 1909-1916, December 2019.

[15] David Beglar and Paul Nation. A vocabulary size test. The Language Teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[16] 牧野貴樹, 澁谷長史, 白川真一, 浅田稔, 麻生英樹, 荒井幸代, 飯間等, 伊藤真, 大倉和博, 黒江康明, others. これからの強化学習. 2016. Publisher: 森北出版.

[17]森村哲郎. 《第 11 回》リスク考慮型強化学習. 計測 と制御, Vol. 52, No. 9, pp. 818-823, 2013. Publisher: 公益社団法人 計測自動制御学会.

[18] Harry M Markowitz. Foundations of portfolio theory. The journal of finance, Vol. 46, No. 2, pp. 469-477, 1991. Publisher: JSTOR.

江原遥 静岡理工科大学 情報学部 i@yoehara.com


# 日本語ツリーバンクからの動詞格フレームの抽出

吉本 啓林テア・バトラー
東北大学
kei@compling. .jp
弘前大学
ajb129@hirosaki-u. ac. jp
}

プラシャント・パルデシ
国立国語研究所
prashant@ninjal.ac.jp

## 1 はじめに

外国人に対する日本語教育が日本社会において重要性を増しているのに対して, 中級以上の非母語学習者用辞書が存在しないことが日本語の学習と普及 にとって大きな障害となっている．発表者たちは日本語としては初めての本格的な統語・意味解析情報 を付加したコーパス (ツリーバンク) である NINJAL Parsed Corpus of Modern Japanese (NPCMJ) の構築を行ってきたが，学習者用辞書の根幹をなす コロケーションの情報をこれから抽出し, 日本語教育体制の不備を補うのに役立てることができる. 本発表では， 12 個の基本動詞を取り上げ，それらの格 フレームのパターンを NPCMJ の特性を生かして抽出, 分析し, 現実のテクストにどのような特徴があ らわれているかを考察する。続いて，日本語の基本動詞全体の格フレーム分析のためにどのような方法 が有効であるかについて検討を行う。

## 2 NPCMJ と基本動詞ハンドブック

NPCMJ は，国立国語研究所共同研究プロジェク トで開発中の，日本語として初めての本格的な文統語・意味解析情報をタグ付けしたコーパスである (Butler and Horn 2017, 吉本・パルデシ 2020).従来，日本語のコーパスは文を文節へと区切った上 で，形態素情報を中心とするアノテーションおよび せいぜいそれに文節間の係り受け情報を加えたもの しか存在しなかった. そのため, 文法研究者が興味 を持つ用例を検索したり，文法情報を抽出するのに は不十分であった。また，外国人に対する日本語教育に役立てるために日本語使用の実態を知りたいと 思っても，得られる知識は限定的であった。これに 対し, NPCMJ では文を句構造に分析した上で，さら に自動意味解析によって得られる述語論理式を利用 して，関係節による修飾等の非境界依存 (unbounded dependency) の関係にある語句間の関連づけも行え る.これにより，例えば関係節中の動詞と修飾され る主名詞との間の格フレーム関係までもが抽出可能
となる。

従来の言語学において, 統語論や意味論上の精密 な理論的研究は少量のデータや作例にもとづいて行 われ，これに対して，コーパスを利用した研究は語彙や形態論に限定される傾向が強かった.NPCMJ の登場により，一定量の実例に裏づけられた理論研究，言い換えれば言語研究における質と量の統合が 可能になる。これにより，日本語教育等の応用面に おいても新しい展開が期待される。

格名詞句，すなわち必須文法役割（主語，直接目的語および間接目的語) を果たす名詞句/助詞句は, NPCMJ においては, 格助詞による同定以外にも，文法役割を当該の句に直接タグ付けすることによって 同定する。日本語において必須文法役割を担う句に は必ずしも格助詞が明示的に付加されるわけではな く，助詞が脱落した裸の名詞句としてあらわれるこ とがある。また係助詞 (とりたて助詞) が付加され た場合，格助詞「が」と「を」は出現せず，「に」に ついては任意である. NPCMJ では,このような場合 を含む全てのデータに対して文法役割がタグ付けさ れている。また，日本語のテクスト中には主語や目的語の省略が頻出するが，NPCMJ ではそれらをゼ ロ代名詞としてタグ付けるので，この場合も格フレ 一ムは正確に把握されることになる。さらに，上記 のように関係節を伴う文等の非境界依存において， また主節中の主語や目的語に従属節中の非明示主語 が一致するコントロール構文においても，当該の文 の自動意味解析が行われることにより，必須文法役割を担う句と述語との関係を突き止めることができ る.このように, NPCMJ は, データにあらわれるす べての述語の格フレームを提供するという点で画期的なコーパスである。

NPCMJ は， 2021 年 1 月の時点で 40,831 文 (560,098 語) の現代日本語テクストのアノテーショ ンが終了し，ウェブ上で公開を行っている(注1). 2022 年 3 月のプロジェクト終了までに約 6 万文のアノテ ーションを完成させる予定である.
『基本動詞ハンドブック』は, 外国人による日本語の学習やその教育に役立てることを目的として,使用頻度の高い日本語基本動詞 125 語の重要な統語的, 意味的, 語彙的特徵を集積したインターネット

なる用法を持つ，いわゆる「多義語」と呼ばれるも のが多いが，『基本動詞ハンドブック』はそれら を, 項の数や格助詞による表示等の統語論的振舞い や意義特徴を手掛かりとして抽出した格フレームご とに分類していることに特色がある。『基本動詞八 ンドブック』は格フレームの他にも, 受動形の有無 やアスペクト等の文法的特徴, 意味拡張, 自他の対 をなす場合にはパートナーである自動詞/他動詞が 何であるか, また類義語との対比等, 基本動詞につ いて体系的に学ぶための便宜を提供している.

『基本動詞ハンドブック』は,『現代日本語書き言葉均衡コーパス (BCCWJ)』(Maekawa et al. 2014)を 利用してデータ収集を行っている. しかし, そのた め先に述べた理由によって, 各基本動詞の有する統語論的特徴について, 精度の高い情報を参照するに は至っていない. 特に，上記のように『基本動詞八 ンドブック』は統語・意味的なアプローチで格フレ ームを規定することにより多義の問題に対処しよう としているが，このことは，全ての述語に格フレー ムを網羅的にタグ付けした NPCMJ とは相性が良 い.

『基本動詞ハンドブック』の記述を NPCMJ を用 いて検証することにより, 前者がどれだけ現実の言語使用の実態をカバーしているかが解明でき，その ことはより精緻な情報を日本語の学習者や教師に提供することにつながると考えられる。

## 3 NPCMJ の用例の分析

## 3.1 概要

NPCMJ を利用した『基本動詞ハンドブック』所収 の動詞の本格的調查の前提として, 一部の動詞を選 んでパイロット・スタディを行った。その対象とし たのは, 以下の 12 個の動詞である. NPCMJ（2021 年 1 月現在）の検索によって得られた用例文の数を ( ) の中に示す.
あたる（71）あてる
(25) , いう
$(1,562)$, おさ まる（6）おちる（67），きこえる（66），さわる (5)，でる（320），ぶつかる（14），みえる（280）， もつ (414)，わかる (395)

まず目につくのは, 同じく基本動詞と言っても， その用例数に大きな開きが存在することである. 用例が数百から千を超える動詞がある一方で,「おさま る」は 6 例，また「さわる」については 5 例しかな い. 後者の 2 つから何か一般的な結論を抽き出すこ とは無理である.この傾向は, NPCMJ プロジェクト において 6 万文のアノテーションが完成してもあま り変わらないと思われる。これは, NPCMJ がツリー バンクとして，比較的少量のテクストに対し集約的 にアノテーションを行う方針を取っているためであ る.しかしながら，かなり大規模なコーパスにおい てすら，十分な検索数の得られない単語の存在する ことが知られている.

また,『基本動詞ハンドブック』では多義性の問題 に対処するために各動詞の語義を重層的に分類して いるが，それらの実例がすべて NPCMJ により提供 されるわけではない. 例えば，「出る」については 6 段階をなして分類が行われているが，そのうち 3 層目である「5．身体部位の突出」や「41．出土・発見」 については, 検索の結果用例は得られなかった。ま た, 検索して得られた語義の用例が $1 \sim 3$ 個程度の 少数にとどまるものはさらに多い.

## 3.2 視覚動詞の対象の表示

本節では，視覚的認知活動を表す動詞「見える」 を取り上げて, NPCMJ からどのような格フレーム 情報が抽出できるかについて考察する。

動詞「見える」は視覚に関わる出来事を表すこと から, それが成り立つ場合には「見る」行為の主体 と「見られる」対象とが存在するはずである.この うち, 主体についてはほとんどの場合明示的に表現 されない.これについては後で述べる。対象の方は 明示されることが多いが，格助詞としては主として 「が」が用いられる.これが主題化されると, 助詞 は「は」となる。通常の文において「が」による主語表示の文と「は」表示の文とでは頻度にきわめて 大きな差はない. これに対し, NPCMJ の検索の結果,「見える」を伴う文の主語表示は, 特異なものであ ることが分った. これは『基本動詞ハンドブック』 における「見える」の多義分類のうち，用例のもつ とも多い「1. 視覚による認識 (非意図的)」に限定 した調查である. NPCMJ の全データ中で, 文の主語 で「が」により表示されているものは 32,530 例, 主語で「は」により表示されているものは 21,741 例で あり, 両者に圧倒的差は無い.これに対し，「見える」

の用例について見ると,「が」表示の主語が 73 例で，「は」表示の 13 例に比べて突出している.

「が」表示の主語が多くなる理由は, 下の例に典型的に見られるように，語られている状況の中で新 しい出来事が生じたことを表すのに使われることが 多いからである.

(1)この装置で, 尖端放電の研究をするつもりだった ところが, 膨張させてみると,白い線が 見えた。

この文では,「白い線が見えた」全体が新情報であり，伝統的な日本語学で言う「現象文」に相当する.

格フレームは格助詞を中心として語られることが 多い.しかし，ここでの「が」の働きは単なる格表示にとどまらない。それは, (「は」の不在を表示す ることによって) 情報構造に関わる積極的な役割を 果たしている. 格フレームの用法について正確な知識を伝えるためには, 文脈的な要因も考慮に入れる ことが重要であることをこの例は示している.

なお，外国人に対する日本語教育の教科書では，以下のように視覚的認識行為の主体を「に」格によ り明示した例文が使用されることがある.

（2）私には細かい字が見えません。

しかし, NPCMJ の検索結果によると,このような 構文の出現頻度はきわめて低い.「見える」の全用例 278 例のうち, 主体が「に」より表示されたものは 4 つあるが，そのうち 2 例は欧文からの翻訳で，才 リジナルの日本語文は 2 例にすぎない.このことは，日本語教育では対象のみが明示された構文を中心に 教えるべきことを示唆している.

## 3.3 理解動詞の格フレーム

理解を表す動詞「分かる」の格フレーム表現は， さらに複雑なものである。以下では, NPCMJ 中の 動詞「分かる」の全用例 387 例中で最大の 280 例 を占める「1. 不明膫な事柄の明確化」に的を絞っ て論じる.

動詞「分かる」の目的語 (理解の内容) を表す名詞句の内部構成—普通名詞をへッドとするか，それ とも節か, 後者の場合はどのような助詞や形式名詞 により導かれるか—および格助詞・係助詞による表示の内訳を表 1 亿示す.表 1：「分かる」の目的語

形式名詞「こと」が導く目的語節は 40 例，「か」 が導く節は 84 例ある. 助詞「の」および「と」が 導く節も含めると 145 例となり, 全体の約 $66 \%$ を 占める.「分かる」の目的語は大半が節によって表 されていることが分かる。また，その格表示に目を 向けると, 内部構成の種類にかかわらず, 格助詞と しては「が」が圧倒的に多い.「を」の使用は 1 例 あるが，この比率の差は母語話者としての直観に一致している.

理解という行為は理解を行う主体と理解の対象で ある内容とを伴い，それぞれ主語と目的語によって 表現される.ところが, 両者の出現頻度には著しい 差がある. 表 2 に示すように，ここで扱う 280 例 のうち, 主語が出現する用例は 63 例, 目的語が出現するのは 217 例である. さらに, 主語と目的語の 両方を伴う文についても興味深い事柄が観察され る. 一般に, 日本語としては有標な語順であるはず の, 目的語が主語に先行する文 (表 2 では「目的語 く主語」で表す) が, 主語が先行する文 (「主語く 目的語」) と比べて, 出現数に大差が無い (16例対 29 例). また, 主語の助詞による表示は, 「目的

表 2：「分かる」の主語と目的語

語く主語」の語順の 16 例中の 14 例を「に」が占 めている (後に係助詞が後続するものを含む).

以上をまとめると，「分かる」の格フレーム表現 の特嘚として，以下が挙げられる。

i. 目的語のみがあらわれる文が多く, 主語の出現は限定的である.

ii. 目的語は節の形式を持つものが多い.

iii. 主語と目的語の両方が出現する文においては,「主語く目的語」と「目的語く主語」の語順 の頻度に大差はなく, 主語はほとんどが「に」 により表示される.

理解を表す「分かる」は主観表現の一種であり，一人称や感情移入の対象となる登場人物を主語とす ることが多く，その場合にしばしば省略されるのは 他の主観表現と同様と考えれらる. 目的語と共起す る主語に「が」でなく「に」が付加される傾向が強 いのは，目的語との混同を避けるためであろう。し かし, なぜ「目的語く主語」の有標な語順となるの かは不明である. 目的語が節で長くなるため, 記憶 の負担を避ける処理上の理由を検討寸べきかも知れ ない.

## 4 検索結果の階層的表示

以上で行った調査から，現実のテクストにおいて 頻出する格フレーム表現を把握するためには，格助詞による表示のみならず, 必須格を担う句の省略や，係助詞が表示する文脈情報, さらには語順や名詞句 の内部構成まで考慮に入れなければならないことが 分かった. そこで, このように複雑な要因を考慮し ながら頻度の高い格フレーム表現の抽出作業を容易 にするために, ツリーバンクの検索結果を要因ごと に階層的に自動的にグループ化するシステムを提案 する. 暫定的な案として, システムによる用例の分類は 3 つの軸に沿って行われ, 各々の軸において階層が深まるにつれて文法上の制約がより強くなり，担当する用例の数は少なくなる.

## I 格表示の軸

i. 動詞 $\rightarrow$ ii. 文法役割の格フレーム $\rightarrow$ iii. 付加句 (adjuncts) の格フレーム $\rightarrow$ iv. ゼロ代名詞の有無 $\rightarrow \quad v$. 格助詞による表示 $\rightarrow \quad v i$. 係助詞による表示

## II 語順の軸

i. 語順未指定 $\rightarrow$ ii. それぞれの語順

## III 名詞句内部構成の軸

i. 名詞句 $\rightarrow$ ii. 名詞をへッドとする句, また は節 $\rightarrow$ iii. (節の場合) こと - 節, の - 節, また はかー節

I～III の軸に共通して, i は, それぞれの動詞が出現する全ての用例に対応する．動詞「会う」を例に 取ると,「I-ii. 文法役割の格フレーム」のレベルでは,〈主語〉または〈主語+目的語〉の格フレームが選択され，それぞれ 1 項述語および 2 項述語としての 用例に対応する. 後者の格フレームは「 $\mathrm{v}$. 格助詞に よる表示」でく主語+目的語-と〉およびく主語+目的語-に〉に分かれる. これら第 $I$ 軸の各階層は, 語順 に関する第 II 軸および名詞句の内部構成に関する 第 III 軸と自由に組み合わせることができる。これ により，3つの軸に分類された要因のどの組み合わ せについてもその頻度を即座に知ることができ，ま た他の組み合わせとの比較も容易である.その結果,頻度の高い格フレームの抽出が簡単に行える。

## 5 おわりに

本稿では，日本語教育への応用を目的として，日本語ツリーバンクからの格フレーム情報抽出のパイ ロット・スタディを行い，抽出を効率的に行うため の方法について考察した. 今後, 格フレーム以外の コロケーションについても検討を広げる予定である.

## 注

1. http://npcmj.ninjal.ac. jp/

2. https://verbhandbook. ninjal. ac. jp/

## 謝辞

本研究は日本学術振興会科研費基盤 (B) 15H03210，基盤 (C) 16K02654，および国立国語研究所共同研究プロジェクト「統語・意味解析コーパ スの開発と言語研究」の助成を受けた。

## 参考文献

Butler, A. and S. W. Horn. (2017) Annotating syntax and lexical semantics with(out) indexing. Proceedings of Logic and Engineering of Natural Language Semantics.

Maekawa, K., et al. (2014) Balanced corpus of contemporary written Japanese, Language

Resources and Evaluation 48(2).

吉本啓・プラシャントーパルデシ（2020）「統語・意味解析情報付き日本語コーパスの構築」KLS

Selected Papers 2: Selected Papers from the 44th Meeting of The Kansai Linguistic Society, pp. 196-211.


# レシピタイトルに現れる借用語 with の特徵 :随伴用法と等位接続表現に着目して

小野雄一
筑波大学 人文社会系
ono.yuichi.ga@u.tsukuba.ac.jp

## 1 はじめに

産出された言語データにはさまざまな言語使用上 の要因が関与する。料理のレシピタイトルを例にと ると，調理者によるユニークな調理過程や使用する 材料の特徴など，様々なアピールポイントが含まれ る。そして，調理者がレシピタイトルを考案する際 には，外国語表現を日本語の語形成規則に基づいて 極めて自然に借用する[1][2]。英語前置詞も頻繁に使用され，例えば in や on に加え，随伴の意味を表す with もまたレシピタイトルの中で使用されている点 が報告されている[2]。また，ほぼ\&(and) と同列に扱 われそうな等位接続表現としてwithが使用されてい る例についても報告されている[3][4]。しかし, 詳し く観察してみると，\&と with との間には，「独立随伴性」という観点で違いがあるのではないかという主張も展開されている。

本研究では, 国立情報学研究所(NII)IDR 事務局が 提供しているクックパッドデータベーズを基礎資料とし，レシピタイトルの背景にある調理過程にも 注目しながら観察をした上で，with の独立随伴性に ついて考察を行う。その上で，この概念は日本語母語話者の中で意識のうちに共有されている知識であ るかどうかを実証するための心理言語学的実験を行 い，この観察の妥当性について検証を行う。

## 2 先行研究

## 2.1 with の借用

「チーズ in ハンバーグ」や「ビーンズ on トース

卜」に出現する in や on と同様に，英語の前置詞 with も日本語のレシピタイトルに出現する。withの 主要な用法には(i)「独立随伴(1a)」, (ii)「道具 (1b)」, (iii)「主原料・主材料(1c)」があるとしてい る[4]。

(1) a. ピクニックから揚げ $\delta$ with Coke (=用法(i))  ${ }^{\mathrm{ii}}$

b. モリ食堂【節分豆茶飯 with 釜】 (=用法(ii))

c. 栗ごはんwith 黒米

(=用法(iii))

(1a)

(1b)

(1c)
これらの withの 3 つの用法は実際に英語で使用さ れているものと（ほぼ）同じものと考えられるた め, 日本語のレシピタイトルで出現している上述の with は，英語の前置詞 with が借用されたものと考 えられる。

(2) a. I was at school with my friends after school. (=用法(i))

b. John broke the vase with a hammer. (=用法(ii))

c. The fish is preserved with salt. (=用法(iii))

ii 本稿であげる URL 情報は, 本稿執筆時（2020 年 12 月 23

日）に確認がとれたものである

これらの 3 つの用法は, 元来は英語の with が取り入 れられ，その後日本語の文法知識，語彙形成規則が 適用され, 日本語の一部として極めて生産的に生成 されるようになったものと考えられ，母語を日本語 とする人であれば，多少のニュアンスの違いや語用論上の意味解釈の差異はあるにしても, 基本的なと ころについては間違いなくその料理の意味を理解で きる。

言語混交(Language Mixing)の研究では, 外国語の 借用が起こる時いわゆる内容語 (名詞, 動詞, 形容詞など)がそのまま取り入れられる場合もある一方，機能語（冠詞，接続詞, 前置詞, 助詞など）も取り 入れられることもある。そして，日本語に取り入れ られたそのような語は日本語の一部となる[3]。その 際に, 借用された英語は日本語文法, 語彙規則の操作を受けるため, 一見したところ「英語としては誤 ったもの」、いわゆる「和製英語」と呼ばれるような ものが多く含まれるが，これはまさに，日本語の文法知識, 語彙形成規則の影響を受けたものであると 考えるべきであり，英語の習熟度とは無関係の現象 なのである。

## 2.2 随伴と等位を表す with の方法

上述の(1a)に該当する随伴用法の他に，以下に挙 げるようなものが観察される。

(3) a. シンプルいずおされつまみ with 梅酒

b. 粉もん WITH ソウルマッコリ

(3a)

(3b)
これらの特徴は, (1a)の「Coke」, (3a)の「梅酒」, (3b)の「ソウルマッコリ」はそれぞれメインの料理 の一部，材料・原料とは考えられず，随伴性として は両者が独立したものと考えられる。ただ，これら の例であれば，with の前後の料理のうちメインは with の前にある方と見るのが自然である一方, with の前と後の料理で，どちらがメインなのか判断が難 しい例も存在している。

(4) a. Oペペロン with ミネストローネO

b. 赤フィッシュカレーWithそうめん  c. 豚肉のしょうが焼き with 十六穀ごはん

$(4 a)$

(4b)

(4c)
これらの例では，どちらか主役とは捉えにくいもの となっている。むしろ,「AとB」の関係, つまり,等位の関係と考えられるものである。等位の関係と いうことであれば, 英語には「and, \&」がという等位接続詞が存在するため，そちらを借用するのが自然 であるという議論があるのは当然である。実際に以下のような用例も存在する。

(5) a. ぶどうジュレ\&杏仁豆腐

b. 初マヨ焼きそば\&ステーキ\&アボカドの

c. 合い挽き肉\&鳥ミンチ\&豆腐ハンバーグ！！

(5a)

(5b)

(5c)随伴性という点から\&を考察すると, (5a)のように両者が接触している場合， $(5 \mathrm{~b})$ のように「独立随伴」的 な場合, そして (5c)は全ての要素が 1 つの料理に取 り込まれているものなど多様である。

さらに，英語の and の使用では見られない，日本
語に取り込まれた\&独特の用法も観察される。

（5）a. 麻婆豆腐\&麻婆もやし

b. 裏ワザ プリン\&杏仁豆腐

(5a)

(5b) $(5 a)(5 b)$ の料理の特徴は, 調理の途中までの過程は同 じであるが，ある段階で $\mathrm{A}$ をいれるか $\mathrm{B}$ をれるか で異なる料理ができることを述べている。いうなら ば途中で投入するものによって A の料理にも B の 料理にもなる，つまり，「Aまたは B」と並べている 場面で\&が使用されているのである。これは，投稿者のコメントで「豆腐はもちろん、豆腐がない時に もやしでやってみたら美味しくて両方ともこの味で 美味しいので』」や「の杏仁豆腐の場合のアーモン ドエッセンスを入れてできあがり。プリンの場合 カラメルソースを作る。砂糖と水を鍋に入れ...」 と記述されていることから明らかである。著者の直感ではこの用法の時に with と置き換えることはでき ない。この理由は, with の場合は独立随伴（つまり その場で両者が存在していなければならない）の時 に使用され，(5a)(5b)の「Aまたは B」のような例の 場合には代わりに\&であれば使用できるという，日本人であれば誰もが共有される知識を無意識的に利用されているからなのではないかと推測する。

## 3 実験

## 3.1 仮説と手続き

今までの観察を整理すると，(1)「with が等位接続的に使用できるのは独立随伴』の場合のみである」, そして，(2)「この知識は日本語の処理に伴う知識で あるため，英語の習熟度とは無関係である」という

仮説へと導く。この仮説を実証するために，英語の 習熟度には差があると考えられる 2 つ大学の大学生 (A 大学 104 名 : 偏差値 50-55; B 大学 51 名：偏差値 65-70）を対象に容認性判断課題を利用した実験を実施した。

実験協力者には，実際に投稿者がつけたレシピ夕 イトルは見せず，料理の写真およびコメントのみを 提示する。その上で, 「A( ) B」に, 「\&, with, (\& を日本語にした)と，か」をランダムに挿入した文を 提示し,「まったく良くない(1)」から「とてもよい(5)」 の 5 段階のスケールから容認性を判断するようにし た。

$
\text { ここで使用した刺激文は以下の通りである。 }
$

(6)

(i) メカジキのソテー（）絶品トマトソース

[随伴]

(ii) アイス de 蒸しケーキ( )レンジぃ

[道具]

(iii) 麻婆豆腐（）麻婆もやし

$
\text { [A または B] }
$

(iv) 時短 ライスバーガー（）ハンバーガーiii

[A または $\mathrm{B}]$

もし仮説が正しければ，我々の予測は，(i), (ii)については 典型的な with の方法であるため, with の用法が優勢にな る。特に, 道具の解釈を持つ(B)は\&には存在しない解釈 であるため, with が優勢になると予測される。また, (i)の 随伴については\&も同様な意味を表すことがあることか ら両者が同程度になるのではないかと予測する。逆に(iii), (iv)については, \&の容認性が上がり, with の容認性は落 ちる，ということを予測する。

## 3.2 結果と考察

実験の結果を以下の表 1 に示す。

この結果を見ると，我々の予測はほぼ正しいもので あるとみることができる。(A)の随伴用法について は，with と\&およびとの間に大きな差が観測できな かったのに対し, (C)(D)については with の容認性は 大きく落ちた。

また, 特に(C)および(D)の用法については, 一元配置分散分析を用いて, with, \&, との用法の平均値の差 の優位性を検定した。その結果を以下の表 2 に示す。

表 2 (C)および(D)の用法に関する差の有意性検定

以上の結果は，借用された\&と同じような等位表現としての with が使用される場合においても「随伴性」という知識に結びついているのに対し，\&の方 が(C)(D)のような「Aまたは B」のような文脈でも使用しているということ，さらに，これらは母語の知識を無意識に利用している点を実証したものと言え よう。

さらに，英語の習熟度がこの結果に影響している かを検討するために，同じデータを習熟度（大学 A /大学 B）とそれぞれの結果（文 1～4）について二元配置分散分析を用いてで検定してみたところ，全て の結果について，群間に有意な差は認められなかっ た。

例を一つだけあげると，(D)「時短 ライスバーガ 一（）ハンバーガー」の場合, with の容認性が他と 比べて大きく低かったが, 大学 $\mathrm{A}($ Level 1)と大学
B(Level2)との間には大きな差が見られなかったこ とを以下の図 1 に示す。

図 1 群間の差の結果

Factor 1,2,3,4 はそれぞれ「と」「か」「\&」「with」 であったが，横軸（群間）には大きな差が見られな かったことがわかる。この結果は。Withの知識の深 さは，今回の判断テストには影響を及ぼしていない ことを示している。

## 参考文献

1. 日本語の料理名に出現する英語前置詞の借用に ついて : Cookpad データと実証実験から見える もの」小野雄一・呼思楽・森野綾香・若松弘子・砂川詩織, 言語処理学会第 23 回年次大会発表論文集 2017 .

2. The Verbal Noun Use of Borrowed English Prepositions in Japanese Recipe Names, Yuichi Ono, Papers from the 36th Conference of the English Linguistic Society of Japan and from the Eleventh International Spring Forum of the English Linguistic Society of Japan (JELS 36), pp. 268-274. 2019.

3. Use of English prepositions as Japanese predicates: A challenge to NLP, Masaharu Shimada \& Akiko Nagano, 『言語処理学会第 23 回年次大会発表論文集』2017.

4. 料理サイトのデータから言語接触理論を考え る : 前置詞 with の借入について. 若松弘子・島田雅晴『IDR ユーザフォーラム』 2017.